📄 听错一个字就全盘皆输：SpeechGym 把语音智能体的失败变成可训练的梯度
英文题目：SpeechGym: An Audio-Native Gym for Training Voice Agents via Reinforcement Learning
一句话：针对语音智能体在纯语音多轮工具调用中因听错槽位值而级联失败的问题，SpeechGym 用本地音频闭环与过程奖励将稀疏的终局成功信号稠密化，使开放 30B 模型在独立语音管线上成功率从 24% 翻倍至 53%，代价是任务域与声学多样性仍局限于客服场景。
标签：#语音交互 #强化学习 #音频交互 #语音大模型 #基准测试
评分：7.6/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
👥 作者与机构
- Jiajun Fan：机构信息未在 arXiv HTML 中可靠披露
- Jingyuan Li：机构信息未在 arXiv HTML 中可靠披露
- Prashanth Gurunath Shivakumar：机构信息未在 arXiv HTML 中可靠披露
- Jia-Hong Huang：机构信息未在 arXiv HTML 中可靠披露
- Qi Luo：机构信息未在 arXiv HTML 中可靠披露
- M. Maruf：机构信息未在 arXiv HTML 中可靠披露
- Ivan Bulyko：机构信息未在 arXiv HTML 中可靠披露
- Ge Liu：机构信息未在 arXiv HTML 中可靠披露
- Roger Ren：机构信息未在 arXiv HTML 中可靠披露
💬 毒舌点评
亮点在于把语音智能体从只能测量的 API 级联中解放出来，用本地原生音频闭环让强化学习真正跑通，并以跨管线翻倍的成功率证明感知缺陷可被训练弥补。短板是所有训练与评估仍围绕 τ2-bench 这类客服数据库任务展开，且开源与复现材料几乎空白，让人难以判断该收益能否外推到更嘈杂、更开放的真实语音场景。
📌 核心摘要
语音智能体需要在纯语音通道中完成多轮对话与工具调用，但主流范式在文本中训练、仅在边缘拼接语音，导致模态切换时能力骤降。SpeechGym 将 τ2-bench 的任务、工具、数据库与成功判定原封不动地搬到音频原生环境，用冻结的 Qwen3-Omni-30B-A3B 作为用户模型与可训练的同构 Thinker-Talker 智能体直接以波形对话，省去外部 ASR 与 TTS 并实现本地可微的强化学习闭环。与已有语音评测只能测量不同，该环境首次同时满足音频原生、多轮工具使用与在线强化学习可训练性。作者诊断出语音失败以感知错误为主，槽位值听错率从文本的 2% 升至语音的 32%（16 倍），并引发工具错误率 26%→42% 与死循环率 18%→29%。针对低基线成功率下 GRPO 组内方差为零导致的梯度饥饿，引入每次工具调用 +0.1 / -0.1 的过程奖励，使携带梯度的分组比例从 16% 提升至 99.6%，并以 vLLM-Omni 实现端到端每 epoch 5.4 倍加速、API 成本 0 美元。未经额外微调直接在独立实现的 τ-Voice 管线上测试，总体 pass@1 从 24% 提升至 53%（Airline 24%→62%、Retail 45%→73%、Telecom 4%→24%），在 3 个域 95% 置信区间均不重叠，且平均轮次 26→24 与平均 token 51195→48398 反而下降。该工作将语音差距从测量问题转化为可优化问题，但局限在于任务域、声学多样性与开源验证仍有限。
🔗 开源与复现资源
- 代码：论文中未提及代码链接
- 模型权重：论文中未提及独立权重发布链接，实验使用 Qwen3-Omni-30B-A3B 基座模型并通过 LoRA 训练 Thinker 模块，Agent 与 User 均为同一 30B 规模 MoE 模型
- 数据集：论文中未提及新数据集发布链接，训练与评估复用 τ2-bench 的任务、工具、数据库与成功判定逻辑，跨管线评估使用 τ-Voice 的独立管线与评分代码，未声明新数据集开源协议
- Demo：论文中未提及
- 复现材料：论文中未提及检查点或配置文件下载链接，已披露关键训练配置为 GRPO 算法、每任务采样 \(K\) 为 4 条完整语音轨迹、LoRA 适配器按请求通过 adapter name 热加载、8 卡 H200 单机部署其中 6 卡运行 3 个 vLLM-Omni 服务、2 卡运行 bf16 LoRA 训练、单 epoch 提速 5.4 倍、API 成本为 0 美元，奖励采用式 1 的数据库与工具参数精确匹配判定并辅以每轮工具调用 shaping，附录与实现细节在正文中部分披露
- 论文中引用的开源项目：论文中未提供具体 URL，已提及项目包括 Qwen2.5-Omni、Qwen3-Omni、VITA、Mini-Omni、Moshi、τ-bench、τ2-bench、τ-Voice、VoiceAgentBench、Full-Duplex-Bench、VoiceBench、AudioBench、GRPO、LoRA、vLLM-Omni，均未在所给正文片段中给出可点击链接
🧭 深度解读
为什么这个任务不是把声音丢给模型就结束？
想象你打电话让客服改签机票：你报出订单号、日期和新航班，客服要在系统里查、改、确认，最后告诉你改好了。整个过程既要听懂，又要按规则操作数据库，少一步或错 1 位数字都会失败。语音智能体要做的就是这件事，只不过用户和智能体都只能通过声音交流。
难点在于，声音不像文字那样把每个字符都摆在眼前。一个订单号里的“8”和“B”，一段带口音的姓名拼写，在波形里可能只差一点点。模型如果听错 1 位，接下来调用工具时参数就错了，工具返回失败，模型再重试同样的错误调用，轮次被耗尽，任务直接判零分。这不是推理不够聪明，而是感知这一步就把后面的路堵死了。
更麻烦的是，过去的训练都在文本里完成，语音只是在测试时临时用语音转文字（ASR）和文字转语音（TTS）拼上去。模型在文本上学得很好，一换到声音通道就骤降。论文要解决的正是：如何让智能体直接在声音里学习，而不是在文本里假装会说话。
已有路线在哪个路口停下了？
第一条路线是工具型语言智能体。以 τ-bench 和 τ2-bench 为代表，它们把客服任务形式化为部分可观察马尔可夫决策过程（POMDP）：隐藏状态是数据库，观测是用户话语或工具返回，动作是工具调用或回复。任务是否成功由数据库最终状态是否与标准操作一致来判定，清晰可验证，但全程都是文字。
第二条路线是语音评测。τ-Voice 把 τ2-bench 套上语音外壳：用户侧用大模型写文本再用 TTS 合成语音，智能体侧调用闭源的实时语音接口。这条路能测出“文本到语音掉了多少”，却无法训练——梯度穿不过闭源接口，每轮调用还要付费，跑 1 次完整强化学习的采样量成本高达数百美元，根本跑不起。
第三条路线是全模态模型（omni-modal model），比如 Qwen2.5-Omni、Qwen3-Omni 采用的 Thinker-Talker 结构：Thinker 负责理解和推理，Talker 负责把文本推理结果合成语音。它们能听能说，但训练目标仍是单轮问答或语音理解，没有在多轮对话中何时该调用工具、何时该开口确认的信号。SpeechGym 的位置就是补上缺掉的那块：保留文本基准的任务与判分逻辑，只把通道换成原生音频，并让整个环路留在本地、可采样、可求梯度。
论文把什么设为不变量，把什么设为变量？
论文做了一个很干净的对照设计：不变量是任务本身——包括任务描述、可用工具、数据库结构和成功判定；唯一变量是交互模态。也就是说，同一道客服题，在文本通道和语音通道下用同一把尺子打分，分数差异就只能归因于声音。
形式上，环境被定义为 POMDP，状态是隐藏的关系数据库，观测要么是冻结用户模型生成的音频波形，要么是工具执行器返回的文本结果。动作分两类：工具调用是结构化文本，会被立即执行并可能改变数据库；语音回复是变长波形，会触发用户模型生成下一段语音。智能体每一步要自主决定说还是做，没有外部控制器替它选。
回合在用户发出解决信号或达到 50 步上限时结束，奖励是 0 或 1 的二值判定。这种设计把两种错误分开了：如果工具参数错了，那一定是听错或想错，而不是传输噪声，因为工具接口本身是无噪声的文本。这为后续诊断“到底是听错还是选错工具”提供了前提。
SpeechGym 如何把文本 Gym 原封不动搬进声音里？
输入是任务场景与隐藏数据库，输出是多轮语音对话与工具调用序列，最终奖励由基准自带的数据库对比与通信完整性检查给出。系统对外暴露标准的重置、步进、奖励接口，任何符合该形状的文本域和任何开放全模态模型都能接入。
整体数据流像一个闭环：智能体的语音动作触发冻结用户模型生成下一段音频，形成音频闭环；工具调用则是即时文本交互，不消耗对话轮次，允许智能体在开口前连续查多个工具。评估器复用基准的 5 个二值分量，按任务所需子集取乘积得到回合奖励：
\[R(\tau)=\prod_{c \in \mathcal{B}(\tau)} r_c,\quad r_c \in \{0,1\}\]其中\(r_{DB}\) 判数据库是否一致，\(r_{COMM}\) 判关键信息是否已告知用户，\(r_{ACTION}\)、\(r_{ENV}\)、\(r_{NL}\) 分别对应动作、环境与自然语言断言。所有分量必须同时为 1 才算成功，没有部分分数。论文审计过该路径在标准轨迹上与 τ2-bench 原始分数完全一致，且是否使用 vLLM 加速结果也一致。
这种“只换通道不换题”的搬运，使得语音差距从一个模糊的体感变成可度量的对照实验，也让强化学习的奖励信号可以直接复用文本基准的验证逻辑，无需重新设计奖励函数。
四个组件各自输入什么、输出什么、为什么非它不可？
第一，用户模型。输入是任务人设与目标，输出是原生音频波形。它是冻结的 Qwen3-Omni-30B-A3B，在训练全程不变，作用是固定语音分布，让策略提升可被稳定度量。如果用户也在变，就分不清是智能体变强了还是用户变简单了。
第二，智能体模型。输入是音频观测与工具返回的文本，输出要么是工具调用的结构化文本，要么是待合成的语音。它同样是 Qwen3-Omni-30B-A3B 的 Thinker-Talker 结构，Thinker 做文本推理并自主决定动作类型：输出中若包含工具调用模式就被解析分发，否则走 Talker 合成语音。这个自主决策很关键，它让模型学会何时该做、何时该说。
第三，工具执行器。输入是智能体的工具调用，输出是文本结果并可能改变隐藏数据库。它完全复用 τ2-bench 的工具与数据库，读工具不改状态，写工具需参数精确匹配才改状态，非法调用只返回错误文本。保持文本接口是为了分离感知错误与行为错误。
第四，评估器。输入是整条轨迹与最终数据库状态，输出是 0/1 奖励。它就是上面的乘积公式，与模态无关。训练时为了让稀疏奖励变得可学，还会在此基础上做过程奖励塑形，但终局判定本身保持不变。
在几乎全失败的起点上，梯度如何活过来？
直接用终局 0/1 奖励做强化学习会遇到梯度饥饿。论文采用组相对策略优化（Group Relative Policy Optimization，简称 GRPO）：对同一任务采样 K=4 条完整语音轨迹，用组内均值与标准差标准化回报得到优势：
\[\hat{A}_{i,j}=\frac{r_{i,j}-\mu_i}{\sigma_i+\epsilon}\]其中\(r_{i,j}\) 是第 j 条轨迹的回报，\(\mu_i,\sigma_i\) 是该组 4 条轨迹的均值与标准差。如果 4 条全失败，回报全是 0，标准差为 0，优势全为 0，整组采样就白跑了。语音任务基线成功率很低，这种情况占到 84%。
优化目标是带裁剪的策略梯度加上 KL 约束：
\[\mathcal{L}(\theta)=-\sum_{i,j}\min\big(\rho_{i,j}\hat{A}_{i,j},\;\mathrm{clip}(\rho_{i,j},1-\varepsilon,1+\varepsilon)\hat{A}_{i,j}\big)+\beta D_{\mathrm{KL}}[\pi_{\theta}\|\pi_{\text{ref}}]\]\(\rho_{i,j}\) 是新旧策略的重要性比率，\(\beta\) 控制与参考策略的距离。论文采用无 KL 版本即\(\beta=0\)，仅靠裁剪和 LoRA 的低秩约束来保持稳定，且只训练 Thinker 中线性投影上的 LoRA 适配器，秩 88，缩放系数 16，语音合成路径冻结，信用分配只落在“做什么、说什么”的决策上。
为恢复方差，引入过程奖励塑形：每次工具调用成功记 +0.1，失败记 -0.1，终局结果附加到最后一步，再按折扣因子计算每步回报：
\[G_t=\sum_{k=t}^{T}\gamma^{k-t} r_k,\quad \gamma=0.99\]然后对\(G_t\) 做同样的组内标准化并广播到对应 token。这样即使 4 条轨迹都未完成任务，也能按“成功调用了几次工具”排出高低，携带梯度的分组比例从 16% 升至 99.6%。论文明确说明该塑形不是基于势的保目标变换，它保留的是终局判定的严格性，而不是保证最优策略不变。
系统层面，用 vLLM-Omni 以 OpenAI 兼容接口同时服务两个 30B 模型，用户音频以 base64 WAV 传入，智能体语音与文本一并返回，单轮 1 次请求完成。单台 8 卡 H200 上，3 组双卡跑推理服务，2 卡跑 bf16 训练，4 条轨迹并发采集，端到端每 epoch 加速 5.4 倍且 API 成本为 0，而同等采样量若走闭源语音接口每 epoch 需超 200 美元。
在什么数据、什么尺子、什么预算上验证？
要读懂结果，先看尺子和场地。论文刻意让训练与最终考核不在同一个场地完成，以检验学到的是可迁移的策略而非对训练声学的记忆。
根据论文正文与图中报告值整理，数据集与实验协议如下：
| 域/划分 | 样本与任务构成 | 工具与数据库 | 评估方式与指标方向 |
|---|---|---|---|
| Airline / Retail / Telecom | 复用 τ2-bench 的客服任务，Telecom 为双控域用户亦持工具 | 读工具查询、写工具修改关系数据库，参数需精确匹配 | pass@1，数据库状态与通信完整性联合判定，越高越好 |
| Banking（新增） | 账户、余额、交易关系表，长数值槽位压力测试 | 转账、争议、额度修改等读写工具，含金标准动作序列 | 仅用于训练环境内诊断，未参与跨管线迁移评估 |
| 跨管线评估场地 τ-Voice | 同一任务集，不同用户模拟器、不同 TTS 音色、窄带电话信道 | 独立评分代码，与训练环境完全隔离 | 同一管线内对比基线与训练后权重，95% 置信区间 |
训练细节上，用户与智能体同构为 Qwen3-Omni-30B-A3B，用户冻结，智能体仅训练 LoRA。每任务采样 4 条多轮语音轨迹，最大 50 步，折扣 0.99，过程奖励±0.1。硬件为单台 8×H200，推理与训练并行。未披露优化器、学习率、warmup、batch size、总步数及解码温度等，复现时需留意这些缺口。
指标方向很直白：成功率越高越好，轮次与 token 越低越好，错误率与死循环率越低越好。统计上报告了 95% 置信区间是否重叠，但未报告多随机种子的方差与训练曲线。
哪些数字说明听错是主因，哪些数字说明训练真的有用？
第一个问题是诊断：语音比文本到底难在哪。论文在相同任务与奖励下对比双通道，发现槽位值听错率从文本的 2% 升至语音的 32%，放大 16 倍，并级联推高工具错误率 26% 至 42%、死循环率 18% 至 29%。这说明失败集中于从波形中抽取槽位值，而非选错工具本身。同时，在低基线成功率下，仅用终局奖励的 GRPO 只有 16% 分组携带梯度，84% 分组因组内全零而被丢弃；加入过程奖励后携带梯度分组升至 99.6%，采样预算才被有效利用。
第二个问题是迁移：训练收益能否脱离训练环境。论文将训练后权重不做任何额外微调，直接放到独立实现的 τ-Voice 管线中考核——该管线使用不同的用户模拟器、不同的 TTS 与 ASR 栈、不同的声学与评分代码。根据论文正文与图中报告值整理，关键结果如下：
| 比较或条件 | 指标 | 明确报告值 | 这项数字支持什么 |
|---|---|---|---|
| 语音 vs 文本基线 | 槽位听错率 | 2% → 32%（16 倍） | 感知是主导失败，而非推理 |
| Outcome-only vs 过程奖励 | 携带梯度分组占比 | 16% → 99.6% | 稠密化解决了梯度饥饿 |
| τ-Voice 跨管线 Airline | pass@1 | 24% → 62%（2.6 倍） | 训练收益可迁移，非环境过拟合 |
| τ-Voice 跨管线 Retail | pass@1 | 45% → 73%（1.6 倍） | 同上，且在较易域仍有提升 |
| τ-Voice 跨管线 Telecom | pass@1 | 4% → 24%（6.0 倍） | 最难域相对提升最大，但绝对值仍最低 |
| τ-Voice 总体 | pass@1 | 24% → 53%（2.2 倍） | 开放 30B 从末位升至第 2 位，超越多个商用实时系统 |
| 行为层面 | 未授权写入 / 死循环 / 听错后恢复 | 23%→10% / 14%→5% / 42%→62% | 感知与行为缺陷同步改善，出现拼写确认等自发修复策略 |
| 效率层面 | 平均轮次 / 平均 token | 26→24 / 51195→48398，被修复子集轮次 23.4→17.5 | 成功率翻倍并未以更多交互为代价，排除长度作弊 |
需要校准的是，排行榜中商用系统分数为提供方自报且未重跑，排名对比需谨慎解读；Telecom 虽提升 6 倍但绝对成功率仍仅 24%，说明最难的双控协作任务远未解决；Banking 域的压力测试结果未在主结果中量化呈现，不能据此推断长数值槽位的泛化能力。
哪些边界让结论不能直接搬到真实电话里？
作者已承认的边界包括：商用系统分数未重跑、Banking 域未参与跨管线评估、过程奖励非势保持因而改变了优化目标的形状、训练与评估声学分布不同因而迁移依赖严格隔离来排除记忆化。
更值得研究生关注的是未被充分度量的边界。任务多样性全部来自 τ2-bench 的客服数据库工作流，未覆盖开放域知识、长时记忆或真实电话噪声与口音多样性。用户模型固定为单一 Qwen3-Omni 家族的干净自播音频，可能低估真实 ASR 噪声与说话人变异，且未评估跨基座泛化——换一个全模态基座是否还有同样收益，论文没有回答。
实验报告层面，缺少训练曲线、随机种子方差与超参数敏感性分析，也缺少与文本强化学习基线、不同全模态基座以及过程奖励各分量消融的对比，难以剥离环境与算法各自的贡献。行为分析中过度执行等现象部分为定性观察，未提供与文本通道的量化对照。这些缺口不否定主结果的可信度，但意味着“语音差距可被训练弥补”的结论目前仅在所述管线与同构 30B 设置下成立。
若要复现，需要什么、缺什么、成本是多少？
可复现的部分已披露得较细：环境形式化为 POMDP，奖励为 5 个二值分量的乘积，GRPO 每任务采样 4 条轨迹，折扣 0.99，过程奖励±0.1，最大 50 步，LoRA 秩 88、缩放 16，仅训练 Thinker 线性投影。系统上通过 vLLM-Omni 以 OpenAI 兼容接口同时服务两个 30B 模型，单台 8×H200 上三台双卡推理服务与双卡训练并行，LoRA 按请求名热加载，首组无适配器采样与飞行中更新的近策略偏差由裁剪容忍。
缺失的部分同样关键：论文未提供代码链接、模型权重与数据集发布链接，未说明优化器类型、学习率、warmup、batch size、总步数、解码温度与采样策略，也未给出检查点或配置文件下载。奖励路径已审计与 τ2-bench 金标准一致且 vLLM 与非 vLLM 路径一致，这一点有助于核对实现正确性。
成本上，本地闭环的优势很明显：端到端每 epoch 加速 5.4 倍且 API 成本为 0，而若用闭源语音接口级联，单 epoch 超 200 美元、7 epoch 超 1400 美元、1000 epoch 接近 20 万美元。这意味着第三方若想在同等采样量下复现训练，必须具备本地部署两个 30B 全模态模型的能力，否则仅靠 API 难以承担。
把测量问题变成优化问题之后，还剩下什么？
回看起点，语音智能体的困境曾被描述为“测得出、治不了”：大家都知道文本到语音会掉点，但没有一个可训练、可求梯度的环境让模型在声音里试错。SpeechGym 的贡献在于把这件事变成标准 Gym：任务与判分不动，只把通道换成原生音频，让两个开放全模态模型在本地以波形对话，工具与奖励保持文本基准不变。
在这个受控环境里，论文给出两点清晰判断。第一，掉点的主因是感知而非推理——听错一个槽位值就足以让后续工具调用与重试全部失效；第二，低成功率下的训练障碍是梯度饥饿而非信号缺失——用每次工具调用的成败做稠密塑形，就能让几乎全失败的分组重新产生可学习的排序。这两点共同把“语音差距”从不可优化的体感变成了有目标、有梯度、有停止准则的优化问题。
对刚入方向的研究生而言，这篇工作的启示不在于某个具体数字，而在于研究范式的转换：当你把声学、对话与工具使用放在同一个闭环里联合优化时，模型会自发学会一些未被显式奖励的行为，如要求拼写、纠错重试。下一步值得追问的是，这些能力在更嘈杂、更多样、更开放的真实语音场景中是否依然成立，以及如何在不依赖单一基座与干净自播音频的前提下，让语音智能体真正走向可部署。
📎 论文与评分元数据
标签：#语音交互 #强化学习 #音频交互 #语音大模型 #基准测试
7.6/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
✅ 7.6/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #语音交互 | #强化学习 | #音频交互 #语音大模型 | arxiv
⚖️ 评分依据与证据（展开查看）
逐维得分、全文证据与扣分边界
创新性 (1.6/2)：将 τ2-bench 任务与判定完整搬到音频原生闭环，用冻结 Qwen3-Omni-30B-A3B 用户与同构 Thinker-Talker 以波形对话实现本地可训练 RL，属系统级新能力；过程奖励使携带梯度分组从 16% 升至 99.6% 并支撑跨管线 24% 到 53% 的翻倍迁移，组合有实测支撑
技术严谨性 (1.2/1.5)：以 POMDP 形式化状态与观测动作，明确 GRPO 组内标准化优势与裁剪目标及 KL-free beta 为 0 的约束，奖励取 5 个二值分量乘积且已审计与 τ2-bench 金标准一致，过程塑形明确声明非势保持，逻辑自洽无推导错误
实验充分性 (1.2/1.5)：保留文本与语音双基线量化 2% 到 32% 的 16 倍听错放大及 Outcome-only 16% 对过程奖励 99.6% 的直接消融，跨管线在 Airline 24% 到 62% Retail 45% 到 73% Telecom 4% 到 24% 均 95% 置信区间不重叠；仅 3 个客服域且为单一 Qwen3-Omni 干净自播音频，未报告种子方差与训练曲线，商用系统分数未重跑
清晰度 (0.8/1)：按重置 步进 奖励接口组织 4 组件与数据流，POMDP 符号与 GRPO 公式及 Gt 折扣定义完整，用 2 张主表分别承载诊断与跨管线结果并辅以行为与效率文字补充，结构清晰可核对
影响力 (1.2/1.5)：面向语音交互核心任务，将语音差距从只能测量转化为可优化问题；在独立 τ-Voice 管线上总体 pass@1 从 24% 提升至 53% 达 2.2 倍，开放 30B 模型从末位升至第 2 位并超越多个商用实时系统，为音频原生智能体训练提供可复用范式
开源 (0.0/1.5)：论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。
可复现性 (0.3/0.5)：已披露 K 为 4、gamma 为 0.99、过程奖励正负 0.1、Tmax 为 50、LoRA rank 为 88 alpha 为 16 及 8xH200 上 3 个 vLLM-Omni 服务加 2 卡 bf16 训练的部署；但未说明优化器、学习率、warmup、batch size、总步数、温度与解码策略，关键配置有少量缺失
工程/实践价值 (1.3/1.5)：提供标准重置 步进 奖励接口与 vLLM-Omni OpenAI 兼容服务，单轮一次请求完成 base64 WAV 交互并支持 LoRA 按请求热加载；实测端到端每 epoch 5.4 倍加速且 API 成本为 0 美元，8xH200 单机 3 服务并发采集 K 为 4 的轨迹形成可复用流水线