英文题目：SALMONN-duo: Adaptive Dual-System Coordination for Full-Duplex Voice Agents
标签：#语音代理规划与工具使用 | #强化学习 | #全双工语音交互 | #语音 | #流式处理
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Wenyi Yu：Tsinghua University
- Siyin Wang：Tsinghua University
- Terumi Chiba：Tsinghua University
- Xianzhao Chen：ByteDance
- Xiaohai Tian：ByteDance
- Jun Zhang：ByteDance
- Lu Lu：ByteDance
- Chao Zhang：Tsinghua University
📌 核心摘要
全双工语音交互要求模型在 80 ms 时间块粒度上边听边说，而知识密集问答与环境接地任务需要可变时延的检索推理与工具调用，两者时序冲突是核心难点。SALMONN-duo 采用快思考前端（System 1）常开交互、慢思考后端（System 2）异步求解的分工：前端先输出填充应答并尽早发出委派决策，后端基于快照推断意图并返回参考答案或工具状态，前端再按到达顺序与用户新指令重排播报。相对 MoshiRAG 近乎全量检索与 VoiceChat 几乎不用工具的按题型规则，该工作以知识边界感知监督微调（Supervised Fine-Tuning，SFT）加成本感知分组相对策略优化（Group Relative Policy Optimization，GRPO）显式优化调用效用。在 TriviaQA 上系统达到 80.2% 准确率且调用率仅 25.0%，显著优于 MoshiRAG 以 99.9% 调用实现 75.8% 的代价结构；在定制 τ-Voice 上通过成本与安全奖励将总通过率从 SFT 的 57.0% 提升至 64.0%，追平 GPT-realtime-1.5。结论限于仿真延迟与后端多用真值转录假设下的英语问答与三领域任务对话，真实噪声、中断与跨语言外推尚未验证。原文未披露训练时长与推理部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，为什么实时与解题会冲突？
本文输入是连续的用户语音流与助手正在生成的语音流，目标是在保持自然对话的同时完成知识问答与环境落地的多轮任务。论文研究的不是单轮转写后回答，而是人在说话中会打断、补充、修正意图，助手需要边听边说并及时确认。输出是助手的流式语音，以及必要时对后端智能体的异步调用与随后融合信息的口语回复。
必须保留的信息包括实验条件与学习依赖：前端基于 SALMONN-omni 与 Llama-3.1-8B-Instruct，后端在知识问答用 gpt-4o-2024-11-20、在任务对话用 gpt-5.2-2025-12-11，评估默认给后端真实对话历史，延迟按仿真采样而非真实部署测量。输出是 1 篇可核对、可复述方法的解读，不做超出证据的效果承诺。
核心矛盾是时间尺度不同。日常问候与简单问题用轻量模型即可低延迟处理，但需要新鲜知识、多跳推理或私有环境状态与策略约束动作的任务，其计算量随请求难度变化。若把模型做大以应付偶发难题，则每轮日常交互都付出更高成本；若统一在前端直接生成工具调用，则实时效率与任务能力互相牵制。
全双工 × 半双工： 全双工指前端在持续听用户语音流的同时也在生成助手语音，可以处理打断进入与低延迟接话；半双工指等用户一轮结束才开始处理，生成时不能再听。SALMONN-duo 把全双工作为系统一的分工来承担连续响应，把耗时可变的推理与工具执行交给异步系统 2，搭配理由是两者时间尺度不同，组合后日常问候由轻量前端直接处理，复杂任务才付出后端延迟。
为便于初学者理解，可以把任务想象成前台接待与后台专家的分工，但这只是帮助记忆的例子。真实机制是前端按 80 毫秒时间块交织处理语音流，后端按调用时刻的上下文快照独立执行，评价看的是准确率、委派率、任务通过率与安全指标，而非比喻本身。
同类路线如何处理全双工与工具调用？
全双工语音大模型的一条路线是压缩多路音频流，例如用量化变换或池化把多流压成单流；另一条路线是把用户流与助手流按时间块交织成语言模型可直接处理的序列。SALMONN-omni 属于后者，本文在其基础上移除回声流以缩短序列、支持更长任务对话。近期工作还开始给全双工模型加入推理能力，但论文指出仅有推理仍不足以完成需要工具与环境状态的真实任务。
在语音智能体的工具使用上，一类做法是在主干上另加生成工具调用的分支，直接输出结构化调用；另一类是异步调用其他模型，由前端决定何时求助。MoshiRAG 属于双系统异步调用，VoiceChat 属于另加通道直接生成调用。本文选择后者，理由是保持系统一轻量，同时可插拔使用更强的前沿后端，避免为偶发复杂任务放大每轮交互成本。
与基于文本的路由研究相比，FrugalGPT 与 RouteLLM 等学习在能力与成本间选择模型，Router-R1 等用结果与成本奖励优化路由。本文的不同在于全双工的实时约束与对话展开中的信息融合：必须在开始说话时尽早决定是否委派，而不是生成多个候选后再选。返回结果可能乱序到达，且用户可能在此期间提出新请求，前端必须按当前上下文重排回答顺序。
要解决的具体判断是什么，难在哪里？
具体判断是每个需要开始说话的时间块上，前端要决定直接回答还是先说填充语并委派给系统 2。判断过早自信会导致知识或推理密集问题、时效问题与需工具任务失败；过于谨慎则连问候与简单问题也触发后端，使语音交互退化为缓慢的级联调用。
难度来自三点。第一，信息不完备时就要决策，不能等完整推理展开。第二，知识边界随训练变化，且长程多轮对话存在暴露偏差，监督阶段学到的阈值在部署中可能漂移。第三，任务型对话的成功是回合级稀疏信号，失败常表现为编造事实、歪曲后端信息或违反领域策略，仅用通过与否难以给出有效训练信号。
论文把知识问答与任务对话分开处理。对知识问答，关键是判断问题是否在自身知识边界内；对真实多轮任务，还要理解用户目标与领域策略，知道何时收集信息、何时请求确认、何时必须调用工具。评估也相应分为单轮口语问答、多轮日常对话中的知识问答，以及定制版任务型对话与打断处理。
双系统全景：谁负责什么，信息如何流动？
SALMONN-duo 由常开全双工前端与异步后端组成。前端持续监听用户语音，同时生成助手语音；一旦决定委派，就把调用时刻的上下文快照交给后端，后端推断意图并执行任务，前端在此期间用填充语保持响应，收到结果后再自然地并入正在进行的对话。后端可以是单个大模型智能体，也可以是协调多个专家智能体与工具的编排层，只要能返回前端可理解的参考答案或任务状态。
下图给出系统框图，值得按流式与异步两类箭头阅读。用户语音一方面进入前端，另一方面经流式语音识别进入对话历史管理器；前端的委派信号与快照进入后端，后端结果经历史管理器再回到前端形成最终口语回复。
看图路径： 1. 先沿用户语音到流式语音识别再到对话历史管理器的实线确认主交互路径；2. 再看从系统一发出的委派虚线与快照如何进入右侧异步后端；3. 对照图例区分实线流式与虚线异步，确认环境只与后端和用户有虚线交互
论文图 2。原论文 Figure 2:：“SALMONN-duo comprises two collaborative systems: System 1 interacts with the user in a full-duplex manner, adaptively invokes an asynchronous system 2, and naturally incorporates…”。
从该框图可见的设计取舍是前端只负责是否委派，不负责解释意图与执行任务。这种从简分工把复杂性推给后端，使前端保持轻量与实时。代价是后端看到的是快照而非后续增量，若用户在等待期间大幅改变意图，前端必须自己处理排序与衔接，不能指望后端自动追踪最新对话。
系统 1 × 系统 2： 系统一是基于 SALMONN-omni 的实时交互前端，负责听、说、判断是否委派以及融合返回信息；系统 2 是异步后端智能体，负责按快照理解意图、调用工具或生成参考答案。搭配理由是遵循从简原则，系统一只做是否委派的二选一，不在前端完成任务执行，组合后前端保持响应，后端独立求解，结果再插回时间块继续对话。
前端如何听与说，委派机制比较了什么？
系统一基于 SALMONN-omni，去掉回声流以减少序列长度。编码器采用流式语音编码器，骨干为 Llama-3.1-8B-Instruct，合成器由 CosyVoice2-0.5B 改造为交织文本嵌入与语音编解码词元的流式合成器。后端返回的输出按每个时间块插入固定数量词元作为前端上下文，论文在该工作中设为每块 100 个词元。前端因此不需要另设复杂融合模块，而是把后端信息当作可读上下文继续生成。
前端被赋予两项新能力。一是路由判断，即当前用户请求是否送往后端；二是在保留打断与应答能力的同时，生成及时的填充、理解异步到达的信息并无缝并入回复。由于不同委派的复杂度不同，结果可能与调用顺序不一致，且用户可能追加请求，前端必须结合结果到达时的当前上下文决定先说什么。
填充话语 × 参考答案： 填充话语是系统一在等待后端期间先说的确认语，例如表示正在核查可用选项；参考答案是系统 2 异步返回的事实或任务状态更新。分工上填充维持交互不冷场，参考提供最终回答的依据，搭配理由是后端延迟不可避免，组合后系统一需按到达顺序与用户新指令重排回答，不把工具痕迹直接暴露给用户。
论文比较了两种在开始说话时刻做决策的实现。第一种是委派头，取语言模型骨干中间层隐状态输入新增分类头；第二种是委派词元，把是否委派直接作为回复的第一个生成词元。比较的公平条件是都不给系统 2，测无后端时的回答准确率；再测路由区分度与强制调用下最终回答与参考的一致率。
委派标记 × 委派头： 委派头指在语言模型骨干中间隐状态上另加分类头来判定是否调用后端；委派标记指把 DELEGATE 作为前端回复的第一个生成词元，由自回归生成直接决定。论文比较后选择委派标记，分工上前者是外挂判别器，后者是生成策略的一部分，搭配比较显示后者对原有问答能力干扰更小，组合意义是保留流式生成顺序并用该标记引导后续填充与等待行为。
下表是在口语问答上的对照，覆盖不同中间层深度的委派头与委派词元方案。阅读时先看无后端准确率是否下降，再看区分度与一致率是否同时保持，指标方向是准确率与一致率越高越好，区分度越高表示越能分开需要与不需要委派的问题。
| Routing | TriviaQA | TriviaQA | TriviaQA | HotpotQA | HotpotQA | HotpotQA | HaluEval | HaluEval | HaluEval |
|---|---|---|---|---|---|---|---|---|---|
| delegation head ℓ=16 | 56.9 | 0.661 | 98.1 | 17.7 | 0.639 | 93.1 | 20.4 | 0.737 | 93.8 |
| delegation head ℓ=24 | 55.5 | 0.677 | 97.8 | 16.6 | 0.661 | 92.8 | 19.3 | 0.691 | 92.0 |
| delegation head ℓ=32 | 54.5 | 0.684 | 96.6 | 13.6 | 0.619 | 93.5 | 15.5 | 0.741 | 90.8 |
| delegation token | 68.5 | 0.745 | 98.6 | 23.6 | 0.691 | 94.5 | 31.1 | 0.732 | 93.6 |
表后解释需要同时看收益与代价。委派词元在无后端准确率上明显高于各层委派头，说明对原有能力干扰最小；在区分度与强制调用一致率上总体也更好。论文因此在后续实验统一采用委派词元。未胜出项是各层委派头，其教训是外挂头虽能利用隐状态信号，但仍不如把决策纳入自回归生成自然。边界是论文暂不考虑系统一纠正参考错误，理由是假设真实场景中系统 2 更强。
后端延迟如何仿真，公式符号是什么？
后端延迟在实验中是仿真的。知识问答通常只需 1 次后端调用，沿用 MoshiRAG 的延迟采样策略；任务对话 1 次委派可能包含多次后端调用，则按调用次数独立采样求和。知识问答的采样先定义前导无关知识片段时长，再按条件分布采样检索延迟，任务对话的每次调用则在 1.5 至 2.5 秒均匀采样后求和。
该公式的输入是前导时长与均匀随机数，输出是仿真延迟，符号与计算目标如下式所示，代码将注入原文公式以保证可核对。
\[p\sim\mathcal{U}(0,1),\qquad\delta^{\prime}\sim\begin{cases}\mathcal{U}(0,\delta_{\mathrm{lead}}),&\text{if }\delta_{\mathrm{lead}}<2\text{ or }p<0.2,\\[4.0pt] \mathcal{U}(1,\delta_{\mathrm{lead}}-1),&\text{otherwise}.\end{cases}\]该公式的教学要点是分段逻辑：当前导片段短于 2 秒或以较小概率触发时，在整个前导区间内均匀采样；否则保留至少 1 秒的间隔再采样，以覆盖常见与极端快慢两种情况。因为所用后端单次调用约需 2 秒，任务对话按次数求和。仿真覆盖了延迟变化范围，但不是真实部署测量，复述时不应把仿真延迟当作实际延迟承诺。
监督数据如何构造，强化奖励如何排序？
知识边界感知监督的构造逻辑是按本地模型的实际试答正确性打标，而非按数据集或话题打标。单轮问答对每题用系统一骨干采样 3 个回复，按正确性决定目标是直接回答还是以委派开头；需委派样本还生成与上下文相符的填充句以提高响应性。多轮日常对话用三角色流水线生成，细节见下图导读。
下图是多轮对话生成流水线，阅读时先走完话题设置到轮次生成再到监督的主路径，再看监督后分叉为保留与修复的两条去向，图中标注了所用模型与判断字段。
看图路径： 1. 从左侧话题设置沿箭头走到中间轮次生成再到右侧轮次监督；2. 注意监督后分叉为保留与进入下方修复的两条去向条件；3. 确认用户模拟与助理模拟分别标注为不同模型以避免同族盲区
论文图 4。原论文 Figure 4:：“Knowledge boundary aware multi-turn conversation generation pipeline.”。
从可见像素看，该流水线用不同家族模型分别扮演用户、助理与监督者，以避免共享知识盲区。具体是用户模拟器按隐藏话题与历史生成下一轮口语，助理模拟器只看历史不看隐藏话题生成初版回复，监督者判断最新一轮是否为查询、初版是否正确并给出简洁参考。只有被判为查询且初版错误才触发修复，修复时同一助理再按完整记录、参考与已用填充生成填充加最终答案的两段结构输出。生成后做归一化过滤，拒绝空、代码式或非对话文本，结构化输出不合规则重试，仍不合规则则丢弃该对话。
知识边界感知微调 × 成本感知分组相对策略优化： 知识边界感知微调负责用本地模型多次试答的正确性构造是否委派的监督目标，让模型只直接回答能答对的问题；成本感知分组相对策略优化负责在采样组内按正确性与是否委派排序奖励，并惩罚不必要委派。前者提供初始路由，后者纠正长程暴露偏差与演化的知识边界，组合意义是在保持准确的同时降低后端使用率并改善对参考答案的遵从。
成本感知分组相对策略优化的奖励按任务区分。知识问答有标准答案，只需在目标轮生成一组候选并按偏好排序：直接答对优于委派后答对，优于直接答错与委派后答错，后两者相等。任务对话需在多轮回合级训练，因二值通过奖励稀疏，另引入幻觉与策略违反的安全奖励，按轮计算再在回合内平均；并引入成本奖励，对未产生工具调用的后端委派每次扣分，鼓励只在需工具时委派。训练用组大小为 4，其余优化器与权重配比见实验条件节。
用什么数据、模型与评测条件做比较？
模型方面，系统一用流式编码器与 Llama-3.1-8B-Instruct 骨干，可训练部分包括秩为 32 的低秩适配器、编码器到语言模型连接器、语言模型到合成器连接器与合成器语言模型模块。知识问答后端用 gpt-4o-2024-11-20，任务对话后端用可访问领域环境与工具的 gpt-5.2-2025-12-11，流式语音识别用实时转写模块。训练从 SALMONN-omni 检查点初始化，在 64 块显卡上进行监督与强化 2 个阶段，监督先短音频大批量热身再长音频小批量适应长任务，强化时合成器继续监督训练、其余模块做强化，组大小为 4。
数据方面，监督集含约 30.9 万单轮问答、3.6 万多轮日常对话与约 3.2 万任务回合。单轮与多轮的知识部分取自 TriviaQA、Natural Questions 与 HotpotQA，单轮中约 36.6% 需调用系统 2，多轮中约 61.2% 助理轮回应知识问题、其中约 13.4% 需调用系统 2。任务训练混合了定制任务生成的回合与公开任务数据的子集，用户与助理公开对话用高质量语音合成转为音频。
评测分三块。口语问答用 OpenAudioBench 的 Llama Questions、Web Questions、TriviaQA，加上 MoshiRAG 所用 HaluEval 测试集与新合成的 HotpotQA 多跳子集，先离线转写生成音频再用大模型判正确性。多轮日常对话自建 923 个 3 至 5 轮对话，测最后一轮知识问题时给定前文。定制任务对话在测试划分上评估，关闭打断与背景噪声等原始设置，并插入打断问题测顺序与准确性。评估默认后端可访问真实对话历史，延迟为仿真值；资源状态方面，本次未发现可验证的公开代码与模型链接，因此不声称代码、模型或数据已公开。
单轮与多轮知识问答：准确与委派如何权衡？
本节要回答的是在允许自主决定是否取参考时，模型能否在难题上多求助、在简单题上少求助。比较对象包括半双工语音模型、全双工语音模型与双系统语音智能体，公平条件是对后者按 1.5、2.0、2.5 秒延迟平均性能，指标是回答准确率越高越好、委派率越低越好，但两者需联合阅读，单看一端会误判。
下表是多轮日常对话的对照，报告第 3、4、5 轮与平均准确率以及总体委派率，可用于观察自适应委派在多轮上下文中是否仍然有效。
| Model (Base LM Size) | %Acc. | %Acc. | %Acc. | %Acc. | %Del. |
|---|---|---|---|---|---|
| Qwen2.5-Omni (7B) | 35.6 | 36.3 | 33.5 | 35.2 | |
| Qwen3-Omni-A3B-Ins. (30B) | 46.0 | 42.7 | 45.0 | 44.5 | |
| MoshiRAG (7B) | 55.5 | 51.7 | 56.0 | 54.3 | 95.6 |
| SALMONN-duo (8B) | 59.2 | 52.9 | 56.5 | 56.2 | 61.9 |
表后解读需同时讲收益与边界。SALMONN-duo 平均准确高于所列基线且委派率明显低于几乎每次都求助的基线，支持自适应委派在多轮中仍有效。未胜出边界是其委派率仍超 60%，说明多轮知识问答整体偏难，不能把该数字直接理解为日常闲聊的调用率；不同轮次准确存在波动，总体趋势不等于每轮都单调改进。
下图是打断场景的示意，展示用户在原任务进行中插入新问题时，前端如何先确认、再按指令与结果到达时机重排回答。该图不是性能曲线，应按时间顺序阅读两条语音流的交叠与后端工具框的回填位置。
看图路径： 1. 沿时间轴从左向右看用户请求、前端确认、打断问题与后端结果回填的顺序；2. 注意中间红色打断标记处上下两条语音波形如何交叠；3. 观察上方后端工具调用框与下方前端口语回复的对应关系
论文图 1。原论文 Figure 1:：“Illustration of SALMONN-duo completing a user task through adaptive tool use, real-time handling of complex conversational dynamics (e.g., user barge-in), and seamless delivery…”。
从该示意可见，前端在等待期间先说正在核查可用选项，打断问题到达后处理新旧两路请求，后端结果到达后再补足原任务并继续对话。教学要点是顺序不是固定的先新后旧，而是取决于用户是否明确要求原任务优先以及原任务结果是否已在打断结束前就绪，具体规则在后文打断表展开。
打断顺序：能否按要求先说什么？
打断处理要求按用户指令与系统 2 结果到达时机输出期望顺序，并保证打断问题的回答准确不受原任务影响。评估选择调用后端的较长轮次插入知识问题，构造出原任务优先与新问题优先两种期望，指标是顺序遵守率越高越好、打断问题准确率越高越好，两者需分别阅读。
下表报告顺序遵守与打断问题正确性，最后一行对应成本感知强化后的变体，中间行对应监督基线，首行是单轮参考水平。
| Model | %Acc. | %Acc. |
|---|---|---|
| Reference | 76.8 | |
| SFT | 81.9 | 77.2 |
| cost-aware GRPO | 87.8 | 74.7 |
表后解读显示模型能以较高比例遵守期望顺序，且打断问题准确与单轮参考水平接近，支持前端在融合后端信息时未丢失对新请求的注意力。限制是打断轮选自调用后端的较长轮次，场景经人工设计使两种顺序自然出现，因此不能推广到任意时刻的随机打断；成本感知强化后顺序遵守提升而打断准确略有起伏，说明顺序与事实准确是两个需分别阅读的指标。未评测边界是原始基准的频繁打断检查在定制评估中被关闭，真实高频打断仍待补测。
成本感知强化与延迟敏感性：哪些因素真正影响系统？
本节要回答的是在固定直接答对奖励的条件下，强化是否改变路由区分度与对参考的遵从，以及后端返回快慢是否大幅改变最终准确。比较的是监督基线与不同奖励取值的强化变体，指标是区分度与强制调用下与参考的一致率，越高越好；延迟比较在 3 种仿真延迟下进行，指标是准确率。
下表是不同委派机制在更多问答集上的补充对照，可视为对主表选择的稳定性检查，同样报告无后端准确率、区分度与强制调用一致率。
| Routing | LlamaQ. | LlamaQ. | LlamaQ. | WebQ. | WebQ. | WebQ. | MultiTurn | MultiTurn | MultiTurn |
|---|---|---|---|---|---|---|---|---|---|
| delegation head ℓ=16 | 74.0 | 0.709 | 96.7 | 56.7 | 0.696 | 93.9 | 22.2 | 0.709 | 91.9 |
| delegation head ℓ=24 | 74.3 | 0.701 | 97.0 | 57.7 | 0.683 | 92.0 | 23.0 | 0.704 | 91.6 |
| delegation head ℓ=32 | 71.0 | 0.666 | 96.7 | 54.3 | 0.691 | 93.6 | 19.8 | 0.727 | 90.9 |
| delegation token | 77.0 | 0.764 | 98.3 | 65.2 | 0.718 | 93.6 | 35.0 | 0.730 | 93.6 |
表后解读应区分单轮与多轮、区分度与一致率。总体上委派词元在无后端准确率与一致率上保持优势，支持其对原有能力干扰更小的判断。未胜出项是各层委派头在个别区分度数值上接近，但无后端准确率差距明显，说明不能只看区分度就选择外挂头；该表是机制消融而非强化消融，强化收益需结合权衡曲线再判断。
延迟敏感性要回答的是后端返回快慢是否大幅改变最终准确，比较在 1.5、2.0、2.5 秒 3 种延迟下的三系统表现，条件是同一问答集与同一判分流程。
| Model | LlamaQ. | WebQ. | TriviaQA | HotpotQA | HaluEval |
|---|---|---|---|---|---|
| MoshiRAGδ=1.5s | 82.7 | 73.2 | 85.4 | 53.9 | 47.3 |
| MoshiRAGδ=2.0s | 74.1 | 70.7 | 78.0 | 48.2 | 42.6 |
| MoshiRAGδ=2.5s | 62.0 | 64.8 | 63.9 | 38.4 | 33.9 |
| VoiceChatδ=1.5s | 68.3 | 45.0 | 38.7 | 10.7 | 10.3 |
| VoiceChatδ=2.0s | 68.3 | 45.0 | 38.8 | 10.9 | 10.0 |
| VoiceChatδ=2.5s | 68.0 | 45.0 | 38.3 | 9.7 | 9.4 |
| SALMONN-duoδ=1.5s | 80.0 | 71.3 | 80.3 | 46.2 | 44.3 |
| SALMONN-duoδ=2.0s | 79.3 | 71.6 | 80.4 | 46.0 | 43.9 |
| SALMONN-duoδ=2.5s | 79.7 | 71.5 | 79.9 | 46.2 | 43.6 |
表后解读的关键反例是频繁取参考的基线随延迟明显波动，而本文系统在 3 种延迟下相对稳定，支持直接插入时间块的融合方式对延迟不敏感。未胜出边界是很少取参考的基线几乎不受延迟影响，但其绝对准确较低，说明不受影响不等于表现好；延迟仿真未覆盖真实网络与多调用排队，部署时仍需实测。
下图是准确率随委派预算变化的曲线，横轴为委派率，纵轴为准确率，两条曲线分别为监督与强化。阅读时不要只看终点，要看低预算区间的差距。
看图路径： 1. 先确认横轴为委派率纵轴为准确率，三个面板分别为不同评测集；2. 比较每面板中监督与强化两条曲线的相对位置而非单点数值；3. 观察低委派率区间两条曲线的差距是否大于高委派率区间
论文图 3。原论文 Figure 3:：“The impact of cost-aware GRPO on accuracy–delegation trade-offs of SALMONN-duo on single- and multi-turn knowledge-based question answering tasks.”。
从可见像素看，3 个面板中强化曲线在中低委派率区间多位于监督曲线之上，高委派率区间逐渐接近，支持强化提升了委派效用而非仅靠增加调用提高准确。限制是像素不能精确读出每步数值，复述时只讲相对位置与区间趋势；且该图是按委派预算重排后的权衡，不是部署中单次阈值的实际收益，实际收益还取决于阈值选择与后端延迟。
证据不支持什么，还缺哪些验证？
论文直接报告的是在给定后端与仿真延迟下的准确、委派、通过与安全指标，支持自适应委派改善权衡的判断。可能但待验证的是真实部署中的延迟、成本与误判率，因为延迟是采样的，评估默认后端可见真实历史，转写影响只在问答子集上分析，未系统测量每步实际耗时与费用。
未评测边界包括系统一纠正后端错误的能力，论文明确假设后端更强而不考虑纠错；打断评估关闭了原始基准的频繁打断检查并选用较长委派轮次，不能代表任意时刻的随机打断；任务评估限于测试划分且移除了噪声与说话人变化，真实环境的鲁棒性仍需补测。
相关性不等于因果的例子是安全奖励与通过率同时改善，不能据此断定某一轮安全改进必然导致该回合通过；总体趋势不等于每组都成立，例如不同奖励取值在不同数据集上各有胜负。缺少的证据不是技术错误，但在引用时应使用报告与支持的措辞，对未测量量不做改善承诺。训练资源与推理开销也应分开讨论，前者是 64 卡 2 阶段训练，后者是流式前端每步成本与后端调用次数，两者不能互相替代。
若要复现，应先准备什么，按什么顺序做？
先准备数据与模型条件。数据按单轮问答、多轮对话与任务回合三部分组织，知识部分来自 3 个公开问答集，任务部分混合定制任务生成与公开任务子集，音频用指定合成器与说话人提示生成。模型从 SALMONN-omni 检查点初始化，按论文给出低秩秩数、连接器范围、优化器与学习率设置监督阶段，再按组大小与损失权重设置强化阶段。后端与判分模型需按知识与任务分别配置为论文指定的版本，流式识别与语音合成服务需单独部署。
再按流水线复现。第一步复现单轮打标，即对每题多次试答后按正确性决定是否委派；第二步复现多轮三角色生成与过滤，保留查询判断、正确性与参考的结构化字段；第三步复现延迟仿真，知识问答用分段均匀采样，任务对话按调用次数求和；第四步复现评估，先离线转写再用对应提示判分，任务对话用幻觉与策略两个专用审计提示分别打分。
需保留的关键超参数包括每块插入词元数、试答采样数、组大小、奖励排序与三项奖励权重。信息条件方面，评估默认后端可见真实历史，复现时应同时测真实转写条件以观察差距。代码与权重方面，本次未获得可验证的公开链接，不声称已公开或可下载，复现应以论文文字与附录提示为依据搭建，缺项明确记为缺项而不从模型名推定实现。
何时值得尝试这种分工，首要误解是什么？
当语音交互要求持续响应，而任务偶发需要强推理或工具时，这种分工值得尝试。具体信号是简单问题占比高但长尾难题决定体验，且后端调用有明确成本或延迟；此时让轻量前端承担全部日常交互，只在知识边界外或需工具时委派，比把前端做大或每次都调用后端更划算。若任务几乎每轮都需工具，或后端并不比前端更强，则分工收益会缩小，应先测委派率与有效委派占比再决定。
首要误解是把委派率低直接当作好。论文的评价始终是准确与委派联合阅读，有效委派占比与安全指标同样重要；在任务对话中，适度增加能带来工具调用的委派是可以接受的，单纯压低调用可能损害通过率。另一个误解是把仿真延迟下的稳定当作真实延迟保证，实际部署需补测网络、排队与多调用并发的影响。
收束时回到可执行清单：用试答正确性建立初始知识边界，用成本感知强化校正长程偏差，用安全奖励约束编造与违规，用有效委派率而非原始委派率衡量任务分工。按此顺序复现与验证，才能把论文报告的权衡转化为自己场景中的可部署收益。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses