📄 全双工语音模型如何在说话的同时接受指挥
标签：#全双工语音交互 | #强化学习 | #基准测试 | #轮次切换
评分：6.7/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Haolong Zheng：机构信息未在 arXiv HTML 中可靠披露
- Maike Züfle：机构信息未在 arXiv HTML 中可靠披露
- Dominik Macháček：机构信息未在 arXiv HTML 中可靠披露
- Peter Polák：机构信息未在 arXiv HTML 中可靠披露
- Xulin Fan：机构信息未在 arXiv HTML 中可靠披露
- Xavier Sumba：机构信息未在 arXiv HTML 中可靠披露
- Siyin Wang：机构信息未在 arXiv HTML 中可靠披露
- Ondřej Klejch：机构信息未在 arXiv HTML 中可靠披露
- Mark Hasegawa-Johnson：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全双工语音模型需要边听边说，输入是对方连续音频与不断增长的对话历史，输出是本方语音或静默及说话时机，难点是系统提示词的约束会随历史变长而漂移，且实时延迟限制了大模型做长程规划。作为用户模拟器使用时，偏离预设人设和阶段顺序会改变被测对象的测试条件。方法上，论文先构建模拟器指令跟随基准SimIF-Bench，复用200个分阶段场景并固定PersonaPlex为考生，用大语言模型裁判转录文本的主题adherence、自然度和阶段顺序。再训练可操控前端SteerablePlex，把导演指令以特殊起止符号拼接到模型文本流中，插入期间音频流填静默且对话时间不推进。最后用组奖励解耦归一化策略优化Group Reward-Decoupled Normalization Policy Optimization，GDPO联合优化目标完成、自然度和轮次切换，并由异步文本大语言模型导演每2 s更新目标状态并决定发送、等待或不发送指令。与已有系统提示词控制和KAME持续改写式操控不同，该设计只在需要时注入短祈使指令，并保留前端原生抢话与退让能力。原文未提供可核对的关键定量结果。该结论仅在上述200个分阶段模拟器场景、通话限时120 s且以PersonaPlex为固定考生的条件下得出，单指令训练的任务无关版本多指令协调不足，在更长对话、其他考生或真实用户条件下尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全双工对话要解决什么输入输出问题
刚进入语音交互的读者可以先把任务想成一路进、两路出的连续流。输入是对方源源不断的语音，模型要同时决定自己这侧是发声还是静默，并在发声时决定说什么、什么时机停下来让对方说。输出因此不是 1 次写完一段文字，而是随时间展开的模型语音，以及内部与语音对齐的模型文本。
论文讨论的场景是把这样的模型当作用户模拟器或考官使用，例如让它扮演有固定身份的人，按脚本发起请求、隐瞒部分信息、纠正自己，以此考查另一个被测智能体的任务能力。这就多了一个必须保留的信息：预先写好的多阶段脚本与阶段顺序。评价时不仅看语音是否自然，还要看是否在动态互动中把规定阶段按顺序走完。
论文指出，只靠开场系统提示词的控制会随历史变长而漂移，而前端延迟预算又限制了模型尺寸与长程规划能力，所以提出能否在运行时持续引导模型的问题。理解这一点很重要：自然不等于有效，如果模拟器偏离脚本，被测对象实际经历的是另一场对话，评价结果就混入了模拟器错误。
已有路线为什么还不够
论文把相关工作放在两条线上比较。第一条是全双工语音模型本身，特点是边听边说，能处理重叠、打断与简短回应声，输入输出都是连续音频流，目标是交互自然。第二条是把这类模型当考官或用户模拟器的做法，例如 Full-Duplex-Bench v2 用 GPT-Realtime 做考官、按多阶段脚本考查考生，输入多了脚本与阶段目标，输出多了对对话走向的引导。论文的比较保持了输入与运行阶段一致：在同样的 200 个分阶段场景与同样的互动仿真设置下，看考官一侧的主题贴合、自然度、阶段完成与阶段顺序。
作者还对比了思路最接近的 KAME 系统。KAME 同样用后端大语言模型引导全双工前端，但其前端被训练去实现并延续后端给出的回复，是一种持续改写式的引导。论文的实验结论是这种持续干预能提高完成度，但会牺牲自然度并削弱前端原生的轮替行为。Raon-SpeechChat-9B 则作为同期开源全双工模型的代表，说明在动态互动下按序完成全部目标的困难是普遍的。
这些比较不是把类别差异写成胜负，而是把同一考官任务、同一被考者固定为 PersonaPlex、同一 120 秒通话上限与同一转写加语言模型裁判流程下的表现差异讲清楚。
SimIF-Bench 具体测什么
SimIF-Bench 即模拟器指令跟随基准，是论文为量化考官偏离脚本而设的测量。它复用 Full-Duplex-Bench v2 的 200 个分阶段场景与互动仿真设置，但把评价对象从考生换成考官，把被考者固定为 PersonaPlex。每次通话在 120 秒后结束，对话先被转写，再交给语言模型裁判。裁判做 3 次判断：主题贴合与自然度在 1 到 5 分量表上打分，对话目标完成情况，以及严格的四目标顺序是否完全按序完成。类别判断用多数投票，自然度取中位数，并且每个判断都要求引用转写证据。
论文用四块面板报告结果：主题、自然度、任一说话人完成目标的完成率，以及仅考官按序完成的严格顺序完成率。这种设计区分了两种容易混淆的成功：提到内容不等于走完流程，走完流程也不等于按规定顺序走完。研究生复述时要记住 3 个条件：场景数是 200，被考者固定，转写与裁判流程固定。只有在这组条件下，主题与自然度的分数、完成率与严格顺序完成率的对比才成立。
论文发现 GPT-Realtime 能跟随多数单个指令，但在按序完成全序列时仍不可靠，开源全双工模型的差距更大，这就引出后面对可控前端的需求。
执行器加指挥器如何分工
论文提出的方法整体是一套执行器加指挥器系统。执行器是全双工模型 SteerablePlex，作为前端持续运行，处理语音生成、监听与轮替。指挥器是异步文本大语言模型，不直接发声，而是消费外部流式语音识别结果与内部模型文本流构成的上下文，跟踪预定义任务与目标状态，每 2 秒更新 1 次目标状态，并生成候选指令与动作。动作用 send、wait 或 none 表示应当下发、推迟或省略，以避免用同一指令反复打扰前端。当需要引导时，指挥器把指令注入模型文本流。
这样的分工把实时性要求与规划要求分开：前端保持小而快，负责毫秒级的听与说；指挥器可以稍慢、异步运行，负责秒级的任务跟踪与纠偏。下面先看论文图 1 的整体走向，再展开注入与训练细节。
全双工模型 × 在线指令跟随： 全双工模型指同时听与同时说、没有显式轮次边界的语音对话前端；在线指令跟随指在对话进行中向该前端插入新的文本指令并让其后续发言服从指令。二者搭配的意义是把长程规划从延迟受限的前端剥离，前端只负责实时交互与局部执行，规划由外部异步模块按需下发。
读图说明：该图上半部分展示 3 条随时间展开的流与中间的指令插入段，下半部分展示流式语音识别、对话上下文与多阶段目标清单如何进入指挥器，箭头区分连续流与异步干预过程。
看图路径： 1. 先看上半部分三条横向流：对方语音、模型语音与模型文本如何随时间展开；2. 再看中间插入的指令段前后两侧的静音与特殊标记位置；3. 最后看下半部分流式语音识别、对话上下文与右侧多阶段目标清单如何汇入指挥器
论文图 1。原论文 Figure 1:：“Illustration of the proposed Actor-Director system.”。
图后解释：从像素可见，上方长条按时间从左向右排列，对方语音、模型语音与模型文本各占一行，中间被虚线隔开的白色段标为指令引导区，下方标有开始与结束特殊标记与例如燕麦奶的短指令。下方左侧是流式语音识别模块，中间是对话上下文缓存，右侧是指挥器方框与买咖啡的多阶段目标清单，包含点拿铁、偏好燕麦奶、询问总价与确认取货等条目。箭头显示语音识别结果持续流入上下文，指挥器按异步方式回看上下文并在需要时向上发出引导。
这种画法对应的实际信号是：指挥器看到的不是原始波形，而是转写与模型文本；它写入的也不是音频，而是文本流中的一段被界定文本，前端后续的语音应围绕该指令展开。
指令如何拼进正在说话的模型
SteerablePlex 基于 PersonaPlex 构建，后者有 3 条同步流：用户音频、模型音频与模型文本，其中模型文本在内部预测与自身语音时间对齐的词，作为对应音频词之前的语义前缀。要编码运行时指令，论文使用现有分词器，把指令词拼接到模型文本流中，并放在特殊的指令开始与结束标记之间。在这些插入步骤中，两条音频流都收到静音词，对话时间不推进。这样设计利用了预训练模型对文本流的语义理解，使模型更容易学到被界定的一段文本是命令，而不是去学一种全新的控制模态。
论文还观察到，预训练模型在指令被写成短祈使句时已经能跟随注入指令，这为直接做强化学习提供了初始能力。举例说明时要标明这是教学例子：例如对方说想要一杯拿铁，指令可以写成要求点拿铁的短句，前端随后应自然地问牛奶选择或确认订单，而不是把指令原文朗读出来。代价是插入期间音频侧被迫静音，若频繁注入会打断说话节奏，因此指挥器被设计成只在需要时下发，这也是动作三选一的由来。
执行器 × 指挥器： 执行器是持续运行的全双工语音模型 SteerablePlex，负责发声、监听与抢话时机；指挥器是异步文本大语言模型，负责看转写与模型文本、跟踪多阶段目标状态并决定是否下发指令。二者组合后多了按需纠偏能力，指挥器只在需要时干预，避免持续改写破坏前端原有的轮替策略。
模型文本流 × 特殊标记分隔的注入接口： 模型文本流是 PersonaPlex 内部与自身语音时间对齐的语义文本前缀；特殊标记分隔的注入接口是把指令词直接拼接到该文本流中、首尾加开始与结束标记的做法。二者搭配的理由是复用预训练模型对文本流的语义理解，把控制学成识别一段被界定的文本即指令，而不必学习全新的控制模态。
指挥器何时说话何时闭嘴
指挥器的工作节拍是理解复现的关键。它每 2 秒根据流式语音识别与模型文本流重建对话上下文，更新每个阶段目标是否已完成，并写出一条候选指令。候选指令不是每次都发送，而是附带一个动作判断：send 表示立即交付，wait 表示推迟，none 表示省略。这种节流机制对应实际问题：如果考官已经在朝正确阶段前进，反复重复同一指令只会增加插入静音段并破坏自然度。论文的指挥器与执行器使用同一套执行框架评估两种 SteerablePlex 变体，以保证比较公平。
指挥器所用的判断模型在实验设置中为 Qwen3.8-27B，转写用 Parakeet-TDT-0.6B-v2，语音活动检测用 Silero VAD 阈值 0.5。这些只是本篇的实际选择，不是通用最优值。需要指出，指挥器看到的是带识别误差的转写与模型文本，其跟踪错误会传导给前端，因此严格顺序完成率同时反映指挥器与执行器的联合表现，不能单归因于前端跟随能力。论文把这种联合系统称为更可控的用户模拟器，含义是相对基线更可靠地走完多阶段约束，而不是在任何话题上都不犯错。
训练数据与采样窗口如何构造
训练部分要先讲数据，再讲采样，最后讲奖励，因为采样窗口决定了奖励能看到什么。论文准备了两类带轮次级指令的对话数据。第一类从 Fisher 数据集出发，用 Qwen3-32B 逐轮审查对话并在可能时写一条短的可执行指令，例如把请求拿铁的话轮配成点拿铁的指令，由此整理出 9,417 个强化学习样本，对应 130.8 小时的展开时间。第二类更接近下游模拟器风格对话，按 Behavior-SD 的对话生成流程，用 200 个 Full-Duplex-Bench v2 场景衍生的指令合成 2000 段含重叠语音的对话，得到 84.1 小时立体声音频，其中 200 段留出不参与训练。
采样时，对 Fisher 的每次展开用 30 秒录制的双人上下文，把指令插在其目标回复的前一轮，在对方流不变回放的条件下采样 20 秒模型窗口；每段合成对话含 4 个有序目标，每个目标产生 1 次展开，其前缀保留此前对话与指令，把当前指令插在标注轮次，采样设置相同。这种构造的意图是让模型学到指令与随后 20 秒发言的因果关系，而不是背整段对话。
下表整理两类数据的规模与划分，数字与单位均来自原文连续句，时长口径不同故分列标注，数据格保留原文千分位逗号与完整单位表述。
表前说明文字：该表比较两类训练数据的来源规模与留出划分情况，公平条件是同为带指令标注的双人对话，指标方向是规模越大覆盖越广。
| 数据来源 | 规模数量 | Fisher 展开时长 | 合成音频时长 | 留出情况 | 指令组织形式 |
|---|---|---|---|---|---|
| Fisher 改写 | 9,417 RL examples | 130.8 hours of rollout time | 未报告 | 未报告 | 短祈使句轮次指令 |
| 合成重叠对话 | 2,000 dialogues | 未报告 | 84.1 hours of stereo audio | 200 are held out | 4 阶段有序目标指令 |
表后解释文字：该表的主要信息是任务无关训练用大规模通用对话学习单指令跟随，域内训练额外见到多阶段有序结构。两处时长口径不同，130.8 hours of rollout time 指 Fisher 样本的展开时间，84.1 hours of stereo audio 指合成语料的立体声音频时长，不能直接相加或比大小。Fisher 部分原文未报告留出数故写未报告，合成部分仅 200 段留出，严格顺序能力的提升是否能推广到全新场景，需要看论文在 20 个未参与训练场景上的单独检验，而不能从时长数字本身推出必然泛化。
组相对策略优化 × 分组奖励解耦归一化策略优化： 组相对策略优化指对同一上下文采样一组延续、用组内相对奖励学习的方法；分组奖励解耦归一化策略优化指先对每个奖励维度在组内独立归一化再加权合并、最后再归一化得到优势的做法。二者搭配的意义是防止方差大的奖励维度在合并前主导学习，使目标完成、自然度与轮替多个异质奖励能共同起作用。
目标完成奖励 × 轮替奖励： 目标完成奖励判断指令到来后采样的模型语音是否真正实现当前目标；轮替奖励用语音活动检测比较模型语音、对方回放与参考延续的交叠、抢话与延迟等时机行为。二者搭配的理由是只优化完成度会导致生硬报出答案或霸占话筒，轮替奖励约束交互方式，要求把请求做成上下文合适的发言并保留可被打断性。
多奖励如何归一化与约束漂移
论文用分组奖励解耦归一化策略优化即 GDPO 做训练。GDPO 把组相对策略优化扩展到多奖励情形。组相对策略优化是对同一上下文采样一组共 G 个延续，用组内相对标量奖励学习；若在组归一化前直接把异质奖励相加，方差大的分量会主导学习。GDPO 改为对每个奖励维度在组内独立归一化，未定义或平坦维度置零，再加权求和得到中间优势，最后对该中间优势在组内再做 1 次归一化得到最终优势。
对共享对话上下文，优化目标同时包含优势加权的对数似然平均与相对参考策略的散度约束，其中两项都对生成的文本与音频词取平均，参考策略是关闭适配器的 PersonaPlex 策略，散度项限制偏离基础对话策略。两种变体都从 PersonaPlex 初始化并训练低秩适配器，时间与深度秩为 128 与 32，缩放为 2.0，组大小为 8，音频与文本采样温度为 0.8 与 0.7，截断数为 250 与 25，学习率为 0.00001；任务无关训练从 0.05 自适应散度系数并以 0.3 为目标，域内训练固定散度系数为 0.01。先看符号与目标，再看奖励细节。
\[\mathcal{L}_{\mathrm{RL}}(\theta)=\frac{1}{G}\sum_{i=1}^{G}\left[-A_{i}\,\overline{\log\pi_{\theta}(y_{i}\mid h)}+\beta\widehat{D}_{\mathrm{KL}}^{(i)}(\pi_{\theta}\|\pi_{\mathrm{ref}})\right],\]该式中 theta 为待训练参数，G 为组大小，yi 为第 i 条采样延续，h 为共享上下文，Ai 为多奖励归一化后的最终优势，横线对数似然表示对生成词的平均，beta 为散度系数，KL 项度量当前策略与参考策略的偏离。目标是增大高优势延续的似然，同时用散度惩罚防止模型为拿奖励而丢掉基础对话能力。
\[r_{i}^{\mathrm{goal}}=s_{i},\ s_{i}\in\{0,\tfrac{1}{2},1\},\qquad r_{i}^{\mathrm{nat}}=q_{i},\ q_{i}\in\{0,1\}.\]该式给出两项 0 到 1 之间的打分：目标完成分取无、部分、完全三档对应 0、0.5、1，自然度分取 0 或 1，要求模型侧自身发言连贯，把替对方说话或扮演外部助手判为 0。目标完成只看指令到达后采样的模型语音，由语言模型裁判打分；自然度在同一采样窗口整体打 1 次，要求把请求做成上下文合适的贡献，而非生硬插入。轮替部分用语音活动检测计算四项奖励：交叠惩罚超过 0.10 的部分，暂停处抢话惩罚，在应当接话的间隙处延迟惩罚，以及短回应声与参考的 F1。
合并短于 0.1 秒的片段、合并间隔小于 0.3 秒的片段，短回应声至多 1 秒且与对方重叠至少 1/2，缺失所需事件时对应分量省略，参考延续只标识时机而不规定说什么。六项奖励都是越大越好。这种设计的实际意义是堵住两条捷径：脱离上下文直接喊出答案，以及霸占话筒制造更多完成机会。
实验比较了哪些系统与条件
实验设置部分要交代测量对象、比较方法与条件是否一致。主实验是 SimIF-Bench 的 200 个场景，比较 GPT-Realtime、两种 KAME 配置、Raon-SpeechChat-9B、PersonaPlex 与两种 SteerablePlex 变体，两种 SteerablePlex 使用同一执行器加指挥器框架。转写、语音活动检测、奖励裁判与指挥器模型按前文固定，通话上限 120 秒。轮替能力实验沿用 Full-Duplex-Bench 的设置，报告暂停处理、短回应声、平滑轮替与打断等十项指标，箭头标明方向，例如同步性越低越好、频率越高越好、延迟越低越好、评分越高越好。论文对原基准带星号的值沿用原文报告，其余行为作者自己的运行。
需要保留的关键超参数是组大小 8、学习率 0.00001 与散度设置，因为它们决定训练在多大程度上允许偏离基础策略。比较公平性方面，主结果固定被考者与裁判流程，轮替结果固定同一评测搭建，但不同系统的后端模型与前端尺寸并不相同，因此不能把差距全部解读为前端跟随算法的差距，指挥器质量与系统延迟同样起作用。论文还单独报告 20 个未参与训练场景的结果，用于检验域内训练的结构对齐优势是否只是记住训练场景。
多阶段按序完成的主要结果是什么
主结果回答考官能否按序走完多阶段脚本。论文的文字结论是：GPT-Realtime 是最强基线，相对 PersonaPlex 用部分自然度换取更强的任务完成，但仍经常不能按规定顺序完成全部目标；开源模型在完成率与严格顺序上落后更多；KAME 相对无引导的 PersonaPlex 提高了完成率但牺牲自然度；PersonaPlex 自然度最高但完成与按序最低，说明自然反应不等于服从脚本。
任务无关的 SteerablePlex 缩小了大部分差距，在开源系统中表现更好且完成与自然度更平衡，但严格顺序成功率仍低，与其训练只见单指令、难以迁移到多指令流的预期一致；见到多阶段有序结构的域内 SteerablePlex 在完成率与严格顺序上超过 GPT-Realtime，且在 20 个排除训练的场景上优势仍成立。读图时注意完成率与严格顺序的落差：前者只要求提到或实现目标，后者要求考官侧按顺序完成 4 个目标，难度明显更高。
读图说明文字：该图含 4 组柱状面板，横轴为各系统，纵轴分别为主题 1 到 5 分、自然度 1 到 5 分、完成率百分比与严格顺序百分比，虚线分隔不同系统族。
看图路径： 1. 先对比图 a 主题与图 b 自然度的 1 到 5 分高低，注意谁牺牲自然度换完成度；2. 再看图 c 完成率与图 d 严格顺序完成率的落差，理解多阶段按序的难度；3. 最后比较任务无关与域内两种 SteerablePlex 在图 d 上的差异
论文图 2。原论文 Figure 2:：“SimIF-Bench results over 200 tasks. Panels report topic and naturalness (1–5), either-speaker goal completion, and examiner-only exact ordered completion.”。
图后解释文字：从像素可见，主题面板中 GPT-Realtime 与域内 SteerablePlex 处于高位，自然度面板中 PersonaPlex 保持高位而持续引导的 KAME 偏低，完成率面板中 GPT-Realtime 与两种 SteerablePlex 明显高于其他开源系统，严格顺序面板中仅 GPT-Realtime 与域内 SteerablePlex 有显著高度，其余系统接近零。这支持论文的判断：单指令跟随可以靠通用数据学会，但多阶段按序需要训练结构与任务结构对齐。同时要看到限制：严格顺序的绝对值仍不算高，指挥器错误与转写误差仍会传导，200 个场景与固定被考者下的结论不能直接推广到任意真实用户。
轮替能力是否被指令训练破坏
轮替实验回答可控性是否以丢掉交互能力为代价。论文指出 KAME 持续用后端回复引导前端，大幅恶化三项短回应声指标，并降低打断成功率与质量，使模型更难被打断，提示持续引导会削弱前端原生轮替策略。相比之下，两种 SteerablePlex 因训练中加入显式轮替奖励，在保持并在若干维度改进基础模型交互能力方面更好。相对 PersonaPlex，它们在暂停处理、短回应声的轮替接管率、平滑轮替接管率、打断接管率与打断评分上更好，在十项报告指标中六项占优，短回应声分布也与基础模型接近，剩余回退集中在响应延迟与短回应声频率。
表前说明文字：该表比较各系统在暂停、短回应声、平滑轮替与打断 4 组共十项指标上的表现，公平条件是同一评测搭建与同一指标方向。
| Pause handling | Pause handling | Backchannel | Backchannel | Backchannel | Smooth turn | Smooth turn | Interruption | Interruption | Interruption | |
|---|---|---|---|---|---|---|---|---|---|---|
| Model | Syn. ↓ | Cand. ↓ | TOR ↓ | Freq. ↑ | JSD ↓ | TOR ↑ | Lat. ↓ | TOR ↑ | Rating ↑ | Lat. ↓ |
| dGSLM∗ | 0.934 | 0.935 | 0.691 | 0.015 | 0.934 | 0.975 | 0.352 | 0.917 | 0.201 | 2.531 |
| Moshi∗ | 0.985 | 0.980 | 1.000 | 0.001 | 0.957 | 0.941 | 0.265 | 1.000 | 0.765 | 0.257 |
| Freeze-Omni∗ | 0.642 | 0.481 | 0.636 | 0.001 | 0.997 | 0.336 | 0.953 | 0.867 | 3.615 | 1.409 |
| Gemini Live∗ | 0.255 | 0.310 | 0.091 | 0.012 | 0.896 | 0.655 | 1.301 | 0.891 | 3.376 | 1.183 |
| KAME (gpt-4.1-nano) | 0.613 | 0.685 | 0.709 | 0.028 | 0.893 | 0.966 | 0.205 | 0.845 | 3.083 | 0.441 |
| KAME (gemma-4) | 0.620 | 0.718 | 0.727 | 0.025 | 0.897 | 0.975 | 0.151 | 0.820 | 3.521 | 0.356 |
| Raon-SpeechChat-9B | 0.650 | 0.880 | 0.473 | 0.171 | 0.694 | 1.000 | 0.017 | 1.000 | 3.791 | 0.236 |
| PersonaPlex | 0.642 | 0.718 | 0.418 | 0.176 | 0.700 | 0.983 | 0.020 | 0.935 | 4.684 | 0.214 |
| SteerablePlex | 0.394 | 0.500 | 0.218 | 0.113 | 0.750 | 1.000 | 0.156 | 1.000 | 4.790 | 0.264 |
| SteerablePlex (in-domain) | 0.365 | 0.417 | 0.327 | 0.118 | 0.724 | 1.000 | 0.203 | 1.000 | 4.725 | 0.268 |
表后解释文字：从原表数字可见，SteerablePlex 两行在暂停同步性与候选同步性上低于 PersonaPlex 的对应值，打断接管率达到 1.000 且打断评分高于 PersonaPlex 的 4.684，而延迟与短回应声频率有所回退。这支持论文的机制解释：轮替奖励保住了可被打断性与接话时机，但指令插入的静音段与更谨慎的发言策略带来了延迟代价。未胜出项也要写明：短回应声分布距离与频率并未全面胜出，响应延迟变差意味着在对延迟敏感的真实通话中，控制收益可能被等待成本抵消，这部分原文没有换算成用户可感知的通话时长影响，属于尚未评测的范围。
单指令训练与多阶段结构对齐差在哪里
把任务无关与域内两种 SteerablePlex 放在一起，就是论文实际提供的结构消融。两者前端起点、适配器设置、组大小与采样设置相同，区别在于训练是否见到多阶段有序结构。任务无关训练只用 Fisher 的单指令样本，学到的是听到短祈使句后在随后 20 秒内自然实现它的能力；域内训练额外用合成对话见到每个对话 4 个有序目标、每个目标 1 次展开且前缀保留此前指令的组织方式。
结果差异集中在严格顺序完成率：前者完成率提升但按序仍低，后者按序明显提升并在 20 个未见场景上保持优势。这说明多阶段控制不仅需要跟随单条指令，还需要跨指令协调，例如记住已完成阶段、不重复已完成请求、在对方偏离时把对话拉回下一个阶段。论文没有报告去掉自然度或去掉轮替奖励后必然怎样，因此不能补写某项奖励是充分必要的，只能说当前联合奖励下的观察与动机一致：目标完成奖励给方向，自然度防止生硬插入，轮替奖励防止霸占话筒。
另一个失败条件值得记住：当指挥器误判目标状态或转写出错时，前端可能执行错误阶段的正确动作，这种系统级错误在单前端指标中看不到，需要回到带证据引用的转写裁判才能定位。
结论在什么条件下才成立
论文结论的适用边界需要按证据收紧。第一，主结果依赖固定被考者 PersonaPlex、固定转写与固定语言模型裁判，若换被考者、换裁判或换真实用户，主题与自然度分数、完成率与严格顺序的绝对值都会变化，相对排序也可能变化。第二，域内优势的推广证据是 20 个排除训练的场景，不是任意新领域，合成对话的口音、噪声与重叠模式仍有限。第三，轮替结论来自 Full-Duplex-Bench 的十项自动指标，不是人工对打断体验的评价，延迟与频率的回退在真实部署中可能更明显。
第四，训练只更新低秩适配器并用散度约束贴近基础策略，这保住了基础能力，但也意味着前端的语言理解上限仍受基础模型与指挥器制约，长脚本的规划错误不能靠前端自行纠正。容易产生的误解是把严格顺序提升理解为模型变聪明了，实际更多是结构对齐：训练见过按序多指令，前端更习惯在多指令流中等待与切换。另一个误解是把完成率高理解为语音质量高，论文明确区分了完成率与自然度，KAME 的例子正好说明两者可以反向变动。
没有测量误判率、端到端延迟分布与计算成本，就不能承诺这些会改善，总体趋势也不能推广到每个场景或每一步。
复现第一步要准备什么
复现应从可运行链路开始，而不是先调超参数。第一步是搭通执行器加指挥器的闭环：让 PersonaPlex 或同等 3 流全双工前端持续运行，外部流式语音识别每 2 秒输出转写，与模型文本流拼接成指挥器上下文，指挥器输出候选指令与 send、wait、none 动作，仅在 send 时把指令词按开始与结束标记拼入模型文本流，并在插入步给音频流喂静音。确认能稳定通话 120 秒且插入不破坏时间对齐后，再准备数据：一路用 Fisher 加语言模型改写得到轮次级短指令，另一路用 200 个场景合成含重叠的 4 阶段对话并留出 200 段。
训练时保持论文的采样窗口：30 秒上下文加 20 秒模型窗口、对方流不变回放，组大小 8，低秩适配器秩 128 与 32，学习率 0.00001，散度目标按任务无关或固定值设置。评估时固定被考者、通话上限、转写模型、语音活动检测阈值 0.5 与裁判打分规则，并要求裁判引用转写证据。关于来源需要分开说：本篇未发现可验证的作者代码、模型或数据公开信息，不得声称已开源可下载；论文提到的第三方链接只证明被提及，不证明可运行。
缺失的是梯度经过插入静音步的具体处理、指挥器提示词与阈值细节，这些只能按证据写为未报告，不从模型名称猜实现。
什么时候值得尝试还缺哪项验证
综合来看，当任务需要模拟器按多阶段脚本考查他人、且能接受异步文本指挥器带来的系统复杂度时，这套路线值得尝试。它的价值在于把规划与实时交互解耦：指挥器负责记住阶段与纠偏，前端负责自然表达与轮替，插入接口复用文本流使学习更容易，多奖励归一化使完成度与交互方式共同优化。代价是插入静音带来延迟，指挥器与转写误差会传导，严格顺序的绝对成功率仍有限。
还需要补的验证包括：换被考者与真实用户后的排序稳定性，人工对打断与自然度的评价而非仅自动指标，不同噪声与重叠强度下的轮替延迟分布，以及训练与推理的算力与帧率成本。教学上可复述的关键步骤是：固定考官任务与裁判，搭通按需注入的执行器加指挥器，用单指令数据学会跟随，再用多阶段有序数据学会跨指令协调，最后用完成率、严格顺序与轮替十项指标分别检验控制收益与交互代价。
记住这 3 组数字回答 3 个不同问题：主题与自然度回答像不像人，完成率回答做没做事，严格顺序回答是否按规定顺序做事，三者缺一不可。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses