全双工语音交互

D2 把已具备理解与生成能力的半双工语音模型按固定短块切分对话，用流式编码器蒸馏加全双工监督微调实现边听边说，在 80 毫秒块下 Qwen3-Omni-D2 仍保持 70.1 的 VoiceBench 总分，但小块会明显削弱停顿容忍并保留合成与数据构造等限制。

DuplexAct 把边听边说的交互拆成 8 个动作和 24 种条件，用立即执行与后续跟进两段成功率评价 14 个模型，发现能力分布不均且后续跟进普遍偏弱。

Diffuplex 用自回归策略决定何时说话、用语音条件离散扩散并行生成说什么，在 VoiceBench 上以思考模式达到 86.9 分并实现每前向 13.0 词元、1872 词元每秒的解码速度，代价是需要三阶段训练与提前固定前缀带来的延迟质量折中。

针对全双工语音模型中实时音频与内部思考共用一条位置时间轴导致变速推理时错位的问题，Rubato 用实时钟与思考钟两套独立位置计数实现零样本变速插值，在只训练两种极端思考预算下保持准确率并随算力提升缩短给出答案的时间，代价是推理需维护多套键缓存与合成数据依赖。

论文针对全双工语音模型边听边说的耦合互动难以用固定考官评价的问题，提出让两个模型直接对话并都被离线打分的 DyaFDB 框架，用 140 个场景 7560 段对话证明分数是两人共同决定的，代价是需要成对录制与离线评判。

论文让两个 PersonaPlex-7B 直接交换音频 token 自由对话，用同一套 floor-transfer 规则测量接话时机，发现模型之间能相互耦合但中位间隔比人大三到四倍，且延迟扫频与分布形状支持反应式等待而非人类式提前预测。

针对每 80 ms 都要唤醒主干的全双工对话开销，DiffuPlex 一次预测 16 帧未来并只消费可信前缀，在保持打断与轮转行为的条件下把主干调用降到约一半，代价是单次唤醒更贵且激进消费语音未来会损失自然度。

论文解决全双工语音持续对话与复杂推理工具任务难以兼顾的问题，用六模块协作框架加模拟考试驱动的修补闭环，在保持打断响应同时提升口语知识与可执行工具分数，代价是部分暂停条件变差与额外调用增加。

HiPLEX 把全双工语音的文本策略拆为何时发射的控制因子和说什么的条件内容因子，再用事件因果掩码分送信令与语义反馈，在 Moshi 上改善了暂停与 backchannel 克制和打断后延迟，但结论只在相同评测协议与奖励配比下成立且伴随学习率敏感性。

论文针对全双工模型在长对话中偏离多阶段脚本的问题，提出边听边说的执行器加异步文本指挥器的架构与在线指令跟随训练，在 200 个分阶段考官任务上用完成率与严格顺序完成率衡量，并以显式轮替奖励维持打断与接话能力。

论文在全双工语音模型 Moshi 中用均值差向量做四种情绪转向，发现残差流可线性解码但转向跟随向量间几何而非标签，只有 sad 稳定转向，代价是可懂度下降。

针对原生全双工语音会在用户说完前开口的问题，论文用共享模糊前缀加可控停顿构造迟发意图基准，以提前响应率与有害或良性参与率联合评估四个模型，发现三者有害参与上升而一者全面退缩，且停顿放在意图揭示后则效应大减，但代码当前不可用限制了复现。

共分析 16 篇语音/AI 论文

该研究用 1636 个问答和 20 组多轮对话检验语音智能体按文档作答的能力，发现级联系统接地最稳而端到端实时系统在长上下文和多轮后出现断崖与遗忘，且重注文档只对部分架构有效。

APEX-Voice 用 120 个带版本化工件、类型化工具、授权约束和冻结语音用户仿真的职业流程，测出最强实时语音智能体单次成功率仅 23.6% 且三轮全过仅 10.8%，代价是中间纠正与授权状态维护仍是主要瓶颈。

针对全双工语音模型在实时打断和多轮追问中容易丢失角色身份的问题，CharDuplex 把 GLM-4-Voice 改成双流同步结构并用自动生成加验证的角色语音数据做监督微调，再用 FDGym 在线交互强化学习修正角色一致性，最强证据是 SpeechRole-Eval 平均 0.785 分且通用与交互指标大体稳定，代价是依赖大规模合成语音与在线仿真采样的训练预 …

针对全双工语音每秒输入必须在下一秒前变成一秒语音的截止期问题，DuplexCadence 把时钟速率与保留界声明给运行时，用按需定址的携带缓存与精确形状图回放在合成尾段实现约 2.85 倍加速与约 38.8% 峰值内存下降并保持逐字节一致，代价是一次性捕获预热与自回归阶段仍在无损范围之外。

针对长时多方全双工对话缺数据缺评测的问题，论文用两阶段脚本合成加 IndexTTS2 渲染构建 57.6k 小时中英并行流语料并以两阶段微调 Moshi，在 MultiTalkBench 上最终分从 4.66 升到 13.15 但仍远低于人类 68.74。

针对全双工语音要求持续低延迟而知识推理与工具调用耗时可变的问题，SALMONN-duo 用常开全双工前端负责交互并决定是否异步委派给后端智能体，再用知识边界感知监督与成本感知强化学习控制委派效用，证据显示其在问答与任务对话上改善准确与委派权衡，代价是仍依赖强后端与仿真延迟条件。

针对全双工语音模型靠压缩隐向量读取外部知识易丢精确值的问题，论文用单次块预填充把检索原文直接注入对话流，并在问答与全双工评测中验证了可行性，代价是每词一帧带来的内存开销与对后端识别和大模型推理的依赖。