全双工语音交互

针对全双工语音模型工具调用弱的问题，论文用前端判何时委派、后端做多轮工具调用再预填回前端复述的办法，在单轮调用召回 92%-97% 与多域语音代理任务上取得可比效果，代价是打断率偏高与合成数据带来的识别与暂停处理退化。

该研究用同一话题下只换触发句并压缩停顿的配对独白，检验五个模型家族何时抢话，结果显示被直接提问和静音可靠地触发开口，而错误事实与危险行为几乎不触发，且把话轮交出去后纠错与警告比例仍很低。

针对全双工语音到语音模型缺用户侧流式转写的问题，论文在复用同一解码器大模型主干上并行增加轻量 ASR 头并用帧级强制对齐训练，在双工框架内报告平均 WER 为 10.21%，独立识别配置报告为 7.73%，代价是平滑轮转延迟上升与部分打断指标未占优。

Realtime-Venus 用两个 9B 前端分别处理音视频与纯音频全双工对话，用双环运行时把即时说话与后台推理工具执行解耦，最强证据是 Omni 在六项视频基准领先与 Audio 在 MMAU 等四项音频问答领先，代价是打断响应与参数准确率仍落后及委派判断存在漏委派与过度委派的权衡。

StepAudio 3 Realtime 针对实时语音交互中深度推理与低延迟的矛盾，用听-说-想-做循环组织感知、双工话轮管理、边说边想与异步工具调用，在 MMSU 90.6、全双工 98.9 等报告结果上保持领先，但多轮约束保持与零售工具任务仍有明显短板。

共分析 19 篇语音/AI 论文

该研究把听者重叠贡献分为回馈、协作与打断，把说话人行为分为不变继续、回合内适应与让出，用 300 个人工确认线索对比录音人与 PersonaPlex 的配对延续，最强证据是 66 个协作对中录音人 68.2% 适应而模型仅 34.8%，代价是其余行为分流为不变继续与让出且评估依赖转录打分与受限复现条件。

DuplexDrama 针对全双工对话训练数据稀缺问题，用四阶段管线同时合成人设场景、三种全双工行为、表情语音与剧本对齐的声音事件，最强证据是相同语音加背景仅带来 UTMOSv2 与 NISQA 的可控下降，主要代价是全双工轮次占比仅 3.8% 且剧本合理性依赖 LLM 判断。

SteerDuplex 针对全双工语音模型可操控性不足，用 Moshi 骨干加针对性监督微调建立语气人设语速操控，再用两阶段连续性感知的混合奖励强化学习改善打断响应与暂停等待，代价是仍存在过早让出话轮与奖励钻空子的权衡。

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对全双工口语对话模型缺可靠在线奖励的问题，论文提出把语义连贯与轮次时机分开推理再给总分的生成式奖励模型，用三阶段感知加推理加 GRPO 训练，在合成与真实人机对话上报告了更高的准确率，代价是需要合成加真实数据联合调优且尚未验证在线强化学习收益。

F-Actor 用冻结音频编码器加只微调语言模型的单阶段方案，在约 2000 小时数据上实现对音色、话题、打断与应答和起话方的指令跟随，最佳配置以词级文本对齐加 2 步音频延迟取得低困惑度和高起话准确率，但打断等稀有行为仍只能给出方向性控制且语音自然度未达真值。

论文用真实法语对话构造 CALLFC-FDB 与 MEDIA-FDB 并复用 FDB v1.0 四类任务，显示基于语音活动的计时指标跨语言基本稳定，而用户打断评分等内容指标在语言失配时明显下降，人-人对话则说明一味优化指标会损失自然度。

针对全双工语音智能体多轮一致性缺乏可复现评测的问题，该文用合成语音自动考官加分阶段语义目标与快慢两种节奏做流式多轮交互，并以轮换流畅度、多轮指令遵循和任务专属三维打分报告了三系统随时间下滑且修正与实体跟踪最难的证据，代价是仅覆盖英语四类任务并依赖转写加模型打分。

论文把全双工语音模型的知识退化归因于深层语义与声学梯度冲突，用共享浅层加并行深层头与语义对齐通道来分离优化，主证据是口语问答平均提升 7.4% 与 FullDuplexBench 1.5 提升 28.5%，代价是约 10B 参数与专用三通道训练数据依赖。

针对多轮全双工评测中轮边界模糊与上下文不一致问题，论文用切轮加逐轮固定历史组织会话特征、对话质量、指令遵循与安全四个维度评测，报告显示随轮数与特征叠加成功率下滑且端到端模型语义保持更难，而高延迟级联方案则因回答不完整付出代价。

该文针对语音进语音出对话只用单轮语义奖励的问题，用四路独立偏好数据加单 DPO 目标联合训练，在保持轮次与块级解码兼容的同时，以语义与声学指标的联合提升为证据，代价是情感与可懂度之间出现轻微竞争。

SHANKS 针对等说完再思考导致无法中途打断和工具延迟的问题，采用固定时长语音分块交替生成未说出思考，在数学打断与旅行工具对话中提前完成推理和调用，但提前行动伴随成功率下降需与听完再调用组合使用。

论文针对边听边说的全双工语音模型，用固定无关语音研究有害请求后的打断能否抬高整轮有害率，以固定延迟与拒答触发两种可执行时机在四个开源模型和 720 条请求上验证，PersonaPlex 系最高上升约 39 个百分点，但效果随模型、措辞和时机剧烈变化且 BayLing 出现下降。

共分析 38 篇语音/AI 论文