全双工语音交互

Duplex-MPE 用 2000 对显式与隐式称呼配对的多人连续语音场景，检验全双工助手何时新发起回答、答对、保持安静与在他人解决后收声，最强证据是 MiniCPM-o 4.5 在三项能力领先而高语音覆盖常伴随答错或侵入，代价是合成场景与自动语义打分只在抽样上经人工验证。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对端到端全双工语音模型语义弱而双通道对齐易被打断的问题，TurnGuide 用语音活动检测加停顿合并做轮次切分并在轮内交错生成文本与语音，在 Fisher 上显著提升语义连贯性与轮次转换行为，代价是块级交错带来约 0.69 秒量级的理论首包延迟与对码本和声码器的依赖。

针对全双工语音模型长时交互中声学键值缓存持续膨胀的问题，该研究在听音空隙内增设转写旁路并驱逐旧声学状态，在十分钟会话上将峰值流式缓存从 11.35K 降至 4.02K 并保持实时处理，但反通道接管率有所上升。

该综述以 38 篇一手文献追问实时语音智能体何时说、如何说与是否真做成，指出级联仍是可自托管部署的现实选择、评价正从部件质量转向对数据库状态的验证，而多人场景正在瓦解双人对话假设，并据此提出时机—恢复—落地的最低联合报告标准。

针对串联语音对话缺少训练时中间引导的问题，该研究用目标回答加随机采样回答构造引导流，在合成对话上达到与大模型模拟相当的回答质量，并在 3.8k 小时真实对话上提升轮转顺滑度和听感自然度，代价是打断处理仍弱且真实数据模型回答分略低于合成基线。

Moshi-Face 用离散面部令牌与非自回归 Face Transformer 在 Moshi 上同步生成语音与 3D 脸部运动，在 180 小时对话数据上把教师强制唇同步做到接近重建上限，但语音自然度因领域微调而下降。

针对全双工对话中时延漂移与能量失配导致回声残留和过抑制问题，LMPAN 用多路径软对齐加注意力融合与动态目标加两阶段 SSL 训练，在约 480K 参数和 126M 计算量下取得与 DeepVQE-S 可比的主观与下游任务表现，代价是动态目标会略微拉低整体 MOS。

论文针对端到端全双工语音对话模型常开大语言模型隐状态是否泄露说话人身份这一问题，用 ECAPA-TDNN 探测器按 VoicePrivacy 2024 协议审计 SALM-Duplex 和 Moshi 并提出基于 Stream-Voice-Anon 的波形级与特征级两种流式匿名化，最强证据是 SALM-Duplex 离散基线等错误率从 11.2% 升至 …

该工作把双工对话拆成先写意图关系再测语音时刻的合成管线，用 42 种现象的双通道数据证明因果语义 VAD 能学到起止边界且 Moshi 微调后接管轮次从 0.44 升至 0.85，代价是稀有打断类与自由生成的精确对齐仍弱。

AdaptDuplex 针对全双工对话中时机与认知负荷逐窗变化的问题，把窗口时长与动作组合都做成显式词元决策并配三阶段课程训练，在 FDB 与 HumDial-FDBench 上取得更低响应延迟与更高终分，代价是仅覆盖中英、三档窗口与最多四路并发外部推理。

针对全双工对话模型很少显式建模倾听反馈时机的问题，论文在冻结思路下外挂一个从主干隐藏状态预测反馈起始概率并用阈值触发强制解码的两层头，在 7B 与 1B 两个模型上验证了频率可调与人类评分持平，但高频档会抬高抢话率等代价同时代码链接当前不可用。

针对全双工语音对话持续暴露声学通道的问题，论文用掩蔽阈值约束的不可闻扰动形式化劫持、静默与越狱三类攻击，并以码本几何与掩蔽匹配的潜变量平滑加一致性训练把劫持从 91.7% 降到 8.3%，代价是 UTMOS 相对下降 2.3% 且认证半径只到 0.616 的保底水平。

该工作把实时语音交互拆为思考、行动与说话协调三层，用文本教师蒸馏加可执行环境强化学习提升多轮约束跟踪与工具执行，在半双工语音版 τ-Voice 上总成功率从 78.4% 升至 82.0%，代价是部分流畅性与延迟指标并未同步最优且长时程口语任务仍未验证。

针对多轮语音任务中对话与执行时间尺度不一致的问题，论文用前台对话加后台委托的编排运行时分离两者，并在 134 例座舱基准上以混合路由实现 91.04% 任务成功率，代价是需要维护任务状态、投递调度和跨会话记忆等额外机制。

共分析 62 篇语音/AI 论文

针对全双工语音交互中打断、回切与外部工具调用难以共存的问题，该工作用并行智能体文本流与函数调用流加流式 TTS 与 RNN-T 转写的统一架构实现边听边说边调工具，最强证据是工具选择 F1 达 82.5% 且打断后恢复质量 4.33/5，代价是参数准确率与端到端执行仍明显落后且工具执行期间不支持打断。

共分析 29 篇语音/AI 论文

Voice-Light 研究全双工级联语音交互中的轮次判断与重叠处理，用共享流式识别编码器的因果适配器加可逆混合控制器与私有推测生成，在 1673 个静音候选的锁定测试中学习策略仅获 12.53% 召回而保留混合控制器，在 36 轮真机麦克风案例中取得 758 毫秒中位响应但以 800 毫秒超时兜底。

共分析 26 篇语音/AI 论文