在真人停顿处考语音对话:该沉默时沉默吗
论文把实时语音系统放到 176 段闲聊的真实停顿和话轮末尾,比较它是否像真人一样保持沉默或接话,最强证据是托管 API 几乎从不沉默而全双工模型才会沉默,代价是历史输入通道不同且标注和触发方式影响结论适用范围。
论文把实时语音系统放到 176 段闲聊的真实停顿和话轮末尾,比较它是否像真人一样保持沉默或接话,最强证据是托管 API 几乎从不沉默而全双工模型才会沉默,代价是历史输入通道不同且标注和触发方式影响结论适用范围。
该研究解决在分通道自然对话录音中把语音活动还原为轮次和反馈两类交互单元的问题,用语音检测加能量过滤加合并加转写加上下文后处理得到初版标注,在 99 段丹麦语对话上检出 F1 约 0.62 且匹配段的中位边界误差约零点十几秒,代价是仍需人工复核且对参数敏感。
论文针对全双工语音模型边听边说的耦合互动难以用固定考官评价的问题,提出让两个模型直接对话并都被离线打分的 DyaFDB 框架,用 140 个场景 7560 段对话证明分数是两人共同决定的,代价是需要成对录制与离线评判。
论文让两个 PersonaPlex-7B 直接交换音频 token 自由对话,用同一套 floor-transfer 规则测量接话时机,发现模型之间能相互耦合但中位间隔比人大三到四倍,且延迟扫频与分布形状支持反应式等待而非人类式提前预测。
Jarvis 针对共享文档的多人讨论,用小型模型的检测加规则门限决定是否纠正遗漏或说错的事实,并用等候空档与举手加屏幕引证来进入对话,在合成与真实会议中验证了时机与正确性,但结论只在文档可查证的范围内成立。
论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距,对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。
论文针对全双工模型在长对话中偏离多阶段脚本的问题,提出边听边说的执行器加异步文本指挥器的架构与在线指令跟随训练,在 200 个分阶段考官任务上用完成率与严格顺序完成率衡量,并以显式轮替奖励维持打断与接话能力。
XTurnix 把听与说两种状态下的轮转控制归纳为每次只输出一个控制记号的二分类问题,用带时间戳的双人转写大规模自监督预训练再加合成多轮微调,在公开基准和自建平衡基准上验证了统一控制的可行性与分布依赖性。
论文把双人回馈模型搬到多人混合音频上发现预测头失效在先、跨听者泛化失效在后,用冻结特征探针、重训、条件化与对抗等对照定位到回馈行为本身的人际差异大而可迁移声学成分小。
PACT-SLM 用配对分支与可变起始点检验部分语音是否支撑外显动作,修正后 WavLM 探针在 onset 后语义标签准确率仅 26.03% 且未超过置换参考,完整轨迹准确率仅 5.94%,而时长对照更准地命中时机,说明身份与时机必须分开度量。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对必须原样播放预录台词的多轮对话任务,RePlay 截断 PersonaPlex 并用轮次头加检索头在回合起点选句,仿真中以中位延迟 383 ms 达到接近大模型级联的对话质量,代价是精确行召回低于大模型级联。
针对端到端全双工语音模型语义弱而双通道对齐易被打断的问题,TurnGuide 用语音活动检测加停顿合并做轮次切分并在轮内交错生成文本与语音,在 Fisher 上显著提升语义连贯性与轮次转换行为,代价是块级交错带来约 0.69 秒量级的理论首包延迟与对码本和声码器的依赖。
针对轮次切换评测只看说没说的问题,CoDeTT 用 4 动作加 14 意图的分层决策与两阶段漏斗评测揭示动作正确但理由错误的幸运猜测,其代价是合成主导的数据构造与历史过长时的语义过承诺。
针对含第三方干扰的自然双人对话在线音视目标说话人提取,该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器,在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%,代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。
针对流水线式语音助手靠静音超时切轮导致迟钝打断的问题,DualTurn 用双通道生成式语音预训练学对话动态再微调出六种信号组合成五种智能体动作,在 Switchboard 上以 wF1 0.633 超过 VAP 的 0.389 并提前约 220 毫秒预判轮替,但回声信号精度仍低且训练限于英语双人对话。
该文把轮次结束检测改写为固定视界的语音端点预报问题,用双流 EPA-M 模型提前触发大模型与语音合成管线,在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线,并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。
该综述以 38 篇一手文献追问实时语音智能体何时说、如何说与是否真做成,指出级联仍是可自托管部署的现实选择、评价正从部件质量转向对数据库状态的验证,而多人场景正在瓦解双人对话假设,并据此提出时机—恢复—落地的最低联合报告标准。
针对串联语音对话缺少训练时中间引导的问题,该研究用目标回答加随机采样回答构造引导流,在合成对话上达到与大模型模拟相当的回答质量,并在 3.8k 小时真实对话上提升轮转顺滑度和听感自然度,代价是打断处理仍弱且真实数据模型回答分略低于合成基线。
在相同训练条件下比较声学、韵律、文本七种组合,声学加韵律以 utterance F1 0.93、7.8% 误报、400 ms 中位延迟取得最佳平衡,加文本反而增加抢话且不提升性能。