提示词与规则:语音用户模拟器自然度行为的审计与控制
论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距,对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。
论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距,对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。
论文针对全双工模型在长对话中偏离多阶段脚本的问题,提出边听边说的执行器加异步文本指挥器的架构与在线指令跟随训练,在 200 个分阶段考官任务上用完成率与严格顺序完成率衡量,并以显式轮替奖励维持打断与接话能力。
XTurnix 把听与说两种状态下的轮转控制归纳为每次只输出一个控制记号的二分类问题,用带时间戳的双人转写大规模自监督预训练再加合成多轮微调,在公开基准和自建平衡基准上验证了统一控制的可行性与分布依赖性。
论文把双人回馈模型搬到多人混合音频上发现预测头失效在先、跨听者泛化失效在后,用冻结特征探针、重训、条件化与对抗等对照定位到回馈行为本身的人际差异大而可迁移声学成分小。
PACT-SLM 用配对分支与可变起始点检验部分语音是否支撑外显动作,修正后 WavLM 探针在 onset 后语义标签准确率仅 26.03% 且未超过置换参考,完整轨迹准确率仅 5.94%,而时长对照更准地命中时机,说明身份与时机必须分开度量。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对必须原样播放预录台词的多轮对话任务,RePlay 截断 PersonaPlex 并用轮次头加检索头在回合起点选句,仿真中以中位延迟 383 ms 达到接近大模型级联的对话质量,代价是精确行召回低于大模型级联。
针对端到端全双工语音模型语义弱而双通道对齐易被打断的问题,TurnGuide 用语音活动检测加停顿合并做轮次切分并在轮内交错生成文本与语音,在 Fisher 上显著提升语义连贯性与轮次转换行为,代价是块级交错带来约 0.69 秒量级的理论首包延迟与对码本和声码器的依赖。
针对轮次切换评测只看说没说的问题,CoDeTT 用 4 动作加 14 意图的分层决策与两阶段漏斗评测揭示动作正确但理由错误的幸运猜测,其代价是合成主导的数据构造与历史过长时的语义过承诺。
针对含第三方干扰的自然双人对话在线音视目标说话人提取,该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器,在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%,代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。
针对流水线式语音助手靠静音超时切轮导致迟钝打断的问题,DualTurn 用双通道生成式语音预训练学对话动态再微调出六种信号组合成五种智能体动作,在 Switchboard 上以 wF1 0.633 超过 VAP 的 0.389 并提前约 220 毫秒预判轮替,但回声信号精度仍低且训练限于英语双人对话。
该文把轮次结束检测改写为固定视界的语音端点预报问题,用双流 EPA-M 模型提前触发大模型与语音合成管线,在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线,并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。
该综述以 38 篇一手文献追问实时语音智能体何时说、如何说与是否真做成,指出级联仍是可自托管部署的现实选择、评价正从部件质量转向对数据库状态的验证,而多人场景正在瓦解双人对话假设,并据此提出时机—恢复—落地的最低联合报告标准。
针对串联语音对话缺少训练时中间引导的问题,该研究用目标回答加随机采样回答构造引导流,在合成对话上达到与大模型模拟相当的回答质量,并在 3.8k 小时真实对话上提升轮转顺滑度和听感自然度,代价是打断处理仍弱且真实数据模型回答分略低于合成基线。
在相同训练条件下比较声学、韵律、文本七种组合,声学加韵律以 utterance F1 0.93、7.8% 误报、400 ms 中位延迟取得最佳平衡,加文本反而增加抢话且不提升性能。
MuVAP 针对单通道音频加单视角视频的多人轮替问题,用角色相对投影把任意人数压缩为当前与下一持有者两角色,并用因果视听轨迹锚定全局声学预测,在连续未剪辑对话上评估静默与活跃条件下的换保持与下一说话人预测,但历史窗依赖与类别不平衡带来延迟与偏置代价。
该研究以荷兰语地图任务对话中 1910 个语段交界为样本,用句法完整与边界调预测保持、附和与转换三类过渡,发现附和与两者都不同但更接近转换,而高边界调与完整句法是关键区分条件。
针对多人语音中重叠与抢话导致的何时开口、是否开口难题,论文提出以角色为条件的流式语音大模型 ModeratorLM 及其思维链变体,在真实会议与合成对话上把轮次精确率与召回率大幅提高,代价是依赖文本转写与动态分块训练。
针对倾听者反馈相对会话机会点延迟分布不一致的问题,论文用生存分析验证快慢功能类别的延迟差异,再用快慢双路径分别预测帧级起始与类别,最强证据是 Macro-F1 从 0.4862 提升到 0.6254,代价是只用单通道声学线索且依赖固定静音阈值定义的机会点。
该文把轮替预测从声音边界后移改为骨骼运动前移,用 InterAct 三维骨骼检验不同身体部位和不同意图的提前量,最强证据是上半身在提前 1.5 秒仍保持可预测性,而代价是过长窗口会混入上一段共发手势噪声且守话状态需等到碰撞时刻才能确认。