论文解读

提示词与规则:语音用户模拟器自然度行为的审计与控制

论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距,对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。

 · 更新于 2026-11-04 · 约 16 分钟 · 7707 字 阅读 →
论文解读

全双工语音模型如何在说话的同时接受指挥

论文针对全双工模型在长对话中偏离多阶段脚本的问题,提出边听边说的执行器加异步文本指挥器的架构与在线指令跟随训练,在 200 个分阶段考官任务上用完成率与严格顺序完成率衡量,并以显式轮替奖励维持打断与接话能力。

 · 更新于 2026-11-04 · 约 21 分钟 · 10410 字 阅读 →
论文解读

XTurnix:用两个状态下的二选一决定统一管理说话权

XTurnix 把听与说两种状态下的轮转控制归纳为每次只输出一个控制记号的二分类问题,用带时间戳的双人转写大规模自监督预训练再加合成多轮微调,在公开基准和自建平衡基准上验证了统一控制的可行性与分布依赖性。

 · 更新于 2026-11-04 · 约 20 分钟 · 9532 字 阅读 →
论文解读

多人会议中回馈预测为何跨人失效:诊断、基准与行为上限

论文把双人回馈模型搬到多人混合音频上发现预测头失效在先、跨听者泛化失效在后,用冻结特征探针、重训、条件化与对抗等对照定位到回馈行为本身的人际差异大而可迁移声学成分小。

 · 更新于 2026-11-04 · 约 20 分钟 · 9690 字 阅读 →
论文解读

最终答对不等于该出手时出手:PACT-SLM 把动作身份与出手时机分开考

PACT-SLM 用配对分支与可变起始点检验部分语音是否支撑外显动作,修正后 WavLM 探针在 onset 后语义标签准确率仅 26.03% 且未超过置换参考,完整轨迹准确率仅 5.94%,而时长对照更准地命中时机,说明身份与时机必须分开度量。

 · 更新于 2026-11-04 · 约 8 分钟 · 3603 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-04 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

不等说完就知道回哪一句:RePlay 把全双工隐状态直接做成检索查询

针对必须原样播放预录台词的多轮对话任务,RePlay 截断 PersonaPlex 并用轮次头加检索头在回合起点选句,仿真中以中位延迟 383 ms 达到接近大模型级联的对话质量,代价是精确行召回低于大模型级联。

 · 更新于 2026-11-04 · 约 18 分钟 · 8854 字 阅读 →
论文解读

TurnGuide:按轮次先写文本再说语音的全双工对话建模

针对端到端全双工语音模型语义弱而双通道对齐易被打断的问题,TurnGuide 用语音活动检测加停顿合并做轮次切分并在轮内交错生成文本与语音,在 Fisher 上显著提升语义连贯性与轮次转换行为,代价是块级交错带来约 0.69 秒量级的理论首包延迟与对码本和声码器的依赖。

 · 更新于 2026-11-04 · 约 19 分钟 · 9164 字 阅读 →
论文解读

动作做对不等于想对:CoDeTT 把轮次抢答拆成意图诊断

针对轮次切换评测只看说没说的问题,CoDeTT 用 4 动作加 14 意图的分层决策与两阶段漏斗评测揭示动作正确但理由错误的幸运猜测,其代价是合成主导的数据构造与历史过长时的语义过承诺。

 · 更新于 2026-11-04 · 约 18 分钟 · 8658 字 阅读 →
论文解读

在真实轮转对话里做在线提取:用预测的说话活动给分离器指路

针对含第三方干扰的自然双人对话在线音视目标说话人提取,该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器,在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%,代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。

 · 更新于 2026-11-04 · 约 20 分钟 · 9816 字 阅读 →
论文解读

双通道生成式预训练为何能提前听出轮替:DualTurn 的方法与证据

针对流水线式语音助手靠静音超时切轮导致迟钝打断的问题,DualTurn 用双通道生成式语音预训练学对话动态再微调出六种信号组合成五种智能体动作,在 Switchboard 上以 wF1 0.633 超过 VAP 的 0.389 并提前约 220 毫秒预判轮替,但回声信号精度仍低且训练限于英语双人对话。

 · 更新于 2026-11-04 · 约 21 分钟 · 10381 字 阅读 →
论文解读

从被动端点检测到提前预报:用推测执行掩盖级联对话延迟

该文把轮次结束检测改写为固定视界的语音端点预报问题,用双流 EPA-M 模型提前触发大模型与语音合成管线,在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线,并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。

 · 更新于 2026-11-04 · 约 16 分钟 · 7664 字 阅读 →
论文解读

实时语音智能体为何不能只看一个数字:架构约束、时机恢复与落地状态的联合刻画

该综述以 38 篇一手文献追问实时语音智能体何时说、如何说与是否真做成,指出级联仍是可自托管部署的现实选择、评价正从部件质量转向对数据库状态的验证,而多人场景正在瓦解双人对话假设,并据此提出时机—恢复—落地的最低联合报告标准。

 · 更新于 2026-11-04 · 约 20 分钟 · 9561 字 阅读 →
论文解读

不用模拟后端也能训练前后端:随机化中间引导让真人对话接管串联语音对话

针对串联语音对话缺少训练时中间引导的问题,该研究用目标回答加随机采样回答构造引导流,在合成对话上达到与大模型模拟相当的回答质量,并在 3.8k 小时真实对话上提升轮转顺滑度和听感自然度,代价是打断处理仍弱且真实数据模型回答分略低于合成基线。

 · 更新于 2026-11-04 · 约 17 分钟 · 8375 字 阅读 →
论文解读

少即是多:语调与静音决定轮次结束,文本反而增加抢话

在相同训练条件下比较声学、韵律、文本七种组合,声学加韵律以 utterance F1 0.93、7.8% 误报、400 ms 中位延迟取得最佳平衡,加文本反而增加抢话且不提升性能。

 · 更新于 2026-11-04 · 约 17 分钟 · 8268 字 阅读 →
论文解读

单声道加单镜头怎么做多人轮替预测:MuVAP 用角色相对投影锚定说话人

MuVAP 针对单通道音频加单视角视频的多人轮替问题,用角色相对投影把任意人数压缩为当前与下一持有者两角色,并用因果视听轨迹锚定全局声学预测,在连续未剪辑对话上评估静默与活跃条件下的换保持与下一说话人预测,但历史窗依赖与类别不平衡带来延迟与偏置代价。

 · 更新于 2026-11-04 · 约 19 分钟 · 9337 字 阅读 →
论文解读

附和声是让话继续还是把话接走:荷兰语中句法完整与边界调前的证据

该研究以荷兰语地图任务对话中 1910 个语段交界为样本,用句法完整与边界调预测保持、附和与转换三类过渡,发现附和与两者都不同但更接近转换,而高边界调与完整句法是关键区分条件。

 · 更新于 2026-11-04 · 约 16 分钟 · 7732 字 阅读 →
论文解读

多人对话谁该开口:用显式角色约束语音智能体的抢话决策

针对多人语音中重叠与抢话导致的何时开口、是否开口难题,论文提出以角色为条件的流式语音大模型 ModeratorLM 及其思维链变体,在真实会议与合成对话上把轮次精确率与召回率大幅提高,代价是依赖文本转写与动态分块训练。

 · 更新于 2026-11-04 · 约 18 分钟 · 8645 字 阅读 →
论文解读

快慢不同步:用双路径分别建模倾听者反馈的出现时机

针对倾听者反馈相对会话机会点延迟分布不一致的问题,论文用生存分析验证快慢功能类别的延迟差异,再用快慢双路径分别预测帧级起始与类别,最强证据是 Macro-F1 从 0.4862 提升到 0.6254,代价是只用单通道声学线索且依赖固定静音阈值定义的机会点。

 · 更新于 2026-11-04 · 约 19 分钟 · 9054 字 阅读 →
论文解读

开口前身体先表态:抢话与守话走着不同的运动时钟

该文把轮替预测从声音边界后移改为骨骼运动前移,用 InterAct 三维骨骼检验不同身体部位和不同意图的提前量,最强证据是上半身在提前 1.5 秒仍保持可预测性,而代价是过长窗口会混入上一段共发手势噪声且守话状态需等到碰撞时刻才能确认。

 · 更新于 2026-11-04 · 约 16 分钟 · 7697 字 阅读 →