把何时说话和说什么分开:全双工语音建模 Diffuplex 解读
Diffuplex 用自回归策略决定何时说话、用语音条件离散扩散并行生成说什么,在 VoiceBench 上以思考模式达到 86.9 分并实现每前向 13.0 词元、1872 词元每秒的解码速度,代价是需要三阶段训练与提前固定前缀带来的延迟质量折中。
Diffuplex 用自回归策略决定何时说话、用语音条件离散扩散并行生成说什么,在 VoiceBench 上以思考模式达到 86.9 分并实现每前向 13.0 词元、1872 词元每秒的解码速度,代价是需要三阶段训练与提前固定前缀带来的延迟质量折中。
针对每 80 ms 都要唤醒主干的全双工对话开销,DiffuPlex 一次预测 16 帧未来并只消费可信前缀,在保持打断与轮转行为的条件下把主干调用降到约一半,代价是单次唤醒更贵且激进消费语音未来会损失自然度。
EchoChat 针对语音共情中细粒度感知不足与多步推理误传问题,用声学锚定注意力做有监督微调,再用级联门控与分步信用分配做结构化强化学习,在 EchoEval 的多场景感知推理回应评测中取得领先,但结论依赖合成训练数据与模型打分评测条件。
EMODE 针对语音大模型容易只看文字内容而忽略韵律情感的问题,用语义和副语言两条专家通路加三阶段训练做情感语音建模,在九个数据集平均准确率 72.10% 上最高,但合成可控测试显示中文组级别稳定性仍明显弱于英文。
HiPLEX 把全双工语音的文本策略拆为何时发射的控制因子和说什么的条件内容因子,再用事件因果掩码分送信令与语义反馈,在 Moshi 上改善了暂停与 backchannel 克制和打断后延迟,但结论只在相同评测协议与奖励配比下成立且伴随学习率敏感性。
Jarvis 针对共享文档的多人讨论,用小型模型的检测加规则门限决定是否纠正遗漏或说错的事实,并用等候空档与举手加屏幕引证来进入对话,在合成与真实会议中验证了时机与正确性,但结论只在文档可查证的范围内成立。
针对多人多会话语音对话中说话人混淆与事实新旧混淆问题,PERSIST 用可读事件记录加语义加说话人加时间联合打分做检索,并复用对话主干中间表示把检索延迟从 578.42 ms 降到 7.03 ms,代价是仍依赖转写与说话人归属质量。
XTurnix 把听与说两种状态下的轮转控制归纳为每次只输出一个控制记号的二分类问题,用带时间戳的双人转写大规模自监督预训练再加合成多轮微调,在公开基准和自建平衡基准上验证了统一控制的可行性与分布依赖性。
针对能听出副语言线索却不会用它规划回复的感知推理脱节问题,LoopSLM 用权重共享循环块加每轮声学重锚定和两阶段训练实现无文本思维链直接回复,证据是推理精度提升超 20 个点且生成词数减少 64.5%,代价是提示处理与每解码步都要跑 4 轮循环带来的执行深度增加。
该文提出以人类高成功对话为参照、比较行为分布距离的对话分布分数,用语速、节奏、轮替共八个可解释特征加语义基线评价系统,在域外目标导向对话上复合分数复现六组听众比较中的五组,但短片段与单一尺度下排序并不稳定。
针对说话人音频驱动听众头部反应的时滞对齐与局部表情随机性问题,REALM 用延迟先验门控融合做粗轨迹再只在表情子空间做音频条件随机残差,在 ViCo 与 L2L 上降低表情与姿态误差并改善帧间动态,但刚体姿态分布与部分方差指标仍有基线更优的反例且依赖离线窗口与机器人专用重定向。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该工作解决阿拉伯语语音问答中误引经训的高风险问题,选择检索优先于参数记忆、六路工具检索与自管语音链路,用 124 例中 122 例通过的背诵校验与 0.9–1.7s 端到端语音延迟证明接地可行,代价是单 GPU 主机成为可用性单点且方言与覆盖外问题仍回退到参数知识。
针对必须原样播放预录台词的多轮对话任务,RePlay 截断 PersonaPlex 并用轮次头加检索头在回合起点选句,仿真中以中位延迟 383 ms 达到接近大模型级联的对话质量,代价是精确行召回低于大模型级联。
该展示论文要解决如何让学习者在移动端直接听到和比较虚构角色的日语风格差异,选择人物条件大语言模型加角色专用合成语音加点击查词的完整交互环,不做离线评测与学习效果验证,代价是风格化口语不适合正式场合且噪声下依赖文本输入保底。
AdaptLingo 针对固定难度对话练口语容易过难或过简的问题,选择用时间声学特征预测初级中级高级流利度并以此控制 EIKEN 词汇生成与 TTS 语速,最强证据是标注数据上 95% 宏 F1 但噪声用户语音上仅 47% 准确率,主要代价是野外泛化不足与母语背景差异大。
论文用声学到发音反演加协调特征谱量化自然对话中的发音卷入,在 1381 对非自闭对话和 62 对含自闭与混合神经类型对话上显示同神经类型趋向复杂化和靠拢而混合对齐最弱,且卷入与自评会话成功正相关,但只报告群体趋势与相关性而未验证因果与实时开销。
针对语义主导和缺乏认知深度的问题,该研究用同一文本配多种情感的 LIME-440K 迫使模型听声学线索,再以四步 EIPS 显式推理加混合内化与双路由强化学习实现直接共情回复,在冲突语音上把共情分从不足 2.0 提升到 2.91 并把冲突情感准确率从 24.0% 提升到 46.0%,代价是三阶段训练与合成语音和真实微韵律之间仍有差距。
针对端到端语音角色扮演泛化差且损伤推理的问题,DeSRPA 在冻结的 Qwen3-4B 与 StyleTTS 2 上做推理时向量干预,在 SpeechRole 上以平均 0.8379 与 EEA 0.701 领先开源基线,代价是 TTFA 增至 577 ms 且 WER 为 2.63%。
针对用户同句不同情绪难处理且情绪对话数据稀缺的问题,Empathy Omni 用双编码器加逐词元情绪轨迹显式规划共情语音,在 VoiceBench 通用能力不明显下降的同时情绪评分与语音质量报告最优,但细微混合情绪仍偏通用且依赖合成数据过滤条件。