语音对话系统

论文用 354 组十语言严格平行对话检验文字转语音的多轮能力迁移，发现文字成绩好的模型语音未必好，而把历史语音换成文字稿能部分恢复受损最大的两个模型的表现，但代价是增加转写处理且不能推广到所有模型。

论文用保留目标音频只改无关历史的对照和分层干预，证明无关历史值会定向拉偏答案，且问谁的信号不能独自关断竞争值的影响，选择题干扰还会留在问题-候选项状态中。

共分析 28 篇语音/AI 论文

ReFrame 针对全双工语音模型每帧都做稠密推理的问题，用双方静音时的推测执行和用户说话时的折叠并行来省 GPU 时间，并把省出的帧预算用于可恢复的检索与语言模型查询，在 1225 段对话上省 18.80-31.01% 执行时间并保持文本基本一致。

论文用同一批音频同时检验表达、感知和利用三个环节，发现 8 个语音原生模型在中性措辞下几乎不报告轻度不耐烦语气，但两个开源模型的编码器仍能解码该语气，而对文字中不耐烦的稳定作答才是真正的稳健。

共分析 48 篇语音/AI 论文

论文要解决已训练好的文本图像模型如何新增语音输入并保留推理与工具能力，采用两阶段适配与按数据源区分的交叉熵和前向 KL 监督，在语音推理、对话体验与完整任务上验证效果，代价是本地在线教师与大规模语音暴露量的训练开销。

针对巴斯克语缺少语音指令数据的问题，论文沿用模块化架构加合成数据路线构建语音交互系统，用内容分 3.86/5、语音可懂度词错误率 9.94%、延迟 370 毫秒证明可行，同时留下合成分布内评测与音频质量差距等限制。

论文把声纹当作对身份的含噪观察，提出免训练的 EvoSpeakerMem 逐轮路由与门控更新用户实体，并在合成的 LoCoMo-ID 上验证其在干净与录音条件变化下提升身份受限问答，但也暴露碎片化与跨用户污染的权衡。

共分析 25 篇语音/AI 论文

针对全双工语音咨询中只回应最近一句话而丢失早期根本困扰的问题，CounselPlex 在说话人沉默时生成 1-7 词的压力源状态并在倾听时注入文本流，结合位置偏移增强训练，在 ESConv 与 ESCoT 合成语音上的咨询质量评分超过同域微调基线，但延迟增加且未检测到简短附和声。

论文用闭环仿真量化了全双工语音模型在 10 分钟会话中的响应、内容和音色退化，再用特权上下文自蒸馏把短会话能力迁移到长会话，并用双分辨率上下文把远期历史压缩成要点记忆，在训练时长内和超长 20 分钟会话中都验证了稳定性提升与显存增长下降的代价。

该文把提前调用工具定义为逐块判断工具与全部参数何时在已听语音中被锚定，用合成对齐流水线给出最早可行动时刻监督，并在同域与音频版外部基准上以正确调用平均提前约 1.8 秒到 2.0 秒和 1.1 秒为证据，代价是触发精确率仍不足六成。

针对远场对话中流式识别的局部错误，Pardon 用干净音频的反事实解码监督估计重说可修复的增益，再把高分词组成 span 请说话人重说并用大模型只改该段，在控制打断负担下降低词错误率。

针对语音智能体说完话后才开始推理和调工具导致的等待问题，论文提出周期性重叠执行的 Thinker 加 endpoint 触发的 Responder 分工，用三套语音基准上的工具覆盖率和 FDBench 延迟数据说明能提前完成更多可复用准备，但最终任务质量随基准而异且复用仍是独立难题。

该文针对语音交互缺少叹气、笑声等非言语发声的问题，用合成对话与多阶段训练让模型学会在合适位置生成 13 类发声，并在两种架构上验证了恰当性与语音质量的提升与代价。

共分析 57 篇语音/AI 论文

论文把音频到解码器的接口限定为冻结文本词嵌入的凸组合，用 C-Gate 路由实现，并在 VoiceBench 十一任务平均 75.36 分的语音知识推理优势与转写和非语音理解上存在取舍的条件下验证其可行性。

JAVIS 针对对话系统缺视觉通道与级联延迟问题，用共享大语言模型加联合精炼头产生统一音视表示并分两支流式生成语音和面部动作，在 VStyle 未见样本上取得更好的唇同步与表情恰当性，并把初始延迟降到 1.27 秒，但结论依赖合成训练数据与特定评测条件。

CoSTA 针对语音对话模型生成与合成共用长语音 token 序列导致推理贵的问题，用 BPE 压缩扩展生成词表并经发音与对话两阶段适配、推理时确定性展开回原空间，在 Step-Audio 2 mini 上实现约 1.7 倍展开后语音 token 生成速度并保持质量，代价是一次性增加约 6% 词表参数与两阶段适配训练。