语音对话系统

该文把语音智能体可靠性定义为固定 306 通电话总体中无功能性失败且达成目标的百分比，用音频实测计时失败、用固定判分模型加工具轨迹判定语义失败，最强证据是去掉音频事件后分数平均虚高 24 分而排序仍受部署参数扰动，代价是单账单域与合成主叫限制了外推。

LUMO 针对无网与隐私敏感场景，在树莓派 5 上用本地语音识别加 4 比特量化小模型加本地合成组成全离线流水线，在短指令上报告低噪声下较低词错误率与约 3.2 秒端到端延迟，代价是强噪声下错误率明显上升且小模型推理能力有限。

该研究以加拿大 Hansard 英法议会 40 组独白加提问为对象，用余弦相似度检验声学韵律与语义趋同，发现全局与首尾分段趋同并存且跨语言存在两阶段规划，但强驱动特征消融后跨语言下降更大。

针对级联丢失韵律而端到端难控情感与知识的问题，PRISM 把感知、管理、回应、发声拆成四智能体并用韵律转语言稳定推理，在 AvaMERG 上以自动、人工和大模型评测同时占优，代价是只微调回应器且依赖外部识别与合成模块。

针对日语书面与口语风格差异导致语音大模型输出不适合语音合成的问题，该研究用直接偏好优化做口语风格对齐，在 SpokenElyza 上相对提升约 18% 而书面任务 Elyza 仅相对下降约 5%。

TriageSim 针对急诊分诊缺少真实护患语音的问题，用结构化病历加人物设定驱动多智能体对话与语音合成，生成约 800 段文本音频对齐语料，并在三模态分诊分类上只得到公平一致性，说明瓶颈在临床推理而非转写噪声。

该文针对语音语言模型同时受文本与音频越狱威胁的问题，选择在中间层残差流上用主成分分析暴露拒绝与顺从的分离结构并构造可跨模态转向的向量，最强证据是音频来源的拒绝向量把文本 AutoDAN 攻击成功率从 72.69% 压到 2.82% 而反向亦成立，代价是干预强度需按模型分布手调且只验证了两模型五种攻击。

AURORA 针对英语授课过渡期的听说与交际需求，用影子跟读测听力卡顿、用重叠模仿测发音偏离再加任务型对话与自动评估组织练习，夏季课程前后测报告听力卡顿与发音偏离显著下降，但未给出效应量与对照条件细节。

针对多轮口语对话中模型内部能注意到历史却在生成时被参数先验压制的问题，论文提出只遮挡注意力选出的关键轮并对比有无该轮输出分布的免训练解码方法，在 Audio MultiChallenge 上把三套端到端语音对话系统的平均通过率提高约 6.7 至 13.3 个百分点，而全历史粗放对比反而使性能下降。

该研究针对语音语言模型同时接收文本与音频时的越狱鲁棒性问题，提出同时优化文本后缀与音频扰动的联合攻击 JAMA 与分步近似 SAMA，在四个模型上报告联合攻击比单模态高 1.5 至 20 倍而分步版本快 4 至 6 倍，但长音频候选评估与可微特征提取等条件限制了其适用范围。

该研究用 CMU LEGO 电话对话比较系统相关与系统无关两套交换级交互质量分类路线，最强证据是端到端微调后系统无关模型与系统相关模型差异不再显著，但代价是可训练参数从 2.29M 增至 135.73M、延迟从 0.16 ms 增至 17.98 ms。

针对机场问询中口音英语可用性问题，LocalMATE 用口音估计加缓存、问答检索接地与口音条件语音加说话人脸视频组织端到端流程，最强证据是说话人无重叠下三类口音估计可用且正确适配提升信任而错配损害信任，代价是错配与视频增益有限且需以低置信回退到中性音来兜底。

针对日语高低重音与汉语声调等音高敏感语言的口语练习问题，Amadea 选择用语音识别推定意图短语再合成母语参考音并比较归一化基频轮廓的方法，其可核对的证据是 16 kHz 解码与 80-400 Hz 区间 pYIN 估计等具体流水线参数，代价是单参考轨迹对照与识别及对齐失败等未验证环节。

针对语音大模型能识别情绪却回不对情绪方向的问题，CE-CoT 把一次回答拆成情绪识别、中性回答与情绪对齐改写三步做隐式对照训练，在四个数据集上把情绪一致性最高提升 19.1 个百分点相对普通对齐与 35.2 个百分点相对预训练基线，代价是仍只验证单轮与自动裁判打分。

PUBG Ally 用事件驱动的语言模型做高层意图与语音、每刻运行的行为树做移动战斗恢复来解决语音协同与实时控制的矛盾，最强证据是 2B 端侧学生在能力评分上追平 31B 教师且端到端语音往返约 1.6 秒对云端约 3.4 秒，代价是安全加强后良性拒答小幅上升且残局战斗评分仍偏低。

该研究用语音克隆固定文本后比较三种语音大模型对六种口音与两种性别呈现的回答，发现在礼貌一致下东欧口音女性帮助性最低，人评比机器评更敏感，但受限于合成音色与小规模人评。

该工作把实时语音交互拆为思考、行动与说话协调三层，用文本教师蒸馏加可执行环境强化学习提升多轮约束跟踪与工具执行，在半双工语音版 τ-Voice 上总成功率从 78.4% 升至 82.0%，代价是部分流畅性与延迟指标并未同步最优且长时程口语任务仍未验证。

论文要解决长音视频生产力任务中感知与长程规划脱节的问题，选择原生多模态共训加百万上下文与按需取证的智能体执行，证据是多说话人识别与长视频推理的大幅提升，代价是通用转写翻译仍有差距且实时交互需非思考模式换取低延迟。

针对串行先想后说导致长时间无声等待的问题，该工作用推理主路加轻量报幕支路的异步结构，在保持串行推理问答精度基本相当的同时，把用户可感知的静音大幅压低，代价是需要额外的报幕生成与动态调度。

MSI-Bench 用 1152 个多人多轮语音场景考查说话人限定的记忆、指令跟随与推理，最强配置英文全通过率仅 66.8%、中文 54.5%，开源模型主要卡在多人语音感知，前沿模型则卡在干净文本上的说话人限定决策与开口克制。