语音对话系统

该文针对语音进语音出对话只用单轮语义奖励的问题，用四路独立偏好数据加单 DPO 目标联合训练，在保持轮次与块级解码兼容的同时，以语义与声学指标的联合提升为证据，代价是情感与可懂度之间出现轻微竞争。

针对长程语音角色扮演中崩人设难定位的问题，论文提出把文本路由与音频路由投影到共享情感空间做分路由、按轮次诊断的 PED 框架，并在端到端与级联两种 3B 量级系统上揭示出可分性受限、文本向中性集中、双路由弱耦合等可复述的诊断信号。

论文研究如何用极小子集替代上万条音频评测并对齐真人语音助手体验，用 50 条达到 0.93 以上基准相关、用 100 条回归达到 0.978 人类偏好相关，代价是仅 7 个模型的人评与英语对话场景限制。

针对中文多轮语音任务对话缺乏真实口语评测的问题，RealTalk-CN 用 5400 段真人录音与不流利标注和跨模态切换任务，测出槽填充比意图分类更怕口语化，而流水线与端到端各有胜负且老年与方言口音存在可测差距。

针对语音到语音模型只测语义、不测说话方式的问题，S2S-Arena 用四级交互协议与 1243 条语音查询做 1001 次语音内成对比较，最强证据是工业模型全面领先而学术模型在高难度表达层落后 300 分以上，代价是合成语音分布与短轮交互的局限。

针对语音到语音对话既要评语义又要评声学而级联评测会丢声学信息的问题，论文用大规模合成偏好数据加带解释理由的两阶段监督微调构建端到端语音裁判 SageLM，以 82.79% 的人类一致率超过级联与语音理解基线，代价是依赖合成语音分布与有限声学数据。

针对文本评测看不见韵律情感与书面腔问题，该工作用真实对合成与书面對口语两类多轮偏好对训练端到端奖励模型，在分层基准上以 96.61% 模态微平均等证据显示可运行优势，代价是绝对分值仍随域偏移需谨慎用于优化。

针对医疗语音数据稀缺与问诊能力缺失问题，论文用 405k 文本注入知识再用 198k 合成语音做模态重对齐，在多轮问诊与单轮问答上报告最优分数，代价是仍以普通话合成为主且只验证文本语音两种模态。

论文研究主用户与第三方同处一室时的打断处理，用可定制的应答策略加声学优先训练解决语义走捷径问题，最强证据是合成与真实录音上策略跟随与有用性同步提升，而代价是需要大量合成双说话人数据与难负样本约束。

论文把多轮语音风格保持定义为首轮指令后的逐轮指令遵循率，用同一话题与同一模拟用户测五类模型，报告首轮尚可但后续迅速退化，并显示显式回忆能部分缓解但需额外轮次代价。

针对英文为主和合成语音评测失真的问题，VCB Bench 用全真人中文语音构建指令跟随、知识理解与鲁棒性三维评测，在 9 个语音对话模型上显示常识问答最难而物理干扰比口误更致命。

VoxMind 针对端到端语音智能体规划弱与工具多时延迟高的问题，采用先显式推理再说话与并行动动态工具管理，并在 AgentChat 上训练，主评测总体 74.57 分超越基线，但推理轨迹带来固定开销且合成数据与真实口语仍有差距。

针对端到端语音对话中统一偏好优化易引起声学漂移的问题，WavAlign 用全 token 有监督微调做声学锚、用仅文本的组相对策略优化改语义并以 rollout 统计动态加权，在两种架构上同时提升语义与表达但仍受限于序列级奖励与音频评价可靠性。

针对双人自发对话需要同时保证可懂度与正确分声道轮转的问题，ZipVoice-Dialog 在单人流匹配基础上引入单人预训练到对话微调的课程与说话轮次嵌入，最强证据是 6.8k 小时 OpenDialog 与对比基线上的可懂度和轮转精度提升，代价是仍集中于双人单声道且表达力受小模型限制。

该工作针对校园咨询资源不足与高风险漏检问题，用主动倾听对话流程加提示驱动的四级风险分类与双语语音链路组织系统，并以 400 小时语音与 40 例模拟加 15 人实测日志支撑分析，代价是未报告检测精度、延迟与误报成本。

S3-Bench 用 1980 条科学语音问答与 213 段多轮对话把一次问答拆为识别感知推理发音四段测量，发现前三段正向耦合而生成与上游负耦合，严格事实性与听众适配仍是主要代价。

该文把语音客服审计对象定为固定服务事实下的完整服务事件，用七道验证门和六类指标区分最终结果与过程负担，并以全合成退款实例说明方法，全程不报告真系统比较结果。

针对先说话后做动作的级联需要两次推理且无法联合优化的问题，Motion-Omni 让动作直接从产生语音的隐状态生成，并在 422856 对教师伪标签与 SwDA-500 对照下以 RTF=0.78 达到与同音频教师级联接近的动作质量，代价是动作质量仍受教师分布约束。

在同一模型上以 7 轮 WHO 脚本对比音频与纯文本，音频在诱发轮出现更短更快更低更轻且不更温暖的韵律漂移，文本转录审计会漏检而高风险自伤脚本的模态差异最集中。

llmovoice 把语音交互的上下文拆成语义、副语言与环境三状态，用 VoicePage/VoiceThread 组织记忆并在预算内投影到上下文窗口，再让服务模型联合推理生成运行时指令，在丢包下把误打断率从 46.0% 降至 0.9%、每轮成本最高降低 24.9 倍，代价是编排调用时约 790 ms 的额外决策延迟与摘要压缩带来的细节丢失。