语音对话系统

RoleBreak 用 310 个角色与 6688 个多轮语音轮次同时测语义角色保持与声音情感表达，发现最强系统仍在平均 10.4 轮出现人格失败且全部系统情感分低于 14.7，而把语言模型从 2B 放大到 27B 能推迟语义失败却几乎不改善声音情感。

针对语音共情对话中只做情绪识别就直接生成的问题，ER-EDF 用感知加规则调节再提示生成的链路组织回复，在 IEMOCAP 与 MELD 构造的两种共情参考上多数情况下提升共情指标，但高强度表演式对话与小模型接地能力仍是代价与边界。

MP-Bench 用合成四人语音与显式、隐式、消极三类轮次条件测语音智能体，12 个系统的最强证据是带完美说话人标签的文本上限接近满分而实时语音系统在游戏轮次上徘徊于随机水平，代价是完全受控合成、无重叠与单决策点评估。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

论文提出只用原始音视频判断最后说话人在跟谁说话的 Omni-MMSI 任务，并用参考引导的工具抽取加两步思维链推理的 Omni-MMSI-R 解决身份归属难题，在 Ego4D 和 YouTube 上取得报告的最优准确率，代价是需手工构建参考对和过滤生成推理标注。

针对多人交互中只建模说话或只建模双人的不足，PolySLGen 用过去全组语音与动作为条件联合生成目标人的文本、语音风格、身体动作和说话状态分，证据是动作与说话状态预测上优于多个基线，代价是推理约 5 帧每秒且说话状态预测仍困难。

ViBES 针对多轮对话中语言与身体脱节的问题，采用文本语音专家加面部与身体专家的混合模态专家结构并在 25 帧统一时钟上联合生成，在对话行为基准上取得高于共语音手势与文本到动作基线的对齐度，代价是依赖单目重建数据与尚不完善的行为评价。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对文本角色扮演忽略语音自发性和人物声音一致性的问题，ActorMind 用眼耳脑口四智能体的现成推理流程组织语音合成，在 Friends 第一季构建的 7653 句基准上以 RP-MOS 取得平均 3.56 分的报告结果，但其评估依赖小规模主观打分且未训练模型参数。

AEQ-Bench 用 1,885 个音频加文本实例把共情拆成生成回应与判断回应 2 类任务，用相同话语换语境和相同语境换语调 2 种对照进行测试，报告显示带音频输出的模型在自然度与语音表达上占优，而细粒度韵律自动评估仍不可靠，代价是依赖人工核验与粗粒度量表。

该研究把多轮语音交互拆成记忆、指令、一致性和语音改口四个轴，用 452 段无脚本真人录音和 1712 条原子细则做固定上下文评测，报告最高模型仅 54.65% 通过率且语音改口最难，同时付出长音频一致性下降与声音线索记忆明显弱于语义记忆的代价。

AV-Dialog 针对多人干扰下跟丢目标说话人与抢话时机错乱问题，用声学码加唇部视觉做流式理解与轮次预测，在干扰下把轮次预测准确率从 54% 提升到 79%，代价是双模型并行与视觉前视带来的额外延迟与显存开销。

针对中文儿童语音数据少、方言覆盖窄、缺少完整对话的问题，论文构建 112.5 小时 498 名 2-8 岁儿童与 500 名看护人的 ChildTalk 语料，并在同库与跨库上证明微调能稳定降低字错率，而加入上文提示可进一步减少替换与删除错误，但低资源方言与低龄段仍很困难。

针对多语平行口语对话稀缺且翻译腔重的问题，论文用 WHO 知识库加对话行为大纲加母语者即兴实现的方法造出 6 千对话与 163 小时语音，基准显示英语检索与过滤持续领先而阿拉伯语最低，代价是内容未经临床验证且语音到文本检索几乎失效。

针对先想后说首音等待过长而边想边说又破坏思维块原子性的矛盾，论文用流式掩蔽机制保证音频不欠载、用原子一致性修复重建逻辑因果，在 VoiceBench 上从 67.24 提升到 73.41 的同时把首次音频延迟从 20.35s 降到 3.65s、实时率从 7.04 降到 1.05，代价是依赖外部教师模型打分且复杂混合推理仍与串行思考存在小幅差距。

针对语音数据稀缺与跨语言扩展难的问题，CSLM 用持续预训练做模态内与跨语言对齐、再用语音文本分块交错微调做细粒度生成，在约 77 千小时语音数据下取得可比大数据的对齐与对话能力，但大语种覆盖与更大规模验证仍待补足。

针对语音共情对话中副语言信息易被转写或早压缩削弱的问题，ES4R 在编码前用轮内与轮间注意力构建情感上下文再做语音引导的语义融合与能量引导的语音合成，在 AvaMERG 上语义一致性最优但多样性指标未占优且合成风格集合有限。

针对共情语音指令数据稀缺与微调大模型易遗忘问题，论文用冻结大模型加语义适配器与情绪抽取器的解耦编码与三阶段对齐，仅用现有语音指令与情绪识别数据实现共情理解与富有表现力语音生成，在共情对话与情绪识别等任务上报告更强结果，但情绪标签随机指派与韵律监督仍有边界。

该文把语音智能体的文化能力重新定义为事件限定的交互能力，用语音事件与交互契约约束韵律时机与参与管理，并以附录的事件卡与最小对诊断补足词错率与平均意见分测不到的得体性，代价是增加人工判断与规范界定负担且不提供新数据集验证。