文字说很好、声音却在讽刺时：让音频语言模型先解耦再做四步共情推理

英文题目：Beyond Semantic Dominance: Cognitive Affective Reasoning and Empathetic Response Alignment in Audio Language Models

会议身份：conference:interspeech:2026:conference-paper-id:zhao26h_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #强化学习 #语音情感识别 #语音对话系统

评分：7.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Zhixian Zhao：机构信息未能从会议 PDF 纯文本可靠映射
• Shuiyuan Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Wenjie Tian：机构信息未能从会议 PDF 纯文本可靠映射
• Jingbin Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Ziyu Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Lei Xie：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理语音共情对话任务，输入为带细粒度韵律与发音特征的用户语音，输出为细粒度情绪判断与共情回复，难点在于预训练文本语义主导导致讽刺与强颜欢笑等声义冲突样本被误判，且正确识别后仍回落到通用安慰模板。本文方法链为三段：先用一文多情绪合成与 EIPS 标注构建解耦数据并以显式监督微调建立从声学感知到策略规划的完整推理，再以显隐提示等比混合训练将显式思维链内化为直接回复时的隐式激活，最后以双路由软自适应策略优化分别奖励显式链路的逻辑严谨与隐式链路的共情对齐。与仅描述音高语速的声学描述式思维链不同，该框架引入意图挖掘与心理建模等心理学推演并实现推理效率与深度的解耦。在 HumDial-EIBench 冲突子集上，隐式回复共情 LLM 评分为 2.91 分、人工评分为 3.16 分，显著高于 GPT-4o-Audio 的 1.82 分与 1.68 分，冲突情绪准确率从基座的 24.0% 提升至 46.0%。结论仅在中英文短轮单句与合成语音训练条件下验证，对真实自发微韵律与多轮情绪演化的外推尚未证明。原文未披露训练时长、推理延迟与部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/zxzhao0/CogAudio-LLM — 链接可访问（HTTP 200）
• 数据相关资源：https://github.com/zxzhao0/CogAudio-LLM — 链接可访问（HTTP 200）
• 第三方资源：https://huggingface.co/datasets/ASLP-lab/HumDial-EIBench — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？要解决的语音交互任务是什么？

这篇解读的输入是会议论文正文证据与两张官方原图像素，目标是让刚进入语音与音频语言模型方向的研究生能核对关键做法并复述方法。必须保留的信息包括任务定义、数据构造方式、3 阶段训练安排、评估协议与可运行基线对比，输出是 1 篇按学习依赖展开的中文技术解读。

任务是语音情感共情对话。输入是一段用户语音，输出是一句能对准用户真实情感和潜在心理需求的回复。难点在于同一句话可以用高兴、悲伤、愤怒等完全不同的韵律说出来，模型既要听懂字面意思，更要听出语气、强度与触发点，再选择安慰、道歉、庆祝或追问等策略。论文把现有音频语言模型简称为声学加语言的大模型，把文本偏置问题称为语义主导，把声音与文字矛盾时模型忽略声音的问题称为模态鸿沟。

举一个教学例子帮助理解，但它不是论文实验数据。假设用户用讽刺语气说项目结局很好，字面是表扬，声学是厌恶或失望。如果模型只看转写文本，就会回复听起来像好消息，这就是上半部分示意要表达的失败。若模型能先判断讽刺，再推断用户真正失落的是付出没有回报，并选择先接住情绪再问发生了什么，就接近论文希望的下半部分行为。后续各节会沿着一条样本说明输入如何变成表示、表示如何经过 4 步推理、推理如何变成最终回复。

已有两条路线做了什么？为什么还不够？

按论文梳理，已有研究大致分两条路线。第一条是通用语音基础模型，把情感理解当作下游评测任务，优点是覆盖广，缺点是很少为复杂情感交互专门设计回复策略。第二条是共情对话系统，利用音频感知生成带情感的回复，优点是更关注交互体验，缺点是容易停留在通用安慰模板。

论文指出近期语音领域已有人引入思维链，先让模型描述音高、语速等声学特征再预测情感。这类做法的白话理解是先说听到了什么声音特征，再猜情感。论文认为它仍属于声学描述式推理，缺少认知深度，也就是难以从表面话语剥离出未满足的深层心理需求、认知偏误、防御机制和合适的情感落点。因此论文不是只加声学描述，而是引入包含意图与心理建模的 4 步结构。

同输入同目标的对照应看情感识别与共情回复两类工作。论文的对照基线包括 Freeze-Omni、GLM-4-Voice、Kimi-Audio、Step-Audio-2-mini、Qwen2.5-Omni-7B、Qwen3-Omni-30B 以及商业接口 GPT-4o-Audio，这些都是实际可运行的系统，不是事后最优值。类别差异不能当作同条件胜负，例如通用基础模型与专用共情系统的训练目标不同，比较时要同时看冲突子集与非冲突子集的表现，而不是只看平均分。

语义主导为什么会让模型听错讽刺？

论文提出的第一个瓶颈是语义主导。白话解释是模型底座来自大规模文本预训练，隐空间天然偏向离散文字语义。在多模态处理时，语义表示常常压住声学细节。当声学线索与字面矛盾，例如讽刺或强颜欢笑，模型过度依赖文本就会误判真实情感。第二个瓶颈是缺乏认知深度。即使情感标签猜对，模型也倾向于输出安全但空洞的模板，缺少对意图与心理状态的推断。

下面这张图是理解失败模式的关键，阅读时先看整体上下对比，再看箭头走向。

看图路径： 1. 先看上半部分同一句 Oh, that is just great. 分出红色讽刺波形和黄色高兴波形的两条输入；2. 再看中间 Standard ALM 方框右侧耳朵加红叉与 Modality Gap 标注；3. 最后对比下半部分四步 Perception 到 Strategy 方框如何把两条波形分别导向道歉询问与庆祝呼应

论文图 1。原论文 Figure 1：“Standard ALMs misjudge emotions due to semantic dominance and the modality gap.”。

这张图上半部分显示同一句 Oh, that is just great. 可以对应讽刺厌恶的红色波形，也可以对应兴奋高兴的黄色波形，但标准音频语言模型在语义主导箭头作用下走向同一个方框，右侧标注模态鸿沟并显示忽略音频情感，最终机器人只按字面回复听起来像好消息。

下半部分显示本文方法对两条波形走不同路径，经过感知、意图、心理、策略 4 步后，讽刺分支走向表达失望、确认感受、道歉询问，高兴分支走向分享成功、情感共鸣、肯定呼应，最终分别生成问结果出了什么问题与为你感到高兴两类回复。像素中可辨认的英文标签与颜色块支持上述走向判断，具体波形数值在像素中无法精确读出，因此不做定量引用。

整体框架如何把解耦数据、四步推理和三阶段训练串起来？

整体思路可以沿一个样本走完。输入是一段语音加提示词，模型先把语音送入音频编码器、把提示词送入分词器，再送入大语言模型。第一阶段要求模型输出完整 4 步思考加最终回复，第二阶段允许模型在另一种提示词下只输出直接回复，第 3 阶段用强化学习分别奖励思考的逻辑严谨性与直接回复的共情质量。数据侧用一文多情感迫使模型不能抄文本答案，推理侧用固定 4 步保证心理逻辑，训练侧用显式建立再隐式内化的方式兼顾深度与自然度。

下图把左侧数据构造与右侧 3 阶段训练放在同一版式，阅读时先分左右，再按阶段顺序看。

看图路径： 1. 先沿左侧三行看语义解耦、EIPS 标注、 expressive 合成的输入输出变化；2. 再看右侧 Stage I 到 Stage II 提示词从完整思考加回复变为增加纯回复分支；3. 最后看底部 Stage III 中 RF1 同时含格式奖励、思维链奖励和共情奖励而 RF2 只含共情奖励

论文图 2。原论文 Figure 2：“The pipeline of data generation and model training.”。

左侧从上到下是三行。第一行是语义解耦，从家庭、工作、医疗、社交等场景选词，经大模型生成歧义文本，例如没有想到项目会这样结束，再配愤怒、悲伤、高兴等多个情感标签。第二行是 EIPS 思维链标注，把文本加情感标签送入大模型，按感知、意图、心理、策略 4 步生成对齐回复。第三行是富有表现力语音合成，把文本、情感、强度与参考音频送入语音合成模型，生成不同颜色波形表示的不同情感语音。

右侧上半是第一阶段显式推理微调与第二阶段混合任务内化，下半是第 3 阶段双路由对齐，显式路由同时检查格式、思维链与共情，直接路由只检查共情。图中英文缩写较多，但模块框与箭头走向在像素中清晰可辨，支持上述复述。

四步 EIPS 每一步算什么？双路由奖励如何分工？

EIPS 是 4 个英文首字母的缩写。白话解释是情感感知、意图挖掘、心理建模、策略制定。情感感知负责解析显性与隐性情感元素、评估强度并定位触发点。意图挖掘负责剥离表面话语，找出未满足的深层心理需求。心理建模负责预判对话者的认知偏误与防御机制，并规划情感落点。

策略制定负责设计符合情感发展规律与文化语境的对话路径与回复方案。论文报告用语言学背景标注者抽查 400 条样本，按逻辑连贯与情感准确给出 93% 接受率，这显示标注质量检查是存在的，但不等于每条推理都人工验证。

EIPS × 思维链： EIPS 负责规定想什么，分为情感感知、意图挖掘、心理建模和策略制定 4 步，思维链负责规定以什么形式想，即先输出思考再输出回复；前者提供心理学逻辑，后者提供可监督、可打分的结构，两者组合才让隐性心理需求变成显式可训练的中间步骤。

双路由强化学习的白话解释是按提示词走不同奖励通道。基础算法 SAPO 是软自适应策略优化的缩写，作用是用平滑软门控代替传统方法的硬截断，以改善长序列思维链训练不稳。本文的 DR-SAPO 是双路由软自适应策略优化的缩写，在 SAPO 之上增加动态分配。当触发包含思维链的提示词时，奖励包含格式奖励、4 维思维链逻辑奖励与回复共情奖励。当触发直接回复提示词时，奖励只含共情奖励。共情奖励由大模型担任评委，按声学情感特异性与心理洞察打分，明确惩罚脱离声学特征的通用模板。

DR- × SAPO： SAPO 分工是提供稳定的长序列强化学习底座，用软门控代替硬截断以减少长思维链训练不稳，DR-分工是在此之上按触发提示动态分配两条奖励路由；搭配原因是既要保逻辑严谨又要保直接回复的共情，组合后显式路由奖励格式与 4 维逻辑，直接路由只奖励共情。

沿样本再走 1 次有助于固定概念。假设输入是讽刺语气的项目结局很好，情感感知应输出厌恶或讽刺而非高兴，意图挖掘应输出表达失望而非分享成功，心理建模应输出需要确认感受而非庆祝，策略制定应输出道歉加询问而非热情呼应。显式模式会把这 4 步写出来再回复，隐式模式跳过中间输出但共享参数，期望仍能生成先接住失落再追问的回复。

三阶段训练每阶段输入什么、更新什么？

第一阶段是显式 EIPS 推理监督微调。基础模型报告为 Qwen2.5-omni，训练使用包含完整 EIPS 标注的核心子集，提示词要求逐步分析情感。优化目标是标准的自回归负对数似然损失，即给定音频与提示词，逐词预测思考加回复序列。论文报告该阶段与第二阶段使用低秩适配，秩为 8，缩放系数为 32，学习率为 1e-5，批量大小为 512，训练 3 轮。关于哪些参数冻结、梯度是否截断等细节，原文除低秩适配配置外未进一步说明，此处不从模型名称推定实现。

显式推理 × 隐式内化： 显式推理分工是建立从声学感知到策略规划的完整映射，隐式内化分工是在去掉中间思考时仍保留同等共情深度；搭配理由是日常对话不能每轮都输出长思考，组合意义是通过混合显式数据和纯回复数据共享参数，让直接回复时也能激活已学到的认知回路。

第二阶段是隐式内化混合任务训练。新增只有直接回复而无思维链的数据，提示词要求直接生成共情回复。两类数据按 1 比 1 采样比例联合训练，共享底层参数。设计意图是让模型在跳过中间输出时仍能隐式激活第一阶段学到的认知回路。第 3 阶段是双路由对齐强化学习，更新 1500 步，学习率降为 1e-6，批量大小为 64。显式路由奖励权重报告为格式 0.1、共情 0.3，思维链四项中情感 0.3、意图 0.1、心理 0.1、策略 0.1，其中情感权重被优先保证，以便为下游推理提供准确锚点。

LIME-Core × LIME-Aug： LIME-Core 分工是用一文多情感的合成数据实现语义与声学解耦，LIME-Aug 分工是引入 ECD-TSE 和 ESD 等开源重标注数据扩展说话人和映射模式；前者解决听声学的问题，后者解决换人换场景仍能泛化的问题，组合后兼顾情感特异性和分布多样性。

数据侧同样分阶段理解。核心子集覆盖 7 种细粒度情感并采用解耦策略，增强子集引入并重标注开源数据以扩展说话人与映射模式。合成时引入情感强度低中高作为独立控制变量，避免把愤怒只映射为高音量爆发，同时引入含真实环境噪声的参考音频以缩小合成与真实的声学差距。论文结论也承认合成训练数据与自发微韵律之间仍有细微差距，未来计划混入野外数据，这说明当前鲁棒性结论是有边界的。

在什么数据、什么指标、什么条件下比较？

训练数据是 LIME-440K，评测用两个不同基准。第一个是 ESD 测试集，包含来自 2 个严格留出说话人的 1000 条真实人类语音，覆盖 5 种情感，用于测零样本说话人泛化。第二个是 HumDial-EIBench 任务 4，包含 200 条双语真实自发人类语音，覆盖 7 种情感，并均分为语义与声学一致子集和冲突子集，冲突指字面与真实声学情感矛盾，例如讽刺。这种划分是检验语义解耦的关键，因为只看一致子集容易高估只会读文本的模型。

评估分两个维度。客观维度是细粒度情感分类准确率，方向是越高越好。主观维度是共情质量，采用 1 到 4 分量表，1 分对应通用模板，4 分对应具体深层心理洞察，由大模型评委与 5 位人类专家交叉验证，组内相关系数报告为 0.78，表示信度良好。实现细节包括 8 卡 A100 训练，评测时主结果采用隐式直接回复模式，以保证与基线比较的是可部署的自然交互方式，而不是靠输出长思考取胜。

下表先回答数据规模问题，比较维度是语言、情感与意图组合、说话人数、时长与语句数，数值越大表示规模越大，但不能直接推出质量更好。

表中数字与单位的写法保留原文精度与千分位含义，小时数保留 1 位小数，条数保留整数。总量约 440,000 条、约 497 小时的支持判断是数据规模足以做监督微调与混合训练，限制是其中核心部分为合成语音，增强部分来源与情感类别有删减，例如部分子集不含厌恶、惊讶或恐惧，因此跨情感泛化仍需看真实自发语音上的冲突子集表现。未胜出或未评测的边界是论文未报告推理延迟与每轮长思考的计算开销，不能从共情分高推出实时性也好。

主结果在冲突语音上拉开多大差距？代价是什么？

比较问题是直接回复模式下谁的共情质量更高，公平条件是所有模型都用隐式直接回复，指标方向是 1 到 4 分越高越好，并同时看大模型打分与人类打分、冲突与非冲突子集。

表后解释需要同时讲收益与代价。论文报告显示本文方法在全部测试集上高于所列开源基线与闭源接口，尤其在语义与声学冲突子集上，现有先进模型大多低于 2.0 分，而本文方法在大模型评分为 2.91 分、人类评分为 3.16 分，支持其更依赖副语言线索而非文本干扰的判断。代价是这种收益来自大规模解耦数据加 3 阶段训练与强化学习，不是单点技巧；Kimi-Audio 等基线在非冲突人类评分上可达 2.29 分，说明在文字与声音一致时差距较小，冲突场景才是本文方法的适用条件。另一个未胜出项是 Qwen3-Omni-30B 参数更大但冲突表现并未相应领先，这提示单纯增大规模不能自动解决语义主导。

语义主导 × 模态鸿沟： 语义主导指文本预训练带来的表示偏置让模型优先相信字面意思，模态鸿沟指声学情感与文本语义矛盾时模型丢弃声学证据的结果；前者是成因，后者是表现，两者组合说明讽刺和强颜欢笑失败不是听不清，而是文本通路压制了声学通路，因此需要用词义相同但情感不同的数据切断文本到情感的捷径。

拿掉哪一段训练，感知与共情分别掉多少？

消融按两个问题组织。第一问测情感感知准确率，条件是否一致的要点是同一 ESD 与 HumDial 冲突与非冲突划分，指标方向是百分比越高越好。第二问测共情质量是否完成隐式内化，比较显式思维链路由与隐式直接回复路由在同一模型下的分数。

表后解释要区分直接报告与有限解释。论文报告基础模型在冲突集仅 24.0%，经解耦数据显式微调后接近翻倍至 42.0% 到 46.0%，支持切断文本到情感捷径的判断。但非冲突集从 73.0% 微降到 71.0%，这是一个具体代价或反例，说明强化解耦可能轻微扰动原本一致样本的判断，总体趋势不等于每组都提升。

共情内化方面，论文报告直接微调缺少认知深度，引入思维链后结构性提升，而混合训练使隐式回复可比肩显式推理，最终双路由强化学习把冲突共情推到 2.91 分，这支持逻辑严谨与共情深度被分别对齐，但未测量误判率与延迟时不应承诺这些量也改善。训练资源与推理开销应分开讨论，原文只报告低秩配置、批量与步数，未报告显存峰值与输出帧率，此为缺项。

哪些结论还不能下？边界在哪里？

论文明确报告的限制是尽管在 ESD 与 HumDial 真实人类语音上显示零样本泛化，合成训练数据与自发微韵律之间仍有细微差距。白话解释是合成可以控制情感类别与强度，但真实对话中的犹豫、气口、环境混响与说话人重叠更复杂，模型在训练时见得少。未来工作提出在监督微调时混入野外数据，这属于待验证的改进方向，不能当作已验证的效果。

另一个边界是评估依赖大模型评委与人类专家打分。虽然人类组内相关系数为 0.78，但共情本身有文化与个体差异，策略制定中提到的文化语境适配在 200 条双语样本上只能得到有限检验。论文未报告统计显著性检验方法与聚合口径，例如是按条平均还是按说话人平均，因此跨模型零点几分的差异应谨慎解读为趋势而非绝对排序。未评测的边界还包括长多轮对话中的情感跟踪、打断与重叠语音处理，以及直接回复省略思考后是否在极端冲突下仍稳定，这些都需要补验证。

要复现应先准备什么？先跑哪一步？

复现先做三件事。第一是按证据确认资源状态。代码与数据集链接在本次核验中状态为可用，第三方评测集链接同样可用，因此可以写当前可用，但仍应在动手前重新打开链接确认版本与下载方式，因为可用状态会随时间变化。第二是准备基座与依赖。论文报告基座为 Qwen2.5-omni-7B，合成依赖 Index-TTS2，标注与评分离不开 DeepSeek 系列与 Gemini2.5-pro，复现时要区分代码开源、权重下载与评测接口可调用三件不同的事，缺任何一件都无法完整重走。

第三是准备数据划分。先复刻一文多情感的生成与强度控制，再复刻 4 步标注模板，最后再做语音合成与噪声参考，否则容易把文本捷径重新引入。

训练顺序建议严格按 3 阶段走。先用核心子集与逐步分析提示词跑显式监督微调，检查模型能否输出格式正确的思考与回复标签。再按 1 比 1 混入纯回复数据跑混合训练，检查隐式直接回复是否接近显式路由的共情深度。最后再跑双路由强化学习，显式路由同时看格式、4 维逻辑与共情，直接路由只看共情。关键超参数应保留原文值，低秩秩为 8，缩放系数为 32，前 2 阶段学习率 1e-5、批量 512、3 轮，强化阶段学习率 1e-6、批量 64、1500 步，显式路由权重格式 0.1、共情 0.3、情感 0.3、意图 0.1、心理 0.1、策略 0.1。还需补的验证是换留出说话人与冲突子集重测，并记录训练时长与推理延迟，以便区分共情提升与计算代价。

何时值得尝试这种做法？一句话如何记住它？

当你的语音对话系统在讽刺、反话或强颜欢笑上频繁按字面回复，而增大模型或加声学特征描述仍无改善时，值得尝试本文路线。它的可复述要点是先用同一文本配多种情感的数据逼模型听声音，再用感知到策略 4 步把心理逻辑写清楚，最后用混合训练把长思考压成直接回复，并用双路由奖励分别保住逻辑与共情。

需要记住的适用条件是冲突场景收益大、一致场景收益小，代价是 3 阶段流程与合成到真实的差距。不应把相关性当因果，例如冲突准确率提升与共情分提升同时出现，不等于每一条回复的改善都来自情感标签猜对，也可能来自策略与心理建模的改进。研究生复述时可按输入语音到编码表示、到 4 步思考、到最终回复的主线讲，再补充数据解耦与双路由奖励两个分支，这样既能讲清动作，也能讲清为什么这样安排。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总