比较才看得准：用推理轨迹让音频语言模型学会比情绪

英文题目：Comparative Reasoning: Making an Audio Language Model Better at Comparing Emotions

会议身份：conference:interspeech:2026:conference-paper-id:naini26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#偏好优化 #音频大模型 #跨语言 #语音 #语音情感识别

评分：6.1/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Abinay Reddy Naini：机构信息未能从会议 PDF 纯文本可靠映射
• Jaeyeon Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Chao-Han Huck Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Shinji Watanabe：机构信息未能从会议 PDF 纯文本可靠映射
• Carlos Busso：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该研究处理双语音序数情感比较：输入两段语音xA、xB与维度提示p，输出哪段唤醒度、效价或支配度更高，难点在于需跨音频联合韵律声学、语义与副语言线索并给出可信依据。方法先用音频字幕模型生成语义描述，并行抽取GeMAPS低层描述子并离散为低中高等定性文本，形成互补证据输入下一步。再由大推理模型综合双边证据合成少于五句的比较轨迹，以真值y+校验再生并以错误答案y-为条件生成似真错误轨迹。最后将支持双音频输入的Qwen2.5-Omni-3B经低秩适配微调为先生成推理再输出决策，对比监督微调与直接偏好优化及其带推理变体，关键差异是以显式正确与错误推理对做偏好优化而非仅学标签。在MSP-Podcast测试集跨情感任务下，+DPO-CoT的Arousal偏好准确率为0.881，高于+DPO的偏好准确率0.880。该结论限于三维情感偏好与阈值过滤后的清晰样本，对环境、发声、韵律与人际等多维比较尚未验证。原文未披露训练、推理或部署成本

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要解决的比较问题是什么？

这篇论文的输入是两段语音加一段文字提示，目标不是给每段语音打一个绝对的情绪分数，而是回答哪一段在某个情绪维度上更高。初学者可以这样理解：传统做法像是老师给每篇作文打分，而这里的做法是把 2 篇作文放在一起只问哪 1 篇更生动。论文聚焦的 3 个维度是唤醒度、效价与优势度，白话分别是声音听起来有多激动或平静、情感有多积极或消极、说话人听起来有多强势或顺从。

为什么要做比较而不是打分，论文给出的理由来自心理与标注经验：人类对绝对分数的一致性较差，但对两两比较的一致性更高，比较式标注也能减少标注者之间尺度不一带来的噪声。因此输出被限定为二选一，即 Clip1 更高还是 Clip2 更高。提示中会明确写出输入顺序与目标维度的定义，例如什么是高唤醒与低唤醒，让模型知道该沿什么标准比较。

必须保留的关键信息是任务的成对本质与可核对条件：每 1 对的正确标签来自多人标注共识分数之差，只有差值绝对值大于 1 才构成有效对，评测指标是偏好准确率即答对的对数占比，方向是越高越好。论文还强调比较需要同时看两段信号的声学线索与语义副语言信息，例如音高水平、响度变化与语速，而不是孤立分析一段语音，这为后文引入推理轨迹埋下依据。

已有路线如何做偏好学习，缺的是哪一步？

在音频语言模型出现之前，偏好学习已在情绪识别中被长期使用。早期工作发现比较比打分更稳定，于是引入学习排序与类别间偏好，例如判断一个样本比另一个样本唤醒更高或更积极，后续又发展出考虑标注者一致性的成对标签构造、跨标注者变化趋势比较，以及用 CORAL 等序数分类损失直接建模情绪顺序。这些路线学会的是从表示到偏好标签的映射，但没有显式建模比较是如何在内部构造的，也就是没有解释依据哪些可感知线索做出决定。

另一条线是给语音情绪模型加推理与可解释性，例如用推理轨迹解释单条语音的情绪判断，或用强化学习与智能体解码优化有证据支撑的情绪推理。这些工作证明推理能提高可解释性与稳健性，但研究对象仍是单条语音的预测与解释，没有处理双语音之间的比较推理。论文还对照了 EmoPrefer 等多模态偏好评测，指出那里的偏好定义在文本情绪描述之上，而本工作定义的偏好在语音信号表达的相对情绪属性之上，二者输入与目标都不同。

综合起来，缺口很具体：已有排序基线能学隐式比较但不可解释，已有推理工作能解释但只针对单语音，已有大音频语言模型多为单音频推理且在多音频比较基准上表现较弱。论文要补的正是可解释的跨音频比较，即让模型在给出哪一段更高之前，先说清依据什么声音证据比较，并在训练中显式区分正确推理与错误推理。

任务形式与符号如何定义，什么算答对？

论文把问题形式化为成对决策。记两段语音为 xA 与 xB，提示为 p，提示中写明 Clip1 与 Clip2 的顺序以及目标情绪维度的定义。模型以三元组作为输入，输出是两个可能回答中的一个，分别表示 xA 更高或 xB 更高。记正确回答为 y 正，错误回答为 y 负，任务就是在给定输入下预测出 y 正。举例来说，若问题是哪一段唤醒更高，而 Clip1 更激动，则 y 正就是回答 Clip1。

标签的来源是共识分数之差。论文只用 MSP-Podcast 训练集中约 5% 的语句构造训练对，条件是两样本共识分数差的绝对值大于 1，采用 1 至 7 量表。每个情绪维度构造 10k 对训练，评测则从 MSP-Podcast 开发集与测试集各抽 3k 对，并从 WHiSER 与 BIIC 各构造 3k 对用于跨域评测。这种构造保证比较差异足够大，避免用边界模糊的对子考模型。

需要提醒初学者的是，数值相同不代表指标相同，比较时必须同时核对数据集、阶段、维度与聚合对象。论文报告的都是偏好准确率，是成对判断的正确比例，不是绝对分数的回归误差。零样本基线的表现较差，说明预训练本身不自动带来可靠的跨音频情绪判断，后文的微调与偏好优化都是为补上这一步。

整体框架如何把两段语音变成带解释的比较答案？

整体思路分两条流水线，先离线生成推理轨迹，再用这些轨迹训练比较模型。第一条线为每对语音生成语义描述与声学描述，连同比较指南一起交给大型推理模型，产出结构化推理轨迹与最终决定；第二条线把原始双语音加提问直接交给大音频语言模型，用有监督微调或直接偏好优化学习输出答案或推理加答案。下图把左右两部分并置，左侧是证据准备与轨迹生成，右侧是带适配器的模型训练与推理，中间以虚线分隔。

看图路径： 1. 先从顶部两条语音图标沿箭头向下看左侧三块输入如何汇入大型推理模型；2. 再看中间生成的推理轨迹框如何跨过虚线进入右侧训练选择；3. 最后看右侧双语音加提问如何进入 Qwen2.5-Omni-3B 加 LoRA 并输出答案；4. 对比左右两侧语音图标颜色与标注，确认比较对象始终是成对出现的 Clip1 与 Clip2

论文图 1。原论文 Figure 1：“Overview of the proposed reasoning-guided ordinal speech emotion recognition framework.”。

从像素看，左侧顶部是蓝色与橙色两条波形图标，分别标为 Speech A 与 Speech B，向下连接 3 个灰蓝色框，依次是 Qwen3-Omni-Caption 的字幕描述、GeMAPS 特征的定性等级列表与推理指南，再向下汇入深色的大型推理模型框 Qwen3-Next-80B-A3B，向右生成浅灰色的推理轨迹文本框。右侧顶部同样是双波形加提问框，哪一段唤醒更高，向下进入绿色的大音频语言模型框 Qwen2.5-Omni-3B 加 LoRA，再向下输出 Answer 为 Clip1。中间橙色框标明训练可在带或不带推理轨迹两种方式下进行，并列出 SFT 与 DPO 两个选项。

这张图的学习价值在于确认信息流向：比较依据不是凭空生成的，而是来自可核对的语义与声学证据；训练目标不是单语音分类，而是双语音条件下的相对判断。初学者沿一个样本走一遍就是输入双语音与提示，经表示与适配器生成推理加答案，再与正确标签对照，这种走通单样本的习惯有助于后文理解组件分工与训练损失的来源。

语义描述与声学证据各自提供什么，推理轨迹如何写成？

语义分支先用 Qwen3-Omni-Captioner 为每段语音生成详细描述，主要捕捉说话内容、语气与场景理解，但论文明确指出这类字幕偏语义，常缺细粒度声学细节并可能引入幻觉内容。为补偿这一点，声学分支从每段语音提取 18 个 GeMAPS 低层描述符，对每个描述符计算均值与标准差，形成 36 维声学表示，再在训练集上归一化并离散为低中高定性等级，覆盖音高水平、音高起伏、响度水平、声音稳定性、粗糙度与频谱亮度等可感知属性。

大音频语言模型 × 序数情绪识别： 大音频语言模型负责接收两段语音加文字提示并生成比较答案与解释，序数情绪识别负责把任务定义为只判断哪一段唤醒度、效价或优势度更高而不估计绝对分值，二者搭配的原因是前者有跨模态理解与生成能力但零样本比较不可靠，后者提供成对偏好监督与可比的评测口径，组合后模型学会联合解读两段信号的相对差异并输出可核对的偏好判断。

推理轨迹的写法有明确约束。语义字幕与声学定性描述连同指南一起交给大型推理模型，指南说明比较目标维度时应考虑哪些属性。模型被要求生成结构化轨迹，先总结显著特点，再做对比分析，最后给出决定，且要求简洁少于五句话，因为预实验发现更长的轨迹更易幻觉并导致性能下降。生成后用预测决定与真值标签核对，若不一致则把正确标签也作为条件重新生成，以保证轨迹导向正确答案。

语义音频描述 × GeMAPS 声学特征： 语义音频描述由 Qwen3-Omni-Captioner 生成，负责捕捉说话人状态、语气与语境等可读信息，GeMAPS 声学特征负责提供基频水平与起伏、响度、抖动、粗糙度与频谱亮度等 18 个低层描述符的均值与标准差并离散为低中高定性等级，二者搭配是因为纯描述易缺声学细节并可能幻觉，纯数值又难直接解释，组合后 large reasoning model 才能同时依据内容与可感知的声音证据写出比较轨迹。

比较推理轨迹 × 偏好标签： 偏好标签只说明 Clip1 或 Clip2 哪一个更高，负责给出最终对错，比较推理轨迹负责在答案前用少于五句话总结各自特点、对比关键线索再给出决定，搭配理由是人类比较时也是先听音高响度语速等线索再下判断，组合后监督信号从单一答案扩展为证据加答案，使模型的决定过程可读且更易迁移到新语言与新情绪维度。

为服务直接偏好优化，论文还为错误答案生成看似合理的错误轨迹。具体做法是用音频描述与错误答案提示大型推理模型，但不告诉它答案是错的，让它为错误决定编出 plausible 的解释，记为 r 负，而正确轨迹记为 r 正。这样每对数据就同时有正确推理加正确答案与错误推理加错误答案，为后文构造偏好对提供材料。初学者应记住，正确轨迹的监督来自描述加指南加真值校验，错误轨迹的监督来自同一描述但被错误答案引导，这是区分两种轨迹来源的关键。

四种训练方式如何组织监督与梯度，参数如何更新？

论文探索 4 种变体，分别是直接标签的有监督微调、直接标签的直接偏好优化、带推理轨迹的有监督微调、带推理轨迹的直接偏好优化。为方便对照，后两种常记为 SFT-CoT 与 DPO-CoT。直接标签的有监督微调以三元组为输入训练模型直接预测 y 正；直接标签的直接偏好优化则构造偏好对即正确回答优于错误回答，并在此对上应用 DPO，同时按先前工作的做法以权重 1.0 附加有监督损失。

有监督微调 × 直接偏好优化： 有监督微调负责让模型直接生成正确答案或正确答案加推理轨迹，直接偏好优化负责同时看到正确回答与错误回答并拉大二者差距，前者建立基本的双音频比较格式与标签映射，后者更贴合比较任务的相对本质，组合意义在于先学会答对再学会把正确推理与错误推理区分开，从而减少幻觉式解释。

带推理轨迹的训练把目标从只预测标签扩展为生成轨迹加答案。在有监督微调下，模型被训练为生成二元组即正确轨迹与正确答案，而不是只预测标签；在直接偏好优化下，模型面对的偏好对是正确轨迹加正确答案优于错误轨迹加错误答案，优化目标同时要求推理正确与答案正确。论文未给出 DPO 内部温度系数或参考模型细节等完整公式与梯度路径，也未报告优化器类型与学习率等超参数，复现时应把这些记为缺项而不从模型名推定实现。

参数更新方式按原文交代是参数高效适配。骨干模型固定为 Qwen2.5-Omni-3B，推理轨迹由 Qwen3-Next-80B 生成，适配阶段对所有线性层应用秩为 64、缩放因子为 64 的低秩适配。这种安排意味着只有适配器参数被更新，骨干大模型主体被冻结，但论文未说明梯度是否截断或何时重置，解读时不应脑补。训练数据量是每维度 10k 对，远小于排序基线的每维度 240k 对，这是后文讨论数据效率的直接依据。

数据、划分、基线与指标如何保证可比？

主实验在 MSP-Podcast v2.0 上进行，该语料约 409 小时，带唤醒度效价优势度及主次类别情绪标注。划分按原文是训练集 169,190 段、开发集 34,399 段、测试集 46,294 段，每段由多名标注者用 1 至 7 量表标注。跨域泛化另用中文播客 BIIC-Podcast 与历史录音 WHiSER，后者是 1971 至 1973 年尼克松白宫录音中抽出的 5,427 段，两者都有类似的情绪标注。评测对的构造条件一致，都是共识分数差绝对值大于 1，训练每维度 10k 对，开发测试与跨域各 3k 对。

基线是常规自监督表示加排序学习，包括 WavLM 加 RankNet、HuBERT 加 RankNet，以及扩展到列表建模的 RankList，排序基线每维度用 240k 对训练。待测模型是零样本 Qwen2.5-Omni-3B 及其 4 种适配变体，骨干与适配器配置在所有实验中保持一致。指标是各维度的偏好准确率与 3 维度平均值，方向越高越好，所有评测都在按上述规则构造的留出对上进行。

下表整理本研究可直接复用的数据与训练配置，数字均来自正文连续原句，阅读时注意单位与聚合对象，例如段数是对语句计数，对数是对成对比较计数，秩与缩放因子是对适配器形状的描述，不可混为一谈。

上表说明复现时先做什么：按大于 1 的差值规则从约 5% 语句中构造 10k 训练对与 3k 评测对，用相同骨干与 LoRA 形状训练 4 种变体，再与 240k 量级训练的排序基线在同规则评测对上比较。论文未报告随机种子、统计显著性方法与硬件预算，复现报告中应明确标注这些缺项。资源状态方面，本次未发现来源绑定且完成验证的开源代码模型或数据链接，因此不得声称代码模型或数据已公开，只能按论文文字复现流程。

主结果显示什么，推理轨迹的代价与收益在哪里？

要回答的核心问题是适配后的大音频语言模型能否可靠比较情绪，以及推理轨迹是否带来额外好处。比较条件是同为 MSP-Podcast 测试对、同为偏好准确率、基线为 240k 量级训练的排序模型，待测为 10k 量级训练的适配模型。下表是域内主结果，列为唤醒度效价优势度与平均值，方向均为越高越好。

上表显示报告层面的结论：零样本仅 0.637 平均值，说明预训练本身不提供可靠的跨音频情绪判断；加 SFT 后跃升至 0.875 平均值，已超越最强的 RankList 的 0.796；加 DPO 再小幅提升至 0.879，而带推理的 DPO-CoT 达到最高的 0.881。论文用此支持两个判断，一是适配后的模型具有潜在比较能力且数据效率更高，二是偏好优化比直接监督更贴合比较任务。需要注意的代价是带推理的 SFT-CoT 在域内反而略低于不带推理的 SFT，例如平均值 0.855 低于 0.875，说明只做模仿而不区分正误轨迹时，推理可能引入噪声。

只有在 DPO 显式对比正误轨迹后，推理才反超并同时带来可解释性。优势度维度的提升被特别指出，因为该维度 historically 是较难建模的维度，适配后达到 0.867 左右具有教学意义。

域内评测 × 跨域泛化： 域内评测负责在 MSP-Podcast 的开发集与测试集上用 3k 对量测唤醒度效价优势度的偏好准确率，跨域泛化负责把同一模型不加训练直接放到中文 BIIC-Podcast 与历史录音 WHiSER 的 3k 对上复测，二者搭配才能区分模型是记住数据集分布还是学会可迁移的比较策略，组合意义在于检验推理轨迹是否真正带来稳健性而非只在同分布上过拟合。

跨数据集与跨情绪的泛化进一步支撑推理的价值。论文报告在 BIIC 与 WHiSER 上大音频语言模型总体优于排序基线，且 DPO 一致优于 SFT，DPO-CoT 一致优于 SFT-CoT，说明对比正误推理学到的比较策略更稳。跨情绪实验只用唤醒对训练再测效价与优势度，带推理模型在效价上的退化更小，DPO-CoT 平均值最高。未胜出项也要记住：SFT-CoT 在跨域与跨情绪的部分设置中仍弱于不带推理的对应变体，不能把推理当成无条件增益。

以下两段定性示例来自 DPO-CoT 在未见条件下的生成，上段是英文训练中文评测的优势度比较，下段是唤醒训练优势度评测的比较，阅读时先看证据再看答案。

看图路径： 1. 先读两个深色标题条确认分别是跨语言与跨情绪的未见条件；2. 再看每段推理如何先分述 Clip1 与 Clip2 的发音与能量特点再做对比；3. 最后核对每段末尾 Answer 与前文证据方向是否一致

论文图 2。原论文 Figure 2：“Qualitative examples of reasoning traces generated by the DPO-CoT model.”。

从像素看，该图是上下两个圆角文本框。上框标题为英文 MSP 训练中文 BIIC 评测，内文对比儿童清晰果断的发音与另一段频繁填充词嗯对因为与自我纠正，结论是前者优势更明显，答案为 Clip1。下框标题为唤醒训练优势度评测，内文对比平静克制的第一段与音高起伏更大、强调 I am so upset 的第二段，结论是后者声音能量与情绪强度更高因而优势更大，答案为 Clip2。加粗部分是关键对比句，说明模型学会用语速、停顿、音高变化与响度等线索组织解释，即使在跨语言与跨情绪下仍能给出与答案方向一致的理由。这支持论文关于推理模式可迁移的有限解释，但仍属定性展示而非误判率或幻觉率的定量测量。

只用唤醒训练再测其他维度会发生什么？

这个对照专门检验比较策略是否可迁移。做法是只用唤醒的 10k 偏好对训练 4 种变体，然后在 MSP 测试集上同时测唤醒效价与优势度，条件是评测对构造规则不变，指标仍是偏好准确率。下表整理该跨情绪结果，列定义与主结果表一致。

上表揭示具体的代价与收益。所有只训唤醒的模型在效价上都大幅退化，例如不带推理的 SFT 在效价上仅 0.484，接近随机，说明不同维度线索不能直接套用；但带推理的变体退化更小，DPO-CoT 在效价上达到 0.607，比其他变体高出约 6 至 12 个百分点，平均值也以 0.785 领先。论文把这归因于提问中显式写出高低效价的定义，使模型能基于声学特点的文字解释迁移比较策略。初学者应注意这是支持性解释而非因果证明，且总体趋势不等于每组都成立，例如优势度上各变体差异很小。未评测边界是只做了唤醒到其他维度的单向迁移，没有报告效价或优势度为源的反向迁移，也没有测量推理长度与幻觉率的定量关系。

哪些结论有边界，哪些验证还没有做？

首先是证据层面的缺项。论文没有给出 SFT 与 DPO 的完整损失公式与梯度路径，没有报告学习率、批量大小、训练轮数、优化器与随机种子，也没有报告训练与推理的计算开销、延迟或输出帧率。因此不能承诺该方法改善了延迟或成本，只能说它在标注数据量上更省，即 10k 对超越 240k 对。资源可用性方面，本次没有验证通过的代码模型数据链接，只能按文字流程复现，不能写成当前可用或已公开。

其次是评测层面的边界。有效对要求分数差大于 1，这过滤掉最难的边界对，实际部署中遇到模糊对时的误判率未被测量；跨域只测了中文播客与历史录音两个分布，没有覆盖噪声、音乐或环境声等论文引言提到的更广维度；跨情绪只做了单向迁移；推理质量只有定性示例，没有幻觉率或人工评分。相关性不等于因果，例如 DPO-CoT 更好可能来自更多监督信号而不只是推理本身，论文未做剥离推理长度或声学证据的细粒度消融。

最后是概念层面的误解需要澄清。比较准确率高不等于绝对情绪估计准，模型学会的是相对判断；推理轨迹可读不等于推理过程忠实，因为错误轨迹也是被错误答案引导生成的 plausible 文本，只能说明输出解释与答案一致，不能证明内部就是这样计算的。复现时应保留提示中写明顺序与维度定义这一信息条件，若去掉该条件，比较任务可能不再成立。

要复现这套比较流程，先后做什么？

第一步是准备数据与成对标签。从 MSP-Podcast 训练集中取约 5% 语句，按共识分数差绝对值大于 1 构造每维度 10k 对，从开发与测试集各抽 3k 对，再按同样规则从 BIIC 与 WHiSER 各构造 3k 对。核对划分段数是否为 169,190 与 34,399 与 46,294，核对 WHiSER 是否为 5,427 段，避免把语句计数与成对计数混淆。

第二步是准备证据与轨迹。用 Qwen3-Omni-Captioner 为每段生成描述，提取 18 个 GeMAPS 描述符的均值与标准差并在训练集上归一化离散为低中高，连同比较指南交给 Qwen3-Next-80B 生成少于五句话的轨迹，再用预测决定与真值核对，不一致时附加正确标签重生成；同时为错误答案生成错误轨迹但不告知其错误。第三步是训练骨干 Qwen2.5-Omni-3B，对所有线性层加秩 64 缩放 64 的 LoRA，先跑直接标签的 SFT 与 DPO，再跑带轨迹的 SFT-CoT 与 DPO-CoT，其中 DPO 附加权重 1.0 的有监督损失。

第四步是评测与核对。在同规则留出对上计算 3 维度偏好准确率与平均值，对比零样本、排序基线与 4 种变体，再做跨域直接评测与只训唤醒的跨情绪评测。记录未胜出项，例如 SFT-CoT 在域内弱于 SFT，以防只报最优。缺失的超参数与统计方法要在复现报告中如实标注为待补验证，而不是从模型名推定。

何时值得尝试这种带推理的比较学习？

当任务本身是相对判断而非绝对打分，当标注者对绝对分数分歧大但对两两比较更一致，当需要向用户或评审解释依据哪些声音线索做出决定时，这套方法值得尝试。它的核心动作是把比较依据显式化为语义加声学的短轨迹，再用偏好优化拉开正误轨迹的差距，从而在更少训练对下获得可比的准确率，并在跨语言与跨情绪下保持更稳的表现。

不值得盲目套用的时候是比较差异极小、证据高度模糊，或部署预算只允许单语音独立打分而不允许双语音联合输入时。此时大于 1 的成对过滤不再成立，推理轨迹也可能编造 plausible 但不忠实的解释。后续验证应补上边界对的性能、推理忠实度的定量评测、剥离声学证据与语义描述的消融，以及训练与推理开销的实测。只有补齐这些，才能把当前报告的偏好准确率增益转化为可部署的收益判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总