不急于下单标签：把模糊情感当分布来推理

英文题目：Disentangling Reasoning in Large Audio-Language Models for Ambiguous Emotion Prediction

会议身份：conference:interspeech:2026:conference-paper-id:yu26f_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#正则化 #音频大模型 #后训练 #语音 #语音情感识别

评分：6.1/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Xiaofeng Yu：机构信息未能从会议 PDF 纯文本可靠映射
• Jiaheng Dong：机构信息未能从会议 PDF 纯文本可靠映射
• Jean Honorio：机构信息未能从会议 PDF 纯文本可靠映射
• Abhirup Ghosh：机构信息未能从会议 PDF 纯文本可靠映射
• Hong Jia：机构信息未能从会议 PDF 纯文本可靠映射
• Ting Dang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音模糊情感识别输入为语音与转录文本二元组，输出为多人标注投票归一化得到的情绪概率分布与解释性推理链，难点在于多情绪解释可同时成立而单标签建模会坍缩为过自信判断。该工作先用GPT-4o按文本语义分析、韵律声学分析与综合消解三步合成歧义感知思维链数据，再在解码末端对情绪类别词的词元logit做softmax读出预测分布，接着用分布散度约束预测分布贴近人类感知分布。这一约束以即插即用方式分别嵌入监督微调联合损失、直接偏好优化在线偏好损失与组相对策略优化奖励函数，使决策层不确定性建模与推理过程优化分离。与确定性音频问答式推理只追求单正确答案不同，该机制显式保留概率质量并要求推理同时支撑多数与少数情绪证据。在IEMOCAP评测任务下，GRPOz的JS指标为0.20，低于Audio-Reasoner的JS指标0.36。该结论适用边界受限于IEMOCAP与CREMA-D封闭情绪集，尚未验证自然对话、自发情感与跨语言迁移下的失败条件。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出要保留什么？

这篇论文研究的输入是一个语音片段加它对应的文本转写，可以理解为同一句话的声音和字面内容一起给模型。目标不是只选一个情感词，而是输出两样东西：一是结构化的推理轨迹，说明模型看到了哪些文本和声音线索；二是情感分布，即每个情感类别占多少概率。必须保留的信息是人类听者之间的分歧，例如一部分人听出开心，一部分人听出惊讶，这种分歧本身就是要建模的对象，不能在预处理时用多数投票抹掉。输出时既要能复述证据链，又要让概率质量与多人投票的形状接近。

对于刚入门的同学，白话是这样：传统做法像考试单选题，非对即错；这里像让全班投票后画饼图，模型要画出接近全班投票的饼图，还要写出为什么有人投这一块、有人投那一块。论文反复强调的情感坍缩，就是模型偷懒只画出一个整块饼图，把少数意见丢掉的现象。全文的训练和评估都围绕是否保住了饼图的形状展开，而不是只看最高的那一块猜对没有。

已有路线在模糊问题上缺了哪一步？

论文把相关工作分成两条线。第一条是模糊语音情感识别。早期做法已经意识到单标签不够，用过软标签代替硬标签，用多个分类器模拟多个标注者，或者把模糊样本当作分布外情况处理。进入大音频语言模型阶段，有工作分析词元级预测分布是否隐含了模糊性，也有工作用模型生成合成标注来扩充多人标注，但论文指出这些工作没有直接改进模型在模糊条件下的推理过程。

第二条是大音频语言模型的推理能力。常见做法是思维链提示和基于强化学习的后训练，例如用监督微调学习思维链，用偏好优化或组相对策略优化来优化推理行为。论文指出这些方法大多为确定性任务设计，例如音频问答只选一个正确答案，其思维链模式和奖励都指向找到唯一正解，没有显式建模情感歧义。因此缺的一步是：既保留决策层的不确定性，又教会模型整合异质情感证据的推理 routine。本文的定位就是补上这一步，并比较同一种歧义感知思想装进不同训练框架时的表现。

分布推理问题如何形式化？

论文把每个样本记为多模态对，包含声学信号和转写文本。每个样本同时带有真值情感分布和真值推理轨迹。分布由标注票数归一化得到，某个类别的概率等于选该类的票数除以总票数；轨迹是由多个中间推理步骤组成的序列，用来解释如何从细微线索走向模糊分布。举例是教学用的例子：若 10 个人中有 7 人判开心、3 人判惊讶，分布就记为开心占多数、惊讶占少数，而不是直接判开心。

模型要学习从输入映射到预测轨迹加预测分布。优化要求是双重的：一是缩小预测分布与真值分布的偏离，二是让生成的推理步骤贴近真值轨迹。论文把这两件事解耦：前者是决策层的不确定性建模，后者是推理增强。这种解耦是后文 2 个组件分工的依据。

模糊情感识别 × 分布推理： 模糊情感识别负责定义任务：同一句话被不同听者判成不同情感，目标是保留这种分歧；分布推理负责给出输出形态：用情感类别上的概率分布表示分歧程度。二者搭配的原因是单标签会把少数意见丢掉，而分布能同时保留多数和少数判断，组合后模型既要说出每种情感占多少，又要解释为什么会分歧。

两个组件如何分工并装进三种训练？

方法全景可以沿一个样本走一遍。输入声音和文本先进入大音频语言模型，模型一边自回归生成 3 步式推理文字，一边在最后一步对情感类别词的 logits 做 softmax 得到预测分布。真值侧有两份监督：一份是整理好的结构化思维链文字，一份是多人投票归一化后的分布。训练时用交叉熵管住文字轨迹，用散度管住分布形状，再把这种组合分别装进监督微调、偏好优化和组相对策略优化 3 种框架。

下图给出了整体安排，左上是思维链整理，左下是分布目标的读出方式，右侧 3 个方框是 3 种训练的接线方式。读图时注意文字监督和分布监督是两条线汇合，而不是互相替代。

看图路径： 1. 先从左上思维链整理分支看输入如何变成关键词加三步分析；2. 再看左下分布目标分支中音频文本嵌入如何经解码器到情感词 logits；3. 对比右上分组采样与右中单样本监督的箭头回路差异；4. 注意右下偏好对中正样本始终是整理好的思维链

论文图 1。原论文 Figure 1：“Overview of the proposed ambiguity-aware objectives and Plug-and-play Learning Paradigms.”。

从像素看，该图分为 4 个虚线框。左上框显示声音、文本、结构化协议和真值分布共同送入一个大模型图标，输出关键词加 3 步分析的示例文字；左下方框显示音频嵌入和文本嵌入汇入解码器层和语言模型头，经 softmax 后一支输出推理步骤，另一支取出目标情感词的 logit 表并转成预测分布，再与真值分布算分布损失。右上框是分组采样回路，右中是单样本监督回路，右下是正负偏好对回路，三者都标有更新箭头回到模型。这种布局直接对应即插即用的主张：分布损失是一个可外挂项，文字轨迹可以作为监督、偏好正样本或参考轨迹重复使用。

思维链如何整理，分布如何读出和对齐？

第一个组件是歧义感知的思维链整理。论文用高容量闭源大模型按固定协议合成推理轨迹，输入包括声音、文本和真值分布，输出必须包含关键词行和 3 个步骤。第一步只看文本的语义和上下文并指出可能的歧义；第二步用音量、语速、音高、音色等专业术语描述韵律，并同时点出支持多数标签和少数标签的线索；第 3 步综合证据消解歧义，要求读者只看分析就能猜到真值标签。生成后还用同一闭源模型检查解释与目标分布是否一致，作为自动验证。

第二个组件是歧义感知目标。模型不靠写出来的文字直接得到分布，而是读出最后一步情感类别名对应的词元级 logits，再在这些 logits 上做 softmax 得到预测分布。论文明确说这种做法跟随已有研究，目的是表达 graded 的不确定性。对齐标准用库尔贝克莱布勒散度衡量预测分布与人类感知分布的偏离。在偏好优化中挑选负样本时则用詹森香农散度衡量偏离，因为它有界且对称，更稳定地识别差的推理路径。

歧义感知目标 × 结构化思维链监督： 歧义感知目标负责在决策层约束最终分布，让预测的情感概率质量贴近人类投票分布，防止坍缩到一个最可能的标签；结构化思维链监督负责在推理层规定先看文本、再看语音、最后综合的证据组织方式。搭配的原因是只约束分布容易记住数据集的分布形状，只约束推理又不直接管概率，两者组合才把证据整合过程和不确定性保留解耦开来。

令牌级 logits 读出 × 软标签： 软标签负责提供监督真值：把多个标注者的票数归一化成分布，例如七成开心三成惊讶；令牌级 logits 读出负责提供预测分布的获得方式：在最后一步取出各个情感词对应的词表 logits 再做 softmax，而不是让模型直接写一段文字。搭配的原因是文字生成难以表达 graded 的不确定性，而 logits 分布与软标签同为分布形态，可以直接用散度对齐。

三种训练分别把两份监督放在哪里？

监督微调的总损失是推理轨迹的交叉熵加分布散度，权重由超参数控制。含义是同时约束文字路径和概率形状，梯度分别回传到自回归文字生成和最后一步的情感词 logits。论文报告该权重取值为 1。

偏好优化采用在策略动态采样方案。当前策略生成若干推理 rollout 及其分布，用詹森香农散度判断偏离真值分布的 rollout 作为负样本，整理好的真值思维链作为正样本。标准偏好损失之外再加分布损失和思维链交叉熵，论文报告两个附加权重均为 0.1。这里的监督来源有三处：正负对比提供排序信号，交叉熵提供词元级复述信号，散度提供分布形状信号。

组相对策略优化每次从旧策略采样多个推理轨迹，每个轨迹的奖励等于负的分布散度加格式奖励，格式奖励约束是否遵守规定的思维链格式，权重为 0.1。奖励在组内归一化成优势后做裁剪优化。标准做法只在采样轨迹中比相对好坏，当整组质量都低时最优的也只是相对不差。为此论文引入增强版，把真值轨迹作为额外参考样本加入同一组并保证其奖励最高，记为带真值注入的版本，目的是把优化偏向更忠实的模糊推理路径。

在策略偏好优化 × 组相对策略优化： 在策略偏好优化负责用正负推理链对比来教模型：以人工整理的思维链为正样本，以当前策略采样出的偏离分布的链为负样本，在词元层面给出稠密监督；组相对策略优化负责用一组采样轨迹的奖励相对优劣来更新策略，奖励包含分布匹配项和格式项。搭配比较的原因是两者都是把同一个歧义感知奖励思想装进不同训练框架，可以检验分布推理能力究竟依赖监督形态还是奖励形态。

数据、模型和评估条件是什么？

论文在 2 个数据集上评估。情感语音交互数据集包含愤怒、开心、悲伤和中性 4 类，其中兴奋被并入开心，采用严格的留 1 会话五折交叉验证。多人交互情感数据集的声音子集包含 6 类，增加了厌恶和恐惧。2 个数据集都把标注票数聚合并归一化成软真值标签，前者每句约 3 位标注者，后者每句 4 到 12 位标注者。类别数不同直接影响分布空间维度，这是后文解释策略优劣随数据集变化的依据。

实现上用闭源大模型在训练折上构造结构化思维链，后训练基座为 7000000000 参数的音频指令模型。所有训练策略都对注意力和前馈模块加低秩适配，秩为 8，缩放系数为 16。优化器为 AdamW，学习率分别为监督微调 1e-4、偏好优化 5e-6、组相对策略优化 2e-5，训练全程用 3% 线性 warmup 加余弦衰减。对照包括原始基座模型和已有的音频推理模型。资源状态方面，本次收到的证据中没有发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开，只能按论文文字复述构造和训练流程。

评估指标报告詹森香农散度、巴塔查里亚系数、决定系数和布赖尔分数。论文明确前两者用来衡量预测分布与真值分布的差异与重叠，判断模型是否保留不确定性而非过度自信。指标方向为散度和布赖尔分数越低越好，系数和决定系数越高越好。

杰森香农散度 × 巴塔查里亚系数： 杰森香农散度负责度量两个分布之间的差异，越小说明预测分布与人类投票分布越接近；巴塔查里亚系数负责度量两个分布的概率质量重叠程度，越大说明重叠越多。搭配的原因是单一差异值可能掩盖局部坍缩，一个看整体偏离，一个看重叠保持，共同回答模型是否保留了不确定性而不是只猜对了众数。

主结果在相同条件下比较了什么？

要回答的问题是：同一种歧义感知思想装进不同训练框架后，是否都比基座和确定性思维链基线更接近人类投票分布。比较的公平条件是同一数据集、同一基座、同一软标签和同一组分布指标，表中同时保留原始基座和音频推理模型作为参照。指标方向按上节所述，散度越低越好，重叠越高越好。

上表是在交互情感数据上的主结果。论文报告显示，应用所提目标后，监督微调、偏好优化和增强版分组优化都超过基座模型。其中增强版分组优化在该数据集四项指标上最强，而监督微调 consistently 弱于后两者，论文的解释是模糊建模受益于在多条推理轨迹上学习，而非只依赖单条监督轨迹。未胜出的反例也要看到：普通分组优化在该数据集上散度为 0.36，与音频推理模型持平，明显弱于增强版，说明不加真值参考时仅靠组内相对奖励不够。

上表是在多人交互情感数据上的主结果。论文报告显示偏好优化在该数据集整体最优，而增强版分组优化在决定系数上略高但在散度和重叠上不及偏好优化。论文对此的有限解释是类别从 4 类增至 6 类后，分布对中间推理的细微变化更敏感， outcome 层的最终散度奖励对细粒度推理的指导变粗，而偏好方法在词元层直接对比正负链，提供了更稠密的中间监督。这是一个支持性解释而非因果证明，跨数据集的策略选择仍需待验证。同样值得注意的负结果是音频推理模型在该数据集上弱于基座，说明为确定性任务设计的思维链不直接适用于模糊分布任务。

分布约束和思维链各自补了什么？

第一个反证问题是：只用交叉熵复述思维链文字，不加分布散度，会怎样。比较条件是同为监督微调或同为偏好优化，只切换是否附加库尔贝克莱布勒监督，评估仍看 4 个分布指标。下图把 4 组对比画成柱状，红色为不加分布监督，蓝色为加入分布监督。

看图路径： 1. 先确认横轴四个指标中哪些越低越好哪些越高越好；2. 再对比每组红蓝柱在杰森香农散度上的高低；3. 观察巴塔查里亚系数和决定系数上蓝色是否系统占优

论文图 2。原论文 Figure 2：“Comparison between CE-only (w/o KL supervision) and proposed additional KL supervision. (a) SFT on IEMO- CAP, (b) SFT on CREMA-D, (c) DPO on IEMOCAP, and (d) DPO on CREMA-D.”。

从像素看，该图有 4 个子面板，左上为监督微调在交互情感数据，右上为监督微调在多人交互情感数据，左下为偏好优化在交互情感数据，右下为偏好优化在多人交互情感数据。每个面板横轴都是散度、重叠、决定系数、布赖尔分数 4 组，纵轴为分数。图例红色表示无分布监督，蓝色表示有分布监督。可见的模式是蓝色在散度柱上普遍更矮，在重叠和决定系数柱上普遍更高或持平，布赖尔分数差异较小。

论文据此报告，加入分布监督一致改善了分布层指标，理由是交叉熵只弱约束复述轨迹和最终词元，不能直接约束概率质量贴合软标签，而散度直接惩罚分布错配。像素不能精确读出每根柱的具体数值，因此此处只讲方向性改进，具体数值以主结果表为准。

第二个反证是在多人交互情感数据上训练，分别在域内和跨域到交互情感数据上测试，比较有无思维链监督但都保留分布约束。公平条件是分布约束相同，只切换是否学习推理文字。

表后解释需要区分两种结论。域内时有无思维链差异很小，说明只优化最终分布也能拟合本数据集的分布形状；跨域时有思维链的一组明显占优，散度从 0.52 降到 0.38，重叠从 0.52 升到 0.65。论文的支持性解释是无思维链时模型容易过拟合数据集特定的分布模式，而歧义感知思维链迫使模型推理多模态线索，带来更强的泛化。这也提示复现时不能只看域内分数，跨域是检验推理是否学到通用证据整合的关键。

哪些边界没有被测到？

论文直接报告的局限首先是策略与分布复杂度的交互。增强版分组优化在 4 类交互情感数据上最强，但在 6 类多人交互情感数据上被偏好优化超过，说明 outcome 层奖励在高维模糊空间的指导精度下降。这意味着总体趋势不等于每组都成立，选择训练策略时要看类别数和分布维度。

其次是监督来源的依赖。结构化思维链由闭源大模型合成并由同一模型做一致性检查，质量依赖外部模型的生成和自检能力。论文没有报告人工复核比例、合成失败率或多次采样的稳定性，也没有测量合成成本与后训练成本的拆分，因此不能承诺该流程在算力受限时同样划算。

第三是未测量的量。论文没有报告误判率、延迟、推理开销、输出帧率或实际部署成本，也没有统计显著性方法和置信区间。分布指标的改善不能直接等同于人评偏好或下游任务收益，跨域实验也只做了 1 个方向，即在多人交互情感数据上训练到交互情感数据上测试，反向是否成立待验证。把这些缺项说清楚，是为了避免把分布拟合的胜利推广成全方位胜利。

要复现先准备什么，按什么顺序做？

复现的第一步是准备软标签。按论文做法，把每个语音样本的多人投票计数除以总票数得到分布，交互情感数据注意把兴奋并入开心，多人交互情感数据保留 6 类。划分上交互情感数据用严格的留 1 会话五折交叉验证，避免同一说话人或同一会话泄漏。

第二步是整理思维链。输入为声音、文本和真值分布，按关键词、文本分析、音频分析、综合 4 段生成。文本分析只谈语义歧义，音频分析必须用音量、语速、音高、音色等术语同时给出支持多数和少数的线索，综合段要能让读者只看分析就猜到标签分布。生成后用同一模型检查解释与分布的一致性，不一致的轨迹应剔除或重写。

第 3 步是改模型读出。基座选用论文所用的音频指令模型，在最后一步取出情感类别词的 logits 并做 softmax，不要用自由文本解析情感词。训练时低秩适配只加在注意力和前馈模块，秩和缩放系数按 8 和 16 设置，学习率按框架分别取 1e-4、5e-6 和 2e-5，附加损失权重按监督微调 1、偏好优化 0.1 与 0.1、格式奖励 0.1 设置，并保留 3% warmup 加余弦衰减。评估时同时计算散度、重叠、决定系数和布赖尔分数，并同时跑域内和跨域，避免只看域内。

需要补的验证包括：报告多次随机种子的波动、统计合成思维链的人工抽检结果、记录训练与推理的硬件时间，以及补做反向跨域和更多基座的对照，才能判断收益是否稳定。

何时值得尝试这种做法？

当任务中多人标注本身就不一致，且应用需要保留少数意见时，值得把单标签换成分布目标。例如客服情绪、心理健康或人机交互中过早坍缩到一个标签可能掩盖风险，这时分布加证据链的输出形态更有用。当只有硬标签、没有多人投票时，这种做法不直接适用，需要先解决软标签从哪里来的问题。

方法选择上，如果分布维度较低且能承担采样开销，可以优先尝试带真值参考的分组优化；如果类别更多、推理链的细微差别更关键，偏好对比提供的词元级监督可能更稳。无论选哪种，都应同时保留分布约束和思维链监督，前者管住概率形状，后者管住跨域泛化。复现时先跑通分布读出和散度计算，再接入思维链，最后才比较 3 种框架，这样每一步的收益都能归因。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总