能量决定混合比例、帧决定聚合权重：多损失如何管住语音情感识别

英文题目：Multi-Loss Learning for Speech Emotion Recognition with Energy-Adaptive Mixup and Frame-Level Attention

会议身份：conference:interspeech:2026:conference-paper-id:wang26u_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #数据增强 #对比学习 #语音 #语音情感识别

评分：6.1/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Cong Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Yizhong Geng：机构信息未能从会议 PDF 纯文本可靠映射
• Yuhua Wen：机构信息未能从会议 PDF 纯文本可靠映射
• Qifei Li：机构信息未能从会议 PDF 纯文本可靠映射
• Yingming Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Ruimin Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Chunfeng Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Hao Li：机构信息未能从会议 PDF 纯文本可靠映射
• Wei Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Ya Li：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音情感识别以原始语音波形为输入，输出离散情感类别，难点在于情感表达细微主观且标注数据稀缺易致过拟合。该框架先由能量自适应混合按信噪比叠加语音片段并以瞬时能量与时域覆盖比计算软标签权重生成能量多样样本，再经WavLM编码器提取帧级特征序列并由帧级注意力加权聚合成话语级向量，最后以KL散度、焦点、中心与监督对比多损失联合优化分类与表征。与仅按长度加权的标签自适应混合不同，该方法用能量动态决定混合主导性，使标签更贴合听感并丰富特征空间，配合注意力聚合与多损失缓解类别不平衡与特征混叠。在IEMOCAP会话无关评测下，本方法的加权准确率为78.47%，高于Tang等基线的加权准确率71.64%。在MSP-IMPROV等四个语料的说话人或会话无关条件下亦保持领先，消融证实各组件有效。其结论适用边界受限于四个公开语料的说话人或会话无关划分，跨语言与多模态等外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？要解决的语音情感识别困难在哪里？

本文的输入是一段语音波形，目标是判断说话人的情感类别，例如高兴、生气、悲伤和中性。输出是一个情感类别的概率分布，训练时取概率最大的类别作为预测，评估时统计加权准确率与非加权准确率。对于刚进入语音领域的研究生，可以把任务理解为给声音打情感标签：同样的文字用不同语气说出来，标签可能完全不同。 本文强调的困难有两个。

第一是情感表达复杂，线索不只在文字内容，还在语调、节奏和能量变化等非语言线索中，而且这些线索分散在时间轴上，不是每 1 帧都同样重要。第二是标注数据稀缺，因为给情感语音打标签费时费力，数据规模受限会限制表示学习能力。本文的写作起点就是在数据少、线索分散的条件下，如何让模型看到更多样的能量变化，并且在多帧中找准关键帧。 本次解读只依据论文原文证据写作，不引入外部评价。

资源状态方面，本次没有发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不能声称代码、模型或数据已公开。后续所有数字、条件和结构都回到原文核对，教学用的举例会明确标为例子。

附录：关键术语与符号如何快速自查？

能量自适应混合是本文对混合方法的改进，白话是按能量与长度共同决定混合比例的增强方法，英文为能量自适应混合方法。帧级注意力模块是本文的聚合方法，白话是为每 1 帧打分再加权求和的池化，英文为帧级注意力模块。多损失学习是本文的优化策略，白话是多个损失加权求和联合训练，英文为多损失学习。库尔贝克莱布勒散度损失衡量两个分布的差异，焦点损失聚焦难样本，中心损失压缩类内距离，监督对比损失拉近同类、推远异类。

符号自查可以按数据流记忆：原始波形与片段能量决定混合信号与软标签，混合信号经编码器变成帧数乘特征维度的序列，序列经注意力变成一句向量，一句向量经投影变成低维表示用于中心损失，帧序列经上下文广播后用于监督对比损失。先记住输入与输出的形状，再看每个模块把什么变成了什么，就不容易把语句级与帧级监督弄混。 本节为学习辅助，不增加新的实验断言。

所有事实判断仍以正文各节引用的原文证据为准，凡是原文未报告的实现细节都应视为缺项，而不是默认成立。

已有路线做了什么？为什么均匀混合不够？

论文回顾的数据增强路线包括加性噪声扩充训练语料，以及混合方法。混合方法的大意是把两个样本按某种比例叠加，同时把标签也按比例混合，从而制造虚拟训练样本。例子：把一段高兴语音和一段生气语音叠起来，标签不再是二选一，而是一个软分布，例如高兴占多数、生气占少数，这可以帮助模型看到介于两类之间的情形。 论文重点对照的是标签自适应混合方法。

该方法混合语音并生成混合标签表示，但原文指出它按均匀方式混合片段，忽略了语音中的能量动态。白话说，就是它更多按长度比例决定标签权重，没有考虑哪一段声音更响、能量更高，而能量恰恰与情感表达相关。均匀混合可能抹掉关键的情感细微差别，导致特征表示不够好。 另一条相关路线是多模态方法，即同时用音频和其他模态信息。

论文在结果部分把纯音频方法与部分多模态方法放在一起比较，但比较时需要注意输入模态不同，运行条件并不完全一致。本文选择纯音频路线，试图证明仅用音频，通过更好的增强、聚合与损失设计，也能达到有竞争力的效果。

附录：与同输入同目标方法如何对照记忆？

按同输入、同目标、同监督与同运行阶段来对照，有助于避免把类别差异当成同条件胜负。加性噪声方法与本文同为纯音频输入、单模型运行，但监督仍是原始硬标签，本文的监督是混合后的软标签加对比约束，因此增益来源不同。标签自适应混合与本文同为混合增强、同为软标签监督，区别在于本文引入了信噪比与能量加权，运行阶段仍是纯音频推理，因此可以直接比较混合策略的差异。

多模态方法与本文目标相同但输入多了一个模态，运行阶段需要额外的特征提取与融合，即使本文在数字上更高，也不能理解为融合思路无效，只能说纯音频方案在这些协议下达到了可比的参考线。 记忆时可以抓 3 组关键词：输入是否都是纯音频，标签是硬标签还是软标签，聚合是平均池化还是注意力加权。把每篇对照方法按这 3 组标注，就能快速定位本文的增量位置。

同样需要提醒的是，相关工作的性能数字来自不同年份与不同实现，预训练模型容量与数据划分细节可能不一致，跨论文的数字对照只能作为背景参考，严格结论应以本文同一协议下的消融为准。

问题如何形式化？能量与多帧线索难在哪里？

形式化地说，设输入语音为波形序列，模型先把它变成按帧排列的特征序列，再聚合成一句级别的向量，最后映射到情感类别概率。训练目标是让预测分布接近真实或混合后的软标签分布，同时让特征空间中同类靠近、异类远离。测试时采用与说话人无关的划分，即测试说话人不出现在训练中，用来检验泛化能力。 能量难点的具体动作是：两段语音叠加时，如果只看混合长度，就无法反映响度差异。

例如一段较短但能量很高的生气片段，可能在听感上占主导，但按长度加权会被低估。论文因此主张混合权重应该同时考虑瞬时能量和时间覆盖比例。 多帧难点的具体动作是：如果用平均池化把所有帧直接平均，关键的情感爆发帧会被平淡帧稀释；如果用最大池化只取最强响应，又会丢掉上下文。论文因此主张为每 1 帧学习一个重要性权重，再做加权求和。

理解了这两点，就能理解后文为什么一个模块管混合时的能量，另一个模块管聚合时的帧权重。

附录：初学者容易误解的三处边界

第一处是把混合样本当成真实情感。混合样本是人工制造的训练信号，它的软标签表示两种情感按能量与长度的混合比例同时存在，不是说说话人真的同时表达了两种情感。例子：把高兴与生气叠加只是为了让模型看到中间情形，不能理解为采集到了新的真实情绪。 第二处是把注意力权重当成因果解释。注意力权重大的帧对当前预测贡献大，但不等于这些帧在声学上必然是情感的原因，相关性不是因果，换一个初始化或数据划分，权重分布可能变化。

第三处是把平均提升当成每组都提升。总体准确率上升不等于每个说话人、每种情感、每一步训练都上升，萨里库按说话人报告结果的意义正在于暴露说话人差异。阅读结果时要同时看平均值与最差组，才能判断方法的鲁棒性边界。

整体框架如何走通一个样本？

沿一个训练样本走一遍流程，有助于建立全局依赖。第一步，能量自适应混合从两条原始语音中各取一段等长片段，把其中一段当作干扰，按随机信噪比调整其能量，再叠加到另一段的主导片段上，同时按能量与长度比例算出混合软标签。第二步，混合后的波形送入预训练的语音模型得到情感特征序列，序列长度为帧数，宽度为特征维度。第 3 步，帧级注意力模块先用多头自注意力增强帧间关系，再用可学习的注意力池化把序列聚合成一句向量。

第 4 步，多损失学习同时从分布对齐、难样本、类内紧致和帧级对比 4 个角度给出监督信号。 从教学角度看，混合模块扩大了训练数据的能量分布，注意力模块决定了哪些帧说了算，损失模块决定了模型往哪个方向改参数。三者分工不同，但都围绕同一个目标：让有限数据下的情感特征更紧致、更可分。

能量自适应混合 × 帧级注意力模块： 能量自适应混合负责在输入端制造能量分布更丰富的混合语音与软标签，帧级注意力模块负责在特征端从多帧序列中挑出情感判别力最强的帧，二者搭配的理由是前者扩大了训练看到的能量干扰情形，后者防止这些被干扰的帧被平均池化稀释，组合意义是增强与筛选形成闭环。

下面先看总体结构图，再进入每个组件的计算细节。总体结构图展示了从混合信号与混合标签进入模型，到特征序列、注意力加权特征与多损失分支的完整走向，是理解数据流与监督流汇合位置的关键。

看图路径： 1. 先从左上混合语音信号出发，沿箭头找到 WavLM 的卷积编码器与变换器编码器；2. 再看情感特征序列向下进入帧级注意力模块的分支与残差回路；3. 对照右侧多损失分支，确认分类用的全连接层与对比用的帧特征走向不同；4. 注意混合标签与混合语音是并行进入特征与损失的

论文图 1。原论文 Figure 1：“The overall model architecture of our proposed SER method.”。

该图的上半部分可见混合后的语音信号进入包含卷积编码器与变换器编码器的语音编码器，输出为情感特征序列的立体示意。下半部分是帧级注意力模块的放大视图，右侧多头注意力带有残差相加回路，左侧帧级注意力负责最终的加权聚合，左侧还画出了加权前后的特征块变化。左侧的多损失分支表明语句级与帧级特征走向不同的监督头，说明分类损失与对比损失作用在不同粒度的表示上。

混合与注意力具体算什么？

能量自适应混合的计算可以分为 4 步。第一步是动态片段提取：为第 i 个样本随机选择混合长度，要求混合长度小于该样本总长度的一半，以保留原始样本的情感主导性，同时随机选择两个样本的起始位置，取出等长片段用于后续混合。第二步是基于信噪比的能量调整：把干扰片段看作噪声，把它的能量缩放到与随机采样的信噪比匹配，信噪比范围原文报告为负 5 到 10 分贝，缩放后再与主导片段叠加。

第 3 步是波形叠加：把能量调整后的干扰片段加到主导片段的对应位置，形成混合信号。第 4 步是软标签计算：用调整后的能量与时间覆盖比例动态计算混合权重，再把两个原始独热标签按权重加权成软标签。 帧级注意力模块的计算分为两步。第一步是多头自注意力增强：输入特征序列经过 16 头多头自注意力并做残差相加，得到增强后的序列，目的是建模帧之间的时序依赖。

第二步是注意力池化：引入一个可学习的投影向量，对每 1 帧特征打分并做归一化得到注意力权重，再按权重对所有帧加权求和，得到一句级别的向量。与平均池化均匀对待所有帧不同，这里权重大的帧贡献大，因此模型可以主动聚焦情感判别力强的帧。

KL 散度损失 × 焦点损失： KL 散度损失负责让模型预测分布对齐能量自适应混合产生的软标签分布，焦点损失负责对难分样本加大权重，二者搭配的原因是软标签本身带来了标签不确定性而难样本又容易被淹没，组合意义是在分布对齐的基础上继续压住易分样本的主导梯度。

中心损失 × 监督对比损失： 中心损失负责把同一情感的语句级向量拉向各自类中心以减小类内方差，监督对比损失负责在帧级把同类帧拉近、异类帧推远以增大类间可分性，二者搭配的原因是一个管语句级紧致、一个管帧级判别，组合意义是从粗细两个粒度同时约束特征空间形状。

WavLM 特征序列 × 上下文广播： WavLM 特征序列负责提供每帧的情感表示，上下文广播负责把全局平均上下文以残差形式加回每 1 帧以鼓励稀疏交互，二者搭配的原因是直接做帧级对比容易丢失语句上下文，组合意义是让对比学习用的帧特征既保留自身细节又携带全局参照。

需要提醒的是，原文没有给出混合权重公式中每个能量项的完整测量窗口细节，也没有报告注意力投影向量的初始化方式，复现时只能按常规做法补齐并记录下来，不能当作原文已规定。

四个损失如何分工？训练过程如何组织？

训练的目标是 4 个损失的加权和。第一个是库尔贝克莱布勒散度损失，简称 KL 散度损失，白话是衡量预测分布与软标签分布之间差异的损失，软标签来自能量自适应混合，因此该损失负责分布对齐。第二个是焦点损失，白话是对难分样本给予更大权重的分类损失，它在软标签的每一类上乘以与预测置信度有关的调制因子，目的是缓解类别不平衡并聚焦难样本。

第 3 个是中心损失，它把语句级聚合向量投影到低维空间，并把每个样本拉向其类别中心，以减小类内方差。第 4 个是监督对比损失，它作用在经过上下文广播增强的帧特征上，把同一批中所有帧展平后做对比，同类帧互为正样本，以增大类间距离。 原文报告中心损失与监督对比损失作用在 64 维空间，批量大小为 16，模型初始学习率为 1 乘以 10 的负 4 次方，中心更新的学习率为 5 乘以 10 的负 3 次方，两者按每轮乘以八分之七衰减直到第 20 轮，训练硬件为英伟达 3090 图形处理器。

4 个损失的缩放因子按经验设置，目标是把每个加权后的损失分量归一化到 0 到 1 范围，避免某一个目标主导梯度。原文没有报告 4 个缩放因子的具体数值，也没有说明语音编码器哪些参数冻结、哪些参数更新，因此不能从模型名称推定微调策略，这是复现时必须补记的缺项。 推理阶段的动作与训练不同：不再做混合增强，直接把原始语音送入编码器与注意力模块，得到语句级向量后做分类。混合只用于训练时扩充数据分布。

在哪些数据与协议上验证？指标如何聚合？

论文在 4 个语音情感数据集上验证。交互式情感二元动作捕捉数据库包含约 12 小时的自发与表演对话语音，来自 10 个说话人共 5 个会话，把兴奋类合并到高兴类后得到 5531 条，覆盖高兴、生气、悲伤和中性，采用 5 折按会话独立的交叉验证。微软即兴表演数据库包含 8438 个表演即兴片段，来自 12 名演员共 6 个会话，同样取 4 个基本情感，做 6 折按会话独立交叉验证。瑞尔森情感语音歌曲视听数据库包含 1440 条表演语音，来自 24 名演员，覆盖 8 种情感，做 6 折按被试独立交叉验证。

萨里视听情感数据库包含 480 条语音，来自 4 名男性说话人，覆盖 7 种情感，做 4 折按说话人独立交叉验证并报告按说话人划分的非加权准确率。 评估指标为加权准确率与非加权准确率。加权准确率按样本数加权，反映总体命中率；非加权准确率为每类召回率的平均，类别不平衡时更能暴露对小类的偏置。指标越大越好。

论文强调采用与说话人无关的划分，因此结果反映的是对未见说话人的泛化，而不是对已见说话人的记忆。 消融研究在相同配置下隔离关键组件与单个损失的贡献，以基线方法为起点逐步替换预训练模型、混合方法、特征聚合方法与损失函数。原文没有报告显著性检验与置信区间，因此不能把小幅差距直接解读为稳定优于，只能说在报告的交叉验证平均值上观察到改进。

主结果测了什么？在一致条件下胜在哪里？

主结果要回答的问题是：在说话人无关划分下，新方法相对已有纯音频方法与部分多模态方法，是否在加权与非加权准确率上同时占优。比较的公平条件是同一数据集与同一交叉验证协议，但模态数量不同的方法运行条件并不严格一致，因此对多模态的超越只能理解为纯音频方案达到有竞争力的参考值，而不是同输入条件下的严格胜负。指标方向是越高越好。

下表整理了 3 个数据集上原文用完整连续句子报告的核心数字，保留了原文的百分比写法与小数精度。萨里数据库的细节放在后文表格中展开，这里先聚焦前 3 个库的语句级平均结果。

表后解释需要同时看到收益与限制。

收益方面，交互式情感库上本方法报告为 78.47% 加权准确率与 79.14% 非加权准确率，微软即兴库上为 58.55% 与 58.34%，瑞尔森库上为 93.40% 与 92.28%，原文据此认为能量感知混合更好地建模了自发语音的细微声学变化，而对表演语音中更夸张的韵律与强度模式也吻合较好。代价与限制方面，微软即兴库的绝对值仍在 60% 以下，说明自发即兴情感依然很难；与多模态方法的比较存在输入信息不对等，不能直接理解为融合没有价值；原文也没有报告延迟与参数量，因此不能承诺推理成本更低。

拿掉哪一块会怎样？损失与聚合的反证是什么？

消融要回答的问题是：能量自适应混合、帧级注意力与多损失中的每一项是否都带来可观测的增量。实验组织是从基线出发，逐步替换预训练模型、混合方法、聚合方法与损失函数，并在相同配置下比较非加权准确率。指标方向仍是越高越好。 下表把原文在正文句子中明确报告的聚合与损失对照数字整理成五列，便于核对每一步的起点与终点，所有数字保留原文精度，不做四舍五入，也不把百分点差值写成相对百分比。

表后解释需要指出具体机制与未胜出项。

这里的未胜出项是传统池化：最大池化报告为 77.74%，平均池化报告为 77.95%，都低于帧级注意力的 78.10%，支持了动态加权比均匀稀释或只取最强响应更适合多帧情感线索的判断。在损失侧，加入焦点损失后达到 78.56%，加入监督对比损失后达到 78.83%，四项联合后达到 79.14%，支持了难样本加权与帧级对比的互补性。但原文没有逐一报告去掉中心损失或去掉 KL 散度后的下降幅度，因此不能反推哪一个损失最关键，只能说在已有基线之上做加法时观察到提升。 下面看特征分布的可视化对照。

该图用降维散点展示多损失策略前后的特征分布，颜色对应不同情感类别，用于直观检验类内紧致与类间分离是否改善。

看图路径： 1. 先确认四个子图分为训练集与测试集在多损失前后的对照；2. 观察每种颜色代表一类情感的点云是否抱团；3. 比较上排与下排同列子图的类间空隙是否变大；4. 注意测试集的分散程度仍大于训练集

论文图 2。原论文 Figure 2：“2”。

该图的 4 个面板按训练集与测试集、前后对照排列，可见下排在使用多损失策略后同色点云更抱团、不同颜色之间的空隙更明显。需要按图例确认颜色与情感的对应关系，并区分训练集本身更紧致、测试集更分散的现象，不能把训练集的紧致程度直接当作泛化性能，也不能从散点距离读出精确准确率，定量结论仍以交叉验证数字为准。

哪些结论还没有被验证？

首先，超参数与实现细节缺项较多。4 个损失的缩放因子只说明了归一化目标，没有给出具体数值；语音编码器的冻结与更新策略、梯度是否截断、类中心的更新与重置时机都没有完整交代。复现时需要把这些选择显式记录，否则同样的框架可能得到不同的结果。 其次，统计稳健性证据不足。

论文报告了交叉验证的平均准确率，但没有报告方差、置信区间或显著性检验，也没有报告误判矩阵。在类别不平衡的情感任务中，只看平均值可能掩盖对少数情感的系统性误判，因此不能把平均提升理解为每一类都提升。 再次，成本与部署边界未测量。训练资源只提到图形处理器型号与批量大小，没有报告训练时长、参数量、推理延迟与输出帧率。总体准确率趋势不等于每一步推理都更快，实际部署前需要补测延迟与内存占用。

最后，跨语言、多模态融合与更强的自适应增强被列为未来工作，说明当前结论限于 4 个英文情感数据库的说话人无关协议，不能直接推广到跨语言或真实噪声场景，这些都属于待验证的推测。

如果要复现，应该先做什么？

复现的第一步是按原文重建数据划分。交互式情感库把兴奋合并到高兴后按会话做 5 折，微软即兴库按会话做 6 折，瑞尔森库按被试做 6 折，萨里库按说话人做 4 折。划分错误会直接改变说话人无关的难度，因此要先核对每折的说话人归属与类别分布，再核对加权与非加权准确率的聚合对象是折平均还是样本汇总。 第二步是重建增强与模型。混合长度控制在样本总长度一半以内，起始位置随机，信噪比在负 5 到 10 分贝范围内随机采样，混合权重同时考虑能量与长度比例。

语音编码器输出帧级序列后，先做 16 头自注意力加残差，再用可学习向量做注意力池化；中心损失与监督对比损失在 64 维空间计算，批量大小取 16。凡是原文未给的缩放因子、冻结策略与初始化，都要固定随机种子并记录为自己的补充选择。 第 3 步是补做原文没有的验证。至少要记录每折的方差、每类的召回率、训练时长与推理延迟，并保留去掉能量加权只剩长度加权、把注意力池化换回平均池化的对照。

只有这些对照齐备，才能判断收益来自能量建模还是来自更大的模型容量。

表后解释要说明该表的用途与局限。

该表把可复现的数据规模与训练条件集中在一处，方便按图索骥，但其中萨里库 72.3% 是平均非加权准确率，不能与加权准确率混用；交互式情感库与微软即兴库的条数来自数据集描述，不是本方法的输出指标；训练配置中的学习率只是起点，还需要按每轮八分之七衰减的规则执行。未评测边界列提醒复现者不要把英文库结论推广到跨语言或强噪声场景。

何时值得尝试这个方案？

当你的语音情感数据量小、情感线索分散在多帧中，且怀疑响度与能量变化携带情感信息时，这个方案值得尝试。它的可操作点很具体：训练时用信噪比控制的叠加制造更多能量干扰情形，聚合时用注意力权重代替平均池化，优化时同时保留分布对齐、难样本加权、类内紧致与帧级对比 4 个目标。 当数据本身已经很大、计算预算紧张，或者任务更依赖文本语义而非韵律能量时，需要谨慎。

4 个损失意味着更多的超参数与调试成本，帧级对比也会增加显存与计算开销。在没有补测延迟与方差之前，不宜承诺它在你的场景一定更稳。 给研究生的收束建议是：先复述出一条样本的完整路径，再默写出混合权重的两个决定因素与注意力权重的计算来源，最后用原文报告的 3 个关键数字检验自己的实现是否落在合理区间。如果这 3 步都能讲清，再去扩展跨语言或多模态验证，会比直接堆模型更可靠。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总