模态不可靠时先估计不确定性再融合：EmoEUS 的显式方差监督

英文题目：EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation

会议身份：conference:interspeech:2026:conference-paper-id:huang26n_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #Transformer #音视频 #语音 #语音情感识别

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Zilong Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Kong Aik Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Junjie Li：机构信息未能从会议 PDF 纯文本可靠映射
• Zhe Li：机构信息未能从会议 PDF 纯文本可靠映射
• Man-Wai Mak：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

对话情感识别需为每轮话语综合文本、音频、视频证据并利用对话上下文预测离散情绪，难点是各模态质量随话语剧烈波动且易混淆情绪边界模糊。EmoEUS 先以冻结编码器加双向门控循环单元提取上下文特征，再经上下文分布估计器 Context-level Distribution Estimator 将三模态特征映射为高斯均值 \(\mu_{\delta}\) 与方差 \(\sigma_{\delta}\)，按相对方差计算模态置信度并加权均值，随后经多头注意力与 Transformer 编码器融合上下文并分类，同时以显式监督损失 Explicitly Supervised Loss 将预测方差对齐到话语分布与情绪模态相关聚类中心的 2-Wasserstein 距离。与仅用分类损失隐式学习不确定性的方法不同，该设计为方差提供逐话语回归目标，使融合权重随可靠性动态调整。在IEMOCAP留一会话验证集评测下，EmoEUS的加权F1为74.36%，从FEMI的加权F1 73.53%升至74.36%。在MELD官方划分测试集评测下，EmoEUS的加权F1为67.53%，从AdaIGN的加权F1 66.79%升至67.53%，并降低了Happy-Excited等易混对的误分率。结论限于完整三模态英文会话，缺失模态、高噪声与跨域外推尚未验证，原文未披露训练推理成本。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么要先讲不确定性？

本文的输入是一个按时间排序的对话，包含多个话轮。每个话轮同时带有 3 类观测：文本转写、音频片段和视频片段，并附带说话人标签和一个情绪标签。目标是对对话中每一个话轮预测一个情绪类别，需要同时利用当前句的多模态信息和整个对话的上下文。初学者容易把这个任务理解为把 3 路特征拼起来送分类器，但原文强调的起点是可靠性会逐句变化：噪声、缺失线索、模态间冲突都会让某个模态在某一句可信、在另一句不可信。

如果对所有句子使用同一套固定融合权重，就会把不可靠模态的错误信息放大。于是学习依赖的第一步是先接受不确定性是输入的属性，而不是模型的附带输出。后续所有组件都是为了先估计每个模态每句话的不可靠程度，再决定融合时听谁的。本文不声称代码模型数据已公开，证据中未发现可用资源声明，因此复现只能依据论文文字描述。本解读默认从原文独立写作，目标是让读者能复述从单句输入到分布表示再到融合输出的完整动作。

附录：实验成本与表示选择的数字如何核对？

本节承担教学上的核对职责，专门把容易混淆的数字放在同一张表中比较：训练轮数批量大小与优化超参数属于实验条件，点表示与分布表示的准确率属于表示选择，二者不能混在同一模型列下比较。下表要求读者同时核对数据集、实验阶段、指标与聚合对象，数值相同也不代表同一指标。

表后解释强调可运行策略与配置的区别：上表中的训练配置不是模型性能，不能与准确率直接比大小；分布表示的收益是在相同融合与训练流程下取得的，支持显式捕捉方差带来更鲁棒特征学习的判断。代价是分布表示需要维护更多中心统计并计算 2-Wasserstein 距离，原文未报告额外耗时与内存，因此不能承诺零成本。百分点差与相对百分比不同，阅读时应说提高了多少个百分点而不是提高了百分之多少。若发现表头单位与数据格写法不一致，应以原文表头与连续原句为准，不自行追加百分号或四舍五入，这也是本解读所有表格保留原文精度的原因。

已有路线做了什么，本文把监督加在哪里？

按同输入同目标对照，已有对话情绪识别工作主要做三件事：用更好的多模态表示、用跨模态交互建模、用图或蒸馏结构捕捉说话人依赖和上下文。原文肯定了基于 Transformer 联合建模长距离上下文和跨模态交互的有效性，也列举了通过蒸馏、图建模和模态专用编码器增强上下文的路线。另一条相关路线是多模态学习中的不确定性建模，用于评估输入可靠性和提高鲁棒性，但原文指出其在对话情绪任务中的探索仍然有限。

关键区别在于监督位置：此前少数引入模态不确定性的方法主要靠分类损失隐式驱动不确定性，缺少直接告诉方差应该多大的监督。本文的判断是仅靠分类损失不足以准确捕捉话轮级不确定性，因此新增了一个显式监督损失，直接把预测方差与分布偏离对齐。这不是对已有融合结构的简单替换，而是把原来隐式的可靠性学习变成显式的回归目标。理解这一点后，才能明白为什么后文要维护全局分布簇中心，以及为什么辅助损失要延迟加入。

任务形式化与符号如何对应到真实对话？

设一个对话有 k 个话轮，记为话轮集合，每句话有情绪标签和说话人标签。情绪标签取自预定义的情绪集合。对第 i 句话，文本音频视觉 3 路各有一个模态专用表示，记为该句在该模态下的表示。举例说明：假设一个三句话的对话，第二句话的文本是礼貌用语但语气急促，此时文本模态的情绪线索与音频模态的情绪线索可能冲突，模型需要为第二句话的文本分布和音频分布分别给出不同的不确定性，而不是给整个对话一个统一权重。

任务要求利用全部 k 句话的信息，为每一句话输出一个预测情绪标签。符号上的下标区分了模态维度与话轮维度：模态下标取自文本音频视觉，话轮下标从 1 到 k。特征维度方面，双向门控循环单元输出维度是隐状态 2 倍，分布估计输出的均值与方差具有相同的特征维度，融合后的每句话特征再送分类器得到情绪概率。

先把这个单样本走通：输入是同一句话的 3 路观测加对话上下文，中间是 3 组均值方差，目标是该句的情绪标签，输出是分类概率，后续公式都是对这条路径的细化。

三段式流程如何从特征走到两个损失？

总体流程按原文分为 3 段，阅读时建议先抓主路径再看监督分支。第一段是上下文特征提取：每路模态先用冻结或专用的预训练编码器抽取单句特征并做平均池化，再用各自的双向门控循环单元沿对话顺序建模时序依赖，得到每模态的上下文特征序列。第二段是分布估计与融合：每个模态的上下文特征进入各自的上下文分布估计模块，输出该模态每句话的高斯均值与方差；然后不确定性感知融合模块根据方差计算置信度并加权融合。

第 3 段是联合训练：融合特征送分类器用交叉熵损失优化，同时显式监督损失用簇中心距离监督方差分支。图注明确说明实线框与虚线框分别表示可训练模型与冻结模型，含义是模态编码器保持冻结，只训练后续的时序、分布、融合与分类部分，但原文未给出各编码器内部是否部分解冻的细节，复现时不应自行假设。

下面这张总览图把上述 3 段画在同一条横轴上，读图时重点看数据如何分叉又汇合。

看图路径： 1. 先从左向右沿文本音频视觉三路看编码器到双向门控循环单元的主路径；2. 再看每路输出的上下文特征如何进入各自的分布估计模块得到均值与方差；3. 接着观察三组分布如何汇入中间的不确定性感知融合块再输出融合特征；4. 最后确认右上角显式监督损失与右下角分类损失分别监督哪一部分

论文图 1。原论文 Figure 1：“The overall architecture of the EmoEUS framework.”。

从像素可见，左侧文本音频视觉 3 路分别经过虚线编码器得到单句特征，再经双向门控循环单元得到对话级特征；中间 3 路各有一个分布估计块输出均值方差对，并共同进入纵向的不确定性感知融合块；右侧融合特征进入分类器得到情绪标签，同时右上角显式监督损失构成第二条监督路径。该图支持的判断是融合权重不是事先固定的，而是由每路实时估计的方差决定；限制是图中未标注置信度计算与注意力计算的内部公式细节，需要结合正文第 2.5 节的文字步骤复述。

分布估计与按方差加权融合具体做了哪些计算？

上下文分布估计模块的输入是某一模态的上下文特征序列。动作顺序是先做层归一化并送入 Transformer 编码器增强全局交互，再用残差连接保留原始上下文；然后结果进入两个并行分支，分别预测高斯均值与对数方差。原文为书写简便把方差记为符号，实际分支输出的是对数方差，需要经过指数变换才能得到方差尺度。均值分支带有额外的残差与层归一化，方差分支则相对直接，这种不对称设计在消融中与保留原始特征的效果相关。

得到 3 路均值与方差后，不确定性感知融合分 3 步走。第一步按相对不确定性比例计算原始置信度：方差相对越小则置信度越高，计算沿特征维度逐元素进行，并加小常数保证数值稳定。第二步沿模态维度做归一化，让 3 路模态公平竞争。第 3 步用归一化置信度逐元素乘以对应均值特征，自动压制高不确定特征。

之后把 3 路均值拼接构造查询与值矩阵，把加权特征拼接构造键矩阵，再做多头注意力和 Transformer 编码器，最后把注意力输出与原始 3 路均值拼接相加得到融合特征。

上下文分布估计 × 不确定性感知融合： 上下文分布估计负责把每个模态的上下文特征变成高斯分布的均值与方差，给出该句该模态有多不可靠；不确定性感知融合负责把方差转成置信度并据此加权均值特征，二者搭配的理由是只有先有逐句校准的方差，后续按可靠性压制高不确定模态才有依据，组合后新增的作用是融合权重随对话内容动态变化而不是固定平均。

下面这张模块图只画了单个模态内部的分布估计，适合核对残差与双分支结构。

看图路径： 1. 先看输入上下文特征经过层归一化进入 Transformer 编码器的位置；2. 再对比上支路经残差相加后输出均值与下支路直接输出对数方差的分叉；3. 最后沿绿色残差箭头确认原始上下文信息在何处被加回均值分支

论文图 2。原论文 Figure 2：“Framework of ContextDEM, where LN and MLP de- note LayerNorm and multi-layer perceptron, respectively.”。

从像素可见，输入特征先经层归一化进入 Transformer 编码器，然后分叉为上下两条线性层路径；上路经过层归一化后与输入残差相加再经多层感知机输出均值，下路经过层归一化后直接经多层感知机输出对数方差；绿色箭头明确标出残差连接。该图支持的判断是均值保留了更多原始上下文，而方差更依赖变换后的全局交互；未验证的推测是这种不对称一定最优，原文只报告了带残差的分布表示整体更好。

双向门控循环单元 × Transformer 编码器： 双向门控循环单元负责在每个模态内部沿对话顺序建模前后文依赖，得到逐句的上下文特征；Transformer 编码器负责在分布估计阶段和融合后阶段建模全局对话交互，二者搭配的理由是前者保留时序说话轮转，后者补充长距离全局关联，组合后使均值与方差都带有对话级上下文而不是孤立单句判断。

初学者常见误解是把置信度当成注意力权重本身，实际上置信度先用于加权构造键矩阵，再通过查询与键的点积影响注意力，原文明确写出查询与值来自原始均值拼接、键来自加权特征拼接，因此高置信模态会通过键获得更大注意力，这是 2 级加权的串联。

显式监督损失把方差与什么距离对齐，如何分阶段训练？

显式监督损失要解决的是方差没有真值的问题。做法是为每个情绪类别和每个模态维护一个全局分布簇中心，包含中心均值与中心方差。若数据集有 3 个模态和 6 个情绪，则维护 18 个中心。每个训练轮次用当前特征统计更新 1 次中心，且更新不参与梯度反传，保持与演化中的表示一致。计算上先求同类同模态所有话轮的均值向量的平均作为中心均值，同理对预测方差求平均作为中心方差。

然后用 2-Wasserstein 距离衡量单句分布与所属情绪簇中心之间的偏离，形式为均值差平方范数加方差差平方范数，自然同时考虑位置偏离与不确定性偏离。最后把该距离经可学习的缩放因子调整后作为方差的回归目标，用平方误差对齐预测方差与缩放后的距离。直观理解是离本类典型分布越远的话轮应该输出越大方差。最终总目标是分类损失加权 3 路显式监督损失之和。

为稳定训练，权重在起始轮次前为零，之后设为固定常数，原文给出的超参数是权重为 2 乘以 10 的负 5 次方、起始轮次为 10。

下面这张示意图把对齐关系画成两个分布与中间方差的三角关系，读图时先区分被度量的对象与被监督的对象。

看图路径： 1. 先看左侧单句模态分布与右侧同情绪同模态簇中心两个分布示意；2. 再看顶部双向箭头标注的 2-Wasserstein 距离度量的是哪两个分布之间；3. 最后看中间向下对齐到预测方差的箭头理解监督信号的落点

论文图 3。原论文 Figure 3：“Framework of explicitly supervised loss Lδ”。

从像素可见，左侧是单句模态专用分布，右侧是同模态同情绪的全局分布，顶部双向箭头标注两者之间的 2-Wasserstein 距离，中间向下箭头标注对齐到预测方差；右侧图例明确话轮索引、情绪标签与模态取值的含义。该图支持的判断是被监督的是方差分支，而不是均值分支；限制是图中分布曲线只是示意，不能读出具体数值或方差大小。

分布簇中心 × 显式监督损失： 分布簇中心负责为每个情绪类别和每个模态维护全局的均值与方差统计，作为该类典型分布的参照；显式监督损失负责把单句分布到同类簇中心的 2-Wasserstein 距离与该句预测方差对齐，二者搭配的理由是仅靠分类损失无法直接告诉模型方差应该多大，组合后新增的作用是给方差一个可计算的回归目标，使不确定性估计可被直接监督。

需要指出的缺项是簇中心的具体初始化方式、首轮统计是否可靠、缩放因子的初始化与优化细节原文未报告，复现时应如实记录自己的选择而不归因于原文。

分类损失 × 显式监督损失权重： 分类损失负责让融合特征分对情绪类别，是主任务目标；显式监督损失权重负责控制方差对齐项在总目标中的占比和介入时机，二者搭配的理由是方差监督依赖相对稳定的特征统计，过早加入会干扰表示学习，组合后新增的作用是通过分阶段加权实现先学分类再校准不确定性。

训练的另一条路径是分类分支：融合特征送分类器得情绪概率，用标准交叉熵优化；最后 10 个检查点的权重平均得到最终评估模型，这属于评估前的权重平均操作，不是集成多个独立训练。

数据划分、特征、指标与训练预算按原文如何设置？

数据集与协议按原文交代。IEMOCAP 采用留 1 会话交叉验证策略，MELD 采用数据集预定义的训练验证测试划分，并与已有工作保持一致。评估指标为准确率与加权平均 F1，加权 F1 对各类别按样本量加权，方向都是越高越好。特征提取固定使用 3 类预训练编码器：文本用 RoBERTa，音频用 Wav2vec2.0，视觉用 CLIP；特征取各自编码器最后一层输出的平均池化。

训练在单张 NVIDIA RTX 4090 上进行，IEMOCAP 训练 40 轮、MELD 训练 50 轮，批量大小分别为 15 和 100，优化器为 Adam，学习率为 2 乘以 10 的负 4 次方，显式监督损失权重为 2 乘以 10 的负 5 次方、起始轮次为 10，丢弃率为 0.2。最终评估前对最后 10 个检查点做权重平均。原文未报告随机种子、多次运行的标准差或显著性检验，因此不能把小幅差距解读为统计显著。硬件预算只给出了显卡型号与轮数批量大小，未给出总时长与推理延迟，训练成本与部署成本需要分开讨论，不能用训练显卡推定推理帧率。

主结果测了什么，在什么条件下与谁比？

主结果要回答的问题是在相同数据集与相同指标下，显式不确定性监督加自适应融合是否优于已有可运行方法。比较对象包括对话循环、对话图卷积、多模态图卷积、跨模态融合网络、情绪转移感知网络、自适应图学习、 directed 无环图课程学习、关系感知图卷积与特征增强多模态交互模型等多条基线，均为原文实际列出的可运行策略，不是事后最优值。指标方向为准确率与加权 F1 越高越好，IEMOCAP 还报告了 6 个情绪类别各自的 F1。阅读表格时必须同时核对数据集、基线年份、情绪类别、总体准确率与加权 F1，不能只看总体数字。下表整理了原文主表中的关键行，数值保留原文小数精度，未做四舍五入。

表后解释需要同时给出收益与代价。报告显示 EmoEUS 在 IEMOCAP 总体准确率与加权 F1 上领先，并在 Happy 与 Excited 等类别上明显高于对照，同时在 MELD 上也取得领先；支持的判断是显式监督有助于识别可靠模态并抑制不确定模态，从而得到更鲁棒的融合表示。代价与反例同样明确：原文承认在 Sad 与 Angry 上略低于部分基线，例如对照在 Sad 上可达 80 以上而本方法为 72 左右，但本方法在所有情绪类别上都保持 70% 以上，避免了对特定类别的严重偏置。

未胜出项提示该方法不是在每类上都最优，总体领先来自更均衡的表现。限制是原文未提供统计显著性与每类样本量，不能把均衡性直接等同于因果改善，也未测量延迟与计算开销，不能承诺推理更快。

去掉融合或监督后性能如何变化，模糊情绪对是否改善？

消融要回答两个子问题：不同融合方式在相同特征下是否有差距；去掉不确定性感知融合或显式监督损失后是否下降。对照的融合方式包括直接拼接、多头注意力、简单 Transformer 编码器融合，均使用拼接后的多模态特征送分类器，与完整方法的对比条件是相同数据集与相同总体指标。下表同时整理融合对照与组件消融，以及模糊情绪对的误分率降低情况，误分率方向是越低越好。

表后解释先给主要收益：完整方法在 2 数据集上一致优于拼接注意力与 Transformer 融合，去掉任一组件都下降，其中去掉融合模块下降更多，支持不确定性加权对多模态整合关键、显式监督有助于学到更准的方差从而促进融合的判断。模糊情绪对方面，完整方法在多数易混对上进一步降低误分率，例如 Happy 与 Excited、Happy 与 Neutral 等，支持显式监督使语义相近情绪的表示更可分。

代价与反例是去监督版本在个别对上与完整方法持平，去融合后 MELD 下降到 66 左右，说明在更嘈杂的多说话人场景下融合设计更敏感。另一组消融比较点表示加均方误差与分布表示加 2-Wasserstein 距离，并考察残差连接，报告显示分布表示一致优于点表示，残差连接有助于保留原始上下文。

点表示 × 分布表示： 点表示只保留特征向量本身，用均方误差衡量与中心的偏离，无法区分语义模糊和特征偏移；分布表示同时保留均值与方差，用 2-Wasserstein 距离同时衡量均值偏离与方差偏离，二者搭配比较的理由是论文要验证不确定性建模是否带来增益，组合意义在于说明从点到分布不是简单加参数，而是把可靠性显式写进表示和距离。

需要强调的是消融只能说明相关性：在当前超参数与划分下移除组件伴随下降，不能直接推出拿掉后必然在所有设置下变差，也未评测跨数据集泛化与缺失模态等边界。

哪些结论有证据，哪些还只是可能？

有直接报告支撑的是总体准确率与加权 F1 的领先、融合对照下的优势、移除组件后的下降、分布表示优于点表示，以及多数模糊情绪对误分率的降低，这些都以表格数字为依据，可用报告或显示来表述。有限解释的是均衡性带来总体领先的机制分析，原文观察到本方法各情绪类别 F1 都高于 70% 而对照在某些类别偏低，由此推断避免严重偏置有助于总体指标，该解释与数字一致但未做因果干预，可用支持来表述。

未验证推测包括不确定性估计一定捕捉了真实语义模糊、方差大小可直接作为可解释的可靠性分数、方法可直接扩展到实时跨说话人动态场景，原文未来工作也只提出增强不确定性模块以更好捕捉跨说话人动态，未给出实时延迟与在线更新方案，因此只能用可能或待验证来表述。

缺失证据不是技术错误：未报告方差校准曲线、未测量误判率以外的可靠性指标、未报告训练时长推理开销与参数量、未做多次运行的方差与显著性检验，这些都应在复述时明确标为未测量，而不是默认得到改善。总体趋势不等于每组每步成立，尤其 Sad 与 Angry 的反例提醒读者按类别检查适用条件。

要复现这套方法，先做什么，需要补哪项验证？

复现的第一步是按原文固定信息条件：文本音频视觉分别用 RoBERTa、Wav2vec2.0 与 CLIP 抽取最后一层平均池化特征，保持编码器冻结，只训练双向门控循环单元、分布估计、融合与分类部分；IEMOCAP 用留 1 会话划分、MELD 用官方划分，指标用准确率与加权 F1。第二步实现分布估计的双分支与残差，输出均值与对数方差，注意方差符号只是为书写简便的记法，不要把对数方差直接当方差使用。

第 3 步实现按相对方差计算置信度、模态维度归一化、加权构造键矩阵、注意力融合与残差相加的完整链路，键查询值的来源不要写反。第四步实现簇中心维护：每轮用当前统计更新每个情绪每模态的均值与方差中心且不反传梯度，再计算 2-Wasserstein 距离并与预测方差对齐；总损失权重在第 10 轮前为零、之后为固定常数，最后平均最后 10 个检查点权重再评估。

建议补做的验证包括多次随机种子的均值方差、方差与误分率的校准关系、缺失某一模态时的鲁棒性、以及推理延迟与参数量测量，这些在原文中未报告，补上后才能判断何时值得尝试。若资源有限，可先在 IEMOCAP 上复现融合对照与去监督消融，因为这两组差距最能检验实现是否正确。

何时值得尝试这套显式不确定性监督？

当对话中经常出现模态冲突、噪声或某路线索缺失，且希望融合权重随句子变化而不是全局固定时，这套先估计方差再加权融合的思路值得尝试。它的可复述动作很清晰：把每模态每句话变成分布，用全局同类分布的距离教会模型什么情况下方差应该大，再用方差决定听谁的。证据支持它在两个公开对话情绪数据集上取得总体领先且更均衡，并在易混情绪对上降低误分。

适用条件同样清晰：需要足够的同类样本来维护稳定的簇中心，需要分阶段引入辅助损失以避免早期干扰，需要接受在个别情绪类别上可能不是单项最优。如果你的场景是单句孤立分类、无对话上下文，或模态质量长期稳定且一致，那么显式逐句不确定性监督的收益可能有限，还需补做延迟成本与校准质量的验证后再决定是否部署。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总