Conflict-Aware Adaptive Cross-Reconstruction for Multimodal Sentiment Analysis

英文题目：Conflict-Aware Adaptive Cross-Reconstruction for Multimodal Sentiment Analysis

会议身份：conference:cvpr:2026:conference-paper-id:Wang_Conflict-Aware_Adaptive_Cross-Reconstruction_for_Multimodal_Sentiment_Analysis_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #音视频 #语音 #语音情感识别

评分：5.2/10 | 创新 1.3/2 | 技术严谨 0.8/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

Yan Wang：机构信息未能从会议 PDF 纯文本可靠映射
Fuyuan Cao：机构信息未能从会议 PDF 纯文本可靠映射
Xingwang Zhao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

多模态情感分析以语言、视觉、音频三模态序列为输入，预测语句级情感强度，难点在于同一样本内各模态情感极性可能冲突，而传统解纠缠方法以模态内重构加相似性损失强行拉近共享表示会扭曲语义。该方法先用一个共享编码器与三个特有编码器将各模态分解为共享特征与特有特征，并以软正交损失降低两子空间冗余。接着在共享子空间内以余弦距离定义样本级情感冲突分数，并经指数衰减映射为交叉重构损失权重，使高冲突模态在后续重构中自动降权。然后以目标模态特有特征拼接他模态共享特征经解码器做交叉重构以隐式对齐共享语义，重构所得共享特征与经文本引导精炼的视觉音频特有线索再经Transformer融合后预测情感。与显式相似性对齐不同，该设计不强制拉近冲突共享表示，而是通过加权交叉重构抑制干扰模态对重构过程的影响，同时保留模态特有细粒度情感线索。在CMU-MOSI基准下，CACR的7分类准确率为48.69，高于DLF的7分类准确率45.34。其结论适用边界受限于三模态齐全且标注完备的短视频情感语料，尚未验证缺失模态、强噪声与跨语言场景，训练成本涉及在配备80GB显存的NVIDIA A800硬件上基于PyTorch实现与运行。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？要解决的情感判断是什么？

这篇论文研究的是多模态情感分析。输入是同一段视频里的 3 路序列：人说的话构成语言模态，脸部动作构成视觉模态，声音韵律构成音频模态。

输出是对这段视频整体情感强度的判断，既要做分类也要做回归。初学者可以用白话理解：语言告诉你说了什么，视觉告诉你表情怎么动，音频告诉你语气怎么样。

三者合起来才更像人真实的情绪，任何一路单独看都可能片面。本次解读的输入是论文标题给定的英文原文证据与官方原图像素。

目标是把方法讲到可核对、可复述。必须保留的信息包括数据集划分与特征维度、冲突分数与权重的计算安排、交叉重构的输入组合、损失构成与默认超参数。

以及主结果与消融报告的原值。输出按学习依赖展开，先讲任务与相关路线，再走完一个样本的全流程。

然后讲训练、实验条件、结果与反证，最后讲复现。多模态情感分析的难点不在于把 3 路信号丢给模型，而在于 3 路信号并不总是同向。

有时文字看起来中性偏正，表情也偏笑，但声音明显失落。如果模型假设三者情感一致，硬把它们拉到一起，就会得到谁都不像的中间表示。

论文把同一份样本内模态间情感语义矛盾的情况称为情感冲突，这是全文的中心矛盾。后续所有设计都围绕一件事：在对齐共享语义的同时压制冲突模态的干扰。

已有路线为什么会在冲突样本上失手？

按论文的划分，已有方法大致分两类。第一类是表示学习，目标是做出统一的多模态表示，例如用自监督对比与掩码学习增强跨模态互信息。

或把视觉音频文本化后增强语言分支。第二类是融合策略，目标是把多模态信息有效合起来，例如用笛卡尔积做张量融合。

或用层级互信息最大化改进融合，或把语言当主导模态吸收辅助模态。在表示学习内部，解耦表示学习是一个重要分支。

它的白话含义是：把特征拆成两部分，一部分是模态共享的共性，另一部分是各模态独有的个性，以减少冗余。论文提到的例子包括结合度量学习与对抗学习构造不变与私有子空间的方法。

以及用动态图蒸馏做跨模态知识迁移的方法，还有把视觉音频信息转入语言表示的方法。这些方法通常对每个模态只用自己的共享加特有特征做模态内重构。

再用相似性损失把共享特征拉齐。论文指出的缺口是：这类方法隐含假设同一份样本的不同模态情感极性一致，没有处理潜在冲突。

当语言与视觉音频在共享子空间极性相反时，相似性对齐会把矛盾特征硬拉到一起，导致预测错误。理解这一点很关键：不是相似性损失本身错了。

而是在冲突样本上无条件使用它会扭曲共享语义。论文的 CACR 因此不走显式拉近路线，而是用加权的交叉重构实现隐式对齐。

冲突是如何定义的？为什么要在共享空间里算？

论文给情感冲突下了明确定义：在共享子空间内，同一份样本的不同模态表达出矛盾的情感语义。定义位置之所以重要，是因为论文刻意避开在原始特征或特有特征空间里算冲突。

原因是原始特征包含大量异构性，视觉和语言本来分布就不同，不能把分布差异直接当成情感矛盾。只有先解耦出共享语义，再比较共享语义是否矛盾，才能把异构性与情感冲突分开。

具体操作是：对第 i 个样本的目标模态 m，先对共享特征做时间池化得到全局向量，再与互补集合中另一模态的全局向量算余弦相似度。由此得到距离与平均冲突分数，冲突越大，后续分配给该模态重构项的权重越小。

这种样本级逐模态的动态处理，是全文区别于统一处理多模态的关键。下面这张动机图把问题讲得很直观，上方是解耦与相似性对齐的旧路线，下方是冲突样本上旧路线与新路线的不同结局。

看图路径： 1. 先看上面板特征解耦如何分成共享子空间与特有子空间；2. 再看右上相似性损失如何把三个共享点拉向中心；3. 对比中间弱正预测框与右侧负向真值框的条形方向

论文图 1。原论文 Figure 1：“Motivation of the proposed CACR approach.”。

从像素可见，上方面板把语言视觉音频先经过特征解耦分成共享子空间与特有子空间，右上用红色箭头把 3 个共享点拉向相似性损失中心。下面板以一句话配人脸帧与失落声音波形为例，旧路线给出弱正预测而右侧真值是负向。

底部则先给出语言视觉音频三根冲突分数柱，再给出反向高低的重构权重柱，经过交叉重构模块后得到与真值一致的负向预测。这张图不支持逐格数值复述，但它把核心判断说清楚了：冲突时不应平均拉近，而应降权处理。

沿着一份样本走完 CACR 全流程

先沿着一份样本走主路径。输入是 3 路序列特征，分别来自文本编码器、人脸动作单元编码器和语音编码器并统一维度。然后一个共享编码器与 3 个特有编码器把它们拆成共享特征与特有特征。

接着冲突感知加权分支对池化后的共享向量算冲突分数并映射为权重。交叉重构模块用目标模态自己的特有特征加上其他模态的共享特征重构目标模态。

再对重构结果重新解耦得到新的共享与特有特征。细粒度精炼模块从视觉音频特有特征中提炼线索增强文本，最后把增强后的特有特征与重构来的共享特征融合做分层预测。

整体架构图把 5 个编号步骤放在一张图里，读图时先抓主路径再看两条侧路如何影响重构损失与文本增强，重点是加权与重构的配合关系。

看图路径： 1. 沿左侧输入经过特征解耦到右侧融合预测跟踪五个编号模块；2. 观察上方冲突感知加权从余弦相似度到重构权重的链路；3. 对比下方重构前后原特征与重构特征混合程度的变化

论文图 2。原论文 Figure 2：“Architecture illustration of CACR. 1After unimodal feature extraction, unimodal features are decomposed into shared and specific subspaces.”。

从像素可见，左侧是语言文本框、视觉人脸帧与音频波形分别得到 3 路输入，中部是特征解耦得到共享与特有子空间，上方是冲突感知加权从余弦相似度到冲突分数再到重构权重的链路。中部交叉重构经解耦得到新共享与特有表示，右下是精炼模块与多模态 Transformer 的融合预测，下方小图对比了重构前后特征混合程度变高。

这张图说明 CACR 不是单个技巧，而是解耦、加权、重构、精炼、融合 5 步环环相扣，重构是隐式对齐的发生地，加权是冲突压制的执行地。缺少任何一步都会让链路断开。

解耦、加权、重构、精炼各自做什么？

特征解耦是起点。论文用 1 维卷积统一维度后，用共享编码器捕捉跨模态一致语义，用各模态特有编码器保留个性。为了让两部分不互相复制，引入软正交损失降低共享与特有之间余弦相似的绝对值。

最小化这一项就是在逼两类特征正交，减少冗余。

特征解耦 × 共享表示： 特征解耦负责把每个模态序列特征拆成跨模态一致的共享部分 H_m 和本模态独有的特有部分 P_m，共享表示负责承载可跨模态比较的情感语义，二者搭配的原因是直接比较原始特征会把异构性误判为冲突，而在共享子空间内比较才能定义情感冲突，组合意义是后续冲突分数、交叉重构与正交约束都有明确的操作对象。

冲突感知加权是决策器。它先算目标模态与每个互补模态的余弦相似度并转为距离，再平均得到总体冲突分数，最后用指数衰减映射为权重，并用下界截断。

论文描述的规律是：低冲突时权重趋近 1，保留完整重构约束并鼓励其他模态共享特征向目标模态对齐。高冲突时权重指数衰减，降低冲突模态对重构损失的贡献。

情感冲突 × 冲突感知加权： 情感冲突指同一份样本在共享子空间中不同模态表达出矛盾的情感语义，冲突感知加权负责把这种矛盾量化为样本级分数 C_m 并映射为重构损失权重 ω_m，二者搭配的原因是冲突程度逐样本逐模态变化，需要动态压制而非统一对齐，组合意义是重构时冲突模态的梯度贡献被指数衰减，低冲突模态仍保持完整约束。

交叉重构是执行器。对目标模态，把自己的特有特征与其他模态的共享特征拼接后送入交叉重构解码器得到中间交互特征，再经线性融合层得到重构特征。重构损失是逐样本的平方误差，再按上述权重做样本加权平均。

重构后还要对重构特征再做 1 次解耦，得到新的共享与特有特征，并把各模态新共享特征拼起来形成整体共享表示。另有一个特有损失约束重构前后特有特征不漂移。

交叉重构 × 隐式对齐： 交叉重构负责用目标模态自己的特有特征 P_m 拼接其他模态的共享特征 H_n 来生成目标模态，隐式对齐指不使用显式相似性损失拉近共享特征，而是靠能互相生成对方来迫使共享语义一致，二者搭配的原因是显式拉近在冲突样本上会制造错误中和，组合意义是重构误差本身成为对齐信号，冲突权重再决定该信号听谁的。

细粒度情感精炼是补充器。它不做模态间平等注意力，而是先从视觉音频特有特征提炼细粒度特征，再以语言特征为查询选择性聚合相关情感线索。最后与语言特征融合得到增强文本特征。

论文举例的线索包括瞬时皱眉这类文本看不出的细节。随后多模态 Transformer 增强特有特征，自注意力 Transformer 增强共享特征，再拼接成最终表示做预测。

细粒度情感精炼 × 文本主导： 文本主导指论文假设语言模态通常主导情感表达，细粒度情感精炼负责从视觉和音频特有特征中抽取瞬时皱眉与语气低落等互补线索来补充文本，二者搭配的原因是视觉音频不宜与文本平等竞争而适合做精细补充，组合意义是增强后的文本特有特征对细微情感更敏感，再与共享特征融合做分层预测。

优化目标由哪些损失组成？监督从哪里来？

训练目标是多项损失相加。融合预测损失是预测值与真值的平均绝对误差。共享分支与各特有分支还有辅助分类损失，做法沿用分层预测设计。

但论文强调其共享特征来自交叉重构估计而非初始解耦特征，因此跨模态一致性更强。重构部分是加权交叉重构损失，正交部分是软正交损失，特有保持部分是特有损失。

总目标把情感分析损失、重构损失、正交损失与特有损失加在一起，其中情感分析损失内部还有两个超参数控制融合预测与辅助分支的相对强度。

正交损失 × 特有损失： 正交损失 L_o 负责降低同一模态内共享特征与特有特征之间余弦相似绝对值以减少信息冗余，特有损失 L_p 负责约束重构前后特有特征不漂移，二者搭配的原因是交叉重构既要拆干净又要重构后保持身份，组合意义是前者维持解耦稳定性，后者防止重构过程把模态个性洗掉。

关于参数冻结与更新，论文明确报告的是特征抽取设置与实现环境，没有报告逐层冻结、梯度截断路径、学习率调度或重置时机的完整细节。因此不能从模型名称推定 BERT 或 Transformer 是否冻结，也不能推定某条支路是否停止梯度。

能复述的是监督来源：重构监督来自原始单模态特征本身，情感监督来自人工标注的情感强度分数，正交与特有约束是无标注的正则项。缺失的优化细节应记为缺项，而不是用常识补写。

论文没有声称代码、模型或数据已公开，资源状态证据显示未发现来源绑定且完成验证的资源。因此本解读不写当前可用或已公开，只讲论文内可复述的构造与计算。

在哪些数据与特征条件下比较？

实验要回答的第一个问题是比较地基是否一致。只有数据划分、特征工具、指标方向都固定，后续胜负才可比。下面先固定 3 个数据集的规模与划分。

数据集	总量	训练	验证	测试
CMU-MOSI	2199 段	1284	229	686
CMU-MOSEI	22856 份	16326	1871	4659
CH-SIMS	2281 份	1368	456	457

上表整理了论文报告的 3 个基准划分，MOSI 标签从负 3 到正 3，MOSEI 标注范围同样是负 3 到正 3，CH-SIMS 情感分数从负 1 到正 1。三者都包含语言视觉音频 3 模态，每份样本都有情感强度标注，复现时应先按此划分载入数据。

特征抽取沿用先前工作的设置。语言用 BERT 抽取高维词嵌入，视觉用人脸工具逐帧编码抽取面部动作单元特征，音频用语音工具得到音频特征。实现用 PyTorch，在大显存 GPU 上执行，结果报告为 5 次运行的平均值。

评估在 MOSI 和 MOSEI 上用七分类准确率、二分类准确率、F1 与平均绝对误差，在 CH-SIMS 上用二分类准确率、F1、皮尔逊相关与平均绝对误差。准确率、F1 与相关系数越高越好，平均绝对误差越低越好，比较时不能混放不同指标。

主结果在一致条件下支持什么判断？

主结果要回答的问题是：在相同数据划分与特征设置下，CACR 是否在分类与回归指标上同时优于已有可运行方法。公平条件是论文声明的相同数据集设置与 5 次平均，指标方向按上节所述判断。

下面先看 MOSI 的原表数字，保留了代表性基线与本方法，数值保留原文精度。

Methods	ACC7	↑ ACC2	↑ F1 ↑	MAE ↓
MISA [10]	41.37	83.54	83.58	0.777
DMD [13]	45.77	84.15	84.19	0.728
DLF [25]	45.34	85.67	85.68	0.733
CACR (Ours)	48.69	87.04	86.90	0.710

上表是 MOSI 结果。CACR 报告的四项在七分类准确率、二分类准确率与 F1 上高于表中所选基线，平均绝对误差与最优基线持平。需要同时看到未胜出的一面：误差项没有拉开差距，说明在该数据集上回归精度的收益有限，不能把分类提升直接推广为回归同样大幅改善。

下面再看中文 CH-SIMS 的原表数字，同样保留代表性基线，重点是跨语言与小规模数据上是否一致。

Methods	ACC2	↑ F1 ↑	Corr	↑ MAE ↓
MulT [23]	78.56	79.66	0.564	0.453
DMD [13]	78.34	78.56	0.563	0.426
DLF [25]	78.56	78.53	0.564	0.439
CACR (Ours)	81.62	80.99	0.596	0.423

上表是 CH-SIMS 结果。CACR 报告二分类准确率、F1、相关系数与平均绝对误差四项都优于表中所选基线。这里的代价是中文数据的绝对规模较小，相关系数的提升幅度不大，论文也没有报告显著性检验与置信区间，因此只能说报告显示更优，不能说统计显著。

混淆矩阵进一步展示了判别能力的来源，重点看对角线是否变深、相邻类的混淆是否减少，像素只能定性读趋势。

看图路径： 1. 先确认横轴为预测类纵轴为真实类，对角线越深判对越多；2. 对比 MOSI 上 DLF 与 CACR 在负 2 与正 2 对角格的数字变化；3. 观察 MOSEI 中心大类是否更向对角集中

$原论文 Figure 5：Comparison of confusion matrices between CACR and DLF \\[25\\] on MOSI and MOSEI datasets, showing the…$

论文图 5。原论文 Figure 5：“Comparison of confusion matrices between CACR and DLF [25] on MOSI and MOSEI datasets, showing the predicted sentiment classes against ground-truth labels.”。

从像素可见，上排 MOSI 的 CACR 对角格在多个类别上比 DLF 更深，下排 MOSEI 中心大类更向对角集中，论文文字特别指出在负 2 与正 2 等易混类上正确数更多、相邻强度边界更清晰。这支持了加权与重构缓解类间混淆、精炼模块捕捉细粒度线索的解释，但像素不能精确读出每个格子的全部数字时不应硬写，应以原表数字与文字报告为准。

拿掉哪一块会怎样？模态间距真的缩小了吗？

消融要回答的问题是：交叉重构、冲突加权、细粒度精炼与两项正则各自是否必要。论文在 MOSI 上用七分类准确率、二分类准确率、F1 与平均绝对误差做评价。

由于原消融矩阵表头缺失无法安全选择原表，本节不复制无逐字证据的格点数字，只复述论文连续原句支持的变化方向。下面先看模态间距可视化的直接证据。

消融对象	论文文字报告的方向	机制含义	是否支持必要性
交叉重构	去掉后准确率大幅下降且误差明显上升	跨模态语义对齐是基础	支持
冲突加权	去掉或换成普通门控后明显变差	收益来自冲突感知本身	支持
细粒度精炼	去掉后整体性能下降	视听对文本补充必要	支持
正交与特有损失	去掉后分类与回归指标下降	解耦稳定与个性保持必要	支持

上表总结了论文文字报告的方向：去掉交叉重构导致准确率大幅下降且误差明显上升，去掉细粒度精炼导致整体性能下降，去掉正交损失后无法有效分离共享与特有特征，去掉特有损失也导致一致下降。论文还比较了去掉加权与换成普通门控加权两种情况，报告都明显变差，从而把收益归因于冲突感知本身而非一般自适应加权。

需要指出的是，原文未给出每次消融的完整方差与显著性，因此只能说支持各组件必要，不能承诺拿掉后在任何数据上必然同幅下降。论文还报告用更强编码器得到变体后进一步提升，支持特征层面兼容的判断。

模态间距的可视化直接检验隐式对齐是否发生，读图时只看灰线长度与交叉程度的变化趋势。

看图路径： 1. 确认图例中红点为视觉蓝叉为语言，灰线连接同一样本；2. 对比左右两图灰线长度与交叉程度；3. 判断右侧点簇是否更平行更集中

论文图 6。原论文 Figure 6：“Visualization of the modality gap between vision and language on MOSEI dataset.”。

从像素可见，左图原始特征中视觉红点聚集在左下、语言蓝叉聚集在右上，灰线长且交叉明显。右图经交叉重构后两簇距离明显拉近，灰线更平行、更短，纵轴约负 0.4 到 0.4、横轴约负 1.5 到 1.2 范围内分布更集中。

这表明重构过程把语言与视觉的分布差异缩小了。但这只是语言与视觉在 MOSEI 上的一个可视化案例，不能推广为所有模态对、所有样本都同等缩小，也不能从线变短直接读出准确率提升了多少，提升仍需以上两节数字表为准。

哪些边界没有测？哪些结论不能下？

论文明确把未来工作指向更广的多模态任务与缺失或不完整模态下的鲁棒性。这反过来说明当前验证主要在完整 3 模态、标准划分上完成。

没有系统报告缺失模态、噪声模态或实时推理条件下的表现。因此不能承诺 CACR 在缺失模态下依然可靠，也不能承诺延迟与吞吐得到改善。

因为论文未测量推理开销、训练时长、参数量或帧率。超参数敏感性分析显示，除极端设置外准确率与误差相对稳定，默认配置取下界与衰减及两个融合系数。

但稳定不等于每组都最优，论文也未报告不同随机种子下的分布与统计检验，总体趋势不等于每步都成立。相关性不是因果，混淆矩阵变好与案例预测正确支持冲突压制有效。

但不能证明每个正确预测都来自某一个模态被压制。还有一个特有误解需要澄清：权重越大不代表该模态越重要到可以单独决策。

权重是目标模态重构项的损失权重，含义是该模态作为重构目标时应多大程度听其他模态的共享特征，而不是该模态本身的投票权。把权重直接读成模态重要性排序会误解优化路径。

要复现应先固定什么？还缺哪项验证？

复现先做三件事。第一，固定数据与特征：按原文划分载入 3 个数据集，用相同工具得到文本、视觉与音频特征，并统一序列维度。第二，固定流程：先实现共享与特有编码器加正交约束，再实现池化后的余弦冲突分数与指数衰减权重。

接着实现用本模态特有加他模态共享的重构与再解耦，最后实现文本为查询的细粒度增强与分层预测。下面先固定特征维度与默认超参数。

条件	指标	基线	本方法	比较对象
文本特征维度	词嵌入维数	768 维	768 维	BERT-base
视觉特征维度	动作单元维数	35 维	35 维	Facet
音频特征维度	声学特征维数	74 维	74 维	COVAREP
默认超参数	下界与衰减及融合系数	待验证	0.1 与 0.5 及 1 与 2	全实验默认