CaM-HG: Causal-Enhanced MoE and Hypergraphs Network for Incomplete Multimodal Emotion Recognition in Conversations

英文题目：CaM-HG: Causal-Enhanced MoE and Hypergraphs Network for Incomplete Multimodal Emotion Recognition in Conversations

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.813

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#图神经网络 #混合专家模型 #多模态学习 #严格因果 #语音情感识别

评分：6.3/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.4/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Mingjian Yang：机构信息未能从会议 PDF 纯文本可靠映射
Yong Wang：机构信息未能从会议 PDF 纯文本可靠映射
Peng Liu：机构信息未能从会议 PDF 纯文本可靠映射
Wen Yin：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

对话多模态情感识别需以每轮话语的文本、声学和视觉特征为输入并输出情感标签，实际难点在于话语级随机缺失会切断细粒度跨模态触发线索，且误差会沿对话历史累积导致后续推理不稳。该文提出的CaM-HG先做输入预处理，将缺失位置保留为可学习占位并投影到统一隐空间，且叠加说话人嵌入与模态标识以保留结构。接着因果增强混合专家抽取仅依赖当前及历史的因果因子锚点，并以Top-K门控调度专家生成缺失特征，再经置信门控与原始观测融合为修复节点。最后非对称因果动态超图对修复节点做节点到边再到节点的高阶消息传递并分类，使上一步的修复语义直接进入下一步的高阶聚合。与直接补零、学习模态不变特征或多步扩散补全不同，该方法以因果约束的单遍稀疏路由替代多步采样，在避免未来信息泄露的同时保留历史可解释触发并降低延迟。在CMU-MOSI情感分析任务评测下，Ours方法的WAF1指标为81.4，高于FedDISC方法的WAF1指标81.2。该结论适用边界限于话语级随机缺失且历史上下文尚存的对话场景，在连续极端缺失或无历史可依时恢复受限。推理开销方面原文报告硬件为1×RTX4090时吞吐为2613.83utt/s且延迟为0.38ms，显著低于多步扩散基线的耗时。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，缺失为何致命？

本文输入是一段按时间排序的对话，每轮话语带有文本、声学、视觉共 3 路特征与说话人编号，输出是每轮的情感或情感极性标签。研究者沿用常用做法，先用预训练专家抽特征：文本用 DeBERTa-large，音频用 Wav2Vec 2.0，视觉用 MANet，再经模态专属线性层投到统一隐空间。关键在于缺失建模：每轮配 1 个 3 维二值可用向量，观测到则保留原特征，缺失则记为空集，而不是简单填零了事。作者强调，缺失在真实部署中来自传感器故障、噪声与隐私约束，常见方法在完整数据上表现很好，一旦缺失就快速退化。

教学例子：把 T3 轮的视觉信号想象成判断对方是否认真的眼神，若该眼神缺席，T4 轮的惊讶反应就失去直接触发，后面即使文本都完整，推理地基仍不稳。这就是后文反复说的历史故事线被破坏。需要保留的信息是缺失率、可用向量、说话人与模态标识，因为它们决定了哪些节点可信、哪些需要生成、哪些历史可用。

已有 3 条路线各解决了什么，还缺什么？

第 1 条是特征重构，用级联自编码器到扩散模型合成缺失视图，代表有 MMIN、RMER-DT、GSD-Net、KCDP，优点是保持数据分布，局限是多追求统计逼真而少管对话逻辑是否接得上。第 2 条是鲁棒表示，用对比学习学模态不变特征，代表有 CIF-MMIN、UMAP、DiCMor、IMDER，优点是对稀疏输入稳定，局限是仍多为关联相关而非因果一致。第 3 条是成对图融合，如 GCNet 按时间与说话人节点传播并补图，优点是显式建模结构依赖，局限是边只能连 2 个节点，难以表达多线索协同触发 1 种情感。

超图路线试图突破成对限制，如 SDR-GNN 在谱域重构、DIB-HGCN 区分独白与对话、MATCH 校准模态、HyperCRM 做说话人与序列超边。但原文指出标准对称超图忽视时间因果，有未来泄漏风险。因果感知方法如 ECERC 又多限于完整模态与话语级交互。于是缺口很清晰：缺失诱发的细粒度跨模态因果断裂，既需要按历史把断点补成有效锚点，又需要在恢复后的拓扑上做高阶且严格因果的挖掘。

因果断裂如何定义，任务形式是什么？

作者把缺失重新定义为拓扑断裂：对应节点在对话图中功能性缺席，细粒度因果链被切断。形式化上，对话记为 L 轮序列，每轮有完整 3 模态与二值可用向量，观测为缺失时为空。学习目标是从不完整观测映射到每轮预测，且要求先恢复断裂拓扑的缺失语义再利用上下文稳健预测。这与把缺失当零张量直接送分类器的做法不同，后者保留了位置但没有恢复逻辑端点。白话说，零填充告诉模型这里有个坑，因果恢复则要按前文造 1 块形状与纹理都对得上的砖。

因果断裂 × 模态缺失： 因果断裂指缺失把对话图中的细粒度跨模态触发边直接拿掉，使后文推理失去锚点；模态缺失指观测向量中某模态不可用。两者搭配的原因是本文把缺失不只看成特征变零，而是看成拓扑缺节点，组合意义是补全目标从拟合数值变为恢复可推理的因果端点。

下面这张示意图把上述定义落到 1 个 6 轮样本，便于初学者建立时间与模态的坐标系后再读方法，全图覆盖 T1 到 T6 共 6 个时间步与 3 个模态行。

看图路径： 1. 先从上到下确认文本声学视觉 3 行与 T1 到 T6 时间轴的对应关系；2. 再看 T3 处虚线缺失节点与红色断链标记如何指向 T4；3. 最后对比粉色完整区紫色断裂区与绿色脆弱区的覆盖范围

论文图 1。原论文 Figure 1：“Illustration of “Causal Rupture.” The missing visual modality at T3 creates a direct rupture, leaving the reaction at T4 ungrounded.”。

该图横轴是 T1 到 T6，纵轴是文本、声学、视觉共 3 行，每列底部标注说话人与情感。T3 文本为虚线问号表示缺失，旁边有红色断链标记；粉色块覆盖 T1 到 T3 表示完整因果关系，紫色块覆盖 T3 到 T4 表示被切断，绿色大块覆盖 T4 到 T6 表示脆弱。解读是 T3 触发的缺席使 T4 反应无据，脆弱性向下游传播，即使 T5 与 T6 数据完整，历史已被污染。这直接导出恢复先于挖掘的学习依赖：不先补 T3 类锚点，后续高阶聚合只会在错误拓扑上越聚越偏。

恢复后挖掘的 3 段式全景如何串起 1 个样本？

沿 1 个样本走 1 遍：先把每轮观测到的 3 路原始特征分别线性投影并加说话人嵌入与模态指示，缺失模态放零初始化占位锚点，保持每轮 3 个细粒度节点；再把 3 路拼成轮表示，经带因果掩码的变换器得到每轮上下文锚点，以它加模态标识为查询稀疏激活混合专家生成候选，经置信门控与原始信号融合得到稳健节点。最后把全部 3L 个节点经内容感知多层感知机投成动态超边，在块因果掩码约束下做多层节点到边再边到节点的非对称卷积，拼接融合后送情感分类器。

白话是先摆好带缺口的棋盘，再按棋谱补子，最后在补好的棋盘上看多子组合的棋形，但看棋时不许偷看未来几手。下面这张整体架构图展示了从输入预处理经混合专家补全到超图挖掘的主路径，包含 4 个面板与底部图例，适合对照正文 3 个阶段阅读。

看图路径： 1. 先沿左上输入预处理到左下混合专家再到右上超图的粗箭头走主路径；2. 再看右下因果因子抽取如何输出上下文锚点送入门控与专家；3. 最后核对底部图例中缺失模态说话人嵌入与聚合分发箭头的含义

论文图 2。原论文 Figure 2：“The overall architecture of CaM-HG. The framework comprises three cohesive stages: (1) Input Preprocessing (§3.2.1), which extracts raw multimodal features and projects them into…”。

该图左上为输入预处理，4 行对应不同轮的缺失模式经线性投影；左下为因果增强混合专家补全，含门控网络、多专家加权求和与残差、均方误差与置信融合；右下为因果因子抽取，显示融合历史与因果掩码变换器输出上下文序列；右上为非对称因果动态超图，显示节点经投影初始化、T1 到 T3 的超边聚合分发与分类头。底部图例区分文本声学视觉、缺失、弱因果、冻结生成与判别等符号。关键是箭头闭环：上下文锚点同时指导生成与门控，融合节点再进超图，总损失同时回传分类与重构，体现恢复服务于挖掘的设计。

历史条件生成如何避免平均化与伪影？

组件先做因果因子抽取：把每轮 3 路带标识特征拼后经融合矩阵压成轮向量，堆成对话矩阵，用标准变换器编码器加严格因果掩码，只允许位置 i 注意 j 小于等于 i 的历史，输出即上下文锚点。白话是给每一轮写 1 句只基于过去的剧情摘要。然后做混合专家生成：查询向量等于上下文锚点加目标模态嵌入，经门控矩阵算分并取前 K 个专家加权，每专家是多层感知机，输出加残差回上下文锚点。原文用 N 等于 4、K 等于 2，4 个专家可组合出 6 种激活模式，既有多样性又不至于在小数据上崩塌。最后做置信感知融合：把生成候选与上下文锚点拼后经激活算门控，缺失时门控趋向信任生成，观测时趋向保留原始。

因果因子抽取 × 混合专家生成： 因果因子抽取负责用带因果掩码的变换器汇总当前轮之前的融合历史，输出上下文锚点；混合专家生成负责以该锚点加模态标识为查询稀疏路由多个前馈专家并加残差合成候选。搭配原因是情感恢复是 1 对多映射，单确定生成器易平均化，组合意义是让生成逻辑随历史与目标模态动态切换并保持因果一致。

该组合的教学要点是监督来源：重构目标来自原始未掩码输入的真实特征，而不是零占位符，形成自监督，迫使生成恢复真实语义而非模仿零。训练时还对文本做概率为 0.25 的目标致盲，逼模型从声学视觉挖线索，防止文本主导过拟合。

置信门控融合 × 缺失占位符： 缺失占位符指对不可用模态先放零初始化可学习锚点以保持细粒度节点结构；置信门控融合指用生成候选与上下文锚点算门控向量，在生成与原始信号之间逐维加权。搭配原因是生成有伪影而观测有噪声，组合意义是缺失时偏向生成、观测时保留原始，给超图稳健的节点初始化。

超图如何同时做到高阶与严格因果？

超图节点集是 3L 个细粒度模态节点，按时间排好并用融合后特征初始化。超边不是固定全局连接，而是每个节点经 2 层带激活的多层感知机动态投出的潜超边，共 3L 条，天然携带模态时间与说话人信息，可随内容演化。核心是块因果掩码：按节点序号除以 3 取整得到轮号，仅当查询轮号大于等于被查询轮号才允许注意，形成块三角结构。同轮 3 模态可双向融合，跨轮只能看历史。

消息传递分 2 步不对称进行：节点到边聚合把过去与当前节点压成全局潜描述，边到节点分发把高阶语义送回局部节点，全程加块掩码并堆叠 2 层。白话是先把多人的多模态碎片装进几个主题袋，再把袋中主题发回每句话丰富其表示，但袋子只能装过去的碎片。

非对称因果动态超图 × 块因果掩码： 非对称因果动态超图负责把多模态节点经内容感知的多层感知机投成动态超边，再做节点到边聚合与边到节点分发；块因果掩码负责按轮次序号取整划分 3 节点 1 块，只允许查询历史与当前块。搭配原因是多模态同轮需双向融合而跨轮必须严格向前，组合意义是在不泄漏未来的前提下把分散历史线索压成统一因果单元再分发。

与对称超图或普通变换器的区别在于方向性被写进掩码而非寄希望于数据学习，这对缺失场景尤为重要，因为一旦允许未来泄漏，评估高缺失鲁棒性就会虚高。堆叠层数也需要克制，后文敏感性分析显示超过 3 层后过平滑会抹掉细粒度差异。

3 阶段课程如何冻结与更新，损失如何加权？

训练分 3 个阶段。阶段 1 是判别预热，只用观测模态训练输入投影、超图与分类器，把缺失当零占位直接送超图，先建立稳定的决策边界。阶段 2 是生成预训练，冻结投影，专注优化混合专家重构损失，避免移动目标，即语义空间固定后再学生成。阶段 3 是联合微调，解冻全部，置信门偏置初始化为负 2.0 使门控初值约 0.12 即先信任原始，总损失为分类交叉熵加动态重构项，权重为基础权重乘以 1 加当前批缺失率，高稀疏批罚得更重。优化用 AdamW，批量为 32，联合阶段用差分学习率，门控约千分之几量级而生成器约十万分之几量级，让门控快学开关策略而生成慢调流形。

判别预热 × 联合微调： 判别预热指先只用观测模态训练投影与超图和分类器以固定决策边界；联合微调指最后解冻全部并以分类损失加缺失率自适应放大的重构损失端到端优化。搭配原因是生成与判别耦合易出现移动目标不稳定，组合意义是先定语义空间再学生成再协同，让恢复服务于可部署的分类收益。

训练时每批缺失率从均匀分布采样以见多种稀疏，正则上小规模 IEMOCAP 用 R-Drop 与标签平滑加平台调度，大规模 MOSI 与 MOSEI 用余弦退火。需要指出的缺项是原文未报告梯度是否截断于门控到生成的路径细节之外的全部实现，复现时应按算法伪代码的冻结解冻与差分学习率严格执行，不从模块名推定额外技巧。

数据划分、特征、基线与指标如何保证可比？

数据用 3 套对话基准。IEMOCAP 为 151 段双人对话跨 5 个会话，按常用协议用第 5 会话测试，分 6 类 7433 轮与 4 类合并兴奋到开心 2 种设置；CMU-MOSI 为 2199 段视频按 7 点量表标注，划分 1284 轮训练、229 轮验证、686 轮测试；CMU-MOSEI 为 23453 轮来自上千说话人，用于大规模检验。特征统一为 DeBERTa-large 文本 1024 维、Wav2Vec 2.0 音频 1024 维、MANet 视觉 512 维，统一隐维 IEMOCAP 为 512，MOSI 与 MOSEI 为 256，丢弃率在 0.3 到 0.5 之间。

基线覆盖生成补全、鲁棒表示、图与扩散共 4 类，包括 DCCAE、CRA、MMIN、GCNet、SDR-GNN、FedDISC、CIF-MMIN、DiCMor、IMDER，原文称严格跟官方实现与评估协议。指标上情感用加权平均 F1，情感分析用 2 分类准确率与加权 F1，缺失率从 0 到 0.7 扫描并报告平均，方向均为越高越好。统一隐维与缺失扫描使比较聚焦于恢复与挖掘机制而非特征强弱。下面这张配置表是复现先要对齐的超参数对比问题：在相同任务下不同数据集是否需要不同的隐维、专家数与学习率，公平条件是按表分库设置而非 1 套参数跑全库，指标方向是验证集加权 F1 越高越好。

Hyperparameter	IEMOCAP (6-way)	IEMOCAP (4-way)	CMU-MOSI	CMU-MOSEI
Hidden Dim (D)	512	512	256	256
Dropout	0.45	0.50	0.40	0.40
Num. Experts (N)	4	4	4	4
Top-K	2	2	2	2
Learning Rate (P1_LR)	1.78	1.85	2.83	1.31
Rec. Weight (λrec)	0.106	0.108	0.407	0.421
R-Drop Alpha	1.0	1.0	0.0	0.0
Label Smoothing	0.05	0.0	0.0	0.0

该表显示 3 套数据的隐维、丢弃、专家数与前 K、2 阶段学习率、重构权重与正则均不同：IEMOCAP 重构权重约 0.1 而 MOSI 与 MOSEI 约 0.4，反映细粒度情感怕重构压过判别、粗粒度情感可借重构正则；门控学习率显著高于生成器，支撑先定开关再调生成的课程直觉。复现时切勿用 1 套超参数跑全库，至少按此表分库设隐维与权重，否则在小数据上易过拟合、在大数据上欠拟合。

主结果在哪些缺失率上真正拉开差距？

比较问题是同缺失率下本方法相对可运行强基线是否有持续收益，公平条件是同特征、同划分、同缺失扫描，指标方向是加权 F1 越高越好。下表把原文连续句中可逐字验证的关键数字整理为可比形态，避免直接引用不可选原表矩阵。

条件	指标	基线	本方法	差值
IEMOCAP 4 类 η = 0.7	加权 F1	74.41%	76.06%	1.65%
IEMOCAP 6 类平均	加权 F1	59.13%	60.63%	1.50%

该表显示高缺失下优势更明显：4 类在 0.7 处领先图基线 1.65 个百分点，6 类平均领先联邦扩散基线 1.50 个百分点，且原文报告 4 类平均 78.44% 与 6 类在 0 处 63.68% 等完整扫描呈缓慢衰减而非断崖。

代价与反例是 6 类缺失率为 0 时 FedDISC 的 64.70% 高于本方法的 63.68%，说明完整数据下本方法的生成与掩码约束并未在所有粒度上占优。另在 MOSEI 极稀疏 0.7 处本方法 82.6% 甚至超过部分基线完整模态表现，支持解耦噪声与语义的解释，但总体趋势不等于每轮都对。未胜出项必须保留，否则会误把高缺失鲁棒等同于全条件最优。

拿掉超图、补全、因果与门控各付出什么代价？

消融问题是各模块是否为高缺失鲁棒所必需，比较条件是相同缺失率下全模型与各变体的表现差异。下表整理原文连续句中可验证的 2 组下降幅度，指标均为加权 F1，方向越高越好。

条件	变体	全模型	变体得分	下降
η = 0.0	去超图	63.68%	58.69%	下降明显

该表支持 2 点判断：用普通变换器替换非对称超图后在完整处即下降约 5 个百分点，说明高阶拓扑对语义一致性有贡献；去掉因果因子抽取后在 0.5 缺失处下降约 8 个百分点，说明历史引导对解耦噪声至关重要。

代价是消融未报告方差与显著性，且专家数与层数并非越多越好，下面 2 张敏感性曲线给出可执行的上界选择依据。关于专家数的完整导读是横轴为专家总数纵轴为加权 F1，曲线先升后降，需要先确认纵轴越大越好再读峰值位置，全图共 4 个实测点覆盖 N 从 2 到 8。

看图路径： 1. 先确认横轴专家数与纵轴加权 F1 百分比的量纲与方向；2. 再读出 N 等于 2 到 8 共 4 个点的标注数值与升降趋势；3. 最后判断峰值位置是否支持正文选用 N 等于 4 的结论

论文图 3。原论文 Figure 3：“Parameter sensitivity analysis on the number of experts (N) on the IEMOCAP(4-class) dataset.”。

该图 4 个点位随专家数变化呈现先升后降，峰值出现在 N 等于 4 处，其两侧点位均低于峰值，N 等于 8 处回落至与 N 等于 2 处相近的水平。解释是 N 过小难以刻画多样情绪流形，N 过大在数据规模有限时易出现过拟合与专家坍缩，N 等于 4 配前 2 激活在多样性与参数效率之间取得平衡，这与效价唤醒 4 象限的直觉组合一致。关于超图深度的完整导读是横轴为层数 L 纵轴为加权 F1，需先确认纵轴越大越好而非损失下降，再观察随层数加深的整体走势，全图共 6 个点覆盖 L 从 1 到 6。

看图路径： 1. 先确认横轴超图层数 L 与纵轴加权 F1 百分比的对应关系；2. 再从 L 等于 1 到 6 逐点读出先升后降的拐点位置；3. 最后观察 L 大于 3 后持续下降是否对应过平滑解释

论文图 5。原论文 Figure 5：“Sensitivity analysis of the number of hyper- graph layers (L) on IEMOCAP(4-class).”。

该图从 L 等于 1 升至 L 等于 2 达到峰值，随后随层数增加持续下降，L 大于 3 后下降趋势更为明确，L 等于 6 处为区间内最低。解释是 1 层只见近邻、2 层恰好聚合多跳因果、更深则节点表示趋同即过平滑，这与图神经网络文献一致，也说明高阶不等于无限深。

连续极端缺失与结构因果为何仍是边界？

作者自述 2 点局限。第 1 是极端稀疏的信息论瓶颈：混合专家靠历史触发再生，若出现长时间连续传感器失效而历史本身为空，再强的生成也缺依据，未来可用外部常识知识幻化合理上下文，但本文未做。第 2 是因果范围：本文优先时间因果与历史条件生成以保序列稳定，不同于旨在解耦静态图中复杂混杂的结构因果发现。显式引入后者可增可解释性但本文未纳入。

对应到证据，混淆矩阵显示中性易误判为愤怒或悲伤、兴奋与开心互混，这不是随机猜而是语义相近所致，说明模型学到情感拓扑但仍受弱激活线索限制。表达上应说报告显示对角稳定支持语义一致，支持历史恢复有效，可能的常识增强待验证，不把相关性说成因果证明，也不承诺未测量的误判率与延迟改善。总体趋势不等于每组都成立，完整数据处的反超与中性类的混淆都提醒边界所在。

复现先对齐什么，成本与可运行性如何？

复现第 1 步是按配置表分库设隐维、丢弃、重构权重与调度，再按 3 阶段冻结解冻与差分学习率执行，门偏置负 2.0 先信原始，训练缺失率每批均匀采样并对文本 0.25 致盲。第 2 步是固定 N 等于 4、K 等于 2、超图 2 层、重构权重 IEMOCAP 约 0.1 而 MOSI 与 MOSEI 约 0.4，否则敏感性曲线显示偏离即掉点。第 3 步是评估用 0 到 0.7 扫描加权 F1 与准确率，并做模态子集与混淆矩阵检查，而非只看平均。成本上原文在单张 RTX 4090 与 PyTorch 2.3.0 下训练，推理核心仅为投影加稀疏混合专家加浅超图，预训练主干离线冻结。下表是原文报告的推理效率对比，需注意硬件并不完全对等，比较问题是不同生成机制在各自硬件上的吞吐与延迟差异。

FedDISC (DDPM,	1000	10.27	97.40
FedDISC (DDIM,	50	230.18	4.34
CaM-HG (Ours, 1-pass MoE) 1× RTX	4090	2613.83	0.38

该表显示联邦扩散基线在双 L40S 上 1000 步与 50 步版本吞吐约 10.27 与 230.18 轮每秒、延迟约 97.40 与 4.34 毫秒，本方法在单 RTX 4090 上 1 次混合专家路由达约 2613.83 轮每秒、延迟约 0.38 毫秒。收益是稀疏激活与 2 层超图开销小，适合实时；代价是跨硬件直接比数值不严格，且训练资源、推理开销与实际延迟应分开讨论，总体更快不等于每批都快。资源状态方面，本次未发现来源绑定且完成验证的开源代码模型数据，不得声称已公开，复现应以论文算法与参数表为准并补做缺失的统计显著性与校准验证。

何时值得尝试，如何 1 句话记住它？

当你的对话系统经常丢模态且丢的恰是情绪转折的触发线索，而你仍需逐轮输出稳定标签时，值得尝试先按历史补锚点再在因果约束下做高阶融合的路线。若数据长期完整且类别细到需极致判别，可先验证完整处是否被生成约束拖累，再决定重构权重与是否启用致盲。常见误解有 3 个：1 是把零填充等同于已处理缺失，实际上位置保留不等于逻辑恢复；2 是把超图层数等同于越深越好，实际上 2 层后过平滑会吃掉细粒度差异。

3 是把平均领先等同于处处最优，实际上 6 类完整处与部分模态组合仍有基线反超。 1 句话记住：用历史把断掉的因果端点补成可推理的砖，再用只看过去的袋子把碎砖拼成情绪，但砖不够时别指望无中生有。