英文题目：PaSE: Prototype-aligned Calibration and Shapley-based Equilibrium for Multimodal Sentiment Analysis
会议身份：
conference:aaai:2026:conference-paper-id:40355
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#多模态学习 #音视频 #语音 #语音情感识别
评分：5.7/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Kang He：机构信息未能从会议 PDF 纯文本可靠映射
- Boyu Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Yuzhe Ding：机构信息未能从会议 PDF 纯文本可靠映射
- Fei Li：机构信息未能从会议 PDF 纯文本可靠映射
- Chong Teng：机构信息未能从会议 PDF 纯文本可靠映射
- Donghong Ji：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
多模态情感分析以文本、音频和视觉序列为输入，预测语句级情感极性或强度，难点在于文本主导压制弱模态形成模态竞争与跨模态语义错位，简单融合常不及单文本基线。PaSE先以模态内原型校准学习压缩同类样本表征并分离异类原型，为弱模态建立独立判别结构，其输出的校准后单模态表征进入跨模态对齐。接着以熵正则最优传输对齐跨模态类别原型并施加双向一致与结构保持约束，得到语义一致的共享原型空间表示并送入融合阶段。融合阶段先由原型门控融合按贡献熵加权与门控选择上下文相关模态得到共享表示，再由Shapley梯度调制按边际贡献重加权各模态梯度以抑制主导模态扰动。与依赖梯度范数或损失启发的调制不同，该框架显式量化边际效用并解耦表征对齐与优化平衡，从而促进协作而非单模态过拟合。在CMU-MOSI基准下，PaSE的Acc-2为88.32，高于MSAmba的87.43。该结论适用边界受限于英文评论与表演对话类语料及完整模态训练场景，对缺失模态与跨语言泛化尚未验证，训练成本对应硬件为单卡NVIDIA A100上200轮训练。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要解决什么学习障碍？
本文研究的任务是多模态情感分析。输入是同一条话语的 3 个模态序列，用白话说就是说的内容、说的方式和说时的表情。论文把它们记为文本、音频和视觉，集合为文本、音频、视觉，每个模态的序列表示为批量与维度构成的矩阵。目标是对每条话语预测情感极性或情感强度，例如正向、中性、负向，或者更细的 7 级强度，以及在对话数据上区分高兴、悲伤、愤怒和中性。
必须保留的关键信息是：融合不是简单把特征拼起来就能变好。论文首先指出一个可核对的现象，即在文本单模态基线之上加入音频、视觉或两者，有时只带来很小的分数提升，说明模态之间存在干扰或竞争，而不只是合作。主导模态会发出更强的梯度信号，长期压制弱模态，使融合结果达不到预期的帕累托最优。输出是最终情感预测，由融合表示经过多层感知机与归一化分类得到。
本解读的目标读者是刚进入语音、音乐或音频方向的研究生。解读按学习依赖展开：先讲任务与已有路线，再讲方法全景，然后沿一个样本走完输入到输出，接着讲训练的 2 阶段切换、实验条件、主结果与反证，最后讲复现要点。教学用的例子会明确标为例子，不把例子当作论文报告的数值。
已有融合路线做了什么，为什么还会留下模态竞争？
第一条路线是特征级拼接与决策级融合。早期工作把多模态特征直接拼接后联合学习，后来把各模态的预测结果加权汇总。注意力兴起后，跨模态注意力成为自适应融合的常用手段。另一条路线是模态解耦，例如把共享表示与私有表示分开编码，再用蒸馏或对比学习增强跨模态交互。这些方法一般默认合作占主导，认为加模态自然带来增益。
第二条路线是模态不平衡与竞争的专门处理。已有工作从信息质量、数据分布、收敛速度和噪声差异解释不平衡，并尝试梯度调制、自适应学习率和模态特定目标。但论文指出，多数方法用梯度范数或损失等间接信号衡量模态重要性，缺少对每个模态边际贡献的原则性量化。
PaSE 与上述工作的对照是有源的：同输入都是文本、音频、视觉话语，同目标都是情感分类与回归，同监督都依赖情感标签，同运行阶段都包含训练与测试融合。区别在于 PaSE 同时做两件事，一是用类别原型在模态内校准弱模态，二是用博弈论的 Shapley 值估计边际效用并调制梯度，而不是只调 1 次融合权重或只凭损失大小调学习率。
模态竞争在什么条件下出现，论文用什么证据说明它存在？
论文把模态竞争的操作定义写得很具体：当联合训练的多模态模型偶尔不如单模态模型，或者在文本基线之上加音频、加视觉的增益远低于预期，就认为出现了竞争。竞争的来源包括各模态的表示能力不同、收敛速度不同和噪声水平不同。文本通常更强更稳定，音频和视觉更容易受说话人、录制条件和表情幅度影响。
证据层面，论文在引言中用柱状图展示了在 MOSI 上给文本基线加不同模态后的分数增益，指出提升有限。方法部分进一步把竞争落实为两个可干预的位置：一是表示位置，弱模态本身类内松散、类间不清，融合前就处于劣势；二是优化位置，主导模态长期占据梯度更新，使融合偏向单一模态。后文的消融与贡献度分析正是针对这两个位置分别验证。
模态竞争 × 跨模态互补： 模态竞争指主导模态靠更强梯度信号压制弱模态，使联合训练不如单模态或加模态收益很小；跨模态互补指文本、音频、视觉各自提供语义、韵律和表情等不同线索，理想情况下融合应互相补充。PaSE 把二者当作需要同时处理的矛盾：先用原型校准让弱模态自己变可分，再用对齐与梯度调制限制主导模态的压制，使互补能真正发生。
对初学者而言，可以这样理解一个例子：例子是某条中性话语的文字本身很明确，但音频平淡、视觉模糊，若融合只看整体损失，文本很快拟合而音频和视觉的梯度被淹没，长期下来模型越来越依赖文本。这只是帮助理解的例子，不代表论文报告了该样本的数值。
PaSE 的全景是什么，一个样本如何走完输入到输出？
PaSE 由 3 个主要模块组成：模态内原型校准学习、基于熵正则最优传输的跨模态对齐学习，以及双阶段优化模块。双阶段又分为模态融合与基于 Shapley 的梯度调制。论文的总体结构图把左侧特征提取、中间原型校准与右侧融合预测连成一条主路径，同时用记忆库与梯度调制过程标出跨阶段的反馈。
沿一个样本走一遍有助于建立依赖关系。第一步是编码：文本用预训练语言模型编码，视觉和音频用各自的特征提取器编码，得到每个模态的序列表示。第二步是校准：每个模态维护自己的类别原型，原型是同类样本特征的中心，并用动量滑动平均稳定更新，样本被拉向正确类原型。第三步是对齐：把不同模态的原型集合看作分布，用最优传输求跨模态匹配，使语义结构一致。第四步是融合：按预测不确定性给模态加权，再用原型门控得到融合表示并输出情感预测。第五步是平衡：在训练后期按 Shapley 贡献调制各模态梯度，使弱模态获得更大更新。
下面先看总体架构图的前导读：该图左侧是 3 个编码器与特征，中间是原型校准的大框与记忆库，下方是初始学习阶段的权重、拼接与预测，右侧是模态贡献与梯度调制。阅读时应先找从编码器到预测的主箭头，再找从原型回到特征的反馈箭头，不要把装饰性的虚线当作前向主路径。
看图路径： 1. 先沿左侧文本、视觉、音频编码器到 Hi 特征再到类别星形原型的纵向箭头看主路径；2. 再看中间 Prototype Calibration 大框内三团不同颜色样本簇与星形中心的虚实箭头；3. 最后看下方 Initial Learning Phase 中模态权重到拼接再到融合与预测的流程
论文图 2。原论文 Figure 2：“The overall architecture of our proposed model PaSE.”。
从像素可见的内容看，左侧 3 个编码器分别输出用不同颜色圆点表示的模态特征，星形符号表示类别原型，虚线框表示记忆库；中间大框内 3 个颜色的样本簇对应不同模态的分布，星形中心之间的虚线箭头表示跨模态的匹配关系；下方小框内模态权重分成三块后分别作用于 3 路特征，再经拼接得到融合表示并进入预测。这支持一个判断：原型既用于校准各模态内部，也作为门控融合的条件，跨模态对齐与融合共享同一套原型语义，这是 PaSE 把校准和融合绑在一起的关键设计。
原型如何校准单个模态，又如何对齐不同模态？
模态内校准的输入是每个模态的样本表示与该模态的类别原型。类别原型定义为小批量中属于该类样本特征的均值，再用动量系数做滑动平均更新，以避免原型随小批量剧烈抖动。论文报告的动量系数取值为 0.98。校准目标是让同类样本在各自模态内更紧致、不同类更可分，而不是靠主导模态来塑造弱模态的表示。
计算上，校准损失是带温度系数的原型对比损失：计算样本与正确类原型的相似度，除以与所有类原型的相似度之和，再取负对数并在批量上平均。温度控制分布的尖锐程度。原文强调每个模态按自己的语义结构精化特征，这正是缓解不平衡的操作含义。
\[intra = −1 k=1 e(ϕ(hm\]跨模态对齐的输入是两个模态的原型集合，分别看作隐空间中的离散分布。原始目标是它们之间的传输成本，即 Wasserstein 距离，在所有边缘分布符合要求的联合分布上取最小期望平方距离。直接优化该目标计算困难，因此采用熵正则松弛，得到熵正则最优传输目标：在代价矩阵与传输矩阵的内积上加熵正则项，并约束行列和为均匀边缘分布。代价矩阵的元素是跨模态原型之间的距离。
为避免单向匹配偏差，论文计算 2 个方向的传输矩阵并定义对称匹配损失，即 2 个方向传输成本的平均。为强化正反向一致，再加传输矩阵差异的平方惩罚。为保持类语义完整，再加传输矩阵与单位矩阵差异的结构保持正则，防止不同类被错配。三项按权重组合成模态间的总对齐损失，权重在实现细节中报告为一致性系数与结构保持系数分别取值。
\[Lmatch = 1 ⟨Q(m→n), C⟩F + ⟨Q(n→m), C⊤⟩F\]原型校准学习 × 熵正则最优传输： 原型校准学习负责模态内整形，把同类样本拉向本模态的类中心以增强类内紧致和类间可分；熵正则最优传输负责模态间对齐，把两组模态原型看作离散分布并求低成本的双向传输矩阵。搭配理由是只做模态内校准仍存在分布异质，直接融合会错位，而只做跨模态对齐则弱模态本身不可分，对齐也不稳定，二者组合先让各模态可分再让原型结构一致。
类内紧致 × 类间可分： 类内紧致指同类样本在特征空间聚拢，类间可分指不同类中心彼此远离。PaSE 用模态内原型对比损失同时追求二者：以温度缩放的相似度把样本推向正确类原型、远离其他类原型。组合意义在于弱模态若只有紧致而无可分仍易被主导模态淹没，只有两者同时成立，音频和视觉才能在融合前保留自己的判别结构。
双向匹配 × 一致性正则： 双向匹配指同时计算从模态 m 到 n 和从 n 到 m 的两张传输矩阵并取对称匹配损失，避免单向匹配偏差；一致性正则指惩罚两张传输矩阵转置后的差异，使正反向对齐互相印证。搭配后再加单位矩阵结构保持项，防止传输把不同类混在一起，从而在保持类语义完整的前提下实现跨模态结构一致。
需要提醒的是，原论文的公式证据存在排版截断，解读只讲原文明确给出的安排与已验证对照，不从符号名称推定未报告的距离实现或梯度路径。若要复述方法，应先说清原型的输入、更新与损失，再说对齐的原始目标、近似与三项正则的分工，而不是直接背公式。
融合门控与梯度调制各自做什么，为什么要分两个阶段？
初始学习阶段的融合先解决 1 次前向加权问题。论文引入基于熵的模态加权：按每个模态预测的不确定性计算能量，再经归一化得到模态权重。直觉是预测越不确定的模态需要被谨慎对待，权重计算为各模态能量的归一化指数形式。接着是原型门控融合：每个模态的表示与其类别原型拼接后经可学习矩阵与激活函数得到门控，再对加权后的模态表示拼接并经前馈网络得到融合表示，最后经多层感知机与归一化输出情感预测。
训练目标把分类损失与对齐正则相加。对齐正则包括按模态权重加权的模态内校准损失与模态间对齐损失，系数控制对齐项的相对重要性。论文称该阶段允许主导模态引导训练，同时通过对齐反馈改善弱模态。这是一个明确的安排理由：早期需要稳定的主信号带路，而不是一开始就强行压制强模态。
平衡优化阶段解决长期梯度不平衡。论文用合作博弈的 Shapley 值量化每个模态的边际贡献：枚举不含该模态的所有子集，比较加入该模态前后效用函数的变化，并按组合系数加权平均。效用函数综合模态间对齐损失与模态内校准损失，系数在零到一之间平衡两者。归一化后的 Shapley 值再经指数变换得到调制因子，用于放大弱模态、抑制主导模态的扰动，参数更新即为学习率乘以该因子再乘梯度。
原型门控融合 × Shapley 梯度调制： 原型门控融合负责前期的表示融合，用熵引导的模态权重和原型条件门控得到融合表示并完成情感预测；Shapley 梯度调制负责后期的优化平衡，用合作博弈的边际贡献估计每个模态的效用并调制其学习率。搭配原因是融合只解决 1 次前向加权，不能纠正长期梯度不平衡，而梯度调制需要一个已具判别力的融合起点，二者分处双阶段，前者让主导模态先带路，后者再把更新重心拉向欠表现模态。
分阶段的教学意义在于：若只在早期调权重，长期梯度仍会偏向文本；若一开始就大幅压制文本，模型可能失去稳定的语义锚点。论文因此先用门控融合学到鲁棒的整体表示，再在验证熵稳定后自动转入 Shapley 平衡阶段，并监控验证准确率以保证性能稳定。
训练如何组织，哪些参数更新，切换时机是什么？
训练先经过预热阶段以稳定各模态的特定学习并防止早期过拟合，然后在验证熵稳定后自动转入 Shapley 引导的平衡阶段，同时监控验证准确率以确保性能保持稳定。论文把这描述为双阶段优化，而不是两个独立模型：同一套编码器、原型、融合与分类参数在不同阶段受到不同的加权与梯度调制。
参数更新的规则在原文中是明确的：每个模态的参数在每次迭代按学习率乘以该模态的调制因子再乘当前损失梯度进行更新。调制因子来自归一化 Shapley 值的指数变换，弱模态对应更大的因子。这意味着梯度路径仍然是端到端的反向传播，只是各模态分支的有效步长不同。原型本身用动量滑动平均更新，不直接等同于梯度下降的分类参数。
\[˜ψm = φm = exp\]实现细节报告了可复现的条件：在 MOSI 和 MOSEI 上为公平比较采用标准特征提取器，视觉用 Facet，音频用 COVAREP，文本用 BERT 基础版本；优化器用 Adam，学习率取很小的值，批量大小为 64，训练轮数为 200；原型动量、熵正则、对齐系数与结构保持系数均给出具体取值；实验在英伟达 A100 上进行，并在 5 个不同随机种子上取平均。未报告的缺项也应指出：原文没有给出预热轮数的具体阈值、验证熵稳定的数值判定规则，也没有报告每次切换的轮次分布与训练时长，因此复现时只能按描述实现自动切换并记录实际切换点，不能从名称推定固定的切换轮次。
在什么数据、划分、指标和基线上验证，条件是否一致？
数据层面，论文在 3 个基准上验证：CMU-MOSI、CMU-MOSEI 和 IEMOCAP。前两者是观点视频的情感强度数据，后者是交互式情感对话数据。论文报告在 5 个随机种子上取平均，分类在 MOSI 和 MOSEI 上用二分类准确率与七分类准确率，在 IEMOCAP 上用 F1；回归用平均绝对误差与相关系数，除平均绝对误差外越高越好。二分类与 F1 在 MOSI 和 MOSEI 上有两种形式，是否把零分当作负向或非负向，论文以斜杠两种写法同时报告。IEMOCAP 的消融表中还用加权准确率作为汇总指标。
基线覆盖了多代有代表性的方法，包括跨模态 Transformer、BERT 注入、解耦表示、混合对比学习、知识注入、特征解耦、对比引导、状态空间模型以及半监督交互网络等。论文说明部分结果取自先前综述的转载，部分为用公开代码复现，其余直接取自原论文。为公平比较，特征提取器与常见最优方法保持一致。
比较条件的限制需要讲清：表格中部分基线在某些指标上缺失，以横线表示；转载结果的训练细节不完全可控；大模型对比属于通用大语言模型与多模态大模型，与专用轻量架构的输入粒度和调优方式不同，不能当作同条件胜负，只能说明专用适配的必要性。资源状态方面，本次未发现来源绑定且完成安全验证的资源，因此不得声称代码、模型或数据已公开，只能按论文文字讨论方法与结果。
主结果测什么，与谁比，关键数字支持什么判断？
主结果要回答的问题是：在相同特征与相同指标下，PaSE 是否在多数指标上超过当前最优的专用多模态方法。与谁比就是上节的专用基线群，条件是否一致以特征提取器一致与指标方向一致为依据，指标方向是准确率、F1 与相关系数越高越好，平均绝对误差越低越好。
论文报告，在 MOSI 上 PaSE 超过最近的最优模型 MSAmba，在二分类准确率与七分类准确率上取得相对增益；在 MOSEI 上也有持续增益，说明原型引导的对齐有助于捕捉模态一致语义并抑制模态噪声。在 IEMOCAP 的 4 个情绪类别上 PaSE 均为最高，并报告对先前方法的平均提升。这些是论文直接报告的结论，支持原型校准与 Shapley 均衡联合有效的判断，但仍受限于未报告显著性检验与置信区间。
下面先看模态增益图的前导读：该图比较在文本基线之上加视觉、加音频与加两者后的分数增益，横轴是不同方法，纵轴是增益百分比，同一方法内三根柱子颜色固定。阅读时不要把绝对性能与增益混淆，纵轴是相对文本基线的改变量，越高表示跨模态协同越好。
看图路径： 1. 先看横轴五组方法与每组内绿色加视觉、蓝色加音频、浅橙加双模态三根柱子；2. 再看纵轴 Gain 百分比与每根柱子上方标注的具体增益数值；3. 比较 Ours 组三根柱子与其他四组同色柱子的高度差；4. 确认 MMIN 等基线加单模态几乎贴近零线的现象
论文图 1。原论文 Figure 1：“Performance improvements (F1 score) from adding audio (+A), visual (+V), or both modalities (+VA) to text- only baselines on the CMU-MOSI datasets.”。
从像素可见的内容解释：最右侧 PaSE 的三根柱子明显高于左侧 4 组，加视觉约为 2.76，加音频约为 2.56，加两者约为 4.02，而同条件下的其他方法多在 1 以下，个别接近零。这支持论文的判断，即 PaSE 更能利用跨模态互补，有效避免了先前方法中加模态收益递减的现象。但也要看到未胜出或边界的一面：该图只展示 MOSI 上的增益，不能推广到 MOSEI 与 IEMOCAP 的每组条件；且增益是相对文本基线的差值，不等于绝对准确率的领先幅度，百分点与相对百分比的含义也不同，引用时应保留原文的百分比写法。
为保留可核对的定量关系，整理第二张增益对照表。表前的问题是：PaSE 的领先是全面碾压还是在特定模态组合上更明显。公平条件是同数据集、同增益口径，指标方向是增益越高越好。
| 对照内容 | 指标口径 | 先前方法报告 | PaSE 报告 | 数据集 |
|---|---|---|---|---|
| 相对 MSAmba 的领先 | Acc-2 相对增益 | 基线 MSAmba | 0.89% | MOSI |
| 相对 MSAmba 的领先 | Acc-7 相对增益 | 基线 MSAmba | 1.25% | MOSI |
| 加视觉相对文本基线 | F1 增益 | GCNet 为 0.60% | 2.76% | MOSI |
| 加双模态相对双模态变体 | 平均增益 | MCTN 与 MMIN 收益递减 | 4.02% | MOSI |
| 4 类情绪平均 | 相对先前方法提升 | 先前方法平均 | 2.93% | IEMOCAP |
表后解释需要同时讲收益与代价。收益是 PaSE 在单模态增强与全模态融合上都保持更高的增益，尤其在视觉增强上远超同条件基线，支持其缓解模态竞争的主张。代价与反例是：该表只覆盖论文明确写出数值的增益口径，未包含完整的绝对准确率矩阵；通用大模型对比显示专用模型更强，但那不是同条件公平对比；回归指标如平均绝对误差与相关系数的全面领先需要回到原表核对，不能用增益表代替。
拿掉每个组件会发生什么，融合方式与模态贡献如何变化？
消融要回答的问题是：原型校准、对齐与梯度调制各自是否必要，以及原型门控融合是否优于简单求和、拼接与注意力。论文在 MOSI、MOSEI 与 IEMOCAP 上分别去掉各模块，并比较不同融合策略。条件是否一致的依据是同数据、同指标、只改一处组件。
论文报告，去掉原型校准导致二分类准确率在 2 个数据集上分别下降，去掉跨模态对齐导致更大下降，去掉 Shapley 梯度调制导致下降最大，说明长期优化平衡的贡献最显著。融合策略对比中，简单相加不能捕捉模态特定语义而信息损失明显，拼接与注意力虽有更强表示能力但难以解决模态竞争，原型门控融合在多个指标上持续更好。模态组合评估显示，增加模态持续提升性能，且在缺失模态下仍保持有竞争力的表现，支持泛化与鲁棒性的判断。
为保留可核对的反证关系，整理消融下降对照表。表前的问题是：哪个组件拿掉后损失最大，是否说明它承担了不可替代的职责。公平条件是同模型、同数据集、只移除目标模块，指标方向是下降越小越好。
| 消融条件 | 指标 | MOSI 上 Acc-2 下降 | MOSEI 上 Acc-2 下降 | 论文给出的机制解释 |
|---|---|---|---|---|
| 去掉 PCL | Acc-2 | 1.07% | 1.19% | 失去类内紧致与类间可分 |
| 去掉 CAL | Acc-2 | 1.52% | 1.41% | 失去融合前语义一致 |
| 去掉 SGM | Acc-2 | 2.85% | 3.07% | 失去后期协同优化与主导抑制 |
| 去掉 PGF 或换融合 | 多指标 | 报告下降 | 报告下降 | 未能平衡不同模态贡献 |
| 增加模态 | F1 与 Acc-2 | 持续提升 | 持续提升 | 利用跨模态互补 |
表后解释要包含未胜出项与边界。最大下降来自去掉梯度调制，支持长期不平衡是主要矛盾的判断；但这不等于其他组件不重要，因为原型校准与对齐的下降同样清晰，且三者存在依赖，先无可分表示则对齐与调制都难以生效。融合对比中的简单求和、拼接与注意力是实际可运行的策略，应保留为基线，不能用事后最优值代替可部署收益。缺失模态的稳健性是有限解释，因为原文未给出缺失比例、缺失模式与多次采样的方差，待验证。
下面看融合特征可视化的前导读：该图用 3 维散点展示 MOSI 测试集上 3 种模型的融合表示，颜色区分负向、中性与正向，子图从左到右为两种基线与 PaSE。阅读时先确认图例与颜色，再看同色点云的交叠程度，不要把视角旋转造成的远近当作分离。
看图路径： 1. 先确认顶部图例中蓝色负向、绿色中性、橙色正向三类颜色；2. 再比较子图 a 到子图 c 中同色点云是否从交叠变为分离的条带；3. 重点观察 PaSE 子图中橙色与蓝色点云在两侧的紧致程度
论文图 3。原论文 Figure 3：“t-SNE visualization of fused feature representa- tions obtained using different models on MOSI test set. (a) SelfMM, (b)EUAR, and (c) PaSE (ours).”。
从像素可见的内容解释：左侧基线的橙色、绿色与蓝色点云互相穿插，边界模糊；中间基线略有改善但中部仍有混叠；右侧 PaSE 的三色点云形成更紧致且分离的条带，橙色偏一侧，蓝色偏另一侧，绿色居中。这支持论文的有限解释，即双重对齐使表示围绕语义原型组织，类可分性增强。但这只是分布层面的定性证据，不能读出具体准确率数值，也不能把该图的 3 类划分推广到 7 级强度或 IEMOCAP 四情绪。
再看梯度调制影响图的前导读：该图在 3 个数据集上并排比较完整模型与去掉梯度调制的版本，左侧堆叠柱表示文本、音频与视频的平均贡献占比，右侧浅色柱表示对应的二分类准确率。阅读时先看堆叠内部文本段高度的变化，再看右侧准确率是否同向变化。
看图路径： 1. 先看横轴三个数据集下每组左侧 PaSE 与右侧去掉 SGM 的堆叠贡献柱；2. 再看堆叠中底部绿色文本段在去掉 SGM 后是否变高；3. 最后对照右侧纵轴 Acc-2 的浅色柱子在加入 SGM 后是否同步升高
论文图 5。原论文 Figure 5：“The influence of SGM on different modalities and the overall performance.”。
从像素可见的内容解释：去掉梯度调制后，堆叠中底部文本段明显变高，视觉与音频段被压缩，说明文本主导融合；加入调制后文本占比下降，音频与视频占比回升，且右侧准确率柱同步升高。这支持 Shapley 调制缓解模态竞争、促进协同的判断。但总体趋势不等于每组每步都成立，图中为平均贡献，不能说明每个样本或每轮训练都更平衡，也未测量延迟与成本，不能承诺效率同时改善。
还有哪些没有测、没有给、不能推广的边界？
第一类边界是统计与成本缺项。论文报告 5 次运行的平均结果，但未报告标准差、显著性检验与置信区间，因此不能判断小幅领先是否稳定。训练资源只给出显卡型号与批量、轮次，未报告总时长、显存占用、推理延迟与参数量，因此不能承诺延迟或成本得到改善。训练与推理开销应分别讨论，总体准确率趋势不等于每步都更快。
第二类边界是条件与指标冲突。MOSI 与 MOSEI 的二分类有含零与不含零两种口径，引用时必须注明是负向与正向还是非负与负的划分，不能混用。IEMOCAP 用 F1 与加权准确率，MOSI 用准确率与相关系数，不同指标的差值不能放在同一模型列下比较。部分基线存在缺失值，比较时应明确标注未评测，而不是默认其为零。
第 3 类边界是模态贡献的可解释性。论文用注意力权重展示不同情绪下各模态的平均贡献，例如愤怒时音频权重较高、中性时文本权重较高，这与人类直觉一致。但相关性不是因果，权重高不等于该模态单独就能判对，也未测量误判率随权重的变化。缺失模态的鲁棒性同样需要补验证：缺失模式、缺失比例与采样方式都会影响结论，原文未充分展开时应表述为可能与待验证。
如果要复现，应先做什么，需要哪些超参数与信息条件？
复现的第一步是固定数据与特征条件。使用与论文相同的特征提取器与文本 backbone，保持视觉、音频与文本的输入粒度一致，并记录 MOSI 与 MOSEI 的两种二分类口径以及 IEMOCAP 的类别划分，避免因口径不同造成数字对不上。第二步是实现原型机制：为每个模态维护类别原型，用动量滑动平均更新，先实现模态内对比损失使弱模态可分，再实现双向传输、对称匹配、一致性与结构保持三项对齐损失。第三步是实现双阶段：先用熵加权与原型门控融合训练出稳定表示，在验证熵稳定后切换到 Shapley 调制，并记录实际切换轮次与验证曲线。
关键超参数应保留原文报告值：原型动量、熵正则系数、对齐总系数、一致性与结构保持系数、优化器、学习率、批量大小与训练轮次，以及 5 次随机种子的平均方式。信息条件方面，本次未发现可验证的公开资源，因此不能写当前可用或已公开，只能写链接当前不可用或本次未能确认可达，复现应从论文文字与标准特征出发自行实现。
还需补的验证包括：报告标准差与显著性、记录训练时长与推理延迟、补充缺失模态的系统评测、给出切换阈值的敏感性分析。只有补齐这些，才能把论文报告的领先从论文直接报告推进为可部署的判断。
何时值得尝试 PaSE，如何一句话记住它的方法与代价？
当你的多模态任务出现文本一家独大、加音频或视觉几乎不涨点，或者弱模态的特征可视化混叠严重时，PaSE 值得尝试。它的核心动作是先让每个模态自己变可分，再让跨模态原型结构一致，最后在优化后期按边际贡献重新分配更新步长。这对应 3 个可核对的操作：原型对比校准、双向最优传输对齐、Shapley 梯度调制。
记住它的代价同样重要：双向传输与 Shapley 枚举带来额外计算与实现复杂度，切换时机依赖验证信号而非固定轮次，通用大模型不能直接替代专用对齐。复述方法时应沿样本路径讲清输入、表示、组件、目标与输出的依赖，先讲符号与输入再讲计算目标，不把比喻当作性质证明，不补写拿掉后必然怎样，只讲论文已验证的对照与仍待验证的推测。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses