英文题目：MDF: A Modality-Aware Disentanglement and Fusion Framework for Multimodal Sentiment Analysis
会议身份：
conference:aaai:2026:conference-paper-id:40392
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#多模态学习 #音视频 #语音 #语音情感识别
评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.9/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Zhongquan Jian：机构信息未能从会议 PDF 纯文本可靠映射
- Wenhan Lv：机构信息未能从会议 PDF 纯文本可靠映射
- Yanhao Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Guanran Luo：机构信息未能从会议 PDF 纯文本可靠映射
- Wentao Qiu：机构信息未能从会议 PDF 纯文本可靠映射
- Shaopan Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Bingbing Hu：机构信息未能从会议 PDF 纯文本可靠映射
- Qingqiang Wu：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
多模态情感分析以文本、音频、视觉为输入，预测连续情感强度并派生极性，难点在于音频内含文本信息形成同质重叠而视觉与文本高度异质，统一融合易被冗余文本主导。该框架先以BERT编码文本并将音频与视觉映射到文本空间，再以文本为锚从音频中分离文本成分并相减得到声音分量，为后续融合提供异质输入。接着跨模态异质增强模块以正交约束强化文本、声音与视觉的互不相关性，其输出拼接后直接送入权重生成器。最后模态自适应加权模块由生成器预测三者权重并加权求和得到融合表示用于回归，且以单模态预测误差倒数在线监督权重生成以弥合训练与推理不一致。与学习抽象不变与特有子空间的既有解耦方法不同，该工作以人类可解释的声音概念重定义解耦目标，并按实际贡献分配权重以识别主导模态。在CMU-MOSI基准下，MDF的MAE为0.692，低于KuDA的0.705。其结论适用边界受限于摆拍式英语评论视频与BERT基座特征，强口音、缺失模态与跨语言外推尚未验证。硬件方面，原文仅说明所有实验在单块24GB显存的NVIDIA RTX 3090 GPU上进行。
🔗 开源与复现资源
- 代码相关资源：https://github.com/jian-projects/msa-mdf — 链接不可用（HTTP 404） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，哪些信息必须保留？
这篇论文研究的是多模态情感分析，输入是同一条视频片段中的 3 路信号：文本、音频和视觉，输出是一个实数表示的情感强度，并可据此换算成情感极性与分类准确率。文本来自语音转写后的词序列，音频是随时间变化的声学特征序列，视觉是随时间变化的人脸或场景特征序列，三者长度和维度本来就不一致。对刚入门的读者，白话理解是：模型要看一个人说了什么、怎么说的、表情如何，然后给出一个从很负到很正的分数。
必须保留的关键信息是各模态的原始分工与实验条件。文本用预训练语言模型编码，音频和视觉先用数据集提供的特征再过双向长短期记忆网络捕捉时序，最后都映射到文本所在的 768 维空间。论文把任务当作回归来训练，用均方误差衡量预测强度与真实标签的差距，同时报告平均绝对误差、皮尔逊相关系数、七分类准确率、二分类准确率与 F1。理解后续所有拆分与加权，都要先回到这个输入到输出的链条：任何中间表示最终都要能被同一个情感预测器打分，否则无法比较哪个模态更准。
已有路线在表示学习与融合上分别做了什么？
表示学习路线关心如何得到好特征。早期有用自监督多任务学习单模态表示的做法，也有用对比学习把正样本拉近、负样本推远以增强跨模态交互的做法。另一大分支是解耦学习，代表做法是把每个模态拆成模态不变与模态特有两部分，或拆成模态无关与模态独占、任务相关的共享与独有等。论文指出，这类拆分在概念上清晰，但不变部分究竟对应什么人类可理解的内容并不清楚，机器知道的划分不等于人能复述的划分。
融合路线关心如何把多路特征合在一起。有张量融合、模态翻译、图融合、多层感知机融合与注意力融合等。最简单的同维度融合是向量相加，难点在于权重如何定。已有工作发现文本往往主导预测，视觉和音频多为补充，因此出现了按模态不确定性动态分配权重的做法。论文认为两类已有做法各有缺口：跨注意力在音频与视觉异质很强时难以算准相关，基于不确定性的方法在推理时没有标签指导，容易出现训练与推理不一致。这就引出本文的选择：不拆所有模态，只拆音频，并让权重生成器在训练时有显式监督。
为什么只拆音频，视觉为什么不动？
论文的核心观察来自人类直觉。视觉是一串图像，与文本和音频在格式与感知通道上差异很大，天然就是异质的。音频则不同，它里面本来就含有一份文本信息，因为文本通常就是用自动语音识别从音频中转写出来的，所以音频与文本是同质的。如果直接把原始音频拿去和文本融合，文本信息会被算 2 次，互补性被稀释。视觉虽然有时也能通过图文互译联系到文本，但论文认为这种联系是脆弱的，没有音频与文本那样直接的一一对应，因此不需要对视觉做同样的剥离。
下图把以往的全面解耦与本文的局部解耦放在一起，左侧是 3 个模态各自分出共享块，右侧是只有音频分出文本块，视觉保持完整。阅读时先看箭头走向，再看顶部色块的增减，就能理解为何本文的拆分更少引入抽象量。
看图路径： 1. 先看左侧以往方法把三个模态都拆成特有加共享的箭头走向；2. 再看右侧只从音频中分出一小块绿色文本成分的构成；3. 对照左右两侧顶部色块数量理解为何右侧更少引入抽象共享量；4. 读右侧文字框中关于音频含有可识别文本信息的说明
论文图 1。原论文 Figure 1：“Comparison with previous disentanglement-based methods.”。
该图报告显示，左侧以往方法为视觉、文本、音频各自保留特有色块并额外抽出灰色共享块，右侧本文方法只在音频的橙色条中分离出一小块绿色文本成分，并保留文本整体为绿色、视觉整体为蓝色。右侧文字框明确把只拆音频的理由归因于音频含有可被识别的文本信息。这种安排的教学意义是：解耦不是拆得越多越好，而是先判断哪两路真正重叠，再只对重叠处动手术。论文把拆后剩下的音频独有部分改称为声音，以区别于原始音频，这个命名后文会固定使用。
跨模态同质 × 跨模态异质： 跨模态同质指音频天然含有可被语音识别转写出的文本信息，因而与文本在内容上重叠；跨模态异质指视觉是由图像序列构成、与文本和音频在感知通道与表示格式上相互独立。MDF 把前者当作需要剥离的重叠，后者当作需要保留和放大的互补，二者搭配的理由是只有先消除重叠，异质分量相加才不会重复计数，组合意义是让文本、声音、视觉三者成为可加权融合的独立来源。
沿一个样本走完输入到输出的主路径
拿一条样本四元组为例，输入为文本序列、音频特征序列、视觉特征序列与情感强度标签。文本经过 BERT 后取最后一层首个向量作为整体文本表示，音频和视觉特征各自经过双向长短期记忆网络得到定长向量，再经两个多层感知机映射到与文本相同的维度。此时三者维度 1 致但内容仍纠缠，尤其是音频向量中混有文本成分。
接着进入解耦与增强阶段。用一个抽取器从音频向量中抽出文本成分，再用音频向量减去该成分得到声音分量。然后对文本、声音、视觉三者施加正交约束，让它们彼此独立。最后进入加权融合阶段，把三者拼接后送入权重生成器得到 3 个和为 1 的权重，再按权重加权求和得到融合表示，送入情感预测器输出预测强度。总体损失是任务误差加三项辅助损失。
下图是全文总览，左侧 3 条编码支路汇入中间融合块，右侧放大框同时给出异质增强矩阵与权重生成结构，底部区分了训练信号与监督信号的流向。
看图路径： 1. 沿视觉、文本、音频三条编码器主路径看到融合模块的汇入点；2. 找到音频支路上的减法符号并确认被减量来自文本侧的引导；3. 在右侧放大框中区分异质增强矩阵与权重生成器的两条信号线；4. 确认训练信号与监督信号箭头分别指向融合权重与预测器
论文图 2。原论文 Figure 2：“The Overview of MDF. Three modality signals are inputted, with the audio features disentangled to achieve its essential sound part.”。
该图显示，视觉编码器输出蓝色向量，文本编码器输出绿色向量，音频编码器输出橙绿混合向量并经减法得到纯橙色声音向量，三者进入融合后经加权相加得到融合表示再经预测器输出预测值。右侧细节显示拼接后的 3 模态同时送入生成器与预测器，其中由标签导出的贡献权重去监督生成器，异质增强分支对三者做正交化。沿着这条主路径理解，后面的公式只是把每一步的输入输出写准确。
编码与映射：如何把三路信号放到同一空间？
编码的第一步是文本表示。论文使用 bert-base-uncased 作为文本编码器，对词序列编码后取首个位置向量。用白话说，就是把一句话压缩成一个 768 维向量，首位置向量被预训练设计为聚合整句语义的代表。音频和视觉则沿用数据集已提供的特征，分别记为随时间变化的矩阵，再用各自的双向长短期记忆网络捕捉时序依赖，得到定长音频向量与视觉向量。
第二步是映射。因为三者来自不同编码器，直接相减或相加没有意义，所以用两个多层感知机把音频向量与视觉向量映射到文本表示空间。这一步不改变语义归属，只统一维度与分布尺度，为后面的减法与加权做准备。论文没有报告映射网络的具体层数与激活细节，这是复现时需要补看代码的缺项，但输入输出维度在正文中是明确的。
\[ht = BERT(Xt)[0]\]该式说明文本表示来自 BERT 输出的首向量，是后文对齐与融合的锚点。先固定这个锚点，才能理解为何音频的文本成分要向它看齐，而不是反过来。
音频解耦：抽取器、减法与对齐损失如何配合？
直接用音频向量减文本向量看似简单，但论文明确说这不可行。原因是两者来自不同预训练模型，且文本训练数据远多于音频，文本表示的信息量与质量往往不低于音频，直接相减的强假设不成立。因此论文采用间接做法：训练一个抽取器从音频向量内部抽出它自己携带的文本成分，再用音频向量减去这个内部分量，剩余即为声音分量。这样减法发生在同一编码器空间内，避免了跨编码器直接相减。
\[˜ht = Extractor(ha)\]该式说明文本成分是抽取器对映射后音频向量的变换结果，输入与输出维度相同，都是文本空间的向量。抽取器在这里分工是定位重叠，减法分工是保留独有。
\[˜ha = ha −˜ht\]该式说明声音分量等于音频向量减去其内部文本成分，是后文参与融合的第三极。教学例子是：把带人声的录音看成文字稿加语调，抽取器负责抄出文字稿，减法负责留下语调。例子不附带任何数值，只是帮助记住信息流向。
抽取出的文本成分与真实文本表示仍有编码差距，论文不要求二者向量相等，只要求二者对情感预测做出相同贡献，即经同一预测器打出的强度一致，并用均方误差约束这一点。这种对齐是特征层面的弱对齐，好处是避免强制跨编码器对齐带来的失真，代价是不能保证语义完全等价。
解耦 × 声音分量： 解耦指把音频表示拆成文本成分与剩余部分的操作，声音分量指拆完后保留的、属于音频独有的韵律与声学部分。解耦负责执行减法结构，声音分量负责承载融合时真正能补充文本的信息，搭配理由是直接用原始音频会把文本信息算 2 次，组合意义是得到与文本、视觉相互异质的第三极。
异质增强与自适应加权：正交之后如何不等权相加？
得到声音分量后，文本、声音、视觉在人类视角下已经异质，但模型仍可能在训练中让它们重新纠缠。论文引入跨模态异质增强模块，对三者先做层归一化再两两点积求和作为损失，最小化它就是鼓励三者正交。用白话说，正交是让 3 个向量指向不同方向，减少冗余，突出各自能补充别人的部分。该损失只在训练时起作用，不增加推理计算。
融合时论文把三者比作三原色，按比例混合成丰富的多模态表示。比例由权重生成器产生：把三者拼接成 3 倍维度向量，送入多层感知机再经 Softmax 得到和为 1 的三元权重，然后加权求和得到融合向量。这种向量相加是最简单高效的同维度融合，关键在于权重是否反映真实贡献。
异质增强 × 正交约束： 异质增强指让文本、声音、视觉的表示彼此拉开、强调互补的目标，正交约束指对层归一化后特征两两点积求和并最小化的实现。正交约束负责给出可优化的数学压力，异质增强负责给出语义方向，搭配理由是仅靠拆分不能保证三者不重新纠缠，组合意义是用独立性先验规范融合前的表示空间。
模态自适应加权 × 权重生成器： 模态自适应加权指按各模态对情感预测的潜在贡献分配融合比例的思想，权重生成器指输入 3 模态拼接向量并经 Softmax 输出三元权重的多层感知机。加权思想负责确定融合应是不等权相加，生成器负责在推理时只用特征就能产出权重，搭配理由是推理时没有标签可用，必须把训练时算出的真实贡献蒸馏到生成器中，组合意义是实现训练与推理一致的动态融合。
监督从哪里来，四项损失如何分工与回传？
训练目标由四项相加。任务损失是融合表示经预测器输出的预测强度与真实标签的均方误差，它回传到编码器、映射、抽取器、增强与生成器的整条路径。对齐损失约束从音频抽出的文本成分与真实文本表示经同一预测器打分一致，主要监督抽取器，让声音分量真正剥离文本。正交损失约束三者相互独立，主要规范表示空间的几何关系。权重监督损失约束生成器输出的权重接近由标签算出的贡献真值，主要教会生成器在没有标签时也能猜对比例。
贡献真值的构造是本方法的关键。训练时对每个模态单独用预测器打分，计算其与真实标签的绝对误差，加小常数防除零后取倒数，再经 Softmax 得到权重。误差越小倒数越大，权重越高，直觉是单模态越准，融合时越值得信任。该真值随训练动态变化，生成器通过回归它来学习组合规律，推理时只用生成器输出，不再需要标签，从而保证训练与推理一致。
\[La = ||Predictor(˜ht) −Predictor(ht)||2\]该式说明对齐损失比较的是两个预测强度标量之差的平方，而不是两个高维向量之差，这是弱对齐的数学体现。
\[hf = w ⊗H = wtht + wa˜ha + wvhv\]该式说明融合表示是 3 个向量按生成权重线性相加，权重和为 1，保证表示尺度稳定。论文未报告四项损失的加权系数，默认按等权相加理解；未报告梯度是否截断，例如贡献真值分支是否停止梯度，这是复现时需核对代码的缺项。
模态贡献真值 × 不确定性倒数： 模态贡献真值指用标签监督算出的、指导生成器学习的权重目标，不确定性倒数指用单模态预测误差绝对值加小常数后取倒数再 Softmax 的构造。不确定性倒数负责把误差越小越重要的直觉变成可计算的权重，真值负责把该权重当作回归目标去约束生成器，搭配理由是直接反传任务误差不能保证权重可解释，组合意义是让生成器学到与单模态能力一致的组合规律。
在什么数据、指标与实现条件下比较？
论文在 CMU-MOSI 与 CMU-MOSEI 两个广泛使用的情感数据集上评估，附录交代划分与统计，正文未重复具体条数，因此解读时不编造划分口径。指标沿用前人做法，包括平均绝对误差、皮尔逊相关系数、七分类准确率、二分类准确率与 F1，其中二分类与 F1 按分割标记报告两种形式：负与非负、负与正，区别在于零分归属。方向是误差越低越好，相关系数与各类准确率越高越好。比较对象均为基于 BERT 的方法，文本编码器统一用 bert-base，文本空间维度为 768，音频与视觉直接用数据集提供的特征，以保证公平。
优化用 AdamW，对 BERT 与其他参数分别用 5e-5 与 1e-3 的初始学习率。批量与轮数在 MOSI 上为 32 与 50，在 MOSEI 上为 64 与 30，硬件为单张 24 GB 显存的 RTX 3090。基线包括低秩融合、跨模态 Transformer、模态不变与特有表示、自监督多任务、立方多层感知机、对比特征分解、对齐紧凑 Transformer、双层特征恢复 Transformer、混合分布式生成对抗、知识引导动态注意力、解耦翻译网络、单模态标签生成与模态分解、解耦语言聚焦等。论文声明代码链接当前不可用，经资源状态核对，该地址返回 404，因此复现不能依赖直接下载，需按正文描述重写。基线结果部分引自前人论文与 KuDA 汇总，是否与本文完全同一种子与划分需要读者留意。
主结果测了什么，谁在什么条件下更优？
主结果要回答的问题是：在统一 BERT 与统一特征条件下，只拆音频加贡献监督的融合是否优于全面解耦与不加监督的加权。公平条件是文本编码器同为 bert-base，指标方向如上节所述。下表整理 MOSI 与 MOSEI 上的关键数字，列覆盖误差、相关与准确率，行保留实际可运行的代表性基线与本文方法，便于核对原文报告。
| 方法 | MOSI 平均绝对误差越低越好 | MOSI 相关越高越好 | MOSI 七分类准确率越高越好 | MOSI 二分类准确率负非负斜杠负正 | MOSEI 平均绝对误差越低越好 |
|---|---|---|---|---|---|
| 自监督多任务 | 0.708 | 0.796 | 46.67 | 83.44/85.46 | 0.531 |
| 知识引导动态注意力 | 0.705 | 0.795 | 47.08 | 84.40/86.43 | 0.529 |
| 本文方法 | 0.692 | 0.810 | 48.25 | 84.99/85.82 | 0.525 |
上表显示，在 MOSI 上本文方法误差最低且相关与七分类最高，在 MOSEI 上误差与相关也处于最好或次好区间，支持其在表示解耦与加权融合上同时受益的判断。但代价与反例同样明确：在 MOSI 二分类的负正形式与 MOSEI 部分准确率上，本文方法并非全面领先，例如对比特征分解在 MOSEI 的误差与七分类上仍具竞争力，对齐紧凑 Transformer 在 MOSEI 二分类上也有高值。这说明总体趋势不等于每列都胜出，文本主导较弱或视觉噪声较大的样本仍可能削弱加权收益。
下图解释权重为何有效。左子图是生成器输出的权重按文本权重排序后的堆叠面积，右子图是按同样样本顺序排列的标签导出权重，颜色统一为绿文本、橙声音、蓝视觉。
看图路径： 1. 先确认顶部图例中绿色文本、橙色声音、蓝色视觉的对应关系；2. 在左子图中沿样本排序方向观察绿色面积由大变小的趋势；3. 在右子图中观察按同样顺序排列时三色交织但整体走势一致的现象；4. 对比左右子图在文本主导与声音补充区间的相对比例
论文图 3。原论文 Figure 3：“Visualization of modality weights.”。
该图报告显示，左子图中文本绿色在左侧占主导，向右逐渐让位于蓝色视觉与橙色声音，尤其在文本权重较低的右侧声音面积明显抬升，起到补充作用；右子图虽然毛刺更多，但整体由绿到蓝橙的过渡与左子图一致，支持生成器学到了接近真实贡献的比例。像素不能精确读出的具体样本序号不硬写，结论只到趋势一致层面。未评测的边界是：该可视化仅在 MOSI 上进行，是否在 MOSEI 上同样对齐仍待验证。
拿掉每一项损失与换掉声音分量会发生什么？
消融要回答两个问题：四项损失各自是否必要，声音分量是否真比原始音频更适合融合。第一个表固定任务损失，逐步加入对齐、正交与权重监督损失，指标为 2 数据集上的误差与相关，方向同前。第二个表固定融合结构，比较只用单模态与逐步加入原始音频或声音分量的效果。
| 训练损失组合 | MOSI 误差越低越好 | MOSI 相关越高越好 | MOSEI 误差越低越好 | MOSEI 相关越高越好 |
|---|---|---|---|---|
| 仅任务损失 | 0.720 | 0.781 | 0.536 | 0.760 |
| 加对齐损失 | 0.718 | 0.780 | 0.536 | 0.769 |
| 加对齐加正交 | 0.710 | 0.798 | 0.530 | 0.774 |
| 任务加正交加权重监督 | 0.713 | 0.793 | 0.532 | 0.775 |
| 四项全加 | 0.692 | 0.810 | 0.525 | 0.788 |
上表显示，拿掉任何一项都会让性能回落，全拿掉时退化最明显，权重监督的加入带来最大幅度的提升，正交约束放大了对齐解耦的收益。这支持权重生成器是关键、异质增强是放大的判断，但属于有限解释，因为损失之间存在交互，不能把差值完全归因于单一模块。
| 模态组合 | MOSI 误差越低越好 | MOSI 相关越高越好 | MOSEI 误差越低越好 | MOSEI 相关越高越好 |
|---|---|---|---|---|
| 仅音频 | 1.455 | 0.162 | 0.998 | 0.184 |
| 仅声音分量 | 1.456 | 0.145 | 1.005 | 0.163 |
| 仅文本 | 0.786 | 0.705 | 0.566 | 0.740 |
| 文本加音频 | 0.739 | 0.777 | 0.547 | 0.752 |
| 文本加声音 | 0.722 | 0.795 | 0.535 | 0.768 |
| 视觉文本音频 | 0.720 | 0.781 | 0.536 | 0.760 |
| 视觉文本声音 | 0.692 | 0.810 | 0.525 | 0.788 |
上表显示，单用声音分量略逊于单用原始音频，说明原始音频中确实含有额外的文本信息；但一旦与其他模态融合，含声音的组合全面优于含原始音频的组合，且 3 模态全用时最好。这支持剥离重叠后互补性增强的机制解释，也复现了文本主导的已知结论。未胜出项是单模态声音本身，它不适合单独预测，这是预期的代价而非失败。
下图用降维散点展示异质增强的作用，左为无增强，右为有增强，符号区分文本特征、音频特征、视觉特征与拆出的文本成分、声音成分。
看图路径： 1. 先确认顶部图例中文本特征、音频特征、视觉特征与拆分成分的符号；2. 比较左子图无增强时文本成分与声音成分是否已经分离；3. 观察右子图引入增强后三类点云是否呈现更明显的三足鼎立；4. 注意红色中心点连线所指示的类间距离变化方向
论文图 4。原论文 Figure 4：“Visualization of cross-modality heterogeneity.”。
该图报告显示，无增强时各模态点云已大致分离，拆出的文本成分与文本模态靠近，说明间接对齐有效；有增强后 3 类点云呈现更明显的三足鼎立，类间距离拉大，支持正交约束强化了互补性。但降维可视化不能当作性能证明，只能作为分布趋势的辅助证据，且仅在 MOSI 上展示。
哪些结论有边界，哪些量没有被测量？
论文直接报告的是两个公开数据集上的误差与准确率提升，支持在文本主导、音频含文本重叠的条件下只拆音频的有效性。有限解释是权重生成器学到了真实贡献，因为左右权重图的趋势一致只是相关性证据，不能证明每个样本的因果归因都正确。未验证的推测是视觉与文本的联系一律脆弱，在含有屏幕文字或字幕的视频中该假设可能不成立，论文未对此类边界评测。
缺失的证据不是技术错误，但需要明确。论文未报告误判率的统计显著性、多次种子的方差、训练时长与推理延迟、参数量与显存占用随序列长度的变化，因此不能承诺该方法在延迟或成本上更优。资源状态显示代码链接当前不可用，权重下载与系统可运行性本次未能确认，复现成本高于有可用代码的工作。此外，对齐只约束预测强度一致，未约束语义等价，在音频质量差或语音识别本就困难的样本上，抽取器可能抽不准，这是适用条件的限制。
要复现应先做什么，需要补哪项验证？
复现先做三件事。第一，按正文固定文本编码器为 bert-base-uncased，取首向量为文本表示，音频与视觉用数据集原始特征加各自双向长短期记忆网络，再映射到 768 维，先跑通仅任务损失的基线，核对 MOSI 误差在 0.720 附近。第二，加入抽取器与减法得到声音分量，加入预测强度一致的对齐损失，检查拆出的文本成分是否在预测分数上靠近真实文本，而单用声音的误差仍在 1.45 量级。第三，加入正交损失与由标签导出的贡献真值监督，训练生成器并检查生成权重是否呈现文本主导、声音在文本弱时补充的趋势。超参数按正文保留学习率分组、批量与轮数，损失权重未报告时先按等权起步并记录敏感性。
还需补的验证包括：多次随机种子的均值方差、MOSEI 上权重对齐图、含屏幕文字样本的分层评估，以及推理延迟与参数量的实测。由于链接当前不可用，所有细节以论文正文与本次收到的原图像素为准，不从模型名称推定映射层数或是否冻结 BERT。若发现与正文数字不一致，优先检查映射初始化、层归一化位置与小常数的取值。
何时值得尝试这种只拆一路再加权的思路？
当你的多模态任务中明确有两路存在包含关系，例如音频包含文本、视频帧包含字幕，而第 3 路相对独立时，值得尝试先剥离重叠再融合。做法是选定信息更完备的一路为锚，用抽取器在另一路内部抽出重叠成分并减去，保留独有分量，再用正交约束保持独立，最后用标签导出的单模态能力去监督权重生成器。这样做的好处是表示可解释，每一路对应人类能理解的来源，融合权重也能事后检查。
不适合的情况是各路本就独立，或重叠关系不稳定，此时强行剥离可能丢信息。教学上记住一句话：同质部分要减，异质部分要留，权重不能只靠任务误差反传，要有一个在训练时看得见标签的老师。这个老师在推理时不在场，但生成器已经把它的规律学走，这就是训练与推理一致的关键。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses