标签：#语音情感识别 | #混合专家模型 | #多任务学习 | #多模态学习 | #音视频
评分：5.9/10 | 创新 1.4/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Ronghao Lin：机构信息未在 arXiv HTML 中可靠披露
- Qiaolin He：机构信息未在 arXiv HTML 中可靠披露
- Zefeng Lu：机构信息未在 arXiv HTML 中可靠披露
- Yichu Liu：机构信息未在 arXiv HTML 中可靠披露
- Li Huang：机构信息未在 arXiv HTML 中可靠披露
- Sijie Mai：机构信息未在 arXiv HTML 中可靠披露
- Haifeng Hu：机构信息未在 arXiv HTML 中可靠披露
- Yap-peng Tan：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
视频多模态情感分析需从说话人视频的语言序列X_l、声学序列X_a和视觉序列X_v联合预测连续情感值y，难点在于模态异质性、单模态噪声冗余以及标签序数结构被单任务回归忽略。本文先构建序数情感空间，将y按符号映射为三类极性标签y_polar、取绝对值并以数据集量程H约束为强度标签y_inten，把单回归拆为分类加回归。再由极性与强度瓶颈专家对每模态做任务条件变分信息瓶颈压缩，经高斯重参数采样得到紧凑隐变量B，最后由多模态瓶颈路由融合跨模态选择组合并残差融合为F_M，叠加基于极性错分与强度误差的三类难样本加权损失优化主回归。与整体融合或单瓶颈压缩不同，该分治路由使极性与强度专家各司其职并按需组合跨模态隐变量，从而在保留序数结构的同时抑制无关噪声并提升可解释性。在CMU-MOSI上MoB-DeBERTaV3取得7分类准确率51.1、平均绝对误差0.598、相关系数0.873，超过MMML与ITHP；在CH-SIMS上MoB-MacBERT取得5分类准确率44.2。该结论限于话语级离线评测与完整或缺模态输入，未验证强噪声、跨域与实时流式稳定性，原文未披露训练推理成本与开源产物。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，哪些信息必须保留？
这篇论文研究的是基于说话人视频的多模态情感分析。输入是同一段说话视频中的 3 路信号：语言模态是说出的话语文本，声学模态是说话音频，视觉模态是人脸帧序列。输出是对说话人情感状态的预测分数，原文把最终任务写成均方误差回归。初学者容易把这个任务理解成把 3 路特征拼起来再回归一个分数，但论文强调必须保留的信息有两层。第一层是模态分工：文本提供显式语义，语调反映情绪强度，面部或身体动作透露隐式态度，三者不是重复的。
第二层是标签结构：情感分数天然有序，既有正负方向又有强弱程度，直接预测一个连续值容易混淆方向错误与程度误差。因此后续方法把标签空间拆开，把特征空间按任务分开压缩，再做融合。需要说明的是，当前没有发现来源绑定且完成验证的开源资源，因此不能声称代码模型或数据已公开，所有复述只依据论文正文证据。
例子：比如一句话文字上是抱怨但语气平淡，方向为负而强度较低，若只学最终分数，模型可能把文字负向线索与语气平淡线索混在一起，这正是后文拆分极性与强度的动机，该例子仅用于理解任务不代表论文实验样本。
已有路线在融合与监督上缺了什么？
论文把相关工作分成 3 条线。第一条是多模态情感分析本身，常见做法是做强单模态编码器再设计早期晚期或混合融合。由于融合过程通常与任务无关，特征按静态方式组合，难以解释哪路模态在为什么子任务做贡献，也容易受单模态噪声与跨模态冗余影响。第二条是信息论深度学习，特别是信息瓶颈。信息瓶颈的思路是压缩输入同时保留对目标有用的信息，在多模态里有助于滤除任务无关噪声。
但原文指出已有做法多把所有特征同等对待，没有很好解耦模态特有与模态共享表示，也缺少多个瓶颈之间的协同融合。第 3 条是混合专家网络。混合专家用稀疏门控把输入动态路由到部分专家，近年被用于按模态或模态组合选择专家。论文认为它适合按子任务难度动态压缩与存储信息，但已有混合专家多停在特征级路由，缺少任务级解耦。第四条是情感的有序性。
近年有序情感学习把标签看作相对而非绝对，本文受情感方面分离思想启发，把情感空间分成极性与强度两个维度。综合起来，已有融合缺任务感知，已有瓶颈缺多专家协同，已有专家缺任务解耦，这就是本文把三者结合的出发点。
为什么要把一个回归问题拆成两步走？
沿一个样本走一遍有助于理解拆分。假设输入是一段短视频，文本是带有感叹的评价，音频音量大语速快，视觉有笑脸与手势。传统做法是分别提特征后融合，直接回归负 3 到正 3 之间的分数。问题在于文字可能同时含方向词与程度词，音频视觉也同时携带方向与程度，但不同模态对两者的可靠性不同。论文举例说视觉手势可能更适合传达极性正负，而声学语调更能捕捉强度大小，因此需要动态且任务感知的学习。
拆分后极性回答是正还是负还是中性，强度回答情绪有多强，最终再回到有序空间做预测。这样每个模态可以为两个子任务分别准备信息，而不是用同一份特征同时应付两个要求。拆分的代价是需要额外监督与路由结构，但好处是可解释性增强，能定位哪路模态在支撑方向判断，哪路在支撑程度判断。
导读本图时应先建立从左到右的阅读顺序，左侧是 3 路原始信号，中间是信息筛选，右侧是有序情感空间的两个出口，这样才能看懂后文为什么每个模态都要产生两类隐变量。
看图路径： 1. 先看左侧视觉语言音频三路原始输入与对应示例；2. 再看中间信息瓶颈如何保留有效线索并滤除背景遮挡噪声；3. 最后看右侧极性与强度两个输出分支分别连接哪些线索
论文图 1。原论文 Fig. 1:：“Illustration of task-related information extraction for each modality in the ordinal sentiment space for video-based multimodal sentiment analysis.”。
这张示意图显示左侧视觉有多帧人脸，语言给出包含 Wow 与 Sick 的句子，音频给出波形，中间用椭圆框出有效线索如笑嘴高涨手势与响亮音量兴奋语调，同时用虚线框标出被滤除的背景遮挡与噪声失真，右侧分别指向极性分支的正负判断与强度分支的低高程度。可见信息瓶颈的作用不是均匀压缩，而是按任务保留方向线索与程度线索，混合专家的路由则决定这些线索流向哪个子任务。
整体框架如何组织分治与融合？
整体框架可分为 4 段。第一段是单模态特征提取，对英文与中文分别用预训练语言模型处理文本，用跨模态对齐较好的特征提取器处理音频视觉，得到每路时序特征。第二段是极性与强度瓶颈专家，对每路特征分别学习面向极性与面向强度的瓶颈隐变量，每个隐变量由多个专家经路由加权产生，并经重参数化采样得到。
第三段是多模态瓶颈路由融合，把每模态两类隐变量共 6 类隐变量作为待选集合，用融合专家按亲和度选择并加权聚合，再与原始拼接特征做残差相加得到多模态表示。第 4 段是预测与难样本挖掘，用多模态表示预测最终情感分数，并按极性与强度误差挑选难样本加权。训练目标是多任务联合，包括最终回归损失瓶颈压缩与专家均衡损失融合损失与难样本损失。
理解该图需要先区分上下两大区域，上半是模态内分治，下半是模态间融合，箭头表示信息从单模态特征到瓶颈隐变量再到融合表示的完整流向。
看图路径： 1. 先沿左下语言与左上音视频特征提取路径看到单模态特征；2. 再看右上极性与强度路由器如何选择瓶颈专家并做重参数化；3. 最后看右下融合模块如何把多类瓶颈隐变量汇成多模态表示
论文图 2。原论文 Fig. 2:：“The framework of Mixture-of-Bottleneck (MoB) to dynamically process modalities in the informative ordinal space.”。
该框架图左侧标出音频视觉由大型多模态模型编码，语言由预训练语言模型编码，统一记为单模态特征，中上部画出极性路由器与强度路由器分别经 Top-k 选择瓶颈专家并输出高斯隐变量，中部标出重参数化与信息瓶颈解码器，下半画出融合模块与多个融合专家经 Top-K 选择隐变量，最终汇成多模态表示并连接难样本与融合损失。由此可见分治发生在模态内，融合发生在模态间，两处都用路由实现动态选择。
极性与强度瓶颈专家如何计算？
先讲符号与输入。对某模态输入特征，目标是得到瓶颈变量。信息瓶颈原始目标是最小化输入与瓶颈的互信息同时最大化瓶颈与目标的互信息，系数平衡压缩与预测。变分近似把它转成可训练形式，一项是后验与先验的高斯散度，另一项是任务预测损失。编码器输出均值与方差，再经标准高斯采样得到隐变量，这是重参数化技巧，保证梯度可回传。
本文把编码器中的多层感知机换成混合专家网络，每个专家输出一组高斯参数，路由给出权重后按 Top-k 加权求和，可看作输入自适应的高斯混合。路由有两种任务引导方式。第一种是多门设置，为每个子任务学一个带激活的非线性投影。第二种是多嵌入设置，为每个子任务学一个嵌入向量加到输入上再门控。两种都让极性与强度走不同或部分共享的专家。
解码器再把专家输出映射到标签空间，极性用分类损失，强度用绝对误差回归损失。
信息瓶颈 × 混合专家： 信息瓶颈负责把输入压缩为紧凑且只保留任务相关信息的隐变量并滤除噪声，混合专家负责按子任务与模态把压缩工作分给不同专家并由路由动态选择，二者搭配的理由是单一瓶颈难以兼顾极性与强度不同难度，组合后每个专家成为面向特定子任务的瓶颈压缩器。
极性标签按原始分数大于零等于零小于零映射为正 1 零负 1，强度标签取原始分数绝对值并受数据集标注范围约束，具体定义如下两式所示。
\[y_{polar}=\left\{\begin{aligned} &+1,\ \ y>0\\ &0,\ \ y=0\\ &-1,\ \ y<0\end{aligned}\right.\]\[y_{inten}=\mid y\mid隐变量的高斯采样形式如下式所示，编码器先给均值方差再采样，这是后文专家输出高斯混合的基础。
\[B\sim\mathcal{N}(\mu,\varepsilon^{2}),\text{where }\{\mu,\varepsilon\}=MLP(S)\]极性识别 × 强度估计： 极性识别负责判断正负中性方向并用分类监督训练，强度估计负责判断情绪强弱程度并用回归监督训练，搭配理由是情感标签天然有序且方向与程度依赖不同线索，组合后模型可在有序情感空间中分别学习方向与程度再联合预测最终分数。
还需要说明均衡约束。路由加入可调高斯噪声与软约束，鼓励不同瓶颈被相近次数选中，避免少数专家垄断。最终单模态阶段目标把每模态的压缩损失专家均衡损失与极性强度预测损失加权求和。
单模态瓶颈专家 × 多模态瓶颈路由融合： 单模态瓶颈专家负责在语言音频视觉各自内部提取极性与强度隐变量，多模态瓶颈路由融合负责在 6 类隐变量之间选择组合并建模跨模态协同，搭配理由是先分开压缩可保留模态特性再融合可减少模态间干扰，组合后形成先分治压缩再自适应融合的完整路径。
跨模态融合如何避免把噪声混在一起？
融合阶段的输入是每批中每个模态的两类隐变量。若批量为 b，每模态有极性与强度两类，则总数为批量乘 6。论文先计算隐变量到专家的亲和分数矩阵，行是隐变量，列是融合专家。然后转置后按 Top-K 选择，每个专家挑最相关的隐变量并给出路由权重，再经各自专家变换后加权求和得到增量。最终多模态表示是 3 路原始特征拼接再加上该增量，残差的作用是保留单模态语义核心同时叠加跨模态协同。
为了约束路由，论文在转置分数上做 Softmax 得到概率分布，再加熵正则惩罚过尖分布，并限制每个隐变量至多被送给固定数量专家，形式上是熵正则线性规划。这种设计让部分专家专攻单模态精炼，部分专家专攻跨模态协同，而不是把所有模态一次性混在一起。原文未报告融合专家数与 Top-K 的具体取值选择过程，也未报告推理延迟，因此复现时需把这些当作待补超参数记录，不能从专家编号推定最优配置。
多任务目标与难样本如何组织训练？
训练目标包含四部分。最终情感回归用均方误差。瓶颈阶段用压缩损失专家均衡损失与极性强度损失。融合阶段用亲和最大化与熵正则组成的融合损失。难样本部分先按极性是否错分与强度误差大小定义 3 类困难情形，阈值与情感分数范围有关，再对多模态表示的预测误差按类加权求和，促使模型关注方向错但程度对方向对但程度差很多以及两者都差的样本。极性监督来自分类交叉熵形式，强度监督来自绝对误差形式，具体如下式所示。
\[\mathcal{L}_{polar}=-\mathbb{E}_{x}\ \Big[y_{polar}\log\widetilde{y}_{polar}\Big]\]总目标是上述各项加权求和。论文未完整报告各权重与难样本阈值的搜索区间，也未说明语言模型参数是冻结还是微调，因此不能从模型名称推定实现。按证据只能确认文本用预训练语言模型编码，音视频用 ImageBind 提取特征，梯度路径按变分瓶颈与路由结构组织，监督分别来自极性标签强度标签与最终分数标签。
负载均衡约束 × 熵正则： 负载均衡约束负责让单模态阶段的多个瓶颈专家被均匀使用以避免路由坍缩到少数专家，熵正则负责让融合阶段的专家对隐变量选择不至于过度尖锐，搭配理由是 2 阶段都存在路由选择偏差风险，组合后分别在模态内与模态间维持多样且稳定的专家参与。
在哪些数据与特征条件下比较？
实验覆盖两个英文与两个中文语料。英文是 CMU-MOSI 与 CMU-MOSEI，中文是 CH-SIMS 与 CH-SIMS v2，论文在 v2 上只用有监督样本以保证公平。语言特征在英文用 BERT 与 RoBERTa 与 DeBERTaV3，在中文用对应中文 BERT 与中文 RoBERTa 与 MacBERT，音视频统一用 ImageBind 提取。指标方向是分类准确率与 F1 越高越好，平均绝对误差越低越好，相关系数越高越好。英文报告七分类与二分类，中文报告五分类三分类与二分类，二分类还有非负负与正负两种划分，比较时必须核对同一划分。
基线包括自监督与对比学习及有序学习等方法，部分结果引自原论文，部分为复现，复现条件是否完全一致在正文中未逐项交代，这是解读比较结论时的限制。 下表整理论文原句直接给出的数据规模与标注范围，比较问题是不同语料的样本量说话人数与情感区间是否可比，公平条件是同一数据集内比较同一指标方向，表中数字与单位均来自原文连续句。
| 数据集 | 片段与时长 | 视频与说话人 | 标注范围 | 语言 |
|---|---|---|---|---|
| CMU-MOSI | 2199 条独白 | 93 个视频，89 位评论者 | 负 3 到正 3 | 英文 |
| CMU-MOSEI | 约 66 小时，250 个话题，1000 位说话人 | 1000 位说话人 | 与 MOSI 相同范围 | 英文 |
| CH-SIMS | 2281 个片段，60 个中文视频 | 474 位说话人 | 负 1 到正 1 | 中文 |
| CH-SIMS v2 | 约 2 倍规模，仅用有监督部分 | 与 SIMS 相同标注体系 | 负 1 到正 1 | 中文 |
该表说明英文数据量与话题覆盖更大，中文数据更强调自然表情与遮挡光照变化，因此跨语言的绝对数值不宜直接对比同一模型的跨数据集提升应分别看英文与中文内的相对位置。
未胜出边界是中文更大模型带来的增益更微妙，说明仅靠扩大语言模型不一定解决跨模态协同问题。
主结果在什么条件下支持什么判断？
论文报告 MoB 在多数关键指标上优于所列基线，并能提升不同预训练语言模型的效果。作者把原因归于极性分类与强度回归的解耦，使模型在两类子任务间更好平衡。需要区分的是这是论文的有限解释，表中数字支持的是在给定特征与划分下同时做好分类与回归，而不能直接证明所有提升都来自解耦，还需消融证据。
下表只整理原文连续句中明确写出的路由设置对照数字，比较问题是在相同数据集上哪种路由设置更适合分类与回归，公平条件是同数据集同指标方向，表中保留可实际运行的多门与多嵌入策略，不把事后最优当作可部署收益。
| 条件 | 指标 | 多门 MLP | 多嵌入 Laplace | 多嵌入 Softmax 参照 |
|---|---|---|---|---|
| CMU-MOSI 分类 | 7 分类准确率 | 51.1 | 51.0 | 50.3 |
| CMU-MOSI 分类 | F1 | 89.5 | 89.4 | 89.2 |
| CMU-MOSI 回归 | 平均绝对误差 | 0.598 | 0.581 | 0.625 |
| CMU-MOSI 回归 | 相关系数 | 0.873 | 0.877 | 0.853 |
| CH-SIMS 分类回归 | 5 分类与误差 | 44.2，0.378 | 43.5，0.412 | 42.6，0.411 |
该表的主要收益是多门 MLP 在 MOSI 分类与 SIMS 整体上稳定较好，而多嵌入 Laplace 在 MOSI 回归上更优，代价是没有任何一种设置在全部指标上同时最优。未胜出项是多嵌入 Softmax 与高斯在多数格上落后，说明门函数选择确实影响路由，但论文未报告多次随机种子的方差，因此小幅差异可能待验证。
共享专家 × 任务特有专家： 共享专家负责同时被极性与强度路由选中的隐变量处理，任务特有专家负责只被其中一路选中的隐变量处理，搭配理由是方向与程度既有共同来源也有各自独特线索，组合后可用使用比例判断两子任务的相关程度与模态分工差异。
导读该图时应关注共享与特有两类专家的划分逻辑，横轴是比例，纵轴是模态，颜色区分共享极性特有与强度特有。
看图路径： 1. 先确认横轴是专家使用比例纵轴是三个模态；2. 再比较橙色共享段在视觉音频语言中的长度差异；3. 最后核对语言模态两类特有专家的比例是否对称
论文图 4。原论文 Fig. 4:：“Illustration of the shared and specific expert usage ratio between the polarity and intensity router on MOSI.”。
该条形图显示视觉共享约 62.8%，音频共享约 58.8%，语言共享约 51.8%，语言的两类特有各约 24.1%，3 模态共享都超过一半但语言共享最低而特有最高。由此支持的判断是方向与程度高度依赖共享信息，同时语言语义更适合拆出细粒度特有线索，音视频非言语线索更整体地同时贡献方向与程度，但这仍是相关性观察而非因果证明。
拿掉哪个部件最疼，缺模态时会怎样？
论文的消融显示只用信息瓶颈或只用混合专家都不如完整模型，去掉单模态瓶颈专家或融合模块带来较大幅度下降，去掉强度分支主要影响回归指标，去掉极性分支主要影响分类指标，去掉压缩均衡融合与难样本等损失也各有下降，说明系统是紧耦合的。但原文消融表在本次证据中无可用的结构化选择绑定，只能依据正文描述转述趋势，不应复述无逐字证据的具体差值。
模态缺失方面，论文报告全模态最优，含语言的子集下降较小，仅音频或仅视觉则大幅下降，说明语言承担极性主干，音视频更多改善强度精细度。融合专家分工方面，原文用门权重热力图说明部分专家专攻单模态，部分专家捕捉跨模态。下表整理原文连续句直接给出的融合门权重，比较问题是不同融合专家是否真的分工，公平条件是同一训练阶段的平均门权重，表中保留可运行的专家行为描述。
| 条件 | 指标 | 专家 8 语言专攻 | 专家 9 音频专攻 | 跨模态专家 11 |
|---|---|---|---|---|
| 音频隐变量权重 | 极性与强度 | 被抑制 | 0.34，0.32 | 音频 0.17，0.16 |
| 视觉隐变量权重 | 极性与强度 | 被抑制 | 被抑制 | 视觉 0.14，0.14 |
| 作用判断 | 可解释性 | 保护文本语义核心 | 分离声学信息 | 建模表情与语调关系 |
| 适用条件 | 缺模态时 | 语言缺失则该专家失效 | 音频缺失则该专家失效 | 需音视频同时可用 |
该表的主要收益是专家确实出现单模态专攻与跨模态协同两种模式，代价是这只是训练期平均权重的可视化，不能证明每一样本都如此，也未测量去掉某个融合专家后的性能损失。
未评测边界是真实缺失模态下的路由重选机制未给出延迟与稳定性数字。 导读该热力图时应先确认行是 6 类信息隐变量列是多个融合专家，颜色越深权重越大，再逐列找专攻与协同模式。
看图路径： 1. 先确认纵轴六类极性强度隐变量与横轴多个融合专家；2. 再找出只在语言行高亮而音视频行很低的专家列；3. 最后找出在音视频行同时高亮的跨模态专家列
论文图 5。原论文 Fig. 5:：“Visualization on the gating weight of informative unimodal latents routing during training for multimodal bottleneck routing fusion module..”。
该热力图显示部分列只在语言两行高亮而在音视频行很低，部分列只在音频两行高亮而在视觉行很低，另有列在音视频多行同时中等高亮，支持融合路由器把单模态精炼与跨模态协同分配给不同专家的说法。但像素不能精确读出全部数值时不应硬写，最可靠的还是原文点名的 3 个专家的权重，推广到全部专家仍待验证。
比较问题是路由器的门函数选择是否同时兼顾分类与回归，公平条件是同一 MOSI 与 SIMS 划分下的准确率与误差对照，下表整理原文连续句给出的可运行策略数值。
| 设置 | 门函数 | MOSI 分类 Acc7 与 F1 | MOSI 回归 MAE 与 Corr | SIMS 分类与回归 Acc5 与 MAE |
|---|---|---|---|---|
| Multi-gate | MLP | 51.1，89.5 | 0.598，0.873 | 44.2，0.378 |
| Multi-embed | Laplace | 51.0，89.4 | 0.581，0.877 | 43.5，0.412 |
| Multi-embed | Softmax | 50.3，89.2 | 0.625，0.853 | 42.6，0.411 |
| Multi-embed | Gaussian | 49.9，88.9 | 0.597，0.871 | 43.9，0.382 |
该表的主要收益是 Multi-gate 在分类上最优而 Laplace 在回归上占优，代价是不同门函数各有偏向不能同时拿下全部指标，未评测边界是更大规模语言模型下的路由稳定性与跨数据集泛化仍待验证。
哪些结论还不能下，缺了哪些验证？
首先缺开源与预算证据。未发现来源绑定且完成验证的资源，因此不能声称代码模型或数据已公开，复现者需按论文文字重写。训练硬件批量学习率与轮数在给定证据中未完整交代，推理开销输出帧率与实际延迟也未测量，不能承诺效率改善。其次缺统计稳健性。主结果与消融多为单点数字，未报告多次种子均值方差与显著性检验，百分点差异与相对百分比不同，跨指标差值不能混放，自动指标也不能当作人工评价。
第三缺条件一致性细节。部分基线引自原论文，部分为复现，预处理对齐与划分是否完全一致未逐项说明，跨语言与跨特征的比较只能在同数据集同特征内成立。第四缺因果证据。可视化显示专家使用从不均衡到均衡以及共享比例与门权重分工，但相关性不是因果，未测量误判率分布与难样本阈值敏感性之前，不宜把可解释性当作定位精度的保证。总体趋势不等于每组每步都成立，缺模态下的鲁棒性也只在给定子集上报告，未覆盖真实流式缺失与异步情形。
要复现应先固定什么，再补什么？
复现先做三件固定工作。第一固定数据与划分，按原文英文负 3 到正 3 中文负 1 到正 1 的范围处理标签，并按极性映射与强度取绝对值生成子任务监督，注意中性零值的处理。第二固定特征，用对应语言的预训练语言模型提文本，用 ImageBind 提音视频，并记录是否冻结与对齐方式，因为原文未明确该细节，任何假设都应在报告中写清。第三固定评估口径，英文看七分类二分类平均绝对误差与相关系数，中文看五分类三分类二分类与对应误差，核对二分类的两种划分。
方法实现上先实现单样本全路径：输入 3 路特征经极性与强度路由选 Top-k 瓶颈专家，重参数化采样得隐变量，解码得子任务预测，再把 6 类隐变量送入融合专家选 Top-K 聚合，与拼接特征残差相加后预测最终分数。损失按最终回归瓶颈压缩专家均衡融合熵正则与难样本加权求和，超参数缺失处先用小网格搜索并记录。
还需补的验证包括多次种子方差消融中去掉强度极性融合残差与各损失的完整对照，以及缺语言缺音频缺视觉 3 类测试，这些决定了分治是否真正必要。
何时值得尝试这种分治思路？
当任务同时要求方向判断与程度估计，且不同模态对两者的可靠性明显不同时，这种把标签拆成极性与强度再为每模态配两类瓶颈专家的做法值得尝试。它的可操作收获是每个模态保留两份紧凑隐变量，融合时按需组合，既能过滤背景遮挡与空白失真等噪声，又能保留笑嘴响亮音量等有效线索。若你的数据以文本为主且音频视觉噪声大，可先验证语言子集是否已接近全模态，再决定是否引入跨模态专家。
若计算预算有限，应先做多门与多嵌入的轻量对照，因为原文显示门函数影响分类与回归的不同侧面。若追求可解释定位，可统计共享与特有专家比例以及融合门权重，但需配合错误案例分析，不能只看平均权重。最后要记住缺失证据不是技术错误，没有报告的内容如训练成本延迟与统计显著性，应在自己的复现中补齐后再做选型判断。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses