📄 逐个按需取模态：SeMARC 如何边融合边决定算什么、何时停
英文题目：Efficient Multimodal Inference through Adaptive Acquisition and Sequential Fusion
标签：#音视频理解 | #动态计算与早退 | #多模态学习 | #高效推理
评分：5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.3/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5
👥 作者与机构
- Payal Mohapatra：Arm Inc., USA
- Haodong Yang：Northwestern University, USA
- Yueyuan Sui：Northwestern University, USA
- Stephen Xia：Northwestern University, USA
- Benjamin Lundell：Arm Inc., USA
- Qi Zhu：Northwestern University, USA
📌 核心摘要
多模态分类通常对每个样本编码全部可用模态，输入包含视频、音频、文本、惯性、深度等时间序列，输出为类别标签，难点在于不同样本所需证据子集不同，而提前判断需要哪些模态又不能先支付编码代价。SeMARC（Sequential Modality Aggregator with Adaptive Runtime Controller，顺序模态聚合器与自适应运行时控制器）先用已获取证据的预测决定下一个获取哪个模态或停止，每个被选分支只执行一次编码器与融合模块，未被选分支不执行。顺序模态聚合器（Sequential Modality Aggregator，SeMA）用固定数量瓶颈令牌携带历史信息，每步更新运行均值并输出前缀预测；自适应运行时控制器（Adaptive Runtime Controller，ARC）在冻结的 SeMA 上学习获取与停止策略。与已有选择方法的区别在于选择发生在编码前且复用历史计算，同时用随机子集与随机顺序的前缀监督鼓励同集合不同顺序预测一致。在 6 个多模态分类数据集上，相对每个数据集最准确基线，SeMARC 平均宏 F1（macro-F1）提高约 3.2%，总推理 GFLOPs 平均降低 61.4%。摘要报告 GPU 与 CPU 端到端延迟平均下降 44.0%，Android INT8 平均下降 47.2%，比较对象为每个条件下实测最快的基线。结论适用于按样本分类、批量为 1、模态成本固定的推理设置；附录指出紧凑状态控制依赖奖励与转移近似假设，拟合后神经控制器的假设检验仍待完成。原文未披露训练成本，推理成本以 GFLOPs、延迟与能量形式报告。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
多模态推理为什么会算得多：输入、目标与代价在哪
这篇论文研究的是多模态分类在推理阶段的效率问题。输入是同一个样本的多路时间序列或派生特征，例如视频、音频、文本、动捕、惯性、深度、无线信号等，目标是对每个样本输出 1 个类别标签，评价用宏 F1，即先在每个类别上算 F1 再平均，类别不均衡时它比整体准确率更能反映少数类。必须保留的信息是已获得证据带来的判别能力，输出除了标签还包括实际执行的计算路径。代价主要来自两段：把原始流变成特征的提取段，以及编码器加融合段。
传统做法是把可用模态全部编码再融合，即使其中一部分已足够判断，提取段的大模型开销依然要付。论文的切入点是把选择提前到编码之前，每个样本按需逐个取模态，够用就停，未被选分支连编码器都不跑。理解后文的关键是区分 3 种时机：全量融合是什么都算，先编码后选择是省了下游但提取费已付，按需采集是连提取费一起省。读下图时注意左侧两种浪费路径与右侧逐个点亮路径的箭头差异，以及右下散点里星形相对其他方法的位置含义。
SeMA × ARC： SeMA 是负责增量融合与预测的执行部件，每次只跑被选中的编码器和融合分支并更新固定大小的状态；ARC 是负责决策的控制部件，根据已获得证据和可用性选择下一个模态或停止。二者搭配的意义是决策发生在执行之前，未被选分支完全不执行，已有计算被复用，从而把选择直接转化为算力节省。
下图展示了选择时机不同带来的代价差异，左侧为全量与后选择，右侧为按需采集与提前退出的循环，右下为延迟与能量的相对位置。
看图路径： 1. 先看左侧整体融合与先编码后选择两条路径的箭头走向；2. 再看右侧 ARC 逐个点亮分支与最后退出的循环；3. 对照右下散点中星形与其他标记的延迟与能量相对位置
论文图 1。原论文 Figure 1:：“Select before processing to avoid its cost.”。
图 1 把 3 条路线并排放一起。左侧整体融合要求每个模态都进融合，中间先编码后选择虽然下游可以丢弃，但编码表示已经算过。右侧是本文路线，控制器每次选一个可用模态，聚合器只执行该分支并更新状态，预测更新后再决定继续或退出。右下散点以每次推理延迟为横轴、能量为纵轴，星形在左下且标注更高 F1，直观含义是在该展示条件下更少延迟与能量对应不更差的判别效果。但这只是单数据集展示，跨数据集平均与缺失条件下的结论需要看后文表格的参照对象和聚合方式，不能把一张图的相对位置推广为所有条件。
已有路线在比什么：省下游、补缺失与按需采集有何不同
要读懂贡献，先把相关工作按输入、目标和运行阶段对齐。第一类是高效与缺失鲁棒融合，例如用瓶颈标记限制跨模态通信，或处理不完整输入、提前退出、恢复可靠模态。这类方法大多仍以全量可用输入为起点，省的是层间或融合内部计算，而不是跳过整个模态分支的提取。第二类是选择性融合，例如从轻量预览选模态、门控融合路径、在音频优先层级里门控昂贵模态。
这类方法按样本做选择，但选择依据常需要先看到被解释输入的特征或预览，被舍弃模态的特征代价已经发生。第三类是自适应采集，例如把每个特征组当作可查询项，学习查询顺序、停止与分类，或按估计效用迭代取未观测子集。这类方法回答取什么、何时停，但不一定复用跨步的多模态计算，也可能一次取多个子集或面向固定时域。
本文的差异是把采集与增量融合耦合：每次决策只取一个完整模态分支，决策依据是已融合前缀的预测摘要，执行后复用瓶颈与读出均值，不重跑历史分支。比较时要注意动作空间不同：一次取一个与一次取多个子集的步数和代价口径不可直接比；是否读取中间预测、是否重跑主干、是否屏蔽不可用动作，这些运行约束一致才能谈优劣。
样本级差异从哪来：为什么固定子集不够
论文用 IEMOCAP 上的类别条件 Shapley 贡献说明固定子集的局限。IEMOCAP 保留 4 类情绪 neutral、angry、happy 和 sad，横轴是某模态对预测的贡献，纵轴按模态排列，分四列情绪类别展示样本分布。同类别内样本点的分散程度表明同一标签下不同样本依赖的模态不同，跨列比较则表明不同类别依赖的主导模态也不同。例如文本在多列中向右拖尾更明显，意味着不少样本中文本提供较强正贡献，但仍有样本落在零附近或负侧，需要其他模态补充。
这类事后归因依赖真值或完整输入，只能说明存在样本级差异，不能直接当作运行时决策依据。运行时只能用已采集证据估计未采集模态的价值，还要处理增量融合带来的顺序依赖：同一集合按不同顺序进融合可能得到不同预测，若要显式区分历史，理论上要面对阶乘级路径。因此问题被表述为在不看未采集输入、不保留完整顺序的前提下，用紧凑摘要做下一个模态或停止的选择，并让摘要在不同顺序下尽量一致。
下图按类别展示贡献分布，读图时先分列看类别，再分行看模态，最后看同格内样本点的分散程度。
下图按 4 个情绪类别展示 6 个模态的逐样本贡献分布，有助于理解为何数据集级固定预算难以覆盖所有样本。
看图路径： 1. 按四列情绪类别分别看各行模态的分布分散程度；2. 注意文本行在多列中向右拖尾更明显的样本点；3. 比较同一类别内不同样本点的正负贡献差异
论文图 2。原论文 Figure 2:：“Modality contributions vary across samples. Class-wise Shapley contributions on IEMOCAP motivate sample-adaptive acquisition.”。
图 2 中每列是一个情绪类别，每行是一个模态，点是样本，横轴是 Shapley 贡献。可见文本在多个类别中右侧红色点更集中，但视频、音频与动捕在不同列和同列不同样本间也有明显变化。这支持按样本自适应采集的动机，但它本身是事后分析，不是控制器可用的在线信号。在运行时，控制器只能看到已采集前缀的预测、已采集合与可用掩码，因此后文需要用随机顺序训练加前缀监督来缩小顺序分歧，再用离线增益表加残差学习来估计下一步价值。
SeMARC 整体跑一遍：先选再算、算完再选
SeMARC 由两部分组成。顺序模态聚合器 SeMA 负责执行与预测，自适应运行时控制器 ARC 负责决策。运行时从可用集合出发，先按离线估计的人群 Shapley 值取第一个模态，避免冷启动时无证据可选。SeMA 执行该分支的输入投影、编码器与融合模块，更新瓶颈状态与读出均值，给出当前前缀预测。ARC 根据该预测、已采掩码、可用掩码及熵与间隔等摘要打分，在剩余可用模态与停止之间取最大值对应的动作。
若继续，则只执行新选分支并更新已有聚合，不重跑历史；若停止，则直接返回当前预测类别。当可用模态全部取完时停止是唯一合法动作。训练分 2 个阶段：先训 SeMA，经历模态丢弃课程与随机顺序前缀监督；再冻结 SeMA，用缓存的前缀预测拟合 ARC 的先验增益表与残差网络。
这种先选再算、算完再选的循环把计算量与样本难度挂钩：简单样本早停，困难样本多取。代价是引入了顺序敏感与估计误差，需要训练与理论分析来约束。
SeMA 如何增量融合：瓶颈、分支与均值更新
SeMA 把瓶颈注意力改造为顺序执行。每个模态有自己的输入投影、编码器与融合模块。状态是固定数量的瓶颈标记，与当前模态标记一起送入被选分支的融合 Transformer，得到瓶颈提议与融合后模态标记。首步直接用提议初始化，后续用运行均值更新瓶颈，即把历次提议平均；读出侧把每次融合后标记平均成模态摘要，再做运行均值后送共享分类器得到前缀概率。
关键是每次只执行被选分支，历史编码器与融合分支不重跑，状态大小不随已采数增长。瓶颈放在模态标记之前在预实验中更好，论文报告前置优于后置。均值更新本身不带来置换不变性，因为每个提议依赖此前瓶颈状态，顺序仍可能影响预测，这正是后文要用随机顺序与蒸馏来缓解的原因。控制器看到的预测来自真实走过的那条路径，推理时不会枚举所有顺序。
前缀预测 × 顺序鲁棒性： 前缀预测指处理完已采集有序前缀后给出的分类概率；顺序鲁棒性指同一已采集集合按不同顺序处理时预测保持一致。SeMA 用随机子集与随机顺序加前缀监督来逼近这一性质，目的是让 ARC 不必记住阶乘级历史，只用集合身份加预测摘要做决策。
顺序分歧的上界把多余前缀风险与不同顺序预测差异联系起来，风险越小，同一证据下不同顺序的预测在平均意义上越接近共同后验。
\[\mathbb{E}\!\left[\operatorname{TV}(p_{S}^{\sigma},p_{S}^{\tau})\right]\leq\sqrt{2\epsilon_{S}},\]动作值被写成固定先验加可训练残差，部署前残差输出零初始化，使初始策略恰为先验，再逐步修正。
\[Q_{\theta}(\bm{\psi}_{s},a)=Q_{0}(\bm{\psi}_{s},a)+u_{\theta}(\bm{\psi}_{s},a).\]离线增益表按类别平均正确率差定义，刻画在某集合下再加一个模态的平均好处，顺序平均后得到集合效用。
\[[\bm{T}_{S}]_{c,j}=\mathbb{E}_{i}\!\left[v_{i}(S\cup\{j\})-v_{i}(S)\mid y_{i}=c\right],\qquad v_{i}(S)=\frac{1}{|\Pi(S)|}\sum_{\pi\in\Pi(S)}\mathbb{1}[\hat{y}_{i}(S,\pi)=y_{i}].\]均匀代价下先验把当前置信、后验加权增益与采集价格相加，停止值只取当前置信，屏蔽已采与不可用动作。
\[Q_{0}^{(\lambda)}(\bm{\psi}_{s},j)=\max_{c}p_{s,c}+[p_{s}^{\top}\bm{T}_{S_{s}}]_{j}-\frac{\lambda}{|\mathcal{A}|},\qquad Q_{0}^{(\lambda)}(\bm{\psi}_{s},\textsc{stop})=\max_{c}p_{s,c},\]这几式分工明确：总量损失管顺序鲁棒的训练目标，分歧界解释为何前缀监督有效，增益表提供可解释的先验来源，先验加残差决定在线打分形式。实现上先验来自缓存统计，残差是约 6000 参数的小网络，每步只增加约 0.1 毫秒量级的查表与前向，这是把选择转化为延迟收益的前提。
ARC 看什么做决策：状态、先验与残差如何分工
ARC 的状态不保留完整顺序，只包含已采掩码、可用掩码、当前后验、熵、前二间隔、已采比例与可用比例。这样的紧凑状态能否支持控制，论文用近似信息状态框架给出条件：停止奖励近似与给定动作下转移近似要足够好，否则紧凑会丢信息。先验部分按类别条件增益表计算：对每个已采集合统计加上某模态后正确率的平均提升，再用当前后验加权得到条件期望增益，加上当前置信减去采集价格；停止动作的值就是当前置信。
残差网络输入该状态，输出对每个动作的修正，与先验相加得到最终动作值，用 Double-DQN 目标做拟合 Q 迭代，只更新残差。停止的即时回报用类别频率倒数归一化的加权正确示性，采集代价按可用数归一化，回报无折扣。训练时用 Bernoulli 缺失增强使策略见过多种可用模式，部署时不可用动作被屏蔽。
边际效用先验 × 残差拟合 Q 学习： 边际效用先验是离线估计的集合依赖打分，反映在某已采集集合下再加一个模态对正确率的类别条件平均增益减去代价；残差拟合 Q 学习是在冻结先验输出零初始化的基础上，只训练一个小残差网络去拟合多步回报。搭配后先验决定大概买多少证据，残差修正何时停和买哪个，训练稳定且推理每步只多一次查表加一次小网络前向。
这种设计的实际含义是先验管买多少，残差管买哪个与何时停。消融显示去掉先验会欠采集并掉点，只给掩码或只给后验摘要也会掉点，说明停止时机更依赖后验摘要，而买哪个需要掩码细化。代价侧权重可按提取耗时设置，把价格集中到昂贵模态上，从而在同一价格参数下跳过视频等大头而保留廉价有效模态，但这属于成本加权变体，不是默认均匀代价的结果，比较时要注明。
两阶段如何训练：课程、随机顺序与同前向蒸馏
训练先做 SeMA 再做 ARC。SeMA 训练用模态丢弃课程：先全模态热身若干轮，再线性增大丢弃概率后固定，每次前向采样非空保留集并均匀随机排列。对每个前缀都给分类监督，同时把同一次前向中处理完保留集的预测分离梯度后作为蒸馏目标，让各前缀向完整前缀看齐。直观上随机子集暴露不同集合，随机顺序暴露同一集合的不同路径，前缀监督把它们拉向共同标签分布，蒸馏在完整目标稳定时进一步传递稳定性。
ARC 训练时主干冻结，先在验证集上跑遍所有有序前缀建成缓存，再按集合分组估计类别条件增益表。验证集再切分为拟合与留出，拟合部分学表与残差，留出部分选迭代轮与种子，测试集只用一次报数。拟合 Q 每次重算可达三元组的 Bellman 目标，在线网选下一动作、目标网评估，回归目标减去先验后只学残差。首个模态按人群 Shapley 在可用中选最高者。
下图展示了左侧 SeMA 课程训练与右侧 ARC 三步拟合的流程，读图时注意冻结与训练的火焰雪花标记区分，以及缓存只建一次、策略拟合不再重跑主干。
下图左侧为 SeMA 的丢弃加随机顺序课程与前缀读出，右侧为冻结主干后构建先验、合并残差与拟合缓存转移的三步。
看图路径： 1. 先沿左侧课程与随机顺序箭头看到逐层前缀读出；2. 再看右侧先验构建中按集合分组估计增益的方框；3. 最后看先验加残差合并与拟合 Q 回归的更新回路
论文图 3。原论文 Figure 3:：“SeMARC training. (a) SeMA learns prefix predictions p_s under modality dropout and randomized orders, with classification supervision and same-forward distillation from detached…”。
图 3 左侧输入经各模态编码器进入顺序融合，紫色瓶颈标记逐层更新，每步读出前缀预测，损失同时看完整前缀、所有前缀与同前向蒸馏。右侧先把有序前缀缓存按集合分组得到类别乘模态增益表，再把状态、先验公式与零初始化残差相加得到动作值，最后用缓存转移做 Double-DQN 目标的拟合 Q 回归，停止用终止回报。火焰表示训练，雪花表示冻结。该流程的复现要点是缓存覆盖全部有序前缀、验证集切分固定、部署价格与训练价格一致，否则先验与目标的价格口径会对不上。
总损失由完整保留前缀交叉熵、所有前缀平均监督与指向同前向完整预测的 KL 三项组成，权重控制前缀监督与蒸馏强度。
\[\mathcal{L}_{c}=\ell(\bm{o}_{n},y)+\frac{\lambda_{\mathrm{ds}}}{n}\sum_{s=1}^{n}\ell(\bm{o}_{s},y)+\frac{\lambda_{\mathrm{kd}}}{n}\sum_{s=1}^{n}\operatorname{KL}(\bar{p}\,\|\,p_{s}).\]该式中第一项保完整集判别力，第二项让早停可用的前缀也校准，第三项在完整目标稳定时把稳定性传给前缀。实现细节如学习率余弦退火、梯度裁剪、类别加权只在 IEMOCAP 使用等按数据集配置，消融表明去掉丢弃课程对控制器影响最大，因为 ARC 常停的前缀若没见过就会失准。
在什么条件下测：数据、划分、基线与指标口径
实验覆盖 6 个多模态时间序列分类基准，模态数三到七不等，类别数四到二十七不等，其中 IEMOCAP 为 4 类情绪，MM-Fi 为 27 个动作。划分均为跨被试，训练验证测试主体不重叠，其中 EAV 是三次独立随机跨被试切分，测试主体可跨轮重叠，标准差反映切分间波动。特征来自冻结提取器或原始流再对齐到统一长度，提取器训练与部署权重一致。
基线 11 类按选择时机分组：全量融合、固定顺序、多类选择性融合与主动采集，全部在相同特征、相同跨被试折与相同缺失掩码下跑，缺失时都跳过原始提取，但下游零填充是否仍跑编码器按方法区分，自适应方法屏蔽不可用动作。指标方向是宏 F1 越高越好，总 GFLOPs、融合后 GFLOPs、延迟与能量越低越好。GFLOPs 用工具计数乘加为一次，提取按实际读取单元乘单价，跳过即不计。模态利用率分母用当前可用数，全用即为 1。
延迟在 GPU、CPU 与手机 INT8 上端到端计时，手机只测每折前 50 条，服务端用全测试集，因此两处宏 F1 描述的总体不同。
总 GFLOPs × 融合后 GFLOPs： 总 GFLOPs 指从原始数据到 logits 的端到端代价，包含特征提取、编码融合与控制器开销；融合后 GFLOPs 指原文记为 GFf 的编码后到 logits 阶段代价。二者分开是因为大模型提取常占主导，只看融合阶段会低估按需采集的真实节省，也会误判缺失实验中节省的来源。
复现时要保留三处口径：折内宏 F1 用默认零除规则后三折等权平均；聚合比较先取每数据集最准基线再六数据集等权平均；缺失用固定种子独立丢弃并保证每样本至少剩一个模态。成本加权、均匀代价与缺失增强的设置不同，结果不能混放。
全量可用时精度与算力如何：平均增益与两个实例
全量可用下论文报告的平均结论是相对每数据集最准基线，SeMARC 宏 F1 平均高约 3.2%，总 GFLOPs 平均低 61.4%，延迟在 GPU 加 CPU 平均降 44.0%，手机 INT8 平均降 47.2%。这些是六数据集等权平均的相对值，参照物是每条件最优基线，不是固定某个基线。平均约用 47.9% 可用模态是节省的直接来源。理解时要区分相对百分比与百分点：3.2% 是相对提升，不是 3.2 个百分点。
下表整理总体平均的精度、算力与延迟幅度，比较问题是同折同特征下相对最强参照能省多少，指标方向为 F1 越高越好、代价越低越好。
| 场景 | 指标 | 参照 | SeMARC 幅度 | 口径 |
|---|---|---|---|---|
| 六数据集平均 | 宏 F1 | 每数据集最准基线 | 高 3.2% | 相对提升 |
| 六数据集平均 | 总 GFLOPs | 每数据集最准基线 | 低 61.4% | 相对降低 |
| GPU 加 CPU 平均 | 端到端延迟 | 每次最快基线 | 低 44.0% | 实测延迟 |
| 手机 INT8 平均 | 端到端延迟 | 每次最快基线 | 低 47.2% | 实测延迟 |
上表说明节省不是单点运气，而是跨数据集与跨平台的平均趋势，但它依赖每条件取最优参照的聚合方式，换参照或换权重会变。限制是 CMI 上 F1 略低于最准基线，说明并非 6 个全胜，平均提升来自多数数据集的综合。
下表给出两个极端实例的对照，比较问题是提取主导与轻量传感两种成本结构下节省形态有何不同。
| 数据集 | 基线 F1 | SeMARC F1 | 基线总 GFLOPs | SeMARC 总 GFLOPs | 融合后 GFLOPs |
|---|---|---|---|---|---|
| CMI 实例 | 0.561 | 0.556 | 23.33 | 0.43 | 需看原文 |
| MM-Fi 实例 | AdaMML 参照 | 0.95 量级 | 18098 | 738 | 0.17 对 0.07 |
上表第二行需结合正文：CMI 上 F1 为 0.556 对 0.561，总算力从 23.33 降到 0.43，精度略低但算力大幅低，说明轻量传感下融合选择仍有意义。MM-Fi 上总算力从 18098 降到 738，约降 95.9%，融合后为 0.17 对 0.07，说明大头是跳过提取，融合本身都很小。若只看融合后会低估真实延迟收益，也会误以为方法只优化了融合。未胜出项是 CMI 精度第二，EAV 等 3 模态上可权衡空间小，这些边界在后文诊断中继续出现。
缺失与延迟能量下还成立吗：按需跳过的证据
缺失实验把每个模态按 10% 到 40% 独立丢弃并保证每样本至少剩一个，所有方法看同一掩码，主干与策略都不变。结论是 SeMARC 在 24 个条件中 21 个达到或超过最优基线宏 F1，总 GFLOPs 平均低 14.8%，融合后平均低 38.4%，相对每条件最优基线宏 F1 平均高 3.6%。在 IEMOCAP 上加 ARC 相对只用 SeMA 全量，融合后降 34.9% 到 50.0%，总降 50.5% 到 63.9%，宏 F1 至多降 0.03，说明节省来自主动跳过可用模态而不只是缺失本身。延迟能量上 IEMOCAP 展示最高 F1 且约一半延迟，GPU 与手机能量分别比最低基线低 50.9% 与 41.9%，跨套件 16 或 18 条件中最快，手机 6 个全最低。但 CMI 因提取本就廉价、CZU 因深度流每样本必取，延迟优势会收窄，这是成本结构决定的，不是方法失效。
下表整理缺失下的总体对照，比较问题是缺失时主动选择是否还有额外节省，公平条件是同一掩码与同一检查点。
| 缺失范围 | 精度对照 | 总 GFLOPs 对照 | 融合后 GFLOPs 对照 | IEMOCAP 加 ARC 效果 |
|---|---|---|---|---|
| IEMOCAP 全缺失段 | 至多降 0.03 | 总降 50% 到 60% | 融合后降 30% 到 50% | 保持主干质量 |
| 适用边界 | CZU 略增代价 | EAV 小模态空间小 | CMI 提取廉价 | 需看成本结构 |
上表显示缺失下仍是左上占优，但 40% 时 CZU 总代价相对最优基线略增，说明当主导模态不可替代时跳过空间消失。限制是缺失为仿真独立丢弃，不是真实传感器失效相关性；手机精度与服务端精度总体不同，不能直接比数字。
模态利用率 × 停止动作： 模态利用率指实际采集集合占当前可用集合的比例；停止动作是 ARC 的可选动作，选停即用当前前缀预测输出。利用率把节省量化为少用了多少可用模态，停止动作是实现该节省的机制，去掉它精度可能略升但代价回到全量，这是理解精度与代价权衡的关键。
诊断还显示类别间平均采集数差异明显，通用探针模态几乎必取，其余按类补充；3 模态的 EAV 采集数在 1.12 到 1.25 之间，可权衡空间天然小。这解释了为何平均节省大但个别数据集提升有限。
拿掉哪部分最伤：控制器、先验与顺序训练的对照
消融在 IEMOCAP 全量下每次只改一处。去掉 Q 先验掉 1.47%，改固定顺序训练掉 3.69%，瓶颈后置掉 3.54%，只留完整前缀交叉熵掉 2.46%。去掉停止时宏 F1 约 0.67 不变但利用率从 0.65 到 1.00，融合后增 53%，说明精度持平是以全量为代价。静态 Shapley 加置信退出掉 3.68%，只把学习停止换成置信退出掉 3.44%，说明学习控制器比单部件更重要。只给掩码掉 3.44% 且多采，只给后验摘要仅掉 0.49% 但更贵，说明后验管何时停、掩码管买哪个。
固定 SeMA 时 ARC 均值 0.77 高于 EAMA 的 0.74、联合采集的 0.75 与静态选择的 0.73，延迟上 EAMA 更快但精度低，联合采集更慢。消融的完整数字见后表，顺序鲁棒性的直接证据见下图，读图时注意纵轴是相对子集均值的宏 F1 偏离，横轴是固定子集大小。
下图横轴为固定子集的模态数，纵轴为同一子集不同采集顺序下宏 F1 相对均值的偏离，用于比较随机顺序训练与固定顺序训练的顺序分歧。
看图路径： 1. 横轴按固定子集大小从小到大比较两类点的散开程度；2. 注意随机顺序训练点集中在零线附近而固定顺序点更分散；3. 观察子集变大时固定顺序点的上下偏离是否进一步拉大
论文图 4。原论文 Figure 4:：“Macro-F1 deviation from the mean across acquisition orders of each fixed modality subset.”。
图 4 横轴是固定子集大小，纵轴是相对子集均值的宏 F1 偏离。随机顺序训练点集中在零线附近，固定顺序训练点上下散开且随子集增大更散，说明随机顺序训练缩小了同集合不同顺序的预测分歧。这与命题的含义一致：多余前缀风险小则顺序分歧上界小。但这是分布证据而非逐样本保证，也不是对隐藏状态一致的度量，不能读成所有顺序输出完全相同。
下表整理关键消融与替换的数字对照，比较问题是同主干同折下控制器与训练的各自贡献，指标方向为 F1 越高越好、代价越低越好。
| 改动 | F1 变化 | 代价变化 | 同主干对照 | 含义 |
|---|---|---|---|---|
| 去 Q 先验 | 降 1.47% | 利用率 0.56 对 0.65 | 欠采集 | 先验定购买量 |
| 固定顺序训练 | 降 3.69% | 利用率 0.79 | 更贵更差 | 顺序鲁棒关键 |
| 瓶颈后置 | 降 3.54% | 利用率 0.67 | 前置更好 | 结构非对称 |
| 只留完整前缀监督 | 降 2.46% | 利用率 0.72 | 前缀需校准 | 早停依赖它 |
| 去停止 | 约 0.67 不变 | 利用率到 1.00 | 融合后增五成 | 精度持平无意义 |
| ARC 对 EAMA 等 | 0.77 对 0.74 等 | 延迟居中 | 精度最高 | 耦合设计占优 |
上表表明最大单项是丢弃课程缺失在带控制器时掉 4.76%，主干单独只掉 1.4 点，因为 ARC 常停的前缀恰是没见过的。限制是消融只在 IEMOCAP 全量下做，跨数据集幅度会变；可学习聚合微增 0.14% 在折标准差内，不能读成稳定改进。
结论的边界在哪：还没测什么、什么会变
论文明确把评估限定为逐样本分类、固定模态成本与批量为 1 推理。紧凑状态的保证依赖奖励与转移近似假设，神经控制器的拟合误差尚未纳入验证。成本加权显示把价格集中到视频上可在 IEMOCAP 保持约 0.67 而延迟从 745 毫秒到 87 毫秒，但这是调代价权重与价格参数的结果，不是默认均匀策略的免费提升。缺失为仿真独立丢弃，真实相关失效、时变价格、批调度与跨样本记忆都未测。量化部署用后训练量化无微调，手机与服务端总体不同，精度数字不能跨总体比较。
还有三处易误解：总 GFLOPs 与融合后不能互换；相对百分比与百分点不能混读；搜索选出的最优顺序或知道答案的上限不能当部署收益。未胜出项包括 CMI 精度略低、CZU 深度必取导致延迟持平、EAV 3 模态空间小，这些恰好说明自适应采集需要可权衡的成本不均与信息冗余，条件不满足时收益自然小。
复现第一步做什么：数据、缓存与价格口径
复现先按跨被试折准备特征与掩码，IEMOCAP 4 类不均衡需保留类别加权，MM-Fi 等需保留原文的验证扩充与重平衡说明。SeMA 按数据集配置训一折一 checkpoint，用验证宏 F1 选轮，保留随机种子与丢弃热身斜坡。冻结后对每切分跑遍全部有序前缀建缓存，节点数随模态数阶乘增长，IEMOCAP 6 模态为 1957 节点，7 模态为 13700 节点，策略拟合只读缓存不再重跑主干。验证集固定切拟合与留出，增益表与残差在拟合上学，留出选迭代，测试只用一次。
部署价格与训练价格必须一致，均匀时为除以可用数，加权时按提取耗时幂加权且全采总价仍为同一参数。延迟测量从读原始文件到返回 logits，GPU 需同步，手机用同一设备与同样本，量化校准只用验证。未发现来源绑定且完成验证的资源，不得声称代码模型数据已公开，来源未确认不代表技术有问题，需要补的是按原文重建特征与缓存，而非直接找开关。
什么时候值得试、还需补哪项验证
当多模态中有昂贵提取大头且信息重叠、样本难度差异大、批量为 1 延迟敏感时值得试，例如视频加音频文本的情绪或动作分类。第一步是先训顺序鲁棒的增量主干并建有序前缀缓存，再在验证上拟合先验加残差的小控制器。还需补的验证是真实缺失相关性下的稳定性、时变成本与批调度下的策略、以及紧凑状态假设的经验检验。若成本本就均匀廉价或主导模态不可替代，预期节省会小，此时应先看类别条件采集与成本分散情况，再决定是否引入按需采集。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses