📄 缺模态时单模态模型还能协作吗：Lluna 的私有预测与公共残差协作
英文题目：Lluna: Collaborative Unimodal Models for Missing-Modality Inference
评分：7.7/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.4/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Haoyue Bai：机构信息未能在本次解析中与作者逐人可靠绑定
- Yinyi Luo：机构信息未能在本次解析中与作者逐人可靠绑定
- Heqing Huang：机构信息未能在本次解析中与作者逐人可靠绑定
- Xiaoyuan Yi：机构信息未能在本次解析中与作者逐人可靠绑定
- James Evans：机构信息未能在本次解析中与作者逐人可靠绑定
- Jindong Wang：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
输入是模态部分缺失的测试样本，输出是情感回归与分类、场景问答或医学预测的标签，难点在于缺失同时改变可用证据和可参与协作的模型集合，协作表示会漂移并可能不如输入未变的存活单模态模型。Lluna 先用模型专用适配器把冻结单模态特征映射为私有特征，私有头直接给出基础预测；共享对齐器把私有特征送入公共分支，在按预测一致性构建的兼容图上做消息传递和注意力池化得到公共共识，再经公共头输出残差校正。训练沿单模态移除链采样相邻状态，用渐进协作一致性让较丰富状态的归一化公共表示指导较贫乏状态，同时保留任务监督以适应剩余证据。与单体多模态预测器和常规协作相比，该设计保留了模态特有信息的直接通路，又用局部一致约束组织跨状态协作。在 8 个数据集上，Lluna 在非全输入状态平均的缺失平均指标上相对最强基线平均提升 4.26%，适用范围限于已知可用状态的整模态移除。原文未披露训练、推理或部署的耗时与算力成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/AIFrontierLab/Lluna — 链接可访问（HTTP 200）；README 已验证包含安装、推理与微调文档
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决的缺模态推理是什么任务
任务的输入是一组来自不同模态的观测，例如情感任务中的文本、语音和人脸视频，场景问答中的音频、视频和字幕，以及医疗任务中的磁共振、PET 和临床量表或 4 个听诊部位。目标是在测试时某些模态整体缺失的情况下仍给出预测，缺失以整模态为单位并且已知哪些可用。必须保留的信息是剩余模态的证据和任务上下文，例如问答的题干选项在场景任务中始终保留，医疗中允许的人口学模板也保留。
输出是回归值或类别预测，情感强度用平均绝对误差衡量，情绪、幽默和问答用准确率或加权 F1 衡量，心音杂音和轻度认知障碍转归用平衡准确率衡量。论文研究的是另一条路线：不重新训练一个统一多模态大模型，而是把已经独立预训练好的单模态模型冻结起来，通过协作完成缺模态推理。这种设定对研究生很直观，就像手头已有多个单科专家，缺人时仍要合议，但合议规则本身可能在人少时失效。
已有路线在相同输入输出下做了什么
在输入、目标和运行阶段相同的条件下，已有缺模态方法大多训练单个多模态预测器，常见做法包括训练时随机丢模态、只聚合可用表示、或建模共享与特有成分。论文把这类方法作为同池对照，例如在相同冻结特征和相同缺失掩码下比较缺失模态专用机制。
另一类是通用协作方法，例如平均集成、对数几率堆叠、拼接多层感知机、注意力池化、混合专家和集合变换器等，它们同样接收冻结单模态特征并在完整或缺失视图下训练，但没有专门为缺失状态设计跨状态约束。第三类是直接处理原始缺失输入的 Omni 模型，骨干冻结，只在完整输入上拟合任务头，再在各缺失状态下测试。
论文没有把类别不同直接当成优劣，而是让前两类共享 9 模型池、相同数据划分和相同可用掩码，只保留各自的协作或缺失机制，再比较缺失状态的平均性能。这样读者才能把性能差异归因于协作方式，而不是上游编码器或数据不同。
协作为什么会在模态变少时变差
论文先用固定存活锚做诊断。做法是为每个模态选一个单模态参考模型并固定其预测，然后在保留该模态的各状态下用协作准确率减去锚准确率，差值为正表示协作仍有帮助，为负表示协作不如只看剩下的单模态模型。结果是常规协作的增益随移除增多而下降，在最小输入下 8 个任务中有 6 个为负。也就是说锚自己的输入没变，但协作输出变差了。论文还做了两个配套诊断。
一是私有信号可恢复性：用其他模态预测某模态特征的残差作为模态特有目标，再用线性探针分别从单独模态表示和完全协作表示中解码该残差，发现协作后分数下降。二是协作表示随状态的变化：同一条样本在相邻状态与从全模态到最小状态之间的余弦距离，后者更大。这些现象共同指向两个具体困难：协作可能覆盖模态特有证据，以及不同缺失状态的公共表示缺乏协调。
下面这张动机图把 3 个诊断放在一起，读图时先分清左中右三列各自的纵轴含义，再看随缺失加重的趋势。
看图路径： 1. 先看左列三行曲线：随移除增多常规协作与 Lluna 的增益如何分叉；2. 再看中列条形：单独模态与完全协作后线性可恢复分数的落差；3. 最后看右列条形：移除一个与移除两个模态时表示距离的差别
论文图 1。原论文 Figure 1:：“Collaboration under missing modalities.”。
左列三行分别对应情感、场景和医疗领域，横轴是从全模态到去掉一个再到去掉两个，纵轴是相对固定单模态锚的准确率增益。常规协作虚线明显下行，医疗在全模态时已为负；Lluna 实线下降更缓并保持为正。中列用跑步者例子说明文本成就感、语音宽慰感和视频费力感互补，条形显示单独模态线性探针分数高于完全协作后。右列显示只差一个模态的相邻状态距离小于从全模态到最小状态的距离。图注明确中列是注意力池化的私有信号恢复，右列是 6 个 3 模态任务的平均，细节在附录诊断部分。
Lluna 的整体流程是什么
Lluna 的输入处理分三步。第一步是冻结特征加适配：每个冻结单模态模型的特征先经过各自的可训练适配器，得到私有特征和对齐特征，缺失模型的位置补零并附带可用指示。第二步是两条通路并行：私有通路直接用拼接后的私有特征做基础预测，公共通路在对齐特征上按兼容图做消息传递并池化成共识，再输出残差修正。第三步是相加得到最终预测，公共修正乘以一个可学习的缩放。
训练时除了各状态的任务监督和公共头的辅助监督，还沿单模态移除链对相邻状态的归一化公共共识做由富到贫的一致性约束。推理时只计算观测到的那个状态，不需要枚举所有缺失组合。整个设计可以理解为先保证每份剩余证据能直达预测，再让跨模型交互只负责修正，并用局部跨状态指导保持公共表示稳定。
冻结单模态模型 × 适配器： 冻结单模态模型指文本、音频、视觉等各模态已预训练好的编码器在协作阶段参数不再更新，只提供特征；适配器是每个模型后面接的可训练投影，把异构特征映射到可比的私有特征和对齐特征。两者搭配的意义是保留已有预训练能力的同时，只用少量可训练参数解决跨模型维度与分布不一致，组合后协作模块只在适配后空间里做预测与交互。
下面这张总览图展示了从兼容图构建到两路协作再到一致性训练的走向，建议沿箭头先看主路径再看残差相加点。
看图路径： 1. 沿左上到右上看兼容图如何从训练预测得到交互权重；2. 沿左下到右下看私有拼接预测与公共图池化残差在哪里相加；3. 看右侧链条：丰富状态与贫乏状态的对齐方向和分离位置
论文图 2。原论文 Figure 2:：“Overview of Lluna. (a) Compatibility graph building using training-partition prediction agreement.”。
面板 a 显示用部分训练数据的模型预测一致与冲突来得到交互权重矩阵。面板 b 左侧冻结模型输出特征后接可训练适配器，中间公共路径经过对齐、图消息和池化得到共识，底部私有路径把拼接特征送入私有头，两者在右下角按公式相加。面板 c 显示从 3 模态到 2 模态再到单模态的采样链，丰富端分离后指导贫乏端。图注说明推理只用观测状态，T/A/V 表示文本音频视觉。
私有预测和公共残差各自算什么
对一个样本，设第 i 个模型的适配后私有特征为向量，公共分支池化后的共识为向量。私有头是多层感知机，读取按固定模型顺序拼接的私有特征，缺失槽为零，同时接收可用指示，形成基础预测。公共分支先对对齐特征做若干层图消息更新，每层按兼容图的归一化入边加权聚合邻居消息并经门控和层归一化，再用注意力池化得到共识。公共头把共识映射为残差修正，最终预测是两者相加并对公共部分乘以双曲正切缩放。
这种分解的实际作用是分工明确：私有部分负责把剩余证据直接变成答案，公共部分负责在模型间交换后给出修正，缩放则让模型自己学公共修正该占多大比重。论文的消融显示去掉任一条通路都会使缺失平均性能在 8 个任务上都变差，在 ADNI 上去掉私有通路下降尤其大，说明两条路互补而不是重复。
\[\widehat{\mathbf{y}}=g_{\mathrm{priv}}([\mathbf{p}_{1};\ldots;\mathbf{p}_{N}])+\tanh(s)\,g_{\mathrm{com}}(\mathbf{z}),\]私有预测通路 × 公共协作分支： 私有预测通路是直接把各模型适配后特征按固定顺序拼接后送入多层感知机得到基础预测，作用是保留模态特有证据；公共协作分支是把对齐特征放在兼容图上做消息传递再池化成共识后输出残差修正，作用是提取跨模型可共享的修正量。两者搭配后最终预测是基础预测加可学习的残差，既不丢私有信号，又让协作只做修正。
兼容图如何决定谁和谁多交互
兼容图的节点是当前可用的模型，边权事先在训练集上估计并在协作训练和推理中固定。估计方法是先为每个冻结模型的训练特征拟合 1 个任务头，得到它在部分训练样本上的预测，再用相似度比较 2 个模型的预测。对分类用类别概率向量的相似度，对回归用标准化标量预测差的指数衰减。相似高则认为证据兼容而不是强烈冲突。对每个可用状态，把全图限制在可用节点上并对每个目标节点的入边归一化，正自环保证孤立节点仍有有效连接。
消息传递时每个节点按这些归一化权重聚合邻居消息。均匀图对照把所有可用节点等权连接，Lluna 在 7 个任务上优于它并在一个上持平，说明按预测一致性加权优于均匀聚合。需要强调的是图只组织交互强度，私有通路仍对每个活动模型开放，不会因为图稀疏而丢掉某模型的直接证据。
兼容图 × 预测一致性： 兼容图是组织模型间消息传递的加权图，节点是可用模型，边权表示两个模型是否容易协同；预测一致性是构造边权的方法，即在训练集上比较两个冻结模型任务头预测的相似程度，相似高则兼容性高。搭配的理由是异构模型互补但也可能冲突，用任务预测是否一致作为软兼容度可以让信息主要在不冲突的模型之间流动。
渐进协作一致性如何组织跨状态训练
训练把非空模态子集按包含关系组织成移除链，每条边恰好去掉一个模态。设相邻丰富状态和贫乏状态的公共共识归一化后为单位向量，一致性损失是它们余弦相似度与 1 的差距，按边权重求和，丰富端停止梯度。也就是说同一条样本在相邻两种缺失程度下分别前向得到公共共识，然后让贫乏端的方向向丰富端对齐，而不反向拉动丰富端。中间状态可以先接受更丰富邻居的指导，再去指导更贫乏的邻居，从而形成渐进传递。
总目标是各状态任务损失加公共头辅助损失，再加该一致性项。实现上为节省开销，每步在相同训练样本上采样少量极大移除链，复用共享的状态和边；验证和测试仍评估全部合法状态。论文还给出局部到全局稳定界：如果相邻归一化表示的余弦差异可控，那么远距离状态的表示漂移也被累积局部差异所界定，不必直接强制远距离证据配置相同。
\[\mathcal{L}_{\mathrm{PCC}}=\sum_{(S_{k},S_{k+1})\in\mathcal{E}}\omega_{k,k+1}\left[1-\operatorname{sg}(\bar{\mathbf{z}}_{k})^{\top}\bar{\mathbf{z}}_{k+1}\right],\]\[\mathcal{L}=\mathbb{E}\!\left[\mathcal{L}_{\mathrm{task}}(y,\widehat{\mathbf{y}})+\lambda_{\mathrm{com}}\mathcal{L}_{\mathrm{task}}\!\left(y,g_{\mathrm{com}}(\mathbf{z})\right)\right]+\lambda_{\mathrm{PCC}}\mathcal{L}_{\mathrm{PCC}}.\]\[\|\bar{\mathbf{z}}_{0}-\bar{\mathbf{z}}_{D}\|_{2}\leq\sum_{k=1}^{D}\sqrt{2d_{k}}\leq\sqrt{2D\sum_{k=1}^{D}d_{k}}.\]可用状态 × 单模态移除链： 可用状态指一次推理中实际保留的非空模态子集，例如文本加音频或只剩文本；单模态移除链是把全模态到各缺失状态按每次只去掉一个模态连成的链，例如文本音频视觉到文本音频再到文本。搭配的意义是把大的证据变化拆成局部相邻步骤，使丰富状态可以逐步指导相邻的贫乏状态，而不必直接对齐差异很大的远距离状态。
渐进协作一致性 × 停止梯度： 渐进协作一致性是沿单模态移除的相邻状态对齐归一化公共共识方向的训练约束，中间状态既接受更丰富邻居的指导，又去指导更贫乏的邻居；停止梯度指对齐时固定丰富端，只让贫乏端向它靠近。两者搭配使指导是单向由富到贫，避免贫乏状态把丰富表示拉偏，组合后局部一致性可以沿链传播而保持全局稳定。
实验在什么数据和条件下比较
实验覆盖 8 个数据集。情感计算包括中文 SIMS v2、英文 MOSI、MELD 和 UR-FUNNY v2；场景理解包括从 Daily-Omni 和 WorldSense 派生的问答协议；医疗包括四部位心音 CirCor 和 ADNI 轻度认知障碍转归。每个数据集固定划分，同一测试样本在全部非空模态子集下评估。
主指标 Mean-Missing 是先在一个运行内对全部非空非全模态状态等权平均，再对 5 次运行平均并报告标准差；可训练方法按验证集 Mean-Missing 选一个检查点用于全部测试状态。Lluna 与通用协作和缺失模态基线共享 9 模型冻结池、相同预抽特征、相同划分和相同缺失掩码，去掉一个模态就同时屏蔽由它派生的一切表示。Omni 对照则用各自输入处理器处理剩余原始输入，骨干冻结。这样的条件保证比较的是协作与训练策略，而不是上游编码器或数据可见性。
附录还做了缺失输入训练对照，让基线也在缺失视图下训练并按缺失平均选点，以检验 Lluna 的优势是否只是因为基线没见过缺失。
缺失状态的平均性能说明了什么
主结果回答的是在各种不完整输入下平均表现谁更好。论文报告 Lluna 在 8 个任务上都超过所评估的最强基线，八任务平均相对改进为 4.26%。举例来说，WorldSense 准确率从最强基线均值提升到 Lluna 水平，相对增益约 8.65%，SIMS 平均绝对误差从 0.3590 降到 0.3424。平均秩也是 Lluna 第一。附录的缺失训练对照在每领域选一个数据集复测，Lluna 仍超过 10 个对照。
理解时要注意相对改进是对每个数据集的最强基线均值计算的，不同数据集的最强基线可能不同，基线平均不是把各视图冠军平均。完整输入结果和每个缺失视图结果在附录分表给出，主表只汇总缺失状态的平均。
下面先看情感回归在各缺失组合下的具体表现，表前需要明确比较问题是同一冻结池下各方法能否在文本音频视觉的不同子集上保持低误差。
| Method | TAVF | AV | T | V | MM |
|---|---|---|---|---|---|
| Attn. pool | 29.39 ± 0.42 | 34.53 ± 1.04 | 41.55 ± 0.92 | 47.55 ± 0.59 | 38.87 ± 0.75 |
| Lluna | 28.08 ± 0.46 | 29.98 ± 0.21 | 38.15 ± 0.40 | 39.74 ± 0.57 | 34.24 ± 0.30 |
该表列出 SIMS 在全模态和 6 种缺失组合下的平均绝对误差乘以 100，数值越小越好。Lluna 在全模态和各缺失列上都处于最优一端，而平均集成和部分混合专家在缺失下明显恶化。解释时要看到代价：该表是 5 次运行均值加标准差，Lluna 的优势依赖任务特定的宽度、深度和一致性系数配置，不是零调参的通用提升；而且回归误差的绝对差距看起来小，需要结合原量程理解。
下面这张池大小图补充了模型数量带来的变化，读图时注意纵轴方向已被翻转以使越高越好。
看图路径： 1. 比较每个子图三点随模型数从 3 到 6 再到 9 的变化方向；2. 注意医疗任务中间点回落而终点仍最高的非单调形状；3. 对照纵轴方向：回归是误差越低越好，分类是分数越高越好
论文图 6。原论文 Figure 7:：“Lluna at different pool sizes. MM versus the number of models; point labels give scores.”。
8 个子图显示从 3 模型到 6 模型再到 9 模型的缺失平均性能，9 模型在 8 个任务上都是观测到的最优，但 6 模型并非一致更好，心音和 ADNI 在 6 模型处回落。这说明增加模型一般有帮助，但中间规模的收益与任务有关，池的组成同样重要，不能只看数量。
协作增益诊断和模态规模分析支持什么判断
固定锚诊断回答的是协作相对剩下的单模态模型是否仍有益。论文用七基线等权平均与 Lluna 比较，从全模态到最小输入，基线平均增益在 8 个任务上都下降并在 6 个上转为负，而 Lluna 在 8 个任务上保持正增益并在两端都超过基线平均。按领域等权平均后，从全模态到去掉两个模态的绝对下降，常规协作与 Lluna 相比缩小约 37.9%，但这只是领域平均下降幅度的比较，不是准确率本身提升 37.9%。模态池分析用嵌套的三、六、9 模型池测试，9 模型最优，三到九的相对提升从 1.77% 到 27.02% 不等。
替换实验保持 9 模型但更换其中 1 到 3 个模型并重训重调，平均相对变化为负且任务敏感，说明在固定基数下选哪些模型也很重要。可训练参数比较显示 Lluna 在 URF 上用更少协作参数取得更高准确率，但这只是协作参数的计数，不含冻结骨干，推理开销和延迟没有单独测量。
下面看情绪分类在各缺失组合下的完整表现，比较问题同样是同池同掩码下谁的加权 F1 更高。
| Method | TAVF | AV | T | V | MM |
|---|---|---|---|---|---|
| Attn. pool | 62.16 ± 0.48 | 44.31 ± 1.26 | 56.57 ± 3.93 | 31.78 ± 2.92 | 49.93 ± 0.88 |
| LIMSSR | 62.77 ± 1.43 | 51.39 ± 0.45 | 61.72 ± 0.57 | 34.84 ± 0.86 | 53.98 ± 0.33 |
| Lluna | 64.55 ± 0.18 | 53.54 ± 0.59 | 63.60 ± 0.27 | 37.86 ± 0.57 | 56.10 ± 0.21 |
该表显示 MELD 在各文本音频视觉子集下的加权 F1，数值越大越好。Lluna 在全模态和各缺失列上领先，常规集成的部分方法在单模态下退化明显。限制是 MELD 类别不平衡，加权 F1 对多数类的权重较大，单看该指标不能说明稀有情绪的识别情况。
下面看只有音频和视频两个可变模态的场景问答，指标方向仍是越大越好。
| Method | AVF | A | V | MM |
|---|---|---|---|---|
| Attn. pool | 33.11 ± 1.90 | 32.88 ± 2.27 | 27.12 ± 2.00 | 30.00 ± 1.10 |
| LIMSSR | 31.86 ± 1.30 | 31.98 ± 1.42 | 25.20 ± 5.66 | 28.59 ± 2.34 |
| Lluna | 36.27 ± 0.62 | 36.61 ± 1.09 | 37.97 ± 2.24 | 37.29 ± 0.96 |
该表只有两列缺失状态，Lluna 在两者上都高于基线。需要注意该任务样本量较小，标准差相对较大，且问题与选项始终可见，所以结论只适用于有任务上下文保留的派生问答协议，不能推广到无上下文的一般视频理解。
下面看医疗转归任务在磁共振、PET 和临床 3 组输入下的表现，比较问题是临床信息缺失时协作能否保持平衡准确率。
| Method | MPCF | PC | M | C | MM |
|---|---|---|---|---|---|
| Concat MLP | 86.25 ± 3.85 | 83.00 ± 2.44 | 68.50 ± 4.45 | 79.50 ± 4.56 | 79.71 ± 3.03 |
| SimMLM | 87.50 ± 5.38 | 87.25 ± 6.34 | 64.50 ± 7.94 | 77.50 ± 4.42 | 79.00 ± 2.93 |
| Lluna | 88.00 ± 4.11 | 82.25 ± 3.24 | 76.00 ± 4.09 | 79.25 ± 2.59 | 82.21 ± 1.26 |
该表显示 ADNI 在各组合下的平衡准确率，Lluna 在多数缺失列上领先且缺失平均最优。限制是 ADNI 测试集较小，转换者仅 10 例左右，平衡准确率对少数类召回敏感，5 次运行的波动不可忽略；而且临床缺失状态被单独评估，结论依赖于该结局定义和 90 天匹配窗口，不能直接当成临床部署效果。
哪些组件和训练选择真正重要
消融回答的是去掉或替换某处设计后缺失平均性能如何变化。预测通路消融显示去掉私有或公共任一条都在 8 个任务上变差，去掉私有平均相对下降更大。组合方式比较显示可学习的残差缩放多数任务优于固定系数为 1 的等权相加，但最优固定系数随任务而变。图交互对照支持兼容图而非均匀图。一致性对选择显示相邻单步移除的一致性多数任务优于去掉一致性、只对齐全模态到单模态、或对齐全部状态对。
去掉丰富端停止梯度多数任务变差，支持由富到贫的单向指导。一致性目标比较显示把一致性放在公共表示上优于放在私有表示或两者同时，说明跨状态约束应集中在公共分支而保留私有通路的特异性。超参数与采样预算实验显示更大的对数或更深的图并非一致更好，任务特定的稀疏链能在更少比较下保持相近平均性能。
下面这张参数量散点图帮助理解性能与可训练协作参数的关系，读图时先定位星形再看横轴对数跨度。
看图路径： 1. 先找每子图的星形标记，判断它在纵轴上是否处于最优一端；2. 再看横轴对数刻度：参数量相差一个数量级时的纵向差距；3. 比较协作基线圆点与缺失模态基线方块的整体分布差异
论文图 8。原论文 Figure 9:：“Trainable parameters versus MM. Stars: Lluna; circles/squares: collaboration/missing-modality baselines; Omni omitted.”。
8 个子图横轴是协作可训练参数量，纵轴是缺失平均性能，已按指标方向翻转以使越高越好。Lluna 星形在各任务上处于纵轴最优一端，且横向位置居中，说明它用中等协作容量取得最优缺失平均。但这不证明参数越少越好，也没有测量训练时长和推理延迟，Omni 模型未纳入该图。论文同时报告了未胜出项，例如均匀图在 ADNI 上持平、等权相加在个别任务上接近，这些反例提醒我们兼容加权和可学习缩放的收益是平均意义上的，不是每个任务都大幅领先。
结论在什么边界内成立
首先是缺失条件的边界。评估是受控地整体移除模态且可用状态已知，缺失组合被枚举测试，没有涉及部分损坏、时间错位或与样本特征相关的自然缺失。论文在局限中明确需要对这些情况补验证。其次是模型池的边界。Lluna 为指定冻结池训练协作模块，更换池后需要重训重调，不支持不重训直接增删模型。
再次是统计与任务边界。部分任务测试集较小，ADNI 转换者少，心音按患者组划分但样本仍有限；场景问答保留题干选项和字幕处理等派生规则，结论只在这些协议下成立。最后是指标边界。主表用缺失状态等权平均，不同缺失组合的现实频率未加权。
固定锚诊断用准确率类指标，回归任务用辅助二分类准确率，与主表误差指标并不完全对应。没有测量误判率、校准、公平性和延迟，因此不能从平均性能推出这些方面也会改善。
复现第一步要准备什么
复现先固定数据与特征边界。按论文附录准备 8 个数据集的划分、模态定义和可用状态枚举，保持任务上下文规则一致，例如问答保留问题选项、心音保留允许的人口学模板而排除诊断标注。对除 ADNI 外的 7 个任务用九编码器池，对 ADNI 用磁共振、PET 和临床 3 组表示；缺失时把对应特征槽置零并附带可用掩码，去掉一个模态要同时屏蔽由它派生的所有表示。
协作训练只更新适配器和协作层，保持单模态编码器冻结，每个任务用各自的私有公共宽度、图深度、损失系数和链预算，按验证集缺失平均选点。作者资源当前已公开，代码仓库可用于查看安装、推理和微调说明，但代码可用不等于权重可下载或系统开箱可运行，需要分别确认特征缓存的再分发许可、冻结编码器版本和运行命令。评估时先复算每个运行的缺失平均再平均 5 次运行，回归与分类的相对改进方向不要混淆，百分点差距与相对百分比也要分开报告。
什么时候值得尝试还缺哪些验证
当手头已有多个冻结单模态模型、测试时整模态可能缺失且缺失状态已知、又希望保留剩余证据的直接预测时，Lluna 的两路分解和相邻状态一致性值得尝试。它的关键超参数是公共与私有宽度比、图深度、一致性强度和每步链预算，论文显示基准一致性强度在情感任务上较稳，而宽度和深度偏好随任务而变，因此需要按验证集缺失平均调参。
还需要的验证包括自然缺失下的表现、部分损坏与错位下的鲁棒性、不同缺失频率加权后的平均、以及跨缺失机制和人群的审计。容易产生的误解是把领域平均下降缩小约 37.9% 当成准确率提升，把稀疏采样保持平均性能当成训练更快，把协作参数少当成推理更快，这些在原文都没有直接测量。更稳妥的表述是论文直接报告了什么：在受控整模态移除、固定池和等权缺失平均下，Lluna 在 8 个任务的缺失平均上最优并在最小输入下保持正协作增益。
超出该条件的效果仍待验证。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses