📄 多模态噪声标签下该信哪个表示空间：REFINE 的可信样本筛选
英文题目：Learning What to Trust in Multimodal Learning under Noisy Supervision
标签：#音频分类 | #多模态学习 | #弱监督学习 | #音视频
评分：6.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Jiashuo Zou：机构信息未在 arXiv HTML 中可靠披露
- Xiaobo Xia：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
任务输入是由多个模态组成的样本，例如图像与文本、视频与音频，输出是类别预测，难点是观察标签可能被污染，而融合后损失或梯度会丢失单模态中判断标签是否可靠的线索。可靠样本过滤多模态学习（Reliable Sample Filtering in Multimodal Learning，REFINE）先在每个表示空间为每个类构造判别特征向量（discriminative eigenvector，DE），该向量让目标类对齐分数高而背景类对齐分数低。随后方法把同一实例在两个空间的投影拼成二维表示，再做一次判别分析，比较系数幅度以决定每个类信任哪些空间。最后在每个可信空间内比较实例相对观察类与其他类的对齐分数，只保留观察类分数严格最高者，并对各可信空间结果取并集，用该子集训练融合分类器。与已有表示选择方法FINE只用单空间主方向加混合模型不同，REFINE引入背景加权和按类空间选择。在UPMC-Food101上对六种合成噪声设置取平均的分类准确率上，REFINE为86.02%，高于最强基线DIST的83.85%。在N24News上对六种合成噪声设置取平均的分类准确率上，REFINE为63.38%，高于DIST的62.26%。结论适用于特征层融合的多模态分类器和论文测试的四类合成噪声与一种真实噪声，未验证模态缺失或模态冲突情形。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://dcase.community/challenge2026/task-heterogeneous-audio-classification — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
多模态分类在噪声标签下要解决什么
刚接触语音、音乐或音频的同学可以先把任务想成带噪声的分类流水线。输入是同一个样本的多个模态，例如食物图片配文字描述、新闻标题配图片、遥感图像配多句描述、商品图片配标题描述、视频片段的音频加画面、电视剧话语的文本加音频加视频，以及声音片段配文字描述。每个样本有一个观测标签，它可能被人工标注或网页爬取过程写错，真实标签未知。
目标是从含噪训练集中挑出观测标签更可信的子集，再用这个子集训练分类器，使其在干净测试集上准确率更高。必须保留的信息是各模态各自的判别线索，不能只在融合后看损失或预测就做决定。输出是被保留的样本集合及其观测标签，供后续监督训练使用。论文把重点放在如何发现和利用不同表示空间中与标签可靠性有关的几何结构，而不是设计新的融合网络。
已有噪声标签路线为何不够用
学习噪声标签的常见路线包括容忍噪声的损失与正则、对噪声转移建模、对标签纠正、样本选择，以及把未选中样本当无标签数据的半监督做法。论文选择从样本选择切入，理由是样本选择能直接把标签可靠性与学到的表示结构联系起来，天然适合同时使用融合与单模态表示。
文中回顾的起点是 FINE，它在单个表示空间内计算每个观测类的 2 阶矩矩阵，取最大特征值对应的单位特征向量为主方向，再用样本表示在该方向上的平方投影作为对齐分数，然后在每类内对分数拟合双分量高斯混合模型，把均值更大的分量当干净子集。跨到多模态时，融合表示和多个单模态表示同时存在，它们的干净与误标分离能力可能随类别而变化，直接把融合表示当普通单输入处理，会丢失互补线索。
另一些多模态噪声监督方法依赖跨视角一致、额外干净数据、噪声转移建模或基于小损失的选择，论文指出它们可能要求每个模态单独可预测、需要额外干净监督，或过度依赖本身受噪声影响的分类器预测，因此提出在表示层面显式比较和选择空间。
融合与单模态线索为何需要分别考察
论文用一个示意说明问题：观测标签为狗的样本同时有图像、文本和音频，分别经过各自编码器得到单模态表示，再经融合模块得到融合表示并送入分类器。右下角展示 4 个表示空间的点分布，左下角给出干净样本与误标样本的对照，中间是检测策略。想表达的是，可靠性线索分散在不同空间，某个空间中混在一起的两类点，在另一个空间可能分开。只用融合后的损失和梯度做选择，可能漏掉单模态特有的可分性；只用单模态，又会丢失融合带来的互补。因此问题被拆成两步：先找出哪些多模态信息更适合判断标签可靠性，再用这些信息更可靠地检出噪声。
看图路径： 1. 沿左侧观测标签为狗的输入，追踪图像、文本、音频三路编码到融合与分类的箭头；2. 对比右下四个表示空间中同类点的聚集形态与交叉点的分布；3. 看检测策略如何把表示空间的线索转化为干净与误标两组样本
论文图 1。原论文 Figure 1:：“The illustration of mislabeled data detection in multimodal learning.”。
上图为论文图 1 的官方原图，左侧为多模态输入与 3 路编码融合流程，右下为 4 个表示空间的散点示意，中间为检测策略到干净与误标样本的指向。它不是性能曲线，只能说明信息来源与待解决的判断任务。读图时不要把点的疏密直接当成某方法的准确率，也不要把箭头当成梯度回传路径。
REFINE 的三段式流程是什么
REFINE 的全称是多模态学习中的可靠样本过滤，流程分 3 段。第一段是判别分析：对每个观测类，在融合空间和每个单模态空间分别构造一个判别特征向量，它强调目标类结构并压制与其他类共享的背景。第二段是可信空间选择：对每个类，把不同空间两两比较，比较依据是把样本投影到各自判别特征向量后，再在 2 维空间做 1 次判别分析得到的组合系数的幅度大小，胜场不少于败场的空间成为该类的可信空间。
第 3 段是可靠样本过滤：在每个可信空间内做标签一致判断，只保留观测类对齐分数严格最大的样本，最后把各可信空间选出的子集取并集。并集的含义是只要在一个可信空间通过检验就保留，不同空间可以互补捡回对方漏掉的样本，而由选择步骤决定哪些空间有资格投票。整个过程不需要预设选择阈值、估计噪声率或引入额外干净样本。
融合表示 × 单模态表示： 融合表示指各模态编码投影后经融合模块得到的向量，综合多模态信息做分类；单模态表示指图像、文本、音频或视频各自投影后的向量，保留模态特有线索。二者搭配是因为融合后信息可能掩盖某个模态仍可分的线索，而只看单模态又会丢失互补信息，组合后可按类比较哪个空间更能分开干净与误标样本。
看图路径： 1. 先看顶部三部分标题，确认判别分析、可信空间选择、可靠筛选的先后关系；2. 在左下子图中观察判别特征向量穿过目标类点群的方向与对齐分数分布；3. 在中间子图中比较二维判别方向在两个坐标轴上的分量大小如何决定胜负
论文图 2。原论文 Figure 2:：“The overall framework of the proposed REFINE.”。
上图为论文图 2 的官方原图，顶部三栏分别对应判别分析、可信空间选择与可靠筛选，左下放大了图像空间中判别方向与对齐分数分布，中间放大了两个空间的 2 维比较，右侧展示了标签一致的柱状比较与子集取并集。它帮助把一个样本的走向看清楚：先得到各空间方向，再决定用哪些空间，最后在这些空间里按分数大小做保留。
判别特征向量如何压制共享背景
先理解记号。论文把融合与单模态空间统一记为集合，融合记为 F，第 m 个单模态记为 m，每个空间的维度可以不同。
\[\mathcal{R}=\{\mathrm{F},1,\ldots,M\},\qquad\bm{z}_{i}^{r}\in\mathbb{R}^{d^{r}},\quad r\in\mathcal{R}.\]上式只是记号约定，说明每个样本在每个空间都有一个向量，维度随空间变化。FINE 的做法是先按观测类计算 2 阶矩矩阵，再取其最大特征向量为主方向，样本的对齐分数是该方向上投影的平方。
\[\bm{u}_{k,\mathrm{FINE}}^{r}=\operatorname{TopEig}(\bm{A}_{k}^{r}),\qquad s_{i}^{r}=\bigl[(\bm{u}_{k,\mathrm{FINE}}^{r})^{\top}\bm{z}_{i}^{r}\bigr]^{2},\qquad\widetilde{y}_{i}=k.\]上式中主方向只最大化目标观测类的平均对齐分数，没有考虑其他类。如果其他类在同一方向上也有很大投影，这个方向可能主要反映跨类共享结构，干净与误标样本就不易分开。REFINE 的改进是引入背景。做法是先算每个非目标观测类在目标主方向上的平均对齐分数，把它们归一化为背景权重，对齐越强的非目标类权重越大，再加权平均得到背景矩阵。判别特征向量是使目标对齐与背景对齐比值最大的单位向量，分母加一个小的对角正则项以应对背景矩阵可能的秩亏缺。样本在该方向上的平方投影就是新的对齐分数。
\[\bm{u}_{k,\mathrm{DE}}^{r}=\operatorname*{arg\,max}_{\lVert\bm{u}\rVert_{2}=1}\frac{\bm{u}^{\top}\bm{A}_{k}^{r}\bm{u}}{\bm{u}^{\top}(\bm{B}_{k}^{r}+\epsilon\bm{I})\bm{u}}.\]\[s_{i,k}^{r}=\bigl[(\bm{u}_{k,\mathrm{DE}}^{r})^{\top}\bm{z}_{i}^{r}\bigr]^{2}.\]前者是带正则的广义瑞利商最大化，后者是投影平方。直观例子：若狗类主方向同时与猫类高度重叠，猫类就会得到较大背景权重，求解时会迫使方向转开，减少猫的干扰。理论部分在两类高斯假设下证明，引入背景后的对齐分数差不小于 FINE 的分数差，且差距随目标观测类中的污染加重而变大；多类情形下背景权重按与目标主方向的夹角排序，夹角越小权重越大。
判别特征向量 × 背景加权矩阵： 判别特征向量指最大化目标类与背景类对齐分数比值的单位方向，用于计算样本与该类结构的对齐分数；背景加权矩阵指按非目标类在目标主方向上对齐强度加权平均得到的二阶矩矩阵，代表与目标重叠最多的干扰结构。二者搭配使求解方向既贴近目标类又避开共享背景，相比只看目标类主方向更能拉开干净与误标样本的分数差距。
类间夹角 × 对齐分数差： 类间夹角指同一表示空间中两类均值方向之间的夹角，刻画两类在几何上分开的程度；对齐分数差指干净样本与误标样本沿同一方向的平均平方投影之差，刻画沿该方向的可分性。理论把二者联系起来：在相同误标比例下夹角越大对齐分数差越大，因此不同空间对不同类的检测能力不同，需要按类选择空间。
按类挑选可信空间时如何比较两个空间
理论指出，即使都用 FINE 的主方向，不同空间的干净与误标分离能力也取决于各自的类间夹角，没有哪类空间对所有类别都最优。因此需要按类选择空间。REFINE 的比较方法很具体：固定观测类，把同一样本在两个空间判别方向上的投影拼成 2 维向量，再在这个 2 维空间重复 1 次目标与背景的判别分析，得到 2 维判别方向的两个坐标。这两个坐标是两个 1 维投影的组合系数，幅度更大的空间被认为判别能力更强。
论文证明，在 2 类高斯模型和零正则的理想条件下，系数幅度排序、对齐分数差排序与类间夹角排序三者等价，从而为这种比较提供依据。实际操作是对每个类枚举所有无序空间对，幅度严格大的一方记 1 次胜、另一方记 1 次败，幅度相等则双方既不记胜也不记败。每个非平局比较恰好产生一胜一负，平局则双方都是零胜零负。随后保留胜场数大于等于败场数的空间作为该类的可信空间。
由于每次非平局比较都有胜负，至少有一个空间满足条件，所以每个类不会出现空的可信集合。融合与单模态空间遵循同一规则，最终组合随类别变化。
可信空间选择 × 标签一致： 可信空间选择指对每个观测类两两比较融合与单模态空间的判别能力，只保留胜场不少于败场的空间参与决策；标签一致指样本在其观测类方向上的对齐分数严格大于在其他所有类方向上的分数才被保留。前者决定用哪些空间投票，后者决定在每个空间内什么样本算支持其观测标签，组合后用可信空间的并集得到最终干净子集。
标签一致判断与取并集如何执行
有了方向和可信空间后，筛选规则不再是对单类分数拟合混合模型，而是跨类比较。对观测标签为 k 的样本，在某个可信空间计算它沿所有类别判别方向的对齐分数，只有当它在 k 方向上的分数严格大于在其他所有方向上的分数时才保留。这样做直接检验观测标签是否比其他标签更受表示结构的支持，避免了类内高分但跨类更高的误留，也省掉了按类拟合高斯混合模型与概率阈值。
每个可信空间对每个观测类各自形成一个子集，最终把同一类别下各可信空间的子集取并集，再把所有类别的并集合在一起。论文还给出二元模型下标签一致规则的召回与精度下界，两者都随对齐分数差增大而提高，为增大分数差与选择空间的动机提供闭环。有限样本分析进一步说明类矩阵与判别方向的估计误差随样本量增大而减小，并受正则项影响，但这部分是误差界，不是部署时的性能保证。
训练时何时筛选以及监督来自哪里
论文的训练组织是先暖机再周期筛选。默认设置是先用全部含噪训练样本训练 10 个轮次，然后每 5 个轮次用当前模型提取所有训练输入在各空间的表示，重新执行判别分析、可信空间选择与标签一致筛选，得到干净子集后只用该子集及其观测标签计算交叉熵损失继续训练，总共 30 个轮次。被保留样本对损失的贡献相等，未被选中的样本在该阶段不提供监督。
优化器用 AdamW，分类器的初始学习率、权重衰减、丢弃概率、批量大小与余弦衰减等按原文设置，模态投影与融合维度也有明确数值。与 Co-teaching 结合时，把原方法按小损失选择并交叉更新的规则换成 REFINE 的选择，但保留两个网络互相提供训练样本的交叉更新机制。与半监督结合时，选中的样本连同观测标签组成带标签子集，未选中的输入组成无标签子集，再用伪标签一致性与公平性正则等继续训练。
与噪声鲁棒损失结合时，暖机与后续训练都使用对应损失，只是在筛选出的子集上计算。
样本选择 × 半监督训练： 样本选择指从含噪训练集中挑出观测标签更可信的子集，只用该子集计算监督损失；半监督训练指把选中的样本当带标签数据、把未选中的输入当无标签数据，再用伪标签或一致性损失继续利用后者。前者提供更干净的划分，后者扩大了未选中样本的价值，REFINE 与 FreeMatch 或 DSS+ 结合时就是先划分再做半监督。
数据、噪声与基线的比较条件是什么
实验覆盖 7 个数据集，包括 4 个图文数据集、一个视频音频数据集、一个音频文本数据集和一个文本视频音频数据集。合成噪声实验用 UPMC-Food101、N24News、NWPU-Captions、Rakuten France、VGGSound50 和 MIntRec2.0，真实噪声实验用 BSD，后者训练集来自上传者标注的含噪数据，测试集为专家标注的干净数据。合成噪声分 4 种：对称噪声以 50% 比例随机翻转到其他类；非对称噪声以 40% 比例按语义易混映射翻转。
全模态实例相关噪声与部分模态实例相关噪声各做 40% 与 50% 两档，后者先为每个样本均匀抽取一个模态组合再按该组合的证据分类器生成噪声，用于模拟标注时只参考部分模态。6 个合成数据集的训练与验证集采用相同噪声类型与比例，测试标签不变，每种设置生成 5 个随机种子。默认编码器冻结，图文用 DINOv2 与 XLM-R，音频用 WavLM，视频用 VideoMAE，BSD 复用提供方预计算的 CLAP 表示；另有一组在 UPMC-Food101 上解冻 ResNet 与 BERT 联合微调的实验。
基线共用同一个多模态分类器与训练设置，包括直接用全部样本的标准训练、基于梯度的 CRUST、基于训练动态的 AUM 与 L2D 与 DIST 及 DIST 加趋势检验、基于表示的 FINE，其中 FINE 默认用融合表示，L2D 需要已知噪声率决定保留数量，而 REFINE 不需要噪声率。
主结果在哪些数据集与噪声下成立
主结果要回答的是 REFINE 是否在多种模态组合与噪声类型下一致提升分类。论文报告的指标是分类准确率，方向为越高越好，每个数字为 5 次随机种子的均值与标准差，平均列为 6 种噪声设置的均值。下表整理 UPMC-Food101 在 6 种合成噪声下的准确率，比较对象包括标准训练、DIST 与 REFINE，公平条件是同一分类器与同一批噪声标签。
| 数据集 | 噪声条件 | 标准训练准确率 | DIST 准确率 | REFINE 准确率 |
|---|---|---|---|---|
| UPMC-Food101 | 对称 50% | 82.75 ± 0.33 | 85.56 ± 0.20 | 86.63 ± 0.22 |
| UPMC-Food101 | 非对称 40% | 67.86 ± 0.22 | 80.97 ± 0.38 | 85.28 ± 0.34 |
| UPMC-Food101 | 全模态实例相关 40% | 84.25 ± 0.10 | 85.61 ± 0.23 | 86.85 ± 0.08 |
| UPMC-Food101 | 全模态实例相关 50% | 82.50 ± 0.11 | 84.29 ± 0.15 | 85.84 ± 0.13 |
| UPMC-Food101 | 部分模态实例相关 40% | 84.09 ± 0.08 | 84.37 ± 0.17 | 86.41 ± 0.16 |
| UPMC-Food101 | 部分模态实例相关 50% | 82.11 ± 0.07 | 82.29 ± 0.15 | 85.12 ± 0.21 |
| UPMC-Food101 | 六档平均 | 80.59 ± 0.05 | 83.85 ± 0.10 | 86.02 ± 0.05 |
上表显示 REFINE 在该数据集六档噪声下均高于标准训练与 DIST，平均领先约 2 到 5 个百分点，非对称噪声下的差距最大。这支持在图文食物分类与原文冻结编码器设置下，联合使用融合与单模态空间的选择比只用融合后预测阈值的选择更稳。但这只是 7 个数据集中的一个，还需看存在反例的设置。
看图路径： 1. 对比每组噪声下左侧与右侧柱子的高度差；2. 注意非对称噪声组两根柱子的差距明显大于对称噪声组；3. 读纵轴为准确率百分比，确认改善幅度为百分点差异
论文图 5。原论文 Figure 8:：“Classification accuracy (%) of Co-teaching and Co-teaching combined with REFINE (i.e., R-Coteaching) on UPMC-Food101 under four noise settings.”。
上图为论文图 8 的官方原图，展示在 UPMC-Food101 4 种噪声下 Co-teaching 与结合 REFINE 后的准确率柱状图。可见结合后 4 组均有提升，其中非对称 40% 组的提升幅度最大，对称 50% 组提升最小。图只说明在该数据集与该交叉更新机制下替换选择规则的效果，不能推广到其他数据集或半监督流程。
存在未胜出项的设置说明什么限制
全面结论必须包含未胜出项，否则会夸大方法的普适性。下表整理 VGGSound50 与 Rakuten France 的部分结果，列数与单位与原表一致，准确率越高越好。
| 数据集 | 噪声条件 | AUM | L2D | DIST | CRUST | REFINE |
|---|---|---|---|---|---|---|
| VGGSound50 | 全模态实例相关 40% | 69.19 ± 0.54 | 68.64 ± 0.77 | 69.49 ± 0.16 | 69.79 ± 0.93 | 69.87 ± 1.02 |
| VGGSound50 | 六档平均 | 67.53 ± 0.52 | 66.46 ± 0.17 | 68.09 ± 0.21 | 67.69 ± 0.54 | 69.20 ± 0.49 |
| Rakuten France | 全模态实例相关 40% | 74.41 ± 0.11 | 74.19 ± 0.29 | 74.46 ± 0.28 | 73.44 ± 0.39 | 74.36 ± 0.15 |
| Rakuten France | 六档平均 | 72.21 ± 0.20 | 71.65 ± 0.20 | 71.46 ± 0.17 | 70.87 ± 0.20 | 72.50 ± 0.21 |
上表说明两点限制。第一，在 VGGSound50 全模态实例相关 40% 下，REFINE 的 69.87 高于 CRUST 的 69.79 与 DIST 的 69.49，因此不能把该格当作 REFINE 落败的例子，真正能说明的是优势幅度很小且标准差较大。第二，在 Rakuten France 全模态实例相关 40% 下，REFINE 的 74.36 高于 L2D 的 74.19，但低于 AUM 的 74.41 及 DIST 的 74.46，说明 REFINE 并非在每一格都最高，其平均领先主要来自非对称等困难噪声，而非所有噪声均匀领先。MIntRec2.0 上多数已有选择方法平均不如标准训练，REFINE 仍有效，但绝对准确率只有三十多，反映小规模意图识别本身难度大。真实噪声的 BSD 上 REFINE 平均 61.03，仅略高于 FINE 的 60.71 与标准训练的 60.37，且 L2D 因需要已知噪声率而缺席，说明自然噪声下的提升幅度远小于合成噪声。
| 方法 | 标准训练 | AUM | CRUST | DIST | DIST 加趋势检验 | FINE | REFINE |
|---|---|---|---|---|---|---|---|
| BSD 准确率 | 60.37 ± 0.65 | 58.90 ± 0.73 | 58.70 ± 0.71 | 60.27 ± 0.74 | 60.28 ± 0.72 | 60.71 ± 0.98 | 61.03 ± 0.67 |
上表为 BSD 真实噪声下的准确率对比，REFINE 最高但领先不足 1 个百分点，且多个基线低于标准训练，表明训练动态类选择在自然标签错误下不一定可靠，基于表示的选择相对更稳，但也不能承诺大幅改善。
选择质量与组件消融支持哪些设计
选择质量用针对正确标注样本的精确率、召回率与 F1 衡量，越高越好。下表为 UPMC-Food101 四档噪声下的选择质量，比较 CRUST、DIST、FINE 与 REFINE。
| 方法 | 对称 50% 精确率 | 对称 50% 召回率 | 对称 50%F1 | 非对称 40%F1 | 全模态 50%F1 | 部分模态 50%F1 |
|---|---|---|---|---|---|---|
| CRUST | 93.76 ± 0.08 | 93.67 ± 0.09 | 93.72 ± 0.08 | 85.63 ± 0.21 | 85.65 ± 0.23 | 84.81 ± 0.17 |
| DIST | 94.80 ± 0.11 | 95.98 ± 0.13 | 95.39 ± 0.07 | 89.42 ± 0.31 | 88.56 ± 0.08 | 87.61 ± 0.18 |
| FINE | 84.61 ± 0.17 | 97.43 ± 0.23 | 90.57 ± 0.11 | 65.53 ± 0.20 | 84.22 ± 0.50 | 81.80 ± 0.81 |
| REFINE | 98.87 ± 0.06 | 92.37 ± 0.18 | 95.51 ± 0.09 | 91.15 ± 0.54 | 91.34 ± 0.14 | 90.04 ± 0.09 |
上表显示 REFINE 在四档下 F1 最高，相对 FINE 主要靠提升精确率，同时保持较高的召回率，意味着更少地混入误标样本且保留了多数正确监督。论文还报告难干净样本分析：在部分模态实例相关 50% 下，损失高于全训练集中位数的正确样本占全部正确样本的 11.04%，REFINE 保留其中 55.93%，且被保留部分中 91.88% 仅被一个可信空间支持，主要来自文本与图像空间，说明分类器难拟合的正确标签仍可被单模态线索捡回，但该结论只在该数据集与该噪声档下测得。
| 数据集 | 组件组合 | 对称 50% | 非对称 40% | 全模态 50% | 部分模态 50% |
|---|---|---|---|---|---|
| N24News | FINE | 61.81 ± 0.40 | 53.09 ± 0.45 | 62.35 ± 0.15 | 61.40 ± 0.26 |
| N24News | 加标签一致 | 63.15 ± 0.39 | 56.40 ± 0.77 | 62.46 ± 0.33 | 62.72 ± 0.77 |
| N24News | 再加判别向量 | 63.32 ± 0.42 | 58.45 ± 0.80 | 62.91 ± 0.31 | 63.04 ± 0.26 |
| N24News | 再加可信空间选择 | 64.55 ± 0.53 | 60.81 ± 0.31 | 63.07 ± 0.51 | 63.28 ± 0.23 |
| UPMC-Food101 | FINE | 84.78 ± 0.25 | 69.08 ± 0.56 | 83.57 ± 0.15 | 81.75 ± 0.11 |
| UPMC-Food101 | 加标签一致 | 84.85 ± 0.12 | 82.04 ± 0.15 | 83.47 ± 0.16 | 82.64 ± 0.13 |
| UPMC-Food101 | 再加判别向量 | 85.10 ± 0.12 | 83.23 ± 0.35 | 83.79 ± 0.52 | 82.89 ± 0.62 |
| UPMC-Food101 | 再加可信空间选择 | 86.63 ± 0.22 | 85.28 ± 0.34 | 85.84 ± 0.13 | 85.12 ± 0.21 |
| MIntRec2.0 | FINE | 29.73 ± 1.11 | 25.95 ± 0.70 | 33.24 ± 1.39 | 32.14 ± 0.60 |
| MIntRec2.0 | 加标签一致 | 29.83 ± 0.74 | 26.33 ± 1.28 | 33.13 ± 1.14 | 32.15 ± 1.30 |
| MIntRec2.0 | 再加判别向量 | 30.41 ± 0.66 | 28.82 ± 0.38 | 33.62 ± 0.56 | 32.85 ± 0.94 |
| MIntRec2.0 | 再加可信空间选择 | 31.92 ± 0.85 | 29.61 ± 1.09 | 35.70 ± 0.40 | 34.94 ± 1.81 |
上表为 3 数据集的组件消融，除可信空间选择外其余变体只用融合表示。总体呈累积提升，标签一致与判别向量在非对称噪声下提升尤其大，可信空间选择在 3 个数据集上进一步带来增益。空间比较还显示没有单个空间在所有数据集与噪声下最优，无限制取并集不如可信选择，相对无限制并集，可信选择在 UPMC-Food101 部分模态 50% 下去掉 15.18% 的已选误标样本，只丢掉 1.32% 的已选干净样本。
看图路径： 1. 横轴为正则参数，对比三张子图在极小与极大两端的曲线走向；2. 观察中间取值区间内曲线的平坦程度与阴影带的宽度；3. 区分不同噪声曲线的相对位置是否随参数明显翻转
论文图 4。原论文 Figure 7:：“Sensitivity of classification accuracy (%) to the ridge parameter \epsilon on three datasets.”。
上图为论文图 7 的官方原图，展示正则参数从极小到极大变化时 3 数据集的准确率曲线。可见中间区间曲线较为平坦，过小则背景矩阵正则不足，过大则各向同性项主导而削弱背景约束，但具体最优点随数据集与噪声而异，不能当作免调参的证据。
理论假设与未评测范围是什么
理论部分为得到闭式排序，使用了较强的建模假设：每个空间中两类表示服从等方差高斯、标签损坏只与真实标签有关且干净样本在每个观测类占多数，二元证明还设正则为零。真实数据的表示显然不完全满足高斯假设，因此定理应理解为设计动机与理想条件下的排序依据，而不是对实际精度的保证。实验也有边界：合成噪声的比例与类型是预设的，真实噪声只在一个音频文本任务上验证；默认冻结编码器，解冻实验只在 UPMC-Food101 上做。
筛选每 5 轮执行 1 次，暖机 10 轮，正则固定为万分之一，改变节律或正则可能改变结果。论文没有报告选择阶段的额外计算开销、推理延迟或内存占用，也没有测量误判率随训练轮次的完整曲线之外的成本，不能从准确率提升推断效率也会改善。不同指标的差值不应混入模型列，百分点差异也不应说成相对百分比提升。
复现第一步与需要区分的资源状态是什么
复现应先固定数据与噪声生成，再固定模型与筛选节律。数据方面按原文附录准备 7 个数据集的划分，合成噪声对训练与验证集用相同类型与比例生成，测试标签不变，每种设置用 5 个随机种子并让所有方法共用同一批噪声标签。模型方面先复现冻结编码器版本：提取各模态 768 维特征，投影到 256 维，拼接后经隐藏 512 维的残差融合得到 256 维融合表示，再接线性分类头，用 AdamW 训练 30 轮，REFINE 在暖机 10 轮后每 5 轮筛选 1 次。解冻版本只在 UPMC-Food101 上用 ResNet 与 BERT 并分别设置编码器与分类头学习率。
资源状态要分开说：论文写源代码将公开，但本次收到的证据未确认作者资源可用；BSD 所附链接经校验为第三方页面可用，只证明论文提到该挑战链接，不证明作者已开源；暂时不可达不代表技术缺陷。不要把代码将公开当成权重可下载或系统可一键运行。
什么时候值得尝试以及还缺哪项验证
当多模态任务的观测标签明显含噪、且怀疑不同类别的可判别信息分散在不同模态时，值得尝试 REFINE 这类按类比较空间的做法，尤其在非对称或实例相关噪声下原文收益更大。复现第一步是先在自己的数据上跑通暖机加周期筛选的流水线，并记录选择精确率、召回率与 F1，而不只看最终准确率。
还需要补的验证包括：在新模态组合上检验可信空间是否确实随类别变化、在解冻编码器与更长训练下筛选节律是否仍稳定、以及补充选择耗时与显存开销的测量，才能判断在实际部署中是否划算。对初学者而言，能复述的关键步骤是：为每类每空间算目标与背景比值最大的方向，按类两两比较空间并保留胜场不少于败场者，再用跨类分数最大做保留并取并集。
能说清的成立条件是原文的融合结构、冻结或指定的微调设置、预设噪声档与 5 种子平均，离开这些条件，排名与幅度都可能变化。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses