英文题目：Retrieving to Recover: Towards Incomplete Audio-Visual Question Answering via Semantic-consistent Purification
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.961
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#混合专家模型 #检索增强 #鲁棒性 #音视频问答
评分：5.1/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 0.6/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.6/1.5
排名：后50% | 文档类型：方法研究
👥 作者与机构
- Jiayu Zhang：机构信息未能从会议 PDF 纯文本可靠映射
- Shuo Ye：机构信息未能从会议 PDF 纯文本可靠映射
- Qilang Ye：机构信息未能从会议 PDF 纯文本可靠映射
- Zihan Song：机构信息未能从会议 PDF 纯文本可靠映射
- Jiajian Huang：机构信息未能从会议 PDF 纯文本可靠映射
- Zitong YU：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
音视频问答以视觉帧、音频段与文本问题为输入预测答案，推理期传感器故障或传输丢失会导致音频或视觉缺失，使跨模态对齐断裂而推理脆弱。为此R2ScP先在ImageBind等预训练模型构建的统一语义空间中建立外部记忆库，以可用模态为查询做跨模态检索，输出缺失模态的粗候选特征集。接着上下文感知自适应净化以可用模态与问题语义一致性为准则，对候选集自适应抑制噪声并凸显任务相关线索，输出高保真净化特征。最后两阶段混合专家先独立预训练视觉、音频与文本专家，再冻结专家训练动态门控做加权融合，并以语义排序损失约束恢复特征位于合理流形后解码作答。与以可用模态为条件生成缺失特征的方法不同，该框架复用真实世界特征段而非合成通用嵌入，从而保留特定乐器音色等实例特异细节并减少语义幻觉。在缺失模态设置下，R2ScP在AVQA基准上的准确率为76.35%，高于其在Music-AVQA基准上的71.54%。该结论受限于检索样本质量且尚未验证训练期缺失情形，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，缺了什么，答案从哪里来？
这篇论文研究的任务是音频视觉问答，也就是同时看画面、听声音再回答自然语言问题。输入有三部分：一段视频的视觉帧，一段与视频时间对齐的音频，以及一个用文字写成的问题。目标是从预定义的答案集合中选出一个正确答案。必须保留的信息包括画面中的人物、乐器、动作与场景布局，音频中的音色、节奏与事件声，以及问题指向的查询对象。输出就是答案标签，评价用分类准确率。
初学者容易把这个任务理解成把 3 路特征拼接后直接分类。论文强调的真实困难是推理时传感器故障或传输失败会导致整路模态缺失。例如音乐演出视频丢了音频，只剩画面和问题，或者街景视频丢了画面，只剩声音和问题。此时模型不能要求用户补传数据，必须在部分观察下完成推理。教学例子是画面显示有人在拉小提琴，问题问正在演奏的乐器是什么，如果音频缺失，模型需要找回小提琴特有的音色证据，而不是只回答一个笼统的音乐类。
传统做法是用生成模型根据可用模态想象缺失特征。论文指出这种做法容易产生语义幻觉，也就是合成出常见但粗糙的通用表示。比如看到音乐会场景就生成一个通用的音乐嵌入，却丢了具体是哪种提琴、什么音色。这样的伪特征会引入语义噪声，干扰后续推理。论文因此主张从生成转向检索，也就是从真实数据构成的语义库中召回与当前上下文一致的特征段，再做净化。
下面这段导读帮助你在看第一张对比图前建立预期，上半部分是传统填补思路，下半部分是本文检索加过滤思路，右侧语义空间示意解释了为什么前者冗余而后者能保留特有细节。
生成式填补 × 检索式恢复： 生成式填补的分工是以可用模态为条件合成缺失模态的伪特征，检索式恢复的分工是以可用模态为查询从外部记忆库召回真实存在的特征段，二者搭配的理由是生成容易产生通用但缺少实例细节的幻觉，而检索能保留乐器音色这类模态特有细节，组合意义在于把缺失处理从无中生有改为有中选优，后续只需过滤而非创造。
看图路径： 1. 先看上半部分缺失音频支路如何经填补与增强进入答案解码器；2. 再看右侧语义空间中补充知识与可用知识的重叠关系；3. 对比下半部分候选知识经细粒度过滤后保留的星标位置；4. 观察下半部分右侧如何分离出噪声知识与模态特有知识
论文图 1。原论文 Figure 1：“Comparison of traditional methods (top) and R2ScP (bottom).”。
上图上半部分显示视觉专家与音频专家和文本专家并行输出后进入答案解码器，其中缺失的音频靠模态填补与线索增强间接补充，右侧语义空间把补充的知识画成与可用知识高度重叠的大圆，说明新增信息大多是已有常识的重复。下半部分引入候选知识云，先由可用模态召回多个候选，再经过基于置信度的细粒度引导做词语级别过滤，只保留星标显著位置进入解码器，右侧语义空间把噪声知识单独画成远离可用知识的大圆，而模态特有知识是靠近可用知识但保持独立的小区域，这正是检索加净化想要达到的效果。
已有路线在什么条件下比较，本文站在哪里？
音视问答已有方法大多假设模态完整，重点做时空建模与问答对齐。论文提到的例子包括逐步选择关键时空区域来定位问题相关片段的方法，用高斯混合专家捕捉连续时间依赖并在编码时注入问题上下文的方法，以及用双路径动态采样减少冗余音视信息的方法。这些方法的输入与目标和监督都与本文相同，都是视频加音频加问题到答案的映射，但在运行阶段不同，它们要求测试时 3 路齐全，而本文要求测试时允许缺失一路或多路。
不完整多模态学习是更直接的相关路线。第一类是重构式生成，用对抗网络或自编码器或扩散模型从可用模态合成缺失数据或特征图。第二类是表示学习路线，解耦模态共有与模态特有特征，或用注意力掩码融合可用词语，或用混合专家保留单模态知识。论文把混合专家中的单模态专家保留思想和动态门控思想作为可借鉴部分，但指出这些工作仍未解决语义保真度问题，生成结果缺少实例级细节。
与本文最接近的是同样带有检索思想的工作。论文明确区分，已有工作主要把检索用于对比对齐，而不是直接做特征恢复。本文把检索作为缺失特征的直接来源，再加上下文净化，这是运行阶段的实质差异。同输入同目标下的对照应该是缺失条件一致、指标同为准确率时的比较，而不是把完整模态下的成绩直接与缺失模态下的成绩对比。论文的实验正是按缺失音频与缺失视觉等多路条件分别报告，这种划分是理解后文表格的前提。
缺失设定如何形式化，生成与检索的目标差在哪里？
论文把全部模态记为视觉与音频和文本的集合，可用模态是它的子集。输入特征表示为可用模态各自特征的集合。传统生成路线学习一个从可用特征到缺失特征再到答案的映射，先幻觉出缺失特征，再推理答案。本文要学习的映射是从可用模态集合直接到答案，但中间经过检索与净化两步，先从统一语义空间召回缺失证据，再用上下文机制过滤。
这个形式化的关键是监督来源不变，仍是问答标签，但中间表示的来源变了。生成路线的中间表示来自模型参数的想象，检索路线的中间表示来自外部记忆库中真实样本的原始特征。论文假设统一语义空间足以把不同模态的可比部分对齐，使得用视觉查音频、用音频查视觉成为可能。这个假设依赖预训练多模态模型的质量，原文明确以常用统一嵌入模型为例，但没有声称必须用哪一版权重，复现时需要把这一信息条件固定下来。
从学习依赖看，后续所有组件都建立在这个设定上。检索模块负责解决无中生有的问题，净化模块负责解决召回不准的问题，混合专家负责解决信息源可信度变化的问题，排序损失负责把检索质量与问答损失联系起来。如果缺失发生在训练阶段而非推理阶段，本文的设定不再覆盖，这一点在局限一节还会回到原文声明。
缺音频样本走完哪几步才得到答案？
以音频缺失为例，一个样本的旅程是这样的。视觉帧先走视觉编码器得到视觉特征，问题文本走文本编码器得到文本特征，缺失的音频没有原始波形可用。跨模态检索模块把视觉特征作为查询，在外部记忆库中按余弦相似度找最相似的音频键，取出对应的原始音频特征作为粗候选集。这个候选集包含多个片段，有的可能是小提琴，有的可能是大提琴或掌声。
接下来上下文感知自适应净化把粗候选与视觉表示和共有表示和问题表示放在一起检验。它做两件事，先做语义一致性验证，判断每个检索词语与可用上下文是否一致，再做引导增强注意力，用共有知识和问题去突出真正相关的部分，抑制噪声。净化后的音频表示与原始视觉和文本表示一起进入混合专家与门控加权，最后由答案解码器输出答案。
下段导读帮你阅读总体框架图，左上是检索，右上是净化，左下到右下是编码到解码的主路径，重点看缺失支路如何被旁路的检索结果接管。
看图路径： 1. 先沿左上检索框看候选模态与可用模态如何经统一嵌入进入特征空间；2. 再看右上一致性校验与引导增强注意力两条支路的输入输出；3. 跟踪左下音频缺失时从编码器经投影层到三路专家的主路径
论文图 2。原论文 Figure 2：“Overview of the proposed R2ScP framework (when the audio modality is missing).”。
上图分为上下两栏。上栏左侧显示候选模态与可用模态都经统一嵌入后进入特征空间做相似度计算，右侧显示音频表示与视觉表示和共有表示和问题表示分别进入语义一致性验证与引导增强注意力，最终得到净化后的音频表示。下栏显示音频缺失时视觉与文本正常走各自编码器，而音频编码器的输入来自检索得到的正候选，3 路特征经投影层进入各自专家与门控网络，再经专家分数加权求和进入答案解码器。像素可见的箭头表明净化模块同时接收音频专家输出与视觉和文本专家的引导信号，这是理解后文多路输入的直观依据。
共有知识 × 模态特有知识： 共有知识的分工是描述可用模态与缺失模态在语义空间中的重叠通用部分，模态特有知识的分工是描述只有缺失模态才携带的细粒度实例细节，二者搭配的原因是生成法常只补出共有部分而丢失特有部分，组合意义在于检索路线明确要用真实检索保留特有知识，同时用共有知识做一致性校验来剔除噪声，这是全文从生成转向检索的判断依据。
检索如何算相似度，净化如何决定丢掉谁？
跨模态检索的计算起点是记忆库。记忆库由统一语义空间生成，每一项包含键嵌入与原始特征。键是可用于比对的缺失模态样本的嵌入，值是对应的原始特征。查询是可用模态的嵌入。相似度用余弦相似度计算，即查询与键的点积除以各自范数的乘积，再加一个防止除零的小常数。
取相似度最高的若干索引对应的特征作为候选集。候选集的大小是需要调节的超参数。
输入与符号先说清楚，查询来自可用模态，键来自库中潜在缺失模态，输出是粗候选集合。计算目标是最大化语义相关性，但不保证上下文精确相关。原文明确的实现是用预训练多模态模型提供统一空间，而不是在问答训练中从零学习跨模态对齐。这一选择把检索质量与外部模型绑定，也是后文对检索质量敏感的来源。
\[as F = {fm|m ∈Mavl},\]上式是可用特征集合的记号，说明模型只对可用模态集合中的特征做编码，缺失模态不在此集合中。它看似简单，却是后文 2 阶段训练与门控加权的起点，因为专家与门控的输入都受可用集合变化的影响。
\[set R = {ri}n\]上式是检索候选集合的记号，表示取靠前若干个最相似索引对应的特征。它把检索结果从排序分数转化为可计算的特征集合，后续净化模块的操作对象正是这个集合。论文用教学例子说明净化的必要性，为小提琴演出检索音频时，可能召回大提琴或背景掌声，它们语义相关但与具体视觉线索或问题冲突，必须过滤。
净化机制按原文描述包含一致性校验与注意力突出两部分。一致性校验比较检索表示与视觉表示的相似性，把不一致的词语标记为噪声并替换或抑制。引导增强注意力利用共有表示与问题表示生成注意力掩码，突出与问题相关的部分。最终的净化表示既保持来自真实检索的分布保真度，又用音视共有知识去除了低相关语义。原文没有给出每一步梯度是否截断的完整说明，复现时应把净化块的梯度路径单独记录，不从模块名称推定它是否可训练。
跨模态检索 × 上下文感知自适应净化： 跨模态检索的分工是解决召回问题，即在统一语义空间中用可用模态计算相似度并取靠前候选，上下文感知自适应净化的分工是解决去噪问题，即用可用模态与问题的语义一致性检验每个候选并抑制无关部分，二者搭配的原因是粗检索必然混入语义相近但上下文冲突的内容，组合意义是先扩大召回再严格过滤，保证进入推理的只有与当前问题相关的线索。
两阶段如何分工，冻结与更新的对象是谁？
第 1 阶段是模态专用专家预训练。建立视觉专家与音频专家和文本专家 3 个独立的变换器编码器，每个专家都要能独立解决音视问答任务。目标是最小化专家预训练任务损失，覆盖视觉与音频以及多模态组合等输入形式。这 1 阶段的作用是让每个专家提取有判别力的单模态表示，而不依赖跨模态捷径。原文没有报告该阶段的具体轮数与学习率，复现时这是需要补齐的缺项。
第二阶段是专家混合与动态门控训练。先冻结 3 个专家，再训练门控网络。门控根据输入上下文为每个专家分配权重，权重经归一化后用于加权求和得到联合表示，再送入解码器输出答案。冻结意味着专家参数不再更新，梯度只流向门控网络与解码器相关参数。原文明确说明冻结专家的安排理由是解耦表示学习与混合优化，避免门控与专家互相迁就。
下段导读帮你阅读 2 阶段训练图，左侧是独立训练，右侧是冻结后混合，重点看损失从哪里来，以及正负检索样本如何参与约束。
看图路径： 1. 先看左侧三路专家独立输出预测与各自第一阶段损失的对应关系；2. 再看右侧门控网络输入来源与专家分数加权求和的位置；3. 确认右侧负样本支路为何不直接接入分类监督而只参与排序约束
论文图 3。原论文 Figure 3：“Two-stage training strategy sequentially performs expert pre-training and expert mixing optimization.”。
上图左侧显示视觉与文本和音频输入各自经过对应专家得到预测并接入第 1 阶段损失，箭头之间没有交叉，说明预训练是独立的。上图右侧显示视觉输入与音频输入和正负检索样本和文本输入共同进入专家与门控网络，再经专家分数加权求和得到多路预测，分别接入排序损失与任务损失，其中负样本支路的任务损失被画叉，含义是它不直接作为分类监督，而是通过排序约束起作用。这 1 像素细节对应后文排序损失的设计。
混合专家 × 2 阶段训练： 混合专家的分工是让视觉专家与音频专家和文本专家各自保留单模态判别能力并由门控网络按上下文加权，2 阶段训练的分工是先独立预训练专家避免跨模态捷径，再冻结专家只训练门控做混合优化，二者搭配的原因是原始输入与恢复特征的可信度随缺失情况变化，需要显式建模信息源可靠性，组合意义是用课程化解耦表示学习与权重分配，使门控能在缺失时偏向更可靠的专家。
优化目标是复合损失。除了标准交叉熵任务损失，还引入语义排序损失。排序思想是真值缺失模态样本的任务损失应小于正检索样本，正检索样本的任务损失应小于负检索样本。正负检索按相似度分数的高低划分，高分对应正，低分对应负。总目标是任务损失加加权排序损失，权重记为超参数。原文没有报告该权重的具体取值与敏感性，这是复现时需要自行搜索并记录的缺项，不能把某一取值当成原文推荐。
在哪些数据与缺失条件下测，基线是否可比？
论文在两个基准上评估，一个是音乐音视问答数据集，另一个是通用音视问答数据集。前者聚焦音乐演出场景，问题涉及存在性与定位和计数比较等子任务，后者覆盖更广泛的开放域日常事件。评估条件包括缺失音频与缺失视觉等多路组合等多种缺失模态设置。比较对象包括混合专家类方法与缺失音视问答专用结构，原文点名的有生成与检索结合的模型，以及简单缺失多模态框架和单模态专家保留框架以及 3 模态关系学习框架。这些都是在相同缺失协议下实际可运行的策略，不是事后最优值。
指标方向是准确率越高越好，子任务准确率与平均准确率分别报告。论文强调在开放域日常事件上的提升更明显，解释是生成法难以为复杂无约束场景合成真实特征，而检索能保留更鲜明的模态特有细节。这一解释属于有限解释，有主结果支持，但不能直接推广为所有开放域任务都成立，仍需在更多数据集上验证。
原文对数据划分与采样帧数和音频切分，以及优化器与硬件预算等复现细节报告不完整。从现有证据只能确认数据集名称与缺失设置维度，不能确认训练与测试的缺失比例是否一致，也不能确认检索库的构建规模与更新时机。下表把可确认的实验要素整理成宽表，避免把未知条件当成已知。
下表要回答的比较问题是在什么数据与什么缺失维度上与哪类可运行基线比较，公平条件是同数据集同缺失协议同准确率指标，指标方向为越高越好，表中数字均来自原文连续原句。
| 数据集 | 场景特点 | 缺失维度 | 对比方法类型 | 本文报告的平均准确率 |
|---|---|---|---|---|
| 音乐音视问答 | 音乐演出场景 | 多种模态设置 | 混合专家类与缺失专用结构 | 71.54% |
| 通用音视问答 | 开放域日常事件 | 多种模态设置 | 混合专家类与缺失专用结构 | 76.35% |
上表前两列说明了数据集与场景差异，中间两列固定了缺失维度和可比基线类型，最后一列给出本文在两种基准上的平均准确率。表中成绩支持检索路线在平均意义上更鲁棒的判断，但它没有展开每个缺失条件的逐项对照，也没有给出基线侧的完整数字，因此不能从该表读出每种缺失下的胜负幅度。训练硬件与时间成本在原文中未报告，也不能声称效率得到改善，完整逐基线对照需回到原文表格核对。
主结果测了什么，数字支持什么判断？
主结果要回答的问题是，在多种缺失设置下，检索加净化是否比现有可运行方法更准确。测量的是 2 个数据集上的平均准确率，对比的是同缺失协议下的最优基线。论文报告本文方法在 2 个数据集上都超过已有方法，在音乐数据上达到新的最优平均准确率，在通用数据上同样最优。开放域上的增益更大，支持检索保留真实细节的解释。
需要区分的是总体趋势不等于每种子任务都最优。原文提到存在性与定位等子任务分别报告，意味着某些子任务可能提升小或不提升。在没有逐子任务完整数字时，不能把平均最优推广为所有子任务最优。百分点差异与相对百分比也不同，报告时应说提升了多少个百分点，而不是含糊地说提升了百分之多少。
下图导读帮你从表示质量侧面理解主结果，三幅散点是降维可视化，颜色形状代表乐器类别，聚集越紧、边界越清，说明恢复的特征越具判别性。
看图路径： 1. 先确认三幅子图图例中乐器类别的颜色与形状对应关系；2. 对比左侧本方法与中间基线在同类样本聚集紧密程度上的差异；3. 观察右侧对比方法中是否存在跨类别混杂更明显的区域
论文图 7。原论文 Figure 7：“t-SNE visualization of our model and other methods on the Music-AVQA dataset.”。
上图左中右分别对应本文方法与去掉检索和净化的基线以及对比方法。像素可见左侧同色同形状的点更集中成团，不同类别之间的空隙更明显，中间与右侧则存在更多跨类别混杂。原文把这种更紧的聚类与更清晰的类别边界作为检索有效性的佐证。它支持主结果的方向，但它本身不是准确率，不能替代分类指标，也不能从 2 维降维距离直接推定高维分类必然正确。
下表要回答主结果的核心数字是什么，公平条件是同数据集多种缺失设置的平均，指标是准确率且越高越好，只收录原文连续原句逐字覆盖的数字，不补基线猜测值。
| 数据集 | 评估范围 | 指标 | 本文报告的平均准确率 | 原文判断 |
|---|---|---|---|---|
| 音乐音视问答 | 多种模态设置 | 平均准确率 | 71.54% | 新的最优平均准确率 |
| 通用音视问答 | 多种模态设置 | 平均准确率 | 76.35% | 超过已有对应方法 |
上表两行是论文直接报告的定量证据，支持检索路线在平均意义上更鲁棒的判断。由于原表矩阵在本次证据中表头缺失无法安全选择，此处未删除不利基线的意图，而是受证据完整性限制，只能呈现原文连续原句可验证的部分。全模态对照方面论文称即使聚焦缺失场景，在全模态下仍具竞争力，但原文未给出完整数字，不宜夸大为全面超越，完整逐基线对照需回到原文表格核对。
拿掉检索与净化会怎样，哪些参数需要再验证？
消融要回答的是收益来自哪里。论文的逻辑是去掉跨模态检索与上下文净化的基线表示能力下降，而对比方法的散点更分散，支持两个模块共同贡献的判断。原文还讨论净化预算与检索样本数的影响，候选数太少会召回不足，太多会引入噪声，净化强度太弱滤不干净，太强可能误伤有用细节。最优取值需要在验证集上搜索，原文未在本次可验证证据中给出完整曲线数值，因此不能写出具体的最优个数。
另一类特有细节是缺失率泛化。论文在不同缺失比例下比较本文方法与多个基线，趋势是缺失越严重，本文方法的相对优势越稳定。这支持检索在严重不完整条件下仍能提供有效补偿的判断，但同样不能推广为每个缺失比例下都显著最优，需要看置信区间与统计检验，而原文未报告这些。
专家负载趋势也是论文特有的分析。在严重缺失下训练混合阶段，音频专家与视觉专家的权重经过初期波动后趋于稳定，文本专家权重相对较低。这说明门控学会了按缺失情况重新分配重要性，而不是平均使用 3 路信息。但权重高不等于该模态单独就够用，它只说明在联合加权中的相对贡献，仍需结合消融才能谈因果。
复现时应先固定检索库与随机种子，再网格搜索候选数与净化预算，并记录验证集与测试集的分离，避免用测试集选参夸大成绩。超参数与机制分析的价值在于给出调参方向，而不是给出可直接抄用的数值。门控是否自适应的观察需要补多随机种子的波动范围，净化是否必要的结论需要补不同净化强度的完整曲线，这些都是原文未完全报告的缺项。
什么条件下可能失效，原文承认了哪些边界？
论文在局限部分明确承认两点。第一，推理准确率对检索样本质量敏感。如果记忆库覆盖不足或领域不匹配或相似度计算受噪声干扰，召回的候选本身就差，净化再强也难以无中生有。这意味着在全新领域直接部署前，需要先检查库的领域一致性与规模，不能默认检索一定有效。
第二，当前工作只处理推理阶段的缺失，没有处理训练阶段也缺失的情况。实际应用中训练数据本身就可能缺路，而本文的 2 阶段训练仍假设训练时模态齐全，尤其是专家预训练需要单模态与多模态的完整监督。未来工作才计划研究训练阶段鲁棒的模型。因此，任何把本文方法描述成同时解决训练与推理缺失的说法都不符合原文。
除原文承认的局限，还有未测量的方面。论文未报告检索延迟与内存占用和训练时间与推理帧率，也未报告误判率与校准误差。总体准确率提升不等于延迟降低，也不等于每类问题都改善。在资源受限设备上部署时，检索库的存储与最近邻搜索开销可能是主要代价，需要单独测量，不能从准确率推定效率。
要复现先固定什么，再跑什么？
复现的第一步是固定信息条件。数据集用音乐音视问答与通用音视问答的官方划分，缺失协议按缺失音频与缺失视觉和多路缺失分别构造，并记录缺失是整路丢弃还是按比例随机丢弃。检索库的来源与规模，以及领域是否与测试集同域必须记录，因为原文强调领域一致性会影响效果。预训练统一语义空间的版本与是否冻结也要固定，否则检索相似度不可比。
第二步是按依赖顺序实现。先实现编码器与投影层，再实现基于余弦相似度的检索与取靠前候选，再实现一致性验证与引导注意力构成的净化，最后实现三专家与门控加权和解码器与复合损失。训练按 2 阶段执行，先独立训练专家，再冻结专家训练门控。原文未给出学习率与批量和轮数与排序损失权重，复现时应把这些当成待搜索超参数，并在验证集上选择，而不是沿用其他论文的默认值。
第三步是核对口径。每个数字要同时核对数据集与基线和实验阶段，以及指标与单位与聚合对象。平均准确率是对多种缺失设置的平均，不是对子任务的简单拼接。比较时只与同缺失协议下实际可运行的策略比，搜索最优或事后挑选的最优要单独标注。关于开源状态，本次收到的资源状态没有显示可用链接，因此不能声称代码或模型或数据已公开，只能写按论文描述自行实现。
建议先跑通全模态对照，再逐步加入缺失与检索，这样能定位问题来自编码或检索还是门控。固定随机种子与数据划分后再调参，不把测试集当验证集用。检索库与缺失构造稍有不同，结果就不可比，这是复现成败的关键。延迟与可运行性完全未报告，因此不能承诺部署收益，准确率已部分可核对，而开销指标需要补测。
何时值得尝试，还需补哪项验证？
当你的任务也是推理时整路缺失，且能获得与测试领域一致的真实特征库时，本文路线值得尝试。典型情况是音乐与会议和街景等音视强相关的问答，缺失一路但另一路仍保留足够查询线索。此时先检索真实片段再净化的做法，比直接生成更可能保留实例细节。反之，如果根本没有领域相近的库，或者查询模态本身也严重损坏，检索基础就不存在，不宜硬套。
复现与应用时常见的误解有 3 个。第一，把降维散点聚得紧等同于分类一定好，实际上它只是表示判别性的侧面证据，最终仍要看准确率。第二，把平均最优等同于每类都好，实际上需要看子任务与缺失比例的细分。第三，把冻结专家理解成输出确定，实际上门控权重仍随输入变化，检索最近邻也受库与随机性影响，不能当成确定性求解。
还需补的验证包括逐基线的完整差值与统计显著性，以及不同候选数与净化预算的完整曲线，还有跨领域库的迁移效果，以及检索延迟与内存开销。只有补齐这些，才能判断收益是否值得付出代价。总体而言，论文的贡献是把缺失处理从幻觉生成改为有依据的召回加过滤，并用 2 阶段混合与排序损失把它落到可训练的框架中，这一思路清晰，但落地仍受库质量与报告完整性的约束。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses