📄 多模态长输入里找证据：检索头是否跨模态共用又如何拿来优化
评分：6.2/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.4/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Jia Wang：Institute of Information Engineering, Chinese Academy of Sciences
- Yuqing Li：Institute of Information Engineering, Chinese Academy of Sciences
- Jiangnan Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Zheng Lin：Institute of Information Engineering, Chinese Academy of Sciences
- Mo Yu：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
多模态大语言模型需要在很长的图文音视频上下文中找到回答问题所需的一小段证据，证据可能被说出来，也可能显示在画面中，模型必须把问题与正确的证据片段对应起来。论文把注意力头中从问题位置指向证据位置的注意力作为可测量的定位信号，用校准后的检索分数给全部注意力头排序，并用消融检验这些头是否真正被模型使用。研究先构造内容相同但承载模态不同的配对长视频输入，再在文本、图文和音视频任务上比较同一模型内不同模态的头排序，以及骨干模型与模态扩展后模型在同一文本任务上的头排序。随后论文固定选出的检索头，把候选页面包含的视觉 token 上的问题到候选注意力求和作为排序分，并用页面级正负例排序损失微调注意力投影。在相同预处理与候选窗口的共享配置下，相对未训练的检索头打分器，Qwen3-VL-8B在MMDocIR页面Micro Recall@1上提高6.03个百分点，布局检索也随之提升且结论在三个模型家族成立。适用范围限于已评测的问答式证据定位和文档排序任务，共享头对空间感知与数学推理的作用仍需排除任务耦合后进一步验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
长输入里找证据为什么难
多模态大语言模型要处理的输入越来越长，一次可能包含交错的文字、图像、视频帧和音频。用户的问题往往只与其中很小一段有关，例如长视频里一闪而过的数字、长文档里某一页的表格。模型必须先定位到这段证据，再用它生成答案。如果定位错了，后续推理再强也会答错。
对刚入门的读者，可以把任务拆成三部分。输入是长上下文加一个问题，目标是从上下文中找到支撑答案的证据区间并据此回答，必须保留的是问题指向哪段证据的对应关系，输出是答案文本或检索排序。困难在于证据稀疏且被大量无关内容包围，模型不能靠位置偏好蒙对，必须真正根据问题内容去指向证据。论文研究的就是注意力头中承担这种指向功能的一小部分。
检索头这条研究路线此前走到哪里
在纯文本长上下文模型中，前人发现只有稀疏的注意力头负责把上下文信息搬运到输出，称为检索头，去掉它们会显著降低长上下文取回准确率。后续工作把检测方法从答案复制行为推广到问题与相关上下文之间的注意力，使真实问答任务也能打分，还发现检索头具有动态性。
在视觉语言模型中，也观察到负责文字识别、空间定位和视觉证据取回的功能特化头，并用因果干预把部分头与证据定位和下游推理联系起来。但这些分析大多停留在文本和图像，已有工作主要做解释，较少把检索头直接变成优化目标。本文的增量正在于补上音频视角，并尝试把检索头注意力作为可训练的排序信号。
论文要回答的两个具体问题
第一个问题是机制是否随模态扩展而扩展。当模型从文本图像扩展到能听能看的全模态时，原来那套稀疏检索头还在吗，是为语音新开一套头，还是复用同一套头，适配过程有没有把骨干模型的检索结构保留下来。
第二个问题是机制能否用来改进模型。既然已发现一小部分头负责问题到证据的注意力，能否直接训练这些头的注意力，让文档检索这类需要定位证据的任务变好，而不是只停留在分析解释。本文用同一套检测与干预流程串起这两个问题，先做跨 18 个检查点的机制分析，再做文档排序优化。
整体流程如何把检测与干预串起来
全篇沿着一个样本的旅程展开。先给定上下文、问题和人工标注的证据区间，计算每个注意力头从问题词元指向证据词元的注意力总量，再用无信息问题算一遍基线并相减，得到校准后的检索分数并排序取靠前的头。然后固定证据内容、只改变证据模态，对比同一模型在语音与屏幕文字两种条件下的头排序是否一致；再固定文本检索任务，对比骨干与适配后检查点的头排序是否一致。
接着在留出检测样本上做消融，把选定头的输出在注意力输出投影前置零，对比同层等量随机头的损伤，判断是否为因果必要。最后把选定头的注意力求和作为文档候选打分，用排序目标训练它，并在页面与版式两个粒度上评测。这种先检测再干预再优化的链条，使解释与改进使用同一对象。
检索分数怎样算出每个头的证据指向
对第 i 个样本，记问题词位置集合为 Qi，证据词位置集合为 Gi，某层某头从位置 q 到位置 t 的注意力权重为 a。证据注意力是对问题位置平均后落在证据区间上的注意力总和，它度量该头把多少问题注意力分配给了证据。
\[u^{(i)}_{lh}=\frac{1}{|Q_{i}|}\sum_{q\in Q_{i}}\sum_{t\in G_{i}}a^{(i)}_{lh}(q,t).\]上式先对每个问题词把指向证据词的注意力求和，再除以问题长度取平均，避免长问题天然占优。所有注意力都在模型原生的可见性约束下计算，不同模态的词元划分按模型自身的音频视频切分来。
检索头 × 证据注意力： 检索头指问题词对证据词注意力显著高于无关上下文的一小部分注意力头，证据注意力是按问题位置平均后落在标注证据区间上的注意力总量；前者是承担定位功能的头集合，后者是用来给每个头打分的测量量，二者组合才把抽象的找证据能力变成可排序、可消融的对象。
为什么要用无信息问题做校准
有些头天生喜欢看特定位置或特定内容，即使问题与证据无关也会给出较高注意力。如果直接用证据注意力排序，会把这类偏好头误选进来。论文沿用 MMRetHead 的做法，在同一上下文上换一个无信息问题再算一次证据注意力，作为基线扣除。
\[s_{lh}=\frac{1}{N}\sum_{i=1}^{N}\bigl(u^{(i)}_{lh}-u^{(i,\varnothing)}_{lh}\bigr).\]上式对 N 个样本取平均差，得到每个头的校准检索分数 slh。默认取分数最高的 5% 为检索头，其余阈值在需要处另行说明。这种问题到证据的分析框架统一适用于文本、图文交错和音视频输入。
校准检索分数 × 无信息问题： 校准检索分数是有信息问题下的证据注意力减去同一上下文配无信息问题时的证据注意力，无信息问题用来估计位置偏好等与问题无关的注意力基线；两者相减的目的是只保留真正由问题指向证据的那部分注意力，避免把喜欢看开头结尾的头误判为检索头。
配对音视频输入如何固定内容只改变模态
为了公平比较语音与视觉，论文构造了配对的 AV-NIAH 样本。取 MLVU 的背景视频，插入一个 6 位数字作为答案。音频条件下用合成语音读出数字而画面不变，视觉条件下在画面中央横幅显示 1 秒而音频不变。两种条件共享源视频、答案、插入深度和问题 What is the secret number，语音时间段或横幅时间段映射到的音频或视频词元即为证据区间 Gi。
文本侧用 LongMemEval 和 Natural Questions 经 QRHead 处理的证据标注子集，图文交错侧用 MM-NIAH 的文字针与自然图像针。这种设计使跨模态比较时证据内容固定，只有承载模态变化；跨检查点比较时固定文本任务，只有模态适配阶段变化。
跨模态共用 × 骨干保留： 跨模态共用指同一模型在语音证据与屏幕文字证据下选出的检索头高度重合，骨干保留指全模态模型与它的语言或视觉语言骨干在文本检索任务上的头排序高度相关；前者回答新模态是否复用旧机制，后者回答模态扩展训练是否改写了该机制，两者共同说明检索结构是被继承和扩展而非重建的。
比较排序与消融对照如何设计
比较头排序时用两个互补指标。Spearman 相关系数看全部头的完整排序一致性， top 集合重叠看最强头之间的一致性，并与随机独立集合期望的重叠对比。模型内比较只改变证据模态，跨检查点比较固定文本任务，从而分离模态效应与适配效应。
检验必要性时把集合 S 中头的输出在注意力输出投影前置零，对照是在每层随机从检索头之外抽等量头，重复 3 个随机种子。记去掉 S 后的任务分为 t，随机对照平均分为 r 拔，附加损伤定义为两者之差，越大说明去掉 S 比去掉任意等量头更伤。所有消融用与选头不重叠的留出样本，并用配对簇自助与 Holm 校正做显著性。
\[E(S)=\bar{r}-t,\]层匹配随机消融 × 附加下降： 层匹配随机消融指在每一层随机去掉与目标集合等量的非检索头作为对照，附加下降是随机对照平均分减去去掉目标集合后的分数；前者控制了去掉任意头都会有损伤的基线，后者才度量目标头集合超出随机损伤的特异性因果贡献。
怎样把检索头注意力变成可训练的排序器
文档检索任务是给定问题和同一文档的候选集合 D，要求按相关性排序。MMDocIR 分页面粒度和版式粒度，页面候选是整页截图，版式候选是段落表格图表等区域。对固定的检索头集合 Hk、问题位置 Q 和候选 dj 的视觉词元位置 Tj，候选分数是对选定头的问题到该候选注意力求和平均。
\[r_{j}(\theta)=\sum_{(l,h)\in\mathcal{H}_{k}}\frac{1}{|Q|}\sum_{q\in Q}\sum_{t\in T_{j}}a^{\theta}_{lh}(q,t),\]上式本质是把公式 1 的证据区间换成每个候选，跨选定头求和。训练分三步。先在基模型上检测一次 Hk 并冻结，推理时沿用；再在每个样本内把原始分数重缩放到固定区间以稳定梯度，端点做停止梯度；最后每个训练样本含一个正例页面和一个同文档难负例，随机打乱顺序，用交叉熵让正例分数最高。
\[\mathcal{L}_{\mathrm{rank}}=-\log\frac{\exp(z_{j^{+}})}{\sum_{j}\exp(z_{j})}.\]损失只定义在选定头上，但梯度经由低秩适配器更新注意力投影。推理时用有信息分数减去无信息问题分数做校准排序。训练数据只有页面级标注，没有版式标注，因此版式检索成为检验细粒度迁移的天然测试。
候选页面打分 × 排序损失： 候选页面打分是把选定检索头上问题词对该页面视觉词元的注意力求和平均，排序损失是让正例页面归一化后的分数在同一文档候选中的 softmax 概率最大；前者把检索头的定位注意力变成可比较的检索分数，后者提供只更新注意力投影上低秩适配器的训练信号，组合后实现不改整体生成能力而专门调大证据指向。
在哪些模型与数据上验证
机制分析覆盖 18 个检查点，测量都针对生成文本的语言解码器，包括 Qwen2.5-Omni 的 Thinker 和 BAGEL 的理解专家。下表是分组与输入模态划分，T 为文本，I 为图像，V 为视频，A 为音频，语言组只有文本，视觉语言组加图像视频，全模态组四者皆有，部分全模态检查点可与同系列骨干对应，从而做保留分析。
| Group | Checkpoints | Input |
|---|---|---|
| Language | Qwen2.5-3B/7B, Qwen3-4B/8B | T |
| Vision-language | Qwen2.5-VL-3B/7B, Qwen3-VL-4B/8B, MiniCPM-V-4.5 | T, I, V |
| Omni-modal | Qwen2.5-Omni-3B/7B, MiniCPM-o-2.6/4.5, SALMONN 2+ 3B/7B, SALMONN Pro 4B/8B | T, I, A, V |
上表说明比较的公平条件。同一模型内比较音频与视觉证据，背景视频与问题答案都配对固定；跨检查点比较固定文本检索任务，只改变模态适配阶段。背景长度设 100 秒约 8K 词元和 300 秒约 24K 词元两档，以检验长上下文下的持续性。
优化实验以 Qwen3-VL-8B 为主，在 Qwen2.5-VL-7B 和 Gemma3-12B 上重复，头数默认 16 并在 4 到 64 间扫描，训练前后共享预处理与候选窗口，差异只反映训练本身。评测用 MMDocIR 的 Recall@K，页面命中指标注证据页进入前 K，版式按标注证据面积被前 K 区域覆盖比例计算，分 Micro 按问题平均与 Macro 按 10 个文档域平均。
稀疏性与跨模态共用的证据是什么
在 8 个全模态模型中，音频证据下的校准分数经每模型归一到 0 到 1 后，大部分头接近零，高分集中在中层与中后层的少数坐标上。把归一分数分档统计，每模型贡献一半正总分所需的头不足 10%，音频与视觉两种条件都如此，说明文本图像上报告的稀疏性在语音证据下同样成立。
下图展示这种稀疏分布，热力图行是层列是头，颜色越亮分数越高，下方条形显示三档分数的头占比，可以直观看到长尾偏态。
看图路径： 1. 先看(a)(b) 热力图中高亮点是集中在少数格还是铺满全图；2. 再看(c) 横条中深色高分区占比与浅色低分区占比的悬殊程度；3. 对比八个模型在音频与视觉两种条件下的条形是否都呈现同一偏态
论文图 1。原论文 Figure 2:：“Retrieval heads are sparse in omni-modal models.”。
上图确实可见高亮点稀疏散布而大面积为低分底色，条形中小于等于 0.2 的一档占据绝大多数，8 个模型在两种模态下形态一致，支持检索头在新模态下依然稀疏的判断，但这只是必要条件，还需看跨模态是否为同一批头。
配对比较显示，音频与视觉各自前 5% 集合的重合比例在 69% 到 83% 之间，而独立随机集合期望重合不足 3 个头；全部头排序的 Spearman 相关系数在 8 个模型中介于 0.88 到 0.92，留出 1 对检测材料或换 300 秒背景后依然成立。下表概括该对比的数值条件。
| 比较对象 | 指标 | 音频视觉共用结果 |
|---|---|---|
| 前 5% 头集合 | 两条件交集占比 | 69% 到 83% |
| 全部头排序 | Spearman 相关系数 | 0.88 到 0.92 |
上表说明比较问题是在证据内容固定时模态是否改变头选择，指标方向是重合越高相关越大则越支持共用，结果显示共用远超随机且全排序一致。但当语音数字与 MM-NIAH 自然图像证据相比时相关降低，说明招募更多取决于检索目标而非承载模态，这与文本图像部分共用的既有观察一致。
看图路径： 1. 先看(a) 每行紫色共用段的长度与橙蓝独有段的相对比例；2. 再看(b) 全部头的 Spearman 相关系数落在 0.87 到 0.93 的哪个位置；3. 注意灰色留一对敏感性条带的宽度，判断结论是否依赖某一视频材料
论文图 2。原论文 Figure 3:：“Spoken and displayed evidence recruit overlapping heads.”。
上图左侧每行紫色共用段占主导，右侧相关系数聚在 0.9 附近且灰色敏感性带较窄，说明结论不依赖某一个检测视频。跨骨干保留方面，SALMONN 与视觉语言骨干相关系数不低于 0.97，Qwen2.5-Omni 与语言骨干也保持接近，文本任务固定时适配并未重写检索结构。
检索头排序训练带来多大提升
在 Qwen3-VL-8B 上，即使不训练，仅用检索头注意力排序已远好于随机头，符合其定位证据的角色。加上排序训练后，页面 Micro R@1 提升 6.03 个百分点，10 个文档域普遍提升，且未见版式标注的版式检索也提升约 1.4 个百分点。下表是在同一配置下直接可比的行，随机头、未训练检索头与训练后三者共享预处理与候选窗口。
| Baseline results | ||||
|---|---|---|---|---|
| DPR | 27.20 | 26.91 | 19.24 | 19.09 |
| Retrieval heads | 58.81 | 56.45 | 46.44 | 47.14 |
| + ranking training | 63.86 | 62.48 | 47.78 | 48.60 |
| Gain (points) | +5.05 | +6.03 | +1.34 | +1.46 |
上表比较问题是在相同候选与配置下功能选头与训练各贡献多少，指标方向是 Recall@1 越高越好，结果显示选头本身带来从 38.00% 到 56.45% 的大幅领先，训练再带来到 62.48% 的增益，版式从 47.14% 到 48.60% 也有迁移。表中与已发表检索器的数值因评测设置不同只作参考，受控结论应看同一配置内的增益。
跨模型重复显示三家族页面与版式双粒度都提升，Qwen 2 模型页面增益约 5 到 6 个百分点，Gemma 页面增益约 2 个百分点而版式增益反而稍大，说明方法可迁移但幅度依赖基模型与候选窗口。头数扫描显示每个头数与每个截断下训练都提升检索头打分器，最大增益在基模型最弱的 Page R@1 处，随机头训练后仍远低于检索头，说明功能选头在训练前后都重要。
看图路径： 1. 先看橙色检索头曲线与蓝色随机头曲线的上下位置关系；2. 再看虚线训练前到实线训练后阴影面积在 Page R@1 处是否最大；3. 观察横轴头数从 4 增加到 64 时两组曲线的斜率与差距是否收敛
论文图 6。原论文 Figure 7:：“Functional head selection matters at every head-set size and cutoff.”。
上图确实可见橙色检索头曲线整体位于蓝色随机头曲线之上，虚线到实线的阴影在 Page R@1 最宽，横轴头数增加时差距并未消失。域外 4 个基准的变化都不到一个百分点，部分模型任务对还略有上升，表明这次小范围注意力训练对域外影响很小，但这只是未变坏的证据，不是通用能力提升的证据。
去掉这些头会带来多大损伤
在留出 AV-NIAH 样本上，去掉前 5% 检索头几乎消除全部 4 个模型的音频取回，也大幅损伤两档长度下的视觉取回，而同层等量随机头影响很小。Qwen2.5-Omni-7B 的例子最具代表性，音频精确匹配从高位跌至零，随机对照仍保持 90% 以上，说明损伤来自头的特异功能而非任意删头的一般代价。
| 条件 | 指标 | 无消融 | 随机对照 | 去检索头 |
|---|---|---|---|---|
| Qwen2.5-Omni-7B 音频证据 | 精确匹配 | 98.3% | 96.9% | 0 |
| 4 模型总体趋势 | 精确匹配 | 高位 | 轻微下降 | 音频归零视觉大降 |
上表比较问题是去掉检索头是否比去掉等量随机头更伤，指标方向是精确匹配越高越好，结果显示检索头消融带来超出随机对照的巨大附加下降，且在约 8K 与约 24K 两档长度下都存在。
下图进一步展示这种因果效应的稳健性，灰色无消融与浅蓝随机对照普遍较高，红色检索头消融在音频列几乎贴零，视觉列残留稍多但仍显著低于对照。
看图路径： 1. 先沿灰色无消融到浅蓝随机消融再到红色检索头消融比较同一组柱高变化；2. 区分音频两列与视觉两列中红色柱几乎归零与部分残留的差异；3. 对比 100 秒约 8K 与 300 秒约 24K 两档长度下红色柱的损伤是否持续
论文图 4。原论文 Figure 5:：“Retrieval-head ablation disrupts audio-visual retrieval.”。
上图可见 4 个模型在 4 种条件下面向初学者的读法是先横向比三色柱高，再纵向比音频视觉与长短背景，结论是音频检索几乎完全依赖这些头，视觉检索也高度依赖，只是残留略多。换头集合后，前 20 头已能去掉大部分音频取回，同时属于音频视觉各自前 20 的共用头只有约 10 个，却同样带来远超随机的下降，在 Qwen2.5-Omni-7B 上对视觉的损伤还随上下文变长而增大。
把这十余个跨模态共用头拿到 8 个下游任务上检验，涉及文档问答、空间感知、多学科推理与视觉数学，对照是等量自然图像检索头与层匹配随机头。共用头消融在全部任务上都带来超出随机的下降，在视觉数学与空间感知上最强，且 15 个模型任务对中超过图像检索头，每模型各有 4 个任务经 Holm 校正显著，而图像检索头至多 1 个显著。这支持共用子集虽不足全部头的 2%，却是超出原检测任务的证据使用核心，但显著性只在所测 2 模型八任务上成立，不宜推广到所有推理。
这些结论在什么条件下才成立
机制结论依赖特定的检测材料与度量。AV-NIAH 用 6 位数字配同一问题，证据形式单一且问题固定，Spearman 与前 5% 重叠虽稳健，但换成更开放的问答或更复杂的证据类型时，共用比例可能变化。保留分析固定文本检索任务，若换音频或视觉检索任务比较骨干与适配模型，相关系数可能不同。
因果结论依赖消融实现与统计。置零注意力输出投影前输出是一种强干预，不等于自然关闭，层匹配随机对照虽控制了数量与分布，但不同层的可替代性仍有差异。下游八任务上共用头显著 4 个任务，另 4 个未达显著，不能说对所有多模态推理都关键。
优化结论依赖 MMDocIR 的页面标注与候选窗口。训练只用一正一难负的页面对，版式提升虽无版式监督却是小幅提升，跨家族候选窗口不同故只能比训练前后增益，不能跨模型比绝对值。与外部检索器的比较因设置不同不可直接排名，域外无下降也不等于没有隐性代价，只是所测 4 基准变化在一分以内。
复现第一步要做什么与缺口在哪里
若要复现机制部分，第一步是按原文构造配对样本并固定证据词元映射。取同一背景视频，分别生成语音读数版本与中央横幅版本，记录语音与横幅时间段到模型音频视频词元的对应，作为 Gi，再用同一问题计算公式 1 与公式 2。需要补的验证是更换数字长度、说话人与横幅样式后重算重叠与相关，以确认共用不依赖特定合成方式。
若要复现优化部分，第一步是在基模型上用 4 个多模态检测条件汇合选出前 16 个检索头并冻结集合，再按原文实现候选打分、样本内重缩放与一正一负排序损失，仅在注意力投影上加低秩适配器训练。原文未披露重缩放中超参数与适配器秩等全部细节，也未报告训练耗时与推理开销，复现时应记录这些成本并做随机头对照。来源方面，本次未能确认作者代码模型数据资源已公开，需按论文文字自行实现。
什么时候值得尝试这种思路
当你的任务瓶颈是长输入中定位证据，例如文档页面筛选、长视频关键片段定位，且已有模型的注意力权重可取时，值得尝试先检测检索头再用其注意力做排序或加权。这比盲目调大模型更聚焦，且本文显示十余个头已携带很强信号，干预成本相对小。
不值得夸大的是，检索头不是万能推理模块。它解释的是问题到证据的指向环节，对需要多步计算的视觉数学仍只是部分贡献，去掉共用头损伤大不等于单独增强它们就能解决推理。排序训练的增益集中在页面召回，版式与域外提升都很小，说明迁移粒度有限。后续还需补开放问答下的共用检验、不同消融方式的对比，以及训练对延迟与显存的实测，才能判断实用边界。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses