📄 Omni-Woodpecker：在融合表示里找回被压制的证据
英文题目：Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs
评分：7.5/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1/1.5 | 可复现 0.4/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Zijian Liu：机构信息未能在本次解析中与作者逐人可靠绑定
- Chaoyou Fu：机构信息未能在本次解析中与作者逐人可靠绑定
- Yan Yang：机构信息未能在本次解析中与作者逐人可靠绑定
- Caifeng Shan：机构信息未能在本次解析中与作者逐人可靠绑定
- Ran He：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者需要理解的对象是同时接收问题文本、视频和音频的全方位大语言模型（Omni Large Language Models，OLLM），输出是与问题对应的答案，困难在于早期融合把查询需要的证据与竞争模态的线索混在一起，解码前已形成偏向错误答案的隐藏状态。Omni-Woodpecker（OWP）先运行完整输入、纯音频、纯视频和纯文本四个视图，比较首个答案是否一致来判定查询需要音频还是视频，并找出与完整答案一致的竞争来源。接着它用目标视图减去纯文本状态得到证据方向，用融合状态减去目标状态并去除证据分量得到与证据正交的先验方向，同时计算融合状态缺失的证据量。最后它按完整视图对竞争答案的偏好强度，把一个修正预算分配给注意力通路加权和残差状态修复，分别抑制竞争头的值贡献、恢复缺失证据。与对比解码和偏好优化只调整输出分布不同，该工作直接改写同层融合表示而不更新参数。以 Qwen2.5-Omni-7B 为骨干，OWP 在 CMM 上达到 86.1% 总体准确率，比骨干提高 12.9 个百分点；在完整 AVHBench 上达到 83.7%，比骨干提高 8.6 个百分点。结论只适用于查询相关的跨模态冲突且需要白盒读写隐藏状态的开源 OLLM，原文报告在 RTX A6000 上平均延迟为骨干的 1.71 倍至 1.77 倍，峰值显存为 24.9 GiB 和 17.3 GiB。
🔗 开源与复现资源
- 代码相关资源：https://github.com/ZiiJianLiu/Omni-Woodpecker — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全模态模型要回答什么，为什么会被带偏
这篇论文研究的全模态大模型同时吃问句、视频和音频，要在三者不一致时仍按问句点名的依据回答。以“狗叫了吗” 为例，音频里是安静，画面里有狗，模型隐状态里其实编码了安静的证据，但“看见狗就倾向于答叫了” 的关联在融合时占了上风，最终说错。
对刚入门的读者，关键是区分两种失败：一种是根本没听见或没看见，另一种是听见了却在融合时被压制。论文聚焦第二种，称为跨模态幻觉，还包括语言先验压制感官证据的情况。CMM 把这类失败分成语言主导、视觉主导、音频主导和虚假跨模态关联，AVHBench 则考察音频带偏视觉、视觉带偏音频以及音视频是否匹配。
论文的判断是，早期融合模型在解码开始前就把证据和先验搅在一起，只改输出分布修不好已损坏的隐状态。因此它提出在表示层动手：先诊断冲突，再把证据与竞争成分分开，最后按冲突强度把融合表示调回证据一边，全程不改模型参数和输出头。
已有路线在输入、目标和动手位置上有何不同
第一类是输出级校正。对比解码把完整输入与退化输入的词概率相减，VCD 对比原始与扭曲视觉输入，AVCD 估计 3 个模态谁主导再对比遮蔽与完整输入，MAD 先判断问句需要音频、视频还是两者再加权对比分支，Woodpecker 类在生成后检测并改写无依据内容，偏好优化则用人类或 AI 反馈调权重。它们的共同点是在解码分布或权重上动手，不直接控制融合表示里证据与先验的相互作用，也不逐问句指出哪一路在竞争。
第二类是表示级干预。激活转向、推理时干预、表示工程和对比激活相加都沿某个方向移动激活，HulluEdit 把视觉证据与正交的反先验子空间分开并一次性编辑残差。这类工作证明了幻觉因素可以在表示中触及，但多假设固定分工，例如感知证据对语言先验，并对所有输入用同一方向。
OWP 与两类都不同：它与 MAD 一样关心问句需要哪个模态，但不只用它加权输出分支，而是用它构造编辑方向；它与 HulluEdit 一样做正交分离，但分离的对象随每个输入的诊断结果而变，并把一份预算在注意力路径与残差状态之间分配。比较时要注意，外部大模型架构与训练数据不同，只能作参照，不能视为同条件胜负。
论文把幻觉重新表述成什么问题
论文把全模态幻觉表述为融合表示内部证据与先验的失衡，而不是感知失败。证据指问句要求的模态提供的、可支撑正确答案的信号，先验指与之竞争的另一模态关联或语言关联，例如“狗出现则在叫”。当后者在融合时压制前者，答案就错了。
这个表述带来可检验的推论：如果真是压制而非没感知，那么只给目标单流时冻结模型应能答对，而完整输入反而答错。论文的视图消融支持这一点：只保留竞争流时准确率大幅下降，只保留目标流时反而高于完整输入。OWP 的全部设计都围绕恢复这种被压制的证据展开。
跨模态冲突 × 目标证据 × 竞争线索： 跨模态冲突指问句需要的模态支持的答案与完整输入的答案不一致，而另一个模态与完整输入一致；目标证据是问句点名的那个模态应提供的依据，竞争线索是把完整答案带偏的另一路信号，三者组合把幻觉定位为哪一路压制了哪一路，而不是笼统说模型没看清。
三段流程各自解决什么，各产出什么
OWP 的输入是问句加音视频，输出仍由同一冻结模型的语言头解码得到，但中间多了一次有条件的表示编辑。第一段是问句条件冲突诊断，比较 4 个视角的答案与注意力，输出目标来源与竞争来源。第二段是保证据的冲突分解，输出证据方向、与之正交的竞争方向和证据缺口，以及每层要动哪些头。第三段是冲突自适应再平衡，把一份修正预算按冲突强度分给路径与残差两处，写回同一层后再做一次完整视角前向得到答案。
只有当完整视图与目标视图首词答案不一致时才编辑，否则直接返回基座答案，其余输入保持原样。这种触发式设计是后文延迟只有约 1.7 倍的原因。在 AV 匹配这类没有单一目标模态的任务中，OWP 把联合音视频当作证据源、纯文本当作竞争先验，并用替换音频或视频的反事实输入构造方向。
下图把输出级方法与 OWP 的动手位置对比放在同一只狗叫例子上，有助于理解为何论文强调在幻觉形成处修正，而不是在答案出现处修正。
看图路径： 1. 先看上半部分输出级方法如何从融合后表示直接得到错误答案；2. 再看下半部分从冲突诊断到分解再到再平衡的三段箭头；3. 对照图例中目标证据与竞争先验的颜色在隐状态条带上的变化
论文图 1。原论文 Fig. 1:：“Comparison of omni-modal hallucination mitigation paradigms.”。
上图上半显示音频证据与视觉先验在融合后缠结，输出级方法只能在错误答案出现后校准分布或对齐偏好；下半显示 OWP 先诊断跨模态冲突，再选头并分离隐状态流，最后得到再平衡表示与纠正答案。读图时不要把颜色深浅当作数值大小，它只区分目标证据、竞争先验与未改路径。
四个视角如何定目标，竞争者如何验真
诊断用的 4 个视角是完整输入、只给音频、只给视频、只给文本，跑的是同一个冻结模型，不用标签和参考答案。先定目标：给原问句追加一句诊断问句，问需要音频、视频还是两者，取三者下一词概率并把两者的一半分别计入音频分与视频分，分差超过固定裕量则胜出，否则按问句用词、分支分歧和基座答案的固定回退顺序决定。
再验竞争者：对除最后一层外的每一层，取最后问句词对音频、视觉、语言 spans 的头平均注意力，按 span 长度归一并跨层平均，得到每路注意力质量。只有当某非目标单流分支与完整答案一致而目标分支不一致，且其注意力质量明显超过目标时，才接受为竞争来源；跨模态分数与背景语言分数太接近则跳过编辑。
完整视图 × 单流视图 × 纯文本视图： 完整视图指同时给问句、视频和音频的一次前向，单流视图指只保留音频或只保留视频，纯文本视图指只给问句；前者暴露融合后的偏向，单流视图暴露每一路单独能答什么，纯文本视图剥离语言先验，三者对照才能判定目标是哪一路、竞争者是哪一路。
证据方向与正交竞争方向如何算出
分解前先把纯文本状态减掉，以去掉问句与共享语言成分。记目标视图与完整视图的首词预测，某视图对两者的偏好是它给两者的冻结打分之差。非目标分支的平均偏好经双曲正切得到分离强度，经 Sigmoid 得到支持哪一答案的比例，再与目标和完整分支是否共同支持同一成分的信任项相乘，得到两路非负权重。内层归一消除尺度差，外层归一得到单位证据方向。
下式即该证据方向，它以目标证据为锚，只保留其他视图中支持目标的部分。
\[u_{\ell}=\mathcal{N}\!\left[\mathcal{N}(e_{\ell}^{\mathrm{tar}})+w^{\mathrm{non}}\mathcal{N}(e_{\ell}^{\mathrm{non}})+w^{\mathrm{fus}}\mathcal{N}(e_{\ell}^{\mathrm{fus}})\right],\]式中各项都是最后问句词在某层的隐状态减去纯文本状态后的残量，N 表示除以二范数加小量的归一。融合偏移是完整状态减目标状态，它同时含有效证据与竞争内容；把其中沿证据方向的分量去掉并归一，就得到与证据正交的竞争方向，压制它不伤证据分量。证据缺口是目标状态减融合状态沿证据方向的投影再截零，为零表示没有丢失。
头定位告诉在何处下手：按来源分组取注意力最高的若干词，若某头更关注非目标组且其取值贡献更支持完整答案则归入竞争头集，反向测试归入证据头集并排除前者，每层至多 4 个头，按答案对齐的取值贡献排序。数值不稳定时跳过该层更新。
证据方向 × 竞争方向 × 证据缺口： 证据方向是以目标证据为锚、只保留其他视图中支持目标答案成分的单位向量，竞争方向是融合偏移去掉证据分量后剩下的正交部分，证据缺口是目标状态沿证据方向超出融合状态的正部投影；三者分工为保护什么、压制什么、补回多少，组合后得到可写回的编辑量。
一份预算如何在路径与残差之间分配
路径编辑改聚合前各来源送出的内容，残差编辑改已混入隐状态的竞争。分配权重由完整视图对竞争答案的偏好经 Sigmoid 得到，偏好弱则更多预算给路径，偏好强则更多给残差。两路份额之和为一，总预算不变，只是按冲突进展换动手位置。
路径侧减去竞争头的来源对齐取值、加上证据头的证据对齐取值，再乘路径强度；残差侧减去沿竞争方向的分量、加上缺口乘证据方向。编辑位点和系数全局固定，方向、头集和分配权重逐输入计算，残差与路径下标只表示两条分支，不表示 Transformer 层号。
下图用一个问女人是否在发声的例子串起诊断、分解与再平衡，注意右上 OWP 纠正了把打字画面误当发声的错误，左下与右下分别对应定位与加权回写。
看图路径： 1. 先沿左上四个探测分支看目标模态与竞争线索如何选出；2. 再看左下 token-头定位如何分成受保护证据与竞争先验；3. 最后看右下路径加权与状态回写如何共用一份分配权重
论文图 2。原论文 Fig. 2:：“Overview of Omni-Woodpecker (OWP). Given a query and an audio-visual input, OWP runs four views of a frozen model to find the target modality and the competing cue.”。
该图可见四次探测共用一个冻结模型，选中音频为目标、视觉为竞争后，在选定层先做路径重加权得到中间状态，再做先验投影相减与证据恢复相加并写回同层，全程保留有效上下文。
注意力路径编辑 × 残差状态编辑 × 冲突自适应分配： 注意力路径编辑在聚合前增减特定头的取值贡献，残差状态编辑在已融合的隐状态上直接减竞争分量、加证据缺口，冲突自适应分配用完整视图对竞争答案的偏好强度把一份修正预算分成两路份额；前两项决定在何处改，最后一项决定按冲突进展把力度分给何处。
没有训练时，哪些是固定的，实际执行了什么计算
本研究没有训练任何模型，冻结的是 Qwen2.5-Omni-7B 与 VideoLLaMA2-AV 等基座，语言头与解码规则不变。实际计算是多次冻结前向加一次编辑后前向：先跑完整与目标视图判断是否冲突，冲突时再跑非目标与纯文本视图得到方向与分配权重，最后跑一次编辑后的完整前向。定量评测用有限答案探针给选项打分，定性例子用自回归解码。
所有常数在评测前全局固定。目标判定裕量为 0.12，竞争验证用 0.05 置信裕量与 0.03 跨模态背景间隔，证据校准温度为 1.0、增益为 0.75，每组取 16 个最受关注词、每层至多 4 个头。在 Qwen2.5-Omni-7B 上证据层为 12、16、20，先验层为 24、26、27 并分别加权，路径与残差系数等固定；换基座只适配编辑层与两个残差增益。
下表是目标判定用的 4 种同义诊断问句，它们追加在原问句后并共用 3 个回答词，说明诊断不依赖特定措辞。
| ID | 追加的诊断问句 |
|---|---|
| 1 | Identify which modality is required to answer the question (audio, video, or both). |
| 2 | Given this question, select the necessary modality for reasoning (audio, video, or both). |
| 3 | Which modality does this question require (audio, video, or both)? |
| 4 | State the modality relevant for answering this question (audio, video, or both). |
上表 4 个措辞含义相同，避免了目标判定被单一问法绑架；它们只决定目标与竞争的归属，不直接选择输出词，因此不能把此处的一致性当作答案正确性的保证。
在什么数据、基线和统计下比较
评测用了全部 1200 个 CMM 冲突案例与 5302 个 AVHBench 样本，含 AV 匹配，以及 4 个通用全模态推理基准的官方划分。受控比较把 AVCD、MAD、HulluEdit 接到同一冻结基座与同一预处理上，视频每秒 2 帧至多 32 帧，Qwen 视觉前端像素在 100352 到 602112 之间。外部模型用发布权重同提示同解码同评分重跑，只作架构与规模参照。
CMM 总准确率是感知准确率与幻觉抵抗力的均值，AVHBench 用官方准确率与 F1。原生协议各基准用各自答案格式，共享执行器则统一用二值是否探针，因此两处基座数字不同。配对比较用 4604 个各方法均有效预测的样本，做双侧 McNemar 检验与 5000 次行自助 95% 区间，机制对照用 20000 次与 Holm 校正，随机方向用 3 个固定种子。
OWP 不看参考答案，不做逐样本监督，编辑层来自因果定位，跳过的输入保留基座输出。延迟在 RTX A6000 上每输入平均三次运行，峰值显存在两基座上分别为 24.9 GiB 与 17.3 GiB。
冲突修正的主结果在何种条件下成立
要回答的核心问题是能否双向纠正冲突并保留问句需要的证据。下表整理原生协议下的关键数字，比较对象是同一基座上的实际可运行策略，外部模型只作参照。指标方向都是越高越好，括号内是相对组内基座的变化。
| 条件 | 指标 | 基座 | 本方法 | 比较对象 |
|---|---|---|---|---|
| Qwen2.5-Omni-7B CMM HR | 幻觉抵抗力 | 57.0% | 85.5% | 感知准确率 86.7% |
| VideoLLaMA2-AV CMM / AVHBench | 准确率 | 76.2% / 70.2% | 80.8% / 74.1% | 同组最优 |
上表显示 OWP 在两个基座上都是组内整体最优，在 Qwen2.5-Omni-7B 上超出最强基线 MAD 约 4.9 与 7.7 个百分点。它把 CMM 感知与抵抗之间 32.5 个百分点的缺口收窄到约 1.2 个百分点，而 MAD 仍留约 16.9 个百分点。双向看，CMM 视觉与音频主导下为 86.0% 与 90.2%，AVHBench 两方向为 84.9% 与 85.3%，语言主导也从 81.3% 升到 82.0%。
限制是触发率不高：在有完整视角记录的行上约 25.8% 判为冲突、16.9% 改变答案，其余约 74.2% 走未改基座；目标判定与基准定义目标的一致率为 99.48%，仅 8 行分歧进入编辑且净效应为零。共同子集上相对基座、MAD、HulluEdit 高 10.40、4.69、3.52 个百分点且 p 小于 1e-16，但这是在冲突子集与原生协议下的结论，换探针或换划分数字会变。
感知准确率 × 幻觉抵抗力 × 联合音视频匹配： 感知准确率衡量模型能否答对常规感知问题，幻觉抵抗力衡量在冲突诱因下能否不编造，联合音视频匹配问音频与视频是否属于同一事件而没有单一目标模态；三者组合检验修正是否只压制了幻觉、是否保留了原有感知、是否还保留双流联合证据。
通用推理与开销如何，例子说明了什么
通用推理关心修幻觉是否伤及通用能力。在同一冻结设置下，OWP 在 4 个闭式答案基准上均有提升，OmniBench 与 WorldSense 这类多流问题提升更大，说明按问句恢复证据流对通用推理也有帮助，而非只在冲突探针上过拟合。
下表为 Qwen2.5-Omni-7B 加与不加 OWP 的准确率，括号内为相对基座的百分点增益。
| Model | OmniB. | WorldS. | MUSIC-AVQA | AVQA |
|---|---|---|---|---|
| Qwen2.5-Omni-7B | 45.36 | 45.21 | 85.08 | 91.83 |
| ++ OWP | 47.29 (+1.93pp) | 47.46 (+2.25pp) | 86.08 (+1.00pp) | 92.50 (+0.67pp) |
上表 4 个增益分别为 1.93、2.25、1.00、0.67 个百分点，方向一致但幅度不大，最大在 WorldSense。它们都用有限答案探针打分，与自回归生成的定性例子不在同一解码下，解读时不应混为一谈。开销上冲突触发使平均延迟约为基座 1.71 倍与 1.77 倍，最多 5 次前向，低于 MAD 的约 2.81 倍与 9 次调用，在 Qwen2.5-Omni-7B 上也远快于 HulluEdit 的 13.02 秒对 6.05 秒。
下组定性例子是互为镜像的视听 grounded 提问：左边有鸡啼声但画面无公鸡，右边有喷雾画面且伴随说话声。基线跟随了更显著模态，前者编出公鸡，后者否认说话；OWP 按提问模态回答，既说清蜂箱与喷雾场景，又不编造或否认另一路兼容内容。这只是两个样本的展示，不能当作准确率证据。
看图路径： 1. 对比左右两例的提问模态与干扰模态是否互为镜像；2. 看粉色与绿色框中基线与 OWP 答案跟随了哪一路信号；3. 注意 OWP 在纠正的同时是否保留了兼容的场景描述
论文图 4。原论文 Fig. 4:：“Qualitative comparison on reciprocal visual- and audio-grounded queries; pink and green boxes mark incorrect and correct answers.”。
从像素可见，左侧音频字幕含鸡啼与蜂鸣，右侧含说话与喷雾声，粉色为错误答案、绿色为正确答案；OWP 的绿色回答保留了兼容上下文，而非简单地把另一模态删掉。
哪些组件与位置是必要的，增益是否只是偏向否定
消融要排除增益来自统一偏向否定的可能。下表先看原生协议下证据增强、先验压制、残差与路径、自适应分配的分工，指标越高越好，括号内为相对基座的变化。
| 条件 | 指标 | 基座 | 本方法 | 单组件对照 |
|---|---|---|---|---|
| 残差单站对路径单站 | 准确率/HR | - | 83.23%/84.33% 对 81.68%/69.67% | 固定均分 83.93%/82.33% |
| 自适应对固定分配 | 准确率/PA/HR | - | 85.17%/86.70%/85.50% | 固定 83.93%/84.67%/82.33% |
上表说明单组件各有提升但合在一起最好，且把感知代价从约 5.83 与 4.17 收窄到 2.80 个百分点。残差是主要解决位置，路径单用在 HR 上落后约 14.66 个百分点；固定均分以 HR 换准确率，而自适应在三项上分别再涨约 1.24、2.03、3.17 个百分点。交换两类层位置使准确率掉约 6.79 个百分点，支持中间层恢复证据、靠后层压制先验。
共享执行器下，单配置在两基座上提升 2.85 与 2.14 个百分点，增益集中在真值为否的行，而把基座统一向否平移以匹配 OWP 否率只涨 0.60 与 0.67 个百分点，且在正例上降分，OWP 反而升分，因此不是统一偏向否。机制上证据减先验平衡移动 14.25 点而 HulluEdit 仅 2.19 点，证据主导份额从 23.0% 到 50.8%，先验坐标下降而证据坐标变化至多 0.14 点；破坏相关流时答案改变率 45.3% 对无关流 4.3%，选择性缺口 41.0 点。
方法的边界在哪里，哪些失败修不了
第一，论文只做跨模态幻觉，即一路证据被另一模态或语言先验覆盖，CMM 与 AVHBench 正是为此构建，时序错乱与说话人情感等不在诊断范围内。第二，它恢复的是基座已编码但融合时没用好的证据，若目标单流本身就感知错，就没有可靠证据可恢复。
第三，它要读写隐状态与注意力输出，需要开权重模型的内部访问，只给 API 的模型用不了，这与同类表示级方法相同。第四，它要跑额外视角，冲突触发后仍约为基座延迟 1.71 到 1.77 倍，低于 MAD 但高于单次基座。
还有测量边界：随机方向与反转方向对照显示方向语义是关键，但只在冲突子集与 3 个种子下验证；层扫描的置信带是配对自助区间，不能推广到所有层都有效；通用基准增益较小且为闭式探针，不能等同于开放生成的提升。
复现第一步做什么，需要哪些条件
先准备开权重基座与原评测划分，按原文固定全部常数，不要逐样本调参。视频按每秒 2 帧至多 32 帧采样，Qwen 视觉像素范围按原文设置，编辑层在 Qwen2.5-Omni-7B 上用证据层 12、16、20 与先验层 24、26、27 及给定加权，换基座只适配编辑层与两个残差增益。
流程上先实现四视角冻结前向与目标判定，再实现竞争验证与跳过逻辑，确认无冲突时输出与基座完全一致；再实现证据方向、正交竞争方向、缺口与头定位，最后实现按分配权重的两路写回。作者资源当前已公开，地址为论文给出的 GitHub 链接，可用于对照实现，但权重下载、代码可运行与环境可复现是三件独立的事，仍需核对版本与依赖。
评测时原生协议与共享是否探针分开记录，不要把两处基座数字混用；延迟在同一 GPU 上分组件计时并平均多次，额外视角与编辑前向只在冲突时运行。
什么时候值得尝试，还缺哪项验证
当错误呈现为问一路、答偏向另一路，且单流复查能答对时，值得尝试这种冻结表示干预，因为它不动参数、触发率低、对通用基准没有可见损伤，且在两个不同融合设计的基座上都得到整体最优。当目标模态本身感知就错，或只能调 API 拿不到隐状态时，不应期待它生效。
已验证的是双向冲突、语言主导、AV 匹配与通用 4 基准的提升，以及方向语义、层分工与选择性的机制证据；待补的是开放生成下的人工评价、更多架构与更大规模下的稳定性、以及与训练类偏好方法的联合效果。理解这篇论文的关键一句话是：幻觉不在答案处形成，而在融合表示里证据被先验压制处形成，修正也应写回同一表示。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses