📄 OmniConfess:让全模态大模型交代每个词依赖了哪路证据再改错
英文题目:OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination
标签:#音视频理解 | #不确定性估计与校准 | #基准测试 | #幻觉与忠实度 | #音视频
评分:5.9/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Huiqiang Rong:机构信息未在 arXiv HTML 中可靠披露
- Haoran Luo:机构信息未在 arXiv HTML 中可靠披露
- Hui Feng:机构信息未在 arXiv HTML 中可靠披露
- Zhonghong Ou:机构信息未在 arXiv HTML 中可靠披露
- Kaiwen Xue:机构信息未在 arXiv HTML 中可靠披露
- Guoxin Zhang:机构信息未在 arXiv HTML 中可靠披露
- Yifan Zhu:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全模态大语言模型把文本、图像、音频和视频放在同一生成模型中联合推理,输出时可能依赖无关证据或未充分使用相关证据,产生跨通道幻觉。OmniConfess先用完整证据自回归解码得到候选回答并冻结其词元和前缀,以消除证据干预之间的轨迹变化。再逐个移除证据通道并用教师强制方式重算冻结候选的对数概率,得到逐词元逐通道的自白结构,并按任务规则把相关通道与无关通道分开。该自白结构用于判断题重打分或生成题的局部改写,只改写被定位的错误片段而保留其余内容。与重新生成候选的搜索方法和改变解码分布的证据对比方法不同,该方法不改变待比较序列,只改变证据条件,使证据效应与轨迹变化分离。在Qwen2.5-Omni-7B上,OmniConfess在6个数据集的平均F1为65.10,超过最强基线CAD的55.40。作者报告该方法需要多次通道级重打分,例如在CMM上耗时35.14秒,原文未披露训练成本细节,该方法本身无需额外训练。该结论适用于六个数据集与三种主干上的判断与生成任务,但模型关注到相关通道仍可能误读模糊判断,附录案例显示有效改写也无法消除单参考词面失配,对主观解释错误的修正仍可能失败。
🔗 开源与复现资源
- 第三方资源:https://github.com/RongHuiQiang/OmniConfess — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全模态幻觉要解决什么输入输出问题
这篇论文处理的对象是同时吃文本、图像、音频、视频的全模态大语言模型,简称 OmniLLM。输入是一组多路证据加一个问题,例如视频画面加音频波形问画面里是否可见某只鸟,或图像加文本上下文问图中物体,或纯文本摘要问医学结论。模型要用自回归方式逐词生成回答,输出分为两类,一类是判断任务,只输出是否等固定类别,另一类是自由生成任务,输出一句话描述或回答。
必须保留的信息是答案应当被任务相关的证据支撑,不能把听到的鸟叫当成看到的鸟,也不能无视摘要里明确的阴性结论。论文把失败归纳为两种,过度依赖无关证据和未充分使用相关证据。前者如音频里有鸟叫就断言视频里有鸟,后者如摘要已给出结论仍生成相反判断。读图说明:下面第一张图用 3 个具体案例展示这两种失败,包含输入模态、问题类型与错误词标红,适合先建立直觉再看方法如何定位证据。
看图路径: 1. 先看顶部多路输入图标与中间统一模型框,确认视频音频图文如何进入同一模型;2. 再看三个案例框中问题类型标记与红色错误词,区分过度依赖无关证据与未充分使用相关证据;3. 注意底部图例对视觉听觉文本证据与判断自由生成任务的划分
论文图 1。原论文 Figure 1::“Examples of OmniLLM hallucination.”。
这张图顶部是 4 路输入图标进入同一模型,中间输出词序列中有一个词被标红,底部 3 个案例分别对应视频音频、图文、纯文本。案例一中音频字幕是人声与鸟叫,但视频里只有狗,模型却写出能听到狗叫并肯定看到鸟,属于把听觉证据用错位置。案例二中狗身边实际是毛绒玩具,模型却因文本提到红球而回答红球,属于文本干扰视觉。案例三中摘要已报告褪黑素未降低谵妄,模型仍需正确复述该阴性结论,属于必须充分使用文本证据。图例还区分了判断与自由生成两类任务符号,有助于理解后文为何修正分成两条分支。
已有推理时方法分哪三条路线
论文把不需要额外训练的推理时幻觉控制方法分成 3 类。第一类是基于搜索的方法,通过采样多条推理路径再聚合或剪枝选择,例如自洽采样、引导解码、预测解码、思维树,特点是生成量大,靠多候选提高可靠性。第二类是证据对比方法,用原始证据与扰动后证据下的分布偏移来引导解码,例如视觉对比解码、音视频对比解码、上下文感知解码、模态自适应解码,特点是在解码时压制受扰动影响大的词。
第 3 类是细粒度方法,利用词级别或内部信号定位风险,例如对比不同层预测或用注意力控制惩罚过度关注的总结词,特点是能指出可疑位置但不一定说明该增强还是减弱哪路证据。论文认为这 3 类在全模态下分别遇到轨迹变化、跨通道纠缠、词级分辨率不足的问题,因此提出先冻结候选再做通道干预的新流程。
读图说明:下面第二张图把 3 类旧路线与本方法并排画成流程框,底部还给出 6 个数据集上的类别平均 F1 柱状图,可对照结构差异与效果差异一起看。
看图路径: 1. 对比左上搜索分支多路径探索与右上细粒度风险定位的框图差异;2. 看左下证据对比的分布偏移示意与右下承诺锚定加词乘通道口供的表格示意;3. 看底部六组柱状图中五种颜色柱在判断与自由生成任务上的高低排列
论文图 2。原论文 Figure 2::“Comparison of three existing inference-time paradigms and OmniConfess, with category-mean F1 across six datasets using Qwen2.5-Omni-7B.”。
该图左上搜索框强调探索评估与策略选择的多分支结构,右上细粒度框强调风险分数超过阈值的词再做诊断,左下证据对比框强调原始与修改证据下两个分布的偏移量,右下本方法框强调先锁住词序列再形成词乘通道口供。底部柱状图按文本图像、音视频、纯文本分组,每组内比较基线、搜索均值、证据对比均值、细粒度均值与本方法,图中本方法柱最高,但这只是默认骨干上的类别均值展示,具体条件与指标方向要回到主结果表核对,不能把该图当作全部骨干与全部指标的结论。
为什么必须冻结候选并做到词与通道两级
论文用 3 个预分析说明为何需要冻结候选、按通道拆分、按词定位。先定义单个词对单个通道的依赖为完整证据下该词条件概率与去掉该通道后同一词同一前缀下条件概率之比取对数,去掉通道后概率下降越多,依赖越大。再把同一词对所有通道依赖绝对值求和作为该词的总依赖强度。在此基础上看 3 条性质。
第一是前载依赖,把归一化位置分成等宽区间并计算每段占总依赖的比例,发现前三分之一集中了 49.8% 的依赖质量,说明早期词变化会改变后文前缀,重新生成会混入轨迹效应。第二是跨通道异质性,计算不同通道依赖轨迹去均值后的余弦相关,发现耦合通道方向并不一致,说明不能用一个整体分数代表所有通道。第三是词级集中,取总依赖最大的前 20% 词,发现平均捕获 82% 的依赖质量,说明只需修少数词。
\[\delta_{h,i}^{(m)}=\log\frac{p_{\theta}(y_{h,i}\mid y_{h,上式就是词对通道依赖的定义,分子是完整输入下给定固定前缀时该词的概率,分母是拿掉通道后同一词同一前缀下的概率,符号含义在正文已交代,p 是全模态模型条件词分布,y 是固定候选,前缀固定是关键。读图说明:下面第三张图的三面板分别对应上述 3 条性质,左图看位置分布,中图看通道相关分布,右图看累积质量曲线,适合对照公式理解为何后文要锚定与细化。看图路径: 1. 看左图横轴归一化位置与纵轴相对依赖密度,确认前段曲线是否明显更高;2. 看中图横轴跨通道相关系数附近两类曲线的走向是否相反;3. 看右图横轴词比例与纵轴累积依赖质量,确认前百分之二十词是否已占大部分
论文图 3。原论文 Figure 3::“Three structural properties of evidential dependence in hallucinated OmniLLM outputs.”。
左面板横轴是归一化位置,纵轴是相对依赖密度,多条数据集曲线与总体虚线都在前段偏高,标注前三分之一占 49.8% 质量。中面板横轴是跨通道相关系数,纵轴是密度,不同曲线峰值位置与方向不同,说明通道贡献不能混为一谈。右面板横轴是词比例,纵轴是累积依赖质量,曲线快速上升并标注前 20% 词占 82% 质量,说明定位少数词即可覆盖大部分证据依赖。这三幅分布曲线来自幻觉样本统计,不是单样本轨迹,不能直接读出某个具体回答的错误位置。
OmniConfess 三段流程如何衔接
方法整体分 3 段。第一段是承诺锚定,用完整多模态证据正常自回归解码得到候选回答,同时记录每个选中词在完整证据下的对数概率,之后冻结候选词与前缀。第二段是证据审问,依次构造去掉一路通道的证据视图,对冻结候选做教师强制重打分,得到每个词在每种证据下的分数,再计算依赖与对候选备选差距的贡献,最后按任务规则标出通道是否相关并组成口供。
第 3 段是口供引导修正,判断题只调整候选类别的分数后重选,自由生成题先算每个词的修改风险,超过阈值的词扩展到词边界并合并成连续片段,只重写这些片段而保留其余原文。读图说明:下面第四张图是全流程总览,左侧是 3 类输入示例,中间是锚定与审问,右侧是两类修正,适合沿箭头走一遍数据流向。
看图路径: 1. 沿左侧输入经中间锚定到右侧修正的粗箭头看主流程;2. 看中间证据审问每次去掉一路证据后重打分再形成口供的纵向三框;3. 对比右上初始回答与右下最终回答在判断翻转与可疑片段替换上的变化
论文图 4。原论文 Figure 4::“Overview of the OmniConfess framework: commitment anchoring, token-level evidence interrogation, and confession-guided correction for reliable omni-modal outputs.”。
图中左侧给出视频音频问是否有鸟、图文问狗靠着什么、纯文本问褪黑素结论 3 个输入,中间承诺锚定框显示自回归得到词序列并记录完整视图分数,证据审问框显示每次拿掉文本图像音频视频之一后重打分,再算分数差得到依赖并形成词乘通道表格。右侧判断分支显示调整候选分数后重选是否,自由生成分支显示标出可疑片段再替换。右上初始回答与右下最终回答形成对照,例如把肯定有鸟改为否定,把靠着球改为靠着玩具。图中颜色与加减号只是诊断状态示意,具体阈值与求和规则要看公式与文字定义。
承诺锚定记录了什么又冻结了什么
承诺锚定先做一次正常解码,输入是完整多通道证据,输出是长度为 n 的候选词序列与每个位置选中词的对数概率向量。论文同时保留每个位置的固定备选,判断题备选是对立类别,自由生成备选是未被选中的最高概率词,用于后继计算差距。冻结的含义是在后继所有证据变化下都不重新生成词序列,前缀也不变,只是把同一词序列放到不同证据下重新算概率。这样不同证据条件下的比较对象完全相同,避免了去掉证据后新序列与旧序列在词与前缀上都不同的混淆。代价是需要保存候选、前缀、完整视图分数与备选分数,并在每个通道移除视图下再做一次前向打分。
\[\left(y_{1:n}^{\mathrm{cand}},\mathbf{r}_{\theta}^{\mathrm{full}}\right)\triangleq\left(\operatorname{Decode}_{\theta}(\mathbf{X}),\left[\log p_{\theta}\!\left(y_{i}^{\mathrm{cand}}\mid y_{\lt i}^{\mathrm{cand}},\mathbf{X}\right)\right]_{i=1}^{n}\right)\in\mathcal{V}_{\mathrm{tok}}^{\,n}\times\mathbb{R}^{n}.\]上式说明候选与完整视图分数如何得到,Decode 表示自回归解码,方括号内是每个选中词在完整证据与已生成前缀下的对数概率。
承诺锚定 × 轨迹变化: 承诺锚定指先完整生成一个候选回答并冻结其词序列与前缀,之后所有证据干预都只给同一序列重新打分;轨迹变化指去掉某路证据后重新自回归生成会走出不同词序列,使证据效应与序列差异混在一起;二者搭配的意义是用冻结消除轨迹变化,只留下证据变化带来的分数差,从而能逐词比较。
证据审问怎样算出词乘通道口供
证据审问的核心是锚定打分与差距贡献。设 Z 为完整证据或某个去掉一路通道的证据,定义第 i 个词的差距为候选词对数概率减备选词对数概率,该差距越大表示当前证据越支持候选而非备选。再定义词对通道的依赖为完整证据下某词概率与去掉该通道后同一词概率之比取对数,差距贡献为完整证据下差距减去去掉该通道后差距。任务规则给出每通道是否相关,相关集合与无关集合互补。
口供就是按词按通道记录依赖、差距贡献、相关标记与诊断状态的表格,诊断状态分为对齐、依赖不足、过度依赖、主导四档。论文还给出加性替代形式,用完整差距减去未保留通道的贡献来近似任意保留集合下的差距,并分解为残余偏好、相关贡献、无关贡献三部分,判断与自由生成信号都从这里导出。
\[F_{i}(\mathbf{Z})\triangleq\log\frac{p_{\theta}(y_{i}^{\mathrm{cand}}\mid y_{\lt i}^{\mathrm{cand}},\mathbf{Z})}{p_{\theta}(a_{i}\mid y_{\lt i}^{\mathrm{cand}},\mathbf{Z})},\quad\mathbf{Z}\in\{\mathbf{X}\}\cup\{\mathbf{X}^{-m}\}_{m=1}^{M}.\]上式是差距的定义,分子分母共享同一冻结前缀,只是证据视图不同。
\[\mathbf{C}_{\theta}(Q,T)\triangleq\left[\left(\delta_{i}^{(m)}(y_{i}^{\mathrm{cand}}),\kappa_{i}^{(m)},r_{m}(Q,T),\ell_{i}^{(m)}\right)\right]_{\begin{subarray}{c}i=1,\ldots,n\\ m=1,\ldots,M\end{subarray}}.\]上式是口供的结构,方括号内每个单元包含依赖、差距贡献、相关标记与诊断状态,下标遍历所有词与所有通道。
\[\rho_{i}\triangleq[-\gamma_{i,1}^{\mathrm{free}}]_{+}+\gamma_{i,2}^{\mathrm{free}}+\gamma_{i,3}^{\mathrm{free}},\quad i=1,\ldots,n.\]上式是自由生成修改风险,由三项非负分量相加,分别对应缺乏相关支撑、残余偏好超过相关支撑、受到无关通道正向支撑,任一项大都会推高风险。
证据审问 × 通道: 通道指输入中可单独移除的一路证据,如文本段、图像、音频、视频;证据审问指每次拿掉一个通道后对冻结候选做教师强制重打分,计算每个词对该通道的依赖;二者搭配把原来纠缠在一起的多通道贡献拆成按词按通道的矩阵,为后继判断该信哪路证据提供依据。
口供 × 修正: 口供指按问题乘词乘通道组织的表格,记录每个词的依赖分数、对候选与备选差距的贡献、该通道是否任务相关以及诊断状态;修正指判断题重算决策分或自由生成题只重写高风险片段;二者搭配使修正不是整体重写,而是只动口供指出的受无关或矛盾证据支撑的位置。
相关证据 × 无关证据: 相关证据指按任务规则当前问题应当依据的通道集合,无关证据指应当忽略的通道集合;论文用任务相关的二值相关性标记区分二者,并把各通道对差距的贡献分别求和为相关贡献与无关贡献;该区分决定了判断修正是保留相关贡献、去掉残余偏好与无关贡献,自由生成风险也分别累计缺乏相关支撑与受到无关支撑的情况。
判断重算与局部重写分别改哪里
判断修正只动候选类别的分数。设决策位置的完整视图类别分数已知,加上口供导出的判断修正量得到修正后分数,备选分数不变,再取分数大者为最终判断,平局保留候选。按附录证明,修正后差距等于相关证据的净贡献,相当于去掉了残余偏好与无关贡献,但这只是分解恒等式,不保证结果一定正确。
自由生成修正先把每个词的三元口供信号合成风险,超过阈值的词扩展到完整单词边界再合并成不重叠区间,每个区间用原始证据加口供做条件重写,其余未选中片段按原顺序逐字保留。若没有区间被选中,最终回答等于候选。论文强调风险分量都取正部累加,因此无关通道的正向支撑不会被其他通道的负贡献抵消,目的是避免符号加总掩盖局部过度依赖。
没有训练时实际计算与提示做了什么
本研究没有训练任何模型,所有实验都是推理时调用已有全模态模型完成,因此不存在梯度更新、优化器步骤或参数冻结与重置问题。实际计算包括一次完整证据解码、每个通道移除视图下的一次教师强制前向、差距与依赖的算术、口供组装、判断重选或高风险片段重写。
提示属于输入处理的一部分,论文在解码前加入证据边界与格式约束,例如要求只依据可听内容做判断、缺失视觉细节要明确承认、音视频分别观察,以及判断题与自由生成题各自的输出格式,完整提示放在附录。基准构造也不是模型训练,而是从 6 个公开基准聚合 5900 候选,用两个独立回答模型生成回答并用另一模型加人工按难度排序,保留最难的 60% 共 3540 例,且选择过程未使用本方法与任何基线输出。
复现时需要的是推理代码与基准读取脚本,不是训练脚本。
基准骨干基线与指标如何组织比较
OmniHalluBench 共 3540 例,包含 906 例图像文本判断、721 例音视频文本判断、468 例生物医学文本判断、435 例检索增强文本生成、365 例图像问答生成、645 例音视频描述生成,覆盖判断与自由生成。骨干为稠密结构的 Qwen2.5-Omni-7B 作为默认,另用混合专家结构的 Qwen3-Omni-30B-A3B 与混合架构的 Nemotron-3-Nano-Omni-30B 检验跨结构可移植性。基线覆盖搜索类、证据对比类、细粒度类共十一项,均在同一冻结基准与同一骨干下运行。判断用正类 F1 与是否两类召回调和均值,自由生成用与参考答案的词重叠 F1 与以参考为唯一真值的大模型 0 到 10 分事实准确度,另用风险排序的平均精度评价定位。平均 F1 覆盖 6 个数据集,平均指数与平均事实分各覆盖 3 个数据集。所有实验在 4 张英伟达 A40 上完成。
判断任务 × 自由生成任务: 判断任务要求输出固定类别,如是否或是否可听见,评价看正类调和均值与两类召回调和均值;自由生成任务要求写一句描述或回答,评价看与参考答案的词重叠与大模型打分事实准确度;二者搭配覆盖了只改一个决策词和需要定位多个可疑片段两种修正形态,口供信号也因此分成判断修正量与自由生成三元组。
主结果在默认骨干上显示什么提升
在默认稠密骨干上,论文报告本方法在 6 个数据集与所报指标上均超过所列基线。判断侧的含义是决策准确率提高且是否偏置减小,自由生成侧的含义是词重叠一致性与参考 grounded 事实准确度提高。需要强调比较条件是同一基准同一骨干同一指标,指标方向都是越大越好。下表整理原文明确用文字给出的增量,列数较多是为了同时保留数据集、任务类型、指标、方法值含义与增量对象,避免把不同指标混在一起。该表回答在默认骨干上相对最强相关基线的提升是多少,公平条件是同一冻结基准,指标方向均为越高越好。
| 数据集 | 任务类型 | 指标 | 本方法相对最强基线 | 比较含义 |
|---|---|---|---|---|
| PHD | 判断 | F1 | 高 10.20 点 | 通道审问减少对无关通道依赖 |
| CMM | 判断 | F1 | 高 9.35 点 | 通道审问减少对无关通道依赖 |
| RAGTruth | 自由生成 | Token-F1 | 高 16.84 点 | 口供缓解对相关证据使用不足 |
| PubMedQA | 判断 | F1 | 高 2.02 点 | 强基线下仍有小幅上升 |
| AVHBench 等 | 自由生成 | GAV 等 | 全面领先 | 词重叠与事实准确度同时提高 |
该表显示提升在多模态与纯文本、判断与生成上都出现,但幅度并不均匀。纯文本医学问答基线已高达 95 左右,提升只有 2.02 点,说明天花板效应明显。RAGTruth 上 16.84 点的词重叠提升幅度大,但词重叠对同义改写敏感,附录案例指出把人改成男人即便意思保留也会被扣分,因此不能把词重叠增量直接等同于事实错误的消除。证据对比类基线多接近原始模型,搜索类在多模态下有时反而下降,这些都是理解增量来源的限制。
跨骨干可移植性与个案说明什么
跨骨干比较看的是相对各自基线的平均 F1 变化,不是跨骨干绝对值比较。论文报告本方法在稠密、混合专家、混合架构上分别提高 10.30 点、6.34 点与 7.50 点,而多数基线在不同结构间时正时负,例如部分方法只在混合专家上提高而在另两种结构上下降,搜索类在三者上都下降。
个案研究用海滩图像问是否有冲浪板,真值为是,本方法在 3 种结构下都判是,而注意力控制基线在稠密下判对但在两种 30B 结构下因过度细化类别而判错,把防风冲浪板与普通冲浪板区分过严并覆盖视觉证据。该个案只说明大模型不必然接地更好,以及本方法在该例上更稳,不能推广为所有跨模态冲突都成立。
未胜出项也要看到,在个别数据集与指标上基线仍有单点接近或反超,例如大骨干上某些基线的事实分并不低,说明方法优势是平均意义上的,不是每格都赢。
生成质量多维打分与推理代价是什么
除任务指标外,论文用大模型与人工对 7 个维度打分,包括证据接地、事实正确、相关、完整、逻辑连贯、不确定性校准、清晰度。下表回答本方法在多维质量上相对最强基线的绝对分与超出幅度,评价条件是同一自由生成回答集合,分数方向均为 0 到 10 越高越好。
| 评价维度 | 分数类型 | 本方法分数 | 超出最强基线 | 结果含义与限制 |
|---|---|---|---|---|
| Overall | 综合 | 88.7 | 未单独给出 | 多维综合最高但依赖打分提示 |
| Evidence Grounding | 接地 | 86.7 | 高 5.4 点 | 支撑性变好但仍受参考限制 |
| Factual Correctness | 事实 | 92.0 | 高 6.9 点 | 事实一致性最好但非人工真值 |
| Uncertainty Calibration | 校准 | 82.1 | 高 18.3 点 | 不确定表达改善最大但维度主观 |
| Clarity 等 | 语言 | 有竞争力 | 未全面领先 | 清晰连贯未牺牲但非最强 |
该表显示本方法在接地、事实、不确定性校准上领先较多,尤其校准超出 18.3 点,但这些分数来自任务定制的评价提示,打分者是模型加专家,与主结果的参考 grounded 事实分不是同一提示,不能混为一谈。基线中搜索类语言流畅但接地弱,证据对比类较均衡,细粒度类接地好但语言受损,说明单看流畅不能推出证据可靠。推理代价方面,下表整理原文明确给出的耗时与词数,指标方向是时间越小越好,吞吐越高越好。
| 数据集 | 方法 | 耗时 | 生成词数 | 比较含义与限制 |
|---|---|---|---|---|
| PHD | OmniConfess 对比基线 | 5.43 秒对比 2.23 秒 | 29.3 对比 23.4 | 判答短但通道重打分增加延迟 |
| CMM | OmniConfess 对比基线 | 35.14 秒对比 20.64 秒 | 24.6 对比 22.7 | 词少仍慢说明开销在多模态重算 |
| AVHBench | OmniConfess 对比搜索类 | 7.93 秒对比 36.15 秒 | 164.1 对比 569.5 | 锚定省生成但审问仍有开销 |
该表说明方法用约二十多倍少的生成词换来有限的时间下降,在音视频判断上甚至明显更慢,因为每个通道都要做一次前向。自由生成上搜索类生成 569.5 词而本方法只生成 164.1 词,时间从 36.15 秒降到 7.93 秒,省生成的效果更明显。总体趋势不能推广到每组数据,例如纯文本上耗时差异很小,因此部署前需按模态与长度单独测延迟,不能只看平均吞吐。
拿掉锚定审问修正后指标掉多少
消融回答每个模块是否必要。论文在默认骨干附近报告去掉锚定、去掉审问、去掉修正后的判断平均与自由生成示例指标,完整方法平均 F1 为 71.63,去掉三者分别降到 67.06、63.96、58.66,其中去掉修正掉得最多,说明定位后仍需执行修正。另有锚定策略对比,无锚定平均 F1 为 56.73,共享前缀锚定为 59.00,本方法锚定为 65.10,定位平均精度也从 47.28 经 58.20 提高到 66.38。审问策略对比显示通道级口供在 CMM 上 F1 为 82.15,是否召回平衡为 86.49,高于池化证据与完整视图置信。修正策略在等修正预算下口供引导比置信引导的 F1 增益更大。
下表回答去掉各模块后判断与生成指标如何变化,公平条件是同一任务与同一评价,指标方向均为越高越好。第一级表头为 Configuration、Judgment Avg.、HaloQuest、Avg.,第二级表头区分 F1 与 Idx、GAV,避免把重复名称混为同一指标。
| Configuration | Judgment Avg. | Judgment Avg. | HaloQuest | HaloQuest | Avg. | Avg. | Avg. |
|---|---|---|---|---|---|---|---|
| Configuration | F1 | Idx | F1 | GAV | F1 | Idx | GAV |
| w/o Anchoring | 80.72 | 76.74 | 39.76 | 8.12 | 67.06 | 76.74 | 8.12 |
| w/o Interrogation | 77.25 | 73.42 | 37.38 | 7.83 | 63.96 | 73.42 | 7.83 |
| w/o Correction | 70.88 | 64.56 | 34.22 | 7.16 | 58.66 | 64.56 | 7.16 |
| OmniConfess | 85.88 | 81.24 | 43.14 | 8.65 | 71.63 | 81.24 | 8.65 |
该表来自原文结构化表格的选择,保留 2 级表头:Judgment Avg. 下为 F1 与 Idx,HaloQuest 下为 F1 与 GAV,Avg. 下为 F1、Idx 与 GAV,行覆盖无锚定、无审问、无修正与完整方法。结果支持 3 段都有贡献,但这是在特定配置与阈值下测得的,不能推出拿掉后必然在所有数据集上同等下降。定位指标的提高只说明风险排序与标注片段更一致,不等于修正后事实一定正确。修正增益依赖修正预算相等的前提,若放开重写长度或次数,置信引导也可能变化,因此该对比只在等预算条件下成立。
证据依赖强不等于理解正确
论文在附录明确了两类失败。第一类是单参考评价的词面惩罚,例如参考写男人而模型写人,意思保留但词重叠仍扣分,口供能处理证据相关错误但不能消除这类改写惩罚。第二类是观察对但判断错,例如正确看到猫睁眼竖耳却把警觉当成不高兴的证据,在无视觉支撑下判否,主观解释错误未被纠正。更一般的局限是方法只刻画预测对证据的依赖,不保证解释有效,模型可能关注了相关通道却得出无支撑结论,尤其在判断模糊时。
修正基于已生成的候选,若候选的解释框架本身有偏,局部重写可能保留该偏置。未来工作提出联合评估依赖与解释有效性、改进模糊情形的校准、按需分配审问以降低推理成本,但这些都还只是方向,没有在本篇验证。
复现第一步要准备什么与核对什么
复现第一步是按原文任务规则跑通默认稠密骨干的完整流程,而不是先调阈值。需要准备冻结的 3540 例基准读取、完整证据解码、逐通道移除视图构造、冻结候选教师强制打分、差距与依赖计算、口供组装、判断重选与片段重写。关键超参数与信息条件包括通道划分方式、相关通道判定规则、诊断阈值、风险阈值、词边界扩展与合并规则、重写提示。
核对时要同时看数据集、骨干、阶段、指标、单位与聚合对象,例如判断 F1 与是否召回调和均值不同,词重叠 F1 与 0 到 10 事实分不同,不能只看数值相同就当同一指标。百分点增量与相对百分比也要分开,原文所说的提高多少点都是百分点差。代码与基准是否可用要分开说,论文脚注给出第三方镜像链接且本次可达,但这只证明论文提到该链接,不证明作者已开源,权重下载与系统可运行是另外三件事,需各自确认。
本篇未报告超参数搜索细节与统计显著性,复现时应固定随机种子并记录每次前向耗时。
什么时候值得尝试还缺哪项验证
当输入包含多路证据且错误多为用错通道时值得尝试,例如把听到当成看到、把文本上下文覆盖图像,或检索文本已给出结论却被忽略,且任务能明确划分相关与无关通道。判断题适合用其重算决策分的思路,自由生成题适合用其只重写高风险片段的思路以保留其余内容。若任务本身高度主观或单参考词面差异大,预期收益会打折扣。
还需要补的验证包括在更多混合架构与更大规模骨干上的显著性检验、对阈值敏感性的系统扫描、在真实部署延迟预算下的端到端测速,以及把口供定位精度与最终事实正确分开报告,避免把定位好等同于修正对。容易产生的误解是把加性分解恒等式当成正确性保证,实际上修正后差距等于相关贡献只是数学重写,是否正确仍取决于相关贡献本身是否可靠。
另一个误解是把无训练当成确定性求解,实际上解码采样与大模型打分仍带随机性,冻结的只是比较对象,不是输出必然唯一。
📎 论文与评分元数据
排名:前50% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses


