📄 局部看得见，整体答不对：语音-视觉时间组合的诊断
评分：5.3/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
👥 作者与机构
- Jaehong Myung：机构信息未能在本次解析中与作者逐人可靠绑定
- Seunghun Oh：机构信息未能在本次解析中与作者逐人可靠绑定
- Unsang Park：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者需要理解的对象是带解说的烹饪类视频，困难是解说词提到什么动作与该动作在何时可见并不一致，模型要把说什么和何时说分开处理。论文引入免训练诊断框架时间证据分解（Temporal Evidence Decomposition，TED），先用自动语音识别得到文字稿与说话时间段，再把视频切成无音频窗口逐个验证，最后相对说话时间段聚合。直接问答把完整视频、含语音音频与题目一次送入冻结音视频大模型，TED则用文字稿或候选项做局部查询并在外部比较说话前、说话中与说话后三个区域的证据强度。在SVHalluc时间预测任务276项评测上，以Qwen3-Omni-30B为例，TED的准确率为80.43%，高于直接问答的29.35%，表明局部证据可恢复但未被完整问答有效使用。替换查询词或打乱说话时间段会降低恢复效果，显式给出文字稿与时间戳的完整视频对照仍不能复现该提升。结论限于所测模型与该基准，尚未证明该分离能改进端到端模型。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
做菜旁白为什么不能直接当画面说明
这篇论文讨论的输入是一段烹饪视频加说话声音，目标是判断说话内容和画面在时间上的关系。难点在于旁白不一定讲眼前事，厨师可能一边切菜一边说调味，也可能提前说后面要做的步骤，或者回顾已经做完的动作。如果模型只听懂了说了什么，却没有把说的动作放到说话时刻前后去核对，就容易把听到的内容当成看到的内容。
读者需要先分清两种信息。一种是说了什么，也就是转录文本给出的动作描述，它可能包含多个动作，也可能和当前画面不一致。另一种是何时说的，也就是话语在视频时间轴上的起止位置。论文要检验的正是模型能否把前者放到后者附近的画面里去验证，而不是只靠语言先验猜一个答案。输出是选择题形式，时间对齐回答是或否，时间预测回答之前、同时或之后，跨模态绑定从候选动作里选出说话同时可见的那一个。
已有工作做到哪里，本文为什么只做诊断
原文把相关工作分成几条线。第一条是能听懂语音的音频视觉大模型和细粒度视听定位方法，它们想学出更丰富的多模态表示。第二条是幻觉诊断和解码期缓解方法，关心多模态回答是否可靠。第三条是时间视频语言模型和长上下文评测，关心时间表示和证据检索。离本文验证步骤最近的是用外部聚合做时间定位的局部置信度方法和注意力分析，它们发现模型注意到了证据却不一定用在时间戳生成里。
本文不提出新的扫描规则，也不训练新模型，而是借用局部验证加外部聚合这个已有手段，去诊断和语音相对的时间判断。也就是说，它比较的是同一种冻结主干在两种提问接口下的表现，目的是区分证据本身缺失和有了证据却不会相对语音时刻使用这两种失败原因。
三个时间任务到底在问什么
评测用的是 SVHalluc 的时间子集，时间对齐有 368 条，时间预测有 276 条，跨模态时间绑定有 339 条。它们的标签经过选项平衡，偶然猜中的准确率分别是 50.0%、33.3% 和 33.3%。时间对齐问转录里说的动作在说话期间是否可见，时间预测问说的动作发生在说话之前、期间还是之后，跨模态时间绑定问说话期间可见的是哪个候选动作，即使旁白说的是另一个动作。
论文指出，开源音频视觉大模型在前 2 个任务上接近偶然水平，但这不代表它们听不清或定不准说话时间。原文提到 SVHalluc 的分析显示这些模型的语音识别和话语定位较强，问题可能出在如何使用视觉证据。直接把整段视频、带语音的音频和题目一次给模型，答错了也说不清是局部画面里根本没有可用证据，还是有证据却不会按语音时刻聚合。
时间对齐 × 时间预测 × 跨模态时间绑定： 时间对齐问叙述动作是否在说话同时可见，时间预测问叙述动作发生在说话之前、同时还是之后，跨模态时间绑定问说话同时可见的是哪个候选动作，三者都围绕话语时刻组织，但要验证的对象和输出形式不同。
两种提问接口如何对比同一模型
方法的整体流程是把查什么和按什么时刻聚合分开。直接问答把完整视频、带语音的音频和原题一次输入，得到一个答案。时间证据分解先用 Whisper 做自动语音识别，得到转录文本和带时间戳的语音片段，取这些片段的凸包作为观察到的话语区间 S，也就是从第一个片段开始到最后一个片段结束，它只是语音时间锚点，不是视觉事件标注。
然后把时长为 T 的视频切成 5 个均匀的无声窗口，每个窗口只看画面不听声音。冻结的验证器对每个窗口按文本查询打分，查询是转录文本或候选答案。外部读出再把这些分数按话语区间分成之前、期间、之后 3 个区域做加权平均，选分数最高的区域或候选作为答案。整个过程不更新模型参数，也不使用视觉事件真值区间或调阈值。
转录文本 × 话语区间 × 局部窗口： 转录文本回答要验证什么内容，话语区间回答以哪段语音时间为基准划分前后，局部窗口提供去掉声音后只看画面的证据位置，三者组合才能把说了什么、何时说的、在何时可见分开检验。
下面这张示例图展示了 3 个任务各一条 Qwen3 轨迹，中间是 5 个无声窗口的中心帧和局部分数，右侧是相对话语区间聚合后的条形，读图时注意分数是个案轨迹而非平均值。
看图路径： 1. 先看左侧每行的任务问法和语音转录，再看中间五个无声窗口的分数；2. 再看底部话语区间 S 在时间轴上的位置与右侧前后聚合条的对应关系；3. 对比每行右侧直接问答与 TED 聚合给出的不同答案和对错标记
论文图 1。原论文 Figure 1:：“Illustrative Qwen3 traces from SVHalluc.”。
从图中可以看到，时间对齐和时间预测用转录查每个窗口，跨模态绑定对每个候选分别查窗口，再按话语区间聚合。直接问答在示例中选错，而按区间聚合选对，这种对照正是论文要放大的现象，但单条示例不能代替 4 个模型在全量划分上的统计结果。
每个无声窗口的分数是怎么算的
生成式验证器的做法是问模型这个窗口在视觉上是否出现查询内容，Yes 和 No 两个选项轮换两次顺序，避免选项位置带来偏好。记两种顺序下首字 Yes 和 No 对应的对数概率，经过 Softmax 归一得到该顺序下选 Yes 的概率，再对两种顺序取平均，作为比较用的证据分数。原文强调它只是比较用的证据，不是校准过的事件概率。
\[p_{i}^{(o)}=\frac{e^{\ell_{i,\rm yes}^{(o)}}}{e^{\ell_{i,\rm yes}^{(o)}}+e^{\ell_{i,\rm no}^{(o)}}},\quad p_{\mathrm{yes}}(W_{i},q)=\tfrac{1}{2}\sum_{o}p_{i}^{(o)}.\]上式中下标 i 表示第 i 个窗口，o 表示选项顺序，分子分母是对 Yes 和 No 首字对数概率取指数后的归一，右侧是对两种顺序的平均。先形成每个顺序的 Yes 概率，再平均，是为了抵消顺序效应。
对比用的另一个验证器是 SigLIP 2，它计算帧和文本的兼容度。做法是把归一化嵌入的余弦相似度经过学到的放缩和偏置再过 Sigmoid，然后在帧上平均，得到窗口分数。它的文本长度按原生 64 个词元截断，较长的转录会被截断，这是理解其结果时要记住的条件。
生成式验证器 × SigLIP 2： 生成式验证器让冻结大模型对每个无声窗口回答是否看见查询内容，用首字对数概率算支持度，SigLIP 2 用帧文本兼容度经放缩偏置和 Sigmoid 后平均，二者都是给同一聚合读出提供窗口分数，只是打分机制不同。
分数如何按说话时刻聚合成答案
对时间对齐和时间预测，查询固定为转录文本，话语区间把时间轴分成之前、期间、之后。每个窗口和每个区域的重叠时长作为权重，对窗口分数做加权平均，得到该区域的证据值。重叠为零的区域记为不可用。时间预测在可用的区域里选证据值最大的区域对应的标签。时间对齐要求期间区域和至少一个替代区域都可用，如果期间最大则预测 Yes，如果有替代区域更大则预测 No，打平或缺少必要证据则弃权，弃权在全量评测中仍计为错误。
\[E_{r}(q)=\frac{\sum_{i}\omega_{ir}z_{i}(q)}{\sum_{i}\omega_{ir}}.\]上式中 r 表示之前、期间、之后中的一个区域，w 是窗口与区域的重叠时长，z 是窗口对查询的分数，分子是重叠加权的分数和，分母是重叠总时长，得到的是该区域的平均证据。
对跨模态绑定，每个候选答案分别作为查询去查窗口，语音只提供时刻。做法是对每个候选算其在期间区域的聚合值，选最大的候选。为了检验话语区间的作用，保留全部候选窗口分数，只换入别条样本的区间做打乱对照，另有无时刻对照把每个候选在 5 个窗口上直接平均。
观察锚点 × 打乱锚点： 观察锚点是由自动语音识别得到的本条话语区间，打乱锚点是把别条样本的区间映射过来做对照，前者检验真实说话时刻是否有帮助，后者检验换掉时刻后聚合是否变差，二者窗口分数不变，只换划分基准。
没有训练时实际执行了哪些计算
本文没有训练任何模型，4 个音频视觉大模型和 SigLIP 2 都是冻结的验证器。实际执行的计算包括 Whisper 转录和时间戳提取、5 个无声窗口的切分、每个窗口的查询打分，以及外部的加权聚合和规则读出。时间对齐和时间预测每条样本要做 10 次局部调用，跨模态绑定每个候选也要做 10 次，再加上语音识别。
需要说明的缺口是，原文没有报告梯度、参数更新或优化过程，因为根本没有训练。无训练不等于输出确定，生成式验证器的解码、窗口切分和外部聚合都是固定流程，但模型本身的前向计算仍是原有 checkpoint 的行为。对照用的供体映射把别条样本的转录或区间分配给目标样本，排除自身供体，不使用真值标签和验证器分数，每个对照用 5 个在验证器之间共享的映射，供体相关的指标报告均值和样本标准差，配对准确率比较用双侧精确 McNemar 检验，不跨映射合并或平均 p 值。
数据划分、基线与评测规则是什么
评测保留全量划分，缺失、失败、不完整和弃权都计为错误。报告所有任务的准确率，时间对齐还报告 Yes 类的精确率、召回率和 F1。验证器包括 Qwen3-Omni-30B、Qwen2.5-Omni-7B、VideoLLaMA2.1-7B-AV 和 video-SALMONN 2+ 7B，SigLIP 2 只给时间预测和跨模态绑定的读出提供分数。直接问答的分数在作者实现里重测，Qwen3 的视频解码失败仍计错误，Qwen2.5 直接问答只在生成前解码失败时用备用解码器重试一次，所有样本都保留。
对照设计要分清只换什么。目标查询对照保持锚点不变，把查询换成供体转录或笼统烹饪问句。锚点对照保持目标查询和窗口分数不变，只换参考区间。锚点替换可能让候选区域消失，例如区间从零开始就没有之前区域，因此时间预测比较了两种打乱。无约束打乱把供体区间端点按视频时长归一再缩放到目标时长，保持约束打乱在此基础上修复，保证每条样本的非空区域集合不变，再一一重排并最小化改动，它是受约束的修复，不是新的随机排列。
同一模型局部聚合后准确率变化多少
要回答的核心问题是，整段直接问答答不对时，局部是否还有可用证据。下表比较 4 个模型在 3 个任务上的区间范围，指标方向都是越高越好，直接问答是一次给全视频和语音，TED 是局部无声验证加外部聚合。
| 条件 | 任务 | 直接问答准确率 | TED 准确率 | 比较对象 |
|---|---|---|---|---|
| 4 个音频视觉大模型 | TA | 47.6–53.8% | 75.5–79.3% | 同一冻结主干 |
| 4 个音频视觉大模型 | TF | 29.3–33.7% | 79.3–82.2% | 同一冻结主干 |
| 4 个音频视觉大模型 | CMTB | 49.0–55.5% | 83.8–88.2% | 同一冻结主干 |
上表把原文报告的跨模型区间放在同一行里，直接问答与 TED 的数值都带百分号，比较对象都是同一冻结主干，任务划分和读出规则按原文全量评测，弃权计错。区间只概括 4 个模型的最低到最高，不能代表某个具体模型的提升幅度，具体到 Qwen3 的时间预测提升是 51.09 个百分点，精确 McNemar 检验 p 值极小。
直接问答在时间对齐和时间预测上接近偶然，但预测分布高度集中，87.0–100% 的时间对齐预测和 62.7–100% 的时间预测落在每个主干的一个语义标签上，而跨模态绑定没有同样坍缩。在子集上打乱选项字母和改写问法仍保持主导语义标签，准确率无显著变化，说明偏好跟随标签含义而非字母位置。
加回文字时间戳或语音后能否同样恢复
论文还做了几个替代解释检验。在 Qwen3 时间预测上，把无声全视频、完整转录和片段时间戳一次给模型做语音辅助全视频问答，准确率只有 32.97%，远低于 TED 的 80.43%，说明光是显式给出查询和锚点文字并不能复现局部验证加外部聚合的恢复。
物理隔离比较控制了调用次数，局部片段高于在全视频上重复做区间提示，说明物理上限制输入有超出重复局部判断的作用。非边界分析排除了只靠边界取巧的解释，在观察锚点下 276 条中有 89 条没有之前区域且无 Past 标签，剩下 187 条非边界条目上 4 个模型的 TED 准确率是 72.19–77.01%，全量是 79.35–82.25%，直接到 TED 的提升仍有 37.4–53.5 个百分点，但该子集类别不平衡，平衡准确率直接问答是 29.6–33.9%、TED 是 73.6–77.2%。加回带语音的音频会让 3 个模型下降 8–20 个百分点，Qwen3 打乱帧序和倒序仍有 79.71% 和 78.99%，接近原序 80.43%，更支持局部视觉状态解释而非细粒度运动顺序理解。
换掉查询或时刻后恢复还剩多少
这一节要回答恢复是否依赖查对了内容、用对了时刻。下表整理原文报告的对照下降幅度，单位是百分点，数值越大表示换掉后掉得越多，比较都在固定流程下只换查询或只换锚点。
| 对照 | 变化量 | 说明 | 适用任务 |
|---|---|---|---|
| Other 与 Generic 替换查询 | 32.0–45.7 pp | 相对匹配 TED 下降 | TF，5 个验证器 |
| 保持区域集合的打乱 | 7.3–11.8 pp | 观察锚点仍有益 | TF，5 个验证器 |
| 无约束打乱 | 23.6–30.7 pp | 部分条目真值区域不可用 | TF，每映射 27–32/276 条被迫错 |
| 正确减打乱 | 29.3–41.4 pp | 用观察区间选候选更好 | CMTB，25 组比较均显著 |
上表第二列的百分点是准确率差值，不是相对百分比，第三列说明了关键限制，无约束打乱同时移除了候选区域，因此它和保持集合打乱的准确率差不能单独归因于移除区域。打乱与无时刻的单独比较不显著，原文明确说这不等于等价。跨模态绑定的正确减打乱优势支持用观察到的话语区间选候选，但干预同时改变了输入表示、调用次数和读出，不能定位唯一的内部机制。
目标查询 × 替代查询： 目标查询用本条转录或正确候选去查画面，替代查询换成别条转录或笼统烹饪问句但保持锚点和分数流程不变，对比二者可以判断恢复的准确率是否依赖查对了具体叙述内容。
下面这张诊断图把失败分布、物理隔离与探针结果放在一起，读图时先看分布坍缩，再看相同调用次数下限制输入的作用，最后看时刻与窗口特征的互补性，注意面板 c 是学到探针的描述性准确率，不是 TED 分数。
看图路径： 1. 先看面板 a 各模型预测集中在某一个语义标签上的比例；2. 再看面板 b 局部片段与重复全视频区间提示在相同调用次数下的准确率差距；3. 最后看面板 c 只用时刻特征、只用窗口特征与两者结合的探针准确率变化
论文图 2。原论文 Figure 2:：“Diagnostics of full-video failure and local recovery.”。
图中面板 a 显示直接预测集中在 Yes 或 Present 等标签上，面板 b 显示局部片段明显高于重复全视频区间提示，video-SALMONN 2+ 在匹配调用次数和覆盖下是 82.25% 对 46.38%，Qwen3 在近似匹配覆盖下是 80.43% 对 58.33%，面板 c 显示时刻特征 64.86%、窗口特征 56.52%、两者结合 92.75%，结合比较单用时刻提高 27.90 个百分点，说明在固定分组评估下局部分数带来超出给定时刻特征的预测信息。
这些结论在什么条件下才成立
适用条件要讲清。所有数字都是这 4 个 checkpoint 在 SVHalluc 时间划分上的结果，不能推广到其他模型或数据。TED 用的是识别出的转录和话语凸包，不是直接对声学语音建模，转录可能包含多个动作，数据也没有视觉事件区间可做精确定位检验。
保持区域集合的打乱仍保留边界结构，不能去掉所有时间捷径。把话语凸包换成片段并集在 14 个任务验证器条件下最多改变 1.09 个百分点，这只是敏感性结果，不是等价性检验。学到的时刻加窗口探针是固定正则化和按源视频分组交叉验证下的描述性结果，不能当成 TED 本身的准确率。统计上显著不等于因果唯一，干预同时动了输入、调用和读出，只能说在这些条件下局部证据支持正确决策，不能说找到了模型内部的唯一故障点。
复现第一步做什么，需要哪些信息
复现先准备 SVHalluc 的 3 个时间子集划分和 4 个冻结模型的 checkpoint，按原文实现重测直接问答，保留解码失败为错误。然后跑 Whisper 得到转录和片段时间戳，按凸包算话语区间，把视频切成 5 个均匀无声窗口，对每个窗口按 Yes 和 No 两种顺序取首字对数概率算支持度，SigLIP 2 分支注意 64 词元截断。
聚合时按重叠时长算之前、期间、之后 3 个区域的加权平均，缺区记不可用，按规则选标签，弃权计错。对照要另做供体映射，查询和锚点映射分开，各用 5 个跨验证器共享的映射，排除自身，不用标签和分数挑供体，供体指标报均值和样本标准差，配对比较用双侧精确 McNemar 检验。
关于资源，原文证据中没有发现可验证的作者代码、模型或数据公开链接，不能写作者资源已公开或可下载，只能说评测用的是公开 SVHalluc 时间划分，模型名称以原文为准。推理开销上原文只说明局部调用次数，时间对齐和预测每条 10 次，跨模态每个候选 10 次外加语音识别，没有报告延迟或算力，不能承诺更快或更省。
什么时候值得尝试，还缺哪项验证
当整段问答接近偶然但怀疑画面里其实有线索时，值得试这种把内容查询和语音时刻分开的做法，先看局部无声验证能否给出区分度，再看按话语区间聚合是否稳定。设计上的启发是保留带时间索引的视觉证据，把话语时刻单独交给读出，区分说到的动作和同时可见的动作。
但这仍是诊断，不是端到端改进，能否把这种分离做进模型并提升原接口还有待测试。还缺的验证包括在更多模型和非烹饪场景上的重复、有视觉事件真值时的定位精度检验，以及对时刻捷径更彻底的控制。容易产生的误解是把恢复当成模型已经理解了时序，把探针的高准确率当成 TED 分数，或把打乱下降直接读成时刻的因果效应，原文都已限定，这些都需要在同样划分、同样输入条件和同样读出下再检验。
📎 论文与评分元数据
排名：后50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses