📄 THG-Omni:把视频里的人、事件和时间绑在一起再教模型推理

英文题目:THG-Omni: Traceable Human-Centric Graph Supervision for Video Reasoning

评分:5.4/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.4/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Jisheng Dang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Kai Wei:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ronghao Lin:机构信息未能在本次解析中与作者逐人可靠绑定
  • Bimei Wang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hong Peng:机构信息未能在本次解析中与作者逐人可靠绑定
  • Wei-Shi Zheng:机构信息未能在本次解析中与作者逐人可靠绑定
  • Bin Hu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Qi Tian:机构信息未能在本次解析中与作者逐人可靠绑定
  • Tat-Seng Chua:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

需要理解的对象是包含多人、对话、表情与动作的视频,问题要求指出哪位参与者在何时做了什么、情绪如何变化以及社交意图是什么。困难在于线索分散在短暂表情、语音语调与多人交互中,遮挡、运镜与镜头切换又容易把属性安到错误的人或错误的时间段。THG-Omni先用Segment Anything Model 3按问题中的人物指称做接地与跟踪,提取可见区间、轨迹与空间关系并输出为确定性几何图。再用Qwen3-VL-8B对整段视频与缩略图做语义标注,输出人物属性、动作、情感与交互声明,并以人物标识为键与几何图对齐融合成待验图。HumanOmniV2接着以原视频与可用音频对每条候选语义声明做支持度检查,只有通过格式、身份与支持度检查的正面声明才被送入训练问题构造,与几何确定性问题共同训练Qwen2.5-Omni-7B的低秩适配参数。推理时模型收到从评测视频预测的图,不再接受人工修正或验证器结论。与 Qwen2.5-Omni-7B 相比,带匹配图的 THG-Omni 在 NExT-QA 测试集 8564 题上总体准确率为 89.54%,基线为 77.98%,方向为越高越好。适用范围限于有人物可跟踪、可标注的短中视频问答,评测图可能遗漏信息或包含未完全支持的声明,原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

视频问答要回答什么,输入和输出是什么

这篇论文研究的是以人为中心的视频推理。输入是一段视频、可用的音频、一个文字问题,有时还有候选答案。输出是选择的答案或多标签情绪集合。难点在于答案往往依赖分散在线索里的人:脸部表情一闪而过,动作只持续几秒,说话声和语气在音频里,互动又涉及两个人。

初学者容易以为多采样几帧就能解决。原文指出,更大的视觉覆盖不等于证据被正确定位。谁做了什么必须绑定到正确的人,并且限制在该观察成立的时间区间里。遮挡、运镜、视角变化和镜头切换都会打断这种绑定。如果模型只学最终答案,它可以靠语言先验猜对,却说不清支持答案的是哪个人、哪件事、哪段时间。

因此论文把任务目标定为两件事:答对问题,同时让依据可以追溯到可识别的人物和事件。图就是为此服务的中间表示。它不是额外装饰,而是把人物轨迹和语义描述组织成带编号、带区间的结构,让训练和推理都能引用同一套人物与时间。

已有路线做了什么,本文在哪个环节加力

人类中心视频理解已有社会推理、情绪识别、意图推断和欺骗判断等任务,常用视觉加音频加文本的多模态证据。长视频研究还强调跨长上下文找回相关证据。IntentBench 把 Social-IQ、EMER 和 MDPE 放在一起,正是因为它们的预测格式和证据需求不同,需要同时保留人物身份和时间。

视频接地与场景图提供了两类工具。一类是可提示分割,从图像提示发展到视频掩膜传播,再到概念提示的检测与跟踪。另一类是视频场景图,把实体和随时间变化的关系组织起来。相关工作还讨论了细粒度对齐、动态图变换器和开放词汇关系检测。这些工作让表示更结构化,但结构正确不等于语义归属正确,动作仍可能安到错误的人身上。

结构化推理与标注验证是另一条线。多模态知识图和结构感知模型暴露实体与关系用于推理,视频语言方法用局部监督或按问题取证来改善时间接地。本文的不同在于运行阶段的划分:训练时用问答适配加图问答联合训练,推理时只用从评测视频预测的图,不做人工修正,也不用验证器结论作为输入。比较时要注意输入条件是否一致,例如只看视频的基线与同时看视频音频的模型不能直接比绝对值。

为什么只监督答案不够,可追溯监督要补什么

只监督答案时,模型看到多人多时刻的视频和问题,直接输出一个答案符号。谁是目标人物、何时发生支持事件、什么事件支持答案,这些都没有被监督。图示的概念例子把这种缺失画得很直白:答案可能是对的,但身份、事件、时间三处都是问号。

可追溯监督要求把学习目标拆开。人物在不同帧之间保持一致编号,事件写成带方向的关系,时间写成先后约束。底部的证据链把人物身份、跨帧身份、带时间边界的证据和最终答案串起来。图中人物和事件只是说明学习目标的概念示例,而不是某个基准预测。

下面这张动机图值得对照着看,它把两种监督放在同一故事里,上面是时间线,下面是监督方式的差别。

看图路径: 1. 先看上排三个时刻如何给同一人物保持编号;2. 再看左下只监督答案与右下同时监督身份事件时间的区别;3. 最后看底排可追溯证据链怎样把答案连回人物和时间

原论文 Fig. 1:Motivation for traceable graph supervision.

论文图 1。原论文 Fig. 1::“Motivation for traceable graph supervision.”。

这张图确实可见的是:上排 3 个时刻分别标出坐着的男子、进入的女子和靠近关系,人物编号在帧之间保持一致;左下只监督最终答案符号,右下同时监督被跟踪的身份、有向事件和时间顺序。它的作用是帮读者建立判断标准,后文所有构造和训练都是为了让这种证据链可以被检查,而不是只看答案是否猜中。

整体流程如何从视频走到答案

流程可以沿一个样本走一遍。先按问题解析出需要找的人,例如人物、男人、女人、男孩、女孩等指代表达,再用这些提示做几何接地。同一视频和同一提示集合的接地结果只算 1 次,可复用。接着对整段视频和自动生成的联系表做语义标注,描述可见属性、动作、可观察情感、互动和意图假设。两路结果按人物编号合并成图。

训练前做质量检查和声明验证,只留下受支持的肯定声明,再把图字段转成显式训练问题。推理时对评测视频重新预测一张图,模型同时看到原视频、可用音频、问题和这张预测图后作答。

下图是全文的总览,5 个面板分别对应时序证据、结构化构造、视频图、证据验证和图监督训练与评测。

看图路径: 1. 沿左侧视频音频文字到中间两路分支再到右侧图的箭头看主路径;2. 比较中间 SAM 3 分支与 Qwen3-VL 分支各自输出什么;3. 观察验证器之后哪些声明被留下并进入下方训练

原论文 Fig. 2:Overview of the proposed traceable human-centric graph-supervision framework.

论文图 2。原论文 Fig. 2::“Overview of the proposed traceable human-centric graph-supervision framework.”。

这张图确实可见的是:左侧是按时间排列的帧加音频与文本图标,中间分出人物接地与整视频标注两条分支,右侧形成带人物节点和互动边的图,下方验证器标出支持、不确定、不支持 3 类 verdict,最下方是训练问答示例与评测时只用预测图的说明。它帮读者记住分支在哪里汇合:几何与语义在成图时汇合,验证在训练前过滤,评测时不再做人工修正和验证。

问题引导的人物接地如何得到轨迹

几何接地的输入是视频和从问题抽出的人物指代,输出是人物轨迹与几何度量。SAM 3 先做可提示的人物分割与时序掩膜传播。每个视频最多采样 20 帧做几何图构造,再用面积、边框、边长和长宽比等固定约束过滤候选掩膜,用重叠与包含关系去重,用掩膜重叠、中心位移和最大时间间隔做轨迹关联。此时系统不赋予情绪、意图和社会角色。

形式上,接地过程写成从视频和问题提示到轨迹集合的映射。

\[T=g_{\mathrm{SAM3}}\bigl(V,p(Q)\bigr),\]

其中符号表示的对象是:视频是输入帧序列,问题提示是解析出的人物指代集合,输出是人物轨迹与几何测量。沿样本想,某 1 帧对某个人物的观测记录了时间、边框、中心和掩膜面积占帧比例,多帧观测连起来就是该人物的可见范围与空间运动。

SAM 3 人物轨迹 × Qwen3-VL 语义标注: SAM 3 人物轨迹负责解决人在哪里、出现在哪几帧、互相离多远这类可测量的几何事实,Qwen3-VL 语义标注负责解决穿什么、做什么、表现出什么情绪、和谁交互这类需要理解的语义内容,二者分工后通过人物编号对齐合并,组合起来才让每条语义都有归属的人和时间区间。

距离等关系只在 2 人有足够多共同可见采样帧时才计算。2 人在某帧的中心距离用帧对角线归一化,图里保留共视、左右上下位置、掩膜重叠、归一化距离和距离变化,并保留支持帧和来源轨迹。距离小不等于在互动,距离变化也不直接等于意图,这些几何字段的局限是原文明确指出的,也是后文要把几何与语义分开的原因。

价值评估模型 × 辅助分数模型: 本篇不使用价值评估模型和辅助分数模型这类术语,验证环节由 HumanOmniV2 对照原视频和已有音频逐条判断语义声明是否得到支持,人工抽查再核对人物绑定和时间范围,二者分工是模型先筛支持度、人工再查身份与时间,而不是给生成过程打分或估计分布。

几何图与语义标注如何合并成一张图

几何部分组织成确定性时空图,节点是每条有效人物轨迹,包含提示类别、时间范围、可见覆盖和紧凑轨迹统计,边是满足时间支持阈值的人物对关系。2 人物距离的归一化计算是其中关键一步。

\[d_{ij}^{t}=\frac{\lVert c_{i}^{t}-c_{j}^{t}\rVert_{2}}{\sqrt{W^{2}+H^{2}}},\]

这里分子是 2 人物中心在像素空间的欧氏距离,分母是帧宽高的对角线长度,结果是无量纲的相对距离。它先在每帧形成,再聚合为共视、距离与距离变化等边属性,供确定性问题直接计算,例如持续时长、首次出现、相对存在和方向关系。

语义部分由 Qwen3-VL-8B 对整视频和联系表做标注,使用已接地的人物编号作为身份锚点。标注器看不到参考答案,也不用参考答案修正过的图。形式上是把视频、联系表、接地编号集和任务词表映射为语义声明集合。

\[S=g_{\mathrm{ann}}\bigl(V,\operatorname{contact}(V),H(T),L_{C}\bigr).\]

每条语义声明包含人物或有序人物对、声明内容、归一化视频区间、1 到 3 个支撑证据比例和置信类别,还记录在场人物与标注限度。声明的每个参数必须引用已声明人物,不允许自交互,跨镜头的外貌变化需要重新出示视觉证据。身份映射把标注编号连到轨迹,绑不上就保留为纯语义节点,不硬配几何字段。

确定性时空图 × 语义声明: 确定性时空图来自轨迹统计,答案可以直接算出来,用于教模型读懂共现、距离和先后;语义声明来自整视频标注,描述属性、动作、情感和意图,用于教模型把文字字段对应到具体人物和区间,两类监督合在一起才覆盖几何与语义。

哪些声明能留下,验证与人工检查各管什么

模型生成的语义不能当作真值。论文用只保留肯定支持的协议:Qwen3-VL 提候选,HumanOmniV2 对照原视频和可用音频逐条给出支持、不支持或不确定,人工再查人物绑定、时间范围、标签有效性和视觉支持。只有同时通过格式、身份且 verdict 为支持的声明才能用于构造语义问题。被拒、不支持、不确定和格式错误的声明直接排除,不转成否定训练样本。原文提到这是为了避免早期正反判别设置里出现的词汇捷径和语义模糊的反事实。

需要区分 3 类检查。格式检查看编号、区间和互动参数是否合法;身份检查看是否引用已声明人物、轨迹是否支持绑定;声明验证看视频音频是否支持内容。格式合法仍可能内容不受支持,验证器的支持也只是模型评估,不是人工确认的准确率。训练与开发阶段做验证,评测图自动生成,不做人工语义修正,也不把验证结论喂给推理模型。

开发集上曾报告 632 个候选来自 395 个有效验证单元,其中 591 个为支持、26 个不支持、15 个不确定,但原文强调支持计数是模型评估,不是人工验证的准确率。评测阶段 632 个视频的标注记录都通过格式检查,格式通过只说明输出格式合法,不说明每条语义为真。

两阶段训练如何教模型读图

推理模型的输入是视频、可选音频、问题、候选和图,输出是预测答案。骨干是 Qwen2.5-Omni-7B,视觉塔、音频塔和基座语言模型参数冻结,只更新语言注意力投影上的低秩适配参数。形式上预测写成带冻结参数与可训练参数的函数。

\[\hat{Y}=f_{\theta,\phi}(V,A,Q,C,G),\]

这里冻结部分保留原多模态能力,可训练部分学习按问题使用图字段。训练先拟合一个答案监督适配器并合并进骨干,再做一轮联合适配。联合集合包含带图与不带图的答案问题、已验证图问题,以及匹配与错配图辨别问题。目标是同一条件语言建模损失。

\[\mathcal{L}_{\mathrm{joint}}=-\sum_{(V,A,G,Q,Y)\in\mathcal{D}_{\mathrm{joint}}}\log P_{\theta,\phi}\bigl(Y\mid V,A,G,Q\bigr),\]

其中图在丢图示例中省略,选择题的候选项并入问题。确定性图问题教模型读可计算的几何,语义问题教模型把字段对应到正确人物和区间,丢图示例要求无图时仍能作答,匹配错配辨别要求区分图是否来自当前视频。原文报告联合轮次共呈现 2887 个示例、181 步,包括 1155 个丢图任务问题、866 个带匹配图任务问题、578 个已验证图问题、144 个匹配辨别和 144 个错配辨别,学习率为 0.00001。推理时用合并后的任务适配检查点加联合阶段适配器,帧采样为 0.25 帧每秒,生成是确定性的。

在哪些数据和指标上比较,条件如何对齐

评测覆盖三块。IntentBench 是人类中心推理,原始清单 2689 个问题来自 633 个视频,因一个视频在固定标识下反复耗尽显存而排除,最终用 2688 个对齐问题图对、632 个视频,其中 Social-IQ 2356 题、EMER 133 题、MDPE 199 题。NExT-QA 测因果、时序与描述性问答,测试集 8564 题来自 1000 个视频,验证集 4996 题来自 570 个视频,每题 5 个选项。MER24 用 150 个多标签情绪样本,只测图中保留了多少可用于答题的信息。

指标方向都是越高越好,但聚合对象不同。社会推理与欺骗感知用准确率,情绪理解用样本级多标签 F1,先对每题算预测集与参考集的 F1 再平均,精确匹配要求两集合完全相等。IntentBench 总体是按 2688 题加权聚合。MER24 诊断还报告集合精确率、召回率、宏 F1 与微 F1。每个 IntentBench 比较都用相同问题与评测视频,NExT-QA 评测图构造不用参考答案、问题文本、选项或历史预测。

图问题集合训练部分有 7339 个示例,含 1555 个确定性时空问题和 5784 个已验证肯定语义问题,开发集 1146 个,且与训练无视频重叠。基线包含未适配骨干、任务适配、图微调适配器和视频基线,视频基线只采 8 帧且无音频,条件更弱,解读时要考虑模态差异。

主结果在相同问题上显示了什么差异

先看 IntentBench 上 2688 个相同问题的对照。匹配图条件下的方法在 Social-IQ 准确率、EMER 样本 F1 与 MDPE 准确率上都高于未适配骨干,总体加权分数也更高。同一训练模型的不同图输入条件之间也有差异,匹配图高于无图与乱序图。另一组固定图微调适配器的对照显示,加紧凑图后总体分数提升,但其无图分数低于未适配骨干,说明该提升只属于该适配器的紧凑图条件,不能当作最终模型的消融。

下图把骨干与匹配图方法的差异以及 MER24 诊断放在一起,便于 1 次看清主结果与信息保留诊断是两个问题。

看图路径: 1. 比较左图同一任务下浅色与深色柱子的高低;2. 看右图拿掉视频音频后加图前后精确匹配的变化;3. 注意纵轴是分数与精确匹配率,方向都是越高越好

原论文 Fig. 3:IntentBench results and MER24 graph diagnostic.

论文图 3。原论文 Fig. 3::“IntentBench results and MER24 graph diagnostic.”。

这张图确实可见的是:左图 4 个分组中深色柱都高于浅色柱,右图加图后精确匹配从较低柱升到较高柱。它的作用是提醒读者,左图是视频条件下的推理差异,右图是拿掉视频音频后只看图是否带有用信息,两者不能互相代替。

按问题类型看,Social-IQ 6 组问题下匹配图条件在各类上都保持领先,但 When 组只有 14 题、Who 组只有 25 题,小样本格的波动要谨慎解读。EMER 多标签指标下匹配图条件的精确率与样本 F1 较高,而精确匹配在无图与匹配图之间没有拉开差距。NExT-QA 测试集上匹配图方法总体准确率高于骨干与任务适配,验证集上紧凑图略高于全图,全图又略高于无图,说明内容取舍会影响答案,但去掉情绪与意图声明后在验证集上的小幅提升只在该条件下成立。

例子如何说明时间证据被组织起来

NExT-QA 验证集的时间例子问女士说完话后男士做了什么。同一图微调适配器在无图时预测 C,加匹配图后预测 A,与参考答案一致。图中把女士说话、说完与男士微笑写成先后链,身份用衣着线索区分,时间用先后标记连接。这个例子只说明预测图可以帮模型定位相关时序事件,不证明所有时序问题都靠同一机制解决。

看图路径: 1. 按上排三帧的时间顺序看女士说话到男士微笑的先后;2. 看中排结构化证据如何把说话结束与微笑写成先后关系;3. 比较右下角无图预测与有图预测的选项变化

原论文 Fig. 7:NExT-QA temporal reasoning example from the validation set.

论文图 7。原论文 Fig. 7::“NExT-QA temporal reasoning example from the validation set.”。

这张图确实可见的是:上排 3 帧分别标出女士说话、拿瓶说完与男士微笑,下排把视觉接地、结构化证据与问题预测三步并排,中间用说话结束之后微笑的箭头连接,右侧明确写出匹配图答案、参考答案与无图基线的选项差异。它帮助理解的是图如何把分散帧压缩成可引用的先后关系,而不是单靠多看几帧就能自动对齐。

Social-IQ 的插图作用更克制。纸牌桌的例子展示了 2 人轨迹、共视比例与说话顺序,但原文明确说早期基线也选了参考答案,所以它不代表纠正了基线错误。另两个插图分别展示人物编号与局部反应的时间组织,其中一个的模型答案不可用,原文只用它们说明证据组织方式,而不断言性能提升。读图时要把教学示例与性能证据分开。

换图输入时哪些变了,哪些不能当配对统计

要回答的比较问题是:加图带来的变化是否来自图与视频的对应关系。固定适配器的对照是同权重下加紧凑图与不加图的比较,IntentBench 总体分数上升,Social-IQ 与 EMER 精确匹配也有上升。最终模型的 3 个输入条件是匹配图、无图与乱序图,匹配图总体最高,乱序图在情绪任务上更低,这与错配证据对需要人物与区间的情绪问题无帮助是一致的。

下表比较 Social-IQ 6 类问题的准确率,表前说明比较问题与条件,表后解释收益与限制。比较对象是同一 2356 题上的骨干、图微调适配器与最终模型的不同图条件,指标是准确率,方向越高越好。

MethodWhy (698)How (632)Overall
Qwen2.5-Omni-7B [51]53.4454.1153.99
THG-Omni (shuffled graph)66.4865.1967.11

匹配图条件在各类上都高于骨干,尤其在样本多的组别上拉开差距,但 When 与 Who 组样本很少,百分点波动不能推广。同一模型的无图条件已经明显高于骨干,说明一部分能力保留在无图推理中,匹配图的额外增益不是全部来源。乱序与无图的差异不能读成严格配对统计,原文也指出匹配轮与早期对照轮不是同一评测轮。

下表是 EMER133 例的多标签表现,表前说明比较问题是情绪标签的集合重叠程度,指标含精确率、召回率、样本 F1 与精确匹配,方向越高越好。

MethodSample F1Exact
Qwen2.5-Omni-7B [51]68.0941.35
THG-Omni (matched graph)86.2666.17

匹配图条件的样本 F1 与精确率最高,但精确匹配与无图条件持平,乱序条件明显更低。这支持匹配证据对情绪问题有帮助,同时说明精确匹配要求整集合相等,难度更大,不能把 F1 的提升直接当成准确率的提升。

匹配图 × 乱序图: 匹配图指从当前评测视频预测得到的图,乱序图指把别的视频的图文字拿来配给当前视频,比较二者不是比有没有多加文字,而是检验模型是否真的用了图中人物与事件和当前视频的对应关系。

下表是图输入敏感度的百分点差异,表前说明它是报告条件之间的差值,不是重新估计的配对统计,EMER 用样本 F1 与精确匹配,其余用准确率。

Comparison (second minus first)Social-IQMDPEOverall
Graph-SFT: compact −- no graph+7.00+1.01+6.25
THG-Omni: matched −- no graph+3.90+6.03+3.95

固定适配器加紧凑图主要改善 Social-IQ 与 EMER 精确匹配,最终模型加匹配图主要改善 Social-IQ 与 MDPE。匹配与乱序的差异最大,但原文明确说匹配轮与对照轮来自不同评测轮,审计只确认输入文字不同,不独立证明性能提升,因此只能当作报告条件间的比较。

下表是 MER24 诊断,表前说明两条件都不给视频音频,唯一差别是是否给预测图,指标都是百分比,越高越好。

InputExactMacro F1Micro F1
Question and options14.6742.1844.23
Question, options, and graph24.0057.1856.16

加图后精确匹配与宏微 F1 都上升,有 21 个挽回与 7 个受损,McNemar 检验与自助区间支持图中有可用信息。但它只证明图中保留了答题相关信息,不度量视频条件推理中加图的贡献,也不能推广到所有情绪视频。

结论在什么条件下才成立,还有哪些缺口

结论成立依赖几个条件。训练与开发阶段才有人工检查与验证,评测图是自动预测的,可能遗漏信息或包含不受完全支持的声明。模型必须同时看原视频、可用音频与预测图作答,缺掉任一模态的结果不能直接套用。IntentBench 的总体分数是加权聚合,Social-IQ 题量占主导,总体领先主要反映大题量任务的表现。NExT-QA 验证集上紧凑图略优于全图,说明更多声明不一定更好,内容选择与问题有关。

方法缺口也很具体。遮挡、镜头切换与外观变化会影响轨迹与绑定,语义声明可能绑错人物或区间,验证与人工检查不能保证每条留下来的都正确。早期 1 次乱序对照因格式化器读错字段导致实际输入相同,该轮预测已排除在图对应分析之外,修正后审计确认了输入文字不同,但这只是输入审计,不是性能证明。When 与 Who 等小样本分组、MDPE 的 199 题规模,都限制了细分组结论的稳定性。

还有一个常见误解是把相关当因果。匹配图高于乱序图与图中保留信息、模型学会用图是两回事,需要分别用 MER24 诊断与同权重对照来支持。缺证据不等于技术有错,例如来源不可达只说明链接状态,不能说明方法缺陷。

复现第一步做什么,需要哪些条件

复现先固定评测集合与输入条件。IntentBench 用 2688 个对齐问题图对与 632 个视频,排除的视频由固定任务标识决定且在预测计分前排除。NExT-QA 测试与验证分别用 8564 题与 4996 题,评测图构造不用参考答案与问题文本。帧采样、确定性生成、是否提供音频、是否提供图都要与原文一致,否则比较不公平。

模型侧先复现任务适配再做一轮联合训练,只更新语言注意力投影的低秩参数,视觉塔、音频塔与基座其余参数冻结。训练呈现数与优化步数按原文记录核对,注意 2887 是呈现数而非不同视频数。评测时对评测视频重新预测图,不做人工修正,不把验证结论作为输入,并保存预测后再用独立计分访问参考标签。

作者资源方面,论文给出匿名链接,类型为第三方可用且状态码为 200,但按规则第三方链接只证明提到该链接,不能写成作者已开源。真正可运行的复现还需要补齐代码、权重与环境,目前能确认的只是链接当前可用。训练与推理成本在原文中没有完整披露,不能承诺延迟或资源消耗。

什么时候值得尝试,还需要补哪项验证

当问题依赖谁在何时做了什么,并且需要把依据指回具体人物和区间时,这种图监督值得尝试。它把可测量的几何与需理解的语义分开,再用验证留下受支持的肯定声明,最后把读图能力做成显式训练。已有证据支持的是:在相同问题与视频下,匹配图条件高于骨干与无图条件;在拿掉视频音频后,图本身带有可用信息;在同权重下,加图能改变预测并在示例中恢复正确答案。

图构造 × 图利用: 图构造回答图中是否保留了答题需要的信息,图利用回答推理模型是否学会使用这些信息,前者用拿掉视频只看图能否答题来检验,后者用同一模型加图与不加图的对照来检验,两者证据不同,不能互相代替。

仍需补的验证包括:更长视频与更复杂互动下的表现,跨镜头人物绑定的可靠性,以及按问题选择图字段的方法,避免无关声明干扰。复现时先从固定集合与输入审计做起,再补小样本分组的稳定性与成本测量。总体上,论文提供了一种让视频问答依据更易定位的思路,但每项提升都只在报告的输入条件、指标与题量下成立,不宜夸大为通用视频理解的解决。

📎 论文与评分元数据

排名:后50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-09 语音/音乐/音频论文速递