OmniCompass：用配对指代与双证据轨道同时考时间定位、空间定位与问答

📄 OmniCompass：用配对指代与双证据轨道同时考时间定位、空间定位与问答

英文题目：OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding

标签：#音视频理解 | #基准设计 | #基准测试 | #音视频

评分：6.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Xuyang Liu：机构信息未在 arXiv HTML 中可靠披露
• Shihao Wang：机构信息未在 arXiv HTML 中可靠披露
• Xinyu Wei：机构信息未在 arXiv HTML 中可靠披露
• Minghan Li：机构信息未在 arXiv HTML 中可靠披露
• Zeqing Wang：机构信息未在 arXiv HTML 中可靠披露
• Zuhao Yang：机构信息未在 arXiv HTML 中可靠披露
• Zichen Wen：机构信息未在 arXiv HTML 中可靠披露
• Lei Zhang：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

全向视频理解要求模型根据文字或图像给出的目标，在视频中找到对应事件何时出现、在画面中处于何处，并结合画面与声音回答发生了什么。已有评测往往只覆盖视觉或音视频中的一种证据，只用纯文字指代目标，且把时间定位、空间定位与问答割裂开来，难以判断失败来自目标识别、时间检索还是空间定位。OmniCompass建立视觉语言轨道OmniCompass-VL与全模态音视频轨道OmniCompass-AV，每轨每个视频各设时间定位、空间定位与问答一个实例，分别输出起止秒数、区间两端边界框与五选一答案。构建先对候选视频做实体、动作、属性与场景画像并排序筛选，经人工复核与自采补充得到820个视频，其中240个叙事与声音丰富的视频进入AV轨道；筛选出的视频直接进入任务标注，每个任务配对纯文字与文字加图像指代并共享同一目标与标准答案，参考图像仅用于识别目标。标注结果进入多轮核验与前导专家终审，确认后的实例按均匀采样加帧级时间戳序列化为评测输入，AV轨道同步附带原生音频。对 50 个多模态大语言模型（Multimodal Large Language Models，MLLMs）的评测显示，VL 轨道最高的平均一致性分数为 42.8%，AV 轨道最高为 57.4%，专有模型尤其在音视频理解上领先开源模型。时间戳文字与原生音频在受控对比中带来可测量的提升，而参考图像的效果随任务与模型变化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://huggingface.co/datasets/MCG-NJU/SportsAction — 暂时无法访问

• 第三方资源：https://huggingface.co/datasets/stdKonjac/LiveSports-3K — 暂时无法访问

• 第三方资源：https://huggingface.co/datasets/AllenXeon/ucf_crime — 暂时无法访问

• 第三方资源：https://huggingface.co/datasets/CG-Bench/CG-Bench — 暂时无法访问

• 第三方资源：https://huggingface.co/datasets/Enxin/MovieChat-1K-test — 暂时无法访问

• 第三方资源：https://huggingface.co/datasets/lmms-lab/ActivityNetQA — 暂时无法访问

• 第三方资源：https://huggingface.co/datasets/yeliudev/VideoMind-Dataset/tree/main/qvhighlights — 暂时无法访问

• 第三方资源：https://zenodo.org/records/10870472 — 链接可访问（HTTP 200）

• 第三方资源：https://zenodo.org/records/15707073 — 暂时无法访问

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

视频理解要解决的输入输出问题是什么

对于刚接触视频与音频的研究生，可以把任务想成这样：输入是一段几十秒到几十分钟的视频，有的有声音，有的评测时不给声音；输入还有一个要找的目标，比如某位穿特定号码球衣的队员、某次扣篮、某段播报。模型必须输出 3 类结果中的一种：目标事件从第几秒到第几秒，目标在起止时刻的画面框，以及围绕该目标的选择题答案。

论文要解决的困难是，过去的评测往往只覆盖其中一块，有的只考问答，有的只考时间段，有的只用文字描述目标，有的只用画面或只用视听，这样即使模型在某个榜上分数高，也说不清它是找错了时间、框错了人，还是没理解事件。OmniCompass 因此把同一视频、同一目标、同一任务含义、同一真值固定下来，再换指代方式与证据条件来反复考，从而把目标识别、时间定位、空间定位与事件理解分开诊断。

已有评测路线为什么不够用

论文把已有视频评测按 4 个维度比较。第一是指代方式，多数只用文字提问，少数会配参考图，但很少对同一目标同时提供两种指代并比较一致性。第二是视频证据，视觉榜考查外观、动作与时间关系，视听榜要求同步的声音与画面，但两类榜通常分开，缺少同一框架下的互补轨道。第三是任务覆盖，问答榜输出语义答案，定位榜输出时间段或区域，能同时覆盖时间定位、空间定位与问答的视听榜很少。

第四是视频时长，短视频偏重局部动作与细粒度运动，长视频考查跨越较远时刻的信息整合。原文指出这种分散导致 3 个诊断缺口：证据覆盖不互补、指代设置不灵活、任务覆盖碎片化。例如新闻播报中有的问画面场景，有的问 spoken report 与人物事件的对齐；篮球中可以问某队员何时得分、位于何处、发生了什么，若只考其中之一，就无法区分时间检索、空间定位与语义理解各自的失败。

OmniCompass 把考题固定成什么可比形式

OmniCompass 把每次评测定义为配对实例。每个实例共享同一视频、同一目标、同一任务语义与同一真值，只改变目标的指代方式。文字设置只给文字描述，例如问某号码队员何时完成扣篮；图文设置给简化文字加一张参考图，文字本身不足以唯一确定目标，必须看图才知道指谁。模型在视觉轨道只看到均匀采样的带时间戳帧，在视听轨道还能听到同步音频。

3 个任务分别是：时间定位输出起止秒数，空间定位在给定区间端点各输出一个框，问答从 5 个选项中选一个字母。论文还引入跨指代一致性分数，要求配对的 2 次预测同时正确且互相一致，而不是 2 次各自正确或 2 次一致但都不对。这种设计把可比性建立在配对上，后续所有关于图文是否有帮助、音频是否有帮助的结论，都要在配对与相同证据条件下理解，不能推广为一般意义上的多模态一定更好。

总体流程如何把同一目标考两遍

阅读该总览图时，可以沿着从左到右的三步看：先指定目标，再寻找证据，最后回答何时、何处、何事。左侧强调同一视频用两种问法指向同一目标与同一真值，中间区分只用画面与同时用声音画面的两条轨道，右侧展示时间段、起止框与选择题 3 种输出。下面一行把 4 个关键维度并列为指代、证据、任务与时长，时长范围从几十秒延伸到接近一个半小时。

看图路径： 1. 先看左侧两种指代如何指向同一视频与同一真值；2. 再看中间视觉与视听两条轨道的输入差别；3. 最后看右侧何时、何处、何事三任务的输出形式

论文图 2。原论文 Figure 2:：“Overview of OmniCompass. The benchmark spans four dimensions: target specification, video evidence, task coverage, and video duration.”。

图中最值得初学者停留的是配对思想。同样是问首次得分，文字版把号码与队伍写全，图文版把主语换成图中的队员，模型必须先认对人，再去定位与回答。中间的视听轨道多了一条波形示意的音频，意味着有些线索只在声音里，例如播报内容、语气与音效，模型不能只看画面猜。右侧用具体数字举例了时间段与起止时刻框的输出形态，问答则保留 5 个选项，保证评分标准统一，但不同轨道题目难度并不等价。

时间定位与空间定位各自输出什么

时间定位的输入是采样帧序列加目标指代，输出是事件的开始与结束秒数。评测用预测区间与真值区间的时间交并比衡量重叠，用平均时间交并比与阈值为 0.5 的召回等汇总。空间定位与常见检测不同，它不是全程跟踪，而是在给定相关区间后，只在起点与终点时刻各定位一个框，坐标归一化到 0 到 1000。评测比较预测框与真值框的空间交并比，并对起止两端平均。初学者容易把框大当成容易，但原文的粒度分析显示视觉轨道大框更好，视听轨道却在第 3 个面积分组最好，说明目标大小、领域内容与任务分布都会影响分数，不能把单一趋势当成因果。

时间定位 × 空间定位： 时间定位回答目标事件在何时出现，输出起止秒数；空间定位回答目标在画面何处，输出起止时刻各一个框；两者分工是先在时间轴上找回事件，再在空间上框住同一目标，组合起来才能判断模型是真正跟住了目标还是只猜中了答案。

两个定位任务的组合意义在于分离时间与空间错误。模型可能时间找对但框错人，也可能框对人但时间偏离。论文用起止两端框的设计降低了标注与评测成本，但也意味着它测的是在已知时刻能否框住同一目标，而不是在长视频中自主搜索时刻加全程跟踪，复述时要保留这个限定。

两种指代与两条轨道如何分工

文字指代把目标信息全部放在文字里，图文指代把部分文字信息替换为参考图。参考图按作用分为实体、动作、属性与场景 4 类，例如特定人物或车辆、可识别的扣篮或铲球动作、服装颜色或车辆类型、街道房间舞台等环境。来源分视频内裁剪与外部语义匹配图，视频内优先选目标区间或问答线索区间之外的视角，以减少直接泄露答案事件。视听轨道的题目特意需要声音，例如理解说话内容、把可听线索与可见人物动作场景联系起来、从声音画面判断情绪。论文强调这些标签描述的是出题意图，而不是每道题去掉音频后必定失败的实测保证。

文字指代 × 图文指代： 文字指代只用文字描述指定目标，图文指代用简化文字加参考图共同指定同一目标；前者考语言理解与视觉搜索，后者考跨图匹配，配对使用可以检验换一种指代方式后模型是否仍找到同一目标。

视觉轨道 × 视听轨道： 视觉轨道只给采样帧，不给音频，要求只用画面证据回答；视听轨道同时给采样帧与同步音频，要求必须联合声音与画面；两者搭配可以区分错误来自视觉定位还是来自声音与画面的绑定。

问答 × 跨指代一致性分数： 问答考发生了什么，输出五选一字母；跨指代一致性分数同时要求文字与图文两次预测都正确且互相一致，时间与空间还要求两次预测与真值以及两次预测之间的重叠都高；组合后避免了单次猜对掩盖指代不稳定的问题。

感知类问答 × 推理类问答： 感知类问答主要靠直接识别画面或声音中的事实、动作、属性、计数与空间关系；推理类问答要在这些证据上再做时间先后、因果与比较判断；区分两者可以定位模型是看不清细节还是连不起关系。

分工上，指代维度考目标识别是否稳定，轨道维度考证据是否用全，任务维度考输出能力。跨指代一致性分数把识别稳定性与正确性绑在一起：时间定位取 2 次与真值的重叠与 2 次预测之间重叠的最小值平均，空间定位对起止两端同样取最小值再平均，问答要求 2 次预测与真值三者全等。这种取最小值的设计很严格，一次偏离就会拉低分数，因此它比单次准确率更能暴露换一种问法就换一个答案的问题。

没有模型训练时这约 1800 小时做了什么

本研究没有训练新的视频模型，所谓构造过程是指基准的标注与校验流水线。第一阶段从 9 个公开数据集筛选 8489 个候选视频，用模型做实体、动作、属性与场景的结构化画像，滤掉短于 30 秒或缺少 4 类线索的视频，剩下 6946 个，再按指代必要性、定位适合度、时空效用与证据多样性等启发式打分排序，人工保留 580 个，加上自采的电影、电视剧、综艺与新闻共 240 个，形成 820 个视频，其中 240 个同时用于视听轨道。

第二阶段由受过 2 天培训的 4 名标注员先做 30 加 30 个视频的试点，统一配对、边界与问答证据规范，再独立构造每个视频的时间、空间与问答各一个实例，每个实例都有文字与图文两种问法。第 3 阶段交叉检查配对目标是否同一、图文是否真的需要图、时间是否完整、框是否对准端点、问答是否有唯一证据支持，视听还检查是否真的需要声音与音画是否对齐，再由专家裁决与终审。下图展示了 3 阶段的输入输出关系。

看图路径： 1. 看第一阶段如何从大量候选视频筛到高质量视频；2. 看第二阶段配对标注与统一规范如何对齐；3. 看第三阶段交叉验证与专家终审如何形成发布数据

论文图 3。原论文 Figure 3:：“Data construction pipeline. OmniCompass requires about 1,800 human-hours for rigorous annotation, verification, and revision.”。

图中第一列的要点是机器画像只用于候选筛选，问题与证据仍由人工构造与核验；第二列的要点是标注格式统一为时间段、起止框与五选一，规范强调同一目标与证据不泄露；第三列的要点是先同行交叉验证再专家批准，未通过的退回修改并重新核验。论文回溯估计总人力约 1784 小时，包括规范培训、初始构造、交叉验证修改与专家审核，不含自动处理与模型推理等待时间。理解这一点才能明白基准的质量声明来自流程记录，而不是对模型能力的直接证明。

评测时模型实际看到什么输入

评测共涉及 50 个模型，视觉轨道考视觉语言模型，视听轨道考支持原生音频的多模态模型。帧采样在全视频均匀进行，大模型与专有模型一般用 64 帧，较小开源模型用 32 帧，个别模型因输入上限或官方限制用 49 帧或 16 帧，同一模型在不同任务与指代下预算固定，因此跨模型比较反映的是给定预算下的表现，不是严格等算力比较。每帧前面附带以秒为单位的时间戳文字，图文设置的参考图放在采样帧与音频之后、任务提示之前，空间定位会额外给出相关区间，要求只在端点框出目标。视听轨道在帧之后加入整段音频。问答固定 5 个选项，输出只要求字母，定位要求只输出 JSON 格式的时间或框。

看图路径： 1. 看领域与时长分布是否覆盖短中长三段；2. 看问答类型中感知与推理的占比结构；3. 看时间跨度与框面积累积曲线反映的定位粒度

论文图 4。原论文 Figure 4:：“Dataset statistics of OmniCompass. (a) 820 videos span 7 domains and 52 subcategories, each with at least ten videos.”。

该统计图帮助确认结论的适用范围。领域覆盖体育、交通、安全、生活、影视、综艺、新闻等 7 个大类共 52 个子类，时长覆盖短片 30 到 90 秒、中片 90 到 300 秒、长片 300 秒以上，视觉轨道 820 视频 2460 实例，视听 240 视频 720 实例。问答在视觉轨道有 8 类、视听有 5 类，感知占比分别约 68.0% 与 62.5%。时间跨度平均只占视频很小比例，视觉约 4.6%、视听约 1.7%，空间框平均占画面约 13.2% 与 30.7%，说明定位目标在时间上稀疏，在空间上也不一定很大，这正是定位分数普遍低于问答的背景之一。

规模与总体分数在什么条件下成立

先把规模说准，再谈分数。下表比较的问题是基准到底有多大、两条轨道是否可比。公平条件是每个视频在视觉轨道贡献时间、空间、问答各一个实例，视听子集的 240 视频同样各贡献一个实例，但两条轨道的题目事件与目标可以不同，因此共享视频不等于题目相同。指标方向是数量越大覆盖越广，但数量本身不代表难度相等。

上表规模数字来自原文连续描述，视觉轨道包含 820 视频与 2460 实例并覆盖短中长 3 类，视听子集为叙事与音频丰富的 240 视频 720 实例。限制是视听子集偏叙事类自采视频，领域与时长分布与纯视觉部分不完全一致，跨轨道的分数高低不能直接解读为加音频的效果，加音频的效果需要看后文同一模型、同一任务、匹配样本的对照。

总体分数的比较问题是：在各自轨道与统一总体分下，谁最高、开源与专有差距多大。下表保留了论文明确报告的可运行模型总体分，总体分是时间平均交并比、空间平均交并比与问答准确率的均值再跨指代取一致性平均，分数越高越好。

上表显示视觉轨道最高分 42.8% 与 39.6% 分别来自专有与开源最好模型，视听轨道最高分 57.4% 与 24.6% 分别来自专有最好与开源最好模型。论文还报告专有最好超过开源最好在视觉约 3.2%、在视听约 32.8%。限制同样重要：不同模型帧数不同，视听轨道模型名单与视觉不同，总体分把三任务平均，问答权重会掩盖定位短板，因此不能用总体排序代替各任务结论。

为什么问答强不等于定位强

该柱状总览按总体分从高到低排列，左侧最高的专有模型与靠前的开源模型之间仍有落差，尾部部分小模型明显更低。读图时不要只记排名，要结合后文任务分解：总体分高可能主要由问答撑起。

看图路径： 1. 比较最左侧与中间各柱高度代表的总体分数高低；2. 观察专有模型与开源模型柱群的整体落差；3. 注意尾部小模型柱明显更低但不能只看排序下结论

论文图 1。原论文 Figure 1:：“Overall model performance on OmniCompass-VL. Gemini-3.8-Flash and Kimi-K3 achieve the highest scores among proprietary and open-source models, respectively, at 42.8% and 39.6%.”。

图中可见即使总体领先的模型，其绝对分数也未过半，说明在严格的跨指代一致性下没有模型能稳定拿高分。尾部模型的低柱更多反映其在定位与一致性上的困难，而不是问答完全失败。下表比较的问题是：在同一严格一致性口径下，问答与定位的天花板是否一致。公平条件是都用跨指代一致性分数，时间与空间还计入 2 次预测之间的一致性，问答要求 2 次全对，分数越高越好。

上表数字表明 36 模型中有 29 个问答一致性超过 50%，最高达 69.1%，而时间与空间一致性最好仅 27.1% 与 34.9%。论文的细分类还显示视觉计数组在 8 个模型中均垫底，空间感知平均低于因果推理；视听中时间推理多为最低而因果推理领先，事件理解需要把声音与可见实体动作场景绑定，开源与专有差距在此最大。限制是问答为五选一，随机基线高于定位的重叠指标，不同指标的绝对值不能直接比难易，只能说在各自口径下定位天花板更低，且问答高分不能推出定位可靠。未胜出项也很清楚：更大参数并不在每个任务都赢，例如某 397B 总体高于 122B 但时间一致性反而更低，27B 空间一致性低于 9B。

换图文指代是否稳定地帮助模型

比较的问题是：把同一目标从纯文字换成文字加图，分数是否提高。公平条件是视频、任务语义与真值相同，只有指代变化，且论文指出两种问法的文字描述本身也有差异，因此这不是纯粹加一张图的效果，而是换一种目标描述方式的效果。指标方向是单设置平均交并比或准确率越高越好，一致性分数则要求 2 次都好。结果并不一致：视觉轨道 36 模型中只有 11 个在平均分上因图文提高，其中专有 8 个、开源 3 个。

100B 以下开源只有个别模型提高，且常出现定位提高但问答下降，例如某 27B 模型时间与空间平均交并比提高但问答准确率下降。视听轨道图文对空间与问答各有 12 个模型提高，但时间只有 5 个提高。更关键的是跨指代一致性普遍低于较低的单设置分数，时间、空间、问答平均低约 4.3、4.6、6.4 个百分点，说明 2 次各自不错不等于 2 次在同一批样本上都对。以某模型问答 2 次准确率几乎相同但一致性明显更低为例，实例层面有数十个只对一次，总体相近掩盖了实例不一致。

尚未评测的范围是参考图类型与来源并非均衡，动作条件与场景条件的样本量差异大，小样本格的涨跌证据有限，不能推广为某类线索一定有效。

时间戳与音频各自带来什么代价与收益

先看时间戳对照。比较的问题是在输入中是否在每帧前加秒数文字，其余采样与任务不变。指标为各任务一致性分数，越高越好。下表保留论文报告的视觉轨道总体提升，代价是输入变长。

上表显示 3 模型视觉总体分别提高 7.0%、10.4%、2.3%，平均约 6.5%，其中时间任务提升最集中，问答每次提高 0.7% 到 5.9%。视听轨道 2 模型总体平均提高约 4.9%，但时间任务变化很小，某模型空间提高达 16.0%。限制是时间戳帮助对齐采样帧与时间位置，对需要精确定位的任务更有效，但不能理解为模型真正学会了时间推理。

再看模态对照。论文在视听匹配样本上比较纯文字、无音频视觉、视听三档。纯文字时间一致性仅 0.1 到 0.8%，问答仍有 18.8% 到 30.1%，说明问答可靠常识与题面猜测部分分数，时间定位离开媒体几乎不可做。加视觉后 12 个模型任务比较全部提高，加音频后问答一致性提高 18.6% 到 28.1%、平均 22.9%，时间定位有的模型提高近 30%、有的下降，空间变化仅负 0.4% 到正 1.8%。因此结论是有条件的：音频稳定帮助问答与部分模型的时间定位，对空间框帮助有限，且效果因模型而异。

帧数消融也类似，视觉轨道从 8 到 128 帧三任务都明显提高，视听轨道空间与问答提高而时间几乎不变，更多帧意味着更多视觉输入与推理成本，最优预算取决于任务与轨道。

这些结论在什么边界内才成立

第一，时长与领域比较不是纯因果。长视频时间分数更低的方向较一致，但各组内容与目标粒度也不同，不能说拉长视频必然导致下降；交通领域空间与问答最低、综艺时间最低而空间最高，说明同一领域内时间与空间可以反向，领域排名只适用于共享的可比子集。第二，粒度曲线是关联而非孤立效应。

相对时长越大时间分数越高，大框在视觉最好而在视听第三组最好，但交并比本身依赖目标大小，分组边界按轨道分别计算且大小不均，任务与模型名单也不同，不能把差异归为音频作用。第三，一致性差距包含双重要求。跨指代一致性低于单设置均值，既因为要求 2 次都与真值重叠，也因为要求 2 次预测互相重叠，其中后者只贡献很小一部分，不能把全部差距解读为预测互相矛盾。第四，参考图与音频标签是出题意图。

论文明确说问答类型按主要作答操作划分，视听标签描述预期证据要求，不是每题去掉音频必错的实测保证。第五，模型输入预算不同。帧数、时间戳、音频开关与提示格式都会移动分数，复现时必须固定这些条件再谈胜负。

复现第一步要固定什么

复现应从输入序列化做起，而不是先换模型。按原文固定每模型的帧数，大模型与专有 64 帧、小模型 32 帧、特殊模型按官方与上限处理；每帧前加秒数文字，图文参考图放在帧与音频之后、任务提示之前；空间定位先给区间再要两端框，问答只收字母，时间只收起止秒数的 JSON。视听必须用原生同步音频，视觉必须去掉音频。

评分时先算单设置的平均交并比与准确率，再按配对取最小值的一致性分数，问答要求 2 次预测与真值全等。建议先用论文报告总体分的模型做冒烟测试，核对视觉最高 42.8% 与 39.6%、视听最高 57.4% 与 24.6% 是否在同一预算下复现，再展开时长、领域与粒度分组。需要补的验证包括：统一帧数后的重测、去掉时间戳的重测、无音频与有音频在完全匹配样本上的重测，以及图文与文字在参考类型分组下的样本量与显著性说明。

关于资源，论文未给出训练与推理耗时、延迟与成本的可比数字，不能承诺更快更省；代码、权重与可运行系统的可用性是三件事，本篇证据只支持基准设计与评测结果，作者资源是否公开需以作者仓库的实际可达状态为准，不在正文断言。

什么时候值得尝试 OmniCompass

当研究目标是诊断而非刷榜时值得尝试。例如想知道新模型是时间找不准、框跟不住人，还是换一张参考图就认错人；想知道加音频是改善了问答还是真正改善了时间与空间绑定；想在短中长、七领域与感知推理细分上定位短板。它的价值在于配对与双轨道把错误来源分开，而不是给出一个总体冠军。

若只需要问答分数或只需要纯视觉定位，已有单任务榜可能更轻量。初学者复述时可记住三句话：同一目标考两遍，两条轨道证据不同，三任务分别回答何时、何处、何事；最强证据是问答显著高于定位、图文帮助不一致、音频稳帮问答但对定位因模型而异；主要代价是更长的输入、更严格的一致性口径与不均衡的参考与领域分布，任何提升都应标注帧数、时间戳、音频与可比样本后再谈。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递