对不齐就推理错：FAVE 用三层时间任务检验音视频大模型的同步短板

英文题目：FAVE: A Structured Benchmark for Fine-Grained Audio-Visual Temporal Evaluation in Multimodal LLMs

会议身份：conference:cvpr:2026:conference-paper-id:Lu_FAVE_A_Structured_Benchmark_for_Fine-Grained_Audio-Visual_Temporal_Evaluation_in_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #基准设计 #音视频 #音视频理解

评分：6.2/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Weiheng Lu：机构信息未能从会议 PDF 纯文本可靠映射
• An Yu：机构信息未能从会议 PDF 纯文本可靠映射
• Jian Li：机构信息未能从会议 PDF 纯文本可靠映射
• Zhenfei Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Felix X.-F. Ye：机构信息未能从会议 PDF 纯文本可靠映射
• Ming-Ching Chang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

FAVE针对音视频大语言模型在长视频中联合语音与画面做细粒度时间对齐、排序与定位的任务，输入为平均约150s网络视频的视觉流与语音及环境声，输出为跨模态对齐答案、事件时序判断与指定时段描述，难点在于同一时间窗内视听互证与多尺度时间关系易被单模态捷径掩盖。流水线先用镜头边界检测切分有意义片段并抽取关键帧，再并行做视觉动态细节描述与Whisper语音识别加3D-Speaker多说话人聚类，环境声辅以人工描述，前步的切分边界与视听字幕一并进入下一步。接着GPT负责事件识别、视听字幕均衡校验与问答合成以抑制纯语言猜测，最后经人工两轮校验形成FAVE-Align、FAVE-low与FAVE-high三级任务。相对VALOR直接拼接模态与UnAV-100、AVEL粗粒度标注的做法，该设计强调时间 grounded的视听强相关标注、模态均衡贡献校验与文本先验过滤，因而更能检验联合时间推理而非单模态聚合。在FAVE基准下，Gemini 1.5 Flash在FAVE-low任务上的平均准确率为75.34%，低于人工基线的平均准确率88.98%。该结论适用边界受限于以语音为主的QVHighlights源视频与多为20s内的细粒度事件，对强音乐、重叠声与长程因果的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么语音让视频理解更难也更重要？

这篇解读的输入是 CVPR 2026 的 FAVE 论文原文与本次收到的官方原图像素，目标是让刚进入语音、音乐与音频方向的研究生能核对原文并复述方法。必须保留的信息包括 3 层任务定义、数据构造流水线、评估协议与主结果数字，输出是 1 篇按学习依赖展开的中文技术解读。

先把任务说清楚。研究对象是音视频大语言模型，也就是能同时看画面、听声音再用语言回答的模型，英文叫 Audio-Visual LLMs，简称 AVLLMs。现实中的长视频往往是人一边做事一边说话，语音的信息密度很高，画面和台词互相补充。比如一个人在商场里介绍珠宝店，画面给出绿色招牌和商场环境，语音给出伯明翰珠宝产业的评价，只有把同一秒的画面和声音对上，才能完整理解事件。

这就带来两个难点。第一是联合理解，不只是分别看懂画面和听懂语音，还要在同一时间窗内把两者关联起来，错位就会产生幻觉。第二是多尺度时间感知，既要判断谁先谁后、是否相邻、在视频前段还是后段，也要对指定区间写出融合视听细节的描述。论文的起点观察是，给视觉模型加音频做时刻检索反而可能掉点，即使是原生支持双流的 AVLLMs 也表现吃力，所以需要一个专门卡细粒度跨模态时间的基准。

已有基准在考什么？为什么还缺一块？

按输入、目标、监督和运行阶段来对照，才能看清 FAVE 的位置。第一类是单模态时间基准，只用视觉或只用音频。例如 QVHighlights、ActivityNet Caps、Charades-STA 只靠视觉线索做时刻定位与描述，AudioCaps、WavCaps、AudioSet 只做音频字幕或事件检测。它们的输入缺一模态，目标不要求跨模态同步，因此不能直接用来评价 AVLLMs。

第二类是问答类视频基准，覆盖视觉推理但音频参与浅。例如 TVQA、NExT-QA、ActivityNet-QA 考场景理解和事件排序，EgoTaskQA 偏向以目标为中心的任务，音频多为字幕或弱辅助。它们的监督多为人工选择题，运行阶段是短片段问答，缺少显式的声画时间对齐标注。

第 3 类是音视频基准，但任务类型或时间粒度受限。例如 AVSD 用对话式问答，AVQA 与 Music-AVQA 要求时空融合，AVEL 与 UnAV-100 做无约束视频的声视事件定位，VALOR 与 VAST 把多模态拼接但不显式建模依赖，LongVALE 有细粒度标注但缺事件间关系建模。论文用一张对照表说明，FAVE 同时具备视觉、音频与文本字幕、时间戳与多层结构，平均视频长约 150 秒，区别在于显式考对齐、事件关系与时刻描述 3 层能力。

FAVE 把细粒度时间能力拆成哪三道题？

FAVE 把问题拆成 3 层，每层对应一种可执行的操作。第一层是 FAVE-align，考跨模态时间对齐。做法是视觉到音频与音频到视觉双向映射：给一段视觉描述，先定位它发生的时间戳，再回答该时段的音频问题，反之亦然。答对说明模型能把同一时刻的两种表示对上，这是后续推理的前提。

第二层是 FAVE-low，考不依赖绝对时间戳的低层关系。输入是同一视频的两个事件字幕，输出是时间标签，包括相对顺序是先还是后、时间邻近性是相邻还是相隔、事件位置是在视频前段还是后段。这类任务是架构无关的，因为很多模型为效率做特征聚合而丢失绝对时间，更需要从上下文推相对关系。

第 3 层是 FAVE-high，考指定区间的详细场景理解，形式是时刻到字幕。输入是一个视频片段区间，输出是一段融合音频与视觉的开放描述。例子是问 134 秒到 150 秒发生了什么，要求同时写出穿什么裙子、画面动作和对开衩过高的评价。3 层由易到难，从对齐到关系再到生成，覆盖了从定位到综合的完整链路。

三层基准与旧基准的差别在哪里？

要理解 FAVE 的设计意图，先看它与旧基准的并排比较。旧的单模态标注要么只写画面，要么只写语音，多模态标注虽把两者写在一起，但任务仍较简单。FAVE 的不同在于把同一素材变成 3 种可评分的操作，分别对应同步检验、低层关系判断与视听融合描述，从而把时间能力拆开测量。

下图是论文图 1 的原图比较，顶部是同一视频的两个事件胶片条与配音，中部是单模态与简单多模态标注，底部是 FAVE 的 3 层任务与右侧的能力勾选，读图时可按焦点顺序逐项核对。

看图路径： 1. 先看顶部胶片条事件一 15 秒到 36 秒与事件二 134 秒到 150 秒的画面差异；2. 再对比中间单模态标注与视听拼接标注在文字颜色上的分工；3. 最后看右侧能力列中 FAVE 三行绿色对勾与旧基准红色叉号的区别

论文图 1。原论文 Figure 1：“Comparison of FAVE with existing benchmarks, we il- lustrate representative task examples from each benchmark cat- egory (left column) and summarize their key design properties…”。

从图中可以读出 3 个教学要点。第一，单模态标注各说各话，视觉写商场与绿招牌，音频写伯明翰珠宝产业，无法检验关联。第二，简单的视听标注把两句话拼在一起，但没有追问时间关系。第三，FAVE 的对齐层追问介绍特定地点时人物所处环境，低层追问两个事件的先后、远近与位置，高层要求按区间写出融合描述。右侧的能力列因此同时勾选多模态时间关注、声视同步与多层多任务，这是与旧基准的关键区别。

每道题具体怎么问？看一个样本走完全程

沿论文图 2 的裙子例子走一遍输入到输出。输入是同一视频的两个事件，事件 A 为 83 秒到 133 秒，穿白色碎花裙，音频抱怨肩带不可调；事件 B 为 134 秒到 150 秒，穿灰蓝侧开衩裙，音频说开衩太高、穿着奇怪。表示层为每个事件准备视频帧、语音转写与融合字幕，其中蓝色字写视觉，橙色字写观点与听觉判断。

组件层按 3 层出题。FAVE-align 出双向定位题，例如先用花裙站在镜前定位到事件 A，再问她觉得哪里不合身，正确答案是肩带而非开衩过高；反向则用开衩评价定位到事件 B，再问穿什么衣服。FAVE-low 出关系题，问两事件是否连续、谁更早、B 在前段还是后段。FAVE-high 出区间描述题，给定 134 秒到 150 秒，要求用视听信息完整描述。目标层分别用开放相似度、选择准确率与多维相关度评分。

下图是该样本的原图，包含帧条、字幕与 3 层题板，读图前先明确上下两部分分别是输入事件与 3 层提问，读图时对照时间与颜色标记。

看图路径： 1. 先沿顶部事件 A 八十三到一百三十三秒与事件 B 的裙子颜色看画面切换；2. 再看蓝色视觉描述与橙色听觉评价在字幕行中的分色写法；3. 最后对比底部三块任务框中定位作答与先后判断的不同问法

论文图 2。原论文 Figure 2：“Example of FAVE benchmark tasks with precise temporal references built on QVHighlights [18].”。

读图时注意三件事。第一，A 与 B 在时间上紧邻，这是考邻近性的好材料。第二，字幕颜色不是装饰，而是模态分工的可视化，蓝色对应可看的物体与场景，橙色对应只能听到的评价与情绪。第三，FAVE-align 的干扰项故意来自另一事件，若模型只靠文本常识而不接地到视频时间，就会选错。这正是论文后面用 GPT 过滤纯文本可猜对的问答的原因。

跨模态时间对齐 × 视觉到音频映射： 跨模态时间对齐指判断同一时间窗内声音和画面是否在讲同一件事，是后续推理的前提；视觉到音频映射是它的一个具体考法，先用视觉描述定位时间戳，再回答该时段的音频问题。二者搭配的理由是只测单模态定位会漏掉关联错误，而映射迫使模型把定位和另一模态的内容提取连起来，组合后新增的作用是暴露幻觉和错位。

时序邻近性 × 事件边界： 时序邻近性问两个事件是否紧挨着，考的是相邻判断；事件边界指视频中一个语义单元结束、下个单元开始的位置。二者分工是前者是判断题形式，后者是被判断的对象，搭配理由是只有边界清晰才能定义相邻，组合后能检验模型是真看到切换还是靠文本常识猜测。

没有训练新模型时，数据流水线到底计算了什么？

本研究没有训练新的 AVLLMs，训练节的职责由数据构造流水线承担，讲清真实的调用、标注与计算过程。流水线起点是镜头切分，用 TransNetV2 按镜头边界切分，比按场景或剧情切更准，避免长而松散的场景带来边界误差。切分后每片同时走两路字幕器：视觉用 LongVA 捕捉动态事件、用 InternVL2.5 从关键帧抽细节，音频用 Whisper 做语音识别、用 3D-Speaker 做多人说话人区分与聚类，以处理多说话人情况。

接着是 GPT 事件合成与问答生成。先做事件识别，只保留视听都有实质贡献、边界清晰的时间单元；再生成起止时间加字幕的三元组，以及视觉问答与音频问答；最后按 3 层目标生成任务专用的问答对。为防单模态捷径，论文加了 GPT 辅助核验，要求视听字幕对语义贡献均衡，并过滤掉只看字幕文本就能猜出先后顺序的 FAVE-low 样本，迫使模型必须接地到视频内容。用于标注的 GPT 与用于评分的 GPT 走隔离流程，不同提示与种子、不共享文本，避免数据泄漏与循环评价。

下图是流水线的原图，从波形与胶片经字幕器到 GPT 整理再到人工核验，读图时先沿从左到右的箭头看主路径，再核对每一步的输入输出形态。

看图路径： 1. 先从左侧波形加胶片经五十七点一秒与八十六点一秒切点走向中间；2. 再看中间切片视觉字幕与语音转写如何上下并排呈现同一时段；3. 最后看右侧人工核验箭头指向的每切片六项可用数据清单

论文图 3。原论文 Figure 3：“The FAVE pipeline for fine-grained audio-visual data generation begins with shot segmentation to extract meaningful video slices, followed by video and speech captioning to…”。

图中可见的关键计算是双路并行加 1 次合并。左侧是波形与胶片按 57.1 秒、86.1 秒、93.6 秒到 118.2 秒等切点分片，中间每片同时产出视觉字幕与语音字幕，右侧 GPT 把零散描述收敛为 57 秒到 86 秒卧室、93 秒到 118 秒车内等事件，并各配一视一听两个问题。末端人工核验输出每片六项：切片时间、视听字幕、视觉问题、视觉答案、音频问题、音频答案。环境声约占 20%，因自动声音识别噪声大、类别窄，全部走人工标注。质量上每样本经 15 名标注员两轮独立核验并需达成一致，一致性约 85%，另取 50 个样本对比 GPT 与人工评分，一致性超 95%。

镜头切分 × 事件合成： 镜头切分负责用 TransNetV2 按拍摄切换把长视频切成短而边界清晰的片段，保证时间边界可信；事件合成负责用 GPT 把零散的视觉字幕和语音转写合并成有起止时间的完整事件和问答。二者搭配是因为切分只给边界不给语义，合成只给语义需要可信边界，组合后形成带精确起止时间和双模态字幕的可用样本。

测谁？怎么评分？条件是否一致？

评估对象是十三款前沿多模态大模型，包括开源与闭源。按输入范式可分为串行独立编码、交错编码与纯视觉 3 组，另有时间敏感的纯视觉模型用于 FAVE-high 对照。多数模型用模态专用编码器分别处理视听再融合，OneLLM 用统一多模态编码器。被测名单包括 NextGPT、VideoLLaMA、PandaGPT、VideoLLaMA2、ChatBridge、OneLLM、video-SALMONN、Qwen2.5-Omni、LongVALE，以及 Gemini 1.5 Flash 与 Gemini 1.5 Pro，还有 TimeChat 与 VTimeLLM。

评分按层定制。FAVE-align 输入单模态片段、输出对侧字幕，用 GPT 5 分相似度，1 为无关、2 为部分相关、3 为粗匹配、4 为细匹配、5 为语义等价。FAVE-low 输入两事件字幕、输出时间标签，用准确率并经 GPT 核验输出。FAVE-high 输入视频片段、输出生成字幕，从视觉、音频与总体 3 维打 5 分。为缓解绝对时间戳丢失，FAVE-high 用相对时间百分比代替秒数。人类基线作为参照，但论文注明其并非满分，受关注点错位与字幕歧义影响。

比较规模与标注质量时，公平条件是同一视频来源与同一时间分布，指标方向是问答对数越多覆盖越全、一致性越高越可信。下表整理论文报告的规模与质量数字，单位与精度保留原文写法。

表后需要说明代价与边界。规模上低层关系样本最多，高层生成样本最少，符合标注成本由选择题到开放描述递增的规律。质量上双轮共识与抽查高一致支持标注可信，但约 85% 的一致性也说明早期存在分歧，需靠迭代修订指南解决。环境声只占约 20% 且依赖人工，意味着语音仍是主考模态，结论向语音密集视频的适用性更强，向纯环境声视频的推广待验证。

时刻到字幕 × 相对时间百分比： 时刻到字幕要求给定起止区间生成融合视听的详细描述，是 FAVE-high 的考法；相对时间百分比是用视频全长的百分比代替绝对秒数来指定区间。二者搭配是因为多数模型靠视频级特征融合丢失绝对时间戳，直接给秒数不公平，改用百分比后仍能检验细粒度多模态综合能力。

谁在三层任务上领先？差距有多大？

主结果按层组织，比较对象是同一基准上的全部可运行模型，指标方向是 5 分越高越好、准确率越高越好。FAVE-align 上 Gemini 1.5 Flash 双向领先，平均 4.04 分，开源中 LongVALE 与 VideoLLaMA2 在音频到视觉方向较好，Qwen2.5-Omni 在视觉到音频方向突出。FAVE-low 上 Qwen2.5-Omni 在开源中多维最高，闭源中 Flash 在顺序上达 80%，Pro 在位置上达 86.80%，但两者都在邻近性上吃力。FAVE-high 上 Flash 3 维最高但仍低于 3 分，开源中 ChatBridge 最好，其视觉分接近纯视觉的 VTimeLLM，说明尚无开源模型实现有效的视听融合与时间理解。

下表把论文明确报告的关键数字放在同一量纲下比较，保留原文单位与精度，不把不同指标混入同一模型列做差值，比较前先确认每行指标与聚合对象是否一致。

表后解释收益与代价。收益是闭源模型在 3 层全面领先，支持其多模态融合与时间建模更成熟的判断。代价是即使最强模型在高层生成上也不到 3 分，与人类 4.23 分差距明显，且邻近性是全系短板，说明区分事件边界与相邻关系仍是难点。未胜出项也值得记：NextGPT 与 VideoLLaMA 在对齐上仅 2 分上下，OneLLM 的统一编码并未转化为对齐优势，提示架构选择不是唯一决定因素，训练数据与目标同样关键。

串行编码 × 交错编码： 串行编码指先把全部视觉 token 放前面、音频 token 放后面再送入大语言模型，保持单模态内部连贯；交错编码指按时间把视听 token 交叉排列再输入，强调同一时刻对齐。前者分工是保单模态可读性，后者分工是保跨模态同步性，搭配比较的意义在于揭示论文的核心矛盾：保一端往往伤另一端，碎片化音频句子会损害理解。

加帧能补时间感吗？失败条件是什么？

论文做了一个关键反证：改变采样帧数，看对齐与低层任务是否提升。操作是分别对 PandaGPT、ChatBridge、OneLLM、VideoLLaMA2 取不同帧数，纵轴归 1 到 100 分制，观察音频到视觉、视觉到音频、顺序与距离 4 条线的走势。若瓶颈在输入信息不足，加帧应带来稳定上升；若瓶颈在模型侧处理能力，曲线应走平。

下图是四款模型在不同采样帧数下的得分曲线，横轴为采样帧数，纵轴为归一后的 100 分制得分，读图时先区分 4 条线的颜色与图例，再看随横轴增大的走向。

看图路径： 1. 先确认四块子图横轴采样帧数范围不同且纵轴已归一到百分制；2. 再比较每图内绿色顺序线与其他三条线的相对高低与斜率变化；3. 最后观察横轴增大时曲线是否走平以判断加帧有无实质提升

论文图 5。原论文 Figure 5：“Performance of different models on FAVE-align and FAVE-low tasks as a function of the number of sampled frames. The Y-axis shows scores normalized to a 100-point scale.”。

对照该图可以确认主要趋势：四款模型基本走平，偶有小幅波动但无系统性提升，顺序线通常最高而距离线波动较大。论文据此判断，最终送入大语言模型的特征本身信息有限，单纯提高采样密度不能增强时间意识，未来应改进提取与利用时间特征的架构，而非堆帧数。这个结论只在所测帧数范围内成立，不能推广到极端稀疏或极端稠密采样。

另一组失败条件是融合方式。串行先视后听，保持单模态连贯但同步弱；交错按时间交叉，同步意图强但会把完整语音句子切碎，与画面 token 交织后更难理解。两类在 FAVE 上各有短板，说明在保跨模态对齐与保模内连贯之间存在权衡，平衡两者仍是开放挑战。

哪些结论还不能下？边界在哪里？

先区分 3 类表述。论文直接报告的是各模型的 3 层分数与人类基线，这是实测。有限解释是串行处理可能弱化对齐、交错切碎语音可能损害理解，用可能与提示性语言表达。未验证推测是训练数据与目标同样重要，这需要后续消融才能确立因果，不把相关性当因果。

未评测的边界要明确。资源状态为未发现可用开源链接，因此不能声称代码、模型或数据已公开，复现只能按论文文字重走流程。成本方面原文未报告训练资源、推理开销、延迟与帧率，不能承诺这些量得到改善，总体趋势不等于每组视频都成立。音频以语音为主、环境声约 20%，结论更适用于说话密集的真实视频。评估中开放题依赖 GPT 5 分制，虽有标准化模板与抽查一致性，但仍带主观性，不宜把自动分等同于人评。

要复现先做什么？按什么顺序核对？

复现的第一步是重建数据，而非重训模型。先从 QVHighlights 取源视频，用 TransNetV2 做镜头切分并记录切点；再用 LongVA 与 InternVL2.5 产视觉字幕，用 Whisper 转写语音、用 3D-Speaker 聚类说话人；环境声片段走人工标注，不依赖自动声音识别。接着用隔离的 GPT 流程做事件合成与 3 层问答生成，对 FAVE-low 加一道文本可猜性过滤，删掉不看视频也能答对的样本。最后组织 15 人规模的两轮独立核验，只保留达成一致的样本，并抽 50 组核对 GPT 与人工的一致性。

第二步是重跑评估。FAVE-align 与 FAVE-high 用 5 分制模板，FAVE-low 用准确率，FAVE-high 改用相对时间百分比指定区间。关键超参数与信息条件是保留起止时间、双模态字幕与问答对的对应关系，不混用不同指标的差值，不把搜索最优或事后最优当可部署收益。由于本次未确认资源可达，复现前需先自行确认数据与代码的获取路径，不预设权重可下载或系统可一键运行。

第三步是核对趋势而非单点。若复现帧数敏感性实验，应先固定特征提取与融合方式，只改变采样帧数，再看对齐与低层分数是否走平。若出现单调大涨，需检查是否无意中改变了编码器或融合逻辑，而非仅改变采样数。同时保留人类基线的参照意义：人类也非满分，说明字幕歧义与关注点差异本身就会带来误差。

何时值得尝试 FAVE？下一步补哪项验证？

当你的模型自称能听会看、且任务涉及谁先谁后、是否相邻或按区间描述时，值得用 FAVE 的 3 层来卡 1 次。FAVE-align 适合先查同步，若双向映射已错，后续关系与描述很难可信；FAVE-low 适合查相对时间保持，特别是在做了 token 压缩后；FAVE-high 适合查融合生成，要求同一区间同时写对画面细节与语音观点。语音密集的探店、测评类长视频是其最适用的场景。

还需补的验证有三项。一是扩大环境声与音乐占比，检验结论在非语音主导视频上是否成立。二是补上延迟、成本与误判率的测量，回答交错与串行在部署时的真实代价。三是做数据与目标的受控消融，分离架构、数据与训练目标对对齐的贡献，才能把可能变为确定。对于刚入门的研究生，复述时记住一条链：切分给边界、双路给字幕、GPT 给事件与问题、人工给一致性、3 层给分数、加帧实验给瓶颈判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总