📄 FLARE: Full-Modality Long-Video Audiovisual Retrieval Benchmark with User-Simulated Queries

#音频检索 #基准测试 #数据集 #音视频 #跨模态

✅ 6.0/10 | 前25% | #音频检索 | #数据集 | #基准测试 #音视频 | arxiv

学术质量 6.0/8 | 影响力 1.5/2 | 可复现性 0.8/1 | 置信度 高

👥 作者与机构

• 第一作者：Qijie You（北京科技大学 University of Science and Technology Beijing）
• 通讯作者：Wentao Zhang（北京大学 Peking University、中关村学院 Zhongguancun Academy）
• 作者列表：Qijie You（北京科技大学）、Hao Liang（北京大学、中关村学院，同等贡献）、Mingrui Chen（中国科学院自动化研究所 Institute of Automation, Chinese Academy of Sciences）、Bohan Zeng（北京大学）、Meiyi Qiang（北京大学）、Zhenhao Wong（北京大学）、Wentao Zhang（北京大学、中关村学院，项目负责人，通讯作者）

💡 毒舌点评

这篇论文的亮点在于它精准地抓住了现有视频检索基准的“阿喀琉斯之踵”——过于依赖信息密集的字幕和短片段，完全无法模拟真实用户模糊、不完整、强依赖多模态线索的搜索意图；其提出的“硬双模态约束”过滤机制是一个非常聪明的设计，确保了跨模态查询不是简单的拼接。然而，其短板也明显：整个基准完全建立在 Qwen 系列等商用/闭源模型的自动生成和筛选之上，这虽保证了规模，却也引入了模型特有的偏见，且自动化流水线的“黑箱”特性使得最终数据集的“用户模拟”真实性存疑，更像是一场大规模的模型行为模拟而非真实人类查询的反映。

📌 核心摘要

1. 要解决什么问题：现有的视频检索基准存在三大局限：专注于短视频片段、单一模态（仅视觉或音频）、以及使用详尽字幕进行评估而非真实、简短、模糊的用户查询。这导致基准评估结果无法反映模型在真实音频视觉搜索场景中的能力。
2. 方法核心是什么：本文构建了首个全模态长视频音频检索基准FLARE。其核心方法包括：(1) 从Video-MME中筛选399个长视频（>10分钟），并采用视觉+音频联合分割得到87,697个细粒度片段；(2) 为每个片段生成视觉、音频和统一音频视觉字幕；(3) 基于字幕，通过自动化流水线与人工审查结合，生成274,933条用户风格查询，并对跨模态查询施加“硬双模态约束”，确保其必须依赖视觉和音频信息共同成功检索；(4) 设立基于字幕和基于查询的双 regime 评估协议，在单模态和统一模态设置下评估15个代表性检索模型。
3. 与已有方法相比新在哪里：FLARE首次集齐了“长视频”、“全模态（视觉、音频、音频视觉）”、“用户模拟查询”和“硬双模态约束”四个关键特性。它不仅提供字幕，更构建了大规模、经过严格过滤的、模拟真实用户行为的查询集，从而能评估模型在真实搜索意图下的性能，而非仅仅在“看图说话”或“听声辩位”式字幕匹配上的表现。
4. 主要实验结果如何：实验对15个基线模型进行了评估，主要发现：(a) 用户查询与字幕查询性能差异巨大：最强的视觉检索模型Qwen3-VL-Emb-8B在字幕查询下T→Clip R@1为80.27%，但在用户查询下降至60.82%；最强的音频检索模型Aurola-7B从73.02%降至33.31%；统一模态模型Wave-7B从65.51%降至42.63%。这证实了用户查询是更严峻的挑战。(b) 音频-语言对齐是统一音频视觉检索的瓶颈：在单模态消融实验中，所有V+A模型的音频检索能力都远弱于视觉检索，且简单的特征融合（如平均池化）甚至会导致性能下降（例如，LanguageBind的视觉单独检索T→Clip R@1为19.94%，而融合后仅为2.70%）。(c) LLM-based检索器目前领先：在字幕查询下，基于大语言模型的嵌入模型（Qwen3-VL-Emb-8B, Aurola-7B, Wave-7B）在各自模态中均显著优于对比学习基线。
5. 实际意义是什么：FLARE为社区提供了一个更贴近现实、更具挑战性的测试平台，旨在推动开发能够真正理解并响应复杂、跨模态、不完整用户意图的长视频检索模型。它揭示了当前模型在统一音频视觉理解和用户查询理解上的不足，为未来研究指明了方向。
6. 主要局限性是什么：(a) 数据来源局限于Video-MME的特定高质量视频，可能不覆盖所有领域、语言或低质量UGC内容；(b) 用户查询是模拟生成的，并非来自真实的搜索日志，其真实性有待商榷；(c) 构建流水线严重依赖Qwen系列模型，可能引入模型特有的偏好和偏差；(d) 评估仅关注检索准确率，未考虑效率、鲁棒性等实际部署因素。

🔗 开源详情

• 代码：论文中提供了项目主页链接 https://flarebench.github.io/，并说明代码和数据在此发布。此外，在论文提交的匿名期间，提供了匿名的代码仓库链接 https://anonymous.4open.science/r/FLARE-950E/。
• 模型权重：论文中未提及模型权重下载链接。论文评估了多个现有的基线模型（如CLIP、Qwen3-VL-Emb-8B等），但未提供FLARE训练或测试的专用模型权重。
• 数据集：FLARE基准数据集。数据和论文通过项目主页 https://flarebench.github.io/ 发布。在匿名提交期间，数据集也托管于 HuggingFace：https://huggingface.co/datasets/AnonymousFLARE/FLARE。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文附录中包含了详细的人工标注协议、提示词模板和实验设置，但未提供独立的训练配置文件或检查点下载链接。复现主要依赖于项目主页发布的代码和数据。
• 论文中引用的开源项目：
  • Video-MME: 视频来源，引用自论文 [11]。
  • PySceneDetect: 用于视频场景分割，包含其 ContentDetector，引用自论文 [21]。
  • Qwen3-VL-235B-A22B-Instruct: 用于多模态标注和质量检查的模型，引用自论文 [26]。
  • Qwen3-235B-A22B-Instruct: 用于文本生成、转录分割和质量检查的模型，引用自论文 [25]。
  • Qwen3-ASR-1.7B: 用于音频转录，引用自论文 [23]。
  • Qwen3-Omni-30B-A3B-Instruct: 用于生成音频和统一多模态描述，引用自论文 [33]。
  • EVQAScore: 用于视觉描述质量评估，引用自论文 [17]。
  • BRACEScore: 用于音频描述质量评估，引用自论文 [13]。
  • BGE-Multilingual-Gemma2: 用于查询语义相关性计算，引用自论文 [6]。
  • ROUGE-L: 用于查询和描述的词汇重叠计算，引用自论文 [18]。
  • CLIP: 评估的视觉检索基线模型，引用自论文 [22]。
  • SigLIP2: 评估的视觉检索基线模型，引用自论文 [27]。
  • MetaCLIP-2: 评估的视觉检索基线模型，引用自论文 [7]。
  • VideoCLIP-XL-v2: 评估的视觉检索基线模型，引用自论文 [29]。
  • Qwen3-VL-Emb-8B: 评估的视觉检索基线模型，引用自论文 [16]。
  • MS-CLAP: 评估的音频检索基线模型，引用自论文 [10]。
  • LAION-CLAP: 评估的音频检索基线模型，引用自论文 [31]。
  • M2D-CLAP: 评估的音频检索基线模型，引用自论文 [20]。
  • GLAP: 评估的音频检索基线模型，引用自论文 [8]。
  • Aurola-7B: 评估的音频检索基线模型，引用自论文 [32]。
  • ImageBind: 评估的多模态检索基线模型，引用自论文 [12]。
  • LanguageBind: 评估的多模态检索基线模型，引用自论文 [35]。
  • Perception AV Large: 评估的多模态检索基线模型，引用自论文 [28]。
  • Wave-7B: 评估的多模态检索基线模型，引用自论文 [24]。

🏗️ 方法概述和架构

本文的核心贡献是构建一个名为FLARE的基准测试，而非提出一个新模型。其“方法”指的是一套高度自动化的、辅以人工审查的基准构建与评估流程。整体流程是一个多阶段流水线：从源视频选择开始，经过多模态分割、多层次字幕生成、模拟用户查询生成与过滤，最终产出带有标准评估协议的测试集。该流水线旨在确保基准数据的质量、多样性以及评估的全面性。

主要组件与模块详解：

视频源选择与片段分割（模块1） * 功能：将长视频分解为语义连贯的检索单元（片段）。 * 实现： * 视频源选择：从Video-MME数据集中筛选出时长超过10分钟的视频，以确保“长视频”属性。 * 视觉场景分割：使用PySceneDetect的ContentDetector，通过计算帧间内容变化分数δ_i，当δ_i > τ（设为30.0）且片段时长超过d_min（3秒）时插入边界。 * 模态分流：对视觉分割后仍超过1分钟的片段，用Qwen3-VL-235B模型评估其音频重要性得分s_aud。高分（≥6）的片段进入音频驱动分割。 * 音频语义分割：先使用Qwen3-ASR-1.7B模型进行语音转录，然后由Qwen3-235B模型将转录文本按主题划分为段落，并映射回时间戳，短于1秒的段落会合并。 * 音频频谱新奇点检测：作为非语音音频事件的补充，对mel频谱图计算频谱通量Φ(t)和KL散度D_KL(t)，标准化后融合，检测峰值作为候选边界。 * 人工审查：对仍超过2分钟的片段，由标注员根据主导模态进行手动拆分或丢弃。 * 输入输出：输入为长视频文件；输出为一组时间上连续、语义上连贯的短片段（平均9.2秒）。

多层字幕生成与质量保证（模块2） * 功能：为每个片段生成高质量、多模态的文本描述（字幕）。 * 实现： * 片段级字幕生成：分别使用Qwen3-VL-235B生成视觉字幕（描述对象、动作、属性等），使用Qwen3-Omni-30B生成音频字幕（描述语音、音乐、环境声等）。然后，使用Qwen3-Omni-30B将两者融合生成统一音频视觉字幕。 * 质量过滤：视觉字幕用EVQAScore过滤（阈值0.2），音频字幕用BRACEScore过滤（阈值0.1）。不达标的字幕由人工审查和修正。 * 视频级字幕融合：采用自底向上的层次合并策略。将片段字幕按顺序分组（每组k=10），组内相邻字幕的尾部和头部由LLM重写以平滑过渡，最终拼接成视频整体描述。 * 输入输出：输入为分割后的视频片段及其模态流；输出为每个片段的三种字幕（视觉、音频、统一）以及每个视频的整体描述。

用户模拟查询生成与“硬双模态”过滤（模块3） * 功能：生成模拟真实用户不完整、模糊的搜索查询，并确保跨模态查询真正需要两种模态信息。 * 实现： * 候选生成：使用Qwen3-235B模型，基于已生成的字幕改写生成简短查询。对跨模态查询，同时生成联合查询q_joint及其视觉组件q_vis和音频组件q_aud。 * 相关性与非复制过滤：计算候选查询q与其源字幕c的语义相似度sim(q,c)（使用BGE-Multilingual-Gemma2）和ROUGE-L分数。仅保留sim(q,c) ≥ 0.4 且 ROUGE-L ≤ 0.2 的候选，确保语义相关但非简单复述。 * 检索式验证与“硬双模态约束”：要求每个查询必须能从整个基准库中检索到其源片段。 * 单模态查询：必须在对应模态的字幕空间中排名第一（rank_v > 1 或 rank_a > 1 失败）。 * 跨模态查询（关键创新）：必须同时满足：① 仅使用视觉字幕时检索失败（rank_v > 1）；② 仅使用音频字幕时检索失败（rank_a > 1）；③ 使用统一字幕时检索成功（rank_j ≤ 1）。此约束（公式6）确保了查询必须融合视觉和音频线索才能成功定位目标。 * 输入输出：输入为片段级多模态字幕；输出为一组经过严格验证的用户风格查询，其中跨模态子集满足“硬双模态”要求。

双Regime评估协议（模块4） * 功能：定义统一、公平的评估框架。 * 实现： * 评估在两个正交轴上进行：模态范围（视觉、音频、统一音频视觉）和查询类型（基于字幕、基于用户查询）。 * 评估四个检索方向：文本→片段（T→C）、文本→视频（T→V）、片段→文本（C→T）、视频→文本（V→T）。 * 查询评估仅限于片段级，因为查询是片段级别的。 * 使用标准检索指标Recall@1/5/10。 * 输入输出：输入为待评估的检索模型、基准库（片段/视频及其字幕）和查询集；输出为各模型在不同设置下的性能指标。

组件间的数据流与交互： 整个流水线是顺序执行的。视频首先被分割（模块1），其片段和原始流作为输入送入字幕生成模块（模块2）。生成的字幕是查询生成模块（模块3）的唯一输入。模块3生成的查询集，连同模块2生成的字幕集，共同构成了最终的评估数据集，供模块4使用以进行模型评估。其中，模块3内部的检索验证步骤是一个隐式的交互，它利用模块2生成的字幕空间作为检索库来验证查询的有效性。

关键设计选择及动机：

1. 视听联合分割：动机在于长视频中，语义连续性可能由音频主导（如讲座），单纯的视觉分割不足。因此设计了模态分流和音频驱动的分割作为补充。
2. 层次化字幕生成：直接对长视频生成字幕效果差，因此采用自底向上合并片段字幕的策略，并用LLM专门处理过渡，以兼顾细节与整体连贯性。
3. “硬双模态约束”：这是本基准的核心创新。动机是避免跨模态查询沦为简单的拼接，迫使查询和模型必须进行真正的跨模态推理。通过验证步骤强制实现这一点，确保评估的有效性。
4. 双Regime评估：动机是揭示模型在不同输入形式（信息丰富的字幕 vs. 信息贫乏的用户查询）下的性能差异，从而更真实地评估其泛化能力和实用性。

架构图/流程图： 论文提供了两个关键的构建流程图：

图2展示了字幕生成的层次化流程。从底部的视频分割开始，片段经过独立的视觉和音频字幕生成，再通过统一模型融合，最后通过层次合并策略生成视频级字幕。中间穿插了质量检查环节。

图3详细说明了查询生成与过滤的流程。字幕作为输入，首先生成候选查询，然后通过相关性/非复制过滤，最后经过严格的检索式验证，特别是跨模态查询必须满足“硬双模态约束”，才能被最终保留。

专业术语解释：

• 硬双模态约束 (Hard Bimodal Constraint)：本论文定义的一个查询筛选条件。一个跨模态查询必须满足：仅用视觉信息检索失败，仅用音频信息检索失败，但同时使用视觉和音频信息检索成功。这保证了查询依赖于真正的多模态推理。
• 双Regime评估 (Dual-Regime Evaluation)：指在同一个基准上，分别使用详尽的字幕（Caption-based）和模拟的简短用户查询（Query-based）作为检索文本进行评估，以对比模型在不同输入条件下的表现。

💡 核心创新点

1. 首个全模态长视频检索基准：FLARE填补了现有基准的空白，首次在单一基准中统一支持视觉、音频和音频视觉三种模态下的长视频（10-60分钟）检索评估。
2. 引入用户模拟查询与双Regime评估：不同于以往仅用详细字幕评估，FLARE构建了大规模（27万+）模拟真实用户简短、模糊意图的查询集，并设计了基于字幕和基于查询的双重评估协议，揭示了模型性能在不同输入形式下的显著差异。
3. 硬双模态约束：通过严格的检索验证，确保跨模态查询必须依赖视觉和音频信息的结合才能成功，从而有效评估模型的跨模态融合与推理能力，避免查询退化为单模态信息的简单组合。
4. 自动化与人工审查结合的构建流水线：提出了一个从视频分割、多层字幕生成到查询生成与过滤的高度自动化流水线，辅以针对性的人工审查，在保证数据规模的同时，最大程度地保证了数据质量。

📊 实验结果

论文评估了15个基线模型，涵盖视觉、音频、视听三种模态，以及对比学习和大语言模型两种范式。以下是关键实验结果：

表2：基于字幕的检索结果（Recall@K，%） 此表展示了在详细字幕作为查询文本时的性能，是模型能力的“上限”参考。

表3：基于用户查询的检索结果（Recall@K，%） 此表展示了在模拟用户查询下的性能。与表2对比可见明显性能下降。

表4（消融实验A概览）：统一媒体模型在完整媒体与单模态媒体下的R@1结果（%） 此表展示了媒体端模态消融的结果。

关键发现（由实验支撑）：

1. 用户查询导致性能普降：最强模型在用户查询下的T→C R@1性能下降约20-40个百分点（如Qwen3-VL-Emb-8B: 80.27% → 60.82%， Aurola-7B: 73.02% → 33.31%， Wave-7B: 65.51% → 42.63%）。这证明用户查询比字幕更具挑战性。
2. 音频是统一模型的瓶颈：表4的消融实验显示，对于ImageBind和LanguageBind，仅用视觉媒体编码的检索性能远高于视听融合（例如，LanguageBind T→C R@1：视觉单独19.94%，融合后仅2.70%）。这表明简单的特征融合失败，音频表征质量差拖累了整体性能。只有Wave-7B实现了融合增益（融合65.51% > 视觉单独27.84%）。
3. LLM-based检索器目前占优：在字幕查询下，基于LLM的嵌入模型在三个模态中均取得最佳成绩（如表2中加粗项所示）。

图5展示了两类典型错误：左图显示模型能用详细字幕检索正确片段，但无法用简短的用户查询完成任务；右图显示模型在处理统一模态查询时，仅根据视觉相似性检索，忽略了不匹配的音频线索。

🔬 细节详述

• 训练数据（基准构建数据）：
  • 视频源：来自Video-MME数据集，筛选时长>10分钟的视频，共399个，总时长225.4小时。
  • 数据增强/预处理：视频被自动分割为87,697个片段。字幕和查询通过自动化流水线生成，并经过多道质量过滤和人工审查。
• 损失函数：不适用（本文为基准构建与评估，未提出新训练模型）。
• 训练策略：不适用（本文评估的是已公开的预训练模型，未进行训练）。
• 关键超参数：
  • 视觉分割参数：τ=30.0, d_min=3秒。
  • 音频重要性得分阈值：s_aud ≥ 6。
  • 音频语义分割最小段落时长：d_min_sem = 1秒。
  • 音频频谱新奇点检测最小峰间距：1秒，最小段落时长：d_min_spec = 3秒，最小峰值高度：z_min = 5。
  • 字幕质量过滤阈值：EVQAScore (视觉) = 0.2, BRACEScore (音频) = 0.1。
  • 字幕合并分组大小：k=10。
  • 查询过滤阈值：语义相似度 θ_sim=0.4, ROUGE-L θ_rouge=0.2。
  • 硬双模态约束检索排名阈值：K_v=K_a=K_j=1。
• 训练硬件：论文在附录D中提及“使用8×H20 GPUs，总计算成本约300 GPU小时”用于数据集构建和部分实验。
• 推理细节：评估时，对所有基线模型使用其最强的公开检查点，遵循官方代码库和默认配置。检索使用余弦相似度计算。
• 正则化或稳定训练技巧：不适用。

⚖️ 评分理由

创新性：2.0/3 评审意见：本文的核心创新在于构建了一个填补领域空白的基准测试（Benchmark），而非提出新算法。其新颖性体现在问题定义的完整性上——首次将“长视频”、“全模态”、“用户模拟查询”和“跨模态硬约束”四个关键现实需求整合到一个统一的评估框架中。特别是“硬双模态约束”和“双Regime评估”的设计具有明确的洞察力，能有效暴露当前模型的短板。然而，作为基准工作，其创新上限受限于“组合”而非“提出”，方法本身是工程化的流水线设计。

技术严谨性：1.5/2 评审意见：论文在基准构建的流水线描述上非常详细，从视频分割、字幕生成到查询过滤的每一步都有明确的技术方案、公式定义（如音频新奇点检测公式、查询过滤约束）和参数设置。人工审查的引入也增加了可靠性。但整个流水线严重依赖现有的、可能闭源的大模型（Qwen系列）进行生成和决策，其内部偏差和可靠性无法被独立验证。作为一篇基准论文，其技术深度有限，更多体现的是系统整合与严谨的流程设计能力。

实验充分性：1.5/2 评审意见：实验评估了15个覆盖不同模态和范式的基线模型，数量充足且具有代表性。设计了包括单模态消融在内的多组实验，实验结果清晰地支撑了“用户查询更难”、“音频是瓶颈”等核心结论。不足之处在于：(1) 所有评估模型都是现有模型，论文并未提出新模型或在新基准上训练新模型，因此结论主要是诊断性的；(2) 缺乏对查询生成模型（即Qwen3-235B）本身的误差分析，其生成查询的“真实性”和“难易度”未被量化；(3) 部分关键比较（如不同检索方向）的分析可更深入。

清晰度：0.8/1 评审意见：论文结构完整，写作清晰。图表（特别是图4的统计分布和图2、3的流程图）有效地辅助了理解。符号定义明确（如公式1-3，6）。附录提供了丰富的构建细节和提示模板，增加了透明度。扣分点在于，作为非模型论文，其“方法”部分的架构描述需要读者自行从多处段落中整合，略显分散；部分关键概念（如“Unified Caption”）的生成动机可以阐述得更直接。

影响力：0.7/1 评审意见：FLARE作为一个针对性强、设计合理的基准，有望成为评估和推动长视频多模态检索研究的重要工具，其影响力取决于社区的采纳程度。它明确指出了当前研究在“用户查询理解”和“跨模态对齐”上的短板，为后续工作提供了明确的改进方向。影响力受限于其作为评测工具而非方法的属性，以及数据源局限于特定高质量视频集。

可复现性：0.8/1 评审意见：论文承诺开源代码和数据（提供了链接），并在附录中详细列出了所有构建步骤、参数、人工审查协议甚至使用的提示词模板（附录C）。这为复现基准构建流程提供了充分的信息。扣分点在于：(1) 基准构建严重依赖特定商业模型（Qwen系列）的输出，这些模型的版本、访问权限可能影响复现；(2) 论文未提供用于生成基准数据的具体脚本或容器化环境说明。

总分：7.0/10

🚨 局限与问题

1. 论文明确承认的局限：

   • 数据源局限：基准视频仅来自Video-MME，可能无法覆盖所有领域、语言、文化及低质量用户生成内容（UGC）（附录D）。
   • 查询模拟偏差：用户查询是模拟生成的，并非来自真实搜索日志，可能与真实用户行为存在偏差（附录D）。
   • 模型依赖偏差：构建流水线的多个阶段主要依赖Qwen系列模型，可能引入模型特定的偏好和偏差（附录D）。
   • 评估维度局限：当前评估仅关注检索准确率，未考虑效率、鲁棒性、部署时用户体验等（附录D）。

2. 审稿人发现的潜在问题：

   • “硬双模态约束”的潜在人工偏差：该约束通过检索排名实现，但检索验证本身使用的是由相同自动化流水线生成的字幕作为“真值”或检索库。如果字幕生成本身在视听融合描述上存在偏差或错误，那么通过此约束过滤出的“必须依赖双模态”的查询，其有效性可能被打折扣。即约束的严格性建立在字幕质量的绝对正确之上，而后者未经完全验证。
   • “用户模拟”真实性的有限验证：虽然进行了人工质量评估（平均4.6/5分），但评估标准（自然性、正确性）相对宽泛。缺乏与真实用户搜索日志的定量对比分析，无法回答“多大程度上模拟了真实用户”这一核心问题。
   • 跨模态检索评估的复杂性：在评估“统一音视频”模态时，对于对比学习模型（如ImageBind），论文采用了“平均池化视觉和音频嵌入”作为统一表示。这是一种常见但并非最优的融合方式。论文观察到“融合反而降低性能”的现象，部分原因可能源于此融合策略的朴素性，而非模型本身能力的绝对上限。这可能导致对某些基线模型的评估过于苛刻。
   • 对“长视频”挑战的评估深度：虽然基准基于长视频，但评估单元是平均9.2秒的片段，且大多数评估指标（如T→C）本质上仍是片段检索。论文未充分探讨模型在真正的“长上下文理解”和“长视频中定位”任务上的表现（例如，给定一个跨越多个片段的复杂查询）。长视频的挑战更多体现在候选库巨大、上下文稀释上，而当前评估协议可能未能完全凸显这一层面的难度。

← 返回 2026-05-12 论文速递