MAVERIX：逼模型同时听和看，堵住单模态捷径的音视频理解基准

英文题目：MAVERIX: Multimodal Audio-Visual Evaluation and Recognition IndeX

会议身份：conference:aaai:2026:conference-paper-id:39923

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #基准设计 #音视频 #音视频问答

评分：7.2/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Liuyue Xie：机构信息未能从会议 PDF 纯文本可靠映射
• Avik Kuthiala：机构信息未能从会议 PDF 纯文本可靠映射
• George Z Wei：机构信息未能从会议 PDF 纯文本可靠映射
• Ce Zheng：机构信息未能从会议 PDF 纯文本可靠映射
• Ananya Bal：机构信息未能从会议 PDF 纯文本可靠映射
• Mosam Dabhi：机构信息未能从会议 PDF 纯文本可靠映射
• Liting Wen：机构信息未能从会议 PDF 纯文本可靠映射
• Taru Rustagi：机构信息未能从会议 PDF 纯文本可靠映射
• Ethan Lai：机构信息未能从会议 PDF 纯文本可靠映射
• Sushil Khyalia：机构信息未能从会议 PDF 纯文本可靠映射
• Rohan Choudhury：机构信息未能从会议 PDF 纯文本可靠映射
• Morteza Ziyadi：机构信息未能从会议 PDF 纯文本可靠映射
• Xu Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Hao Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Laszlo A. Jeni：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该基准输入为含连续画面、原始音频与Whisper-v3生成字幕的真实视频，输出为八选一答案与开放式解释，难点在于多数旧题仅凭单帧、字幕或常识即可猜对，无需联合视听推理。构建第一步由8名专家筛选强视听关联片段并撰写初版问答与七个干扰项，负责提供需跨模态融合的候选。第二步将初版送入纯文本、纯视频与视频加字幕三路消融检验，若GPT-4o-mini与Gemini 2.0-FL任一条件答对则回炉重写，负责剔除单模态捷径。第三步对幸存题目做语言合法性、可回答性、选项唯一性与模态互依赖质检及众包难度标定，负责形成700视频2556题终版。相对已有视频基准的关键差异是把模态互依赖作为准入条件而非事后统计，并以八选项降低随机猜中率与释义鲁棒性检验暴露浅层对齐。在MAVERIX多选题评测设置下，Gemini 2.5 FL的准确率为54.7%，低于人类表现的92.8%。其结论适用边界限于所覆盖的日常社交分布与中等时长为主语料，对需长时异步线索的社会情绪理解与专业领域外推尚未验证，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://maverix-benchmark.github.io — 链接可访问（HTTP 200）
• 数据相关资源：https://maverix-benchmark.github.io — 链接可访问（HTTP 200）
• 第三方资源：https://www.anthropic.com/news/claude-3-5-sonnet — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，今天要复述到什么程度？

本文解读的对象是 MAVERIX 基准，输入是真实视频的画面流、声音流以及由语音转写得到的字幕，输出是模型对同一视频片段的选择题答案与开放式文字解释。目标读者是刚进入语音、音乐与音频方向的研究生，需要能对照原文复述出基准为什么要做、题目如何构造、评测如何执行、数字在什么条件下成立。本文只讲论文实际报告的任务与流程，教学用的举例会明确标为例子，不补充无来源的数值或效果。

必须保留的关键信息包括视频与题目规模、八选项与开放式两种题型、去单模态捷径的 3 路消融校验、局部与全局两种评测设置、人类基线与主流模型的准确率差距。项目页在原文中给出为https://maverix-benchmark.github.io，根据资源状态核查，该代码与数据集链接当前可用，状态码为 200，可以作为复现入口，但本文所有事实仍以论文正文证据为准。

多模态大语言模型，英文为 Multimodal Large Language Models，缩写为 MLLMs，白话说就是能同时读图、读视频、听声音并回答文字问题的语言模型。后文统一简称多模态大模型。音视频联合理解指回答必须同时使用看与听两路证据，缺一路就无法确定。本文按学习依赖展开，先讲为什么现有视频问答不够，再讲 MAVERIX 的全景设计，再拆开讲出题、校验、评测与实验，最后讲限制与复现步骤。

多模态大语言模型 × 音视频联合理解： 多模态大语言模型负责把视频帧、音频或字幕与文字问题统一编码并生成答案，音视频联合理解则要求答案不能只来自画面或只来自声音；二者搭配的原因是真实决策同时依赖看与听，组合后新增的作用是检验模型是否真正融合跨模态证据而非走单模态捷径。

同类基准走到了哪里，为什么还缺音视频融合？

早期视觉语言基准围绕静态图像做描述与问答，例如图像描述与需要外部知识的问答，后来扩展到数学、学科知识等方向。这些工作验证了模型能认物体、能读图，但缺少时间推进与声音上下文。视频方向随后出现大量工作，覆盖动作、时序定位、长视频理解等，例如 Video-MME 与 HourVideo 等把时长拉长，AV-Odyssey 开始强调音视频信息，但论文指出多数仍是四选一选择题为主，缺少开放式评测，对日常社交与情境推理覆盖有限。

与同输入、同目标、同监督的对照是：同样以视频加字幕加音频为输入时，WorldSense 等问题也做多选评测，但 MAVERIX 的不同在于同时做八选一与开放生成，并报告人类基线与单模态消融。同样以问答为目标时，MSRVTT-QA、ActivityNet-QA 等规模更大，但论文表格对比显示它们在难度标注、捷径校验、人类基线与开放式回答上缺项较多。类别差异不能当成同条件胜负，例如图像基准题量大不代表音视频融合更强，长视频基准时长更长不代表跨模态依赖更紧。本文把相关工作的作用定位为说明缺口，而非证明 MAVERIX 在所有维度都最优。

要解决的理解难题是什么，什么算答对？

论文要解决的是智能体场景下的音视频联合推理，例如根据人物的惊讶表情叠加画外撞击声来判断发生了什么，根据舞蹈动作与嗡嗡声的同步关系判断声音来源。这类问题白话说就是光看画面会猜偏，光听声音也会猜偏，必须对齐两路信号的时间关系与语义指向。论文明确把出题标准定为紧密的模态相互依赖，即去掉音频或去掉视频后题目应变得不可解或明显变难。

为帮助初学者建立直觉，下面是一个按论文思路构造的教学例子，不是原文题目：假设一段修车视频中机械师突然停住不说话，画面显示他低头发现漏油，声音是话语戛然而止加液体滴落声。只看字幕会以为是说话人换话题，只看画面会以为是暂停休息，只有把视觉发现与听觉中断对齐，才能回答为什么突然停住。例子说明的是依赖关系，不附带任何准确率数值。

下图是论文用来说明这种依赖与人类差距的示意，左侧给出同一事件的视频帧、声波与原问题及改写问题，右侧用雷达图对比模型与人类在不同类别上的表现轮廓。

看图路径： 1. 先看左侧胶片三帧与下方声波：确认同一事件同时有画面运动与声音包络；2. 再读原问题与改写问题：确认语义相同只是措辞变化，用于测鲁棒性；3. 最后看右侧雷达图：对比人类虚线外圈与三个模型色块的内外差距

论文图 1。原论文 Figure 1：“An illustration of our proposed benchmark, which includes highly audiovisual correlated questions and para- phrased questions, can be used to evaluate the model’s un- derlying…”。

该图左侧的教学价值在于把输入到输出的链条摆出来：3 帧胶片表示视觉运动，声波表示听觉包络，原问题问狗为什么边叫边转圈，改写问题措辞不同但语义一致，用于检验模型是否真正理解而非记住字面。右侧雷达图的教学价值在于差距形状：人类虚线整体靠外，3 个模型色块整体靠内，且在不同音频与场景轴上凹陷程度不同，说明差距不是单点落后而是系统性融合不足。需要强调的是像素能看到的是相对内外关系，具体每轴数值应以正文表格为准，不从图中硬读精确数字。

MAVERIX 全景：从视频到分数经历了哪几步？

沿一个样本走完全程有助于建立全景。输入是一段真实视频及其音频，系统先用 Whisper-v3 生成带时间戳的字幕，保证无音频接口的模型也能拿到文本代理。接着标注者选定一个时间段并设计一道必须联合音视频的问题，给出正确答案与开放式参考回答，再扩展为一个正确答案加 7 个干扰项的八选一题目。然后该题经历文本单路、视频单路、视频加字幕 3 路消融检验，若任一路能被两个检验模型答对就打回修改。最后通过专家复核、众包难度标注与语言质量检查入库。评测时模型在局部设置下只看相关片段，在全局设置下看完整视频，分别计算选择题准确率与开放式 5 维打分。

单模态捷径 × 模态相互依赖： 单模态捷径指只看字幕、只看 1 帧或只听音频就能猜对，分工是暴露基准设计漏洞，模态相互依赖指必须同时用视觉线索与听觉线索才能确定答案；搭配理由是用后者作为出题标准来堵住前者，组合意义是让分数更能反映真实的跨模态推理而非常识或文本先验。

下图展示了两类智能体题目形态，上一行是多模态关联，问嗡嗡声来自哪里，下一行是空间理解，问介绍雪道时的 Jessica 在哪里。每行都同时给出视频帧、音频类型、八选项与开放式回答，体现了同一视频片段的两种输出要求。

看图路径： 1. 先看上排多模态关联示例：注意嗡嗡声的多个候选声源如何只能靠动作加声音区分；2. 再看下排空间理解示例：注意 Jessica 位置的多个地点描述如何依赖雪景与运动状态；3. 对比中间八选项与右侧开放回答：体会选择与解释两种输出形式的要求差异

论文图 2。原论文 Figure 2：“Example Agentic Categories and corresponding QAs in the MAVERIX benchmark.”。

该图解释了题目的迷惑性设计：选项在语义上都与片段相关，例如蜜蜂、 beatboxing、音效、隐藏音箱、背景噪声等，只在关键的音视频细节上不同，迫使模型分辨细微的跨模态线索。开放式回答则要求用完整句子说明依据，例如舞蹈动作模仿声音、雪景与静止姿态确认位置。两行对比还说明音频类型差异：上行标注为音乐，下行标注为语音，同一基准因此能覆盖不同听觉条件。

题目与视频是如何组织的，规模与时长如何分布？

论文报告基准包含 700 段视频与 2556 道问题，平均每段视频配 3 到 4 题，其中 852 道为八选项选择题，1704 道为开放式问题。视频总时长为 105.8 小时，时长从 10 秒到 63 分钟不等，平均长度为 352.63 秒，标准差为 610.82 秒，说明时长分布很散。按时长分为短片、中等与长片三档，短片不足 1 分钟，中等为 1 到 10 分钟，长片为 10 到 65 分钟，占比分别为 16.8%、75.7% 与 7.4%。这种分布的安排理由是同时测快速切换理解、持续理解与长时一致性，反映真实应用中模型需要泛化的条件。

局部片段评测 × 全局长视频评测： 局部片段评测只给问题相关的时间窗，分工是测纯粹的音视频融合能力，全局长视频评测给完整视频，分工是增加从大量帧中定位相关片段的负担；搭配理由是分离理解与定位两种难度，组合意义是能判断长视频掉点是看不懂还是找不到。

下表把规模、题型与时长放在一起核对，比较问题是同一基准内不同切分是否可比，公平条件是所有数字都来自同一论文版本与同一统计口径，指标方向是题量越大覆盖越广、时长越散挑战越大，但分数高低仍需看准确率而非只看规模。

该表的主要收益是让复述者 1 次核对总量、题型与时长 3 类口径，避免把题目总数误当成选择题数量。具体代价是规模本身不保证难度，时长越长还带来定位负担，后文全局评测会显示长视频分数下降。未胜出项是论文未报告按每档时长的独立题量分布，复现时不能自行假设短片与长片题量均等。

字幕代理音频 × 原生音频输入： 字幕代理音频指用 Whisper-v3 转写的带时间戳文本代替声音，分工是让无音频接口的视频文本模型也能参测，原生音频输入指直接吃同步音视频流，分工是保留语调、环境声与音乐等非语义信息；搭配理由是公平对比两种接入方式，组合意义是量化文本代理到底丢失了多少听觉细节。

干扰项与改写问题如何防止猜对与背答案？

八选项设计的分工是降低猜中率并提高分数分辨率，论文明确把随机准确率压到 12.5%。干扰项不是随机凑数，而是要求在语义上与片段一致但在关键音视频细节上不同，例如同样是嗡嗡声，但区分真蜜蜂、演员模仿、后期音效与环境噪声。答案位置在 A 到 H 之间均匀打散，以减少位置偏好。开放式部分每段视频至少配一道语义独特的自由作答题，覆盖因果解释到未来预测，并对同一问题做改写后再问 1 次，用于检验改写鲁棒性。开放式回答按事实正确性、细节关注、上下文接地、时序连贯与改写鲁棒性 5 个维度打分。

这种组合的教学要点是区分选对与讲对：模型可能靠排除法选对，但在开放解释中暴露时序混乱或细节遗漏。论文用 GPT-4o 作为评判器沿用 Video ChatGPT 的思路，在 0 到 5 分量表上打分，结果需要与人类打分对照阅读，不能把自动打分直接当成人评。未评测边界是改写是否完全保留原意依赖人工复核，复现时若自行改写措辞，可能引入语义漂移，不能直接与原文鲁棒性分数对比。

本研究训练了什么，没有训练什么，真实计算在哪里？

本研究没有训练新的多模态大模型，training 一节的真实工作是基准构造流程与评测调用流程。需要明确说明未训练哪些模型：包括 Gemini、GPT-4o、Qwen、InternVL、LLaVA-OneVision、DeepSeek-VL2、Ola、EgoGPT、VITA 等在内的 17 个模型都是既有模型，本文只调用它们做推理，不更新它们的权重，不报告梯度路径、学习率或冻结策略。把无训练等同于确定性求解是错误的，因为即使参数冻结，采样温度、帧采样与提示模板仍会影响输出，本文通过统一提示模板与最大支持帧率来控制这部分变量。

实际计算分为 3 类。第一类是标注与校验计算：8 名专家标注者先写问答对并扩展为八选项，再用 GPT-4o-mini 与 Gemini 2.0-FL 做文本单路、视频单路、视频加字幕 3 路消融，若任一消融被 2 模型同时答对就标记并修订，所有修订留日志并经第二轮专家确认。第二类是转写与采样计算：用 Whisper-v3 为全部视频生成时间同步字幕，评测时按各模型最大上下文窗口均匀采样帧，无音频能力的模型以字幕代替原始音频，有音频能力的模型额外处理同步音视频对。

第 3 类是评分计算：选择题统计准确率，开放式调用 GPT-4o 按 5 维量表打分。缺项是论文未报告各模型的具体帧数、采样率与解码参数，复现时只能写按最大支持率采样，不能编造统一帧数。

下图是论文给出的混合标注与模型辅助质量保障流程，适合在这里对照复述。

看图路径： 1. 沿蓝色箭头看主路径：从原始视频库到选段出题再到多模态模型精修；2. 注意黄色与红色回路：标注者修订如何回流到模型精修与专家评审；3. 再沿绿色箭头看后半程：众包难度标注、质量检查到最终标注入库的顺序

论文图 3。原论文 Figure 3：“The framework to construct annotation sets with hybrid annotator and MLLM-as-judge quality assurance.”。

该图从左上到左下形成闭环：原始视频库进入选段与出题，经过多模态模型精修，再到专家评审与标注者修订的回路，然后经众包难度标注与质量检查进入最终标注库。教学上应先沿蓝色主箭头走一遍，再看黄色与红色回路理解修订如何回流，最后看绿色箭头理解难度与质量如何入库。像素能辨认的是模块顺序与回路方向，具体每步的人数与题量以正文文字为准。

评测条件如何对齐，指标方向如何理解？

评测回答 3 个问题：测什么、与谁比、条件是否一致。测的是紧密音视频依赖下的选择准确率与开放解释质量。与谁比包括 17 个专有与开源模型，以及通过众包得到的人类基线。条件一致性通过统一输入格式控制为视频帧加字幕加问题，帧按最大支持上下文均匀采样，提示模板标准化，答案位置均匀分布。两种设置为局部与全局，局部只给相关时间戳片段，全局给完整视频，后者又称为 MAVERIX-Long。

指标方向是选择题准确率越高越好，开放式 5 维打分越高越好，差距越小越好。论文还按难度、智能体类别、音频类别与时长切分报告，以诊断短板。人类基线通过亚马逊众包收集，219 名参与者做难度共识，382 名参与者回答三分之一子集的选择与开放问题。硬件预算与推理延迟在原文中未系统报告，因此不能从分数推定成本或速度优势。

下表核对评测协议的关键要素，比较问题是不同模型的分数是否在同一输入与同一指标下比较，公平条件是统一提示与均匀采样，指标方向如上所述。

该表的主要收益是把可运行策略固定下来：局部与全局两种输入、均匀选项、统一提示与最大帧率采样。代价是无音频模型只能用字幕代理，本身就少一路信息，对比时需注明输入不对等。未胜出项是部分模型不支持原生音频，其视频加音频一栏为空，不能把空缺当成零分，也不能跨不同输入直接排名。

主结果显示了多大差距，哪些模型相对更强？

论文报告人类专家接近天花板，选择题准确率达到 92.8%，而代表性模型在 64% 左右。更具体的可运行数字是即使直接吃音视频输入，Gemini 2.5 Flash-Lite 在选择题上为 54.7%，显著低于人类。开放式方面模型平均约 1.9 分，人类为 2.79 分，同样由 GPT-4o 评判。论文还指出仅靠字幕代替原始音频的模型表现更差，说明文本代理不足以替代丰富的音视频理解。

跨模型看，Claude Sonnet 3.5 与 GPT-4o 在视频加字幕下达到 64% 左右，Gemini 2.5 Flash-Lite 在多模态下达到 56% 左右，Qwen 2.5 Omni 等原生音视频模型在加入多模态后多有提升，但 VITA 1.5 出现加入音频与视频后下降的回归。人类从视频单路的 81.4% 提升到音视频的 92.8%，提升约 11.4 个百分点，说明真正的跨模态理解确有增益，也为模型设立了明确目标。百分点与相对百分比不同，本文只用百分点描述准确率差值。

下表把核心数字放在同一基准与同一指标下核对，数据与配置表不能替代结果表，这里只收录结果数字。

该表的主要收益是同时保留人类基线、随机基线与模型分数，避免只看模型绝对值。代价是不同模型的输入并不完全对等，有音频与无音频不能简单等同。未胜出项是 VITA 1.5 等多模态反而下降的例子，说明增加模态不保证单调提升，融合设计与训练配方同样关键。 下图进一步按智能体任务拆解短片段与完整视频的差异。

看图路径： 1. 先看左图行列定义：行是因果、情感、回忆等智能体任务，列是五个模型；2. 观察左图颜色与数值：负值为主说明从短片段到完整视频多为下降，个别格为例外；3. 再看右图两列：对比短输入与完整输入下各类任务与人类表现的差距变化

论文图 4。原论文 Figure 4：“Impact of Video Length on Agentic Category Per- formances.”。

该图左半显示从短到全的准确率变化，多数格为负值，说明完整视频更难，尤其在需要跨时间整合的社会、情感与情境类问题上。右半显示与人类表现的差距，完整输入下的差距多大于短输入。教学上不要把颜色深浅直接当成好坏，必须先看图题确认左图是变化量、右图是差距量，再结合正负方向判断。像素不能精确辨别的格点数值应以正文表格为准。

不同音频与场景下表现是否稳定？

论文按音频类别与主题分类报告了单列准确率。人类在不同音频下相对稳定，自然、语音、音乐、人工与混合条件下都在高位。模型波动更大，Qwen 2.5 Omni 与 Gemini 家族在不同音频间波动较小，但不少系统在音乐为主时偏弱。EgoGPT 因使用预训练 Whisper 编码器而听觉理解相对较强，Ola 与 VITA 1.5 在小数据集训练下跨类别方差更大，在音乐类上掉点明显。场景方面人类在社交与第一人称上最好，在需要领域知识的游戏与体育上略低，模型则不统一，Gemini、Qwen 2.5 Omni 与 VITA 1.5 在第一人称上偏弱而在领域类别上相对更强。

这些模式支持的判断是第一人称内容与多样音频的训练覆盖可能与规模同样重要，但这仍是有限解释而非因果证明，因为训练数据组成与架构差异同时存在。限制是该部分多为单列准确率对比，未控制视频难度在各类别间均衡，因此不能断言某类音频本身更难，只能说在当前题目分布下模型表现不均。复现时应保留原类别划分，不自行合并音乐与混合类。

拿掉一路输入会怎样，长视频难在哪里？

论文的消融不是事后解释，而是出题阶段的 3 路检验：文本单路、视频单路、视频加字幕。若任一消融被两个检验模型同时答对就打回修改，目的是保证最终题目需要真正的模态相互依赖。正式评测中的单路与多路对比显示，多数模型在增加模态后有提升，例如视频文本模型增加一路约提升 10% 左右，但 VITA 1.5 在音视频输入下相对最强单路下降约 21.2 个百分点，是明确的负结果。部分模型视频加音频弱于视频加字幕，说明听觉细节丢失或音视频融合有限。

长短对比显示局部片段分数高于完整视频。依赖即时同步线索的事实回忆与近期因果推断下降较小，依赖细粒度异步线索的社会关系、情感与情境理解在长视频中下降更大。论文的解释是模型更擅长检索显著的物体或事件信号，而不擅长随时间演化的上下文与社会细微差别。这属于论文的有限解释，有数据支持但未做因果干预，表述上用支持而非证明。未评测边界是超长视频的定位误差与记忆截断未分离，复现时不能把长视频掉点全部归因于理解能力。

八选一选择题 × 开放式生成： 八选一选择题分工是提供可扩展的准确率度量并把随机猜中率压到 12.5%，开放式生成分工是要求模型用自然语言解释因果、预测或情境；搭配理由是前者保效率后者保深度，组合后能同时看到模型选对与否以及解释是否抓住时序与上下文细节。

哪些结论还不能下，哪些数字不能混用？

首先，单模态能拿到中等分数不代表题目有捷径，因为真实视频中音视频流本身对齐，凭部分证据做合理推断是可能的，人类也会受益于对齐线索，关键证据是人类从视频单路到音视频仍有大幅提升。其次，不同指标的差值不能混放，自动打分不能当成人评，百分点不能说成相对百分比。原文表头、图注或算术若出现冲突应明确标注冲突，本文未发现需要编造口径来圆的冲突，但复现时若发现切分口径不明，应如实写未报告而非猜测。

其次，训练配方部分的讨论多为观察性总结，例如全模态模型先做图文热身再对齐音频、强化学习可能进一步增加增益、VITA 偏重视频对齐可能偏向视觉流，这些都应理解为可能与待验证，而非已验证的因果。链式思考微调是否带来更强的多模态合成，论文也只说增益相似并提示需进一步研究。最后，成本类结论缺证据：训练资源、推理开销、输出帧率与实际延迟未系统测量，不能承诺这些量得到改善。总体趋势不等于每组都成立，例如多模态总体提升不等于每个模型与每道题都提升，VITA 的回归就是反例。

要复现这套评测，先做什么，需要什么条件？

何时值得尝试是当研究目标是音视频融合、长视频定位或社交情境理解时，该基准比纯视频问答更对口。复现先做三件事。第一，从项目页获取数据与工具包，核对 700 段视频、2556 道问题、852 道八选项与 1704 道开放的口径，以及平均 352.63 秒与标准差 610.82 秒的时长口径。第二，用 Whisper-v3 生成带时间戳的字幕，保证无音频模型与有音频模型的前处理一致，并按各模型最大支持上下文均匀采样帧，使用统一提示模板。第三，分别跑局部与全局两种设置，选择题统计准确率并检查选项均匀性，开放式调用同一 GPT-4o 5 维量表打分并保留人类基线对照。

关键超参数与信息条件在原文中并未全部给出，具体缺项是各模型的帧数、采样率、解码温度与评分提示细节，复现时应如实记录自选值并与原文分数分开报告。代码与数据集链接当前可用，但权重下载与系统可运行是另一回事，17 个被测模型的权重与接口需按各自来源另行获取，不能把基准开源等同于所有模型可一键运行。还需补的验证是自采视频上的泛化检验与人工复核的评分一致性检验，以确认分数变化来自融合能力而非转写质量或评判器偏好。

一句话收束：该记住的方法与该警惕的误解是什么？

该记住的方法是用 3 路消融做守门、用八选项压低猜中率、用开放改写测鲁棒性、用局部与全局分离理解与定位，核心证据是人类 92.8% 与代表性模型 50% 到 64% 之间的差距，以及人类从视频单路 81.4% 到音视频 92.8% 的增益。该警惕的误解有 3 个：一是把字幕当成声音，实际上语调、环境声与音乐细节在转写中大量丢失；二是把多模态提升当成必然，实际上融合不良会出现回归；三是把自动打分当成人评，实际上开放式质量仍需人类对照。后续值得做的不是继续加大题量，而是改进跨模态对齐、时序推理与长上下文定位，并在报告中补齐帧采样、延迟与成本等可运行细节，使差距分析能真正指导模型改进。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总