📄 SAVU-Bench：用真实录制检验空间听视觉理解
英文题目：SAVU-BENCH: A Real-World Benchmark for Spatial Audio-Visual Understanding
标签：#音视频问答 | #基准设计 | #基准测试 | #空间音频信号
评分：7.0/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Yu Chen：机构信息未在 arXiv HTML 中可靠披露
- Ruihang Liu：机构信息未在 arXiv HTML 中可靠披露
- Yangguang Xu：机构信息未在 arXiv HTML 中可靠披露
- Xinyue Jiang：机构信息未在 arXiv HTML 中可靠披露
- Mohammed Bennamoun：机构信息未在 arXiv HTML 中可靠披露
- Farid Boussaid：机构信息未在 arXiv HTML 中可靠披露
- Xinyuan Qian：机构信息未在 arXiv HTML 中可靠披露
- Qiuhong Ke：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
空间音视频理解要求模型同时回答场景中有什么、在哪里、跨模态位置如何对应，输入是有限视场角（Field of View，FoV）视频加一阶Ambisonics（First-Order Ambisonics，FOA）空间音频，输出是选择题答案，难点是真实混响干扰大、声源常在画面外、语义对应与空间对应易混淆。SAVU-Bench（Spatial Audio-Visual Understanding Benchmark）先从MRSAudio、STARSS23、YT360、D-SAV360、MULTIVOX、QoEVAVE共6个真实数据源筛选有效片段，并用声事件标注与视觉检测构建场景元数据及视场与声场对齐结果，该元数据连同任务模板交给大模型生成感知与对齐初稿，再经人工剔除歧义并构造推理题，最后由三位专家独立答题仅保留至少两人答对者，形成1066道评测题。SAVU-Diag（Spatial Audio-Visual Understanding Diagnostic Set）为推理题配合同场景、同时间窗的前置定位与对齐小题，用于区分缺少证据与不会组合证据，含611道诊断题、81个诊断场景。SAVU-EA（Spatial Audio-Visual Understanding Evidence-Augmented Baseline）是免训练基线，先用外部声事件定位与视频目标检测输出显式线索，再将线索连同原始音视频一起交给音视频大模型（Audio-Visual Large Language Model，AV-LLM）作答。与仿真为主、单能力评测不同，该工作坚持真实录制、统一感知对齐推理三层能力、推理题强制依赖跨模态公共参照物，减少单模态捷径。在每任务抽30题的人类评测子集上按准确率比较，SAVU-EA在Audio Grounding上为83.33%，高于Gemini-3.6-Flash的56.67%，在Joint V2A上为70.00%，高于基线的43.33%，而Spatial Reasoning上为66.67%，低于人类的85.00%。结论适用于所收录真实短片段与选择题形式，对开集定位、长时追踪尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
空间听视觉理解要解决什么输入输出问题
这篇论文关心的不是认出画面里有什么、声音里是什么事件，而是它们在哪里、怎么动、声音和画面在空间上对不对得上。输入是一段几秒的真实录制，包含有限视场视频和能保留方向信息的多通道空间音频，多数是全景视频配 1 阶 Ambisonics 录音，也有一部分本身就是有限视场加配套空间音频。
模型要输出选择题答案，题面会先用语义线索点名目标，比如白衣女人、吉他声、男性说话声，再问它在观察者左侧还是右侧、两个目标谁在谁左、声源是从左往右还是从右往左、画面内外声源相对无声锚点在哪里、按逆时针转一圈先遇到哪个声源、坐到虚拟观察点再面向某人时目标在前还是后。必须保留的信息有两类，一是每个目标的身份，二是它在统一参考系下的方向或轨迹，跨模态题还必须保留声音和画面是否同指同一事件、方向是否一致。
只答对是什么不够，位置答错、对齐判错、需要两步传递的关系推错都算失败。论文把这种同时需要语义识别、单模态空间定位和跨模态空间关系组合的能力称为空间听视觉理解，基准就是要系统地量这三层。
已有基准在数据源和能力覆盖上缺了什么
论文回顾了两类工作。一类是通用音视频基准里顺带考声源定位和空间理解，另一类是专门的空间基准，包括做空间音频的 STAR-Bench 和 SO-Bench，做音视频定位匹配或推理的 AudioCOCO、SpatialSceneQA、XModBench 和 SAVVY-Bench。按论文的对比，问题有三点。第一，很多空间基准重度依赖仿真，标注准、配置可控，但在真实录音上的复杂混响、重叠说话和噪声下是否还成立不清楚，已有工作也报告从仿真转到真实会掉点。第二，现有真实基准往往只覆盖感知、对齐、推理中的一段，定位、匹配、推理分开考，难以在同一批场景里看三者如何衔接。
第三，只有总准确率，看不出推理错是因为没听准、没对上，还是对上了却不会组合。SAVU-Bench 的定位是补这三点：全部用 6 个真实来源的录音，统一考感知、对齐、推理三层，再用场景关联的诊断集把每道推理题的前提定位和对齐题单独拿出来考。论文把 SpatialSceneQA 的多说话人匹配归为对齐，因为它只考直接的音视源对应，而自己定义的推理要求超出直接匹配的关系组合，这点分类口径在解读对比表时要注意。
三层七任务具体考什么关系
感知层考单模态定位。音频定位（Audio Grounding）和视觉定位（Visual Grounding）各有粗定位、相对位置、空间动态 3 种问法。粗定位问目标在左还是右，相对位置问两个同场景目标的左右关系，空间动态问位置随时间的变化，视觉还分水平移动和朝向或远离相机的深度移动。题目都先给语义再问空间，避免只考方位词。题目输入也严格单模态，音频题只给声音，视觉题只给静音视频。
对齐层考跨模态对应。语义对齐问听到的和看到的是不是同一类事件，空间对齐问声源方向轨迹和画面位置运动是否一致。关键是空间负例保留类别兼容只改空间关系，例如同样是橡皮鸡叫声但方位被旋转到另一侧，这样错了只能归为空间没对上。联合匹配要求两者同时满足，音频找视频给出一段声音配 3 个视频，视频找音频反过来，每个候选集含一个全对、一个语义错、一个空间错。推理层考组合出新关系。
相对方向问视场外声源相对无声视觉锚点的位置，空间排序问从视觉锚点出发原地旋转依次遇到哪些声源，自我中心推理要求先坐到场景中某个实体位置再面向指定方向，重新判断目标的前后左右。推理题刻意把证据分开放：无声锚点只能看得到，视场外目标只能听得到，视场内发声源两边都看得到听得到，起桥梁作用。模型必须经由这个公共参照把两段关系接起来，单看一边走捷径答不对。
基准整体从哪些录音来、规模多大
SAVU-Bench 从 6 个真实空间音视频来源取材，包括 MRSAudio、STARSS23、YT360、D-SAV360、MULTIVOX 和 QoEVAVE，覆盖室内外、乐器、说话和日常事件。流水线分四步：筛掉无效过短或音频活动太少的片段并切窗，用 BEATs 提候选声音事件、用 Grounded SAM 2 提视觉物体轨迹、缺空间标注时用 OpenVocabularySELD 估计声活动和方向，全景则按 ViSAGe 的做法把有限视角和 FOA 转到同一参考系；按任务模板用大模型打初稿；人工删改并手写推理题；3 位领域专家独立答题，至少 2 人答对才保留。
下图把三层任务的构成画成 3 个饼图，内环是能力分组、外环是具体题型，有助于先建立题量分布的直观印象，再去读构造细节。
看图路径： 1. 先看三块大饼分别对应感知、对齐与空间推理三大能力；2. 再看内环是能力分组、外环是粗定位相对位置等具体题型；3. 注意推理饼中相对方向、空间排序与自我中心推理三块的占比
论文图 2。原论文 Figure 2:：“Distribution of SAVU-Bench tasks and summary statistics for SAVU-Bench and SAVU-Diag.”。
左饼是感知，内环分成音频定位和视觉定位，外环各有粗定位、相对位置和空间动态；中饼是对齐，内环分成空间语义对齐与联合匹配，外环是语义对齐、空间对齐、A2V 和 V2A 匹配；右饼是推理，直接分成相对方向、空间排序和自我中心推理三块。该图只展示任务分类，不代表各任务难度或模型得分高低，具体性能要看后面的结果表。
感知题如何保证问的是空间而不是纯语义
感知题的输入处理强调先定身份再定空间。音频的粗定位要求目标声源方向明确落在可区分的粗类别里，相对位置要求两个声源不在同一方向区且人工确认不模糊，空间动态只保留方向变化足够清晰的轨迹，小幅晃动直接丢掉。视觉同样要求两实体在画面中可区分、重叠太近的丢掉，深度移动要求能看出靠近还是远离。答案空间用人能稳定判断的粗类别，如左和右、从左往右和从右往左、靠近和远离，而不要求报出具体角度，理由是人听左还是右很自然，但直接报 30 度不自然，这样人和模型才能在同一粒度下比。
Audio Grounding × Visual Grounding： Audio Grounding 与 Visual Grounding： Audio Grounding 指只听声音判断声源的粗方向、声源间相对位置和随时间移动，Visual Grounding 指只看有限视场画面判断目标的粗位置、相对位置和水平与深度移动；两者分工是把同一套粗定位、相对位置、空间动态题型分别放在单模态下考，组合起来才能看出视觉定位已较成熟而听觉定位仍是短板。
举例说，问白衣女人在观察者左侧还是右侧，模型要先在画面里找到白衣女人再看她在画面中的左右；问两段男声谁在谁左，要先分清两个声源再比方位。这种设计把语义找错和空间判错都可能计入错误，但至少保证题干指的目标是唯一的，后面诊断集才能进一步拆开。
对齐题的正负例如何分开语义错和空间错
语义对齐的正例是声音和画面事件匹配，负例是换一段含不同事件的音频或视频，打破类别对应。空间对齐则反过来，事件类别不变，只改空间对应。对 FOA 录音，一种做法是方位旋转整个声场，声音内容不变但方向变了；另一种是用同一录音里同类别但位置轨迹不同的片段。联合匹配把两种负例拼在一起，三选一里必须同时满足语义和空间才是正确项。因为有些模型不支持一次输入多段音视频，论文把 3 个候选拼成一条同步音视频序列，查询视频重复三遍各配一段候选音频，段间加 2 秒静音黑屏间隔，音频找视频则模态反过来，这样所有模型都用同一格式考。
Semantic Alignment × Spatial Alignment： Semantic Alignment 与 Spatial Alignment： Semantic Alignment 指声音事件与可见发声事件在类别上是否对应，Spatial Alignment 指声源方向或轨迹与视觉位置或运动在空间上是否一致；前者用替换不同事件制造语义负例，后者保留类别只改变空间关系，搭配起来才能把认错对象和认错位置两种失败分开。
下图用四格说明这种区分，上排同一轨道画面配火车声为对、配鼓掌声为错，下排同样的人敲橡皮鸡画面配右侧声为对、配左侧声为错，直观展示语义错与空间错的不同来源。
看图路径： 1. 对比上排语义对齐真假例中画面相同而声音事件不同；2. 对比下排空间对齐真假例中事件相同而声源方向不同；3. 注意波形框颜色与对勾叉号标记的对应关系
论文图 7。原论文 Figure 7:：“Representative examples of Alignment.”。
图中上两格画面都是玩具火车轨道，区别只在波形框标注的火车声与鼓掌声，考能否对上事件；下两格人物动作相似，区别在声音方位与人物位置是否一致，考能否对上空间。读图时不要把波形形状当作方向证据，方向结论来自空间音频解码与画面位置的对应，图里只用文字和对错标记点明条件。
推理题如何逼模型用两边证据
推理题的场景结构固定为 3 类实体：视场里不发声的锚点、视场里正在发声的参照源、视场外只能听到的目标源。视觉给出锚点与参照源的关系，听觉给出参照源与目标源的关系，问题问锚点与目标源的关系。
论文举的例子是画面里有红色盒子和弹吉他的人，另有一段视场外的男声，视觉管盒子相对吉他手的位置，听觉管吉他声相对男声的位置，经吉他手接起来才能推出男声相对盒子的左右，还要用到视场边界约束，即目标在吉他手右侧且在视场外，而盒子和吉他手都在视场内，故目标必在盒子右侧。空间排序把这种传递扩展到多个声源，要求从蓝色椅子出发逆时针转，报出吉他、男声、女声的先后顺序，构造时尽量选不同类别、左右分开且方位可分的声源。
自我中心推理再加一层视角变换，要求坐到红椅子上面向女性，再判断男声在前还是后，模型要先恢复原布局再转到新观察系。
Joint Matching × Spatial Reasoning： Joint Matching 与 Spatial Reasoning： Joint Matching 指同时满足语义和空间对应才能选对的三选一音频找视频或视频找音频，Spatial Reasoning 指把无声视觉锚点、视场内发声源和视场外声源的关系组合出新关系；前者考同时守住两类对应，后者考跨模态传递和视角变换，组合起来说明能对上不等于能推出结论。
下图是相对方向的例子，左侧全景标出视场框、视场内吉他与视场外目标，右侧视场标出参照源与无声锚点，下方文字点明两段关系各由哪边提供。
看图路径： 1. 先看左侧全景中视场框与视场外目标源的位置；2. 再看右侧视场内吉他手与红色盒子锚点的相对位置；3. 沿题目问题理解为何必须经吉他手传递两段关系
论文图 9。原论文 Figure 9:：“Representative examples of Relative Direction for Spatial Reasoning Task.”。
可见左侧全景里红色视场框只含吉他手，绿色框的目标在框外；右侧视场里吉他手居中，红色盒子在右侧；问题问男声相对红盒的位置，正确答案为右。该图说明单看画面找不到男声，单听声音找不到盒子，必须经吉他手传递。
另一个自我中心例子把观察点换到红椅子，要求面向女性再判断男声前后，读法类似。
看图路径： 1. 先看左侧全景中女性与男性说话声源的分布；2. 再看右侧视场中红色椅子观察者位置与女性参照源；3. 注意问题把观察点和朝向换到椅子上面向女性
论文图 11。原论文 Figure 11:：“Representative examples of Allocentric Reasoning for Spatial Reasoning Task.”。
左侧全景给出女性与男性声源的相对布局，右侧视场给出红椅子观察者位置与女性参照源，问题指定坐在椅子上面向女性，正确答案为前。这说明视角变换后左右前后都要重算，不能直接套用原观察系的左右。
诊断集怎样把一道推理题拆成前提题
SAVU-Diag 不是另找新场景，而是在 81 个推理场景上为每道推理题配前提题。做法是把已审核的推理链给大模型，让它列出需要的定位事实和跨模态对应，再由人工删冗余、补缺失、改无依据的步骤，每条保留的前提转成一道独立诊断题。定位题只给对应单模态，对齐和推理题给音视频，同一组共享录音、时间窗、目标身份、视场和参考系。这样可以看推理错时前提对不对：记 G1 为关联定位题全对、G0 为至少错一题，A1 为关联语义和空间对齐全对、A0 为至少错一题，组合成 4 种错误伴随模式。诊断题与最终推理独立评测，避免把答案直接泄露给推理题。
SAVU-Diag × SAVU-EA： SAVU-Diag 与 SAVU-EA： SAVU-Diag 指从同一场景同一时间窗为每道推理题配出独立的定位和对齐前提题，SAVU-EA 指不训练只把外部预测的空间线索拼进输入的增强基线；前者分工是定位失败在哪里，后者分工是验证补足线索能走多远，搭配起来区分证据获取失败与证据组合失败。
FOA × FoV： FOA 与 FoV： 能保留方向信息的多通道录音记录了来自不同方向的声音强度和相位差异，论文用的一阶 Ambisonics 就是其中一种四通道表示，记作 FOA，含 W、Y、Z、X 四个通道；FoV 指从全景中裁出的水平 90 度有限视角；FOA 保留视场外声源而画面裁掉视场外内容，两者搭配才能构造必须听画面外声音、看画面内锚点再经公共发声源传递关系的推理题。
诊断的代价是每场景平均要多做多道题，但好处是能区分两类失败：前提没拿到属于证据获取失败，前提全对还推错属于证据组合失败，后面实验正是沿这个区分展开。
没有训练时如何计分、如何对齐声画参考系
本研究没有训练任何新模型，12 个被测模型直接用原有接口推理，SAVU-EA 也是免训练的线索拼接基线。实际计算有两块，一是评分聚合，二是声画参考系变换。主基准用循环排列平均准确率，把每题选项做全循环轮换，每个位置都出现一次正确答案；诊断集和人类子集为与人可比，改为每题只测一次，不做循环。声画对齐方面，先把空间音频理解为保留方向信息的多通道录音，再具体到 1 阶 Ambisonics 的 4 通道向量，X 朝前、Y 朝左、Z 朝上，方位从正前起向左为正。
选定视角偏航为 theta 时，用旋转矩阵把声场水平重定到视角中心，使视角方向变正前，但不裁剪声场，视场外声音仍在。推理仍需同时用两边信息，消融显示双模态都比单模态好。
\[\mathrm{AA}_{\mathrm{circ}}=\frac{\sum_{i=1}^{N}\sum_{j=1}^{K_{i}}c_{ij}}{\sum_{i=1}^{N}K_{i}}\times 100\%.\]上式是循环平均准确率，符号在前段已说明，目标是去掉选项位置偏好，原文明确按问答对求平均而非先按题平均，只用于主基准。
\[\mathrm{Chance}=\frac{81}{66\times 2+15\times 4}\times 100\%=42.1875\%\approx 42.2\%.\]上式是推理题随机水平，因含 66 道两选项和 15 道四选项，总问答对为 66 乘 2 加 15 乘 4，分子 81 为题数，算得约 42.2%，该混合随机线只适用于循环计分下的主基准。
\[\mathbf{a}(t)=[W(t),Y(t),Z(t),X(t)]^{\mathsf{T}}.\]上式是 FOA 向量定义，输入为 4 通道时域信号，顺序为 W、Y、Z、X。
\[\mathbf{a}^{\prime}(t)=\mathbf{R}_{\mathrm{ref}}(\theta)\mathbf{a}(t),\]上式是水平重定变换，theta 为视角偏航，矩阵只转 Y-X 平面，保持声场内容不变。
测了哪些模型、人和基线条件是否一致
共测 12 个音视频模型，7 个开源权重，5 个闭源接口，包括 Qwen2.5-Omni-7B、MiniCPM-o-4.5、video-SALMONN2+ 7B、OmniVideo-7B、Nemotron-3-Nano-Omni、DOTS-3-Note-Preview、Qwen3.5-Omni 系列、Gemini 系列、Doubao-Seed-2.0-Lite，以及专做空间音频的 Spatial-Omni SO-7B。除 Spatial-Omni 用 4 通道 FOA 进专用空间编码器，其余模型都吃单声道下混音，人听的是同一 FOA 经头相关传输函数渲染的双耳音频，画面相同，问题相同，只是音频接口按各自支持方式适配。人类子集每任务随机抽 30 题，10 名与构建者不重叠的参与者各答一次再平均，含空间音频研究者、其他语音音频研究者和无相关背景者。SAVU-EA 用 OpenVocabularySELD 从 FOA 提声音事件轨迹，用 Qwen3.5-Omni-Plus 从静音视频提物体位置运动，再连同原始输入和问题一起给 Gemini-3.6-Flash，感知题只给对应模态线索。
下面先看数据规模，比较问题是基准是否大到能分层评估，公平条件是同一批真实录音与同一参考系，指标是题数、场景数、时长与题长。
| 数据集 | 总题量 | 任务数或场景数 | 平均时长 | 平均题长 | 来源数量 |
|---|---|---|---|---|---|
| SAVU-Bench | 1066 | 7 | 6.12 s | 15.41 words | 6 |
| SAVU-Diag | 611 | 81 | - | - | 6 |
上表说明主基准一千余题、诊断集六百余题且关联 81 个推理场景，平均每场景配 7.54 题，平均每段约 6 秒出头，结论只在短片段粗粒度空间判断下成立，长时跟踪不在范围内。
再看随机水平与计分协议，比较问题是不同题型的猜测上限是否可比，公平条件是区分主基准的循环排列计分与诊断和人类子集的单次作答，指标方向是越高越好，随机值越低越难靠猜测。
| 任务组 | 两选项题数 | 四选项题数 | 两选项随机率 | 三选项随机率 | 混合循环随机线 |
|---|---|---|---|---|---|
| 感知与对齐单项 | - | - | 50.0% | 33.3% | - |
上表说明感知与对齐的两选项随机 50.0%、联合匹配的三选项随机 33.3%，推理因混有 66 道两选项和 15 道四选项而综合随机约 42.2%，其中四选项单题随机为 25%，没有三选题。读主结果时必须对照各自随机线，不能跨题型直接比绝对值，也不能把循环计分的主基准最好成绩与单次作答的人类子集混为同一口径。
主结果中听觉定位与联合匹配差到什么程度
主基准用循环排列平均准确率，12 个模型在视觉定位上普遍较高，而音频定位多在 48% 到 55% 之间，只比 50% 随机线高一点。专做空间音频的 Spatial-Omni 直接处理 FOA 也只到 55.6%，说明原生多通道支持不足以保证在真实场景鲁棒定位。语义对齐好的模型空间对齐不一定好，反之亦然，联合匹配最好也只有 A2V 35.6%、V2A 42.8%，相对 33.3% 随机线提升很小。推理最高为 Gemini-2.5-Pro 和 Spatial-Omni 的 45.8%，只比 42.2% 混合随机线高 3.6 个百分点。
人类子集是每任务 30 题的单次作答，不能与主基准循环计分直接换算，但方向上人音频定位 89.33%、推理 85.00%，而模型推理多在 30% 到 46% 之间，差距最大。下表摘出论文明确报告的关键数字，比较问题是当前模型离随机线有多远，公平条件是同一循环计分，指标方向越高越好。
| 任务 | 最好模型成绩 | 随机线 | 人类子集参考 | 差距含义 | 适用计分 |
|---|---|---|---|---|---|
| 联合 A2V 与 V2A | 35.6% 与 42.8% | 33.3% | 66.67% 与 65.33% | 联合匹配接近猜测 | 主基准循环 |
| 空间推理 | 45.8% | 42.2% | 85.00% | 最高仅超随机 3.6 个百分点 | 主基准循环 |
上表显示视觉定位相对成熟只是相对而言，涉及声音的定位、需同时满足语义与空间的匹配、需组合两段关系的推理都明显偏弱。限制是多数通用模型吃单声道，丢掉了多通道定位线索，这是系统级瓶颈；但即使给了 FOA 的专用模型在真实场景仍弱，说明还有泛化问题。未胜出项是视觉定位已有模型达到很高水平，但不能推广为空间理解已解决，跨模态部分人才大幅领先。
诊断与干预分别证明前提失败和组合失败
诊断集把推理错按前提对错分成四格。OmniVideo-7B 的推理错中 61.4% 是纯定位失败，Spatial-Omni 纯定位只占 17.9%，而纯对齐占 23.1%、两者都错占 46.2%，说明空间能力强的模型瓶颈后移到跨模态对应。Gemini 等多在两者都错时推理错，但即使前提全对仍有推理错，定性例子显示定位全对却组合出错误左右关系。附录还给出同为 51.85% 推理正确率的 Spatial-Omni 与 Nemotron 错误结构不同，前者对齐相关更多，后者定位相关更多；video-SALMONN2+ 高达 88.9% 的推理错伴随两者都错。
模态消融显示双模态都好于单模态，去视觉平均降 4.32 个百分点，去音频平均降 3.50 个百分点，但各模型依赖不同。下面整理两次干预的幅度，比较问题是补线索能走多远，但两者的题目与计分不同，不能放在同一口径下比高低，指标为百分点提升。
| 干预 | 起始准确率 | 干预后准确率 | 提升 | 未解决部分 | 计分与题量 |
|---|---|---|---|---|---|
| SAVU-EA 音频定位 | - | - | 30.7 百分点 | 推理仍与人有差距 | 全基准循环 |
| SAVU-EA 联合匹配 | - | - | 19.1 与 21.7 点 | 语义与空间难兼顾 | 全基准循环 |
| Oracle 补正确前提 | 49.38% | 77.78% | 28.40 百分点 | 剩余 18 题仍错 | 81 题单次 |
上表说明 SAVU-EA 在完整基准循环计分下对定位和匹配帮助大，音频定位提升 30.7 个百分点，联合 A2V 与 V2A 分别提升 19.1 和 21.7 个百分点；oracle 是在 81 道推理单次作答下把正确前提直接给 Gemini-3.6-Flash，从 49.38% 到 77.78%，提升 28.40 个百分点，但仍剩 18 题错。限制是 SAVU-EA 依赖外部预测器的质量，oracle 知道正确答案的前提在实际部署中拿不到，不能当作可部署提升，只能作为诊断上限。负结果是即使定位接近人，推理仍明显落后，支持论文的两个瓶颈并存判断。
结论在什么条件下才成立、还有哪些没测
结论限定在短时真实片段的粗粒度选择题上，平均 6.12 秒、题干 15.41 词，方位只分左右、前后、移动方向等粗类别，不考精确角度。模型音频接口不一致，多数为单声道，只有 Spatial-Omni 用 FOA，人用双耳渲染，跨模型的音频定位差距部分来自输入信息量不同，不能全归为模型结构差。人类子集每任务仅 30 题，10 人平均，采样误差不可忽略。诊断集只覆盖 81 个推理场景的前置定位与对齐，仍可能有未列出的隐含前提，所谓前提全对还错只能说在已评估的前提下组合失败。
SAVU-EA 的提升依赖 OpenVocabularySELD 和视频线索提取器的质量，换场景或换预测器效果会变，干预范围是给 Gemini-3.6-Flash 拼接预测线索，不改变权重。未评测范围包括长时跟踪、多轮对话、精确角度估计、推理延迟与计算成本，论文也未报告误判率与部署开销，因此不能承诺补线索会同时改善延迟或成本。容易误解的是把视觉定位高分当作空间理解已解决，原文恰恰强调短板在听觉与跨模态组合；另一误解是把 oracle 的 28.40 点提升当可部署方法，它只是事后给正确答案前提的上限。
复现第一步做什么、需要哪些关键条件
复现先从数据与评测规则入手。按论文取 6 个来源的真实片段，筛掉无效过短与音频活动不足，按全景元数据或声源声明渲染水平 90 度、960 乘 540 的有限视角，FOA 按视角偏航旋转到视场中心但保留全声场，推理场景保留无声锚点、视场内发声源和视场外声源 3 类实体。题目按七任务模板生成后必须经两轮人工审核与三专家独立答题保留，至少 2 人答对。评测主基准用全循环排列平均准确率，诊断与人类对比用单次作答。
音频按模型接口给单声道或 FOA，人给双耳渲染，保持题目与画面一致。SAVU-EA 复现需先跑声音事件轨迹与视频物体位置提取，再把文本化线索与原始音视频一起送给所选大模型，感知题只给对应模态。代码、模型权重与完整系统的公开情况尚无法确认，论文称接受后计划公开基准、评测代码与构造脚本，但当前可确认的可用版本尚无法确认，需以正式发布为准。
什么时候值得尝试、还需补哪项验证
当你的任务涉及真实录音中的声源左右、前后、移动方向，或需要判断声音与画面是否同源同向，或需要经公共声源把画面内锚点与画面外声音接起来时，这个基准的题型和诊断思路值得借鉴。复现第一步是搭出循环排列计分与 FOA 视角对齐，再跑通单模态定位与语义空间对齐的基线，确认视觉定位是否已达高位、音频定位是否贴近随机线。
还需补的验证是更大规模人类子集、长时与精确角度扩展、不同预测器下的 SAVU-EA 稳定性，以及把正确前提与错误前提分别干预的对照，才能更干净地分离获取失败与组合失败。总体上，论文支持的判断是听觉空间感知与跨模态关系组合都要补，只补感知不够；超出短片段粗判断的推广仍待验证。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses