📄 用俯视小地图帮第一视角模型认路：FloorSAV 解读
英文题目：FloorSAV: Elucidating Spatial Audio-Visual Context with 2D Floormap for AV-LLMs
标签：#音视频问答 | #信号处理 | #基准测试 | #音视频 | #空间音频信号
评分：6.5/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Kyeong-Rae Kim：Korea Advanced Institute of Science and Technology
- Sungnyun Kim：Korea Advanced Institute of Science and Technology
- Tae-Hyun Oh：Korea Advanced Institute of Science and Technology
📌 核心摘要
输入是佩戴式设备录制的单目第一人称视频、单声道化的音频和同一时段的多通道声学观测，输出是对动态场景中方向、距离、所在区域、访问顺序和路径关系的回答。难点在于视场狭窄且相机持续运动，全局几何难以从视频恢复，瞬态声源在运动麦克风下定位噪声大。FloorSAV先把三维点云投影为带米制网格的静态俯视底图，再把相机位置朝向、视场角、历史轨迹和声源估计画成彩色标记，形成逐帧与视频同步的空间提示。与已有方法把空间计算放在模型外的离线规则模块不同，该框架把底图作为第二路同步视频连同简短读图指引一起送入音频视觉大语言模型，使模型以第一人称视图为主、空间细节不确定时读取俯视图坐标联合推理，并在覆盖最大的关键帧上用视觉语言模型检测家具门窗等物体并合并为文字标注。在SAVED-Bench上以Gemini-3.6-Flash为模型比较，FloorSAV的总体得分从第一人称视频基线的58.3%提高到65.3%。结论适用于室内日常活动的动态双人场景，声学估计错误、时间定位错误和读错坐标网格都会导致失败。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
第一视角空间推理为什么难
这篇论文研究的是戴在人身上的相机和麦克风持续记录的日常室内场景。输入是第一视角彩色视频、同步的音频，以及数据集自带的相机位姿和 3 维点云。目标是在有人走动、说话、遮挡不断变化的情况下，回答声音从哪来、另 1 人在哪、人在哪个语义区域、走了多远、假设直线挡了什么这类空间问题。必须保留的信息包括查询的声音事件发生在何时、相对谁的朝向算方向、距离以米为单位怎么算。输出是选择题选项或以米为单位的数值。
难点在于第一视角视野窄且随头动，全局房间形状在单帧里看不全；声音是瞬时的，移动麦克风录到的多通道线索本身有噪声，而送给音频视觉大模型的往往是混成单通道后的音频，丢掉了空间属性。只靠第一视角去猜全局几何，很容易在看不见另 1 人或目标时产生偏差。
已有两条路线各自卡在哪里
论文把已有做法分成两类。第一类是带训练的方法，给音频视觉大模型外挂经过微调的空间编码器，需要拿到专有模型权重，还需要代价很高的 3 维监督，论文没有沿这条路做。第二类是免训练管线，以 SAVVY 为代表：先让大模型做时间定位这类初级子任务，真正的细粒度跟踪和全局建图交给离线的基于规则的模块做数学变换，最后答案由外部计算决定。这种分工没有让大模型同时看到视觉外观、听觉线索和几何地图，跨模态推理能力没有被真正调用。
SAVVY-Bench 本身也只问固定参考系下的方向和距离。FloorSAV 的不同在于不把几何计算放在模型之后，而是把几何画成图再送回模型，让模型一次推理里同时用两路视频和音频。比较时要注意输入和运行阶段并不相同：SAVVY 是多阶段外部计算，FloorSAV 是双流视频单次推理，不能理解为同条件下谁的定位算法更准。
论文要解决的具体问题和输入输出
论文要解决的是如何让现成的音频视觉大模型在不微调的情况下，读懂动态第一视角场景的全局几何，并完成跨智能体、跨区域、跨路径的问答。输入有两路时间同步的视频：一路是原来的第一视角视频加单声道音频，另一路是按帧渲染的 2 维俯视图视频。俯视图每 1 帧都带一米一格的坐标轴，上面画着相机当前位置和朝向、视野扇形、历史轨迹、估计的声源点和物体文字标签。输出是对问题的答案，方向题是四选一或三选一的选择，距离题是米制数值。
论文强调俯视图要逐帧画而不是只给一张静态图，因为相机和声源都在动，运动本身要以视觉变化的形式出现，而不是让模型去整合文字描述。另一处关键选择是不把两路画面拼成左右并排的一路视频，因为并排会让模型偏向第一视角所在的那一侧，论文的消融发现这种版式会引入明显的回答偏置。
FloorSAV 整体做了哪三件事
FloorSAV 的流程可以沿着一个样本理解：先拿 3 维点云投影成俯视底图，再把相机位姿和声源估计投影上去画成红点箭头、黄扇形、绿点和蓝色轨迹；然后挑关键帧，用视觉语言模型认物体并把物体名写到地图上；最后把俯视图序列和第一视角序列按相同帧率同步采样，配上一段解释图中符号的引导语，一起送给音频视觉大模型做一次问答。
底图解决房间边界和尺度，声学跟踪解决另 1 人大概在哪，语义标注解决周围有什么可参照的物体，双流输入加引导语解决模型怎么同时用两路证据。整个过程不更新任何大模型参数，只是构造输入。论文用的是 Aria 日常活动数据集的点云、6 自由度位姿和多通道音频，声源估计沿用 SAVVY 的管线，但估计结果只作为图上的提示，不直接决定最终答案。
第一视角视频 × 二维俯视图视频： 第一视角视频指头戴相机拍到的随人移动的窄视野画面，负责提供外观和声音事件时刻的直接证据；二维俯视图视频指把同一段时间的房间轮廓、相机位置朝向、声源估计点和物体文字标在带米制网格的俯视图上再逐帧拼成的视频，负责提供全局坐标和运动历史。二者按相同帧率同步输入，模型先在第一视角里定事件和可见物，不确定距离方向时再到俯视图里读坐标，组合后多了跨视角对照和遮挡外目标的推理依据。
底图和声源点是怎么画出来的
底图先对原始点云做过滤：高度取百分位区间去掉地板天花板伪影，平面范围向外扩半米，只保留重建不确定性足够小的点，对人长时间停留造成的密集堆积用高斯模糊的灰色热力盖在稀疏黑点上，背景保持白色以保留细节，坐标轴按米画网格和整数刻度。相机状态画成红色圆点加红色朝向箭头，视野画成左右各 50 度的黄色扇形，历史运动画成最近约 300 帧约 15 秒的蓝色折线。
声学部分用 4 个麦克风通道、48 千赫采样、每 0.25 秒一段做观测，方向用 SRP-PHAT 在正负 180 度以 1 度步长搜索，距离用相干扩散比换算，再对齐到最近相机位姿并在输出帧前后 1 秒内做圆形均值和平滑，极正前方和极正后方附近的不可靠估计会被丢掉，没有有效观测时就不画绿点。输入给模型时从整段第一视角和俯视图序列各均匀采 128 帧，每帧取时间窗中点的最近位姿，声源标记取中点前后 1 秒的平均，而不是整个大时间窗的平均，这样运动不会被抹平。
下面先看方向搜索的目标，再看声源点落到世界坐标的换算。
\[\hat{\phi}=\arg\max_{\phi}\sum_{m该式说的是相机平面位置加上估计距离乘以方向余弦在前向和右向上的分解，角度顺时针为正，输入是相机位姿、估计距离和估计角度，输出是绿点在全局俯视图上的坐标。论文提醒绿点是经过平滑的近似估计，可能不准或缺失，模型应以第一视角为主、地图为辅。
读这张语义标注流程图时，先看它分了哪三栏、箭头从左到右表示什么加工顺序，再对照中栏上下两张配对图理解输入是什么。
看图路径： 1. 先看左格彩色扇形如何铺满房间，再看中格第一视角与俯视图如何配对；2. 注意中间问答下方给出的门窗椅子坐标写法；3. 再看右格最终俯视图上保留了哪些文字标签和黄色视野
论文图 2。原论文 Figure 2:：“Semantic grounding process. Semantically enriched floormap is generated by a pipeline of keyframe selection, mapping visual objects via VLMs, and filtering, providing semantic…”。
这张图左栏是贪心挑帧在俯视图上铺出的多色扇形覆盖，中栏是某 1 帧的第一视角照片和旋转到朝上为正前方的俯视图配对，下方给出门窗椅子等物体的方向距离和坐标写法，右栏是经过物体过滤后保留的俯视图，上面写着门、椅子、沙发、窗、桌子、电视、壁炉等文字标签，黄色扇形仍表示当前视野，坐标轴以米为单位。这说明语义标注不是直接把检测框贴上去，而是经过跨帧合并和位置过滤后才落字。
物体标签如何挑帧识别再过滤
语义部分分四步。第一步选 30 个关键帧，分 3 轮每轮 10 帧，每轮从 1 帧每秒的视频里贪心选新覆盖面积最大的帧，视野按前后 50 度、半径 5 米的扇形算面积，每轮重新清零已覆盖面积且不重复选旧帧，目的是看全房间。第二步做物体视觉映射，给视觉语言模型同时看第一视角图和旋转到相机朝上为正的俯视图，让它先估计图中物体的方向距离，再结合俯视图结构给出俯视图坐标，只保留至多 5 个高置信度的家具门窗类代表物，命名用通用短名词。
第三步过滤：先统一大小写复数同义词并把局部坐标转到全局坐标，丢掉超出点云边界半米缓冲或周围半米内点云点数不足的预测；再按同类名 2 米内连边取连通分支，合并跨帧重复观测但保留同名不同实例；最后只保留至少 3 次观测支持的分支，取均值作为最终位置。第四步把保留实例的文字标画到最终俯视图上，同类不同位置分开保留。
消融显示去掉这层语义标注后整体分数下降，在需要环境上下文的任务上下降更多，说明物体字标签是模型把位置和语义连起来的关键。
声源方向估计 × 声源距离估计： 声源方向估计指用多麦克风相位信息算出声音相对相机的水平来向，声源距离估计指用混响相关的量把声音远近换算成米数。前者决定绿点画在哪个方位，后者决定绿点画在离红点多远处，二者合在一起才得到俯视图上那个绿色声源点的平面位置，缺一个就无法在地图上落点。
关键帧选择 × 物体视觉映射： 关键帧选择指从每段视频里贪心挑覆盖面积最大的少量帧，保证看遍房间又不重复劳动；物体视觉映射指把挑出的第一视角图和对应时刻的俯视图一起给视觉语言模型，让它认出家具门窗并给出在俯视图上的坐标。前者解决看哪些帧，后者解决每帧里的物体叫什么、在地图哪里，合起来才得到可过滤合并的候选物体观测。
本研究没有训练什么实际算了什么
本研究没有训练任何大模型参数，基线和 FloorSAV 都用零样本方式调用现成模型，解码用温度 0 的贪心解码以保证可重复。实际计算都在输入构造和评测：点云过滤投影、声源方向距离估计、关键帧贪心覆盖、视觉语言模型物体映射与 3 阶段过滤、双流视频均匀采样、引导语组装，以及问答准确率和距离精度的统计。开源模型 Qwen3-Omni-30B 只做推理，用 4 块显卡跑；Gemini 系列通过公开接口调用。
需要说明的缺失项是论文没有报告训练资源和推理延迟，也没有给出双流相对单流增加多少视觉 token 开销的精确测量，只在定性分析里指出双流大约翻倍了视觉 token，可能加重长上下文负担。无训练不等于输出确定，温度 0 只能减少采样随机，仍不能保证跨接口版本输出完全一致。
两个基准各考什么怎么算分
评测用 SAVVY-Bench 和新建的 SAVED-Bench，都来自同一室内日常数据集。SAVVY-Bench 按参考系分第一视角和假设观察者两类，各考方向和距离，方向按简单三选一和困难四选一出题，距离要直接写米数。SAVED-Bench 要补动态智能体的更广能力，分 3 类：动态相对问答考跨人视角变换，分从戴相机的人到另 1 人和反向两种，每种再分方向和距离；区域问答考人在声音时刻位于哪个区域以及两声音之间访问区域的顺序和未访问区域。
路径问答考从人到静态目标或到另 1 人的直线段附近最近物体，以及 2 人实际各走了多远。方向和区域路径搜索用选择题精确匹配计分，距离用绝对平均相对精度，在 0.1 米到 1.0 米共 10 个阈值上算满足比例，阈值越松越容易得分。类别内按任务平均，总分按题目数加权。区域真值来自先让模型给物体分区域、再按同区域物体算最小外接矩形、最后人工对照视频和俯视图改成多边形，但这些区域边界和标签不画给模型，防止模型直接按图索骥。
动态相对的假设物体位置按源智能体位置加半径与顺时针转角算出，再换算到目标智能体坐标系。
\[\mathbf{p}_{obj}=\mathbf{p}_{s}+r\,R_{\mathrm{cw}}(\theta)\,\mathbf{f}_{s},\]该式说的是假设物体的全局位置等于源智能体位置加上半径乘以源朝向顺时针旋转指定角度后的向量，输入是源位置朝向和题面给的角度距离，输出是待判断方向距离的那个虚拟点位置。
动态相对推理 × 区域推理： 动态相对推理指在戴相机的人和另一位移动的人之间做视角变换，问假设物体在一个人看来是什么方向距离、在另一个人看来又是什么；区域推理指把厨房客厅这类语义区域和人在声音事件时刻或两声音之间时段内的位置对应起来。前者考跨智能体的坐标变换，后者考语义区域和轨迹的联合记忆，组合起来覆盖论文想补的跨人、跨区域能力。
直线路径搜索 × 轨迹距离估计： 直线路径搜索指给定从戴相机的人到目标物或另一人的有限直线段，问哪个候选物体离这条线段最近；轨迹距离估计指问两段声音之间两个人都实际走了多长，轨迹受墙和家具约束不是直线位移。前者考假设路径和周围物体的几何关系，后者考观测到的真实运动长度，组合起来构成路径推理对物理环境的感知。
先看 SAVED-Bench 总览图里 3 类题如何共用同一段音视频，再看区域标注图里从物体分类到人工修正的链条。
看图路径： 1. 对照中间胶片条上两个声音事件与上下两路视频帧的对齐；2. 看左侧四组动态相对问答里紫星红点绿点的含义；3. 看右下路径题里虚线轨迹与直线段问法的区别
论文图 3。原论文 Figure 3:：“SAVED-Bench at a glance. Illustrative question-answer pairs cover (a) dynamic relativity, (b) regional, and (c) path reasoning tasks.”。
这张图中间是 3 段第一视角胶片、波形上两个声音事件及其时刻、下方 3 帧同步俯视图，左右两栏是例题：左侧动态相对题用紫星表示假设物体、红点表示戴相机的人、绿点表示另 1 人，右侧区域题问所在区域和访问顺序，下方路径题分别问两段实际路程和离直线段最近的物体。这说明所有题都锚定在声音时刻或两声音区间上，俯视图和第一视角提供同一时刻的互补证据。
看图路径： 1. 看左格物体词如何被分到不同区域名下；2. 看中格同区域物体坐标如何框出平行于墙的矩形；3. 看右格人工把矩形改成多边形时保留了哪些顶点
论文图 4。原论文 Figure 4:：“Region annotation process. (Left) For each scene, we prompt an LLM to assign a region category to every ground-truth object.”。
这张图左格把台面沙发桌椅等真值物体词分到厨房区客厅区餐厅区，中格按同类物体坐标画出边平行于墙的矩形，右格人工拖动顶点改成更贴合物理环境的多边形，图注明确这些只用于出题不提供给模型。这意味着区域题考的是从物体布局推出区域，而不是读图上的区域色块。
主结果在什么模型和条件下成立
主结果的条件要先讲清：SAVED-Bench 用 Gemini-3.6-Flash 零样本跑，FloorSAV 相对只看第一视角的基线；SAVVY-Bench 用 Qwen3-Omni-30B 和 Gemini-2.5-Flash 与 Pro 跑，FloorSAV 的语义标注也由对应 Gemini 自己提供。指标方向都是越高越好，方向是准确率，距离是绝对平均相对精度。下表先看只听音频能做对多少，说明音频里确实有区域线索，但远不够。
这张表比较随机猜测、只听音频、只看第一视角基线和 FloorSAV 在区域两任务上的准确率，条件是同一批区域题，指标方向越高越好，用来判断加地图是否在已有视听基础上还有增益。
| Input | Random | Audio-only | Baseline | FloorSAV |
|---|---|---|---|---|
| Location Awareness | 25.0 | 72.0 | 92.0 | 94.5 |
| Visit History | 25.0 | 62.2 | 86.7 | 92.3 |
只听音频在位置感知和访问历史上有明显高于随机的分数，说明对话和环境声能提示房间，但基线加上视频后更高，FloorSAV 再小幅超过基线。这张表的限制是它只覆盖区域类，不能推广到跨人方向或路径距离，且音频单独跑的细节在正文交代较少。下图按另 1 人当时是否在视野内拆动态相对成绩。
读这张雷达图时先分清左右两半各对应哪种可见性，再看每根轴的量程是否相同，最后比较两种颜色多边形的包络差异。
看图路径： 1. 区分左右两半分别对应查询时刻另一人不可见和可见；2. 比较紫色基线多边形与绿色本方法多边形在方向轴上的外扩；3. 注意距离轴上两条轮廓几乎重合的位置
论文图 6。原论文 Figure 6:：“Dynamic relativity by visibility. FloorSAV helps more on FoV-out (i.e., other agent invisible at the queried moment). Both strategies are weaker on Exo-to-Ego direction tasks.”。
这张图左半是查询时刻另 1 人不在视野内，右半是另 1 人在视野内，每根轴是 1 个方向或距离子任务，绿色 FloorSAV 包络在方向轴上比紫色基线更靠外，尤其在不可见一侧拉开差距，而在距离轴上两者几乎重合。这支持论文的判断：地图对看不见人时的方向推理帮助更大，距离仍被声学定位噪声卡住。
再看整体数字表，它把两个基准的总分放在一起，比较问题是双流地图相对单流基线有没有整体增益，但两行基线模型不同，不能直接跨行对比模型强弱。
| 基准（模型条件） | 任务范围 | 基线整体分数 | FloorSAV 整体分数 | 完全真值图整体分数 |
|---|---|---|---|---|
| SAVED-Bench（Gemini-3.6-Flash） | 动态相对加区域加路径 | 58.3% | 65.3% | 71.3% |
| SAVVY-Bench（Gemini-2.5-Pro） | 第一视角加假设观察者方向距离 | 50.9% | 54.7% | Full 62.8（Partial 54.9） |
SAVED-Bench 用 Gemini-3.6-Flash 从 58.3% 到 65.3% 提升 7 个百分点，SAVVY-Bench 用 Gemini-2.5-Pro 从 50.9% 到 54.7% 提升较小，用真值智能体位置和真值物体画图时 SAVED-Bench 可到 71.3%，SAVVY-Bench 真值条件已报告 Full 62.8，另有 Partial 54.9，说明准确空间信息还有潜力。但要注意这是百分点的差，不是相对百分比，且 SAVVY 侧提升主要来自假设观察者方向，距离和第一视角方向并非全线大涨，不能把总分增益理解为每个子任务都变好。
三类任务各自涨在哪里没涨在哪里
分任务看，动态相对的方向题普遍涨，从戴相机的人到另 1 人和反向都有增益，不可见时增益更大，但从另 1 人到戴相机的人的绝对分数仍低于反方向，说明跨人变换的方向本身影响难度。距离题不稳定，有一组甚至略降，换上真值另 1 人位置后距离题明显回升，支持定位噪声是瓶颈的解释。区域类基线本来就高，位置感知和访问历史仍有数个百分点提升，需要跨时间记住访问顺序的访问历史涨得更多。下表只放轨迹距离的具体数，比较问题是运动历史是否真带来可读的增益，区域平均的数只在正文里交代，不在这张表里。
| 任务 | 指标 | 基线 | FloorSAV | 备注 |
|---|---|---|---|---|
| 轨迹距离 | 绝对平均相对精度 | 16.9 | 25.0 | 稀疏声定位误差仍大 |
区域题的高基线意味着天花板效应，位置感知到 94.5%，区域平均从 89.4% 到 93.4%，涨幅虽小但在访问历史这种时间跨度题上更可见；轨迹距离绝对值仍很低，从 16.9 到 25.0 只是相对改善，说明只靠稀疏声学估计推整段路程仍不可靠，加历史轨迹线有帮助但不能解决根本噪声。路径搜索里静态目标题涨得多，动态目标题涨得少，换真值位置后动态题才大幅回升，再次指向另 1 人位置估计是关键。在 SAVVY-Bench 上，假设观察者方向是最大亮点，基线都低于随机水平 32.1%，而 FloorSAV 用 Gemini-2.5-Pro 达到 52.8%，但第一视角方向和距离有轻微波动，论文把原因归于声学误差、物体标签错位、时间定位错和模型读网格能力不足。
地图怎么送进去才有效果
论文比较了 4 种送图方式：只看第一视角、加一张静态俯视图、把两路拼成左右并排的一路视频、把两路作为同步的双流视频。用 Qwen3-Omni-30B 在 SAVVY 上的消融显示静态图相对基线几乎无增益，因为它没有相机运动和声源运动；并排单流最差，模型偏向回答第一视角所在的一侧为左；双流在相同信息下最高，版式 alone 就拉开数个百分点差距。语义标注的消融显示去掉物体文字标签后整体下降，在假设观察者方向和静态直线路径搜索上掉得最多，说明需要环境上下文的题最依赖标签。
帧数消融显示每路采 32 帧时整体最高，第一视角方向距离更好，但论文默认仍用 128 帧以保假设观察者这类需要长时间跟踪的难任务。这揭示一个代价：双流加高帧数都会增加视觉 token，简单题上反而可能因上下文过长而变差，静态图在简单第一视角方向上偶尔显得不错，但无法泛化到距离和跨视角推理。下表是数据集规模，比较问题是结论的统计基础是否足够宽。
| 基准 | 题目总数 | 动态相对或方向距离构成 | 区域构成 | 路径构成 |
|---|---|---|---|---|
| SAVED-Bench | 1988 | 800 | 592 | 596 |
| SAVVY-Bench | 超过 1500 | 来源未给出构成细分 | 来源未给出构成细分 | 来源未给出构成细分 |
SAVED-Bench 近 2000 题来自 55 段室内日常录像，3 类数量相对均衡，动态相对还按另 1 人可见不可见各半，分布比 SAVVY 更少集中在正前方和 1 米内。SAVVY-Bench 来源只给出总数超过 1500，未给出三列对应的构成细分。但这仍是同一数据集衍生的题目，房间和说话人多样性有限，跨数据集泛化尚未评测，不能把这里的涨幅直接当成任意家庭或办公室都能复现的效果。
哪些失败模式限制了结论
论文用定性例子归纳了 3 类失败。第一是时间定位错：模型把查询的说话主题锚到语义相近但更早的时刻，拿错帧的几何去算，地图读得再对也错。第二是长上下文理解：喂 270 帧高密度视频反而在简单第一视角方向上做错，降到 128 帧才做对；双流大约翻倍 token，模型有时连第一视角里人明明在左边都幻觉成右边，说明失败不在地图几何而在基础视觉过载。
第三是米制网格误读：事件时间找对了，但把绿点和参照物读错坐标，放大标记也无济于事，说明当前模型缺俯视度量图的训练数据。附带的局限是依赖高质量传感器：点云、亚厘米位姿和多通道音频来自特定数据集，强混响或多人重叠时声学估计本身就 noisy；区域真值和物体真值实验属于知道正确答案再画图的事后上限，不能当成部署时可获得的提升。论文也承认 SAVED-Bench 3 类是独立出题，没有要求一题内同时做跨人变换加区域加路径的综合推理。
复现第一步要准备什么
复现先不要急着调模型，先把数据和输入管线跑通。第一步是拿到 Aria 日常活动数据集的同一批录像、点云、位姿和多通道音频，按论文附录的过滤参数投影出带一米网格的底图，再跑 SRP-PHAT 方向和相干扩散比距离并与 SAVVY 提供的标定常数对齐，生成每帧的绿点和蓝轨。
关键超参数和信息条件要保留：方向搜索正负 180 度 1 度步长、互相关滞后正负 1 毫秒、声速 343 米每秒、音频分 0.25 秒段每秒 4 个观测、地图平滑用前后 1 秒窗、过滤掉正负 8 度内和 172 度外的极端角、历史轨迹取最近 300 帧、关键帧 3 轮每轮 10 帧视野半径 5 米、物体过滤要求同类 2 米连边且至少 3 次观测、双流各采 128 帧、温度 0 贪心解码。
提示词要同时给两路说明：第一路强调第一视角和同步音频是主要依据，第二路解释红点箭头黄扇形绿点和文字标签的含义，并提醒绿点可能不准或缺失、另 1 人朝向不在图上。评测时方向用准确率，距离用 0.1 到 1.0 米十阈值的绝对平均相对精度，总分按题数加权，类别分按任务平均。论文未绑定可验证的代码模型数据资源，本次也未发现来源绑定且完成验证的资源，因此不要声称代码模型数据已公开，跑通应以自己按附录实现为准。
什么时候值得试还缺什么验证
如果你的任务也是第一视角窄视野、目标经常在画面外、又有麦克风阵列可用，且能拿到还不错的点云或平面图，这种把全局几何画成同步小视频再送给大模型的做法值得试，尤其对查询时刻看不见另 1 人时的方向判断和需要物体参照的直线路径题帮助更明显。容易产生的误解是把真值图 71.3% 当成换更好模型就能直接拿到，实际上那是用真值位置和真值物体画图的事后上限，只证明管线天花板高，不证明现有声学和物体映射已经够准。
另一个误解是把总分提升当成每类都稳涨，实际上距离题和部分第一视角题波动很大，长视频双流还可能因 token 翻倍拖累简单题。还需要补的验证是跨数据集和跨房型测试、真实部署延迟与成本测量、人工评价与自动指标的一致性，以及把时间定位误差从空间推理误差中拆开的评测，否则无法判断涨幅里有多少来自找对了时刻、有多少来自读对了地图。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses