📄 听见、定位再推理：带空间听觉的视听场景理解
英文题目：Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs
评分：7.5/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5
👥 作者与机构
- Kim Sung-Bin：POSTECH
- Lee Jung-Mok：KAIST
- Jinwoo Jung：KAIST
- Oh Hyun-Bin：POSTECH
- Hyeonggon Ryu：Hankuk University of Foreign Studies
- David Harwath：The University of Texas at Austin
- Tae-Hyun Oh：KAIST
📌 核心摘要
这篇论文要解决的是音视频大语言模型只听懂语义、听不出方位的问题，输入是普通视角图像加双耳音频，输出是对发声事件的识别、声源方向与距离估计，以及声源是否可见、被什么遮挡、靠近哪个物体的判断。难点在于声源可能在画面外、被遮挡或在相邻房间，模型不能只靠类别匹配，需要把听觉线索转换到视觉坐标并做多步推理。方法上先用仿真器批量合成带几何标注的场景并生成多类问答，再在Qwen2.5-Omni基础上保留视觉与单声道语义支路，新增双耳空间音频编码器加投影器形成空间音频令牌。训练分三段推进，从纯空间音频对齐到音视频指令微调，再用链式思考Chain-of-Thought格式答案要求模型先写定位与可见性依据后给规范答案。在HLR-AVSceneQA测试集自我中心方向定位任务上以准确率为指标取三次运行均值，HLR-LLM为78.21%高于双通道Qwen2.5-Omni基线的64.27%，表明显式双耳空间建模优于仅分开输入左右声道。结论适用于受控室内静态场景，对真实录音的迁移只在STARSS23四个子任务上验证，移动声源和主动交互未覆盖。训练在四块NVIDIA A6000上进行2个epoch，每设备批量大小为4并累积4步，编码器冻结只更新空间投影器和语言模型LoRA参数。
🔗 开源与复现资源
代码相关资源：https://hlrllm.github.io/ — 链接可访问（HTTP 200）
数据相关资源：https://hlrllm.github.io/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
智能体在房间里要解决什么听觉视觉问题
这篇论文研究的是室内智能体只看一张普通视场照片、只听一段双耳录音时，能否回答声音是什么、在哪里、和周围物体是什么关系。输入是同步的一张 1280×720、水平视场 90 度的彩色图和一段 32 kHz 采样的双耳波形，输出是选择题或分箱标签、远场语音转写和场景描述。任务要求保留两类信息，一是语义信息，即非语音事件类别和人说话的内容，二是几何信息，即声源相对当前视点和假想视点的方向与距离。
举例来说，闹钟在视场内响是一类情况，人在隔壁房间说话是另一类情况，模型不能只靠看到婴儿就猜是婴儿在发声，而要把左右耳差异带来的方向距离线索和图像中的物体布局对上。论文把已有音频视觉大模型的主要短板定位为只用单声道听觉，即把双耳平均成单通道后理解语义，丢掉了定位所需的耳间差异，因此在声源被遮挡、在视场外或在多候选物体中产生歧义时会失效。
已有空间音频与视听评测各自分工是什么
论文梳理了 3 条路线。第一条是空间音频理解，从声事件定位与检测出发，用双耳或 1 阶 Ambisonics 估计到达方向，后来接上语言模型做定位问答和远场语音理解，但大多停留在纯音频或以语音为中心，没有把声音落到图像中的具体区域。
第二条是空间视听基准，有的只做自我中心与异我中心的方向距离，有的用 RGB-D 加多通道音频做精确 3 维定位，有的用全景图做声音与物体对应，它们在输入假设、模态和题型上各不相同，难以用同一套题同时考语义听觉、空间定位和关系推理。第 3 条是通用音频视觉大模型，能做问答和时间定位，但主要吃单声道音频加视频，空间线索不足。
论文的比较口径是输入是否同时包含音频与视觉、是否包含多声源、是否考远场语音转写和非语音事件、是否同时考自我中心与异我中心、是否考对应关系、是否涉及跨房间、隐藏声源、最近物体和开放式视听描述。按这个口径，已有基准往往只覆盖其中几项，而本文基准想把 12 个任务统一到同一批仿真场景和同一套离散答案格式下。
听见定位推理三层任务具体考什么
论文把评测组织成听见、定位、推理三层。听见层考声音事件识别和远场语音识别，前者从 10 个候选类别里选听到什么，多声源时题面会用方向和距离指明问哪一个，后者要求只输出引号内的逐字转写。定位层分自我中心与异我中心各考方向与距离，方向离散成 8 个方位箱，每箱 45 度，正前方是 337.5 度到 22.5 度，顺时针依次为前右、右、后右、后、后左、左、前左，距离离散成 10 个箱，0 到 1 米为一箱，1 到 5 米每 0.5 米一箱，5 米以上为最后一箱。
异我中心题会让模型假想站在参照物旁并朝向另一物体，例如站在钢琴旁朝向婴儿，再重新计算声源方向距离，因此同时考定位与视角变换。推理层把定位结果当作证据继续追问，包括声源是否可见、哪个可见物体与声音空间对齐、不可见时是藏在某物体后、墙后、在相邻房间还是在视场外前后、移动到某物体后声音变响还是变轻、哪个候选物体离声源最近，以及用完整句子描述每个声源的事件、方向、可见性和隐藏位置。
读懂总览图的最好方式是把它当作一道例题的解题路线，左栏给出听到什么与说什么，中栏给出当前视角与换位后的定位，右栏给出可见性、对应关系与移动后果。
看图路径： 1. 先看左中右三栏分别对应听见、定位、推理三个层次；2. 看中间俯视图里自我中心箭头与异我中心移动加转向箭头的区别；3. 看右栏同一报警声如何同时关联可见性与对应物体
论文图 1。原论文 Figure 1:：“Overview of HLR-AVSceneQA. We introduce HLR-AVSceneQA, a comprehensive benchmark for spatial audio-visual scene understanding organized around a hear-localize-reason hierarchy.”。
这张总览图用卧室场景串起三层，左下角同时出现闹钟响和人说话，中间俯视图用蓝色虚线表示当前视锥，用紫色移动与转向箭头表示异我视角，右栏对同一闹钟追问是否可见和对齐哪个物体，对隔壁房间的人声追问移动到钢琴旁是否变响。图中自我中心答案为前方 3.4 米，异我中心答案为前左 1.1 米，场景描述要求同时交代两个声源，可见该基准把定位输出直接作为下游推理的条件。
仿真场景与问答是如何批量构造的
基准分 2 阶段构造。第 1 阶段合成带结构化标注的空间视听场景，仿真器用 SoundSpaces 2.0 渲染几何感知的房间混响，非语音用 VGGSound 中可落到室内单个物体的类别并去掉海浪欢呼等不适合单物体定位的类别，再用图文相似度过滤可疑错标，语音用 LibriSpeech 保住逐句转写，3 维环境用 HM3DSem 的 216 个室内空间与 3100 个房间，训练用 145 个场景、测试用 36 个场景。
每个房间插入 2 到 6 个候选物体网格，最多激活两个为发声源，有的语义匹配、有的故意语义错配但空间对齐，还有完全可见、被物体遮挡、在相邻房间或在视场外的情况。智能体高度设为 150 厘米，相机为针孔模型，同步记录智能体位姿、物体 3 维坐标、声源归属、可见状态、遮挡类型和两两几何关系。第二阶段由这些元数据按模板生成问答，问题措辞做约 15 种改写以增加语言多样性，答案保持受控格式，多为选择或分箱，语音转写与场景描述为开放式。
总量为训练 175061 对、测试 21808 对，其中多声源训练 53279 对、测试 4869 对，另有 94519 对思维链增广训练对。人工抽查 150 个场景共 1144 对问答，1133 对通过，通过率为 99.0%，自我中心与听觉部分为全对，接近度等复杂题通过率略低。 理解遮挡与歧义设计可以看渲染样例与极坐标标注的对应关系。
看图路径： 1. 对比左图被扶手椅遮挡的吹风机与右图同类多人实例的歧义；2. 看极坐标元数据里角度距离标注与视点箭头的关系；3. 注意发声物体与插入物体在图例颜色上的区分
论文图 2。原论文 Figure 2:：“Examples of rendered scenes and metadata.”。
左例吹风机在图像左侧被扶手椅遮挡，元数据极坐标显示吹风机在负 32 度、2.7 米，扶手椅在负 30 度、2.3 米，两者在角度上几乎重叠但距离不同，说明遮挡不是简单的视场外，而是投影落入视场却无可见语义像素。右例出现两个同类人形，一个在负 26 度、2.3 米，另一个在 55 度、3.0 米，真正发声的是右侧 3.0 米处的人，模型必须靠双耳线索区分实例，而不能靠类别匹配猜测。
双支路音频加视觉是如何送入语言模型的
模型 HLR-LLM 以 Qwen2.5-Omni 为基座，保留原有的视觉编码器与单声道语义音频通路，新增一条双耳空间音频支路。单声道支路吃左右平均后的波形，负责保住事件识别与语音理解；空间支路吃原始双通道波形，经预训练空间音频编码器提取方向距离敏感特征，再经可训练多层感知机投影成语言模型能读的空间音频词元。输入序列写作文本嵌入、视觉词元、单声道音频词元、空间音频词元的拼接，语言模型在此条件下自回归生成答案。
训练时所有视觉、单声道与空间编码器保持冻结，第 1 阶段只更新空间投影器，后 2 阶段更新投影器与语言模型的 LoRA 参数，LoRA 设为秩 16、缩放 16、丢弃 0.05、学习率 2×10-4、权重衰减 0.01，在 4 张 A6000 上训练 2 轮。音频前端把每段源音频做响度归一化后与房间脉冲响应卷积，双耳分支与单声道分支分别取双通道与平均通道，谱特征用窗长 1024、跳长 320、128 个梅尔滤波器组计算。
单声道语义音频 × 双耳空间音频： 单声道语义音频指把左右声道平均后送入原模型的声音表示，负责听出是什么事件和说什么话；双耳空间音频指保留左右耳差异的声音表示，负责提供方向和距离线索；两者搭配后，前者保住语义听觉，后者补上定位依据，组合起来才能同时回答是什么和在哪里。
自我中心定位 × 异我中心定位： 自我中心定位指以智能体当前朝向为原点判断声源在前左还是右及多远；异我中心定位指假想站到参照物旁并朝向另一物体后重新判断声源方向距离；后者比前者多一步视角变换，需要把声源三维位置和新朝向一起换算，组合起来才能检验模型是否真理解空间结构而非记住当前视角答案。
空间音频编码器 × 空间音频投影器： 空间音频编码器指预训练好的双耳特征提取器，输出带方向距离敏感性的声学特征；空间音频投影器指可训练的多层感知机，把声学特征映射到语言模型词嵌入空间变成空间音频词元；两者分工是冻结的编码器保住定位线索、可训练的投影器做对齐，组合后语言模型才能直接 attends 到空间线索。
可见性判断 × 隐藏声源定位： 可见性判断指回答声源在当前视角下是否可见；隐藏声源定位指在不可见时进一步区分是被物体遮挡、被墙遮挡、在相邻房间还是在视场外前后；前者是二分类检查，后者需要结合声源方向距离与场景布局做原因归属，组合起来才能把定位结果变成对周围场景的关系解释。
双耳渲染的数学含义是每声源干声先与左右耳各自的房间脉冲响应卷积，多声源再在波形域相加，接收器位置、朝向与场景几何材料共同决定脉冲响应。
\[h_{m,j}[\tau]=\mathcal{R}_{m}(\tau;\mathbf{s}_{j},\mathbf{r},\theta,\mathcal{E}),\qquad m\in\{L,R\},\]上式中 h 为左右耳脉冲响应，s 为声源位置，r 为接收器位置，theta 为朝向，E 为场景几何材料，m 取左右耳。
\[y_{m,j}[t]=(h_{m,j}*\tilde{x}_{j})[t]=\sum_{\tau=0}^{T_{h}-1}h_{m,j}[\tau]\tilde{x}_{j}[t-\tau].\]该式把归一化干声与对应脉冲响应卷积得到单声源双耳信号，求和上限为脉冲响应长度。
\[y_{m}[t]=\sum_{j=1}^{N}y_{m,j}[t],\qquad m\in\{L,R\}.\]该式把 N 个有源声源的渲染结果相加得到最终立体声波形，采样率为 32 kHz。
思维链监督写了哪些中间步骤
思维链监督只给异我中心定位与空间关系推理题提供，不用于听觉与自我中心题。生成方式不是自由创作，而是由仿真器结构化元数据按任务模板确定性拼出中间证据，再用语言模型只改写问题措辞。以隐藏声源题为例，答案先说事件是吹风机干燥声、从前左传来、距离 2.7 米，再说在该方向看不到吹风机、被扶手椅遮挡，最后得出藏在扶手椅后。接近度题会列出各候选物体相对智能体的方向距离，再换算成各候选物体到声源的距离并排序。
响度变化题会比较当前智能体到声源的距离与移到目标物体后到声源的距离，变近则变响、变远则变轻；异我中心题会写出参照物位置、移动后声源距离、朝向新前轴后的方位。模型被要求先写简短推理再以规范化末行给出最终答案，例如以 Final answer 开头的方向标签或距离箱编号。这种设计的代价是推理变长且更依赖分箱边界附近的精细几何，好处是把听觉语义、空间估计与视觉证据的衔接显式化，便于复述哪一步出错。
三阶段课程每阶段练什么、冻住什么
课程分 3 段。第一段做空间音频对齐，用 514,000 对纯空间音频问答只训练空间投影器，目标是让冻结编码器的特征能被语言模型说出事件与位置。第二段做空间视听指令微调，用 175,000 对基准训练问答同时给视觉、单声道与空间词元，更新投影器与语言模型 LoRA，编码器仍冻结，目标是学会按任务调用不同线索，例如认铃声靠单声道、判可见或隐藏靠空间加视觉。第 3 段做思维链微调，用 94,500 对思维链格式答案继续微调，学先推理后给规范化答案。
目标函数每段都是对目标答案词元的自回归交叉熵。附录对比了直接把第二段与思维链数据混在一起联合训练的做法，发现联合训练在对应关系与隐藏声源上也有提升，但异我中心定位与接近度不如先做第二段再做思维链的分阶段做法。论文没有报告只用思维链而不做前两段的结果，也没有报告解冻编码器会怎样，因此冻结策略的必要性只能按原文给出的对照理解，不能推广为编码器必须冻结。
直接答案监督 × 思维链监督： 直接答案监督指只让模型输出最终选项或分箱标签；思维链监督指先写出声音事件、方向距离估计、可见性检查和视角变换等中间步骤再给出规范化最终答案；后者给多步空间查询提供显式分解，搭配课程训练后用于需要比较距离和变换视角的推理任务。
训练超参数按原文是 bfloat16 精度与 FlashAttention，热身比例 0.05，梯度裁剪 1.0，每卡批量 4 并累积 4 步，共 2 轮。数据规模消融显示 10% 数据已能在自我中心定位上明显超过无双耳的 100% 数据模型，50% 到 100% 主要改善关系推理与描述，个别定位指标随数据量非单调变化，说明双耳建模的增益不能简单归因于数据量。
评测在什么划分、指标和基线下比较
主评测在基准测试划分上进行，除远场语音用词错率越低越好、场景描述用 CIDEr-D、METEOR 与 SPIDEr 越高越好外，其余任务都用准确率。报告为三次运行的均值加标准差。零样本基线包括多个开源视听大模型与商用模型，它们主要吃视觉加单声道，多通道模型只按原文适用范围评部分定位任务。微调基线有 3 类，一是 Hear You Are LLM，原用全景图，本文把它适配到同样的普通视场图像、32 kHz 双耳音频与问答格式，微调视觉通路、投影与语言模型而冻结音频编码器。
二是 Qwen2.5-Omni 基座本身在基准上微调，只吃视觉加单声道；三是双通道 Qwen2.5-Omni，把左右声道分别过原单声道通路得到两路词元送入语言模型，不加专用空间编码器，用于分离出只是看到双通道与显式空间建模的区别。
真实迁移用 STARSS23，把官方开发集切成 10 秒无重叠片段，去掉无视频片段后剩训练 1317 段、测试 1116 段，取中点帧做透视图像，用 CIPIC 受试者 048 头相关传输函数把 1 阶 Ambisonics 转成双耳，只用静态声源并按角度变化 5 度内、相对距离变化 20% 内筛选，方向距离离散到与基准相同的箱子，可见性按声源方向是否落入相机视场几何定义。由于缺少物体级遮挡与房间布局标注，跨房间、隐藏声源与异我中心等题在真实集上不构造，避免用不确定伪标签。
听觉保住了吗、定位提升了多少
论文用人工核查来检验模拟器流程生成的问答是否可靠。从抽取的 150 个场景中取出 1144 个问答，请 3 位标注者逐条检查声音是否可听、空间位置能否辨认、题面提到的候选物体是否可见，以及可见性与藏匿位置的标注是否与图像和声音一致。 下表比较不同任务家族下的人工核查通过情况，列出每类任务的总数、通过数、未通过数与通过率，用来说明模板化生成在各类空间推理上的稳定程度。
| Task family | Task | Total | Passed | Failed | Pass rate |
|---|---|---|---|---|---|
| Spatial hearing | Sound event recognition | 112 | 112 | 0 | 100.0% |
| Spatial hearing | Far-field ASR | 29 | 29 | 0 | 100.0% |
| Egocentric grounding | Direction | 98 | 98 | 0 | 100.0% |
| Egocentric grounding | Distance | 98 | 98 | 0 | 100.0% |
| Allocentric grounding | Direction | 148 | 146 | 2 | 98.6% |
| Allocentric grounding | Distance | 148 | 148 | 0 | 100.0% |
| Relational reasoning | Visibility | 107 | 105 | 2 | 98.1% |
| Relational reasoning | Hidden source | 66 | 65 | 1 | 98.5% |
| Relational reasoning | Loudness change | 111 | 109 | 2 | 98.2% |
| Relational reasoning | Proximity | 126 | 122 | 4 | 96.8% |
| Relational reasoning | Correspondence | 101 | 101 | 0 | 100.0% |
| Overall | – | 1,144 | 1,133 | 11 | 99.0% |
表中总体通过 1133 条，未通过 11 条，总通过率为 99.0%。空间听觉与自我中心定位两类全部通过，异我中心方向、可见性、藏匿源、响度变化与邻近关系有少量未通过，其中邻近关系通过率最低为 96.8%。这说明生成流程整体可靠，但涉及多物体距离比较和遮挡判断时仍有歧义，模板答案不能完全代替人工判断。 左例有多台外观相近的搅拌机，右例发声的鸟不可见，两个例子都需要把双耳声音的方向距离线索与画面中的物体布局结合起来，才能在语义相同但位置不同的候选项之间做选择，图注与像素标注共同给出了真值与模型选择。
看图路径： 1. 看左例三个同类搅拌机中真正发声实例的位置标注；2. 看右例不可见鸟声被判为藏在床后的选项；3. 对比单声道基线与带双耳输入模型在两例上的对错
论文图 3。原论文 Figure 4:：“Qualitative examples of spatial grounding.”。
该图左例的发声搅拌机标在前右，另有两个同类干扰物，单声道模型选前左错误，Hear You Are 与本文模型选前右正确；右例鸟声不可见，单声道模型猜隔壁房间、Hear You Are 猜视场外前方，本文模型选藏在床后正确。2 例共同说明显式空间线索有助于在语义相同但位置不同的候选间做选择，也有助于把不可见声源落到具体遮挡关系而非笼统的看不见。
关系推理与场景描述是否跟着变好
第二个问题是定位增益能否传到场景级推理。零样本模型在可见性上可达 70% 量级，因为很多时候只看图像就能猜，但在对应关系、隐藏声源、响度与接近度上普遍偏低。微调后各项明显上升，而本文模型在可见性、对应关系、隐藏声源、响度、接近度上同时最优，场景描述的 SPIDEr 最优，CIDEr-D 与 METEOR 最优仍是双通道变体。 下表比较关系推理准确率，关系推理以准确率报告，描述指标另行评价，数值越高越好。
| Model | Visibility (Acc. %) | Correspondence (Acc. %) | Hidden source (Acc. %) | Loudness (Acc. %) | Proximity (Acc. %) |
|---|---|---|---|---|---|
| Random chance | 50.00 | 9.49 | 20.00 | 50.00 | 28.68 |
| Dual-channel Qwen2.5-Omni | 77.30 | 69.07 | 60.12 | 72.59 | 55.64 |
| HLR-LLM (Ours) | 80.51 | 76.19 | 67.23 | 80.87 | 61.50 |
表中 HLR-LLM 在五项关系推理上均高于双通道基线，场景描述上 HLR-LLM 的 SPIDEr 最优，双通道的 CIDEr-D 与 METEOR 最优。
这个比较的适用条件值得说明，隐藏声源测试中不可见比例高达约 69%，与训练约 46% 不一致，模型是在不可见偏多的分布下被评价；接近度排除了相邻房间声源以避免欧氏距离与实际传播路径不一致，并列最近的情况直接跳过，因此结论不覆盖跨房间最近关系。失败例显示主要误差在分箱边界附近，例如后左与左混淆，以及多声源空间接近且非目标更响时会被更响的声源带偏。
反事实分析把图像固定而只换双耳位置，模型会跟着音频改变定位与响度判断，例如同一只可见狗在前左 0.9 米时移到暖气片会变轻、在前方 4.1 米时移到台阶会变响，说明推理确实在用空间音频而非只看狗在哪里。
拿掉视觉、拿掉双耳、换掉训练会发生什么
消融要分离输入与训练的贡献。去掉视觉后自我中心方向仍能保持较高水平，因为双耳本身带有直接的方向距离线索，但异我中心与接近度明显下降，因为缺少图像给出的物体位置；纯视觉模型各项定位都很差，说明声源在视野外或被遮挡时只看图像不够；去掉双耳后自我中心方向掉到很低水平，说明单声道缺少定位线索，但接近度相对保留较多，说明部分物体级关系还能靠视觉与语义补救。
训练对照中只做前两段已经很强，联合混训在对应关系与隐藏声源上有提升但不是所有定位都提升，分阶段先指令后思维链在异我中心、对应关系与接近度上最好。 下表比较不同输入与训练方式下的定位和关系推理，均为准确率，括号前为均值，括号后为三次运行的标准差。
| 编号 | 方案 | 输入 | 自我中心方向 | 自我中心距离 | 对应关系 | 隐藏声源 | 接近度 |
|---|---|---|---|---|---|---|---|
| (a) | 去掉视觉 | M+B | 74.72 ± 0.36 | 50.64 ± 0.54 | 57.11 ± 0.11 | 66.62 ± 0.21 | 34.13 ± 0.12 |
| (b) | 只用视觉 | V | 31.20 ± 0.14 | 20.33 ± 0.49 | 26.71 ± 0.02 | 24.16 ± 0.43 | 37.09 ± 0.55 |
| (c) | 去掉双耳 | V+M | 32.69 ± 0.26 | 30.92 ± 0.42 | 55.73 ± 0.07 | 51.24 ± 0.58 | 47.11 ± 0.27 |
| (d) | 第二阶段训练 | V+M+B | 77.92 ± 0.05 | 52.44 ± 0.37 | 67.69 ± 0.11 | 66.52 ± 0.35 | 56.23 ± 0.43 |
| (e) | 联合训练 | V+M+B | 78.00 ± 0.15 | 53.04 ± 0.17 | 72.71 ± 0.23 | 69.78 ± 0.24 | 56.92 ± 0.21 |
| (f) | HLR-LLM | V+M+B | 78.21 ± 0.34 | 55.56 ± 0.27 | 76.19 ± 0.11 | 67.23 ± 0.37 | 61.50 ± 0.51 |
表中可见双耳对自我中心定位作用最大，视觉对异我中心和接近度不可缺少，而分阶段思维链微调在对应关系和接近度上比联合混训更稳定，说明把定位输出再与候选物体逐一比较的中间步骤是有帮助的，但附录也交代了这种训练会拉低场景描述与远场语音，存在权衡。本表数值与单位依据论文 PDF。
下面这张图用两个具体例子说明思维链如何把定位变成关系答案，左为接近度，右为对应关系，值得对照表格中的对应列来看。
看图路径： 1. 看左例接近度推理中声源到各候选物体的距离比较链；2. 看右例发声萨克斯在前左而可见萨克斯在前右时的无对齐结论；3. 注意思维链先定位再比较物体布局的两段式写法
论文图 4。原论文 Figure S1:：“Figure S1: Qualitative chain-of-thought reasoning examples from HLR-AVSceneQA.”。
左例把电搅拌机声定在左侧 1.3 米处，再算出小孩离声源 1.6 米最近从而排除鼓等干扰物；右例把萨克斯声定在前左 2.0 米处，而可见萨克斯在前右方向从而选择无对齐。这 2 例把距离比较链与方向不一致论证写清楚，是可复述的中间步骤。
仿真学到的空间先验能搬到真实录音吗
真实迁移只在 STARSS23 上做声音事件、自我中心方向距离与可见性四项，因为缺少隐藏与异我所需的物体几何与遮挡标注。比较分有无基准预训练两档，每档比较 Hear You Are 与本文模型。 下表为真实适配结果，均为准确率越高越好，预训练指先在基准上预训练再在真实集上微调。
| ID | 模型 | 预训练 | 声音事件 | 方向 | 距离 | 可见性 |
|---|---|---|---|---|---|---|
| (a) | Hear You Are LLM | – | 38.66 ± 0.16 | 15.25 ± 0.57 | 34.87 ± 0.35 | 62.35 ± 0.07 |
| (b) | Hear You Are LLM | ✓ | 40.80 ± 0.76 | 16.15 ± 0.36 | 26.93 ± 0.45 | 63.80 ± 0.48 |
| (c) | HLR-LLM | – | 44.59 ± 0.13 | 16.13 ± 0.04 | 28.11 ± 0.04 | 69.67 ± 0.18 |
| (d) | HLR-LLM | ✓ | 53.93 ± 0.14 | 29.92 ± 0.13 | 35.13 ± 0.07 | 71.68 ± 0.09 |
表中无预训练时本文模型已在声音与可见性上占优，有预训练后四项同时最优，方向从 16% 量级升到 29% 量级，说明仿真预训练提供了可迁移的空间先验。
距离项在有预训练的对照组中出现波动，说明真实录音的混响与视角转换仍会带来不确定性，迁移效果需结合四项一起看，不能只看单项高低。
哪些结论出不了仿真房间、哪些误差还很大
论文自述的边界很明确。场景全是室内静态，智能体不移动，声源不移动，不做主动感知与具身交互；声学来自仿真卷积，不能完全代表真实房间的材料与噪声；方位只考水平角，不考俯仰角，因为人耳水平定位更稳。数据上训练测试的场景、房间与物体网格实例不重叠，但语义类别重叠，因此测的是新布局与新实例的泛化，不是新类别的泛化。
评价上方向距离都是离散箱，边界附近 22.5 度或 0.5 米的微小几何差会被放大为对错，失败例也集中在相邻方向与空间聚集候选上。指标上准确率只看是否命中箱，不反映偏了多远；描述指标是自动指标，不等于人工对隐藏关系是否讲对的评价。真实集只验证四项且可见性是几何定义的是否落入视场，不验证遮挡原因与跨房间推理，因此不能把真实迁移的最优说成全部十二项都能搬。
思维链答案由模板确定性生成，问题改写才用大模型润色，意味着中间步骤的语言多样性有限，模型可能学会模板结构而非通用推理。
要复现先准备什么、第一步跑通什么
复现值得尝试的时机是已有视听大模型但缺定位能力，且能接受仿真训练加真实微调的路线。第一步不是直接训大模型，而是先按原文搭数据管线，用 Habitat 与 SoundSpaces 2.0 把干声与房间脉冲响应卷积成双耳，把 HM3DSem 房间、Objaverse-XL 与生成网格、VGGSound 与 LibriSpeech 按官方划分装好，渲染 90 度视场图像并导出智能体位姿、物体坐标、声源归属与可见遮挡元数据，再按 8 方向箱与 10 距离箱生成问答。基座用 Qwen2.5-Omni 默认视觉与单声道预处理不动，空间支路用 BAT 的 Spatial-AST 特征加线性激活线性的投影器，音频前端用 1024 窗、320 跳、128 梅尔。
先跑第 1 个阶段 51.4 万纯音频对齐只训投影器，再跑基准指令微调同时训投影器与 LoRA，最后跑思维链微调。作者资源当前可用的是项目网页，论文给出代码与基准数据的网页链接，资源 1 与资源 2 本次检查可用，但代码可用不等于权重可下载，权重可下载不等于开箱即运行，三者要按网页实际说明分别确认。训练成本原文只给 4 卡 A6000、2 轮、每卡批量 4、累积 4，没有给出推理延迟与显存占用，复现时要自己补测。
什么时候值得用、还缺哪项验证
如果任务是室内问答、助听提示或机器人找声源，且输入能保证双耳或多通道同步与普通视场图像，这套双支路加思维链的写法值得一试，因为它在不牺牲事件识别的前提下把定位与关系推理一起提升，且仿真先验对真实方向判断有帮助。如果只有单声道录音、只有全景图或需要连续角度距离而非分箱答案，则不值得直接套用，因为主要增益来自双耳，视角假设与离散评价都变了。
还缺的验证包括连续定位误差、跨新声学环境与新类别的泛化、思维链在非模板措辞下的稳定性，以及训练与推理开销、输出延迟的实测。容易产生的误解是把分箱准确率当作米级测距精度，把自动描述分当作人工理解为隐藏关系讲对，把真实集四项最优当作十二项都能迁移，把注意力更集中当作定位更准的证明，这些在原文证据下都不成立。
回到三层任务复述，听见层认出是什么，定位层用双耳算出相对当前与假想视点的方向距离，推理层把定位结果与可见物体布局对齐后回答是否可见、藏在哪里、离谁最近、移动后变响还是变轻，整个链条的每一步都依赖同一批仿真标注，因此结论的适用条件就是这批仿真划分与离散规则。
📎 论文与评分元数据
排名：前25% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses