📄 相机动了，声音该往哪偏：用野外自运动监督双耳定位
英文题目：Supervising Sound Localization by In-the-wild Egomotion
标签：#声源定位 | #弱监督学习 | #数据集 | #音视频
评分：6.3/10 | 创新 1.4/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Anna Min：Tsinghua University
- Ziyang Chen：University of Michigan
- Hang Zhao：Tsinghua University；Shanghai Qi Zhi Institute
- Andrew Owens：University of Michigan
📌 核心摘要
该任务输入双通道立体声音频片段，输出声源方位角，难点在于在野录音设备响应各异且多声源重叠间歇，难以仿真。该方法先用SuperGlue与Perspective Fields从视频帧估计相机旋转方向与前后平移方向，再将音频片段经短时傅里叶变换送入ResNet-18输出32类方位分布，最后用旋转一致性损失、平移一致性损失与耳间强度差损失联合训练，使两时刻预测的角度变化与视觉自运动方向兼容。与联合学习视觉位姿的GTRot相比，关键差异在于冻结现成几何估计只取二值运动方向而非精确角度，从而容忍内参未知与匹配噪声。在Overlap Intermittent模拟场景下，Ours-Full的MAE指标为24.1°，低于GTRot的MAE指标26.9°。结论仅适用于方位角且假设声源相对静止并折叠前后半球，远距离与重度混叠下平移线索几乎失效。该结论的适用边界受限于近距离单侧声源与以旋转为主的自运动，远距离与前后半球外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，先看野外视频的难点
本文输入是无标注的野外音视频，目标是只用立体声学会计出声音的水平方位角。作者明确只估计方位角，白话就是左右方向的角度，不估计仰角和距离，因为仅靠音频难以感知后两者。输出被表示为在均匀网格上的分布，原文把负 90 度到正 90 度之间划分成多个角度类别，模型对每段音频输出属于每个类别的概率。
野外数据的特点是相机在走，声音也在混。论文强调自然录音难以仿真，立体麦克风对的几何与频响差异大，录到的往往是多种声源的混合，难以提取学习信号。另一个现实约束是多数野外视频是立体声而非双耳声，单靠一段音频难以判断声音在前还是在后，作者在训练时假设所有声源在一侧，并在评估时把预测反射到前方以避免前后混淆。
下图展示了这种野外设定，上方是复杂街景与未知主导声源，下方是相机运动与周围行人汽车声音的相对关系，说明相机动而声源近似不动时可以提供跨模态约束。
看图路径： 1. 先看顶部虚线框内标注的未知主导声源与音乐脚步声汽车等混合标注；2. 再看中间步行街画面与底部相机旋转箭头及行人汽车波形环的对应关系；3. 最后确认相机运动与声音相对运动反向的示意逻辑
论文图 1。原论文 Figure 1:：“Supervising sound localization using egomotion from natural video.”。
该图上半部分用虚线框标出未知主导声源，框内列出音乐、语音、脚步声、汽车等同时存在的成分，中间叠放的 2 帧步行街画面表示相机在行进中视角变化。下半部分画出相机模型与旋转箭头，外圈虚线椭圆上分布着行人与汽车的波形标记，表示声音相对相机的方位。导读时应把画面偏移方向与波形位置变化联系起来，理解监督来自方位变化与相机运动的相关性，而不是来自声源可见或类别先验。当前无可用代码与数据链接，本次未能确认可达，不写已公开。
同任务的已有路线为何不够用
空间音频定位的常见路线包括依赖合成数据训练、依赖特定双耳线索、依赖特定视觉目标类别。论文指出这些路线在真实场景受限，合成难以覆盖设备与混合声的变化，特定线索或类别则限制适用域。另一条相关路线是时延估计与联合学习相机旋转与声源方向，代表工作需要简单仿真场景或手工选择的双耳线索。
本文与该路线的区别有三点。第一，不联合训练视觉与音频模型，而是用现成的多视图几何方法估计相对位姿，再训练声音定位模型去与该运动一致，因此能处理多样运动与相机平移。第二，不要求声源可见，也不限制目标类别，监督来自运动方向而非语义对应。第三，训练完全使用野外自然视频，包括复杂相机运动与噪声混合，而对照方法需要简单仿真场景。
数据集方面，已有空间音频数据集多在实验室录制、相机静止、时长与声音类型有限，需要人工标注。作者提出首个带自我运动与人工方向标注的野外立体声数据集，强调用相机运动信号作为免费监督，避免多麦克风或专用眼镜等硬件约束，同时覆盖更动态的运动模式。
问题如何形式化，什么假设必须记住
形式化上，给定一个音频片段，随机取两个短片段，记为时刻 t 与时刻 t’ 的 s1 与 s2。对每个片段预测角度分布 f(s)，输出是 n 类分类，原文实现取 n 等于 32。视觉侧为该片段提供二值标签，旋转方向 dr 表示顺时针或逆时针，平移方向 dt 表示是否前移。学习目标是让两个音频预测的角度组合与视觉方向兼容。
关键假设是声源变化比相机慢。在互联网步行视频中，多数声音较远，声源自身的角速度远小于相机旋转的角速度，因此相对平移可以忽略，相对旋转主要由相机引起。验证与测试集的筛选正是为了强化该假设，用声强差变化与旋转方向一致性来挑选稳定声源。另一个假设是前后侧已折叠，训练假设声源在一侧，评估把预测反射到前方，这意味着前后分辨不是本文立体声主任务的评价对象，前后实验只在入耳式双耳子集上单独讨论。
复述时必须保留的信息是监督是方向而非角度。作者明确写道，预测相机旋转方向比获得精确角度更容易，后者可能需要相机内参，因此只用二值方向作为伪标签。这是弱监督的核心取舍，用更粗但更稳的信号换取大量野外数据。
方法全景：一个样本走完全流程
拿一个 5 秒野外片段为例，流程分 3 步。第一步，视觉分支以每秒 5 帧采样，用预训练的 SuperGlue 做特征匹配，结合视场估计得到帧间旋转矩阵与平移向量，再按 3 帧与 6 帧间隔累积，得到该片段的旋转方向与前后平移方向。第二步，音频分支把双通道波形经短时傅里叶变换变成频谱，保留幅度与相位，送入共享权重的 ResNet-18 编码器，映射到 32 类方位 logits，再归一化为分布。第 3 步，把两时刻的分布做外积，与视觉方向兼容的角度对掩码相乘求和，得到与方向标签的交叉熵损失，同时用左右声强差约束单时刻分布，最后加权求和优化音频模型，视觉模型冻结不更新。
下图是方法总览，左侧是两时刻音频与共享编码器，右侧是两时刻视图与冻结的相机运动估计，底部是掩码求和与相对运动示意。
看图路径： 1. 先沿右侧两时刻街景经相机运动估计得到旋转与平移方向的主路径；2. 再看左侧两段音频经共享权重编码器得到定位预测的分支；3. 最后看底部掩码求和与相对旋转平移示意如何把两分支约束起来
论文图 3。原论文 Figure 3:：“Method overview. We use a camera’s egomotion to supervise binaural sound localization models.”。
该图右上与右下分别给出 t 与 t’ 时刻的街景，中间灰色竖条是冻结的相机运动估计，输出旋转方向与平移方向。左上与左下是对应时刻的双层频谱示意，经共享权重的空间音频编码器得到定位预测。底部右侧用俯视图示意相机运动如何分解为相对旋转与相对平移，底部左侧的网格掩码表示只对兼容的角度对求和。阅读时先确认视觉分支带锁形标记表示不训练，再确认音频分支的箭头最终受声音相对运动约束，从而理解梯度只流向音频编码器。
三个损失各自算什么，如何组合
第一个组件是旋转损失。记两时刻预测分布为 f(s1) 与 f(s2)，所有兼容的角度对集合为 R，条件是正弦差与旋转标签同号，损失是对兼容对概率之和与方向标签的交叉熵。直观讲，如果视觉说相机顺时针转，音频的 2 次预测就应该呈现相应的相对偏移，否则惩罚。原文还说明为防止坍缩到平凡解，排除两角度相等的情况。
\[\mathcal{L}_{\mathtt{rot}}=L_{\mathtt{ce}}\left(\sum_{(i,j)\in R}f({\mathbf{s}}_{1})_{i}f({\mathbf{s}}_{2})_{j},d_{r}\right),\]第二个组件是平移损失。兼容集合为 T，条件是两时刻绝对值之差与平移标签同号，同样对兼容对求和后做交叉熵。直观讲，相机前移时声源相对方位的绝对值应按预期变化，音频预测需与此前移方向一致。
\[\mathcal{L}_{\mathtt{trans}}=L_{\mathtt{ce}}\left(\sum_{(i,j)\in T}f({\mathbf{s}}_{1})_{i}f({\mathbf{s}}_{2})_{j},d_{t}\right),\]第三个组件是双耳线索损失。按左右通道响度差判断声音在左还是在右，记标签为 bt，集合 B 为与该标签一致的角度，损失是对该侧概率之和的交叉熵，并在两个音频片段上平均。该项提供单时刻的左右锚定，与跨时刻的运动约束互补。
\[\mathcal{L}_{\mathtt{bin}}=L_{\mathtt{ce}}\left(\sum_{j\in B}f({\mathbf{s}}_{i})_{j},b_{t}\right),\]总体损失是三项的加权和，lambda1 控制旋转与平移的相对权重，lambda2 控制双耳项的权重。
\[\mathcal{L}=\lambda_{1}L_{\mathtt{rot}}+(1-\lambda_{1})L_{\mathtt{trans}}+\lambda_{2}L_{\mathtt{bin}},\]自我运动 × 声音定位： 自我运动负责从图像序列估计相机旋转方向与前后平移方向，提供与声源无关的几何约束；声音定位负责从双通道频谱预测方位分布，二者搭配的理由是相机动而声源近似不动时，声源相对方位的变化必须与相机运动反向一致，组合后音频模型无需真值角度即可学到方位变化规律。
旋转监督 × 平移监督： 旋转监督分工是限制前后两时刻预测角度对必须满足正弦差与旋转方向同号，平移监督分工是限制前后绝对值变化与前进方向同号，二者搭配是因为旋转对远近声源都产生显著角度变化而平移只对近处声源有效，组合后模型能同时利用角度偏移与远近变化两类线索。
耳间强度差 × 自我运动方向： 耳间强度差分工是判断声音在左还是在右，提供单时刻的左右侧约束；自我运动方向分工是判断两时刻之间方位是增大还是减小，提供跨时刻的变化约束，二者搭配是因为仅有左右判断无法确定具体角度，仅有变化约束会坍缩到平凡解，组合后左右约束锚定分区而运动约束细化角度。
实现上，掩码求和就是只对有效标签求和。训练时 Ours-full 取 lambda1 为 0.9、lambda2 为 1，只用运动监督的变体取 lambda2 为 0。需要指出，原文未报告梯度在掩码内的更细分配与重置时机，复现时应按交叉熵对兼容概率和的常规求导实现，不自行假设停止梯度。
视觉运动估计与音频编码器的分工细节
视觉侧完全复用传统方法。原文用预训练 SuperGlue 估计帧间运动，并用视角场预测水平视场，从而得到旋转矩阵与平移向量。采样是每秒 5 帧，计算每帧之间以及间隔 3 帧与 6 帧的运动，清理数据集时对任意两时刻累积按 3 帧间隔算出的旋转，有缺口时按比例调整，平移同样处理。这种设计把视觉噪声隔离在伪标签之外，音频训练只看到二值方向。
音频侧是标准频谱分类器。双通道波形经短时傅里叶变换得到频谱，保留幅度与相位，输入 ResNet-18 提取特征并映射到 1 维 logits，做 n 分类。原文实现频谱尺寸与类别数已在训练表中交代，推理时用每个类别区间中点加权求和得到平均绝对误差，用分布峰值或区间映射得到二分类与八分类精度。评估前把预测反射到前方，以消除立体声的前后模糊。
这种分工的意义在于可扩展性。视觉模型无需在野外视频上再训练，音频模型则可以吃进大量无标注视频。代价是视觉方向错误会直接变成监督噪声，因此验证测试集需要用声强差变化方向与旋转方向一致、且旋转角足够大等条件筛选稳定片段。
训练与数据构造的实际动作是什么
训练动作是监督音频编码器，视觉估计器冻结。优化器用 AdamW，学习率 0.0001，余弦退火与早停，单模型训练约 2 小时。每次训练用相同随机种子且因计算限制每组数字只训练 1 次，这是复现时必须注意的统计局限，单次运行的差异未被报告。
数据构造动作包括切分、估计、筛选、标注。切分是把视频按每 3 秒切出 5 秒片段，估计是用 SuperGlue 得到旋转与平移，再算耳间强度差。筛选分两层，一层为训练保留有运动的片段，另一层为验证测试挑选声源稳定且运动清晰的片段，要求旋转方向与声强差变化方向一致、旋转角大于阈值，并按旋转角采样以保证分布相对均匀。标注由人工在最佳耳机条件下完成，包括音频质量、16 类方位或未知、声音类别与声源运动方向，质量过低则跳过。
多视图几何 × 伪标签： 多视图几何分工是用现成特征匹配与位姿估计得到旋转矩阵与平移向量，不参与音频梯度更新；伪标签分工是把连续位姿简化为顺逆时针与是否前移的二值方向，用于交叉熵监督，二者搭配是因为精确角度需要内参且噪声大而方向更稳健，组合后视觉只提供弱但大量的免费监督。
下表整理训练与切分中实际出现的规模与超参数，数字与单位保留原文写法，裸值不擅自添单位。
| 阶段 | 操作对象 | 切分与采样 | 运动筛选 | 规模与预算 |
|---|---|---|---|---|
| 野外切分 | 互联网步行视频 | 5-second clips，3-second overlap | 旋转角小于 10 degrees 过滤，另有 15 degrees 过滤 | 20 hours 视频，合成对照 30 hours |
| 相机估计 | 5 秒视频 | 5 frames 每秒，5 sec 视频 | 旋转矩阵与平移向量逐帧及间隔累积 | 冻结估计器 |
上表前已提出比较问题，训练预算是否一致直接影响不同变体的可比性，表中同一硬件与批量与轮数说明主变体在相同预算下比较，指标方向是误差越小越好、精度越高越好。上表后需要解释代价，冻结视觉分支节省了联合训练成本，但单次训练与固定种子的做法使结果方差未知，旋转阈值过滤虽提高监督质量却丢弃了小运动与短促音效，这是野外清洗的取舍。未胜出项是小旋转片段，原文明确丢弃而未评测其上的定位表现。
| 环节 | 输入规格 | 编码器 | 优化设置 | 监督权重 |
|---|---|---|---|---|
| 采样 | 5 frames 每秒，5 sec 视频 | SuperGlue 冻结 | 累积旋转与平移 | 方向二值标签 |
| 训练 | 80 GB A100，batch 300 | ResNet-18 频谱 | 100 epochs，AdamW 0.0001 | Ours-full lambda1 0.9 lambda2 1 |
| 推理 | 双通道频谱幅度相位 | 32 类分布 | 区间中点加权算误差 | 反射到前方 |
上表聚焦可复现的计算条件，公平条件是同一采样与同一优化器下比较不同损失组合，指标方向与上表一致。上表后应指出，频谱尺寸与类别数决定了角度分辨率，32 类意味着每类约数度宽度，平均绝对误差通过区间中点加权得到，因此误差包含量化成分，不能直接等同于连续回归误差。未报告的缺项是学习率调度细节与早停耐心值，复现时需自行记录。
在什么数据与协议上测，与谁比
评测数据包括野外子集与仿真子集。野外有从 YouTube 搜步行游览得到的立体声训练集，以及用 iPhone 13 Pro 在喷泉旁固定多角度录制的立体声集、用入耳式双耳麦录制的双耳集，还有室内音乐与外部双耳场景集。仿真用 SoundSpaces 2.0 在 Habitat-Matterport 场景中卷积 LibriSpeech 单声道得到双耳音频，加入旋转平移与移动声源，记为 HM3D-SS 2.0。划分上仿真按场景分为训练验证测试，野外验证测试经人工标注方位与类别。
基线包括随机猜测、直接用耳间强度差判断左右、GTRot 用伪旋转角与伪双耳线索的更强监督、仅用双耳损失的变体、仅用仿真训练的模型，以及全损失模型。指标是角度平均绝对误差越小越好，二分类与八分类精度越高越好。由于立体声前后模糊，评估把预测反射到前方。 下图是室内音乐子集的采集示意，帮助理解设备与标注几何。
看图路径： 1. 先看四组室内静态画面的拍摄视角差异；2. 再看每组旁边虚线圆内蓝色箭头指示的标注方位；3. 最后看右侧手机上下双麦克风示意与录制几何的关系
论文图 6。原论文 Figure 6:：“Examples from the Stereo-Music subset. We record sound using a stereo microphone in a scene containing music.”。
该图左侧 4 组室内静态照片显示不同拍摄朝向，中间虚线圆内蓝色箭头表示该次录制标注的声源方位，右侧手机示意标出顶部与底部立体麦克风位置。观察时应确认箭头是相对手机的方位而非图像中物体的位置，从而理解静态相机下方位标注依赖激光对准与人工记录，而非视觉估计。
下表整理仿真构造中实际报告的规模，数字保留原文。
| 构造项 | 生成方式 | 规模 | 混响与场景 | 划分 |
|---|---|---|---|---|
| 视听对 | SoundSpaces 卷积 LibriSpeech | 50,000 对，200,000 视点 | RT60 0.4s | 81/9/10 场景 |
| 野外对照 | YouTube 步行与喷泉实录 | 20 hours 野外，30 hours 合成 | 室内外混合 | 人工标注验证测试 |
| 采样 | 5 frames 每秒 | 5 sec 视频 | 旋转平移累积 | 冻结视觉 |
上表前的问题是仿真与野外规模是否对齐以保证公平，表中 30 小时合成与 20 小时野外量级接近，场景按 81/9/10 划分避免泄漏，指标方向是误差越小越好。上表后应说明代价，仿真因暂不支持材质与移动声而用不同位置声源模拟移动，这与真实移动声有差距，因此仿真上的优劣不能直接推广到野外。未评测边界是室内音乐数据的定位，原文仅报告分类精度低而未纳入主定位比较。
主结果测什么，支持什么判断
主结果测野外定位与跨域泛化。论文报告全损失模型在野外子集上优于仅用双耳线索与仅用仿真训练的模型，也优于使用更强旋转监督的 GTRot，支持方向弱监督比精确伪角度更能适应重叠与间歇声的判断。同时报告仿真训的模型在野外表现不佳、野外训的模型在仿真上也不佳，支持存在仿真到真实差距、必须在野外用运动监督训练的判断。在外部野外双耳基准上，微调后的模型与基于时延与对比随机游走的自监督方法相当。
下图展示野外步行视频的可视化，包含脚步声、流水声、语音、音乐 4 组。
看图路径： 1. 先按图例区分两时刻视场角与两时刻真值虚线和预测实块；2. 再对比脚步声流水声语音音乐四组中预测块与真值虚线的重合程度；3. 最后观察视场角偏移与预测角度偏移是否同向
论文图 4。原论文 Figure 4:：“Visualizations of results in the internet walking tour videos (the YT-Stereo subset). We show our predictions and ground-truth annotations with angles and audio class labels.”。
该图每组左侧为两时刻的街景或场景图，右侧为半圆方位图，图例区分两时刻视场与两时刻真值虚线和预测实块。以脚步声组为例，深浅橙色实块与橙色虚线在中心附近重合，表明预测接近标注；以音乐组为例，预测块偏向右侧，与真值虚线同在右侧半区，表明左右判断正确但具体角度仍有偏差。阅读时先按图例确认虚线是真值、实块是预测、蓝色弧是视场，再比较预测与真值的角度差，不能把视场弧的宽窄当成精度。
下表是论文明确报告的室内音乐与外部场景上的监督分类结果，数字来自连续原句，可作为失败条件的定量证据。
| 数据集 | 任务类型 | 划分方式 | 精度 | 适用条件 |
|---|---|---|---|---|
| RWAVS Dataset | supervised 4-classification | 80%/10%/10% splits，11 scenes | 50% | 双耳麦，多场景扬声器 |
| Stereo-Music Dataset | supervised 4-classification | 随机混合划分 | 28% | iPhone 静态，室内音乐 |
| 野外步行 | 方位定位 | 人工稳定片段 | 未在此表报告 | 运动监督主战场 |
| 仿真对照 | 方位定位 | 81/9/10 场景 | 未在此表报告 | 可控重叠间歇 |
| 前后分辨 | 前后分类 | 喷泉固定角度 | 未在此表报告 | 需入耳线索 |
上表前的问题是室内音乐是否与野外步行同等可学，公平条件是同为监督四分类、各自划分训练验证测试，指标方向是精度越高越好。上表后应解释，50% 与 28% 均不高，支持当前模型在室内音乐分布上不足的判断，代价是若把该分布混入主训练可能拉低整体表现。未胜出项是 Stereo-Music 的 28%，明确显示静态室内音乐比多场景双耳数据更难，这限定了方法的适用边界。
消融与反证：重叠声与旋转平移各自起什么作用
消融围绕损失组合与声场景复杂度展开。变体包括全损失、旋转加双耳、平移加双耳、旋转加平移、仅双耳、仅仿真。论文在仿真上设置单声源、重叠、重叠加间歇、更多数据的重叠间歇四档，相机均含小范围平移。报告显示有限数据下单声源时 GTRot 最好，而重叠与重叠间歇时全损失模型超过 GTRot，更多数据时两者相当。这支持方向监督在复杂场景泛化更好的解释，但属于有限解释而非因果证明，因为数据量与声源响度比同时变化。
另一组对照是旋转与平移的贡献。设置包括仅旋转、仅平移、旋转加平移、远距离旋转、远距离旋转平移、重叠旋转平移。报告显示近处声源、小相机平移下仅靠运动方向已能定位，远距离时平移带来的角度变化小，需旋转加双耳才能捕捉，重叠时运动方法仍与最优相当。这支持旋转是主导信号、平移是近场补充的判断。原文还指出野外步行声多较远，旋转角速度远大于声源相对角速度，因此去掉平移损失在该子集上与全模型相当。
仿真数据 × 野外数据： 仿真数据分工是提供已知声源位置与相机位姿的可控对照，用于分离重叠与间歇的影响；野外数据分工是提供真实设备响应与混合声的分布，用于检验泛化，二者搭配是因为仿真易控但与真实设备差距大，组合后能判断方法是真的利用运动还是过拟合仿真混响。
前后模糊实验单独比较设备。喷泉旁同位置用 iPhone 立体麦与入耳式双耳麦录制，监督 360 度定位显示双耳集前后精度更高，支持耳廓与头部带来的额外线索有助于前后分辨。这也反证了立体声主任务把预测折叠到前方的合理性，不能把该折叠后的误差当成 360 度误差。
限制是什么，哪些数字不能互相比较
限制首先是数据清洗的取舍。低质量立体声与普遍重叠声使有效片段筛选困难，从大量无标注单目视频中过滤可能遗漏短促音效。阈值过滤虽提高稳定性，但丢弃了小旋转与短时声音，未报告被丢弃部分的性能，因此结果只适用于运动明显且声源相对稳定的片段。
其次是评价口径。平均绝对误差经区间中点加权得到并经前方反射，不同指标的差值不能混放，百分点与相对百分比不同，自动指标不能当成人评。前后精度只在喷泉双耳对照上报告，不能与野外步行的前方误差直接比较。仿真与野外的麦克风、混响、声源距离不同，数值相同也不是同一指标的证据。
再次是统计与成本缺项。每组数字因计算限制只训练 1 次且用相同种子，未报告方差与显著性。训练资源只报告单模型约 2 小时与硬件批量轮数，未报告推理开销、帧率与延迟，不能承诺实时性改善。相关性不等于因果，运动与方位变化相关支持弱监督有效，但未测量误判率与延迟时不应声称这些量得到改善。
复现先做什么，需要哪些信息条件
先复现视觉伪标签。按每秒 5 帧采样，计算帧间及间隔 3 帧与 6 帧的旋转矩阵与平移向量，对两时刻累积 3 帧间隔的旋转与平移，有缺口按比例调整，再取旋转方向与是否前移的二值标签。同时算耳间强度差的左右标签，公式为左右频谱幅度比取对数再取符号。切分按每 3 秒切 5 秒，训练过滤小于 10 度的旋转，验证测试进一步要求方向一致、旋转大于 15 度并按角度均匀采样。
再复现音频模型。双通道波形做短时傅里叶变换保留幅度相位，送入 ResNet-18 得到 32 类 logits，全损失取 lambda1 为 0.9、lambda2 为 1，仅运动监督取 lambda2 为 0，优化用 AdamW 学习率 0.0001 加余弦退火与早停。损失按旋转、平移、双耳三项实现掩码求和的交叉熵，排除角度相等以防坍缩，两片段的双耳损失取平均。评估把预测反射到前方，用区间中点加权算误差。
信息条件上，原文给出模型、采样、优化与权重，但未给出早停耐心、频谱窗长 hop 细节与完整清洗代码。本次资源状态为未发现来源绑定且完成验证的资源，不得声称代码模型数据已公开，复现应先补验证集标注问卷与阈值脚本，再补方差与延迟测量。
何时值得尝试，还需补哪项验证
当你有大量无标注步行视频、立体声设备固定在相机上、声源相对相机变化慢时值得尝试。此时用冻结的特征匹配估计旋转平移方向，再训练音频方位分类器，比追求精确伪角度更稳健。旋转是主要信号，若声源多在远处可先只用旋转加左右约束，近场或室内再加入平移约束。声源不可见或类别开放时仍可用，因为监督不依赖语义对应。
常见误解是把左右正确当成角度正确。耳间强度差只能分左右，角度精度来自运动约束，八分类与平均误差才能反映细化程度。另一个误解是把仿真好当成野外好，论文明确显示跨域泛化差，应直接在目标设备上用运动监督微调一轮，而非只在仿真上调参。
还需补的验证是小运动与重叠密集片段上的表现、多次种子的方差、以及推理延迟与功耗。未来工作可引入更多视觉与上下文信息，但任何新增都应在相同切分、相同反射口径、相同硬件预算下与可运行的双耳基线同条件比较，搜索最优与事后最优只能另行标注，不能代替可部署收益。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses