关灯工厂里只靠声音和深度导航:ADAPT 如何找声源并避障
论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题,用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现,在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%,代价是依赖仿真中的特权地图和固定鸣叫信标。
论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题,用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现,在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%,代价是依赖仿真中的特权地图和固定鸣叫信标。
该文把单声道转立体声看作已知下混算子的逆问题,用冻结的立体声流模型做先验保证真实感,再用声道间相干与声级差分布奖励在推理时塑造声像,并在 MUSDB18-HQ 上以空间真实感见长但中频波形保真度有所牺牲。
FOAdapter 冻结单声道编码只传 W 声道内容,再用一条 275 bit/s 的空间码流恢复四声道 FOA,在 Spatial LibriSpeech 上把方向误差稳定到约 7 度,代价是语音客观质量低于同骨干的四通道独立编码。
论文提出查询条件下的同类多声源集合定位任务,用 40,000 场景基准检验包含缺席查询在内的集合恢复,Q-RSet 以查询加权的声源槽与证据汇聚实现最多 3 个同类源的活动与方向预测,主测试 F1 为 50.36% 但方向误差与空查询误报仍有明显代价。
本文针对带混响和噪声的球形阵列录音,用基于相对谐波系数的多输出波束形成同时提取目标声场并约束残留干扰的空间分布,仿真显示目标声场相似度保持在 0.99 而干扰相似度优于现有方法,但结论只在给定仿真房间和先验条件下成立。
FloorSAV 针对第一视角窄视野加移动声源难定位的问题,把点云、相机轨迹、声源估计和物体标注画成与视频同步的二维俯视图小视频送给音频视觉大模型做单次联合推理,在 SAVED-Bench 整体从 58.3% 提到 65.3%,代价是依赖高质量点云位姿和多通道音频且地图读数仍受模型能力限制。
论文用从消声到 12 阶镜像声源加扩散混响和阵列仿真的 20 种几何仿真训练同一多声源定位模型,在三个实测数据集上发现中等复杂度已能强泛化而更高阶与镜像源随机扰动只带来小幅提升,但阵列精细仿真代价很高。
论文针对隐式神经表示中固定激活难以组合多谐波的问题,提出每层共享的残差截断傅里叶激活,在音频、图像与神经场实验中提升重建质量,但以更高的激活计算与显存为代价。
论文针对单耳大模型丢掉双耳方位线索、专用空间模型又缺乏通用理解的问题,用语义分支加空间分支的双分支编码器和分层语义到空间调制,在大规模合成双耳场景上训练,实测在真实空间推理上大幅领先且通用单耳任务基本不下降,但细粒度轨迹和多源计数仍明显变难。
论文用真实空间音视频搭建覆盖感知、对齐与推理的 1066 题基准和 611 题场景关联诊断集,12 个模型的证据显示听觉空间定位与跨模态组合是主要瓶颈,而显式空间线索能提升定位和联合匹配却难完全解决推理。
该文把双耳两通道加头动四元数作为输入,用卷积循环网络逐时频估计方向性音频编码参数再合成一阶全景声,最强证据是无噪声消融中加权平均角度误差做到 11.82 度且主观空间质量与参数真值无显著差异,代价是声源增多和背景噪声下误差与定位准确度明显下降。
PLACE 面向文本、视频、可选音频任意组合到双耳波形的生成问题,选择冻结 AudioX 与 SAO 解码器并外挂空间对齐与低秩潜适配器,在 MRSAudio 上小规模微调并用解码音频的 ILD 与 ITD 监督方向,在 FAIR-Play 多数客观指标上优于 ViSAGe 且在 BEWO-1M 上保持部分竞争力,代价是在部分文本到音频指标与分布内主观评分上 …
RMS-AQA 针对家庭具身助手需同时判断事件是什么、在哪何时发生的问题,采用先事件接地再条件推理的两段式选择题与 10 秒一阶 Ambisonics 片段,并用实测房间脉冲响应合成训练加真实录制验证测试的组合,证明轻量空间插件能大幅提升冻结音频语言主干的接地推理链,但并发声源、远场与仿真到真实差距仍是主要瓶颈。
输入文本提示与听者轨迹,方法先建全景三维代理并发现声源再用几何声传播渲染双耳音频,在 80 个场景上以隔离源 6.91°方向误差和人类首选 79.5% 支持空间一致性,代价是离线多阶段流水线与静态几何假设。
针对混响导致跨房间泛化下降的问题,PG-SELD 用相同声场景的自由场表示作参照对混响分支做特征级蒸馏与课程训练,在 STARSS23 真实录音上报告了一致改善,但混响表数值因证据绑定不合格本文不复述具体指标值。
该研究用共享麦克风处理加掩蔽自注意力实现可变麦克风数的一阶 Ambisonics 矩阵编码,对比只看阵列传递函数的信号无关编码与同时看观测信号的信号相关编码,在 LibriSpeech 训练后于未见麦克风数、更多声源数和非语音源上仍优于静态最小二乘,而信号相关整体更强但白噪声下绝对重建仍然困难。
针对低码率一阶 Ambisonics 编码问题,论文保留标准 DirAC 分析合成、只重做空间元数据量化,用三维指向向量加跨频带残差向量量化实现恒定码率,在 750bps 元数据下重建接近 48 kbps 参考并保留可用于声事件定位检测的空间线索,代价是仍依赖外部单声道编解码器恢复 W 通道。
OmniDream 把静音单目视频先扩成全景视频与三维几何,再为每个发声对象生成干声并用光线追踪仿真脉冲响应来渲染一阶 Ambisonics,在自建集与 YT360 上报告了空间对齐提升,但全景扩展耗时约 1680 秒是主要代价。
该综述把目标说话人提取组织为音频、视觉、空间、文本语义、神经五类目标线索与判别到生成建模的演进,报告了混淆与失配等条件下的定量变化,并强调无统一最优线索与范式,需按传感、同步与部署约束选择与评估。
该文把是否融合写成共因推断,用冻结音频与视觉估计做后验加权融合,在画面内方向误差上取得可核对的下降,而代价是画面外存在小幅回升。