关灯工厂里只靠声音和深度导航:ADAPT 如何找声源并避障
论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题,用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现,在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%,代价是依赖仿真中的特权地图和固定鸣叫信标。
论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题,用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现,在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%,代价是依赖仿真中的特权地图和固定鸣叫信标。
针对重叠与运动下指定声源在指定时刻位置难定位的问题,SonicWorld 用持续声源状态组织声学证据,在 Sonic-Bench 上把单声源方向准确率从 43.75% 提升到 50.00%,代价是需要完整片段离线推理与两阶段微调。
论文研究把前向仿真学到的传感器关系图用于稀疏源定位逆任务是否有效,通过定理证明边误差容忍条件并用氢气泄漏 CFD 与声学两类 180 场景实验证明满足边准确仍因任务目标错位而失效,且给出基于 Jaccard 重叠的轻量可迁移性检验及其代价。
论文用从消声到 12 阶镜像声源加扩散混响和阵列仿真的 20 种几何仿真训练同一多声源定位模型,在三个实测数据集上发现中等复杂度已能强泛化而更高阶与镜像源随机扰动只带来小幅提升,但阵列精细仿真代价很高。
SEA-LM 针对可穿戴麦克风阵列的自我中心多声源场景,用 FOACoder 把可变阵列信号统一为一阶 Ambisonics 空间嵌入再与单声道语义嵌入联合输入大语言模型,在合成评测集上降低了方位角与俯仰角误差并改善了转写与检测,但结论只在仿真静态场景和 1211 种眼镜阵列配置内成立。
针对稀疏麦克风阵列延迟求和图像旁瓣高、两侧变宽且发射器指向性难标定的问题,该文用里程计驱动的声流预测同时学习去卷积网络与物理结构点扩散函数,在仿真中把全视场分辨率稳定到 5 到 6 度,代价是依赖运动、里程计和仿真验证。
论文用视觉估计的相机旋转与平移方向约束同一视频前后两段立体声的方位预测,并叠加左右声强差约束,在野外步行视频与仿真对照上验证了该弱监督的有效性与重叠声下的局限。
针对定位误差导致分离质量下降的问题,该工作把单点质量优化改为同一音频窗内多位置波束形成加质量加权平均,在真实办公室与商场录音上用更大初始误差验证了更快更稳的纠正过程,代价是质量估计智能体单次响应时间随测试点数增加。
针对噪声与混响下固定频率加权和严格对位匹配不可靠的问题,QK-GCC 用双通道幅度相位频点表征的查询键局部匹配替代手工匹配,并在仿真混响与变信噪比条件下报告了优于 GCC-PHAT 与神经 GCC 变体的帧级精度,同时保持轻量双通道算子结构。
针对麦克风布局与数量变化时的三维波达方向估计,GAMF 用候选方向阵列传输函数做声学描述,分别构建可学习的麦克风对齐匹配与解析的归一化匹配,并以门控融合,在仿真噪声混响下学习分支更稳健,而八麦克风 LOCATA 上混合达到球面平均误差 3.76 度、方位角 2.87 度,但干净低混响下解析方法仍有优势。
论文把单声道音频视觉实例分割扩展为双耳音频视觉实例分割,用纯音频声源定位学图像平面空间与语义先验再注入查询解码器,在 BiAVIS-Bench 上报告相对最强单声道基线提升 17.22% mAP 与 7.71% FSLA,代价是依赖固定相机与仿头采集几何并受类别规模限制。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
EchoLoc 针对无声源框标注下热图模糊、阈值后处理难优化的问题,用空间与全局对比学习训练热图并从热图导出伪框来监督查询式框预测器,在 VGG-SS 上报告 36.36 cIoU 和 38.28 AUC,在 Flickr-SoundNet-Test 自适应指标上相对最优基线提升,但固定阈值 AUC 存在未胜出项且框质量依赖热图。
针对紧凑均匀线阵在端射附近小到达时延差扰动被放大成大角度误差的问题,论文在可靠性相位变换框架内分别做加权转向响应功率能量聚合与余弦域加权最小二乘时延融合,并在 1 米与 2 米家用混响实录上用端射误差与退化宽度验证,同时保留不增大孔径与远场单声源等适用边界。
针对分布式麦克风阵列中网格分辨率与计算量的矛盾,G2C-NET 用自适应成对特征聚合压制不可靠麦克风对、用高置信邻域加权求连续坐标,在 625 网格和同分辨率下把仿真 RMSE 降到 25.52 cm、实测降到 23.35 cm,代价是仍需调 λ 并依赖仿真预训练加混合微调。
针对双耳录音中方向与混响参数标注稀缺的问题,该工作用跨通道重建加软声学对比约束预训练空间编码器,在五个仿真房间参数任务上多数超过重建基线,但吸收系数等弱几何任务仍有未胜出项且只在仿真条件下验证。
该文研究用可移动机器人作已知位置校准源时的分布式麦克风几何标定问题,以含时钟捕获偏移的到达时间差模型推导克拉美罗下界并最小化该下界来求最优声源位置,最强证据是在高斯噪声与声学仿真下定位与偏移估计误差均低于随机放置,代价是一阶段联合优化计算量随声源数增大而显著上升。
该研究不做端到端定位或增强,而是冻结 13 个预训练音频编码器、用线性探针检验 7 个声源级与房间级因子是否可解码,发现声源因子系统性易读、房间因子系统性难读,且输入格式与训练范式决定编码偏置。
针对会议中重叠语音难分的问题,该文把 SRP-DNN 估计的波达方向作为显式辅助输入注入 S2SND 主干,并在 AliMeeting 上报告离线相对降低 7.4% 与结合通道注意力后超 19% 的改善,代价是依赖多通道估计与两阶段训练。
BiEAR 针对多说话人方位与距离联合估计,用左右耳各自的神经控制器逐帧调节 Gabor 滤波器组 Q 值,在消声与真实房间中以双控制器相对控制取得方位误差下降,但距离估计仍有被 AuralNet 超越的配置,代价是控制器与自适应滤波带来的额外参数和推理逐帧计算。