JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments
📄 JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments #声源定位 #多模态模型 #空间音频 #参数高效微调 #数据集 8.1/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 8.1/10 | 前25% | #声源定位 | #多模态模型 | #空间音频 #参数高效微调 | arxiv 👥 作者与机构 第一作者:Zhan Liu(清华大学、腾讯AI Lab) 通讯作者:Chao Zhang(清华大学) 作者列表:Zhan Liu(清华大学、腾讯AI Lab)、Changli Tang(清华大学)、Yuxin Wang(香港科技大学)、Zhiyuan Zhu(浙江大学)、Youjun Chen(香港中文大学)、Yiwen Shao(腾讯AI Lab)、Tianzi Wang(腾讯AI Lab)、Lei Ke(腾讯AI Lab)、Zengrui Jin(清华大学)、Chao Zhang(清华大学) 💡 毒舌点评 本文提出了在3D模拟物理环境中进行联合音视频定位与推理的框架 JAEGER,其核心贡献 Neural IV 和 SpatialSceneQA 数据集为空间音频理解研究提供了有价值的工具和基准。亮点在于系统性整合了 RGB-D 视觉与多通道 FOA,并在附录中通过 SimpleFuse 基线实验初步证明了其架构设计的有效性,而非仅依赖于多模态输入的堆砌。然而,实验设计存在明显的“避重就轻”:正文主表(Table 2)回避了 SimpleFuse 基线,将其置于附录,这使得核心主张——即架构的优越性——在主叙述中缺乏最直接的量化支撑。此外,3D 视觉接地任务中,专门针对 3D 的模型 N3D-VLM 竟获得 0.0 IoU,这一零样本、无适配的对比方式极不公正,更像是对基线的“处决”而非“比较”。更严重的是,多说话人推理任务在正文中汇报了接近 100% 的准确率,营造出任务已被解决的假象,而论文在附录中承认,当干扰项增至 4-6 个时性能迅速下降,这种对任务天花板效应(ceiling effect)的深度分析本应是正文的核心内容,却被掩盖于近乎完美的数字之下。 ...