固定提示接不住声音:SOUPLE 用图像条件化学上下文重建音频视觉对应
针对 CLIP 固定提示 a photo of a 与音频嵌入 token 语义脱节的问题,SOUPLE 用图像特征经 Meta-net 生成的可学习上下文替代固定词,在 VGGSound-144K 训练下提升 VGG-SS 与 SoundNet-Flickr 定位与 AVSBench 单源分割,但在无类别监督的多源 MS3 上出现过分割代价。
针对 CLIP 固定提示 a photo of a 与音频嵌入 token 语义脱节的问题,SOUPLE 用图像特征经 Meta-net 生成的可学习上下文替代固定词,在 VGGSound-144K 训练下提升 VGG-SS 与 SoundNet-Flickr 定位与 AVSBench 单源分割,但在无类别监督的多源 MS3 上出现过分割代价。
该工作用短时傅里叶变换相位的正弦余弦作输入,结合卷积、双向门控循环和自注意力估计 0-360 度方位角,在仿真混响干净条件下平均角度误差 19.9 度、个性化到说话人与房间后降到 11.3 度,代价是仍需仿真预训练和少量目标域微调才能泛化。
针对特设麦克风网络中到达时差含大量离群点时方向估计易陷入局部极小的问题,该文把估计写成内点数最大化并用两点临界点枚举保证全局最优,在合成数据上 80% 离群率下仍保持可用、在 13 段室外无人机实录上优于离散化与最小二乘,代价是计算量随测量数平方增长且依赖内点界的选取。
该研究用同一卷积神经网络比较幅度与相位四类时频特征的全部小组合,报告显示域内语音用 ILD 加 IPD 在 0 度仰角达 4.5 度误差,而跨内容泛化需通道相位谱加 ILD 与 IPD 并在域外以 8.4 度误差超过更大 Transformer,代价是特征通道增多与对纯音等结构贫乏信号仍失效。
该研究在八麦克风声学无人机检测定位任务上对比保形预测、证据学习与异方差回归,报告显示保形方法按构造实现名义覆盖、证据不确定性与分类错误相关而异方差回归定位误差最低,但纯噪声输入下模型仍保持 0.93 以上置信度而无法拒绝无效目标。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
针对混合声中只定位目标声源的问题,该研究用跨实例图像做语义提示,先做语义对齐再做多频带空间对齐,在 VGGSound-SSL 上报告平均绝对误差 16.59 度、准确率 71.29%,代价是依赖合成空间音频与人工核验的提示池。
针对未知发射时间的单声源被动定位,论文把问题保持为 ToA 最小二乘并联合估计位置与发射时刻,用基于边的分布式 ADMM 给出闭式局部更新,仿真显示严格停止阈值下其趋势接近集中式求解器与 CRLB 参考,但宽松阈值出现高位平台且收敛只对平滑近似证明。
论文指出当前音频-视觉分割模型依赖视觉显著性而忽视音频,用 AVSBench-Robust 的正负音频对照和分类器引导的相似度学习把单源 G-mIoU 做到 87.672 并把负样本误激活压到近零,代价是正样本分割分数略有回落。
针对单模态指令在相似物体环境中易歧义的问题,论文提出 MINav 任务与 NaVLA2 个模型,用空间语义双分支音频编码与边想边做解码实现多模态接地,最强证据是在 MINav 上达到 27.2% 成功率与 19.6% 路径加权成功率,代价是仍需三阶段训练与连续仿真渲染。
在听觉引导视觉搜索任务中比较个体化与 KEMAR 非个体化 HRTF 在消声与混响下的行为,证据显示消声下个体化使反应时平均缩短约 200 ms 且优势集中于动作发起而非总运动量,混响下优势消失。
针对多人运动导致声学特征叠加与互反射延迟混叠的问题,SoundMHPE 用多尺度 STFT 编码器与每帧每人独立查询的时序解码器在 6 小时 AMP 数据集上实现多人 3D 姿态估计,并在 MPJPE 等指标上优于声学与 WiFi 基线,代价是需在受控室内采集与同步动捕数据。
论文用消声室实测脉冲响应验证成对心形传声器的声强测向,在 50 Hz 到 20 kHz 内比较 TF24 与 TF6 和 20mm 与 100mm 间距,最强证据是 20mm 的 TF24 在干扰信号比 -20 dB 和 -30 dB 时全频段中值跟踪误差在 2.5 度以内,代价是大间距高频和强干扰下误差明显增大且存在与波长相关的峰。
共分析 30 篇语音/AI 论文
声源定位 | 6.4/10
共分析 18 篇语音/AI 论文
声源定位 | 5.7/10
声源定位 | 8.8/10
空间音频 | 6.9/10
声源定位 | 9.8/10