📄 Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation

标签：#音频理解 #Transformer #模型评估

6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5

✅ 6.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频理解 | #Transformer | #模型评估 | arxiv

👥 作者与机构

• 第一作者：Leiye Liu（大连理工大学）
• 通讯作者：Miao Zhang（大连理工大学）
• 作者列表：Leiye Liu（大连理工大学）、Miao Zhang（大连理工大学）、Jiahong Jiang（大连理工大学）、Jingjing Li（Carnegie Mellon University）、Jialong Zhong（大连理工大学）、Kai Peng（大连理工大学）、Tingwei Liu（大连理工大学）、Wei Ji（Yale University）、Yongri Piao（大连理工大学）、Huchuan Lu（大连理工大学）

💡 毒舌点评

这篇论文在AVIS这个新兴任务上做出了两项有实质意义的设计——显式声源解缠与音频动态调制的Mamba——性能提升幅度可观（+7.8% mAP），消融实验也基本自洽。但问题同样明显：方法大量依赖外部冻结的预训练模型（MixIT、VGGish），核心贡献被稀释，且这些组件在目标域分离失败时可能直接导致流程崩溃；此外AVIS任务本身规模小（926个视频）、生态薄弱，跨任务影响力存疑，零样本泛化提升也较微弱，审稿人会质疑这项工作的可迁移性和实际部署价值。

📌 核心摘要

1. 本文要解决音视频实例分割（AVIS）中的两个核心挑战：混合音频中多个声源的精确对应问题（“观察谁”），以及音视频流之间的异步动态建模问题（“何时观察”）。
2. 方法核心由两部分组成：Acoustic-Semantic Projector (ASP) 负责通过Audio Source Disentanglement (ASD)将混合音频显式分离为独立声源流，并通过Hierarchical Correspondence Mechanism (HCM)建立从语义聚类到空间域的层次化跨模态对应；Asynchronous Dynamics Modulator (ADM) 基于音频动态调制的Mamba，通过将音频动态变化注入状态空间模型的Δ参数来适应音视频异步动态，使模型在状态突变时聚焦当前输入，平稳时保持历史连续性。
3. 与已有方法相比，H2S首次在AVIS中引入基于MixIT的显式声源分离替代隐式交叉注意力解缠，并通过k-means语义聚类和Top-P过滤实现精确、计算友好的跨模态对应；ADM首次将音频动态引入Mamba的Δ参数调制，区别于已有工作中交换B/C参数的做法，提供了一种从动态建模速度角度统一多模态时间尺度的新范式。
4. 在AVISeg数据集上，使用COCO预训练ResNet50达到48.54 mAP，超越前SOTA 7.8%；HOTA 65.70，FSLA 47.58。在异步子集上mAP达到46.75，超越基线14.09。零样本泛化到AVSS上，二值分割指标J=45.71，F=51.72，分别超越AVISM 1.85和1.13。
5. 实际意义在于为复杂声学环境下的精细视频理解提供了一种"解缠+动态调制"的可行范式，且计算开销可控（GFLOPs仅增加2.4%）。
6. 主要局限性是依赖外部冻结的MixIT和VGGish模型、未验证在线/流式场景、仅评估了单一分离模型，且AVIS任务生态尚不成熟。

下图对比了现有方法与H2S在处理混合音频和异步动态时的差异。

上半部分显示了现有方法因混合音频导致的歧义对应和固定窗口建模的不敏感跟踪，下半部分展示了H2S通过解缠声源和动态调制Δ实现的精确匹配和自适应跟踪。

主要实验结果表格：

Table 1: AVISeg测试集上与相关任务方法的对比（ImageNet预训练ResNet50）

Table 2: 不同backbone和预训练数据集的对比

Table 3: 组件消融

Table 4: ASD消融

🔗 开源详情

• 代码：论文明确声明代码将在接收后开源，并提供了具体的 GitHub 仓库地址：https://github.com/leiyeliu/H2S （当前链接无效，代码尚未公开）
• 模型权重：论文中未提及训练好的模型权重是否将发布
• 数据集：评估基于 AVISeg 数据集（Guo et al., 2025），论文引用了该数据集但未提供直接下载链接或开源协议说明；零样本评估使用的AVSS数据集同样未提供链接
• Demo：论文中未提及
• 复现材料：论文正文及附录给出了完整的训练配置（优化器、学习率、batch size、迭代次数、衰减策略、损失权重、数据增强、测试分辨率等）、消融实验细节以及评估指标，但缺少随机种子、ADM分组卷积组数 \(k\)、训练GPU小时数等关键信息，且未提供训练检查点或配置文件
• 论文中引用的开源项目：
  • MixIT（音频源分离模型）—— 论文仅引用其方法，未提供代码或预训练权重链接
  • Mamba / State Space Models —— 论文引用了 SSM 相关理论，未提供具体代码库链接
  • Mask2Former —— 用于匹配与损失计算，未提供链接
  • SAM —— 用于数据集标注工具，未提供链接
  • DETR —— 用于匈牙利匹配，未提供链接
  • IFC —— 用于视频级匹配，未提供链接
  • 其他对比方法（如AVISM、ACVIS、SelM、COMBO、CAVP、VCT等）均为论文引用的相关工作，论文未列出其代码地址

🏗️ 方法概述和架构

H2S是一个端到端的音视频实例分割框架，输入为视频片段序列 \(\{X_t\}_{t=1}^T\) 和对应音频流 \(\{A_t\}_{t=1}^T\)，输出为每个时刻 \(t\) 的发声物体实例掩码 \(\{M_{t,i}\}_{t=1,i=1}^{T, N_t}\)。整体架构分为三个阶段：音频分离与特征提取（一次性执行）、帧级声源定位、视频级实例跟踪。

下图展示了H2S的整体架构，包括三个主要阶段。

图中清晰地显示了Acoustic-Semantic Projector (ASP)和Asynchronous Dynamics Modulator (ADM)两个核心组件如何协同工作，实现音视频实例分割。

第一阶段：音频源解缠（ASD）。这是整个流程的前置模块，只执行一次。使用在YFCC100M上预训练的MixIT模型将混合音频显式分离为多个独立声源流，随后通过冻结的VGGish模型将各声源转为梅尔频谱图并提取特征，得到音频特征 \(\{F_a^i\}_{i=1}^{N_a}\)，\(N_a\) 设为8。MixIT和VGGish在训练期间保持冻结，不参与梯度更新。

第二阶段：帧级声源定位。视频信号经预训练 backbone（ResNet50或Swin-L）提取多尺度视觉特征 \(\{F_v^i\}_{i=1}^4\)，送入像素解码器进行多尺度交互得到精细化特征 \(\{\tilde{F}_v^i\}_{i=1}^4\)。随后Hierarchical Correspondence Mechanism (HCM)在此阶段多次执行，负责建立音频与视觉的跨模态对应。HCM的工作流程为：(1)取视觉特征的前三层（\(i=2,3,4\)）和音频特征，分别应用k-means聚类映射到共享语义空间，得到音频聚类 \(\{AC_i\}_{i=1}^{C_{ka}}\) 和视觉聚类 \(\{VC_i\}_{i=1}^{C_{kv}}\)，聚类数 \(C_{ka}=C_{kv}=8\)，并记录token到聚类的映射 \(I_a\) 和 \(I_v\)；(2)计算聚类质心间的余弦相似度矩阵 \(C_{ij}\)，并乘以视觉聚类内token数量经Softmax归一化得到重要性得分 \(P\)；(3)使用Top-P算法过滤噪声关联，仅保留累计概率达到 \(p\) 的最高得分音频-视觉语义关联，\(p\) 从高层到低层分别为0.7、0.8、0.9；(4)通过SP操作结合 \(I_a\) 和 \(I_v\) 将语义级关联投影回空间域，生成稀疏索引矩阵 \(Index\)；(5)以 \(Index\) 为指导执行稀疏矩阵乘法（SMM），完成跨模态注意力计算，最终输出融合特征。经过Transformer decoder提取帧级object queries。

第三阶段：视频级实例跟踪。所有帧的queries和音频特征送入video encoder，进入Asynchronous Dynamics Modulator (ADM)。ADM的核心是Audio-Dynamically Modulated Mamba (AMM)，其关键子模块为AM-SSM。AM-SSM的工作机制为：(1)queries经线性层分割产生 \(\mathbf{B}\)、\(\mathbf{C}\)、\(\Delta\) 参数，其中 \(\Delta\) 捕捉视频内部动态；(2)音频特征经线性变换和Cross-Scan展平后，通过分组卷积（组数 \(k\) 未明确说明）和MLP提取音频动态变化，经sigmoid激活后作为门控值与音频特征相乘；(3)该门控音频动态项被加法注入原始 \(\Delta\)，形成 \(\bar{\Delta}\)，使状态转移参数同时感知音频和视频动态；(4)使用 \(\bar{\Delta}\) 执行SSM离散化计算（ZOH方案），更新隐藏状态并输出精炼queries \(\bar{Q}_t\)。ADM的设计直觉是：当音视频动态发生剧烈变化时，较大的 \(\bar{\Delta}\) 使模型专注于当前输入以捕捉突变；稳定时期较小的 \(\bar{\Delta}\) 保留历史连续性。最后经视频级Transformer decoder预测实例类别，结合精细化视觉特征预测分割掩码。

下图展示了 Asynchronous Dynamics Modulator (ADM) 产生的动态调制量与异步事件下的预测结果，而不是 ADM 的完整结构图。

图中可见，音频动态注入 Δ 参数后会随音视频事件变化，帮助 Audio-Dynamically Modulated Mamba (AMM) 自适应调整状态转移速度。

损失函数为三项加权和：帧级损失（基于Mask2Former的匈牙利匹配）、视频级损失（基于IFC的轨迹匹配）、相似度损失（鼓励同身份特征靠近、不同身份特征远离），权重分别为1、1、0.5。

💡 核心创新点

1. 音频源显式解缠与层次化对应（ASP）：此前方法依赖交叉注意力隐式地将混合音频拆分为多个query表示，缺乏声源分离监督，易丢失细粒度声学细节。H2S首次在AVIS中引入MixIT进行显式声源分离，并通过语义聚类+Top-P过滤+空间投影的三级层次化对应机制（语义关联→空间映射→稀疏注意力），有效保留了细粒度声学细节，避免了抽象表示导致的信息丢失。
2. 音频动态调制的状态空间模型（ADM）：已有方法使用固定窗口注意力或均匀记忆聚合处理时序，对音视频异步状态不敏感。H2S首次将音频动态注入Mamba的 \(\Delta\) 参数，使状态转移速度能根据音视频联合动态自适应调节——突变时聚焦当前信息，平稳时保持历史连续性。这不同于已有Mamba多模态工作中交换 \(\mathbf{B}/\mathbf{C}\) 参数或内容融合的做法，是一种从动态建模速度角度统一多模态时间尺度的新视角。
3. 稀疏语义对应的计算效率设计：通过k-means将大量特征token压缩为聚类质心，在语义级计算关联，再通过索引矩阵回投空间域做稀疏注意力。这既避免了全量token间的密集计算，又通过Top-P过滤抑制了背景噪声干扰。

📊 实验结果

在 AVISeg 数据集上，我们将提出的 H2S 与多类方法进行全面比较，包括视频实例分割（VIS）、音视频语义分割（AVSS）以及现有的音视频实例分割（AVIS）方法。表 1 和表 2 分别给出了基于 ImageNet 预训练 ResNet-50 和不同预训练策略下的结果。

Table 1: 在 AVISeg 测试集上与相关任务方法的对比（ImageNet 预训练 ResNet-50）

Table 2: 不同 backbone 和预训练数据集的对比

在 ImageNet 预训练 ResNet-50 设置下，H2S 以 43.21 mAP 超越所有 VIS、AVSS 及 AVIS 方法，FSLA 达到 45.96，HOTA 达到 63.32。在 COCO 预训练 ResNet-50 下，H2S 取得 48.54 mAP，较 AVISM 的 45.04 提升 7.8%，较 ACVIS 的 46.68 提升 4.0%。进一步将视觉 backbone 替换为 Swin-L 后，mAP 达到 55.38，FSLA 达到 55.06，均超过同期最优方法。同时，计算开销增加极为有限：GFLOPs 仅从 3049 增加到 3122（+2.4%），FPS 从 29 下降到 26。

下图比较了 H2S 与 AVISM 在 AVSS 零样本泛化上的 J/F 指标，而不是分割掩码可视化。

图中显示 H2S 的 J 指标为 45.71、F 指标为 51.72，均高于 AVISM 的 43.86 和 50.59。

组件消融

Table 3: H2S 中不同组件的影响

基础模型（Index 1）的 mAP 为 43.90。单独加入 Acoustic-Semantic Projector（ASP）后，FSLA 提升 3.15，mAP 提升 3.83，表明 ASP 主要通过改进声源空间定位来提升性能。进一步引入 Asynchronous Dynamics Modulator（ADM）后，HOTA 额外提升 2.09，mAP 提升 0.81，说明 ADM 主要贡献于时序跟踪精度的改善。该结果验证了 ASP 负责空间对应、ADM 负责时序动态建模的功能分工。

音频源分离消融

Table 4: 音源分离模块（ASD）的消融

移除显式音源分离（ASD）后，mAP 降至 47.01；若用交叉注意力替代 ASD 进行隐式分解，mAP 仅为 47.38。而完整的显式 ASD 设计获得 48.54 mAP，表明显式声源分离比隐式解缠更有利于保留关键声学细节，从而显著提升声源对应的精度。

异步场景评估

在构造的异步子集上，H2S 取得 46.75 mAP，远超 AVISM 的 32.66，绝对提升 14.09（相对提升 43.1%）。这一结果充分验证了 ADM 在声源状态突变时通过动态调整状态转移速度来保持准确跟踪的能力。

Δ 调制验证

Table 6: ADM 中调制变量的影响

对 Δ 进行音频动态调制的效果优于调制 𝐁 或 𝐂，尤其是在 HOTA 指标上优势更为显著（65.70 vs. 64.46/64.17）。这验证了 Δ 作为状态转移速度控制参数的独特作用，能够有效统一音视频的时序尺度。

MixIT 与 AVISM 朴素拼接消融

Table 7: 施加音源分离的效应

直接将 MixIT 分离后的音频特征拼接到 AVISM 中反而导致 mAP 从 45.04 降至 44.42，说明仅有声源分离远不足以带来增益。H2S 通过 HCM 的层次化对应机制，才能有效利用分离后的声源信息，实现 mAP 的显著提升。

MixIT 预训练数据消融

Table 8: MixIT 预训练数据集的消融

在 AVISeg 上重新训练 MixIT 得到的 mAP（48.62）与使用默认 YFCC100M 权重（48.54）差异极小，这表明 H2S 的性能增益并非来自外部大规模数据先验，而是来自模型设计本身。

零样本泛化

在 AVSS 数据集上进行零样本测试时，将多类预测转换为二值掩码评估。H2S 取得 J=45.71（相较 AVISM 的 43.86 提升 1.85）、F=51.72（相较 AVISM 的 50.59 提升 1.13），展示出基础音视频对应能力向未见数据集的良好迁移性。

超参数分析

Table 5a: HCM 聚类数的影响

Table 5b: HCM Top-P 值的影响

聚类数设为 8 时全局性能最优，反映了 AVISeg 声音类别的自然聚类特性。分层 Top-P 配置 [0.7, 0.8, 0.9] 的表现优于任一固定单值，说明从高层到低层逐步放宽语义过滤强度更有利于兼顾精度与召回。

🔬 细节详述

• 训练数据：AVISeg数据集，616训练/105验证/205测试，视频平均时长61.4s，26个声音类别，覆盖“音乐”、“人声”、“机器”、“动物”四大类。数据增强包括多尺度缩放（短边360-480像素随机）和随机水平翻转。
• 损失函数：三项联合损失（帧级+视频级+相似度），权重 \(\lambda_{frame}=1, \lambda_{video}=1, \lambda_{sim}=0.5\)。帧级损失基于Mask2Former的匈牙利匹配，视频级基于IFC轨迹匹配，相似度损失拉近同身份特征、推远不同身份特征。
• 训练策略：AdamW优化器，base learning rate=0.0001，batch size=2，每样本5帧，共训练48,000 iterations，iteration 32,000时学习率衰减为0.1倍。测试时短边固定360像素，保持长宽比。
• 关键超参数：ASD声源数 \(N_a=8\)；HCM中 \(C_{kv}=C_{ka}=8\)，Top-P值从高层到低层分别为0.7/0.8/0.9。ADM中group convolution的组数 \(k\) 未明确说明。
• 训练硬件：2×RTX 6000 GPU，训练总GPU小时数未报告。
• 推理细节：单帧推理，FPS在ResNet50下为26（60帧视频480×360分辨率测量）、Swin-L下为15。GFLOPs在ResNet50下为3122。HCM在推理时的额外开销（k-means在线聚类延迟、内存占用）未拆解分析。
• 预训练模型：视觉backbone在ImageNet-1K和MS-COCO预训练，VGGish在AudioSet预训练，MixIT在YFCC100M预训练。MixIT和VGGish在H2S训练中保持冻结。作者额外在AVISeg上重新训练MixIT做消融（Table 8），mAP差异微小（48.62 vs 48.54）。
• 可视化：图5展示分割效果，H2S在声学重叠和异步状态切换场景中比AVISM更准确。图6展示HCM的Top-P过滤效果，多数噪声聚类被过滤为全黑，筛选后的视觉聚类与Ground Truth空间对齐良好。图7展示了 \(\bar{\Delta}\) 的动态变化，声音突变时 \(\bar{\Delta}\) 上升，平稳时下降。

⚖️ 评分理由

• 创新性 (1.5/2)：首次在AVIS任务中引入MixIT显式声源解缠替代隐式交叉注意力，并通过语义聚类与Top-P过滤建立层次化跨模态对应；同时首次将音频动态注入Mamba的Δ参数实现异步动态调制，提供了从动态建模速度统一多模态时间尺度的新范式（A_SUMMARY-2,3; SCORING_SOURCE_5/28）。

• 技术严谨性 (1.2/1.5)：方法设计遵循明晰的端到端框架，损失函数加权合理，状态空间模型离散化采用标准ZOH方案，核心模块的数学推导和直觉解释自洽（A_METHOD; SCORING_SOURCE_9/28, 14/28）。

• 实验充分性 (1.0/1.5)：包含多组SOTA对比、组件消融、ASD消融、Δ调制验证、MixIT拼接对照及超参数分析，但缺少在线/流式场景评估、未系统评测不同分离模型、异步子集构建标准未公开、零样本泛化仅采用类别无关的二值指标，削弱了结论的严格性（A_RESULTS; A_LIMITS-承认局限与审稿问题1,4,5）。

• 清晰度 (0.8/1)：整体叙述清晰，架构图与公式描述基本完整，但公式(3)中符号VC_j重载（既作聚类名称又作token数量）造成理解障碍，且ADM分组卷积的组数k未交代（A_LIMITS-审稿问题6; A_METHOD）。

• 影响力 (0.8/1.5)：为复杂声学环境下的精细视频理解提供了’解缠+动态调制’的可行范式，但AVIS任务数据集规模小（926视频）、生态薄弱，零样本泛化提升微弱，跨任务影响力有限（A_SUMMARY-4,6; SCORING_SOURCE_26/28）。

• 开源 (0.0/1.5)：论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。

• 可复现性 (0.3/0.5)：给出了训练配置、损失权重、增强策略、测试分辨率等主要复现要素，但缺失随机种子、ADM分组卷积组数k及训练GPU小时数等关键信息（A_OPEN; SCORING_SOURCE_17/28）。

• 工程/实践价值 (1.2/1.5)：在保持显著性能提升（+7.8% mAP）的同时仅增加2.4% GFLOPs，FPS从29降至26，实现了性能与效率的良好权衡，但HCM在线推理开销未拆解、未验证在线/流式场景约束，工程部署评估尚不完整（A_SUMMARY-5; A_LIMITS-审稿问题3与承认局限1）。

🚨 局限与问题

论文明确承认的局限：

1. 未在在线场景验证——当前设计依赖全时域上下文，不适合因果推理，作者明确指出需要重新设计帧级交互和视频级跟踪以适应流式输入。
2. 未系统评估不同音频分离模型——受限于分离模型的开源程度、预训练权重可用性和统一评测标准，仅使用了MixIT，作者将其列为未来工作。

审稿人发现的潜在问题：

1. 过度依赖外部模型：ASD使用冻结的MixIT和VGGish，这些模型在海量外部数据（YFCC100M、AudioSet）上预训练。尽管Table 8尝试用AVISeg重训MixIT消减这一疑虑（差异仅+0.08 mAP），但该消融训练了额外的分离模型，反而增加了整体训练成本，且并未回答“MixIT在目标域分离质量如何”这一核心问题。论文未展示任何分离质量评估或失败案例。
2. AVISM+MixIT朴素拼接消融的解读问题：Table 7显示将分离后的音频特征直接拼接到AVISM反而使mAP降至44.42，作者以此说明“显式分离不够，需要我们的ASP”。但该退化也可能是维度不匹配、特征分布偏移或简单拼接破坏了AVISM原有音频处理流程导致的，不能简单归因于“缺少层次化对应”。应增加一个更公平的基线——将分离特征经过合适的映射后接入原有流程。
3. HCM的在线推理开销：k-means聚类在每次前向传播中执行，尽管特征维度不高，但聚类迭代本身增加了推理延迟。论文仅报告了整体GFLOPs（3122）和FPS（26），未拆解HCM的独立开销，这对工程部署评估不足。
4. 异步子集构建的黑箱：论文声称构造了“challenging asynchronous subset”并报告mAP=46.75，但未公开该子集的选择标准和统计信息（视频数、异步程度分布等），使其成为不可严格复现的声明。
5. AVSS零样本泛化评估的简化：将多类预测转为二值mask后只评估J和F，丢弃了类别信息，这降低了泛化验证的严格性——模型可能在类别混淆严重的情况下仍获得较高的二值分割分数，无法真正反映跨域迁移能力。
6. 公式符号的一致性：公式（3）中 \(VC_j\) 既用作聚类名称又用作token数量，符号重载容易引起误解，且 \(P\) 的计算公式为非标准形式，给读者理解带来障碍。

← 返回 2026-08-05 语音/音乐/音频论文速递