ICLR 2026 - 语音分离

共 3 篇论文

← 返回 ICLR 2026 总览

📋 论文详情

🥇 MARS-Sep: Multimodal-Aligned Reinforced Sound Separation

✅ 7.5/10 | 前25% | #语音分离 | #强化学习 | #多模态模型 #对比学习

👥 作者与机构

• 第一作者：Zihan Zhang (Zhejiang University)
• 通讯作者：Tao Jin (Zhejiang University)
• 作者列表：Zihan Zhang (Zhejiang University)， Xize Cheng (Zhejiang University)， Zhennan Jiang (Institute of Automation, Chinese Academy of Sciences)， Dongjie Fu (Zhejiang University)， Jingyuan Chen (Zhejiang University)， Zhou Zhao (Zhejiang University)， Tao Jin (Zhejiang University)

💡 毒舌点评

亮点：该工作巧妙地将大语言模型对齐的RLHF范式“降维打击”式地应用于声音分离任务，通过设计因子化Beta掩码策略和多模态融合奖励，系统性地解决了传统方法中信号指标优化与语义保真度脱节的核心矛盾，实验设计全面且具有说服力。短板：方法的核心——多模态奖励模型严重依赖预训练的ImageBind编码器，其表征能力的天花板可能间接限制了MARS-Sep所能达到的最终性能上限，且论文中缺乏对这一依赖性风险的深入讨论。

📌 核心摘要

1. 要解决什么问题：通用声音分离存在“度量困境”，即优化传统信号级指标（如SDR）的模型，其输出在听感上可能语义不纯净，无法有效抑制与目标源声学相似的干扰源，导致分离结果与用户查询的语义意图不匹配。
2. 方法核心是什么：本文将查询条件声音分离重新构架为强化学习问题。将分离模型视为策略网络，输出时频掩码作为动作。设计了一个基于渐进式对齐的多模态编码器（增强后的ImageBind）作为奖励模型，计算分离音频与查询（音频/文本/图像）在统一嵌入空间中的相似度作为奖励信号。通过一种稳定的、基于PPO的裁剪信任域策略优化算法（融合GRPO优势归一化）来更新策略，以最大化语义奖励。
3. 与已有方法相比新在哪里：1）范式创新：首次从“偏好对齐”视角统一了多模态查询声音分离，引入强化学习作为优化范式，而非传统的监督回归。2）策略设计：提出了因子化Beta掩码策略，将掩码预测转化为概率分布采样，并设计了包含熵正则和KL惩罚的裁剪目标函数，以稳定训练。3）奖励设计：使用了融合音频、文本、视觉信息的多模态聚合奖励（MLBP），并引入了渐进式编码器微调策略以提升奖励模型的判别力和稳定性。
4. 主要实验结果如何：在VGGSound-clean+和MUSIC-clean+两个基准数据集上，针对四种查询设置（文本/音频/图像/组合），MARS-Sep在大多数情况下取得了最优或次优的信号指标（如SDR, SI-SDRi）和显著更高的CLAP语义分数。例如，在VGGSound-clean+文本查询中，MARS-Sep的CLAP分数为9.03%，优于OmniSep的8.98%和AudioSep的8.21%。消融实验验证了RL、渐进式微调和MLBP融合模块的有效性。用户研究也表明其分离结果在语义匹配度上优于基线。
5. 实际意义是什么：该工作推动了声音分离从“信号复原”向“语义理解”的范式转变。提升后的语义一致性可以直接改善语音识别、声音事件检测等下游任务的输入质量，并为构建更符合人类意图的智能听觉系统提供了新思路。
6. 主要局限性是什么：方法整体依赖于一个高质量的多模态奖励模型，该模型的性能上限可能制约了策略学习的最终效果。此外，虽然实验数据集多样，但均为合成或准合成混合，对于真实世界中极端复杂的混杂声学环境，泛化能力有待进一步验证。奖励信号可能存在的稀疏性和延迟问题，也是强化学习框架中需要更深入探讨的挑战。

详细分析

01.模型架构

MARS-Sep是一个基于强化学习的声音分离框架，其核心架构围绕着“策略-奖励-优化”的闭环设计（见下图）。

整体输入输出流程：

1. 输入：混合音频波形 x(t) 和多模态查询 Q（文本、音频片段或图像）。
2. 中间处理：
   • 混合音频通过短时傅里叶变换（STFT）得到幅度谱 X。
   • 查询 Q 通过对应的ImageBind编码器（文本/音频/视觉）和查询混合器（Query-Mixup）得到融合查询特征。
   • 分离网络（Separate-Net，基于U-Net）接收 X 和 Q 的特征，输出掩码提议 P_θ。
   • P_θ 通过参数化映射转化为Beta分布的浓度参数 (α, β)，构成随机策略 π_θ。
3. 动作采样与重建：从旧策略快照 π_θ_old 中采样一个掩码 M，用 M 对 X 进行掩码操作并结合相位进行逆STFT，重建分离后的音频波形 ŷ。
4. 奖励计算：
   • 预训练的多模态编码器（渐进式微调后的ImageBind）分别将 ŷ、目标音频 y⋆、目标文本 t⋆、目标视频帧 v⋆ 编码。
   • 使用多模态低秩双线性池化（MLBP）将 y⋆, t⋆, v⋆ 的特征融合为一个目标锚点 z⋆。
   • 计算 ŷ 的嵌入与 z⋆ 的余弦相似度作为标量奖励 R。
5. 策略更新：利用奖励 R、优势估计 Ã 和新旧策略的概率比 r_θ(M)，计算包含裁剪、熵正则和KL惩罚的策略梯度损失，并更新当前策略网络 π_θ。同时，将 π_θ 快照为新的 π_θ_old 用于下一次迭代。

主要组件：

• 基础策略网络（Base Policy）：基于OmniSep的分离架构，一个7层U-Net，在时频域预测掩码提议。它接收混合音频谱和通过ImageBind编码的查询特征。
• 随机掩码策略（Factorized Beta Mask Policy）：核心创新点之一。将U-Net的输出视为对每个时频点（频率-时间-源维度）的掩码概率的预测，并将其转化为一个各点独立的Beta分布 (α, β) 参数。通过从该分布中采样，使得掩码生成具有探索性，且探索范围由浓度参数 κ 控制。
• 多模态奖励模型（Multimodal Reward Model）：基于ImageBind，但经过三个阶段的渐进式对比微调，以增强其跨模态判别能力。它负责评估分离音频与多模态查询的语义一致性。
• 稳定策略优化器（Stable Policy Optimizer）：采用PPO风格的裁剪目标，结合了组相对优势归一化（GRPO）、熵正则化（鼓励探索）和KL散度惩罚（约束策略漂移），确保训练稳定。

关键设计选择及动机：

• 选择因子化Beta分布而非直接回归确定性掩码，是为了将分离过程自然地建模为随机决策，便于应用RL进行优化，并提供探索-利用的权衡机制。
• 使用MLBP融合多模态目标特征而非简单拼接或平均，是为了显式建模模态间的乘性交互，从而生成一个更强大的、统一的语义锚点来计算奖励，避免单一模态主导。
• 采用渐进式微调ImageBind而非从头训练或使用原始预训练模型，是为了逐步、稳定地提升其在声音分离任务上的语义判别力，防止灾难性遗忘，为RL提供更可靠的奖励信号。

图1：MARS-Sep的强化学习循环示意图。分离器从Beta分布策略生成随机掩码动作，而冻结的快照作为旧策略用于稳定优化。来自音频、文本和视觉嵌入的多模态奖励指导策略更新，熵和KL正则化增强探索和稳定性。

图2：用于声音源判别和分离的渐进式微调策略。编码器保持冻结，特定任务的头部逐步解冻，每个阶段都建立在前一阶段最佳检查点的基础上。后两个阶段使用部分前一对齐的配对数据训练，以避免灾难性遗忘。

02.核心创新点

1. 将声音分离重构为强化学习问题：这是最具范式性的创新。不同于传统监督学习直接回归理想掩码，MARS-Sep将分离过程视为在给定混合音频和查询下，通过采样掩码策略来最大化语义奖励的序列决策问题。这使得优化目标直接对齐人类意图（语义一致性），而不仅仅是像素级/波形级相似度。
2. 因子化Beta掩码策略与裁剪信任域优化：针对掩码值在[0,1]区间的特点，设计了因子化Beta分布策略，并通过参数化映射与网络输出关联。同时，提出了一种融合了GRPO优势归一化、熵正则和KL惩罚的PPO变体优化器，解决了传统策略梯度在连续动作空间上的不稳定性问题，实现了高效稳定的策略更新。
3. 基于渐进式对齐的多模态奖励模型：为了提供稳定、有效的奖励信号，论文设计了一个三阶段的对比学习课程来微调ImageBind编码器（音频-文本 -> 音频-音频 -> 音频-视频），逐步增强其跨模态语义判别力。奖励计算采用非对称设计：将多模态目标融合为一个锚点，与分离音频比较，这减少了采样噪声的影响，并强制分离结果与所有模态保持一致。
4. 多模态低秩双线性池化（MLBP）用于查询聚合：在奖励模型中，使用MLBP将来自不同模态（音频、文本、视频）的目标特征进行融合。相比于简单聚合，MLBP能更有效地捕捉模态间的复杂交互，生成更具代表性的语义锚点，从而提供更准确、更鲁棒的奖励信号。

03.细节详述

• 训练数据：论文在VGGSound-clean+和MUSIC-clean+两个数据集上进行实验。VGGSound-clean+是VGGSound的清洗子集，包含300+类别YouTube视频；MUSIC-clean+是MUSIC的清洗子集，包含独奏和二重奏音乐视频。预处理包括音频重采样至16kHz，裁剪至约4秒（65535样本点）；图像调整至224x224像素。未明确提及具体的数据增强方法。
• 损失函数：训练损失由两部分组成：
  1. 监督损失（用于预训练/基线）：加权二元交叉熵（WBCE）损失，用于监督掩码预测。
  2. 强化学习损失 L_RL(θ)：即 J_clip(θ) 的负值。J_clip(θ) 公式见论文公式(4)，包含三项：a) 裁剪的策略梯度代理目标；b) 熵正则项 λ_H H(π_θ)，鼓励策略多样性；c) KL惩罚项 -λ_KL KL(π_θ || π_θ_old)，约束策略更新幅度。
• 训练策略：
  • 优化器：AdamW，学习率 2e-4，权重衰减 0.01。
  • 批次大小：128。
  • 训练步数：200,000步。
  • 学习率调度：未明确说明，但提到使用了warmup策略。
  • 梯度裁剪：最大梯度范数为1.0。
  • 混合精度：分离器网络使用FP16/BF16，奖励计算使用FP32。
  • RL细节：采用单轮PPO更新，每步更新策略快照。旧策略 π_θ_old 从当前策略 π_θ 快照得到。优势使用指数移动平均基线（β=0.92）计算，并启用GRPO归一化。每次迭代使用1个蒙特卡洛采样。
• 关键超参数：
  • Beta分布浓度参数 κ = 9。
  • PPO裁剪范围 ϵ = 0.2。
  • 熵系数 λ_H = 0.1。
  • KL系数 λ_KL = 0.01（默认开启）。
  • 分离网络为7层U-Net，输出32个中间掩码（K=32）。
  • STFT参数：滤波器长度1024，跳长256，窗大小1024。
• 训练硬件：论文主要实验在单张NVIDIA A800 40GB GPU上进行。消融实验部分提及在A100上进行。
• 推理细节：推理时直接使用训练好的策略网络 π_θ 生成确定性掩码提议 P_θ，并将 P_θ 转化为 α=1+κP_θ, β=1+κ(1-P_θ) 后取均值掩码（或直接使用 P_θ 作为掩码）进行重建，无需采样。未提及流式处理设置。
• 正则化与稳定训练技巧：除了上述的熵正则和KL惩罚，还包括渐进式微调以防止灾难性遗忘、优势归一化（GRPO）以减少方差、以及奖励计算的非对称设计以降低策略噪声影响。

04.实验结果

主要Benchmark与指标： 数据集：VGGSound-clean+, MUSIC-clean+ 指标：SDR (↑), SIR (↑), SAR (↑), SI-SDRi (↑), CLAP (↑)

主要结果对比（表1：VGGSound-clean+数据集）：

关键结论：MARS-Sep在四种查询类型下的CLAP分数均达到最优，SDR和SI-SDRi也普遍占优，表明其在语义对齐和信号保真度上均有提升。与基线OmniSep相比，提升幅度在多数情况下是稳定但温和的（例如，SDR提升约0.2 dB，CLAP提升约0.05-0.4%）。

生成模型对比（表3，部分）：

关键结论：与生成式模型（ZeroSep, FlowSep）相比，MARS-Sep的CLAP分数（尤其是CLAPt）方差极小（±0.93 vs ±15.14），表明其语义对齐性能非常稳定。虽然FlowSep在某些CLAPa上得分更高，但其方差巨大，可靠性不足。

关键消融实验（表11，训练配置对比）：

关键结论：仅微调编码器（FT-only）会导致灾难性结果（SDR崩溃，SAR异常高），表明传统监督目标无法有效利用更敏感的编码器。仅RL（RL-only）能带来一定提升。而RL与渐进式微调（FT）结合（RL+FT）取得最佳综合性能，验证了两个组件的互补性和必要性。

定性结果： 图3：VGGSOUND-clean+数据集上不同查询模态分离结果的对数梅尔频谱图。目标源为“牛铃”。从左到右：(a)“牛铃”与“踢踏舞”的混合；(b) 真实“牛铃”；(c) 干扰“踢踏舞”；(d) 基线模型的文本查询分离；(e) 本文方法的文本查询分离。结论：MARS-Sep更有效地抑制了非目标成分，同时更好地保留了目标源的谐波结构和时域连续性。

设置说明：VGGSOUND-clean+和MUSIC-clean+是经过清洗的VGGSound和MUSIC子集，确保音视频对齐质量。评估采用标准分离指标，计算时使用museval工具包。

05.评分理由

• 学术质量：6.0/7：创新性明确（RL范式迁移），技术路线正确且实现细节完备（PPO变体、Beta策略）。实验非常充分，涵盖多数据集、多查询类型、多基线对比及大量消融实验，证据链完整。主要不足在于创新属于范式应用而非理论突破，且性能提升幅度未达到颠覆性水平。
• 选题价值：1.5/2：课题直指声音分离的核心挑战（语义一致性），具有很高的前沿性和实用价值，对下游音频任务有直接帮助。
• 开源与复现加成：0.5/1：提供了代码链接，实验设置详尽，有利于复现。但未明确提及模型权重和完整训练管道的公开，加成中等。

开源详情

• 代码：论文明确提供了代码仓库链接：https://github.com/mars-sep/MARS-Sep。
• 模型权重：论文中未提及是否公开预训练的模型权重。
• 数据集：使用了VGGSound-clean+和MUSIC-clean+，论文中说明是清洗后的子集，但未提供获取方式或是否作为独立数据集发布。
• Demo：论文提供了项目主页和示例链接：https://mars-sep.github.io/。
• 复现材料：论文附录（B、C、D、E节）详细说明了实验设置、数据预处理、超参数、训练细节和评估协议，复现信息较为充分。
• 引用的开源项目：论文依赖的开源工具/模型包括：ImageBind（视觉-语言-音频基础模型），CLAP（用于评估），museval（用于评估），以及OmniSep作为基线代码库。

🔗 开源详情

• 代码：论文明确提供了代码仓库链接：https://github.com/mars-sep/MARS-Sep。
• 模型权重：论文中未提及是否公开预训练的模型权重。
• 数据集：使用了VGGSound-clean+和MUSIC-clean+，论文中说明是清洗后的子集，但未提供获取方式或是否作为独立数据集发布。
• Demo：论文提供了项目主页和示例链接：https://mars-sep.github.io/。
• 复现材料：论文附录（B、C、D、E节）详细说明了实验设置、数据预处理、超参数、训练细节和评估协议，复现信息较为充分。
• 引用的开源项目：论文依赖的开源工具/模型包括：ImageBind（视觉-语言-音频基础模型），CLAP（用于评估），museval（用于评估），以及OmniSep作为基线代码库。

🥈 Efficient Audio-Visual Speech Separation with Discrete Lip Semantics and Multi-Scale Global-Local Attention

✅ 7.5/10 | 前25% | #语音分离 | #多模态模型 | #音视频 #自监督学习

👥 作者与机构

• 第一作者：Kai Li（清华大学计算机系，IDG/McGovern脑研究院）、Kejun Gao（清华大学计算机系）（论文注明两人贡献相等）
• 通讯作者：Xiaolin Hu（清华大学计算机系，IDG/McGovern脑研究院，中国脑研究中心）
• 作者列表：Kai Li（清华大学计算机系，IDG/McGovern脑研究院）、Kejun Gao（清华大学计算机系）、Xiaolin Hu（清华大学计算机系，IDG/McGovern脑研究院，中国脑研究中心）

💡 毒舌点评

亮点在于将“效率”作为核心优化目标并做到了极致，通过精心设计的轻量视频编码器（DP-LipCoder）和全局-局部注意力（GLA）模块，在大幅降低计算成本的同时保持了顶尖的分离性能，工程优化思路清晰且效果显著。短板则是核心创新略显“拼盘”，即DP-LipCoder（结合VQ与蒸馏）和GLA（结合CSA与HDA）更多是现有技术的针对性组合与优化，缺乏从第一性原理出发的突破性架构革新，理论深度有限。

🔗 开源详情

• 代码：论文明确承诺“在文章被接受后，将在GitHub上以Apache-2.0许可证发布Dolphin的代码”，并提供了演示页面链接（https://cslikai.cn/Dolphin）。当前可视为“未提供”但承诺提供。
• 模型权重：承诺发布“预训练权重（用于视频骨干）和Dolphin的源代码”。
• 数据集：使用公开数据集LRS2、LRS3、VoxCeleb2，但论文未提及是否提供预处理好的数据，表示“需要根据引用的参考文献独立获取”，但会提供预处理脚本。
• Demo：提供了在线演示页面链接（https://cslikai.cn/Dolphin）。
• 复现材料：论文提供了极其详尽的训练细节：包括完整的超参数配置（附录E）、损失函数公式（附录D）、训练硬件规格、数据处理流程、评估指标定义等。这些信息足以支持复现。
• 引用的开源项目：论文提及并依赖的开源工具/模型包括：AV-HuBERT（用于知识蒸馏）、VQ实现（来自PyPI的vector-quantize-pytorch）、FlashAttention（可选）、MTCNN（人脸检测）等。
• 开源计划：论文明确说明了开源计划，但代码和模型权重需待论文正式接受后发布。

📌 核心摘要

本文针对音视频语音分离（AVSS）模型参数量大、计算成本高、难以部署的问题，提出了一种高效模型Dolphin。其核心方法包含两部分：1) 设计了双路径轻量视频编码器DP-LipCoder，通过引入向量量化（VQ）和AV-HuBERT知识蒸馏，将连续的唇部视频流映射为与音频语义高度对齐的离散视觉token；2) 构建了一个单次迭代的轻量级编码器-解码器分离器，在其每层引入全局-局部注意力（GLA）块，分别使用粗粒度自注意力（CSA）和热扩散注意力（HDA）来捕捉长程依赖和局部细节。与已有SOTA方法（如IIANet）相比，Dolphin在LRS2、LRS3、VoxCeleb2三个基准数据集上的分离指标（SI-SNRi, SDRi, PESQ）全面更优，同时实现了参数量减少超50%、MACs降低2.4倍以上、GPU推理速度提升6倍以上的显著效率提升。这证明了Dolphin是一个性能优越且具备实际部署可行性的AVSS解决方案。主要局限性包括对清晰、同步的唇部视频的依赖，以及在资源极度受限的边缘设备上部署仍存挑战。

🥉 Knowing When to Quit: Probabilistic Early Exits for Speech Separation Networks

✅ 7.0/10 | 前25% | #语音分离 | #概率建模 | #语音增强 #提前退出

👥 作者与机构

• 第一作者：Kenny Falkær Olsen (Technical University of Denmark, WS Audiology)
• 通讯作者：未说明
• 作者列表：Kenny Falkær Olsen (Technical University of Denmark, WS Audiology)， Mads Østergaard (WS Audiology)， Karl Ulbæk (WS Audiology)， Søren Føns Nielsen (WS Audiology)， Rasmus Malik Høegh Lindrup (WS Audiology)， Bjørn Sand Jensen (Technical University of Denmark)， Morten Mørup (Technical University of Denmark)

💡 毒舌点评

亮点在于将概率建模与早退机制结合，推导出一套基于置信度的、可解释的SNR退出准则，比传统的启发式或固定损失权衡方法更 principled。短板是框架的实用性高度依赖于模型预测的不确定性（σ²）是否校准良好，论文显示这需要额外的、在全长度数据上的微调，增加了实际部署的复杂性，且核心模型架构（PRESS-Net）本身在绝对性能上并非无懈可击。

🔗 开源详情

• 代码：论文中未提及任何代码仓库链接或开源计划。
• 模型权重：未提及公开预训练模型权重。
• 数据集：评估使用的WSJ0-2mix， Libri2Mix， WHAM!， WHAMR!， DNS2020均为公开数据集，论文中提供了获取方式的引用链接。
• Demo：未提及。
• 复现材料：论文附录提供了详细的架构图（图2， 图8）、模块描述（编码器/解码器头、线性RNN、逆Gamma参数化块）、数据集描述（附录D）、训练细节（优化器、学习率调度、训练步数等，附录E）以及关键消融实验设置，为复现提供了充分信息。
• 引用的开源项目：论文中引用了用于数据生成的开源仓库（如pywsj0-mix， LibriMix， DNS-Challenge），以及基础架构和组件（如PyTorch， AdamW， minGRU， Hydra， Mamba等）。

📌 核心摘要

1. 问题：当前深度学习的语音分离与增强网络（如TasNet, SepFormer）通常具有固定的计算复杂度，无法根据输入的简单程度（如低噪声、非重叠语音）动态调整计算量，限制了其在移动设备和助听器等资源受限场景的应用。
2. 方法核心：提出了PRobabilistic Early-exit for Speech Separation (PRESS) 框架。该方法联合建模清晰语音信号及其预测误差的方差（采用共轭逆Gamma先验），从而导出预测的信噪比（SNR）分布。基于此，可以构建出可解释的早退条件，即当模型对SNR达到某一目标水平有足够信心时，即可提前终止计算。
3. 创新点：
   • 提出了一个统一的、具有不确定感知的概率框架，用于建模预测质量和推导退出条件，无需手动权衡多个损失项。
   • 设计了PRESS-Net架构，基于线性RNN和早期分裂（early splitting），旨在同时实现高计算效率与高质量的中间表征重建。
   • 引入了一个统一的退出SNR条件，综合考虑了目标SNR、SNR改进和参考信号SNR，以处理静默情况。
4. 主要实验结果：在WSJ0-2mix、Libri2Mix、WHAM!、WHAMR!和DNS2020数据集上进行了评估。实验表明（见表2），PRESS模型（如PRESS-4(S)和PRESS-12(M)）在仅使用部分计算量（例如，仅运行4/12个解码器块）时，就能达到接近使用全部计算的最终性能。更重要的是，通过概率退出条件动态调整计算，其效率-性能曲线（图3）优于静态模型。消融实验（表1）验证了概率似然、联合置换训练等关键设计的有效性。
5. 实际意义：为部署在异构设备上的语音处理系统提供了一种高效、可伸缩的解决方案，可以根据实际需求和设备资源动态平衡性能与功耗/延迟，且退出条件具有物理意义（SNR）和可解释性（置信度）。
6. 主要局限性：模型对误差方差的预测（σ²）在标准训练后并不校准（图5a，b），需要额外在全长度音频上进行微调才能达到良好校准（图5c，d），这增加了训练的复杂性。此外，退出决策目前是在所有说话人联合进行的，尚未支持对每个说话人独立退出。