ICASSP 2026 - 语音分离
共 25 篇论文
📋 论文详情
🥇 Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios
🔥 8.5/10 | 前25% | #语音分离 | #信号处理 | #麦克风阵列 #自回归模型
👥 作者与机构
- 第一作者：Jakob Kienegger（汉堡大学信号处理系）
- 通讯作者：Timo Gerkmann（汉堡大学信号处理系）
- 作者列表：Jakob Kienegger（汉堡大学信号处理系），Timo Gerkmann（汉堡大学信号处理系）
💡 毒舌点评
这篇论文的亮点在于巧妙地将旋转转向的“优雅数学”与自回归的“实用主义”结合，构建了一个模块化且鲁棒的框架，在说话人紧密移动时表现出色；但其跟踪模块对复杂运动模型的依赖（如正弦轨迹假设）和系统对初始方向估计的敏感性，可能成为其在更无序真实场景中广泛应用的瓶颈。
📌 核心摘要
本文针对动态声学场景（如说话人移动、交叉）中，现有空间选择性滤波（SSF）方法在目标说话人接近或交叉时性能下降的问题，提出了一种基于Ambisonics的自适应旋转导向与联合自回归框架。该方法核心是：(1) 通过一个跟踪算法，自动将录制的声场实时旋转对齐至目标说话人方向（自适应旋转导向）；(2) 将前一帧的增强语音信号，作为额外输入同时反馈给跟踪网络（AR-TST）和增强网络（AR-SSF），形成联合自回归循环。与已有方法相比，新在：a) 实现了旋转转向的自动化以处理动态场景；b) 提出在跟踪和增强两个环节同时利用语音时频线索进行反馈，弥补空间线索失效的缺陷。实验在合成三说话人数据集和真实录音上进行，结果表明：在说话人角距离小于15°时，AR-TST使跟踪误差显著降低；在合成数据上，联合AR框架使McNet的PESQ达到2.17，超过强引导基线（2.21）并远超固定旋转引导（1.97）。实际意义在于为会议、助听等场景提供了一种不依赖持续外部引导、鲁棒的说话人提取方案。主要局限包括对目标初始方向有一定依赖，以及合成轨迹模型可能无法完全覆盖真实世界运动的多样性。
🥈 UNMIXX: Untangling Highly Correlated Singing Voices Mixtures
🔥 8.5/10 | 前25% | #语音分离 | #时频分析 | #歌唱语音合成 #数据增强
👥 作者与机构
- 第一作者：Jihoo Jung（韩国科学技术院， Korea Advanced Institute of Science and Technology, South Korea）
- 通讯作者：未说明（论文中未明确标注）
- 作者列表：Jihoo Jung（韩国科学技术院）、Ji-Hoon Kim（韩国科学技术院）、Doyeop Kwak（韩国科学技术院）、Junwon Lee（韩国科学技术院）、Juhan Nam（韩国科学技术院）、Joon Son Chung（韩国科学技术院）
💡 毒舌点评
亮点： 论文对问题（高相关、数据稀缺）的洞察和解决方案设计（MIM生成相关数据、CS Attention解耦表示）非常系统且直击要害，实验验证也堪称范本，尤其是提出了HSSNR这个更合理的评估指标来应对同歌手场景。短板： 依赖合成数据（MIM）来解决数据问题，与真实多轨录音的差距未充分探讨；且所有对比实验均在单一的MedleyVox数据集上进行，未见其他公开数据集上的验证，说服力略打折扣。
📌 核心摘要
- 问题： 本文旨在解决多人歌唱语音分离（MSVS）任务，该任务面临两大独特挑战：可用的训练数据极度稀缺，且混合的歌唱语音本身具有高度相关性（如共享歌词、和声、时间对齐），这使得现有语音分离方法效果不佳。
- 方法核心： 提出UNMIXX框架，包含三个关键组件：（1）音乐信息混合（MIM）策略，通过选择时间节奏和音高和谐的歌曲进行配对，合成高度相关且逼真的训练数据，以缓解数据稀缺；（2）跨源注意力（CS Attention），通过“反向注意力”机制主动抑制两个歌手表示中的相似区域，强制表示分离；（3）幅度惩罚损失（Magnitude Penalty Loss），在训练后期显式惩罚目标频谱图中残留的干扰能量。
- 创新点： 1）首次提出针对MSVS任务的、模拟真实音乐相关性的数据合成方法（MIM）。2）在架构（CS Attention）和损失（LPenalty）两个层面引入跨源互斥约束，专门针对“高相关性”这一难点。3）为同演唱者场景提出了更合理的评估指标HSSNR。
- 实验结果： 在MedleyVox评估集上，UNMIXX相对于此前最优方法（MedleyVox基线）取得了显著提升，在duet子集上SDRi提升2.42 dB，在unison子集上提升2.26 dB。消融实验证明了每个组件的有效性。
- 主实验对比（关键数据）：
方法 #参数 Duet SDRi (↑) Unison SDRi (↑) MedleyVox 5M 15.10 4.90 TIGER* 947k 16.58 5.96 UNMIXX 951k 17.52 7.16 - 消融实验（部分关键结果）：
方法 Duet SDRi Unison SDRi TIGER* (基线) 16.58 5.96 + MIM (m=8) 16.79 7.31 + CS attention 18.01 6.17 + Mag, Penalty loss 16.68 6.44 UNMIXX (全组件) 17.52 7.16
- 主实验对比（关键数据）：
- 实际意义： 为处理真实音乐中常见的多轨人声混合提供了有效工具，可应用于音乐制作（人声轨道分离）、卡拉OK（伴奏与任意人声分离）、以及后续的单人歌唱信息检索任务。
- 主要局限性： 1）模型性能高度依赖于MIM合成的数据与真实数据的匹配度；2）实验仅在一个评估数据集上进行，泛化能力有待进一步验证；3）模型为离线处理，未讨论实时性。
🥉 Brainprint-Modulated Target Speaker Extraction
🔥 8.0/10 | 前25% | #语音分离 | #多任务学习 | #语音增强 #多模态模型
👥 作者与机构
- 第一作者：Qiushi Han（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）
- 通讯作者：Liya Huang（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）
- 作者列表：
- Qiushi Han（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）（†共同第一作者）
- Yuan Liao（香港中文大学（深圳）人工智能与数据科学学院 & 研究生院）（†共同第一作者）
- Youhao Si（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）
- Liya Huang（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）（⋆通讯作者）
💡 毒舌点评
本文最大的亮点在于“脑印调制”这一概念的提出，巧妙地将通常被视为噪声的个体EEG差异转化为可用的生物特征信号来指导音频分离，思路新颖且实验验证充分。不过，论文的短板在于对“个性化”的论证稍显单一，主要依赖于SID和AAD任务的监督，缺乏对脑印嵌入空间本身可解释性、跨会话稳定性以及在真实助听器设备上实时性、功耗等方面的深入讨论，使得这项工作的工程化前景存在不确定性。
📌 核心摘要
- 要解决的问题：当前基于脑电图（EEG）的目标说话人提取（TSE）系统面临两个核心挑战：EEG信号的非平稳性导致跨会话性能不稳定，以及显著的个体间差异限制了通用模型的泛化能力。
- 方法核心：本文提出了脑印调制目标说话人提取（BM-TSE）框架。该框架首先使用一个带有自适应频谱增益（ASG）模块的时空EEG编码器，从非平稳信号中提取稳定特征。其核心是一个“个性化脑印调制”机制：通过联合优化说话人识别（SID）和听觉注意解码（AAD）任务，学习一个统一的“脑图”嵌入（brainmap embedding），该嵌入同时编码用户的静态身份和动态注意状态，并用它主动调制和优化音频分离过程，实现个性化输出。
- 与已有方法相比新在哪里：传统TSE方法通常将EEG中的身份特异性信息视为需要抑制的统计噪声。BM-TSE则创新地利用这些“脑印”信息，将其作为个性化的调制信号，直接作用于语音分离网络，从“被动解码注意力”转向“主动利用身份特征进行定制化增强”。
- 主要实验结果：在KUL和Cocktail Party两个公开数据集上的实验表明，BM-TSE在语音质量（SI-SDR）和可懂度（STOI, ESTOI）上均达到了当前最优（SOTA）。例如，在Cocktail Party数据集上，BM-TSE的SI-SDR为14.02 dB，优于之前的SOTA方法MSFNet（12.89 dB）。消融研究证实了LS-TConv、ASG、SConv模块以及LSID损失的关键作用。
- 实际意义：该研究为开发新一代真正个性化、高保真的神经调制助听设备提供了有力的技术路径，证明了将用户独特的神经特征融入核心音频处理管线的巨大潜力。
- 主要局限性：论文未深入探讨该框架在真实实时助听器设备上的计算复杂度、功耗及延迟；对于脑印嵌入在更长时间跨度（如数月或数年）下的稳定性验证不足；此外，实验数据集均为健康被试在实验室环境下录制，模型在听力损失患者及真实嘈杂场景中的泛化能力有待进一步验证。
4. Flexio: Flexible Single- and Multi-Channel Speech Separation and Enhancement
🔥 8.0/10 | 前25% | #语音分离 | #多通道 | #语音增强 #麦克风阵列
👥 作者与机构
- 第一作者：Yoshiki Masuyama (Mitsubishi Electric Research Laboratories (MERL), Cambridge, USA)
- 通讯作者：未说明
- 作者列表：Yoshiki Masuyama (MERL)、Kohei Saijo (Waseda University, Tokyo, Japan)、Francesco Paissan (University of Trento, Trento, Italy; MERL)、Jiangyu Han (Brno University of Technology, Brno, Czechia)、Marc Delcroix (NTT, Inc., Kyoto, Japan)、Ryo Aihara (MERL)、François G. Germain (MERL)、Gordon Wichern (MERL)、Jonathan Le Roux (MERL)
💡 毒舌点评
亮点： 论文提出了一个优雅的统一框架FlexIO，首次将处理可变输入（麦克风数量）和可变输出（说话人数量）的灵活性整合到一个模型中，并利用“提示向量”实现了用户可控的分离，这在实际应用中极具价值。 短板： 作者对比并测试了三种通道通信机制（TAC、Cross-channel attention、Co-attention），但对其选择缺乏深入的指导原则分析，且在某些场景下性能提升并非压倒性的，使得“哪种机制最优”的结论有些模糊。
📌 核心摘要
FlexIO旨在解决语音分离与增强（SSE）系统中处理可变麦克风数量（输入）和可变说话人数量（输出）的灵活性问题，而现有研究通常只关注其中一个方面。其核心方法是在一个统一的端到端模型中，集成多通道交叉提示模块和条件式目标说话人提取（TSE）模块。该模型接收M通道混合信号和N个提示向量，通过通道无关的通道通信机制（如TAC）处理多通道信息，并利用提示向量分离出指定数量的说话人。与现有方法相比，FlexIO的新颖之处在于首次实现了输入（麦克风数）和输出（说话人数）的双重灵活性，且具备用户可控性。实验表明，FlexIO在1到5个麦克风、1到3个说话人的多样化条件下均表现良好，在CHiME-4真实数据上展现出鲁棒性。例如，在WSJ1-CHiME（2-4通道，2说话人）分离任务上，大型FlexIO模型的SDR比专用模型TF-GridNet高出约1.5 dB。该工作的实际意义在于为动态场景（如可变参会人数的会议）提供了统一的前端处理方案。主要局限性在于模型性能可能在更极端或训练未覆盖的复杂声学条件下下降，且未整合说话人计数功能。
5. MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
🔥 8.0/10 | 前25% | #语音分离 | #流匹配 | #多模态模型 #预训练
👥 作者与机构
- 第一作者：Akira Takahashi（Sony Group Corporation, Japan）
- 通讯作者：未说明
- 作者列表：Akira Takahashi（Sony Group Corporation, Japan）、Shusuke Takahashi（Sony Group Corporation, Japan）、Yuki Mitsufuji（Sony Group Corporation, Japan & Sony AI, USA）
💡 毒舌点评
亮点在于极具创意地“废物利用”，让一个“造声音”的生成模型去干“分声音”的分离活儿，还干得不错，这种跨任务的知识迁移思路本身就很值钱。短板则在于，用生成模型的评价体系（FAD, CLAP）来评判分离任务的好坏，如同用“饭菜香气”来评价厨师刀工是否精准，方法论的适配性有待更深入的讨论；另外，模型在分离后“不忘本”的生成能力验证也略显粗糙。
📌 核心摘要
问题：传统声音分离模型通常基于判别式方法，而近期基于生成模型的声音分离也开始出现，但与同样使用生成模型的视频到音频（V2A）任务发展相互独立。本文旨在探索能否利用强大的预训练生成模型知识来提升分离任务。
方法核心：提出MMAudioSep，通过微调预训练的MMAudio（V2A生成模型）来实现基于视频/文本查询的声音分离。核心设计是引入“通道拼接条件机制”，将混合音频的潜在向量与噪声在通道维度拼接，作为生成模型的输入条件。
创新点：首次在单一模型中同时实现V2A生成和基于查询的声音分离；将生成模型的知识成功迁移至分离任务；通过通道拼接的方式巧妙地在生成框架中引入分离条件。
实验结果：
- 声音分离性能：在VGGSound-Clean和MUSIC数据集上，MMAudioSep（文本查询）在多数指标上优于或持平于AudioSep和FlowSep。结合视频和文本查询后性能进一步提升。关键数据见下表。
- V2A生成保留：微调后模型仍具备V2A生成能力，但性能相比原始MMAudio有所下降，在部分指标上与其它V2A基线模型相当。
- 关键表格数据（表1：声音分离基准，主要指标）：
方法 查询 (TEXT/VIDEO) VGGSound-Clean (FAD↓, CLAP↑) MUSIC (FAD↓, CLAP↑) AudioSep ✓ / - 0.90, 28.37 1.37, 31.11 FlowSep ✓ / - 1.90, 24.79 18.87, 24.33 MMAudioSep (ours) ✓ / ✓ 1.98, 30.38 1.72, 31.69 - 关键表格数据（表2：V2A生成基准，部分指标）：
方法 FAD↓ IS↑ IB-Score↑ MMAudio-L-44k (基础) 0.97 17.40 33.22 MMAudioSep (pretrain w/frozen) 1.76 14.99 30.35
图4展示了MMAudioSep与AudioSep的分离结果对比，其生成的频谱在细节和伪影方面表现更优。
实际意义：该研究证明了将基础生成模型微调用于下游感知任务的可行性，为“一个基础模型，多种音频任务”的范式提供了有力证据，可能推动音频领域基础模型的发展。
主要局限性：1) 评价体系偏向生成质量，对分离的保真度度量不足；2) V2A能力保留的验证方法简单，未分析生成音频中“噪声”残留的问题；3) 模型训练依赖大规模预训练模型，复现成本高。
6. Bayesian Signal Separation Via Plug-and-Play Diffusion-Within-Gibbs Sampling
✅ 7.5/10 | 前25% | #语音分离 | #扩散模型 | #信号处理 #生物声学
👥 作者与机构
- 第一作者：Yi Zhang（魏茨曼科学研究所，数学与计算机科学系）
- 通讯作者：Rui Guo（魏茨曼科学研究所，数学与计算机科学系； 邮箱：rui.guo@weizmann.ac.il）
- 作者列表：Yi Zhang（魏茨曼科学研究所，数学与计算机科学系）、Rui Guo（魏茨曼科学研究所，数学与计算机科学系）、Yonina C. Eldar（魏茨曼科学研究所，数学与计算机科学系）
💡 毒舌点评
亮点：将即插即用扩散模型与吉布斯采样的框架结合得极为优雅，不仅提供了严格的理论收敛证明，还实现了不同源信号先验模型的独立训练与自由组合，设计上富有巧思且模块化程度高。 短板：理论证明高度依赖“完美扩散模型”这一理想化假设，而实际中扩散模型的训练误差、离散化误差等会直接影响算法性能，论文对此稳健性分析不足；此外，实验仅在一个特定且数据量可能有限的生物医学场景（心搏提取）上验证，未能充分展示其在更主流、更复杂的音频/语音分离任务上的泛化能力。
📌 核心摘要
本文针对从噪声混合中恢复多个独立源信号的贝叶斯分离问题，提出了一种名为“扩散-内-吉布斯采样（DiG）”的后验采样算法。其核心是将吉布斯采样与即插即用（Plug-and-Play）扩散先验相结合：算法交替地对每个源信号进行更新，更新其条件分布时，通过模拟对应源信号的扩散模型的反向过程的一部分来实现。与现有大多数基于扩散模型的分离方法相比，该方法的新颖之处在于：1）模块化设计，允许预先独立训练每个源信号的扩散模型，然后灵活组合，无需为新的分离任务重新训练整个模型；2）在扩散模型完美训练的理想假设下，能够证明算法收敛到真实的后验分布。实验在从含有强运动伪影的混合信号中提取心搏的任务上进行，结果表明，所提DiG算法在均方误差（MSE）指标上全面优于传统方法（EMD, VMD）以及现有的先进扩散后验采样方法（MSDM, DPnP）。例如，在信号干扰比为-40.1 dB、信噪比为13.2 dB的极端情况下，DiG的MSE为0.57，而次优的DPnP为0.98，优势明显。该工作为信号分离问题提供了一种灵活、理论上可证明的新范式，其实际意义在于降低了扩散模型在分离任务中的应用门槛。主要局限是理论保证依赖于强理想化假设，且实验场景相对特定。
7. An Audio-Visual Speech Separation Network with Joint Cross-Attention and Iterative Modeling
✅ 7.5/10 | 前25% | #语音分离 | #注意力机制 | #迭代建模 #音视频
👥 作者与机构
- 第一作者：Fangxu Chen（新疆大学计算机科学与技术学院， 同时隶属于丝路多语种认知计算联合国际研究实验室）
- 通讯作者：Ying Hu（新疆大学计算机科学与技术学院， 同时隶属于丝路多语种认知计算联合国际研究实验室）
- 作者列表：Fangxu Chen（新疆大学计算机科学与技术学院）、Ying Hu（新疆大学计算机科学与技术学院）、Zhijian Ou（清华大学电机工程与应用电子技术系）、Hexin Liu（南洋理工大学电气与电子工程学院）
💡 毒舌点评
亮点在于提出的JCA模块和参数共享的迭代分离模块，成功地在提升分离性能（在多个数据集上取得SOTA）的同时，将模型参数量和推理时间（RTF）控制在极低水平（JCA-Net-4的RTF仅为0.021秒），展现了优秀的效率-性能权衡。短板在于实验评估主要基于标准学术数据集，论文未探讨模型在更极端噪声（如非平稳噪声、强混响）、说话人数量多于2人或跨语言场景下的鲁棒性，其实际应用的泛化能力有待进一步验证。
📌 核心摘要
- 要解决什么问题：传统的纯音频语音分离在强噪声、混响或重叠语音场景下面临瓶颈。本文旨在利用说话人的视觉线索（唇动）来增强分离性能，同时解决现有音视频融合方法仅关注跨模态关系而忽略模内关系，以及分离模块效率低下的问题。
- 方法核心是什么：提出了JCA-Net网络，其核心是联合交叉注意力（JCA）模块和参数共享的迭代分离模块。JCA模块通过引入音视频的联合表示，使注意力机制能同时建模模态内和模态间关系。分离模块则被迭代执行R次，每次共享参数，以平衡性能与效率。
- 与已有方法相比新在哪里：主要创新有两点：(1) 在音视频融合上，JCA模块首次将“联合表示”与“交叉注意力”结合，实现了更全面的特征交互，优于简单的拼接、加法或标准跨模态注意力。(2) 在分离建模上，提出了一种轻量级的迭代范式，通过参数共享，用较少的参数量和计算量（MACs）实现了性能的逐次提升，效率远优于基于Transformer的大型双路径网络。
- 主要实验结果如何：在三个主流基准数据集（LRS2, LRS3, VoxCeleb2）上，JCA-Net-12（迭代12次）取得了最佳的SI-SNRi和SDRi。例如，在LRS2上SI-SNRi达到15.6 dB，在VoxCeleb2上达到12.9 dB，均优于所有对比的7种SOTA方法。关键消融实验显示：
- 迭代次数增加带来性能提升但计算量线性增长。
- JCA融合策略显著优于其他融合方法。
- 迭代模块中的AFM和MLFF组件均能独立带来性能增益，组合使用效果最佳。
方法 LRS2 SI-SNRi LRS3 SI-SNRi VoxCeleb2 SI-SNRi 参数量 (M) RTF (s) RTFS-Net-12 [8] 14.9 17.5 12.4 0.74 0.055 JCA-Net-12 15.6 17.7 12.9 1.26 0.049 JCA-Net-4 14.2 15.5 11.3 1.26 0.021
- 实际意义是什么：该研究为嘈杂或重叠语音环境下的语音增强（如助听器、会议转录、语音助手）提供了一个高效且高性能的解决方案。特别是JCA-Net-4模型，其极低的实时因子（RTF）使其具备在资源受限设备上实时处理的潜力。
- 主要局限性是什么：论文未讨论模型对非理想视觉输入（如遮挡、侧脸、光照差）的鲁棒性；实验设置为2人混合，未验证更多说话人的场景；此外，模型性能虽高，但其架构复杂度仍高于最轻量的纯音频模型（如AV-Convtasnet），在某些极端低功耗场景可能仍是挑战。
8. Aneural Forward Filtering for Speaker-Image Separation
✅ 7.5/10 | 前25% | #语音分离 | #信号处理 | #语音增强
👥 作者与机构
- 第一作者：Jingqi Sun（南方科技大学计算机科学与工程系）
- 通讯作者：Zhong-Qiu Wang（南方科技大学计算机科学与工程系）
- 作者列表：Jingqi Sun（南方科技大学计算机科学与工程系）、Shulin He（未说明）、Ruizhe Pang（未说明）、Zhong-Qiu Wang（南方科技大学计算机科学与工程系）
💡 毒舌点评
这篇论文巧妙地将传统的信号处理思想（线性卷积模型）与深度神经网络结合，为解决“保留混响”的语音分离任务提供了新的思路，其“三明治”架构（DNN-线性滤波-DNN）在实验上取得了可观的性能提升。然而，论文的核心创新点（联合预测直达声、神经前向滤波）高度依赖于一个理想化的时不变线性滤波器假设，这在复杂的真实声学环境中可能难以严格成立，且论文未探讨其在该假设不成立时的鲁棒性。
📌 核心摘要
- 问题：论文针对单通道多说话人-图像分离（speaker-image separation）任务，旨在从混叠语音中分离出每个说话人，但需保留各自的混响信息，而非去除混响。这在增强现实、音频后期处理等应用中很有价值。
- 方法核心：提出CxNet系统，采用“三明治”架构。第一个DNN（DNNR&A,1）联合预测每个说话人的直达声信号和混响语音。基于直达声估计，一个神经前向滤波模块（FCP及其变体FCP-ESSU）估计一个线性滤波器，该滤波器与直达声卷积得到一个物理约束下的混响语音估计。第二个DNN（DNNR&A,2）以原始混合信号、第一个DNN和FCP的估计为输入，进一步精细化混响语音估计。
- 创新点：与端到端DNN直接预测混响语音的基线方法相比，CxNet显式建模了直达声信号与混响语音之间的物理卷积关系；提出联合预测框架，利用更干净的直达声信号作为监督引导；改进了FCP算法，提出按能量排序更新源的FCP-ESSU以提升多说话人场景下的滤波器估计精度。
- 主要实验结果：在SMS-WSJ数据集上，CxNet（使用FCP-ESSU）在2说话人分离任务上达到21.4 dB的SI-SDR，比未使用物理约束的双DNN基线（系统2b）高出3.4 dB，比单DNN基线高出4.2 dB。在低能量时频单元（对应晚期混响）的重建上，CxNet显示出显著优势。
系统 迭代次数 SI-SDR (dB) nbPESQ eSTOI 2说话人 DNNR (基线) - 17.2 3.97 0.930 DNNR,1+DNNR,2 (基线) 1 18.0 4.02 0.936 CxNet (FCP-ESSU) 2 21.4 4.15 0.962 3说话人 DNNR (基线) - 12.9 3.50 0.859 DNNR,1+DNNR,2 (基线) 1 13.2 3.50 0.858 CxNet (FCP-ESSU) 2 17.2 3.87 0.921 - 实际意义：为需要保留环境混响信息的音频处理任务（如AR/VR、音频编辑）提供了一种有效的分离技术框架。其显式建模物理约束的思想，为融合领域知识和数据驱动模型提供了范例。
- 主要局限性：核心假设（时不变线性滤波器）在实际复杂声场中可能不成立，论文未对此进行分析和验证；系统复杂度（三个模块）和推理时迭代需求可能影响实时应用；实验仅在模拟混响数据集上进行，缺乏真实房间环境的验证。
9. Str-DiffSep: Streamable Diffusion Model for Speech Separation
✅ 7.5/10 | 前25% | #语音分离 | #扩散模型 | #流式处理 #实时处理
👥 作者与机构
- 第一作者：Chenjun Zhao (剑桥大学工程系)
- 通讯作者：未明确说明（根据署名顺序和机构，Philip C. Woodland教授可能是通讯作者，但论文未明确标注）
- 作者列表：Chenjun Zhao (剑桥大学工程系), Guangzhi Sun (剑桥大学工程系), Keqi Deng (剑桥大学工程系), Chenda Li (上海交通大学), Philip C. Woodland (剑桥大学工程系)
💡 毒舌点评
该论文首次将扩散模型引入实时语音分离，通过巧妙融合SkiM的流式架构和MultiDiffusion的边界融合策略，成功解决了生成模型难以流式化的痛点，这是一个漂亮的工程-算法结合。不过，其推理计算量（RTF=0.51）仍是判别式模型SkiM（RTF=0.26）的两倍，且扩散带来的感知质量（PESQ）轻微下降也提醒我们，生成模型在实时场景的“免费午餐”可能并不完全免费。
📌 核心摘要
- 解决的问题：传统判别式语音分离模型在未见数据上泛化能力差，而现有的扩散模型分离方法无法满足实时流式处理的低延迟要求。
- 方法核心：提出Str-DiffSep，第一个用于流式语音分离的扩散模型。其核心是采用SkiM架构改造扩散模型的分数函数，使其能处理短时音频块；并引入源自图像生成的MultiDiffusion策略，通过融合重叠块的去噪结果来消除边界伪影，实现稳定的流式推理。
- 新意：这是首次将扩散模型框架成功适配到流式语音分离任务。创新点在于设计了基于记忆增强LSTM的分数函数网络，并将MultiDiffusion这一生成空间融合策略迁移到了语音波形领域。
- 主要结果：在WSJ0-2mix测试集上，Str-DiffSep在50ms延迟的流式设置下，SI-SDR（14.74 dB）和SI-SAR（14.97 dB）指标均优于判别式基线SkiM（13.69/14.01 dB），且接近离线DiffSep模型（14.32/14.66 dB）。在未见数据集Libri2Mix上，其DNSMOS评估分数超过SkiM，展现了更强的泛化能力。消融实验证明MultiDiffusion和状态传递缺一不可。
数据集 模式 MultiDiffusion States SI-SDR (dB) SI-SAR (dB) PESQ STOI WSJ0-2mix Str-DiffSep (online) yes yes 14.74 (5.56) 14.97 (5.06) 2.74 (0.53) 0.877 (0.102) WSJ0-2mix SkiM (online) - - 13.69 (4.98) 14.01 (4.42) 2.92 (0.46) 0.878 (0.081) WSJ0-2mix DiffSep (offline) - - 14.32 (5.69) 14.66 (5.07) 3.13 (0.55) 0.896 (0.093) （表1: WSJ0-2mix关键性能对比） - 实际意义：证明了扩散模型可以作为一种有效且泛化能力更强的框架用于实时语音分离任务，为流式语音处理提供了新的模型选择。
- 主要局限：流式推理的实时因子（RTF=0.51）高于判别式模型，计算开销更大；MultiDiffusion的平滑策略可能导致感知质量指标（如PESQ）略有下降；实验数据集规模相对有限（仅两个2说话人混合数据集）。
10. PromptSep: Generative Audio Separation Via Multimodal Prompting
✅ 7.5/10 | 前10% | #语音分离 | #扩散模型 | #数据增强 #多模态模型
👥 作者与机构
- 第一作者：Yutong Wen (Adobe Research & University of Illinois Urbana-Champaign)
- 通讯作者：未明确说明
- 作者列表：Yutong Wen (Adobe Research & University of Illinois Urbana-Champaign), Ke Chen (Adobe Research), Prem Seetharaman (Adobe Research), Oriol Nieto (Adobe Research), Jiaqi Su (Adobe Research), Rithesh Kumar (Adobe Research), Minje Kim (University of Illinois Urbana-Champaign), Paris Smaragdis (MIT), Zeyu Jin (Adobe Research), Justin Salamon (Adobe Research)
💡 毒舌点评
亮点： 创新性地将“声音移除”与“声乐模仿”整合进统一框架，直击现有LASS系统的两大软肋，实验设计（多基准、多设置、消融研究）堪称全面典范。短板： 训练过程的“黑盒”化严重，关键优化超参数、硬件配置等细节缺失，使得其强大的结果难以被独立复现验证，削弱了学术贡献的坚实性。
📌 核心摘要
PromptSep旨在解决现有语言查询音频源分离系统的两大局限：仅支持声音提取操作，以及纯文本提示的模糊与不直观性。其核心方法是构建一个条件扩散模型，通过精心设计的数据模拟流程，统一支持提取与移除两种操作符；同时，创新性地引入用户声乐模仿作为新的提示模态，并利用Sketch2Sound模型进行数据增强以获得对齐的训练数据。与现有方法相比，新意在于首次在单一模型中集成提取/移除操作，并首次将声乐模仿作为开放域分离的引导条件。主要实验结果表明，在声音移除任务上，PromptSep在多个基准（如FSD-Mix的SDRi为-3.34）上显著优于FlowSep和SoloAudio等基线；在声乐模仿引导的分离任务上，取得了SDRi 9.99 dB的强性能。其实际意义在于为用户提供了更灵活、更直观的音频编辑工具。主要局限性在于训练细节公开不足，可能影响复现，且未探讨文本与模仿提示联合使用的潜力。
11. Diff-vs: Efficient Audio-Aware Diffusion U-Net for Vocals Separation
✅ 7.5/10 | 前25% | #语音分离 | #扩散模型 | #U-Net #数据增强
👥 作者与机构
- 第一作者：Yun-Ning (Amy) Hung (Moises, USA)
- 通讯作者：未说明
- 作者列表：Yun-Ning (Amy) Hung (Moises, USA), Richard Vogl (Moises, USA), Filip Korzeniowski (Moises, USA), Igor Pereira (Moises, USA)
💡 毒舌点评
亮点：论文巧妙地将针对图像生成优化的EDM框架“移植”到音频分离，并通过带分离和双路径RoFormer等音乐领域知识进行“魔改”，成功将扩散模型的推理步数压至个位数，在生成式方法中实现了SOTA性能。短板：虽然在自家构建的生成式对比阵营中鹤立鸡群，但一旦面对经过大规模数据洗礼的判别式“怪兽”（如BS-RoFormer），在客观指标上依然力有不逮，生成式范式在音乐分离上的“逆天改命”之路仍需努力。
📌 核心摘要
- 问题：当前基于生成式扩散模型的音乐源分离方法，在标准客观指标（如SDR）上通常落后于判别式方法，且推理步数多、模型庞大，限制了其实用性。
- 方法：本文提出Diff-VS，一个基于Elucidated Diffusion Model (EDM)框架的高效音频感知扩散U-Net模型，专门用于人声分离。模型输入为经过特殊归一化的复数频谱图，并采用带分离和双路径RoFormer块改进的U-Net架构。
- 创新：首次将EDM框架应用于人声分离，实现了少于10步的高效推理；提出针对音乐信号特性的架构改进（如用双路径RoFormer替换像素自注意力）；实验证明生成式方法能达到与判别式方法竞争力的客观指标和更优的感知质量。
- 实验结果：在MUSDB18-HQ数据集上，仅需7步推理的Diff-VS达到了10.12 dB的cSDR，超越了所有已对比的生成式模型（最高为SGMSE的8.63 dB），并接近SCNet-L (10.86 dB) 等顶尖判别式模型。在基于MERT嵌入的感知质量评估中，Diff-VS (MSE=0.083) 优于SCNet-L (0.096) 和SGMSE (0.089)。
- 实际意义：该工作证明了经过精心设计的生成式模型，可以在保持分离质量（特别是感知质量）的同时，大幅提升推理效率，为生成式方法在音频分离领域的实际应用提供了可能。
- 主要局限性：在使用更多数据（MoisesDB）训练的最强判别式模型（如BS-RoFormer-12L）面前，客观性能仍有明显差距；模型目前仅针对人声分离，未验证其在多乐器分离任务上的能力；缺乏对生成多样性的讨论和评估。
12. CodeSep: Low-Bitrate Codec-Driven Speech Separation with Base-Token Disentanglement and Auxiliary-Token Serial Prediction
✅ 7.5/10 | 前25% | #语音分离 | #多任务学习 | #语音编码 #音频编解码
👥 作者与机构
- 第一作者：Hui-Peng Du（中国科学技术大学，语音及语言信息处理国家工程研究中心）
- 通讯作者：Yang Ai（中国科学技术大学，语音及语言信息处理国家工程研究中心）
- 作者列表：Hui-Peng Du（中国科学技术大学）、Yang Ai*（中国科学技术大学）、Xiao-Hang Jiang（中国科学技术大学）、Rui-Chen Zheng（中国科学技术大学）、Zhen-Hua Ling（中国科学技术大学）。所有作者均隶属于“语音及语言信息处理国家工程研究中心，中国科学技术大学，合肥，中国”。
💡 毒舌点评
论文精准地瞄准了“既要分离又要压缩”这个被忽略的实用场景，并设计了逻辑自洽的模型，实验也充分证明了其在极低码率下吊打简单级联方案。然而，模型本质上仍是Transformer、RVQ和LSTM等成熟模块的“拼接乐”，缺乏更底层的方法论创新；且实验仅限于两人说话，面对更复杂的多人鸡尾酒会能否保持住这个“1 kbps”的优势，恐怕要打个问号。
📌 核心摘要
问题：本文针对一个实际但未被充分研究的场景——同时进行语音分离与语音压缩。在在线会议、对话归档等应用中，需要从混合语音中分离出说话人，并将其表示为紧凑的离散token以便高效传输或存储。
方法核心：提出CodeSep模型，一个编解码器驱动的联合分离压缩框架。其核心组件包括：一个基于残差向量量化（RVQ）的神经语音编解码器（MDCTCodec），一个基础token解纠缠模块（BTD），以及并行的辅助token串行预测模块（ATSP）。
创新点：与先压缩再分离（FCTS）或先分离再压缩（FSTC）的级联方案不同，CodeSep采用联合分离压缩（JSAC） 策略。BTD模块直接从混合语音的梅尔谱中解纠缠出每个说话人的“基础token”（仅传输这些即可达到极低码率），ATSP模块则利用基础token串行预测出剩余的“辅助token”以提升重建质量。训练时利用RVQ提供的排列不变交叉熵和基于教师强迫的交叉熵损失。
主要实验结果：在Libri2Mix数据集上，CodeSep在仅1 kbps的比特率下，其分离语音的质量（UTMOS 3.14，DNSMOS 3.67）和说话人相似度显著优于同码率的FCTS和FSTC基线。甚至，CodeSep（1 kbps）的UTMOS和DNSMOS得分超过了FSTC方案在2 kbps、4 kbps乃至8 kbps下的结果（具体数据见下表）。 表1：1 kbps下各方法性能对比
比特率 方法 UTMOS↑ DNSMOS↑ NMOS↑ SMOS↑ 1 kbps CodeSep 3.14 3.67 3.65 (±0.08) 3.43 (±0.09) 1 kbps FCTS 1.34 3.03 2.96 (±0.09) 2.86 (±0.09) 1 kbps FSTC 1.99 3.33 3.24 (±0.09) 3.15 (±0.09) 无限 Sepformer 3.54 3.55 - - 表2：CodeSep(1kbps)与FSTC(更高码率)的客观指标对比
比特率 方法 UTMOS↑ DNSMOS↑ 1 kbps CodeSep 3.14 3.67 2 kbps FSTC 2.30 3.44 4 kbps FSTC 2.87 3.53 8 kbps FSTC 3.11 3.56 表3：主观ABX偏好测试（CodeSep@1kbps vs. FSTC@更高码率）
对比 CodeSep偏好 FSTC偏好 无偏好 p-value 自然度ABX 1 vs. 2 kbps 55.83% 41.90% 2.27% <0.01 1 vs. 4 kbps 52.77% 42.97% 4.26% <0.01 1 vs. 8 kbps 38.57% 53.57% 7.86% <0.01 相似度ABX 1 vs. 2 kbps 54.29% 41.79% 3.94% <0.01 1 vs. 4 kbps 47.23% 46.91% 5.86% 0.78 1 vs. 8 kbps 45.43% 44.00% 10.57% 0.68 实际意义：为在线会议、对话归档等需要同时分离与压缩语音的应用提供了一种高效的解决方案，能在极低带宽/存储成本下获得可用的分离语音。
主要局限性：实验仅针对双人混合语音；模型架构是现有模块的组合创新，非底层原理突破；未与同方向的最新工作（如Codecformer）进行直接对比；仅传输基础token时，分离与压缩的性能极限有待进一步探索。
13. SLM-SS: Speech Language Model for Generative Speech Separation
✅ 7.5/10 | 前25% | #语音分离 | #自回归模型 | #语音大模型 #语音增强
👥 作者与机构
- 第一作者：Tianhua Li（上海交通大学计算机科学与技术学院， 教育部人工智能重点实验室， 听觉认知与计算声学实验室）
- 通讯作者：Chenda Li†（同上； VUI Labs）， Yanmin Qian†（同上； VUI Labs）
- 作者列表：Tianhua Li（上海交通大学计算机科学与技术学院）， Chenda Li（上海交通大学计算机科学与技术学院， VUI Labs）， Wei Wang（上海交通大学计算机科学与技术学院）， Xin Zhou（上海交通大学计算机科学与技术学院）， Xihui Chen（上海交通大学计算机科学与技术学院）， Jianqing Gao（科大讯飞股份有限公司AI研究院）， Yanmin Qian（上海交通大学计算机科学与技术学院， VUI Labs）
💡 毒舌点评
亮点在于将语音语言模型的生成范式用于语音分离，直指传统判别方法在“可懂度”上的软肋，并且用AR+NAR混合解码来平衡质量与效率，思路清晰且新颖。短板是模型规模仅为600M参数、仅在LibriMix单一数据集上验证，缺乏在更复杂真实场景（如强噪声、多说话人）和更大规模数据集上的锤炼，说服力打了折扣。
📌 核心摘要
- 要解决的问题：传统判别式语音分离方法在波形重建的信号指标上表现良好，但往往引入失真，导致分离后语音的可懂度下降，进而损害自动语音识别等下游任务的性能。
- 方法核心：提出SLM-SS框架，将语音分离视为离散多码本序列生成问题。首先使用Encodec编码器将语音转换为离散码本序列，并利用SOT策略进行拼接；然后采用基于WavLM编码器和Whisper式解码器的自回归（AR）模型预测零阶码本；接着，使用一个非自回归（NAR）模型基于低阶码本顺序预测高阶码本；最后，通过码本切分与Encodec解码器重建出分离后的单人语音。
- 新意：与先前的判别式方法（如BSRNN, Sepformer）和部分生成式方法不同，SLM-SS首次系统性地将语音语言模型（SLM）的建模能力引入语音分离任务，并创新性地结合了AR和NAR生成策略，以提升效率。
- 主要实验结果：在LibriMix数据集上，SLM-SS在下游任务一致性指标上显著优于基线。其字错误率（WER）为7.24，远低于BSRNN（29.8）和Sepformer（28.7），接近地面真值（5.19）。其Levenshtein音素相似度（LPS）为0.954，也优于基线（BSRNN: 0.885, Sepformer: 0.890）。主观平均意见得分（MOS）SLM-SS为4.19，高于BSRNN（4.01）和Sepformer（3.98）。消融实验证明，随着使用码本数量从1增加到8，WER下降，LPS上升；AR解码温度为1.0时性能最佳。
图1. SLM-SS 框架概述。(a) Encodec将单人语音编码为多码本序列，然后使用SOT进行合并。(b) AED模型预测零阶码本序列。(c) NAR模型在给定低阶码本的基础上顺序预测高阶码本序列。(d) SOT序列被分割为单人序列，然后解码为音频。(e) NAR解码器采用多个独立的令牌嵌入来整合所有低阶序列信息。
图2. 随码本数量变化的WER和LPS曲线图。该图展示了随着所使用的码本数量（从1到8）增加，WER（左轴，虚线）呈下降趋势，LPS（右轴，实线）呈上升趋势，表明更多的码本有助于提升分离语音的质量和可懂度。
- 实际意义：为语音分离任务提供了一种新的生成式建模范式，有望显著提升分离结果在语音识别、说话人识别等下游任务中的实用性能。
- 主要局限性：受限于NAR模型的训练难度，仅使用了Encodec的前8个码本（共32个），导致重建语音存在不可避免的信息损失和失真；模型验证规模有限，仅在单一数据集LibriMix上进行，缺乏在更复杂现实场景下的泛化能力证明。
14. VM-UNSSOR: Unsupervised Neural Speech Separation Enhanced by Higher-SNR Virtual Microphone Arrays
✅ 7.5/10 | 前25% | #语音分离 | #麦克风阵列 | #无监督学习
👥 作者与机构
- 第一作者：Shulin He（南方科技大学计算机科学与工程系）
- 通讯作者：Zhong-Qiu Wang（南方科技大学计算机科学与工程系）
- 作者列表：Shulin He（南方科技大学计算机科学与工程系），Zhong-Qiu Wang（南方科技大学计算机科学与工程系）
💡 毒舌点评
亮点：方法巧妙地将传统盲源分离器（IVA/SC）的输出“废物利用”，包装成提供额外监督信号的“虚拟麦克风”，用极低的计算代价显著缓解了小阵列无监督训练崩溃的问题，工程思维值得学习。短板：实验仅在模拟数据（SMS-WSJ）上进行，在真实复杂声场（如强混响、非平稳噪声）下的鲁棒性未经验证，且虚拟麦克风的质量完全依赖于前端分离器的性能，形成了一个潜在的瓶颈。
📌 核心摘要
- 问题：无监督语音分离（USS）依赖混合一致性（MC）损失进行训练，但当训练所用的物理麦克风数量减少（特别是降至确定性配置时），MC约束变弱，导致分离性能急剧下降甚至训练失败。
- 方法核心：提出VM-UNSSOR，利用线性空间分离器（如IVA或空间聚类）对原始多通道混合信号进行处理，生成一组高信噪比（SNR）的“虚拟麦克风”信号。这些虚拟信号作为原始混合信号的线性投影，满足相同的声学混合模型。将物理和虚拟麦克风信号一起输入神经网络分离器，并基于所有麦克风（物理+虚拟）计算加权的MC损失，从而增强训练约束。
- 创新之处：与基础UNSSOR相比，VM-UNSSOR通过引入虚拟麦克风，人为增加了用于计算MC损失的“通道”数量，将确定或欠定的训练条件转变为伪过确定条件。这不仅提供了更强的训练约束，其高SNR特性还可能充当伪教师信号，帮助解决频率置换问题。
- 主要实验结果：在SMS-WSJ数据集的6麦克风2说话人设置下，VM-UNSSOR达到17.1 dB SI-SDR，比UNSSOR基线（14.7 dB）提升2.4 dB，也优于参考的扩散模型方法ArrayDPS（16.2 dB）。在更具挑战性的2麦克风2说话人（确定性）设置中，UNSSOR训练失败（-2.7 dB SI-SDR），而VM-UNSSOR能达到10.7 dB SI-SDR。
系统 设置 SI-SDR (dB) UNSSOR 6麦，2说话人 14.7 VM-UNSSOR 6麦，2说话人 17.1 UNSSOR 2麦，2说话人 -2.7 VM-UNSSOR 2麦，2说话人 10.7 - 实际意义：该方法无需标注数据或额外硬件麦克风，可显著提升现实场景中（麦克风数量有限）的无监督语音分离性能，适用于智能设备、助听器等需要快速在目标环境自适应部署的场景。
- 主要局限性：1）性能上限受限于所使用的线性分离器（IVA/SC）的质量；2）所有实验基于模拟数据（SMS-WSJ），缺乏真实场景验证；3）虚拟麦克风引入了额外的计算开销。
15. SoundCompass: Navigating Target Sound Extraction with Effective Directional Clue Integration in Complex Acoustic Scenes
✅ 7.5/10 | 前25% | #语音分离 | #麦克风阵列 | #信号处理 #多通道
👥 作者与机构
- 第一作者：Dayun Choi（韩国科学技术院电气工程学院）
- 通讯作者：Jung-Woo Choi（韩国科学技术院电气工程学院）
- 作者列表：Dayun Choi（韩国科学技术院电气工程学院）、Jung-Woo Choi（韩国科学技术院电气工程学院）
💡 毒舌点评
论文亮点在于将球谐函数（SH）这种连续、旋转不变的表示与精心设计的SPIN模块相结合，优雅地解决了传统DoA编码的离散化和信息损失问题，理论动机非常扎实。然而，所有实验都在重新生成的静态声源场景（gpuRIR）上进行，虽然控制了变量，但削弱了对“复杂声学场景”中动态性和真实混响的验证说服力，这让其声称的“鲁棒性”略显成色不足。
📌 核心摘要
本文旨在解决复杂声学场景中，现有基于到达方向（DoA）的目标声源提取（TSE）方法因使用手工特征或离散编码而导致的精细空间信息丢失和适应性受限问题。核心方法是提出SoundCompass框架，其包含三个关键组件：1）光谱成对交互（SPIN）模块，在复数谱图域捕获所有通道间的成对空间相关性，保留完整的空间信息；2）球谐函数（SH）嵌入，作为DoA线索的连续、无离散化的表示，描述球面上的位置；3）基于推理链（CoI）的迭代细化策略，将前一阶段估计的声源时间激活与DoA线索递归融合，逐步优化提取结果。与已有方法相比，新在提出了一套端到端、保留连续空间信息的线索集成方案，并创新性地将迭代细化引入基于DoA的TSE。实验在重新生成的ASA2数据集上进行，消融研究证明了SPIN、SH和CoI的有效性。与基线方法（如SSDQ， DSENet）相比，SoundCompass在信噪比改善（SNRi）和空间一致性（∆ILD, ∆IPD, ∆ITD）上均取得更优结果，同时保持了较低的计算复杂度。实际意义在于为助听器、AR/VR等应用提供了更精准、高效的声音提取方案。主要局限性是实验验证依赖静态声源的模拟数据集，对动态场景和更复杂真实环境的泛化能力有待进一步验证。
16. Prototype-Guided Cross-Modal Contrastive Learning for Continual Audio-Visual Sound Separation
✅ 7.5/10 | 前25% | #语音分离 | #对比学习 | #持续学习 #多模态模型
👥 作者与机构
- 第一作者：Wanrong Ma (国防科技大学计算机科学与技术学院，2. 国防科技大学并行与分布式计算国家重点实验室) （注：论文标注为共同第一作者）
- 通讯作者：Kele Xu (国防科技大学计算机科学与技术学院，2. 国防科技大学并行与分布式计算国家重点实验室)
- 作者列表：Wanrong Ma（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Hongyu Wen（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Zijian Gao（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Qisheng Xu（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Kele Xu（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）
💡 毒舌点评
该工作在持续学习与多模态声音分离的交叉领域做得扎实，用原型和对比学习“框住”特征空间的想法巧妙且实验效果显著。但任务场景较为细分，且论文完全没提代码开源，对于想快速复现或在其他多模态任务上借鉴的读者不太友好。
📌 核心摘要
- 问题：本文研究持续音视频声音分离（CAVSS），即模型需在不断学习新声音类别的同时，不忘记如何分离已学类别的声音。主要挑战是灾难性遗忘（学新忘旧）和跨模态干扰（不同类别或不同模态的特征在表示空间中纠缠不清）。
- 方法核心：提出原型引导的跨模态对比学习（PGCCL） 框架。核心是为每个声音类别维护一个类级原型（该类别所有样本多模态特征的平均），将其作为锚点来构建和约束多模态表示空间。训练时，原型与当前批次的样本特征一起，进行成对的跨模态对比学习（音频-运动、音频-物体、运动-物体），以增强类间可分性和类内一致性。同时，使用指数移动平均（EMA） 机制更新模型参数和原型以稳定特征，并结合掩码蒸馏保留旧任务知识。
- 创新点：与现有基于样本回放或参数正则化的方法（如AV-CIL， ContAV-Sep）相比，PGCCL的创新在于：(1) 引入类级原型作为稳定锚点，直接结构化表示空间；(2) 设计了一种将原型融入批次进行跨模态对比学习的机制，同时强化实例判别和类别对齐；(3) 结合EMA和掩码蒸馏，在持续学习中更好地平衡稳定性与可塑性。
- 实验结果：在MUSIC-21数据集上的实验表明，PGCCL显著优于所有基线方法。在最后一个学习步骤上，其SDR达到8.16（最强基线ContAV-Sep为6.49），SIR和SAR也分别为14.11和13.26。在所有步骤的平均性能上，SDR为6.87。消融实验证明原型对比学习（PRO）、EMA和掩码蒸馏（MD）三个组件共同作用时性能最佳（SDR 7.88）。增加回放样本数（NS）能持续提升性能。t-SNE可视化（图2）显示PGCCL产生的多模态特征边界更清晰，重叠更少。
- 实际意义：为动态环境中的音频-视觉协同处理（如机器人、增强现实、辅助听觉设备）提供了一种可扩展的持续学习解决方案。
- 主要局限性：实验仅在一个数据集（MUSIC-21，仅21类乐器）上进行，验证了方法在该设置下的有效性，但对其在更复杂、更多样的真实世界声音场景中的泛化能力尚未验证。此外，论文未提供代码，限制了可复现性和快速验证。
17. EEG and Eye-Tracking Driven Dynamic Target Speaker Extraction with Spontaneous Attention Switching
✅ 7.0/10 | 前25% | #语音分离 | #多模态模型 | #多任务学习 #生物声学
👥 作者与机构
- 第一作者：Xuefei Wang（南方科技大学电子与电气工程系）
- 通讯作者：Fei Chen（南方科技大学电子与电气工程系）
- 作者列表：Xuefei Wang（南方科技大学电子与电气工程系）、Ximin Chen（南方科技大学电子与电气工程系）、Yuting Ding（南方科技大学电子与电气工程系）、Yueting Ban（南方科技大学电子与电气工程系）、Siyu Yu（南方科技大学电子与电气工程系）、Yu Tsao（台湾中研院资讯科技创新研究中心）、Fei Chen（南方科技大学电子与电气工程系）
💡 毒舌点评
这篇论文首次将EEG引导的目标说话人提取问题从静态场景拓展到更符合真实情况的动态注意力切换场景，并为此构建了一个完整的多模态框架，这是其最大亮点；然而，实验仅在参与者数量有限（18人）的自建数据集上进行，且代码与模型未完全开源，极大限制了其结论的普适性与可复现性。
📌 核心摘要
- 要解决什么问题？ 论文旨在解决现有EEG引导的目标说话人提取（TSE）方法通常假设听众注意力静态不变，无法处理现实多说话人环境中听众自发在不同说话人之间切换注意力的动态场景。
- 方法核心是什么？ 提出了一个多模态动态注意力TSE网络（MDATNet），其核心是：(a) 利用EEG和平均注视坐标（眼动）联合解码注意力是否发生切换；(b) 引入一个动态更新单元，当检测到注意力切换时重置历史信息，否则融合历史语音特征，以保持对同一目标说话人跟踪的连续性。
- 与已有方法相比新在哪里？ 与之前仅基于EEG或假设静态注意力的方法（如BASEN, NeuroHeed等）相比，本文方法首次明确建模并处理了“注意力切换”这一动态过程，通过引入眼动先验和动态历史语音记忆机制，实现了更自适应、更符合认知过程的提取。
- 主要实验结果如何？ 在自建的EEG自发注意力切换数据集上，MDATNet在所有指标上显著优于基线方法。相比最强的M3ANet，SDR提升了1.77 dB，STOI提升了3.99%。消融实验表明，眼动信息和动态更新单元分别带来了显著的性能提升，二者结合达到最佳效果（SDR 8.79 dB， STOI 88.17%）。
- 实际意义是什么？ 该研究推动了脑机接口（BCI）与语音处理的交叉领域发展，为开发未来能更自然理解并跟随用户注意力焦点的助听器、耳机或人机交互系统提供了技术路径。
- 主要局限性是什么？ 主要局限性在于实验数据集规模有限（18位被试，18小时数据），且均为特定实验室环境下的受控数据，跨被试泛化能力、在复杂声学场景（如背景噪音、混响）下的鲁棒性尚未得到充分验证。
18. Robust Online Overdetermined Independent Vector Analysis Based on Bilinear Decomposition
✅ 7.0/10 | 前25% | #语音分离 | #信号处理 | #麦克风阵列 #实时处理
👥 作者与机构
- 第一作者：Kang Chen（武汉大学电子信息学院）
- 通讯作者：未说明（论文未明确标注通讯作者）
- 作者列表：Kang Chen（武汉大学电子信息学院）、Xianrui Wang（西北工业大学、早稻田大学）、Yichen Yang（西北工业大学、早稻田大学）、Andreas Brendel（弗劳恩霍夫集成电路研究所）、Gongping Huang（武汉大学电子信息学院）、Zbyněk Koldovský（利贝雷茨理工大学）、Jingdong Chen（西北工业大学）、Jacob Benesty（魁北克大学国家高等研究院）、Shoji Makino（早稻田大学）
💡 毒舌点评
亮点：巧妙地将参数量从 O(M) 大幅缩减至 O(M1+M2)（当 M=M1*M2），并通过交替投影保证了收敛，实验结果显示在SIR和SDR上均有显著提升（约10dB），论证完整。短板：论文完全没提供代码，对于一个强调“在线”和“实时”的算法，缺乏可部署的开源实现或详尽的复现指南，大大削弱了其实践参考价值；此外，虽然实验场景有噪声和混响，但仍然是高度受控的合成环境，真实世界复杂声学场景（如强动态混响、运动声源）下的性能未知。
📌 核心摘要
- 要解决什么问题：现有过定独立向量分析（OverIVA）在大型麦克风阵列下应用时，由于分离滤波器长度等于麦克风数，导致需要估计的参数数量过多，在线估计精度会下降，影响实时性能。
- 方法核心是什么：提出一种双线性分解策略，将每个长的源分离滤波器分解为两个短子滤波器的Kronecker积（w = w1 ⊗ w2），从而大幅减少待估参数。为解决两个子滤波器强耦合的问题，设计了交替迭代投影算法进行优化更新。
- 与已有方法相比新在哪里：相比于直接优化高维滤波器的传统OverIVA，新方法（BiIVA）在保持甚至利用过定模型优势的同时，通过参数降维提升了在线估计的鲁棒性。相比于确定情形下的AuxIVA，BiIVA能更充分地利用多余麦克风的空间分集。
- 主要实验结果如何：在包含混响、点噪声源和白噪声的仿真环境中（36麦克风，2目标源），BiIVA在收敛后性能显著优于AuxIVA和OverIVA。根据图1，BiIVA的信号干扰比（SIR）提升超过30dB，信号失真比（SDR）提升接近20dB，相比OverIVA（SIR
20dB， SDR10dB）和AuxIVA（SIR14dB， SDR8dB）有明显优势。图2的语谱图显示BiIVA能更有效地抑制干扰并保留目标语音。 - 实际意义是什么：为部署大规模麦克风阵列的实时语音分离系统（如智能会议设备、机器人听觉）提供了一种更鲁棒、高效的算法，提升了在线处理的准确性和可行性。
- 主要局限性是什么：实验仅在合成的静态场景下进行，未验证在真实复杂环境（如声源移动、非平稳强噪声、麦克风阵列几何变化）下的鲁棒性；算法依赖于对两个子滤波器进行交替更新，其计算复杂度和收敛速度是否优于原OverIVA的直接更新未做详细分析和比较；论文未开源代码，难以评估其实际运算效率和易用性。
19. AR-BSNet: Towards Ultra-Low Complexity Autoregressive Target Speaker Extraction With Band-Split Modeling
✅ 7.0/10 | 前25% | #语音分离 | #自回归模型 | #时频分析 #实时处理
👥 作者与机构
- 第一作者：Fengyuan Hao（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学）
- 通讯作者：Chengshi Zheng（中国科学院声学研究所噪声与音频研究实验室）
- 作者列表：Fengyuan Hao（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学）、Andong Li（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学）、Xiaodong Li（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学）、Chengshi Zheng（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学）
💡 毒舌点评
论文的亮点在于其明确的工程导向，通过一系列精巧的设计（如感知压缩、分带LSTM、自回归连接），将目标说话人提取模型的计算复杂度大幅压缩至适合边缘设备部署的水平（MACs降至0.91 G/s，RTF仅为0.044），同时保持了具有竞争力的性能。短板则在于，其追求极致效率的代价可能是牺牲了一部分模型容量和在非因果、高精度场景下的性能天花板，且论文并未提供代码，对社区复现和基于此工作的后续研究不够友好。
📌 核心摘要
- 问题：现有的因果目标说话人提取（TSE）方法虽然性能良好，但计算复杂度高，难以部署在资源受限的边缘设备上。
- 方法核心：提出AR-BSNet，一种超低复杂度的时频域自回归TSE模型。核心包括：a) 基于Mel滤波器组的感知压缩下采样；b) 分带循环建模（带内LSTM和带间BLSTM）以捕获时频模式；c) 引入自回归机制，利用前一帧的估计输出作为当前帧的辅助参考信息。
- 创新点：与现有方法相比，AR-BSNet创新性地将自回归框架、基于感知的频率维度压缩以及高效的分带循环处理相结合，在显著降低复杂度的同时，利用帧间依赖增强了提取效果。
- 主要实验结果：在WSJ0-2mix和WHAM!数据集上，AR-BSNet相比SOTA因果方法（如SpEx++， DSINet），在计算复杂度（MACs）上降低了约87.5%（从约7-11 G/s降至0.91 G/s），同时在SI-SDR、PESQ等指标上取得了可比或更优的性能。关键数据见下表：
| 数据集 | 方法 | 域 | 因果 | 参数量(M) | MACs(G/s) | PESQ | eSTOI(%) | SDR(dB) | SI-SDR(dB) |
|---|---|---|---|---|---|---|---|---|---|
| WSJ0-2mix | SpEx++ [10] | 时域 | 是 | 33.81 | 11.44 | 2.93 | 83.86 | 11.9 | 11.2 |
| DSINet [17] | 时频域 | 是 | 2.94 | 8.13 | 3.35 | 90.56 | 16.2 | 15.7 | |
| AR-BSNet | 时频域 | 是 | 0.32 | 0.91 | 3.13 | 87.09 | 13.8 | 13.3 | |
| WHAM! | SpEx+ [9] | 时域 | 是 | 11.14 | 3.76 | 2.04 | 60.01 | 6.1 | 5.2 |
| AR-BSNet | 时频域 | 是 | 0.32 | 0.91 | 2.26 | 57.74 | 5.7 | 4.9 | |
| -> w/ 60s enroll. | 时频域 | 是 | 0.32 | 0.91 | 2.30 | 58.71 | 6.1 | 5.4 |
图4：在WSJ0-2mix测试集上，因果SpEx+与AR-BSNet的SI-SDRi改善值分布。AR-BSNet（蓝线）整体分布更靠右，表明其平均性能更好，且在高相似度说话人区域（红点）的错误更少。
- 实际意义：成功地将TSE模型的计算开销降低了8倍以上，使其具备了在智能耳机、嵌入式设备等资源受限平台上实时运行的可能性，推动了该技术从实验室向实际应用的转化。
- 主要局限性：a) 在追求极致效率的过程中，部分性能指标（如WHAM!数据集上的SI-SDR）相比最强基线略有损失；b) 论文未提供代码，限制了社区的快速验证和二次开发；c) 模型的自回归特性可能引入一定的推理延迟，尽管文中强调了其流式友好性。
20. Spectral or Spatial? Leveraging Both for Speaker Extraction in Challenging Data Conditions
✅ 7.0/10 | 前25% | #语音分离 | #波束成形 | #多通道 #鲁棒性
👥 作者与机构
- 第一作者：Aviad Eisenberg（Bar-Ilan大学工程学院， OriginAI）
- 通讯作者：未说明
- 作者列表：Aviad Eisenberg（Bar-Ilan大学��程学院， OriginAI）、 Sharon Gannot（Bar-Ilan大学工程学院）、 Shlomo E. Chazan（OriginAI）
💡 毒舌点评
这篇论文的亮点在于其训练策略的巧妙设计，通过故意引入错误的注册信息（随机DOA或随机说话人声音）进行联合训练，并辅以一个轻量级分类器，使模型学会了在一种线索失效时自动“偏信”另一种，这在处理真实世界不完美数据时非常实用。不过，论文的“新意”更多体现在工程组合与稳健性训练上，其核心架构（U-Net + FiLM）并非独创，且实验中评估的“SOTA”基线相对有限，主要与自身的单通道和仅空间基线对比，缺乏与近年来其他复杂多通道分离方法的直接较量。
📌 核心摘要
这篇论文旨在解决多通道说话人提取任务中，当用于引导模型的参考信息（如说话人语音注册或目标说话人方向DOA）存在错误或噪声时，系统性能严重下降的问题。其核心方法是设计一个集成网络，同时接受频谱参考（一段注册语音）和空间参考（DOA）作为输入，并通过一个场景分类器动态评估两者的可靠性，从而在训练中学会优先利用更准确的信息源，甚至在某一参考完全失效时仍能稳定工作。与已有方法通常只依赖单一类型线索或简单结合不同，该方法强调了在错误参考下的鲁棒性，并通过专门的训练策略（引入随机错误参考进行联合训练）来实现这一点。实验结果表明，在包括说话人空间接近（CSP）、同性别混合（SGM）、随机DOA参考（SGM-RDR）、随机频谱参考（SGM-RSR）和低信噪比频谱注册（SGM-LSSE）等六种挑战性场景下，所提模型（SI-SDRi）均优于或持平于仅使用频谱或仅使用空间信息的基线模型。例如，在SGM-RSR（频谱参考错误）场景下，所提模型达到8.86 dB，显著优于纯空间基线（8.33 dB）；在SGM-RDR（DOA参考错误）场景下，所提模型达到7.8 dB，而纯频谱基线为6.83 dB，纯空间基线则完全失效。该工作的实际意义在于提升了说话人提取系统在真实复杂声学环境（参考信息易出错）下的可靠性。其主要局限性在于，分类器训练时模拟的错误类型（随机DOA或随机说话人）可能与实际推理时遇到的错误分布不完全匹配，这可能影响其泛化能力。
21. Neural Network-Based Time-Frequency-Bin-Wise Linear Combination of Beamformers for Underdetermined Target Source Extraction
✅ 7.0/10 | 前25% | #语音分离 | #波束成形 | #神经网络 #多通道
👥 作者与机构
- 第一作者：Changda Chen（早稻田大学）
- 通讯作者：未说明（根据论文署名顺序和常见惯例，Shoji Makino可能是通讯作者，但论文未明确标注）
- 作者列表：
- Changda Chen（早稻田大学）
- Yichen Yang（西北工业大学、早稻田大学）
- Wei Liu（早稻田大学、武汉大学电子信息学院）
- Shoji Makino（早稻田大学）
💡 毒舌点评
亮点：该工作巧妙地利用神经网络的上下文建模能力，解决了传统逐时频点波束成形选择/组合策略导致的频谱不连续和目标自抑制问题，实现了更平滑、更一致的干扰抑制。短板：方法的有效性验证高度依赖于双麦克风这一特定且受限的设置，其在更通用的多麦克风阵列（M>2）下的可扩展性和性能优势有待进一步证明。
📌 核心摘要
- 要解决什么问题：在麦克风数量少于同时活跃声源数量的欠定场景下，传统波束成形（如MPDR）无法有效抑制所有干扰。现有的时频单元选择（TFS）或线性组合（TFLC）策略虽利用了信号的稀疏性，但其独立的逐点决策会破坏时频相关性，导致目标信号失真。
- 方法核心：提出NN-TFLC-MPDR框架。该框架使用神经网络编码混合信号和多个候选波束成形器的输出，通过一个基于交叉注意力的“注意力门”，预测出具有时频上下文一致性的线性组合权重。利用这些权重，首先更新一组MPDR波束成形器（无需显式噪声协方差估计），然后再次通过注意力门得到最终权重，组合更新后的波束以提取目标。
- 与已有方法相比新在哪里：
- 决策方式：将传统方法中基于最小输出功率的逐时频点最优（硬/软）选择，替换为由神经网络预测的、上下文感知的组合权重。
- 波束成形器构建：在更新MPDR波束成形器时，避免了需要干扰源先验信息的噪声协方差估计，仅利用加权混合信号的协方差。
- 框架灵活性：设计支持可变数量的输入波束成形器，并通过分阶段训练提升了对多干扰源的泛化能力。
- 主要实验结果：在双麦克风、2-4个干扰源的模拟混响环境中，NN-TFLC-MPDR在SI-SDR指标上一致性地超越了传统的TFS/TFLC-MPDR基线。例如，在2个干扰源下，NN-TFLC-MPDR（w/o Full）的SI-SDR为4.80±1.55 dB，高于TFLC-MPDR的2.86±1.55 dB。其性能甚至能与需要干扰源先验信息的TFS/TFLC-MVDR方法竞争（2I下4.52±1.43 dB），且在3I场景下SI-SIR显著提升（9.82±2.55 dB vs 7.87±1.61 dB）。
- 实际意义：该方法为麦克风数量受限的消费电子产品（如智能音箱、耳机）提供了一种更鲁棒的目标语音提取方案，能够在复杂声学环境中（如多人说话）减少对目标语音的损伤，同时有效抑制干扰。
- 主要局限性：实验验证仅限于双麦克风阵列的特定设置，未探索其在更多麦克风（M>2）这一波束成形更常见场景下的表现；此外，训练和测试均基于模拟数据，缺乏真实世界场景的验证。
22. Training Dynamics-Aware Multi-Factor Curriculum Learning for Target Speaker Extraction
✅ 7.0/10 | 前25% | #语音分离 | #课程学习 | #音频安全 #数据集
👥 作者与机构
- 第一作者：Yun Liu（日本国立信息学研究所；综合研究大学院大学）
- 通讯作者：未说明（论文未明确指定通讯作者，通常根据邮箱判断，此处多个邮箱并列）
- 作者列表：Yun Liu（日本国立信息学研究所 & 综合研究大学院大学）、Xuechen Liu（日本国立信息学研究所）、Xiaoxiao Miao（昆山杜克大学自然科学与应用科学部）、Junichi Yamagishi（日本国立信息学研究所 & 综合研究大学院大学）
💡 毒舌点评
亮点：将“训练动态可视化”（Dataset Cartography）引入TSE任务，并创新性地结合多因子（SNR、说话人数、重叠率、数据来源）联合调度，克服了传统课程学习依赖预设单一难度指标的缺陷，在复杂多说话人场景下取得了显著的性能增益。 短板：实验仅在单一数据集（Libri2Vox）和一种相对简单的BLSTM模型上验证，未在更先进的模型架构（如基于Transformer的）和更多元的数据集上测试其通用性；TSE-Datamap区域的划分比例（30%，50%，20%）是经验值，缺乏理论支撑或自动优化机制。
📌 核心摘要
问题：现有针对目标说话人提取（TSE）的课程学习方法通常单独处理不同难度因子（如SNR、说话人数），无法建模因子间的复杂交互，且依赖可能不符合模型实际学习情况的预设难度指标。
方法核心：提出多因子课程学习策略，联合调度SNR、干扰说话人数、时间重叠比和干扰源类型（真实/合成）四个因子；同时提出TSE-Datamap框架，通过跟踪训练过程中每个样本的损失置信度和变异性，在二维空间将数据分为“易学习”、“模糊”和“难学习”三个区域，以指导数据选择。
创新：相较于传统单因子、预设规则的课程学习，本文方法实现了多因子协同渐进式学习，并首次将训练动态可视化（TSE-Datamap）应用于TSE，使课程设计基于模型实际学习行为。
实验结果：在Libri2Vox数据集上，所提多因子课程学习相比随机采样基线，在2、3、4个干扰说话人的测试集上iSDR分别提升0.84 dB、1.52 dB、2.05 dB（相对提升约24.5%）。基于TSE-Datamap的“易-模糊-难”（E/A/H）课程顺序表现最佳，在4说话人场景下比手工设计的多因子课程再提升0.11 dB。关键实验数据见下表：
实验设置 iSDR (dB) - 2spk iSDR (dB) - 3spk iSDR (dB) - 4spk 基线 (随机采样) 12.38 8.56 7.16 多因子课程 (手工设计) 13.22 10.08 9.21 TSE-Datamap (E/A/H) 13.15 9.85 9.32 注：E/A/H策略在更复杂的4说话人场景下表现最优。 实际意义：为TSE等复杂语音处理任务提供了一种更智能、数据驱动的训练范式，能有效提升模型在极端条件（多说话人、低信噪比）下的性能和鲁棒性。
主要局限：研究局限于单一模型架构和单一数据集；TSE-Datamap分析需要额外的训练周期来收集动态信息，增加了前期计算成本；课程设计区域划分标准（如30%模糊样本）仍具有启发性。
23. Vib2Sound: Separation Of Multimodal Sound Sources
✅ 6.5/10 | 前50% | #语音分离 | #麦克风阵列 | #生物声学 #信号处理
👥 作者与机构
- 第一作者：Mai Akahoshi (ETH Zurich and University of Zurich, Institute of Neuroinformatics)
- 通讯作者：Richard H. R. Hahnloser (makahoshi@ethz.ch, {yuhang, zaia, rich}@ini.ethz.ch， 从邮箱和星号标注判断，Hahnloser 和 Zai 为共同资深作者)
- 作者列表：Mai Akahoshi (ETH Zurich and University of Zurich, Institute of Neuroinformatics & Neuroscience Center Zurich), Yuhang Wang (同上), Longbiao Cheng (ETH Zurich and University of Zurich, Institute of Neuroinformatics), Anja T. Zai (同上), Richard H. R. Hahnloser (同上)
💡 毒舌点评
亮点：论文巧妙地将动物佩戴的加速度计信号作为个体身份“锚点”，解决了同种动物发声高度相似导致麦克风阵列分离失效的核心难题，在生物声学领域思路清晰且有效。短板：模型架构是对现有VoiceFilter框架的简单适配与修改，创新深度有限；研究场景（斑胸草雀）和数据集较为垂直，对主流音频/语音处理社区的普适性启发可能不足。
📌 核心摘要
- 问题：在研究动物社交行为时，从复杂环境（多只动物同时发声、背景噪声）中分离出个体的独立发声非常困难。传统麦克风阵列在分离高度相似的同种动物发声时效果有限。
- 方法：提出Vib2Sound神经网络系统，它以多通道麦克风混合音频和对应个体佩戴的加速度计信号作为输入。加速度计信号提供了与发声相关的身体振动，作为分离个体发声的关键线索。模型基于VoiceFilter架构，用加速度计频谱图替代了说话人嵌入，并适配了多通道音频输入。
- 创新：核心创新在于首次系统性地论证并利用穿戴式加速度计作为“接触传感”线索来指导麦克风音频中的声源分离，尤其适用于传统声学方法难以处理的高相似度声源场景。
- 实验：在斑胸草雀数据集BirdPark上进行评估。在人工混合数据上，Vib2Sound在欧氏距离等指标上显著优于最强基线TF-GridNet（如在Dataset2上，欧氏距离从1.032降至0.527）。消融实验证明加速度计信号贡献巨大，而麦克风通道数影响较小。在196个真实重叠叫声的实验中，分离后叫声的音高分布与干净叫声无统计学差异（p=0.283），证明其有效性。
- 意义：为动物行为生态学和生物声学研究提供了一个有力的分析工具，能够从复杂的社交录音中提取干净的个体发声，促进对动物交流的深入理解。
- 局限：严重依赖穿戴式传感器（加速度计），这在野外大规模应用或对无法佩戴设备的动物上存在限制。模型针对特定鸟类数据训练，其跨物种泛化能力未被验证。
24. Source Separation For A Cappella Music
✅ 6.5/10 | 前50% | #语音分离 | #数据增强 | #波形建模
👥 作者与机构
- 第一作者：Luca A. Lanzendörfer（ETH Zurich）
- 通讯作者：未说明（论文中明确标注两位共同第一作者，无通讯作者信息）
- 作者列表：Luca A. Lanzendörfer（ETH Zurich）、Constantin Pinkl（ETH Zurich）、Florian Grötschla（ETH Zurich）
💡 毒舌点评
这篇工作像一个精心设计的“特修斯之船”，将顶尖的说话人分离模型逐块替换（激活函数、损失函数）以适应音乐场景，并用巧妙的幂集增强策略解决了训练数据匮乏的痛点，最终在特定数据集上实现了SOTA。然而，它对核心基座模型SepReformer本身“黑箱式”的引用以及缺失关键训练超参数，使得其方法的可迁移性和复现细节大打折扣，创新深度止步于“有效适配”。
📌 核心摘要
- 问题：针对无伴奏合唱（A Cappella）中歌手数量动态变化的多声源分离任务，传统方法面临训练数据匮乏且无法处理歌手缺失的挑战。
- 方法核心：提出SepACap模型，基于说话人分离模型SepReformer进行三项关键适配：(1) 采用周期性激活函数（SNAKE）替换ReLU；(2) 设计了一种对静默信号敏感的复合损失函数（L1波形+多尺度Mel损失+多分辨率频谱损失），替代在目标静默时失效的SI-SDR损失；(3) 引入幂集数据增强，从原始n个声轨中枚举所有非空子集构建混合样本，将训练样本量指数级扩充。
- 新在哪里：首次将先进的波形域说话人分离架构系统地迁移到音乐多歌手分离场景，并针对其特性（如歌手可缺席）进行了系统性改造。幂集增强策略是应对小数据集和可变声源数目的有效方案。
- 主要实验结果：在JaCappella数据集上，在所有声部均存在的场景下，SepACap在6个声部中的5个上达到了最优的SDRi（相对于输入混合信号的改善）。在模拟歌手缺失的子集场景下，SepACap在活跃声部的分离质量（SI-SDRi）和静默声部的抑制质量（RMS）上均显著优于基线Mel-Band RoFormer。关键结果表格如下：
表3：所有声部存在时的分离性能 (SDRi (dB)↑)
| 声部 | X-UMX | DPTNet | MRDLA | Mel-Band RoFormer | SepACap (Ours) |
|---|---|---|---|---|---|
| Alto | 13.5 | 11.9 | 14.7 | 6.3 | 14.6 |
| Bass | 9.1 | 19.7 | 10.2 | 17.8 | 23.2 |
| Lead Vocal | 7.5 | 8.9 | 8.7 | 0.7 | 13.0 |
| Soprano | 10.7 | 8.5 | 11.8 | 4.5 | 13.1 |
| Tenor | 10.2 | 14.9 | 11.3 | 10.3 | 17.0 |
| Vocal Percussion | 21.0 | 21.9 | 22.1 | 19.3 | 22.5 |
表4：声部子集场景下的性能 (SI-SDRi (dB)↑ / RMS (dBFS)↓)
| 声部 | DPTNet SDRi | Mel-Band RoFormer SDRi | SepACap (Ours) SDRi | DPTNet RMS | Mel-Band RoFormer RMS | SepACap (Ours) RMS |
|---|---|---|---|---|---|---|
| Alto | -17.2 | 3.9 | 11.6 | -19.6 | -59.1 | -92.7 |
| Bass | -30.8 | 15.5 | 20.4 | -33.7 | -70.8 | -95.1 |
| Lead Vocal | -44.0 | 1.6 | 9.1 | -41.5 | -63.6 | -91.9 |
| Soprano | -46.9 | 1.6 | 11.1 | -44.7 | -55.5 | -85.6 |
| Tenor | -25.9 | 7.6 | 13.0 | -27.2 | -75.3 | -95.7 |
| Vocal Percussion | -32.4 | 18.3 | 18.4 | -33.6 | -73.1 | -95.3 |
- 实际意义：为处理歌手数量可变的无伴奏合唱分离提供了当前最有效的解决方案，证明了幂集数据增强在源分离任务中的有效性。
- 主要局限性：(1) 模型完全基于一个未公开细节（如具体架构图、超参数）的外部模型SepReformer，创新性受限于“适配”层面；(2) 所有实验仅在单一数据集（JaCappella）上进行，泛化能力有待验证；(3) 波形生成模型在子集场景下可能引入更多听觉伪影（论文已承认）。
25. Towards Distance-Aware Synthetic Audio Mixtures for Universal Sound Separation
✅ 6.5/10 | 前50% | #语音分离 | #数据增强 | #大语言模型
👥 作者与机构
- 第一作者：Wonjun Park（德克萨斯大学阿灵顿分校 计算机科学与工程系）
- 通讯作者：未说明
- 作者列表：Wonjun Park（德克萨斯大学阿灵顿分校 计算机科学与工程系）、Tuan M. Dang（德克萨斯大学阿灵顿分校 计算机科学与工程系）、Kenny Q. Zhu（德克萨斯大学阿灵顿分校 计算机科学与工程系）
💡 毒舌点评
亮点：论文最大的亮点在于将大语言模型视为一个“世界知识库”，通过文本推理来注入“距离先验”，从而让合成的音频混合更贴近现实世界（如“蛙鸣”与“雨声”混合时蛙声应更响），这种跨模态知识迁移的思路颇具巧思。 短板：评估体系严重依赖主观人类投票，却缺乏在标准声音分离客观测试集（如SI-SDR指标）上的横向对比，使得“性能提升”的结论有些悬空；同时，仅用1B参数的LLM进行推理，在训练中引入的计算开销与收益是否成比例，文中也未做深入分析。
📌 核心摘要
这篇论文旨在解决通用声音分离（USS）任务中，因依赖随机混合生成的合成训练数据而导致模型在现实场景中泛化能力不足的问题。其核心方法是提出一种“距离感知”的音频合成策略：利用大语言模型（LLM）从音频文本描述中推断两个声源之间的合理相对距离（远、相同、近），并据此调整候选音频相对于基础音频的音量大小，从而生成更自然、更符合现实分布的“混合中的混合”（MoMs）训练数据。与以往所有工作采用的随机混合策略相比，新方法首次将外部知识（LLM常识）引入数据生成环节，以对齐训练分布与真实世界分布。主要实验基于人类评估，在室内/城市、户外/野外、音乐三类场景的100个混合样本上进行，结果显示，使用距离感知策略训练的模型（AudioSep和MixIT）在多数情况下获得的投票数是随机策略的2倍以上。该研究为数据稀缺领域的模型训练提供了新的数据合成范式，其主要意义在于证明了对合成数据施加“常识约束”的有效性。主要局限性在于：评估高度依赖主观人类评分，缺乏主流客观基准上的对比；LLM推理引入了额外的训练计算开销；方法目前仅应用于特定数据集（Clotho， FSD50K），普适性有待验证。