语音分离

📄 CodeSep: Low-Bitrate Codec-Driven Speech Separation with Base-Token Disentanglement and Auxiliary-Token Serial Prediction #语音分离 #语音编码 #多任务学习 #音频编解码 ✅ 7.5/10 | 前25% | #语音分离 | #多任务学习 | #语音编码 #音频编解码 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hui-Peng Du（中国科学技术大学，语音及语言信息处理国家工程研究中心） 通讯作者：Yang Ai（中国科学技术大学，语音及语言信息处理国家工程研究中心） 作者列表：Hui-Peng Du（中国科学技术大学）、Yang Ai*（中国科学技术大学）、Xiao-Hang Jiang（中国科学技术大学）、Rui-Chen Zheng（中国科学技术大学）、Zhen-Hua Ling（中国科学技术大学）。所有作者均隶属于“语音及语言信息处理国家工程研究中心，中国科学技术大学，合肥，中国”。 💡 毒舌点评 论文精准地瞄准了“既要分离又要压缩”这个被忽略的实用场景，并设计了逻辑自洽的模型，实验也充分证明了其在极低码率下吊打简单级联方案。然而，模型本质上仍是Transformer、RVQ和LSTM等成熟模块的“拼接乐”，缺乏更底层的方法论创新；且实验仅限于两人说话，面对更复杂的多人鸡尾酒会能否保持住这个“1 kbps”的优势，恐怕要打个问号。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：使用了公开的Libri2Mix数据集，但未提及是否提供了处理后的版本或新的数据集。 Demo：提供了在线语音样本演示：https://redmist328.github.io/CodeSep/ 复现材料：论文给出了主要模型架构和超参数的大致描述，但未提供完整的训练脚本、配置文件或预训练检查点。 论文中引用的开源项目：论文主要依赖了MDCTCodec [19]，并引用了Sepformer [10]作为基线，ConvNeXt v2 [20]，AdamW [22]等公开方法/工具。 📌 核心摘要 问题：本文针对一个实际但未被充分研究的场景——同时进行语音分离与语音压缩。在在线会议、对话归档等应用中，需要从混合语音中分离出说话人，并将其表示为紧凑的离散token以便高效传输或存储。 ...

📄 CompSpoof: A Dataset and Joint Learning Framework for Component-Level Audio Anti-Spoofing Countermeasures #音频深度伪造检测 #语音分离 #多任务学习 #数据集 ✅ 7.0/10 | 前25% | #音频深度伪造检测 | #语音分离 | #多任务学习 #数据集 学术质量 4.7/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Xueping Zhang（苏州昆山杜克大学，多模态智能系统苏州市重点实验室；数字创新研究中心） 通讯作者：Ming Li（苏州昆山杜克大学，多模态智能系统苏州市重点实验室；数字创新研究中心） 作者列表： Xueping Zhang（苏州昆山杜克大学，多模态智能系统苏州市重点实验室；数字创新研究中心） Yechen Wang（OfSpectrum, Inc., Los Angeles, USA） Linxi Li（OfSpectrum, Inc., Los Angeles, USA） Liwei Jin（OfSpectrum, Inc., Los Angeles, USA） Ming Li（苏州昆山杜克大学，多模态智能系统苏州市重点实验室；数字创新研究中心） 💡 毒舌点评 亮点：敏锐地捕捉并定义了“成分级伪造”这一更隐蔽的攻击新范式，并为此构建了首个配套数据集和完整的端到端解决方案，框架设计逻辑自洽。 短板：提出的数据集规模较小（2500条），且环境声伪造检测效果显著弱于语音伪造检测，说明所提的“专用环境声反欺骗模型”（直接复用XLSR-AASIST）可能并不完全适配，成为系统性能短板。 ...

📄 Diff-vs: Efficient Audio-Aware Diffusion U-Net for Vocals Separation #语音分离 #扩散模型 #U-Net #数据增强 #音频生成 ✅ 7.5/10 | 前25% | #语音分离 | #扩散模型 | #U-Net #数据增强 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yun-Ning (Amy) Hung (Moises, USA) 通讯作者：未说明 作者列表：Yun-Ning (Amy) Hung (Moises, USA), Richard Vogl (Moises, USA), Filip Korzeniowski (Moises, USA), Igor Pereira (Moises, USA) 💡 毒舌点评 亮点：论文巧妙地将针对图像生成优化的EDM框架“移植”到音频分离，并通过带分离和双路径RoFormer等音乐领域知识进行“魔改”，成功将扩散模型的推理步数压至个位数，在生成式方法中实现了SOTA性能。短板：虽然在自家构建的生成式对比阵营中鹤立鸡群，但一旦面对经过大规模数据洗礼的判别式“怪兽”（如BS-RoFormer），在客观指标上依然力有不逮，生成式范式在音乐分离上的“逆天改命”之路仍需努力。 🔗 开源详情 代码：论文中提及代码仓库链接为 https://github.com/NVlabs/edm/tree/main（此为EDM框架的开源实现，非本文专用代码）。同时提供了本文模型的具体实现链接：https://github.com/amymoises/diffvs.github.io（注：此链接指向项目主页，具体代码需查看）。因此，论文中提及了代码链接。 模型权重：论文提供了音频示例链接 https://amymoises.github.io/diffvs.github.io/，暗示可能提供了预训练模型或演示。根据上下文，提及了模型权重。 数据集：使用了公开数据集MUSDB18-HQ和MoisesDB。论文中提及了数据集及其获取方式（公开基准）。 Demo：提供了音频样本演示链接 https://amymoises.github.io/diffvs.github.io/，是。 复现材料：论文详细说明了训练超参数（学习率、优化器、步数、batch size等）、模型架构细节（通道数、层数、模块配置）、数据增强方法、STFT参数、推理参数（σ范围，ρ，步数）以及训练硬件（单卡H200，时长约1周）。复现信息较为充分。 论文中引用的开源项目：EDM框架 (https://github.com/NVlabs/edm)。 整体开源情况：论文提供了项目主页、模型代码实现链接（指向GitHub）以及演示音频，模型和数据均为公开可用。训练细节描述详尽，具备较高的可复现性。 📌 核心摘要 问题：当前基于生成式扩散模型的音乐源分离方法，在标准客观指标（如SDR）上通常落后于判别式方法，且推理步数多、模型庞大，限制了其实用性。 方法：本文提出Diff-VS，一个基于Elucidated Diffusion Model (EDM)框架的高效音频感知扩散U-Net模型，专门用于人声分离。模型输入为经过特殊归一化的复数频谱图，并采用带分离和双路径RoFormer块改进的U-Net架构。 创新：首次将EDM框架应用于人声分离，实现了少于10步的高效推理；提出针对音乐信号特性的架构改进（如用双路径RoFormer替换像素自注意力）；实验证明生成式方法能达到与判别式方法竞争力的客观指标和更优的感知质量。 实验结果：在MUSDB18-HQ数据集上，仅需7步推理的Diff-VS达到了10.12 dB的cSDR，超越了所有已对比的生成式模型（最高为SGMSE的8.63 dB），并接近SCNet-L (10.86 dB) 等顶尖判别式模型。在基于MERT嵌入的感知质量评估中，Diff-VS (MSE=0.083) 优于SCNet-L (0.096) 和SGMSE (0.089)。 实际意义：该工作证明了经过精心设计的生成式模型，可以在保持分离质量（特别是感知质量）的同时，大幅提升推理效率，为生成式方法在音频分离领域的实际应用提供了可能。 主要局限性：在使用更多数据（MoisesDB）训练的最强判别式模型（如BS-RoFormer-12L）面前，客观性能仍有明显差距；模型目前仅针对人声分离，未验证其在多乐器分离任务上的能力；缺乏对生成多样性的讨论和评估。 🏗️ 模型架构 Diff-VS的整体架构基于EDM框架下的改进型DDPM++ U-Net。 ...

📄 EEG and Eye-Tracking Driven Dynamic Target Speaker Extraction with Spontaneous Attention Switching #语音分离 #多模态模型 #多任务学习 #生物声学 #数据集 ✅ 7.0/10 | 前25% | #语音分离 | #多模态模型 | #多任务学习 #生物声学 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Xuefei Wang（南方科技大学电子与电气工程系） 通讯作者：Fei Chen（南方科技大学电子与电气工程系） 作者列表：Xuefei Wang（南方科技大学电子与电气工程系）、Ximin Chen（南方科技大学电子与电气工程系）、Yuting Ding（南方科技大学电子与电气工程系）、Yueting Ban（南方科技大学电子与电气工程系）、Siyu Yu（南方科技大学电子与电气工程系）、Yu Tsao（台湾中研院资讯科技创新研究中心）、Fei Chen（南方科技大学电子与电气工程系） 💡 毒舌点评 这篇论文首次将EEG引导的目标说话人提取问题从静态场景拓展到更符合真实情况的动态注意力切换场景，并为此构建了一个完整的多模态框架，这是其最大亮点；然而，实验仅在参与者数量有限（18人）的自建数据集上进行，且代码与模型未完全开源，极大限制了其结论的普适性与可复现性。 🔗 开源详情 代码：论文中未提及代码链接。数据集链接（https://github.com/XXuefeii/AASD）中可能包含部分代码，但论文正文未说明。 模型权重：未提及。 数据集：是。提供了专门的数据集仓库链接（https://github.com/XXuefeii/AASD），包含EEG和眼动数据。 Demo：未提及。 复现材料：论文提供了部分训练超参数（Adam优化器，lr=1e-4， batch size=16），但未提供完整的训练脚本、配置文件或检查点。代码和完整复现指南缺失。 论文中引用的开源项目：论文中提到了使用预训练的Wav2vec2.0模型[17]和基于Conv-TasNet[16]的架构。 📌 核心摘要 要解决什么问题？ 论文旨在解决现有EEG引导的目标说话人提取（TSE）方法通常假设听众注意力静态不变，无法处理现实多说话人环境中听众自发在不同说话人之间切换注意力的动态场景。 方法核心是什么？ 提出了一个多模态动态注意力TSE网络（MDATNet），其核心是：(a) 利用EEG和平均注视坐标（眼动）联合解码注意力是否发生切换；(b) 引入一个动态更新单元，当检测到注意力切换时重置历史信息，否则融合历史语音特征，以保持对同一目标说话人跟踪的连续性。 与已有方法相比新在哪里？ 与之前仅基于EEG或假设静态注意力的方法（如BASEN, NeuroHeed等）相比，本文方法首次明确建模并处理了“注意力切换”这一动态过程，通过引入眼动先验和动态历史语音记忆机制，实现了更自适应、更符合认知过程的提取。 主要实验结果如何？ 在自建的EEG自发注意力切换数据集上，MDATNet在所有指标上显著优于基线方法。相比最强的M3ANet，SDR提升了1.77 dB，STOI提升了3.99%。消融实验表明，眼动信息和动态更新单元分别带来了显著的性能提升，二者结合达到最佳效果（SDR 8.79 dB， STOI 88.17%）。 实际意义是什么？ 该研究推动了脑机接口（BCI）与语音处理的交叉领域发展，为开发未来能更自然理解并跟随用户注意力焦点的助听器、耳机或人机交互系统提供了技术路径。 主要局限性是什么？ 主要局限性在于实验数据集规模有限（18位被试，18小时数据），且均为特定实验室环境下的受控数据，跨被试泛化能力、在复杂声学场景（如背景噪音、混响）下的鲁棒性尚未得到充分验证。 🏗️ 模型架构 论文提出了一个名为MDATNet（Multimodal and Dynamic Attention Target Net）的端到端神经网络框架，整体架构见图1。 ...

📄 Equipping Large Language Model with Directional Speech Understanding Capabilities #语音识别 #语音翻译 #语音分离 #波束成形 #大语言模型 #流式处理 ✅ 7.0/10 | 前50% | #语音识别 #语音翻译 | #语音分离 #波束成形 | #语音识别 #语音翻译 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Ju Lin（Meta, USA） 通讯作者：未说明（论文中未明确标注） 作者列表：Ju Lin（Meta, USA）、Jing Pan（Meta, USA）、Ruizhi Li（Meta, USA）、Ming Sun（Meta, USA）、Yuzong Liu（Meta, USA）、Alaa Hassan（Meta, USA）、Jing Zheng（Meta, USA）、Florian Metze（Meta, USA） 💡 毒舌点评 亮点：论文精准聚焦于智能眼镜“听清特定人”的刚需，提出了从系统架构（级联/端到端）到流式推理的全套解决方案，实验设计也比较全面，覆盖了分离、识别、翻译三个环节。短板：所有实验都在模拟数据上“闭卷考试”，缺乏真实世界复杂声学环境的“开卷考验”，这让人对其宣称的“鲁棒性”和实际落地能力打上一个问号；此外，端到端SOT方案在部分任务上不如传统的级联方案，显示出“大而全”未必总是最优解。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及所提出的源分离模型或微调后SLM权重的公开计划。仅提及使用了开源的Gemma-3n模型。 数据集：训练所用的多通道模拟数据基于公开的单通道数据集（Common Voice, MLS）和模拟流程生成，但未提供生成好的模拟多通道数据集本身。 Demo：未提及。 复现材料：论文提供了模型架构描述、训练超参数（如LoRA rank, 学习率, batch size, 优化器, 训练轮数）、评估指标和数据集来源（Common Voice, MLS, Fleurs, LibriSpeech），但缺乏关键的模拟数据生成脚本、NLCMV波束成形的具体实现细节（被指向另一篇论文）。 论文中引用的开源项目：Gemma-3n 4B模型（来自Hugging Face）。 📌 核心摘要 这篇论文旨在解决基于大语言模型（LLM）的语音系统在智能眼镜场景中面临的挑战：现有模型多为单通道、单说话人设计，难以处理多麦克风阵列录制的、包含佩戴者（近场）和对话者（远场）的定向多人语音。 ...

📄 Flexio: Flexible Single- and Multi-Channel Speech Separation and Enhancement #语音分离 #语音增强 #多通道 #麦克风阵列 #目标说话人提取 🔥 8.0/10 | 前25% | #语音分离 | #多通道 | #语音增强 #麦克风阵列 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yoshiki Masuyama (Mitsubishi Electric Research Laboratories (MERL), Cambridge, USA) 通讯作者：未说明 作者列表：Yoshiki Masuyama (MERL)、Kohei Saijo (Waseda University, Tokyo, Japan)、Francesco Paissan (University of Trento, Trento, Italy; MERL)、Jiangyu Han (Brno University of Technology, Brno, Czechia)、Marc Delcroix (NTT, Inc., Kyoto, Japan)、Ryo Aihara (MERL)、François G. Germain (MERL)、Gordon Wichern (MERL)、Jonathan Le Roux (MERL) 💡 毒舌点评 亮点： 论文提出了一个优雅的统一框架FlexIO，首次将处理可变输入（麦克风数量）和可变输出（说话人数量）的灵活性整合到一个模型中，并利用“提示向量”实现了用户可控的分离，这在实际应用中极具价值。 短板： 作者对比并测试了三种通道通信机制（TAC、Cross-channel attention、Co-attention），但对其选择缺乏深入的指导原则分析，且在某些场景下性能提升并非压倒性的，使得“哪种机制最优”的结论有些模糊。 ...

ICASSP 2026 - 语音分离 共 25 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Adaptive Rotary Steering with Joint Autoregression for Robus 8.5分 前25% 🥈 UNMIXX: Untangling Highly Correlated Singing Voices Mixtures 8.5分 前25% 🥉 Brainprint-Modulated Target Speaker Extraction 8.0分 前25% 4. Flexio: Flexible Single- and Multi-Channel Speech Separation 8.0分 前25% 5. MMAudioSep: Taming Video-to-Audio Generative Model Towards V 8.0分 前25% 6. Bayesian Signal Separation Via Plug-and-Play Diffusion-Withi 7.5分 前25% 7. An Audio-Visual Speech Separation Network with Joint Cross-A 7.5分 前25% 8. Aneural Forward Filtering for Speaker-Image Separation 7.5分 前25% 9. Str-DiffSep: Streamable Diffusion Model for Speech Separatio 7.5分 前25% 10. PromptSep: Generative Audio Separation Via Multimodal Prompt 7.5分 前10% 11. Diff-vs: Efficient Audio-Aware Diffusion U-Net for Vocals Se 7.5分 前25% 12. CodeSep: Low-Bitrate Codec-Driven Speech Separation with Bas 7.5分 前25% 13. SLM-SS: Speech Language Model for Generative Speech Separati 7.5分 前25% 14. VM-UNSSOR: Unsupervised Neural Speech Separation Enhanced by 7.5分 前25% 15. SoundCompass: Navigating Target Sound Extraction with Effect 7.5分 前25% 16. Prototype-Guided Cross-Modal Contrastive Learning for Contin 7.5分 前25% 17. EEG and Eye-Tracking Driven Dynamic Target Speaker Extractio 7.0分 前25% 18. Robust Online Overdetermined Independent Vector Analysis Bas 7.0分 前25% 19. AR-BSNet: Towards Ultra-Low Complexity Autoregressive Target 7.0分 前25% 20. Spectral or Spatial? Leveraging Both for Speaker Extraction 7.0分 前25% 21. Neural Network-Based Time-Frequency-Bin-Wise Linear Combinat 7.0分 前25% 22. Training Dynamics-Aware Multi-Factor Curriculum Learning for 7.0分 前25% 23. Vib2Sound: Separation Of Multimodal Sound Sources 6.5分 前50% 24. Source Separation For A Cappella Music 6.5分 前50% 25. Towards Distance-Aware Synthetic Audio Mixtures for Universa 6.5分 前50% 📋 论文详情 🥇 Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios 🔥 8.5/10 | 前25% | #语音分离 | #信号处理 | #麦克风阵列 #自回归模型 ...

📄 Joint Multichannel Acoustic Feedback Cancellation and Speaker Extraction via Kalman Filter and Deep Non-Linear Spatial Filter #语音增强 #语音分离 #信号处理 #麦克风阵列 #多通道 ✅ 7.0/10 | 前25% | #语音增强 | #信号处理 | #语音分离 #麦克风阵列 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Ze Li（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人；南京大学） 通讯作者：未说明 作者列表：Ze Li（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人；南京大学），Haocheng Guo（华为技术有限公司），Xiaoyang Ge（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人），Kai Chen（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人），Jing Lu（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人） 💡 毒舌点评 亮点：该工作切中了公共广播和助听器系统中“反馈”与“干扰”两大痛点，提出的AFC-SPEX框架在系统设计上逻辑清晰，将经典卡尔曼滤波与深度空间滤波器巧妙结合，并通过教师强制策略有效解决了训练难题。短板：尽管仿真实验对比了众多基线，但结论的说服力止步于“在模拟环境中表现良好”；对于声学反馈这类严重依赖实际硬件与声场交互的问题，缺乏真实录音数据的验证是一个明显的遗憾，限制了其向实际产品转化的说服力。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/ZLiNJU/AFC-SPEX。 模型权重：论文中未提及公开预训练模型权重。 数据集：训练所用的仿真数据集未公开，但提供了仿真设置细节和使用的公开语音库（WSJ0）。 Demo：论文中未提及在线演示。 复现材料：提供了论文中描述的主要超参数（帧长、帧移、分块数等）、仿真设置以及依赖的开源项目（pyroomacoustics）。但缺乏完整的训练脚本、配置文件、训练日志及检查点。 论文中引用的开源项目：引用了pyroomacoustics用于房间声学仿真，以及Rank2-MWF的开源实现。 📌 核心摘要 这篇论文旨在解决公共广播和助听器等系统中同时存在的声学反馈和干扰噪声问题。核心方法AFC-SPEX将分块频域卡尔曼滤波器（PBFDKF）作为自适应反馈消除模块，其输出的残差信号与原始麦克风信号一起输入到一个深度非线性空间滤波器（DNSF）中，后者通过LSTM网络学习时、频、空特征以估计复数理想比值掩膜，从而提取目标语音。与现有级联方案或单独使用深度网络的方法相比，该工作的主要创新在于联合优化与交互设计：DNSF不仅依赖原始信号，还利用AFC模块的输出作为辅助参考，以联合抑制反馈和干扰；同时，采用了针对闭环问题的教师强制训练策略。实验结果（在模拟的带反馈和干扰的房间声学环境中）表明，所提方法在SI-SDR、PESQ、STOI及最大稳定增益提升（ΔMSG）等多项指标上均优于直接级联、单独DNSF以及一种传统的多通道维纳滤波方法（Rank2-MWF）。例如，在同时存在反馈和干扰的场景（Simulation A）中，AFC-SPEX的SI-SDR达到4.38，优于AFC+DNSF的-1.78和Rank2-MWF的-26.00。该工作的实际意义在于为需要同时处理声学反馈和语音提取的音频系统提供了一种高性能的算法框架。其主要局限性是所有实验均基于仿真，未进行真实世界数据的验证。 ...

📄 Loose Coupling of Spectral and Spatial Models for Multi-Channel Diarization and Enhancement of Meetings in Dynamic Environments #说话人日志 #语音分离 #麦克风阵列 #波束成形 #多通道 ✅ 7.2/10 | 前25% | #说话人日志 #语音分离 | #麦克风阵列 #波束成形 | #说话人日志 #语音分离 学术质量 7.2/7 | 选题价值 6.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Adrian Meise (Paderborn University, Germany), Tobias Cord-Landwehr (Paderborn University, Germany) （论文标注“*Authors contributed equally”，为共同第一作者） 通讯作者：未说明 作者列表：Adrian Meise (Paderborn University), Tobias Cord-Landwehr (Paderborn University), Christoph Boeddeker (Paderborn University), Marc Delcroix (NTT, Inc., Japan), Tomohiro Nakatani (NTT, Inc., Japan), Reinhold Haeb-Umbach (Paderborn University) 💡 毒舌点评 亮点： 论文直击一个长期被忽略但非常实际的痛点——传统谱空联合模型在动态会议场景（说话人移动）下的根本性失效，并提出了一个数学上优雅的“松耦合”解法，实验也证明了其在模拟移动场景下的巨大优势。 短板： 该模型的性能高度依赖于谱特征（说话人嵌入）的质量，而论文本身也承认在重叠语音下嵌入质量会急剧恶化，这使得模型在高重叠率的真实复杂场景中的有效性存疑；此外，所有实验均基于模拟的位置变化（旋转麦克风通道），而非真实的说话人移动轨迹，验证的充分性打折扣。 ...

📄 MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation #语音分离 #流匹配 #多模态模型 #预训练 #迁移学习 🔥 8.0/10 | 前25% | #语音分离 | #流匹配 | #多模态模型 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Akira Takahashi（Sony Group Corporation, Japan） 通讯作者：未说明 作者列表：Akira Takahashi（Sony Group Corporation, Japan）、Shusuke Takahashi（Sony Group Corporation, Japan）、Yuki Mitsufuji（Sony Group Corporation, Japan & Sony AI, USA） 💡 毒舌点评 亮点在于极具创意地“废物利用”，让一个“造声音”的生成模型去干“分声音”的分离活儿，还干得不错，这种跨任务的知识迁移思路本身就很值钱。短板则在于，用生成模型的评价体系（FAD, CLAP）来评判分离任务的好坏，如同用“饭菜香气”来评价厨师刀工是否精准，方法论的适配性有待更深入的讨论；另外，模型在分离后“不忘本”的生成能力验证也略显粗糙。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/sony/mmaudiosep。 模型权重：论文中未明确提及是否公开预训练的MMAudioSep模型��重或其依赖的预训练MMAudio权重。 数据集：论文中使用的训练数据集（VGGSound, AudioCaps等）是公开的。评估数据集（VGGSound-Clean, MUSIC）引用自AudioSep项目，部分可通过其GitHub获取。 Demo：论文中未提及在线演示链接。 复现材料：论文提供了架构图、关键超参数（如ODE步数、引导强度）和训练策略的大致描述，但缺少如学习率、batch size、具体训练步数等关键复现细节。复现强依赖于预训练的MMAudio模型。 论文中引用的开源项目：主要依赖于MMAudio（预训练模型）、CLIP、Synchformer、BiGVGAN（声码器）、AudioSep（评估数据集）、以及用于评估的av-benchmark工具。 📌 核心摘要 问题：传统声音分离模型通常基于判别式方法，而近期基于生成模型的声音分离也开始出现，但与同样使用生成模型的视频到音频（V2A）任务发展相互独立。本文旨在探索能否利用强大的预训练生成模型知识来提升分离任务。 ...

📄 Neural Network-Based Time-Frequency-Bin-Wise Linear Combination of Beamformers for Underdetermined Target Source Extraction #语音分离 #波束成形 #神经网络 #多通道 ✅ 7.0/10 | 前25% | #语音分离 | #波束成形 | #神经网络 #多通道 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Changda Chen（早稻田大学） 通讯作者：未说明（根据论文署名顺序和常见惯例，Shoji Makino可能是通讯作者，但论文未明确标注） 作者列表： Changda Chen（早稻田大学） Yichen Yang（西北工业大学、早稻田大学） Wei Liu（早稻田大学、武汉大学电子信息学院） Shoji Makino（早稻田大学） 💡 毒舌点评 亮点：该工作巧妙地利用神经网络的上下文建模能力，解决了传统逐时频点波束成形选择/组合策略导致的频谱不连续和目标自抑制问题，实现了更平滑、更一致的干扰抑制。短板：方法的有效性验证高度依赖于双麦克风这一特定且受限的设置，其在更通用的多麦克风阵列（M>2）下的可扩展性和性能优势有待进一步证明。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：未提及。 Demo：未提及。 复现材料：论文提供了详细的模型架构描述、训练策略、超参数设置和基线方法的实现细节（如迭代次数、噪声协方差估计方式），这些信息对复现有重要帮助。 论文中引用的开源项目：使用了LibriSpeech数据集[25]，并引用了房间冲激响应生成[26]和扩散噪声生成[27]的方法。 总体而言，论文中未提及开源计划。 📌 核心摘要 要解决什么问题：在麦克风数量少于同时活跃声源数量的欠定场景下，传统波束成形（如MPDR）无法有效抑制所有干扰。现有的时频单元选择（TFS）或线性组合（TFLC）策略虽利用了信号的稀疏性，但其独立的逐点决策会破坏时频相关性，导致目标信号失真。 方法核心：提出NN-TFLC-MPDR框架。该框架使用神经网络编码混合信号和多个候选波束成形器的输出，通过一个基于交叉注意力的“注意力门”，预测出具有时频上下文一致性的线性组合权重。利用这些权重，首先更新一组MPDR波束成形器（无需显式噪声协方差估计），然后再次通过注意力门得到最终权重，组合更新后的波束以提取目标。 与已有方法相比新在哪里： 决策方式：将传统方法中基于最小输出功率的逐时频点最优（硬/软）选择，替换为由神经网络预测的、上下文感知的组合权重。 波束成形器构建：在更新MPDR波束成形器时，避免了需要干扰源先验信息的噪声协方差估计，仅利用加权混合信号的协方差。 框架灵活性：设计支持可变数量的输入波束成形器，并通过分阶段训练提升了对多干扰源的泛化能力。 主要实验结果：在双麦克风、2-4个干扰源的模拟混响环境中，NN-TFLC-MPDR在SI-SDR指标上一致性地超越了传统的TFS/TFLC-MPDR基线。例如，在2个干扰源下，NN-TFLC-MPDR（w/o Full）的SI-SDR为4.80±1.55 dB，高于TFLC-MPDR的2.86±1.55 dB。其性能甚至能与需要干扰源先验信息的TFS/TFLC-MVDR方法竞争（2I下4.52±1.43 dB），且在3I场景下SI-SIR显著提升（9.82±2.55 dB vs 7.87±1.61 dB）。 实际意义：该方法为麦克风数量受限的消费电子产品（如智能音箱、耳机）提供了一种更鲁棒的目标语音提取方案，能够在复杂声学环境中（如多人说话）减少对目标语音的损伤，同时有效抑制干扰。 主要局限性：实验验证仅限于双麦克风阵列的特定设置，未探索其在更多麦克风（M>2）这一波束成形更常见场景下的表现；此外，训练和测试均基于模拟数据，缺乏真实世界场景的验证。 🏗️ 模型架构 NN-TFLC-MPDR的整体架构如图1(a)所示。其工作流程为一个两阶段的循环结构，旨在精细化波束组合权重。 ...

📄 PromptSep: Generative Audio Separation Via Multimodal Prompting #语音分离 #扩散模型 #数据增强 #多模态模型 ✅ 7.5/10 | 前10% | #语音分离 | #扩散模型 | #数据增强 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yutong Wen (Adobe Research & University of Illinois Urbana-Champaign) 通讯作者：未明确说明 作者列表：Yutong Wen (Adobe Research & University of Illinois Urbana-Champaign), Ke Chen (Adobe Research), Prem Seetharaman (Adobe Research), Oriol Nieto (Adobe Research), Jiaqi Su (Adobe Research), Rithesh Kumar (Adobe Research), Minje Kim (University of Illinois Urbana-Champaign), Paris Smaragdis (MIT), Zeyu Jin (Adobe Research), Justin Salamon (Adobe Research) 💡 毒舌点评 亮点： 创新性地将“声音移除”与“声乐模仿”整合进统一框架，直击现有LASS系统的两大软肋，实验设计（多基准、多设置、消融研究）堪称全面典范。短板： 训练过程的“黑盒”化严重，关键优化超参数、硬件配置等细节缺失，使得其强大的结果难以被独立复现验证，削弱了学术贡献的坚实性。 ...

📄 Prototype-Guided Cross-Modal Contrastive Learning for Continual Audio-Visual Sound Separation #语音分离 #对比学习 #持续学习 #多模态模型 #音视频 ✅ 7.5/10 | 前25% | #语音分离 | #对比学习 | #持续学习 #多模态模型 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Wanrong Ma (国防科技大学计算机科学与技术学院，2. 国防科技大学并行与分布式计算国家重点实验室) （注：论文标注为共同第一作者） 通讯作者：Kele Xu (国防科技大学计算机科学与技术学院，2. 国防科技大学并行与分布式计算国家重点实验室) 作者列表：Wanrong Ma（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Hongyu Wen（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Zijian Gao（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Qisheng Xu（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Kele Xu（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室） 💡 毒舌点评 该工作在持续学习与多模态声音分离的交叉领域做得扎实，用原型和对比学习“框住”特征空间的想法巧妙且实验效果显著。但任务场景较为细分，且论文完全没提代码开源，对于想快速复现或在其他多模态任务上借鉴的读者不太友好。 🔗 开源详情 论文中未提及代码链接。 论文中未提及模型权重公开。 数据集MUSIC-21是公开的，但论文未说明具体获取方式或是否修改。 论文中未提及Demo。 论文提供了一定的训练细节（优化器、学习率、批大小、部分超参数），但缺少完整配置、检查点和代码，复现材料不充分。 论文中引用的开源项目/工具包括：iQuery [5] (用于特征提取流程参考)、Video-MAE [15] (预训练视频编码器)、CLIP [16] (预训练视觉编码器)。 论文中未提及开源计划。 ...

📄 Robust Online Overdetermined Independent Vector Analysis Based on Bilinear Decomposition #语音分离 #信号处理 #麦克风阵列 #实时处理 ✅ 7.0/10 | 前25% | #语音分离 | #信号处理 | #麦克风阵列 #实时处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Kang Chen（武汉大学电子信息学院） 通讯作者：未说明（论文未明确标注通讯作者） 作者列表：Kang Chen（武汉大学电子信息学院）、Xianrui Wang（西北工业大学、早稻田大学）、Yichen Yang（西北工业大学、早稻田大学）、Andreas Brendel（弗劳恩霍夫集成电路研究所）、Gongping Huang（武汉大学电子信息学院）、Zbyněk Koldovský（利贝雷茨理工大学）、Jingdong Chen（西北工业大学）、Jacob Benesty（魁北克大学国家高等研究院）、Shoji Makino（早稻田大学） 💡 毒舌点评 亮点：巧妙地将参数量从 O(M) 大幅缩减至 O(M1+M2)（当 M=M1*M2），并通过交替投影保证了收敛，实验结果显示在SIR和SDR上均有显著提升（约10dB），论证完整。短板：论文完全没提供代码，对于一个强调“在线”和“实时”的算法，缺乏可部署的开源实现或详尽的复现指南，大大削弱了其实践参考价值；此外，虽然实验场景有噪声和混响，但仍然是高度受控的合成环境，真实世界复杂声学场景（如强动态混响、运动声源）下的性能未知。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开数据集CMU Arctic，但噪声数据（办公室噪声）和生成RIR的具体参数设置需读者自行实现图像法模型进行复现。 Demo：未提供在线演示。 复现材料：论文给出了算法伪代码（Algorithm 1）和核心公式，并说明了主要实验设置（阵列尺寸、STFT参数、遗忘因子等）。但对于代码实现中可能遇到的数值稳定性细节、矩阵求逆的高效实现等未做说明。 引用的开源项目：未明确提及。论文引用了CMU Arctic数据集和图像法生成RIR的工具，但未指向具体开源库。 总结：论文中未提及开源计划。复现需要较高的信号处理编程能力和从论文描述中重建实验环境的能力。 📌 核心摘要 要解决什么问题：现有过定独立向量分析（OverIVA）在大型麦克风阵列下应用时，由于分离滤波器长度等于麦克风数，导致需要估计的参数数量过多，在线估计精度会下降，影响实时性能。 方法核心是什么：提出一种双线性分解策略，将每个长的源分离滤波器分解为两个短子滤波器的Kronecker积（w = w1 ⊗ w2），从而大幅减少待估参数。为解决两个子滤波器强耦合的问题，设计了交替迭代投影算法进行优化更新。 与已有方法相比新在哪里：相比于直接优化高维滤波器的传统OverIVA，新方法（BiIVA）在保持甚至利用过定模型优势的同时，通过参数降维提升了在线估计的鲁棒性。相比于确定情形下的AuxIVA，BiIVA能更充分地利用多余麦克风的空间分集。 主要实验结果如何：在包含混响、点噪声源和白噪声的仿真环境中（36麦克风，2目标源），BiIVA在收敛后性能显著优于AuxIVA和OverIVA。根据图1，BiIVA的信号干扰比（SIR）提升超过30dB，信号失真比（SDR）提升接近20dB，相比OverIVA（SIR20dB， SDR10dB）和AuxIVA（SIR14dB， SDR8dB）有明显优势。图2的语谱图显示BiIVA能更有效地抑制干扰并保留目标语音。 实际意义是什么：为部署大规模麦克风阵列的实时语音分离系统（如智能会议设备、机器人听觉）提供了一种更鲁棒、高效的算法，提升了在线处理的准确性和可行性。 主要局限性是什么：实验仅在合成的静态场景下进行，未验证在真实复杂环境（如声源移动、非平稳强噪声、麦克风阵列几何变化）下的鲁棒性；算法依赖于对两个子滤波器进行交替更新，其计算复杂度和收敛速度是否优于原OverIVA的直接更新未做详细分析和比较；论文未开源代码，难以评估其实际运算效率和易用性。 🏗️ 模型架构 论文的核心是算法架构而非神经网络架构。其整体流程为一个在线盲源分离算法。 ...

📄 SLM-SS: Speech Language Model for Generative Speech Separation #语音分离 #语音大模型 #自回归模型 #语音增强 ✅ 7.5/10 | 前25% | #语音分离 | #自回归模型 | #语音大模型 #语音增强 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Tianhua Li（上海交通大学计算机科学与技术学院， 教育部人工智能重点实验室， 听觉认知与计算声学实验室） 通讯作者：Chenda Li†（同上； VUI Labs）， Yanmin Qian†（同上； VUI Labs） 作者列表：Tianhua Li（上海交通大学计算机科学与技术学院）， Chenda Li（上海交通大学计算机科学与技术学院， VUI Labs）， Wei Wang（上海交通大学计算机科学与技术学院）， Xin Zhou（上海交通大学计算机科学与技术学院）， Xihui Chen（上海交通大学计算机科学与技术学院）， Jianqing Gao（科大讯飞股份有限公司AI研究院）， Yanmin Qian（上海交通大学计算机科学与技术学院， VUI Labs） 💡 毒舌点评 亮点在于将语音语言模型的生成范式用于语音分离，直指传统判别方法在“可懂度”上的软肋，并且用AR+NAR混合解码来平衡质量与效率，思路清晰且新颖。短板是模型规模仅为600M参数、仅在LibriMix单一数据集上验证，缺乏在更复杂真实场景（如强噪声、多说话人）和更大规模数据集上的锤炼，说服力打了折扣。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用公开的LibriMix数据集。 Demo：提供在线演示页面链接：https://herobrinelth.github.io/slm-ss。 复现材料：论文给出了模型参数规模（约600M）、学习率（5e-5）及调度策略（余弦退火+3epoch预热）、训练轮数（30）、AR解码的特殊策略（空白抑制， N-gram阻塞），但缺失优化器类型、Batch Size、具体硬件环境等关键细节。 论文中引用的开源项目：WavLM， Encodec， Whisper。 📌 核心摘要 要解决的问题：传统判别式语音分离方法在波形重建的信号指标上表现良好，但往往引入失真，导致分离后语音的可懂度下降，进而损害自动语音识别等下游任务的性能。 方法核心：提出SLM-SS框架，将语音分离视为离散多码本序列生成问题。首先使用Encodec编码器将语音转换为离散码本序列，并利用SOT策略进行拼接；然后采用基于WavLM编码器和Whisper式解码器的自回归（AR）模型预测零阶码本；接着，使用一个非自回归（NAR）模型基于低阶码本顺序预测高阶码本；最后，通过码本切分与Encodec解码器重建出分离后的单人语音。 新意：与先前的判别式方法（如BSRNN, Sepformer）和部分生成式方法不同，SLM-SS首次系统性地将语音语言模型（SLM）的建模能力引入语音分离任务，并创新性地结合了AR和NAR生成策略，以提升效率。 主要实验结果：在LibriMix数据集上，SLM-SS在下游任务一致性指标上显著优于基线。其字错误率（WER）为7.24，远低于BSRNN（29.8）和Sepformer（28.7），接近地面真值（5.19）。其Levenshtein音素相似度（LPS）为0.954，也优于基线（BSRNN: 0.885, Sepformer: 0.890）。主观平均意见得分（MOS）SLM-SS为4.19，高于BSRNN（4.01）和Sepformer（3.98）。消融实验证明，随着使用码本数量从1增加到8，WER下降，LPS上升；AR解码温度为1.0时性能最佳。 fig1 ...

📄 SoundCompass: Navigating Target Sound Extraction with Effective Directional Clue Integration in Complex Acoustic Scenes #语音分离 #麦克风阵列 #信号处理 #多通道 #空间音频 ✅ 7.5/10 | 前25% | #语音分离 | #麦克风阵列 | #信号处理 #多通道 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Dayun Choi（韩国科学技术院电气工程学院） 通讯作者：Jung-Woo Choi（韩国科学技术院电气工程学院） 作者列表：Dayun Choi（韩国科学技术院电气工程学院）、Jung-Woo Choi（韩国科学技术院电气工程学院） 💡 毒舌点评 论文亮点在于将球谐函数（SH）这种连续、旋转不变的表示与精心设计的SPIN模块相结合，优雅地解决了传统DoA编码的离散化和信息损失问题，理论动机非常扎实。然而，所有实验都在重新生成的静态声源场景（gpuRIR）上进行，虽然控制了变量，但削弱了对“复杂声学场景”中动态性和真实混响的验证说服力，这让其声称的“鲁棒性”略显成色不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：训练数据基于ASA2数据集（https://huggingface.co/datasets/donghoney22/ASA2_dataset）使用gpuRIR重新生成，论文中提供了配置说明。 Demo：论文提供了在线音频演示链接：https://choishio.github.io/demo-SoundCompass/。 复现材料：给出了主要的训练超参数（学习率、优化器、batch size、epoch数等）和硬件配置，但一些关键模型参数（如编码器通道数D、注意力头数、Mamba状态维度等）未详细说明。 论文中引用的开源项目：gpuRIR (RIR模拟), SemanticHearing (用于ITD计算), torchinfo (用于计算模型复杂度), 以及基线代码SSDQ和DSENet。 📌 核心摘要 本文旨在解决复杂声学场景中，现有基于到达方向（DoA）的目标声源提取（TSE）方法因使用手工特征或离散编码而导致的精细空间信息丢失和适应性受限问题。核心方法是提出SoundCompass框架，其包含三个关键组件：1）光谱成对交互（SPIN）模块，在复数谱图域捕获所有通道间的成对空间相关性，保留完整的空间信息；2）球谐函数（SH）嵌入，作为DoA线索的连续、无离散化的表示，描述球面上的位置；3）基于推理链（CoI）的迭代细化策略，将前一阶段估计的声源时间激活与DoA线索递归融合，逐步优化提取结果。与已有方法相比，新在提出了一套端到端、保留连续空间信息的线索集成方案，并创新性地将迭代细化引入基于DoA的TSE。实验在重新生成的ASA2数据集上进行，消融研究证明了SPIN、SH和CoI的有效性。与基线方法（如SSDQ， DSENet）相比，SoundCompass在信噪比改善（SNRi）和空间一致性（∆ILD, ∆IPD, ∆ITD）上均取得更优结果，同时保持了较低的计算复杂度。实际意义在于为助听器、AR/VR等应用提供了更精准、高效的声音提取方案。主要局限性是实验验证依赖静态声源的模拟数据集，对动态场景和更复杂真实环境的泛化能力有待进一步验证。 ...

📄 Source Separation For A Cappella Music #语音分离 #数据增强 #波形建模 ✅ 6.5/10 | 前50% | #语音分离 | #数据增强 | #波形建模 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Luca A. Lanzendörfer（ETH Zurich） 通讯作者：未说明（论文中明确标注两位共同第一作者，无通讯作者信息） 作者列表：Luca A. Lanzendörfer（ETH Zurich）、Constantin Pinkl（ETH Zurich）、Florian Grötschla（ETH Zurich） 💡 毒舌点评 这篇工作像一个精心设计的“特修斯之船”，将顶尖的说话人分离模型逐块替换（激活函数、损失函数）以适应音乐场景，并用巧妙的幂集增强策略解决了训练数据匮乏的痛点，最终在特定数据集上实现了SOTA。然而，它对核心基座模型SepReformer本身“黑箱式”的引用以及缺失关键训练超参数，使得其方法的可迁移性和复现细节大打折扣，创新深度止步于“有效适配”。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/ETH-DISCO/SepACap。 模型权重：论文中未提及是否公开训练好的模型权重。 数据集：使用了公开的JaCappella数据集，但论文未说明如何获取。 Demo：未提及。 复现材料：代码仓库已提供。但论文正文中缺乏关键的训练超参数（如学习率、优化器、batch size）、硬件信息和完整的训练配置，复现细节不够充分。 论文中引用的开源项目：引用了SepReformer [11]、Mel-Band RoFormer [4] 等作为基线和模型基础。训练时使用了https://github.com/KimberleyJensen/Mel-Band-Roformer-Vocal-Model 作为基线代码。 总结：论文中提及了开源计划（代码仓库），但训练细节的公开程度不足，可能影响完全复现。 📌 核心摘要 问题：针对无伴奏合唱（A Cappella）中歌手数量动态变化的多声源分离任务，传统方法面临训练数据匮乏且无法处理歌手缺失的挑战。 方法核心：提出SepACap模型，基于说话人分离模型SepReformer进行三项关键适配：(1) 采用周期性激活函数（SNAKE）替换ReLU；(2) 设计了一种对静默信号敏感的复合损失函数（L1波形+多尺度Mel损失+多分辨率频谱损失），替代在目标静默时失效的SI-SDR损失；(3) 引入幂集数据增强，从原始n个声轨中枚举所有非空子集构建混合样本，将训练样本量指数级扩充。 新在哪里：首次将先进的波形域说话人分离架构系统地迁移到音乐多歌手分离场景，并针对其特性（如歌手可缺席）进行了系统性改造。幂集增强策略是应对小数据集和可变声源数目的有效方案。 主要实验结果：在JaCappella数据集上，在所有声部均存在的场景下，SepACap在6个声部中的5个上达到了最优的SDRi（相对于输入混合信号的改善）。在模拟歌手缺失的子集场景下，SepACap在活跃声部的分离质量（SI-SDRi）和静默声部的抑制质量（RMS）上均显著优于基线Mel-Band RoFormer。关键结果表格如下： 表3：所有声部存在时的分离性能 (SDRi (dB)↑) ...

📄 Spectral or Spatial? Leveraging Both for Speaker Extraction in Challenging Data Conditions #语音分离 #多通道 #波束成形 #鲁棒性 ✅ 7.0/10 | 前25% | #语音分离 | #波束成形 | #多通道 #鲁棒性 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Aviad Eisenberg（Bar-Ilan大学工程学院， OriginAI） 通讯作者：未说明 作者列表：Aviad Eisenberg（Bar-Ilan大学��程学院， OriginAI）、 Sharon Gannot（Bar-Ilan大学工程学院）、 Shlomo E. Chazan（OriginAI） 💡 毒舌点评 这篇论文的亮点在于其训练策略的巧妙设计，通过故意引入错误的注册信息（随机DOA或随机说话人声音）进行联合训练，并辅以一个轻量级分类器，使模型学会了在一种线索失效时自动“偏信”另一种，这在处理真实世界不完美数据时非常实用。不过，论文的“新意”更多体现在工程组合与稳健性训练上，其核心架构（U-Net + FiLM）并非独创，且实验中评估的“SOTA”基线相对有限，主要与自身的单通道和仅空间基线对比，缺乏与近年来其他复杂多通道分离方法的直接较量。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：使用Librispeech和DNS数据集合成，未提及是否公开合成后的具体数据。 Demo：未提及在线演示。 复现材料：论文详细描述了模型架构（U-Net + SA + FiLM）、特征提取（RI STFT）、训练策略（三种配置并行）、损失函数（SI-SDR + CE）、优化器（AdamW）和主要超参数（LR=0.0001, Batch=14），提供了较好的复现基础。具体的网络层数、维度等细节未说明。 论文中引用的开源项目：未明确提及依赖的特定开源代码库。 开源计划：论文中未提及开源计划。 📌 核心摘要 这篇论文旨在解决多通道说话人提取任务中，当用于引导模型的参考信息（如说话人语音注册或目标说话人方向DOA）存在错误或噪声时，系统性能严重下降的问题。其核心方法是设计一个集成网络，同时接受频谱参考（一段注册语音）和空间参考（DOA）作为输入，并通过一个场景分类器动态评估两者的可靠性，从而在训练中学会优先利用更准确的信息源，甚至在某一参考完全失效时仍能稳定工作。与已有方法通常只依赖单一类型线索或简单结合不同，该方法强调了在错误参考下的鲁棒性，并通过专门的训练策略（引入随机错误参考进行联合训练）来实现这一点。实验结果表明，在包括说话人空间接近（CSP）、同性别混合（SGM）、随机DOA参考（SGM-RDR）、随机频谱参考（SGM-RSR）和低信噪比频谱注册（SGM-LSSE）等六种挑战性场景下，所提模型（SI-SDRi）均优于或持平于仅使用频谱或仅使用空间信息的基线模型。例如，在SGM-RSR（频谱参考错误）场景下，所提模型达到8.86 dB，显著优于纯空间基线（8.33 dB）；在SGM-RDR（DOA参考错误）场景下，所提模型达到7.8 dB，而纯频谱基线为6.83 dB，纯空间基线则完全失效。该工作的实际意义在于提升了说话人提取系统在真实复杂声学环境（参考信息易出错）下的可靠性。其主要局限性在于，分类器训练时模拟的错误类型（随机DOA或随机说话人）可能与实际推理时遇到的错误分布不完全匹配，这可能影响其泛化能力。 ...

📄 Str-DiffSep: Streamable Diffusion Model for Speech Separation #语音分离 #扩散模型 #流式处理 #实时处理 #波形建模 ✅ 7.5/10 | 前25% | #语音分离 | #扩散模型 | #流式处理 #实时处理 学术质量 6.2/7 | 选题价值 1.8/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Chenjun Zhao (剑桥大学工程系) 通讯作者：未明确说明（根据署名顺序和机构，Philip C. Woodland教授可能是通讯作者，但论文未明确标注） 作者列表：Chenjun Zhao (剑桥大学工程系), Guangzhi Sun (剑桥大学工程系), Keqi Deng (剑桥大学工程系), Chenda Li (上海交通大学), Philip C. Woodland (剑桥大学工程系) 💡 毒舌点评 该论文首次将扩散模型引入实时语音分离，通过巧妙融合SkiM的流式架构和MultiDiffusion的边界融合策略，成功解决了生成模型难以流式化的痛点，这是一个漂亮的工程-算法结合。不过，其推理计算量（RTF=0.51）仍是判别式模型SkiM（RTF=0.26）的两倍，且扩散带来的感知质量（PESQ）轻微下降也提醒我们，生成模型在实时场景的“免费午餐”可能并不完全免费。 🔗 开源详情 代码：论文中未提及代码链接或开源计划。 模型权重：未提及。 数据集：使用了公开数据集WSJ0-2mix和Libri2Mix，但未提供本文特有的处理脚本或新数据。 Demo：未提及在线演示。 复现材料：论文详细说明了模型架构、关键超参数、训练目标和实验设置，这些信息对复现有重要帮助，但未提供完整的训练代码或配置文件。 论文中引用的开源项目：引用了SkiM（[6]）、DiffSep（[10]）、MultiDiffusion（[13]）等相关工作的代码实现（推测），但未明确列出所依赖的具体开源库版本。 总体而言，论文中未提及任何开源计划。 📌 核心摘要 解决的问题：传统判别式语音分离模型在未见数据上泛化能力差，而现有的扩散模型分离方法无法满足实时流式处理的低延迟要求。 方法核心：提出Str-DiffSep，第一个用于流式语音分离的扩散模型。其核心是采用SkiM架构改造扩散模型的分数函数，使其能处理短时音频块；并引入源自图像生成的MultiDiffusion策略，通过融合重叠块的去噪结果来消除边界伪影，实现稳定的流式推理。 新意：这是首次将扩散模型框架成功适配到流式语音分离任务。创新点在于设计了基于记忆增强LSTM的分数函数网络，并将MultiDiffusion这一生成空间融合策略迁移到了语音波形领域。 主要结果：在WSJ0-2mix测试集上，Str-DiffSep在50ms延迟的流式设置下，SI-SDR（14.74 dB）和SI-SAR（14.97 dB）指标均优于判别式基线SkiM（13.69/14.01 dB），且接近离线DiffSep模型（14.32/14.66 dB）。在未见数据集Libri2Mix上，其DNSMOS评估分数超过SkiM，展现了更强的泛化能力。消融实验证明MultiDiffusion和状态传递缺一不可。 数据集 模式 MultiDiffusion States SI-SDR (dB) SI-SAR (dB) PESQ STOI WSJ0-2mix Str-DiffSep (online) yes yes 14.74 (5.56) 14.97 (5.06) 2.74 (0.53) 0.877 (0.102) WSJ0-2mix SkiM (online) - - 13.69 (4.98) 14.01 (4.42) 2.92 (0.46) 0.878 (0.081) WSJ0-2mix DiffSep (offline) - - 14.32 (5.69) 14.66 (5.07) 3.13 (0.55) 0.896 (0.093) （表1: WSJ0-2mix关键性能对比） 实际意义：证明了扩散模型可以作为一种有效且泛化能力更强的框架用于实时语音分离任务，为流式语音处理提供了新的模型选择。 主要局限：流式推理的实时因子（RTF=0.51）高于判别式模型，计算开销更大；MultiDiffusion的平滑策略可能导致感知质量指标（如PESQ）略有下降；实验数据集规模相对有限（仅两个2说话人混合数据集）。 🏗️ 模型架构 Str-DiffSep的整体架构旨在实现端到端的流式语音分离。其输入是连续的混合语音流，输出是按时间顺序生成的分离后语音流。 ...

📄 Sunac: Source-Aware Unified Neural Audio Codec #音频生成 #提示学习 #语音分离 #端到端 ✅ 7.5/10 | 前50% | #音频生成 | #提示学习 | #语音分离 #端到端 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Ryo Aihara（三菱电机研究实验室， 三菱电机公司） 通讯作者：未说明 作者列表：Ryo Aihara（三菱电机研究实验室， 三菱电机公司）、Yoshiki Masuyama（三菱电机研究实验室）、Francesco Paissan（特伦托大学， 三菱电机研究实验室）、François G. Germain（三菱电机研究实验室）、Gordon Wichern（三菱电机研究实验室）、Jonathan Le Roux（三菱电机研究实验室） 💡 毒舌点评 亮点：将源分离与音频编解码在特征空间进行优雅融合，通过提示机制统一处理不同数量和种类的音频源，设计思路非常灵活且具有前瞻性。 短板：论文在展示模型最强能力（处理多个同类型源）的关键实验上，缺乏对“条件特征提取器”各模块贡献的消融分析，使得模型高效性的来源不够透明；同时，完全缺乏代码和训练细节，让“可复现性”成为泡影。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开SUNAC模型权重。文中使用了预训练的DAC^1、TUSS^2、FasTUSS^2和SDCodec^3模型，但这些并非SUNAC本身。 数据集：评估使用了更新版的Divide and Remaster (DnR)数据集^36，但论文未说明其是否公开或如何获取训练集。 Demo：未提及。 复现材料：论文未给出训练超参数（如学习率、优化器）、检查点或附录说明。仅提供了模型参数量和计算量的总结表格（表1），不足以支撑复现。 论文中引用的开源项目： Descript Audio Codec (DAC)：https://github.com/descriptinc/descript-audio-codec Task-Aware Unified Source Separation (TUSS)：https://github.com/merlresearch/unified-source-separation SDCodec：https://github.com/XiaoyuBIE1994/SDCodec ViSQOL评估工具：https://github.com/google/visqol 论文中未提及开源计划：关于SUNAC自身的代码、模型或数据的开源计划，论文中未提及。 📌 核心摘要 问题：传统的神经音频编解码器（NAC）将混合音频信号（如语音+音乐）纠缠在一起编码，这对于只需要处理特定源（如会议纪要只需语音）的下游任务（如LLM）是低效的。现有方案（如SDCodec）无法处理同一类型的多个并发源（如两人同时说话）。 方法核心：提出SUNAC，一个基于提示的源感知统一神经音频编解码器。其核心是在共享的编码器之后、量化器之前，插入一个“条件特征提取器”。该模块接收编码特征和表示目标源类型的可学习提示向量，直接从混合特征中提取出指定源的特征，然后共享的量化器和解码器对其进行重建。同时，提出了一个级联系统（TUSS-DAC）作为性能上界。 新在哪里： 架构：相比于级联系统，SUNAC将分离与编码在特征空间集成，避免重复计算；相比于SDCodec，它使用统一的特征提取和单一共享的RVQ，通过提示实现灵活提取，且能处理同类型多源。 技术：在条件特征提取器中，创新性地使用了跨提示Transformer模块和基于FiLM的条件注入机制。 训练：采用置换不变训练（PIT）在特征空间解决同类型多源的输出排列模糊问题。 主要实验结果： 计算效率：SUNAC（69.2M参数，总MAC可扩展）比级联系统（如TUSS-DAC：85.2M）计算量更低，且优于轻量化级联版本（FasTUSS-DACT）。 核心能力：在分离两个说话人（表4）任务中，SDCodec（SI-SDR为0）完全失败，而SUNAC（SI-SDR为11.80）取得了与级联系统（13.35）可比的性能。 基础性能：在分离不同类源（表3）任务中，SUNAC的VisQOL得分（语音3.68， 音乐4.14）与最优基线接近；在复杂混合源（表5， 含两个说话人）任务中，SUNAC在语音分离上的SI-SDR（7.46）远高于SDCodec（约-1），接近级联系统（9.07）。 模型 SI-SDR (混合) ↑ VisQOL (混合) ↑ SI-SDR (语音) ↑ VisQOL (语音) ↑ TUSS-DAC – – 13.35 ± 3.80 4.08 ± 0.39 FasTUSS-DACT – – 10.73 ± 4.66 3.83 ± 0.46 SDCodec 0.00 ± 2.83 3.04 ± 0.62 0.00 ± 2.83 3.04 ± 0.62 SUNAC 11.80 ± 3.07 4.12 ± 0.42 11.80 ± 3.07 4.12 ± 0.42 表4：从{, }中分离结果。SUNAC在处理同类型多源上显著优于SDCodec。 实际意义：为音频LLM、全双工对话系统、音频事件检测等下游任务提供了一种更高效、灵活的前端音频表示获取方案，允许用户按需从混合信号中提取和编码感兴趣的源。 主要局限：模型在处理训练时未见过的源数量和类型组合时性能会下降（表5）；论文未提供代码和详细训练配置，复现困难；缺乏对条件特征提取器内部模块的详细消融实验。 🏗️ 模型架构 SUNAC是一个端到端的神经音频编解码器，其目标是从混合音频信号\(x\)中，根据用户提供的提示（如“语音”、“音乐”），直接生成对应源的离散token。 整体架构（图1(c)）包含四个主要部分，数据流如下： ...