语音分离

📄 Brainprint-Modulated Target Speaker Extraction #语音分离 #语音增强 #多任务学习 #多模态模型 #鲁棒性 🔥 8.0/10 | 前25% | #语音分离 | #多任务学习 | #语音增强 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Qiushi Han（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院） 通讯作者：Liya Huang（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院） 作者列表： Qiushi Han（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）（†共同第一作者） Yuan Liao（香港中文大学（深圳）人工智能与数据科学学院 & 研究生院）（†共同第一作者） Youhao Si（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院） Liya Huang（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）（⋆通讯作者） 💡 毒舌点评 本文最大的亮点在于“脑印调制”这一概念的提出，巧妙地将通常被视为噪声的个体EEG差异转化为可用的生物特征信号来指导音频分离，思路新颖且实验验证充分。不过，论文的短板在于对“个性化”的论证稍显单一，主要依赖于SID和AAD任务的监督，缺乏对脑印嵌入空间本身可解释性、跨会话稳定性以及在真实助听器设备上实时性、功耗等方面的深入讨论，使得这项工作的工程化前景存在不确定性。 🔗 开源详情 代码：论文中提供了GitHub代码仓库链接：https://github.com/rosshan-orz/BM-TSE。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：评估使用的是公开的KUL和Cocktail Party数据集，论文中提供了数据集的引用。 Demo：论文中未提及在线演示。 复现材料：论文在“实现细节”部分提供了较为详细的训练配置（优化器、学习率、调度器、Batch Size、轮数、硬件），并建议参考GitHub仓库获取更多细节。 论文中引用的开源项目：论文在方法部分引用了TasNet [15]和Sandglasset [16]作为其音频编码和分离网络的基础组件。 📌 核心摘要 要解决的问题：当前基于脑电图（EEG）的目标说话人提取（TSE）系统面临两个核心挑战：EEG信号的非平稳性导致跨会话性能不稳定，以及显著的个体间差异限制了通用模型的泛化能力。 方法核心：本文提出了脑印调制目标说话人提取（BM-TSE）框架。该框架首先使用一个带有自适应频谱增益（ASG）模块的时空EEG编码器，从非平稳信号中提取稳定特征。其核心是一个“个性化脑印调制”机制：通过联合优化说话人识别（SID）和听觉注意解码（AAD）任务，学习一个统一的“脑图”嵌入（brainmap embedding），该嵌入同时编码用户的静态身份和动态注意状态，并用它主动调制和优化音频分离过程，实现个性化输出。 与已有方法相比新在哪里：传统TSE方法通常将EEG中的身份特异性信息视为需要抑制的统计噪声。BM-TSE则创新地利用这些“脑印”信息，将其作为个性化的调制信号，直接作用于语音分离网络，从“被动解码注意力”转向“主动利用身份特征进行定制化增强”。 主要实验结果：在KUL和Cocktail Party两个公开数据集上的实验表明，BM-TSE在语音质量（SI-SDR）和可懂度（STOI, ESTOI）上均达到了当前最优（SOTA）。例如，在Cocktail Party数据集上，BM-TSE的SI-SDR为14.02 dB，优于之前的SOTA方法MSFNet（12.89 dB）。消融研究证实了LS-TConv、ASG、SConv模块以及LSID损失的关键作用。 实际意义：该研究为开发新一代真正个性化、高保真的神经调制助听设备提供了有力的技术路径，证明了将用户独特的神经特征融入核心音频处理管线的巨大潜力。 主要局限性：论文未深入探讨该框架在真实实时助听器设备上的计算复杂度、功耗及延迟；对于脑印嵌入在更长时间跨度（如数月或数年）下的稳定性验证不足；此外，实验数据集均为健康被试在实验室环境下录制，模型在听力损失患者及真实嘈杂场景中的泛化能力有待进一步验证。 🏗️ 模型架构 BM-TSE是一个端到端的多模态（EEG+音频）系统，整体架构如图1所示。 ...

📄 CodeSep: Low-Bitrate Codec-Driven Speech Separation with Base-Token Disentanglement and Auxiliary-Token Serial Prediction #语音分离 #语音编码 #多任务学习 #音频编解码 ✅ 7.5/10 | 前25% | #语音分离 | #多任务学习 | #语音编码 #音频编解码 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hui-Peng Du（中国科学技术大学，语音及语言信息处理国家工程研究中心） 通讯作者：Yang Ai（中国科学技术大学，语音及语言信息处理国家工程研究中心） 作者列表：Hui-Peng Du（中国科学技术大学）、Yang Ai*（中国科学技术大学）、Xiao-Hang Jiang（中国科学技术大学）、Rui-Chen Zheng（中国科学技术大学）、Zhen-Hua Ling（中国科学技术大学）。所有作者均隶属于“语音及语言信息处理国家工程研究中心，中国科学技术大学，合肥，中国”。 💡 毒舌点评 论文精准地瞄准了“既要分离又要压缩”这个被忽略的实用场景，并设计了逻辑自洽的模型，实验也充分证明了其在极低码率下吊打简单级联方案。然而，模型本质上仍是Transformer、RVQ和LSTM等成熟模块的“拼接乐”，缺乏更底层的方法论创新；且实验仅限于两人说话，面对更复杂的多人鸡尾酒会能否保持住这个“1 kbps”的优势，恐怕要打个问号。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：使用了公开的Libri2Mix数据集，但未提及是否提供了处理后的版本或新的数据集。 Demo：提供了在线语音样本演示：https://redmist328.github.io/CodeSep/ 复现材料：论文给出了主要模型架构和超参数的大致描述，但未提供完整的训练脚本、配置文件或预训练检查点。 论文中引用的开源项目：论文主要依赖了MDCTCodec [19]，并引用了Sepformer [10]作为基线，ConvNeXt v2 [20]，AdamW [22]等公开方法/工具。 📌 核心摘要 问题：本文针对一个实际但未被充分研究的场景——同时进行语音分离与语音压缩。在在线会议、对话归档等应用中，需要从混合语音中分离出说话人，并将其表示为紧凑的离散token以便高效传输或存储。 ...

📄 CompSpoof: A Dataset and Joint Learning Framework for Component-Level Audio Anti-Spoofing Countermeasures #音频深度伪造检测 #语音分离 #多任务学习 #数据集 ✅ 7.0/10 | 前25% | #音频深度伪造检测 | #语音分离 | #多任务学习 #数据集 学术质量 4.7/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Xueping Zhang（苏州昆山杜克大学，多模态智能系统苏州市重点实验室；数字创新研究中心） 通讯作者：Ming Li（苏州昆山杜克大学，多模态智能系统苏州市重点实验室；数字创新研究中心） 作者列表： Xueping Zhang（苏州昆山杜克大学，多模态智能系统苏州市重点实验室；数字创新研究中心） Yechen Wang（OfSpectrum, Inc., Los Angeles, USA） Linxi Li（OfSpectrum, Inc., Los Angeles, USA） Liwei Jin（OfSpectrum, Inc., Los Angeles, USA） Ming Li（苏州昆山杜克大学，多模态智能系统苏州市重点实验室；数字创新研究中心） 💡 毒舌点评 亮点：敏锐地捕捉并定义了“成分级伪造”这一更隐蔽的攻击新范式，并为此构建了首个配套数据集和完整的端到端解决方案，框架设计逻辑自洽。 短板：提出的数据集规模较小（2500条），且环境声伪造检测效果显著弱于语音伪造检测，说明所提的“专用环境声反欺骗模型”（直接复用XLSR-AASIST）可能并不完全适配，成为系统性能短板。 ...

📄 Diff-vs: Efficient Audio-Aware Diffusion U-Net for Vocals Separation #语音分离 #扩散模型 #U-Net #数据增强 #音频生成 ✅ 7.5/10 | 前25% | #语音分离 | #扩散模型 | #U-Net #数据增强 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yun-Ning (Amy) Hung (Moises, USA) 通讯作者：未说明 作者列表：Yun-Ning (Amy) Hung (Moises, USA), Richard Vogl (Moises, USA), Filip Korzeniowski (Moises, USA), Igor Pereira (Moises, USA) 💡 毒舌点评 亮点：论文巧妙地将针对图像生成优化的EDM框架“移植”到音频分离，并通过带分离和双路径RoFormer等音乐领域知识进行“魔改”，成功将扩散模型的推理步数压至个位数，在生成式方法中实现了SOTA性能。短板：虽然在自家构建的生成式对比阵营中鹤立鸡群，但一旦面对经过大规模数据洗礼的判别式“怪兽”（如BS-RoFormer），在客观指标上依然力有不逮，生成式范式在音乐分离上的“逆天改命”之路仍需努力。 🔗 开源详情 代码：论文中提及代码仓库链接为 https://github.com/NVlabs/edm/tree/main（此为EDM框架的开源实现，非本文专用代码）。同时提供了本文模型的具体实现链接：https://github.com/amymoises/diffvs.github.io（注：此链接指向项目主页，具体代码需查看）。因此，论文中提及了代码链接。 模型权重：论文提供了音频示例链接 https://amymoises.github.io/diffvs.github.io/，暗示可能提供了预训练模型或演示。根据上下文，提及了模型权重。 数据集：使用了公开数据集MUSDB18-HQ和MoisesDB。论文中提及了数据集及其获取方式（公开基准）。 Demo：提供了音频样本演示链接 https://amymoises.github.io/diffvs.github.io/，是。 复现材料：论文详细说明了训练超参数（学习率、优化器、步数、batch size等）、模型架构细节（通道数、层数、模块配置）、数据增强方法、STFT参数、推理参数（σ范围，ρ，步数）以及训练硬件（单卡H200，时长约1周）。复现信息较为充分。 论文中引用的开源项目：EDM框架 (https://github.com/NVlabs/edm)。 整体开源情况：论文提供了项目主页、模型代码实现链接（指向GitHub）以及演示音频，模型和数据均为公开可用。训练细节描述详尽，具备较高的可复现性。 📌 核心摘要 问题：当前基于生成式扩散模型的音乐源分离方法，在标准客观指标（如SDR）上通常落后于判别式方法，且推理步数多、模型庞大，限制了其实用性。 方法：本文提出Diff-VS，一个基于Elucidated Diffusion Model (EDM)框架的高效音频感知扩散U-Net模型，专门用于人声分离。模型输入为经过特殊归一化的复数频谱图，并采用带分离和双路径RoFormer块改进的U-Net架构。 创新：首次将EDM框架应用于人声分离，实现了少于10步的高效推理；提出针对音乐信号特性的架构改进（如用双路径RoFormer替换像素自注意力）；实验证明生成式方法能达到与判别式方法竞争力的客观指标和更优的感知质量。 实验结果：在MUSDB18-HQ数据集上，仅需7步推理的Diff-VS达到了10.12 dB的cSDR，超越了所有已对比的生成式模型（最高为SGMSE的8.63 dB），并接近SCNet-L (10.86 dB) 等顶尖判别式模型。在基于MERT嵌入的感知质量评估中，Diff-VS (MSE=0.083) 优于SCNet-L (0.096) 和SGMSE (0.089)。 实际意义：该工作证明了经过精心设计的生成式模型，可以在保持分离质量（特别是感知质量）的同时，大幅提升推理效率，为生成式方法在音频分离领域的实际应用提供了可能。 主要局限性：在使用更多数据（MoisesDB）训练的最强判别式模型（如BS-RoFormer-12L）面前，客观性能仍有明显差距；模型目前仅针对人声分离，未验证其在多乐器分离任务上的能力；缺乏对生成多样性的讨论和评估。 🏗️ 模型架构 Diff-VS的整体架构基于EDM框架下的改进型DDPM++ U-Net。 ...

📄 EEG and Eye-Tracking Driven Dynamic Target Speaker Extraction with Spontaneous Attention Switching #语音分离 #多模态模型 #多任务学习 #生物声学 #数据集 ✅ 7.0/10 | 前25% | #语音分离 | #多模态模型 | #多任务学习 #生物声学 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Xuefei Wang（南方科技大学电子与电气工程系） 通讯作者：Fei Chen（南方科技大学电子与电气工程系） 作者列表：Xuefei Wang（南方科技大学电子与电气工程系）、Ximin Chen（南方科技大学电子与电气工程系）、Yuting Ding（南方科技大学电子与电气工程系）、Yueting Ban（南方科技大学电子与电气工程系）、Siyu Yu（南方科技大学电子与电气工程系）、Yu Tsao（台湾中研院资讯科技创新研究中心）、Fei Chen（南方科技大学电子与电气工程系） 💡 毒舌点评 这篇论文首次将EEG引导的目标说话人提取问题从静态场景拓展到更符合真实情况的动态注意力切换场景，并为此构建了一个完整的多模态框架，这是其最大亮点；然而，实验仅在参与者数量有限（18人）的自建数据集上进行，且代码与模型未完全开源，极大限制了其结论的普适性与可复现性。 🔗 开源详情 代码：论文中未提及代码链接。数据集链接（https://github.com/XXuefeii/AASD）中可能包含部分代码，但论文正文未说明。 模型权重：未提及。 数据集：是。提供了专门的数据集仓库链接（https://github.com/XXuefeii/AASD），包含EEG和眼动数据。 Demo：未提及。 复现材料：论文提供了部分训练超参数（Adam优化器，lr=1e-4， batch size=16），但未提供完整的训练脚本、配置文件或检查点。代码和完整复现指南缺失。 论文中引用的开源项目：论文中提到了使用预训练的Wav2vec2.0模型[17]和基于Conv-TasNet[16]的架构。 📌 核心摘要 要解决什么问题？ 论文旨在解决现有EEG引导的目标说话人提取（TSE）方法通常假设听众注意力静态不变，无法处理现实多说话人环境中听众自发在不同说话人之间切换注意力的动态场景。 方法核心是什么？ 提出了一个多模态动态注意力TSE网络（MDATNet），其核心是：(a) 利用EEG和平均注视坐标（眼动）联合解码注意力是否发生切换；(b) 引入一个动态更新单元，当检测到注意力切换时重置历史信息，否则融合历史语音特征，以保持对同一目标说话人跟踪的连续性。 与已有方法相比新在哪里？ 与之前仅基于EEG或假设静态注意力的方法（如BASEN, NeuroHeed等）相比，本文方法首次明确建模并处理了“注意力切换”这一动态过程，通过引入眼动先验和动态历史语音记忆机制，实现了更自适应、更符合认知过程的提取。 主要实验结果如何？ 在自建的EEG自发注意力切换数据集上，MDATNet在所有指标上显著优于基线方法。相比最强的M3ANet，SDR提升了1.77 dB，STOI提升了3.99%。消融实验表明，眼动信息和动态更新单元分别带来了显著的性能提升，二者结合达到最佳效果（SDR 8.79 dB， STOI 88.17%）。 实际意义是什么？ 该研究推动了脑机接口（BCI）与语音处理的交叉领域发展，为开发未来能更自然理解并跟随用户注意力焦点的助听器、耳机或人机交互系统提供了技术路径。 主要局限性是什么？ 主要局限性在于实验数据集规模有限（18位被试，18小时数据），且均为特定实验室环境下的受控数据，跨被试泛化能力、在复杂声学场景（如背景噪音、混响）下的鲁棒性尚未得到充分验证。 🏗️ 模型架构 论文提出了一个名为MDATNet（Multimodal and Dynamic Attention Target Net）的端到端神经网络框架，整体架构见图1。 ...

📄 Equipping Large Language Model with Directional Speech Understanding Capabilities #语音识别 #语音翻译 #语音分离 #波束成形 #大语言模型 #流式处理 ✅ 7.0/10 | 前50% | #语音识别 #语音翻译 | #语音分离 #波束成形 | #语音识别 #语音翻译 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Ju Lin（Meta, USA） 通讯作者：未说明（论文中未明确标注） 作者列表：Ju Lin（Meta, USA）、Jing Pan（Meta, USA）、Ruizhi Li（Meta, USA）、Ming Sun（Meta, USA）、Yuzong Liu（Meta, USA）、Alaa Hassan（Meta, USA）、Jing Zheng（Meta, USA）、Florian Metze（Meta, USA） 💡 毒舌点评 亮点：论文精准聚焦于智能眼镜“听清特定人”的刚需，提出了从系统架构（级联/端到端）到流式推理的全套解决方案，实验设计也比较全面，覆盖了分离、识别、翻译三个环节。短板：所有实验都在模拟数据上“闭卷考试”，缺乏真实世界复杂声学环境的“开卷考验”，这让人对其宣称的“鲁棒性”和实际落地能力打上一个问号；此外，端到端SOT方案在部分任务上不如传统的级联方案，显示出“大而全”未必总是最优解。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及所提出的源分离模型或微调后SLM权重的公开计划。仅提及使用了开源的Gemma-3n模型。 数据集：训练所用的多通道模拟数据基于公开的单通道数据集（Common Voice, MLS）和模拟流程生成，但未提供生成好的模拟多通道数据集本身。 Demo：未提及。 复现材料：论文提供了模型架构描述、训练超参数（如LoRA rank, 学习率, batch size, 优化器, 训练轮数）、评估指标和数据集来源（Common Voice, MLS, Fleurs, LibriSpeech），但缺乏关键的模拟数据生成脚本、NLCMV波束成形的具体实现细节（被指向另一篇论文）。 论文中引用的开源项目：Gemma-3n 4B模型（来自Hugging Face）。 📌 核心摘要 这篇论文旨在解决基于大语言模型（LLM）的语音系统在智能眼镜场景中面临的挑战：现有模型多为单通道、单说话人设计，难以处理多麦克风阵列录制的、包含佩戴者（近场）和对话者（远场）的定向多人语音。 ...

📄 Flexio: Flexible Single- and Multi-Channel Speech Separation and Enhancement #语音分离 #语音增强 #多通道 #麦克风阵列 #目标说话人提取 🔥 8.0/10 | 前25% | #语音分离 | #多通道 | #语音增强 #麦克风阵列 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yoshiki Masuyama (Mitsubishi Electric Research Laboratories (MERL), Cambridge, USA) 通讯作者：未说明 作者列表：Yoshiki Masuyama (MERL)、Kohei Saijo (Waseda University, Tokyo, Japan)、Francesco Paissan (University of Trento, Trento, Italy; MERL)、Jiangyu Han (Brno University of Technology, Brno, Czechia)、Marc Delcroix (NTT, Inc., Kyoto, Japan)、Ryo Aihara (MERL)、François G. Germain (MERL)、Gordon Wichern (MERL)、Jonathan Le Roux (MERL) 💡 毒舌点评 亮点： 论文提出了一个优雅的统一框架FlexIO，首次将处理可变输入（麦克风数量）和可变输出（说话人数量）的灵活性整合到一个模型中，并利用“提示向量”实现了用户可控的分离，这在实际应用中极具价值。 短板： 作者对比并测试了三种通道通信机制（TAC、Cross-channel attention、Co-attention），但对其选择缺乏深入的指导原则分析，且在某些场景下性能提升并非压倒性的，使得“哪种机制最优”的结论有些模糊。 ...

ICASSP 2026 - 语音分离 共 25 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Adaptive Rotary Steering with Joint Autoregression for Robus 8.5分 前25% 🥈 UNMIXX: Untangling Highly Correlated Singing Voices Mixtures 8.5分 前25% 🥉 Brainprint-Modulated Target Speaker Extraction 8.0分 前25% 4. Flexio: Flexible Single- and Multi-Channel Speech Separation 8.0分 前25% 5. MMAudioSep: Taming Video-to-Audio Generative Model Towards V 8.0分 前25% 6. Bayesian Signal Separation Via Plug-and-Play Diffusion-Withi 7.5分 前25% 7. An Audio-Visual Speech Separation Network with Joint Cross-A 7.5分 前25% 8. Aneural Forward Filtering for Speaker-Image Separation 7.5分 前25% 9. Str-DiffSep: Streamable Diffusion Model for Speech Separatio 7.5分 前25% 10. PromptSep: Generative Audio Separation Via Multimodal Prompt 7.5分 前10% 11. Diff-vs: Efficient Audio-Aware Diffusion U-Net for Vocals Se 7.5分 前25% 12. CodeSep: Low-Bitrate Codec-Driven Speech Separation with Bas 7.5分 前25% 13. SLM-SS: Speech Language Model for Generative Speech Separati 7.5分 前25% 14. VM-UNSSOR: Unsupervised Neural Speech Separation Enhanced by 7.5分 前25% 15. SoundCompass: Navigating Target Sound Extraction with Effect 7.5分 前25% 16. Prototype-Guided Cross-Modal Contrastive Learning for Contin 7.5分 前25% 17. EEG and Eye-Tracking Driven Dynamic Target Speaker Extractio 7.0分 前25% 18. Robust Online Overdetermined Independent Vector Analysis Bas 7.0分 前25% 19. AR-BSNet: Towards Ultra-Low Complexity Autoregressive Target 7.0分 前25% 20. Spectral or Spatial? Leveraging Both for Speaker Extraction 7.0分 前25% 21. Neural Network-Based Time-Frequency-Bin-Wise Linear Combinat 7.0分 前25% 22. Training Dynamics-Aware Multi-Factor Curriculum Learning for 7.0分 前25% 23. Vib2Sound: Separation Of Multimodal Sound Sources 6.5分 前50% 24. Source Separation For A Cappella Music 6.5分 前50% 25. Towards Distance-Aware Synthetic Audio Mixtures for Universa 6.5分 前50% 📋 论文详情 🥇 Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios 🔥 8.5/10 | 前25% | #语音分离 | #信号处理 | #麦克风阵列 #自回归模型 ...

📄 Joint Multichannel Acoustic Feedback Cancellation and Speaker Extraction via Kalman Filter and Deep Non-Linear Spatial Filter #语音增强 #语音分离 #信号处理 #麦克风阵列 #多通道 ✅ 7.0/10 | 前25% | #语音增强 | #信号处理 | #语音分离 #麦克风阵列 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Ze Li（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人；南京大学） 通讯作者：未说明 作者列表：Ze Li（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人；南京大学），Haocheng Guo（华为技术有限公司），Xiaoyang Ge（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人），Kai Chen（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人），Jing Lu（南京大学现代声学研究所 & NJU-Horizon智能音频实验室，地平线机器人） 💡 毒舌点评 亮点：该工作切中了公共广播和助听器系统中“反馈”与“干扰”两大痛点，提出的AFC-SPEX框架在系统设计上逻辑清晰，将经典卡尔曼滤波与深度空间滤波器巧妙结合，并通过教师强制策略有效解决了训练难题。短板：尽管仿真实验对比了众多基线，但结论的说服力止步于“在模拟环境中表现良好”；对于声学反馈这类严重依赖实际硬件与声场交互的问题，缺乏真实录音数据的验证是一个明显的遗憾，限制了其向实际产品转化的说服力。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/ZLiNJU/AFC-SPEX。 模型权重：论文中未提及公开预训练模型权重。 数据集：训练所用的仿真数据集未公开，但提供了仿真设置细节和使用的公开语音库（WSJ0）。 Demo：论文中未提及在线演示。 复现材料：提供了论文中描述的主要超参数（帧长、帧移、分块数等）、仿真设置以及依赖的开源项目（pyroomacoustics）。但缺乏完整的训练脚本、配置文件、训练日志及检查点。 论文中引用的开源项目：引用了pyroomacoustics用于房间声学仿真，以及Rank2-MWF的开源实现。 📌 核心摘要 这篇论文旨在解决公共广播和助听器等系统中同时存在的声学反馈和干扰噪声问题。核心方法AFC-SPEX将分块频域卡尔曼滤波器（PBFDKF）作为自适应反馈消除模块，其输出的残差信号与原始麦克风信号一起输入到一个深度非线性空间滤波器（DNSF）中，后者通过LSTM网络学习时、频、空特征以估计复数理想比值掩膜，从而提取目标语音。与现有级联方案或单独使用深度网络的方法相比，该工作的主要创新在于联合优化与交互设计：DNSF不仅依赖原始信号，还利用AFC模块的输出作为辅助参考，以联合抑制反馈和干扰；同时，采用了针对闭环问题的教师强制训练策略。实验结果（在模拟的带反馈和干扰的房间声学环境中）表明，所提方法在SI-SDR、PESQ、STOI及最大稳定增益提升（ΔMSG）等多项指标上均优于直接级联、单独DNSF以及一种传统的多通道维纳滤波方法（Rank2-MWF）。例如，在同时存在反馈和干扰的场景（Simulation A）中，AFC-SPEX的SI-SDR达到4.38，优于AFC+DNSF的-1.78和Rank2-MWF的-26.00。该工作的实际意义在于为需要同时处理声学反馈和语音提取的音频系统提供了一种高性能的算法框架。其主要局限性是所有实验均基于仿真，未进行真实世界数据的验证。 ...

📄 Loose Coupling of Spectral and Spatial Models for Multi-Channel Diarization and Enhancement of Meetings in Dynamic Environments #说话人日志 #语音分离 #麦克风阵列 #波束成形 #多通道 ✅ 7.2/10 | 前25% | #说话人日志 #语音分离 | #麦克风阵列 #波束成形 | #说话人日志 #语音分离 学术质量 7.2/7 | 选题价值 6.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Adrian Meise (Paderborn University, Germany), Tobias Cord-Landwehr (Paderborn University, Germany) （论文标注“*Authors contributed equally”，为共同第一作者） 通讯作者：未说明 作者列表：Adrian Meise (Paderborn University), Tobias Cord-Landwehr (Paderborn University), Christoph Boeddeker (Paderborn University), Marc Delcroix (NTT, Inc., Japan), Tomohiro Nakatani (NTT, Inc., Japan), Reinhold Haeb-Umbach (Paderborn University) 💡 毒舌点评 亮点： 论文直击一个长期被忽略但非常实际的痛点——传统谱空联合模型在动态会议场景（说话人移动）下的根本性失效，并提出了一个数学上优雅的“松耦合”解法，实验也证明了其在模拟移动场景下的巨大优势。 短板： 该模型的性能高度依赖于谱特征（说话人嵌入）的质量，而论文本身也承认在重叠语音下嵌入质量会急剧恶化，这使得模型在高重叠率的真实复杂场景中的有效性存疑；此外，所有实验均基于模拟的位置变化（旋转麦克风通道），而非真实的说话人移动轨迹，验证的充分性打折扣。 ...