语音分离

📄 DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling #语音交互 #扩散模型 #语音分离 5.9/10 | 创新 0.6/2 | 严谨 0.7/1.5 | 实验 0.4/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 📝 5.9/10 | 前50% | #语音交互 | #扩散模型 | #语音分离 | arxiv 👥 作者与机构 第一作者：Wataru Nakata（The University of Tokyo, Japan） 第二作者：Yuki Saito（The University of Tokyo / JST BOOST） 第三作者：Hiroshi Saruwatari（The University of Tokyo） 通讯作者：未明确标注，推测为 Wataru Nakata 💡 毒舌点评 DuplexChat通过播客管道规模化构建说话人分离的全双工对话语料，填补了公开大规模双通道训练数据的空白，工程集成能力扎实，构建了当前最大规模对话语音资源（~415k小时）。但下游SDLM训练实验完全缺失，使得"适合全双工建模"的核心断言悬空；单通道混合到双通道估计的分离链路引入模型噪声，其分离错误对下游对话建模的长期影响并未讨论。更致命的是，论文仅与Fisher这一电话窄带语料对比声学质量，既未与J-CHAT等相近的播客/音视频对话语料对比，也未讨论pyannote日志模型的级联误差，导致语料真实可用性缺乏说服力。整体来看，这是一个优秀的工程基础设施论文，但缺少SDLM训练验证使其影响力大打折扣——就像造了一条高速公路却从未让它跑过车。 ...

📄 Noisy Environment Adaptation of Neural Speech Codec via Focal Mask and Noise Feature Separation #语音增强 #语音分离 5.9/10 | 创新 0.8/2 | 严谨 0.9/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 5.9/10 | 前50% | #语音增强 | #Transformer | #语音分离 | arxiv 👥 作者与机构 第一作者：Shaokai Li（武汉大学计算机学院，国家多媒体软件工程技术研究中心） 通讯作者：未明确指定，但根据常见学术惯例，Weiping Tu 或 Yuhong Yang 可能为共同通讯作者，两者单位均为武汉大学计算机学院，国家多媒体软件工程技术研究中心，湖北省多媒体与网络通信工程重点实验室 作者列表：Shaokai Li, Weiping Tu, Yuhong Yang 💡 毒舌点评 这篇论文试图通过在神经编解码器的嵌入空间中引入一个"面面俱到"的增强模块来解决噪声问题，方案直接且有效。但从审稿角度看，这更像是一次技巧性很强的"搭积木"：将focal modulation、Transformer、Mamba和ResNet组合，去噪的同时顺便做了个噪声分类。这导致模型参数量高达222M，几乎是基础编解码器的3倍。更致命的是，它的价值完全锚定在ESC-50这个50类环境音上，我们无从知晓它在真实咖啡馆、街道或风噪下的表现，也无法判断这63M参数的噪声分类器除了"辅助训练"外还有什么实际用处。总的来说，论文的增益是明确的，但其工程代价和实用性疑虑也同样巨大。 ...

📄 Weakly Guided and Autoregressive Beamformer Parameterization for Generalizable Moving Speaker Extraction in Higher-Order Ambisonics #语音分离 #语音增强 4.3/10 | 创新 0.8/2 | 严谨 0.8/1.5 | 实验 0.6/1.5 | 清晰 0.6/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.8/1.5 📝 4.3/10 | 后50% | #语音分离 | #语音增强 | arxiv 👥 作者与机构 第一作者：Jakob Kienegger（Signal Processing (SP) Group, University of Hamburg） 通讯作者：未说明 作者列表：Jakob Kienegger、Tal Peer、Sina Khanagha、Timo Gerkmann（均隶属于 Signal Processing (SP) Group, University of Hamburg） 💡 毒舌点评 这篇论文提出了一个精致的工程pipeline：仅需初始方向，用固定波束和自回归反馈"扶着"DNN去估计掩码，再驱动一个线性MVDR波束形成器。想法漂亮，但实验部分却选择了一条最容易的路——只和自己比，不敢直面那些拥有完整跟踪能力的强引导方案和深度非线性空间滤波器。这就像一个武林高手只和自家师弟切磋，武艺高低无从得知。此外，合成数据基于完美的远场平面波假设，而真实录音的低阶Ambisonics结果（WER超70%）暴露了方法在复杂声学环境下的巨大鸿沟，作者对此却轻描淡写。 ...

📄 SURF: Separation via Unsupervised Remixing Flow #语音分离 #生成模型 #自监督学习 #无监督学习 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 6.2/10 | 前50% | #语音分离 | #流匹配 | #生成模型 #自监督学习 | arxiv 👥 作者与机构 第一作者：Henry Li (Google), 共同一作：Robin Scheibler (Google DeepMind) 通讯作者：Henry Li (lihenry@google.com) 作者列表：Henry Li (Google)、Robin Scheibler (Google DeepMind)、Efthymios Tzinis (Google)、Matt Shannon (Google DeepMind)、Arnaud Doucet (Google DeepMind)、John R. Hershey (Google DeepMind) 备注：Arnaud Doucet 与 John R. Hershey 为共同高级作者 (equal senior contribution) 💡 毒舌点评 这篇论文用Wake-Sleep给“借鸡生蛋”的Remixing套上了一层概率外衣，又将Flow Matching的生成能力引入无监督分离，想法很漂亮，画面很美好。但现实很骨感：AudioSet上三四个源的场景直接“掉链子”，理论分析的强假设（人口极限B→∞）在实际中脆弱得像纸糊，加上代码闭源、关键超参数缺失，让人严重怀疑这套花哨的pipeline复现起来是不是一场工程噩梦。 ...

📄 H-SAGE: Holistic Speaker-Aware Guided Experts for MoE-based Multi-Talker ASR #语音识别 #多任务学习 #LoRA #语音分离 6.9/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 6.9/10 | 前50% | #语音识别 | #多任务学习 | #LoRA #语音分离 | arxiv 👥 作者与机构 第一作者：Yujie Guo（南开大学/NKU-HLT） 通讯作者：Yong Qin（南开大学/NKU-HLT） 作者列表：Yujie Guo（南开大学/NKU-HLT）、Jiaming Zhou（南开大学/NKU-HLT）、Yuhang Jia（南开大学/NKU-HLT）、Yang Chen（南开大学/NKU-HLT）、Yong Qin（南开大学/NKU-HLT） 💡 毒舌点评 论文靠显式重叠监督和整体门控给MoE路由强行灌输“场景认知”，消融实验干净利落，把自注意力全局编码和显式损失的必要性扒得很清楚。但性能提升相当温吞，尤其是重中之重的3-mix场景，OA-WER仅从GLAD的20.0%抠到19.8%，基本属于统计误差级别的进步，且低重叠区被SACTC反超，说明这套“显式建模”的优势极度依赖说话人高度纠缠的特定条件；只在讲卫生的LibriSpeechMix读书腔上跑分，放到真实鸡尾酒会里会不会露怯尚完全未知。 📌 核心摘要 针对多说话人语音识别中MoE路由普遍依赖帧独立投影、仅靠隐性ASR目标学习而导致时序短视和可解释性缺失的问题，本文提出H-SAGE。其核心是用Speaker-Aware Global Encoder（SA-Encoder）建模长程说话人活动状态，并配套Overlap-Aware Loss对帧级的重叠、单说话人、静音/填充三态施加显式交叉熵监督；在此之上设计了Holistic Gating Mechanism，将SA-Encoder跨层共享的全局上下文与当前层的局部特征拼合，学习动态融合权重以平衡全局与局部路由概率。在LibriSpeechMix基准上，H-SAGE在2-mix和3-mix的高重叠子集取得SOTA，并通过消融证实显式监督和整体门控各自均有实质性收益。该工作将MTASR的专家路由从“隐式+局部”打上了“显式+全局”的声学先验补丁，在高重叠场景下提升了鲁棒性。主要局限在于分离增益不够显著（3-mix客观指标近乎持平GLAD），且仅在人工合成、读书风格的LibriSpeechMix单基准上验证，对真实口语音素变化、噪声及跨语言泛化性未作评估。 ...

📄 OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL #自监督学习 #生成对抗网络 #语音增强 #语音分离 #语音转换 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1.2/1 | 影响 1.3/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前50% | #语音识别 | #自监督学习 | #生成对抗网络 #语音增强 | arxiv 👥 作者与机构 作者：Karl El Hajal (Idiap Research Institute, Switzerland; EPFL, Switzerland), Mathew Magimai.-Doss (Idiap Research Institute, Switzerland) 机构：Idiap Research Institute（瑞士），洛桑联邦理工学院（EPFL，瑞士） ...

📄 TF-MoE: Time-Frequency Mixture-of-Experts for Efficient Speech Separation #语音分离 8.1/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 🔥 8.1/10 | 前25% | #语音分离 | #语音分离 | arxiv 👥 作者与机构 作者：Hu, Li, Zhang, Liu, Lu, Qian, Wangyou, Shujie, Yan, Yanmin (具体全名见原文标题页) 机构：1. 听觉认知与计算声学实验室，上海交通大学，上海，中国；2. 微软亚洲研究院，中国 💡 毒舌点评 这篇论文精准地抓住了当前语音分离领域一个被忽视但至关重要的痛点：大家拼命堆砌Transformer、SSM等时髦架构时，把计算量搞得巨大无比，却美其名曰“模型紧凑”（参数少）。作者没有去卷更复杂的序列建模，而是从“性价比”入手，用成熟的MoE技术给这个“计算黑洞”做了一次“稀疏化手术”。想法非常务实，效果也立竿见影，在低计算预算下确实“打”服了一票基线。消融实验和可视化做得不错，让“专家到底学了啥”变得相对直观。但问题是，这篇论文目前的状态更像一个出色的“工程技巧展示”而非一篇理论突破。对E=24性能下降的解释停留在“可能”，缺乏更深层的机制探讨。所有实验都在“无菌”的Libri2Mix合成数据上进行，面对真实世界带噪、混响的语音，这套稀疏路由机制还能否保持高效和专业，是个巨大的问号。代码不开源，在这个“talk is cheap”的时代，总感觉诚意打了点折扣。总之，是一个扎实有效的工作，但离“顶会让人眼前一亮”的级别，还差那么点理论深度和现实世界验证的“脏活累活”。 📌 核心摘要 本文针对语音分离模型参数紧凑但计算成本高昂、不利于边缘部署的矛盾，提出了TF-MoE框架。该框架首先构建了一个基于mel频带分割的高效Conformer骨干网络（TF-Conformer）。在此基础上，核心创新在于将时域和频域模块中的标准前馈网络替换为稀疏门控的混合专家前馈网络（MoE-FFN）。通过动态路由机制，每个时间帧或频率频带仅激活top-J个专家，从而在几乎不增加推理计算成本（仅增加极小的门控开销）的前提下，将模型FFN参数量扩大E倍，有效提升了模型容量。实验表明，在Libri2Mix数据集上，TF-MoE在4.1 GMACs/s的低计算预算下达到了17.7 dB SDR，显著优于计算成本相当的BSRNN基线（+3.8 dB SDR），并优于其骨干网络TF-Conformer（+1.3 dB SDR）。消融研究证实了Conformer优于RNN，以及在时频双维度引入MoE的互补增益。专家路由可视化显示，专家在频率维度和时间维度上形成了对不同频带和说话人模式的显式专业化，验证了该设计的有效性。该工作为在资源受限设备上部署高性能语音分离模型提供了一条可行路径。 ...

📄 Neural Speaker Diarization via Multilingual Training: Evaluation on Low-Resource Nepali-Hindi Speech #多语言 #低资源 #语音分离 5.5/10 | 创新 1.0/2 | 严谨 0.8/1.5 | 实验 1.0/1.5 | 清晰 1.2/1 | 影响 0.5/1.5 | 开源 0.0/1.5 | 复现 0.2/0.5 | 工程 0.3/1.5 📝 5.5/10 | 前50% | #语音分离 | #多语言 | #低资源 | arxiv 👥 作者与机构 作者：Samip Neupane, Sandesh Pokhrel, Sandesh Pyakurel, Basanta Joshi 机构：尼泊尔理工学院普尔乔克校区电子与计算机工程系 💡 毒舌点评 这篇论文的出发点（低资源语言日志化）是好的，但执行上槽点不少。把两个现成模型（EEND-EDA和DiaPer）在合成数据上跑一遍比较，就算“研究”了吗？所谓的“多语言训练”更像是把几堆数据混合在一起，并没有提出新颖的融合策略或理论分析。实验设计最大的硬伤是使用合成数据——把单人录音拼接起来，这能模拟真实对话中复杂的重叠、打断、背景噪声吗？评估数据集NeHi样本量小（每种场景仅100条），且尼泊尔语训练数据仅来自18名女性，这个偏差太大了，结论能推广吗？论文声称DiaPer优于EEND-EDA，但对比分析相当肤浅，没有深入探究Perceiver架构在跨语言泛化上真正优势的来源（比如注意力机制如何处理不同语言的声学特征）。此外，图表标题与内容对应混乱（表4-7），写作粗糙。整体感觉像是一篇急匆匆的实验报告，而非一篇扎实、有深度的顶会论文。 📌 核心摘要 论文针对低资源语言（尼泊尔语、印地语）说话人日志化性能下降的问题，提出使用多语言混合数据训练端到端神经日志化模型。比较了EEND-EDA和DiaPer两种架构。核心结论是DiaPer在多数多说话人场景（尤其是3、4及混合说话人）的DER显著低于EEND-EDA，显示出更好的跨语言泛化能力，而EEND-EDA在简单的2说话人场景略有优势。实验在合成的尼泊尔语-印地语（NeHi）测试集上进行，结果支持DiaPer在复杂场景的优越性。 🔗 开源详情 代码：论文中未提及代码链接，未开源。 ...

📄 Don't Listen to Me: A Lightweight, Low-Latency Model for Own-Voice Cancellation in Far-Field Speech Enhancement #语音增强 #语音分离 8.4/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 8.4/10 | 前50% | #语音增强 | #语音分离 | arxiv 👥 作者与机构 论文作者为来自 WS Audiology (丹麦)、丹麦技术大学 (DTU Compute) 和 Verth (丹麦) 的研究人员。第一作者为 Mads Alexander Neergaard Østergaard。机构信息在摘要下方明确列出，已有分析中未提及具体机构，需补充。 💡 毒舌点评 这篇论文提出了一个定义清晰的实用问题（OVC），并给出了一个工程上令人满意的解决方案。模型效率（RTF=0.82）和2ms的超低延迟确实是其亮点，对于助听器或智能音箱这类实时流式设备很有吸引力。然而，实验部分显得“过于干净”——所有的评估都在精心构造的合成动态数据集上进行，缺乏真实世界混响和噪声的考验。作者声称的“匹配性能”主要基于SDR，而pMOS的提升并不总是伴随SDR的提升（见(c2) vs (c1)），暗示两种指标可能存在不一致，且缺少真实的人类听感评估作为最终验证。模型选择Mamba和MinGRU更多是基于计算效率的趋势，而非针对OVC问题本身的创新性设计。总的来说，这是一篇扎实的工程优化论文，但离证明其在真实、复杂环境下的有效性还有距离。 ...

📄 ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era #语音识别 #语音合成 #语音增强 #说话人识别 #语音翻译 #语音分离 #语音编码 #自监督学习 #数据增强 #参数高效微调 #迁移学习 7.5/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #语音合成 #语音增强 | arxiv 👥 作者与机构 Masao Someki (Carnegie Mellon University, Pittsburgh, USA) Alexander Polok (Brno University of Technology, Brno, Czechia) Carlos Carvalho (Instituto Superior Técnico, Lisbon, Portugal) Chyi-Jiunn Lin (Hanyang University, Seoul, South Korea) Da-Hee Yang (Hitachi Astemo, Tokyo, Japan) Jiatong Shi (Shanghai Jiao Tong University, Shanghai, China) Jinchuan Tian (Carnegie Mellon University, Pittsburgh, USA) Nelson Enrique Yalta Soplin (Carnegie Mellon University, Pittsburgh, USA) Samuele Cornell (Carnegie Mellon University, Pittsburgh, USA) Siddhant Arora (Carnegie Mellon University, Pittsburgh, USA) Francisco Teixeira (Instituto Superior Técnico, Lisbon, Portugal) Wei Wang (Shanghai Jiao Tong University, Shanghai, China) William Chen (Carnegie Mellon University, Pittsburgh, USA) Alberto Abad (Instituto Superior Técnico, Lisbon, Portugal) Chenda Li (Carnegie Mellon University, Pittsburgh, USA) Shinji Watanabe (Carnegie Mellon University, Pittsburgh, USA) Wangyou Zhang (Shanghai Jiao Tong University, Shanghai, China) ...