语音增强

📄 PhASE-Flow: Phonetic-Conditioned Acoustic Flow Matching in SSL Representation Domain for Speech Enhancement #语音增强 #流匹配 #自监督学习 #生成模型 7.6/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.6/10 | 前25% | #语音增强 | #自监督学习 | #流匹配 #生成模型 | arxiv 👥 作者与机构 Jun Gao, Xiaobin Rong, Yu Sun, Dahan Wang, Jing Lu 单位：南京大学现代声学研究所；南京大学-地平线智能音频实验室；三星电子（中国）研发中心 💡 毒舌点评 这篇论文把语音增强的战场从大家熟悉的梅尔图谱和STFT直接搬到了WavLM的内部表征空间里，想法挺有意思，有点“跳出三界外”的感觉。消融实验做得比较扎实，把各种空间（梅尔、STFT、SSL声学、SSL音素）都比了一遍，结论也比较清晰。但问题也很明显：第一，论文对方法本身“可能”的局限性避而不谈，这不是一个成熟作者该有的态度；第二，效率优势（4步采样）喊得很响，但具体快多少、实时性能否达标，一个数据都没给，属于“口说无凭”；第三，在最具挑战性的混响场景下，虽然比同行好点，但SpkSim和dWER的断崖式下跌说明生成式模型“幻觉”的通病它也没治好。总的来说，技术路线有新意，实验设计合理，但自我批判的深度不足，工程落地的证据链也不完整。给个8分左右的分数，属于能发出来但离让人拍案叫绝还差口气的论文。 ...

📄 Single frequency filtering based multi-speaker direction of arrival estimation from stereo recordings #信号处理基础 #语音增强 7/10 | 创新 1/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7/10 | 前50% | #语音增强 | #信号处理基础 | arxiv 👥 作者与机构 Sushmita Thakallapalli (1), Sudarsana Reddy Kadiri (2), Nilesh Madhu (3), Suryakanth V Gangashetty (1) International Institute of Information Technology, Hyderabad, India University of Southern California, USA Ghent University - imec, Belgium 💡 毒舌点评 这篇论文就像一位精心调校的老派工程师，对信号处理的经典工具（GCC, SFF）进行了系统性的“体检”和“改装”。优点在于实验做得扎实、数据集公开、对比公平，甚至“发明”了一套让SFF和STFT参数可比的方法，这份严谨在信号处理领域值得尊敬。缺点是创新性确实乏力，SFF-PHAT-env本质上就是给已有的SFF-env“贴了张PHAT的标签”，核心思想是“拿来主义+微调”，在深度学习横行的今天显得有些“复古”。摘要里罗列四大贡献点，读起来像在凑数，反而让核心贡献模糊了。更致命的是，没有提供代码，对于一个强调“公平对比”和“参数选择方法”的论文来说，这极大削弱了其可复现性和说服力——毕竟，谁愿意去调那些神秘的\(r\)值和字典大小呢？总的来说，这是一篇扎实但缺乏惊喜的信号处理工作，适合作为基准论文，而非开创性研究。 ...

📄 SpeechDx: A Multi-Task Benchmark for Clinical Speech AI #语音识别 #语音合成 #语音增强 7.6/10 ✅ 7.6/10 | 前25% | #语音识别 | #语音合成 | #语音增强 | arxiv 👥 作者与机构 作者：Sejal Bhalla， Larry Kieu， Aina Merchant， Eyal de Lara， Alex Mariakakis 机构：多伦多大学 💡 毒舌点评 这篇论文就像是临床语音AI领域的“标准化考试大纲”——它精心设计了“考场”（基准），并给所有“考生”（模型）安排了“统一考试”（线性探测）。考试题目（任务）的分类法（按言语生产机制）设计得颇有生物启发性，这比随意堆砌任务要高级不少。最大的亮点是“考试成绩”很诚实：考出了当前所有“考生”的“偏科”现象（领域特定模型的局限性）和“集体短板”（跨条件泛化失败）。然而，这份“考试大纲”的“试题库”（数据集）本身就存在“出题不公”（标签噪声、生态效度）和“地域偏见”（英语为主）的问题，这在一定程度上削弱了“考试”结论的绝对说服力。作者在讨论“考试”局限性时还算坦诚，但“考试”后的“错题本”分析（失败分析、可解释性）做得不够深入。总的来说，它是一份扎实的“考卷”，但“考生”们离“满分毕业”（临床部署）还远着呢。 📌 核心摘要 本文针对临床语音AI领域因数据集孤立、评估协议不一致导致的难以比较结果和评估泛化能力的困境，提出了SpeechDx基准。该基准包含12个公开数据集、27个任务，其核心创新在于依据Berisha和Liss提出的言语生产生理阶段框架，将任务划分为概念化、构思和发音三个类别。利用该基准，作者系统评估了12个代表不同预训练范式（自监督、监督、领域特定）和数据规模的音频编码器。评估分为两部分：一是所有任务上的线性探测性能，二是零样本跨条件迁移性能。主要结论是：大规模通用语音模型（如Whisper, Qwen3）表现最稳健；领域特定模型（如emotion2vec+）仅在紧密匹配的狭窄任务上有优势；当前尚无一种表示能够可靠地泛化到整个临床语音景观。零样本迁移分析揭示了跨条件学习的非对称性，例如从低级声学特征（如呼吸/发声）向高级认知任务（如概念化）的迁移效果优于反向。 🔗 开源详情 代码：提供了匿名代码仓库链接：https://anonymous.4open.science/r/SpeechDx-F584。 模型权重：论文中未提供所评估模型（如wav2vec 2.0, Whisper等）的权重下载链接。这些权重需从各模型原始出处获取。 数据集：论文中列出了12个数据集的详细信息和访问方式（见附录A表2）。大部分数据集需申请访问或遵循特定许可证。 Demo：未提及。 复现材料：论文在附录D和E中提供了详细的实验复现信息，包括数据增强、训练设置、超参数优化方法及数据效率分析配置。所有复现脚本和说明包含在代码仓库中。 论文中引用的开源项目： SpeechBrain：用于数据增强（编号[81, 82]）。 🏗️ 方法概述和架构 SpeechDx的基准方法流程可分为数据准备、模型评估和迁移分析三个核心阶段，其架构体现了系统性与可复现性的设计思想。 数据准备与任务定义： 数据集整合与划分：基准整合了12个公开的临床语音数据集（如表1所示）。对于每个数据集，论文明确了数据划分策略：优先使用官方划分；若无，则采用基于说话人隔离的策略，包括70/10/20的训练/验证/测试集划分（针对说话人数量大的数据集）或5折交叉验证（针对说话人数量小的数据集）。所有划分均尽可能按标签、性别和年龄进行分层。特别地，针对COVID-19 Sounds数据集中存在的说话人泄漏问题，作者替换了其官方划分，采用了自定义的说话人隔离划分。 任务分类与形式化：所有27个任务被系统地归类到三个言语生产阶段：概念化（如抑郁检测、情绪分类）、构思（如痴呆检测、失语症检测）和发音。任务类型包括分类（C）、多标签分类（M）和回归（R）。表1详细列出了每个任务的ID、类型、划分方式及样本量。 模型评估协议： 模型选择：评估了12个覆盖不同范式和规模的音频/语音编码器，具体模型列表见表4及附录C。这些模型分为三大类：语音模型（如wav2vec 2.0， HuBERT， Whisper）、通用音频模型（如AudioMAE， AST）和领域特定模型（如emotion2vec+， OPERA-GT）。 线性探测：核心评估方法采用冻结预训练编码器权重、仅训练顶层线性层的线性探测协议。编码器输出经过平均池化以处理变长输入。对于分类任务，线性层输出类别数维度的logits；对于回归任务，输出单个值。这种方法计算高效，且在小数据量临床任务中可减少过拟合风险。 实现细节：所有音频预处理为16kHz单声道并归一化。嵌入提取在8xH100 GPU上进行，耗时约288 GPU小时。线性层训练使用交叉熵损失（分类）或加权MSE损失（回归），并通过逆频率加权处理类别不平衡。超参数（学习率、权重衰减）通过Optuna在5次试验中基于验证损失进行优化。数据增强（添加噪声、混响、速度扰动）仅应用于训练集，使用SpeechBrain库实现。 零样本跨条件迁移分析： ...

📄 An Empirical Study on Learning Latent Representations for Emotional Speech Synthesis #语音合成 #情感语音合成 #低资源 #数据增强 #语音增强 8.2/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.2/10 | 后50% | #语音合成 | #数据增强 | #情感语音合成 #低资源 | arxiv 👥 作者与机构 作者：Dang Quang Vinh, Ngo Quang Huy 机构：Aimesoft JSC，河内，越南 💡 毒舌点评 这篇论文就像一次未经充分准备的实验室报告：作者将一个标准模型（FastSpeech 2）稍作修改，便应用于一个竞赛任务，然后汇报了极其糟糕的结果（MOS接近噪音水平，音节错误率超过60%）。然而，在结论中，作者却使用“promisingly”和“favourable”这样的词汇来形容其系统，这与报告的客观数据形成了近乎荒诞的矛盾。论文既没有尝试与基线进行对比以证明修改的有效性，也没有深入分析失败的原因，只是将问题归咎于数据集噪声并简单提及修复过程。作为一篇“实证研究”，其核心价值——对方法有效性的分析——完全缺失，提供的更多是一份失败的系统日志。 📌 核心摘要 本文是针对VLSP 2022情感语音合成竞赛任务的系统描述。作者在FastSpeech 2框架上进行了修改：对于单说话人子任务（Sub-task 1），添加了情感嵌入（查找表）；对于说话人适配子任务（Sub-task 2），同时添加了说话人和情感嵌入，并引入了一个灵感来源于Pan and He (2021)的“韵律瓶颈”（prosody bottleneck）模块。实验使用了竞赛方提供的数据集，经过了降噪、文本修正等预处理。最终系统在官方评估中表现不佳，报告的MOS自然度得分低，音节错误率（SER）高。论文未提供与基线的对比，也未分析失败原因。 ...

📄 Towards Robust Generative Speech Enhancement Using Vector Quantisation-Based Neural Audio Codec #语音增强 #自回归模型 #生成模型 5.9/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.1/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 📝 5.9/10 | 前50% | #语音增强 | #自回归模型 | #生成模型 | arxiv 👥 作者与机构 Haixin Zhao, Nilesh Madhu IDLab, Ghent University - imec, Belgium 💡 毒舌点评 这篇工作就像用精美的瑞士军刀去切黄油。作者搭建了两个结构对称、理论分析看似漂亮的框架（cNAC-SE和dNAC-SE），然后通过详尽的消融实验证明了一件大家其实模模糊糊知道的事：在连续空间预测回归值并套个VQ壳子，通常比预测离散分类值要稳。论文的理论分析部分（第2.4节和图3、4）是其最大亮点，用Voronoi cell和PCA图解释了连续建模为何“漂移”更小，这一点讲得漂亮且直观。然而，实验部分的问题暴露了其野心的边界：所有对比基线要么是几年前的，要么是自己家族的变体（dNAC-SE）。Table 3 中与SOTA的对比中，最好的cNAC-SE模型相对于SELM、StoRM等方法的优势并不明显（例如在Real Recordings的BAK和OVL上），尤其是在被其视为核心创新的“鲁棒性”方面（带混响测试集），优势幅度有限。作者声称取得了“leading performance”，但在没有与最新（2025-2026年）的强力生成模型（如基于Flow Matching或Consistency Model的SE方法）正面较量时，这个宣称显得底气不足。此外，论文将大量篇幅用于解释一个相对直观的现象，而忽略了对计算开销这一明确提到的限制的深入分析或缓解方案。整体感觉是：一个扎实的、分析透彻的中游工作，试图包装成一个突破性的工作，但实验对比的“护城河”挖得太浅。 ...

📄 HIDVAS: A Hearing Instrument Dataset in Various Acoustical Scenarios for Algorithm Evaluation and Training #语音增强 #助听器 #数据集 9/10 | 创新 1/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9/10 | 前25% | #语音增强 | #助听器 | #数据集 | arxiv 👥 作者与机构 作者: Arnout Roebben (共同一作), Giuliano Bernardi (共同一作), Jan Wouters, Toon van Waterschoot, Marc Moonen 机构: KU Leuven (Department of Electrical Engineering, ESAT-STADIUS; Department of Neurosciences, ExpORL) 单位邮箱: {arnout.roebben, giuliano.bernardi, jan.wouters, toon.vanwaterschoot, marc.moonen}@kuleuven.be ...

📄 BASENet: Band-Adapted Speech Enhancement Network with Cross-Band Attention #语音增强 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.5/10 | 前50% | #语音增强 | #语音增强 | arxiv 👥 作者与机构 作者：Damien Martins Gomes, François Capman 机构：Thales SIX GTS, France 💡 毒舌点评 这篇论文像一位精心调参的工匠，在标准基准（VoiceBank+DEMAND）上打磨出一个高效的“玩具”。它的主要卖点——基于Bark尺度的编码器深度缩放——是一个直觉上合理但创新深度有限的工程技巧。跨频带注意力的线性复杂度设计值得肯定，但模型整体停留在对MP-SENet范式的修补上。实验严格局限于单一数据集，完全回避了真实世界噪声、多说话人、远场等更具挑战性的场景，结论的泛化性存疑。将“参数最少”作为主要卖点，更像是工程优化而非学术突破。因果版本的验证过于简单，未探讨因果约束对注意力机制本身设计的影响。总体而言，这是一篇扎实的、以工程效率为导向的工作，但距离顶会的创新性和实验全面性标准还有差距。 📌 核心摘要 BASENet是一种面向语音增强的频率自适应神经网络。其核心思想是根据人耳听觉的非均匀频率分辨率（Bark尺度）来分配模型处理资源：低频区域感知灵敏，分配更深的编码器分支；高频区域感知粗糙，分配更浅的分支。这种分配通过一个基于临界带密度的简单闭式公式自动完成。为了整合各频带信息，设计了一个线性复杂度的跨频带注意力模块。该网络建立在轻量的倒残差块和密集连接基础上，整体参数量仅0.83M，计算量7.3G MACs。在VoiceBank+DEMAND基准测试中，其非因果版本达到了与更复杂模型相当的性能（PESQ 3.55），因果版本（PESQ 3.44）也优于部分非因果基线，显示了在资源受限设备上进行实时流处理的潜力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重发布链接。 数据集：论文中使用了 VoiceBank+DEMAND 数据集进行评估。该数据集由 Valentini 等人发布（引用 [valentini2016investigating]），但论文中未提供直接的下载链接或官方项目主页。获取方式需参考其原始出处。 Demo：论文中未提及在线演示链接。 复现材料：论文中提供了详细的训练配置和实验设置，包括：使用的 STFT 参数（nfft=400，hop length=100，采样率 16kHz）、训练轮次（100 epochs）、优化器（Adam）及其超参数、硬件（NVIDIA Quadro RTX 6000 GPU）以及数据集划分信息。然而，论文中未提供训练好的模型检查点、配置文件或代码附件等完整的复现材料包。 论文中引用的开源项目： MP-SENet：论文中引用的基线方法之一（[lu2023mpsenet]），BASENet 的整体架构范式（掩码和相位估计）和损失函数均遵循该工作。论文中未提供该项目的具体链接。 MUSE：论文中引用的基线方法之一（[lin24h_interspeech]）。论文中未提供该项目的具体链接。 Mamba-SEUNet：论文中引用的基线方法之一（[wang2025mambaseunetmambaunetmonaural]），并且论文中的消融研究提及了将其 Mamba 时序模块用于 BASENet 的对比。论文中未提供该项目的具体链接。 DeepFilterNet：论文中引用的相关工作（[schroter2022deepfilternet]）。论文中未提供该项目的具体链接。 FullSubNet 及 InterSubNet：论文中引用的相关工作（[hao2021fullsubnet], [chen2023intersubnet]）。论文中未提供项目链接。 Band-Split RNN (BSRNN)：论文中引用的基线方法（[yu23b_interspeech]）。论文中未提供该项目的具体链接。 Adam 优化器：引用自 [kingma2017adam]。标准优化器，通常通过深度学习框架（如 PyTorch/TensorFlow）的内置实现或官方 GitHub 仓库获取（例如 https://github.com/pytorch/optim）。 🏗️ 方法概述和架构 BASENet的整体流程如图1所示，采用掩码与相位估计范式（同MP-SENet）。输入为含噪语音的短时傅里叶变换（STFT）幅度谱（经\(c=0.3\)的幂律压缩）与相位谱，在通道维度拼接形成输入张量 \(\mathbf{X} \in \mathbb{R}^{2 \times N \times F}\)，其中 \(N\) 为时间帧数，\(F\) 为频率点数。 ...

📄 Generating Training Targets for Real-World Speech Enhancement via Close-to-Distant Microphone Projection #语音增强 6.4/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.4/10 | 前50% | #语音增强 | #语音增强 | arxiv 👥 作者与机构 论文中未明确提及作者与机构信息。 💡 毒舌点评 这篇论文的核心思想很直接：既然直接用近端麦克风（CM）信号当训练目标效果差，那就用它训练一个滤波器，把它“投影”成和远端麦克风（DM）信号对齐的干净信号。这个想法确实解决了真实数据训练中的一个痛点。然而，技术内核并不新颖，本质上是PMWF/SDW-MWF的一个变体应用。论文最大的贡献在于将这个经典框架在真实、复杂（多说话人、强混响）的CHiME6数据集上系统化地实现并验证了其有效性，超过了强大的GSS基线。但实验局限性明显：评估高度依赖特定的CHiME6/CHiME8数据集、CM/DM硬件配置和Oracle DRR；缺乏对关键设计选择（如\(\mu\)值、统计量估计方法）的消融研究；超参数\(\mu=0\)的选择依据和敏感性未充分讨论。方法并非即插即用，其有效性严重依赖于训练时可用的CM信号质量以及与DM的统计相关性。总体而言，这是一份扎实的系统性工程和方法论验证，但创新性和普适性有限。 📌 核心摘要 针对神经网络语音增强在真实场景中缺乏配对训练数据的问题，本文提出了Close-to-Distant microphone Projection (C2D投影)方法。该方法利用训练阶段可用的近端麦克风（CM）信号，估计一个投影矩阵，将CM信号变换为与远端麦克风（DM）信号对齐且去噪的训练目标。该投影矩阵被推导为参数化多通道维纳滤波器（PMWF）的一个变体，其闭式解通过最小化投影误差与噪声抑制的加权代价函数得到。在CHiME6（多人晚餐对话）数据集上，使用C2D生成的目标训练的神经网络在ASR任务（tcpWER）上超越了强基线GSS。在跨场景的CHiME8数据集上，该方法在大部分场景下也表现出优势，展现了对训练-测试条件不匹配的鲁棒性。主要局限是依赖CM信号的存在与质量，且评估局限于特定挑战赛数据集。 🔗 开源详情 代码：论文中未提供C2D投影方法或训练流程的完整代码。仅提及DRE中的NCSN++网络实现使用了公开代码：https://github.com/sp-uhh/sgmse。 模型权重：未提及。 数据集：使用CHiME6和CHiME8数据集。两者均需通过CHiME挑战赛官方渠道申请获取，论文未提供直接下载链接。 Demo：未提及。 复现材料：未提供检查点、详细配置文件或完整的复现脚本。论文提供了关键参数（\(\mu=0\)， \(M=4\)）和训练/验证集划分，但复现仍需大量自行实现工作。 🏗️ 方法概述和架构 本文提出的C2D投影方法旨在从真实录制的近端（CM）和远端（DM）麦克风信号中生成用于训练语音增强（SE）神经网络的配对数据。其核心思想是估计一个投影矩阵 \(\mathbf{W}_{n}(f)\)，将第 \(n\) 个说话人的CM信号 \(\mathbf{x}^{c}(t,f)\) 投影为该说话人对应于DM位置的源图像信号 \(\hat{\mathbf{x}}_{n}^{d}(t,f)\)，从而生成与DM观测 \(\mathbf{x}^{d}(t,f)\) 对齐的训练目标。 ...

📄 HALO: Half-Frame-Rate Adaptive Learnable Operator for Lightweight STFT-Based Speech Enhancement #语音增强 8.4/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.6/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.4/10 | 前50% | #语音增强 | #语音增强 | arxiv 👥 作者与机构 第一作者：Jiadong Zhao (南京大学， 南京大学现代声学研究所) 其他作者：Dahan Wang (南京大学), Yu Sun (三星电子中国研发中心), Leyan Yang (南京大学), Xiaobin Rong (南京大学), Shiruo Sun (地平线机器人), Yuxiang Hu (地平线机器人), Jing Lu (南京大学) 机构：南京大学现代声学研究所及南京大学NJU-Horizon智能音频实验室， 地平线机器人， 三星电子（中国）研发中心。 ...

📄 G-MaP-SE: Guided Speech Enhancement via GMM-Based Prior Matching #语音增强 #说话人识别 #语音质量评估 #高斯混合模型 9.3/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 9.3/10 | 前50% | #语音增强 | #高斯混合模型 | #说话人识别 #语音质量评估 | arxiv 👥 作者与机构 作者：Yike Zhu, Ziqian Wang, Zikai Liu, Xingchen Li, Zhuangqi Chen, Xianjun Xia, Chuanzeng Huang, Lei Xie 机构：Audio, Speech and Language Processing Group (ASLP@NPU), School of Software, Northwestern Polytechnical University, Xi’an, China 💡 毒舌点评 这篇论文提出了一个解决特定痛点（无需注册语音的个性化增强）的巧妙工程方案，但离“重大突破”还有距离。其创新更多是“组合创新”而非“原理创新”——用现成的GMM和余弦匹配给噪声嵌入做个“整形手术”。最令人玩味的是实验设计：用在VBD上训练的模型去测DNS2020，然后宣称“跨域”效果显著，这本质上是在验证一个简单的假设：说话人嵌入空间在不同噪声分布下是相对稳定的。论文的诚意体现在开源了代码，但缺乏与同期更强大（如基于扩散模型）的语音增强方法的对比，让“state-of-the-art”的宣称显得底气不足。方法的“轻量”是优点，但也暗示了其天花板可能有限。 ...