语音增强

📄 Bridging Self-Supervised Learning and Speech Enhancement: A Wav2Vec2-Conditioned Framework #语音增强 #自监督学习 #扩散模型 7.5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音增强 | #自监督学习 | #扩散模型 | arxiv 👥 作者与机构 作者：Shubham Ojha, Carol Espy-Wilson 机构：Institute for Systems Research, University of Maryland, College Park 💡 毒舌点评 这篇工作像个精心包装的“拼盘”：拿现成的扩散模型（StoRM）和自监督特征（Wav2Vec2.0），用一层简单的FiLM胶水粘起来。作者声称的“理论推导”更像是给一个简单的指数平滑操作找了个高大上的借口——最终α还是得靠经验选定（α=1）。实验设计存在明显短板：与表1中其他SOTA（如UNIVERSE++）的对比避重就轻，只强调PESQ的提升而淡化其他指标的劣势或持平。消融实验不够深入，例如仅探讨了FiLM位置，却未深入分析Wav2Vec不同层特征或不同SSL模型的影响。最要命的是完全封闭，不提供代码，让“可复现性”沦为一句空话。整体来看，想法直接，工程上有一定价值，但学术贡献的深度和完整性堪忧。 📌 核心摘要 本文提出了一种将冻结的Wav2Vec 2.0自监督语音特征注入扩散语音增强模型（StoRM）的新框架。核心是在U-Net的瓶颈层使用特征线性调制（FiLM），用从含噪语音提取的语音特征来调制扩散过程的中间表示。为了在有限的内存开销下处理时间序列特征，作者基于线性高斯状态空间模型的最优贝叶斯因果估计器推导出指数平滑策略来聚合FiLM系数。在VoiceBank-DEMAND和LibriMix基准测试上，该方法相比于未使用条件化的StoRM基线，在PESQ等感知指标上取得了显著提升（最高+0.4），证明了自监督特征对扩散语音增强的有效引导作用，但SI-SDR指标有轻微下降，计算开销略有增加。 ...

📄 Don't Listen to Me: A Lightweight, Low-Latency Model for Own-Voice Cancellation in Far-Field Speech Enhancement #语音增强 #语音分离 8.4/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 8.4/10 | 前50% | #语音增强 | #语音分离 | arxiv 👥 作者与机构 论文作者为来自 WS Audiology (丹麦)、丹麦技术大学 (DTU Compute) 和 Verth (丹麦) 的研究人员。第一作者为 Mads Alexander Neergaard Østergaard。机构信息在摘要下方明确列出，已有分析中未提及具体机构，需补充。 💡 毒舌点评 这篇论文提出了一个定义清晰的实用问题（OVC），并给出了一个工程上令人满意的解决方案。模型效率（RTF=0.82）和2ms的超低延迟确实是其亮点，对于助听器或智能音箱这类实时流式设备很有吸引力。然而，实验部分显得“过于干净”——所有的评估都在精心构造的合成动态数据集上进行，缺乏真实世界混响和噪声的考验。作者声称的“匹配性能”主要基于SDR，而pMOS的提升并不总是伴随SDR的提升（见(c2) vs (c1)），暗示两种指标可能存在不一致，且缺少真实的人类听感评估作为最终验证。模型选择Mamba和MinGRU更多是基于计算效率的趋势，而非针对OVC问题本身的创新性设计。总的来说，这是一篇扎实的工程优化论文，但离证明其在真实、复杂环境下的有效性还有距离。 ...

📄 ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era #语音识别 #语音合成 #语音增强 #说话人识别 #语音翻译 #语音分离 #语音编码 #自监督学习 #数据增强 #参数高效微调 #迁移学习 7.5/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #语音合成 #语音增强 | arxiv 👥 作者与机构 Masao Someki (Carnegie Mellon University, Pittsburgh, USA) Alexander Polok (Brno University of Technology, Brno, Czechia) Carlos Carvalho (Instituto Superior Técnico, Lisbon, Portugal) Chyi-Jiunn Lin (Hanyang University, Seoul, South Korea) Da-Hee Yang (Hitachi Astemo, Tokyo, Japan) Jiatong Shi (Shanghai Jiao Tong University, Shanghai, China) Jinchuan Tian (Carnegie Mellon University, Pittsburgh, USA) Nelson Enrique Yalta Soplin (Carnegie Mellon University, Pittsburgh, USA) Samuele Cornell (Carnegie Mellon University, Pittsburgh, USA) Siddhant Arora (Carnegie Mellon University, Pittsburgh, USA) Francisco Teixeira (Instituto Superior Técnico, Lisbon, Portugal) Wei Wang (Shanghai Jiao Tong University, Shanghai, China) William Chen (Carnegie Mellon University, Pittsburgh, USA) Alberto Abad (Instituto Superior Técnico, Lisbon, Portugal) Chenda Li (Carnegie Mellon University, Pittsburgh, USA) Shinji Watanabe (Carnegie Mellon University, Pittsburgh, USA) Wangyou Zhang (Shanghai Jiao Tong University, Shanghai, China) ...

📄 Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement #语音增强 #语音识别 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.8/10 | 前25% | #语音增强 | #语音识别 | arxiv 👥 作者与机构 Nasser-Eddine Monir, Paul Magron, Romain Serizel Université de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France 💡 毒舌点评 这篇论文的动机不错，抓住了标准SDR损失“一刀切”的痛点，并试图从语音感知角度进行改进。所提出的TF加权框架，特别是引入频谱通量来捕捉辅音瞬态，是一个合理的思路。实验设计比较系统，对比了多种加权策略在不同噪声和SIR下的表现，并做了音素级别的细致分析，这点值得肯定。 然而，作为一篇顶会论文，其深度和广度仍有欠缺。首先，实验场景过于单一（仅限于FaSNet在4通道助听器配置下的任务），这严重限制了方法的普适性声称。其次，对关键负面结果（如可学习权重ℒ_learn在语音形状噪声下性能恶化）的分析流于表面，缺乏深入的机制探讨。第三，方法引入了多个超参数（τ₁, τ₂, γ, k），但论文对其敏感性几乎只字未提，仅报告了k的调优，这让人对方法的稳健性和易用性存疑。最后，缺少主观听感评估是一个明显的短板，毕竟最终目标是提升人类感知。总的来说，工作扎实但创新点不够突出，分析可以更深入，实验可以更全面。 ...

📄 FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS #语音合成 #语音增强 #参数高效微调 #持续学习 #低资源 #数据增强 #多语言 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 10/10 | 前25% | #语音合成 | #参数高效微调 | #语音增强 #持续学习 | arxiv 👥 作者与机构 作者：Harshit Singh (1), Ayush Pratap Singh (2), Nityanand Mathur (3) 机构：1 University Of Maryland, 2 TU Darmstadt, 3 Smallest AI 联系邮箱：nityanandmathur@gmail.com ...

📄 Latency-Configurable Streaming Speech Enhancement via Asymmetric Temporal Padding #语音增强 #流式处理 7.2/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 7.2/10 | 前50% | #语音增强 | #流式处理 | arxiv 👥 作者与机构 Yunsik Kim, Yoonyoung Chung 1 Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH), Pohang 37673, Republic of Korea 2 Intus Co. Ltd., Pohang 37673, Republic of Korea ...

📄 Time-Unconditional Generative Speech Enhancement via Autonomous Rectified Flow #语音增强 #流匹配 #生成模型 7.0/10 | 创新 1.3/2 | 严谨 1.0/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.7/0.5 | 工程 0.8/1.5 ✅ 7.0/10 | 前25% | #语音增强 | #流匹配 | #生成模型 | arxiv 👥 作者与机构 张文斌（Wenbin Zhang）、江晓飞（Xiaofei Jiang）、张文（Wen Zhang）、周（Zhou） 杭州电子科技大学通信工程学院，杭州电子科技大学自动化学院 💡 毒舌点评 这篇论文提出了一个有趣的观点：在边界锚定的线性路径语音增强任务中，显式的时间步可能是冗余的。核心洞察（目标向量场的时间不变性）在数学上是成立的，并且实验上确实展示了移除时间步模块后在单步推理效率和质量上的优势。然而，其理论贡献的深度有限，只是对线性路径的一个直接推论。实验的广度不足，缺乏在真实复杂噪声或低资源场景下的验证。作者声称“通用性可与传统流程媲美”，但DNS Challenge上的性能与FlowSE相当且在混响条件下有波动，这更像是持平而非优势。此外，论文对“自治ODE”可能带来的训练不稳定性、对初始状态的敏感性等潜在问题讨论不足。开源仅提供代码但无模型权重，复现门槛较高。总体而言，这是一个扎实的工程优化，理论新意有限，实验未能充分支撑其广泛影响力的断言。 📌 核心摘要 该论文针对生成式语音增强中显式时间步条件化的必要性提出质疑。作者提出“自治整流流”框架，将增强过程建模为一个自治常微分方程系统。理论上证明了在连接带噪观测和干净语音的线性插值路径下，目标向量场是时间不变的，其形式等价于噪声分布。因此，神经网络无需输入时间步，仅从当前状态和带噪观测的空间关系即可预测恒定的去噪方向。实验表明，该框架在VoiceBank+DEMAND数据集上，当NFE=5时达到3.11 PESQ；在极端的单步推理（NFE=1）时，仍保持3.00 PESQ，显著优于基线，同时将实时因子降低至0.02。消融研究证实移除时间步可提升质量与速度。在DNS Challenge数据集上，其性能与FlowSE相当。 🔗 开源详情 代码： https://github.com/zhangwen0821/ARFSE.git （论文脚注1提供） 模型权重： 未提及 数据集： VoiceBank+DEMAND：公开数据集，论文未提供直接下载链接。 INTERSPEECH 2020 DNS Challenge 公开合成测试集：公开数据集，论文未提供直接下载链接。 Demo： 未提及 复现材料： 模型架构：基于NCSN++，冻结时间步输入和噪声调度模块。 超参数：Adam优化器，学习率 \(1\times10^{-4}\)，批大小4，训练100个epoch，\(\sigma=0.5\)，EMA衰减因子0.999。 信号处理设置：FFT大小510，帧移128。 复现：提供了训练配置细节，但未明确说明是否包含完整的检查点、训练脚本或详细附录的获取方式。 🏗️ 方法概述和架构 本文提出的自治整流流框架的核心是建立一个不依赖显式时间步 t 的语音增强模型。其方法论构建在以下关键组件上： ...

📄 Transcript-Free Flow-Matching Text-to-Speech via Speech Feature Conditioning #语音合成 #自监督学习 #语音增强 #多任务学习 #对比学习 7.7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #语音合成 | #自监督学习 | #语音增强 #多任务学习 | arxiv 👥 作者与机构 作者：SooHwan Eom, Hee Suk Yoon, Eunseop Yoon, Mark Hasegawa-Johnson, Chang D. Yoo 机构：1 Korea Advanced Institute of Science and Technology, South Korea; 2 University of Illinois Urbana-Champaign, United States ...

📄 QC-GAN: A Parameter-Efficient Quaternion Conformer GAN for High-Fidelity Speech Enhancement #生成对抗网络 #语音增强 #Conformer 7.1/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音增强 | #生成对抗网络 | #Conformer | arxiv 👥 作者与机构 作者：Shogo Yamauchi, Hideaki Tamori, Makoto Sakai, Yosuke Yamano, Tohru Nitta 机构：The Asahi Shimbun Company, Japan; Tokyo Woman’s Christian University, Japan ...

📄 PhASE-Flow: Phonetic-Conditioned Acoustic Flow Matching in SSL Representation Domain for Speech Enhancement #语音增强 #流匹配 #自监督学习 #生成模型 7.6/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.6/10 | 前25% | #语音增强 | #自监督学习 | #流匹配 #生成模型 | arxiv 👥 作者与机构 Jun Gao, Xiaobin Rong, Yu Sun, Dahan Wang, Jing Lu 单位：南京大学现代声学研究所；南京大学-地平线智能音频实验室；三星电子（中国）研发中心 💡 毒舌点评 这篇论文把语音增强的战场从大家熟悉的梅尔图谱和STFT直接搬到了WavLM的内部表征空间里，想法挺有意思，有点“跳出三界外”的感觉。消融实验做得比较扎实，把各种空间（梅尔、STFT、SSL声学、SSL音素）都比了一遍，结论也比较清晰。但问题也很明显：第一，论文对方法本身“可能”的局限性避而不谈，这不是一个成熟作者该有的态度；第二，效率优势（4步采样）喊得很响，但具体快多少、实时性能否达标，一个数据都没给，属于“口说无凭”；第三，在最具挑战性的混响场景下，虽然比同行好点，但SpkSim和dWER的断崖式下跌说明生成式模型“幻觉”的通病它也没治好。总的来说，技术路线有新意，实验设计合理，但自我批判的深度不足，工程落地的证据链也不完整。给个8分左右的分数，属于能发出来但离让人拍案叫绝还差口气的论文。 ...