UniPASE: A Generative Model for Universal Speech Enhancement with High Fidelity and Low Hallucinations
📄 UniPASE: A Generative Model for Universal Speech Enhancement with High Fidelity and Low Hallucinations #语音增强 #生成模型 #自监督学习 #多语言 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Xiaobin Rong (南京大学，现代声学研究所，NJU-Horizon智能音频实验室；地平线机器人，NJU-Horizon智能音频实验室) 通讯作者：Jing Lu (南京大学，现代声学研究所，NJU-Horizon智能音频实验室；地平线机器人，NJU-Horizon智能音频实验室) 其他作者： Zheng Wang (南京大学，现代声学研究所，NJU-Horizon智能音频实验室；地平线机器人，NJU-Horizon智能音频实验室) Yushi Wang (南京大学，现代声学研究所，NJU-Horizon智能音频实验室；地平线机器人，NJU-Horizon智能音频实验室) Jun Gao (南京大学，现代声学研究所，NJU-Horizon智能音频实验室；地平线机器人，NJU-Horizon智能音频实验室) 💡 毒舌点评 亮点：这篇论文精准地抓住了当前生成式语音增强的“阿喀琉斯之踵”——幻觉问题，并提出了一个优雅且有效的解决方案。它没有盲目追求感知分数的虚高，而是通过引入“音素先验锚定”和显式声学增强阶段，在生成质量与内容保真度之间取得了令人信服的平衡，其赢得URGENT 2026挑战赛便是最好的证明。 槽点：模型架构的“全家桶”式堆叠（DeWavLM-Omni + Adapter + Vocoder + PostNet）虽然有效，但显得有些“笨重”，计算成本（79.2 GMACs/s）和训练复杂度（分四阶段训练）可能阻碍其在资源受限场景下的实时应用。此外，多速率支持依赖于后处理的PostNet，而非端到端设计，略显“补丁”感。 🔗 开源详情 代码：已开源。GitHub地址：https://github.com/xiaobin-rong/unipase/ 模型权重：已公开。在HuggingFace上发布（论文未直接给出链接，但通常会随代码仓库提供）。 数据集：训练数据来自公开数据集（DNS5, LibriTTS, VCTK, EARS, MLS, Common Voice, WHAM!, FSD50K等），并使用了URGENT 2025 Challenge的官方模拟脚本。评估数据集均为公开基准。 预训练权重：DeWavLM-Omni基于预训练的WavLM-Large模型进行初始化。 在线Demo：论文中提供了音频示例链接（可能在GitHub仓库中）。 依赖的开源项目：论文中引用了多个开源工具和模型，如WavLM, Vocos, TF-GridNet, OWSM, Whisper, HuBERT等。 📌 核心摘要 这篇论文旨在解决通用语音增强（USE）中生成模型面临的“高感知质量”与“低内容幻觉”难以兼得的核心矛盾。作者提出了UniPASE框架，它扩展了其先前的低幻觉PASE模型，以处理包括噪声、混响、丢包、风噪等在内的多种失真，并支持多采样率输入输出。其核心方法是构建一个两阶段生成流程：首先，利用基于WavLM知识蒸馏的DeWavLM-Omni模块，在音素表征层面进行核心增强，利用预训练模型的音素先验来抑制语言幻觉；其次，引入一个**适配器（Adapter）模块，以增强后的音素表征为条件，对退化的声学表征进行显式增强，以恢复细节并提升感知质量；最后，通过声码器（Vocoder）合成16kHz波形，并由后置网络（PostNet）**上采样至48kHz以支持高采样率输出。实验表明，UniPASE在多个基准测试（DNS 2020, PLC 2024, VoiceFixer GSR, URGENT 2025）上取得了SOTA或极具竞争力的性能，特别是在保持低字错误率（WER/CER）和说话人相似度（SpkSim）的同时，获得了优异的非侵入式感知分数（如UTMOS, NISQA），验证了其高保真、低幻觉的特性。其局限性在于模型结构复杂、计算开销大，且多速率处理依赖于后处理模块而非端到端设计。 ...