无配对也能降噪：用整句与逐帧双判别器约束生成器

英文题目：UFL-GAN: A Multi-Discriminator GAN for Unsupervised Speech Enhancement

会议身份：conference:interspeech:2026:conference-paper-id:bejugam26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#生成对抗网络 #无监督学习 #语音 #语音增强

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Satvik Bejugam：机构信息未能从会议 PDF 纯文本可靠映射
• Venkatesh Parvathala：机构信息未能从会议 PDF 纯文本可靠映射
• Sri Rama Murty Kodukula：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

无监督语音增强的输入是加性噪声语音，输出是估计的干净语音，难点在于无平行干净参考时难以同时抑制噪声并保留细粒度语音结构。该工作的方法链分为三步：首先基于神经时变滤波（Neural Time-Varying Filtering，NTVF）生成器估计幅度掩膜并结合噪声相位重构波形，其中自回归预测编码（Autoregressive Predictive Coding，APC）特征经线性映射后拼入上下文滤波分支以补充长时语音线索；然后话语级判别器对整句频谱打分以约束全局分布，帧级判别器对每帧打分以提供局部时序反馈；最后双方以最小二乘生成对抗网络（Least-Squares GAN，LSGAN）目标交替优化，使增强语音分布逼近非平行干净语音分布。与单判别器或度量学习型非监督框架相比，关键差异在于不依赖特定客观指标并显式分离全局与局部对抗监督，从而缓解单点打分收敛慢与逐块过抑制问题。在VoiceBank+DEMAND测试集上该方法PESQ-WB达到2.64，略低于QMixCAT的2.66但CSIG达到3.99明显占优，验证了感知质量的均衡提升。结论目前仅在该合成数据集与已知信噪比范围内成立，向混响、削波、真实录音与跨语种的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出要什么，为什么配对数据难拿？

这篇论文研究的输入是被背景噪声污染的单通道语音波形，记为带噪语音。目标输出是更清晰、质量和可懂度更高的增强语音。初学者可以把任务理解为输入一段含有街道、餐厅或办公室噪声的录音，输出一段噪声更弱、人声更突出的录音，后续可用于识别、助听或通话。

监督式深度语音增强通常要求带噪与干净一一配对，用配对目标直接学习从带噪到干净的非线性映射。论文指出这种配对在真实场景很难获得，因为要在同一声学环境同时采集到干净语音和对应的带噪版本并不现实，实际常用人工合成数据代替，训练假设与部署环境之间存在失配。统计信号处理方法如维纳滤波、谱减和最小均方误差估计不需要配对，但依赖平稳假设或高斯先验等简化分布假设，在非平稳噪声和复杂声学环境下性能下降。

因此论文把学习依赖定位为无监督增强：训练时生成器只能看到带噪语音，判别器额外看到一批内容不对应的非平行干净语音。必须保留的信息是增强过程不依赖任何逐样本干净参考，也不依赖特定评价指标的估计值。输出仍然是时域波形，但训练信号只来自分布是否像干净语音的对抗反馈。理解这一点后，才能明白后文为什么需要两个判别器和辅助特征。

已有无监督路线各自解决了什么，又留下了什么？

按相同输入、相同目标、不同监督来源来对照，论文梳理了 4 条路线。第一条是噪声目标训练，它给带噪语音再加噪声来构造训练对，模拟监督设置，但效果局限于域内噪声条件。第二条是教师学生框架，以 RemixIT 为代表，用有监督教师生成伪干净目标再与噪声重混来训练学生，学生质量高度依赖教师输出的可靠性；QMixCAT 进一步生成 3 种有监督训练数据并在训练中动态交换教师与学生参数，以学习更多样的背景声学特性。

第三条是基于度量的生成对抗网络，以 MetricGAN-U 及其变体为代表，把原来估计侵入式质量如 PESQ 的做法换成估计非侵入式质量如 DNSMOS，在无监督下做度量学习。第 4 条是基于瓦瑟斯坦生成对抗网络与最优传输对偶解释的方法，以 DOTN 和 UnSE 为代表，把带噪分布向干净分布做变换；DOTN 还在有监督源域与无标注目标域之间对齐输入与标签的联合分布，UnSE 则对齐增强语音与干净语音的分布并加入受原始最优传输启发的样本级偏差损失。

论文报告的判断是 DOTN 和 UnSE 优于传统统计方法，但在 PESQ 等感知指标上不如 QMixCAT 等当时领先的无监督框架。这构成后文的动机：不估计特定指标，而是通过增加对抗损失和给生成器更多信息来加强基于生成对抗网络的增强。初学者不要把类别差异当成同条件胜负，不同方法对非平行干净语音、教师模型和噪声种类的依赖并不相同。

只给整句一个分和只给每帧分，各有什么风险？

论文把加性噪声模型写为带噪等于干净加噪声，监督学习希望学到从带噪到干净的映射，但在无监督下没有与之对应的干净样本。生成器只能靠判别器的反馈猜测什么是干净，这在高噪声下尤其困难，因为噪声主导时很难从信号本身提取语音特征。

一个例子可以帮助理解，但它只是教学例子而非论文实验：如果判别器只对整句话打一个分，生成器得到的是粗粒度的全局信号，收敛可能较慢，也难以学到足以纠正局部爆破音或摩擦音失真的权重。如果判别器对每个小块各打一个分，指导更细，但若某块被高置信度判为带噪，生成器可能过度抑制该块的语音内容，把整块变成静音。论文据此提出同时需要全局结构信息和局部时间指导，这就是双判别器的安排理由。

另一个问题是生成器信息不足。预训练自监督模型在大规模数据上学到更鲁棒的泛化表示，论文选择用它来补足长时上下文。需要强调的是这仍是辅助信息，不能替代干净参考，生成器依然不知道当前这句话对应的干净波形应该是什么样子。

一个样本如何走完输入到输出的主路径？

沿一个带噪样本走一遍，流程是时域波形先经短时傅里叶变换转成时频表示，生成器在幅度谱上估计掩蔽并与带噪幅度相乘，再结合带噪相位经逆短时傅里叶变换还原为增强波形。与此同时，非平行干净语音只送给判别器作为真样本，不与带噪样本配对。训练时判别器要区分干净、带噪和增强 3 类输入，生成器则希望自己的输出被判为干净。

下图是论文给出的训练框架总览，阅读时先看主路径再看两个判别分支的分工，有助于把后文的组件细节挂到正确位置。

看图路径： 1. 先沿左侧带噪语音与 APC 特征进入生成器的主箭头，确认增强语音输出到哪里；2. 再对比上分支话语级判别器的时间池化结构与下分支帧级判别器的直连结构；3. 最后核对右侧两张真假分表：上表整句只给一个 0 或 1，下表每帧 t1 到 t3 各给一组分

论文图 1。原论文 Figure 1：“Proposed Training Framework”。

上图上半部分是话语级判别器，下半部分是帧级判别器，右侧两张小表分别表示整句只输出一个真假分和每帧各输出一组真假分。原图可见上分支在卷积块之后多了时间池化再接全连接块，下分支是卷积块直连全连接块，2 分支都重复多个卷积块与全连接块。右侧标注显示带噪输入对应 0，非平行干净对应 1，增强输出对应 0 作为判别目标，而生成器训练时希望把增强推向 1。这种一句话与逐帧对照的可视化，正是论文强调的全局加局部的核心安排。

短时傅里叶变换 × 逆短时傅里叶变换： 短时傅里叶变换负责把时域波形切成 25 毫秒窗、10 毫秒跳、512 点 FFT 的时频表示，供生成器估计掩蔽和判别器打分；逆短时傅里叶变换负责把增强后的幅度谱结合带噪相位还原为时域波形；该框架主要在时频域工作而相位直接复用带噪相位，这是复现时必须保留的信息条件。

生成器用什么滤波结构，辅助特征加在哪里？

生成器采用神经时变滤波网络作为增强块。白话说，它是堆叠多个相同块来逐步精炼对数幅度谱的轻量结构，每个块包含上下文无关滤波和上下文相关滤波两部分。上下文无关滤波由带残差连接和 Swish 激活的两层全连接层组成，上下文相关滤波用卷积层加自适应多分辨率滤波策略，根据输入特征动态选择上下文窗口。最后用一层全连接层估计幅度掩蔽，与带噪幅度谱相乘得到近似干净幅度，再用带噪相位做逆变换。论文实验把块数设为 1，这是复现时必须保留的配置。

自回归预测编码特征的加入位置是关键细节。论文把预训练自回归预测编码模型的表示先过一个线性层对齐维度，再作为额外通道拼到上下文相关滤波块的输入上，其余结构与原始配置相同。选择该特征的理由在原文有明确解释：它通过从过去上下文预测未来语音帧来学习表示，而背景噪声通常不可预测，因此这些特征会促使模型关注潜在的干净语音特性。论文使用在 960 小时 LibriSpeech 上训练的模型检查点。

神经时变滤波 × 自回归预测编码： 神经时变滤波是生成器中的增强块，负责在对数幅度谱上估计幅度掩蔽并与带噪幅度相乘；自回归预测编码是冻结的预训练自监督模型，负责从过去帧预测未来帧从而提取偏向干净语音的长时上下文表示；搭配时把 APC 表示经线性层对齐维度后拼到上下文相关滤波块的输入通道上，为生成器补足高噪声下难以提取的语音线索。

对初学者而言，可以把生成器理解为负责动手降噪的手，把辅助特征理解为提供长时语音线索的参谋。参谋不直接输出语音，但让手在噪声很强时仍能找到语音的连续结构。

两个判别器结构有何异同，各输出什么？

两个判别器都沿用 CMGAN 中的判别器。话语级判别器包含 4 个卷积层，每层后接实例归一化和 PReLU 激活，卷积之后做时间自适应最大池化并展平，再过两层线性层，第一层后是 PReLU，第二层后是 Sigmoid，从而输出整段频谱对应的 0 到 1 分数。帧级判别器的其余结构相同，区别是修改卷积块中的步长并跳过最大池化操作，从而为频谱的每个时间帧输出一个分数。

输出语义是统一的：0 表示假或带噪样本，1 表示真或干净样本。这种设计使增强不需要依赖任何特定度量，判别器只回答像不像干净。论文明确指出话语级捕捉全局特性，帧级提供细粒度时间引导。

话语级判别器 × 帧级判别器： 话语级判别器负责对整段频谱给出一个 0 到 1 的真假分，捕捉全局是否像干净语音；帧级判别器负责对每个时间帧各给一个分，提供细粒度时间引导；二者搭配的原因是只用全局分收敛慢且抓不住局部失真，只用局部分又可能把某一块整块压成静音，组合后生成器同时收到全局结构约束和局部修正信号。

复述时要注意指代唯一：话语级的一个分对应整个 spectrogram，帧级的一组分按时间帧排列。两者不是二选一，而是同时训练、各自给出对抗损失。

判别器和生成器分别优化什么目标？

训练框架主要依赖最小二乘生成对抗网络的对抗损失以促进稳定训练。判别器用均方误差把干净输入判为真目标 1，把带噪或增强输入判为假目标 0。生成器则希望生成能骗过判别器的样本，把目标设为 1。论文把输入记号交代清楚：大写 X 表示带噪的短时傅里叶变换，大写 S 加下标表示非平行干净语音的短时傅里叶变换，enh 表示增强。

具体到两个判别器，话语级损失是干净项加增强与带噪项之和，帧级损失同样是两项之和。干净项是干净样本的判别输出与 1 之差的平方期望，增强与带噪项是增强输出的平方期望加上带噪输出的平方期望。生成器损失是话语级增强项加帧级增强项之和，每项是增强输出与 1 之差的平方期望。原文未给出超出该均方误差之外的梯度截断、权重冻结或重置时机的特殊说明，因此复述时不应推定自回归预测编码部分是否参与反向传播以外的实现，只能说它作为预训练表示提供辅助输入。

最小二乘生成对抗网络 × 非平行干净语音： 最小二乘生成对抗网络负责提供稳定的对抗训练目标，用均方误差把干净判为 1、把带噪与增强判为 0、把生成器输出拉向 1；非平行干净语音负责提供干净分布的真实样本，其内容与带噪样本不对应；二者组合的意义是不用配对均方误差也能让增强语音的分布向干净分布靠拢，但代价是判别器只能判断像不像干净，不能逐样本纠正内容。

优化器层面，论文对所有可训练参数使用 AdamW，初始学习率为 0.001，当损失在连续 10 个轮次不改善时乘以 0.5 衰减，批量大小为 32，在单张 GTX 1080 Ti 上训练并用 30 个轮次的早停。这些是复现训练循环时需要照抄的超参数。

数据如何划分，指标方向如何读？

论文在公开的 VoiceBank 加 DEMAND 数据集上训练与评测。干净话语来自 28 个说话人的 VoiceBank 语料，与 DEMAND 中 10 种噪声在 0 分贝、5 分贝、10 分贝和 15 分贝 4 种信噪比下人工混合，构成带噪训练数据。带噪话语经打乱后生成供判别器使用的非平行训练数据。测试集用另外 2 个未见说话人的话语与 5 种未见噪声类型在 2.5 分贝、7.5 分贝、12.5 分贝和 17.5 分贝下混合，所有话语从 48 千赫下采样到 16 千赫后训练与测试。短时傅里叶变换用汉明窗，窗长 25 毫秒，跳长 10 毫秒，FFT 点数 512。

侵入式指标 × 非侵入式指标： 侵入式指标负责在有干净参考时度量失真与可懂度，例如 PESQ、eSTOI、CSIG、CBAK、COVL 和 SI-SNR，分数越高越好；非侵入式指标负责在无参考时预测主观质量，例如 DNSMOS P.808；论文同时报告两类是为了同时检验波形接近参考的程度和听感预测，组合使用才能发现只优化一侧的偏差。

评估用 7 个客观指标：宽带 PESQ 范围负 0.5 到 4.5，尺度不变信噪比，扩展短时客观可懂度范围 0 到 1，3 个复合指标 CSIG、CBAK、COVL 范围均为 0 到 5，分别度量信号失真、背景侵扰和总体质量，以及非侵入式 DNSMOS P.808 预测主观质量。所有指标都是越高越好。每个基线的结果按论文所报引用，比较时要注意统计方法与聚合对象在原文未进一步展开，数值相同不能自动视为同一指标，相对百分比与百分点也不能混用。

主结果在什么条件下与谁比，强在哪里？

要回答的核心比较问题是：在同样的 VoiceBank 加 DEMAND 测试集上，无监督的 UFL-GAN 相对统计滤波和已有无监督深度方法，在侵入式与非侵入式指标上是否更均衡。公平条件是都不使用平行干净语音训练，UFL-GAN 与 DOTN、UnSE 一样可以使用非平行干净样本，而 NyTT、RemixIT、MetricGAN-U 等按原文标注不使用该类样本。指标方向均为越高越好，重点看 PESQ、可懂度、复合 MOS、尺度不变信噪比和 DNSMOS。

上表把未处理带噪作为起点，把 UnSE 和 QMixCAT 作为最强的可运行对照，把 UFL-GAN 放在末行。论文报告 UFL-GAN 在 eSTOI、CSIG、CBAK 和 COVL 上超过所有基线，在 PESQ 和 DNSMOS 上与领先的 QMixCAT 接近，在 SI-SNR 上与领先的 UnSE 接近。具体数字上 UFL-GAN 的 PESQ 为 2.64，略低于 QMixCAT 的 2.66；SI-SNR 为 15.95，略低于 UnSE 的 15.96；但 CSIG 达到 3.99，COVL 达到 3.35，均高于表中对照。

论文还指出 QMixCAT、UnSE、RemixIT 和 UFL-GAN 在 DNSMOS 上都超过了显式优化该指标的 MetricGAN-U。未胜出项必须说明：PESQ 第一仍是 QMixCAT，SI-SNR 第一仍是 UnSE，UFL-GAN 是均衡而非全面第一。监督 NTVF 的 PESQ 为 3.04，可作为上限参考，但它使用了平行数据，不能与无监督方法直接比胜负。

去掉一个判别器或辅助特征会发生什么？

消融要回答的问题是：双判别器和 APC 特征各自带来多少增益，代价是什么。比较条件是同一生成器与同一训练流程，只切换判别器组合与是否加入 APC。指标方向同样越高越好，重点观察 PESQ、复合 MOS 与 SI-SNR 是否同向变化。

上表显示无 APC 时帧级单判别器略优于话语级单判别器，双判别器进一步把 PESQ 推到 2.52 并提升 MOS 类分数，但 SI-SNR 从帧级单判别器的 15.55 回落到 14.75，这是组合的具体代价。加入 APC 后每个单判别器变体都超过各自基线，双判别器加 APC 的完整模型在所有指标上又超过单判别器加 APC，PESQ 达到 2.64，SI-SNR 回到 15.95。论文据此判断 APC 为生成器提供了丰富信息，减少了信号失真并提升总体质量。反例也要保留：帧级加 APC 的 SI-SNR 在原文为 14.22，低于帧级无 APC，说明辅助特征并非在每个单项上都单调提升，只有完整组合才实现均衡。

哪些边界没有测，不能承诺什么？

论文直接报告的局限首先是仍需非平行干净语音。方法不需要配对，但判别器需要一批内容无关的干净样本来定义干净分布，这在完全没有干净数据的场景仍是门槛。复现时必须准备这类数据，不能理解为只用带噪语音就能训练。

其次是相位与失真类型的边界。增强语音用带噪相位做逆变换，论文未报告在混响、削波等附加失真下的结果，结论部分把扩展到混响与削波列为未来工作。因此不能承诺该方法对混响或削波同样有效，也不能把时频幅度掩蔽的结论推广到相位重建。

第三是成本与统计的不完整。原文给出训练硬件为单张 GTX 1080 Ti、批量 32 和早停耐心 30，但未报告参数量、每步耗时、推理延迟与输出帧率，也未报告多次运行的方差与显著性检验。总体趋势不等于每组信噪比或每一步都成立，未测量延迟或误判率时，不应声称这些量得到改善。缺失证据不是技术错误，后续验证需要补上按信噪比拆分的结果和可感知的听感测试。

复现先做什么，需要保留哪些信息条件？

复现的第一步是重建数据管线。按原文把 VoiceBank 干净语音与 DEMAND 噪声在训练信噪比 0、5、10、15 分贝下混合，测试在 2.5、7.5、12.5、17.5 分贝下用未见说话人与未见噪声混合，全部下采样到 16 千赫。带噪训练话语要打乱后作为非平行干净语音的对照分布，注意内容不对应，不能误用成配对监督。

第二步是固定特征与模型配置。短时傅里叶变换用汉明窗、25 毫秒窗长、10 毫秒跳、512 点 FFT；生成器用 1 个 NTVF 块；判别器按 CMGAN 结构实现话语级与帧级两个版本，前者保留时间自适应最大池化，后者改步长并跳过池化；APC 用 960 小时 LibriSpeech 预训练检查点，经线性层对齐后拼到上下文相关滤波块。优化用 AdamW、初始学习率 0.001、10 轮不改善衰减 0.5、批量 32、早停 30 轮。

第三步是核对资源状态。本次收到的资源状态显示没有完成 HTTPS 验证的开源代码、模型或数据绑定，因此不能写代码或权重已公开，只能按论文文字重写流程。若需听感示例，论文脚注给出演示页地址，但本次未能确认可达，复现时应以本地客观指标为准。先跑通单判别器基线再加双判别器与 APC，有助于定位 SI-SNR 回落等代价来自哪一步。

何时值得尝试这个组合，还需补哪项验证？

当任务满足 3 个条件时值得尝试：有带噪语音但无配对干净语音，能额外收集一批内容无关的干净语音供判别器使用，且希望在不估计特定评价指标的前提下同时改善失真、背景抑制与总体质量。双判别器的意义在于用全局分稳住句子结构，用逐帧分纠正局部残留噪声；APC 的意义在于高噪声下给生成器补长时语音线索。两者叠加在论文主表上表现为 CSIG、CBAK、COVL 与 eSTOI 领先，PESQ 与 SI-SNR 接近各自第 1 名。

不适合的场景也要明确：如果完全拿不到任何干净语音，或者主要失真是混响与削波而非加性噪声，该方法的证据不再直接适用。复现后还需补的验证包括按输入信噪比分档的提升曲线、多次随机种子的稳定性、推理计算量与延迟，以及与 QMixCAT、UnSE 在相同非平行干净数据量下的公平对照。只有补上这些，才能把论文显示的均衡优势转化为可部署的收益判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总