干目标加流匹配：StuPASE 如何在不编造内容的前提下做干净语音

英文题目：StuPASE: Towards Low-Hallucination Studio-Quality Generative Speech Enhancement

会议身份：conference:interspeech:2026:conference-paper-id:rong26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#流匹配 #主观评测 #语音 #去混响 #语音增强

评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Xiaobin Rong：机构信息未能从会议 PDF 纯文本可靠映射
• Jun Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Zheng Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Mansur Yesilbursa：机构信息未能从会议 PDF 纯文本可靠映射
• Kamil Wojcicki：机构信息未能从会议 PDF 纯文本可靠映射
• Jing Lu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

生成式语音增强需从带噪带混响波形恢复录音室级干净语音，难点在于高感知质量与低幻觉难以兼得，混响残留与语义失真常同时出现。StuPASE先以干声目标微调去噪WavLM得到纯净音素级语义表征，再将其经线性投影后与带噪梅尔谱拼接作为条件，由基于DiT的流匹配模块生成干净梅尔谱，最后经Mel声码器合成波形。训练时同时采用语音填充范式，对干净与带噪梅尔谱按比例随机掩蔽，迫使模型利用周围上下文与完整语义序列补全缺失帧，从而充分利用净化后的语义引导。与保留50 ms早期反射目标及GAN声码器的PASE相比，该工作揭示干目标可纠正分布偏置，并用语义引导的填充式生成替代强依赖含噪条件的GAN。在DNS1带混响集上StuPASE取得UTMOS 4.01与dWER 7.89%，同时优于SenSE与Adobe Enhance Speech V2的音质与语言保真。其结论限于16 kHz单通道英文朗读与模拟噪声混响，对音乐、多说话人与极低信噪比外推尚未验证。原文未披露训练时长、推理延迟与部署成本，仅提供演示页面而无代码权重。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么矛盾？

本文输入是单通道带噪带混响语音，目标是输出内容忠实、音色一致、听感干净的增强语音。读者先要固定 3 个评价轴：听感质量、说话人保真度、语言完整性。生成式语音增强的优势是能合成更自然的细节，风险是模型会编造内容，也就是幻觉，表现为词错、音素错或音色漂移。判别式方法直接做信号映射，幻觉少但在恶劣条件下残留噪声混响较多。2 阶段语义加声学路线试图兼顾两端，但原文报告原有 PASE 在强混响强噪声下质量仍不足。

本文的中心矛盾就是如何在不增加幻觉的前提下把生成质量推到录音室级别。所谓录音室级别在文中被明确定义为无背景噪声、无混响且听感自然。后续所有改动都围绕这个定义展开，不涉及多说话人分离或带宽扩展等其他任务。

语音增强 × 幻觉： 语音增强负责把带噪带混响的语音恢复为干净可懂的语音，幻觉指生成式方法编造了原文没有的音素、词或音色。StuPASE 把两者绑在一起要求：增强不仅要好听，还要让语言内容和说话人特征与输入一致，因此后续用词错率、音素相似度和说话人相似度分别约束这两端。

本解读默认从原文独立写作，不继承其他分析的评价。资源状态方面，本次未发现来源绑定且完成验证的资源，因此不声称代码、模型或数据已公开。演示页链接在原文出现，但本次按不可用处理，不作为可复现依据。

术语与缩写如何固定，避免后续误读？

为便于初学者复述，这里固定简称。语音增强指从带噪带混响语音恢复干净语音。幻觉指生成内容与原文语言或音色不一致。语义增强指提纯音素表示，声学增强指生成干净声学特征或波形。去噪表示蒸馏指用干净表示监督带噪输入的表示学习。

干声指不含人工早期反射的干净目标。流匹配指学习从噪声到干净 Mel 的速度场生成方法。语音填充指遮罩一段干净 Mel 并利用上下文与语义补全的训练范式。听感指标 DNSMOS 与 UTMOS 越高越好，说话人相似度越高越好，词错率 dWER 与 WER 越低越好，音素相似度与语音 BERT 分越高越好。后文均按此简称，不再反复展开英文。

已有哪些路线，为什么还需要改 PASE？

按原文梳理，生成式增强包括对抗网络、扩散、流匹配和语言模型等路线。近期为降低幻觉，常见做法是先做语义增强再做声学增强。语义增强的手段包括语言模型、对齐网络、扩散或去噪表示蒸馏，声学增强则生成 Mel 谱、编解码器码字或波形。PASE 属于其中一种高效实现：语义端用去噪后的 WavLM 表示，声学端用对抗式双流声码器直接重建波形。

原文认为 PASE 幻觉低但声学表达能力受限，在强混响下目标本身保留前 50 毫秒反射会污染分布，在强噪声下对抗模块依赖带噪条件会残留噪声或过度抑制。其他基线如 FlowSE、SenSE 和商用系统在文中被报告有较高听感分但词错率更高，说明单纯追求听感可能以幻觉为代价。这就引出本文的两步改动：先修正训练目标，再替换声学生成器。理解这一点后，才能看懂消融为什么分别测干目标和流匹配。

同输入同目标的对照应怎么看胜负？

同输入同目标下，TF-GridNet 代表判别式路线，FlowSE 代表流匹配但无强语义增强路线，SenSE 代表语义加流匹配但用离散码加语言模型路线，PASE 代表高效低幻觉但声学能力受限路线。比较时不能只看单一听感分，要同时核对内容与音色。原文报告在带混响下 StuPASE 的 UTMOS 与词错同时占优，而部分基线听感尚可但词错明显更高，这正是类别差异带来的不同取舍，不应把某一类天然听感优势当作同条件全面胜负。商用系统结果受接口版本与数据未知影响，只能作为参考对照，不能当作严格可比的开源基线。理解这些对照后，才能正确解读主结果表中第 2 名与未胜出项的意义。

为什么早期反射目标会成为生成模型的问题？

举一个教学例子帮助理解，但不代表原文数值：假设干净录音本身已有轻微自然反射可供感知，若再人工叠加一段早期反射作为训练目标，判别式模型可能仍能学映射，但生成式模型会把这种带混响的形态当作干净语音的分布去学习。原文的判断是这类目标听感上仍有混响且频谱细节模糊，会同时影响 2 级。语义级教师若用带反射语音生成目标，学生学到的音素表示就被污染。声学级若按带反射分布生成，输出就难以达到干声标准。

原文因此提出用干录音作为目标，并强调其整理的数据已含足够感知的自然反射，不需要再仿真叠加。这个例子只是解释分布偏差的直觉，真正的证据要看微调前后在带混响集上的质量与词错变化。另一个常见误解是把去混响等同于完全消去所有反射，原文要的是去掉仿真叠加部分，回到干声分布，而不是做物理上的消声室重建。

StuPASE 让一个样本走完哪条流水线？

先沿一个样本走完全程。输入为带噪波形，一路进入 DeWavLM-R 得到净化后的音素表示，另一路计算带噪 Mel 谱。音素表示经线性投影后与带噪 Mel 拼接形成条件，再与高斯噪声一起送入基于变换器的流匹配模块，生成干净 Mel 谱，最后由预训练 Mel 声码器转成波形。训练时还会额外提供干净 Mel 作为引导，并采用语音填充范式做遮罩补全。推理时按 8 步采样生成。与原 PASE 的区别在于声学端不再直接从表示重建波形，而是先生成高保真 Mel 再经声码器转换，这样把分布学习与波形合成解耦。

语义增强 × 声学增强： 语义增强负责提纯语言内容表示，保证说什么不被噪声带偏，声学增强负责生成自然干净的声学细节，保证听起来像录音室质量。StuPASE 让前者用 DeWavLM-R 输出净化后的音素表示，后者用流匹配以该表示加 noisy Mel 为条件生成干净 Mel，二者分工后汇合才能同时降低幻觉并提升听感。

下面先看框架总览图，重点是两条条件支路在哪里汇合，以及噪声输入在何处进入生成模块。

看图路径： 1. 先从左下带噪波形出发，沿箭头看到 DeWavLM-R 和 Mel 两条支路；2. 再看中间 Linear 与 Mel 汇入圆圈 C 的位置，确认语义与声学条件在哪里拼接；3. 最后沿 C 到流匹配再到 Mel 声码器的主路径，确认输出为增强语音

论文图 1。原论文 Figure 1：“Overview of the proposed StuPASE framework.”。

从像素可见，左侧大块为 DeWavLM-R，上方输出黄色小块表示增强后的音素表示，经 Linear 投影后向下汇入中间的拼接点。左下带噪波形同时引出 Mel 支路向右汇入同一点，下方高斯状符号表示噪声也进入该拼接点。右侧绿色大块为流匹配模块，向上经蓝色 Mel 声码器输出增强语音。图中 Conditions 字样标在汇合箭头旁，说明语义与声学条件在此合并后再驱动生成。这种画法对应正文描述：净化语义提供语言约束，带噪 Mel 提供声学结构，噪声提供生成起点。

DeWavLM-R 和双流结构各自管什么？

语义模块 DeWavLM 是对预训练 WavLM 做去噪表示蒸馏得到的。教师冻结并从干净语音最后一层输出干净音素表示，学生以带噪波形为输入去拟合该表示。声学模块在原 PASE 中是双流声码器，同时利用增强音素表示和第一层保留细节但可能带噪的浅层表示来重建波形，目标是兼顾内容与音色。原文指出干目标对 2 级都有意义：教师用干声可避免语义目标被污染，声码器重建干波形可让生成分布向录音室质量对齐。微调后的 DeWavLM-R 和 DualVocoder-R 合称 PASE-R，是后续替换声学模块前的中间形态。需要提醒的是，原文未报告蒸馏之外的梯度细节和冻结层数之外的实现，不应从名称推定具体层冻结策略。

去噪表示蒸馏 × 干目标微调： 去噪表示蒸馏是学生以带噪语音为输入去拟合教师在干净语音上输出的表示，干目标微调指教师输入和声码器重建目标都改用不含人工早期反射的干声。搭配理由是若教师目标本身带混响，蒸馏会把混响学进语义表示并污染后续声学分布，换成干声后 2 级都向无混响分布对齐。

StuPASE 与 SenSE 的差异也在语义端：后者依赖离散语义码加大型语言模型做语义建模，StuPASE 直接用连续音素表示作为条件，省去额外语义建模网络。原文在后续对比中报告这种简化仍取得更低幻觉，这构成一个需要用词错率验证的主张，而不是仅凭结构简化就能断定的结论。

两阶段微调和流匹配训练具体做什么？

训练分为微调旧模块和训练新模块两大块。微调时教师与学生分别用预训练 WavLM 和 DeWavLM 权重初始化，教师以干声生成目标，学生以带噪语音为输入最小化均方误差，得到 DeWavLM-R。再在其上微调双流声码器重建干波形，得到 PASE-R。原文报告微调各 50k 步，峰值学习率 2e-5，DeWavLM-R 每卡批量 20 段每段 4 秒，双流声码器每卡批量 24 段每段 2 秒。新模块训练包括 Mel 声码器和流匹配。

Mel 变换为 100 维对数 Mel，窗与傅里叶点数 1280，跳长 320，帧率 50 赫兹。声码器沿用 PASE 的改进 Vocos 结构与判别器损失，训练 200k 步，峰值学习率 2e-4。流匹配主干为 12 层变换器，16 头，隐层 1024 维，前馈 2048 维，语义投影把 1024 维映射到 512 维。干净 Mel 遮罩率在 0.7 到 1.0 均匀采样，带噪 Mel 遮罩率在 0.5 到 1.0 均匀采样，训练 100k 步，峰值学习率 1e-4，每卡批量 60 段每段 4 秒。优化器均为 AdamW，先线性预热 10% 步数再余弦衰减到 1e-6，2 卡 4090 训练。

流匹配 × 语音填充训练： 流匹配负责从高斯噪声出发按学到的速度场逐步生成干净 Mel 谱，语音填充训练负责在训练时遮住一段干净 Mel 并要求模型利用周围上下文加完整语义表示去补全。搭配后模型被迫充分利用已净化的语义条件而减少对带噪 Mel 细节的依赖，从而在强噪声下仍能生成干净且内容忠实的语音。

训练目标是最小化被遮区域内预测速度与目标速度的均方误差。推理用 8 步采样。原文未给出采样器之外的随机种子与方差报告，因此不应把单次生成当作确定性输出。

数据、基线和指标如何组织，条件是否可比？

训练干净语音来自 LibriVox、LibriTTS、VCTK 和 Common Voice 19.0 约 2000 小时，噪声来自 DNS5、WHAM、FSD50K 和 FMA，混响来自 openSLR26 和 openSLR28。微调 PASE 时不做额外数据过滤。训练流匹配与声码器时做录音室质量筛选：去掉野外采集的 Common Voice，加入经 DPCRN 去噪的 LibriSpeech，并按 UTMOS 阈值 4.0 过滤，得到约 1000 小时，全部重采样到 16 千赫。训练混合按 80% 概率卷积随机混响，按负 5 到 15 分贝均匀采样信噪比加噪，目标为不含额外早期反射的干声。评估用 DNS1 无混响与带混响各 150 条，以无混响干净语音为参考。

另自建 1000 条仿真集，取 LibriSpeech 测试干净集 1000 条配未见噪声与混响，其中 750 来自 openSLR，250 为高混响 0.6 到 1.6 秒仿真混响。基线包括判别式 TF-GridNet、生成式 FlowSE、PASE、SenSE 和商用 Adobe Enhance Speech V2，其中 FlowSE 按官方实现重训，其余用官方检查点或接口。指标分三轴：听感用 DNSMOS 和 UTMOS，音色用基于微调 WavLM 大模型的说话人相似度，内容用音素相似度、语音 BERT 分和 Whisper 大模型的词错率，无参考转录时用干净语音识别结果作伪参考得到 dWER。主观在仿真集中选 UTMOS 不超过 1.3 且信噪比不超过 5 分贝的 70 条，分别由 419 人和 349 人打质量分与相似度分。

硬件与训练预算已在上一节交代，评估聚合口径按原文数据集划分理解，不自行脑补说话人或噪声均衡。

评估协议有哪些论文特有细节？

除常规数据集外，本文有两个特有细节值得展开。第一是目标构造细节：微调与新模块训练的目标均为干声，评估参考均用无混响干净语音，这保证去混响方向一致。若误用带早期反射目标作参考，会低估干声方法的优势。第二是难例主观筛选：只选 UTMOS 不超过 1.3 且信噪比不超过 5 分贝的样本，这放大了系统差距但也限制了推广范围，正常条件下的差距可能更小。

客观指标中伪参考 dWER 的构造也需注意，它用干净语音的识别结果代替人工转录，识别错误会传导到所有系统，因此更适合看相对排序而非绝对词错。聚合口径按每集平均理解，原文未报告按噪声类型或混响时间的分层数字，这是后续可补的细化分析。

主结果在说什么，谁在听感和内容上同时占优？

先看主观结果的比较问题：在最难的低质量低信噪样本上，哪个系统同时让人觉得干净且像原说话人。公平条件是同一 70 条仿真难例，指标方向为质量分与相似度分越高越好。下图展示 6 个系统的两类主观分及置信区间。

看图路径： 1. 先对照图例确认蓝色为 Q-MOS 质量分、绿色为 S-MOS 相似度分；2. 再横向比较六组模型柱高，确认 StuPASE 两根柱子是否同时最高；3. 最后观察每根柱顶误差线长度，判断主观优势是否明显超出置信区间

论文图 2。原论文 Figure 2：“Subjective evaluation results for Q-MOS and S-MOS, with error bars indicating 95% confidence intervals.”。

从像素可见横轴为 6 个系统，纵轴 2.5 到 4.5，蓝色质量柱与绿色相似度柱并排。StuPASE 两柱最高且标注 4.19 和 3.98，误差线较短。SenSE 次之，AES-V2 质量尚可但相似度明显偏低，TF-GridNet 两项均低。结合正文，StuPASE 质量分 4.19、相似度分 3.98，第 2 名 SenSE 为 3.59 和 3.68。客观上 StuPASE 在仿真集取得 UTMOS 4.08、语音 BERT 分 0.85、音素相似度 0.90、词错率 11.57%，说话人相似度 0.68 与 SenSE 持平但主观相似度更高，说明自动音色指标与人耳判断并不完全一致。

在 DNS1 带混响条件下，StuPASE 同样取得 UTMOS 4.01、语音 BERT 分 0.86、音素相似度 0.92 和最低 dWER 7.89%，而 FlowSE、SenSE 和商用系统词错更高，表明高听感分不等于低幻觉。下表整理主观两项关键数字，便于核对第 2 名差距。

表后需要明确代价与反例。StuPASE 的优势集中在难例主观质量和内容忠实度，但客观说话人相似度并未拉开，在 DNS1 无混响下为 0.88，与部分基线接近。AES-V2 在个别听感指标可比，但内容指标明显更差，这说明若只看听感会误判系统优劣，必须同时核对词错与音素指标。

未评测边界包括实时延迟与计算开销，原文未报告推理时延，因此不能声称部署成本更优。

干目标和语义条件各自贡献多少，有无反证？

消融要回答两个问题：干目标是否改善去混响，语义条件与填充遮罩是否为流匹配所必需。测试条件为 DNS1 带混响集，指标方向为 UTMOS 和说话人相似度越高越好，dWER 越低越好。下表把原文连续句中的关键数字整理为可核对形态，覆盖教师与声码器 2 级以及声码器重建上限。

表后解释主要收益与代价。干目标带来大幅 UTMOS 提升并进一步降低词错，支持原文关于目标分布偏差的解释。流匹配在 PASE-R 基础上再把 UTMOS 推高到 4.01，词错微降，但说话人相似度从 0.80 降到 0.74，这是为更高保真付出的小代价。

反证很清晰：用原始 WavLM 带噪语义时 dWER 恶化到 19.79%，去掉语义则掉到 36.36% 且 UTMOS 跌到 3.25，说明没有净化语义生成器会编造内容。去掉遮罩主要损失 UTMOS 而词错几乎不变，支持遮罩促使模型利用语义而非依赖带噪细节的说法。需要指出消融只报告带混响集的 3 个指标，未覆盖无混响与统计显著性，因此不能推广为所有条件成立。

哪些结论还不能下，缺了什么验证？

首先区分报告与推测。原文直接报告的是质量分、词错率和相似度的数值变化，有限解释是把残留噪声与伪影归因于对抗模块容量不足，把混响改善归因于干目标分布修正，未验证推测是这些机制在所有混响时间与噪声类型下都成立。缺失证据不是技术错误，但必须点明。第一，客观说话人相似度在 StuPASE 上略降，主观虽高但样本仅 70 条难例，不能推广为音色完全无损。

第二，训练资源与推理开销只给步数批量与采样步数，未给实际延迟、显存占用和输出帧率，不能承诺实时性改善。第三，评估依赖自动听感模型与 Whisper 识别，自动指标可能与人耳或真实转录有偏，主观人数虽多但每文件仅 5 到 6 个回复。第四，仿真高混响与真实录音室仍有差距，Common Voice 过滤与 UTMOS 筛选可能引入数据偏好。相关性不等于因果，干目标与质量提升同时出现，但若不控制数据筛选与训练步数，仍需补随机种子与显著性检验才能更稳。

要复现先做什么，需要哪些超参数与信息条件？

复现先分清两条线。第一条是微调 PASE-R，需要预训练 PASE 权重、干声目标生成流程、去噪蒸馏的教师与学生初始化，以及 50k 步、峰值学习率 2e-5 的训练配置。第二条是训练流匹配与声码器，需要筛选后的 1000 小时数据、100 维 Mel 参数、变换器 12 层 16 头配置、遮罩率区间和 100k 与 200k 步的训练配置。关键信息条件是训练混合的混响概率 80%、信噪比负 5 到 15 分贝、16 千赫采样，以及推理 8 步采样。评估要复刻 DNS1 划分与自建仿真集的混响构成，并用相同识别与说话人模型计算 dWER 与相似度，否则数值不可比。

代码与权重方面，本次未发现可用资源声明，因此按当前不可用处理，先按原文描述实现数据管线与模型结构，再补缺失的随机种子、数据划分脚本和评估代码版本。建议先跑通 Mel 声码器重建上限作为 sanity 检查，确认 UTMOS 与词错接近近完美重建后再训练流匹配，避免把声码器问题误判为生成器问题。

何时值得尝试 StuPASE 路线，还需补哪项验证？

当任务同时要求自然听感与内容忠实，尤其在强混响与低信噪下不允许编造词句时，值得尝试先干目标微调再换高表达力生成器的路线。若已有 PASE 权重，可先只做干目标微调验证去混响收益，再决定是否投入流匹配训练。若追求极致音色保留，则要权衡 StuPASE 客观相似度略降的代价，并在目标场景加测主观相似度。还需补的验证包括真实会议室与录音室录音、不同混响时间的分层评估、多次采样的稳定性，以及延迟与算力的实测。

常见误解是把 UTMOS 高当作整体最优，本文恰好证明必须联合查看词错与音素指标。另一个误解是把省去语言模型等同于语义建模不重要，原文的消融显示去掉净化语义会大幅恶化词错，简化成立的前提是保留了高质量连续音素表示。总体看，StuPASE 把分布修正与生成能力解耦，是向可靠高质量增强迈出的一步，但部署前仍需补成本与泛化验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总