噪声下既要补高频又要去噪：VeRe-Flow 用干净速度和干净表示双路纠偏

英文题目：VeRe-Flow: Guiding Flow Matching toward Clean Speech via Velocity Contrastive Regularization and Representation Alignment for Noise-Robust Bandwidth Expansion

会议身份：conference:interspeech:2026:conference-paper-id:koo26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对比学习 #流匹配 #语音增强 #语音超分

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Sujin Koo：机构信息未能从会议 PDF 纯文本可靠映射
• Sangyoon Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Ji Sub Um：机构信息未能从会议 PDF 纯文本可靠映射
• Hoirin Kim：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

噪声鲁棒带宽扩展要求从含噪窄带输入同时补全缺失高频和抑制噪声，含噪条件下流匹配速度估计易偏离干净流形，重建保真与感知质量难以兼顾。为此VeRe-Flow分四步衔接：第一步以冻结XEUS提取噪声鲁棒自监督特征，并与含噪低分辨梅尔谱拼接构成条件输入。第二步将该条件送入卷积残差前级加Transformer加卷积残差后级的三明治骨干，预测条件速度场并展开去噪与补带轨迹。第三步用表征对齐约束首个Transformer层隐状态逼近干净XEUS表征，第四步用速度对比正则吸引预测速度朝向干净速度方向并排斥配对噪声速度方向，形成表征与速度双层干净监督。在 Valentini-Botinhao 含噪测试集 8 kHz 输入重建 16 kHz 设置下，方法将对数谱距离（Log-Spectral Distance，LSD）从 1.12 降至 1.10，将 DNSMOS OVRL 从 3.07 提升至 3.12，MOS 在生成式基线中最高为 4.14。该结论仅在单一英语含噪语料、固定 8 阶 Chebyshev 低通和 5 dB 至 20 dB 加噪训练下成立，未验证强混响、极低信噪比与跨语言跨采样率外推。原文未披露训练硬件、推理延迟与部署成本。

🔗 开源与复现资源

• 演示资源：https://vere-flow.github.io/VeRe-Flow-Demo/ — 链接可访问（HTTP 200）
• 第三方资源：https://huggingface.co/espnet/xeus — 暂时无法访问
• 第三方资源：https://github.com/hayeong0/Diff-HierVC — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/microsoft/DNS-Challenge — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为什么必须同时保留去噪与补频信息？

这篇论文研究的输入是带噪的低分辨率语音。低分辨率意味着原始录音经过低通滤波与下采样，高频部分直接缺失，听感发闷且影响可懂度；带噪意味着录音同时混入了环境噪声。要输出的是干净的宽带语音，即同时恢复缺失的高频并压住噪声。初学者容易把这个问题理解成只要把声音丢给一个大模型就能端到端解决，但论文强调必须保留两类信息才能判断方法是否成立。

第一类是声学重建信息：高频是否真的补出来，需要用频谱距离衡量。第二类是感知去噪信息：语音是否干净、背景是否安静、整体是否自然，需要用感知估计与人工试听衡量。如果只保留其中一类，就会出现频谱看起来接近但听感很吵，或者噪声压住了但高频仍是空的。因此后文所有方法设计都围绕双目标展开，实验也必须同时报告两类指标。

噪声鲁棒带宽扩展 × 语音增强： 噪声鲁棒带宽扩展的分工是同时补出缺失的高频成分并抑制背景噪声，语音增强的分工是只做去噪去混响而不补高频；两者搭配的原因是论文要说明只做其一的路线都不够用，组合意义是把任务定义为在带噪低采样输入下恢复干净宽带语音，因此评价必须同时看频谱重建误差与去噪感知质量。

论文把演示音频放在公开页面，当前可用状态是资源列表中唯一标记为可达的演示链接。冻结的第三方自监督模型与噪声评估工具的链接状态各不相同，其中自监督权重本次未能确认可达，这直接影响复现时能否拿到完全相同的条件特征，需要在复现节单独说明替代方案。

同输入同目标的已有路线有哪些，各自卡在哪里？

按同输入、同目标、同运行阶段对照，已有路线可分成 3 组。第一组是传统带宽扩展，只管从窄带恢复宽带，假设输入是干净的，代表是流匹配的 FLowHigh 与扩散的上采样模型 NU-Wave 系列。它们在干净输入上能做出细腻高频，但在带噪输入下生成轨迹容易偏离干净流形。第二组是语音增强，只管去噪，不管补高频，因此即使噪声压得很好，缺失的频带仍然是空的。

第 3 组是直接做噪声鲁棒带宽扩展的非生成与生成方法，包括统一框架、多任务学习、带噪扩展专用网络与基于神经编解码器的方法。论文指出编解码器路线靠量化隐空间有较强噪声抑制，但仍在高频重建精度与有效去噪之间存在折中。 这种分类不是为了分高下，而是为了固定比较条件。论文把原来为干净带宽扩展设计的生成基线重新训练到同样的带噪带宽扩展设定下，再与新方法对比；非生成基线则沿用原论文报告的结果，因为实现未公开。

理解这一点才能读懂后文表格：生成基线之间的对比是同条件可运行对比，而与非生成方法的对比受限于实现不可得，只能作为参考对照，不能当成严格同代码复跑的胜负。

标准流匹配在噪声下为什么会出现速度估计含糊？

流匹配把生成看成学一条随时间变化的速度场。训练时从先验样本走向目标样本，模型预测当前位置应该朝哪个方向走多快；推理时沿着学到的速度场积分得到宽带梅尔谱，再经声码器变成波形。标准条件流匹配目标是单向监督：让预测速度靠近由干净目标决定的条件速度。在干净输入下这个方向是明确的。

在带噪低分辨率条件下，模型看到的条件是带噪梅尔谱与带噪自监督特征，而监督方向仍希望指向干净目标，输入与目标之间的对应变得 1 对多，同一个带噪观测可能对应多种干净解释，速度估计就含糊了。 举一个教学例子而非论文数据：同样一段混有风扇噪声的低采样元音，干净版本可能是更亮的高频共振峰，也可能是相对保守的高频包络，模型若只受单向拉力，容易在两者之间平均或漂向噪声方向。论文把这种漂移描述为偏离干净语音流形。

解决思路因此不是加大模型容量盲目拟合，而是显式增加干净监督：在速度层同时给出排斥噪声方向的力，在表示层要求中间特征仍像干净语义。只有先接受含糊来自监督不足，才能理解后文为什么要做双层干净引导。

VeRe-Flow 让一个带噪样本走完全程需要经过哪些步骤？

先沿一个样本走完全程。输入是带噪低分辨率音频与训练时配对的干净高分辨率音频。带噪音频经重采样、短时傅里叶变换与梅尔滤波得到带噪梅尔谱，同时经冻结的噪声鲁棒自监督模型得到帧级语义特征，两者沿特征维拼接并投影为模型输入。训练时的中间状态由高斯先验样本与干净目标按线性插值路径混合得到，模型以带噪梅尔与带噪自监督特征为条件预测该位置的速度。

监督来自三处：干净速度方向的靠近项、噪声速度方向的排斥项，以及中间隐状态与干净自监督嵌入的对齐项。推理时不再需要干净音频，只用带噪低分辨率输入抽取条件，用学到的速度场从高斯先验积分两步得到宽带梅尔谱，再经 BigVGAN 声码器恢复 16 千赫波形。

看图路径： 1. 先从左侧两条音频输入出发，确认带噪低分辨率支路走重采样与梅尔滤波，干净高分辨率支路只用于训练监督；2. 再看中间橙色骨干的输入拼接位置，确认噪声梅尔与噪声鲁棒自监督特征在何处相加后进入卷积与变换器堆叠；3. 接着对比右侧蓝色干净速度与红色噪声速度两个分支，确认预测速度同时受到靠近与推远两项约束；4. 最后看左下绿色表示对齐支路，确认第一层变换器隐状态经多层感知机投影后与干净自监督嵌入计算余弦相似

论文图 1。原论文 Figure 1：“(a) Training process of the VeRe-Flow.”。

上图左侧显示两条音频如何分别进入声学支路与语义支路，中间橙色区域是卷积残差块与变换器块组成的三明治骨干，右侧蓝色与红色分支分别表示靠近干净速度与推远噪声速度，左下绿色分支表示中间表示向干净自监督嵌入对齐。右侧子图展开了卷积残差块内部的归一化、激活、卷积与时间嵌入的缩放平移结构。看懂汇合点很关键：语义与声学在进入骨干前拼接，时间步信息在每个残差块内注入，而两种干净监督分别作用于输出速度与中间隐状态，互不替代。

速度对比正则如何计算靠近与推远？

速度对比正则的输入是同一先验噪声下算出的 3 个速度：模型预测速度、干净目标速度、噪声目标速度。干净目标速度由干净高分辨率梅尔谱与先验样本按插值路径求导得到，噪声目标速度由语义一致但被噪声污染的高分辨率梅尔谱同样算出。计算目标是让预测速度与干净速度的平方误差变小，同时让预测速度与噪声速度的平方误差变大，后者前面乘一个排斥强度系数。论文把第一项直接等同于在干净目标处的条件流匹配目标，因此总目标不是另起炉灶，而是在原有干净监督上叠加排斥项。

流匹配 × 速度对比正则： 流匹配的分工是学习从简单先验到干净高分辨率梅尔谱的确定性速度场，速度对比正则的分工是在速度空间给出双向监督；搭配的原因是标准流匹配只让预测速度靠近干净目标方向，在噪声下速度估计会含糊漂移，组合意义是用靠近干净速度、远离噪声速度的两项约束把生成轨迹拉回干净语音流形。

需要强调的是噪声目标不是随机噪声，而是与干净目标语义配对的带噪版本，这使得排斥有明确语义：不是远离任意方向，而是远离由同一句话被污染后决定的错误方向。原文未给出该配对带噪高分辨率音频的具体构造细节，只说明是语义一致的噪声扰动高分辨率音频，这是复现时需要补齐的缺项，不能从名称推定加噪种类与信噪比。

表示对齐与噪声鲁棒自监督条件各自解决什么？

表示对齐取自第一个变换器层的输出隐状态，经 3 层带激活的多层感知机投影到自监督特征空间，再与从干净高分辨率音频抽取的帧级干净自监督表示计算余弦相似度并取负期望作为损失。符号含义是逐帧比较语义方向而非幅度，目标是即使条件带噪，内部表示仍与干净语义一致。噪声鲁棒自监督条件则是另一条输入增强：用冻结的 XEUS 模型从带噪低分辨率输入抽取特征，与带噪梅尔拼接后送入骨干，提供对噪声不敏感的语义引导。

表示对齐 × 自监督学习表示： 表示对齐的分工是约束模型中间隐状态向干净语义靠拢，自监督学习表示的分工是提供由冻结的噪声鲁棒模型抽取的干净帧级语义目标；搭配的原因是输入本身带噪，隐状态容易偏离干净流形，组合意义是在表示层增加一条与速度层互补的干净监督，使模型在 degraded 输入下仍保持噪声不变的语义编码。

两者分工不同：条件特征是输入端的帮助，让模型一开始就看到更干净的语义线索；表示对齐是中间层的约束，防止隐状态在传播中被噪声带偏。论文的消融显示前者主要降低频谱距离，后者主要提升感知分数，这支持了双层监督互补的解释，但也说明不能把其中一个单独当成整体方法的等价物。

卷积残差块与变换器如何组成三明治骨干？

骨干在 FLowHigh 基础上改动两处：一是加入 1 维卷积残差块，二是加入噪声鲁棒自监督条件。除此之外整体架构沿用 FLowHigh。每个卷积残差块遵循组归一化、激活、核大小为 3 的 1 维卷积结构，中间有从时间嵌入投影来的缩放与平移条件，最后加残差连接。排列上是卷积前级、变换器中级、卷积后级，其中每个卷积级由 4 个堆叠的卷积残差块组成。时间步信息同时送入卷积块与变换器块，保证不同积分时刻的速度场可以区分。

卷积残差块 × 变换器块： 卷积残差块的分工是捕捉局部时频连续性并注入时间步条件，变换器块的分工是建模长时依赖；搭配的原因是纯变换器骨干对语音局部细节的归纳偏置不足，组合意义是按卷积前级、变换器中级、卷积后级的三明治结构堆叠，让局部平滑与全局上下文先后作用于同一隐序列。

这种安排的理由是语音既有局部连续性又有长时依赖，卷积负责局部平滑与细节重建，变换器负责全局上下文。消融中拿掉卷积残差块后模型仍优于基线，说明表示对齐与速度对比正则本身有效，但加上卷积后整体听感与感知分数进一步提升，代价是增加了少量卷积参数与计算，具体参数量原文未报告，因此不能断言开销可忽略。

训练时哪些参数更新，损失权重与加噪策略是什么？

训练时更新的是速度网络与表示对齐投影头，冻结的是 XEUS 自监督模型与评估用的声码器。监督来源有三：干净速度的流匹配监督、噪声速度的对比排斥监督、干净自监督嵌入的表示对齐监督。总损失是速度对比正则损失加表示对齐损失加权，权重在实现细节中明确给出。优化器用 Adam 并配合余弦退火调度，训练迭代次数与批量大小均有报告。训练中以一半概率加入随机信噪比的加性噪声，信噪比均匀采样自较低到中等范围，目的是让模型见过不同污染程度。

波形重建统一用公开预训练的 BigVGAN 声码器，避免声码器差异干扰带宽扩展本身的对比。 下表把训练配置中最关键的可复现项整理成一行对照，重点是梅尔维度、帧移、窗长、优化步数与两项损失权重，数值写法保留原文精度与单位，条件列标明适用阶段，避免把训练随机加噪与评测固定滤波混为一谈。表前提出的问题是：复现时必须固定哪些信息条件才能得到可比结果。指标方向在这里不适用，但公平条件适用：自监督模型冻结、声码器一致、评测下采样固定。

表后解释是：这些配置决定了模型见过的数据分布与监督强度。较大的对齐权重意味着表示约束更强，较小的排斥权重意味着速度推远只是辅助而不主导。若复现时改动其中任何一项，频谱距离与感知分数的变化不能直接归因于方法本身。

同时原文未报告随机种子、硬件时长与投影头隐维度，这些是缺项，需要在复现记录中明确标注未验证。

数据如何划分，带限输入如何构造，指标如何聚合？

数据用 Valentini-Botinhao 带噪 parallel 语料，采样率 48 千赫，合并 28 人与 56 人两个子集得到 84 人训练集，评测用官方测试集的两个未见说话人与 20 种噪声条件。为模拟带限输入，训练时用切比雪夫一型低通滤波器加下采样，滤波器阶数、纹波与目标采样率随机采样；评测时固定为 8 阶、0.05 分贝纹波并下采样到 8 千赫，重建的 16 千赫输出与对应 16 千赫干净参考对比。这种训练随机、评测固定的做法是为了兼顾多样性与可比性。

客观评价用对数频谱距离与深度噪声抑制平均意见分，前者越低越好，后者语音质量、背景噪声与整体质量三项都是越高越好，两者都报告测试集平均。主观评价用 5 分制平均意见分，在众包平台随机选 40 条测试语句，每个样本由 11 名评分者打分，其余流程沿用先前工作。基线中生成模型在同样带噪设定下重训并共享声码器与梅尔配置，非生成模型因实现未公开而沿用原论文数字。

需要指出原文表头、图注或算术没有明显冲突，但聚合口径只说明是测试集平均，未说明是否按说话人或噪声类型加权，也未报告置信区间与显著性检验，因此数值相同不能自动视为同一条件下可互换。

主结果在什么配置下测得，谁赢谁没赢，代价是什么？

比较问题是：在固定为高斯先验、欧拉求解器、函数评估次数为 2 的配置下，哪个生成模型同时做到频谱误差最低与整体感知最好。公平条件是生成基线重训到同样带噪任务、共享梅尔配置与 BigVGAN 声码器，评测都是 8 千赫输入重建 16 千赫输出。指标方向是频谱距离越低越好，感知三项与人工分越高越好。

表后解释是：新方法在该配置下取得生成基线中最好的频谱距离与整体感知，并在全部客观指标上优于两个重训的生成基线，人工分也是生成基线中最高。未胜出项必须同时说明：NU-Wave2 在 48 次评估下仍落后，且扩散模型通常需要更多步数，论文还评估了 8 到 100 步的性能，但最佳仍不及新方法两步的结果。

非生成方法中有个别在背景噪声单项上数值更高，但整体质量与频谱距离不及新方法。代价是新方法需要配对干净目标、配对带噪目标与干净自监督嵌入三重监督，训练复杂度高于单向流匹配，且两步积分的结论只在报告的求解器与先验组合下成立，不能推广为任何步数都最优。

对数频谱距离 × 深度噪声抑制平均意见分： 对数频谱距离的分工是度量重建信号与参考信号的频谱距离，越低表示带宽扩展越准，深度噪声抑制平均意见分的分工是用神经网络非侵入式预测语音质量、背景噪声与整体质量，越高表示感知越好；搭配的原因是单一指标无法同时反映补高频与去噪，组合意义是要求方法在两类指标上同时不退化才算有效的噪声鲁棒带宽扩展。

原文还报告求解器与先验的扫描：高斯先验加欧拉求解器在 2 步时目标最优，而数据依赖先验与中点求解器在干净任务中的结论并不直接搬运到带噪任务，这支持了按任务重选推理配置的做法。限制是主观分的样本量只有 40 条，每条 11 人打分，误差范围较大，不能把 0.1 量级的差异当成绝对胜负。

每个组件带来什么增益，拿掉后还剩什么，替换特征会怎样？

比较问题分两层：逐个叠加组件时频谱距离与感知分数如何变化；把噪声鲁棒自监督特征换成其他自监督特征会怎样。公平条件是函数评估次数固定为 2，其他训练与评测条件不变。指标方向同主结果。

表后解释是：卷积块带来整体听感小幅提升，XEUS 条件带来最大的频谱距离下降与背景噪声改善，表示对齐主要提升语音质量与整体质量，速度对比进一步提升背景与整体质量但频谱距离略有回升。这说明 XEUS 主要帮助带宽扩展，两种干净监督主要帮助去噪感知。

反例是完整方法的频谱距离不是单调最优，中间某步的 1.08 优于最终的 1.10，若只看单一指标会误判。另一个未胜出项是替换实验：WavLM 与 Wav2Vec 2.0 在同样位置表现不及 XEUS，后者在大规模多语言与去混响去噪预训练下更适合该任务，但原文未报告替换时的训练步数是否完全一致，因此只能说支持 XEUS 更合适，不能断言其他特征必然无效。拿掉卷积的完整模型仍优于基线，证明剩余组件独立有效。

哪些边界没有测，哪些推论还只是可能？

论文直接报告的是在特定带噪语料、固定 8 千赫评测、16 千赫重建、两步欧拉积分下的平均指标提升，支持的是双层干净监督对该任务有效。未评测的边界包括：其他采样率与更宽的带限范围、更低信噪比与混响、真实录音而非人工加噪、不同声码器与直接波形生成、长语音与跨语言泛化。未测量的量包括推理延迟、显存占用、训练能耗与误判率，原文未给出参数量与每步耗时，因此不能承诺延迟或成本得到改善。 有限解释与未验证推测要分开表述。

速度轨迹更靠近干净流形的说法有损失设计与指标改善支持，但没有直接可视化轨迹距离的证据，只能说支持而非证明。首次将速度对比正则用于语音生成的表述是作者的知识范围声明，读者应理解为据作者所知。表示对齐只取第一层变换器输出的设定没有给出层数扫描，换层是否更好待验证。总体趋势不等于每组噪声都成立，平均分掩盖了按噪声类型分解的差异，原文未提供按条件分解的结果，这是解读时必须保留的限制。

复现先固定什么，再跑什么，还需要补哪项验证？

复现先固定信息条件：训练用 84 人合并集与随机切比雪夫带限构造，评测固定 8 阶 0.05 分贝纹波下采样到 8 千赫，梅尔统一为 80 维、20 毫秒帧移、1280 点窗，自监督特征帧率与梅尔对齐，声码器统一用 16 千赫 80 梅尔的公开预训练 BigVGAN。优化固定 400k 步、批量 16、Adam 加余弦退火、学习率与两项损失权重如训练节表格所示，加噪概率与信噪比范围同样固定。基线必须重训到同样带噪设定并共享声码器，不能直接引用干净任务的数字。

接着跑两步欧拉、高斯先验的主配置，再扫描数据依赖先验、中点求解器与不同函数评估次数，确认最佳配置是否与论文一致。表示对齐的投影头结构与取层位置要严格按描述实现，速度对比的配对带噪高分辨率构造要单独记录，因为原文缺细节。还需补的验证是随机种子重复、按噪声类型分解的指标、延迟与显存测量，以及自监督权重不可达时的替代特征对照。

代码开源、权重下载与系统可运行要区分：论文只给出演示页面当前可用，第三方自监督链接本次未能确认可达，声码器与评估工具链接可用，因此完整系统可运行性取决于能否补齐冻结特征的获取方式。

何时值得尝试这种双层干净引导，何时不必？

当任务同时要求补高频与压噪声，且训练时能拿到配对干净高分辨率目标与干净语义嵌入时，这种在速度层推拉、在表示层对齐的双层引导值得尝试，尤其适合已在用流匹配做带宽扩展但在带噪输入下出现轨迹漂移的团队。当输入基本干净、或只有去噪需求而无带宽扩展需求时，不必引入整套机制，单用原有增强或扩展模型更直接。

当推理预算只允许极少步数时，论文的两步结果有参考价值，但必须在自己的数据上重选先验与求解器，不能默认两步处处最优。 对初学者的可复述要点是：输入带噪低分辨率梅尔加噪声鲁棒语义特征，骨干用卷积加变换器三明治，监督用靠近干净速度、远离配对噪声速度与中间隐状态向干净语义对齐三项，推理两步积分加声码器。

记住 3 个易错点：频谱距离与感知分数分工不同必须同时看，表格中不同指标的差值不能混到同一列比较，自动感知分不能当成人工听感。补齐随机种子、按噪声分解与开销测量后，才能把论文报告的平均提升转化为可部署的结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总