先粗降噪再对齐干净隐空间：轻量模型如何跨过真实远场分布鸿沟

英文题目：Bridging the Distribution Gap in Real-World Far-Field Speech Enhancement via Lightweight Latent Representation Alignment

会议身份：conference:interspeech:2026:conference-paper-id:liu26s_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #领域适应 #高效推理 #语音增强

评分：5.7/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 0.7/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Biao Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Haoyuan Xie：机构信息未能从会议 PDF 纯文本可靠映射
• Zengqiang Shang：机构信息未能从会议 PDF 纯文本可靠映射
• Mou Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Xin Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Pengyuan Zhang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

真实远场语音增强输入为含噪声与混响的远场单通道信号，输出为干净近场波形，难点在于真实中高频衰减与传播特性与仿真房间脉冲响应差异大，轻量单阶段网络难以直接学习跨分布映射。该方法先用冻结的预训练去噪模型对远场短时傅里叶变换特征做粗去噪去混响，再由轻量分布映射网络将粗增强信号投射到干净近场自编码器学到的紧凑隐空间，最后由ConvNeXt解码器从对齐隐变量重建波形。与直接谱映射相比，该链条把困难回归转化为结构化隐空间对齐，降低了单模型容量需求。在自采真实远场测试集评测下，本文方法的P.835 OVRL指标为2.94，高于同真实数据训练的因果TF-GridNet的P.835 OVRL指标为2.49。该结论适用边界受限于普通话AISHELL-3朗读内容、4 m、6 m、8 m三距离与DNSMOS客观评价，尚未验证跨语言、强干扰与主观可懂度外推。推理开销对应的计算量约为0.8 GMAC/s，参数量约为10.38 M，满足低功耗实时部署预算。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

真实远场增强到底难在哪里？

输入是真实环境中距离麦克风数米的带噪混响语音，目标是从中恢复出接近近距离干净录音的语音波形，且必须保留可懂度与说话人结构。必须保留的信息包括输入退化类型、监督参考的定义、评价指标的方向以及计算预算，否则无法判断方法是否可部署。本文输出是一套可复述的 2 阶段做法与可核对的实验条件。

语音增强的白话含义是从 noisy 观察中提取干净语音，英文为 speech enhancement，缩写为 SE。远场语音的白话含义是经过长距离传播、中高频衰减、混响与背景噪声叠加后的语音，英文为 far-field speech。近场语音的白话含义是紧贴嘴边采集的高信噪比语音，英文为 near-field speech，常被当作干净参考。初学者容易误以为只要在仿真数据上把信噪比做低就能模拟远场，但原文指出实际声传播特性与仿真房间脉冲响应差异很大，且存在明显的中高频衰减。

远场语音 × 近场语音： 远场语音指在 4 m、6 m、8 m 距离上由全向麦克风采集的含噪声混响衰减的语音，负责呈现真实退化；近场语音指在距说话人 5 cm 处由电容麦克风采集的高信噪比干净参考，负责提供监督目标与干净隐空间的学习来源，二者配对后通过互相关估计传播时延并对齐，才能把增强问题定义为从远场分布到近场分布的映射。

沿一个样本走一遍有助于建立依赖关系。说话人朗读 AISHELL-3 中的一句话，5 cm 处的 Audio-Technica AT4050 录下近场干净波形，4 m、6 m 或 8 m 处的 DPA 4060 全向小麦克风同时录下远场带噪波形，两路同步采集后用互相关估计传播时延，剪掉远场开头的时延帧并去掉近场末尾对应帧以保持时间一致。这样得到的配对样本输入是远场波形，目标是近场波形，中间的表示、组件与损失都围绕缩小二者分布差距展开。后文先讲已有路线为何在轻量条件下失效，再讲本文框架如何分解任务。

已有路线在真实远场为什么不够用？

同输入同目标的已有工作可分为 3 类。第一类是全频带与子带建模，例如 FullSubNet 级联全频带与子带网络，TF-GridNet 用多路径块联合帧内谱建模、子带时序建模与全频带自注意力，原文报告这类设计建模能力强但常需数到数十 GMAC/s。第二类是生成式多步精炼，例如扩散模型与薛定谔桥方法，思路是把增强拆成迭代精炼，代价是步骤与计算量大。第 3 类是轻量实时模型，例如 RNNoise 用紧凑循环网络估计临界频带增益加基频滤波器，LiSenNet 用子带上下采样加双路径循环模块与噪声检测器，GTCRN 用分组策略简化 DPCRN 并结合子带特征与时序循环注意力，参数仅数万量级。

同运行阶段的对照点是实时部署。轻量模型在仿真集上往往表现尚可，但原文在真实远场测试集上发现，把 GTCRN 与 LiSenNet 从仿真训练切换到真实训练后，多项指标不升反降，而因果 TF-GridNet 在真实训练后有明显提升。这支持一个判断：对于小容量单阶段网络，直接学习复杂真实远场到干净语音的映射仍然困难，瓶颈不只是数据量，而是映射复杂度与容量的矛盾。本文的差异是把任务拆成粗去噪加隐空间对齐，不依赖大容量单网络。教学例子是：若把仿真混响当作练习题，真实大厅、半户外与户外的传播就是正式考题，题型变了，单纯多做练习题不能保证考好，需要换解题步骤。

分布鸿沟具体指什么操作？

分布鸿沟的白话含义是训练时见到的仿真退化分布与测试时遇到的真实远场退化分布不一致，英文可记为 distribution gap。仿真数据用干净语音卷积随机房间脉冲响应再按信噪比混入噪声构造，训练目标只保留直达声与前 100 ms 早期反射，这种构造可控但难以复现真实长距离衰减与复杂噪声。真实远场则包含 10 种室内、半户外与户外环境、不同房间尺寸与 4 m、6 m、8 m 距离下的传播时延与衰减，同一句话的频谱形态与仿真样本明显不同。

操作层面的定义是：输入为远场含噪波形 xf，期望输出为对应近场干净波形 xc，但 xf 的条件分布在仿真与真实之间发生偏移。若模型只在仿真对上学习从 xf 到 xc 的谱域直接映射，部署到真实 xf 时会因输入分布外移而产生语音结构损伤或残留噪声。原文因此提出先构造高质量真实配对数据，再用 2 阶段框架降低单步映射难度。该任务的成功标准是 DNSMOS P.835 的 SIG、BAK、OVRL 与 P.808 分数越高越好，同时计算量保持在可实时水平。

两阶段框架如何分工？

先给出全景再展开细节。给定远场含噪输入，先算短时傅里叶变换，英文为 short-time Fourier transform，缩写为 STFT，作为特征。第一阶段用预训练去噪模型做初步噪声与混响压制，得到粗增强信号。第二阶段不直接在谱域映射到干净语音，而是把粗增强信号投影到由干净近场语音学到的紧凑隐空间，再由解码器重建增强波形。这样把增强拆成粗去噪与隐对齐两步，避免依赖单个高容量网络。

预去噪 × 分布映射： 预去噪由预训练 GTCRN 完成，负责先做初步的噪声与混响压制以降低输入恶化程度；分布映射由精简 ConvNeXt 网络 M 实现，负责把粗增强信号投影到干净隐空间，二者搭配的理由是避免让轻量单阶段网络直接学习重度退化到波形的复杂映射，组合后把增强转化为结构化的隐空间对齐任务。

下面这张图是理解分工的关键，它把右侧干净隐空间学习与左侧远场对齐放在同一张总览中，箭头标明了训练与推理的数据流向。

看图路径： 1. 先沿左侧远场输入到右侧重建增强语音的主箭头走一遍两阶段路径；2. 再找到右侧 Latent Space Learning 框中 Codec Encoder 与 Codec Decoder 的位置；3. 观察中间 Loss 虚线连接的两组隐向量分别来自哪一侧；4. 对照下方 Near-field speech 与 Reconstruct/Enhanced speech 两张语谱图的输入输出关系

论文图 1。原论文 Figure 1：“The overview of the proposed framework.”。

从像素可见，右侧虚线框标题为 Latent Space Learning，内部上方粉色块为 Codec Encoder，箭头来自标注 Near-field speech 的语谱图，下方粉色块为 Codec Decoder，箭头指向标注 Reconstruct/Enhanced speech 的语谱图，说明自编码器在干净语音上学习压缩与重建。左侧虚线框为对齐部分，可见两列隐向量方块与中间 Loss 虚线双向箭头，表示对齐损失约束远场映射结果逼近干净隐表示。推理时左侧映射输出直接送入右侧已学好的解码器得到波形，这种复用是计算量保持低位的关键之一。

编码器、映射器与解码器各自算什么？

隐空间学习的白话含义是让模型自己找到能高度概括干净语音又能重建波形的压缩表示，英文为 latent space learning。神经音频编码的白话含义是用神经网络做压缩与重建，英文为 neural audio coding。自编码器的白话含义是编码器压缩加解码器重建的成对结构，英文为 autoencoder。

编解码器编码器 × 编解码器解码器： 编解码器编码器采用 DAC 编码器结构，负责把干净波形 xc 压缩为紧凑隐表示 zc 并固定隐空间结构；编解码器解码器采用轻量 ConvNeXt 结构，负责从对齐后隐表示重建波形，二者搭配构成自编码器，先在干净语音上学会高保真重建，推理时复用解码器把远场对齐特征转为增强语音。

具体实现按原文交代如下。编码器采用 DAC 编码器结构，给定干净波形 xc，输出隐表示 zc，原文实现配置为初始通道 96、下采样率 4、4、4、4、隐维度 257，采用多阶段 1 维卷积加残差单元与渐进时序下采样。解码器采用轻量 ConvNeXt 1 维适配结构，通道数 256、堆叠 4 个 ConvNeXt 块，每块含深度可分离卷积、层归一化与逐点前馈层加残差连接，因果卷积通过深度卷积前左侧补零保证时序因果，并分幅度与相位 2 分支加线性投影做谱重建，重建波形记为帽 xc。优化目标是多尺度 Mel 谱重建损失加对抗损失，前者是多个尺度下 Mel 谱 L1 差之和，后者采用 DAC 判别器结构，生成器损失与判别器损失配合提升感知质量。

分布对齐的白话含义是把远场特征搬到干净隐分布上，英文为 distribution alignment。给定远场输入 xf，冻结的 GTCRN 先输出粗增强 xf 波浪线，轻量分布映射网络 M 用精简 ConvNeXt 直接映射为对齐隐表示 zalign，训练时用均方误差约束其逼近对应干净隐表示 zc，推理时把 zalign 直接送入解码器得到增强波形帽 xf。这种设计把原来从重度退化到波形的直接映射，换成从轻度残留退化到结构化隐向量的映射，复杂度更低且保持低算力。

分哪两步训练？谁冻结谁更新？

训练策略按原文是分阶段进行，目的是先稳定隐空间再精炼映射与重建。GTCRN 去噪模型预先训练好，在整个训练过程中保持冻结，不更新参数。第一训练阶段联合优化编码器、解码器与分布映射模块，目标有两个：一是自编码器高保真重建干净近场语音，二是映射模块在隐对齐约束下把粗增强远场语音投影到干净隐空间。收敛时自编码器能准确重建干净语音，远场映射表示接近干净隐分布。

第二训练阶段冻结编码器，只联合微调分布映射模块与解码器。固定编码器的作用是保持隐空间结构稳定，优化集中在从远场到干净隐表示的变换及其波形重建上，降低优化难度并防止已学干净隐空间被扭曲。原文未报告梯度是否截断到冻结模块之外的细节，也未给出 2 阶段各自的轮数与早停阈值，这是复现时需要补记的缺项，不能从模型名称推定。

多尺度 Mel 重建损失 × 对抗损失： 多尺度 Mel 重建损失负责约束多个尺度下重建与原始干净语音的 Mel 谱 L1 距离，保证频谱包络 fidelity；对抗损失采用 DAC 判别器结构负责进一步提升感知质量，二者按 LAE 组合共同优化编码器与解码器，使隐空间既可重建又符合人耳感知。

优化器按原文交代为 Adam，Noam 学习率调度，预热步数 3000，参数为贝塔 0.9、0.98 与艾普西隆 1e-9，判别器用 Adam 学习率 1e-4。STFT 用 Hanning 窗长 512 即 32 ms，跳长 256 即 16 ms，FFT 点数 512。GTCRN 在本框架中把所有卷积与 GT-Conv 块通道从 16 提高到 48，编码器为两个核 1 乘 5 步长 1 乘 2 的卷积块，第二个用组卷积组数为 2，后接 3 个核 3 乘 3、时序空洞 1、2、5 的 GT-Conv 块，解码器用对应转置卷积镜像。

数据、划分与评价条件是什么？

要复述结果必须先讲清测什么、与谁比、条件是否一致。仿真训练数据来自 DNS Challenge 3，干净子集含普通话、歌声与情感语音，噪声超 40000 段，房间脉冲响应超 112000 条，每条干净语音卷积随机脉冲响应后按信噪比随机混噪，共约 600 小时，目标保留直达声与前 100 ms 早期反射，仿真数据仅用于训练。真实数据集为自采极端远场配对数据，语音内容来自 AISHELL-3，按说话人身份重划训练与测试子集以保证说话人无关，每个场景每个距离约录 2 小时训练语音共 70 小时，每个场景约录 20 分钟测试语音共 900 条远场测试句，测试说话人与训练严格不重叠。

录音用同步双通道系统，近场为距嘴 5 cm 的 Audio-Technica AT4050 电容麦克风，远场为 4 m、6 m、8 m 处的 DPA 4060 全向微型麦克风，等高对齐，10 个环境覆盖室内、半户外与户外并给出房间尺寸与传播时延，原始 48 kHz，实验重采样到 16 kHz。基线为 GTCRN、LiSenNet 与因果 TF-GridNet，基线分别在仿真集与真实集两种设置下训练以考察数据影响，本文方法只在真实集训练，所有模型都在真实远场测试集上用基于 ITU-T P.808 与 P.835 的 DNSMOS 评价，分数越高越好。

下表整理本文报告的实验配置与数据规模，数字与单位保留原文写法，阅读时注意小时与千赫兹不可混用，信噪比分贝范围是构造条件而非结果。

表后需要说明适用边界。该表只交代可运行的数据与配置，不能代替增强收益。仿真 600 小时仅用于基线的一种训练条件，真实 70 小时是本文方法与基线真实训练条件的共同来源，测试 900 条是唯一报告的真实远场评测口径。原文未报告 DNSMOS 的置信区间与统计显著性，也未给出主观听音 MOS，因此后文数字只支持客观感知估计层面的比较，不能直接当作人评结论。

主结果在相同真实测试下胜在哪里？

比较问题是：在同一真实远场测试集上，轻量 2 阶段方法是否在更低算力下取得更高的感知质量？公平条件是基线包含仿真训练与真实训练两种版本，本文方法为真实训练，评价均为 DNSMOS P.835 与 P.808，方向为越高越好。下表聚焦真实训练条件下的可部署策略，计算量单位为 GMAC/s，质量分为无量纲 DNSMOS 估计值。

表后解释主要收益与代价。原文报告本文方法在 OVRL 2.94 与 P.808 3.35 上为最优，同时 SIG 3.23 与 BAK 4.01 也为表中最高，且计算量仅 0.8 GMAC/s，远低于因果 TF-GridNet 的 7.97 GMAC/s。代价是参数量 10.38 M，大于 GTCRN 的 1.78 M 与 LiSenNet 的 0.04 M，说明轻量主要体现在每秒乘加次数而非参数量。未胜出项必须指出：TF-GridNet 在真实训练后达到 OVRL 2.49 与 P.808 3.16，是基线中最强但仍低于本文方法；GTCRN 与 LiSenNet 在真实训练下反而略低于各自仿真训练版本，构成负结果，支持轻量单阶段直接映射难以消化真实复杂退化的解释。

仿真训练 × 真实训练： 仿真训练指用 DNS Challenge 3 干净语音卷积房间脉冲响应并按 -5 dB 到 15 dB 混噪生成的约 600 小时数据训练，负责提供大规模可控退化；真实训练指用本文采集的 70 小时配对远近场录音训练，负责暴露真实传播与衰减特性，对比二者才能检验分布鸿沟是否主要来自仿真与真实的失配而非模型容量。

语谱图提供单样本反证之外的直观证据，下图为代表性测试样本的 STFT 语谱图对比，阅读时先看整体谐波结构再看残留噪声。

看图路径： 1. 先确认左下 Proposed 面板与右下 Near-field 参考面板的谐波亮线完整度；2. 再对比上方 GTCRN 与 LiSenNet 类面板在中高频的断裂与模糊程度；3. 观察各面板黑色静音段与语音段的边界是否清晰；4. 沿时间轴比较低频共振峰条纹的连续性与背景杂散能量

论文图 2。原论文 Figure 2：“STFT spectrograms of enhanced speech by baseline models and the proposed method.”。

从像素可见，左下 Proposed 面板低频亮黄谐波条纹连续完整，中频纹理清晰，与右下 Near-field 参考面板最接近；上方 GTCRN 面板与左侧 LiSenNet 类面板在中高频出现更多断裂与模糊，背景暗紫区域残留能量分布更散。原文文字也称本文方法产生更清晰的谐波结构与更完整的谱细节并压制背景噪声。但需注意这是单样本可视化，只能支持该样本的清晰度判断，不能推广为全测试集每条都成立，定量结论仍以 DNSMOS 表为准。

哪些对照说明增益不是换数据偶然得到的？

原文没有单独命名消融表，但用两种训练数据的交叉对照承担了反证职责。测的是训练数据切换带来的变化，与谁比是同一模型在仿真训练与真实训练下的真实远场分数，条件一致处是测试集固定为真实远场 900 条，指标方向仍为越高越好。关键现象是 TF-GridNet 从仿真切到真实后明显提升，而 GTCRN 与 LiSenNet 切到真实后多项指标轻微下降。这一分化支持判断：大容量模型能从真实数据中获益，小容量单阶段模型即使看到真实数据也难以拟合复杂映射，因此本文把容量用在隐空间重建与轻量映射的分解上，而非一味增大单网络。

另一类特有细节是 2 阶段冻结安排。第一阶段学出可重建的干净隐空间，第二阶段冻结编码器只调映射器与解码器，若不冻结可能扰动已稳定的隐结构，但原文未报告拿掉冻结或拿掉第一阶段粗去噪后的分数变化，因此不能写拿掉后必然下降，只能记为待验证的缺项。部署成本方面，原文只报告 GMAC/s 与参数量，未报告实测延迟、内存峰值与功耗，0.8 GMAC/s 趋势上利于实时，但不等于在具体低功耗 CPU 上的帧延迟已达标。

还有哪些边界没有测？

从证据看，评价完全依赖 DNSMOS P.808 与 P.835 客观估计，没有报告人工 MOS、字错误率或下游语音交互成功率，因此不能把自动指标当成人评，也不能承诺可懂度同步改善。测试仅为固定 10 场景、4 m 到 8 m 的录音条件，未评测移动说话人、强风噪、极混响大厅之外的长尾场景，也未报告不同距离分层分数，总体最优不等于每个距离都最优。训练依赖 70 小时自采配对数据与 AISHELL-3 内容，若换语言或换麦克风阵列，隐空间与映射是否迁移仍待验证。

资源状态是正文开源声明的唯一依据，本次未发现来源绑定且完成 HTTPS 状态验证的资源，不得声称代码、模型或数据已公开。原文致谢提到 OPPO 研究基金与国家自然科学基金等支持，并声明生成式 AI 仅用于语法语言润色，技术内容由作者撰写，这些不改变上述实证边界。缺失证据不是技术错误，但在复现前应把统计显著性、主观听音与实测延迟列为必补验证。

要复现应先准备什么？

先准备数据与划分。仿真侧按 DNS Challenge 3 流程用随机脉冲响应与随机信噪比构造训练对，目标保留直达声加前 100 ms 早期反射；真实侧需同步双通道录音，近场 5 cm 电容麦克风与远场 4 m、6 m、8 m 全向麦克风等高布置，按说话人无关重划内容，录后用互相关估计时延并剪齐配对。若无条件重采，至少要保证测试说话人与训练不重叠，否则无法复现分布鸿沟的评估含义。

再准备模型与训练顺序。先预训练 GTCRN 并冻结，通道按本文改为 48；再按 DAC 编码器初始通道 96、下采样 4、4、4、4、隐维度 257 搭建编码器，按通道 256、4 块 ConvNeXt、因果左补零、幅度相位双分支搭建映射器与解码器；第一阶段联合训练编码器、解码器与映射器，第二阶段冻结编码器微调映射器与解码器，STFT 与优化器超参数按实验配置节设置。评价时固定真实远场测试集，用 DNSMOS P.835 与 P.808 报告 SIG、BAK、OVRL，同时记录参数量与 GMAC/s，并保留仿真训练与真实训练两版基线以核对负结果是否再现。

何时值得尝试这种做法？

当任务是真实远场增强、部署预算有限、且已观察到轻量单阶段模型在真实数据上不涨反降时，值得尝试先粗去噪再对齐干净隐空间的分解。它的前提是能获得一批配对或至少弱配对的真实远近场数据用于学习干净隐空间与映射，否则仅靠仿真难以定义对齐目标。它的代价是系统变复杂，需要维护冻结的去噪前端与 2 阶段训练流程，参数量并不极小，优势集中在每秒计算量与感知质量的折中。

复述方法的关键链条是：远场波形经 STFT 与冻结 GTCRN 得粗增强，经精简 ConvNeXt 映射得对齐隐向量，经 ConvNeXt 解码器得增强波形，训练时干净分支提供隐目标与重建监督。还需补的验证是人工听音、不同距离分层、跨设备跨语言迁移以及端侧实测延迟，只有补齐后才能从客观估计最优走向可部署结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总