无干净语音时如何去混响：用 WPE/WPD 弱监督约束 USDnet++

英文题目：USDnet++: Distilling Signal Processing Based Dereverberation for Unsupervised Neural Speech Dereverberation

会议身份：conference:interspeech:2026:conference-paper-id:pang26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#无监督学习 #弱监督学习 #麦克风阵列 #去混响

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ruizhe Pang：机构信息未能从会议 PDF 纯文本可靠映射
• Shulin He：机构信息未能从会议 PDF 纯文本可靠映射
• Jingqi Sun：机构信息未能从会议 PDF 纯文本可靠映射
• Zhong-Qiu Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

无监督语音去混响需从无标注多通道混响混合中恢复参考麦克风直达声，直接路径信号与滤波器存在盲解卷积歧义。本文提出无监督去混响网络增强版 USDnet++，先用预训练无监督网络估计直达声以计算加权预测误差（Weighted Prediction Error，WPE）与卷积波束成形（Convolutional Beamformer，WPD）所需的功率谱、相对传递函数与掩蔽，再把信号处理去混响（Signal Processing Based Dereverberation，SPD）结果视为虚拟麦克风新增一路混合约束（Mixture-Constraint，MC）损失，迫使经前向卷积预测（Forward Convolutive Prediction，FCP）线性滤波后的网络估计同时重构原始多通道混合与SPD结果。相比直接把传统算法输出当回归目标，新损失只要求滤波后可解释教师观测，保留超越教师失真上限的自由度。多阶段精炼将网络估计与WPD交替迭代，首轮增强模型为次轮提供更准参数；双模型系统进一步把多通道WPD结果与原始混合拼接作为第二模型输入特征。在WSJ0CAM-DEREVERB上，单通道输入、8通道损失约束下使用USDnet-WPD监督的模型取得PESQ 2.86、eSTOI 0.822、SI-SDR 3.9 dB，明显高于USDnet基线2.64/0.794/3.1 dB与WPE基线2.02/0.690/2.0 dB，且超过其教师USDnet-WPD的2.59/0.809/2.8 dB。该结论仅限仿真房间脉冲响应加REVERB扩散空调噪声、单说话人条件，未验证真实录音与强噪声外推，训练与推理成本未披露。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文解决哪一步？

本文输入是一组无标注的多通道混响语音混合，默认实验是八麦克风圆阵采集的带弱噪声单说话人语音。目标是从混合中恢复参考麦克风处的直达声，也就是去掉混响与噪声后最接近干声的部分。必须保留的信息是训练阶段没有干净语音可用，模型只能利用混合本身的结构与信号处理提供的弱线索学习；评测时才用直达声作为参考计算客观指标。输出是神经网络估计的直达声时频谱，可以直接送后级识别或试听。

对刚入门的读者，白话解释是房间反射把干净语音拖出尾巴，麦克风听到的是直达加反射加噪声。监督学习需要混响与干净成对数据，但在真实房间很难采集，只能用仿真数据训练，换到真实录音就容易失配。无监督学习的含义是不需要干净参考，直接在无标注真实混合上训练。本文解决的是其中一步：如何在已有 USDnet 无监督框架上，引入传统信号处理去混响结果作为额外约束，让网络学得更准，而不是直接把传统方法输出当作真值去拟合。

学习时要抓住一条主线：先理解混合的物理组成与评价目标，再理解 USDnet 如何用重建约束避免盲解卷积的无穷解，然后看 USDnet++ 新增的虚拟麦克风约束、多阶段迭代与特征拼接如何逐步加码。复述时应能说清每个约束比较的是哪两个信号，滤波器从哪里来，权重如何设置，以及推理时到底运行几个模型。

已有路线有哪些，各自卡在哪里？

第一条路线是传统信号处理去混响。代表是加权预测误差，缩写为 WPE，做法是在时频域用延迟线性预测估计晚期混响并减去，保留直达与早期反射；多通道时还有波束形成器，经典例子是最小方差无失真响应波束形成器，缩写为 MVDR，以及把空域与时域联合优化的卷积波束形成器，缩写为 WPD。它们的优点是不需要干净标签，按信号模型求解滤波器，缺点是仍残留混响与失真，论文表 1 显示即使较好的 WPD 结果也远未达到干净。

第二条路线是监督深度学习去混响。做法是用仿真生成的混响与干净配对训练网络预测掩蔽或谱，常用结构如 TF-GridNet。优点是在仿真测试上提升明显，缺点是仿真难以覆盖真实房间与噪声，纯仿真训练的模型泛化到真实录音受限。第三条路线是把传统算法输出直接当作训练目标，例如用网络支持的 WPE 结果做目标。这类做法受限于传统算法本身的精度，传统结果的误差会直接成为监督噪声。

USDnet 属于第四条路线：不直接拟合传统结果，而是施加重建约束。网络输出经线性滤波后应能重建原始混合，滤波器用前向卷积预测解析求解。USDnet++ 仍属这条路线，但把信号处理去混响结果看作虚拟麦克风的新观测，增加一路重建约束。这样既利用了传统方法能提高目标语音信噪比的优点，又不要求传统结果完全正确，因为网络只需在滤波后逼近它，同时仍要逼近原始多通道混合。

物理模型把混合拆成哪几部分？

论文把参考麦克风 q 处的观测在短时傅里叶变换域建模为混响语音加噪声，混响语音又拆为直达声与混响两部分。记帧索引为 t，频点索引为 f，观测为 Yq，直达声为 Sq，混响为 Rq，噪声为 Vq，则有 Yq 等于 Sq 加 Rq 加 Vq 的关系。训练集是无标注多通道混响混合，测试时以参考麦克风直达声为指标参考。

举例说明：假设某句话在安静小房间录制，直达声是刚从嘴到麦克风的直线传播，混响是墙面多次反射的叠加，噪声是空调等弥散噪声。模型在训练时看不到拆分后的三者，只能看到叠加后的 Y。学习目标是让网络输出的直达声估计接近真实 Sq。理解这个拆分很重要，因为后文网络要同时估计直达声与噪声，再用滤波器分别解释混响与通道差异，最后用重建误差反推网络参数。

需要区分的边界是本文只研究单说话人加弱噪声情形，不处理多人重叠；多通道信息主要用于训练约束与 SPD 计算，推理可以是单麦克风输入加可选 SPD 特征。T60、距离、噪声信噪比等仿真条件只在实验节交代，不作为方法假设。

USDnet++ 相对 USDnet 多做了什么？

先沿一个样本走完流程。底部输入是参考麦克风混合的实部虚部分量，送入 DNN 后得到直达声估计与噪声估计。左侧分支把这对估计经前向卷积预测得到的滤波器映射到参考麦克风观测，计算混合约束损失；中间分支把同一对估计映射到每个非参考麦克风观测，得到多通道约束；右侧新增分支把同一对估计映射到信号处理去混响结果，得到 SPD 约束。

3 路损失加权求和后更新网络。推理时只需前向得到直达声估计，若采用特征拼接版本则需先跑第 1 阶段模型生成 SPD 特征再跑第二阶段模型。

下图是理解新增分支位置的关键，它把 USDnet 训练框嵌在 USDnet++ 训练框内部，右侧 SPD 虚拟麦克风是唯一新增结构。

看图路径： 1. 先从底部单通道输入 Yq 经 DNN 得到直达声与噪声估计的向上箭头看主数据流；2. 再对比左侧参考麦克风分支与中间非参考麦克风分支的 FCP 与重建损失走向；3. 然后看右侧 SPD 虚拟麦克风分支如何复用同一对估计并汇入顶部总损失；4. 最后确认底部 SPD 结果作为可选输入回送到 DNN 的位置

论文图 1。原论文 Figure 1：“Illustration of USDnet++ training in subplot (b), which improves USDnet training in subplot (a) by integrating the loss on SPD results.”。

图中底部 DNN 输出两条粗线分别表示直达声与噪声估计，它们同时送入左侧、中间与右侧的 FCP 模块求滤波器，再与观测相加得到重建信号。虚线表示损失比较，实线表示信号生成。右侧 SPD 分支的观测不是真实麦克风，而是由 WPE 或 WPD 算出的去混响信号，因此标注为 SPD 麦克风。底部标注 SPD 结果可选，含义是训练第二阶段模型时可以把 SPD 结果拼为输入特征，而第 1 个阶段 SPD 约束训练时不需要该拼接。抓住这个图就能复述新增作用：复用同一对估计，增加一路可解析求滤波器的重建任务。

混合约束与 FCP 滤波器如何计算？

USDnet 的网络做复数谱掩蔽，输入是混合的实部虚部分量，输出是直达声掩蔽与噪声掩蔽，分别点乘混合得到直达声估计与噪声估计。混合约束损失的含义是检查这对估计能否经线性滤波重建各麦克风观测。对参考麦克风，重建由直达当前帧、直达上下文经滤波得到的混响近似、噪声上下文经滤波得到的部分相加构成；对非参考麦克风与 SPD 虚拟麦克风采用同样形式，只是目标观测与滤波器不同。损失函数逐时频点比较幅度与实虚部差异，并按观测能量归一化。

无监督去混响 × 混合约束损失： 无监督去混响负责在没有干净语音配对时仍能学习，它的分工是只看多通道混响混合就估计直达声；混合约束损失负责给出可验证的学习信号，它的分工是要求网络估计经线性滤波后能重建观测混合；二者搭配的理由是盲解卷积有无穷多源与滤波器组合都能重建混合，必须用重建约束把估计拉向物理上合理的直达声，组合意义是把不可直接监督的问题转化为可计算的重建误差优化。

滤波器用前向卷积预测求解，缩写为 FCP。给定网络估计，FCP 按加权最小二乘解析求出相对传递函数，权重与各通道观测能量有关并有下限防止除零。抽头数、预测延迟、前后上下文帧数等是超参数，在无监督设置下未知，按可调超参数固定并在所有训练语句间共享。原文明确滤波器是先算好再算损失，网络梯度经重建误差回传，但未给出优化器细节与是否对 FCP 截断梯度的显式说明，复述时不应脑补。

前向卷积预测 × 相对传递函数： 前向卷积预测负责在给定网络估计后求解线性滤波器，它的分工是按加权最小二乘把估计映射到每个麦克风观测；相对传递函数负责刻画这种映射的物理关系，它的分工是表达直达声估计与混响观测之间的混响与通道差异；搭配理由是混合约束损失必须先有滤波器才能计算重建误差，组合意义是用解析求解的滤波器把网络输出与多通道观测对齐，从而只更新网络而不把滤波器当作可学习参数混淆优化。

教学上可以这样记忆：网络负责猜源，FCP 负责猜通道，重建损失负责判断这对猜测合不合理。若网络猜的直达声偏向混响，FCP 仍能拟合混合但需要不合理的滤波器，配合多通道一致性与 SPD 约束就会暴露误差，这正是多路约束的动机。

WPE 与 WPD 结果如何从无监督估计中导出？

WPE 的白话是延迟预测去尾巴。它把当前帧观测减去过去延迟帧的线性组合，滤波器按加权预测误差最小求解，权重是每时频点目标功率的估计。传统做法用最大似然迭代估计权重，网络支持版本用网络估计的直达声幅度作为权重。本文用预训练 USDnet 或上一个阶段 USDnet++ 的直达声估计幅度作为权重，算出滤波器后再相减得到 SPD 结果用于额外损失。8 通道实验设置预测延迟与抽头数遵循已有工具包取值。

WPD 的白话是空时联合滤波。它把当前帧与过去多帧的多通道观测堆成向量，求一个在保真目标方向约束下最小化加权输出功率的滤波器，因此兼顾去混响与降噪。所需权重同样来自网络估计的直达声能量并加下限，目标方向即相对传递函数由掩蔽加权的语音协方差矩阵的主特征向量估计，掩蔽是估计直达声幅度与残差幅度的比值。得到滤波器后直接滤波得到 SPD 结果。

加权预测误差 × 卷积波束形成器： 加权预测误差负责用延迟线性预测去除晚期混响，它的分工是单通道或多通道下估计预测滤波并相减得到去混响结果；卷积波束形成器负责联合空域与时域滤波，它的分工是在约束保真直达方向的同时抑制噪声与混响；搭配理由是二者都能在无干净标签时把目标语音信噪比提高数分贝，提供比原始混合更干净的弱监督，组合意义是 USDnet++ 把它们当作虚拟麦克风观测，用同一套重建逻辑施加额外约束。

复述时要强调 SPD 结果的双重角色：它既是额外损失的目标观测，也是下 1 阶段可拼接的输入特征。它的滤波器来自无监督估计而非干净标签，因此质量依赖上 1 阶段网络；它比原始混合干净但仍有残留，这正是后文多阶段与超越 SPD 现象的前提。

三步训练如何组织，参数何时冻结？

第一步是 SPD 约束训练。先有一个预训练 USDnet，用它的直达声估计计算 WPE 或 WPD 滤波器并生成 SPD 结果；然后把 SPD 结果当作虚拟麦克风观测，按同样 FCP 逻辑求出其对应的滤波器并计算 SPD 混合约束损失；总损失是参考麦克风损失加非参考加权损失加 SPD 加权损失，权重分别调为八分之三与一。论文表述是微调此前 USDnet 得到 USDnet++，但未报告学习率、轮数、优化器与 FCP 是否参与梯度，复述时应明确标出这些缺项，不从模型名推定冻结方式。

信号处理去混响结果 × 多阶段精炼： 信号处理去混响结果负责提供弱监督目标，它的分工是用无监督网络估计出的功率谱或掩蔽去计算 WPE 或 WPD 滤波器并生成更干净信号；多阶段精炼负责让两类方法交替互促，它的分工是上 1 阶段更好的网络估计带来更好的 SPD 结果，再用更好的 SPD 结果微调下 1 阶段网络；搭配理由是单次 SPD 仍残留混响与失真而单次网络估计也不够准，组合意义是通过迭代逐步收紧监督质量而不是一次性把有误差的 SPD 当作真值。

第二步是多阶段精炼。用第 1 阶段更好的直达声估计重新计算 WPD 结果，再用新的 SPD 结果微调上 1 阶段模型，可迭代多次。每 1 阶段的网络与 SPD 互为输入，逐步提升。第 3 步是把 SPD 结果作为输入特征重训一个新模型。具体是固定第 1 阶段模型生成 8 通道 WPD 结果，与原始混合一起送入第二个 USDnet++ 训练。

推理时必须依次运行 2 个模型得到最终结果。原文未报告 2 模型是否共享权重与第二模型是否从头训练的完整细节，只说明是重训模型并需运行 2 个模型，复述时保留该粒度。

需要纠正的误解是 SPD 约束不是让网络直接复制 SPD 波形，而是让网络估计经线性滤波后能重建 SPD 波形，中间仍隔着解析求解的滤波器，因此网络有可能超越 SPD。

数据、配置与指标如何保证可比？

数据集用 WSJ0CAM-DEREVERB，它基于 WSJ0CAM 干净集仿真混响混合。干净训练、验证、测试分别有 7861、742、1088 条，仿真后混响混合分别约 39293 条约 77.7 小时、2968 条约 5.6 小时、3262 条约 6.4 小时。每条用随机房间、说话人到阵列距离 0.75 到 2.5 米、混响时间 0.2 到 1.3 秒生成的房间冲激响应卷积得到，采用八麦克风直径 20 厘米圆阵，加入来自 REVERB 数据集的弥散空调噪声，信噪比随机在 5 到 25 分贝，采样率 16 千赫。短时傅里叶变换用 32 毫秒窗、8 毫秒跳、平方根汉恩分析窗，所有方法用同一配置。

网络采用 TF-GridNet，超参数为维度 128、块数 4 等，批大小固定为 2，复数掩蔽实虚部裁剪到负 5 到 5。损失权重如前所述。8 通道 WPE 与 WPD 设预测延迟 3、抽头 5。评测以参考麦克风直达声为参考，指标为语音质量感知评估即 PESQ、扩展短时客观可懂度即 eSTOI、尺度不变信干比即 SI-SDR，三者都是越大越好。比较时需核对通道数、输入与损失配置、是否使用 oracle 与是否为可部署策略，oracle 表示用真实直达声算滤波器，仅作上限参考。

资源状态方面，本次未发现来源绑定且完成验证的代码模型数据资源，因此不能声称代码模型或数据已公开，复现应按论文文字与数据集原始发布渠道准备。

SPD 质量与 SPD 约束带来多大提升？

要回答的比较问题是：在相同 WSJ0CAM-DEREVERB 测试与同一 STFT 配置下，传统 SPD、无监督 USDnet 与增加 SPD 约束的 USDnet++ 谁更好，指标方向都是越大越好。下表整理 SPD 本身的质量与 USDnet++ 微调后的质量，重点看 USDnet++ 是否超越提供监督的 SPD。

表后解释需要同时讲收益与代价。收益是 USDnet++ 1 阶段已从 2.64 提升到 2.86，超过其监督来源 USDnet-WPD 的 2.59，说明弱监督可被超越；相对传统 WPE 的 2.02 提升更大。代价是仍需先有预训练 USDnet 并计算 SPD，训练链条变长；且表中 USDnet-WPD 的 SI-SDR 为 2.8 分贝，低于 USDnet 基线的 3.1 分贝，说明单看 SPD 的失真指标并不全面，网络结合多通道重建后才实现三指标同时提升。未胜出项是传统 WPE 在三指标上均明显低于无监督方法，证实纯信号处理在该仿真集上不是最强可运行策略。

另一组关键数字是 oracle 上限。Oracle-WPD 用真实直达声算滤波器，USDnet++ 在 oracle-WPD 约束下可达 2.95，提示若 SPD 质量继续提高网络还有空间，但 oracle 不可部署，不能当作可部署收益宣传。

多阶段与特征拼接是否各自有效？

要回答的第二个比较问题是：固定 SPD 约束思想不变，交替迭代与把 SPD 拼为输入是否带来额外增益，条件是否一致。下表对比基线、多阶段与双模型特征拼接的可运行策略，并单独列出 oracle 特征拼接作为不可部署上限。

表后解释要拆开两类增益。多阶段把 1 个阶段 2.86 推到 2.90，可懂度与质量同步小幅上升，支持交替互促有效，但 SI-SDR 停在 3.9 分贝，说明迭代对抑制失真的边际收益递减。特征拼接把结果进一步推到 2.94 与 0.840，表明给网络直接看到 SPD 波形能利用互补线索，但代价是推理要跑 2 个模型且输入通道翻倍，计算与显存开销未在原文量化。反例是双模型 SI-SDR 为 3.8 分贝略低于多阶段的 3.9 分贝，说明质量与可懂度提升不等于失真指标同步提升；oracle 拼接高达 3.14 更证实 SPD 质量是瓶颈，但它用了真实直达声，不可部署。

原文还报告 WPE 约束版本约 2.67，低于 WPD 约束的 2.86，支持 WPD 作为 SPD 来源更优的判断。复述时不应把搜索最优或 oracle 值当作方法本身的部署效果。

哪些边界没有测，哪些结论不能推广？

论文直接报告的是仿真 8 通道单说话人弱噪声集上的提升，显示三指标同时变好。但有限解释是这只支持在该仿真分布内 SPD 弱监督有效，不支持推广到真实录音、多说话人重叠、强噪声或移动声源。原文未来工作明确提到要扩展到真实与多说话人场景，反过来说明当前未验证这些边界。

未测量的量包括误判率、词错误率、推理延迟、实时因子与训练显存耗时。PESQ、eSTOI、SI-SDR 改善不能直接承诺识别率或主观听感同等改善，更不能承诺延迟降低。双模型版本需要运行两个 TF-GridNet 并计算 8 通道 WPD，其总体趋势是效果更好，但不能理解为每一步迭代或每个样本都单调变好，原文多阶段第三阶段提升已很小。

方法上的缺项是优化器、学习率、训练轮数、早停、FCP 梯度路径、滤波器抽头搜索过程与统计显著性均未在给定证据中交代。不同指标差值不能混放比较，百分点与相对百分比也需区分，本文只用绝对值比较。遇到表头或聚合口径冲突时应标注冲突，本文证据内未发现此类冲突，但复现时仍需以参考麦克风直达声为唯一参考核对指标实现。

复现先做什么，需要哪些超参数？

先准备数据与基线。按 WSJ0CAM-DEREVERB 划分仿真或获取混合，保证 16 千赫、32 毫秒窗、8 毫秒跳、平方根汉恩窗与八麦克风配置一致；先跑通传统 WPE 与 USDnet 基线，确认混合约 1.64、WPE 约 2.02、USDnet 约 2.64 的量级可复现，再引入 SPD 约束，否则无法判断增益来源。

再按 3 步搭建训练。第一步训练 USDnet 得到直达声估计，用其幅度作权重计算 WPE 或 WPD 并生成 SPD 波形；第二步固定 SPD 波形，用 FCP 求其对应滤波器并计算额外重建损失，与原始多通道损失按权重八分之三与一加权微调得到 USDnet++；第 3 步用更好的估计更新 SPD 并重复微调，最后用最终 WPD 结果与原始混合拼接重训第二模型。关键超参数是损失权重、预测延迟 3、抽头 5、批大小 2、掩蔽裁剪范围负 5 到 5，以及 TF-GridNet 结构配置，缺失的优化器与轮数需自己做消融并记录。

验证时分别记录可运行策略与 oracle 上限，不把 oracle 当成绩；同时记录训练时间、推理耗时与参数量，补上原文未报告的成本。资源方面本次没有可用链接可写为已公开，一律按不可用处理，不假设代码权重可下载。

何时值得尝试，一句话如何复述方法？

当你只有无标注多通道混响数据、传统 WPE 或 WPD 能让语音变干净一点但仍有残留时，值得尝试 USDnet++。它不直接拟合传统结果，而是把传统结果当作虚拟麦克风，要求网络估计经解析滤波后既能重建真实多通道混合又能重建传统去混响信号，再用迭代让两者互相提高，最后还可把传统结果拼给网络看以利用互补信息。

一句话复述是：用无监督网络估计去算 SPD，用 SPD 去约束与增强该网络，迭代后超越 SPD。记住 3 个可核对点：超越 SPD 的证据是 1 个阶段 2.86 超过 USDnet-WPD 的 2.59；多阶段证据是 2.86 到 2.90 的递进；特征拼接证据是双模型 2.94 但需跑 2 个模型且 SI-SDR 略回落。带着这 3 组数字与对应条件去读图与表，就能向他人讲清方法、证据与代价。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总