条件加在哪一层：复合退化下输入层注入为何反而不如不用

英文题目：SLICE: Speech Enhancement via Layer-wise Injection of Conditioning Embeddings

会议身份：conference:interspeech:2026:conference-paper-id:moon26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #多任务学习 #去削波 #去混响 #语音增强

评分：6.4/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.4/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Seokhoon Moon：机构信息未能从会议 PDF 纯文本可靠映射
• Kyudan Jung：机构信息未能从会议 PDF 纯文本可靠映射
• Jaegul Choo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理同时含加性噪声、混响与非线性失真的退化语音，输入为退化波形与复数谱，输出为干净语音，难点在于多退化耦合时单点条件在深层网络中被稀释，且直接扰动输入谱会干扰频谱处理。先由冻结的WavLM-Base编码器以退化波形为输入抽取帧级特征，经卷积投影与时间平均池化输出共享表示。再将该共享表示送入三个分支头，分别以噪声分类、T60回归与软削波强度回归为职责进行多任务解耦，输出三组分支嵌入。最后将拼接映射后的分支嵌入与时间步嵌入逐元素相加得到条件向量，该条件向量随原有广播路径进入全部残差块实现全深度调制并输出干净语音。与仅在输入谱上相加的NASE式注入相比，该方法不改动输入谱而复用每层已有的时间步调制通道，避免浅层扰动与深层稀释。在多退化测试集条件下，SLICE的ESTOI为0.80，高于输入层注入基线的ESTOI 0.73，且SLICE的SI-SDR为3.7 dB，高于输入层注入基线的SI-SDR 1.4 dB。该结论适用边界受限于受控合成退化，在VOiCES等真实录音上层级注入与无编码器差异微弱，且含混响类别SI-SDR仍为很大的负值属于失败条件。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

真实通话的脏语音到底脏在哪里？

输入是麦克风录到的带退化语音，目标是恢复出可懂且自然的干净语音初学者必须保留的关键信息是退化不是单一的。论文把现实退化归纳为 3 类：加性噪声是环境声直接叠加，例如风扇声盖住说话声；混响是房间反射造成的卷积拖尾，例如空房间打电话有嗡嗡回声；非线性失真是设备或传输引入的削波类形变，例如低质麦克风把大音量压扁。输出是增强后的波形，评价同时看可懂度、失真与听感。

论文的起点是扩散类方法在单退化上去噪很强，但在 3 类退化同时出现时泛化不足。前人尝试把噪声信息作为条件信号引导扩散，但只处理加性噪声，且只在网络输入处加 1 次。初学者容易误以为有条件一定比无条件好，本文的受控实验恰好要检验这个直觉。

加性噪声 × 混响： 加性噪声指环境声与语音在波形上直接相加的干扰，分工是描述能量叠加；混响指房间脉冲响应与语音卷积形成的拖尾，分工是描述卷积效应。二者搭配的原因是真实通话常同时包含相加与卷积两种物理过程，组合意义在于单去噪模型必须同时处理两种不同数学形态的退化。

举例说明：例子是同一句话分别叠加食堂噪声、加上大房间混响、再经过软削波，单独听每种退化都可处理，但三者叠加后频谱的加性成分、时域拖尾与幅度压缩互相掩盖，单点条件很难同时提示去噪、去混响与去失真，这就是后文需要三头编码与全层注入的学习依赖。

已有路线在输入端加条件为何不够？

同输入同目标的路线是基于分数的语音增强。SGMSE+ 在复数短时傅里叶变换域建立条件于带噪观测的干净语音分布，用前向随机微分方程把干净信号逐渐推向带噪观测，再训练分数网络做去噪分数匹配，推理用预测校正采样解反向方程。主干是 NCSN++，它本来就有一个时间步嵌入，被每个残差块消费以感知当前扩散时刻。

同监督思路的噪声感知路线是 NASE 与 NADiffuSE。NASE 用预训练 BEATs 音频编码器加噪声分类损失，把得到的嵌入加到输入频谱上；NADiffuSE 提取噪声表征作为扩散的全局条件。论文指出这两条路线只覆盖加性噪声，没有处理混响与非线性失真，且都是单点输入层注入。NCSN++ 有约 37 个残差块，单点扰动会逐层稀释，深层收不到条件。

扩散模型 × 分数网络： 扩散模型分工是定义从干净语音到带噪观测的前向破坏过程与反向逐步去噪流程；分数网络分工是在每个噪声水平估计对数概率对波形的梯度，为反向采样提供方向。二者搭配的原因是仅有随机微分方程框架不够，还需要一个可学习的梯度场，组合意义是把增强问题转化为用分数网络引导的迭代采样问题。

对照结论是类别差异不能当同条件胜负。只在噪声数据上训练的基线在复合退化上必然吃亏，本文因此在方法比较时专门固定训练数据，只改变是否用编码器与注入方式，这为后文受控消融埋下公平性要求。

要回答的问题是什么？固定什么、改变什么？

研究问题有两个。第一，退化条件加在输入层是否足以应对复合退化，还是必须让每一层都感知退化。第二，如何用一个向量同时刻画噪声类别、混响时间与失真强度，且在三者共存时不互相干扰。

为此论文固定主干、训练数据与评测协议，只改变注入方法。3 个可运行策略是无编码器的 SGMSE+、同编码器加输入层相加、同编码器加时间步嵌入的逐层注入。指标方向是 PESQ、ESTOI、UTMOS 越高越好，SI-SDR 越高越好且单位为分贝。统计上对 2472 个多退化文件做配对 t 检验，报告显著性。

初学者要先建立因果链条：编码器提供什么信息，注入深度决定信息能走多远，主干每一层如何被调制，最终在哪些退化组合上体现收益。只有固定数据才能把收益归因于注入深度，而不是归因于见过更多退化类型。

SLICE 让一个样本走完全流程是什么样子？

沿一个带噪样本走全程有助于建立依赖。输入是带退化的波形与它对应的复数频谱。波形进入冻结的 WavLM-Base 得到帧级特征，维度 dw 为 768，经卷积后处理与时间平均压缩为共享向量 h，维度 dh 为 256。h 再经 3 个分支投影各得到 128 维向量，拼接为 384 维后经条件多层感知机映射为 512 维的额外条件向量，与 512 维时间步嵌入相加，送入 NCSN++ 的全部残差块。频谱支路的带噪频谱直接进入分数网络做条件去噪，最终经反向采样输出增强语音。

本段导读图 1：左半是编码器如何从波形得到统一条件向量，右半是该向量如何不改主干结构地进入每一层，虚线是只在训练期存在的辅助头。请按焦点顺序观察主路径、汇合点与训练专用部分的区分。

看图路径： 1. 从左侧带噪语音出发，先沿 WavLM 到特征投影再到共享向量 h 的主路径走一遍；2. 观察三个分支投影汇合为一路 MLP 输出，再与上方时间步嵌入相加进入残差块；3. 对照下方虚线框出的三个训练期专用头，确认推理时不使用这些头；4. 核对右下角图例中加号与拼接符号分别出现在哪些汇合点

论文图 1。原论文 Figure 1：“Overview of SLICE. (a) The encoder produces h ∈Rdh; branch projections are concatenated and mapped to cextra ∈Rd.”。

结合像素可见内容的解释是：左侧蓝色大框内依次是 WavLM、特征投影、3 个紫色分支投影经拼接符号汇入 MLP；下方灰色 3 个头以虚线连接共享向量并标注训练专用；右侧绿色大框内上方时间步嵌入经加号与 MLP 输出汇合，再进入青绿色残差块输出分数与分数损失；左下短时傅里叶变换框上行接收带噪音频，下行直连残差块，说明频谱条件与退化条件的双路进入方式。维度标注 dw 等于 768、dh 等于 256、db 等于 128、d 等于 512 与正文一致。

退化感知编码器 × 时间步嵌入： 退化感知编码器分工是从输入波形提炼噪声类别、混响强度与失真强度的统一向量；时间步嵌入分工是原来向分数网络每一层残差块广播当前扩散时刻的向量。二者搭配的原因是时间步嵌入天然被所有层消费，组合意义是把退化信息搭上这条广播通道，实现不改主干结构的全层条件调制。

编码器三头与条件映射各自做什么？

编码器组件的第一步是冻结 WavLM 参数以保留预训练表征，只训练后端的卷积投影与多层感知机。冻结意味着梯度不回传到 WavLM，监督来源是后文总损失中的分数匹配损失与辅助多任务损失经共享向量 h 的回传。时间平均的作用是把变长帧序列压成定长描述子，保留判别性退化信息以便下游调制。

第二步是三头设计。噪声头按 DEMAND 的噪声分类做 11 分类，含 10 类噪声加无噪声类，用交叉熵监督；混响头回归房间混响时间 T60，用均方误差监督；失真头估计非线性失真强度，用均方误差监督。论文给出两个安排理由：一是多任务监督促使共享表征分别学到每类退化的判别特征，缓解单表征混杂 3 类退化时的折中；二是每头预测在推理时可解释当前输入的退化画像。

多任务辅助损失 × 共享表征： 共享表征分工是用一个 256 维向量同时保留 3 类退化的判别信息；多任务辅助损失分工是用噪声分类、T60 回归与失真强度回归 3 个头分别施加监督，避免单一表征把 3 类退化混在一起。搭配原因是联合训练容易在退化间折中，组合意义是让共享表征可分、推理时能同时应对复合退化。

第三步是条件映射。共享向量 h 经 3 个矩阵投影为噪声、混响、失真分支向量，拼接后经条件多层感知机得到与时间步嵌入同维的额外向量，再做加法得到增强后的时间步嵌入。加法不改变输入频谱，避免破坏已学到的频谱处理；又因为时间步嵌入本来就被约 37 个残差块消费，条件自然传播到全层，且无需修改主干结构。训练时每个分支嵌入以概率 0.1 独立置零，遵循无分类器引导的思想，使模型在推理缺失某类退化时仍能处理任意子集激活的情况。

损失、优化与数据构造如何配合？

训练目标是总损失等于分数匹配损失加权重乘三项辅助损失之和，权重取 0.3。分数匹配损失训练分数网络逼近条件分数，辅助损失训练编码器分支头的判别与回归能力。WavLM 冻结，只有投影、分支映射、条件多层感知机与分数网络被更新。优化器用 Adam，学习率 0.0001，指数滑动平均衰减 0.999，训练 160 轮，全局批量 32 分布在 8 张 RTX 3090 上，每卡 4 条，推理用 30 步反向采样。

数据构造是理解泛化的关键。基础是 VoiceBank-DEMAND 的 11572 条训练语音，含 10 类噪声在 0、5、10、15 分贝信噪比下叠加。论文再对每条干净语音组合 3 种操作：来自 DEMAND 的加性噪声、用 pyroomacoustics 生成的合成房间脉冲响应引入混响，T60 在 0.3 到 1.0 秒之间、用软削波函数引入非线性失真，强度参数在 1.5 到 5.0 之间。增强后数据集含 34716 条，覆盖 6 类退化组合。执行顺序是先固定干净语音，再分别施加噪声、混响与削波以形成复合样本，然后统一按批量送入冻结编码器与分数网络联合训练。评测分三块：824 条噪声测试、2472 条多退化测试、野外 VOiCES1600 条房间录音、DAPS1500 条真实设备录音与 URGENT1000 条多样退化。

指标按原文交代：PESQ 评估语音质量，ESTOI 评估可懂度，SI-SDR 评估波形失真，UTMOS 是神经网络平均意见分预测器。论文明确为对齐多面评估建议而同时报告主观侵入式与神经网络预测指标。硬件与步数信息保留原样，未报告单步延迟与实时率，因此不能从训练资源推定推理延迟改善。

基线、公平条件与对照逻辑是什么？

基线分两组。第一组是只在噪声数据上训练的 5 个基线：去噪版 SGMSE+、去混响版 SGMSE+、MetricGAN+、MP-SENet 与 NASE，用于说明单退化模型在复合退化上的局限。第二组是受控对照：在同一多退化数据上从零训练的无编码器 SGMSE+、同编码器但用 NASE 式输入相加的模型、本文逐层注入的完整模型，三者训练数据完全相同，只有编码器与注入方式不同，因此可以直接归因。公平比较的关键是固定数据与主干后再比较注入深度，这样才能把可懂度与失真差异归因于条件传播方式而非数据覆盖。

野外对照另设三者：公开的只做去噪的预训练 SGMSE+、同多退化数据从零训练的无编码器模型、本文模型。论文明确 SI-SDR 对混响录音不可靠，因此野外表省略该指标，只看 PESQ、ESTOI 与 UTMOS。初学者复述时必须同时核对数据集、模型训练数据、实验阶段与聚合对象，数值相同不代表同一指标，例如噪声集上的 PESQ 与多退化集上的 PESQ 聚合样本完全不同。

未报告项要明确：原文未给出各野外集的划分细节与统计检验，未给出推理显存与延迟，未给出编码器误判时的逐样本行为。这些缺项不是技术错误，但限制了把趋势推广到每组每步的强度。

主结果：在相同数据下注入深度是否决定成败？

比较问题是当训练数据相同时，编码器与注入方式是否带来可运行的增益，指标方向是四项越高越好。下表整理多退化条件下的关键对照，数值保留原文写法与精度，SDR 指 SI-SDR 且单位为分贝。表头单位与裸值按原表呈现，不逐格追加百分号。

表后解释是：逐层注入在同一数据下显著优于无编码器与输入层注入，论文报告从无编码器到逐层注入 ESTOI 从 0.77 到 0.80 的提升对应极小 p 值，从输入层相加到逐层注入 SI-SDR 从 1.4 分贝到 3.7 分贝的提升同样显著。只在噪声数据上训练的基线 ESTOI 在 0.62 到 0.66 之间且 SI-SDR 不超过 0，说明多退化数据与逐层注入两者缺一不可。代价是对照显示噪声集上 MP-SENet 与 MetricGAN+ 的 PESQ 更高，本文 PESQ 为 2.83 低于它们的 3.16 与 3.13，但在 UTMOS 上本文以 3.93 居首，表明多退化训练牺牲了部分单任务 PESQ 而换来感知质量。未胜出项必须保留：去混响版 SGMSE+ 在噪声集上 PESQ 仅 1.98，说明单任务调参不能直接迁移。

拿掉哪一块会跌多少？输入层相加为何反而不如不用？

比较问题是固定编码器与数据，只改变注入位置、辅助损失与推理条件时性能如何变化，指标方向仍是越高越好。下表为多退化测试集上的消融，SDR 为 SI-SDR 分贝值。

表后解释是：输入层相加全面劣化且不如无编码器，论文假设两点机制，一是输入层加法直接平移复数频谱表示，干扰已学频谱处理，二是单点扰动经约 37 个残差块逐层稀释，深层收不到条件。逐层注入则经时间步嵌入调制每一层的仿射变换，不动输入频谱。支持证据还有推理置零额外条件向量时 PESQ 从 2.60 跌到 2.14、UTMOS 从 3.71 跌到 3.04，证明模型重度依赖该条件；去掉辅助损失时 ESTOI 从 0.80 跌到 0.77，且在噪声加混响加失真子集上 ESTOI 从 0.647 跌到 0.517、SI-SDR 从负 18.4 跌到负 23.8 分贝，说明多任务监督主要强化混响判别。自适应按预测置信加权分支与均匀加权持平，论文解释为逐层注入已让分数网络自行判断分支重要性。

输入层注入 × 逐层注入： 输入层注入分工是只在复数频谱输入处 1 次性加上条件向量；逐层注入分工是把条件向量加到时间步嵌入，再随每一层残差块的仿射调制进入深层。搭配比较的原因是二者使用同一编码器，只改变注入深度，组合意义是分离出编码器信息量与注入方式各自的贡献，证明深度才是复合退化下的关键。

哪些退化仍难？野外增益为何变小？

按退化拆分的细节显示能力边界。下表为 6 类子集上的本文模型表现，N 为文件数，SDR 为 SI-SDR 分贝，UTMOS 为神经网络预测分。

表后解释是：失真几乎完美处理，PESQ 达 4.21 而 UTMOS 达 4.05；凡含混响的子集 SI-SDR 均为约负 17 到负 18 分贝，但 UTMOS 仍在 3.3 以上，论文指出感知质量尚可，SI-SDR 对混响存在系统性低估，不能只看波形误差就判为失败。编码器头精度报告为噪声二检测准确率 96.7%、T60 相关 0.981 且平均绝对误差 0.033、失真强度相关 0.845 且检测准确率 86.2%，显示为良好校准，但这属于训练域内评估。

野外表显示多退化训练的 2 模型大幅优于噪声预训练，例如 VOiCES 上 ESTOI 从 0.34 提升到 0.65 以上，但本文与无编码器在 PESQ 与 ESTOI 上接近，DAPS 与 URGENT 上本文 UTMOS 最高而 VOiCES 上无编码器略高，支持的判断是野外泛化的主要驱动是多样训练数据，编码器在域外增益变小。可能与待验证的是真实房间与设备失真超出合成 T60 与软削波范围，论文未测量误判率与延迟，因此不承诺这些量改善。

复现应先固定什么？缺哪些信息要补测？

复现先做三件事。第一，按原文构造数据：以 VoiceBank-DEMAND 为底，用 pyroomacoustics 生成 T60 在 0.3 到 1.0 秒的脉冲响应，用软削波函数在强度 1.5 到 5.0 间引入失真，组合出 34716 条 6 类训练集，并保留 824 条噪声测试与 2472 条多退化测试的划分对应关系。第二，冻结 WavLM-Base，只训练投影、分支映射、条件多层感知机与 NCSN++，总损失权重取 0.3，分支置零概率取 0.1，Adam 学习率 0.0001，滑动平均 0.999，160 轮，批量 32，推理 30 步。第三，实现两个必跑对照：同数据无编码器与同编码器输入层相加，否则无法复现注入深度是关键的结论。

资源状态是正文开源声明的唯一依据。本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码、模型或数据已公开或当前可用。若要补验证，至少补三项：混响子集上 SI-SDR 与听感的对应关系、编码器在野外数据上的头精度、30 步采样在目标硬件上的实际延迟与显存。超参数中 T60 范围、失真强度范围、置零概率与损失权重是信息条件，改变任一都需重新做受控比较。

何时值得尝试这种逐层条件？

当任务同时满足三点时值得尝试：主干已有被所有层消费的全局嵌入，例如扩散的时间步嵌入；退化是多类共存且物理形态不同，加性、卷积与非线性无法用单一提示覆盖；已验证单点条件在受控比较中不增反降。此时把统一退化向量加到全局嵌入是最少改动的方案，且保留了输入表示的完整性。

不值得盲目照搬的情况是单退化为主、评价只看 PESQ，或主干各层职责差异不大。原文显示单噪声集上专用去噪模型的 PESQ 更高，多退化训练有代价；野外增益主要来自数据多样性，编码器不是万能。复述方法时应强调条件特征与注入方式同等重要，有信息无深度仍会被稀释，这也是论文对条件分数模型更一般的提示。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总