英文题目：Absorbing Discrete Diffusion for Speech Enhancement
会议身份：
conference:interspeech:2026:conference-paper-id:gonzalez26_interspeech
来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。
标签：#扩散模型 #Transformer #向量量化 #语音 #语音增强
评分：7.2/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Philippe Gonzalez：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
输入为含噪语音波形，输出为增强后波形，难点在于短时傅里叶变换维度高而连续扩散采样慢，且神经音频编解码的残差向量量化码具有帧与深度双层结构。所提吸收离散扩散语音增强框架先用冻结编解码器将干净与含噪语音映射为离散码，再以噪声码为条件对干净码执行多维吸收扩散建模，最后将采样码经码本查表与解码器重建波形。残差量化扩散Transformer沿帧与深度分别建模并复用码本向量，避免了展平序列的高复杂度。相比连续域扩散与掩码生成建模，该方法具有时间无关重参数化与可复用预测，支持并行非自回归采样，并能利用编解码器习得的强语音先验在极低信噪比下保持稳健。在Clarity-FSD50K测试集下，Conv-TasNet的DNSMOS得分为3.47，高于含噪语音的DNSMOS得分为2.90。该结论的适用边界受限于非侵入式感知质量与低信噪比场景，不外推至相位敏感的侵入式指标与全频带场景。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://philgzl.com/addse-demo — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音增强要解决的到底是什么输入输出问题？
语音增强的输入是一段被噪声污染的语音波形，目标是输出一段更干净、更易听懂的语音波形。对于刚进入语音音频领域的研究生，关键是先把任务理解为条件生成问题：给定带噪观测，恢复其背后干净语音的合理估计。传统判别式方法直接学习从带噪到干净的映射，生成式扩散方法则学习在给定带噪语音条件下干净语音的分布，再从中采样。原文把连续短时傅里叶变换域扩散的高维度和多步迭代视为计算负担，因此转向神经音频编解码的隐空间。
神经音频编解码这个白话概念是指先用编码器把波形压成帧率更低的连续向量，再用量化变为离散符号，解码时再查表求和恢复波形。英文为 neural audio codec，后文简称编解码器。这样做的好处是生成建模发生在感知相关且维度更低的空间，而不是直接在高维频谱上反复迭代。本文默认从原文独立写作，代码演示链接本次确认为可用状态，地址为官方演示页，音频样例可据此核对听感，但正文判断仍以论文报告的客观指标为准。
连续扩散、自回归码建模与离散扩散各走了哪条路？
要理解本文选择，需要把 3 条路线按相同输入输出对照。第一条是连续扩散语音增强，代表是条件扩散概率模型和基于分数的生成模型增强器，英文为 SGMSE+，它们在短时傅里叶变换连续域建模，采样质量较好但步骤多、维度高。第二条是基于编解码离散码的自回归语言模型增强，例如用下一码预测逐个生成干净码，优点是能复用 Transformer 建模能力，缺点是必须从左到右或逐层串行，推理慢。
第 3 条是掩码式生成如 MaskGIT 及其在语音增强中的变体，虽也是并行解掩码，但原文指出其缺乏有原则的似然解释，可能不近似规范似然。吸收式离散扩散的白话含义是把每个符号随时间以一定速率跳变为一个特殊的吸收状态或掩码，反向再逐步把掩码恢复为真实符号，英文为 absorbing discrete diffusion，后文简称吸收扩散。原文强调只有吸收扩散具有连续时间马尔可夫链和反向速率矩阵的理论表述，并支持与时间无关的重参数化，因此在效率和理论基础上优于 MaskGIT 类做法。
同运行阶段的对照还包括判别式带分裂循环神经网络和卷积时域分离网络，以及在编解码隐空间做判别回归或连续扩散的变体，这些对照在后文实验节按同数据同指标比较。
为什么要在编解码码上定义带噪为条件的吸收扩散？
论文把问题形式化为对干净码给定带噪码的条件分布建模。设干净码序列为多帧多层整数索引，带噪码为同形状的另一组索引，目标是学习给定带噪码和部分被掩码的干净码时每个位置真实干净码的概率。举例说明时可设一段 4 秒语音经编解码得到每秒 50 帧、每帧 4 层码，若某帧某层被掩码，模型需结合带噪码全局信息和其余未被掩码的干净码上下文猜出该位置最可能的码本序号。这是一个教学例子，不代表原文具体数值实验。
沿一个样本走完流程是：带噪波形经冻结编码器得到带噪码，干净波形在训练时同样编码得到干净码并随机掩码，网络预测被掩码位置的分布，推理时从全掩码出发反复解掩码得到增强码，再经查表求和与解码器合成波形。选择吸收扩散的安排理由是每个帧深度对可视为独立扩散过程，联合分布可分解，从而支持并行非自回归采样；选择编解码空间的理由是码本已优化表示隐空间且掩码可用零向量表示，无需另学输入嵌入。
ADDSE 全景：一个样本如何从带噪波形走到增强波形？
ADDSE 是本文提出的框架名，全称吸收离散扩散语音增强。训练阶段冻结的编解码器把成对干净与带噪波形分别变为干净码与带噪码，每个帧深度对作为独立扩散维度，网络以去噪交叉熵为目标预测被掩码位置的干净码概率。推理阶段先从输入带噪波形得到带噪码，把待生成干净码初始化为全掩码状态，然后按均匀采样步数调用网络逐步解掩码，最后把生成的增强码送回编解码器查表解码。下段导读将帮助读者对照原文框架图理解上下两条通路如何衔接，重点是上方编解码编解码回路与下方扩散采样回路的分工。
看图路径： 1. 先沿左侧带噪语音波形经编码器和残差量化的箭头找到带噪码；2. 再看下方吸收式离散扩散虚框内从全掩码经 RQDiT 逐步变为彩色码的过程；3. 最后确认增强码经查表和解码器回到增强语音波形的回路
论文图 1。原论文 Figure 1：“Proposed ADDSE framework.”。
该图上半部分显示带噪语音经编码器和残差向量量化得到带噪码，下半部分显示从全掩码出发经 RQDiT 多次更新得到增强码，再经查表与解码器得到增强语音。图中用不同颜色区分不同码本层，用深色块表示仍处于掩码状态，用彩色块表示已恢复的码。教学要点是条件信息带噪码在每一步都作为旁路输入，而被恢复的码在下一步成为新的上下文，这种设计使采样可以并行更新多个位置，而不是逐码自回归。原文报告该框架在非侵入指标上有竞争力，尤其在低信噪比和少步数时，但侵入式指标受编解码相位丢失限制，这一点在结果节用数字展开。
RQDiT 如何同时处理帧长时依赖与码本层间依赖？
残差向量量化的白话含义是把编码器输出的向量先用第一层码本量化，再把残差交给第二层量化，依此类推逐层逼近，英文为 residual vector quantization，后文简称残差量化。若把多层码直接展平为长序列，Transformer 的 2 次复杂度会显著上升，且无法利用层级结构。RQ-Transformer 的思路是用两个 Transformer 分别沿空间或帧维度和深度维度处理。扩散 Transformer 的白话含义是把扩散条件通过自适应层归一化注入注意力与前馈模块的 Transformer，英文为 diffusion Transformer。RQDiT 即二者的组合，负责非自回归地预测每个帧深度位置的干净码概率。
神经音频编解码 × 残差向量量化： 神经音频编解码负责把波形压成低帧率连续隐变量并能解码回波形，残差向量量化负责把该隐变量逐级离散化为多层码本索引；二者搭配的理由是编解码提供感知相关且维度更低的空间，残差量化提供离散符号使语言模型式建模可用，组合意义是增强任务从连续波形回归变为对层次离散码的预测。
具体计算是复用编解码码本表项作为输入嵌入，不另学嵌入层，掩码对应零向量；部分吸收隐变量与带噪隐变量各自经多层感知机映射到隐维度后求和，送入帧扩散模块沿帧维度处理，其输出加到每个深度位置的隐输入上，再由深度扩散模块对每帧独立沿深度处理，最后经多层感知机映射为码本上的概率。带噪码的条件注入通过两个模块中的自适应层归一化完成。位置编码采用旋转位置编码分别编码帧位置与深度位置。以下导读对应原文结构图，读者可按观察动作核对 2 阶段与条件注入点。
看图路径： 1. 先对比上支部分吸收隐变量与下支带噪隐变量各自经多层感知机后的汇合方式；2. 再看帧扩散模块输出如何加到每个深度位置的输入上；3. 最后确认深度扩散模块后经多层感知机输出每个位置的概率分布
论文图 2。原论文 Figure 2：“RQDiT architecture. Two DiTs are applied along the NAC frame and depth dimensions, respectively.”。
该图上方面板显示左右两路隐变量经求和符号进入帧扩散模块，再与残差相加进入深度扩散模块，末端输出概率分布；下面板显示每个扩散模块内部由带条件的自适应层归一化多头自注意力与多层感知机加残差构成。这种先帧后深度的顺序使长时语义主要由帧模块承担，层间细化由深度模块承担，避免了展平带来的计算膨胀。原文未报告去掉其中任一模块后的必然退化，因此此处不做消融推测，相关缺项在局限节指出。
RQ-Transformer × 扩散 Transformer： RQ-Transformer 负责沿帧维度和码本深度维度分别处理层次码结构，扩散 Transformer 负责以自适应层归一化引入条件并做非自回归去噪；二者搭配的理由是直接展平帧乘深度会导致序列过长且丢失层次先验，组合意义是 RQDiT 先做帧级建模再做深度级建模，兼顾长时依赖和层间依赖。
需要澄清的特有误解是复用码本不等于冻结语义表示的全部能力，它只是把编解码已优化的连续表示借来作为离散符号的连续代理，真正的去噪能力仍由 RQDiT 的参数学习得到。
训练目标、优化设置与哪些参数被冻结？
训练目标是去噪交叉熵，白话即只在被掩码的位置计算负对数似然的平均，英文为 denoising cross-entropy。符号含义是先从数据分布采样成对干净带噪码，再从均匀分布采样掩码比例，依该比例独立掩码每个位置得到部分吸收码，网络以带噪码与部分吸收码为输入输出每个被掩码位置的分布。计算目标是最大化被掩码位置真实干净码的预测概率。原文明确实现是采用与时间无关的重参数化，网络直接预测干净数据的条件分布而非显式依赖时间的分数，从而采样时可复用预测。
吸收式离散扩散 × 去噪交叉熵： 吸收式离散扩散负责定义前向把码逐渐变为掩码状态、反向逐步解掩码的生成过程，去噪交叉熵负责在随机掩码比例下训练网络预测被掩盖位置的干净码；二者搭配是因为吸收过程使掩码比例可解析控制，去噪交叉熵直接对应反向转移所需的条件分布，组合意义是得到与时间无关的分数重参数化从而支持高效采样。
优化与冻结按证据交代：编解码器在增强训练阶段冻结，只用于提供码；RQDiT 按隐维度分为超小、小、中、大、超大五档训练，层数与注意力头数均固定为 12，训练 1,000,000 步，使用 AdamW 优化器，学习率为 1×10 的负 4 次方，批量为 16 条 4 秒长码序列，梯度裁剪范数为 1。编解码器自身训练使用 1 秒音频段、批量 32、500,000 步、Adam 优化器，损失为多尺度梅尔谱损失加对抗铰链损失等组合，但其判别器细节不影响增强复现的核心路径。原文未给出学习率衰减、早停与随机种子等细节，这些是复现时的缺项，不从模型名推定。采样采用对数线性噪声计划下的欧拉或 Tweedie 跳跃方法，反向转移概率在该计划下形式一致，推理步数在 1 到 1024 之间变化以评估效率。
数据如何混合、测试如何跨语料、基线是否可比？
训练数据采用动态混合，即训练时在线把干净语音与噪声段按均匀信噪比混合，而非预先固定混合文件。干净语音选自 DNS5、LibriSpeech、多语言语料、VCTK 与 EARS，噪声选自 DNS5、WHAM、FSD50K、FMA 与 DEMAND，采样率 16 千赫，信噪比在负 5 分贝到 15 分贝之间均匀选择。测试构建两个各含 1000 条混合的数据集：Libri-TUT 用 LibriSpeech 测试集语音加 TUT 噪声，TUT 噪声未参与训练，考察跨噪声泛化；Clarity-FSD50K 用 Clarity 语音加 FSD50K 测试集声音事件，Clarity 语音未参与训练，考察跨语音泛化，且 FSD50K 涵盖更广泛声音事件而 TUT 相对平稳。
以下表格整理了编解码与模型配置等可重放细节，表前问题是复现需要固定哪些结构与训练超参数才能得到同量级码率与模型规模，公平条件是同为 16 千赫与同训练混合分布，指标方向在结果节说明。
| 模块 | 参数名 | 取值 1 | 取值 2 | 备注 |
|---|---|---|---|---|
| 编解码编码器 | 每层下采样倍数 | 2 | 2,4,4,5 | 总倍约 320 帧率 50 赫兹 |
| 残差量化 | 码本数与每本条目 | 4 | 1024 | 码率 2 千比特每秒 |
| 数据混合 | 信噪比范围 | 负 5 分贝 | 15 分贝 | 均匀采样动态混合 |
该表综合了原文连续句报告的配置，优点是可直接核对码率与模型规模，代价是未包含判别器权重与学习率计划等细节，复现编解码器时需按原文引用实现补齐。比较基线包括判别式卷积时域分离网络与带分裂循环神经网络、连续频域扩散 SGMSE+ 与改进版 EDM 语音增强，以及编解码隐空间的判别回归与连续扩散变体，均为实际可运行策略而非事后最优。评估用 4 个侵入式指标、4 个非侵入指标与 2 个下游任务无关指标，方向是语音质量感知评估等越高越好、梅尔倒谱失真越低越好。统计方法与置信区间原文未报告，这是解读显著性时的边界。
主结果：在什么指标上赢、在什么指标上输？
主结果按问题组织：测的是跨语料噪声与跨语音两种条件下的增强质量，与谁比是上述判别式与生成式共 6 个基线，条件是否一致是同测试集与同指标平均，指标方向已在上节说明，关键数字见下表与原文大表，支持的判断与限制紧随其后。以下导读对应原文按输入信噪比分组的非侵入指标图，重点是低信噪比区间的鲁棒性。
看图路径： 1. 先按图例区分虚线判别式基线点线连续扩散与实线本方法五种尺寸；2. 再看四个子图横轴输入信噪比从负到正各曲线的斜率差异；3. 重点观察低信噪比区间本方法与卷积时域音频分离网络和语音增强扩散模型的垂直差距
论文图 3。原论文 Figure 4：“Non-intrusive metrics as a function of input SNR.”。
该图 4 个子图横轴均为输入信噪比分段，纵轴分别为深度噪声抑制平均意见分等 4 个非侵入指标。可见在最低段本方法 5 条实线明显高于卷积时域分离网络与 SGMSE+，且随信噪比上升斜率较平，表明强语音先验使其在很噪条件下仍能产生高质量语音；而带分裂循环神经网络在多数区间仍居首，说明判别式在波形保真与整体听感上仍有优势。像素不能精确辨别的纵轴小数不硬写，具体平均值以后表与原文大表为准。
侵入式指标 × 非侵入式指标： 侵入式指标负责对照干净参考计算失真如语音质量感知评估和短时客观可懂度，非侵入式指标负责不依赖参考直接预测听感如深度噪声抑制平均意见分和语音质量多维评估；二者搭配的理由是编解码重建不保留原始相位因而侵入式必然偏低，组合意义是需要同时看两类指标才能判断生成语音是听感好但波形不对齐，还是真正波形保真。
为保留可运行策略的数字对比，整理下表聚焦非侵入与效率方面的原文报告，表前比较问题是在同测试平均下本方法相对可运行基线的实际收益是什么，公平条件是同数据集平均与最佳采样步数选择，指标方向是非侵入越高越好、函数求值越低越好。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 2 数据集平均 | 非侵入质量 | 卷积网络与 SGMSE+ 更低 | 超小模型已超越二者 | 深度噪声抑制与多维质量 |
| Clarity 集 | 最优深度噪声抑制 | 其他基线次之 | 超大模型最优 | 全部对比系统 |
| 2 个数据集 | 次优多维质量 | 最优为带分裂网络 | 超大模型次优 | 全部对比系统 |
| 采样效率 | 步数 1024 时求值 545 | 时间相关建模需 1024 次 | 复用预测近 2 倍加速 | 同模型不同建模 |
| 少步性能 | 8 步最优 16 步趋平 | 多步提升有限 | 少步可用 | 4 个非侵入指标 |
该表显示主要收益是小参数量下非侵入听感超越部分基线且少步可用，具体代价与反例是侵入式语音质量感知评估、短时客观可懂度与失真比上编解码类系统整体偏低，原文解释为编解码不重建干净相位所致；未胜出项是带分裂循环神经网络与改进连续扩散在多数指标仍最好或次好，不能把非侵入领先推广为全面超越。不同指标差值不混入模型列，自动指标不视为人评，百分点与相对百分比在此不适用。
模型尺寸与采样步数如何影响质量与开销？
消融按两个可控变量组织：模型尺寸从超小到超大，采样步数从 1 到 1024。以下导读对应原文随步数与尺寸变化的图，读者可按观察动作确认平台期与排序稳定性。
看图路径： 1. 先看上两行四个非侵入指标随采样步数对数横轴快速上升后趋平的拐点；2. 再对比不同尺寸曲线从超小到超大随模型增大的排序是否一致；3. 最后看左下函数求值次数随步数的折线与右下训练损失随尺寸下降的柱状
论文图 4。原论文 Figure 3：“Top and middle rows: Non-intrusive metrics as a function of Nsteps. Bottom left: Number of function evaluations as a function of Nsteps. Bottom right: DCE on test data.”。
该图上两行显示 4 个非侵入指标随步数对数横轴先陡升后趋平，最优多维质量在 8 步取得，其余在 16 步趋于平台，表明好性能无需上 1000 步；左下显示函数求值次数随步数增长但在 128 步后明显低于步数，1024 步时平均仅 545 次；右下柱状显示去噪交叉熵随模型增大而下降，与非侵入指标排序一致。需要强调总体趋势不等于每步都单调，个别曲线在末段有轻微波动。
采样步数 × 函数求值次数： 采样步数负责把反向时间轴切分为多少个离散更新段，函数求值次数负责统计网络前向实际被调用了多少次；二者搭配的理由是吸收式离散扩散在一步内若无码被解掩码则可复用上一步预测分布，组合意义是步数增加时函数求值次数可以小于步数，从而实现接近 2 倍的加速。
尺寸方面，去噪交叉熵随隐维度增大而降低，非侵入指标随之提升，但侵入式指标的绝对值仍受编解码上限约束。原文大表未给出每种尺寸的最优步数明细，仅说明为每系统选择最佳步数报告，因此跨尺寸比较时需注意步数选择可能不同，这是可部署收益解读的边界。训练与推理开销原文未报告硬件时长与实时率，输出帧率 50 赫兹不等于实际延迟，相关成本在局限节继续说明。
哪些边界尚未验证、哪些推测不能当结论？
论文直接报告的是两套 16 千赫测试集上的客观指标对比，有限解释是将低信噪比鲁棒性归因于编解码学到的强语音先验，未验证推测是该先验的因果机制与语义编码扩展的效果，相关表述应保留可能与待验证的语气。缺失证据不是技术错误，但影响适用判断：未测量误判率、主观听感、延迟与算力成本，不承诺这些量得到改善；未评估全频带与真实录音混响，跨语料结论限于所用噪声与语音组合。
未报告统计显著性与多次随机种子方差，不能断言微小差距必然稳定。相关性不是因果，去噪交叉熵随尺寸下降与听感提升相关，但不证明单独优化该损失必然带来每组信噪比的单调提升。总体趋势不等于每组每步成立，末步结果不能推广全程。原文冲突方面，表头与图注在图号顺序上存在图 3 与图 4 互换的排版现象，解读时以图注文字与像素内容为准，已在本文按内容归位。
复现先做什么、需要哪些超参数与信息条件？
复现应先沿单样本跑通信息条件：准备 16 千赫干净语音与噪声，按负 5 分贝到 15 分贝均匀信噪比动态混合；用冻结编解码器分别编码得到带噪码与干净码，确认下采样总倍约 320、帧率 50 赫兹、4 层每层 1024 条目、码率 2 千比特每秒；再训练对应隐维度的 RQDiT，层数与头数均为 12，掩码用零向量，码本表项复用为嵌入，条件经自适应层归一化注入。训练用 AdamW 学习率万分之一、批量 16、4 秒码序列、梯度裁剪范数 1、1,000,000 步。
推理从全掩码出发，按 8 到 16 步先验证非侵入指标是否趋平，再扩展到 1024 步核对函数求值复用带来的加速。代码与音频样例在官方演示页当前可用，但可用不等于权重可下载或一键可运行，需进一步核对仓库中的训练脚本与权重发布状态。关键超参数与信息条件已在上表列出，未报告的学习率计划、种子与硬件预算需在复现报告中明确补记，以便区分代码开源、权重下载与系统可运行三者的不同含义。
何时值得尝试 ADDSE、何时应选判别式基线？
当任务更看重无参考听感、在低信噪比下仍要产生自然语音、且希望用较少采样步数并行解码时，值得尝试在编解码离散码上做吸收扩散的路线，尤其是已有高质量编解码器的场景。当任务要求波形级保真、高语音质量感知评估与可懂度、或下游依赖相位与精确对齐时，应优先选择带分裂循环神经网络等判别式基线，或改进的连续频域扩散。教学层面的 takeaway 是把增强分解为感知压缩与符号去噪两步，前者决定上限与失真类型，后者决定效率与先验强度。
调参时先固定编解码器再扩展 RQDiT 尺寸与步数，评估时坚持侵入与非侵入并看，并按输入信噪比分段检查鲁棒性。未来工作按原文指向全频带与语义编码，复现者若补做应优先补主观听感、显著性检验与延迟功耗测量，才能把当前客观指标上的竞争力转化为可部署结论。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses