在插值随机微分方程里把线性部分算准：十步恢复语音的求解器

英文题目：A Fast Solver for Interpolating Stochastic Differential Equation Diffusion Models for Speech Restoration

会议身份：conference:interspeech:2026:conference-paper-id:lay26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #高效推理 #语音 #音频修复

评分：6.9/10 | 创新 1.5/2 | 技术严谨 1.3/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Bunlong Lay：机构信息未能从会议 PDF 纯文本可靠映射
• Timo Gerkmann：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音修复需从噪声、混响、削波、MP3压缩及窄带等退化观测中恢复干净语音，难点在于条件扩散逆过程需数十次调用大型评分网络且刚度发散导致不稳定。先以干净语音与退化观测间线性插值的均值演化假设为输入，将多类线性随机微分方程统一为插值随机微分方程，职责是证明漂移必为刚度加权残差形式并给出刚度函数与插值函数、扩散系数的互推公式，输出刚度函数与均值方差闭式演化。再以该刚度函数与已训练评分网络估计为输入，基于指数Runge-Kutta思想推导条件概率流常微分方程与含噪逆向随机微分方程的可调噪声族统一快速求解器，输出各离散时间步的二阶采样更新公式，该公式直接决定下一步的积分与噪声注入方式。最后以离散时间网格上的当前状态与中点评分为输入，用基本解精确积分含观测的线性刚性部分，再对评分非线性部分做Taylor展开并以权重积分，最后注入经精确积分的高斯噪声以调节随机性并生成下一状态。与Euler-Maruyama等直接离散全部漂移的方法不同，精确积分线性部分消除了刚度误差并保持二阶精度，因而能以更少调用达到高阶自适应求解器的质量。在去混响任务的测试集下，iSDE-2S的调用量指标为10 NFE，低于EuM、RK2和PC的调用量指标40 NFE。该结论的适用边界受限于复数短时傅里叶变换与NCSN++骨干及所训固定方差爆炸过程，对其他表示与极端退化的泛化尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么需要快速逆过程？

这篇解读的输入是论文正文证据与本次收到的官方原图像素，目标是让刚进入语音与音频方向的研究生能够核对方法并复述流程，必须保留的关键信息包括任务定义、插值过程的构造方式、求解器的计算步骤、训练与评估条件以及主要代价，输出是 1 篇按学习依赖展开的中文技术解读。语音恢复的任务是从退化信号中找回干净语音，退化可以是环境噪声、混响、限幅削波、带宽截断或有损压缩，论文把这些退化统一写成时域算子作用于干净语音的形式。

生成式扩散做法不是直接学习退化到干净的映射，而是先定义一个前向随机过程把干净语音逐渐推向以退化信号为中心的分布，再训练神经网络去逆向求解这个过程。逆向求解通常需要几 10 次调用大型神经网络，对语音这种长时信号而言计算负担很重。论文要解决的矛盾是已有快速求解器只针对无条件扩散推导，而语音恢复的条件插值过程多了一个与退化信号有关的漂移项，不能直接套用。

理解这一点后，后续的统一公式与求解器推导才有明确动机：先把各类条件过程写成同一类方程，再为这类方程设计省步数的积分方法。

附：术语与符号速查

插值随机微分方程指均值在干净与退化之间插值的前向方程，概率流常微分方程指与其共享边缘分布的确定性逆方程，刚度函数控制均值被拉向观测的快慢，扩散系数控制噪声注入量，插值函数是零到一的单调权重，打分是条件对数密度的梯度，函数评估次数是调用网络的次数，自适应方法是通过误差容限自动加密步长的高精度参考。符号上 t 为扩散时刻，T 为截断起始时刻，M 为步数，N 为评估次数的 2 倍关系取决于每步调用次数，卡帕为随机注入强度，p 为截断阶数。这些定义在后文保持固定，便于回指。

已有路线如何处理条件扩散与快速采样？

与本文同输入同目标的工作包括基于分数的语音增强与恢复，例如在复数短时傅里叶变换域上建立条件扩散的语音增强模型，以及后续针对先验失配、方差保持插值、布朗桥和最优传输等提出的多种插值随机微分方程。这些工作共享相同的运行阶段，即训练阶段学习条件打分，推理阶段从退化信号加噪声出发数值求解逆向随机微分方程或概率流常微分方程。

另一条路线是无条件图像生成的快速采样，例如指数积分器与去噪扩散概率模型求解器，它们通过解析处理线性项加泰勒展开网络项来减少函数评估次数。论文明确指出这些快速求解器只针对均值趋向零的无条件过程推导，因此不能直接用于均值趋向退化信号的条件过程。布朗桥与薛定谔桥等也可以写成插值形式，但此前缺少统一数学表述。

本文的定位不是提出新的网络结构，而是补上统一表述与条件快速求解器，并用相同网络与相同评估次数去比较不同数值积分策略。同监督对照在于都使用去噪打分匹配或噪声预测目标，同运行阶段对照在于推理都从截断时刻的近似分布出发逐步去噪。

附：同条件对照的阅读方法

阅读相关工作时应按同输入同目标同监督同阶段对照：输入是否为退化波形或其谱表示，目标是否为干净语音估计，监督是否为配对数据的打分或噪声目标，运行阶段是否为训练后数值求解逆过程。类别差异如无条件生成与条件恢复的差异不应直接当成同条件胜负，阶数差异如 1 阶与 4 阶的差异不应直接当成模型能力差异。论文特有的细节是把多种已有方程归入同一参数表，这种归一化便于比较刚度发散与方差命名问题，但不改变各方程原本的训练目标。掌握这套对照方法后，才能把结果矩阵中的曲线差距正确归因于数值积分策略而非数据或网络差异。

论文把哪类方程定为研究对象？

论文把研究对象限定为线性插值随机微分方程。设干净语音为初始状态，退化观测为条件，前向过程的漂移对当前状态是线性的，扩散系数只与时间有关，因此扰动核是高斯分布，可以写出均值演化与方差演化。插值的含义是均值演化是干净语音与退化信号的凸组合，组合权重由随时间单调递增的插值函数决定，起始为零，终止趋向一。

举一个教学例子而非论文数值：若插值权重为零则均值等于干净语音，若权重趋向一则均值趋向退化信号，中间时刻相当于按比例混入退化与干净的差值。对降噪任务这个差值对应环境噪声，对带宽扩展任务这个差值对应缺失的高频内容。论文进一步证明这类方程的漂移必须具有刚度函数乘以退化减当前状态的形式，刚度函数与插值函数通过导数关系相互决定。

当终止时刻有限时刚度函数会发散带来数值不稳定，因此推理必须在略小于最大时刻处截断，并把终止均值近似为退化信号本身。逆向过程则是一族由参数控制的逆向随机微分方程，取零得到概率流常微分方程，取一得到经典逆向随机微分方程，前者确定性更强，后者每步注入高斯噪声以探索分布。

从退化语音到干净估计要走哪几步？

沿一个样本走完流程有助于建立整体图像。输入是一段退化波形，先转换到复数短时傅里叶变换域并做幅度压缩，得到条件观测。训练好的打分网络以当前状态、条件观测与扩散时刻为输入，输出打分估计或噪声估计。推理从截断时刻的状态出发，该状态可视为退化信号加对应方差的高斯噪声，因为真实干净语音未知而插值权重已接近一。

然后按预先设定的从大到小的时间表逐步积分逆向方程，每一步调用 1 次或 2 次网络并更新状态，最终在零时刻得到干净语音的估计，再逆变换回波形。方法全景包含 3 个组件：统一插值方程的构造法则，给定目标均值与方差反解漂移与扩散；逆向方程族与截断采样起点；基于指数龙格库塔的快速求解器，它把线性漂移解析积分，把网络项做泰勒展开并用可解析或数值计算的权重加权求和，必要时再加入精确积分的随机项。

插值随机微分方程 × 概率流常微分方程： 插值随机微分方程负责规定前向过程的均值从干净语音向带噪观测插值并加入高斯噪声，概率流常微分方程负责在相同边缘分布下给出一条去掉随机注入项的确定性逆向轨迹，二者搭配的原因是前者定义了条件恢复问题，后者提供了可以用常微分方程求解器快速积分的逆向路径，组合意义是把随机逆过程的求解转化为对确定性方程的快速数值积分。

该全景的教学意义是把建模与数值解耦：建模回答前向过程如何定义，数值回答逆向积分如何省步数，实验回答省步数后质量是否保持。

漂移、扩散与插值函数如何相互决定？

这一节承担把构造法则讲可操作的任务。符号上用小写 t 表示扩散时间，用 x 表示过程状态，用 y 表示退化观测，用 k 表示插值函数，用伽马表示刚度函数，用 g 表示扩散系数，用西格玛表示标准差演化。计算目标是给定想要的均值插值曲线与方差曲线，求出能实现它们的前向方程系数。原文给出的实现是先由插值函数的导数除以一减插值函数得到刚度函数，再由漂移等于刚度乘以观测减当前状态得到漂移。

若扩散系数已知则由线性方程的方差公式算出方差，若想要指定方差则反解该公式得到扩散系数的平方。论文用该法则整理了已有插值方程，并指出有限终止时刻的方程在末端刚度发散，而终止时刻无穷的奥恩斯坦乌伦贝克方差爆炸方程可以避开该不稳定。为修正原方程中最大最小方差参数名不副实的问题，论文构造了固定版本，使最大标准差确实等于参数标称的最大值，便于网格搜索。

漂移系数 × 扩散系数： 漂移系数负责控制过程均值如何被拉向带噪观测，扩散系数负责控制每个时刻注入多少高斯噪声，搭配理由是线性随机微分方程的均值演化和方差演化分别由二者决定，组合意义是给定目标插值函数和目标方差就能反解出所需的漂移与扩散，从而构造出具有指定均值方差的插值过程。

理解这组关系后，才能明白为什么不同任务可以共用同一求解框架：只要给出各自的插值与方差曲线，求解器面对的只是不同的刚度与扩散函数。

指数龙格库塔 × 非线性部分： 指数龙格库塔负责把含带噪观测的线性漂移项解析积分出来，非线性部分负责集中处理包含神经网络打分估计的积分项，二者搭配的原因是线性部分有闭式基本解而网络项只能数值近似，组合意义是避免对刚性线性项做粗糙近似，把截断误差集中到对网络输出的泰勒展开上，从而用很少步数保持精度。

求解时线性部分的基本解是指数加权形式，条件情形下还多出一项与观测有关的线性组合，非线性部分的权重积分一般需要数值积分，但在固定版本与原版本下方可化简为可解析的递推形式。

网络学什么，参数如何选择与冻结？

训练阶段学习的是条件打分的近似。给定干净与退化配对，按当前时刻的均值与方差采样出带噪状态，网络以带噪状态、退化观测与时刻为输入，优化去噪打分匹配损失或等价的噪声预测损失。原文报告使用 2 维 U 型网络作为主干，采用自适应矩估计优化，批量大小为十六，扩散时刻在下限与截断上限之间均匀采样以避开零附近的数值问题。

幅度压缩的指数固定为 0.5，压缩尺度按干净数据虚部实部绝大多数落在正负一以内来初选，再由干净与带噪压缩谱的均方根误差分位数初选最大方差参数，最小方差与初始刚度按固定值设置，随后在 3 倍范围内网格搜索最优最大方差。论文对每个任务训练 3 个不同最大方差的模型，再用验证集 10 个文件以欧拉丸山法 60 步求解并按尺度不变信失真比选出最优模型用于测试。

推理阶段网络参数冻结，只调整求解器的步数与随机注入强度，不再额外训练。未报告的内容是网络的具体层数与学习率调度细节，解读不从模型名称推定这些实现，复现时应以公开代码与配置为准。

去噪打分匹配损失 × 噪声预测损失： 去噪打分匹配损失负责让网络直接拟合条件打分除以方差后的目标，噪声预测损失负责让网络预测加入过程的高斯噪声，二者分工是同一训练目标的两种参数化，搭配理由是语音恢复常用前者而无条件扩散求解器常用后者，组合意义是论文的求解器必须同时兼容两种参数化才能把无条件快速求解思想搬到条件插值过程。

这种两种损失并存的安排解释了求解器为何要兼容两种参数化：语音任务常用打分形式，而快速求解器的推导常用噪声形式，统一处理才能复用指数积分思想。

数据、退化、指标与基线如何组织？

实验按问题组织：测不同数值求解器在相同函数评估次数下能否保持恢复质量。数据方面，降噪使用公开的耳朵与环境噪声配对数据集，原始采样率下采样到 16 kHz，训练验证测试时长分别为数十小时与 1 小时量级；带宽扩展、MP3 解码与削波任务复用同一干净语音划分并人工构造退化，去混响使用带房间脉冲响应的混响数据集。

退化构造在时域定义：降噪为加性噪声，带宽扩展为下采样到 8 kHz 与 4 kHz 形成高频缺失，去混响为与房间脉冲响应卷积，MP3 解码为以多档比特率压缩再解码引入量化与带限伪影，削波为对峰值归一并放缩后的波形做硬限幅。表示上统一使用窗口约 32 毫秒、跳跃 16 毫秒的短时傅里叶变换并做幅度压缩。指标方向需要记牢：语音质量与平均意见分预测越高越好，尺度不变信失真比越高越好，对数谱距离与音频距离越低越好。

基线包括 1 阶欧拉丸山、预测校正、中点法 2 阶龙格库塔以及自适应 4 阶方法，比较时固定相同评估次数并采用等间隔时间表，自适应方法则按误差容限自动加密步数。论文还报告了各任务的压缩参数与方差初值选择，下表把这些分散在正文中的配置集中为可核对的一览，便于复现时逐项对照。 表前比较问题是不同任务的最优方差尺度是否相同，公平条件是压缩指数与最小方差固定而最大方差网格搜索，指标方向不涉及优劣只涉及配置可重复性。

表后解释是该表只承担配置复现功能而不承担性能比较，最大方差随任务而变说明不同退化强度需要不同的噪声覆盖范围，最小方差与刚度固定则减少了搜索维度，复现时应先按此初值训练再在 2 倍 3 倍处验证，未胜出或未评测的组合不应视为无效，只是原文未报告其结果。

十步求解能否追平数十步的自适应参考？

主结果要回答在很少评估次数下本方法与其他可运行求解器的差距。论文报告本方法在削波、去混响与降噪上以 10 次评估超越其他固定步长求解器，当评估次数增大到四十时其他求解器才逐渐追平；在去混响的语音质量指标上仍留有约 0.08 的差距，而自适应参考在该任务平均需要 91 次评估。两个例外是带宽扩展与 MP3 解码，在这些任务上中点法与本方法几乎持平，论文解释为线性项精确积分带来的增益小于非线性项的影响。

像素层面的总体趋势是绿色本方法曲线在横轴为十处多数已接近收敛，而蓝色红色曲线仍在爬升，低评估次数下残留噪声较大的格子表现为质量指标低与距离指标高。需要强调的是自适应方法是 4 阶且步数远多，因此它是精度上限而非同等成本的竞争者，用 10 步追平它才构成可部署收益。

函数评估次数 × 自适应 RK45： 函数评估次数负责度量逆向求解调用神经网络的次数，自适应 RK45 负责以 4 阶精度和误差控制自动加密步长给出高精度参考解，二者搭配的原因是前者是公平比较计算量的标尺而后者是精度上限的参照，组合意义是用相同或更少的评估次数能否追平自适应参考来判断快速求解器是否真正省算力。

下图是论文按任务分行按指标分列的结果矩阵，阅读时应先确认每行任务与每列指标的升降含义，再比较相同横轴处的曲线高低，不能把距离指标向下直接读成变差，也不能把某一步的最优推广为全程最优。 结果导读段已经说明横轴为函数评估次数而纵轴随指标而变，同一颜色在不同列代表同一求解器，虚线分别代表自适应参考与退化信号，观察动作见图注绑定，解释段将结合像素可见趋势给出判断与限制。

看图路径： 1. 先按行找到五个任务、按列找到五个指标，确认横轴都是函数评估次数；2. 再对比绿色本方法曲线与其他三条固定步长曲线在横轴 10 处的上下位置；3. 然后观察紫色虚线自适应参考与灰色虚线退化信号在每格中的高度；4. 最后检查带宽扩展行中绿色与黄色曲线是否几乎重合以确认例外

论文图 1。原论文 Figure 1：“Results on the different tasks with different samplers. For all tasks, adaptive RK45 uses more than 40 NFEs.”。

从像素可见，削波首行中绿色曲线在横轴十处已跃升到顶部平台，而其他实线仍明显偏离；去混响与降噪中绿色曲线同样早早收敛；带宽扩展末行中绿色与黄色曲线几乎重合且语音质量列出现与其他任务不同的排序，这支持论文关于该任务线性项增益有限的解释；MP3 解码行在极少步数时中点法略占优，论文将其归因于对残留高斯噪声的去除更彻底。

所有任务的自适应虚线都位于高评估次数对应的平台附近，证实了 10 步达到相近平台即具实际价值，但也显示本方法并非在每个指标每种步数下都全面领先。 为公平比较必须保留原文实际可运行的策略与自适应事后参考的区分，下表把正文报告的步数规模集中呈现，表前问题是 10 步与数十步的差距有多大，公平条件是相同网络与相同测试集，指标方向是评估次数越少越好而质量越高越好。

表后解释是本表的主要收益在于量化加速比：本方法以 10 次评估达到其他方法约 40 次评估的平台，而自适应参考平均需要 40 次以上。

具体代价与反例是去混响语音质量仍有差距且带宽扩展与 MP3 解码未拉开差距，说明加速效果与任务相关，不能推广为所有退化下 2 阶精确线性积分必然更优。

随机注入强度变化会带来什么？

消融要回答逆向方程族中随机注入强度的作用。论文固定 10 次评估，在降噪的固定版本过程上比较不同卡帕取值的 2 阶求解器，卡帕为零对应概率流常微分方程，卡帕大于零对应逆向随机微分方程并在每步加入精确积分的随机项。报告显示卡帕从零增大到 0.1 时各项指标改善，语音质量提升超过 0.1，而卡帕为 0.125 时仍有提升但平均意见分开始回落，卡帕更大则恢复文件中残留过多高斯噪声。

论文指出卡帕过大后需要更多扩散步数才能消除注入的噪声，因此在固定很少步数时存在最优区间。这一消融的支持判断是训练后无需重训即可通过调节卡帕经验性调优性能，限制是该结论仅在降噪与 10 步条件下验证，未验证其他任务与其他步数下的最优值，复现时应把卡帕视为推理超参数而非训练参数。未胜出项是过大卡帕的配置，它在当前步数下表现更差，但这不否定随机注入在更多步数下的潜在价值，只是说明步数与噪声注入需要联合选择。

哪些条件尚未验证，不能承诺什么？

论文直接报告的局限包括有限终止时刻方程的刚度发散必须截断处理，非线性权重积分一般没有闭式解而需数值积分，以及带宽扩展与 MP3 解码上本方法与中点法持平。有限解释是线性项精确积分的收益取决于线性项与非线性项的相对重要性，任务相关因此不能保证处处领先。未验证的推测是其他快速求解器变体能否同样搬到条件过程，论文只为后续工作铺路而未给出结果。

缺失证据不是技术错误，但复现与选型时必须注意：原文未测量每步延迟与内存占用，总体评估次数减少不等于每组语音都减少相同比例，也不等于端到端延迟同比例下降；未测量误判率与主观听感的大规模统计，不能把客观指标提升直接等同于人评提升；训练资源与推理开销应分别讨论，网格搜索 3 个最大方差意味着 3 倍训练成本，而推理节省的是调用次数。

相关性不等于因果，例如中点法在极少步数下去除噪声更彻底可能与具体步长划分有关，尚需更细的步长消融才能确认机制。

复现应先做什么，需要哪些信息条件？

复现先做表示与数据对齐：按 16 kHz、窗口 510 点、跳跃二百五十六点与周期汉宁窗生成复数谱，按任务设置压缩指数与尺度，按划分构造 5 种退化并保留干净配对。然后按固定最小方差与刚度、任务相关最大方差初值训练打分网络，批量十六并在下限与截断上限间均匀采样时刻，再用验证集十文件 60 步欧拉丸山按尺度不变信失真比选模型。

推理复现关键是实现条件线性项的解析更新与 2 阶泰勒权重的数值积分，固定版本与原版本可分别验证解析递推，随机项按附录的精确积分加入。评估时固定相同评估次数比较欧拉丸山、预测校正、中点法与本方法，并以自适应 4 阶方法为精度参考但不作为同成本基线。资源状态是正文开源声明的唯一依据，本次未发现来源绑定且完成安全验证的资源，因此不得声称代码模型或数据已公开，复现应以论文参数与上述流程自行实现。

还需补的验证包括其他卡帕与其他步数的联合扫描、更多房间与比特率下的泛化，以及在真实器件上的延迟测量。

何时值得尝试这种条件快速求解？

当任务可写成干净与退化之间线性插值的条件扩散，且推理成本主要来自神经网络调用时，值得尝试这种把线性漂移解析积分、把网络项做低阶泰勒展开的条件快速求解。它在削波、去混响与降噪上用很少步数达到深厚求解器的平台，代价是需要在验证集上选择最大方差与随机注入强度，且在带宽扩展与压缩伪影类任务上可能与普通 2 阶方法持平。教学上的误解需要澄清：快速不是因为模型变小，而是因为数值积分对刚性线性部分不再做粗糙近似。

随机注入不是越大越好，而是在步数受限时存在权衡；自适应高阶解不是可部署对手，而是用来确认低步数解是否已足够准。后续工作可沿论文指出的方向把更多无条件快速变体搬到插值方程，并在更多退化与更多步数下补齐验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总