冻住分类器做生成：用判别主干复用出扩散分数

英文题目：Repurposing a Speech Classifier for Guided Diffusion-Based Speech Generation

会议身份：conference:interspeech:2026:conference-paper-id:makarov26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#Adapter #扩散模型 #高效推理 #语音合成

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Rostislav Makarov：机构信息未能从会议 PDF 纯文本可靠映射
• Timo Gerkmann：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理以类别标签为条件的对数梅尔谱语音生成问题，痛点是标准分类器引导（Classifier Guidance）需同时训练和评估分数模型与噪声条件分类器，参数与采样开销大。方法链为：先在加噪对数梅尔输入上用交叉熵训练 U-Net 改造的噪声条件分类器并冻结，再从其多尺度前向抽头与对联合能量模型（Joint Energy-based Model）边际对数密度求偏导得到的梯度抽头构造融合信号，最后仅训练轻量解码式分数子网（Score Subnet）在去噪分数匹配（Denoising Score Matching）目标下预测无条件分数，条件采样时再叠加同一冻结分类器的分类对数概率梯度。与需双模型联合采样的标准管线不同，该机制把判别主干复用为固定多尺度特征提取器，回避了能量模型归一化常数的不稳定联合训练。在 SC09 无条件生成中子网以 4.4M 可训练参数取得 FID 0.17，持平 16.6M 全量 U-Net；在引导强度 3.0 的条件生成中双方均达 FID 0.03 左右，子网单步计算从 22.74 GMACs 降至 16.44 GMACs。该结论的适用边界受限于SC09十类英文数字语料与单一16kHz HiFi-GAN重建链路，尚未验证对大词表、文本条件或直接波形生成的可迁移性。其推理开销因复用冻结主干而使单步计算量下降，但训练成本仍需先训练噪声条件分类器再训练子网，且采样需100步VP-SDE求解。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么：从带噪谱到可听数字语音

本文的输入是论文实际研究的语音生成任务，不是通用的文本到语音或任意音频合成。研究对象是 SC09 口语数字子集，也就是英文零到九的孤立词发音，数据来自语音命令数据集并沿用官方训练验证测试划分。模型并不直接在波形上扩散，而是在对数梅尔滤波器组特征上操作。对初学者可以这样理解：先把波形做短时傅里叶变换得到频谱，再用 80 个梅尔滤波器压缩频率轴并取对数，就得到一张频率乘时间的 2 维特征图。论文用快速傅里叶变换点数 1024、跳长 256、80 个梅尔分量，并在训练集上估计全局归一化统计量，把特征映射到 -1 到 1 区间，目的是让扩散训练更稳定。

目标是学会从高斯噪声出发，经由逆向随机微分方程逐步去噪，最终得到属于目标分布的对数梅尔谱，再用预训练声码器还原为波形。无条件生成要求整体听感自然且类别多样，条件生成要求发音内容符合指定数字标签。评估因此分成 3 类：一是语音质量估计与音频距离，二是基于辅助分类器的保真度与多样性，三是计算代价。必须保留的关键信息是特征空间、归一化方式、声码器外置、采样步数与引导机制，后文所有方法与实验都依赖这些条件。

原文脚注给出了项目页链接，但本次没有来源绑定且完成超文本传输安全协议状态验证的资源，因此不能写代码与音频已公开或当前可用，只能说原文声明了项目页地址，本次未能确认可达。

已有路线如何做条件扩散：双模型引导与能量视角

在进入本文方法前，需要先分清两条已有路线。第一条是分类器引导的标准做法：训练一个无条件分数模型估计数据分布的分数，同时单独训练一个噪声条件分类器估计给定带噪输入下类别的对数概率。采样时把两者相加，用引导强度控制类别约束。它的优点是条件控制直接，缺点是训练与采样都要维护 2 个模型，每一步逆向采样都要同时走分数模型前向和分类器前向加反向，显存与计算翻倍。

第二条是联合能量模型视角：把分类器的输出值看作输入与标签联合分布的未归一化对数概率，对输入求导就能得到一种边际分布的分数近似。这样分类器本身似乎藏了一个生成模型。但论文明确指出，直接按能量模型训练要处理难解的归一化常数，已有报告称优化不稳定。另一项相关工作能量分类器生成器同时用生成与判别目标训练一个时间条件分类器，但它依赖编码解码结构的分类器主干，不符合本文想复用常规前馈分类器的目标。所以本文不是简单合并两个损失，而是把能量视角降格为表示层面的信号来源，真正的分数仍用去噪分数匹配学习。

中心矛盾：判别主干里是否有足够生成信息？

论文提出的核心问题是：一个按常规方式训练的噪声条件语音分类器，其参数冻结后，中间特征是否已经包含足够信息来支撑基于分数的生成。如果答案是肯定的，就不必再训练一个完整的编码解码分数模型，只需在分类器顶部接一个轻量解码器，把判别表示翻译成扩散分数。这既是参数效率问题，也是对判别与生成关系的 1 次检验。

为理解条件生成的计算结构，先用白话解释两个术语。分数是数据对数密度对带噪输入的梯度，英文为 score，它指向让样本更像真实数据的方向。分类器引导是把类别对数概率对输入的梯度加到分数上，英文为 classifier guidance，它把采样推向指定类别。

分数 × 分类器引导： 分数负责给出无条件去噪方向，即当前带噪特征应该向数据流形移动的向量场；分类器引导负责给出朝向目标类别的条件修正，即目标类别对数概率对输入的梯度。两者搭配的理由是贝叶斯分解把条件分数写成无条件分数加类别梯度，组合意义是用加权求和得到可采样的条件分数，权重 γ 控制类别约束强度。

沿一个样本走一遍有助于建立依赖关系。取一个真实数字发音的对数梅尔谱，按前向扩散加噪得到带噪特征，分类器给出各数字的概率，分数模型给出无条件去噪方向，两者加权得到条件去噪方向，再用数值求解器向时间零方向走一步。重复 100 步后得到干净谱，最后经声码器变成波形。本文要替换的正是其中分数模型这一整块，用冻结分类器加子网来承担。

方法全景：冻结分类器加解码子网的单主干结构

本文方法可以概括为单主干复用。先按交叉熵在带噪输入上训练一个噪声条件分类器，训练完成后参数冻结。接着在其多个分辨率上抽取中间特征图，称为抽头，同时对联合能量式边际对数密度反向传播到这些抽头，得到梯度抽头。两类抽头经归一化投影与融合后，送入一个由粗到细的解码子网，子网输出与输入同分辨率的分数估计。训练只更新子网参数，推理时无条件采样直接用子网分数，条件采样再叠加标准分类器引导。

下面这张图是理解双路径差异的关键，阅读时先分清上面标准管线与下面复用管线的输入输出，再看信号方向。图中面板 a 展示标准分类器引导需要独立的分数模型与分类器，面板 b 展示冻结分类器如何同时提供前向与梯度抽头并由子网预测分数，右侧还给出抽头融合与向量化分支的细节，图注对概率符号与抽头含义有直接说明。

看图路径： 1. 先沿面板 a 的下分支看 U-Net 从带噪输入到分数预测的主路径，再看上分支分类器如何回传类别梯度；2. 再看面板 b 冻结分类器下方的绿色前向箭头与红色虚线梯度箭头分别接到哪些抽头位置；3. 对照右上角融合模块，确认归一化投影与交叉注意力在每个分辨率上的接入方式；4. 看右下向量化分支如何从同一 logits 分出求和指数路径与 Softmax 路径

论文图 1。原论文 Figure 1：“Conditional diffusion with classifier guidance.”。

从像素可见，面板 a 下方是一条完整的编码解码链，从带噪谱输入经多级下采样与上采样得到分数预测，上方分类器链用实线表示前向、虚线表示梯度回传，最终在输入端形成类别梯度。面板 b 下方蓝色框内是冻结分类器，绿色箭头的前向抽头与红色虚线的梯度抽头逐级向上送入标有融合符号的子网解码器，最左端输出分数。右下向量化框显示同一组类别输出值经 1 乘 1 卷积与空间求和后，一路做求和指数得到无归一化边际模型用于梯度抽头，另一路做 Softmax 得到条件分布用于分类器引导。这张图不支持把颜色深浅读成数值大小，只能确认模块连接与信号类型。

分数与能量信号如何分工：只取表示，不做能量训练

这一节解决初学者最容易混淆的一点：论文用了联合能量模型的公式，但没有做联合能量模型的训练。白话来说，联合能量模型是把分类器输出值重新解释为联合分布的做法，英文为 Joint Energy-based Model。去噪分数匹配是用已知加噪核的解析分数做回归的做法，英文为 Denoising Score Matching。前者提供灵感，后者提供监督。

联合能量模型 × 去噪分数匹配： 联合能量模型负责把分类器 logits 解释为输入与标签的未归一化联合分布，从而对中间激活求导能得到一种类分数的解析信号；去噪分数匹配负责用带噪样本的真实扰动分数做回归，给出最终可学习的优化目标。搭配原因是前者只提供表示层面的启发信号且归一化常数难处理，后者承担真正的分数拟合，组合意义是冻结分类器不动、只让子网学会把前向与梯度抽头映射为准确分数。

具体操作是：冻结分类器记为固定参数，取其第零到第 K 个阶段的中间特征作为前向抽头。对所有类别的指数化输出求和取对数，得到边际对数密度，再对每个阶段特征求偏导，得到梯度抽头。原文强调归一化常数对输入的梯度为零因此在求导中消去，但并不意味着归一化常数可求或训练稳定，论文正是为了避开这一点才不更新分类器。梯度路径在原文中只明确到抽头层面，没有给出子网内部每一步的梯度细节，因此不能脑补子网注意力内部的反向实现。

抽头融合与解码：从最深层开始逐级还原分辨率

拿到两类抽头后，论文的处理分为 3 步。第一步是对每层的前向抽头与梯度抽头分别做均方根归一化并投影到相同通道数。第二步是用交叉注意力模块融合两者，形成该分辨率的融合抽头。第 3 步是解码：从最深的融合抽头出发，经过若干残差块，上采样到下一分辨率，再与该层的融合抽头相加，重复直到回到原始对数梅尔分辨率，最后用归一化加激活加卷积的输出头映射为单通道分数估计。

前向抽头 × 梯度抽头： 前向抽头负责提供冻结分类器各分辨率的判别特征，保留语音内容的层次表示；梯度抽头负责提供把联合能量边际对数密度对各层特征求导后的反向信号，携带与生成方向相关的敏感度信息。搭配原因是单靠判别特征不足以直接得到分数，梯度路径补上能量视角下的方向线索，组合意义是两者经归一化投影后用交叉注意力融合再送入由粗到细的解码器。

冻结主干 × 分数子网： 冻结主干负责固定噪声条件分类器的全部参数并在前向与反向中提供多尺度抽头，不接受梯度更新；分数子网负责从最深融合抽头出发逐级上采样并叠加各层融合特征，最终输出对数梅尔空间的分数估计。搭配原因是复用判别编码器代替重新训练完整编码解码器，组合意义是单主干同时承担分类与生成所需的表示，只用约 4.4M 可训练参数完成扩散建模。

需要提醒的是，分类器主干本身是从标准 U-Net 改造而来：保留输入投影、时间嵌入、下采样路径与瓶颈，把上采样路径换成分类头，瓶颈展平后投影到类别输出。子网则使用与分类器编码器相同的抽头阶段，每阶段含 3 个残差块，基础宽度为 32。这种对称设计保证了分辨率对齐，但原文没有报告注意力头数与投影维度的完整超参数，这是复现时需要补看代码或附录的缺项，不能从模型名称推定。

训练谁、冻结谁：三段式流程与监督来源

训练流程按原文分为 3 个部件，随机种子固定。第一是 U-Net 扩散基线，直接用去噪分数匹配端到端预测分数，监督来自加噪核的解析扰动分数，期望用经验平均近似。第二是噪声条件分类器，用带噪输入上的交叉熵训练，监督来自真实数字标签与扩散时间的联合采样，得到给定带噪特征的类别概率。第三是分数子网，冻结分类器参数，只用去噪分数匹配更新子网参数，输入是上述两类抽头，目标同样是扰动分数。

采样与引导属于推理阶段，不是训练损失的一部分。所有扩散模型使用方差保持随机微分方程与 100 步逆向欧拉马鲁亚马求解器，每步把中间分数预测裁剪到 -1 到 1 区间。条件生成时用同一冻结分类器按标准公式叠加引导项，并扫描引导强度。原文没有报告优化器类型、学习率、批量大小与训练轮数，也没有说明分类器噪声时刻采样分布与数据增强细节，因此不能复述完整的训练配置，只能明确参数冻结与更新边界：分类器在子网训练与引导采样中均冻结，子网是唯一可训练的生成部件。

实验条件：数据、特征、声码器与指标方向

数据方面，论文以 SC09 为主要基准，即语音命令数据集中零到九的口语数字，沿用官方划分。特征为 80 维对数梅尔滤波器组，快速傅里叶变换点数 1024、跳长 256，全局归一化后映射到 -1 到 1，生成后用预训练的 16 kHz HiFi-GAN 声码器重建波形。指标方面，辅助 ResNeXt 指标沿用无条件音频生成基准仓库的协议，包括特征空间弗雷歇距离、Inception 分数、类别均衡版本与激活最大化，其中距离越低越好，后三者按原文方向理解为越高表示置信度与多样性越好。

另有两个音频相关指标：基于 VGGish 嵌入的弗雷歇音频距离越低越好，非侵入式语音质量预测分数越高越好。计算量用 THOP 估计 1 秒输入单步逆向的乘加操作数，分类器反向只计输入梯度相关的卷积与线性层。

对数梅尔滤波器组 × HiFi-GAN 声码器： 对数梅尔滤波器组负责作为扩散建模与分数预测的特征空间，把波形压缩为 80 维时频表示；HiFi-GAN 声码器负责把生成的对数梅尔谱还原为 16 kHz 波形用于试听与音频指标计算。搭配原因是扩散过程在更平稳低维的谱域更易训练，组合意义是生成与评估解耦，频谱质量由扩散模型决定，可听波形质量还受预训练声码器影响。

采样评估时每个模型生成 2048 个样本，音频距离对 SC09 全部测试集 4107 条语音计算。必须注意辅助分类器指标依赖特定预训练模型与训练集参考分布，不能把自动指标等同于人耳评价，不同指标的差值也不能混在同一列下比较。原文没有报告统计显著性与多次采样的方差，这是解读小幅领先时需要保留的不确定性。

无条件生成：更少可训练参数能否打平全量 U-Net？

比较的问题是：在无条件 SC09 生成中，只训练轻量子网的方法能否在质量与多样性上打平端到端 U-Net，代价是什么。公平条件是同特征、同声码器、同采样步数与同评估样本量，指标方向按上节理解，质量分越高越好、距离越低越好。

表后解释需要同时讲收益与代价。论文报告显示，端到端 U-Net 已强于开源基线，在感知质量与多数指标上领先，而分数子网在弗雷歇距离上与 U-Net 持平并在质量与其余指标上进一步改善，同时把可训练参数从全量降到子网规模并降低单步计算。代价是完整子网仍需前向加梯度两类抽头，计算量只是小幅下降，并非数量级节省。未胜出项是去掉梯度抽头的变体，它在多数指标上弱于完整子网，说明梯度路径确有贡献，但它把计算降到约一半，这构成质量与开销的权衡。原文对开源基线的参数只列出总量而未统一计算量口径，因此跨仓库比较只能定性参考，不能当作同条件胜负。

条件生成：复用主干能否省掉第二个模型？

第二个比较问题是：当加入分类器引导做条件生成时，复用引导分类器作为生成主干的方法能否与标准双模型管线打平。公平条件是引导强度取 3.0 且两方法使用同一个引导分类器，分数子网把该分类器直接当作自身主干的一部分，从而复用其前向计算。

表后解释要指出，论文报告的条件生成质量上分数子网与标准分类器引导 U-Net 基本相当，但在总量、可训练量与单步计算上更紧凑。节省的来源不是去掉引导，而是引导分类器的前向被生成主干复用，避免了双模型各自独立编码器的重复。代价是条件行的音频距离与部分指标仍略高于无条件行的理想值，且无梯度抽头变体虽然更便宜但整体稍弱。未评测边界是更大引导强度下的可懂度与伪影变化，主表只报告了 3.0 这一点，不能把该点的打平推广到所有引导强度。

低数据与零样本引导下：表示复用是否更抗数据不足？

论文进一步做了低数据与零样本消融，教学价值在于检验判别表示的迁移能力。做法是引导分类器仍在完整 SC09 上训练，而扩散模型或子网只在受限子集上训练，包括 3% 训练数据、仅含标签三五七、仅含标签四三种情况，采样时用同一冻结分类器做引导并扫描引导强度。纵轴为弗雷歇距离越低越好，横轴为引导强度从无条件到 300，图例区分完整子网、U-Net 与无梯度抽头子网。

看图路径： 1. 先确认三行子图的训练条件标题与横轴引导强度从无条件到 300 的排列；2. 再对比每行中绿色完整子网、橙色 U-Net、紫色无梯度抽头三条线的相对高低；3. 观察第一行小引导强度下曲线快速下降后趋平的位置差异；4. 观察第二三行零样本类别下随引导强度增大曲线是否持续下降

论文图 2。原论文 Figure 2：“2”。

从像素可见，第一行小数据条件下 3 条线都随引导强度先快速下降后趋平，绿色完整子网在中等引导强度附近达到最低并在后续保持低于橙色与紫色。第二行与第三行只见部分类别的训练条件下，3 条线都随引导强度单调下降，绿色始终在最下方，紫色居中，橙色最高，说明复用完整类别知识的分类器确实帮助生成了训练中未见的数字。

但像素不能精确读出每个引导强度点的具体数值，原文正文也只定性说在大于等于三时增益已可见且子网持续优于 U-Net，因此只能报告趋势而不能硬写某点的数值差。该消融支持表示复用的判断，但它没有测量语音可懂度与主观质量，可能的解释是分类器梯度提供了类别方向，待验证的是这种零样本语音是否在人耳层面真正清晰。

哪些结论有边界：指标、成本与未测量项

首先是指标边界。主结果依赖辅助 ResNeXt 分类器的嵌入距离与分数，这些分数与特定预训练模型绑定，且用训练集做参考，换分类器或换参考集可能改变排序。音频距离与质量预测虽更贴近听感，但仍是自动指标，不能替代人评，论文也没有报告误判率、延迟实测或主观平均意见分的置信区间。

其次是成本边界。论文的计算量是单步单秒输入的理论乘加操作估计，不是端到端 wall-clock 延迟，也没有报告训练时间、显存峰值与硬件型号。完整子网的节省主要来自可训练参数与复用前向，梯度抽头本身需要反向到中间层，条件采样仍需分类器梯度，因此不能承诺每步都更快或训练资源一定更少。

最后是方法边界。分类器主干仍需先在全量数据上训练，低数据消融中真正见过全量标签的是分类器而非生成器，零样本能力部分来自分类器的监督，不能理解为生成器无监督学会新类别。原文未给出优化器、学习率与完整超参数，也未验证更大词汇量或连续语音上的迁移，因此把 SC09 数字词的结果直接推广到通用语音合成属于未验证推测。

复现先做什么：按依赖顺序重建特征与主干

若要复述或复现方法，建议按学习依赖顺序操作。第一步重建特征管线：用 1024 点傅里叶变换、256 跳长、80 梅尔分量提取对数梅尔谱，在训练集上估计均值与最大绝对偏差并映射到 -1 到 1，确认特征标准差小于 0.5，否则扩散训练可能不稳定。第二步训练噪声条件分类器：在带噪输入上用交叉熵训练，保留输入投影、时间嵌入、下采样与瓶颈结构，把上采样换成分类头，训练完成后冻结全部参数。第 3 步搭建子网：取与编码器相同的抽头阶段，每层对前向与梯度抽头做均方根归一化与投影，用交叉注意力融合，从最深层开始经残差块与上采样逐级相加，最后输出单通道分数。

第四步只用去噪分数匹配训练子网，采样用方差保持方程与 100 步欧拉马鲁亚马求解器并裁剪分数到 -1 到 1。条件生成时复用同一分类器并从小到大扫描引导强度，主表条件取 3.0。评估时生成 2048 个样本并对 4107 条测试语音计算音频距离，同时计算辅助分类器指标。需要补的验证包括记录优化器与学习率、固定随机种子下的多次运行方差、声码器版本一致性，以及主观试听。由于本次未能确认项目页可达，不应假设能直接下载代码与权重，应先按论文文字重建流程并把缺失超参数标记为待确认项。

何时值得尝试这种复用：收束判断与后续验证

综合来看，当已经有一个较强的噪声条件语音分类器，且希望以较少可训练参数得到可用的扩散生成器时，这种冻结主干加轻量子网的路线值得尝试。它在 SC09 无条件与条件生成中都达到了与全量 U-Net 相当或略优的自动指标，同时把可训练参数降到 4.4M 并降低单步理论计算，尤其在生成器只能见到少量数据或部分标签时，借助全量分类器的表示仍能改善条件生成。

但当目标是追求最低单步延迟、最高主观自然度或大词汇量连续语音时，不应直接认定该方法一定更优，因为梯度抽头与引导反向仍有开销，自动指标与人耳评价之间存在差距，SC09 之外的泛化尚未验证。后续最需要补的两项验证是人评可懂度与自然度，以及在保持同一声码器与采样器条件下的真实延迟与显存测量。只有补上这两块，才能把参数效率的优势转化为可部署的收益判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总