少步蒸馏如何只用回归跟上教师速度场

📄 少步蒸馏如何只用回归跟上教师速度场

英文题目：Simplifying and Improving On-Policy Distillation for Few-Step Diffusion

标签：#音视频生成 | #知识蒸馏 | #扩散模型 | #音视频 | #高效推理

评分：6.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Jiawei Zhang：机构信息未能从 arXiv PDF 文本可靠映射
• Ziyu Wan：机构信息未能从 arXiv PDF 文本可靠映射
• Nanye Ma：机构信息未能从 arXiv PDF 文本可靠映射
• Long Zhao：机构信息未能从 arXiv PDF 文本可靠映射
• Dong Chen：机构信息未能从 arXiv PDF 文本可靠映射
• Hongyu Liu：机构信息未能从 arXiv PDF 文本可靠映射
• Qifeng Chen：机构信息未能从 arXiv PDF 文本可靠映射
• Dongdong Chen：机构信息未能从 arXiv PDF 文本可靠映射

📌 核心摘要

扩散模型与流模型从高斯噪声出发沿学习的速度场积分到数据，少步蒸馏要用粗区间更新复现冻结教师轨迹，难点是单个学生速度难以表示区间内变化的速度场并易陷入不良模式。简化匹配蒸馏让学生在自身展开轨迹起点做速度预测并沿该预测构造区间内中间查询点，再查询冻结教师局部速度做均方回归，同一预测既构造查询点又匹配教师速度，不增加额外学生求值。训练期代理路径Pivot以零积分残差拟合区间内速度变化并保持区间端点不变，把局部修正与区间平均预测分离，推理时丢弃而不进入推理图。学生随后以加权方式排斥同一教师的弱预测以避开不良模式，无需用于估计学生分布分数的辅助分数模型与结构改动，部署的生成器保持不变。在FLUX.1-dev文本图像生成中以4次函数求值为评测设置，SMD的GenEval指标为0.715高于π-Flow的0.675。在相同4次函数求值设置下，SMD的DPG-Bench指标为84.8高于π-Flow的84.3。在Wan2.1-T2V-14B视频合成中以4次函数求值在Self-Forcing提示集上用VBench评测，SMD的Quality指标为85.72低于AnyFlow的85.78但高于多步教师的84.56，Semantic指标为80.52低于AnyFlow的82.10；结论适用于文本图像、编辑、三维、视频和联合音视频模型，但跨模型增益依赖师生搭配，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/black-forest-labs/flux — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文要解决的采样代价问题是什么

扩散模型和流模型生成质量很好，但推理时要沿着学到的速度场做几十到上百次顺序积分，每次积分都要调用 1 次神经网络。论文把每次网络调用记为 1 次函数求值次数，这是主要的推理成本。少步蒸馏的目标就是把预训练教师压缩成只需要很少步的学生，例如 4 次函数求值，同时保留提示对齐、细节和多样性。读者可以这样理解输入输出：输入是随机噪声加上文本、图像或参考音视频等条件，输出是图像、编辑后图像、3D 形状与纹理、视频或音频视频联合片段。

必须保留的是条件中要求的主体、属性、动作和场景关系，输出则是用很少的粗更新走完从噪声到数据的整条轨迹。本文的基线、Pivot 和排斥项都围绕如何让这很少的几个粗更新更准确展开。

轨迹层面与分布层面两条已有路线有何不同

论文把已有加速工作分成轨迹层面和分布层面。轨迹层面直接让学生复现教师的采样轨迹，例如渐进蒸馏不断把步数减半，一致性模型要求同一轨迹上不同点映射到同一干净输出，流映射与平均速度方法学习任意时间对之间的转移算子，整流流则把轨迹拉直以便少步积分。与本文最接近的是 π-Flow 和 PDD，它们也在学生轨迹的每个区间内用教师预测做监督，但 π-Flow 需要无网络策略做子步积分，PDD 需要并行解码头。

分布层面则比较学生生成分布与教师或数据分布，例如对抗蒸馏用判别器提供分布反馈，分布匹配蒸馏用教师分数与在线伪分数之差近似反向 KL 梯度，还需要不断跟踪学生分数的辅助分数模型。本文强调自己既不用辅助分数模型，也不用对抗目标和特殊推理结构，部署的生成器保持不变。

为什么简单的在轨速度匹配值得先单独检验

在轨的意思是训练时先让当前学生自己滚出一条少步轨迹，再在这条轨迹上查询教师。论文先检验一个极简基线：学生每个粗区间只在起点预测一个恒定速度，用它走完整个区间；同时在区间内部按均匀比例取中间状态，用同一个学生速度构造中间点，再查询冻结教师在该点的局部速度，让学生速度去拟合这些教师速度。教师输出作为分离的回归目标，不回传梯度到教师；跨区间的梯度也被截断，每个区间独立计算损失后平均。

论文报告这个基线在 Qwen-Image 上很早就改善了清晰度和场景结构，在 Wan 视频模型上也有大幅改善但出现波动，先后出现退化再恢复。作者用曲率直觉解释：低曲率区间内教师速度变化平缓，多个局部目标彼此兼容；高曲率区间内方向变化大，同一个学生预测要同时拟合多个冲突目标，优化就容易抖动。这为后面引入 Pivot 做了铺垫。

SMD 的整体流程是怎样的

SMD 全称是简化匹配蒸馏，整体仍是回归式框架，推理时只有学生按同一时间网格做粗更新。训练时对每个粗区间做三件事。第一，学生给出区间起点速度并滚出下一步，同时在区间内采样查询点构造中间状态。第二，Pivot 分支根据学生靠后层的特征 1 次性预测若干基系数，组成零积分残差，得到随区间内时间变化的代理局部速度，并用它修正中间查询状态。

第三，在同一中间状态同时查询目标教师预测和较弱的参考预测，用模仿目标减去远离参考的损失联合优化学生和 Pivot。下一个区间的起点只跟随学生的粗更新，且在进入下一区间前做梯度截断。推理时不评估教师和 Pivot，因此函数求值次数不变。

在轨蒸馏 × 教师速度 × 学生粗步长： 在轨蒸馏指用学生当前 few-step 轨迹上的状态构造监督；教师速度是冻结教师在这些中间状态给出的局部速度预测；学生粗步长是学生每个大区间只做一次恒定速度更新。三者搭配的意义是监督始终跟随学生自己会走到的位置，而教师只提供该位置附近应有的运动方向，学生则用很少的几步完成整条轨迹。

Pivot 如何表示区间内的速度变化又不移动端点

Pivot 的核心约束是残差在一个区间上的积分为零。实现上用有限基展开表示残差，每组系数向量的形状与学生速度相同，基函数都满足零积分。论文比较了多项式、谱、逐段和配置点等参数化，它们的共同点是路径修正量在区间起点和终点都为零，因此中间状态可以偏离直线，但终点仍等于起点减去步长乘以学生速度。训练从零初始化的输出投影开始，相当于从简单基线起步；预训练初始化时把学生最后若干块复制给 Pivot。

论文还报告了对靠后层特征敏感的块替换观察，支持用靠后层特征驱动 Pivot。消融显示有无 Pivot 的差别在图像和视频上都存在，初始化是预训练复制还是随机并不决定增益是否存在，但层位置、块数和基族会影响对齐与多样性的具体取舍。

Pivot 代理 × 零积分残差 × 区间端点： Pivot 代理是只在训练时使用的残差分支，用于表示同一粗区间内随时间变化的局部速度修正；零积分残差指该残差在一个区间上的时间积分为零；区间端点指学生粗更新的起点和终点。组合后，中间查询状态和局部拟合目标可以弯曲，但固定学生预测时的终点位移不变，因此推理时去掉 Pivot 不改变学生结构和步数。

排斥弱预测的第二项在做什么

排斥项不改变模仿对象，仍然拟合带正常引导的目标教师预测，同时要求代理速度远离同一状态下的弱参考预测，强度由 0 到 1 之间的权重控制。弱参考的构造依教师而定：对使用无分类器引导的教师，可以用无条件或条件预测作负参考；对内嵌引导模型用更低的引导输入；对已把引导蒸馏进权重的模型，可以用跳过某一层的前向结果得到参考。论文在 Qwen-Image 和 Wan 视频上的扫描显示，无条件参考配合中等权重优于不用排斥，也优于条件参考。

权重继续增大后收益减弱。直观上这是一种轻量纠偏，让学生不只是靠近好的局部方向，还要避开已知的较差方向，但它仍然是同一教师提供的信号，不是外部奖励模型。

目标预测 × 弱参考预测 × 排斥权重： 目标预测是带正常引导的教师速度，用作模仿对象；弱参考预测是同一教师在相同状态下用更弱引导或跳层等方法得到的较差预测，用作要远离的负参考；排斥权重控制远离项的强度。模仿保证忠实跟随教师，排斥提供轻量纠偏，两项相减后仍是回归式损失，不引入判别器或在线分数估计。

训练时参数如何更新推理时如何采样

训练时教师冻结，学生和 Pivot 联合优化。每次迭代采样不同条件和初始噪声，让当前学生滚出完整的少步轨迹，每个区间采样一个或多个查询点，按代理路径构造中间状态并计算模仿与排斥损失，最后对所有区间、查询点和样本平均后在轨迹外做 1 次优化器更新。中间状态的构造同时依赖学生速度和 Pivot 系数，因此残差既改变局部拟合目标也改变查询位置，而下一区间的起点只用学生粗更新并做梯度截断。

推理时完全不用教师和 Pivot，学生从高斯噪声出发，在同一时间网格上重复做起点速度更新，直到返回估计的数据样本。论文给出的图像、视频、3D 和音频视频配置在学生秩、Pivot 分支、查询点数、目标与参考引导、批量和迭代数上各不相同，具体数值以原文配置表为准。

函数求值次数 × 采样网格 × 一阶更新： 函数求值次数指推理时调用神经网络的次数，是主要的推理代价；采样网格指从噪声端到数据端的时间点划分；一阶更新指用起点速度乘以步长完成一个区间转移。三者组合决定了少步生成的含义：网格很粗，每个区间只能做一次一阶更新，因此每个粗更新是否准确变得非常关键。

实验在什么任务和评测条件下比较

图像生成蒸馏 FLUX.1-dev 和 Qwen-Image 到 4 次函数求值，只用提示词做在轨训练，不用目标图像，对比已发布的少步基线并在相同推理与评测设置下复测，部分无公开检查点的方法引用原论文数值。评测用 GenEval 测组合对齐，DPG-Bench 测稠密提示对齐，OneIG-Bench 英文集测对齐、文本渲染、多样性、风格和推理，数值越高越好。图像编辑蒸馏 Qwen-Image-Edit-2511 到 4 步，以源图像和编辑指令为条件，不用目标编辑图，在 ImgEdit-Bench 和 GEdit-Bench 英文集上比较操作级编辑与语义一致性、感知质量。

视频蒸馏 Wan2.1-T2V 的 1.3B 和 14B 到 4 步，在 VBench 上用 Self-Forcing 提示集评估质量与语义聚合及运动、色彩等维度。音频视频联合模型 MiniMax H3 在 4 步和 8 步下比较提示对齐、结构、时序、自然度与音频清晰度、质量。跨模型、多教师和因果视频则分别检验结构不同、专家组合与因果约束下的可行性。

图像生成在 4 步下取得了什么结果

论文要回答的比较问题是：在相同 4 次函数求值的预算下，SMD 相对已发布少步方法的提示对齐是否更高，以及相对多步教师如何。公平条件是同骨干、同评测流程，PDD 因无公开检查点而引用原文数值。指标方向都是越高越好。下表整理原文直接报告的 FLUX 与 Qwen-Image 关键数字，覆盖组合对齐、稠密对齐和文本渲染 3 个方面。

综合收益与限制一起看，按原文句子，FLUX 上 GenEval 从 0.675 提高到 0.715，DPG-Bench 从 84.3 提高到 84.8，且都超过对应的 50 步教师分数；Qwen 上 SMD 达到 GenEval 0.873 和 DPG-Bench 88.7，OneIG Overall 与教师同为 0.540，文本渲染 0.944 高于教师的 0.889 和 Lightning 的 0.921。多样性方面，SMD 在 FLUX 上高于基于分布匹配的 SenseFlow，在 Qwen 上高于 Lightning，但原文也显示不同基在多样性与对齐之间存在取舍，不能把平均分领先理解为每个维度都最好。未胜出项的例子是 Qwen 多样性绝对值并不高，增大训练提示或改变 Pivot 设置会改变该维度的具体数值。

自蒸馏 × 跨模型蒸馏 × 多教师路由蒸馏： 自蒸馏指教师和学生来自同一预训练模型；跨模型蒸馏指用更大或不同结构的教师监督保持自身结构的学生；多教师路由蒸馏指按提示类别选择不同奖励专家教师来监督同一个学生。前者验证基础压缩能力，后两者验证速度监督不要求结构相同，可以迁移或组合不同教师的特长。

编辑 3D 视频与音频视频的结果在什么范围内成立

编辑方面要回答的是 4 步学生能否在执行指令的同时保留无关内容。原文报告 SMD 把 ImgEdit-Bench 总分从 Lightning 的 4.48 提高到 4.51，与多步教师持平，GEdit 整体质量从 8.14 提高到 8.19，提升主要来自移除和调整类操作，而抽取类操作仍是 Lightning 更强。下表把这两组数字放在同一表中，便于看到编辑基准不同于图像对齐基准。

3D 方面原文只做定性评估：Hunyuan3D-2.1 只蒸馏形状阶段到 4 步，直接用教师跑 4 步常出现碎裂或不完整几何，而学生保留了可辨认的结构；TRELLIS.2 只蒸馏高分辨率形状与纹理两个阶段各到 4 步，前面的稀疏结构与粗形状阶段不变，因此 4 步是指每个被蒸馏阶段各自的步数，不是整条资产管线的总步数。视频方面 SMD 在两个 Wan 尺度上质量聚合高于报告的多步教师，语义接近，但与 rCM、AnyFlow、PDD 和自复现 DMD2 相比互有胜负，需要看 16 维完整分解。音频视频联合方面 SMD 在时序连贯、自然度、音频清晰度和质量上优于同预算的 LightX2V-DMD，提示对齐则对方更高，结构连贯在 4 步相当、8 步时 SMD 改善更明显。这些结论都依赖相同的提示、种子、分辨率与时长匹配条件。

跨模型多教师与因果视频说明了什么

跨模型要回答小学生能否从更大教师受益同时保留自身结构。原文用 FLUX.2 的 4B 学生分别跟 4B 和 9B 教师，用 Lens-RL-3.8B 分别跟自身和 9B 教师，结果是 9B 教师改善 4B 学生在 7 个指标中的 6 个，只有推理小幅下降，但对 Lens 则只改善多样性和风格，其他分数下降，说明跨模型监督可行但增益依赖配对。

多教师把 CLIP、GenEval、OCR 和 PickScore 4 个奖励专家蒸馏进同一个 SD3.5-Medium 的 4 步学生，按提示类别路由选择教师，报告在 6 个指标上都超过自蒸馏，并在全部 6 个指标上超过 28 步基座教师，但单个专家在各自对应指标上仍常是最强，路由学生的优势是全面性而非每项第一。因果视频把已有的因果 Wan2.1-T2V-1.3B 压缩到 4 步，用因果教师做模仿目标、双向 14B 教师做全局修正，修正强度是关键变量。下表整理原文因果视频的主比较与修正扫描，涵盖质量、语义与总分。

对主比较和修正扫描的解读是：主比较中本文方法质量最高、总分高于自复现的分布匹配基线但低于 Causal Forcing，且不用训练伪分数模型；修正扫描中 0.2 在语义上最好，但总分最高的是不加修正的 0，增大权重并不单调改善，外观变化随提示而异。这说明双向修正提供了全局信息，但最优强度需要按目标权衡，不能默认越大越好。

提示覆盖 Pivot 设计与排斥权重的消融说了什么

提示覆盖消融在 Qwen-Image 上用文本、人像、物体、自然 4 类各 1 到 30,000 条提示训练，混合组为 120,000 条。30K 时文本类总体最高，跨类差异最大的是文本生成；把训练集从 1 条增加到 300 条能大幅改善非文本类学生的文本分数，而单条文本提示训练的学生总体已达 0.538，接近 30K 时的 0.541。单提示学生仍能响应未见过的物体与人像提示，但单提示视频学生的训练期视觉特征可能残留，例如沙漠花朵学生的点状纹理会出现在新提示中。

Pivot 消融显示去掉残差后 Qwen 总体与 Wan 总分都下降，预训练复制与随机初始化都有增益；Qwen 在大块数下用更靠后的层更好，但块数从 3 加到 7 在 K 为 1 时总体反而下降，定性上更靠后的层有时让多种子构图更相似。基族方面 Qwen 上逐段 32 元最好，Wan 上多项式 4 元最好，但各基总体分数差距不大。排斥消融显示无条件参考配合 0.2 权重在两骨干上都优于不用排斥，条件参考没有同样好处，无条件权重加到 0.4 后 Wan 总分回落。这些都是在固定其他设置的单次运行下观察到的相对关系。

这些结论的边界与容易误解的地方

第一，少步好的含义被限定在原文的网格、引导、分辨率、提示集和评测流程下，换网格或换提示分布后数字会变，不能把 4 步超过多步教师理解为所有场景都更好。第二，3D 与参考条件音频视频主要是定性展示，没有给出可比的定量主结果，不能当作定量领先。第三，视频的运动幅度、平滑度、色彩符合度等维度各有定义，色彩符合度指物体颜色是否符合提示，不等于饱和度或自然度；动态程度高不等于时序更好，需要与平滑度一起看。

第四，单提示也能训练不等于单提示就足够好，原文只展示了对未见提示的定性响应，且视频上存在训练特征迁移。第五，跨模型与多教师的增益依赖配对与路由方式，Lens 跨大教师并非全面提升。第六，来源方面，本次只依据论文原文与本次收到的官方原图，第三方链接只能证明论文提到该链接，不能证明作者已开源；链接不可用也不构成技术缺陷。

要复现第一步该做什么需要多少代价

复现应从简单在轨基线开始，而不是直接上全套 SMD。先固定学生与教师的预测表示能相互转换，选择 4 步网格与引导设置，从噪声滚出学生轨迹，在每个区间内均匀采样查询点构造中间状态，用冻结教师的分离目标做速度回归，并截断跨区间梯度。基线稳定后再加入 Pivot 残差分支与弱参考排斥，对比有无残差、不同层位置与权重的影响。代价方面，论文报告图像学生在 8 卡 A100 上训练，Qwen 全局批量 16，迭代约 1000 量级，FLUX 批量 32，视频与音频视频配置各不相同。

推理代价是部署学生的函数求值次数，教师、参考分支和 Pivot 只在训练时计算。复现时要保留的关键超参数包括时间网格与移位、目标与参考引导、查询点数、排斥权重、LoRA 秩与学习率，以及 VBench、GenEval 等评测的提示版本与聚合方式，否则数字不可比。原文未报告梯度细节或某项实现时，应明确记为缺失项，不要从模型名称猜测。

什么时候值得尝试还有什么验证要补

当已有较强的多步教师、推理预算只允许很少的几次网络调用、且部署结构不希望改动时，这种纯回归的在轨蒸馏值得尝试；当区间曲率大导致训练抖动时，可以考虑训练期残差代理；当学生常落入较差模式时，可以试同一教师的弱预测作排斥参考，但权重宜从小到中扫描。复现第一步是跑通 4 步在轨速度回归并用原文同类指标记录基线，再逐步打开 Pivot 与排斥。

还需要补的验证包括：更多随机种子与重复运行的方差、换采样网格与分辨率后的稳定性、视频与音频质量的人工评价与自动指标的一致性、3D 几何与纹理的定量评估，以及跨模型配对为何有时下降的机制分析。只有补上这些，才能知道当前结论在新任务上是否仍然成立。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递