DMAD：把分布匹配做成对抗蒸馏的少步视觉生成

📄 DMAD：把分布匹配做成对抗蒸馏的少步视觉生成

英文题目：DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation

标签：#音视频生成 | #知识蒸馏 | #生成对抗网络 | #扩散模型

评分：8.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 1.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Zhengming Yu：机构信息未能从 arXiv PDF 文本可靠映射
• Junkun Yuan：机构信息未能从 arXiv PDF 文本可靠映射
• Haotian Yang：机构信息未能从 arXiv PDF 文本可靠映射
• Gordon Guocheng Qian：机构信息未能从 arXiv PDF 文本可靠映射
• Yizhi Wang：机构信息未能从 arXiv PDF 文本可靠映射
• Angtian Wang：机构信息未能从 arXiv PDF 文本可靠映射
• Yiding Yang：机构信息未能从 arXiv PDF 文本可靠映射
• Bo Liu：机构信息未能从 arXiv PDF 文本可靠映射
• Xin Li：机构信息未能从 arXiv PDF 文本可靠映射
• Wenping Wang：机构信息未能从 arXiv PDF 文本可靠映射
• Chongyang Ma：机构信息未能从 arXiv PDF 文本可靠映射

📌 核心摘要

扩散模型需多步去噪，少步学生需继承目标分布，直接回归教师轨迹会限制学生自身的噪声到样本映射。分布匹配蒸馏用目标与学生的对数密度对输入的梯度之差驱动学生，学生侧梯度需辅助分数模型持续拟合演变中的学生分布，带来额外显存与计算，也容易因滞后而失稳。DMAD先一次生成并缓存教师样本，训练时只输入加噪后的教师样本、真实样本与学生样本。共享主干的判别器上设教师头与真实数据头，分别区分教师与学生、真实与学生，输出两组对数比率估计。生成器以对数比率的线性损失更新，真实数据头输出的真实与教师平均对数比率差距再按噪声带折算教师权重，随训练自适应加权。与DMD2相比，该方法省去辅助分数拟合与在线教师求值，每步学生更新只配一次判别器更新。在COCO-10K零样本评测上，四步SDXL学生取得生成图像与参考样本的特征分布差异指标14.47，低于DMD2四步的19.32与SDXL教师的19.36。最优判别器下恢复分布匹配梯度的结论依赖充分优化与共同支撑，偏离时梯度与加权均有误差；MiniMax-H3音视频用户偏好等结论限于387个提示、三人多数表决及排除并列口径，并列率达33.3%与24.5%，原文披露了各设置的训练批量、学习率、迭代数与部分硬件耗时。

🔗 开源与复现资源

• 代码相关资源：https://yzmblog.github.io/projects/DMAD → https://yzmblog.github.io/projects/DMAD/ — 链接可访问（HTTP 200）

• 模型相关资源：https://yzmblog.github.io/projects/DMAD → https://yzmblog.github.io/projects/DMAD/ — 链接可访问（HTTP 200）

• 演示资源：https://yzmblog.github.io/projects/DMAD → https://yzmblog.github.io/projects/DMAD/ — 链接可访问（HTTP 200）

• 第三方资源：https://doi.org/10.48550/arXiv.2311.05556 → https://arxiv.org/abs/2311.05556 — 链接可访问（HTTP 200）

• 第三方资源：https://www.minimax.io/blog/minimax-h3 — 链接可访问（HTTP 200）

• 第三方资源：https://arxiv.org/abs/2604.08540 — 链接可访问（HTTP 200）

• 代码相关资源：https://github.com/Yzmblog/DMAD — 链接可访问（HTTP 200）

• 模型相关资源：https://modelscope.cn/models/ZhengmingYu-Community/DMAD — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

少步生成要解决的输入输出问题是什么

刚进入语音、音乐或音频领域的读者，可以先把图像和视频生成类比为条件合成：输入是初始噪声和条件，条件可以是类别标签，也可以是文本提示，输出是一张图或一段视频加音频。扩散模型或流模型通常需要几十到上 100 次顺序去噪才能得到高质量输出，采样慢是主要瓶颈。步骤蒸馏的目标是训练一个只需一步或几步的少步学生，输入同样的噪声和条件，输出分布仍接近高质量目标，同时保留提示对齐和多样性。

论文研究的是视觉生成，包括类别条件图像、文本到图像、文本到视频以及音频视频联合生成，但方法本身是关于如何估计分布匹配梯度，不依赖音频特有的声学模型。评价时图像用生成图像与参考样本的特征分布差异指标，也就是 FID，数值越小越好，文本对齐用 CLIP 分数，数值越大越好，高分辨率细节用在图像块上计算的 FID，也就是 patch FID，数值越小越好，视频用 VBench 总分、质量分和语义分，数值越大越好，音频视频联合生成还用了人工偏好率和 AVGen-Bench 打分。

已有蒸馏路线在监督来源上有何不同

按原文的梳理，已有路线可分为 3 类。第一类是轨迹和一致性方法，让学生回归教师在某条采样轨迹上的输出，或逐步减少步数，或要求同一轨迹上不同状态映射到同一终点，这类方法约束的是学生如何走某条具体路径。第二类是基于分数的分布匹配，以 DMD 为代表，优化反向 KL 目标，让学生自己学习从噪声到样本的映射，只约束输出分布。

DMD 需要冻结教师提供目标分数，还需要一个辅助分数模型跟踪不断变化的学生分布，DMD2 用 5:1 的两时间尺度更新加强辅助分数模型的训练，但仍需在线评估教师且每次学生更新伴随 5 次辅助模型更新。第 3 类是对抗蒸馏，通常在分数目标之外再加一个判别器做真实图像或视频监督，或把教师中间预测作为对抗目标。

DMAD 与它们的区别在于，判别器不是分数目标的补充，而是直接承载分布匹配梯度，两个头分别匹配教师样本和真实数据，并用噪声带上的间隙自适应平衡两者。原文还提到不估计学生分数的替代工作，但那些工作从生成器自身的流映射构造伪分数代理，而 DMAD 通过分类直接学习所需的对数密度比。

DMD 的分数差估计为何贵且不稳

DMD 的理想更新依赖目标分数减学生分数。对数密度对输入的梯度就是这里分数的含义，它指向让加噪样本更符合对应分布的方向。目标分数来自冻结教师，学生分数来自辅助分数模型，该模型要在学生分布不断变化时持续拟合。当辅助分数模型滞后时，它的误差会进入分数差，而驱动学生更新的恰恰是这个差值，两个分别估计的量各自误差可能相对差值很大，训练就会不稳定。

DMD2 把辅助模型更新次数提高到每次学生更新对应 5 次，一定程度上缓解滞后，但每次学生更新的计算和显存代价上升，还要在线运行教师模型。论文用两个邻近高斯混合的可控实验固定学生分布，在相同教师预训练和随机种子下比较，DMD 的分数差与真实场的归一化均方误差为 1.539，而单头对数梯度为 0.144，说明在该设定下直接估计对数密度比的梯度更接近真实修正场。这个例子只隔离了单目标梯度估计，不包含双目标和学生演化，不能直接推广为全程训练一定更稳。

目标分数 × 学生分数： 目标分数指目标分布加噪边际的对数密度对输入的梯度，学生分数指学生当前生成分布加噪边际的对数密度对输入的梯度，DMD 用两者之差驱动学生，前者由冻结教师提供，后者需要不断跟踪学生变化，差值很小时各自的估计误差会被放大，这正是 DMAD 要绕开的代价来源。

DMAD 的整体流程如何组织

DMAD 把 1 次训练迭代组织为判别器更新和生成器更新。输入是噪声、条件和噪声水平，学生生成器输出干净样本，加噪后得到带噪学生样本，教师样本和真实样本同样加噪到相同噪声水平。共享主干提取特征后分出两个头：教师头区分带噪教师样本与带噪学生样本，真实数据头区分带噪真实样本与带噪学生样本，两者都用平衡二分类交叉熵训练，正负样本权重相等。

生成器则用两个对数上的线性组合做损失，系数控制两路监督强度，教师侧还乘一个按噪声带计算的间隙权重。教师只提供样本，可以 1 次生成并缓存，训练时不再在线运行教师。判别器摆脱了去噪任务，可以基于扩散编码器或预训练分类特征构建，原文在 ImageNet 和 SDXL 上用预训练 U-Net 编码器加中间块接卷积头，在 Wan 上用末块 token 接多层感知机头并在视频上平均对数，在 MiniMax-H3 上先做无仿射均方根归一化再进多层感知机头。实验中判别器与生成器按 1:1 更新，这是与 DMD2 的 5:1 的重要运行差异。

分类最优为何能代替两个分数

关键身份是经典结论：在固定噪声水平和条件下，无约束、无正则的平衡二分类最优对数等于目标加噪对数密度减学生加噪对数密度。对输入求梯度，就得到目标分数减学生分数。因此生成器对负对数期望求梯度时，只要把当前最优对数固定住，只让梯度经过判别器输入，就与反向 KL 目标的生成器梯度相等。实际训练中判别器只是近似最优，学到的对数梯度近似理想梯度。

线性损失的每样本乘子为 1，而非饱和损失会对每个样本多乘一个 1 减判别器概率，压低已被判别器接受样本的贡献，在最优判别器处也会改变聚合更新方向。论文因此默认用线性损失，并用消融比较了替换为非饱和损失的效果。上述等价是固定最优判别器下的局部梯度相等，不对损失值相等做断言，也不把最优判别器对学生参数的依赖再求导。

加权目标的扩展只覆盖与参数无关的噪声水平权重，样本依赖的分数归一化和间隙权重随训练的演化都被固定看待，不对其求导。

教师头 × 真实数据头： 教师头指共享主干上区分教师样本与学生样本的分类头，真实数据头指同一主干上区分真实数据与学生样本的分类头，前者保留教师的结构与语义约束，后者提供超出教师采样分布的真实监督，两者各自在最优时提供对应目标的分布匹配梯度，组合后学生同时向教师分布和真实分布靠拢。

判别器对数 × 对数密度比： 判别器对数指二分类器输出的目标类逻辑值，对数密度比指目标加噪密度取对数减去学生加噪密度取对数，在平衡二分类交叉熵无约束最优时两者相等，对输入求梯度就得到目标分数减学生分数，因此分类训练学到的对数可以直接提供分布匹配所需的分数差，无需分别估计两个分数。

两个头与间隙加权如何分工

生成器损失是教师对数与真实数据对数分别乘系数后的负期望。在各自最优时，每个头提供对应目标的分数差，两路分布匹配梯度进入同一目标。只用教师样本会受限于教师自身的保真度上限，加入真实数据监督是学生能在 ImageNet 和 COCO 上超过教师的来源之一。教师权重在不同噪声水平上不应相同，真实数据头对真实样本与教师样本的平均对数差随噪声水平和训练过程变化，论文把它作为经验信号。

实现上把噪声水平分组为噪声带，每个带维护指数滑动平均，衰减为 0.99，只在同时观测到两类样本的带上更新。用中位数间隙为中心，经温度参数的逻辑斯谛函数得到原始教师权重，间隙越小的带权重越大，再做归一化控制总体尺度。ImageNet 和 SDXL 温度取 0.5，Wan 和 MiniMax-H3 温度取 2。生成器反传时把间隙统计和权重固定，只做缩放，不引入额外梯度。

线性生成器损失 × 非饱和损失： 线性生成器损失指对判别器对数直接取负期望，系数为 1，非饱和损失指对判别器概率取负对数，其梯度会多乘一个 1 减判别器概率的权重，前者不加权地使用对数梯度，后者会压低已被判别器接受样本的贡献，论文消融比较了两者的收敛速度和最终指标。

噪声带 × 间隙加权： 噪声带指按噪声水平划分的分组，间隙加权指用真实数据头对真实样本与教师样本平均对数的差来调节教师权重，差值小的噪声带说明教师与真实更接近，就给更大的教师权重，差值随训练漂移，因此权重以中位数为中心并做指数滑动平均跟踪。

训练配置与判别器更新如何执行

优化器统一用 AdamW，第一动量系数为 0，第二动量系数为 0.99，判别器与生成器按 1:1 更新，所有报告模型都用生成器指数滑动平均权重。ImageNet 在 8 块 H100 上全局批量 384，生成器与判别器学习率均为 2 乘 10 的负 6 次方，两路系数均为 0.003，训练 570K 步。SDXL 在 8 块 H100 上全局批量 64，学习率均为 5 乘 10 的负 7 次方，两路系数均为 0.005，训练 17K 步，训练数据为 500,000 张 LAION 美学真实图及对应教师生成样本。Wan2.1-T2V-1.3B 在 8 块 H100 上全局批量 8，学习率均为 2 乘 10 的负 6 次方，两路系数均为 1，训练 17K 步，Wan2.1-T2V-14B 在 64 块 H100 上全局批量 8，学习率均为 10 的负 6 次方，训练 19K 步，用全分片数据并行和上下文并行。

MiniMax-H3 在 8 块 H200 上全局批量 8，分辨率 1344 乘 768，训练 800 步，学习率均为 4 乘 10 的负 5 次方，生成器与判别器主干都用秩和缩放系数均为 128 的低秩适配。噪声带划分按模型不同：ImageNet 用 Karras 索引 20 到 500 按 100 分组，SDXL 按 100 时间步分组，Wan 按判别器时间采样分布的 10 个等概率带，MiniMax-H3 在基础时间变量 0 到 1 上 10 个等宽带。论文还报告了在线训练时间与峰值显存比较，条件是同设置下匹配批量与输入形状，DMD2 按官方 5:1，DMAD 按 1:1，计时包含 1 次生成器更新及其附带的判别器更新，不含评测与存档。

评测在什么数据与协议下进行

类别条件图像按 DMD2 协议蒸馏 EDM 并在 ImageNet-64 乘 64 上报告 FID。文本到图像按 DMD2 的训练数据与评测方式蒸馏 SDXL，用 COCO 2014 的 10,000 条提示做零样本生成，报告 FID、patch FID 和 CLIP 分数，patch FID 用于考察高分辨率细节。视频蒸馏 Wan2.1-T2V 1.3B 和 14B 到 4 步，训练用 UltraVideo 真实视频及教师对应生成视频，评测用与 rCM 相同的增广提示集并用 VBench 报告总分、质量分和语义分。

MiniMax-H3 蒸馏到 4 步做音频视频联合生成，按 AVGen-Bench 协议评测，并用 VideoGenEval 的 387 条提示做成对人工评测，每条提示比较 DMAD 与 DMD2、DMAD 与 rCM，共 774 对，每对由 3 名标注者在提示对齐、视觉质量、运动质量、音频质量和总体偏好 5 个维度选 A、B 或平局，每提示每维度按多数票聚合，三票各不相同时记平局，每个基线每维度得到 387 个提示级结果，报告偏好率为胜数除以胜加负，不含平局。补充演示视频和更多的定性样本在原文附录中给出，本文只讲有数字证据的结论。

图像与视频主结果在什么条件下成立

比较主结果时需要先固定条件：步数、前向次数、教师配置和提示集都要相同，FID 和 patch FID 越小越好，CLIP 和 VBench 越大越好。下表整理论文直接报告的核心数字，比较问题是少步学生能否在同协议下达到对照内最优，限制是这些最优只在原文的教师、数据和提示集下成立，换教师或换提示集需要重新验证。

单步 ImageNet 从 1.24 到投影判别器变体的 1.04，说明判别表示直接参与蒸馏梯度时，预训练分类特征可以进一步提升。SDXL 4 步同时在 FID 与 patch FID 上超过教师，支持真实数据监督抬高教师上限的解释，但单步的 patch FID 为 32.42，细节仍弱于 4 步，说明步数对高频细节仍有代价。Wan-14B 4 步总分与质量分最高而语义分低于 rCM，说明该方法在视觉质量上占优但文本语义对齐并非全面领先。MiniMax-H3 人工偏好在视觉与音频质量上最强，运动与提示对齐优势较小，且平局率分别为 33.3% 与 24.5%，总体偏好率是在排除平局后计算的，含平局的绝对胜率要低。

基线细节与未胜出项有哪些

ImageNet 单步无投影变体为 1.24，超过 DMD2 及其更长训练变体和直接从教师训练的 SiDA，也超过 EDM 教师的常微分方程与随机微分方程采样。SDXL 单步为 16.11 且 CLIP 为 0.338，是对照中单步 FID 最优和 CLIP 最高，但 4 步 CLIP 为 0.328，低于单步，说明步数增加改善分布距离时不一定同步改善文本对齐。Wan-1.3B 4 步总分为 84.70，超过 DMD2、sCM、rCM 和 50 步教师，其中质量分最高，语义分为 79.55，低于 rCM 的 80.63。Wan-14B 4 步总分 85.15，质量分 85.96 最高，语义分 81.90，低于 rCM 的 82.88。AVGen-Bench 上 DMAD 总分 65.4，DMD2 为 62.6，rCM 为 59.8，教师为 67.2，DMAD 是蒸馏模型中最优但仍低于教师，说明在该音频视频细粒度基准上少步学生尚未全面超过教师。

定性上原文称颜色更自然、提示细节保留更好，但在长凳不含猫、4 人全家福等例子上的成功仍是抽样展示，不能当作计数意义上的对齐率。玩具高斯混合实验中单头对数梯度误差 0.144 优于 DMD 分数差的 1.539，但那是固定学生的单目标估计，不能证明双目标训练全程一定更稳。

拿掉一路监督或自适应会发生什么

消融要回答的问题是两路监督是否互补、间隙加权与线性损失是否必要。比较时 1 次只改一处，去掉某头就同时去掉其判别器与生成器损失，去掉真实数据头时也同时关闭依赖它的间隙加权。下表用原文直接报告的变化整理，指标方向与上节相同，限制是消融只在各自的默认配置下成立，系数与训练步数变化可能改变排序。

表后解释需要给出机制含义。去掉真实数据头时 COCO FID 上升最多，教师单独曲线在约 400K 步后还回升，说明仅拟合教师采样分布容易丢失真实分布的多样性。去掉教师头时 COCO FID 反而最低，但 patch FID 最差、CLIP 最低、VBench 语义下降 4.19，说明真实数据单独训练可以拉近特征分布，却丢了细节与文本对齐，这正是两路互补的证据。关闭间隙加权在图像 FID、SDXL 全指标和 VBench 总分上都变差，支持按噪声带自适应分配教师权重的价值。线性损失换为非饱和损失后收敛变慢，同迭代 FID 更高，与每样本多乘 1 减判别器概率的加权解释一致。未胜出项也要保留：去掉教师头在 SDXL FID 单项上反而更好，不能只看单指标就断言双头全面最优。

结论的边界与容易误解之处

首先，命题 1 的等价依赖判别器达到无约束最优且固定，实际判别器只是近似最优，共享主干、有限容量和正则都会带来偏差，梯度相等也是局部结论，不代表损失值相等。其次，几何混合的解释是在固定系数下把加权 KL 和写成到几何混合的 KL，混合在每个噪声水平上分别定义，前向加噪与几何混合一般不可交换，所有带噪边际又来自同一个干净学生分布，因此不能把该恒等式读成存在一个干净几何混合全局最优。

第三，教师只提供样本并缓存的前提是能预先生成足够覆盖的教师样本，缓存规模与多样性本身是成本，论文未报告缓存不足时的退化。第四，成本比较只覆盖在线训练时间与峰值显存，推理延迟、输出帧率、缓存与存储开销要分开讨论，没有测量就不能承诺。第五，人工偏好率排除平局后计算，含平局时胜率更低，且最强的是视觉与音频质量，运动与提示对齐优势较小，不能简化为全面压倒。

最后，来源未确认不是技术缺陷，链接不可达只说明本次未能确认可达，不改变方法结论。

复现第一步做什么与资源如何区分

复现应先固定协议再跑代码。图像按 DMD2 的 ImageNet 与 SDXL 划分、批量、提示集和 FID、patch FID、CLIP 计算方式对齐，视频按 rCM 的增广提示集和 VBench 计算方式对齐，MiniMax-H3 按 AVGen-Bench 与 387 提示多数票规则对齐，避免把不同采样器、不同提示集或含平局与不含平局的偏好率混在一起比较。关键超参数是判别器与生成器 1 比 1 更新、AdamW 动量、两路系数、间隙滑动平均衰减 0.99、温度与归一化下限，以及各模型的噪声带划分，这些在训练节已列出，改动其中一项都可能改变消融排序。

代码、模型与演示是三件事，要分开说：作者项目页与代码仓库当前可用，模型在模型社区当前可用，演示页当前可用，推理能力在仓库说明中为部分完备，仅覆盖安装与推理，训练与数据预处理脚本的完备性需按 reproducibility 声明与仓库实际内容核对，不能把项目页可访问等同于训练可一键复现。数值写法保留原文精度与百分号位置，相对百分比与百分点不要混用，不同指标的差值不要塞进模型列。

什么时候值得尝试还缺哪项验证

当已有较好的多步教师，且能承担 1 次教师采样缓存，又希望少步学生同时接近教师结构与真实数据分布时，DMAD 值得尝试，尤其看重图像 FID、视频质量分和视觉音频质量的场景。复现第一步是按原文协议跑通 4 步或单步基线，确认判别器两头损失正常下降、间隙统计在各噪声带都有观测，再打开间隙加权。

还需要补的验证包括：换教师、换数据集划分和换提示集后的稳定性，缓存教师样本规模不足时的退化曲线，有限容量判别器偏离最优时的偏差度量，以及推理延迟与存储成本的完整报告。总体上，论文支持判别学习作为分布匹配蒸馏的有效路径，但支持范围限于原文的教师、数据、步数和评测规则，超出该范围的推广仍待验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递