📄 不用教师蒸馏怎么做少步语音合成：DriftTTS 解读
英文题目：DriftTTS: Few-Step Text-to-Speech Without Distillation via Distribution-Matching Drift
标签：#文本到语音 | #生成模型 | #语音 | #高效推理
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Mohammad Nur Hossain Khan：机构信息未在 arXiv HTML 中可靠披露
- Subrata Biswas：机构信息未在 arXiv HTML 中可靠披露
- Bashima Islam：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
输入是文本序列，输出是80维梅尔频谱图再经HiFi-GAN声码器转成波形，难点是在很少的网络求值次数下保持频谱准确和听感自然，而且每段文本只配一段录音，难以直接刻画条件分布。文本编码器先经单调对齐给出帧级条件表示与时长，漂移解码器从高斯噪声出发迭代细化梅尔状态，每一步结合帧级条件与步嵌入直接预测下一状态。训练时把同条件生成的多个样本与目标及其加噪视图构成的局部正样本池，映射到由原始梅尔与冻结梅尔掩码自编码器特征构成的空间，用多尺度吸引与排斥力构造漂移方向，再让生成特征向该方向回归，其中自编码器在同一训练集上预训练且推理时丢弃。为覆盖多步推理，训练采用同策略展开，把模型自身走过的中间状态作为漂移目标，使推理时同一模型可在训练深度内选择不同步数，步数成为质量控制量。与已有扩散和流匹配方法的区别是全程没有规定噪声到数据的轨迹，也没有生成式教师、蒸馏和判别器，这意味着训练不依赖多阶段教师与对抗优化，推理步数也不在训练时固定。在 LJSpeech 测试集上，NFE=4 的 DriftTTS 取得 3.87 dB 的 MCD 和 3.7% 的 WER，接近 Matcha-TTS 在同声码器下的 3.85 dB 和 3.4%。结论适用于单说话人英文朗读和固定训练窗切分，超出训练深度的外推会退化。训练成本为单块 NVIDIA L40S 上 60k 更新，NFE=4 时解码器延迟为 7.08 ms。
🔗 开源与复现资源
- 第三方资源：https://github.com/BASHLab/driftTTS.git → https://github.com/BASHLab/driftTTS — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要做的语音合成是什么输入输出
刚接触语音合成的读者可以先把任务想成文本到波形的两段路。输入是音素或字符序列，目标是听起来自然、内容正确的语音波形。DriftTTS 只负责前半段声学模型，也就是把文本条件变成 80 维梅尔频谱图，再交给固定的 HiFi-GAN 声码器变成波形。必须保留的信息包括发音内容、时长对齐和频谱包络的自然起伏，输出则是在 LJSpeech 单说话人数据上可直接送声码器的完整梅尔序列。论文的评价也围绕这条链路展开，客观指标在重合成波形上计算，主观听感在最终音频上打分。
梅尔频谱图 × HiFi-GAN 声码器： 梅尔频谱图是本文声学模型的直接输出对象，是按时间排布的 80 维声学特征，保留了发音内容和韵律包络；HiFi-GAN 声码器是把该特征转成波形的固定后端，不参与漂移训练。两者分工是前者负责学，后者负责转，组合后文本到语音的评价才能在同一声码器下公平比较。
理解这一点很重要，因为后文所有少步、漂移、展开的讨论都只发生在梅尔频谱图这一步，声码器对所有系统都相同，差异只能来自声学模型本身。
已有少步合成路线为什么需要教师或判别器
非自回归合成之前走过确定性回归和对抗训练，近年主流是迭代生成模型。Grad-TTS 用扩散随机微分方程，Matcha-TTS 用条件流匹配常微分方程，即使只用很少积分步也能保持竞争力。但它们的训练结构很像，都是让网络回归一个已知的逐样本目标，比如所加噪声或规定噪声到数据路径上的速度，推理时再积分学到的向量场。步数就是函数求值次数，质量和推理开销直接挂钩。
流匹配 × 扩散模型： 扩散模型指 Grad-TTS 这类从噪声出发学习去噪方向、推理时多步积分的模型；流匹配指 Matcha-TTS 这类学习噪声到数据规定路径上速度场的模型。两者都是逐样本回归已知目标再积分采样，组合起来看就解释了本文要摆脱的共性：训练依赖规定轨迹，推理代价随函数求值次数增长。
要压到一步或两步，常见做法是蒸馏。CoMoSpeech 从扩散教师蒸馏一致性模型，ProDiff 把多步扩散逐步蒸馏成少步学生。不用教师的替代路线包括直接回归声学目标的 FastSpeech 2、用变分加对抗训练的 VITS、从零训练带对抗一致性训练的 FlashSpeech，以及无教师一致性模型。但按原文梳理，这些方法仍然依赖逐样本回归、对抗判别或沿规定轨迹的一致性约束。教师意味着多阶段训练，判别器意味着额外网络和极小极大目标，一致性约束则把生成绑死在固定噪声到数据路径上。本文要回答的正是少步声学模型能否三者都不用。
把漂移目标搬到语音合成难在哪里
DriftTTS 建立在漂移模型框架上，核心想法是不给每个样本规定目标，而是比较一批生成样本和一批真实样本在特征空间中的分布，用吸引加排斥的合力推生成器。语音合成的特殊困难在于文本和录音是一对一配对的，每个文本条件只有一个真实录音，无法像无条件图像生成那样直接拿一大池真实样本做分布匹配。论文为此构造了以目标片段为中心的局部条件正样本池，用配对目标加高斯扰动视图补出邻域，再用同批次其他语句的生成样本做负样本。
其次是原框架是一步生成，需要扩展到多步细化，同时不引入新的规定轨迹。第三是漂移力要在哪个空间算才对语音失真敏感，原文选择原始梅尔加冻结掩码自编码器特征的组合。
DriftTTS 整体流程是怎样的一条链路
推理时先由文本编码器和时长预测器得到帧级条件序列，起点是从标准高斯采样的噪声梅尔状态，解码器按步号做替换式更新，直接预测下一个梅尔状态而不是残差，每步都看到条件和学到的步骤嵌入。主配置训练深度为 4，同一个模型可以在不超过该深度的任意函数求值次数下运行，步数是显式可控量。训练时解码器只用分布匹配漂移目标优化，不加生成梅尔上的重构损失，文本侧则另有基于单调对齐搜索的先验损失和时长损失。
用于构造目标的掩码自编码器只在训练时存在，推理时丢弃，不增加推理代价。下面的官方总览图把推理主路径画在上半部分，训练专用漂移计算画在下半部分虚线框里，读图时先分清两条线的输入输出再看更新回路。
读图说明：上半部分是从左到右的生成链路，下半部分是只在训练时启用的漂移损失与同策略展开回路，红色虚线表示把损失回传更新解码器，灰色虚线表示对齐与先验损失只约束文本侧。
看图路径： 1. 先沿上半部分从输入文本到帧级条件再到多步解码器最后到声码器的主箭头看推理路径；2. 再看下半部分训练专用虚线框里目标梅尔段和生成梅尔段如何进入漂移特征空间；3. 注意图中吸引与排斥两组样本箭头和漂移损失回指解码器的红色更新箭头；4. 对照步骤嵌入和高斯噪声起点，确认每步解码器都同时看到条件和步号
论文图 1。原论文 Figure 1:：“Overview of DriftTTS. Text-conditioned Gaussian noise is iteratively refined by a few-step drift decoder to generate mel-spectrograms, which are converted to waveform by HiFi-GAN.”。
从图中可见，文本编码器和可训练适配器后分出两路，一路经时长预测和帧扩展得到帧级条件，另一路得到梅尔代理先验，两路汇合后与高斯噪声一起进入少步漂移解码器，经过多次细化得到梅尔频谱图再送固定声码器。下半部分把目标梅尔段和生成梅尔段送入同一梅尔域漂移特征空间，分别形成对真实样本的吸引和生成样本间的排斥，合成漂移力后经漂移损失和同策略展开更新解码器。这张图的关键是训练信号不来自规定轨迹或教师中间目标，而是来自当前批次真实与生成样本的相对位置。
漂移力如何从两类距离算出吸引和排斥
漂移力的输入是两组特征，记生成特征为生成样本的表示，真实特征为真实样本的表示。先算生成到真实的距离矩阵和生成到生成的距离矩阵，各自除以各自批次均值做归一化，消除量纲差异。然后在 3 个尺度上分别把归一化距离取负除以尺度，再做行方向和列方向的柔性最大值归一化并取几何平均，得到交叉亲和度和自身亲和度，生成到生成矩阵要屏蔽对角线避免自己吸引自己。尺度取 0.2、0.05 和 0.02，分别对应粗细不同的邻域范围。
\[a_{ij}^{(R)}=\sqrt{\operatorname{softmax}_{\rm row}\!\left(-\frac{\tilde{d}_{ij}}{R}\right)\operatorname{softmax}_{\rm col}\!\left(-\frac{\tilde{d}_{ij}}{R}\right)}.\]上式就是亲和度的构造，行列双向归一化让亲和度同时考虑生成侧和真实侧的竞争关系。得到亲和度后，对每个生成样本把真实样本按交叉亲和度加权平均作为吸引项，把其他生成样本按自身亲和度加权平均作为排斥项，两者相减得到该尺度下的原始合力。
\[\widehat{F}_{i}^{(R)}=\sum_{j}a_{ij}^{+,(R)}p_{j}-\sum_{k\neq i}a_{ik}^{-,(R)}g_{k},\]分布匹配漂移 × 梅尔域特征空间： 分布匹配漂移指用生成样本到真实样本的吸引力和生成样本之间的排斥力合成的更新方向；梅尔域特征空间指原始梅尔加冻结掩码自编码器特征构成的计算该力的空间。前者提供没有逐样本目标时的学习信号，后者决定什么差异算感知相关，组合后漂移力才落在对语音失真敏感的表示里。
上式中前一项把生成样本拉向真实样本密集处，后一项把靠得太近的生成样本推开。论文还按批次均方根对每个尺度归一化再求和，得到最终位移，归一化后的数值不作为收敛判据，而是观察归一化前均方根是否随训练下降来判断漂移是否趋于平衡。
梅尔域特征空间由哪两部分组成
漂移力不在原始波形上算，而在梅尔域特征映射里算。该映射由两部分拼接而成，一是原始 80 维梅尔，二是冻结的 MelMAE 编码器在第 3 块和第 6 块的激活。MelMAE 是在同一 LJSpeech 训练划分上预训练的掩码自编码器，采用 16 乘 16 分块、256 维隐层、60% 掩码、6 层编码器加 2 层重构解码器，用 AdamW 训练 30,000 步，重构解码器用完即丢，4.8M 参数的编码器冻结后只用来构造目标。训练时位移定义在特征空间，再经冻结编码器反传去更新文本编码器和解码器，编码器自身不动。
消融显示只用原始梅尔会让梅尔倒谱失真从 3.873 分贝升到 4.065 分贝，最差语句失真从 4.78 分贝升到 5.84 分贝，说明学到的特征补上了原始梅尔抓不住的感知相关差异，但即使不用它，漂移目标仍优于直接最小二乘回归。
同策略展开如何让模型练会多步细化
文本编码器、时长预测和单调对齐沿用 Grad-TTS 和 Matcha-TTS 框架，给定目标梅尔，文本侧产生梅尔域代理，经单调对齐搜索得到文本到帧的对齐，用帧级代理与目标的平方误差加时长损失训练。声学解码器端到端只用漂移目标，不加生成梅尔重构损失。训练用 192 帧随机片段，每个条件片段生成 8 个共享同一文本条件的样本，正样本池含 1 个配对目标段加 7 个在归一化梅尔空间加 0.05 标准差高斯扰动的视图，构成局部条件邻域。
同策略展开 × 函数求值次数： 同策略展开指训练时用当前模型自己滚出的中间状态作为漂移目标的施加位置；函数求值次数指推理时解码器被调用的次数。两者分工是前者让模型见过自己在各步的真实输入分布，后者是推理时的可控旋钮，组合后同一个训练好的模型可以在不超过训练深度的范围内选择步数。
具体做法是对最大训练深度采样步号，先不计梯度把当前模型向前滚相应步数，再在到达的状态上算漂移目标。这样模型练到的是自己当前策略会访问到的状态，而不是外部规定的噪声到数据中间点。论文观察到排斥项主要集中在早期展开状态，样本收缩后其梯度与只用吸引几乎相同，排斥更多是早期塑形项。训练用 AdamW、学习率 1e-4 余弦衰减到 5%，共 60,000 次更新。
\[\displaystyle\mathcal{L}_{\mathrm{drift}}=\frac{1}{B}\sum_{i=1}^{B}\|E(f_{\theta,\phi}(z_{i},x_{i}))-\mathrm{sg}[E(f_{\theta,\phi}(z_{i},x_{i}))+F_{i}]\|_{2}^{2}\]上式是带停止梯度的回归形式，目标是当前特征表示加漂移位移，梯度只经过生成梅尔和冻结特征映射回到解码器与文本侧参数，位移本身不传梯度。
实验在什么数据和对照条件下比较
实验用 LJSpeech 官方 Matcha-TTS 划分，12500 条训练、100 条验证、500 条测试，音频统一表示为 80 维梅尔频谱图。DriftTTS 主配置训练深度为 4，在单卡上训练，推理在不同函数求值次数 1、2、4 下评测。对照是 18.2M 参数的 Matcha-TTS 官方预训练检查点，同样测 1、2、4 步，Grad-TTS 官方检查点取 10 步，更低步数在作者评估中质量退化明显而不具可比性。所有合成系统用同一个预训练 HiFi-GAN 声码器，排除声码器差异。指标包括在重合成波形上的梅尔倒谱失真、Whisper-medium 算出的词错误率、UTMOS 预测分，以及 15 名听众、20 条随机语句、5 个系统的全配对盲听自然度平均意见分，每名听众对相同语句评价所有系统，共每系统 300 条、总计 1500 条评分。
梅尔倒谱失真 × 词错误率： 梅尔倒谱失真是在重合成波形上经动态时间规整对齐后量的频谱包络差异，越低表示频谱越接近参考；词错误率是用 Whisper-medium 转写合成语音再与文本比对的可懂度指标，越低表示内容越清楚。前者管像不像，后者管听不听得清，组合后才能看出本文发现的可懂度与自然度并不完全同步。
按原文提醒，UTMOS 和词错误率在此高质量区间分辨力有限，Matcha-TTS 4 步的 UTMOS 甚至超过经同一声码器重合成的真实梅尔，词错误率也抓不住 1 步到 4 步之间很大的自然度差，因此必须配合盲听和配对检验。
客观指标上四步 DriftTTS 与基线差多少
要回答的核心问题是在相同声码器下，4 步 DriftTTS 的频谱保真度和可懂度是否接近流匹配基线。比较条件是同一测试集、同一声码器、词错误率都用 Whisper-medium，指标方向都是越低越好。下表整理了原文报告的客观数字，重点看 4 步档和一步档的对照。
| 系统 | 步数 | 词错误率 | 梅尔倒谱失真 | UTMOS 预测分 | 备注 |
|---|---|---|---|---|---|
| 真实录音 | 不适用 | 0.029 | 0.00 分贝 | 4.37 | 参考上限 |
| 真实梅尔经声码器 | 不适用 | 缺失 | 2.14 分贝 | 4.20 | 声码器上限 |
| Matcha-TTS | 1 | 0.042 | 4.79 分贝 | 4.25 | 少步对照 |
| Matcha-TTS | 4 | 0.034 | 3.85 分贝 | 4.36 | 主要基线 |
| Grad-TTS | 10 | 0.043 | 4.17 分贝 | 3.76 | 多步对照 |
| DriftTTS | 4 | 0.037 | 3.87 分贝 | 4.25 | 本文主配置 |
上表显示 DriftTTS 4 步达到 3.87 分贝和 3.7% 词错误率，对应 Matcha-TTS 4 步为 3.85 分贝和 3.4%，两者在频谱失真和可懂度上接近，且解码器参数更少。但 UTMOS 在此处并不完全跟随失真排序，Matcha-TTS 4 步的 4.36 超过了真实梅尔重合成的 4.20，Matcha-TTS 一步的 4.25 与 DriftTTS 4 步持平却有高得多的失真。限制是这些都是单数据集、单声码器、单转写模型下的结果，不能推广到其他说话人或噪声条件。
盲听自然度是否支持少步可用的结论
客观指标接近还不够，关键是人听到的自然度差多少。实验采用全配对设计，每名听众都听相同语句的所有系统，统计时同时按被试平均和按语句平均做双侧配对 t 检验。下表只收录原文明确给出平均意见分的条件，重点是 4 步对 4 步和一步到 4 步的增益。
| 系统 | 步数 | 盲听平均意见分 | 配对比较 | 显著性说明 |
|---|---|---|---|---|
| 真实录音 | 不适用 | 4.22 分 | 与 DriftTTS 4 步比 | 两类分析均不显著 |
| DriftTTS | 4 | 4.18 分 | 与 Matcha-TTS 4 步比 | 按被试不显著按语句显著 |
| Grad-TTS | 10 | 3.55 分 | 作为多步参考 | 评估步数更多但更低 |
| DriftTTS | 1 | 3.00 分 | 与 DriftTTS 4 步比 | 两类分析均显著 |
表中 DriftTTS 4 步为 4.18 分，Matcha-TTS 4 步为 3.96 分，真实录音为 4.22 分，Grad-TTS 10 步为 3.55 分，一步 DriftTTS 仅 3.00 分。从一步到 4 步提升 1.18 分，在被试和语句两个层面都显著，说明步数是本文最大的质量杠杆。4 步 DriftTTS 与 Matcha-TTS 的比较按被试不显著而按语句显著，与真实录音的比较两类都不显著，原文表述为可比而非超越。限制是听众经机构广告招募且无报酬、仅 20 条语句，结论只在该盲听协议下成立。
漂移目标和特征空间各自贡献多少
要拆开的是质量提升到底来自分布匹配还是来自预训练特征。所有消融用相同结构、相同 4 步展开和 60,000 次更新，只换目标或特征，指标方向都是越低越好。下表是原文的消融数字，含均值、标准差和最差语句。
| 配置 | 平均失真 | 失真标准差 | 最差语句失真 | 训练条件 |
|---|---|---|---|---|
| 梅尔加自编码器加漂移 | 3.873 分贝 | 0.457 分贝 | 4.78 分贝 | 主配置 |
| 仅原始梅尔加漂移 | 4.065 分贝 | 0.575 分贝 | 5.84 分贝 | 去掉学习特征 |
| 梅尔加自编码器加直接回归 | 4.309 分贝 | 0.616 分贝 | 6.91 分贝 | 换成最小二乘 |
解释是两部分都有贡献，去掉自编码器特征平均失真上升且尾部明显变差，换成直接回归则进一步恶化且方差最大。值得注意的反例是仅原始梅尔的漂移仍优于带学习特征的直接回归，说明分布匹配本身在没有预训练特征时也有增益。但这只是 LJSpeech 上的单次消融，没有报告多次随机种子的波动，不能当成普遍的特征选择结论。
训练深度和推理步数必须如何配合
另一个特有细节是训练深度决定了推理时能用多少步。训练目标只在采样的步号上优化，深度为 K 的模型只优化过 0 到 K 减 1 的步索引，推理超过 K 就会进入没练过的状态。下表比较训练深度 2 和 4 在各自深度下评测的结果，并附带延迟比较。
| 训练深度 | 评测步数 | 梅尔倒谱失真 | 词错误率 | UTMOS 与延迟备注 |
|---|---|---|---|---|
| 2 | 2 | 4.76 分贝 | 7.05% | 2.818 分 |
| 4 | 4 | 3.87 分贝 | 3.7% | 4.253 分 |
结果是深度从 2 加到 4 时失真、词错误率和预测分都大幅改善，因此选 4 为主配置。深度 2 的模型在 2 步时为 4.76 分贝，外推到 4 步反而升到 5.81 分贝，而深度 4 的模型在 4 步内可用，最优点即 4 步。延迟在 20 条平均长 487 帧、重复 10 次、批量为 1 的条件下，4 步匹配时解码器需 7.08 毫秒对 11.22 毫秒，约 1.58 倍解码器加速，完整声学路径为 10.35 毫秒对 14.53 毫秒。未胜出项是深度 2 的配置和超深度推理，明确了推理步数不得超过训练深度的使用边界。
这些结论在什么条件下才成立
首先是数据与链路条件，全部结论都在 LJSpeech 单说话人、官方划分和同一 HiFi-GAN 声码器下得到，测试集 500 条中 474 条长于 192 帧训练窗，最长达 867 帧。原文报告失真随长度略有改善，每 100 帧下降约 0.0458 分贝，最长四分位比最短四分位好 0.236 分贝，因此固定训练窗没有导致长句退化，但这不等于多说话人或跨域也成立。其次是指标条件，词错误率从一步到 4 步几乎不动而平均意见分大涨，UTMOS 在高质量区也与人耳排序不完全一致，自动指标不能代替盲听。
第三是统计条件，盲听只有 15 人 20 句，全配对设计虽增强了可比性，但与基线和真实录音的差异有的只在按语句层面显著。最后是方法边界，推理步数受训练深度限制，排斥项的作用、归一化位移的收敛判据都只是训练过程中的观察，没有独立的理论保证。
要复现第一步该准备什么
复现应先回到原文链路而不是只跑解码器。数据按 12500、100、500 划分准备 LJSpeech，统一提 80 维梅尔，训练切 192 帧片段。先在训练划分上预训练掩码自编码器，配置为 16 乘 16 分块、256 维、60% 掩码、6 层编码器，冻结后取第 3 和第 6 块激活与原始梅尔拼接成漂移空间。文本侧按 Grad-TTS 和 Matcha-TTS 框架搭编码器、时长预测和单调对齐，解码器用 6 层卷积 Transformer、256 维、4 头、交叉注意力到 192 维帧级文本表示，另加 2 层适配器，全声学模型约 15.70M 可训练参数。训练用每条件 8 生成加 8 正样本、扰动标准差 0.05、最大深度 4 的同策略展开，共 60,000 次 AdamW 更新。
推理必须满足函数求值次数不超过训练深度，主评测取 4 步。论文正文给出了代码链接，但本次收到的来源信息仅证明该第三方链接当前可达，不能据此断言作者已开源权重或仓库可直接运行，复现前需自行核对链接内容、权重和环境。
什么时候值得尝试还缺哪项验证
当任务是单说话人、短到中等长度语句、推理预算只允许几次前向，且不希望引入多阶段教师蒸馏或对抗判别器时，本文的漂移加同策略展开值得一试，因为它把步数变成显式可控量，4 步在原文盲听协议下自然度与基线和真实录音可比，解码器延迟也更低。复现第一步是按上述数据划分和特征空间把 4 步主配置跑通，并用相同声码器复核失真、词错误率和盲听 3 类指标是否同向。
还缺的验证包括多说话人、多风格和带噪文本的泛化，更多随机种子下的方差，不同声码器和更大人群盲听下的排序稳定性，以及训练资源与完整端到端延迟的系统级测量。在补齐这些之前，不宜把单数据集上的接近说成全面超越，也不宜把解码器加速直接等同于整体实时性提升。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses