把一步生成放在压缩隐空间：语义 Token 到波形如何又快又稳

英文题目：One-Step Token-to-Waveform Generation with MeanFlow in Latent Space

会议身份：conference:interspeech:2026:conference-paper-id:dai26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#流匹配 #变分自编码器 #高效推理 #语音 #语音合成

评分：7.5/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Zheqi Dai：机构信息未能从会议 PDF 纯文本可靠映射
• Guangyan Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhen Ye：机构信息未能从会议 PDF 纯文本可靠映射
• Jingyu Li：机构信息未能从会议 PDF 纯文本可靠映射
• Haolin He：机构信息未能从会议 PDF 纯文本可靠映射
• Chunyat Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Yiwen Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Qiuqiang Kong：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理语义令牌到波形Token-to-Waveform合成，输入为25 Hz语义令牌序列与192维说话人嵌入，输出为24 kHz波形，难点是语义令牌高度压缩且丢失声学细节，而交互与端侧场景又要求极低延迟。方法先训练轻量波形变分自编码器Variational Autoencoder，将语音压缩为与令牌同速率的低维潜序列并可确定性解码回波形，把一步生成约束在短序列上。接着训练条件一维扩散Transformer Diffusion Transformer，以均值流MeanFlow目标学习区间平均速度场，推理时从高斯噪声经单次前向得到生成潜序列。最后引入不增加推理代价的精修：冻结生成器只适配解码器，或端到端穿过单步采样联合优化生成器与解码器，用波形域重建加对抗损失缓解生成潜分布与编码潜分布失配。与需多步常微分方程Ordinary Differential Equation积分的流匹配基线不同，该方法以平均速度替代瞬时速度实现单步大步长更新，并将建模移入潜空间以缓解长波形序列的显存与不稳定问题。在LibriSpeech test-clean上，最佳配置140M生成器加24维潜加联合微调相对CosyVoice2 10步基线将端到端实时率Real-Time Factor从0.0775降至0.0046，约17倍加速，词错率Word Error Rate为3.41%，说话人相似度为0.932，UTMOS为3.64，平均意见分Mean Opinion Score为3.85。结论限于LibriTTS训练与相同语义分词器条件，跨语言、噪声与流式场景尚未验证，推理固定为1次生成器加1次解码器前向。

🔗 开源与复现资源

• 代码相关资源：https://github.com/dzq84/meantok — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文研究的是语音合成链条的后半段。输入是上游语言模型已经预测好的离散语音 Token 序列，具体是与 CosyVoice2 基线相同的语义 Token，单码本、词汇量 6561，帧率 25 Hz，外加一个 192 维的说话人嵌入，该嵌入来自预训练的 CAM++ 说话人编码器。目标是从这两类条件直接生成 24 kHz 波形，满足可懂度、说话人相似度和自然度，同时把延迟压到可交互和端侧可用的水平。

对于刚进入音频领域的研究生，关键是理解信息分工。声学 Token 码率高、保留波形细节，解码容易但语言模型要建模更长序列；语义 Token 更紧凑、更接近语言内容，语言模型建模更高效可控，但丢失大量声学细节。论文明确把负担转移到 Token 到波形解码器：韵律、音色和自然度都要由解码器补回。因此输出波形不能只像输入文本，还要恢复被语义压缩丢掉的声学变化。

必须保留的信息包括条件一致性、评测口径和开源状态。所有系统使用相同的语义 Token 和说话人条件，生成 24 kHz 后统一重采样到 16 kHz 再算侵入式指标，重采样本身不计入实时率。代码与演示地址在正文中公开为 https://github.com/dzq84/meantok ，资源状态显示为 available，因此可以写当前已公开。理解这三点，后面比较速度和质量才有共同基准。

已有路线在质量和速度上各自卡在哪里？

第一条路线是基于强判别器的神经音频解码器。论文提到这类工作证明了从紧凑隐表示重建波形的可能性，做法是用多分辨率短时傅里叶重建损失加对抗铰链损失和特征匹配损失，配合 EnCodec 风格的多尺度判别器。这条路线擅长确定性重建，但当输入是高度压缩的语义 Token 而非较完整的声学特征时，单靠确定性解码难以补回缺失的韵律和音色多样性。

第二条路线是基于流匹配的生成式解码器，包括作为主要基线的 CosyVoice2 的 Token 到梅尔模块。这类方法学习条件速度场，推理时对常微分方程做数值积分，即使使用较粗糙的求解器也需要几十次网络评估。论文的基线采用默认 10 步欧拉采样加预训练声码器，质量强但迭代采样开销主导运行时间，形成持续的质量延迟权衡。

第三条路线是 MeanFlow 一步生成。它通过学习概率路径上的平均速度场实现单次网络评估生成。但论文指出直接在波形空间做一步流模型很困难：波形序列极长导致训练显存大、优化不稳定，1 次大积分步在原始音频分辨率上会放大建模误差。因此本文不是简单把 MeanFlow 搬到波形上，而是把它限制在高度压缩的隐空间，这正是与上述两条路线的有源区别。

为什么语义 Token 越紧凑，解码器越难做？

沿一个样本走一遍有助于建立直觉。假设上游给出 5 秒语音对应的语义 Token 序列，帧率 25 Hz 即约 125 帧，加上说话人嵌入作为条件。解码器要输出 24 kHz 波形，5 秒即 120000 个采样点。压缩比约为 960 倍，论文的波形变分自编码器正是用步长 2、4、4、6、5 的类 Oobleck 步进卷积栈实现总下采样 960，使隐帧率与语义 Token 率对齐。这个例子是教学示意，具体数值关系来自原文的下采样设计。

困难来自两处。第一，语义 Token 丢掉了细粒度信号细节，解码器必须从噪声中生成合理的声学实现，而不是简单查表还原。第二，交互和端侧要求低延迟，多步流匹配的迭代采样不可接受。论文把问题定义为在信息受限条件下同时保证高保真和一步生成，这就要求生成模型既要学分布又要把积分压缩到一步。

语义 Token × Token-to-Waveform 解码器： 语义 Token 负责以 25 Hz 单码本紧凑承载语言内容和可控的韵律线索，Token-to-Waveform 解码器负责把这种信息缺失的压缩表示补回音色、细节和自然度并输出波形，二者搭配把大语言模型建模成本做小、把声学恢复压力集中到解码器，一步生成的意义正在于不增加语言模型负担而降低这段恢复的延迟。

明确问题边界也很重要。本文只研究给定真实语义 Token 和说话人嵌入时的 Token 到波形转换，不研究文本到 Token 的语言模型部分，也不评测流式增量合成。所有质量结论都以 LibriSpeech test-clean 和相同 Token 化为前提，换 Token 器或换语种需要重新验证。

两阶段一步管线如何把长波形变短？

方法全景可以概括为 2 个阶段。第一阶段用条件 1 维扩散变换器做 MeanFlow 的 Token 到隐变量生成，输入是语义 Token、说话人嵌入和噪声，输出是压缩隐序列。第二阶段用轻量波形变分自编码器的确定性解码器把隐序列还原为波形。推理时固定开销为 1 次生成器前向加 1 次解码器前向，不做任何常微分方程迭代。

训练与推理的对应关系需要先讲清。训练时变分自编码器编码器只用来提供目标隐变量，推理时只用解码器。MeanFlow 训练在隐空间用变分自编码器隐变量作目标，微调时用生成隐变量重建的音频算波形域损失，推理时用同样的一步采样加解码。这种左右对称设计使微调不改变推理图。

下面这张总览图是理解 3 段划分的关键，左侧是隐空间训练，中间是波形域微调，右侧是推理时的两种解码器选择，请按主路径阅读。

看图路径： 1. 先从左到右确认训练、微调、推理三栏的主数据流向；2. 再看训练栏中语义 Token 与说话人嵌入如何进入一维扩散变换器；3. 接着对比微调栏中一步采样后生成隐变量到波形解码器的连接；4. 最后看推理栏中原始解码器与微调解码器两条并列输出分支

论文图 1。原论文 Figure 1：“Overall framework. Left: MeanFlow training in latent space using VAE latents as targets.”。

从像素可见，左栏顶部是语义 Token 和说话人嵌入进入 1 维扩散变换器，右侧接入噪声，下方分别输出预测速度和目标隐变量并汇入平均流损失，输入音频经变分自编码器编码器得到目标隐变量；中栏增加一步采样和生成隐变量，经变分自编码器解码器得到生成音频并与目标音频算对抗损失，1 维扩散变换器上有雪花与火焰图标表示冻结与更新两种微调模式；右栏推理同样经过一步采样和生成隐变量，但并列给出原始解码器和微调解码器两条输出分支。这种三栏对照直接支撑后文无微调、仅解码器微调和联合微调的比较。

流匹配 × MeanFlow： 流匹配学习从噪声到数据的瞬时速度场，推理时必须用常微分方程数值积分走多步；MeanFlow 学习区间上的平均速度场，把整段积分压缩为 1 次大步更新，二者搭配的理由是用平均速度代替多步瞬时速度，从而在保持条件生成框架的同时把生成器开销固定为 1 次前向。

编码器、生成器和解码器各自算什么？

先走完符号与计算目标。记语义 Token 序列为 s，说话人嵌入为 e，条件为 c 等于二者组合，目标波形为 x。变分自编码器编码器把波形段映射为目标隐序列，维度为降采样后长度乘以每帧隐通道数 D，D 在实验中取 8、16、24。确定性解码器把任意隐变量映射回波形。生成器记为 f，负责预测平均速度。

编码器的实现是步进卷积栈，总下采样 960，对应 24 kHz 到 25 Hz。训练用 2 秒波形块，多分辨率短时傅里叶重建损失的傅里叶点数从 32 到 2048，加上对抗铰链损失、特征匹配损失和瓶颈上的 KL 正则项。判别器在 1000 步热身后启用，仅用于训练。解码器是确定性的，推理时直接调用。

生成器是 1 维扩散变换器，有 140M 和 600M 两种规模。条件融合方式是把 Token 嵌入、时间步嵌入和说话人嵌入融合成条件序列，通过自适应层归一化零初始化调制每个变换器块。隐空间整流流路径定义为目标隐变量与高斯噪声的线性插值，遵循反向时间约定，t 等于 1 对应高斯先验，t 等于 0 对应数据分布。推理时从标准高斯采样，用 1 次平均速度更新得到生成隐变量，再经解码器得到波形。

波形变分自编码器 × 隐空间： 波形变分自编码器负责用编码器把 24 kHz 波形压缩到 25 Hz 低维隐序列、用确定性解码器把隐序列还原为波形，隐空间负责提供短序列、低动态范围的建模目标，二者组合让一步大步更新只发生在短而稳的隐序列上，避免直接在极长原始波形上做一步流建模的显存和稳定性问题。

组合的新增作用是把大步积分误差限制在短序列上。隐序列长度仅为波形长度的约九百六十分之一，动态范围也更小，一步更新更稳定且省显存。论文报告的最佳系统分阶段实时率中生成器占 0.0016，解码器占 0.0030，说明替换迭代采样是主要加速来源，解码器仍占不可忽略的一小部分。

平均速度如何训练，微调时梯度走哪条路？

标准条件流匹配学习条件速度场去拟合沿概率路径的目标瞬时速度，对整流路径目标速度为噪声减目标隐变量的常数。但它推理需要多步积分。MeanFlow 改为预测区间 r 到 t 上的平均速度，定义为该区间内瞬时速度的积分平均。优化目标带有停止梯度和自适应重加权，目标平均速度按原文方法构造，涉及对时间的导数用雅可比向量积高效计算。当 r 等于 t 时退化为标准条件流匹配。

训练细节按原文交代。隐 MeanFlow 在 5 秒段上训练以捕捉更长程语义声学依赖，r 和 t 采样用对数正态方案，均值负 0.4、标准差 1.0，并遵循 MeanFlow 的目标构造、导数计算和自适应损失重加权。变分自编码器训练与生成器训练是分开的 2 个阶段，先有隐目标再学 Token 到隐映射。原文未报告优化器类型、学习率和总步数等完整超参数，这是复现时需要补看代码的具体缺项，不能从模型名称推定。

微调解决隐失配。一步生成器产生的隐分布可能偏离编码器诱导的分布，直接用原解码器会出现重建伪影。波形域微调目标是多分辨率短时傅里叶损失加对抗损失和特征匹配损失的加权和，权重取对抗 0.1、特征匹配 5.0、KL 项 0.0001，生成隐变量经一步更新得到，重建音频再算损失。

Decoder-only 微调 × 端到端联合微调： Decoder-only 微调冻结 MeanFlow 生成器只更新变分自编码器解码器以适应生成隐分布，端到端联合微调进一步对一步采样过程反向传播同时更新生成器和解码器，二者分工是先只修解码端失配再同时修生成端和解码端，搭配理由是推理管线始终是 1 次生成加 1 次解码， fidelity 提升不增加推理成本。

梯度路径区分两种策略。仅解码器微调冻结生成器，只更新解码器和判别器，适配解码器到生成器诱导的隐分布。端到端联合微调对一步更新反向传播，同时更新生成器和解码器，编码器始终冻结。两种策略推理管线不变，仍是 1 次生成加 1 次解码，这是论文强调的无推理代价改进的含义。

在什么数据、基线和测量口径下比较？

数据与 Token 化条件需要逐项核对。所有模型在 LibriTTS 上训练，在 LibriSpeech 的 test-clean 子集上评估。为公平比较，使用与 CosyVoice2 基线相同的语义 Token 化，单码本词汇量 6561，25 Hz，说话人条件为 192 维 CAM++ 嵌入。除非另有说明，所有系统用相同条件信号。训练时变分自编码器用 2 秒块，生成器用 5 秒段，这是原文明确的不同切分，需要复现时保持一致。

基线包括两个可运行策略和一个上限。主基线是 CosyVoice2 的 Token 到波形模块，做 Token 到梅尔的条件流匹配加 10 步欧拉采样，再经预训练声码器合成波形。上限是变分自编码器重建，把真实波形编码再解码，不经过生成器，用于判断剩余退化来自生成还是解码。本文方法在不同隐维度和两种生成器规模下评估，默认是 D 等于 24 的 140M 模型加联合微调。

指标方向要先讲清。词错率越低越好，用微调 HuBERT-Large 识别得到；说话人相似度越高越好，用微调 WavLM-Large 的说话人验证模型算余弦相似度；UTMOS 越高越好；MOS 是 50 条随机语句经 20 名听众按 1 到 5 打分并报告 95% 置信区间。

实时率越低越快。所有生成波形重采样到 16 kHz 再算侵入式指标，重采样不计入实时率。实时率用半精度、批量 1、在单块英伟达 H20 上测，本文方法包括生成器加解码器，基线包括 10 步采样加声码器，运行时间经 CUDA 同步后在评测语句上平均。

一步生成到底快了多少，质量掉了多少？

比较问题是：在相同测量口径下，一步隐生成加解码能否接近 10 步基线的质量，同时大幅降低实时率。公平条件是相同语义 Token、相同说话人嵌入、相同 24 kHz 输出和相同 H20 半精度批量 1 测量，指标方向为实时率和词错率越低越好，相似度、UTMOS 和 MOS 越高越好。

表后解释需要同时讲收益与代价。最佳配置 D 等于 24 的 140M 联合微调实现端到端 17 倍加速，实时率从 0.0775 降到 0.0046，分阶段为生成器 0.0016 加解码器 0.0030。质量上词错率 3.41% 接近基线 3.18%，相似度 0.932 接近 0.940，UTMOS 3.64 接近 3.76，MOS 3.85 低于 4.05，说明感知差距仍存在但不大。变分自编码器上限词错率 2.14% 和相似度 0.966 明显更好，报告显示大部分剩余退化来自 Token 到隐生成而非波形解码，这为改进生成器留下空间。D 等于 16 的未胜出项显示降维会同时损失可懂度和感知分，但实时率同为 0.0046，说明在这些工作点生成器主导耗时，解码器随维度增长缓慢。

实时率 × 平均意见分： 实时率负责度量端到端合成耗时与音频时长的比值越小越快，平均意见分负责度量听感质量越高越好，二者组合才能判断一步生成是否值得，本文的搭配意义是用同一块英伟达 H20 同一批量和同一 24 kHz 输出口径同时报告两者，避免只谈加速不谈感知代价。

适用条件也要讲清。17 倍是相对 10 步基线在同一 H20 上的端到端结果，换 GPU、换步数或换声码器倍数会变。MOS 基于 50 条和 20 名听众，置信区间约正负 0.03 到 0.04，外推到其他语料需谨慎。

隐维度、模型量级和微调策略哪个更关键？

消融按 3 个问题组织：隐通道数是否越大越好，生成器从 140M 放大到 600M 是否更好，不做微调、只修解码器和联合微调差距多大。条件保持 140M 联合微调为默认，仅单因素变化，指标方向与主结果一致。

表后解释先讲维度。D 从 8 到 24 单调改进所有质量指标，词错率从 4.82% 降到 3.41%，相似度从 0.909 升到 0.932，MOS 从 3.45 升到 3.85，而实时率几乎不变，因此 D 等于 16 到 24 是紧延迟下的实用折中，默认取 24。其次讲容量这个反例。140M 在感知上持平或略优于 600M，UTMOS 3.64 对 3.57，MOS 3.85 对 3.78，且更快，实时率 0.0047 对 0.0075。论文的有限解释是大模型可能过拟合局部训练动态，导致单步平均速度估计不够鲁棒，并猜测更长训练、更强正则或更好条件可能使大模型受益，这属于待验证推测而非直接报告。

最后讲微调。不微调时 UTMOS 仅 3.11、MOS 仅 3.35，证实隐失配；仅解码器微调升到 3.43 和 3.70；联合微调达到 3.64 和 3.85 且词错率最优，支持波形域目标经一步采样反传能同时改善生成和重建，且不增加推理成本。未评测边界是噪声种子敏感性和长句稳定性，原文未报告。

哪些结论有边界，哪些量没有被测量？

直接报告的边界是感知质量仍未完全追平基线。最佳一步系统的 MOS 3.85 低于基线 4.05，UTMOS 3.64 低于 3.76，词错率也高 0.23 个百分点。变分自编码器上限高于两者，支持瓶颈在生成端的判断，但这只是上限对照支持，不是因果证明，不能推出单纯放大生成器一定补上差距，实际上 600M 并未更好。

未测量和未报告的量要明确。延迟只报告 H20 半精度批量 1 的平均实时率，未报告端侧芯片、流式首包延迟、内存占用和功耗；鲁棒性未报告不同说话人、噪声条件和域外语料的误判率；主观评测仅 50 条和 20 名听众，未报告统计显著性检验方法。相关性不等于因果，例如 D 越大质量越好不能直接解读为每增加 1 维都有相同收益，总体趋势不等于每组都成立。

还有实现缺项。优化器、学习率、训练步数、数据增强和随机种子策略未在证据中给出，判别器结构只说明是 EnCodec 风格多尺度，微调时数据切分和早停准则未交代。这些缺失不是技术错误，但复现时必须回到代码核对，不能从模型名称推定实现，也不能把无训练等同于确定性求解。

要复现一步管线，先跑通哪三步？

第一步跑通变分自编码器。按原文用 24 kHz 输入、总下采样 960 对齐 25 Hz，编码器为步长 2、4、4、6、5 的卷积栈，训练用 2 秒块、多分辨率短时傅里叶损失、傅里叶点数 32 到 2048、对抗铰链损失、特征匹配损失和 KL 系数 0.0001，判别器在 1000 步热身后启用。先验证真实波形编码再解码的上限是否接近词错率 2.14% 量级，若上限差距大，后续生成器再强也难以补回。

第二步跑通隐 MeanFlow。用 5 秒段、冻结编码器提供的目标隐变量、对数正态采样 r 和 t、雅可比向量积算时间导数和自适应重加权训练 1 维扩散变换器。条件必须与基线一致：同一 25 Hz 语义 Token、同一 192 维说话人嵌入、同一融合加自适应层归一化调制。推理验证单步公式：从高斯采样经 1 次平均速度更新得到生成隐变量，再经解码器得到波形，确认生成器加解码器的实时率分阶段约为 0.0016 加 0.0030。

第三步跑通波形域微调。先做仅解码器微调，冻结生成器，只更新解码器和判别器，权重取对抗 0.1、特征匹配 5.0，观察 UTMOS 是否从约 3.11 升到约 3.43；再做联合微调，对一步采样反传同时更新生成器和解码器，编码器保持冻结，验证是否到约 3.64。代码当前已公开，但需区分代码开源、权重下载和系统可运行是三件不同的事，复现前先确认权重和推理脚本是否与论文口径一致。

何时值得尝试这种隐空间一步解码？

当系统已经采用低码率语义 Token 且延迟主导体验时值得尝试。本文把一步大步更新限制在 25 Hz 低维隐空间，用确定性解码器收尾，固定为 2 次前向，在 H20 上实现 17 倍端到端加速且可懂度和相似度接近 10 步基线。这种固定成本特性对交互和端侧部署有直接吸引力，因为延迟不再随采样步数波动。

不值得盲目尝试的情况也要讲清。如果目标是最高保真离线合成，或已有强声码器和充足算力，多步基线感知仍占优；如果隐维度只能做到很小，D 等于 8 时词错率 4.82% 和 MOS 3.45 的代价可能超过加速收益；如果想靠单纯放大生成器提升质量，本文 600M 未胜出的负结果提示需要先补正则、训练时长和条件设计。

还需补的验证是跨 Token 器、跨语种、跨硬件的实时率与质量对照，以及长时一致性和多种子稳定性。论文特有的误解是把变分自编码器上限当成可部署收益，上限用的是真实隐变量，实际一步系统用的是生成隐变量，二者差距正是隐失配，微调缩小但未消除。记住这个区别，才能正确理解联合微调的价值和剩余 headroom 的位置。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总