📄 小模型如何在端侧做零样本语音克隆:ZONOS3-Mini 的编解码器、主干与评测

英文题目:ZONOS3-Mini Technical Report

评分:7.4/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.4/0.5 | 工程/实践 1.3/1.5

👥 作者与机构

  • Gabriel Clark:机构信息未能在本次解析中与作者逐人可靠绑定
  • Sofian Mejjoute:机构信息未能在本次解析中与作者逐人可靠绑定
  • George Close:机构信息未能在本次解析中与作者逐人可靠绑定
  • Beren Millidge:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

文本到语音(TTS)把文字转成语音;零样本语音克隆还要求系统只凭一段未见说话人的参考音频或说话人嵌入复现音色。难点在于参考音频会带来录音条件和韵律差异,跨语言、跨录音时的词错率(WER,越低越好)与说话人相似度容易同时变差,而端侧部署又限制参数、时延和吞吐。ZONOS3-Mini 先用 ZAC-1 把 44.1 kHz 语音编码为每帧含 1 个语义码和 9 个残差码的离散码;在四语言 ZTTS2-Eval 的编解码比较中,其帧率 15.0 帧/秒,低于 Fish S1–DAC 的 21.5 帧/秒。主干以文本 token 和参考码或说话人嵌入为条件,自回归预测音频码,再由解码器还原波形。训练先预训练,再微调加入嵌入和控制条件,最后用直接偏好优化(DPO)和组相对策略优化(GRPO)后训练;后训练以 ASR 的 WER 与 ReDimNet 说话人相似度评分筛选和奖励候选,抑制无语音、超长生成和克隆不稳。在 ZTTS2-Eval 的 55 个语言部件(35 个干净集、20 个真实场景集,共 74,041 条话语)上,嵌入条件的后训练模型取得 6.71% 宏平均 WER 和 81.2 说话人相似度;主比较表中 8B 总参数、0.9B 激活参数的 ZONOS2 宏平均 WER 为 6.22%、说话人相似度为 68.8,因此本模型 WER 高于 ZONOS2,但相似度高于 ZONOS2。推理侧报告在 H100 上 128 并发、整段解码时吞吐为每秒生成 67 秒音频,高于实时播放速度;首包延迟为 0.25 至 0.36 秒,并在 Pixel 9 与 M3 MacBook Air 上实时运行。这个结论适用于论文新提出的 55 语言部件评测和零样本克隆设置;跨系统比较受参考转写、语言覆盖和自动指标限制,尚未验证主观听感与所有真实场景的领先性。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音克隆 TTS 要同时保住内容、音色和运行时间

语音克隆 TTS 的输入是一段待合成文本和一段目标说话人的参考音频;系统要在不针对该说话人重新训练的情况下生成内容正确、音色相似的波形,这就是零样本语音克隆。参考音频还带着录音条件、语速和韵律,它们既是可用的克隆线索,也可能把噪声或口音带进输出,所以原始音频参考与压缩嵌入参考会有不同取舍。

端侧系统还要在手机或笔记本上实时运行,首包延迟、吞吐量和内存与可懂度、说话人相似度同等重要。词错误率(WER)用 ASR 转写与参考文本之间的替换、删除、插入错误衡量内容正确性,越低越好;说话人相似度(Sim)用说话人识别模型对生成音频和参考音频的嵌入做余弦相似度,再映射到 0 到 100,越高越好。一个系统若只把 WER 压低,却把音色、停顿和录音条件丢掉,不能算完成了语音克隆任务。

因此读这篇报告时要始终把三件事放在一起:给模型的文本与参考条件是什么,生成的音频词元怎样还原成 44.1 kHz 波形,以及速度数字是在什么硬件、多少并发和哪种解码口径下测得的。只有这 3 类条件同时对齐,跨系统比较才有意义。

与 ZONOS2 和公开系统相比,报告改的是整条链路

报告把 ZONOS3-Mini 定位在端侧 TTS 的质量与速度前沿上,而不是提出一个全新的生成范式。作者认为已有的端侧模型常在克隆质量、可控性和多语言覆盖上让步,因此这篇技术报告同时改音频序列压缩、文本表示、主干结构、说话人条件、控制方式和评测方法。

最直接的前作是 ZONOS2。ZONOS3-Mini 用 15 Hz 的 ZAC-1 取代更高帧率的音频表示,使音频序列相对 ZONOS2 缩短 5.7 倍;主干总参数降到 886M、每 token 激活约 100M,而报告引用的 ZONOS2 为 8B 总参数、0.9B 激活。作者把 ZAC-1 和新建的 ZTTS2-Eval 称为两项主要推动因素:前者改变可学习的序列长度,后者用更宽的语言覆盖约束模型选择。

与公开系统的比较不是同一训练预算下的从头复现,而是作者在自己的评测集上运行或汇总外部系统。报告按是否给外部系统参考转录分组,也单独报告闭源系统在四语言子集上的结果。看这些数字时,必须保留分组和子集条件,不能把带参考转录的分数直接当成无参考转录系统的上限。

这篇报告要解决的具体问题

第一层问题是音频序列太长。44.1 kHz 波形若让主干在采样率级建模,上下文会迅速膨胀;即使先编码成离散词元,帧率太高也会让自回归目标和长参考片段占用大量位置。ZAC-1 想在不丢掉说话人和声学细节的情况下,把每帧压缩成 10 个码,并把帧率降到 15 Hz。

第二层问题是端侧计算预算。作者不只缩小层数,还让主干在 1,024 维宽度中稀疏激活专家,使每 token 只经过约 100M 参数;大部分位置由 GDN 混合层处理,只在少数层使用全局注意力,以降低长上下文的内存和计算。报告还要说明这种结构是否能保持多语言可懂度和克隆相似度。

第三层问题是条件路径和评价。原始参考音频能携带韵律和录音条件,但长前缀在野外会带来不稳定的 WER;192 维说话人嵌入只占一个位置,主结果里相似度更高,却可能丢掉细节。报告要在两种路径之间比较,并用 35 个干净语言集合与 20 个野外集合检验结果是否只出现在容易的朗读语音上。后训练还要处理无语音、超长生成和高 WER 这些失败模式。

从一个样本走完文本、参考音频、音频词元和波形

先看一个训练样本。文本被 SuperBPE 切成编号,文本跨度由 BOS 和 EOS 包住;若使用原始音频参考,同一说话人的另一段录音先经 ZAC-1 编成 15 Hz 的 10 个码流,作为前缀放在文本前。预训练时这段参考前缀参与输入但被屏蔽损失,主干要在这个条件下预测目标音频词元;音频流末尾放 EOA,未使用的位置用 pad 填补。

主干处理这条混合序列,按上下文预测后续音频词元。每个 15 Hz 帧对应一个语义码和 9 个残差码,主干要同时处理这些码流;ZAC-1 的解码器再把词元还原成 44.1 kHz 波形。若使用说话人嵌入,192 维向量经投影后只占一个序列位置,代替长音频前缀,因此推理前缀更短,但不再直接携带参考段的逐帧韵律。

训练阶段并不是同一条目标的简单延长。预训练以原始音频参考为主;微调加入嵌入路径、质量控制与语速控制,并保留码元参考样本;随后用 DPO 处理失败候选,再用 GRPO 直接优化说话人相似度、WER 和时长。最终用户看到的是多个阶段的组合,不是单独一个检查点。

代价也要沿同一条路径理解:ZAC-1 的编码器与解码器合计 1.99B 参数,但它是独立的音频编解码器;主干是 886M 总参数、100M 激活;解码器又分成适合大 batch 云端的完整版和适合单流端侧的 keep-2 版。分析速度时必须说明是主干的词元生成、编解码器解码,还是包含两者的完整推理。

文本分词如何缩短条件序列

ZONOS2 使用原始字节文本,ZONOS3-Mini 改用 8,192 项 SuperBPE 分词器,训练数据也偏向口语。SuperBPE 分词器把原始字符流切成常见子词,8,192-entry 词表给每个子词分配固定编号;与逐字节序列相比,常见词和词块可以用更少位置表示。文本跨度是 BOS 到 EOS 之间的条件部分,音频流另以 EOA 结束,pad 行只填未使用位置。

原报告文字称 8,192 词表把文本压到平均 3.49 字节每 token,并在干净集 WER 上胜过字节基线、在野外集取得较好的 WER 与相似度;但图 4 的像素不支持第一项判断。在干净集 WER 面板中,字节基线约为 4.0%、8,192 约为 4.25%,而该轴标注为 Lower is Better,所以 8,192 的 WER 更高、并未胜出。野外集 WER 和两组相似度上它确实表现较好。词表也不是越大越好:16,384 词表在 1 次扫描中野外集最差,作者把退化主要归因于日语。因此这里的文本表示不是独立追求压缩率,而是与音频码率、主干位置预算和训练步数一起选择的结果。

SuperBPE 分词器 × 8,192-entry 词表 × 文本跨度: SuperBPE 分词器负责把原始文本切成可预测的子词单元,8,192-entry 词表给这些单元分配固定编号并把常见组合压成较少 token;文本跨度则是被 BOS/EOS 包住、随后与音频词元拼接的完整条件序列。三者组合后,主干看到的是更短且统计更稳定的文本条件;词表过大或过小则要在压缩率、干净集可懂度和低资源语言覆盖之间换取代价。

这也解释了为什么分词器的消融要放在 TTS 下游 WER 上做,而不是只看每 token 覆盖多少字节。字节压缩率只说明表示长度,真正重要的是主干能否在多语言、短前缀和有限训练步数下把条件映射到正确的音频词元。

潜在专家混合与 GDN/注意力主干怎样分摊计算

主干共 11 层。第 4 层和第 8 层使用全局因果注意力,并采用 GQA、QK 归一化、RoPE 和每个头可学习的输出门;这些层有 16 个查询头、4 个键值头和 32 维头宽。其余九层使用 GDN 混合器,4 个头,键和值维度为 128。9 比 2 的 GDN/注意力布局让大多数位置走更便宜的循环混合,只在少数层做跨位置全局检索。

潜在专家混合(latent MoE)把 1,024 维模型宽度映射到专家内部的 256 维,使总参数达到 886M 而每 token 只激活约 100M。这里“潜在” 指专家在压缩后的宽度里计算,不是直接把完整的 1,024 维向量送进每个专家。路由器和 QB 平衡策略决定哪些专家被激活;报告采用 QB 后,每个 MoE 层的路由熵在整个训练中保持在均匀分布 5% 以内,没有出现明显的专家只用少数几个。

作者还采用全注意力残差(full attention residuals),理由是 11 层模型下其额外内存 I/O 仍小。要注意,消融里真正被采纳的是注意力残差,XSA 只做了对照而没有进入最终配置:XSA 会去掉每个 token 自身的值方向,在文本语言模型中常有帮助,但在 delay pattern 下当前帧包含前几个时间步的信息,去掉自身方向反而使野外 WER 变差。

潜在专家混合(latent MoE) × 门控 DeltaNet(GDN) × 注意力残差(attention residual): 潜在专家混合把 1,024 维主干宽度在专家内部压到 256 维,用稀疏激活换总容量;GDN 层承担大部分长序列位置,两个全局注意力层补上跨位置检索;注意力残差把注意力更新与主干状态连接起来,作者报告在当前 11 层规模下其内存 I/O 仍可接受。组合后的模型有 886M 总参数而每 token 约 100M 激活,但消融也显示专家化本身并不自动改善野外 WER。

这条主干的参数规模和激活规模要分开看。总参数决定权重存储与加载成本,每 token 激活参数决定单步矩阵计算量;端侧能否实时运行取决于两者的组合,而不是只看 886M 这个总数。

ZAC-1 如何把 44.1 kHz 音频压成 15 Hz 词元

ZAC-1 的目标是让主干容易预测、解码速度快,并且重建质量不崩。每个 15 Hz 帧携带 10 个码,来自 10 个 4,096 项码本:1 个语义码加 9 个残差向量量化(RVQ)码,合计 1.80 kbit/s,比 ZONOS2 的音频表示缩短 5.7 倍。语义分支使用冻结的 w2v-BERT 2.0 第 16 层特征做蒸馏,目的是让多语言语义更容易被下游 TTS 主干建模;残差码补足说话人和声学细节。

编码器和解码器本身是 1.99B 参数的对称级联,局部注意力分别工作在 15、30、60、120、240 Hz,避免在 44.1 kHz 采样率上直接跑注意力。编码器把音频切成类似 DAC 的残差 patch;解码器由 8 个 ConvNeXt 块和 iSTFT 头产生波形,iSTFT 头是因果的,因此支持流式低延迟。为了不同推理场景,报告发布两个解码器:完整解码器在大 batch 下避免最后一层的波形级内存瓶颈,keep-2 解码器只有 144M 参数,通过删掉最耗 FLOPs 的 transformer 块来照顾单流端侧推理。

为了检查压缩后是否还能支撑下游 TTS,作者编码预训练语料的一个 2% 分层子集,并在 4 个语言集合上从头训练 50k 步的 TTS 模型,比较 ZAC-1 与 Fish S1–DAC、MOSS 14 RVQ 和 DAC 的最终检查点。这个比较问的是“同样下游训练预算下,码本表示是否容易学”,不是只看重建波形是否漂亮。

WER ↓WER ↓Sim ↑Sim ↑
CodecFrames/scleanwildcleanwild
Fish S1–DAC21.54.305.2884.879.0
ZAC-115.04.065.5483.876.1
MOSS, 14 RVQ12.55.065.6784.680.3
DAC86.142.251.778.863.7

在 4 个语言集合上,ZAC-1 的干净集 WER 为 4.06%、野外集 WER 为 5.54%,说话人相似度为 83.8 和 76.1;Fish S1–DAC 对应 4.30%、5.28% 与 84.8、79.0,MOSS 14 RVQ 对应 5.06%、5.67% 与 84.6、80.3,DAC 则因 86.1 帧率过高而达到 42.2% 和 51.7% 的 WER。ZAC-1 在干净集 WER 上略好于 Fish S1–DAC,但野外集 WER 更高、两列相似度都更低,所以这张表支持的是“在低帧率和 1.80 kbit/s 下具有竞争力”,不是全面胜出。

只看下游会漏掉解码波形本身的质量,因此作者又在 ZTTS2-Eval 的 1,600 条 16 kHz 片段和 DAPS clean 的 200 条 44.1 kHz 语音上比较重建。PESQ、STOI、SI-SDR、相似度和 UTMOS 越高越好,log-mel L1 距离和 LSD 越低越好;DAPS 这一块没有报告 PESQ 和 STOI。

CodecFrames/skbit/sPESQ ↑STOI ↑Mel ↓LSD ↓SI-SDR ↑Sim ↑UTMOS ↑
ZTTS2-Eval ground truth, 1,600 clips, 16 kHz (original audio UTMOS 2.80)
ZAC-1, full decoder151.802.880.9280.1790.9557.8388.72.63
ZAC-1, keep-2 decoder151.802.510.9110.2021.0055.7284.92.52
Fish S1–DAC21.52.203.100.9410.1490.9007.2590.72.66
DAC86.17.753.890.9640.1320.92612.9493.82.71
MOSS tokenizer, 14 RVQ12.51.753.130.9400.1520.9118.8192.32.70
MOSS tokenizer, 32 RVQ12.54.003.550.9620.1330.88711.2295.52.68
DAPS clean, 200 utterances, 44.1 kHz (original audio UTMOS 3.69)
ZAC-1, full decoder151.80––0.2091.2128.5684.03.70
ZAC-1, keep-2 decoder151.80––0.2271.2296.5578.23.61
Fish S1–DAC21.52.20––0.1450.8228.6288.63.72
DAC86.17.75––0.1370.83212.7192.43.68
MOSS tokenizer, 14 RVQ12.51.75––0.3312.6849.5289.93.67
MOSS tokenizer, 32 RVQ12.54.00––0.3152.67411.7894.23.66

在 ZTTS2-Eval 片段上,ZAC-1 完整解码器的 PESQ 为 2.88、STOI 为 0.928、说话人相似度为 88.7、UTMOS 为 2.63;keep-2 解码器降到 2.51、0.911、84.9 和 2.52,正文明确说它用约 0.4 PESQ 和 4 个相似度点换取端侧吞吐。Fish S1–DAC 的 PESQ 为 3.10、STOI 为 0.941、相似度为 90.7,DAC 为 3.89、0.964、93.8,MOSS 14 RVQ 为 3.13、0.940、92.3;这些公共编解码器在多数重建指标上更高。DAPS 上完整解码器的 Mel 距离为 0.209、LSD 为 1.212、相似度为 84.0、UTMOS 为 3.70,keep-2 为 0.227、1.229、78.2、3.61,说明端侧解码器的相似度代价尤其明显。

ZAC-1 × 残差向量量化(RVQ) × delay pattern: ZAC-1 每 15 Hz 帧产生一个语义码和九个残差码;RVQ 用多个 4,096 项码本逐级补足重建误差;delay pattern 把这些码流错开成主干可预测的序列。语义码帮助多语种可建模性,RVQ 提供声学细节,延迟排列降低同时预测十个码流的难度,但下游码本消融显示码本结构、训练裁剪和帧率仍会显著改变 WER 与相似度。

速度方面,完整解码器在一个 H100、batch 256 的纯解码吞吐下达到 1,180 倍实时,keep-2 达到 3,950 倍,对比 MOSS 为 989 倍、S1–DAC 为 474 倍。这个数字只描述解码器吞吐,不等同于包含主干词元生成、说话人条件和完整推理之后的端到端延迟。

两种说话人条件与 speaker CFG 的分工

原始音频参考路径把一段参考音频的 ZAC-1 码元放在文本前,保留讲话人的音色、韵律、语速和录音条件。它的信息带宽更高,但前缀更长,也会把参考录音的噪声、混响和口音带入条件;微调前主结果里它在野外集的 WER 和相似度都明显不如嵌入路径。

说话人嵌入路径使用作者自行训练的 MECT-B2 编码器:卷积编码器之后接 MoE transformer 和 attentive statistics pooling,用 SphereFace2 损失独立训练,输出 192 维向量,再投影到主干隐藏维度。这个向量只占一个序列位置,推理时前缀短、控制更集中,在报告的主结果中说话人相似度更高,但固定 192 维是否足以承载细粒度韵律仍需分开验证。

预训练时,参考片段来自同一次录音中同一说话人的另一段,片段长度 1 到 60 秒,通过 HDBSCAN 与谱聚类的说话人分割共识选出;参考码元作为被屏蔽损失的 prefix 放在文本之前。训练样本中有 10% 完全省略参考,使模型能做无条件生成,并为 speaker CFG 提供无条件分支。微调阶段改为 45% 样本给嵌入、45% 给码元参考、10% 不给克隆条件,同时加入质量和语速控制行。

推理时 speaker CFG 并行一条没有参考前缀或说话人行的序列,把两条分支的 logits 按 ℓ_u + S(ℓ_c − ℓ_u) 合并;嵌入条件默认 S 为 1.5。这里的“无分类器” 不是丢弃文本,而是去掉说话人条件,让模型在克隆强度与稳定性之间调节。

说话人嵌入 × 原始音频参考 × speaker CFG: 说话人嵌入把参考音色压成一个 192 维向量,只占一个序列位置;原始音频参考保留更多韵律与录音条件,但占用长前缀;speaker CFG 在推理时并行一条去掉说话人前缀或说话人行条件的无分类器引导序列,用尺度 S 把两条 logits 之差加到无条件 logits 上。组合后得到速度、控制性与克隆保真度之间的两条路径,主结果里嵌入路径相似度高,原始参考在干净集 WER 更低但野外相似度明显下降。

两条路径的服务成本也不同。嵌入路径只多一个位置和 1 次编码,原始参考路径要在前缀中放长达 60 秒的码元,计算与 KV 缓存压力更大;反过来,原始音频路径能携带逐帧韵律,是否值得这项开销取决于任务更看重野外鲁棒性、可控性还是细粒度音色。

预训练、微调、语速阶段和两阶段后训练

预训练语料是 6.1M 小时的自然语音,来自公开与私有语料混合,并复用 ZONOS2 的标签和数据管线。为了给同一说话人配对同一次录音中的两段,作者用 HDBSCAN 和谱聚类分别对说话人嵌入窗口做分割,只保留两种方法都同意的区间。预训练运行 375k 步,总计 4.5T token 或 10 轮语料,使用 14 台 8 卡 H100;单样本最长 600 秒,克隆参考最长 60 秒。2 维权重用 Muon,其余用 AdamW,采用 BF16 和 FSDP 全分片,并记录每个 MoE 层的路由熵。

微调从 375k 检查点开始,训练 60k 步,重置优化器状态;数据混合额外过滤,要求三份转录一致并把 CER 一致阈值降到 2%。这 1 阶段让模型同时学习嵌入克隆和码元克隆,并提供质量控制、语速控制行;随后再用 20k 步把 10 个语速桶拆成 3 个更细的桶,共 30 个,新增词元从父桶表示初始化,数据和优化器状态重新开始。

后训练使用 5,089 条英语、中文、西班牙语和日语训练语音,生成候选由 Qwen3-ASR 对提示文本打分、ReDimNet 对提示音频打分。第一段用 DPO 处理无语音、达到默认推理 token 上限、时长显著偏离或 WER 很高的失败候选:每个提示生成 11 个候选,8 个在 speaker CFG 为 1、3 个在 1.5;每个失败候选与同一提示中最接近的完整候选组成偏好对,损失是音频词元平均对数概率上的 DPO 目标,β 为 0.1,再加 0.05 倍所选序列的负对数似然,使用 AdamW、学习率 10^-6、每步 8 对、训练 4 轮。

第二段 GRPO 让同一提示下的候选直接竞争。每个候选的奖励按下式组合 WER 与 SIM:

\[0.9\max(0,\,1-\frac{\mathrm{WER}}{2})+0.1\,\frac{\mathrm{SIM}}{100}.\]

式 1 把 WER 项放在 0.9 的权重下,并在 1−WER/2 为负时截成 0;SIM 除以 100 后占 0.1。按这个写法,WER 应以可与 1 比较的比例进入,而不是表中带百分号的原始数;报告没有在公式旁另列缩放说明,复现时要以训练配置核对。

除奖励外,模型还惩罚过长的生成时长:

\[\max(0,\,\log(\frac{r}{1.35}))\]

式 2 中 r 是生成时长与原录音时长之比,只有 r 超过 1.35 才产生正成本;成本再在同一提示的组内标准化,并从组内标准化奖励中减去 0.5 倍,以抑制失控长生成而不鼓励无限缩短。组内奖励标准差低于 0.005 的组被丢弃,最后留下 2,348 组;损失是带 ε 为 0.2 的截断 token 级替代目标,加一项权重 0.04、指向第 1 阶段模型的 KL 散度惩罚,log-ratio 截断在正负 5。训练使用 AdamW、学习率 10^-6、每步 4 组、专家路由器冻结、训练一轮。

直接偏好优化(DPO) × 组相对策略优化(GRPO) × KL 散度(KLD)惩罚: DPO 先针对无语音、超长、失控长生成或高 WER 的失败候选构造偏好对,把生成拉回完整且可识别的输出;GRPO 再按同一提示的组内奖励标准化,直接优化 WER、SIM 和时长;KL 散度惩罚限制新策略相对第一阶段模型漂移。三者依次承担去坏例、优化细指标和防漂移的分工,它们只作用于后训练数据,不替代大规模预训练。

训练动态图把 4 个阶段的学习率、训练损失和路由熵放在一起,便于检查阶段切换是否稳定。读图时要区分左侧按预训练位置计的横轴和右侧按后训练步数计的横轴。

看图路径: 1. 先确认左侧时间轴是预训练位置,右侧是后训练步数,不能把两段横轴直接等长比较;2. 再看学习率、训练损失和归一化路由熵三个纵轴各自回答什么;3. 最后观察路由熵均值是否长期贴近 1,以及十层 MoE 的范围带有多宽

原论文 Figure 3:Learning rate, training loss and normalized router entropy over pre-training, fine-tuning, the…

论文图 3。原论文 Figure 3::“Learning rate, training loss and normalized router entropy over pre-training, fine-tuning, the speaking-rate stage and post-training (DPO and GRPO).”。

图中可见预训练段的路由熵均值长期贴近 1,十层 MoE 的范围带很窄;微调开始后损失先跳高,再逐步下降到约 5.93,速率阶段末约 5.91。右侧后训练面板显示 DPO 的偏好准确率标为 0.98,奖励曲线上升;这些是训练过程证据,说明路由没有明显塌缩,但不能替代独立测试集上的 WER 和相似度。

报告还专门讨论了为什么不能只靠训练损失选模型:在 75 个匹配的 400M 总参数、40M 激活参数训练中,训练 NLL 与解码质量的相关性只有 0.52;XSA 实验甚至出现损失几乎不变而野外 WER 上升约 10 个百分点的情况。因此作者用损失监控训练,但用解码音频在八部分 ZTTS2-Eval 协议上的分数选检查点。

ZTTS2-Eval 如何测量、怎样聚合

ZTTS2-Eval 接替 ZONOS2 使用的 ZTTS1-Eval,包含 35 个干净集语言和 20 个野外集语言,共 74,041 条语音、55 个评测部分。干净集来自 FLEURS-R 朗读语音,野外集来自 VoxBlink2 子采样;提示音频和目标音频来自同一说话人的不同录音片段,所以相似度是在跨录音条件下测的,而不是把同一段音频复制一遍。

识别分数主要用 Qwen3-ASR,英语用 Whisper-large-v3;说话人相似度用 ReDimNet,质量用 MSR-UTMOS。报告还测节奏和音高分布匹配,以及一种使用打乱输入下限的修改版 MPM 嵌入距离。WER 用于大多数语言,中文和日语报 CER;每条语音的错误率在平均前先截断到 100%,相似度是 ReDimNet 余弦相似度映射到 0 到 100。所谓 macro 是 55 个部分的未加权平均,不是按语音数或语言人口加权。

干净集和野外集必须分开看。野外集的录音、口音和噪声更复杂,原始音频条件在这里的 WER 与相似度都明显变差;若只报干净集,就会掩盖这一退化。表外的外部系统比较还按“是否给参考转录” 分组,因为给了转录的系统在内容对齐上获得了额外信息,不能和没有转录的 ZONOS3-Mini 直接混排。

评测表还保留真实录音作为参考行,例如外部系统比较中的真实录音宏平均 WER 为 9.49%、相似度为 73.8,而不是 0 和 100。这提醒读者:ASR 本身会错、跨录音的说话人嵌入也不是完全一致,主结果的绝对数值要放在这个测量下限背景下理解。

词错误率(WER) × 说话人相似度(Sim) × ZTTS2-Eval: WER 用 ASR 转写与参考文本之间的编辑错误衡量内容和可懂度,越低越好;Sim 用 ReDimNet 的嵌入余弦相似度衡量音色克隆,映射到 0 到 100,越高越好;ZTTS2-Eval 把 35 个干净语言集合和 20 个野外语言集合分别计分再取未加权宏平均。三者组合后一个模型不能靠单一语言或单一指标取胜,但宏平均仍不能替代人工听感,且不同系统是否拿到参考转录必须分组比较。

由于宏平均对每个语言部分等权,低资源或困难语言的坏结果不会被英语等大语种冲淡;这适合检查覆盖,但也意味着某个语种部分很小或特别难时,整体 macro 会被明显拉动。报告只在中文和日语使用 CER,其他语言使用 WER,跨指标差值不能直接换算成同一种误差。

主结果:后训练改变了什么,两种条件各付什么代价

先比较同一模型在微调后与后训练后的结果,再看嵌入和原始音频两条条件路径。4 组结果都在 ZTTS2-Eval 的 55 个部分上、speaker CFG 为 1 时测得;干净集和野外集分别报 WER 与相似度,macro 列是两部分的未加权汇总。

Clean (35 languages)Clean (35 languages)In the wild (20 languages)In the wild (20 languages)MacroMacro
ModelConditioningWER ↓Sim ↑WER ↓Sim ↑WER ↓Sim ↑
ZONOS3-Miniembedding8.2883.17.5274.08.0079.8
ZONOS3-Miniraw audio7.9577.712.5755.19.6369.5
ZONOS3-Mini + PTembedding7.7983.44.8177.36.7181.2
ZONOS3-Mini + PTraw audio7.3976.55.4858.16.7069.8

微调后的嵌入路径 macro WER 为 8.00%、相似度为 79.8,原始音频路径为 9.63% 和 69.5%;后训练后,嵌入路径降到 6.71% 并把相似度提高到 81.2,原始路径降到 6.70%、相似度只从 69.5 到 69.8。嵌入路径的主要收益来自野外集:WER 从 7.52% 降到 4.81%,相似度从 74.0 升到 77.3;干净集 WER 只从 8.28% 降到 7.79%。

原始音频路径的 macro WER 与嵌入路径几乎相同,但相似度低 11.4 个点,差距主要出现在野外集:原始路径的野外相似度只有 58.1,而嵌入路径为 77.3。干净集上原始路径的 WER 为 7.39%,反而低于嵌入路径的 7.79%,相似度为 76.5 对 83.4。这里不能简单说哪条路径更好:嵌入路径更稳、更省前缀并显著提高音色相似度,原始路径在干净集可懂度上仍有一点优势,却把野外录音条件带进了条件序列。

后训练对原始路径的改善很不对称。它的 macro WER 从 9.63% 降到 6.70%,但相似度几乎不变;这说明 DPO/GRPO 主要修正了失败生成和识别错误,并没有自动把非嵌入路径的音色克隆提到嵌入路径的水平。

与外部系统相比处在什么位置,速度图说明什么

报告在全部 55 个部分上比较了 ZONOS3-Mini 与外部系统,并按是否给参考转录分组。在无参考转录组中,ZONOS3-Mini 的嵌入路径 macro 相似度为 81.2,是该组最高;macro WER 为 6.71%,略高于原始音频路径的 6.70%,也高于 ZONOS2 的 6.22%,但后者只有 8B 总参数、0.9B 激活。野外集相似度 77.3 在无参考转录组内也是最高的;放到所有系统、且不区分条件组时,它仅低于有参考转录的 VoxCPM2 的 77.8。宏平均相似度上,只有同为 83.1 的 VoxCPM2 和 OmniVoice 高于 ZONOS3-Mini 的 81.2。

跨所有系统看,最低 macro WER 不是 ZONOS3-Mini:Fish Audio Drama 3 以 35B 总参数、3B 激活达到 4.74%,ZONOS2 为 6.22%,OmniVoice 为 6.62%,ZONOS3-Mini 的嵌入路径为 6.71%、原始路径为 6.70%。这些系统有的拿到参考转录、有的没有,不能直接排成一条胜负链。报告还指出 Qwen3-TTS 和 CosyVoice 3 官方支持的语言更少,而它在每个语言部分都运行所有系统,这会显著影响它们在这张全语言表上的分数。

闭源系统比较另用 ZTTS2-Eval Mini:只保留德语、英语、西班牙语、中文中每个系统都实际生成的项目,降低评测成本。该子集上,ZONOS3-Mini 嵌入路径干净集 WER 为 2.55%、相似度 83.1,野外集 WER 为 5.00%、相似度 77.5;原始路径为 2.56% 与 75.5,以及 5.86% 与 58.1。作者据此说它在干净集相似度第二、野外集相似度最高,同时 WER 仍接近闭源系统;这个结论只适用于这四语言、全部系统都生成的项目,不能扩展成 55 部分的总体排名。

速度和质量的关系由下图单独给出。读图时要先确认左右面板的横轴不同:左边是 8 并发请求下的首音频时间 p50,右边是每个系统在自身最佳吞吐并发下的峰值吞吐,且两轴都取对数。

看图路径: 1. 先分清左右面板:左边是 8 并发下的首音频时间,右边是各模型最佳吞吐并发下的峰值吞吐;2. 再检查横轴是否为对数尺度,以及绿色区域表示延迟更低或吞吐更高;3. 最后沿虚线帕累托前沿查看质量相同时哪些点掌握了速度优势

原论文 Figure 1:Quality versus speed on one H100 80GB.

论文图 1。原论文 Figure 1::“Quality versus speed on one H100 80GB.”。

左图中 ZONOS3-Mini 的橙色点位于较高质量和较短首音频的一侧,右图中它位于较高吞吐和较高质量的一侧;虚线台阶显示帕累托前沿,其他点并非都在同一并发条件下比较。图注还说明延迟点采用“音频生成完成后再返回” 的口径,因此 TTFA 等于完整生成时间;这把图上的速度结论限定在整段解码、一个 H100 80 GB 和相应并发上,不能直接外推到手机流式请求的每一个阶段。正文另外报告,发布检查点在一个 H100、128 个并发、整段解码时每秒生成 67 秒音频,启用前缀流式后首音频在 0.25 到 0.36 秒到达;这两组数字的测量口径不同,不能混成一个延迟指标。

适配能力:控制、口音、编辑和多轮各有独立测试范围

报告还展示了几种在同一主干上做的适配,但它们不是 ZTTS2-Eval 55 部分主结果的一部分。语音设计从最终后训练检查点出发,在说话人嵌入上施加控制方向,改变感知年龄、性别呈现和嗓音质感;多个方向可以组合。情感和表达控制使用免训练的激活引导:在第九层 GDN 混合器输出上计算 Expresso 朗读与对话风格的均值差,组合成效价、唤醒、支配、响度、节奏和清晰度 6 个轴。逐句控制把该向量缩放到每 1 帧,逐词控制则用对齐注意力头跟踪目标词并把干预限制在对齐跨度内。

作者用 ParaSpeechCLAP 相似度增益和 Expresso 情感分类器校准每个轴的两端;在留出音频上,3 个默认声音通过了 12 个极点中的大多数,正面表达极点最常被关闭。

口音控制为 14 种口音分别训练 LoRA,每个适配器只使用微调子集中的母语语音并以英语呈现。rank-64 LoRA 有 8.9M 参数;α=1 时平均目标口音 top-1 率从 0.126 升到 0.393,WER 从 3.71% 升到 14.26%;α=0.7 时每个适配器的 WER 接近 6%。这说明口音强度和可懂度存在明显权衡,不能只报口音命中率。

语音编辑从 375k 检查点再训练 10k 步,采用 VoiceCraft 式遮蔽跨度填充:用 MMS 强制对齐找出 1 到 3 个随机跨度,把它们的码元作为专用结束标记的填充块放在上下文之后。Common Voice 英语的 500 条文本中有 460 条适合编辑,编辑后 WER 为 13.60%,原始码元重合成是 10.17%,普通 TTS 的 WER 增加 0.8 个百分点。多轮对话采用 CSM 式窗口,把前几轮音频和文本作为目标轮上下文,再训练 25k 步;在 45 个英语对话的 252 个留出窗口上,服务变体为 10.7% 的截断 Whisper WER,同协议真实录音为 16.8%。

这些结果支持“同一主干可以承接若干控制与交互适配”,但它们使用各自的数据、提示分布和评价协议。把它们与主结果中的 6.71% macro WER 直接相加或比较是不成立的。

哪些组件真正贡献,哪些改动反而变差

主干消融是累积式:在 800M 总参数、80M 激活的 ZONOS2 式主干上训练 150k 步,每次新增一个结构,然后看同一四语言 ZTTS2-Eval 的干净集与野外集分数。这个设置问的是“在当前训练预算下,逐项加入组件是否比上一行更好”,不是单独把每个组件从最终模型中拆掉。

In the wildIn the wildIn the wildCleanCleanClean
Arm (cumulative)WER ↓Sim ↑UTMOS ↑WER ↓Sim ↑UTMOS ↑
Original (ZONOS2 block)64.645.12.1039.159.22.86
Latent MoE83.244.21.9533.769.32.87
++ linear router, no EDA43.554.52.1926.965.82.99
++ quantile balancing39.056.32.2033.760.02.93
++ XSA49.153.12.1931.267.02.95
++ AttnRes-4 (no XSA)36.355.52.1822.968.02.95

原始 ZONOS2 块在野外集是 64.6% WER、45.1 相似度,干净集 39.1% 和 59.2;只加潜在专家混合后,野外 WER 反而升到 83.2%,说明稀疏专家本身没有解决问题。再加入线性路由器并去掉 EDA,野外 WER 降到 43.5%、相似度升到 54.5,干净集 WER 降到 26.9%;继续加 quantile balancing,野外 WER 到 39.0%、相似度 56.3,但干净集 WER 回升到 33.7%。XSA 一行把野外 WER 提高到 49.1%,与“损失不变而 WER 上升” 的正文描述一致。最后一行去掉 XSA、加入 AttnRes-4,得到野外 36.3% WER、55.5 相似度和干净集 22.9% WER、68.0 相似度,是表中最低的 WER。

作者把 XSA 的退化归因于 delay pattern:当前帧包含前几个时间步的信息,去掉 token 自身的值方向会削弱当前预测需要的信号。这一解释有消融数字支持,但它仍是作者给出的机制解释,不是单独的可视化证明。

GDN/注意力布局另有对照。在 800M 潜在专家主干、50k 步、其他设置固定时,4.5:1 的 GDN 布局在野外集与全 softmax 注意力相差不超过 0.1 WER 和 0.1 相似度,而 GLA 和 SWA 差 0.5 到 0.9 个 WER 点。一个 H100、16k 上下文、CUDA graphs 下,4.5:1 布局在 batch 1 快 1.22 倍、batch 256 快 3.2 倍,batch 256 的持久状态为 4.6 GiB,而全注意力为 22 GiB。因此最终采用它主要基于质量不降下的成本优势,而不是它单独提高了 WER。

码本消融还比较了不同 ZAC-1 变体在 50k 步下游 TTS 上的表现。最终 ZAC-1 的 WER 为 4.80%、相似度 79.94,与 Fish S1 codec 的 4.79% 和 81.87 几乎同 WER,但相似度低约 2 个点,换来 15 帧每秒和 1.80 kbit/s 的更低帧率与码率。10 秒裁剪变体降到 5.81% 和 74.54,1×4096 加 9×1024 的码本变体降到 6.53% 和 67.83,无双重编码的 hybrid 变体降到 7.25% 和 68.37,16 码本变体降到 12.47% 和 71.67;这些负结果说明语义蒸馏、10 个 4,096 项码本和 15 Hz 配置是配套选择,单独换掉任何一项都可能破坏下游可学习性。 分词器扫描单独用 4 个语言集合的宏平均来做,图中给出 WER 和说话人相似度随词表规模的变化,并画出 95% 置信区间;读图时要先区分指标方向和干净集、野外集两列条件。

看图路径: 1. 先看上下两行分别是 WER 和说话人相似度,指标方向相反;2. 再沿横轴比较字节基线与不同词表规模,注意横轴取对数;3. 最后对照橙色 8,192 在干净集 WER 面板与字节基线的相对高低,再分别看野外集 WER 和两组相似度,不能把一个面板的胜负外推到全部指标

原论文 Figure 4:SuperBPE vocabulary sweep: matched 50k-step runs on the S1–DAC codec scored on the ZTTS2-Eval…

论文图 4。原论文 Figure 4::“SuperBPE vocabulary sweep: matched 50k-step runs on the S1–DAC codec scored on the ZTTS2-Eval clean and in-the-wild sets (four-language macro over en, zh, es and ja; bars are 95…”。

图中橙色标记的 8,192 词表需要按 4 个面板分别读:在左上干净集 WER 面板,纵轴标为“Lower is Better”,字节基线约 4.0%、8,192 约 4.25%,因此 8,192 的 WER 更高、表现反而差于字节基线;原报告文字称它在干净集 WER 上胜过字节基线,但按图中可读数值不能支持这一判断。右上野外集 WER 面板中,8,192 的 WER 约为 5.2%,低于字节基线的约 6.1%,即低约 0.9 个百分点,这一侧确实更好;左下干净集说话人相似度和右下野外集相似度面板中,8,192 的位置也高于字节基线。16,384 的野外 WER 和相似度明显变差,正文把这一退化主要归因于日语。

误差条说明相邻词表的部分差异仍在统计噪声范围内;因此“8,192 最好” 应理解为在这 1 次四语言宏平均和固定训练步数下的选择,而不是所有语料与步数的普遍结论。

结论在哪些条件下才成立

第一项限制是评价主要是自动指标。WER 依赖 ASR、相似度依赖 ReDimNet、质量依赖 MSR-UTMOS;真实录音行本身 WER 就不为 0%,相似度也低于 100 分(0–100 分制),说明指标有测量下限。报告提供了试听样例,但没有在这篇技术报告中给出人工平均意见分数或大规模人工偏好实验,因此不能把自动 WER 和相似度直接当作听感结论。

第二项限制是宏平均与子集选择。55 个语言部分等权相加,中文和日语用 CER,其他语言用 WER;每条语音先截断到 100% 再平均。这种聚合适合覆盖检查,却会让困难语种、样本量差异和截断规则影响总体值。闭源系统比较只覆盖四语言且只保留所有系统都生成的项目;对外部系统还按其是否获得参考转录分组,不能把全语言表和四语言子集混成一个总排名。

第三项限制在音频编解码器。ZAC-1 的优势是 15 Hz、1.80 kbit/s 和下游可学习性,不是所有重建指标都最高;在 ZTTS2-Eval 和 DAPS 上,Fish S1–DAC、DAC、MOSS 等在两列或多列 PESQ、STOI、Mel、LSD 或相似度上更好。keep-2 解码器为端侧删掉了大量 transformer 块,报告自己给出约 0.4 PESQ 和 4 个相似度点的代价。需要高保真重建的任务应单独判断这是否可接受。

第四项限制是部署证据的覆盖。量化实验只测 375k 预训练检查点;速度分别报了解码器吞吐、发布检查点的整段生成、H100 并发和 Pixel 9 或 M3 WebGPU 首音频,这些数字不能互换。真实手机上的热节流、内存占用、后台进程和网络条件没有被这张主表覆盖。

第五项限制是数据可复现性。语料是 6.1M 小时公开与私有语音混合,并复用 ZONOS2 标签;论文声称发布模型权重、推理和训练代码,但预训练数据本身不因此完整公开。代码、权重可检查与数据可重训是三件事,复现实验时应分别核对。

最后,嵌入路径的高相似度不保证保留所有细粒度韵律。192 维冻结说话人嵌入容易压缩音色,却可能限制语速、情绪和录音条件;作者在讨论中也担心更大的模型继续使用冻结说话人嵌入时会遇到目标音频适配问题。这仍是待验证的风险,不是已经测出的失败。

推理、量化与端侧复现要核对哪些条件

推理运行在修改过的 Mini-SGLang ZONOS2 运行时上,解码步被 CUDA graph 捕获,解码器做前缀流式,因此首音频可以在 0.25 到 0.36 秒后出现。发布检查点在一个 H100、128 个并发、整段解码时报告每秒生成 67 秒音频;这与代码、权重和开发板上的单流延迟不是同一测量。speaker CFG 并行一条无参考前缀或无说话人行的序列,按 ℓ_u + S(ℓ_c − ℓ_u) 合并 logits,嵌入条件默认 S 为 1.5。

量化实验从 375k 预训练检查点出发,以 BF16 为基线,在四语言野外集上比较 WER、相对 BF16 的配对 bootstrap 差值和说话人相似度。Q8_0 mixers 的 PTQ 为 4.27% WER,QAT 为 4.29%;4 位专家加 8 位 mixer 的 QAT 为 4.21%,相对 BF16 的 4.14% 差值为 +0.07,95% 置信区间为 −0.34 到 +0.48;2 位专家 QAT 为 4.97%,三值专家 BitDistill 为 7.05%,FP8 W8A8 PTQ 为 5.11%、QAT 为 4.54%。作者据此把 4 位专家加 8 位 mixer、使用 QAT 的格式称为“没有可测可懂度损失” 的最小测试格式,所有格式从 Q8_0 的 1.03 GB 到该 4 位格式的 0.66 GB。

量化结论有一个关键边界:表 8 明示是对 375k 预训练检查点做的,不是最终加 PT 的模型。它支持“预训练主干可以在这个量化区间保持 WER”,但不能自动推出后训练模型的 DPO/GRPO 行为、说话人嵌入路径和端侧失败率也一样。部署前仍需要在最终检查点上重测 WER、相似度、UTMOS 和失败率。

报告还测量了纯解码与端侧路径:量化配置在一个 H100 单流上约每秒解码 20 秒音频,CPU 上为 129 到 160 帧每秒;原生 C++/ggml 运行时包含两个 iSTFT 头和说话人编码器,WebGPU 浏览器运行时也已提供。Pixel 9 和 M3 MacBook Air 上报告实时生成,首音频分别低于 800 ms 和 450 ms。这些都是特定设备、特定运行时和后端的结果,不能替换成通用的手机端到端延迟。

若要按报告复现,训练侧的关键条件必须一起保留:预训练 375k 步、4.5T token、14×8 H100、BF16 与 FSDP;微调 60k 步、参考分支与嵌入分支各 45%、无条件 10%;语速阶段 20k 步、30 个桶;DPO 的 β=0.1、0.05 倍 NLL、8 对每步;GRPO 的奖励式、时长成本、ε=0.2、KL 权重 0.04、冻结专家路由器。少报其中一项,结果就不再是同一实验。

什么时候值得尝试,第一步复现什么,还缺哪项验证

如果目标是资源受限的零样本语音克隆 TTS,需要多语言、低帧率音频词元、较短前缀和端侧可接受的延迟,并且接受自动指标作为第一轮筛选,ZONOS3-Mini 值得先试。它的嵌入条件路径在报告的全语言表中取得 81.2 宏平均相似度和 6.71% macro WER,同时主干只有 886M 总参数、100M 激活;原始音频路径的 macro WER 略低到 6.70%,但野外相似度只有 58.1,更适合作为可携带逐帧韵律的补充通道,而不是默认的相似度最优路径。如果有更高算力且最看重识别错误,报告中 Fish Audio Drama 3 的 4.74% macro WER 更低;如果只看宏平均相似度,VoxCPM2 和 OmniVoice 的 83.1 更高。

复现的第一步应先用发布推理路径和 BF16 权重,在一个明确的 ZTTS2-Eval 子集上对齐条件:参考片段是否给转录、使用嵌入还是原始音频、speaker CFG 是否为 1、英语是否用 Whisper-large-v3、中日是否用 CER、每条语音是否先截断到 100%。只有这组小规模数字与报告方向一致,才值得进入 55 部分全量评测,再检查量化格式和端侧运行时。

进入部署验证前,还要补 3 类原文没有完全覆盖的证据:最终后训练检查点在 4 位专家 QAT 下的 WER、相似度和失败率;真实手机上的热稳定首音频与持续吞吐;以及跨噪声、混响和口音参考的人工听感或人工偏好。若这些验证通过,再讨论是否能替代更高保真或更高速的系统;若没有通过,ZONOS3-Mini 的结论仍应限定在论文报告的硬件、自动指标和条件路径内。

📎 论文与评分元数据

排名:前50% | 文档类型:系统技术报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:deepseek-v4.1-flash

  • 评分请求协议:openai_responses


← 返回 2026-11-13 语音/音乐/音频论文速递