📄 RSE-TTS:共享文本感知参考编码与生成
英文题目:RSE-TTS: Compact Text-to-Speech through Shared Text-Aware Reference Encoding and Generation
评分:7.4/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.9/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Ming Ma:机构信息未能在本次解析中与作者逐人可靠绑定
- Mingjie Chen:机构信息未能在本次解析中与作者逐人可靠绑定
- Yuanzhong Zheng:机构信息未能在本次解析中与作者逐人可靠绑定
- Hengyao Bao:机构信息未能在本次解析中与作者逐人可靠绑定
- Hailin Yu:机构信息未能在本次解析中与作者逐人可靠绑定
- Shijing Yu:机构信息未能在本次解析中与作者逐人可靠绑定
- Hao Qiu:机构信息未能在本次解析中与作者逐人可靠绑定
- Gongfan Cao:机构信息未能在本次解析中与作者逐人可靠绑定
- Xiao Li:机构信息未能在本次解析中与作者逐人可靠绑定
- Xuemin Zhao:机构信息未能在本次解析中与作者逐人可靠绑定
- Youhai Jiang:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
论文要解决紧凑 TTS 在新文本上保留参考说话人音色与表达的问题:声学续写保真但需保留完整参考历史、增大上下文,固定长度参考编码更紧凑,却可能在压缩中丢细节。RSE-TTS 以参考语音、其转写和目标文本为输入,输出目标语音;重建式说话人编码器(Reconstructive Speaker Encoder,RSE)与生成器共享 Global Transformer,使参考编码不另设一套生成骨干,并联合编码参考文本与语音;在相同 20k 小时训练下,相对独立预训练编码,共享使编码器与生成器参数减少 48%。编码时先把参考文本嵌入、参考语音帧嵌入、结束标记 EOS 和 8 个可学习查询按序送入共享骨干,得到 8 个连续向量,再逐向量加上冻结 CAM++ 提取并投影的说话人嵌入;生成时以这些向量、目标文本和起始标记 BOS 为前缀,由 Global Transformer 判断继续或停止,单层 Local Transformer 逐帧生成 16 个码本索引,最后经冻结 codec 还原波形。训练采用教师强制,只监督目标语音的自回归交叉熵,梯度经参考向量回传查询读出和共享骨干。在 Seed-TTS、CV3-eval、MiniMax 的英语测试中,RSE-TTS 的参考条件克隆模式相对官方 MOSS-TTS-Nano 参考条件克隆模式,词错率(WER)分别由 3.96%、8.10%、1.58% 降至 1.49%、3.37%、0.72%,说话人相似度(SIM)分别由 0.480、0.431、0.659 升至 0.598、0.540、0.680;RSE-TTS 加声学续写后相对 Nano 续写模式,WER 分别由 3.13%、7.57%、1.77% 降至 1.66%、3.07%、0.74%,SIM 分别由 0.556、0.492、0.730 升至 0.670、0.627、0.758。在 Seed-TTS、CV3-eval、MiniMax 上,RSE 的固定 8 向量条件相对匹配的仅声学续写系统,SIM 为 0.552/0.499/0.615,低于后者的 0.591/0.526/0.684。RSE 需要参考转写,实验仅覆盖英语,论文未披露训练、推理或部署成本;因此跨语言、无转写参考及实际效率未验证。
🔗 开源与复现资源
第三方资源:https://voxnexusai.github.io/RSE-TTS/ — 链接可访问(HTTP 200)
第三方资源:https://github.com/OpenMOSS/MOSS-TTS-Nano — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/FunAudioLLM/Fun-CosyVoice3-0.5B-2512 — 链接可访问(HTTP 200)
第三方资源:https://github.com/OpenMOSS/MOSS-TTS — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-Base — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
零样本语音合成要保留什么
零样本语音合成的输入是一段参考录音和一段目标文本,输出是同一说话人说出目标文本的新语音。系统要保留参考说话人的音色和说话方式,又要准确实现目标文本的语言内容;参考录音里可能同时带有停顿、录音伪影和与转写不完全一致的片段,这些并不都应被复制到输出。
一条直接路线是声学续写:把参考语音放进生成历史,让模型接着往下说。它能保留丰富的音色和韵律信息,但目标合成会与参考录音耦合,长参考占用更多上下文,参考中的异常停顿或转写不一致也可能影响合成。另一条路线是用参考编码器把录音压成固定大小的条件,使参考处理与目标生成分开。这样接口更紧凑,难点变成压缩过程中是否保住了足够的说话人身份和表达细节。本文围绕紧凑语音合成中的这个接口问题展开,而不是从头比较所有语音合成架构。
已有参考条件路线与本文位置
已有的零样本语音合成参考条件大致分成几类。说话人验证编码器把身份表示迁移到语音合成;MiniMax-Speech、IndexTTS2 和 XTTS 学习面向合成的参考条件器;VALL-E 把参考语音保留为声学上下文;Koel-TTS 比较说话人嵌入、解码器上下文条件和单独上下文编码器。这些工作处理的输入、监督和运行阶段并不相同,不能仅凭类别差异判断同一条件下的胜负。
文本感知的语音和风格表示也有多条线索:韵律编码器迁移声学表达,全局风格 token 概括表达变化,内容相关的说话人嵌入按目标音素选择参考特征,Mega-TTS 2 用更长或多段参考建模音色和韵律,MMCE-Qformer 则用不同的 Q-Former 汇总历史文本与语音。本文的 RSE 与这些路线的共同点是利用文本与语音的关系,区别在于它直接用预训练自回归语音生成 backbone 做 1 次文本感知的参考编码,并压成 8 个向量,作为目标生成的固定条件。
紧凑模型为什么需要共享的文本感知参考编码
小生成器仍要完成 2 个任务:准确说出新的语言内容,同时保住参考说话人的身份和表达方式。声学续写依赖长上下文,参考编码器则要在一个固定长度接口中尽量保留信息;如果另建一个完整 Transformer 做参考编码,参数量会显著增加。论文提出的问题是:预训练自回归语音生成 backbone 本身能否充当参考编码器,参考转写能否进一步改善压缩表示,以及让参考编码与目标生成共享参数后还能保留多少收益。
本文并没有只给出一个端到端总分,而是把问题拆成几层证据:用同一 20k 小时子集比较随机初始化、预训练初始化、是否输入参考文本和是否共享参数;用不同长度的参考、不同说话风格和跨录音预测检查 8 个向量保留了什么;用反转参考文本和内部状态替换追查文本收益进入哪些表示;最后再和声学续写、官方 MOSS-TTS-Nano 以及更大系统比较。这样能分别回答机制、参数效率和系统效果,但也意味着很多结论只在相应的英语数据和评测协议下成立。
RSE-TTS 的整体路径:先压缩参考,再生成目标
RSE-TTS 的核心选择是让参考编码和目标生成共用同一个 Global transformer,而不是再维护第二个完整 Transformer。参考分支把参考文本、参考语音、结束标记和 8 个学习查询按顺序送入共享 Global,8 个查询的输出再经过归一化和线性桥接成为 8 个向量;这些向量与投影后的说话人嵌入相加,形成目标生成的条件。目标分支从同一组条件出发,读入目标文本和起始标记,再逐步生成离散语音码本帧,最后由码解码器还原波形。参考分支只负责形成条件,目标生成时不再需要完整参考历史。
读图时先沿下半部分看参考文本、参考语音、EOS 与 8 个查询如何进入同一个 Global transformer,再确认右侧共享参数虚线如何连接参考编码与语音生成,最后观察 8 个向量与说话人嵌入相加后怎样进入上方生成分支。
看图路径: 1. 沿下半部分看参考文本、参考语音、EOS 与八个查询如何进入同一个 Global transformer;2. 确认右侧共享参数虚线连接参考编码与语音生成;3. 观察 Z 与说话人嵌入相加后,如何作为上方生成分支的条件
论文图 1。原论文 Figure 1::“RSE-TTS uses the same Global transformer to encode reference text and speech and to generate a new utterance.”。
图中可见下方参考编码使用 Global transformer Fθ,输入依次是参考文本、参考语音帧嵌入、EOS 和 8 个查询,输出 Z 后再与 W_s s_r 相加得到条件 Zbar;上方语音生成也使用同一个 Fθ,读取目标文本、BOS 和已生成帧嵌入,由 Local 自回归产生码本帧,再由码解码器输出语音。右侧的共享参数虚线和上方重复的 Local、码解码器块表示不同生成步骤复用同一组参数,不是另建了多套模型。
Reconstructive Speaker Encoder × eight learned queries: Reconstructive Speaker Encoder 负责把成对的参考文本和参考语音压缩成目标无关的说话人条件;eight learned queries 是共享 Global transformer 中专门读取参考上下文的八个位置。前者的任务接口要求从变长参考中提取可用于新句子合成的信息,后者提供固定长度的读出方式。二者组合后,整段参考记录被压成八个向量,目标生成时不必再保留完整参考历史。
这样安排后,参考编码与目标生成本质上是 2 次使用同一个 Global 的不同阶段:第 1 次把变长参考压成 8 个向量,第二次在 8 个向量之后生成目标语音。共享减少的是参数,不是一个参考 pass 的计算量;参考越长,第 1 次 pass 越长,而目标生成始终只接收 8 个向量。
参考输入怎样变成八个条件向量
先看参考分支如何把一个样本变成条件。参考录音经冻结的码解码器映射成帧级码本元组,每帧含 16 个码本索引;同一帧内 16 个 token 的连续输入嵌入相加,形成一个帧级输入。参考输入序列 S_r 的顺序是参考文本嵌入、参考语音帧嵌入、EOS,然后是 8 个学习查询 Q。把序列写成列向量后,共享 Global 在因果掩码下 1 次前向,每个查询只能看到它之前的参考文本和参考语音。
公式 1 要表达的是这次共享前向:整段参考输入形成隐藏状态,查询位置也在同一次前向中计算。
\[\mathbf{H}_{r}=F_{\theta}(\mathbf{S}_{r}).\]这里 Fθ 是共享 Global transformer,S_r 是参考输入序列,H_r 是它产生的隐藏状态矩阵。8 个查询不是循环读取八次,而是在同一个序列里并行计算;因果掩码保证每个查询位置读取的是它之前的参考信息。
公式 2 把 8 个查询位置的隐藏状态读出为压缩向量。
\[\mathbf{z}_{j}=B_{\phi}\bigl(\operatorname{LN}(\mathbf{h}^{r}_{q,j})\bigr),\qquad j=1,\ldots,8.\]下标 j 从 1 到 8 对应 8 个查询;h^r_{q,j} 是第 j 个查询位置的隐藏状态,LN 是层归一化,Bφ 是学习到的线性桥接,z_j 是其中一个压缩向量。把 8 个 z_j 作为列堆成矩阵 Z,就得到 d×8 的参考表示,其中 d=768。
公式 3 把辅助说话人条件加到每个参考向量上。
\[\bar{\mathbf{z}}_{j}=\mathbf{z}_{j}+\mathbf{W}_{s}\frac{\mathbf{s}_{r}}{\|\mathbf{s}_{r}\|_{2}}.\]s_r 是冻结 CAM++ 提取器给出的 192 维说话人嵌入,先做 L2 归一化,再乘 W_s 投影到隐藏维度,然后与每个 z_j 相加。于是第 j 个条件向量既带有查询从参考文本和语音中读出的信息,又带有同一个全局说话人锚点。这个加性组合保留了八向量接口:无论参考多长,目标生成收到的都是 8 个 d 维向量。
eight reference vectors × auxiliary speaker condition: eight reference vectors 是八个查询经过线性读出后得到的参考表示,携带参考文本与参考语音交互后的细节;auxiliary speaker condition 来自冻结 CAM++ 提取的 192 维说话人嵌入,经归一化和投影后加到每个参考向量上,提供更稳定的音色锚点。前者让条件有内容相关的变化,后者补充全局说话人信息;组合后每个条件向量同时受参考细节和说话人嵌入影响,但二者并不因此等价于简单复制。
需要注意,论文的主训练目标只监督目标语音预测,并没有另设显式的参考语音重建项;这里的“Reconstructive” 描述的是系统通过同说话人目标语音预测训练出可重建声音的条件,而不是说训练中有一个单独的参考波形重建损失。
目标生成分支怎样读取条件并产生语音
目标分支同样使用 Global transformer Fθ。它的输入从条件矩阵 Zbar 开始,接着是完整目标文本和语音起始标记 BOS;与参考分支的区别是,目标分支要一步一步生成新的码本帧。每一步先生成继续或停止的判断;若继续,单层 Local transformer 在 Global 输出条件下自回归地生成下 1 帧的 16 个码本索引,码解码器把码本帧变成语音。
生成的帧再被嵌入并送回 Global,作为下一步的声学历史。模型预测 EOS 时停止,最后由码解码器将完整帧序列还原成波形。
Global 负责跨帧的文本与声学序列建模,Local 负责 1 帧内部的码本索引生成。共享发生在 Global 和输入嵌入,而不是让 Local 变成两层;参考编码和目标生成各做 1 次前向,但使用同一套 Global 参数。目标生成阶段始终以 8 个条件向量作为前缀,不再拼接完整参考语音,因此目标上下文的长度由目标文本和已生成帧决定,参考长度只影响参考 pass。
Global transformer × Local transformer: Global transformer 在文本与声学帧序列上建模跨帧上下文,并预测继续生成还是停止;Local transformer 在每一帧内部自回归地产生 16 个码本索引。前者决定帧级序列如何推进,后者把一个帧的分层码本展开为离散语音帧。二者组合形成 Global–Local 的分层生成过程,同一套 Global 参数也被复用于参考编码。
图中重复出现的 Local 和码解码器块只表示连续生成步骤,不是不同参数副本;同一套 Global 也在下方参考编码和上方目标生成之间共享。这个结构使“编码参考” 和“生成目标” 成为同一个 backbone 的两个阶段,但不能据此认为参考编码没有计算成本。
训练目标、梯度路径与参数共享
训练使用目标语音的自回归交叉熵,并在目标语音末尾包含结束预测。目标分支的 token 预测被监督,参考分支不单独计算重建损失;梯度从目标预测经过条件 Zbar,回到 8 个查询的读出层和共享 Global backbone。因此,参考编码是通过“帮助生成同说话人的另一句话” 间接学习的,目标语音配对要求 8 个向量支持与参考内容不同的新句子。
损失按通道分别计算 token 交叉熵:原生文本和控制通道包含继续与 EOS 预测,权重为 1;16 个码本通道每个权重为 2。最终损失是各通道均值按有效权重加权后除以有效权重之和,全部通道有效时分母为 33。原文没有说明的梯度路径不能从结构图里补猜;已知的是只监督目标分支,但梯度会穿过条件向量进入参考 pass。
teacher forcing × autoregressive cross-entropy: teacher forcing 让训练时每一步使用目标语音的真实历史作为条件;autoregressive cross-entropy 则监督下一个目标语音 token,包括结束预测。前者规定训练输入如何向前推进,后者给出可优化的目标函数。二者组合成单一的目标语音预测目标,梯度可以从目标预测经过八个条件向量回到查询读出和共享 backbone,因此参考编码不需要另设显式参考重建损失也能被训练。
参数共享的安排也要分清。共享 Global 在参考 pass 和目标 pass 中使用同一套权重并接受梯度;CAM++ 说话人提取器冻结。受控消融里的独立预训练编码器会复制 Global 和输入嵌入,然后独立更新;共享编码器则始终使用生成器的参数。独立编码并不增加第二个 Local transformer,因此表 1 的 228.5M 与 118.2M 是参考编码加目标生成的唯一可训练参数差,而不是完整码解码器或所有冻结模块的差。
数据、对照变体与评测条件
训练数据来自一个内部英语语音语料。作者构造同说话人的语句对:目标语句按声学质量和转写准确率挑选,参考语句从同一说话人采样;参考和目标都保留完整序列,并对两边转写做 IPA 增强,按概率把无歧义词替换成音标。受控消融使用同一个 20k 小时子集,约 8.6M 对,5 个变体使用同一数据顺序种子 42、学习率计划、8 个查询和辅助说话人条件。所有生成器都从同一个英语 TTS checkpoint 初始化,该 checkpoint 原本带一个小卷积说话人编码器,实验中把它替换为与 Global 匹配的 Transformer。
评测使用 Seed-TTS、CV3-eval 和 MiniMax 的英语子集,分别有 1,088、500 和 100 条目标语句。同一基准比较中,所有系统使用相同目标文本和参考录音;参考录音统一经过 RE-USE 增强、基于 VAD 的首尾静音裁剪和响度归一化。可懂度用 Whisper large-v3 转写后计算词错误率,WER 越低越好;说话人相似度用 WavLM 说话人嵌入的余弦相似度,SIM 越高越好。竞争系统使用官方推理实现和默认采样设置,评分阶段使用同一套 ASR 和说话人验证模型。
参考研究另有 30 个 EARS 身份,每个身份 4 个目标文本;相似度锚点是与参考录音不同、但属于同一人的真实录音,而不是用于计算 Z 的那段参考。这样参考长度、说话风格和内部状态研究都在身份内部比较,避免把不同说话人的差异混进结果。
word error rate × speaker similarity: word error rate 用自动语音识别结果与归一化目标文本比较,衡量生成语音的可懂度,越低越好;speaker similarity 用 WavLM 说话人嵌入的余弦相似度衡量生成语音与参考说话人的相似程度,越高越好。前者检查语言内容是否说对,后者检查音色是否保留;两个指标一起报告,可以避免把可懂度变化误当成音色变化,但它们都不能替代人工自然度评价。
这些设置决定了结论边界:主结果是英语、内部大规模训练数据、给定参考转写和固定评测前端下的结果;WER 和 SIM 分别衡量语言内容与音色,不等于人工自然度,也不直接给出延迟、吞吐或部署成本。
八向量保留了多少时长与风格信息
第一个参考研究检查 8 个向量能否从更长录音中吸收更多声音信息。实验取 30 个 EARS 说话人,从同一段录音开头截取约 3、6、12、24 秒的片段,每段连同转写编码成 8 个向量,再合成同样的 4 个目标文本;辅助 192 维说话人嵌入始终从 24 秒参考提取并固定。相似度对每个说话人的另一段真实录音计算,而不是对用于编码的片段计算。
读图时先读横轴的参考时长 3、6、12、24 秒,再看纵轴 WavLM similarity 的 4 个均值点如何变化,并留意辅助说话人向量在所有时长上固定。
看图路径: 1. 先读横轴的参考时长 3、6、12、24 秒;2. 再看纵轴 WavLM similarity 的四个均值点如何变化;3. 留意图题说明辅助说话人向量在所有时长上固定
论文图 2。原论文 Figure 2::“Longer reference speech improves similarity even though target generation always receives eight compressed vectors.”。
图里四点从 0.378 依次升到 0.448、0.518 和 0.569,说明目标生成虽然始终只收到 8 个向量,参考编码看到更长语音后仍能提供更多有用的说话人信息。原文报告从 3 秒到 12 秒的 SIM 增加为 0.139(95% CI:[0.112, 0.165]),30 个身份中有 28 个改善,24 秒时 30 个全部改善。这个结果支持“八向量不是固定容量的简单瓶颈”,但它不表示目标生成上下文变长;变长的是参考 pass,计算代价随参考长度增加。
第二个研究检查表达方式。EARS 中有同一说话人用常规、快速、慢速和高音风格朗读同一段文字的平行录音;作者用同一参考转写分别编码这些录音,保持辅助说话人嵌入来自常规朗读,再合成同样的 4 个新句子。相对常规参考,快速参考使输出时长缩短 7.0%,慢速参考使输出时长增加 13.4%,这些时长包含停顿;高音参考使生成语音音高平均提高 6.01 个半音,另一个音高提取器给出 4.42 个半音,30 个身份方向均为正。
慢速比较实际包含 28 个说话人。结果说明 8 个向量不仅传递身份,也传递部分语速和音高变化,但这是受控朗读风格下的测量,不是对所有自然表达风格的保证。
表 2 进一步问:8 个向量会不会只是重复传统的 192 维说话人嵌入?作者用 316 个说话人的参考—目标不同语句对,训练正则化线性预测器,从传统嵌入、8 个参考向量或两者拼接预测目标录音的 WavLM 嵌入,并在 63 个未见说话人上计算余弦相似度。
| Reference representation | Cosine ↑ |
|---|---|
| 192-dim. speaker embedding | 0.438 |
| Eight reference vectors | 0.439 |
| Both combined | 0.469 |
单独使用时,192 维说话人嵌入为 0.438,8 个参考向量为 0.439,几乎相同;拼接后升到 0.469。原文还报告组合在 63 个测试说话人中的 58 个上改善,相对传统嵌入的平均增益为 0.031(95% CI:[0.025, 0.037])。这支持两种表示提供互补信息,但预测的是另一段真实录音的 WavLM 嵌入,不是合成语音的主观质量,也不是说拼接在所有生成指标上都会更好。
固定长度条件与声学续写的取舍
RSE 用固定 8 个向量的参考条件,声学续写则把参考语音保留为生成历史。为了区分接口本身的影响,作者训练了一个匹配的 continuation-only 系统:初始化、数据和训练计划相同,但不使用参考编码器或说话人嵌入条件。表 4 比较这两个系统;RSE 使用固定大小条件,continuation 使用完整声学历史。
| Benchmark | Continuation | RSE |
|---|---|---|
| Seed-TTS | 1.45 / 0.591 | 1.33 / 0.552 |
| CV3-eval | 3.48 / 0.526 | 2.63 / 0.499 |
| MiniMax | 1.77 / 0.684 | 0.64 / 0.615 |
在 3 个基准上,continuation 的 SIM 都更高:Seed-TTS 0.591 对 RSE 0.552,CV3-eval 0.526 对 0.499,MiniMax 0.684 对 0.615。反过来,RSE 的 WER 都更低:1.33% 对 1.45%,2.63% 对 3.48%,0.64% 对 1.77%。这组匹配对照说明,完整参考历史更有利于说话人相似度,而 8 个向量的固定接口在这个训练设置下更有利于可懂度;不能把两者简单说成同一种条件下的全面胜负。
后续把 RSE 与声学续写组合时,系统会同时保留参考语音作为声学历史,并保留参考与目标转写;只有新生成的语音被评分。这个组合牺牲更大的上下文来换更高 SIM,因此它的结果不能反过来证明 8 个向量单独已经达到续写的音色保真度。
与官方 Nano 和更大系统的逐基准比较
全系统比较使用更大规模语料训练后的冻结 RSE-TTS,并在同一评测前端下与官方 MOSS-TTS-Nano、CosyVoice 3、MOSS-TTS-Local-Transformer 和 Qwen3-TTS 比较。RSE 模式对应固定条件;RSE 加 acoustic continuation 对应保留参考历史的模式。图 3 先给出 3 个基准等权平均后的模型大小—质量位置,参数计数包括生成器和活跃波形解码器。
读图时先看左图 WER 越低越好、右图 SIM 越高越好,再确认横轴参数量为对数尺度,最后比较 RSE、RSE+cont 与 Nano 点、较大模型点的位置和标签。
看图路径: 1. 先看左图 WER 越低越好,右图 SIM 越高越好;2. 确认横轴参数量为对数尺度,点是三个基准的等权平均;3. 观察 RSE、RSE+cont 与 Nano 点、较大模型点的位置和标签
论文图 3。原论文 Figure 3::“Model size versus intelligibility and speaker similarity.”。
图中 RSE 和 RSE+cont 位于约 10^8 量级参数量附近。左图里,RSE-TTS + cont 的宏平均点大致在 WER 2 附近,CosyVoice 3 与 MOSS-Local 的宏平均点大致分别在 2.6 和 2.4 附近;纵轴表示 3 个基准等权平均后的 WER,位置越低对应 WER 数值越小。这里只并列三者在图中的大致读数,不据左图作 WER 排序结论。右图里,RSE-TTS + cont 的宏平均 SIM 约 0.7。
CosyVoice 3 与 MOSS-Local 的宏平均点大致分别在 0.73 和 0.72 附近。结合逐基准表,RSE+cont 的 SIM 仍只是接近这两个较大系统,而不是全面超过;因此参数更小的优势主要落在生成链紧凑度以及表中给出的 WER 数值上。
下面这张逐基准表要回答的是:在同一目标文本、参考录音和评分模型下,各系统在每个英语基准上的 WER 与 SIM 如何。最重要的配对是 RSE 对官方 Nano reference clone,以及 RSE+continuation 对官方 Nano continuation;不能把 RSE 单独与 Nano continuation 混成同一比较。
| System | Seed-TTS WER (%) ↓ / SIM ↑ | CV3-eval WER (%) ↓ / SIM ↑ | MiniMax WER (%) ↓ / SIM ↑ |
|---|---|---|---|
| Official MOSS-TTS-Nano, reference clone | 3.96 / 0.480 | 8.10 / 0.431 | 1.58 / 0.659 |
| Official MOSS-TTS-Nano, continuation | 3.13 / 0.556 | 7.57 / 0.492 | 1.77 / 0.730 |
| RSE-TTS | 1.49 / 0.598 | 3.37 / 0.540 | 0.72 / 0.680 |
| RSE-TTS + continuation | 1.66 / 0.670 | 3.07 / 0.627 | 0.74 / 0.758 |
| CosyVoice 3, 0.5B-2512, non-RL | 1.68 / 0.708 | 3.49 / 0.684 | 2.74 / 0.828 |
| MOSS-TTS-Local-Transformer, reference clone | 2.21 / 0.707 | 3.93 / 0.662 | 0.97 / 0.820 |
| Qwen3-TTS-12Hz-1.7B-Base | 1.25 / 0.717 | 4.50 / 0.692 | 0.69 / 0.705 |
按对应模式看,RSE 对 Nano reference clone 在 3 个基准上都同时改善 WER 和 SIM:Seed-TTS 从 3.96%/0.480 到 1.49%/0.598,CV3-eval 从 8.10%/0.431 到 3.37%/0.540,MiniMax 从 1.58%/0.659 到 0.72%/0.680。RSE+continuation 对 Nano continuation 也同时改善:Seed-TTS 从 3.13%/0.556 到 1.66%/0.670,CV3-eval 从 7.57%/0.492 到 3.07%/0.627,MiniMax 从 1.77%/0.730 到 0.74%/0.758。
按这张逐基准表,RSE+continuation 在 3 个基准上的 WER 都低于 CosyVoice 3 和 MOSS-TTS-Local:Seed-TTS 为 1.66% 对 1.68% 和 2.21%,CV3-eval 为 3.07% 对 3.49% 和 3.93%,MiniMax 为 0.74% 对 2.74% 和 0.97%。它的 SIM 仍低于这两个系统,只是在接近,而不是超过。Qwen3-TTS Base 在表中是补充系统,RSE+continuation 对它的结果并不全胜:Seed-TTS WER 1.66% 高于 1.25%,MiniMax 0.74% 高于 0.69%,CV3-eval 3.07% 低于 4.50%。因此“对 CosyVoice 3 和 MOSS-TTS-Local 的 WER 更低” 这一说法只基于逐基准表,并只限于这两个被评估的较大系统,不能推广到 Qwen3-TTS 或所有更大模型。
参数账本:共享省了什么,没省什么
下面的参数表比较生成链的唯一参数量:TTS 生成器、活跃波形解码器和二者合计。统计时绑定权重只计 1 次,参考准备模块不计入生成链;因此它回答的是“实际生成链有多大”,不是训练时参考编码器和数据前端全部开销。
| System | TTS generator | Active waveform decoder | Generation chain |
|---|---|---|---|
| Official MOSS-TTS-Nano | 117.3M | 11.1M | 128.4M |
| RSE-TTS | 118.2M | 11.1M | 129.2M |
| CosyVoice 3 | 506.1M | 353.0M | 859.2M |
| MOSS-TTS-Local-Transformer | 3,060.6M | 887.4M | 3,948.0M |
| Qwen3-TTS-12Hz-1.7B-Base | 1,916.7M | 114.3M | 2,031.0M |
RSE-TTS 的生成器为 118.2M,活跃波形解码器为 11.1M,合计 129.2M;官方 MOSS-TTS-Nano 为 117.3M、11.1M 和 128.4M,两者几乎同量级。共享的收益在表 1 的另一种计数中更明显:独立参考编码加目标生成需要 228.5M 唯一可训练参数,RSE 需要 118.2M,减少 48%。完整码解码器含编码器为 22.0M,但活跃波形解码路径只计 11.1M;参考准备还使用 CAM++ 说话人提取器和 VAD,这些不计入生成链。
与更大系统相比,CosyVoice 3 合计 859.2M,MOSS-TTS-Local-Transformer 为 3,948.0M,Qwen3-TTS 为 2,031.0M。RSE-TTS 的 129M 生成链比 CosyVoice 3 小 6.6 倍,比 MOSS-TTS-Local 小 30.5 倍。这个账本支持“共享避免第二个完整 Transformer,同时保持生成链紧凑”,但没有测量训练算力、推理延迟或吞吐;参考越长,参考 pass 越长,这部分成本不能从生成链参数量推出。
预训练、参考文本和共享各自贡献多少
表 1 要回答的是:同一数据、同一训练预算和同一评测协议下,随机初始化、从语音生成器预训练初始化、加入参考文本、共享参数分别带来什么变化。比较的关键不是只看总表,而是把“独立随机—独立预训练”“独立预训练—独立文本加语音”“独立文本加语音—共享文本加语音” 这 3 个对照分开;参数量列统计参考编码加目标生成的唯一可训练参数,不包含共同冻结模块。
| Reference interface | Params (M) | Seed-TTS WER (%) ↓ / SIM ↑ | CV3-eval WER (%) ↓ / SIM ↑ | MiniMax WER (%) ↓ / SIM ↑ |
|---|---|---|---|---|
| Independent audio (random) | 228.5 | 1.39 / 0.400 | 2.44 / 0.342 | 0.75 / 0.391 |
| Independent audio (pretrained) | 228.5 | 1.46 / 0.530 | 2.63 / 0.469 | 0.91 / 0.592 |
| Independent text + audio | 228.5 | 1.41 / 0.564 | 2.50 / 0.507 | 0.75 / 0.651 |
| Shared audio | 118.2 | 1.35 / 0.498 | 2.46 / 0.435 | 0.80 / 0.553 |
| Shared text + audio (RSE) | 118.2 | 1.33 / 0.552 | 2.63 / 0.499 | 0.64 / 0.615 |
先看预训练的作用。独立随机编码器在 Seed-TTS 的 SIM 为 0.400,改成从 TTS backbone 初始化后升到 0.530;CV3-eval 从 0.342 升到 0.469,MiniMax 从 0.391 升到 0.592。这个编码器随后独立训练、不与生成器共享权重,因此提升说明预训练生成表示本身可以被改造成参考编码,而不必依赖持续共享。
再看参考文本。独立编码器加入文本后,Seed-TTS 的 SIM 从 0.530 升到 0.564,CV3-eval 从 0.469 升到 0.507,MiniMax 从 0.592 升到 0.651;共享编码器从只给音频的 0.498、0.435、0.553,升到给文本和音频的 0.552、0.499、0.615。文本收益在两种参数安排下都出现,说明它不是某一种共享方式的偶然产物。
共享的结果是有取舍的。独立文本加语音编码器在 3 个基准上的 SIM 都高于 RSE,但它需要 228.5M 可训练编码—生成参数;RSE 用 118.2M 保留了大部分收益,参数减少 48%。另一方面,RSE 并非每个 WER 都最好:CV3-eval 上 RSE 的 WER 为 2.63%,高于共享音频的 2.46% 和独立文本加语音的 2.50%,虽然它在 Seed-TTS 为 1.33%、MiniMax 为 0.64%。因此表 1 支持“预训练迁移”“文本在两种编码器里都有帮助” 和“共享能省参数”,但不能支持“共享加文本在所有指标上支配其他变体”。
打乱文本顺序和替换内部状态说明了什么
先看不改变 token 集合、只改变顺序的扰动。作者对每段参考录音编码 2 次:1 次用正确转写,1 次用同一组转写 token 的反序版本;录音、目标文本、辅助说话人嵌入和生成种子都固定。30 个 EARS 说话人、每人 4 个目标文本下,SIM 从正确文本的 0.538 降到反转文本的 0.497。这说明仅提供相同 token 不够,token 顺序和文本—音频对应关系会影响声音重建。
为了定位这种影响,作者用固定历史、软反向的 SIM 近似梯度估计各层、各位置组的敏感性。读图时先比较左右两个面板中正确参考文本与反转参考文本的 3 条曲线,再分别看参考文本、参考语音和 8 个查询的层级变化,注意纵轴是对数尺度的平均梯度范数,不是相似度本身。
看图路径: 1. 比较左右两个面板:正确参考文本与反转参考文本的曲线;2. 分别看参考文本、参考语音和八个查询三条曲线的层级变化;3. 注意纵轴是对数尺度的平均梯度范数,不是相似度本身
论文图 4。原论文 Figure 5::“Mean per-position gradient norm for reference text, reference speech, and the eight queries, using the fixed-history soft-backward SIM estimator at temperature 0.4.”。
图中 8 个查询的曲线在大多数层都处于较高水平;参考语音在中间层有较高敏感性,参考文本在低层较高、到中间层后快速下降。左右面板的整体轮廓相近,说明反转文本没有简单地把梯度总量整体拉高或拉低;真正的功能差异要用状态替换检验。图注还说明最终层文本和音频梯度结构性为零,因为读出只读取查询状态,这些零从对数图中省略。梯度只是敏感性代理,不能单独证明某层状态对生成有因果作用。
reversed transcript × activation patching: reversed transcript 把参考转写的 token 顺序反转,同时保留同一组 token,用来破坏文本顺序和文本—音频对应关系;activation patching 则在正确文本与反转文本两次编码运行之间替换指定位置、指定层的隐藏状态。前者制造受控的文本扰动,后者检验被替换状态对后续说话人相似度的因果作用;二者组合能把文本收益定位到参考音频状态和后期查询状态,但结果仍依赖所选的层、位置和实验群体。
激活替换的设计是:让反转文本运行到某一层,然后把参考音频位置或 8 个查询位置的隐藏状态换成正确文本运行中的对应状态,再让编码继续,并用最终 8 个向量生成普通自回归语音;反向替换则把反转文本状态放进正确文本运行。若恢复正确状态能提高 SIM,说明该位置携带了文本收益;若反向替换降低 SIM,则支持同一方向的作用。
表 3 给出层 3、6、9 的替换结果。每个条件生成同样的 120 个目标,来自 30 个说话人;无替换时反转文本为 0.497,正确文本为 0.538。
| Patched positions | Layer | Restore | Disrupt |
|---|---|---|---|
| No patch | — | 0.497 | 0.538 |
| Reference audio | 3 | 0.545 | 0.504 |
| Reference audio | 6 | 0.538 | 0.512 |
| Reference audio | 9 | 0.499 | 0.538 |
| Eight queries | 3 | 0.503 | 0.539 |
| Eight queries | 6 | 0.512 | 0.541 |
| Eight queries | 9 | 0.542 | 0.507 |
结果呈层依赖对比。层 3 替换参考音频状态把 SIM 从 0.497 提到 0.545,反向替换把正确文本从 0.538 降到 0.504;层 6 同方向但幅度略小;层 9 的参考音频替换几乎没有作用。后期查询状态则相反:层 9 查询替换把反转文本从 0.497 提到 0.542,反向替换把正确文本降到 0.507。
较早期的查询替换效果较弱。原文给出的层 3 音频恢复增益为 0.048(95% CI:[0.032, 0.065]),层 9 查询恢复增益为 0.045(95% CI:[0.031, 0.060])。匹配范数的随机扰动没有复现这些恢复,自由形式参考内容下也观察到同方向的层 3 音频效应;单独选出的单头干预没有可靠作用。
这些结果支持“参考文本收益先在中间声学表示中体现,再进入后期八查询表示” 的解释,但仍是特定模型、30 个说话人、固定 120 个目标和选定层的干预证据。它不能说明每一层都同等重要,也不能把单头干预的失败解释成注意力完全不相关。
结论在哪些条件下成立,还缺哪些验证
最直接的限制是固定条件仍不如声学续写。匹配比较中,RSE 的 SIM 在 3 个基准上都低于 continuation;论文用较早的 shared audio-reference checkpoint 做诊断:前 2 秒和后 2 秒的 SIM 在压缩条件下分别为 0.435 和 0.426,在 continuation 下为 0.594 和 0.577,初始音色差距在生成后段仍存在。固定历史干预中,交换参考前缀后第一码本分布的 Jensen–Shannon 散度在前 0.4 秒为 0.199,4 秒后降到 0.015。作者据此推测 teacher forcing 让模型更依赖声学历史,使初始不匹配延续,压缩信息损失也可能是原因;这些是诊断性证据,不是已经证明的唯一机制。
第二个限制是信息条件。RSE 需要参考转写,参考文本错误、缺失或与录音不匹配时,系统行为在本文没有充分评估;对纯音频、无法获得可靠转写的应用,这是一个现实约束。训练和主评测都集中在英语,其他语言的音素、转写和说话风格分布不能直接外推。参考研究使用 30 个 EARS 身份,激活替换使用 120 个目标,互补信息表使用 63 个测试说话人,结论有统计区间,但仍受这些群体和录音条件限制。
第 3 个限制是评测指标覆盖范围。主证据是 ASR 词错误率和 WavLM 余弦相似度,论文没有报告人工自然度、说话人误判率、延迟、吞吐或安全滥用检测,因此不能从 WER/SIM 推断这些方面也会改善。码解码重建的 SIM 在 3 个参考集上分别为 0.894、0.873 和 0.948,但它比较的是同一句话编码前后的重建,和不同语言内容语音克隆是不同问题,不能当作说话人克隆上限。
复现时应先固定什么
复现的第一步不是直接追全系统分数,而是固定参考预处理、评测 ASR、说话人验证器、采样参数和比较模式。否则 WER 与 SIM 的小幅变化可能来自前端或评分模型,而不是共享编码。对照实验应至少重跑表 1 的 5 种参考接口,因为初始化、参考文本和参数共享是 3 个不同因素;只比较 RSE 与官方 Nano 总分无法复现其因果拆解。
架构上要按原文保留 Global 的 12 层、隐藏维度 768,Local 单层自回归生成每帧码本索引,冻结码解码器以 12.5 帧/秒、16 个码本、48 kHz 工作;8 个查询位于参考输入末尾,8 个输出经归一化和线性桥接,再与冻结 CAM++ 的 192 维归一化投影相加。训练用目标语音的 teacher forcing 和自回归交叉熵,只监督目标分支,但允许梯度穿过条件向量进入共享 Global;文本/控制通道权重 1,每个码本通道权重 2,全通道有效时分母为 33。
受控消融使用 20k 小时子集、约 8.6M 对、随机种子 42;所有变体从同一英语 TTS checkpoint 出发,学习率从 10^-6 开始,在 0.05 epoch 达到 2×10^-5,0.5 epoch 前保持,再余弦衰减到 1 epoch 的 10^-6,全部在 step 27,753 结束。全 RSE-TTS 再从带共享参考编码器的英语 TTS 模型初始化,在更大语料上继续训练。推理时音频采样温度 0.4、top-k 10、top-p 0.8、重复惩罚 1.2;文本/EOS 采样温度 1.0、top-k 50、top-p 0.99;最终基准最多 400 个码本帧且不用文本长度保护,机制研究使用固定配对种子 2026102101 且不用长度保护。
参考前端也要按同一协议设置:RE-USE 增强、VAD 首尾裁剪并保留 150 ms 填充、响度向 -23 LUFS 归一化且增益限制在 ±20 dB、-1 dBFS 峰值上限,使用完整剩余参考而不是固定 3 秒裁剪;WER 用 Whisper large-v3 的指定 faster-whisper 配置,SIM 两端波形按同一响度归一化。论文给出音频样例页和若干基线链接,但当前核验记录中没有处于可用状态的作者代码或模型权重;这些页面的可访问性不能据此认定为作者已开源 RSE-TTS 训练代码或发布权重。训练代码、模型权重和完整运行环境是否存在、能否获取,仍需依据作者资源的归属与可用状态,分别核验许可证、版本和环境。
什么时候值得尝试,怎样避免误读
如果目标是做一个生成链紧凑、参考转写可得、并且希望参考处理与目标生成解耦的系统,RSE-TTS 值得尝试。它的证据集中在两点:共享预训练 backbone 能把参考文本和语音压成 8 个向量,并在官方 Nano 的对应模式上同时改善 WER 与 SIM;按逐基准表,RSE 加声学续写用约 129M 的生成链在 3 个基准上的 WER 都低于 CosyVoice 3 和 MOSS-TTS-Local,但 SIM 只是接近而没有达到对方。若应用最看重音色相似度、允许长参考占据生成上下文,声学续写仍更合适;若没有可靠参考转写,当前方法的信息条件就不满足。
复现时先做一个最小共享编码闭环:同一 Global 接收参考文本、参考帧嵌入、EOS 和 8 个查询,生成 8 个向量并与冻结说话人嵌入相加,再让同一 Global 在 8 个向量后生成目标帧;先把预处理、WER/SIM 和采样固定,再扩到 5 个受控变体。不要先追“共享后一定更快” 的结论,因为共享省的是参数,参考 pass 仍随参考长度增长;也不要先追所有指标全面领先,因为独立文本加语音编码器在 SIM 上更高,声学续写在 SIM 上也更高。
还需要补的验证包括:参考转写含 ASR 错误或缺失时的退化曲线;英语以外语言和跨域录音的表现;参考长度增加时的实际延迟、显存与吞吐;人工自然度和说话人误判;以及语音克隆的授权与防滥用措施。
容易产生的误解有 4 个:共享 backbone 不等于参考编码没有计算成本;8 个向量不是无损保留整段参考;WER 与 SIM 不是人工评价;第三方样例页或基线链接不等于 RSE-TTS 代码和权重已经公开。
📎 论文与评分元数据
排名:前50% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:deepseek-v4.1-flash
评分请求协议:openai_responses