📄 让克隆的声音按文本要求去表达:三段式后训练怎么做

英文题目:Rethinking Post-Training for Expressive Zero-Shot Text-to-Speech

评分:6.7/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Jingbin Hu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Xinfa Zhu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hao Wang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Wenjie Tian:机构信息未能在本次解析中与作者逐人可靠绑定
  • Kangxiang Xia:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hangrui Hu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Kexin Huang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jin Xu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Liumeng Xue:机构信息未能在本次解析中与作者逐人可靠绑定
  • Lei Xie:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

零样本语音克隆以目标文本和一段参考音频为输入,生成保留说话人音色的语音,难点是参考韵律平淡或与文本情绪不匹配时直接模仿会导致语气不当。本文把任务定义为保留音色但让韵律服从文本的文本自适应韵律合成,不同于忠实模仿参考风格,并用三阶段后训练改造Qwen3-TTS。先由自动化偏好数据管线生成偏好对,教师模型按目标文本生成优选候选而学生模型多采样生成对照,经转写过滤偏好校验与声纹转换扩充后,输出数据集送入直接偏好优化冷启动以提高同条件下优选语音的相对概率。再把阶段一检查点送入组序列策略优化,对每组上下文采样候选并计算韵律音质可懂度和相似度复合奖励,用组内归一化优势更新,输出阶段二检查点。最后把阶段二检查点送入上下文条件同策略自蒸馏,让弱参考下学生分布向强参考下教师分布靠拢并用全词表JSD匹配,从而降低对参考表现力的依赖。在Seed-TTS-Eval英文集上,最终模型的WER为1.55,高于Qwen3-TTS基线的1.23。该结论在已见与未见说话人上均有表达力增益,但伴随说话人相似度下降,弱参考鲁棒性仅在有限参考条件下验证,更多条件尚未系统验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

零样本克隆的输入是什么,输出要保留什么

刚接触语音合成的读者可以先把任务想成 1 个条件生成过程。输入有两样:一样是目标文本,也就是希望说出的字词内容;另一样是一段很短的参考语音,它只用来说明是谁在说话。模型记作在给定文本和参考语音的条件下生成波形或音频标记序列,输出则要同时满足三件事:字不能读错,音色要像参考说话人,语调和节奏要听起来自然。

以往的零样本克隆更强调第二件事,也就是把参考语音里的音色和说话风格都搬过来。这种做法在参考本身平淡、目标文本却需要激动、强调、疑问或笑声叹息等副语言现象时就会出问题。平淡的参考会把生成结果也拉平,文本要求的起伏出不来。理解这一点很关键,后面所有后训练都是为了解开音色和韵律的绑定:音色跟参考走,韵律跟文本走。

评价也因此分成几条线。内容准确性用词错误率衡量,越低越好;音色一致性用说话人相似度衡量,越高越好;整体听感用声学质量预测分衡量,越高越好;文本是否说得有感情、有副语言变化,则需要专门的表现力评测。自动评测和人工听感并不完全等价,论文同时报告两类结果,读数时要分开看。

为什么参考很平淡时,模型也该说出有起伏的话

论文把要解决的问题命名为面向零样本克隆的文本自适应韵律合成。用符号说,目标文本记作输入文本,参考语音同时携带说话人身份和参考韵律,生成语音的韵律应当适合文本的语义和情绪上下文,而不是复刻参考韵律。特别是在参考中可用的表现力线索很少时,模型仍应给出合适的韵律。为简洁起见,论文把文本和参考合在一起记作完整条件。

这个问题的难点在于不改模型结构、不用显式风格控制,只靠后训练改变行为。预训练的克隆模型已经学会了跟随参考风格,要把它变成按文本选韵律,需要新的数据和新的目标。论文围绕 3 个递进问题展开:怎样冷启动出这种新能力而不破坏原有语言能力;怎样把能力上限再推高,同时兼顾音质、可懂度和音色;怎样让模型在推理时不再依赖参考本身是否富有表现力。

零样本语音克隆 × 文本自适应韵律合成: 零样本语音克隆指只给一段参考语音和目标文本就生成目标说话人声音的做法,参考语音同时带有音色和韵律;文本自适应韵律合成则要求保留音色所代表的说话人身份,但语调、重音、停顿和情绪起伏要由目标文本的语义和情绪决定,两者组合后多出的意义是把参考从韵律模板降为身份证据。

三段后训练各自解决什么,数据从哪里来

整体流程可以沿着一个样本理解。先准备一段目标文本和一个目标说话人的参考语音,这是训练和推理共用的条件。第一段用偏好数据做冷启动,让模型知道在同样条件下哪种韵律更贴合文本;第二段让模型自己生成多条候选,用复合奖励做多目标优化,把上限推高;第三段构造弱参考与强参考的对比条件,让弱参考下的预测去模仿强参考下的预测,从而在推理时只给弱参考也能说出有表现力的语音。

数据管道是第一段的基础,也是理解代价的关键。从场景种子库出发,用大语言模型生成覆盖情绪、副语言、外语词、句法复杂、难发音和疑问句 6 个维度的文本;对每对文本和说话人,用外部教师合成系统生成一条候选,用待训练的学生基座模型生成 10 条候选,再做语音识别过滤;把教师输出暂定为优选、学生输出暂定为非优选,交由另一个大模型按韵律恰当性和表现力核验偏好是否成立。

再用声音转换把优选样本转到从情感语音数据集中抽出的 500 个说话人音色上,同时为这些新说话人补采学生输出;最后用声学质量预测、词错误率、说话人相似度和模型复核过滤,留下最终偏好三元组。

下面这张流程图把六步画得很清楚,读图时重点看教师与学生两条支路在哪里产生、在哪里配对,以及说话人扩充发生在哪一步。

看图路径: 1. 先从左到右看六个编号方块,确认文本生成到最终数据集的主路径;2. 比较第 2 块中教师合成与学生采样的来源、数量和过滤方式;3. 看第 4 块中优选样本如何经声音转换扩到 500 个说话人;4. 看第 5 块中三项客观过滤与模型复核如何共同决定取舍

原论文 Figure 1:Automated construction of preference data for text-adaptive prosody synthesis.

论文图 1。原论文 Figure 1::“Automated construction of preference data for text-adaptive prosody synthesis.”。

从图中可见,文本多样性在最左端决定,后续所有语音都围绕这些文本展开;教师支路只有一条样本,学生支路有多条采样,这种不对称是为了构造 1 对多的偏好比较;声音转换只改变优选样本的音色,目的是保留其内容和韵律;质量过滤同时管客观指标和偏好关系有效性。这也解释了为什么后文会出现两种数据规模:早期小说话人集合规模大,后期大说话人集合对数少,比较时不能只看说话人数。

偏好数据怎样构造,直接偏好优化在学什么

先看数据构造的输入处理。文本生成使用场景种子库加外部大语言模型,得到 6 类文本;语音合成阶段,教师端是外部语音合成服务按目标说话人做文本自适应韵律合成,学生端是 Qwen3-TTS 基座按目标说话人参考做语音克隆;两端都经过语音识别过滤读错的样本。偏好构造阶段把教师与学生输出配成优选与非优选对,再由外部大模型做韵律双重检查,决定该偏好对是否有效。

说话人扩充阶段用 SeedVC 把优选样本转到更多说话人音色,并为同样文本和新说话人参考补采学生输出。质量过滤阶段同时看声学质量、可懂度、相似度和复核结论。

直接偏好优化的作用是在同样条件下拉开优选与非优选的相对似然。记冻结的预训练模型为参考模型,定义当前模型与参考模型的对数概率比,目标是增大优选样本与非优选样本在该比值上的差距,经过 S 形函数和温度系数加权后取期望。直观理解是模型不需要绝对记住教师波形,只需要学会在同一文本和同一参考下更倾向于教师那种更贴合文本的韵律。论文还对比了只做监督微调、只做偏好优化以及两者加权的做法,并做了说话人多样性消融。

监督微调 × 直接偏好优化: 监督微调是直接模仿优选样本的下一个音频标记,学得快但容易把教师语音的发音习惯连同错误一起学进来;直接偏好优化是在同一文本和同一参考条件下比较优选与非优选样本,增大两者的相对似然差,组合后多出的作用是在引入表现力时保留对难发音内容的分辨力。

需要提醒的是,教师质量决定了冷启动上限,外部模型的韵律判断也决定了哪些偏好对能留下。如果教师本身在某类文本上不强,或者复核模型偏爱某种夸张风格,数据就会带有这种偏向。后文消融中监督微调在难发音上退化,而偏好优化退化较小,正是与这种直接模仿还是相对比较的学习方式有关。

上下文条件在策略自蒸馏 × 弱参考 × 强参考: 上下文条件在策略自蒸馏指学生和教师看到不同参考条件,弱参考是语调平淡、表现力不足的参考,强参考是富有表现力的参考,学生要在弱参考下模仿强参考下的预测分布,组合后多出的能力是推理时不再依赖参考本身是否富有表现力。

多目标策略优化怎样同时管韵律、音质、可懂度和音色

第二段从最好的第一段检查点继续训练一轮。做法是对每个输入条件,用当前策略生成一组候选序列,每条候选得到一个加权总奖励:韵律项由外部大模型评价文本条件下的韵律表现力,声学项衡量音质,可懂度项基于词错误率,相似度项衡量与参考的音色一致性,权重控制四者贡献。然后用组内归一化的奖励估计相对优势,做序列级策略更新。

这个设计的分工很明确。只用韵律奖励容易把模型推向夸张但含混或刺耳的输出,加入音质和可懂度奖励是为了把住底线,加入相似度奖励是为了不让音色漂走。组内比较的好处是不需要绝对分数可比,只要在同一输入下分出相对好坏。论文报告的默认配置是每次采样数与批量大小的某种组合,并做了采样数与批量大小互换、去掉韵律奖励、去掉音质奖励的对照,用来验证每一项的贡献。

组序列策略优化 × 复合奖励: 组序列策略优化指对同一输入生成一组候选序列,用组内归一化的奖励算相对优势再做序列级更新;复合奖励把韵律表现力、声学质量、可懂度和说话人相似度四项按权重相加,搭配后多出的意义是让韵律提升不以牺牲清晰度和音质为代价。

原文没有报告这组更新的梯度细节、优势归一化的具体公式和权重搜索过程,缺的是复现时直接可用的完整超参数组合。绕过办法是先沿用论文披露的默认采样与批量组合和四项权重的相对大小关系,再以后文消融中已报告的韵律与音质两项的作用为参照,优先保证这两项不为零,然后在小规模验证集上观察可懂度是否恶化。

弱参考下如何模仿强参考的预测分布

第三段要解决的是参考本身平淡时的鲁棒性。训练时为同一文本构造两种条件:弱参考条件配平淡参考,强参考条件配富有表现力参考。在解码的每一步,记弱参考下学生的预测分布和强参考下教师的预测分布,教师分布做截断梯度处理。学生要去匹配教师,论文给出两种目标:全词表分布匹配和采样标记匹配。

全词表做法用 Jensen-Shannon 散度,形式上是两个分布各自到两者平均分布的相对熵的平均,再对时间步平均。它要求在每一步比较整个词表的概率形状,计算代价大,但保留了完整的分布信息。采样标记做法只看实际采到的标记,从教师与学生对该标记的对数概率差出发构造加权对数似然,避免全词表计算。论文比较了这两种蒸馏策略,默认采用全词表做法。

\[\mathcal{L}_{\mathrm{ST}}=-\frac{1}{T}\sum_{t=1}^{T}\operatorname{sg}\!\left[\log q_{t}(y_{t})-\log p_{t}(y_{t})\right]\log p_{t}(y_{t}).\]

上式就是采样标记目标的原始形式,其中下标表示解码步,总步数为序列长度,符号表示截断梯度,括号内是教师与学生对采样标记的对数概率差,乘上学生对数概率后再平均并取负。理解时先看括号内差值的正负决定该步是鼓励还是抑制,再看外层是对学生分布求期望的策略梯度形式。原文没有报告弱参考与强参考的具体挑选阈值和配对规则,缺的是如何稳定构造弱强对比。替代做法是按后文人工评测的思路,先固定模型、文本和说话人,只改变参考的韵律质量来划分弱强,再检查弱参考下新旧系统的偏好差是否复现。

在哪些语音上测,用什么指标算好坏

实验基座是 Qwen3-TTS,学生采样明确写出是 12 Hz 的 1,700,000,000 参数基座版本。训练计划按阶段给出:第一段的监督微调、偏好优化及其组合都训练 3 轮;第二段从第一段最优检查点起做一轮多目标优化;第三段从第二段检查点起再做一轮自蒸馏,目标是改善弱参考下的表现力。数据规模按阶段给出:早期配置是 150,000 条音频对应 30 个说话人,后期偏好配置是 20,000 对对应 500 个说话人,自蒸馏是 2,000 对对应 500 个说话人。

评测分 3 条线。表现力主评测是 Emergent TTS-Eval,报告见过说话人集合、未见过说话人集合和总体平均,重点看情绪和副语言两个维度,分数越高越好。客观指标在 Seed-TTS-Eval 上报告英文与中文的词错误率、说话人相似度和声学质量预测分,其中词错误率越低越好,另两项越高越好。主观指标报告自然度、韵律、表现力和说话人相似度的平均意见分并带置信区间,越高越好。人工偏好部分用 3360 对听辨、20 名听众做 ABX,比较高低表现力参考的影响以及同一低表现力参考下新旧系统的差异。

读数时要注意条件。早期小说话人集合与后期大说话人集合的数据量和构造都不同,不能把阶段差异完全归因于说话人多样性;消融中固定为域内单说话人的结果与主表中跨说话人平均的结果量级不同,不能直接跨表比大小;自动相似度会受韵律变化影响,主观相似度也要一起看。

三段之后表现力涨了多少,音色和自然度付出什么

先看主表的比较问题:在同样的 Emergent 评测和 Seed 客观评测下,从基座出发逐段叠加后,情绪与副语言总体分是否持续上升,客观可懂度、相似度、音质和主观听感是否守住。指标方向是情绪与副语言越高越好,词错误率越低越好,相似度与音质越高越好。表前需要交代的是各阶段数据规模不同,早期与后期的比较包含数据构造差异,不能理解为纯算法增益。

下表整理总体平均的表现力变化,条件名保留原文阶段划分,数值保留原文精度,裸数值不自行添加百分号或单位。

条件Emotion 总体Paralinguistics 总体
基座模型18.538.4
第一阶段监督微调59.553.9
第一阶段偏好优化 500 说话人66.857.6
第二阶段多目标优化69.666.3
第三阶段自蒸馏81.273.9

上表支撑的判断是逐段总体分都在上升,最终达到各配置中最高,但成立条件是总体平均口径且数据规模逐段不同;早期监督微调与偏好优化的差距还包含 30 说话人与 500 说话人的数据差异,不能单独归因于算法。读者应拿它与后文消融中固定说话人数的对照一起看,才能区分数据多样性与目标函数的作用。未胜出的细节也在原文中保留:基座在未见说话人上的情绪分很低,说明起点对参考依赖很强;主观自然度从 4.15 降到 4.00,主观相似度从 4.00 降到 3.80,客观相似度英文从 0.72 降到 0.59、中文从 0.77 降到 0.67,说明表现力提升伴随身份保持的代价。

下面这张人工偏好图直接检验对参考韵律的依赖,读图前先明确任务:上半比较同一模型、同一文本和说话人下高低表现力参考的偏好,下半比较同一低表现力参考下新旧系统的偏好。

看图路径: 1. 先看上面一组条形,确认同一模型下高表现力参考是否系统占优;2. 再看下面一组条形,确认同一低表现力参考下新旧系统谁占优;3. 比较三个说话人与平均行的绿色与红色长度是否方向一致;4. 注意灰色平局段占比,判断优势是稳定还是偶然

原论文 Figure 2:Human ABX preference results for reference-prosody dependence and OPSD robustness, evaluated on…

论文图 2。原论文 Figure 2::“Human ABX preference results for reference-prosody dependence and OPSD robustness, evaluated on 3360 ABX pairs by 20 listeners.”。

从像素可见,上半平均行为高表现力参考以 75.7% 被偏好,低表现力参考只占 19.2%,其余为平局,3 个说话人方向一致,证实基线对参考韵律质量敏感;下半在同一低表现力参考下,自蒸馏后系统以 67.4% 被偏好,基线占 25.7%,3 个说话人同样方向一致,支持弱参考鲁棒性改善。限制是这只是 3 位说话人、固定文本条件下的偏好比例,不能推广到所有说话人和所有文本,且偏好不等于音色完全不变。

冷启动、奖励组成和蒸馏方式各自起了什么作用

第一组消融回答冷启动的目标函数选择问题。在域内单说话人、6 个 Emergent 维度下比较只做监督微调、只做偏好优化以及两者加权。表前说明比较条件是同一批教师蒸馏数据、同一说话人集合,指标越高越好,重点看情绪提升是否以难发音为代价。

条件EmotionComplex Pronunciation
基座模型65.265.3
仅监督微调82.353.3
仅偏好优化81.469.1
偏好优化加监督微调82.667.4

上表支撑的判断是在该评估设置下,监督微调把情绪推高但把难发音拉低,偏好优化避免了这种退化,两者加权可以兼顾;限制是这只是单说话人 6 维中的 2 维,且教师上限本身很高,换说话人或换文本分布后权衡可能变化。另一组多样性对照在固定 20,000 对预算下把说话人从 100 扩到 500,5 个维度上升,例如情绪从 86.9 到 89.8,但疑问句从 76.8 降到 73.9,说明更广的说话人覆盖总体有利于偏好优化,但不是所有维度单调变好。

第二组消融回答奖励与蒸馏的贡献问题。比较条件同样是域内单说话人,客观指标在英文标准集上报告。表前交代默认采样与批量组合与互换组合的对比,以及去掉韵律项、去掉音质项、采样标记与全词表蒸馏的对比,指标方向与主评测一致。

条件EmotionParalinguistics
完整多目标优化92.382.1
去掉韵律奖励62.965.4
采样标记蒸馏90.081.8
全词表蒸馏91.382.3

上表支撑的判断是去掉韵律奖励后两项表现力大幅回落,去掉音质奖励后音质预测分从 3.32 降到 2.74,默认采样批量组合在情绪、副语言和词错误率上优于互换组合,全词表蒸馏在表现力上略优于采样标记。限制同样要写清:全词表在相似度上略高,但词错误率略高、音质略低,存在可懂度与音质的权衡;这些是单说话人上的数值,不能直接与主表总体平均对比。原文还报告自动评价与人工偏好的一致性为 80.1%,这只说明在该评估设置下自动评价捕捉了部分人工感知的韵律质量,不能当成自动分等于人工判断。

哪些结论是有边界的,代价出现在哪里

最明确的边界是表现力与身份保持的权衡。最终模型相对基座的客观相似度在英文和中文都下降,主观相似度也下降,论文明确指出这不能完全归因于自动指标对韵律敏感,因为主观分也降了。这意味着按文本增强起伏后,音色一致性需要进一步加强,未来工作应放在说话人保持上。自然度也有小幅回落,韵律主观分虽有数值上升但幅度不大,说明听感改善不如自动表现力分数那么显著。

第二个边界是评价本身。韵律奖励和偏好核验都依赖外部大模型,自动分与人工的一致性只在所评估的样本对上成立。不同文本类型、不同说话人、不同参考质量下,一致性可能变化。主表早期与后期的数据规模和构造不同,论文自己也指出不能仅凭该比较分离说话人多样性的作用,需要结合固定预算的消融一起理解。

说话人相似度 × 韵律表现力 × 声学质量: 说话人相似度衡量生成语音与参考音色的一致性,韵律表现力衡量语调是否贴合文本情绪,声学质量衡量听感上的干净自然,三者搭配的意义在于揭示本文的主要代价:韵律变化本身会改变相似度测量的依据,表现力上去时相似度和自然度可能回落。

第 3 个边界是参考条件的覆盖范围。人工验证只用了高低表现力参考的对比和 3 位说话人下的低参考对比,证明了方向,但没有系统扫描参考质量的连续变化,也没有报告延迟、计算开销和误判率。把弱参考鲁棒性推广到任意参考质量之前,还需要更宽的参考条件验证。

复现第一步做什么,需要补哪些验证

复现应从数据管道开始,而不是直接调模型。先按原文 6 个维度准备多样化文本,再为每对文本和说话人各采一条教师样本和多条学生样本并做识别过滤,然后用独立模型核验偏好是否成立,接着用声音转换扩说话人,最后按音质、可懂度、相似度和复核做过滤。模型侧按 3 轮偏好训练、一轮多目标优化、一轮自蒸馏的顺序推进,每段都从上一段最优检查点继续。

关键信息条件要保留:学生基座的具体版本、教师与复核模型的具体版本、早期与后期的数据规模和说话人数、默认采样与批量组合、四项奖励同时非零的权重关系、全词表蒸馏为默认。原文未披露梯度路径细节、权重搜索过程和弱强参考划分阈值,复现时先用已披露的相对关系起步,在小验证集上盯住可懂度和相似度是否恶化。

还需要补的验证至少有三项:固定数据预算下重复说话人多样性对照,排除数据量干扰;拓宽参考质量的连续区间,检查弱参考增益是否稳定;同时报告自动分与人工偏好在新文本分布下的一致性,避免只看自动分。关于资源,本文证据未确认代码、模型或数据的当前可达状态,论文正文给出演示链接但本次未验证可达,复现应按上述数据与训练步骤自行搭建,不把演示链接当作可运行系统。

什么时候值得尝试这条路线

当应用场景要求同一音色按不同文本说出不同情绪、强调和副语言变化,而参考语音本身比较平淡时,这条路线值得尝试。它的价值在于不改结构、不用显式风格标签,只靠后训练把跟随参考的习惯改成跟随文本的习惯。行动顺序是先做偏好冷启动并检查难发音是否退化,再加入多目标优化守住音质与可懂度,最后用弱强参考蒸馏补鲁棒性,每一步都同时看表现力、相似度和可懂度。

不适合的情况也要明确:如果任务要求严格复刻参考的语调风格,或者对音色一致性要求极高而对表现力要求不高,就不必走这条路线。复现时把相似度下降视为预期代价,提前准备音色保持的额外约束或验证,并在目标文本分布上重做人工听辨,再决定是否上线。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-17 语音/音乐/音频论文速递