📄 单条参考语音如何做自回归语音个性化而不产生空白输出
标签：#语音克隆 | #文本到语音 | #强化学习 | #知识蒸馏
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Sangkwon Park：机构信息未在 arXiv HTML 中可靠披露
- Che Hyun Lee：机构信息未在 arXiv HTML 中可靠披露
- Heeseung Kim：机构信息未在 arXiv HTML 中可靠披露
- Sungroh Yoon：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
自回归文本到语音模型把语音写作离散编解码器令牌序列，单样本个性化只给出一对参考文本与参考语音，要求对任意新文本生成同一音色且保持可懂度。直接在该单对上做监督微调会在推理提示以同样参考语音结尾时提前输出序列结束符，造成空白或近空白语音，论文报告字错率升至18.2%，说话人相似度降至0.536。为分离文本多样性影响，方法先用零样本模型为额外无配对文本一次性合成固定伪目标做蒸馏监督微调，再把当前策略采样轨迹作为后续监督来源，避免反复拟合固定声学序列到结束符的转移。组相对策略优化对每段文本采样一组轨迹，用解码后语音与参考语音的说话人嵌入余弦相似度算奖励并做组内归一化优势，再做带裁剪与KL约束的策略更新，直接提升高奖励样本似然。在位自蒸馏则让学生先在无参考文本条件下采样轨迹，再让冻结的参考条件教师在同一轨迹各位置给出软下一令牌分布，学生以令牌级KL向教师对齐，其中参考文本专用变体只用参考对，文本增强变体对额外文本沿用零样本克隆式教师上下文。GRPO在Seed-TTS-Eval上取得字错率3.0%与相似度0.647，优于零样本基线的3.7%与0.574，而文本增强OPSD训练每步耗时为监督微调的5.8倍时相似度为0.609。结论适用于短参考单样本自回归个性化，GRPO因需外部奖励与声码器解码训练每步耗时为监督微调的45.2倍。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
自回归语音合成要完成什么输入到输出的转换
论文研究的自回归语音合成把波形转成离散的编解码器词元序列，再用类似语言模型的方式逐个预测这些词元，最后由编解码器解码器把词元还原成波形。零样本克隆时模型输入是 1 个条件前缀，包含参考文本拼接待合成文本的文本段，以及参考语音词元的语音段，实际输入中文本段和语音段用模态专用的特殊词元分隔。模型在前缀之后续写，希望用参考音色说出新文本的内容。评价既要声音像目标人，也要把文本说对且听感自然。
论文用词错误率衡量可懂度，用生成语音与参考语音的说话人嵌入余弦相似度衡量相似度，还用人听打分衡量自然度。理解这套输入前缀与续写分工，是理解后文为何微调会破坏推理的关键。
自回归语音合成 × 编解码器词元 × 上下文学习： 自回归语音合成指把波形先转成离散编解码器词元，再从左到右逐个预测词元，最后由解码器还原波形；编解码器词元是可还原成波形的离散语音单元；上下文学习指把参考文本、待合成文本和参考语音一起放入输入前缀，让模型延续参考音色。组合后模型不需为新说话人重训声学模型，只靠前缀即可做零样本克隆，这是后文单样本微调的起点。
已有个性化路线为什么在单样本下不够用
一种常见路线是拿目标说话人的语音做微调，在数据较多时可行。但论文限定在一次个性化场景，可用于适配的只有 1 对已配对观测，即一条参考语音及其文本，没有待合成文本对应的目标人语音，额外文本只能从无配对文本池中取。原文提到对扩散类语音合成模型，直接在这单对数据上做监督微调曾被证明有效，但对自回归模型已有工作报告监督微调会明显抬高词错误率。
只限制更新参数量的低秩适配器仍保留同样的固定目标和教师强制目标，因此论文认为没有触及失败根源。另一类思路是扩大训练目标多样性，论文为此构造零样本蒸馏对照，用初始零样本模型为不同文本各生成一次伪目标再固定训练，用来分离多样性和在策略性的作用。
单对参考做监督微调时模型学到了什么错误关联
问题在于朴素监督微调每次都用同一对输入输出更新，输入是参考文本，目标是参考语音后跟结束符，训练目标是最大化这段固定序列的似然。推理时零样本配置的前缀是参考文本拼接评测文本再加参考语音，恰好同样以参考语音结尾。模型于是把训练中学到的参考语音之后接结束符的关联搬到推理，出现一填入参考前缀就直接输出结束符的情况，生成空白或接近空白的语音。论文指出这会同时拉低说话人相似度和抬高词错误率。
去掉推理时的参考提示不是可行绕路，原文报告这会让词错误率和相似度都明显变差。也就是说失败不是训练步数没调好，而是离线固定目标与自回归推理条件的错位，重复优化只会强化这一错位。
两种在策略方法如何分工绕开固定目标
论文提出的两条路线都不再拟合固定的硬声学目标，而是从模型当前策略采样的轨迹上学习。第一条是带说话人相似度奖励的组相对策略优化，用外部打分告诉模型当前采样的多组输出中谁更像目标人，再提高高奖励样本的似然，同时用与初始模型的散度约束防止偏离太远。第二条是在策略自蒸馏，不用外部奖励，而是让只看到待合成文本的学生在自己采样轨迹上，去匹配能看到参考信息的冻结教师给出的软下一词元分布。两种方法都保留推理时的参考条件前缀，训练目标则作用于采样出的延续部分。
下面这张总览图把 3 条路线的输入、采样和监督回路画在了一起，读图时先分清每条路谁是输入、谁被采样、红色箭头把什么信号送回模型，这是理解后文奖励加权与分布匹配区别的最直接入口。
看图路径： 1. 先看面板 a 中从参考文本到固定参考语音加结束符的直接监督箭头；2. 再看面板 b 中同一模型采样多组虚线词元后经奖励函数回传的环路；3. 最后看面板 c 中学生只看待合成文本采样而教师同时看参考信息的上下两路分布对齐
论文图 1。原论文 Figure 1:：“Overview of off-policy SFT and proposed on-policy methods for one-shot personalization of autoregressive TTS.”。
从图中可见，监督微调只有一条从固定目标指回模型的直接监督，输入仅为参考文本而目标是固定的参考语音加结束符。组相对策略优化多出采样多组和奖励函数再回传的环路，输入包含参考文本、待合成文本和参考语音。在策略自蒸馏则分成只看待合成文本的学生采样支路和同时看参考的教师支路，两条支路在每个位置的词元分布上用散度对齐，并区分仅参考与文本增强两种文本取值。这对应后文公式中奖励加权与分布匹配的区别，也解释了为何后两者不记忆从参考语音到结束符的确定性跳转。
监督微调的目标为什么会教模型提前结束
监督微调对给定文本输入和声学目标，最小化目标序列的平均负对数似然，即每个位置在真实前文和输入条件下预测真实词元的损失。朴素做法每次都把输入取为参考文本、目标取为参考语音。低秩适配器版本只改变可更新参数，损失形式不变。零样本蒸馏对照则把输入换成多样文本、目标换成零样本模型一次性生成的伪目标，之后这些伪目标在适配全程固定不变。论文强调即使伪目标覆盖多样文本和参考音色，只要训练时反复做教师强制且目标离线固定，就仍是离策略监督。
监督微调 × 固定目标 × 教师强制： 监督微调指用文本输入和目标语音词元做最大似然训练；固定目标指训练目标始终是同一段参考语音及其后结束符；教师强制指预测每个词元时都以真实前文为条件。三者搭配时模型反复学习从参考文本预测同一段参考语音加结束符，这正是推理前缀同样以参考语音结尾时诱发直接输出结束符的原因。
\[\mathcal{L}_{\mathrm{SFT}}(\theta;u,v)=-\frac{1}{|v|}\sum_{t=1}^{|v|}\log\pi_{\theta}\bigl(v_{t}\mid v_{\lt t},u\bigr).\]该式中分母除以目标长度是对长度归一化，求和是对每个目标词元在真实前文条件下的对数概率取负。结合推理前缀可以理解，训练反复提高在参考文本条件下输出参考语音后接结束符的概率，而推理前缀末尾同样是参考语音，模型延续这一条件分布就容易直接结束。这解释了空生成比例随训练步数上升的现象，也解释了只换低秩更新不能消除该关联，因为目标层面的条件映射没有改变。
组相对策略优化如何用组内比较给出更新信号
组相对策略优化对每个文本从旧策略在参考条件前缀下采样多个延续，每个延续解码成波形后与参考语音计算说话人嵌入余弦相似度作为奖励。组内相对优势是该样本奖励减组均值再除以组标准差，因此同一组中更像目标人的样本获得正优势，不像的获得负优势。更新时用重要性比率衡量新旧策略在每个词元上的概率比并做截断，再减去与初始模型的散度惩罚，按词元数归一化后在组内平均。采样与优化都围绕当前或近期策略的输出进行，而不是固定的参考语音。原文训练中每步取 4 个文本、每文本 8 个延续，共 32 条轨迹，再按小批量优化。
GRPO × 组内相对优势 × 说话人相似度奖励： GRPO 指对同一文本采样一组多个输出再按组内相对好坏更新策略；组内相对优势是样本奖励减组均值再除以组标准差得到的相对分数；说话人相似度奖励是解码语音与参考语音的说话人嵌入余弦相似度。组合后不需要目标文本的真实目标语音，就能让当前策略中更像目标人的采样获得更高更新权重。
\[\mathcal{J}(\theta)=\mathbb{E}_{x,\{y_{i}\}}\Biggl[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|y_{i}|}\sum_{t=1}^{|y_{i}|}\\ \Bigl(\min\bigl(\rho_{i,t}\hat{A}_{i},\,\mathrm{clip}(\rho_{i,t},1{-}\epsilon,1{+}\epsilon)\hat{A}_{i}\bigr)-\beta\,\mathrm{D_{KL}}\bigl[\pi_{\theta}\,\|\,\pi_{\theta_{0}}\bigr]\Bigr)\Biggr],\]该式中期望是对文本和采样组取的，内层先对组平均再对每条的长度平均，截断项限制单步更新幅度，散度项把策略拉回初始模型。直观过程是先沿当前策略走出多条不同说法，再用与参考语音的相似度给它们排序，最后让模型更倾向于组内更好的走法。这种信号直接优化相似度，但代价是每条延续都要声码解码并做外部嵌入提取与打分，这是后文耗时差异的主要来源。
在策略自蒸馏如何让只看文本的学生学到参考信息
在策略自蒸馏的学生从只含待合成文本的上下文中采样一条延续，冻结的教师用同一个初始模型，但在带参考的上下文中评价同一条轨迹。损失是沿学生轨迹每个位置，学生分布与教师分布之间的散度再按长度平均。学生更新时轨迹来自当前学生，教师只提供软目标而不更新。两种变体区别在教师上下文，仅参考变体只用参考对，把参考文本同时当参考转录和目标文本，教师能锚定真实目标人语音但只覆盖该文本的语言音素环境。
文本增强变体对无配对文本池中的任意文本，用零样本克隆配置做教师上下文，能覆盖更广的语言音素环境，但教师本身只是预训练模型的参考条件分布，可能不完美复现目标音色。实现上散度只在教师前 64 个对数值的截断上计算。
OPSD × 学生分布 × 参考条件教师： OPSD 指在学生自己采样轨迹上让学生分布匹配教师分布的在策略自蒸馏；学生分布是只看待合成文本时的输出分布；参考条件教师是同一冻结初始模型但能看到参考文本和参考语音的分布。组合后学生在自己会访问的状态上获得带参考信息的软目标，既不用外部奖励打分，也不用固定硬目标。
\[\mathcal{L}_{\mathrm{OPSD}}(\theta)=\frac{1}{|y|}\sum_{t=1}^{|y|}\\[-2.0pt] \mathrm{D}_{\mathrm{KL}}\left(\pi_{\theta}\bigl(\cdot\mid y_{\lt t},s(x)\bigr)\,\middle\|\,\pi_{\theta_{0}}\bigl(\cdot\mid y_{\lt t},\tau(x)\bigr)\right).\]该式中求和是对学生采样序列的每个位置，条件中的历史词元是学生已生成的同一前缀，区别只在学生看的是无参考上下文，教师看的是带参考上下文。沿一个样本的过程是学生先按自己当前习惯说一遍，再在每个位置询问教师如果有参考会如何分配下一个词元的概率，然后把自己的分布往教师方向拉。因为监督是分布而非单条硬目标，模型不易记住从参考语音到结束符的确定性跳转，这是在策略性的关键体现。
训练时采样优化和轨迹复用如何组织
论文用基于语言模型的自回归语音模型做实验，该模型生成编解码器词元，每个说话人独立适配，只用该说话人的 1 对文本语音。监督微调和低秩版本每次用批量一反复训练单对，零样本蒸馏版本用批量四训练固定的自生成对。仅参考在策略自蒸馏每步对单文本采样 10 条轨迹再按批量一优化，文本增强版本每步对 4 个文本各采样 10 条，共 40 条轨迹，再按批量四优化。组相对策略优化每步对 4 个文本各采样 8 条，共 32 条轨迹，同样按批量四优化。
在策略采样最大长度五百，评测生成最大长度两千零四十八，训练采样与评测生成的温度等设置不同。论文还研究轨迹复用，每批采样轨迹连续做多次参数更新再重新采样，增大复用能大幅减少自回归生成开销，但会引入适度轨迹陈旧，论文在短程单样本适配区间内验证其影响。
数据评测条件和指标方向如何保证可比
实验用语音评测集的英文子集，每个说话人提供一条参考语音及其文本，外加评测文本和对应真实语音。组相对策略优化和文本增强自蒸馏还用从朗读语音库取的固定英文句子池做无配对文本，不含目标人语音。所有系统评测时都用同样的参考条件配置，即在参考文本拼接评测文本加参考语音的前缀下生成，温度 0.8。词错误率用大词汇量识别模型计算，越低越好。说话人相似度是生成语音与参考语音的嵌入余弦相似度，越高越好。
自然度用人听的 5 分制均值意见分并给置信区间，越高越好。耗时按每训练步秒数报告，并给出相对监督微调的倍数。各方法评测条件一致，因此主结果差异可归因于适配方法而非评测配置。本文只讲论文内容，不声称代码模型数据已公开。
主结果中可懂度和相似度如何变化
下表比较的核心问题是，在同样的零样本推理前缀下，单样本适配能否同时提高像目标人的程度和保持把字说对。表头已标明词错误率越低越好、相似度越高越好，词错误率列头中的% 为原表标注，数据格保留原表裸数字，并附每步耗时及相对倍数，耗时单位见表注中每训练步以秒计。阅读时先看零样本基线，再看监督类方法是否出现词错误率大涨和相似度不升，最后看在策略方法是否在相似度上升的同时把词错误率压回基线附近，并注意最后两列的时间代价。
| Method | WER (%) ↓ | SIM ↑ | t ↓ | vs. SFT |
|---|---|---|---|---|
| Zero-shot (ICL) | 3.7 | 0.574 | – | – |
| SFT | 18.2 | 0.536 | 5.8 | 1.0× |
| SFT-LoRA | 35.0 | 0.462 | 5.8 | 1.0× |
| SFT-ZSD | 8.3 | 0.586 | 14.8 | 2.6× |
| OPSD-RO | 4.9 | 0.608 | 35.3 | 6.1× |
| OPSD-TA | 3.7 | 0.609 | 33.8 | 5.8× |
| GRPO | 3.0 | 0.647 | 262.2 | 45.2× |
表中零样本基线保持了较低词错误率和中等相似度，朴素监督微调词错误率大幅升高而相似度低于基线，低秩版本更差，说明限制参数量没有解决目标层面的问题。零样本蒸馏监督微调虽消除后文的空白失败，但相似度仅小幅高于零样本，词错误率仍明显高于零样本。两个自蒸馏变体在保持可懂度的同时提升相似度，文本增强版本词错误率回到基线附近。组相对策略优化取得全表最高的相似度和最低的词错误率，但每步耗时约为监督微调的 45 倍，而自蒸馏每步约为 6 倍左右。结论成立条件是单样本、该模型、该英文评测集及上述评测采样配置，换模型或语言需重新验证。本表数值与单位依据论文 PDF。
空生成曲线与听感自然度能否佐证失败机制
如果提前结束的解释成立，应能看到监督微调的空生成比例随训练步数上升，而在策略方法保持低位，同时自然度人听分应与可懂度趋势一致。下图按训练步数统计短于 0.25 秒的空生成比例，读图时先看横轴步数与纵轴比例，再对比各曲线在二十步前后的分化，这是判断固定目标是否诱发提前结束的直接证据。
看图路径： 1. 先确认横轴是训练步数从 0 到 100 而纵轴是短于 0.25 秒的空生成比例；2. 比较监督微调与低秩版本在 20 步附近快速抬升并维持高位的两条曲线；3. 确认零样本蒸馏与两种在策略方法始终贴近零线的走势差异
论文图 2。原论文 Figure 2:：“Ratio of empty generations per training step.”。
图中监督微调和低秩版本在二十步后迅速抬升并在后续步数维持高位，低秩版本更高，而零样本蒸馏、在策略自蒸馏和组相对策略优化始终贴近零线。这支持论文的机制判断，固定硬目标反复强化结束符关联，而多样但固定的伪目标和在策略轨迹都能避免该坍缩，但只有后者进一步带来相似度收益。下表是自然度人听分比较，比较问题是适配是否损害听感，指标越高越好，基于有限人数的评价。
| Zero-Shot | SFT | OPSD-TA | GRPO | Ground Truth | |
|---|---|---|---|---|---|
| NMOS ↑ | 3.83 ± 0.16 | 3.42 ± 0.21 | 3.80 ± 0.15 | 3.87 ± 0.15 | 4.38 ± 0.09 |
表中零样本与两种在策略方法自然度相当，组相对策略优化略高，监督微调明显下降，真实语音最高且置信区间更窄。在策略方法没有为提高相似度牺牲自然度，而监督微调在可懂度和自然度上同时变差。限制是人听样本量有限且只覆盖该评测集语音，不能推广到所有场景的自然度结论，自动相似度和词错误率也不等于人工对音色的全面评价。
增益来自目标多样还是来自在策略监督
要区分多样性和在策略性，论文把三者在同一零样本行为上起步的方法放在一起看，零样本蒸馏、组相对策略优化和文本增强自蒸馏都利用了模型的零样本克隆行为，但前者把一次性采样固定为硬目标反复拟合，后两者对当前采样轨迹施加奖励加权或软分布监督。结果是前者相似度几乎不涨且可懂度变差，后两者相似度明显涨且可懂度保持。仅参考自蒸馏进一步用单文本证明，即使没有额外文本，只要把参考语音当教师的特权上下文而非固定输出目标，也能避免坻缩。这说明关键不是收集更多固定目标，而是在当前策略访问到的状态上给监督。
零样本蒸馏监督微调 × 在策略监督 × 目标多样性： 零样本蒸馏监督微调指先用零样本模型为多个文本各生成一次伪目标，再把固定伪目标当监督做教师强制训练；目标多样性指训练覆盖不同文本；在策略监督指监督施加在当前模型采样轨迹上。对照说明光有多样性但目标离线固定，仍会随模型变化而偏离当前策略，只有在策略监督才能避免对固定声学序列的过拟合。
下表检验轨迹复用是否破坏该结论，比较问题是每批轨迹复用一次与十次时性能和耗时的变化，指标方向与主表一致，词错误率列头中的% 为原表标注而数据格为裸数字，耗时单位见原表注中每训练步以秒计，读表时重点看相似度和词错误率是否保持而耗时是否大幅下降。
| Method | WER (%) ↓ | SIM ↑ | t ↓ | vs. SFT |
|---|---|---|---|---|
| OPSD-RO (k=1) | 5.4 | 0.607 | 224.0 | 38.6× |
| OPSD-RO (k=10) | 4.9 | 0.608 | 35.3 | 6.1× |
| OPSD-TA (k=1) | 3.5 | 0.613 | 174.1 | 30.0× |
| OPSD-TA (k=10) | 3.7 | 0.609 | 33.8 | 5.8× |
表中两种自蒸馏变体在复用十次时性能基本保持，耗时从每步上 100 秒降至三十多秒，约为监督微调的 6 倍左右，而复用一次时约为三十多倍。论文据此认为短程适配中适度策略漂移不实质损害蒸馏监督。限制是只验证了复用一次和十次，且仍是同一模型和数据，复用更大步数或更长训练是否成立尚未评测，也不能把该效率结论直接推广到组相对策略优化。本表数值与单位依据论文 PDF。
哪些范围尚未验证且容易误读
首先所有定量结论都绑定特定模型和英文子集，以及原文的采样、批量和评测温度，不能直接推到其他自回归语音模型、其他语言或长时训练。其次组相对策略优化的最优性能以每步约 100 秒和反复声码解码加外部打分为代价，自蒸馏虽快数倍但仍数倍于监督微调，实际部署需另算推理开销和硬件预算，论文只报告适配阶段每步时间。
再次文本增强自蒸馏的教师本身依赖预训练模型的参考条件分布，若该分布对某说话人复现不佳，软目标质量也会受限，论文没有给出按说话人拆分的失败率。最后自动相似度和词错误率不等于人工对音色和可懂度的全面评价，人听只做了自然度且样本有限。把多样性本身当成有效个性化，或把搜索到的最优超参数当成部署必得提升，都是对本文的误读。
复现第一步应固定哪些信息条件和关键设置
复现应先固定信息条件，每个说话人只用 1 对参考文本和参考语音做适配信号，额外文本只能用无目标人语音的句子池，评测时统一用参考文本拼接评测文本加参考语音的前缀生成。然后按原文设置采样与优化，评测与训练采样的温度、截断参数和最大长度不同，在策略自蒸馏教师截断前 64 个对数值计算散度，组相对策略优化与自蒸馏每步的文本数和每文本采样数不同，指标用指定识别模型计算词错误率，用指定说话人嵌入模型计算相似度。
先复现零样本基线和朴素监督微调的空生成现象，再接入在策略方法。需要补的验证包括换基座模型和非英文数据的稳定性、更长训练步数下的空生成是否复发、按说话人和文本难度的分层统计，以及推理延迟与适配耗时的完整记录。由于没有可验证的作者资源链接，不应默认存在可下载权重。
什么时候值得尝试在策略个性化
当只有一条短参考且必须保留自回归模型的零样本推理前缀时，值得跳过反复拟合单条目标的做法，转向在当前策略采样上学习。如果追求最高的相似度和最低的词错误率，且能承担每步约 100 秒的打分与解码开销，可尝试带说话人相似度奖励的组相对策略优化。如果没有外部说话人打分或希望更快适配，可尝试文本增强或仅参考的在策略自蒸馏，并用轨迹复用降低生成开销。
两种路线都要求评测条件与基线一致，并同时报告词错误率、相似度和耗时，否则无法判断收益是否成立。还需补的验证是跨模型、跨语言和长程训练的稳定性，以及更大规模人听对音色相似度的直接评价。只有在这些条件下，才能把论文结论从该英文评测集上的有效框架，推广为更一般的单样本自回归语音个性化方案。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses