📄 不算逆轨迹似然：用终样本加权重建对齐离散扩散克隆
英文题目：RAWD-TTS: Ratio-Free Reward Alignment for Discrete-Diffusion Voice Cloning
标签：#语音克隆 | #强化学习 | #扩散模型 | #零样本 | #语音
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Maxim Maslov：机构信息未在 arXiv HTML 中可靠披露
- Kirill Borodin：机构信息未在 arXiv HTML 中可靠披露
- Vasilii Kudryavtsev：机构信息未在 arXiv HTML 中可靠披露
- Nikita Vasiliev：机构信息未在 arXiv HTML 中可靠披露
- Grach Mkrtchian：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
零样本语音克隆需由短参考音频与目标文本生成内容准确且音色一致的波形，而声学词元预测损失并不直接优化可懂度与说话人相似度，这是波形级属性与训练目标错位带来的实际难点。本文方法链分四步：先以目标文本与参考语音为条件用当前策略对同提示采样多条随机轨迹并解码为波形，再由冻结识别与说话人模型给出终端奖励，接着在提示内做组相对标准化得到零和优势，最后用优势加权前向掩码重建 detached终点词元以更新策略。与显式建模反向转移的轨迹策略优化不同，该设计完全丢弃比率约束与反向似然，只学习重建好样本并远离差样本。在500条俄语CV3-Eval评测基准下，联合奖励检查点的词错误率（word error rate，WER）为2.42%，低于基线OmniVoice的词错误率3.18%，说话人余弦为0.748，高于基线的说话人余弦0.733；无选择的终点检查点词错误率为2.58%，低于基线的词错误率3.18%。该结论限于俄语、OmniVoice 单主干与自动评分器，未经主观听测与跨语言验证。单卡 RTX 6000 Ada 上 2000 步训练耗时 9.25 小时，平均每步 16.65 秒。
🔗 开源与复现资源
- 代码相关资源：https://github.com/lab260ru/RAWD-TTS — 链接不可用（HTTP 404）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
要解决什么克隆任务，为什么 token 损失不够？
输入是三元组提示，包含目标文本、参考音频及其转写，目标是从未见过的说话人声音读出新句子。输出是声码器解码后的波形，要求同时满足两个可听属性，一是内容读对，二是音色像参考人。必须保留的信息是训练只给参考音频和目标文本，不给目标音频，评测在固定俄语克隆集上同时看识别错误率和说话人余弦。本文的输出是 1 篇能复述采样、打分、加权、重建全链路的技术解读。
监督式声学 token 预测只惩罚下 1 token 预测偏差，不直接度量解码后整句是否可懂、是否像本人，因此低损失不等于高可懂度。奖励后训练的动机就是用任务模型在波形层面补上这一缺口。离散扩散的特殊性在于，OmniVoice 要生成多个码本的声学 token，token 选什么与先揭示哪个位置共同决定采样轨迹，成品波形无法简单记成自回归概率乘积，这使得基于轨迹似然的策略优化需要为真实采样过程重写似然。
零样本语音克隆 × 离散扩散： 零样本语音克隆负责在只有短参考音频和目标文本时同时保证读对字和像本人，离散扩散负责把多码本声学 token 通过多步掩码预测逐步揭示出来，二者搭配的原因是克隆条件决定生成什么，而掩码揭示顺序决定怎么生成，组合意义是最终波形不能简单写成自回归概率连乘，必须另找对齐接口。
理解这篇论文要先建立依赖顺序，先接受克隆是条件生成，再接受离散掩码生成没有现成轨迹似然，最后才能理解为何作者选择对终样本做加权重建而不是做逆过程似然比。
同目标的相关路线在输入监督和运行阶段有何不同？
同输入同目标的一支是流匹配语音合成的奖励对齐，例如对流匹配做组相对策略优化，以及多目标波形奖励的研究，它们同样比较识别与说话人奖励，但在连续去噪轨迹上操作，与本文的类别型掩码更新接口不同。另一支是自回归语音模型的偏好对齐，例如用识别与说话人验证偏好对齐自回归模型，其转移概率是显式的自回归分解，同样不同于掩码并行揭示。掩码生成声码器模型如 MaskGCT 与 OmniVoice 与本文共享接口，都是多码本掩码预测，因此是更直接的骨干参照。
方法论上最接近的是无比率加权去噪与优势加权匹配，它们提出用终样本优势加权重建而不算比率，另有工作从终样本构造前向腐化状态但保留比率目标，还有从分数熵推离散扩散策略梯度、用近似序列似然做组相对优化、估计离散扩散重要性权重等。按同监督同阶段划分，本文的监督来自生成样本的波形奖励而非真实目标音频，运行阶段是后训练而非从零预训练，贡献在于把符号化终样本去噪适配到多码本语音并做受控实证。
初学者容易误把类别差异当同条件胜负，正确读法是只在相同骨干、相同奖励、相同评测集内比较增益，跨系统比较只反映骨干在俄语上的强弱与取舍。
一个样本从文本和参考音频走到奖励分数经历什么？
举例说明，设目标文本是一句二十到一百二十字符的俄语句子，参考音频是一段 2 到 8 秒的单人语音。第一步按骨干的时长估计器定目标帧数，第二步当前策略随机采样生成八码本乘帧数的声学 token 矩阵，第三步冻结声码器把 token 解码成波形，第四步冻结识别器转写该波形并与归一化后的目标文本算词错误率再做指数映射，第五步冻结说话人编码器分别嵌入生成音频与参考音频并算余弦映射，第六步把两项按系数相加得到该采样的总奖励。
这个例子只为走通链路，不添加任何数值效果。关键约束是同一提示的多个采样共享文本与参考条件，只在随机性上不同，比较只在组内进行。目标音频在训练与奖励中都不使用，这是与监督微调的本质信息条件差异。位置温度、token 温度、去噪步数决定采样分布，但本文不对它们求导，只把成品当作带分目标。
RAWD-TTS 如何把波形好坏连到掩码学习？
全景动作是先采样后打分再加权重建。每轮取一批提示，每个提示独立采样多个随机 rollout，解码成波形后算识别与说话人奖励，组内标准化成优势，正样本优势为正，差样本为负。然后把终样本从计算图上断开，对每个样本做多次前向掩码腐化，计算掩码 token 重建损失，再乘以该样本的优势求平均并做 1 次优化器更新。图注的含义是生成 token 同时提供波形奖励与重建目标，优势只通过加权损失这一条路径更新策略。
终样本奖励 × 掩码重建： 终样本奖励负责在解码成波形后用识别器和说话人编码器评价整句好坏，掩码重建负责把该终样本加噪后再预测被遮住的 token，二者搭配的原因是前者提供方向但不可微回传采样轨迹，后者提供可微学习信号，组合意义是把相对好坏转成重建权重，绕开逆轨迹似然。
这种解耦的好处是不需要逆轨迹似然或目标音频，代价是目标变成有符号替代而非无偏策略梯度估计，也不带似然比信任域。训练用无引导随机采样，评测用有引导贪心采样，因此增益实际是向引导评测的迁移，而非直接优化引导生成。
奖励与优势具体怎么算，掩码重建怎么归一？
先讲符号与输入。提示记为目标文本、参考音频与参考转写， rollout 记为某提示的第几个生成，奖励分量都在 0 到 1 之间，联合训练系数取一和一故总奖励在零到二之间，单奖励运行时把另一系数置零且不对分量单独标准化。识别奖励对目标文本与转写做相同俄语归一化后算词错误率，系数 2.5 是经验选择，说话人奖励是余弦加一除以二。组内优势是该采样奖励减组均值再除以组内总体标准差加极小量，因此组内优势和为零，常数奖励组对替代梯度贡献为零。
\[\bar{r}_{b}=\frac{1}{G}\sum_{i}r_{bi},\qquad A_{bi}=\frac{r_{bi}-\bar{r}_{b}}{\sqrt{G^{-1}\sum_{i}(r_{bi}-\bar{r}_{b})^{2}}+\epsilon},\]再讲腐化与重建。每个腐化状态先为整组共享一个 0 到 1 均匀掩码率，组内各样本在同一腐化水平下用独立伯努利决定遮哪些目标 token，文本、参考 token 与填充永不遮掩，空掩码最多重抽 8 次仍空则随机遮一个，该非空保护轻微改变了无条件伯努利规律。重建损失先在每个码本内对被遮位置取平均，再按骨干码本权重在非空码本上重归一化后加权求和，因此长句子不会仅因 token 多而权重更大。
\[\ell_{bik}(\theta)=-\sum_{c\in\mathcal{C}_{bik}}\frac{\tilde{w}_{bikc}}{|M_{bikc}|}\sum_{j\in M_{bikc}}\log p_{\theta}(x_{0,bcj}^{i}\mid\tilde{x}_{bik},q_{b}).\]组相对优势 × 前向腐化： 组相对优势负责把同一提示下多个采样的奖励减均值再除标准差得到正负权重，前向腐化负责对已脱离计算图的终样本按共享掩码率重新遮掩构造学习状态，二者搭配的原因是同一腐化水平下比较才能让权重差异反映奖励而非掩码多少，组合意义是每个提示内部形成受控对照。
识别奖励 × 说话人奖励： 识别奖励负责衡量生成语音被转写后与目标文本的词错误率并做指数映射，说话人奖励负责衡量生成与参考音频嵌入余弦相似并映射到零到一区间，二者搭配的原因是内容与身份是克隆的两个正交目标，组合意义是联合加权可以保留大部分识别增益而不像单奖励那样明显损伤另一侧。
初学者要记住标准化会重缩放每组贡献，等系数不等于等梯度贡献，因为两分量组内波动不同。
每一次更新在算什么梯度，用什么优化设置？
训练动作按算法分为采样打分与微分重建两段。采样段不带梯度，抽提示、按原生采样器抽终样本、冻结声码器解码、按冻结打分器算奖励与组优势。微分段累积梯度，对每个腐化视图采样组共享比率、腐化已断开的目标、算重建损失、乘优势累加，最后裁剪梯度并做 1 次 AdamW 更新，再重新采集新 rollout。损失是对优势做停止梯度后的加权平均，分母是提示数乘组大小乘腐化数，不用 KL 正则也不用监督锚损失。
\[\mathcal{L}(\theta)=\frac{1}{BGK}\sum_{b=1}^{B}\sum_{i=1}^{G}\sum_{k=1}^{K}\operatorname{stopgrad}(A_{bi})\,\ell_{bik}(\theta).\]实现上所有系统从 0.6B 的 OmniVoice 出发，预测每帧 8 个码本，声码器冻结，只训练秩 16、缩放 32、无 dropout 的低秩适配器。受控比较用批量四、每提示 8 采样、三腐化，联合五腐化只改腐化数。优化器学习率是一万分之一并经 10 步线性热身，权重衰减为零，梯度范数裁剪到一。训练 rollout 用 32 步去噪、无分类器引导、token 温度一、位置温度五，单卡约 16.65 秒 1 次更新，2000 次共 9.25 卡时，不含评测。论文把该目标解释为用掩码扩散证据下界的单样本长度归一化估计替代不可处理的原生采样器对数似然，腐化数只控制前向估计的蒙特卡洛量，与逆向解码步数无关。
训练数据、评测协议与独立检验如何保证可比？
训练用 8000 条俄语克隆提示，来自 Balalaika 的视频分区，参考为 2 到 8 秒单人片段且识别一致性至少八十分，共约 10.96 小时，平均 4.93 秒，每条参考配另一条合格记录的目标文本，限二十到一百二十字符，目标记录音频不用。评测用 CV3-Eval 多语克隆的俄语子集共五百提示，OmniVoice 变体走原生参考音频加转写路径、原生时长估计、32 步解码、引导系数二、贪心选 token、位置温度五、种子固定。
训练打分器是 faster-whisper 的大模型与 WavLM 说话人嵌入，评测主指标是平均每句词错误率与生成相对参考的平均余弦，词错误率经相同归一化后以百分比报告。独立检验用未参与训练与选点的 Qwen 识别、ERes2Net 余弦与 DistilMOS 预测质量分，全部跑 16 kHz 音频，超长与非终止输出按分块拼接与时长加权处理。
主运行做两千更新，识别、说话人、联合各一轮，每配置只跑 1 次，联合三腐化每 100 步评 1 次，五腐化每 250 步评 1 次，选点用训练打分器的联合奖励在报告提示上选最优点，最终点是 2000 步无选择。监督对照用相同八千源录音配真实转写、可见零到三十百分比音频前缀、每更新三十二句、相同适配器与优化器做掩码重建，只用奖励选点。外部对照测已发布的小参数与大参数系统，走原生采样与相同参考对。
联合对齐带来多大可运行增益，代价是什么？
比较问题是在相同骨干、相同五百提示、相同解码与指标方向下，联合奖励相对基线与单奖励能带来多大词错误率下降与说话人保持变化，词错误率越低越好，余弦越高越好。下表整理联合五腐化的可选点与最终点，基线是未对齐的 OmniVoice，可选点是按训练奖励在报告集上选出的更新，最终点是无选择的固定更新，前者含事后选择红利，后者代表可部署收益。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 联合五腐化奖励选中点 | 词错误率 | 3.18% | 2.42% | 相对下降 24.0% |
| 联合五腐化最终点 | 词错误率 | 3.18% | 2.58% | 相对下降 19.0% |
| 联合五腐化奖励选中点 | 说话人余弦 | 0.733 | 0.748 | 高于基线 |
| 联合五腐化最终点 | 说话人余弦 | 0.733 | 0.755 | 高于基线 |
表后解释是联合对齐同时改善两项训练指标，选中点词错误率降到 2.42%，余弦升到 0.748，最终点保留大部分增益且余弦更高，说明增益不完全依赖选点。
独立检验支持平均增益，Qwen 词错误率从 4.38% 降到 3.76%，相对约 14%，ERes2Net 余弦从 0.704 升到 0.724，预测质量分不低于基线。但识别增益在独立识别器下变小，且训练批量奖励稳步上升时基准评测出现非单调，先选出的最优点之后词错误率回升而余弦继续改善，因此不能把训练奖励上升直接读成评测单调变好。
未胜出项是外部系统在独立说话人余弦与预测质量上各有更高者，说明跨系统比较主要反映骨干取舍而非对齐万能。
单奖励与监督对照揭示了什么取舍？
比较问题是只优化一侧时另一侧付出什么代价，联合是否保住大部分增益，监督微调在需要目标音频的条件下表现如何。下表用原文连续句中的数字整理同一骨干下的对照，条件一致性是相同训练预算与相同评测集，指标方向同上。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 仅识别奖励 | 词错误率 | 3.18% | 2.35% | 说话人余弦降到 0.705 |
| 仅说话人奖励 | 说话人余弦 | 0.733 | 0.763 | 词错误率升到 3.34% |
| 联合三腐化选中点 | 词错误率 | 3.18% | 2.41% | 余弦升到 0.736 |
| 联合三腐化选中点 | 说话人余弦 | 0.733 | 0.736 | 保住识别增益 |
表后解释是每个单奖励都改善目标但损伤互补属性，识别单项把词错误率压到最低但余弦跌到 0.705，说话人单项把余弦拉到最高但词错误率恶化，联合三腐化把词错误率降到 2.41% 且余弦微升，保住大部分识别增益而不付说话人代价。
监督对照在训练指标上词错误率 2.94%、余弦 0.765，识别不如联合五腐化而说话人略好，独立检验同样是 Qwen 词错误率更高而余弦略高，质量分略低，因此它是强说话人保持基线而非全面更优。关键信息条件差异是监督需要成对目标语音，奖励对齐只用参考音频与任意目标文本，这是实践中选择后者的理由。负结果是单奖励的独立检验同样延续取舍，说明这不是训练打分器的假象。
腐化数、组构成与加权形式改变了什么？
腐化数实验固定批量乘组大小等于三十二与一千更新预算，比较一、三、五视图，报告是词错误率随腐化数下降而相似度非单调，五视图在两者上都优于一与三，这也是 extended 五腐化两千更新的动机，但每配置只跑 1 次不足以确立差异可靠性。组构成实验固定总数三十二，比较 4 乘 8、8 乘 4、2 乘 16，报告是 4 乘 8 词错误率最低，4 组时相似度与对照持平，16 组时两项都变差，说明每提示更多候选并不一致更好，提示多样性与组内比较之间存在权衡。
加权形式在相同联合奖励、三腐化、两千预算下比较，wd1 式词错误率 2.61%、余弦 0.732，线性符号加权词错误率 2.41%、余弦 0.736，因此在线性尺度下前者未改善任一训练指标，但其预测质量分更高，这提醒不能只按训练奖励排名。
\[\omega_{bi}=\frac{e^{A_{bi}}}{\sum_{j}e^{A_{bj}}}-\frac{e^{-A_{bi}}}{\sum_{j}e^{-A_{bj}}}.\]该对照同时改变形状与尺度，未做重缩放消融。复述时不要把总体趋势推广到每组每步，原文明确训练奖励上升而基准非单调，且消融选点同样用评测奖励在报告集上取最优，含选择红利。
线性符号加权 × wd1 式加权： 线性符号加权负责直接用标准化优势乘重建损失，wd1 式加权负责用正负指数归一化差构造有界系数，二者搭配比较的原因是两者都保留符号但改变形状与梯度尺度，组合意义是论文用它检验加权形式是否决定联合指标，实测线性加权在训练指标上更好而 wd1 在预测质量分上更高。
哪些边界未被验证，不能承诺什么？
有符号替代既无似然比信任域也无单调奖励改善保证，这是方法自述的理论边界。组标准化会放大奖励模型的小差异，等系数也不能保证等梯度贡献，因为组内波动不同。报告点含在报告提示上用评测奖励选点的偏向，相对基线与外部系统占优，最终点无此选择更接近可部署。训练用无引导随机采样而评测用引导加贪心，增益是向引导评测的迁移，要分离需做引导系数扫描，原文未做。独立模型显示平均迁移，但自动分不等于人感知质量，也不证明无奖励利用。
证据限于一个骨干、俄语、每配置单次运行，未测误判率、延迟与成本，不能承诺这些量改善。语音克隆有冒充风险，发布需同意与防护。缺失证据是未报告的细节，例如位置采样似然的具体处理与引导扫描，应记为待补验证而非技术错误，相关性也不直接当因果。
复现应先固定什么，代码状态如何？
复现先固定信息条件与评测链。数据用八千提示的参考音频与目标文本，不用目标音频，参考限单人 2 到 8 秒，目标文本限二十到一百二十字符。模型从 OmniVoice 出发冻结声码器，只训低秩适配器，超参数按批量四、组八、腐化三或五、学习率一万分之一、热身 10 步、裁剪一、训练 32 步无引导、评测 32 步引导二贪心种子固定。打分链要复刻俄语归一化、识别指数系数 2.5、说话人映射、组内总体标准差与极小量、组共享掩码率与非空保护、码本内平均再跨码本重归一化。
选点要区分奖励选中与最终固定，独立检验用未参与训练的识别与说话人模型。资源状态是正文开源声明的唯一依据，本次收到的资源状态为不可用，链接当前不可用，因此不能写当前可用或已公开，只能按论文文字描述流程自行实现。权重下载与系统可运行在证据中未给出，不做推定。建议先跑联合三腐化一千更新复现词错误率下降与余弦不跌，再扩到五腐化两千更新，最后补引导扫描与多次种子以检验稳定性。
何时值得尝试，还需补哪项验证？
当任务是离散掩码语音克隆、只有参考音频而无目标音频、且需要同时保内容与保身份时，值得尝试把终样本奖励转成组内优势再加权前向重建，尤其在基线词错误率偏高而说话人尚可时优先用联合奖励而非单奖励。复现后若只见训练奖励上升而评测波动，应先查选点方式与引导差异，再查组大小与腐化数是否沿用原文设置。
还需补的验证是多人种语言与多骨干的迁移、多次运行的方差、人工听感与奖励利用检查、引导系数扫描，以及把 wd1 式加权的形状与尺度拆开的消融。教学上记住三句话，终样本提供方向但不提供轨迹似然，前向腐化提供可微状态但共享比率才能公平比较，优势符号决定学或抑而归一化决定学多少。回到中心矛盾，无比率设计用有偏但实用的替代换掉了难写的逆似然，换来的是可运行的内容身份双增益与必须正视的选点与单调性限制。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses