📄 相对变化放在子句上、能量与音高分到不同残差码本：SCIC 的范围与码本感知控制
英文题目：SCIC: Scope- and Codebook-Aware Instruction Conditioning for Speaker-Adapted Expressive TTS
标签：#文本到语音 | #指令微调 | #韵律与风格控制 | #神经编解码与离散单元 | #偏好优化
评分：6.9/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Longyu Lu：机构信息未在 arXiv HTML 中可靠披露
- Zongwei Du：机构信息未在 arXiv HTML 中可靠披露
- Mengtao Xing：机构信息未在 arXiv HTML 中可靠披露
- Zhuoqun Liu：机构信息未在 arXiv HTML 中可靠披露
- Zifan Guan：机构信息未在 arXiv HTML 中可靠披露
- Meiguang Jin：机构信息未在 arXiv HTML 中可靠披露
- Junfeng Ma：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
面向直播长文本语音合成需兼顾段落连贯与子句级韵律起伏的问题，本文提出说话人相对内联韵律控制（Speaker-Relative Inline Prosody Control），其输入为带内联标签的长文本，输出为具子句级起伏的连续语音，难点在于全局条件难以控制局部相对变化。音高、能量、语速指令针对目标子句相对前一同说话人子句的对数域变化量，经方向归一化使正值恒表示符合指令方向，停顿则用三档绝对时长区间直接指定。该形式化避免跨音色强加统一绝对目标，并为段落级渐强渐弱提供可拼接的局部接口。方法链分为三步：先对原始与属性变换语音做残差向量量化（Residual Vector Quantization，RVQ）码本贡献交换诊断，区分前向插入与反向移除干预并度量累计转移轨迹。再由时间指令路由器（Temporal Instruction Router）预测每帧标签激活强度以限定作用域，最后由标签相关码本加权在多词元预测（Multi-Token Prediction，MTP）路径注入分码本强度信号，语速与停顿仍保留在主干自回归首码本路径，这区别于仅将标签作文本词元的已有指令微调。在自有中文多说话人评测上，SCIC-SFT相对指令微调将音高、能量方向准确率分别提升 7.31 和 10.53 个百分点至 90.14% 与 96.39%，完整 SCIC-GDPO 进一步至 92.48% 与 97.16%，字符错误率稳定在 1.63% 至 1.68%，说话人相似度维持在 0.872 附近。该结论仅在说话人自适应而非零样本泛化设定下成立，跨基座、跨语言与真实直播长篇稳定性的外推尚未验证，训练时长与推理部署成本未披露。
🔗 开源与复现资源
- 演示资源：https://taoliveaigc.github.io/SCIC/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
长直播解说为什么难用一句话指令讲好？
输入是这篇论文的原文证据与两张官方原图像素，目标是让刚进入语音合成的研究生能复述方法与实验条件，输出是 1 篇可核对的技术解读，必须保留的关键信息包括相对控制定义、码本诊断结论、路由器与码本权重的计算位置、训练与评测的工具链。本文先讲任务与相关路线，再走完一个样本的输入到输出，然后展开公式、训练、实验条件、结果与反证，最后给出复现清单。
长直播带货或解说的语音不是一句一句孤立的，同一段落里音高能量语速要有起伏，子句之间要有停顿层次，听感上形成段落级的高低轻重。初学者容易把这类需求理解成给整段文本加一个全局风格，例如更高兴一点或更快一点。白话说，全局条件像给整锅汤统一加盐，论文要解决的是按勺分层调味：每个子句前放一个内联标签，只管本子句相对上一句的变化。现有基于指令的语音合成系统多用全局或均匀条件，对子句级相对变化缺乏显式控制，段落内的表情递进就不连贯。
本研究的设定是说话人适配，而不是零样本说话人泛化。也就是说，所有受控系统都在有监督微调阶段见过目标说话人的声音，评测用的是这些说话人未见过的句子。这样做的好处是音色基线稳定，控制效果更容易归因到指令路径；限制是结论不能直接推广到完全没见过的新声音。演示页当前可用，官方地址已在摘要中给出，本文不转述听感，只讲可复现的结构与数字。
同输入同目标的已有路线差在哪里？
把相关工作按输入、目标、监督和运行阶段对照，能看清本文的缺口。第一类是自然语言指令合成，输入是文本加一段描述，目标是整句风格，监督多为成对或弱标注，运行时 1 次给出全局条件。第二类是类别、连续或相对属性控制，输入是属性标签或数值，目标是单句的音高能量语速，监督来自声学测量，运行时仍偏向整句。第三类是内联或层级细粒度标注，输入是在文本内部插入标记，目标是局部韵律，监督来自对齐后的区间，运行时按位置生效。还有偏好或策略优化路线，用人类或自动奖励提升指令跟随度。
本文与第三类最接近，但不同点是把内联韵律明确写成子句级相对变化，并同时建模时间作用范围与残差向量量化码本分配。残差向量量化是把 1 帧语音用多个码本逐级求精的编码方式，浅层码本定大体轮廓，深层码本补细节。已有方法即使有内联标签，也只是把标签当文本词元送入语言模型，既不显式决定标签在哪几帧激活，也不决定对每个残差码本用多强。本文的对照基线因此选了同样用内联标签和同样监督数据的指令微调，它只用文本词元条件，没有路由器与码本权重，公平地 isolate 新增结构的作用。
相对控制到底规定了什么比较关系？
论文把任务形式化为说话人相对内联韵律控制。白话说，相对就是和自己比，不和别人比。每个标签放在目标子句之前，目标子句记为当前子句，参照是紧邻的上一个同说话人子句。音高用浊音中值基频的比值取对数，能量用共有浊音段前 80% 均方根的比值取对数再乘以系数，语速用对齐后每字时长的比值取对数。方向归一化变化量是把 Up 记为正向、Down 取负后再按指令方向翻转，使正值恒表示做对了方向。对数的好处是对互为倒数的上升下降对称，不会因为绝对基频不同而偏向某个说话人。
说话人相对内联韵律控制 × 绝对停顿时长区间： 说话人相对内联韵律控制负责音高、能量、语速，分工是只描述目标子句相对上一个同说话人子句的变化量，避免跨说话人共用绝对声学目标；绝对停顿时长区间负责停顿，分工是直接给出秒级区间如 L1 到 L3；二者搭配的原因是前者保留说话人各自的基线和变化习惯，后者因为静音时长本身可直接测量而不必相对化，组合意义是同一套内联标签既能做渐进式表情爬坡，又能把停顿落进可验证的区间。
举一个教学例子帮助理解，例子不代表论文数据：假设同一说话人上一子句平均基频较低，当前子句前有一个音高上升标签，系统只需让当前子句相对上一句升高，而不必达到某个固定赫兹数；若标签是停顿 2 级，则直接要求在边界产生落进对应秒区间的静音。论文报告停顿分三档，区间在方法节给出，后文整理成表。评估时音高能量语速看方向准确率与方向归一化中值，停顿看检测到的静音是否落进区间。这种定义为段落级表情提供了直接接口：一串局部受控子句连起来就是递进层次。
一个样本如何从标签走完到波形？
先沿一个样本走完全程。输入是带说话人嵌入的词元序列，其中混有文本词元与内联标签词元，例如音高上升与停顿 2 级标签。主说话人是基于 Qwen3 的语言模型，白话说就是负责先走时间轴的大模型，它自回归预测首个码本 q0 并给出每帧的隐状态 ht。多码元预测是同一帧内继续预测残差码本 q1 到 q15 的小模块，输入是前一个码本的嵌入加上 SCIC 条件信号，各码本投影贡献求和后送入编解码器解码器得到波形。语速停顿主要影响序列长度，走 q0 路径；音高能量依赖残差码本，走多码元预测路径。
主说话人 × 多码元预测： 主说话人分工是自回归预测首个码本 q0 并推进声学帧序列，同时给出帧状态 ht，语速和停顿主要走这条影响时长的时间路径；多码元预测分工是在同一帧内预测残差码本 q1 到 q15，补足音色和韵律细节；搭配原因是音高能量主要分布在残差部分，组合意义是 SCIC 只把音高能量条件加到多码元预测的输入上，而把语速停顿留在主说话人的 q0 路径，避免两条路径互相干扰。
下图是论文给出的系统框图，阅读时先看底部再看顶部，有助于区分两条路径的分工。
看图路径： 1. 先从底部输入条看说话人嵌入、文本 token 与虚线标签 token 的排列，再跟随虚线看标签如何进入 SCIC 盒子；2. 再看 SCIC 盒内标签嵌入、时间路由器与码本权重如何汇入相乘求和形成条件信号；3. 最后看该信号如何进入右侧多码元预测，并对照底部 q0 与顶部码流解码器的箭头确认两条路径分工
论文图 1。原论文 Figure 1:：“SCIC in Qwen3-TTS. The Main Talker predicts q_0 and provides h_t.”。
从像素可见，底部是横向的输入条，最左为粉色说话人嵌入，随后是紫色文本词元与浅蓝虚线标签词元，下方标出音高上升与停顿 2 级两类标签。中间虚线大盒标为 SCIC，内部左侧是标签嵌入与时间指令路由器，右上是标签专属码本权重，三者在圆圈乘法节点汇合再按标签求和形成条件信号。右侧虚线大盒是多码元预测，底部绿色 q0 向上经该模块得到 q1、q2 直到 q15，每列顶部经求和送入橙色编解码器解码器，最上方是波形示意。
左下虚线表示标签词元取出嵌入，中间 ht 向上的虚线表示帧状态进入路由器，右向虚线表示条件信号进入多码元预测。可见 SCIC 没有改动 q0 的自回归主链，只在残差预测的输入上做加法条件，这种位置选择与诊断结论一致。
路由器如何决定标签在哪几帧生效？
时间指令路由器回答何时生效。白话说，它是一个帧级开关，逐帧输出 0 到 1 之间的激活强度。输入是主说话人的帧状态 ht，先做层归一化再经线性层加偏置，对每个标签类型取对应分量过 Sigmoid，若该标签在输入中不存在则乘以零指示直接关闭。对齐后的子句区间提供二值帧级监督，损失对正负帧分别平衡，避免长静音或长非激活区淹没训练。软路由器的意义是允许渐入渐出，而不是在边界硬切换，这对韵律的自然过渡重要。消融显示硬路由器会让边界误差明显增大，支持分级激活的安排理由。
\[\rho_{t,\tau}=\sigma\!\left([W\,\mathrm{LN}(h_{t})+b]_{\tau}\right)\chi_{\tau}.\]上式中符号含义是：ht 为第 t 帧的主说话人状态，LN 为层归一化，W 与 b 为路由器可学习参数，下标取对应标签的分量，西格玛为逻辑 Sigmoid，存在指示保证缺席标签严格不激活。计算目标是得到 rho，表示该标签在该帧的激活强度。原文明确用对齐子句区间做帧监督，未报告逐帧阈值后处理，复现时应保留软输出直接参与加权，不自行加硬门限。
时间指令路由器 × 标签专属码本权重： 时间指令路由器分工是沿时间轴决定每个音高能量标签在哪一帧激活多强，输出 0 到 1 之间的帧级激活；标签专属码本权重分工是沿码本轴决定该标签对 q1 到 q15 每个残差码本的带符号强度；搭配原因是诊断显示能量集中在浅层残差而音高需要更深前缀，只定时间不定码本仍会均匀注入，组合后形成随时间开关、随码本加权的局部条件信号再送入多码元预测。
标签专属码本权重回答在每个码本上用多强。每个音高能量标签类型对 q1 到 q15 各有一个零初始化的可学习标量，带符号表示既可增强也可抑制。条件信号是三者乘积再按标签求和：激活强度乘以码本权重再乘以标签嵌入向量。条件输入是把该信号加到预测下一残差码本所用的前一码本嵌入上。训练目标是生成损失加路由器损失的加权和，权重系数控制两项平衡。零初始化使训练初期等价于无条件，便于稳定起步。
\[\displaystyle s_{t,k}\]上式中 st,k 为第 t 帧第 k 个残差步的条件向量，e 为标签的投影文本表示，omega 为标签专属码本权重，u 为加条件后的输入，Emb 为码本词元嵌入。原文未给出路由器与码本权重的梯度截断说明，统一按可训练参数随生成损失回传理解，不猜测停止梯度位置。
码本诊断如何证明能量浅、音高深？
残差向量量化码本诊断是本文的动机实验，不是最终合成方法。做法是取一段原声 x，再做时长匹配的变换版 x prime，变换只动音高或只动能量。编码得到每帧 16 个码本的词元，再取各码本对解码器输入的投影贡献。对某个码本集合 S，计算变换减原声的差值，前向干预是把该差值加到原声重构上，反向干预是把该差值从变换重构中去掉，然后解码测量属性变化与完整重构变化的比值。前者看插入这些码本能否带来变化，后者看拿掉这些码本能否消除变化。负值表示反向，超 100% 表示过冲，原文强调这是潜变量干预下的迁移比例，不是可加的信息百分比。
残差向量量化码本诊断 × 累积迁移轨迹： 残差向量量化码本诊断分工是构造时长对齐的原声与变调或变能量版本，交换投影后的码本贡献再解码测量属性变化；累积迁移轨迹分工是把 q1 起的前缀逐步纳入交换集合，观察前向插入与反向移除两种干预下迁移比例如何爬升；搭配原因是单码本结果受交互影响而前缀累积更能反映分布，组合意义是得出能量在 q1 到 q3 内快速饱和、音高要到 q1 到 q10 附近才饱和，从而要求按标签学习不同的码本权重形状。
结果支持属性相关：能量在 q1 到 q3 内快速饱和，音高需要更深的交互前缀，到 q1 到 q10 附近才接近饱和。教学含义是若对所有标签用同一套均匀注入，能量会过早吃满而音高吃不够，因此必须按标签学习不同的码本权重形状。原文同时报告单码本结果中 q0 接近零、q1 对能量贡献最大而对音高前向为负等细节，说明单码本视角 noisy，累积前缀更能反映分布。诊断只针对音高能量，语速停顿不走这条路径，复现时不应把该结论外推到语速。
有监督与后训练各优化什么目标？
训练分两段。第一段是有监督微调，所有系统都从直播场景的 Qwen3 语音合成持续预训练检查点出发，在约 1000 小时 30 人中文自然语音与 132018 个指令标签上微调。指令微调基线只用文本词元条件，SCIC 有监督版额外引入路由器与码本权重。实现用秩 32 的低秩适配，作用在注意力与前馈投影，低秩部分与控制嵌入、路由器、码本权重用不同的学习率，8 卡训练，每卡批量为 8。评估句与监督及后训练数据不相交，说话人仍是适配过的目标声音。
多奖励 GDPO × 方向归一化变化量： 方向归一化变化量分工是把 Up 记为正向差、Down 取负后再翻转符号，使正值恒表示符合指令方向；多奖励 GDPO 分工是把控制、停顿、字错率和说话人相似度等奖励先在同输入的多个回答内标准化再加权求和；搭配原因是各奖励量纲不同，直接相加会被大尺度奖励主导，组合意义是在同一组采样内比较相对优劣，既奖励超过阈值的受控变化又用有界形状惩罚反向与过大响应，同时保住可懂度和音色。
第二段是多奖励 GDPO 后训练，在 SCIC 有监督版上继续优化。控制奖励对方向归一化变化量 m 设说话人相关阈值 T 与方向相关截断 P，T 取 1.8 倍标准差，P 取训练集 99% 分位，区间内给满分，反向给负分，过大线性衰减。停顿奖励在目标区间内给满分，区间外按距离与区间长度线性衰减下界截断。另有有界的字错率与说话人相似度奖励保可懂度与音色。每个目标先在同输入的 8 个采样回答内标准化再加权求和，避免量纲主导。
\[R_{\rm ctrl}(m)=\begin{cases}\max(-1,m/T),&m\leq 0,\\ m/T,&0上式是控制奖励的分段形状，m 为方向归一化变化量，T 为阈值，P 为截断。目标是奖励超过阈值的受控变化，惩罚反向与过大。
\[R_{\rm pau}(p)=\begin{cases}1,&p\in[l,h],\\ \max\!\left(-1,1-\dfrac{2\operatorname{dist}(p,[l,h])}{h-l}\right),&\text{otherwise}.\end{cases}\]上式是停顿奖励，p 为检测时长，方括号为目标区间，距离越远分越低。原文给出采样数与后训练学习率，未报告奖励权重的具体数值与 KL 约束，复现时需把权重当缺项记录，不从模型名推定。
数据工具与指标如何保证可比？
数据与划分按原文交代：监督数据约 1000 小时中文自然语音，30 个说话人，单条至多 90 秒，共 132018 个指令标签；评测用 1800 个音高能量语速样本看方向准确率与中值，1200 个每停顿等级样本看区间命中，1800 文本测字错率，1200 样本测相似度，200 长文本做主观层级评分且输出长于 60 秒、5 位听众。工具链固定：对齐用 Qwen3 强制对齐器，字错率用 Qwen3 语音识别，相似度用 WeSpeaker，路由器定位用对齐边界平均绝对误差毫秒数。长文本主观用 HMOS，分数越高表示段落表情层次越清晰。
比较公平条件是除控制路径外尽量一致：同一持续预训练起点、同一指令数据、同一低秩设置，基线与 SCIC 只差有无路由器与码本权重，后训练只在 SCIC 上加。指标方向要分清：方向准确率、区间命中、相似度、HMOS 越高越好，字错率与边界误差越低越好。百分点是准确率差值的单位，不等于相对百分比，叙述时用阿拉伯数字且数字与拉丁单位留空格。硬件预算为 8 张显存 72 GB 的卡，后训练每输入采样 8 个回答，这些决定复现成本。
控制提升了多少，质量保住了吗？
本节回答主结果：测什么、与谁比、条件是否一致、指标方向、关键数字与限制。比较问题是新增的范围与码本感知是否在同数据同起点下超过只用文本词元的指令微调，以及后训练能否在保质量下再提控制。公平条件如上一节，指标方向为准确率越高越好、字错率越低越好。
下表整理原文连续句中的相对提升，单位为百分点，不是相对百分比，数值保留原文精度。
| 系统对比 | Pitch 提升 | Energy 提升 | Speed 提升 | Pause 提升 |
|---|---|---|---|---|
| SCIC 有监督相对指令微调 | 7.31 百分点 | 10.53 百分点 | 0.51 百分点 | 0.67 百分点 |
| SCIC-GDPO 相对指令微调 | 9.65 百分点 | 11.30 百分点 | 2.97 百分点 | 3.87 百分点 |
表后解释主要收益与代价：最大增益落在显式走 SCIC 路径的音高能量，语速停顿因仍走 q0 路径提升较小，后训练把四项都再推高，其中停顿从不足 1 个百分点拉到约 3.9 个百分点。代价与限制是字错率在窄带内波动而相似度基本不变，说明控制未明显牺牲可懂度与音色，但这只是自动指标保住，不等于人工误判率或延迟得到改善。未胜出项是语速在有监督阶段仅微升，表明只靠文本标签与时长路径对语速的区分有限。
下图看控制幅度是否与准确率一致，导读后接解释。图前导读已说明 3 组与两方向的布局，重点是比较颜色递进与黑色参考线的位置关系。
看图路径： 1. 先确认横向三组为音高、能量、语速，每组内左右两簇分别为 Down 与 Up，注意 Down 已做符号翻转；2. 再比较每簇内深蓝、绿色、粉色三根柱子的高度递进关系，判断 SCIC 与 GDPO 的增量；3. 最后看每簇上方的黑色横线与菱形冻结训练参考，确认当前中值是否仍在其下方
论文图 2。原论文 Figure 2:：“Median speaker-relative change magnitudes after direction normalization.”。
从像素可见，3 组柱状图从左到右为音高单位半音、能量单位分贝、语速单位对数速率，每组内左簇为下降、右簇为上升，下降已翻转使向上恒表示做对方向。每簇三根柱子从左到右为指令微调深蓝、SCIC 有监督绿色、SCIC 后训练粉色，高度总体递增，粉色最高但仍低于上方的黑色横线与菱形冻结训练参考。能量上升簇的粉色接近参考但未超过，音高两簇的绝对高度低于能量，语速整体高度最低。
这支持论文的判断：准确率提升对应各属性原生域内中值的增大，且后训练相对有监督进一步增大双向中值但仍在冻结参考之下，避免了为刷准确率而过度夸张。像素不能精确读出每根柱子的数值，本文不硬写，只讲相对高低与是否超参考。
拿掉时间软加权或码本加权会发生什么？
本节按消融组织：测路由器的时间作用与码本权重的属性分配各自贡献。比较问题是软激活与按标签分码本是否必要，条件是同数据同评测，只替换或去掉一个部件。指标为音高能量方向准确率越高越好，边界平均绝对误差越低越好。原文报告把软路由器换成二值路由器会降音高准确率并增大边界误差，而去掉标签专属码本权重会降音高能量准确率但边界误差基本不变。这支持分工解释：路由器管范围，码本权重管跨残差分配。
下表用原文连续句整理可验证的定位、长文本与质量边界，5 列宽表便于 1 次核对条件与单位。
| 评价对象 | 指标与单位 | 对照值 | 本系统值 | 结论 |
|---|---|---|---|---|
| 停顿分级 | L1 区间 seconds | [0.50, 0.75] | L1 [0.50, 0.75] | 绝对时长任务 |
| 停顿分级 | L2 区间 seconds | [0.75, 1.00] | L2 [0.75, 1.00] | 绝对时长任务 |
| 停顿分级 | L3 区间 seconds | [1.00, 1.25] | L3 [1.00, 1.25] | 绝对时长任务 |
| 路由器边界 | MAE ms | 375 ms 二值 | 295 ms 软路由 | 分级激活更准 |
| 长文本层次 | HMOS | 3.244 Zero-Shot / 3.504 无指令 | 4.042 段落指令 | 层次更分明 |
表后解释需就近说明负结果与边界：软改硬的代价集中在边界误差从 295 增至 375 毫秒，说明硬切换在子句边界处定位更粗；去掉码本权重后边界误差仍在 292 毫秒附近，说明定位未坏、坏的是属性强度分配。未评测边界是路由器监督依赖对齐区间，若对齐本身在长直播噪声下漂移，误差会传导，但原文未量化该传导。长文本 HMOS 从 3.244 经 3.504 到 4.042，支持段落指令带来更分明的表情层次，但听众仅 5 人、文本 200 篇，推广到其他领域需更大主观样本。质量侧字错率始终在 1.63 到 1.68 百分比区间，相似度基本不变，反例是自动指标不能替代人对口音与自然度的判断。
哪些结论还不能下，缺了什么验证？
论文直接报告的是适配说话人内的相对控制提升、码本诊断的深浅差异、软路由与分码本的消融方向、后训练在保字错率与相似度下再提控制。这些用报告或显示表达。有限解释是能量浅音高深支持按标签分码本，这由前后向干预共同支持，但仍是相关性下的机制解释，不是因果证明。未验证推测要用可能或待验证表达：例如更深前缀对音高更好可能与韵律需要跨帧连续性有关，待在更多说话人与语种上验证。
缺失证据不是技术错误，但要明确：未测量推理延迟与实时率，训练资源只给卡数与批量，未给总时长与显存峰值，不能承诺延迟改善；未报告奖励权重、阈值外的超参数敏感性与失败样例分布，不能把总体趋势推广到每组每步；相似度用自动余弦，误判率与人工自然度未测，不能把自动保住等同于人评保住。原表头与算术若有冲突应标注，本文所用数字均来自连续原句，未做差值再计算与四舍五入，千分位与区间写法保留原样。
要复现应先准备什么，按什么顺序跑？
复现先做数据与工具对齐：准备 30 人约 1000 小时中文自然语音，按至多 90 秒切分，构造带子句前标签的 132018 个指令，划分保证 1800 控制样本、每档 1200 停顿样本、1800 字错率文本、1200 相似度样本与 200 长文本均不相交；安装 Qwen3 强制对齐、语音识别与 WeSpeaker，保证测量口径一致。从直播场景持续预训练检查点出发，先跑指令微调基线只用文本词元，再加路由器与码本权重跑 SCIC 有监督，低秩秩 32 作用于注意力与前馈，学习率按原文分开设置。
再跑诊断验证动机：构造时长匹配的变调与变能量对，交换投影贡献做前后向干预，画 q1 起前缀的累积迁移，确认能量早饱和、音高晚饱和后再定码本权重初始化为零。后训练每输入采样 8 个回答，用有界控制与停顿奖励加字错率相似度奖励，组内标准化后加权优化。先验证边界误差从 375 毫秒回到 295 毫秒附近，再看音高能量百分点提升是否复现，最后查字错率是否仍在窄带内。若对齐质量差，应先修对齐再调路由器，因为帧监督直接来自对齐区间。
何时值得尝试这种拆分，何时不必？
当任务是长段落内需要子句级递进、且基线已能用文本标签做整句控制时，值得尝试把时间与码本拆开：时间路由器解决标签作用到哪几帧，码本权重解决能量给浅层、音高给深层，语速停顿继续留在 q0 路径。这种拆分在能量与音高同时受控时收益最明显，后训练适合在控制已可用但幅度不足、且能承担每输入多采样的成本时再加。
当只有单句全局风格、或目标是全新说话人零样本泛化时，不必照搬本文数字，因为本文是说话人适配且停顿为绝对区间，换场景需重定阈值与截断。常见误解是把码本诊断的迁移比例当成信息占比，原文已说明只是干预下的相对迁移，过冲与负值都可能出现；另一个误解是把字错率窄带波动当成可懂度提升，实际只是保住。还需补的验证是更大规模主观评测、对齐噪声下的鲁棒性与推理开销测量，补完后才能判断段落层次的收益是否覆盖新增复杂度。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses