英文题目：Controlling Speaking Rate in Autoregressive TTS via Activation Steering
标签：#韵律与风格控制 | #测试时自适应 | #语音 | #自回归模型 | #主观评测
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Francesco Verdini：AGIGO ETH Zurich Sapienza University of Rome University of Zurich
- Antonis Asonitis：AGIGO ETH Zurich Sapienza University of Rome University of Zurich
- Aref Farhadipour：AGIGO ETH Zurich Sapienza University of Rome University of Zurich
- Marzieh Razavi：AGIGO ETH Zurich Sapienza University of Rome University of Zurich
- Pierre-Edouard Honnet：AGIGO ETH Zurich Sapienza University of Rome University of Zurich
- Vijeta Avijeet：AGIGO ETH Zurich Sapienza University of Rome University of Zurich
- Juan Pablo Zuluaga Gomez：AGIGO ETH Zurich Sapienza University of Rome University of Zurich
📌 核心摘要
自回归文本到语音（Autoregressive Text-to-Speech，AR-TTS）以文本与参考音色为输入生成波形，训练后缺乏细粒度语速旋钮，文本提示与参考音频只能粗略牵引语速。方法链分三步衔接：先用同文本慢速、中性、快速三元组经冻结解码器前向得到语速对比激活，拟合出语速轴、中性中心与强度单位；再经因果层扫描选定可写的中部解码器块；最后在推理每步将残差流（Residual Stream）在该轴上的投影钳制到目标值。与加性转向（Activation Addition）的开环固定偏移不同，钳制（Clamping）构成闭环反馈，误差大时修正大，到达目标自动归零并可反向纠正过冲。在Seed-TTS-Eval英文测试集的1088条样本上，校准强度将语速推至基线0.68倍至1.33倍区间且说话人相似度仍高于随机异说话人对99.9百分位。该结论限于整句级英文语速、单线性方向与离线评估，未验证句内时变控制、流式部署及其他韵律属性。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要解决的语速控制难在哪里？
输入是给定的文本句子加上一段参考语音，自回归语音合成系统要模仿参考音色把文本读出来。目标是在不重新训练模型的前提下，让同一句话可以说得更快或更慢，同时不改变说了什么话、不改变是谁的声音、听感依然自然。必须保留的信息是这种控制发生在推理时，只动解码器内部某一步的隐藏状态，不改权重、不改提示词、不改采样参数。输出是一段语速可调的语音。
难点在于自回归生成是逐个语音单元往前滚的，每一步的输出都会成为下一步的历史条件。如果干预方式是每步都推一把，推力会在滚雪球中累积，状态可能离开模型训练时见过的区域。论文报告的现象是不同系统坏法不同，有的停不下来，有的音色跑偏，有的含糊不清，但共同原因是应用规则没有随状态收敛的停止条件。另一个难点是语速容易和音高、音色、情感纠缠，如果对比语料在文本或情感上不对齐，找出的方向可能同时搬动了别的属性。
同任务同阶段的已有路线有何不同？
第一条路线是靠文本提示或参考语音粗调语速。论文指出这类接口只能粗略设定，无法给出连续可刻度的语速旋钮。第二条路线是显式时长控制，但它属于非自回归模型的机制，不能直接搬到自回归解码器上。第 3 条路线是为更细控制做有监督微调，代价高，且当接口本来就没有暴露该属性时往往不可用。第四条路线来自文本语言模型的表示工程与激活转向，即从正反例子激活差中估计方向，推理时加回去。
论文把这条路线搬到语音合成的生成侧，而不是语音理解侧。需要区分的是已有语音转向工作控制的是情感、口音等属性，也有工作用稀疏自编码器做语速控制。原文明确说明本方法不需要训练字典，而是钳制一个探针找出的方向到标定目标。还有一类相关操作是方向擦除、仿射概念编辑和特征钳制，论文把钳制看作这类设定状态操作的标定版本，给出分级可调的目标。
比较条件并不相同：文本提示和后处理拉伸不在解码器内部起作用，微调改变权重，而本方法只改单步隐藏状态，因此不能把类别差异直接当成同条件胜负。
为什么用合成拉伸语料来定义语速？
论文要找的方向必须按构造只反映语速。做法是从自然语音出发，用经典的波形相似叠加算法做变速不变调的时间拉伸。同一段录音做出慢、中、快 3 个版本，中性就是原录音，快速是加速到 1.4 到 2 倍，慢速是减速到 0.55 到 0.8 倍。工具链用保持音高的重叠相加实现。因为 3 类是同一句话、同一音色、同一词内容，只是时长不同，类均值之差主要就是语速差异。
论文还对比了两种自然替代方案。第一种是按实测音节速率把自然语料按人分档，文本不对齐导致对比被稀释，方向变弱很多。第二种是用指令让模型说快说慢，常常把音高和情感也带进来，事后正交化又会损伤音质。因此合成拉伸不是为了造数据好看，而是为了让方向估计这一步不需要单独解耦。
需要说明的边界是该轴理论上可能编码拉伸算法的痕迹，论文用自然分档轴同样能推动语速只是更弱，以及钳制语音在自然度上打败真实拉伸的证据来支持它不是单纯复刻痕迹。
方法全景：一个样本如何走完拟合到可调旋钮？
先沿一个样本走完全程。取一句训练用语音，把它拉伸成慢、中、快 3 个版本，逐个送入冻结的解码器做强制跟随，只在所选块的语音单元位置收集隐藏状态。按类别求均值得到慢均值、中性均值和快均值，由此定出方向、原点和强度单位。然后进入推理，模型正常根据文本和参考音色逐个生成语音单元，每生成一个新位置，就把该块该位置的激活沿已学方向的投影设定到请求强度对应的目标值，其余分量不动。请求强度为零就是中性，负值变慢，正值变快。整个过程不更新任何参数。
下面这张总览图把左右两半对应到上述两段，先看导读再看图本身。左侧是拟合阶段三速同一句话的波形示意，右侧是推理时 3 路输入进入解码器堆叠并在某一块做钳制的挂钩位置，输出直接就是目标语速的音频，无需 2 次处理。
看图路径： 1. 先看左侧三条波形从慢到快的长度变化，确认同一句话只在时长上被拉伸压缩；2. 再看右侧说话人嵌入、期望速度和文本提示三路输入在解码器块前的汇入位置；3. 最后盯住中间红色块标注的钳制改写位置和输出处标注的强度示例
论文图 1。原论文 Fig. 1:：“Overview. Left: fitting. The rate axis is learned from WSOLA time-stretched speech, the same utterance at slow (k=-2), neutral (k=0), and fast (k=+2) tempo, teacher-forced…”。
这张图的关键是左右分工。左侧 3 条波形长度明显不同，慢速最长、快速最短，直观表达同一内容只在时长上变化。右侧把说话人嵌入、期望速度和文本提示画成 3 个入口，解码器从上到下经过多个块，中间红色块标出钳制公式，虚线表示自回归历史回路，底部输出标出一个示例强度。教学上可以这样复述：拟合只解决方向、原点和单位三件事，推理只解决每步把投影拨到刻度上一件事，两段共用同一坐标系，因此刻度可以直接跨阶段使用。
方向、原点和单位是如何算出来的？
白话先行。语速轴就是慢快类均值连线方向上的单位向量，中性工作点就是中性类均值，强度单位就是快慢两类在轴上投影均值之差的一半。记隐藏状态为该块当前生成位置的残差流输出，方向、原点和坐标的定义如下，符号含义是慢均值、快均值和中性均值分别定方向两端和原点，尖括号表示与方向的内积。
\[\hat{v}=\frac{\mu_{+}-\mu_{-}}{\lVert\mu_{+}-\mu_{-}\rVert},\qquad c=\mu_{0},\qquad s(h)=\langle h-c,\,\hat{v}\rangle,\]上式算完后每个激活都有一个标量坐标，表示它相对中性点偏快还是偏慢。强度单位的定义是对快慢两类各自的坐标求平均再取半差，使目标值可以用类别间隔为单位表达。
\[\Delta=\tfrac{1}{2}\bigl(\mathbb{E}_{+}[s(h)]-\mathbb{E}_{-}[s(h)]\bigr),\]有了方向和单位，两种应用规则的差别只在如何使用目标值。相加规则是每步加上固定偏移，钳制规则是把投影设定到目标值。
\[h\;\leftarrow\;h+k\Delta\,\hat{v}\qquad\text{(additive)},\]\[h\;\leftarrow\;h+\bigl(k\Delta-s(h)\bigr)\,\hat{v}\qquad\text{(clamp)}.\]钳制项会随状态自适应：离目标远则修正大，已在目标处则修正为零，过冲则反向。连续施加 2 次等同于施加 1 次，修正量被限制在到目标的距离内。论文还提到两种规则都有可选用范数重缩放的变体，即把改写后状态拉回改写前的范数，以去掉编辑注入的能量，但报告说该变体不改变慢速极端下谁坏谁稳的结论。
激活转向 × 残差流： 激活转向负责在推理时改写某一解码器块的隐藏状态，残差流负责承载该状态并向后传递历史；两者搭配的理由是自回归语音合成每一步都以自己已生成的过去作为必须延续的音色，转向若只管加偏置就会被残差流逐字放大，组合意义是把干预写在残差流的最后位置上，使语速目标能随生成持续生效。
语速轴 × 中性工作点： 语速轴负责指明慢到快的变化方向，中性工作点负责固定指令零点即正常语速的位置；两者搭配的原因是只有方向没有原点就无法定义强度，组合意义是把投影坐标写成相对中性点的有符号距离，使请求强度可以直接换算成目标投影值。
相加式转向 × 钳制式转向： 相加式转向负责每步施加固定偏移，钳制式转向负责把当前投影设定到目标值；搭配比较的理由是两者共用同一方向和强度单位，只差应用规则，组合意义在于揭示开环与闭环之别，即钳制量随偏离自动缩小、到达目标归零、过冲反向，从而避免长序列上的累积漂移。
线性探针 × 因果扫描： 线性探针负责回答语速能否从某层读出，因果扫描负责回答改写该层能否真正改变生成语速；搭配的理由是可读不等于可写，组合意义是用逐层实际转向的语速跨度定位中间可写窗口，而不是用探针准确率猜测干预层。
需要补一句实现细节：每次干预只改写序列最后一个位置的隐藏状态，也就是正在生成的那个单元，权重、提示和采样参数都不变。
本研究有没有训练，真实计算过程是什么？
本研究没有训练或微调任何语音合成模型，3 个系统的权重全程冻结。真实计算分为拟合计算和推理计算两类，外加选层用的小规模因果扫描。拟合计算是把 500 条开发集干净语音各自扩成三元组，逐条强制跟随通过系统，在选定层收集每类约 20000 到 32000 个语音单元激活，然后求类均值、方向、原点和单位。
选层计算是先用每类 200 条的子集为每个候选层临时建方向，在小规模保留集上以正负 2 倍强度试加相加和钳制，记录语速跨度，选出跨度最大的中间层后再用全量激活库重算最终方向。推理计算是每生成一步执行 1 次投影钳制，属于前向挂钩改写，不产生梯度，不更新参数。
波形相似叠加 × 同文本三元组： 波形相似叠加负责在不改变音高和音色的前提下改变时长，同文本三元组负责让慢、中、快三类录音在文本内容上完全对齐；搭配理由是只有内容相同，类均值之差才主要反映语速，组合意义是构造出按设计隔离语速的对比，无需额外解耦步骤。
缺项必须点明：原文没有报告拟合与扫描的硬件耗时，也没有给出优化器、学习率之类训练超参数，因为不存在反向训练。不能把冻结参数理解为输出确定，采样、参考语音和文本仍会带来随机性和差异。
在哪些模型、数据和指标下比较才算公平？
模型覆盖两种架构和 2 个模型家族。第一套是 12 赫兹 0.6 B 基础版的自回归说话人语言模型，有 28 个解码器块，转向第十四块。第二套是有三十六块解码器的另一自回归系统，转向第十八块。第 3 套是二十四块语言模型加流匹配声学模型的混合系统，只转向语言模型残差流的第十四块，不动流匹配阶段。每套的深度都落在因果扫描峰值附近，相对深度接近一半。
方向学习用开发集干净语音中时长 2 到 12 秒的 500 条、39 位说话人，评估用测试集干净语音中未见过的说话人做参考音色克隆。固定强度扫描用同一句 17 词句子，每个条件五十或 20 个声音。目标制协议固定期望效果为加速 1.25 倍或减速 0.75 倍，先扫描找到达到目标的强度再在二十句乘 5 个声音共 100 条上评估。
指标方向要记牢：每秒词数表示语速控制轴，失控率是触顶未终止的比例越低越好，词错率越低越好，自然度评分为一到五越高越好，说话人相似度是与参考音色的余弦越高越好。公共基准用英语千余条、六百多位提示音色，每条克隆自己的提示并合成自己的目标文本，词错率和相似度改用该基准自己的评估器，以遵循公开协议。
慢速极端下谁先坏，钳制保住了什么？
比较问题是方向和强度都固定为负二时，只换应用规则，慢速极端是否稳定。公平条件是同一模型、同一块、同一方向、同一强度，只差相加还是钳制。指标方向是语速确实变慢的同时，词错率、自然度、相似度不塌，失控率保持为零。表后解释要同时说收益与代价：钳制在 3 套系统上都把失控率压住且错误远低于相加，但慢速本身仍会带来自然度和相似度的下降，不是零代价。未胜出项是相加式在该强度下 3 套全坏，只是坏法不同。
下图先看长句上随时间展开的漂移，这是理解累积效应的直接证据。横轴是词序号，纵轴是 trailing 四词窗口内的局部每秒词数，同一长句在 10 个声音上平均，色带为正负 1 倍标准差。基线居中，钳制快线早期抬升后平稳，钳制慢线低位延续，相加快线持续爬升，相加慢线开头不久即中断。
看图路径： 1. 沿横轴词序号观察红色虚线随 utterance 变长持续上爬的趋势；2. 对比深蓝色钳制快线早期抬升后保持平稳的走向；3. 注意浅色慢速相加线在前几个词后中断而钳制慢线延续到底
论文图 3。原论文 Fig. 3:：“Additive drift unfolding in time on Qwen3-TTS: local speaking rate (words per second in a trailing 4-word window, word timestamps from faster-whisper-small [51]) versus word…”。
这张图说明开环与闭环的差别。相加正二没有收敛，不断加速是因为固定偏移每步叠加且历史本身已被推偏。钳制正二几步内到达更快语速并保持，是因为到达目标后修正归零。慢侧对比更尖锐：相加负二在前几个词就失败，后面根本没有说完句子，而钳制负二把真正的减速维持到文本结尾。不能把末端数值推广为全程，也不要从像素估读精确到小数，趋势才是证据。
中等实用目标的结论更温和。固定期望为减速 0.75 倍和加速 1.25 倍时，所需强度很小，在前两套系统上两条规则都接近基线且无失控，说明慢速极端的停不下来是过强转向的产物。第 3 套在中等强度下出现不同行为，快速钳制反而让词错率升高，相加更干净。论文的判断是钳制在极端和长句上是安全默认，但在中等目标下够用且在容限内最简单的规则即可，快速方向上第 3 套选相加。与后处理拉伸相比，钳制在六格中五格自然度更高或持平，相似度相近，但在第 3 套上词错率高于拉伸，这是具体代价。
公共基准上校准强度还能直接用吗？
比较问题是只在干净句子上校准 1 次的强度，换到上千未见声音和文本时语速是否还动、副作用是否可控。公平条件是不为新声音重调强度，直接套用达到 1.25 倍和 0.75 倍的每模型强度。指标方向与前文一致，词错率用大模型转写，相似度用基准自带的验证 checkpoint。表后解释要给收益与反例：3 套系统都动到目标附近，前两套代价接近基线，第 3 套快速钳制再次出现含糊，快速选相加。说话人保持的锚定方法是把所有不同说话人两两相似度算出来，转向后仍高于绝大多数冒充对，这是支持音色保留的证据而非绝对保证。
| 方向 | 请求目标 | 达成区间 | 语音规模 | 是否重调 |
|---|---|---|---|---|
| 减速 | 0.75 倍 | 0.68 至 0.77 倍 | 上千未见声音文本 | 否 |
| 加速 | 1.25 倍 | 1.21 至 1.33 倍 | 上千未见声音文本 | 否 |
上表把跨库迁移压缩成两行，收益是同一强度跨库仍命中目标区间，代价是区间本身有宽度，不能承诺每条都精确命中。相加与钳制的分工在该基准上与受控研究一致。
| 对象 | 基线相似度 | 转向后变化 | 冒充者中位 | 99.9 分位 |
|---|---|---|---|---|
| 3 套系统实用目标 | 各自基线 | 距基线 0.11 以内 | 0.087 | 0.466 |
| 最差格 | 0.581 | 降至 0.471 | 0.087 | 0.466 |
| 最难冒充对 | 不适用 | 达 0.677 | 0.087 | 0.466 |
上表说明相似度代价的量级。最差的一格仍高于该基准下千分之九百九十九的随机不同说话人对，支持转向后仍更接近真实说话人，但总体趋势不等于每条都成立。原文还报告转向后相似度距基线在 0.1 以内，最难的 1 对冒充相似度可达 0.6 多，因此不能把该锚定读成误判率为零。
| 评估 | 钳制 | 持平 | 拉伸 | 显著性 |
|---|---|---|---|---|
| 慢速 | 48.2% | 10.5% | 41.2% | 0.153 |
| 快速 | 48.2% | 11.5% | 40.2% | 0.099 |
| 合并 | 48.2% | 11.0% | 40.8% | 0.027 |
上表是强制选择听感对照的完整数字，比较对象是同文本同语速的后处理拉伸，隔离的是感知质量。合并后钳制占优且显著，单方向各自方向一致但不显著。听感样本只在第一套系统上完成，共 800 次比较、36 位听众、每方向 20 人每人 20 对，另有 1 人只完成 18 对被排除，稳健性用听众级自助法检验。不能把自动自然度分数直接当成人评，此处人评只支持至少不输于拉伸、总体略偏好钳制。
| Condition | Clamp | Tie | Time-stretch | pp |
|---|---|---|---|---|
| Slow | 48.2% | 10.5% | 41.2% | 0.153 |
| Fast | 48.2% | 11.5% | 40.2% | 0.099 |
| Combined | 48.2% | 11.0% | 40.8% | 0.027 |
表后需要再点 1 次反例与边界：该人评只覆盖第一套系统和英语，钳制在第 3 套快速上的含糊问题不在此表内，合并显著不代表每个方向单独显著。
方向来源与干预位置换掉后会怎样？
第一个对照换方向来源。比较问题是同样在第十四块做钳制，用自然按语速分档学出的方向与合成拉伸学出的方向有何差别。公平条件是同一模型同层同规则，只换方向估计用的语料。指标方向是类间隔越大、达到目标所需系数越小越好，自然度和相似度越高越好。结果支持合成方向：自然分档轴的每层间隔小 6 倍，需要 3 到 6 倍系数才够到目标，自然度和相似度也更低。
教学含义是文本不对齐会稀释类均值对比。第二个对照是干预位置。比较问题是每层能否读出语速与能否写入语速是否一致。方法是逐块测两件事：保留集上慢快分类的探针曲线下面积，以及单块做正负二钳制时生成语速的跨度。
下面这张分层图需要先读图例再下判断，三行分别对应 3 套系统，实线是语速跨度用左轴，虚线是探针准确率用右轴，阴影是可写窗口，三角形是所选块。导读强调不要把同色直接当同对象，要按图例区分系统曲线与探针曲线。
看图路径： 1. 对比每套系统实线语速跨度随块序号先升后降的包络；2. 核对虚线探针准确率在全深度接近顶部平坦的走向；3. 找到阴影窗口与三角形所选块的相对位置
论文图 2。原论文 Fig. 2:：“Reading vs. writing speaking rate across depth.”。
解释段要写出相反答案：探针准确率在全深度接近顶部，说明处处可读，而语速跨度在浅层接近零、中段最大、近输出又衰减，说明只在中间窗口可写。因为准确率平坦而因果效应差一个量级，探针准确率不携带选层信息，必须做因果扫描。第 3 套底部有省略标注，表示部分浅层因含糊被省略，这恰好说明只看可读性会误判。未评测边界是时变控制和流式部署，原文只做整句粒度的转向。
哪些结论不能推广，缺了哪些验证？
第一，干净单属性轴之所以免费，是因为语速有保音高保音色的合成变换。音高、音色、情感没有这类按构造隔离属性的变换，只能回到指令或自然数据，纠缠问题会回来，因此配方能走多远仍是开放问题。第二，范围限定在整句粒度的单属性转向，没有展示句内时变控制，也没有做流式部署验证，推理开销、输出帧率与实际延迟是分开的量，原文未测量就不能承诺改善。
第三，只评估英语和 2 个数据集，客观代理指标只能近似刻画可懂度、质量和身份，不能替代更广的人评。第四，轴是来自单一拉伸算法的一条线性方向，没有检验非线性几何、数据量与说话人构成的稳定性，也没有报告每条达成语速的分布，强度是按模型和规则分别校准而不是预测得到。缺失证据不是技术错误，但复述时要用报告显示表达已验证部分，用可能或待验证表达外推部分。
要复现这只语速旋钮，先做什么？
先准备三件事。第一是选定冻结的自回归语音合成系统并确定只动语言模型解码器残差流，不动声学后端。第二是造同文本三元组，把数百条自然语音各自拉伸成慢中快，快速与慢速落在原文给出的倍速区间内，用保持音高的重叠相加实现。第三是写好只改写最后位置的前向挂钩和强制跟随收集流程。接着按依赖顺序执行：先小规模因果扫描定层，对每个候选层用子集临时建方向并在保留集上测正负 2 倍的语速跨度，选峰值附近的中间层。
再在该层用全量激活库重算方向、原点和单位；然后做强度校准，先固定强度看容限与破坏行为，再固定期望效果找达到 1.25 倍和 0.75 倍的强度，慢速用负强度。评估要效应与副作用同报，包括每秒词数、失控率、词错率、自然度和相似度，并保留未转向基线和后处理拉伸基线。关键超参数是层号、方向、原点和单位，以及每模型每规则的校准强度，不能跨模型照抄。
资源状态方面，未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开，复现应按原文文字和公开数据集名自行实现。
何时值得尝试这种钳制，记住哪条分界？
当自回归语音合成已经能高保真克隆音色，但缺一个连续语速旋钮，且不允许重训时，值得尝试该配方。记住两条分界。第一条是可读与可写的分界：探针处处接近顶部不代表处处可改，要做逐层因果扫描并落在中间窗口。第二条是相加与钳制的分界：中等目标下两者都可能够用，最简单的容限内规则即可；强度增大或句子变长时，钳制的闭环修正才是安全默认，但在个别模型快速方向上相加反而更干净，因此规则要按模型和方向在容限内选择。
合成拉伸语料的价值在于按构造隔离语速，使方向估计不需要额外解耦，但它不解决其他属性的纠缠，也不保证每条精确命中目标。最终判断是语速可以在推理时被拨动且代价可控，但旋钮刻度是按模型标定的，换模型必须重标。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses