ReStyle-TTS: Relative and Continuous Style Control for Zero-Shot Speech Synthesis

英文题目：ReStyle-TTS: Relative and Continuous Style Control for Zero-Shot Speech Synthesis

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.451

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#LoRA #零样本 #语音 #文本到语音

评分：7.4/10 | 创新 1.6/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Haitao Li：机构信息未能从会议 PDF 纯文本可靠映射
Chunxiang Jin：机构信息未能从会议 PDF 纯文本可靠映射
Chenglin Li：机构信息未能从会议 PDF 纯文本可靠映射
Wenhao Guan：机构信息未能从会议 PDF 纯文本可靠映射
Zhengxing Huang：机构信息未能从会议 PDF 纯文本可靠映射
Xie Chen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

零样本语音合成以目标文本与短参考音频为输入，输出保留说话人音色的语音，难点是生成语音被参考韵律与情感强绑定，弱化参考又会损伤音色与可懂度。先通过解耦无分类器引导将文本引导与参考引导拆为独立系数，以文本与参考条件为输入分别计算引导项，固定文本跟随并将参考跟随压低，输出低参考依赖的生成轨迹为风格注入腾出空间。再由风格适配器承接该解耦表示，以其为输入在高低音高、高低能量及七种情感对应子集上训练低秩方向，推理时以标量强度连续缩放且负值可反向，输出定向风格偏移量叠加到生成过程。最后经正交低秩融合与音色一致性优化，以多属性低秩方向与生成样本相似度为输入，对方向做正交去干扰后加权融合，并以优势加权强化高相似度样本，输出音色与可懂度稳定的多属性合成语音。与绝对文本提示控制不同，该方法相对缩放参考固有属性而非推向固定目标，因而保留样本间排序并支持连续单调调节。在VccmDataset矛盾风格生成任务下，ReStyle-TTS的准确率为100.0%，高于CosyVoice的65.2%。其适用边界为每种新风格需收集数据并额外微调低秩适配器且尚未验证跨语言与强噪声参考，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

演示资源：https://cucl-2.github.io/Restyle-TTS → https://cucl-2.github.io/Restyle-TTS/ — 链接可访问（HTTP 200）可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么：为什么参考音频既有用又碍事？

本文的输入是两样东西：一小段参考音频加一句要合成的文本。目标是零样本语音合成：对训练没见过的新说话人，只听几秒参考音，就能用他的音色说出任意文本。音色可以理解为是谁在说话，风格可以理解为怎么说，包括音调高低、能量大小、情绪是开心还是生气。

初学者容易把参考音频只当成音色身份证。实际做法是模型在推理时以参考音频为条件去补全语音，因此它会同时学走两样东西：说话人的音色，以及参考那句话当时的语调和情绪。论文要解决的矛盾就在这里：如果参考是一段开心的语音，你想合成愤怒的语音，模型会被开心的风格拽住。过去的办法是精挑一段愤怒的参考音，但在只有错配参考时就行不通。

因此学习目标不是简单提高音质，而是实现相对的、连续的风格控制。相对是指以参考本身为起点做增量，例如再高一点、再生气一点，而不是直接跳到一个绝对目标。连续是指有一个像旋钮一样的强度值，转动时风格平滑变化。本文的输出就是一套在保持可懂度和音色前提下，能转旋钮的零样本可控合成框架，并配有演示页。当前可用信息按资源状态写：本次收到的官方演示链接状态为可用，地址为论文中给出的项目页，读者可自行访问试听。

同任务有哪些路线：直接克隆、加风格音频、加文字描述有何不同？

零样本合成按结构可分为非自回归、自回归和混合 3 类。论文提到非自回归的 Voicebox 把合成看成文本引导的语音填充，自回归的 VALL-E 等把离散语义和声学 token 当语言模型来生成，混合的 CosyVoice、Seed-TTS、IndexTTS2 先自回归产生语义 token 再用流匹配生成梅尔谱。它们共同点是都能克隆音色，但都容易连带继承参考的风格。

可控合成早期如 FastSpeech2 和 FastPitch 是显式预测音调、能量和时长，属于低层韵律控制。后来出现用离散标签和自然语言描述控制风格的 InstructTTS、PromptTTS 等，但多数假设说话人空间固定，不支持真正的短参考零样本克隆。更近的工作试图兼顾两者：IndexTTS2 和 Vevo 用一段风格音频做风格提示，ControlSpeech、EmoVoice、CosyVoice 用文字描述做风格提示，StyleFusion TTS 同时支持文字和音频。

论文用一张对比表把差异讲清：前两类要么需要额外风格音频且只能做绝对控制，要么用文字描述但文字到声音是多对多映射、不稳定且不支持连续相对调节。本文选择不走文字提示路线，而是先降低模型对参考风格的隐式依赖，再用显式、可连续调节的模块注入风格。这是从图像生成中用 LoRA 调风格得到启发，但在语音里不能照搬，因为语音的输出同时受文本和参考音频约束。

问题如何定义：什么是矛盾风格生成？

把任务形式化一下。设参考音频为 a，文本为 t，模型输出为合成语音。理想情况下输出的音色应接近 a 的说话人，内容应等于 t，风格应等于用户想要的目标风格。难点在于当 a 自带的风格与目标风格矛盾时，例如参考是开心、目标是愤怒，模型天然倾向于复刻开心的韵律。

论文把这种情形单独命名为矛盾风格生成，作为检验可控性的硬场景。举例说明：只有一段低沉缓慢的参考音，却要求合成高亢的疑问语气；或只有中性新闻腔，却要求合成惊讶的感叹。教学例子仅为帮助理解，不代表论文实测数值。

评价因此有 3 条线：内容是否说对，用词错误率衡量，越低越好；音色是否保持，用说话人相似度衡量，越高越好；风格是否到位，用属性变化量、情绪分类准确率和主观风格准确分衡量，越高越好。矛盾场景下，前两条不能崩，第 3 条要能逆着参考走，这就是后文实验组织的依据。

全景如何走通：一个样本经过哪三步？

先沿一个样本走完全程。输入是一句文本和一段参考音频。第一步，解耦无分类器引导在生成时把文本引导和参考引导分开加权，做法是把参考权重调小、文本权重保持不变，让输出不再被参考的语调绑死，但字不能读错。第二步，在已经松绑的基模型上，挂一个或多个风格适配器，每个适配器只管一个属性，转动它的强度就增强或减弱对应风格。第 3 步，因为松绑可能让音色漂移，训练时加一个音色一致性优化，用生成语音与参考语音的说话人相似度做奖励，把梯度多分给音色保持好的样本。

下图是论文给出的整体框架，包含 3 路预测汇合、多个适配器并联和顶部音色反馈回路，值得对照上面的 3 步来读。

看图路径： 1. 先从左侧参考音频和文本两条输入箭头看它们如何进入中间的零样本模型；2. 再看右侧无条件、仅文本、全条件三路如何汇入解耦引导得到生成音频；3. 观察下方音调、能量、愤怒三个适配器各自的强度旋钮；4. 查看右下正交融合示意中向量从聚集到分开的投影含义

论文图 1。原论文 Figure 1：“The overall framework of ReStyle-TTS.”。

图中左侧是参考频谱和文本，中部是零样本模型与 1 对低秩矩阵，下方是音调、能量、愤怒 3 个独立适配器及其强度表盘，右侧是 3 路条件汇入解耦引导后得到生成频谱，顶部虚线是生成语音与参考语音算相似度后回送的音色优化。右下小框用向量分开示意正交融合：先聚集的向量经投影后彼此张开，含义是消除不同风格方向之间的重叠。理解这张图后，再看各组件的计算细节就有了位置感。

第一步如何松绑：解耦引导算什么？

白话先行：无分类器引导是生成时把有条件预测和无条件预测做差并放大，起到加强条件的作用。常规做法只有一个总强度，同时放大文本和参考，分不清谁是谁。解耦引导是把文本强度和参考强度拆成两个独立旋钮。

解耦无分类器引导 × 文本保真： 解耦无分类器引导负责把文本跟随强度和参考音频依赖强度分开调节，文本保真负责保证合成内容不跑偏，二者搭配的原因是常规引导把两者缠在一起、减弱参考会连带损害文本，组合后可以在保持文本强度的同时只把参考风格依赖调弱，为后续风格旋钮腾出空间。

具体计算需要 3 个预测：无条件预测、仅文本条件预测、参考加文本全条件预测。最终输出等于仅文本预测为基底，加上文本方向的增量乘以文本强度，再加上全条件相对仅文本的增量乘以参考强度。当文本强度等于常规强度、参考强度等于常规强度加一时，公式退化为常规引导，论文在附录给出该等价关系的代数推导。实际使用时保持文本强度为 2，把参考强度从等价值 3 降到 0.5，含义是大幅削弱参考风格的拉力但不削弱文本。

训练时为了能算出这 3 路预测，需要按一定比例随机丢弃条件。论文报告先以 0.3 概率丢弃被遮蔽语音输入，再以 0.2 概率丢弃同时含遮蔽语音和文本的输入，这样模型见过缺参考、缺全部条件的情形，推理时才能做差分引导。该组件本身不引入新风格，只是为风格旋钮腾出可调空间。

第二步如何加风格：单个 LoRA 与正交融合如何分工？

白话先行：LoRA 是只训练小参数增量而不动基模型大参数的微调方法，可以理解为给每一层线性层外挂 1 对小矩阵。风格 LoRA 是只用某一属性子集数据训出的外挂，例如只用高音调数据训出音调方向。连续控制是推理时给该增量乘一个标量系数。

风格 LoRA × 连续控制： 风格 LoRA 负责在基模型参数空间里记住一个可解释的属性方向，例如高音调或愤怒，连续控制负责用缩放系数 α 调节该方向的注入量，二者搭配的原因是每个 LoRA 只学单一属性、缩放即强度，组合后转动 α 就能让属性平滑增强或减弱，负值还能产生反向效果。

论文为高低音调、高低能量以及愤怒、厌恶、恐惧、开心、悲伤、惊讶、中性等情绪分别训练独立 LoRA，厌恶之外的情绪因 contempt 数据不足被排除。每个 LoRA 捕捉参数空间中一个可解释方向。实验显示只训了高属性一侧时，把系数取负也能产生反向效果，相当于双向旋钮。

多个 LoRA 直接相加会互相干扰，导致调音调时能量也乱动。白话先行：正交融合是在融合前把每个增量投影到其余增量张成子空间的正交补上，相当于去掉重叠分量。

正交 LoRA 融合 × 多属性解耦： 正交 LoRA 融合负责把每个风格增量投影到其余增量张成子空间的正交补上以消除干扰，多属性解耦负责让调一个属性时另一个属性基本不动，二者搭配的原因是直接相加权重会互相串扰，组合后多个属性可以同时、独立地用各自 α 加权融合而无需重训。

做法是把每个增量展平为向量，对其余向量组求投影矩阵，再用单位阵减去该投影去乘当前向量，最后重塑回矩阵形状。与按顺序逐个投影不同，这里是对每个适配器联合地相对其余全部做投影，因此与融合顺序无关。论文指出适配器数量远小于参数维度，风格向量处于高维流形中的稀疏子空间，正交投影能有效消除干扰。融合后总增量是各正交化增量按各自强度加权求和，推理表达式即基参数加上该融合增量后再算全条件预测。

训练时谁更新、奖励如何回流：音色优化改了什么？

基模型不从零训练，而是微调已有的 F5-TTS。LoRA 适配器注入所有线性层，训练时只有适配器参数更新，基模型参数冻结。流匹配主损失是预测流与目标流的均方误差。音色一致性优化不改变主目标的形式，而是给每个样本的损失乘一个权重。

音色一致性优化 × 参考引导减弱： 参考引导减弱负责给风格控制让路但会带来音色漂移，音色一致性优化负责用说话人相似度奖励把梯度权重拉回到音色保持好的样本上，二者搭配的原因是前者牺牲了部分音色约束、后者专门补偿该损失，组合后可以在可控性和音色保持之间取得可用平衡。

权重来自奖励：用当前模型采样生成语音，算它与对应参考音频的说话人相似度作为奖励分。为降低方差，维护一个指数滑动平均基线，优势等于当前奖励减去基线。再用平滑有界函数把优势映射为权重，形式为一加系数乘以优势的双曲正切，系数控制奖励强度，另一系数控制对优势的敏感度。总损失等于该权重乘以流匹配损失。关键是生成和奖励计算都不反传梯度，只通过加权回归影响梯度大小，相似度高的样本获得更强梯度，低的被自然降权，因此保持了流匹配训练的稳定性。

论文未报告硬件型号与总步数等预算细节，这是复现时需要补记的缺项，不能从模型名称推定显存或耗时。下表整理论文明确给出的可复现训练配置，数值与单位保留原文写法。

配置项	低秩秩	缩放系数	学习率	批帧数	总时长
LoRA 与优化器设置	32	64	1 × 10−5	30,000 audio frames	250 hours

上表把分散在正文的秩、缩放、优化器、批量和时长放在一起，便于对照实现。表中秩与缩放决定适配器容量，学习率与批帧数决定更新节奏，总时长按音频时长而非轮数固定，是因为各属性子集数据量不等。缺失的权重衰减、预热步数等未在证据中出现，复现时应先按默认值记录再调。

实验条件是什么：在什么数据、什么指标下比较？

数据方面，风格 LoRA 在 VccmDataset 的不同子集上分别训练，该数据集由 LibriTTS 和若干情绪音频集组成，覆盖高低音调、高低能量和多种情绪。评测分两块：Seed-TTS 测试集用于常规可控零样本合成，VccmDataset 测试集用于矛盾风格场景，因为后者需要带情绪标签的音频来构造参考与目标错配。

指标方面，沿用 ControlSpeech 的做法：词错误率用 Whisper-large-v3 转写后计算，越低越好；音色相似度用 WavLM 的 base-plus-sv 版本提取说话人向量后算相似度，越高越好；音量用短时傅里叶每帧幅度二范数，音调用 Parselmouth 估计基频并在浊音区取几何平均，情绪用 Emotion2Vec 算 logits 与分类准确率；主观用众包的风格准确平均意见分，5 分制，每条音频至少 10 人打分，随机抽 30 条。

比较条件上，矛盾情绪生成时本方法直接启用目标情绪对应的风格 LoRA，对文字控制基线 CosyVoice 和 EmoVoice 统一给指令句式，含义为带着强烈情绪来说这句话。推理引导的取值是理解公平性的关键，下表把论文明确报告的引导与奖励超参集中呈现。

用途	常规引导强度	解耦文本强度	解耦参考强度	奖励强度	基线动量
推理与优化设置	λcfg = 2	λt = 2	λa = 0.5	λ = 0.2	µ = 0.9

上表显示常规值与解耦值的对应关系：文本强度 2 加参考强度 3 等价于常规强度 2，而实际使用把参考强度降到 0.5 以减弱参考依赖。奖励强度 0.2 与敏感度 5.0、动量 0.9 共同决定音色优化的保守程度。该表只呈现超参，不代替性能比较，性能比较见结果节的数字表。

单属性旋钮是否平滑：转强度时属性、字、音色各发生什么？

要回答单属性是否连续可调，需要看 3 个维度随强度变化的曲线：目标属性是否单调平滑，词错误率是否平稳，音色相似度是否平稳。论文 1 次激活一个风格 LoRA 并在一定范围内扫描强度，在 Seed-TTS 上取平均。

下图是 10 个子图的单属性扫描结果，是判断连续性的直接证据，建议按行来读。

看图路径： 1. 先对比第一行高属性与第二行低属性随强度变化的橙色属性曲线走向；2. 再看每子图中蓝色音色相似度和绿色词错误率是否保持平稳；3. 注意愤怒等情绪子图横轴范围与音调能量子图横轴范围不同

论文图 2。原论文 Figure 2：“Continuous single-attribute control with style-specific LoRAs.”。

图中第一行是高音调、高能量、愤怒、悲伤、恐惧，第二行是低音调、低能量、开心、厌恶、惊讶。每个子图横轴是 LoRA 强度，橙色是目标属性，蓝色是音色相似度，绿色是词错误率。可见橙色曲线随强度单调爬升或下降，而蓝绿两条线基本水平，说明属性动了但字和音色没崩。情绪子图横轴延伸到更大范围， prosody 子图包含负值区，负向缩放高属性 LoRA 自然产生反向效果，这是双向控制的来源。

相对性需要看个体而非平均。论文画出参考能量对生成能量的散点与回归线，斜率在 0.77 到 1.22 之间、截距接近零，含义是输出大致按比例缩放参考值并保留样本间的排序。若是绝对控制，所有点会被压向同一目标值、斜率趋近零，因此该形态支持相对控制的判断。

下图把能量相对控制的回归线按强度着色，是理解相对与绝对区别的关键。

看图路径： 1. 先确认横轴是无调节时的能量基线、纵轴是调节后的能量；2. 再看颜色条从蓝色负强度到红色正强度时拟合线斜率如何转动；3. 对照黑色虚线对角线判断这是相对缩放而非拉向固定值

论文图 7。原论文 Figure 7：“Linear regression analysis of energy control across different LoRA scales.”。

图中横轴是无调节时的能量基线，纵轴是调节后的能量，黑色虚线是对角线。蓝色负强度线压在对角线下方，红色正强度线抬到对角线上方，且斜率随强度单调变陡，说明调节是在参考固有值上做乘法式缩放而非覆盖。情绪的相对性形态类似但存在饱和，见下一图。

看图路径： 1. 先确认横轴是无调节时的愤怒得分、纵轴是调节后的愤怒得分；2. 再看低强度蓝色线贴近对角线、高强度红色线上抬截距的形态；3. 注意纵轴上限收敛现象说明情绪得分存在饱和边界

论文图 8。原论文 Figure 8：“Linear regression analysis of angry control across different LoRA scales.”。

图中横轴是无调节时的愤怒得分，纵轴是调节后的愤怒得分。低强度蓝色线贴着对角线，高强度红色线整体上抬但在纵轴顶部收敛到 1 附近，说明情绪得分有上界，强推会饱和。这提示复现时情绪强度不宜无限制加大，应在论文使用的情绪强度范围内验证单调性。

多属性与矛盾风格能否兼得：联合控制与逆参考生成表现如何？

多属性问题是同时打开两个 LoRA 并在 2 维网格上扫描强度，看调一个是否串扰另一个。论文报告音调能量、音调愤怒、能量愤怒 3 组联合控制，属性各自沿对应轴平滑单调变化，另一属性基本稳定，词错误率与音色相似度在整个 2 维面上保持稳定。三属性联合时音调、能量、愤怒曲面各自沿控制轴单调变化，支持同时调节的判断。但像素较粗的 3 维曲面只能定性读趋势，不能读出精确数值，数值结论应以单属性曲线和矛盾生成矩阵为准。

矛盾风格是更硬的考验：在 VccmDataset 上用带情绪的音频做参考，去合成与参考情绪不同的目标情绪。论文报告情绪转移矩阵显示本方法在各错配对上准确率高于文字基线，尤其在开心参考转愤怒等反差大的格子上优势明显。音调能量矛盾任务要求从低到高或从高到低反向移动，论文报告本方法成功率在 90% 以上，高于对比的文字控制方法。主观风格准确分矩阵趋势与客观准确率一致，本方法在各格子取得最高分。

这些结果支持的判断是：先削弱参考依赖再加显式 LoRA，确实能覆盖掉原有风格。限制是情绪准确率由 Emotion2Vec 模型判定，其本身误差未被量化；主观分只抽 30 条，每条 10 人以上，样本量有限。未胜出项方面，文字基线在部分接近中性的转移上并非完全失效，只是整体低于本方法，这说明矛盾越尖锐，本方法的相对优势越大。

拿掉哪一块会怎样：解耦与音色优化各自贡献什么？

消融要回答两个问题：不用解耦只用常规引导能否兼顾可懂与可控，去掉音色优化音色会掉多少。论文在 10 个属性上平均，以韵律强度 2.0、情绪强度 4.0 为条件，报告属性相对变化、词错误率和音色相似度。常规大引导保字保音色但几乎不可控，常规小引导仍偏向参考，可控性有限，极小甚至负引导会严重失真。去掉音色优化则可控性不变但音色相似度明显下滑。

下表是原文的消融数字表，保留了可运行的默认策略与两个关键对照，指标方向为属性变化越大越好、词错误率越低越好、音色相似度越高越好。

→Target	↑	↓ ↑
default (λt = 2, λa = 0.5) 51.2%	2.31	0.79
w/o DCFG (λcfg = 2) 2.1%	1.83	0.90
→High w/o DCFG 0.5) 7.6%	2.67	0.85
→Low w/o TCO 51.0%	2.32	0.71

表中默认行是文本强度 2 加参考强度 0.5 的解耦设置，属性相对变化最大且词错误率与音色相似度可用。去掉解耦用常规强度 2 时属性变化骤降，说明强参考依赖锁死了风格。去掉解耦用常规强度 0.5 时词错误率上升而可控性仍低，说明常规引导不存在同时兼顾的取值。去掉音色优化时属性变化不变但音色相似度从 0.79 降到 0.71，代价具体可算。论文还报告参考强度控制音色与可控的权衡，最终选 0.5 并用音色优化补偿损失。正交融合的消融显示不用正交时音调能量完全纠缠、无法独立调节，这从反面支持融合的必要性。

边界在哪里：什么没测、什么会失效？

论文明确承认的主要局限是新属性扩展性：增加一个风格维度需要收集对应数据集并额外微调 LoRA，不能零成本泛化到未见风格。这意味着复现新情绪或新说话方式时，数据构造是主要工作量。

未评测的边界包括：推理延迟与计算开销未报告，正交投影在层数很多时的耗时未量化；情绪之外的细粒度风格如口音、语速的连续性未系统验证；不同语言参考下的相对控制是否成立未在证据中展开。把总体趋势推广到每组每步都成立是不安全的，例如愤怒得分在高强度区饱和，继续加大会浪费算力而不提升感知。

伦理风险需要单独说明。高保真零样本克隆加情绪操控可能被用于未经授权的语音克隆、伪造和误导信息。论文主张部署时集成音频水印、持续发展合成语音检测、并要求事先获得声音提供者明确同意。初学者在复现时应只用公开授权数据集做参考，不发布可冒充真人的合成样本。

复现先做什么：按什么顺序搭出最小可用链路？

第一步准备基座与数据。下载 F5-TTS 基模型权重并冻结，准备 VccmDataset 按属性划分的子集，低高音调、低高能量和各情绪分开存放， contempt 因数据不足跳过。评测准备 Seed-TTS 测试集文本与参考，VccmDataset 测试集用于矛盾场景。转写用 Whisper-large-v3，音色用 WavLM 的 base-plus-sv 版本，情绪用 Emotion2Vec，指标逻辑与论文保持一致。

第二步实现解耦引导。推理时同时算无条件、仅文本、全条件 3 路预测，按文本强度 2、参考强度 0.5 组合。训练时按 0.3 丢弃遮蔽语音、0.2 丢弃遮蔽语音加文本，以学会缺条件预测。先验证把参考强度从 3 降到 0.5 时，内容词错误率不明显上升而风格可调空间变大。

第 3 步训风格 LoRA 并融合。所有线性层注入秩 32、缩放 64 的适配器，用 AdamW、学习率 1 乘 10 的负 5 次方、批 3 万音频帧，按总音频时长 250 小时而非固定轮数训练。每个属性独立训一个，需要多属性时做正交化加权融合，强度按韵律 2.0、情绪 4.0 起步扫描。最后打开音色一致性优化，奖励强度 0.2、敏感度 5.0、基线动量 0.9，检查音色相似度是否回升。代码与权重可运行性按证据写：论文给出的是演示页可用，训练代码与权重下载未在本次证据中声明，不能写成已开源。