合成语音多了反而更不像本人：用域条件把真假语音分开训练

英文题目：ZeSTA: Zero-Shot TTS Augmentation with Domain-Conditioned Training for Data-Efficient Personalized Speech Synthesis

会议身份：conference:interspeech:2026:conference-paper-id:choi26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #领域适应 #低资源 #语音克隆

评分：6.7/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Youngwon Choi：机构信息未能从会议 PDF 纯文本可靠映射
• Jinwoo Oh：机构信息未能从会议 PDF 纯文本可靠映射
• Hwayeon Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Hyeonyu Kim：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

低资源个性化语音合成的输入是极少量目标说话人录音与任意待合成文本，输出是保持目标音色且可懂的语音，难点是直接混入大量零样本语音合成数据虽提升可懂度却漂移说话人相似度。为此ZeSTA先用公开零样本模型为目标说话人批量合成同文本语音以扩充语言覆盖，合成语音随真实录音进入多说话人VITS适配阶段。适配阶段引入真实与合成二值域嵌入以条件化声学生成，并对稀缺真实样本做3倍过采样以稳定微调偏置，推理时固定以真实域条件合成。该机制与朴素混合的关键差异是语言信息经文本编码器共享而声学域偏置被显式标记，从而在不改主干结构下保留增强收益。在LibriTTS评测设置下，Fish-Speech源ZeSTA的SECS指标为0.815，高于朴素混合的SECS指标为0.765。结论仅在VITS加英语有声书与助理录音的14个说话人上验证，对其他架构与跨语言泛化尚未证明。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://zeroone-universe.github.io/zesta/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要保留什么？

这篇解读的输入是会议论文的正文证据和两张官方原图像素，目标是让刚进入语音合成领域的研究生能够核对关键做法并复述实验。必须保留的信息包括任务定义、低资源划分方式、两种零样本来源、目标模型与训练超参数、评价指标方向和关键数字对比，输出则按学习依赖从任务到复现逐步展开。个性化语音合成在这里指先在大规模多说话人数据上预训练一个轻量模型，再用目标说话人的极少量录音做微调，使其能用目标音色读出任意新文本。

白话说，零样本语音合成就是只给一小段参考音色，不经训练直接模仿该音色说话的大模型；数据增强就是用它批量生成带目标音色的新语句，补足微调时缺的文本多样性。论文报告的现象是直接把大量合成语音与少量真实录音混在一起微调，可懂度变好了，但说话人相似度下降了，这就是全文要解决的中心矛盾。

零样本语音合成 × 数据增强： 零样本语音合成负责在只给少量参考录音时生成目标音色的新语句，解决无新录音可用的问题；数据增强负责把这些合成句连同转写文本一起送回目标模型的微调集，扩大语言和音素覆盖。两者搭配的原因是轻量个性化模型本身泛化弱，需要外部大模型提供多样文本，而组合意义是把大模型的生成能力转化为小模型可用的训练样本，但前提是要处理合成音色不准带来的域偏差。

轻量模型之所以重要，是因为大生成式零样本模型虽然模仿能力强，但计算量大不便部署，而基于常规声学建模的轻量零样本模型又被报告相似度偏低。于是作者选择保留轻量可部署的目标模型，用外部公开零样本模型只做数据生产者，不改变目标结构。学习时要注意区分两种相似度，一种是合成增强数据本身与目标的相似度，另一种是微调后目标模型新合成语音与目标的相似度，前者是输入质量，后者是最终效果。

已有路线在相同输入和目标下分别做了什么？

按同输入、同目标、同监督来对照，已有路线可分为 3 类。第一类用语音转换做增强，输入同样是有限目标录音加非平行语料，目标是造出更多目标音色语句，但通常需要用目标数据训练或适配转换模型本身，在极少录音时实用性受限。第二类用语音合成训练语音合成，例如用自回归教师模型生成数据去训练非自回归或轻量学生模型，输入是充足数据训练出的教师，目标是蒸馏速度或质量，没有显式处理只有 10% 真实数据的极端低资源适配。

第 3 类把零样本合成用于下游任务，如为语音识别、语音增强或分类任务生成个性化数据，输入是可控文本加参考音色，目标是提升下游判别性能，而不是让合成模型本身更像目标人。ZeSTA 与前两类的区别在于不训练新的转换模型，也不依赖充足数据训练教师，而是直接调用公开零样本模型做生成，并把重点放在如何控制合成域偏差。

与第 3 类的区别在于运行阶段不同，这里合成数据是回到合成模型的微调训练中，形成闭环，评价也是合成语音的相似度、可懂度和自然度，而不是识别准确率。

低资源个性化到底难在哪里？

困难来自数据量和数据质的双重约束。量上每个目标说话人只保留训练集的 10% 作为真实录音，其余 90% 的文本用零样本模型重新合成，真实语音只有十几到二十多句的量级，模型很容易记住这几句的措辞而学不好新文本的发音。质上零样本合成虽然稳定清晰，但说话人嵌入余弦相似度被报告只有 0.76 到 0.79 左右，明显低于真实录音之间的相似水平，大量使用会把微调目标拉向合成域的平均音色。

举个教学例子，假设目标人只有二十句真实录音，剩下二百句文本都由外部大模型模仿，这二百句读得很清楚但口音细节不完全是本人，若不加区分地同等对待，模型会学到清楚但不像的发音方式。这就是为什么直接混合能在字符错率和词错率上下降，却在相似度上从 0.818 左右掉到 0.765 左右。问题形式化为在文本和域标签共同条件下的生成，推理时必须固定为真实域，这为后文的域嵌入提供了依据。

ZeSTA 让一个样本走完怎样的全流程？

先沿一个样本走完全程。训练阶段取一句真实文本及其转写，真实录音一方面作为参考音色送入零样本模型，零样本模型结合该转写生成同文本的合成语音，另一方面真实录音本身也作为训练样本。于是目标模型会看到两种配对，一种是真实文本加真实语音标注为真实域，另一种是同批转写加合成语音标注为合成域，每条样本都附带一个域标签。

文本编码器把输入文本映射为说话人无关的语言表示，声学生成模块再结合语言表示和域标签生成波形，语言增益经文本通路保留，域差异由域标签调节。推理阶段只给新文本，不再需要参考音频和合成数据，目标模型固定以真实域的嵌入去生成，从而偏向真实音色。 以下导读帮助建立训练与推理两条通路的对应关系，左侧是数据生产与混合训练，右侧是固定真实域的独立合成，请先看箭头主路径再看域嵌入的注入位置。

看图路径： 1. 先沿左侧真实语音经参考箭头进入零样本模型的路径，确认合成语音的来源；2. 再看转写文本同时送入零样本模型和目标模型的两条分支；3. 对比训练时域嵌入标注为真实或合成，推理时固定为真实的差异；4. 确认目标模型在训练和推理阶段输入输出箭头的变化

论文图 1。原论文 Figure 1：“ZeSTA framework: training pipeline (a) and inference pipeline (b).”。

从像素可见，左图训练管线中有真实语音经参考箭头进入零样本模型的模块，合成语音箭头与转写文本箭头共同汇入目标模型，目标模型右侧还有域嵌入标注为真实或合成的注入箭头。右图推理管线则简化为文本自下而上进入目标模型，域嵌入固定为真实，顶部输出语音。这种画法支持原文的解释，即不改目标结构，只增加一个小的嵌入查表，训练时区分来源，推理时锁定真实。过采样体现在训练图中真实语音被重复多次的标注上，推理图没有该操作。

域嵌入和过采样各自管什么，为什么要组合？

域条件训练把适配理解为优化条件概率，给定文本和域标签生成目标语音，域取值为真实或合成。实现上复用多说话人合成中说话人相关因素注入声学模块的思想，文本编码器输出语言表示，声学模块同时接收语言表示和域标签。域嵌入的具体做法是借用原始多说话人可变分自编码器中的说话人嵌入矩阵，把隐层尺寸从 256 降到 64，作为轻量附加参数，论文在消融中比较了 16、64 和 256 共 3 种尺寸。真实数据过采样的具体做法是把每条真实目标语句重复 3 次，不改变模型结构和推理流程，只是提高真实样本在每个轮次中的出现频率。

域条件训练 × 域嵌入： 域条件训练负责把训练目标写成给定文本和域标签的条件概率，让模型知道当前样本来自真实域还是合成域；域嵌入负责把这个二值标签变成一个可学习的低维向量，注入到声学生成模块中调节声学特性。搭配理由是文本编码器保持说话人无关的语言表示不变，只让声学侧感知域差异，组合后语言增益可以经文本通路保留，而音色漂移被域信号隔离，推理时固定选真实域即可偏向真人音色。

真实数据过采样 × 域条件训练： 真实数据过采样负责在训练批次中把稀缺的真实目标语句重复多次，提高真实样本的出现频率；域条件训练负责先把合成域的系统性偏差隔离开，避免模型被大量合成语音带偏。搭配原因是只提高真实权重仍可能与合成偏差混在一起，而先做域隔离再强调真实样本更稳定，组合意义是域嵌入管方向，過采样管强度，共同把微调锚定在真实说话人附近。

组合的必要性来自实验对照，只做过采样而不做域条件时相似度提升有限且不稳定，说明先隔离合成偏差再强调真实样本更可靠。域嵌入容量也需要适中，太小则条件能力不足，太大则相似度略降，64 在报告中取得相似度与可懂度的较好平衡。

预训练、数据构造和微调的每一步如何执行？

预训练阶段用语音数据集在标准多说话人划分下训练目标模型，目标模型选用轻量高效的端到端模型。优化器采用自适应权重衰减优化器，初始学习率设为万分之二并按固定系数衰减，预训练 400 轮，使用四块加速卡。数据构造阶段为每个目标说话人按 10 比 1 比一划分训练、验证和测试集，再从训练集中随机采样 10% 保留为真实录音，剩下 90% 的文本用两种开源零样本系统分别合成。

作为参考提示的语句选择真实 10% 中最长的、且被各来源模型允许的一句，以获得更多音色覆盖。所有音频重采样到 22000 赫兹，并用语音活动检测工具在两端各留 0.2 秒余量后裁剪，保证跨数据集一致。微调阶段保持预训练超参数不变，只把学习率降到十万分之一，批量大小设为三十二，微调 600 轮以保证稳定收敛，单卡执行。过采样通过重复每条真实语句 3 次实现。

额外扩展实验还从另一语料随机采样八百句转写合成新语音，并用识别模型过滤掉词错率高于 5% 的样本，以抑制幻觉造成的漏读和误读。需要指出的缺项是原文未报告域嵌入在训练中是否与其他参数采用不同学习率，也未说明验证集早停的具体 patience，复现时应固定随机种子并做 3 次独立重复再平均。

用什么数据、什么基线、什么指标来保证可比？

数据集包括预训练用的多说话人语料、微调用的朗读书籍语料 8 位说话人男女各半，以及面向语音助手场景的自有录音语料 6 位说话人男女各半。每个说话人的可用语句按 10 比 1 比一划分，低资源设置只用 10% 真实加 90% 合成，全量设置用 100% 真实且无合成，两种设置的训练转写文本量相同，保证语言覆盖可比。来源模型为两种不同架构的开源零样本系统，目标模型固定，消融时只切换是否使用域条件和是否过采样。

评价指标包括说话人嵌入余弦相似度越高越好，字符错率和词错率越低越好。相似度用在多人语音验证数据上训练的通道注意力时延神经网络提取，识别用中等规模的弱监督识别模型。为稳定评价，还额外加入一百句从朗读识别测试集随机选的文本计算识别指标，所有客观结果对每个目标说话人做 3 次不同随机种子的独立运行再平均。

主观评价有 18 位听众，平均意见分评自然度，偏好测试直接比较与参考录音更接近的样本，并用双侧二项检验判断显著性。

说话人嵌入余弦相似度 × 字错率： 说话人嵌入余弦相似度负责度量合成语音与真实参考在说话人判别空间中的接近程度，越高表示越像本人；字错率负责用语音识别模型转写合成语音再与文本比对，越低表示发音越清楚。搭配原因是只看可懂度会掩盖音色漂移，只看相似度会忽略发音退化，组合评估才能揭示直接混入合成数据带来的可懂度与相似度之间的权衡。

以下表格问题是，在相同文本量下真实 10%、真实 100% 和直接混合的性能边界在哪里，ZeSTA 相对直接混合保留了什么又付出了什么。公平条件是同一目标模型、同一划分和同一识别与说话人编码器，指标方向为相似度越高越好、两类错率越低越好。

该表整理了朗读语料上鱼类语音来源的核心数字，另一来源的对应行一并列出以显示跨生成器的趋势。表后解释见下一段，重点是相似度恢复程度与可懂度代价的权衡，以及未胜出项的保留。

表后解释是，直接混合把相似度从 0.818 拉低到 0.765，但字符错率从 5.932 降到 4.738，词错率从 12.520 降到 10.348，证实清晰度增益伴随音色损失。加入域条件和过采样后相似度回到 0.815 左右，字符错率和词错率略高于直接混合但仍远好于仅用真实 10%，说明可懂度增益大部分保留。未胜出项是仅做过采样而不做域条件时相似度只到 0.770 左右，提升有限，支持先隔离再强调的顺序。

另一来源也呈现相同方向，表明方法不绑定特定生成器。

主结果显示相似度恢复了多少，可懂度和听感付出什么？

在朗读和自有两套语料上，全量真实微调的相似度始终高于低资源真实微调，但在可懂度上并不一致，特别是在富有表现力的朗读语料上全量真实的错率反而更高。直接混合在两套语料上都大幅改善识别指标，论文解释这可能与合成语音背景噪声更低、变化更小有关。域条件把被拉低的相似度有效恢复，同时只带来字符错率和词错率的轻微回升，过采样进一步提升相似度并部分挽回可懂度，在自有语料的第二种来源上甚至超过直接混合的全部指标。

额外用八百句外部转写扩大合成规模时，相似度比未扩大时略降，但两类错率大幅下降，表明在实际个性化中继续加合成文本仍能换可懂度，只是要接受相似度的小幅代价。主观平均意见分显示域条件加过采样没有降低自然度，得分与全量真实和直接混合相当，参考录音本身在 4.31 分左右，低资源真实在自有语料上仅 2.85 分左右。偏好测试中听众更偏好本方法，两种来源在两套语料上的偏好比例在 60% 到七十之间，且均通过显著性检验。

限制是主观自然度只报告了一种来源为代表，另一种来源的自然度未单独列出，不能推广到所有生成器。

嵌入尺寸和说话人一致性如何影响结论？

域嵌入尺寸的消融在固定使用域条件而不做过采样的条件下进行，比较 16、64 和 256 共 3 种设置。结果是相似度在 16 和 64 时同为 0.807，256 时降到 0.800，可懂度则以 64 最优，16 的字符错率和词错率明显更高。这支持容量适中的解释，太小则条件信号不足，太大并未带来进一步增益。说话人一致性对照用同性别另 1 位说话人的合成替换同目标合成，保持真实 10% 加合成 90% 加域条件而不做过采样。

说话人不一致的相似度只有 0.792，低于说话人一致的 0.807，且字符错率和词错率几乎回到仅用真实的水平，说明增益不只是合成语音更干净，而是需要音色一致才能迁移语言信息。 以下导读聚焦隐空间可视化，左图为说话人一致增强，右图为说话人不一致增强，请先看颜色图例再比较 2 类点的分离程度。

看图路径： 1. 先确认图例中蓝色为真实样本，橙色为合成样本；2. 观察左图说话人一致时两类点的交叠程度与边界是否清晰；3. 观察右图换成不同说话人合成时两类点是否明显分成左右两团

论文图 2。原论文 Figure 2：“t-SNE visualization of latent representations for a tar- get speaker under different synthetic augmentation settings.”。

从像素可见，左图中蓝色真实点与橙色合成点部分交叠，形成中等程度的域偏移而非严格分离，右图中橙色合成点集中在左侧，蓝色真实点集中在右侧，中间几乎没有交叠，呈现更明显的分离。论文据此说明域信息是作为可控条件信号引入，而不是在隐空间中被显式推开，一致增强保留了可迁移的语言表示，不一致增强则因域差距过大阻碍迁移。

为便于核对消融数字，整理如下宽表，问题是中等嵌入是否兼顾相似度和可懂度，以及音色一致是否同时影响 2 类指标，公平条件是同语料同来源同训练轮次，指标方向同前。

表后解释是，嵌入尺寸的差异主要体现在可懂度而非相似度，64 在 2 类错率上最低，不一致合成在相似度和可懂度上双双变差，构成反证。未评测边界是不同性别混合或跨语言参考的情形，原文没有报告，不能推断结论依然成立。

说话人一致合成 × 说话人不一致合成： 说话人一致合成指用目标本人的参考去提示零样本模型生成同音色的增强句，保留语言多样性的同时尽量贴近目标；说话人不一致合成指用同性别另 1 位说话人的参考生成增强句，人为拉大域差距。搭配做对照的原因是检验增益究竟来自语言内容的补充还是合成语音本身更干净，组合意义是证明只有音色一致时语言信息才能有效迁移，否则相似度和可懂度都受损。

哪些结论有边界，哪些量没有被测量？

已验证的边界包括合成增强数据本身的相似度只有 0.756 到 0.794 之间，说明输入质量本就有天花板，域条件只能缓解偏差而不能创造缺失的音色细节。额外合成扩展时相似度轻微下降，说明文本多样性与音色保真之间存在交换，实际部署需按需求选择合成规模。

未测量的量包括训练与推理的延迟、实时率、显存占用和参数增量，原文只说明嵌入矩阵隐层从二百五十六降到六十四，但没有给出总参数量和每步耗时，因此不能承诺轻量优势不受影响。统计上客观结果做了 3 次重复平均，但没有报告方差或置信区间，主观只有 18 位听众且自然度只以一种来源为代表，推广时需谨慎。相关性不等于因果，合成语音更干净与识别错率更低同时出现，但不能断定噪声降低是唯一原因，语速和韵律变化减少也可能起作用。

总体趋势不等于每位说话人每轮都成立，原文按平均报告，个别音色或录音条件可能偏离均值。

要复现先准备什么，先跑哪条对照？

复现先按原文交代准备数据划分与采样，核对每个说话人的训练验证测试数量区间，并固定只用 10% 真实的随机种子。数据侧需记录每位说话人的语句数范围、验证与测试各十几到二十多句的区间，以及合成前剔除短于 3 个词或含特殊符号的规则。模型侧需准备两种开源零样本系统作为生成器，目标模型用标准多说话人预训练权重，域嵌入复用原实现中的说话人嵌入矩阵并把隐层改为六十四。

训练侧按预训练 400 轮、微调 600 轮、学习率从万分之二降到十万分之一、批量三十二、真实重复 3 次的配置执行，音频统一到 22000 赫兹并做语音活动检测裁剪。评价侧用同一说话人编码器算相似度，用同一识别模型算两类错率，并加入一百句外部测试文本以稳定识别评估。建议先跑真实 10%、真实 100% 和直接混合 3 条基线，确认出现相似度下降而错率下降的交叉现象，再加入域条件，最后加过采样，逐步验证增量。

官方演示页当前可用，链接状态为可达，可试听样例但不能替代本地复现。以下表格汇总复现必须核对的配置，问题是哪些超参数和数据条件决定可比性。

表后解释是，该表不是结果表而是配置核对表，任何一项改变都会影响相似度与错率的绝对值，比较时必须保持生成器、划分种子和评价模型完全一致。

缺项是验证早停阈值和域嵌入学习率未报告，复现时应如实记录所用选择，缺失证据不视为技术错误。

何时值得尝试，还需补哪项验证？

当目标说话人只有十几句录音、但需要读出大量新文本，且部署端只能运行轻量模型时，值得尝试先用外部零样本模型批量生成同文本合成句，再用域条件加小倍数过采样做微调。适用条件是合成参考必须来自同一目标人且尽量选长句，同性别他人合成已被证明效果差，不应作为替代。若合成数据本身相似度过低或录音条件差异过大，应先检查参考质量和活动检测裁剪是否一致，而不是直接增大合成比例。

还需补的验证包括更多目标结构上的条件注入位置比较、不同嵌入尺寸与过采样倍数的联合搜索，以及在噪声和口音更多样的数据上的稳定性检验。成本方面需补充参数增量、训练时长和推理延迟的实测，才能判断轻量部署的真实代价。误解澄清是，域条件不是把真假表示推开成两个不相交簇，可视化显示的只是中等交叠，作用是让声学模块在生成时可选择偏向真实域。

过采样也不是越多越好，原文只验证了重复 3 次的适度强调，过大重复可能导致过拟合这几句真实措辞。收束一句话是，用可核对的域标签把合成增益和音色保真分开管理，才能在极少真实数据下既读得清又像本人。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总