只用十秒参考音跨语言克隆：用过滤后的合成语音微调轻量模型

英文题目：Lightweight Cross-Lingual Speaker Adaptation for Indic TTS

会议身份：conference:interspeech:2026:conference-paper-id:kumar26e_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据清洗 #SFT #高效推理 #跨语言 #语音克隆

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Tarun Kumar：机构信息未能从会议 PDF 纯文本可靠映射
• Keshav Agarwal：机构信息未能从会议 PDF 纯文本可靠映射
• Pawan Goyal：机构信息未能从会议 PDF 纯文本可靠映射
• Laxmidhar Behera：机构信息未能从会议 PDF 纯文本可靠映射
• Hema A. Murthy：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作研究跨语言语音克隆与文本到语音合成任务，目标是在印度语言低资源部署下，用仅10秒参考音频实现稳定、快速、保音色的合成。其输入为四种印度语言文本与说话人原型向量，输出为目标音色波形，实际难点是印度语微调版F5即IN-F5存在丢词、高词错误率和推理缓慢问题。方法为三阶段流水线：先在印地语、马拉地语、泰米尔语、泰卢固语约119小时多说话人语料上预训练带双点说话人调制和余弦一致性损失的非自回归FastSpeech2基座，用通用标签集统一音素空间以解耦语言内容与说话人。再以10秒男性印地语参考驱动IN-F5批量合成覆盖全部78个通用标签集音素的约2400句语料，经音素级错误率、基频、时长和对齐似然四级过滤保留2088句约2.34小时；最后在该合成集上微调基座以注入目标音色。与教师在线推理相比，关键差异是将随机流匹配生成转为离线数据蒸馏加确定性前馈合成，推理时只需文本和说话人原型向量。在印地语50句和三种跨语言各30句评测中，微调系统相对IN-F5实现印地语18.6%相对词错误率下降和跨语言平均21.8%下降，输出完全确定，单句推理约0.25秒，约为教师13.3秒的53倍加速，参数量71.4M约为教师337.1M的4.7分之一。结论仅在单名男性印地语说话人上验证，多说话人、女性音色和22种语言扩展尚未验证。原文披露训练成本为单卡硬件上16小时，单句推理的延迟约0.25秒，模型存储仅286MB，部署计算量显著低于教师模型。

🔗 开源与复现资源

• 演示资源：https://indiclone.github.io — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要解决的部署矛盾是什么？

这篇解读的输入是 Interspeech 2026 的 1 篇印度语语音合成论文，目标是让刚入门的研究生能核对实验条件并复述方法。必须保留的信息包括只用 10 秒参考音、3 阶段流程、4 阶段过滤、双位置条件加余弦损失、通用标签集跨 4 种语言、以及与 IN-F5 基线在可懂度自然度速度上的对比。输出是一份按学习依赖展开的技术说明，不做超出原文的推广。

任务是跨语言说话人自适应。给定一段约 10 秒的男性印地语参考音，系统要在没有该说话人其他真实录音的条件下，能用同一音色合成印地语、马拉地语、泰米尔语和泰卢固语的语音。难点在于印度语资源相对不足，直接用大规模语音克隆模型会出现掉词导致词错误率升高，而且自回归加流匹配的迭代解码速度慢，难以快速部署。

自回归解码 × 非自回归合成： 自回归解码指 IN-F5 这类模型逐帧或逐块依赖历史生成梅尔谱并需要多次迭代求解常微分方程，天然带有随机性和注意力对齐风险；非自回归合成指 FastSpeech21 次前向预测出完整梅尔谱，时长由外部对齐给定。两者分工是前者负责用大规模数据实现高相似度的教师式生成，后者负责做确定性强的学生式部署。搭配理由是先用前者解决只有 10 秒参考音时无数据的难题，再用后者消除掉词和重复，组合意义是把质量和速度解耦。

原文把路线定为教师加学生。用已有的 IN-F5 作为教师，先把 10 秒音色扩展成约 2 小时的合成语料，再用过滤后的语料微调一个非自回归的 FastSpeech2 学生模型。学生模型推理是确定性的，同一句话重复合成不会出现韵律漂移，这正是部署时需要的性质。理解这一点后，再看具体组件和训练安排就不会迷路。

已有路线做到哪里，还缺哪一块？

在高资源语言上，语音合成已经能做到接近真人自然度，并加入情感和个性化克隆。但这些进展多依赖英语和普通话的大规模数据和算力。在印度语上，早期有基于 Tacotron2 加 x-vector 的通用系统，能合成多种印度语但缺少会话韵律，后续有多说话人多语言、表情和提示控制的扩展。

另一条线是直接微调大规模克隆模型。原文提到的 IN-F5 是在印度语数据上微调的 F5-TTS，能生成自然且富有表现力的语音，说话人相似度很高，但依赖海量多语言语料和计算开销，自回归解码导致推理慢，并容易出现音素重复或遗漏。原文还提到 YourTTS、LIMMITS24、RASA 等工作，分别从零样本多说话人、有效语言和说话人条件、低资源表情合成等角度推进，但都没有同时解决掉词过滤、确定性输出和轻量快速自适应这 3 个部署约束。

本文的定位是补上轻量自适应这一块。不重新训练一个大规模克隆模型，而是把克隆模型只当作 1 次性离线数据生成器，真正的部署模型是约 70M 参数的 FastSpeech2 加 HiFi-GAN 声码器。这种分工在后文的成本对比中会得到验证。

为什么 10 秒参考音不能直接拿来跨语言推理？

举一个教学例子帮助理解，例子不代表原文数值。假设你只有一句印地语你好，想让模型用同一声音读出泰米尔语句子。如果直接让多说话人基线模型以外显说话人向量做零样本条件，模型确实能出声，但音色只是大致接近，而且对未见语言的发音容易含糊。如果直接让 IN-F5 以 10 秒音频为提示做跨语言生成，音色会更像，但偶发整词丢失，且每次运行的基频和语速都有波动。

原文要解决的就是这种两难。零样本基线快而稳但不够像，教师模型像但不稳且慢。论文把问题形式化为三件事。第一，如何从 10 秒音频构造出音素覆盖全、 prosody 稳定、对齐可用的微调语料。第二，如何在微调时既记住多语言发音知识，又只改变说话人相关参数。第三，如何用可复现的指标证明内容、音色、确定性和速度同时达标。

为此原文固定了可核对的设置。参考音是来自 PIB India 的一段男性印地语 10 秒音频，文本语料要覆盖全部 78 个通用标签集音素，评测用 50 句印地语加马拉地语泰米尔语泰卢固语各 30 句，所有主观听感都以 10 秒印地语参考音为锚点判断跨语言音色一致性。

三阶段流水线如何分工？

方法全景可以沿着一个样本走一遍。输入是一条待合成的文本和目标说话人的 10 秒参考音。第一阶段预训练一个多说话人多语言的 FastSpeech2 基座，学会把通用标签集音素转成梅尔谱，与说话人无关的语言知识放在这里。第二阶段用 IN-F5 把构造好的印地语文本批量合成为目标音色，再经 4 阶段过滤得到干净语料。第 3 阶段用干净语料微调基座的说话人相关部分，得到最终的自适应模型。推理时只需要文本加固定的说话人原型向量，不再需要参考音频。

这种安排的理由在原文有明确交代。预训练用约 119 小时的多说话人数据覆盖 4 种语言，让模型先解耦语言内容和说话人身份。合成阶段用受控声学条件 1 次生成约 2400 句，避免反复调用教师模型。微调阶段不再使用目标说话人的任何真实录音，只用过滤后的合成语音做监督，原文称之为教师引导的度量驱动微调，可类比为非自回归的偏好对齐，但不引入额外的强化学习目标。

最终部署模型的形态是紧凑的。声学模型约 71.4M 参数，模型文件约 286 MB，共享 78 个通用标签集符号，梅尔谱为 160 维，音频采样率 48 kHz。推理时 1 次前向得到完整梅尔谱，再经 HiFi-GAN 还原波形，因此没有注意力失败导致的重复或遗漏。

基座模型把说话人信息加在哪里？

基座是 FastSpeech2 加 Conformer 编码器解码器。给定音素序列，编码器输出隐表示，方差适配器预测时长基频能量，长度调节器把音素级扩展到帧级，解码器生成梅尔谱并经后处理网优化，最后由 HiFi-GAN 合成波形。说话人向量来自在 IndicVoices-R 印地语说话人上微调过的 ECAPA-TDNN，维度 192。

关键是双位置注入。韵律条件发生在方差适配器之前，把编码器隐表示加上经独立投影后的说话人向量，让音色能影响时长基频能量预测。声学条件发生在长度调节之后，把扩展后的帧级特征加上另一组独立投影后的说话人向量，直接影响频谱生成。两处投影矩阵独立学习，目的是让时间韵律属性和频谱声学属性分开建模，改善跨语言时的音色一致性。

通用标签集 × 跨语言合成： 通用标签集即 Common Label Set，负责把印地语、马拉地语、泰米尔语、泰卢固语的文字统一转写为同一套 78 个音素符号，消除不同语言正字法差异；跨语言合成负责让只见过印地语目标说话人数据的模型也能读出其他 3 种语言。两者搭配的原因是声学模型只认识音素序列不认识文字，统一音素后模型在预训练阶段学到的多语言发音知识可以在微调后直接复用，组合意义是只用印地语合成语料做自适应，就能把同一个音色迁移到未见语言。

为进一步约束音色，解码器输出后接一个轻量预测头。把解码器激活按时间平均池化再经线性投影，得到预测的说话人向量，与输入的真实说话人向量算余弦距离作为辅助损失。训练总目标是梅尔谱重建加时长基频能量回归，再加上按轮次线性升温的余弦损失权重，前 10 个轮次从 0 线性涨到 1，以稳定早期训练。

余弦约束和通用标签集如何配合？

把上一节的两个机制放在 1 次训练步骤里看。同一批数据中，语言内容由通用标签集音素序列提供，说话人身份由每句话的 ECAPA 向量提供，预训练时还按说话人平均成稳定的条件原型。模型前向得到梅尔谱和韵律预测，反向同时优化重建和余弦项。直观理解是重建项保证说什么正确，余弦项保证谁在说的一致。

双位置说话人条件 × 余弦一致性损失： 双位置说话人条件指把 ECAPA-TDNN 提取的 192 维说话人向量分别加到方差适配器之前和长度调节之后，前者影响时长基频能量预测，后者影响频谱解码；余弦一致性损失指用一个轻量预测头从解码器输出反推说话人向量并与输入向量算余弦距离。两者搭配的原因是只靠相加注入容易让语言内容和音色纠缠，增加反推约束可以迫使解码输出保留可辨识的说话人信息，组合意义是预训练时更好解耦内容与音色，微调时更快锁定目标音色。

通用标签集的作用在跨语言时最明显。因为印地语属印欧雅利安语支，泰米尔语泰卢固语属达罗毗荼语系，字形和音系差异大，但映射到同一套音素后，声学模型看到的符号空间是共享的。预训练已经见过 4 种语言的真实发音，微调时即使只有印地语合成语料，多语言发音知识也不会被完全覆盖，这就是原文所说的保留多语言音素知识。

需要提醒的是，原文没有报告冻结哪些层或梯度是否截断，只说自适应说话人条件层并保留多语言知识，具体更新范围和重置时机属于未报告项，复现时应先按全量微调加小学习率实现，再通过对照验证是否灾难性遗忘。

合成语料如何生成和过滤？

训练分为预训练和微调两段，中间隔着合成加过滤。预训练在约 119 小时的多说话人数据上进行，数据来自 IndicVoices-R 和 IndicTTS 的故事子集，覆盖印地语马拉地语泰米尔语泰卢固语。实现基于 ESPnet2，编码器解码器各 4 层 Conformer，2 个注意力头，隐维度 384，总量约 70M 参数。优化用 Adam 加 Noam 调度，4000 步热身，批大小 20，半精度，在 2 块 A6000 上约 16 小时。

合成阶段用 10 秒参考音加覆盖 78 个音素的印地语文本，经 IN-F51 次生成约 2400 句，耗时约 50 分钟。然后依次做 4 步过滤。第一步音素级错误率过滤，用印度语 data2vec 识别模型转写合成语音，双边转成通用标签集音素后算错误率，丢弃大于 10% 的句子。第二步基频过滤，按语料统计自动定阈，去除全局基频异常或句内波动过大的句子。第三步时长过滤，丢弃短于 2 秒的截断句。第 4 步对数似然剪枝，用强制对齐的帧级平均对数似然丢弃低于均值两个标准差的句子。

音素级错误率过滤 × 对数似然剪枝： 音素级错误率过滤指用面向印度语的 data2vec 语音识别模型转写合成语音，再与参考文本在通用标签集音素层面算错误率并丢弃大于 10% 的句子；对数似然剪枝指用强制对齐的帧级平均对数似然丢弃低于均值两个标准差的句子。前者分工是抓掉词和音素错，后者分工是抓对齐统计异常。搭配原因是内容错和对齐错来源不同不能互相替代，组合意义是同时保证文本内容正确和时长监督可靠。

下表把过滤前后的规模问题摆出来。比较的问题是每一步去掉了多少，条件是同一批 IN-F5 合成语音，指标方向是剩余句数越多不一定越好，关键是去除内容错和对齐异常。

表后需要解释收益与代价。原文报告初始 2339 句经全流程剩 2088 句约 2.34 小时，其中音素级过滤去掉 5.3% 是最关键的一步，后续基频时长和剪枝分别去掉约 3.0% 和 1.1% 与 1.7%。收益是得到音素对齐干净、声学稳定的语料，适合可靠的时长建模和跨语言合成。代价是 1 次性离线生成加识别加对齐的计算开销，以及被丢弃句子的算力浪费。未胜出项是如果只做时长和剪枝而不做识别过滤，掉词样本会留下来直接抬高微调后的词错误率。

评测条件如何保证可比？

实验按问题组织。测什么，包括可懂度、音色相似度、确定性和效率。对比对象固定为 3 个系统。IN-F5 是零样本基线，直接以 10 秒音频为提示。Base FS2 是预训练多说话人模型直接推理，未经目标说话人微调。

Ours 是经目标说话人微调后的模型。与谁比的条件是一致的，同一批 50 句印地语加 3 种语言各 30 句，同一识别模型算词错误率，同一 ECAPA 模型算与 10 秒参考音的余弦相似度。

指标方向要记牢。词错误率越低越好，说话人相似度越高越好，重复合成 10 次的基频均值标准差和音节速率标准差越低越确定，平均每句推理秒数越低越快。主观部分每种语言请 15 名母语听众，每人评 20 句，自然度用 MOS，相似度用 SMOS，都是 5 分制，以 10 秒印地语参考音为锚点。印地语是有自然录音可直接对比的已见语言，后 3 种是未见语言，只判断跨语言音色一致性。

文本处理和对齐条件也要核对。所有文本都用通用标签集音素化，FastSpeech2 的音素时长监督来自基于 Kaldi 的蒙特利尔强制对齐器。声码器统一用 HiFi-GAN V1，梅尔谱 160 维，快速傅里叶点数 8192，跳长 1024。微调运行 50 轮，学习率 0.0001，批大小 16，单块 A6000。这些超参数和硬件预算是复现时必须对齐的。

内容、音色和速度各得到什么，又付出什么？

先看可懂度。原文报告自适应系统在印地语上相对 IN-F5 降低 18.6%，在跨语言上平均降低 21.8%。机制解释是 Base FS2 已因非自回归结构消除注意力掉词而优于 IN-F5，再经质量控制语料微调又相对 Base FS2 再降 14 到 16%。这支持过滤加微调对内容的增益，但应表述为支持而非证明因果，因为识别模型本身也可能偏向某种声学风格。

词错误率 × 说话人编码器余弦相似度： 词错误率即 WER，用同一识别模型转写合成语音后衡量可懂度和掉词程度，越低越好；说话人编码器余弦相似度即 SECS，用 ECAPA-TDNN 比较合成语音与 10 秒印地语参考音的余弦相似，越高越好。两者分工是前者看内容保真，后者看音色保持。搭配原因是只看其一会掩盖 trade-off，组合意义是能同时判断过滤加微调是否在不丢音色的前提下减少了掉词。

再看音色与确定性。Base FS2 未经微调已达 0.78 到 0.81 的相似度，说明双位置条件预训练已捕捉到有意义的说话人特征。微调后涨到 0.87 到 0.88，提升 7 到 9 个百分点，直接验证合成数据流水线的迁移价值。但与 IN-F5 的 0.89 到 0.91 仍有差距，原文明确这是结构性 trade-off，IN-F5 推理时直接以 10 秒参考音为条件，而本文相似度受限于合成语料本身与参考音的相似度上限。确定性上 FastSpeech2 两项标准差都是 0，IN-F5 平均约 5.228 Hz 和 0.1935 音节每秒，反映流匹配解码的随机波动。

下表把效率问题摆出来。比较的问题是在可部署性上轻量模型是否真更快更小，公平条件是同一任务下比较声学模型本体，指标方向是参数越少推理秒数越少越好。

表后解释收益与代价。主要收益是 4.7 倍更小且每句 53 倍更快，原因是 FastSpeech2 单次前向预测完整梅尔谱，而 IN-F5 每句需 32 步常微分方程求解。训练开销同样不对称，单卡 16 小时对比 32 块 H100 约 3 天。具体代价是相似度约为基线的 96 到 98%，主观相似度略低 0.10 但差异不显著。未胜出项必须保留，Base FS2 在相似度上明显低于微调后模型，说明只靠预训练不够，微调是必要的。

哪一步最关键，拿掉过滤会怎样？

原文没有做双位置对单位置的对照，未来工作才计划比较，因此不能从模型名推定双位置必然优于单位置。能做消融解读的是过滤流水线和微调本身。过滤中音素级错误率一步去掉 5.3%，远高于基频时长和剪枝，原文据此判断它是质量控制最关键的一步。这个判断有数据支持，因为掉词直接对应词错误率，而韵律和对齐异常更多影响自然度和训练稳定性。

微调的增量也有对照。Base FS2 已经在自然度上达到或超过 IN-F5，微调再加 0.29 到 0.42 个 MOS 点，最终 MOS 在 3.82 到 4.14 之间。相似度从 0.78 到 0.81 涨到 0.87 到 0.88，词错误率再降 14 到 16%。这说明非自回归结构解决有无掉词，过滤加微调解决像不像和准不准，两者缺一不可。

失败条件也要讲清。如果合成语料本身与参考音相似度不高，微调后的相似度会被上限卡住，原文建议未来加入基于相似度的生成过滤来抬高上限。如果只用未过滤语料微调，掉词样本会进入时长和声学监督，导致微调后仍偶发内容错。这正是原文坚持先识别再对齐再剪枝的理由。

结论的边界在哪里？

第一是说话人覆盖。当前结论只在一个男性印地语说话人上验证，原文明确说局限于已展示的说话人，多说话人验证是自然的下一步。因此不能把 18 到 22% 的下降推广到所有音色和性别，复现时应先复现单说话人，再补多说话人。

第二是语言覆盖。评测只覆盖印地语马拉地语泰米尔语泰卢固语 4 种语言，扩展到 22 种印度语言是未来工作。通用标签集虽统一了音素，但韵律和口音差异仍可能影响未见语言的自然度，原文没有给出这方面的误差分析。

第三是未测量项。原文未报告误判率之外的统计显著性细节，未比较单双位置条件，未测量实际端到端延迟分布与帧率，只给了平均每句秒数。训练资源推理开销输出帧率与实际延迟应分开讨论，总体更快不等于每句都快。缺失证据不是技术错误，但在选型时不应承诺这些未测量量一定改善。

复现先做什么，需要哪些信息条件？

复现顺序应按依赖来。先准备通用标签集解析器和强制对齐环境，把 4 种语言文本统一转成 78 个音素，并用 Kaldi 对齐得到时长。再准备在印度语上微调过的 ECAPA-TDNN，按说话人平均得到条件原型。接着用 ESPnet2 搭建 4 层 Conformer 编码器解码器、2 头、384 维的 FastSpeech2 和 HiFi-GAN V1，保持 48 kHz、160 维梅尔谱、点数 8192 跳长 1024 一致。

然后跑 3 个阶段。预训练用约 119 小时多说话人数据，Adam 加 Noam 调度 4000 步热身，批大小 20，半精度。合成用 10 秒参考音加全音素覆盖文本调用 IN-F5，1 次生成约 2400 句。过滤依次跑识别算音素错误率阈值 10%、语料统计定基频阈、丢弃短于 2 秒句、丢弃对数似然低于均值两个标准差句，目标剩约 2088 句 2.34 小时。微调 50 轮学习率 0.0001 批大小 16。

资源状态是开源声明的唯一依据。本次收到的官方演示链接状态为可用，状态码 200，地址为指示的演示页，可听评估音频。但这不等于代码和权重可下载，原文未给出代码仓库和权重链接，复现时应区分演示可听、代码开源和系统可运行三件事。若要验证主观分，需按每语言 15 名母语听众、20 句、5 分制、锚定 10 秒参考音的条件重做。

何时值得尝试这种轻量自适应？

当你只有极短参考音、又需要确定性快推理时值得尝试。典型场景是为新说话人快速搭建多语言播报，且不能容忍随机掉词。做法是把大模型当 1 次性教师，把小模型当部署主体，用识别加韵律加对齐 3 类过滤把教师的错误挡在微调之外。

当你追求极致相似度或表现力时要谨慎。直接以参考音为条件的 IN-F5 在相似度上仍高 2 到 4 个百分点，主观相似度也略高。如果业务允许慢推理且能容忍偶发波动，大模型可能更合适。此时可考虑原文建议的相似度过滤来抬高学生上限，但属于待验证想法。

记住 3 个可核对的数字关系。内容上相对基线降约 20%，音色上达到基线九成六以上，速度上快约 50 倍且小约 5 倍。复现时先对齐音素集、对齐器、识别模型和 ECAPA 版本，再核对过滤比例和微调学习率，最后用同一协议重测词错误率相似度和重复合成稳定性，才能判断增益是否成立。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总