英语大模型做印度语语音：直接微调为何胜过继续混入英语

英文题目：IN-F5: Adapting an English TTS Foundation Model for Multilingual and Zero-Resource Indian Speech Synthesis

会议身份：conference:interspeech:2026:conference-paper-id:varadhan26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#迁移学习 #低资源 #多语言 #零样本 #文本到语音

评分：7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：模型报告

👥 作者与机构

• Praveen Srinivasa Varadhan：机构信息未能从会议 PDF 纯文本可靠映射
• Srija Anand：机构信息未能从会议 PDF 纯文本可靠映射
• Siddhartha Soma：机构信息未能从会议 PDF 纯文本可靠映射
• Mitesh M Khapra：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为印度多语种原生字符文本与短时参考语音，输出为保留音色与风格的 24 kHz 合成语音，难点是在不足英语预训练 2% 数据量下复现英语级自然度与涌现能力。方法链分四步：先扩展 685 个原生字符并从英语嵌入随机采样初始化以免建 grapheme-to-phoneme（字形到音素，G2P），再以近 10 万小时英语 F5-TTS 检查点在 1417 小时 IN11 数据上直接微调，随后以每语言 1、10、100 小时固定 150K 步检验规模效应，最后借文字共享的亲属语言音色跨语合成加母语者校验冷启动零资源语言。与持续混合等量英语数据的常规做法相比，直接微调避免高资源分布牵引。在 1100 条 IN11-Test-Set 上直接微调总体自然度 73.4，显著高于混合策略 66.2 与从零训练 43.2；在 Rasa 官方 8 语种集上以 80.5 进入优秀区间，超 VoiceCraft 7.5 分，WER 19.2 接近人类录音 18.4。结论仅适用于已见文字体系且经人工筛选场景，对无共享文字语言与全自动扩展尚未验证。原文未披露训练时长、推理延迟与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些关键信息？

这篇解读的输入是会议论文正文与一张官方箱线图，目标是让刚进入语音合成的研究生能复述 IN-F5 的做法与证据。你需要先保留 3 类信息再往下读。第一是任务边界：把英语基础语音合成模型 F5-TTS 适配到 11 种印度语言，并进一步试探两种零资源语言。第二是数据与算力约束：印度部分共 1417 小时，不到英语预训练近 100,000 小时的 2%，微调最多 150,000 步。第三是评价口径：主观自然度、说话人相似度、可懂度与客观词错误率、说话人余弦相似度要分开看，不能互相替代。

现代英语语音合成已经能做到接近真人的自然度、只给参考音频就克隆音色、带感情地朗读。但这些能力高度依赖超大规模数据与算力，印度语言长期停留在能听懂的单调合成。论文的中心矛盾是英语大模型学到的发音控制与说话人表示，能否在极小数据下迁移到文字与韵律都不同的印度语言，而不是为每种语言从零重建。

零样本语音克隆 × 多语者迁移： 零样本语音克隆指只给几秒参考音频，不更新说话人专属参数就模仿其音色和韵律；多语者迁移指把一个说话人的音色带到另一种语言。两者搭配的原因是印度多语环境需要同一个人说多种语言，组合后新增的作用是 IN-F5 可以用印地语说话人的提示去说泰米尔语，实现跨语系的复用。

为理解后文，你要建立样本级直觉。假设输入是一句印地语文字加上一段 3 秒的泰米尔语说话人参考音频，模型先把文字切成字符记号，把参考音频压缩成说话人表征，再生成 24 千赫采样的梅尔谱并声码为波形。成功意味着文字内容正确、音色像参考人、韵律自然；失败可能表现为串音、外语口音过重或把码混词念错。后文所有策略比较都是围绕这条输入到输出链展开的。

同任务同目标的已有路线差在哪里？

在进入方法前要把相关工作按相同输入输出来对照。第一条路线是大规模英语模型，例如 F5-TTS、MaskGCT、Base TTS 与 Seed-TTS，它们用近 100,000 小时量级数据实现高自然度与零样本克隆，但语言覆盖以英语为主，不能直接当作印度语系统使用。第二条路线是多语语音合成，例如 VoiceBox 与 YourTTS，它们证明用几分钟数据微调或提示就能得到可懂的低资源语音，但论文指出它们多停留在保真与可懂度，对多语流利、码混与情感等涌现能力的验证不足。

第三条路线是印度语专用系统，例如基于 FastPitch、FastSpeech2 与 VoiceCraft 的已有工作，以及自监督表示、大规模多语预训练与元学习，它们改善了可懂度与质量，但同样缺少在严格数据预算下系统比较从零训练、直接微调与持续混入英语的证据。 这样对照后，IN-F5 的定位就清楚了。它不是提出全新声学建模结构，而是回答适配策略问题：在已有英语 checkpoint 存在时，是从零训练多语模型，还是直接微调，還是微调时继续混英语。

论文还把评估从单语自然度扩展到跨语系多语、30 句会话式码混、6 种情感风格与两种零资源语言，这决定了后文实验必须同时报告主观与客观指标，而不是只报词错误率。

要解决的具体问题与成功标准是什么？

论文把问题拆成 3 个可检验的子问题。第一个是策略选择：在 11 种印度语言上，哪种利用英语先验的方式最省数据且质量最高。成功标准是在 IN11 测试集上总体主观分最高，同时在可见与不可见说话人上保持自然度与相似度。第二个是数据规模：在每语言 1 小时、10 小时、100 小时 3 种预算下，涌现能力保留多少。成功标准不仅看主观分，还要看客观可懂度与说话人相似度是否随数据崩塌。

第 3 个是零资源扩展：对没有现成合成数据的图鲁语和模拟零资源的博杰普尔语，能否只靠文本语料与相近文字先验生成可用语音。成功标准是母语人验证后的主观分接近真人参考，并能沉淀出 1 小时可发布数据。 这里要避免一个常见误解：总体分高不等于每项都超过真人。论文明确区分了自然环境录音与录音棚高质量录音。在自然环境下合成可能因更干净而得分略高，但在录音棚标准下仍有差距。

后文读表时必须把可见说话人、不可见说话人、多语、录音棚 4 个条件分开，不能把某一条件的最优推广为全部最优。

IN-F5 的全景链路是怎样走完的？

IN-F5 的方法全景可以按一个样本走一遍。输入是印度本地文字句子与一段参考音频。文字不经过音素转换，直接按原始字符切分，进入扩展后的字符词表。参考音频提供音色与风格条件。模型主体是沿用英语 F5-TTS 的网络结构与参数，输出是 100 通道梅尔谱，再经声码器得到 24 千赫波形。

训练阶段只更新适配后的模型，推理阶段通过更换参考音频实现换人、换语言与换情感。 关键改动只有两处。第一是词表扩展：新增印度 11 语言所需字符，共 685 个互不相同的字符记号，覆盖阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语与泰卢固语的多套文字。

为稳定微调，新字符的嵌入向量不是随机初始化，而是从英语已有词嵌入空间中随机采样已有记号的向量来初始化，这样新记号一开始就落在模型熟悉的表示范围内。第二是策略对照：同一结构分别做从零训练、直接微调、混入英语微调，三者训练步数与超参数保持一致，从而把性能差异归因于是否使用英语先验以及是否持续接触英语。 零资源部分是另一条链路。

对图鲁语复用卡纳达语文字，对博杰普尔语复用印地语的天城体文字，因为这两种文字已在训练中见过。做法是从 Rasa 数据集中挑选卡纳达语说话人与迈蒂利语说话人作为音色与韵律提示，用收集到的图鲁语与博杰普尔语文本各合成 1 小时语音，再请母语者逐条校验正确性。这条链路的输入只有文本与跨语言参考音频，没有目标语言的真实配对语音，因此考验的是跨文字与跨语言迁移，而不是常规监督学习。

字符词表与嵌入初始化各自负责什么？

把组件拆开看，字符词表负责解决输入表示问题。印度语言文字与发音对应相对规则，若引入字素到音素工具，反而会因很多语言缺乏成熟工具而引入新误差。直接用字符建模把拼写到发音的映射留给声学模型自己学，代价是模型必须在有限数据内学会不同文字的发音规则，这正是需要英语先验来加速的原因。 嵌入初始化负责解决冷启动稳定问题。新增字符若从零随机初始化，会与已训练好的深层网络不匹配，早期梯度波动大。

论文从英语 checkpoint 的已有嵌入中随机采样来初始化新字符，相当于告诉模型新字符先待在已见过的向量邻域，再靠印度数据慢慢移向正确位置。原文没有报告冻结哪些层、是否分层学习率、梯度是否在嵌入层截断等细节，因此复现时应默认全参数以同一学习率微调，并在复现记录中标明该缺项，不能自行假设只训练嵌入层。

字符建模 × 字素到音素转换： 字符建模指直接把本地文字字符作为输入记号，不做音标中间层；字素到音素转换指先把文字映射为发音符号再合成。印度语言正字法与发音对应较规则，所以论文选择字符建模以避开不成熟的转换工具，组合意义是省掉外部发音词典，用 685 个字符覆盖 11 种文字并直接微调。

从计算角度看，输入字符序列变长会增加注意力与时长建模负担，但 685 词表本身很小，不会显著增加参数量。真正的计算量仍在声学主干的 150,000 步微调上。理解这一点后，就能明白为何论文把重点放在数据策略而非改结构：结构不变时，先验与数据的搭配才是决定质量的主因。

三种训练策略与数据规模实验如何执行？

训练细节按原文交代如下。起点是近 100,000 小时英语预训练的 F5 checkpoint。优化器用 AdamW，学习率取 5 乘 10 的负 5 次方，每卡每步 30,000 帧且无梯度累积，混合精度在 32 张英伟达 H100 上训练，最多 150,000 步，预热 48,000 步，梯度裁剪最大范数为 1.0。声学特征为 100 通道梅尔谱，采样率 24 千赫，帧移 256 点，傅里叶窗 1024 点。3 组策略用相同结构与超参数，只改变初始化与数据混合方式。

第一组从随机初始化只训印度 11 个语言，记为从零训练。第二组从英语 checkpoint 只用印度数据微调，记为直接微调。第 3 组从英语 checkpoint 用等量英语与印度数据混合微调，记为混入英语。 数据规模实验固定为直接微调，只改变每语言时长，分别为 1 小时、10 小时、100 小时，同样训练 150,000 步，以隔离数据量的影响。论文还补充了一个训练时长对照：10 小时训练 150,000 步的单语词错误率可达 31.3%，而 100 小时只训练 120,000 步时为 40.0%，说明在数据少时延长训练仍有帮助，不能只看数据量下结论。

直接微调 × 继续混入英语： 直接微调指从英语 checkpoint 出发只用印度 11 语言数据更新参数；继续混入英语指每步同时混入等量英语和印度数据。直接微调负责让模型快速偏向目标语音分布，混入英语本想防止遗忘并增强泛化，两者对照后显示直接微调在印度语上更高，组合比较的意义是证明高资源持续曝光并非总是有益。

需要指出未报告项：原文没有给出英语混合数据的具体采样方式、是否按语言均衡、验证集早停规则与学习率衰减曲线，也没有说明零资源合成时的采样温度与推理步数。复现时应先按等量混合与固定步数跑通，再补做这些消融，不能把缺失的调度细节当作已验证结论。

数据构成、划分与指标方向如何规定？

IN11 数据集共 1417 小时，覆盖上述 11 种语言。来源按作用可分为 3 类。录音棚高质量朗读、对话与表现力语音来自 IndicTTS、LIMMITS 与 Rasa，由专业配音员录制，保证韵律与情感上限。谷歌众包语音增加说话人多样性，在受控环境录制。IndicVoices-R 是经语音增强修复的大规模识别数据，用于扩大说话人数与自发口语覆盖。

从中留出 1100 条作为 IN11 测试集，按已见与未见说话人、性别与年龄均衡，用于标准化评估。Rasa 官方测试集的子集用于与已有系统的 8 语言对比。零资源文本来自翻译数据集与已有语料，博杰普尔语模拟零资源以便与真人录音对比，图鲁语为真正零资源。 主观指标有 3 个方向，都是分数越高越好。自然度用无参考 MUSHRA 变体，借鉴 NaturalSpeech2 的做法并给听众详细指南。

说话人相似度用 MUSHRA-S，从 0 到 100 按 20 分档描述匹配程度。可懂度用 MUSHRA-I，重点评多语与码混是否听得清。134 名有音频评估经验的听众参与，平均每语言 12 名母语者，每人至少评 30 条。客观指标有两个：用 IndicConformer 识别合成语音算词错误率，越低越好；用 WavLM 提取真值与合成嵌入算余弦相似度，越高越好。

自然度 × 说话人相似度： 自然度指听起来像不像人说的流畅语音，用 MUSHRA 打分；说话人相似度指合成音色与参考说话人在音调音质上有多接近，用 MUSHRA-S 与 WavLM 余弦相似度衡量。两者分工不同，一个管整体质量，一个管身份保持，搭配使用才能发现模型是否以牺牲像谁来说换取好听。

硬件与成本按原文记录：微调需 32 张 H100，批量与步数如上。这意味着复现 10 小时每语言的实验仍需多卡并行，不能误以为小数据就等于单卡可跑。推理延迟、实时率与显存占用原文未测量，后文不得声称这些得到改善。

直接微调为何在主观与客观上都占优？

比较的核心问题是：在相同结构与超参数下，是否使用英语先验以及是否继续看英语，哪种在印度语上更好。公平条件是三者都在 IN11 上评估，指标方向为 MUSHRA 越高越好。下表整理了自然度关键列与总体分，完整相似度与可懂度见表后文字。为满足宽度要求，表保留可见说话人、不可见说话人、多语自然度与总体四列加策略列，共五列，数值保留原文 1 位小数。

表后解读需兼顾收益与代价。直接微调总体 73.4 为三者最高，高于混入英语的 66.2 与从零训练的 43.2。在可见说话人上直接微调自然度 78.0 超过真人 75.9，在不可见说话人上 76.6 超过真人 74.6。论文的解释是合成语音更干净，去掉了真人录音中的背景噪声、呼吸声与麦克风瑕疵，因此在受控听评中占优。

但代价在录音棚条件下暴露：多语自然环境下直接微调 68.2 接近真人 70.6，而录音棚标准下直接微调自然度 77.6 明显低于真人 89.7，说明棚录上限仍有差距。未胜出项也很清晰：从零训练全面偏低，混入英语在所有主观列都低于直接微调，说明持续接触英语并未帮助印度语。 零资源箱线图是本节的第二份证据。导读如下：该图横轴为博杰普尔语与图鲁语，纵轴为 MUSHRA 从 0 到 100，橙色为 IN-F5，绿色为真人，每只箱显示中线、四分位与须线，适合判断分布重叠而非只看均值。

看图路径： 1. 先看横轴两组：左侧博杰普尔语有两只箱，右侧图鲁语只有一只箱；2. 再看纵轴 MUSHRA 从 0 到 100，比较箱体中线与箱体上下沿的位置；3. 注意博杰普尔语左侧橙色箱的中线略高于绿色箱，且下须高于绿色箱；4. 最后看图鲁语橙色箱中线约 80 但下须拉到 20 附近，说明离散度更大

论文图 1。原论文 Figure 1：“1”。

结合像素可见内容解释：左侧博杰普尔语有两只箱，IN-F5 中线约 90，略高于真人约 85，箱体大致在 77 到 100 之间，下须到 45 左右，真人下须更低到 35 左右，说明模拟零资源下合成分布整体不差于所选真人参考。论文正文给出均值 86 对 74，并解释所选迈蒂利语提示表现力强，可能比基线真人录音更讨喜，因此不能解读为合成已全面超越真人。右侧图鲁语只有 IN-F5 一只箱，中线约 80，箱体约 60 到 91，下须拉到 22 附近，表明多数样本可用但尾部有坏例，需要母语人过滤。这与论文做法一致：各合成 1 小时后请专家校验再发布，而不是直接宣称零资源已解决。

码混语音 × 多语合成： 码混语音指一句话内混入品牌名地名或另一种语言的词；多语合成指同一个人能说多种完整语言。前者考验一句话内的发音切换，后者考验跨语言的音色保持。IN-F5 同时评估两者，因为印度日常对话本身就是混用的，组合意义是检验模型在真实双语习惯下的可懂度。

码混与情感是涌现能力的另一面。30 句会话式码混句覆盖品牌名、地名与术语，印地语混其他语言可懂度达 85.5 接近真人 88.66，泰米尔语混其他语言 76.67 接近真人 79.54，旁遮普泰卢固这类不自然组合仍达 79.53 接近真人 80.09，但阿萨姆泰卢固掉到 52.5，远低于真人 72.14，说明罕见组合仍是边界。情感 6 风格在 Rasa 测试集上得分 82.3 到 85.2 进入优秀区间，但仍低于真人 91.1 到 93.0，代价是表现力上限尚未追平棚录真人。

每语言 10 小时是否足够，1 小时会发生什么？

消融要回答的问题是：固定直接微调，只把每语言数据从 100 小时降到 10 小时与 1 小时，哪些能力先丢失。公平条件是同结构同 150,000 步，只变数据量，指标同时看主观、说话人相似度与词错误率。下表为五列宽表，数值保留原文精度与原表头单位写法，词错误率越高越差，相似度越高越好。

表后解读先给主要结论再给反例。

10 小时每语言相对 100 小时主观仅从 64.3 降到 61.5，客观词错误率甚至略优，平均性能下降约 0.8%，说明关键涌现行为得以保留。1 小时则主观跌到 33.7，词错误率升到 59.4 与 60.4，可懂度崩塌，但说话人相似度仍在 92.7 与 93.5 高位。论文据此推测英语预训练可能已让模型隐式学会说话人特征表示，少量数据也能保住音色，但该解释属于有限解释，应表述为支持而非证明。

未评测边界是：该消融未报告 1 小时延长训练能否挽回可懂度，也未按语系拆分退化曲线，因此不能把 10 小时足够的结论推广到所有语系与口音。 与已有系统的对比放在同一节以检验外部有效性。问题是：在 Rasa 官方测试集的 8 语言上，IN-F5 相对 FastPitch、FastSpeech2 与 VoiceCraft 是否有可运行优势。下表保留 MUSHRA 均值加减置信区间、词错误率与说话人相似度，共五列含系统列。

表后要说明比较口径：IN-F5 以 80.5 进入优秀区间，比 VoiceCraft 高约 8 分，比 FastSpeech2 高约 14 分，说话人相似度 97.3 与真人 97.0 相当。但词错误率 19.2 仍略差于真人 18.4 与 FastPitch 的 18.0，说明自然度与音色优势不等于可懂度全面最优。未胜出项是真人仍以 91.8 领先，且该对比只覆盖 8 个语言，不能推广到全部 11 语言与零资源语言。

哪些结论还不能下，缺了什么验证？

首先区分 3 类表述。论文直接报告的是：直接微调总体最高、10 小时保留能力、零资源主观分布接近所选真人、情感进入优秀但低于棚录真人。这些有数字支持。有限解释的是：合成更干净所以超过自然环境真人、英语预训练隐式学会说话人特征。这些合理但未做因果验证，应保留为可能。

未验证推测是：发布 1 小时过滤数据就能解决零资源、混入英语在其他比例下也无益、所有印度口音都适用。这些都还需补验证。 具体限制有四点。第一，录音棚差距仍大，多语棚录自然度与可懂度落后真人约 12 分与 9 分，说明高标准场景未达人水平。第二，码混尾部组合与图鲁语长尾坏例表明罕见语言对与低质量文本仍需人工过滤，自动化率未报告。

第三，统计口径只给 MUSHRA 的 95% 置信区间最小 0.8 平均 2.0 最大 3.2，没有给出显著性检验与听众间一致性，跨语言均值比较需谨慎。第四，成本与延迟缺失：32 张 H100 微调成本、推理步数、实时率与显存均未报告，不能承诺部署更便宜或更快。 资源状态也要如实说明。本次收到的证据中没有发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开。

论文提到将发布校验后的零资源样本，但在本次证据下只能写本次未能确认可达，复现应先按公开数据集与自述超参数重建，而不是等待权重下载。

要复现应先做什么，按什么顺序核对？

复现的第一步是重建数据与划分。按 IndicTTS、LIMMITS、Rasa、谷歌众包与 IndicVoices-R 的组合准备 1417 小时，留出 1100 条均衡测试集，记录每语言时长与说话人是否在训练中出现。若拿不到完全相同的修复版数据，应先用 10 小时每语言的子集跑通链路，再扩展到 100 小时，因为论文显示 10 小时已能保留主要行为，适合低成本验证。 第二步是重建词表与初始化。用 685 字符覆盖 11 种文字，新嵌入从英语 checkpoint 已有嵌入中随机采样初始化，全参数以 5 乘 10 的负 5 次方微调，梅尔 100 通道、24 千赫、帧移 256、窗 1024，预热 48,000 步、裁剪 1.0、最多 150,000 步。

先跑直接微调一条，再平行跑从零训练与混入英语，注意混入英语为等量混合，避免因比例不同引入不公平。 第三步是重建评估。主观侧用无参考 MUSHRA 变体加 MUSHRA-S 与 MUSHRA-I 3 套量表，每语言找母语听众，每人至少 30 条；客观侧用 IndicConformer 算词错误率、用 WavLM 余弦算说话人相似度。核对时必须把数据集、模型、阶段、指标、单位与聚合对象六项对齐，百分点与相对百分比不能混用，不同指标差值不能并列。

零资源侧先复用卡纳达文字做图鲁语、天城体做博杰普尔语，固定提示说话人，再请母语者校验，不跳过人工过滤就报分。

何时值得尝试直接微调，何时不要？

综合所有证据，可以给出可操作的判断。当你已有英语大模型 checkpoint、目标语言文字已在训练文字集中出现或有相近文字可借用、每语言能凑到约 10 小时配对语音时，优先尝试直接微调而不是继续混入大量英语，因为论文在 11 语言上显示直接微调总体更高且更省数据。当你只有 1 小时时，可以期待保住音色相似度，但要接受可懂度大跌，需通过延长训练、增加文本多样性或人工筛选来补救，不能直接上线。

当目标是录音棚级有声书与新闻播报，或罕见码混组合占比较高时，不要把自然环境下的高分当作已达标，应以棚录真人为基线补测，并预留母语校验预算。当目标是真正零资源语言时，可把跨文字迁移加合成再过滤作为冷启动，但必须报告过滤率与坏例分布，而不是只报中位数与均值。 回到中心矛盾：英语基础模型可以作为印度语的可扩展先验，但扩展的边界由文字覆盖、数据量与评估条件共同决定。

直接微调的胜利不是证明英语知识万能，而是证明在严格预算下，减少分布牵引比持续保留英语更有效。下一步最值得补的验证是公开可运行的评估集与推理成本，以及在更多语系与口音上的分语言曲线，只有补齐这两项，涌现能力的说法才能从接近真人走向可用系统。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总