📄 用词典发音管住合成语音：爱尔兰语低资源 TTS 怎么做
英文题目：Pronunciation-Supervised Text-to-Speech for Irish (Gaeilge)
评分：7.0/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- William Lane：Laneguage
📌 核心摘要
爱尔兰语文本到语音的输入是爱尔兰语正字法文本，输出是24 kHz语音波形，难点是正字法与读音对应不透明且有首辅音弱化与蚀变等形态音变，可用transcribed语音仅约13小时且多为学习者朗读。论文先把大型预训练语音合成模型在单一匿名声音标签下做全量参数微调，将202人语音汇成人口平均声音以满足匿名测试。再把英语维基词典转储的发音记录整理成带方言标记的词典，用词典查表所得银标签训练音素评价器，该评价器读取合成语音并输出相对规范读音的音素错误率。然后用该评价器做拒绝微调，对同一提示采样多个候选，只保留打分最好的样本再做一轮适配器微调，前一步的合成语音经筛选成为下一步的训练数据。在跨语料FLEURS-223文本上以语音识别字符错误率衡量，宽适配三采样均值0.225低于从零训练的0.397和零样本克隆的0.437，数值越低越好。在同一FLEURS-223跨语料评测下以字符错误率衡量，评价器筛选再训练后三采样均值从0.225降至0.159，域内对应值降至0.067，质量代理指标不变且仍通过全人口匿名测试。结论限于机器指标而母语听感尚未验证，229/12311的语料构成使方言转向不可行，训练与推理成本原文只给出模型规模与单卡类型，未披露完整时长与费用。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
爱尔兰语合成要解决什么输入输出问题
任务输入是一句爱尔兰语书面文本，目标输出是 24 kHz 可播放的语音波形，且必须保留文本的词义、元音长短和词首辅音变化带来的读音。爱尔兰语正字法深，拼写不能直接决定读音，还有 3 种主要方言 Ulster、Connacht 和 Munster，以及 lenition 和 eclipsis 这类按语法环境改变词首辅音的突变，只照字母读会错掉大量常用词。
可用的转写语音很少，本文训练只用众包 Common Voice 爱尔兰语清洗后的 12311 段共 12.84 小时，来自 202 个说话人，很多是学习者录音。评估则固定用另外的 FLEURS 和 FLEURS-R 爱尔兰语做跨语料测试，保证说话人与训练不重叠。读者复述时要抓住输入是文本加一个匿名音色标签，输出是波形，评价看合成语音能否被识别回原文以及发音是否贴合词典。
已有路线为什么不能直接拿来用
都柏林 ABAIR 路线是用自采约 40 小时录音室和田野录音训练多方言 FastPitch 加 HiFi-GAN，并配有方言发音规则，但那些录音不是公开产物，小团队无法复制。大型预训练 TTS 中当时只有 Qwen3-TTS 是 Apache-2.0 且达到前沿水平，但它预训练的 10 种语言不含爱尔兰语，XTTS-v2 和 MMS 则带非商业条款。
已有低资源适配多是目标语言已在预训练中见过，或只做 LoRA 和适配器微调，本文不同在目标语言完全没见过，还要求声音匿名而非克隆某人。发音评分传统来自计算机辅助发音训练的优度评价，本文把它反过来用：只用词典读音训练评分器，再拿它去选数据和审语料，而不是请人打偏好分或依赖爱尔兰语强 ASR。
论文把词典当奖励模型要回答什么
核心问题是录音少但发音文献多时，能否把静态词典变成验证器来改进生成。普通语音对齐需要人工偏好或目标语言强 ASR，而很多低资源语言两者都没有，却往往有发音词典。论文把词典编译成词表和发音评价模型，在音素层面给合成语音打分、选训练样本、审计语料方言构成。
作者事先限定了期望：作为选择器它与 ASR 选择打平而非更好，它的独特价值是不需要目标语言 ASR 就能直接量发音和方言。后文 4 个检验分别是能否适配出匿名声音、评价模型能否量准并发音改进、相对 ASR 选择是否更好、能否转向少数方言，每项都只认机器测量，不认主观自然度。
全文方法按一个句子走通是什么样子
拿一句测试文本为例，先由适配好的 Qwen3-TTS 在温度采样下生成 4 条不同波形，每条波形同时送给发音评价模型和爱尔兰语 ASR。评价模型把波形听成音素串，与词典中该句的典型读音比较得到音素错误率，再与其他方言读音比较得到方言边距，ASR 则把波形听写成文字得到字符错误率用于拦截完全听不懂的样本。
每句只留综合奖励最高且边距过门限的一条，250 句中共留下 84 段，再用这 84 段给基础声音加一个 rank-16 的 LoRA 做 3 轮微调，声音标签不变。同一评价模型还被用来给全部 12311 段真实训练语音逐段判定更接近哪个方言，从而数出语料的方言分布，解释转向实验为何失败。
词典和发音评价模型各自做什么
词典从英文 Wiktionary 经 kaikki.org 转储整理而来，无需机构合作，共 11532 个词有国际音标，Ulster 有 9253 条转写，Munster 有 6545 条，Connacht 有 5473 条，其中子方言标签已归并到所属大方言组，4354 个词形在方言间读音不同。这类可诊断方言的词占实际语料 token 的 33%，整体 token 覆盖率 82%。执行上先按词查表获得方言条件读音，再统计覆盖与诊断比例以摸清语料构成，而不是直接把词典当作逐词发音标注源。直接在词典上训练的方言条件字音转换模型在未见词上音素错误率高达 0.51，说明转写变体太大不能当标注源，只作辅助。
在分工上词典负责提供可查的典型读音集合与方言对照，字音转换模型只负责检验词典变体的泛化难度，真正的训练标签仍由查表直接给出，三者不互相替代。先建词典再做覆盖统计再定标签来源，这一顺序保证了后续评价器只在词典能覆盖的范围内发言。
词典 × 发音评价模型： 词典指从 Wiktionary 整理出的带方言标注的词与国际音标对照表，它只提供应该怎么读的文字知识；发音评价模型指在词典查到的银标签上训练出的 wav2vec2-XLS-R 音素识别器，它把一段波形听成音素串并与标准读音比较得到音素错误率，二者搭配后静态文字知识就变成能给每段合成语音打分的验证器。
真正的银标签直接查词典得到，未登录词占 15% 的 token 直接跳过，诊断词汇按构造均在词典内，因此方言判定不受未登录词缺失影响。发音评价模型是在这些银标签上微调的 wav2vec2-XLS-R 300M 的 CTC 音素识别器，在未见说话人上音素错误率 0.164。它给系统排序的结果是 Broad SFT 为 0.226，Matcha REG 为 0.305，Matcha 300k 为 0.324，零样本克隆为 0.545，顺序与 ASR 排序一致但不重复，因为克隆在音质代理 DNSMOS 上最高而发音最差。
该音素错误率量表与表 1 的字符错误率量表不可直接比较，它量的是与典型读音的音素偏离，而字符错误率量的是转写词形差异，两者分工不同。图 2 按此口径比较发音保真度，图 3 用 1000 个采样中的两个相反案例说明不对称性：一个发音基本典型但 ASR 把 cearr 误作另一实词，字符错误率记为失败；另一个 ASR 转写近乎完美但元音长短与音质已偏离典型音素，字符错误率看不见。
执行上是先冻结银标签训练评价器，再用留出说话人检验泛化，然后才让它给各系统打分排序，最后才与 ASR 排序对照，这样发音维度的独立信息才不会被转写维度的成败掩盖。
发音评价模型 × ASR 字符错误率： 发音评价模型量的是发出的音与词典标准音素差多远，ASR 字符错误率量的是合成语音被爱尔兰语识别器听写成文字后与目标文本差多远，前者看发音细节后者看整句可懂度，本文同时用两者才能发现发音准但被听错词以及听写对但元音长短漂移这两类相反错误。
关键的仪器校验是让评价模型按单一典型读音打分，Gaeltacht 母语者在留出数据上得 0.61，远差于无标注说话人的 0.23，说明它量的是向标准 leaning 的典型读音靠拢，不是母语地道程度。因此后续奖励必须用方言匹配的典型读音，而不能用母语区间做验证门。这一步是在把评价器交给筛选之前先暴露其标准读音偏置，若留到奖励之后再发现，代价会大得多。换言之，校验先行、筛选在后，方言匹配的打分口径先定，拒绝采样与奖励计算才能在其后展开，这正是把词典当作可审计验证器使用的完整链条。
择优奖励把发音和可懂度怎么合并
每个候选先由评价模型解码一次，与该句典型读音比较得到目标音素错误率，再与其他方言典型读音比较得到边距，同时用 ASR 字符错误率做拦截。当 ASR 字符错误率超过 0.35 时加 1.0 惩罚，实际等于拒收，因为正常奖励量级在 -0.1 左右。每句 4 个候选中奖励最高且边距高于 -0.05 者被保留。
\[\mathrm{reward}\;=\;-\mathrm{PER}_{\mathrm{target}}\;+\;0.5\,\mathrm{margin},\]\[\mathrm{margin}\;=\;\min_{d}\mathrm{PER}_{d}\;-\;\mathrm{PER}_{\mathrm{target}}.\]典型读音 × 方言边距： 典型读音指对当前句子按通用词典查到的标准音素串，方言边距指该句子在目标方言读音下的错误率与其他方言读音下最小错误率之差，它衡量这段发音在多大程度上更像目标方言而不是别的方言，奖励把两者组合就是既要读得准又要方言倾向明确。
指定轮按通用典型词典打分，方言转向实验则改按单一 Ulster 或 Munster 典型打分。采样用温度 1.0 给 talker 和 sub-talker 各抽四次，提示集固定为 200 句诊断集加 50 句训练转写中等距抽样，共 1000 段候选。
预训练模型怎样被修好并适配成匿名声音
基座是 Qwen3-TTS 1.7B 做零样本和 0.6B 做微调，目标是单个匿名声音 Glór Nua。做法是全量 202 人共用一个声音标签 ga_blend_m1，说话人槽固定为捐献者参考嵌入的均值。厂商微调脚本有两个实现缺陷：codec 标签已预移位而 Transformers 损失又移一次，导致 talker 被训练到超前 2 帧，且 sub-talker 的监督把本帧全部 16 组码本嵌入求和后的隐状态去预测本帧码，输入里已含有目标，属泄漏。
宽适配 × 拒绝微调： 宽适配指把 Qwen3-TTS 0.6B 放在全部 12311 段语音上用一个声音标签做监督微调，得到能说爱尔兰语的基础声音 Glór Nua；拒绝微调指从这个基础声音采样多个候选只留下验证器打分最高的 84 段再做一次 LoRA 微调，前者解决从无到有会说，后者把平均输出推向自己最好的那几次表现。
群体声音 × 小捐献者混合： 小捐献者混合指只取 3 个说话人做音色平均，群体声音指把 202 个训练说话人全部放在同一个声音标签下训练，前者仍会塌缩到某一个捐献者因而不匿名，后者靠人群平均才通过最近说话人相似度测试，匿名在这里是训练数据规模带来的属性而不是简单混音技巧。
修正后用学习率 1e-5 而非默认 2e-5 训练 3 轮，batch 为 2 乘 4 累积，bf16，在单块 RTX PRO 6000 上完成。拒绝微调轮则在适配后第二轮检查点上加 LoRA r=16、alpha=32，可训练 11,900,000 参数，学习率 1e-4，同样 3 轮。纯贪心解码会塌缩到 1024 token 上限的静音，评估必须用温度 0.9、top-k 50、top-p 1.0、重复惩罚 1.05 的采样默认。
评测在什么条件下比较才算数
主评测集是冻结且说话人不重叠的 common-80、FLEURS-223、域内 400 句、FLEURS 训练转写 200 句，外加段落级长文本和 16 句门控短语。主打分器是微调过的爱尔兰语 Whisper，它与训练语料有重叠只能用于排序，绝对值另用独立的 Blas-IE 做无语言模型的贪心 CTC 交叉验证。同一打分器在真实语音上的下限是 common-80 为 0.054、FLEURS-223 为 0.096，绝对值与打分器有关，只能做同打分器内比较。
headline 数字是 3 次采样的均值并带配对自助置信区间，跑到上限的极少数直接计入而非丢弃。母语听感、自然度和方言地道性都不在本文声称范围内，挑战集已固定 29 项覆盖长音符号、lenition、eclipsis、宽窄音、数字人名和语码切换，要求评注者 kappa 不低于 0.6，但招募尚未完成。
适配相对从零训练和零样本克隆好多少
先看跨语料可懂度这个主问题，比较条件是同一主打分器、同一 FLEURS-223 集合、字符错误率越低越好，表前三者是实际可运行的对照，指定系统是 3 次采样均值。宽适配 Broad SFT 在 common-80 为 0.102、FLEURS-223 为 0.225，通过匿名测试，而从零训练的 Matcha REG 为 0.216 和 0.397，零样本克隆为 0.317 和 0.437 且属于克隆他人不可产品化。用 106 分钟干净小混合做的 LoRA 在跨语料上为 0.117 和 0.226，几乎追平 12.8 小时全量微调，说明小干净数据上适配器正则约等于 7 倍数据量。
| System | common-80 | FLEURS-223 | Anon. |
|---|---|---|---|
| Matcha REG | 0.216 | 0.397 | fixed |
| Broad SFT (3-draw) | 0.102 | 0.225 | PASS |
| + verifier-RAFT | 0.067 | 0.159 | PASS |
上表是最终系统在两种评测集上的 ASR 字符错误率与匿名结论，数值越低可懂度越高，匿名列中 PASS 为通过人群测试而 FAIL 为塌缩到捐献者。指定系统加一轮验证器拒绝微调后达到 0.067 和 0.159 且仍匿名，这是全文 headline。代价是训练仍需纠正厂商脚本，且零样本在短提示上有 2/277 跑到上限的不稳定。
下图把同一跨语料差距画成横条，适配而不是继续调从零配方才是跨过鸿沟的原因。
读图时关注绿色基线与橙色适配的落差，以及蓝色指定系统进一步缩短的幅度。
看图路径： 1. 先看横轴 ASR CER 越短越好，对比五条横条的长度顺序；2. 再看 Broad SFT 相对两个绿色基线缩短了多少；3. 最后看蓝色指定系统相对 Broad SFT 又缩短了多少
论文图 1。原论文 Figure 1:：“Cross-corpus intelligibility by system. Adaptation, not further tuning of the from-scratch recipe, closes the gap.”。
图中可见 Matcha REG 0.397 和零样本克隆 0.437 的长条，Broad SFT 0.225 和 106 分钟 LoRA 0.226 的中条，以及验证器拒绝微调后 0.159 的短条。该图只讲可懂度，不讲音质和匿名，音质最好的克隆恰是可懂度最差者之一。
发音评价模型看到了 ASR 看不到的什么
在 common-80 上按评价模型的音素错误率排序，Broad SFT 为 0.226，已优于真实众包语音参考的 0.287，更远优于 Matcha REG 的 0.305 和零样本克隆的 0.545。该尺度与表 1 的字符错误率不可比，但它把音质代理排最高的克隆判为发音最差，起到独立审计作用。
读图时先确认纵列是不同系统，横条是音素错误率，再体会克隆与其他系统的巨大落差。
看图路径： 1. 先看横轴是评价模型听到的音素错误率，越短越好；2. 对比零样本克隆排在最长而 Broad SFT 最短；3. 注意真实语音参考也排在中间，说明该尺度不是可懂度
论文图 2。原论文 Figure 2:：“Pronunciation fidelity as heard by the critic. ASR-based scoring alone does not separate these systems this way.”。
图中零样本克隆 0.545 一枝独长，Matcha 300k 0.324、Matcha REG 0.305、真实语音 0.287 居中，Broad SFT 0.226 最短。这支持适配真正改善了发音，而非只改善了识别器好听写的表层。
两个打分器在 1000 段候选中各有约 150 段只被一方判好，中位数划分下四象限为都好 351、都坏 347、仅评价模型好 153、仅 ASR 好 149，相关仅 0.097，250 句中仅 137 句双方选出同一最佳，说明两者失败在不同片段上。论文举出 cearr 被 ASR 听成 ceithre 但发音基本典型，以及听写近全对但元音长短漂移 2 例，论证需要音素级验证器。
方言在数据里是什么分布因而转不动
基础声音在诊断句上已有 86% 判为最接近 Munster 典型，仅 5% 接近 Ulster，一轮拒绝微调后 Munster 升到 89%，属多数方言放大器。偏好优化 DPO 完全不改变方言，因为 1000 段策略样本中仅 25 段实现 Ulster 倾向音素，正负例差的主要是清晰度而无系统方言对比。用评价模型找到的真实 Ulster 倾向片段做适配器微调则只降质不转向。
下表整理评价模型对全量训练语料的挖掘结果，比较问题是现有开放语料能否支撑少数口音，指标是每段更接近哪个方言典型的计数。
| 条件 | 指标 | Munster 倾向 | Connacht 倾向 | Ulster 倾向 | 总数 |
|---|---|---|---|---|---|
| 训练语料挖掘 | 倾向片段数 | 8451 | 593 | 229 | 12311 |
上表显示 8451 段偏 Munster，仅 593 段偏 Connacht、229 段偏 Ulster 且其中 185 段强倾向来自 61 个说话人，占 69% 多数倾向，原料上就差约 40 倍。策略样本中目标实现仅 2.5% 进一步卡死选择，3 种转向机制失败是资源缺口而非算法没调好。
读图时看蓝色 Munster 条占绝对多数，红色 Ulster 条几乎看不见。
看图路径： 1. 先看蓝色 Munster 倾向条远长于其他条；2. 再看灰色无明显倾向与绿色、红色小条的相对长度；3. 结合总数 12311 理解少数口音原料有多薄
论文图 7。原论文 Figure 7:：“Dialect lean of the real training corpus, as mined by the critic. Figure 6 is explained by this distribution.”。
图中 Munster 倾向 8451、无明确倾向约 3000、Connacht 倾向约数百、Ulster 倾向最短，与转向失败的图 6 中 Munster 份额始终不降相互解释。
选择本身和选用的信号各贡献多少
消融固定同一 1000 段候选池和 84 段配对训练，比较不做拒绝微调、随机选 84 段、评价模型选、ASR 字符错误率选四臂，指标都是 FLEURS-223 字符错误率越低越好。下图说明选择这个动作是最大效应，信号差异是其次。 读图时自上而下看基线、随机、两种强信号的阶梯下降。
看图路径： 1. 从上到下看不做选择、随机选、评价模型选、ASR 选四条；2. 比较随机选相对基线的下降与两种强信号相对随机的下降；3. 记住该图纵向比较的是同一批 84 段配对实验
论文图 4。原论文 Figure 4:：“Selection-signal ablation (matched 84-clip arms from one sample pool). Selection matters more than which strong signal selects.”。
图中基线 0.222 降到随机 0.197，再降到评价模型选 0.153 和 ASR 选 0.133。ASR 选在同族指标上占优部分因它直接优化了评分指标，换到独立 Blas-IE 打分器下两者打平为 0.172 对 0.175 且差异不显著，而评价模型选保留最好音素保真度 0.056 对 0.059，随机为 0.081。
下表是同一实验的数字对照，比较问题是哪种信号更值得作为通用选择器。
| 条件 | 指标 | 无拒绝微调 | 随机选择 | 评价模型选择 | ASR 选择 |
|---|---|---|---|---|---|
| 同池 84 段 | FLEURS-223 CER | 0.222 | 0.197 | 0.153 | 0.133 |
表后要强调限制：评价模型不声称是更好的通用选择器，它的贡献是独立于 ASR 家族直接量发音，并能做方言分析和语料挖掘。第二轮拒绝微调无变化，说明模型自身样本已近验证器天花板，可选的干净变异被耗尽。
哪些结论出界了以及匿名测试的边界
本文不做自然度、可接受度和方言地道性声称，因为母语听评尚未执行。评价模型未经人发音判断验证，它的分数只是与词典的符合度，且银标签受覆盖率和转写变异限制，典型读音偏标准。Common Voice 爱尔兰语偏学习者口音，模型继承该偏斜，评价模型不能纠正母语性。
匿名方面三捐献者混合相似度 0.88 到 0.90 高于门限 0.82 而判失败，202 人群体声音 0.87 到 0.88 低于人群门限 0.93 而判通过，但两测试比较集不同、门限不同，且只用单一说话人嵌入模型和单一协议，只能算证据而非保证。早期一条在不可懂语音上测得的通过记录已被撤回，门限只报在可懂语音上。
复现第一步做什么以及要准备什么
先按附录 A 的教师强制对齐探针验证修正后的训练器，再跑适配，不要直接用厂商默认脚本和 2e-5 学习率。数据用 Common Voice Irish 27.0 经硬检查后的 12311 段，评估集冻结且说话人不重叠，解码必须用采样默认而非贪心， headline 取 3 次采样均值。词典从带哈希的 Wiktionary 转储经 kaikki.org 构建，方言子标签映射到三大组，诊断词表和每段打分随代码发布。
权利上训练音频不重分发，FLEURS 仅作评估，词典及诊断词表按 CC BY-SA 署名，指定声音 Glór Nua 按 Apache-2.0 发布而小捐献者混合故意不发布。每次运行记录厂商提交、数据清单哈希、种子和完整配置，拒绝微调采样种子 1234、训练种子 42 并在 777 上重复。
什么时候值得试以及还缺哪项验证
当目标语言录音极少但有词典或方言读音描写，且能接受先做通用匿名声音而非马上做少数口音时，值得按先建词典、再验证评价模型为仪器、先挖语料方言构成、最后花优化的顺序尝试。本文证据是跨语料从 0.225 到 0.159、域内从 0.090 到 0.059 且音质代理不变、匿名仍通过，并在独立打分器下复现排序。
还缺母语听评这道门，包括 29 项挑战集上长音符号和突变词首的接受度，以及方言真实性判断。少数口音需要定向征得同意的新录音，而不是更好优化。容易误解的是把 0.159 当绝对水平，它随打分器而变，只能在同管线内比较；把评价模型分低当不地道也是错的，它只是不贴合标准典型，母语者按单典型打分反而更高。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses