不录音也能装上读音开关：用模型自己的声音教它读重音

英文题目：Self-Distilled Pronunciation and Accent Control for Neural Text-to-Speech

标签：#文本到语音 | #知识蒸馏 | #语音 | #韵律 | #主观评测

评分：8.1/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Shuhei Kato：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

端到端文本到语音以原始文本为输入直接生成波形，日语场景下不仅要读对罕见汉字与专有名词的音节，还须实现决定词义的词典性音高重音，模型无词典时只能猜读。作者先用公共前端为基座已能读对的常用词构造含标记的改写输入，再以冻结基座对原始载体句的自合成输出为教师做蒸馏，从而安装同时携带读音与重音的显式通道，学生输入的标记句直接以该自合成波形为目标。推理时注册表按词素边界自动匹配已登记词形并包裹标记，且将后续屈折后缀吸入包裹以避免标记紧贴未转换正字法，实现一次注册全局生效。与依赖录音训练的UtterTune及单字闭式编辑不同，该机制教师完全来自模型自身，无需录音对，控制随词典扩展而泛化到未见词。在50词未见难词听音评测条件下，标记方法的重音实现准确率为0.89，高于plain kana对照的重音实现准确率0.57。同一听音协议下自然度非劣效在调参基座上成立，未调参迁移的另三个基座则出现可听代价。该结论适用边界受限于日语、4名听音人与单一调参配方直接迁移，跨语言与跨范式泛化尚未验证。训练成本仅为单卡消费者硬件上约1小时的低秩适配，不触及合成流水线，部署后按词典路由即可复用。

🔗 开源与复现资源

• 代码相关资源：https://github.com/r9y9/pyopenjtalk — 链接可访问（HTTP 200）

• 模型相关资源：https://huggingface.co/Aratako/ → https://huggingface.co/Aratako — 链接可访问（HTTP 200）

• 数据相关资源：https://huggingface.co/datasets/ → https://huggingface.co/datasets — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

输入是一句原始日语文本，里面可能含有模型没见过的汉字词、人名或领域术语，目标是让合成语音按词典规定的读音和声调说出这个词。本文要解决的不是音质或音色，而是可指定性：端到端模型直接从文字猜发音，遇到生僻写法只能猜，读错声调还会让听者去词典里找一个根本没说的词。读完这篇解读，你应当能复述三件事：第一，训练对是什么，即带标签的学生输入对应哪个教师波形；第二，部署时如何注册 1 次、后续自动改写。

第三，实验在什么条件下比较了什么基线，主结果的数字与代价各是什么。证据范围是论文正文与公开资源状态，资源核查显示代码地址、模型地址与数据集地址当前可用，但这只说明链接可达，不代表复现所需全部权重与脚本已经齐备。本文不引入外部日语语音学新知识，教学举例会明确标为例子。

已有路线为什么还要付录音的代价？

传统级联合成在合成前查词典解决读音，未登录词加一条词典即可。端到端模型丢掉了显式的字音转换前端，读音控制就成了问题。论文把已有工作分成 3 类。第一类是在训练中混入读音输入，例如发音修复或音素文本混合输入，这类控制只在基座训练时见过读音标注的位置有效，发布后的模型拿不到。

第二类是给发布后模型加录音训练的读音声调通道，代表是需要一万五千多对手工校对录音对的适配器，以及需要约 4000 小时监督微调的另一系统，代价是录音与标注。第 3 类是免训练的单次改词，例如用闭式权重编辑改一个词，或把纠正存成文本嵌入扰动，它们 1 次只改一个词且需要外部给出的范例音频或国际音标合成。

本文与第 3 类的区别是注册 1 次即可全局生效，与前两类的区别是训练不使用任何录音、人工标注与语料，只用一个文本词表和公开前端。论文明确声明不对低秩适配与音素模式标签本身声称新颖性，也不声称语言无关，不测句子级字错率，不做同音词消歧。

日语读音控制难在哪里？

日语的难分两层。第一层是分段读音，即汉字对应哪几个莫拉，用例子说就是同一个汉字在不同词里读法不同，模型靠猜会读错。第二层是音调，即哪个莫拉之后音高下落，称为声调核。论文采用的记法遵循日本电子信息技术产业协会标准，用撇号标下落位置，用斜杠标语调短语边界，无标记表示平板型。关键点是普通假名写不出声调，基座把撇号当标点而非声调核，因此即使把读音写成假名，声调仍然不可指定。

另一难点是尾高型，其下落发生在后接助词上，孤立念词时听不到，所以训练载体句必须在目标词后放助词。理解这两层，就能理解为什么论文要同时传读音和声调，以及为什么评价要分开测读音命中与声调实现。

整体想法：让会说的句子教会有标签的句子

方法全景可以用一个样本走完。设目标词是一个基座已经读对的常见词，记为常见词，包含它的自然载体句用普通写法写出。用冻结的基座合成这句载体句，得到的波形就是教师，它一定包含正确的读音与自然的声调。学生输入是同一句话，只是把常见词替换成带标签的重音假名写法。训练对就是带标签输入映射到无标签教师波形。

因为两侧描述的是同一句话，模型要改变的只是学会尊重标签给出的读音与声调，其他内容保持不变。这就是自蒸馏：教师不是录音，而是模型自己。论文强调新的是这个训练对，不是适配器或标签。

自蒸馏 × 读音与声调控制通道： 自蒸馏负责提供监督来源：用冻结基座对普通写法载体句的自身合成做目标；读音与声调控制通道负责提供可调用的输入接口：带重音标记的假名被标签包裹。只有把同一句话的两种写法配成 1 对，模型才能学会听到标签就复现教师的发音而其他部分不变，组合的意义是把已会说的能力变成可指定的能力。

按此思路，部署时只需把生僻词注册成带声调的读法，推理时把句子中命中的词改写成训练见过的标签形式，模型就会按注册读法说。整个过程不需要录音，不需要人工标注语料，读音来自公开字音转换前端。

控制信号长什么样？标签与记号各自管什么？

控制信号是对目标词的替换写法。在输入文本中，目标词被替换为起始标签、重音假名、结束标签包裹的区间。不同基座只改标签拼写，语义相同。撇号标声调核，即音高在哪个莫拉后下落，斜杠标语调短语边界，无标记为平板。白话说，假名解决说什么莫拉，撇号与斜杠解决怎么起伏，标签解决从哪里开始按指定读法说、到哪里结束。对初学者，英文名可记为发音起止标签。

标签包裹输入 × 冻结合成栈： 标签包裹输入负责在文本侧划出需要按指定读法说的区间，分工是定位与传参；冻结合成栈负责把声学与音色生成保持原样，分工是保真与保音色。搭配理由是只动语言模型侧的低秩适配与标签嵌入，声码器与声学流不动，新增作用是控制只改变读法而不重塑声音。

实现上有三处细节。第一，标签嵌入的处理因分词器而异，有的基座自带这两个标签，有的需要新增两行嵌入，有的分词器会把标签字符串切成 6 个子词导致被读出来，此时借用保留的未使用符号位做定界符，避免扩大词表。第二，重音撇号本身已是常用符号，无需新增。第三，训练时标签总是包裹完整的前端切分单元，含屈折变化，这决定了部署改写必须遵守同样的包裹方式，否则就是训练未见序列。

注册一次如何自动生效？路由器分三步做什么？

部署系统维护一个注册表，把词的表层形式映射到带声调的读法，可以存读音加声调序号，也可以直接存带标记的假名。合成时路由器先对整句跑公开前端，再在词素边界上匹配已注册的表层形。匹配后分 3 步处理。第一步只包裹命中的区间并带上该词条的读法；第二步若前端把后缀粘在词后，则把后缀一起吸入标签内，保证标签不紧贴未转换的原文。

第 3 步若没有任何注册词与词素边界对齐，则回退到未编辑基座并记录本次未触发。第二步是关键，论文报告若把词干包住而把屈折留在外面，模型会遇到训练没见过的内外混排而在重复莫拉上循环。

注册表路由器 × 词素边界匹配： 注册表路由器负责在合成时决定是否加标签，分工是查词与改写输入；词素边界匹配负责决定在哪里加，分工是防止切错词干与后缀。搭配理由是训练时标签总是包裹完整前端切分单元，若推理时把后缀留在标签外就会遇到未见过的序列而循环，组合意义是注册 1 次、后续自动生效且不破坏训练分布。

与逐词编辑器相比，这里不需要每句手写标记，不需要重训，也不需要每个词提供范例音频。注册 1 次后，该词在任何句子出现都会被同样纠正，声调一并纠正。

教师怎么造？文本集与适配参数如何安排？

训练的计算对象是配对数据与小参数更新。文本集包含 533 个词乘以每词 10 个载体句，在语义域、莫拉首辅音行与 4 种声调类型上均衡，并刻意过采样最难的尾高型到约 15%，为此还增补了身体与人物词域。与评测词表按表层与规范化读音去重，删去 50 个冲突词，保证训练与评测词汇不相交。

教师生成不统一：在两个基座上每词用 10 个载体、保留首个通过退化守卫的合成，不做精选，事后用语音识别抽查目标读音命中率分别为 0.84 与 0.89，每种各有 10 个与 15 个词所有采取都读错但仍保留；在另两个基座上每词用 4 个载体、保留与前端读音字错率最低的采取并设阈值剔除，剔除比例与阈值原文有载。

载体句教师 × 低秩适配： 载体句教师负责定义学什么：常见词所在自然句的自身合成波形；低秩适配负责定义怎么装：只更新查询键值输出投影与标签嵌入行。搭配原因是教师与学生描述同一句话，梯度只需建立标签到已有发音的映射，组合后 1 小时单卡即可装好且不触动合成能力。

参数更新处处冻结，只动秩 16 低秩适配作用于查询键值输出投影，外加标签的两行嵌入，总量不足 0.5%，声学流与声码器从不触碰，约 1 小时单张消费级显卡完成。说话人进入位置决定通道是否与音色耦合：能纯文本生成语义符号的基座教师不带说话人，适配后由参考音频在推理时供给音色；必须拼接说话人嵌入与提示语音才能合成的基座，每个教师都带某个合成音色，因此教师音色多样性成为变量，论文用一到 5 到 20 个合成音色的对照来定位代价。

在什么骨干、什么词、什么声音下比较？

实验覆盖 4 种骨干，跨生成范式、编解码与分词器：自回归大语言模型类的两个系统、扩散类的一个系统、编码器解码器类的一个系统。配方在第一个系统上开发，其余 3 个不做针对调参直接迁移，教师提示与采取选择按骨干如实不同。评测词分 3 套。听辨用的 50 词难集，其语音识别分数在开发中见过故不报读音分，声调结果此前无听感判断故不存在调参。自然度用 50 词易集，即基座本来就读对的词，保证编辑不改变听到的词，只比较说法是否自然。

读音大集来自常用汉字读音基准，保留公开词典前端读错的全部条目，再去掉与训练词表冲突者并经前端回读校验，不做抽样，最终 424 条。为避免在测试集上选模型，按词读音连通图切成 105 条选择半与 319 条测试半，其中一个骨干的 4 个候选适配器只在选择半上挑选。所有测试半与听感刺激统一在 42 个按哈希预先分配的保留说话人下合成，这些说话人未出现在任何训练与教师阶段，保证跨列可比。

读音用假名约束的语音识别做规范化命中只跑一遍，自然度用成对偏好而非绝对分，声调由筛选后评分者按耳朵判断是否实现规定声调。

读音能到未见词吗？与不改和纯假名比差多少？

要回答的核心问题是标签通道是否到达训练没见过的词，以及相对两个可运行对照的损益：不改原文与写成纯假名。纯假名是同骨干上的音素级输入基线，它能传读音但传不了声调。评价条件一致：同一 319 词测试半、同一 42 声音、同一退化守卫、同一遍识别。指标方向是目标读音命中率越高越好。下表整理 4 个骨干的命中率与标签相对纯假名的差值与检验，差值取自原文报告的绝对比例，括号为聚类自助区间与精确检验值。

读表可得两层结论。相对不改原文，论文报告标签增益为 +0.310、+0.470、+0.251 和 +0.354，区间远离零，说明通道在 4 种范式都到达未见词。代价是相对纯假名，在 3 个骨干低 0.069–0.091，约 11 到 14 个词中多错 1 个，论文将其列为开放问题，仅在开发所用骨干上与纯假名无区分。未胜出项必须保留：纯假名在 3 个骨干仍是更准的读音写法，只是它表达不了声调。声音的影响也如实报告：同词同读音在不同声音下，标签的分歧率高于不改原文，说明控制引入了音色相关的波动。

声调真的被听见了吗？自然度付了多少？

声调必须用人耳判断，因为假名写不出声调。评分者经 19 题已知答案筛选，首考绑定，录取线 18 题，三十余人候选中录取 4 人，全程盲听随机排序，每格覆盖二十余个声音。指标是实现规定声调的词占比越高越好，自然度是未编辑减已编辑的偏好差，越低越偏向编辑侧无损。下表把声调与自然度放在同一条件框架下呈现，自然度边际为 0.15，非劣效要求差值上限低于该边际。

表后解释分两面。收益面是记号获得了基座原本没有的含义：在开发骨干上标签把规定声调实现到 0.89，而纯假名只有 0.57 且无 1 对获胜；相对不改的增益来自读对，剔除误读后声调持平，相对纯假名的增益纯粹来自声调。代价与反例同样具体：迁移到欢声系声调只有 0.66，远低于录音适配器的 0.96；在扩散骨干上与不改打平为 0.78。

自然度仅在开发骨干非劣效，其余三者编辑侧更不自然，且在读音相同的子集中结论不变，说明代价在说法而非选词。评分者一致性为弗莱斯卡帕 0.85，说明判断可复核。

零录音省了什么，丢了什么？教师音色为何关键？

第二个问题是零录音的代价。唯一有录音适配器可比的骨干上，免数据适配器在读音上落后 0.107，区间 -0.160 到 -0.056，声调上落后 0.30。论文把一个原因定位到教师的产生方式：能纯文本生成语义符号的基座教师不带说话人，而必须拼接说话人参考才能合成的基座每个教师都带某个声音，提示说话人的发音会被 baked 进目标。

只改变教师用音色数的对照显示，从一个合成音色到 5 个可提升选择半准确率，而二十相对 5 个无增益，因此正式用五音色版本，规则事先固定。退化守卫的反证也要交代：所有分支统一剔除过短、触顶、静音、过 quiet 与少于两莫拉或单莫拉重复 6 次以上的采取，只换种子取首个有效而非择优。开发骨干上标签首采退化率低于纯假名与不改，守卫前后准确率移动不足一个点，说明主结果不是靠挑采取撑起来的。

过 quiet 在个别骨干持续存在且重抽不愈，原文给出比例，复现时应单独监控响度而非只看字错率。

哪些结论不能推广？缺了哪些验证？

论文把边界写得很直白。第一，仅一种语言，4 名评分者，配方在一个骨干开发后不调参迁移，教师采取不均匀，这是已知的局限。第二，读音相对纯假名的差距在三者上显著，声调在扩散骨干未超过不改，自然度在迁移三者上未达非劣效，因此不能把总体趋势说成每组都成立。第三，未测句子级字错率，用退化率代替；未做同音词消歧。

未承诺延迟与成本改善，训练 1 小时是适配成本，推理开销与帧率需另测。第四，相关性不是因果：教师音色多样性与准确率同变支持耦合解释，但未做梯度路径的因果分离。缺失证据不是技术错误，复现时应把这些缺项当作待补验证，而非默认成立。

要复现，先准备什么，按什么顺序跑？

复现先做三件准备。第一，准备文本集与公开前端：533 词的载体句结构、尾高型后接助词、过采样比例，以及读音来自的公开日语前端与用于筛选采取的公开识别器。第二，固定声音与划分：42 个保留说话人按哈希预先分配，测试半 319 条与选择半 105 条按词读音图切分，训练与评测词汇不相交，教师阶段用过的声音不得流入评测。

第三，固定守卫与适配范围：统一的退化剔除规则、只换种子取首个有效、低秩秩 16 与缩放六十四、只更新查询键值输出投影与标签嵌入。运行顺序是先合成无标签载体教师并过守卫，再构造带标签学生输入配对训练适配器，再用注册表路由器在保留声音下合成评测集，最后分别跑识别命中、人工声调听辨与成对自然度偏好。资源状态核查为代码、模型与数据集链接当前可用，但适配权重受各骨干许可约束，需按原文发布的文本集、教师集、权重与脚本为准。

若换骨干，需先解决标签分词与说话人条件，预期读音可迁移而声调与自然度需重验。

何时值得试这个方法？一句话收束

当你的系统已经能说对常见词，只是缺一个可指定的读音声调入口，且付不起录音与标注时，这个自蒸馏通道值得试：它把已有的发音能力变成可调用的标签，用 1 小时小参数训练换来未见词的读音迁移与在开发骨干上的声调实现，且注册 1 次全局生效。但若你的基座必须带参考音频才能合成，要预留多音色教师的预算并接受相对录音方案约 0.1 的读音与 0.3 的声调差距。

若你在乎迁移后的自然度，要先在易集上做成对偏好检验，因为原文仅在一个骨干达到非劣效。教学上记住 1 对关系：教师定义行为，标签定义请求，适配只建映射不重塑声音。下一步待验证的是缩小与纯假名的读音 gap、让声调在扩散与编码解码结构上稳定实现，以及补上延迟与长句鲁棒性的测量。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-17 语音/音乐/音频论文速递