英文题目：Training-Free Pronunciation Transcription via Text-Constrained Acoustic Rescoring
标签：#语音识别 | #模型融合 | #语音 | #多语言
评分：8.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Hikaru Asano：机构信息未在 arXiv HTML 中可靠披露
- Yotaro Kubo：机构信息未在 arXiv HTML 中可靠披露
- So Kuroki：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
面向语音合成数据准备的发音转写任务，输入为语音x与文本w，输出为录音中实际读出的发音序列y，难点在于日语一形多读与口语变体无法仅由单侧线索确定。该方法先由形态分析将文本切分为N个跨度并用词典、字形到发音与规则生成有限候选集与默认读法。接着将完整候选拼接为全序列并用冻结语音到发音模型计算负对数似然声学得分，融合第二打分器时采用级联策略。最后经从左到右贪心搜索逐跨度固定最优读法并辅以裕量检查，将声学证据不足的改动回退至默认读法。与需发音标注训练的语音加文本到发音模型不同，该管线仅在推理时融合词典约束与声学证据，无需三元组训练因而可低成本扩展。在JVS-dev参考文本评测条件下，级联系统的字符错误率（Character Error Rate，CER）为0.15%，低于文本默认基线的字符错误率（Character Error Rate，CER）0.85%。该结论适用边界受限于候选覆盖与冻结打分器匹配，英语仅在开发说话人上初步验证尚未验证大规模外推，且在单块H100硬件上测得推理开销显示贪心搜索比束搜索快3-3.5倍、级联比直接解码快2倍。
🔗 开源与复现资源
模型相关资源：https://huggingface.co/Parakeet-Inc/furigana_whisper_small_jsut — 暂时无法访问
数据相关资源：https://github.com/r9y9/jvs_r9y9 — 链接可访问（HTTP 200）
第三方资源：https://open-jtalk.sp.nitech.ac.jp/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入输出是什么，哪些信息必须保留？
这篇论文解决的是语音合成训练数据准备中的读音转写。输入是两样东西同时存在：一段语音信号 x，以及这段语音对应的文字稿 w。文字稿可以是人工校对的参考文本，也可以是语音识别输出的自动文本。目标是写出这段录音里实际发出的读音序列 y，而不是这个文字在词典里的标准读法。
举例来说，日语里同一个写法可能有多种合法读法，任务要求选出录音里真正读的那一种。输出的符号表跟着语言和可用资源走。日语实验用归一化后的假名序列，多语言实验用国际音标。评价时要先做归一化，忽略写法差异，例如片假名统一、标点和长音统一，以及固定的映射。
日语用字符错误率，西班牙语、法语和英语用音系特征错误率，两个指标都是越低越好。必须保留的信息有两类。第一类是词法合法性：输出必须能由文本的各个分段拼出来，不能凭空编造一个文本不支持的读音。第二类是声学一致性：输出必须在给定语音下有尽可能高的模型似然，也就是听起来像这段录音。
论文反复强调，已有路线各丢掉一类信息。只看文本的方法听不到实际读了哪个，只听声音的方法不受文本约束，而同时用两者的方法又需要昂贵的音频文本读音三元组训练数据。本文的目标就是在不训练新模型的前提下，同时保留这两类信息。
只看文字、只听声音、两者都用，三条路线差在哪里？
第一条路线是字形转读音，白话说就是输入文字输出读音。它只用文本 w 预测读音 y。论文用的对照包括开放词典工具、形态分析加词典工具，以及再加口语形规则的版本。其中加口语形规则的版本是后文声学选择的起点，也被当作纯文本对照。这类方法的局限是看不到录音，同形多音只能猜文本上最可能的那个。
第二条路线是语音转读音，白话说就是输入语音输出读音。它只用语音 x 预测读音 y。论文用与后文打分器相同的两个检查点做直接解码对照：三百二十兆参数的声学模型做贪心解码，以及八百一十兆参数的自回归模型做解码。这类方法的局限是不受文本约束，可能输出与文字稿对不上的读音。
第三条路线是语音加文本转读音，白话说就是同时输入语音和文本输出读音。已有做法包括在语音转读音模型里加文本嵌入，或者用语音转文本加语音转读音的多任务训练引入文本监督。论文还比较了已发布的读音标注器及其加词典约束版本，以及用词典约束的解码和加提示的自回归模型。这类方法的问题是需要读音标注的语音数据，而读音标注比普通文字转写更贵，难以扩大规模。
字形转读音 × 语音转读音： 字形转读音只看文字，负责给出符合词典和语言习惯的读音候选，语音转读音只听声音，负责判断哪种读音在声学上更像录音，二者搭配的原因是单看文字无法区分同形多音字实际读了哪一个，单听声音又容易输出与文本对不上的符号序列，组合意义是把文字的合法性约束和声音的证据放在同一个选择过程中使用。
开放多模态大模型是另一类对照。日语部分比较了多个开放模型，商业模型多个版本只作为费用较高的参考，不参与最优加粗。所有多模态模型给相同的音频、文本、3 个固定示例、验证调过的提示和 1 次输出修复。论文的判断是这些通用模型在该任务上误差明显高于专用流程，这为后文只保留专用候选加专用打分提供了对照基础。
要解决的矛盾是什么，免训练指什么？
中心矛盾是数据准备需要同时便宜和准确。便宜意味着不能为每个新语料都标注读音并训练联合模型，准确意味着不能只用文本猜，也不能只用声音猜。论文把问题形式化为给定语音和文本，估计实际实现的读音。文本可能来自参考文本，也可能来自大模型的识别输出，后者对应全自动流水线。
免训练在这里有明确含义：不需要音频文本读音三元组，也不需要更新任何模型参数。能用的是现成词法资源和现成工具生成的候选，以及开放的预训练语音转读音模型在推理时打分。冻结指的是打分模型的参数固定，只做前向计算。因此这不是说系统输出是确定性的，也不意味着搜索一定找到全局最优，后文的贪心近似和阈值回退都会影响最终输出。
学习依赖上，读者需要先分清 3 类映射。字形转读音是文本到读音，语音转读音是语音到读音，语音加文本转读音是两者到读音。本文属于第 3 类，但实现方式是推理时组合：文本侧负责生成有限候选，语音侧负责给完整候选打分。理解了这个分工，才能理解后文为什么每个分段的候选都要拼成整句再打分，而不是分段独立判断。
整个流水线如何从语音和文本走到一个读音？
先沿一个样本走完全程。这里用论文的教学例子说明，例子本身不代表日语主实验。假设输入是一句英文录音和文字稿，目标是输出这句话实际读出的音标。第一步是把文字稿切成多个分段，例如按词或按形态分析切成 3 个分段。每个分段用词典、字形转读音工具或规则给出几个候选读法，其中有一个是仅看文本时最可能的默认读法。把每个分段选一个读法拼起来，就得到一个完整候选读音。
第二步是把完整候选读音转换成打分模型能接受的词元，再把录音送进冻结的语音转读音模型，计算该完整候选的负对数似然。分数越低表示语音越支持这个读音。第三步是从全默认组合出发，从左到右逐个分段尝试替换，用整句分数选出当前分段的最优并固定，再处理下一个分段。最后经过级联复查和余量检查，输出一个完整读音。
语音加文本转读音 × 免训练流水线： 语音加文本转读音指输入同时包含语音 x 和文本 w，目标是输出实际发出的读音 y，免训练流水线指不构造音频文本读音三元组也不更新任何模型参数，二者搭配的原因是传统语音加文本转读音需要昂贵的读音标注来训练联合模型，而本文把联合放在推理时完成，组合意义是用已有的词典工具和已有的冻结声学模型拼出同样的输入输出接口。
下面这张方法总览图把两条证据线画得很清楚，阅读时注意上面板是打分方式，下面板是搜索顺序，级联和余量检查在图中没有画出，需要结合正文理解。上方面板与下面板的箭头方向代表了从输入到输出的主路径，观察时不要把示意分数当作真实实验数值。
看图路径： 1. 先沿上方面板从左侧语音 x 和文本 w 两条输入线看它们分别进入冻结模型和候选生成；2. 再看候选读音拼接成完整序列并转成模型词元后与声学信息汇合为一个声学分数；3. 接着沿下面板从左到右看默认组合如何逐个分段被更低负对数似然的候选替换；4. 注意每个节点都是完整序列的分数，已选分段固定，未处理分段保持默认
论文图 2。原论文 Figure 2:：“Training-free pronunciation transcription.”。
上方面板显示语音进入参数固定的冻结模型得到读音逻辑值，文本经过切分和词典工具得到每个分段的候选，再拼接成完整候选并转成词元，两路汇合成一个声学分数，文字侧标注为词法证据，语音侧标注为声学证据。下面板用英文短语为例展示贪心过程，每个节点右侧灰色椭圆数字是示意用的负对数似然，绿色表示选中，灰色表示拒绝，虚线框表示该分段的默认读法。搜索从默认组合出发，依次固定各个位置的选择，最终输出总分最低的组合，级联重打分和随后的余量检查不在该图中展示。
候选如何拼接，打分函数到底在算什么？
文本被切成多个分段，每个分段有一个有限候选集，记为该分段的全部读法，其中默认读法是文本单独预测最可能的那个。从每个分段各取一个读法，组成一个赋值向量，完整读音就是把这些读法按顺序拼接起来。原文用拼接公式表达这个构造，符号含义是每个小符号是分段读法，大符号是整句读音。
\[y(\mathbf{r})=r_{1}\,r_{2}\cdots r_{N}.\]有了完整读音，就要在语音上整体评价。论文要最小化的目标由声学分数加可选惩罚组成，声学分数看语音支持程度，惩罚项偏向更可靠的候选。原文把最优赋值的定义写成对所有组合取最小值，其中总代价包含声学部分和惩罚部分。
\[\hat{\mathbf{r}}=\operatorname*{arg\,min}_{\mathbf{r}\in\mathcal{R}}J(\mathbf{r},x),\quad J(\mathbf{r},x)=S(y(\mathbf{r}),x)+P(\mathbf{r}),\]声学分数本身是候选在冻结模型下的负对数似然。其中转换函数是把读音渲染成模型词表和词元的过程，不同模型词元体系不同，日语里自回归模型还允许长音等多种拼写，需要求和或缓存处理。条件概率是冻结模型给出的概率，取负对数后越低越好。
\[S(y,x)=-\log p(z(y)\mid x),\]候选读音 × 声学打分： 候选读音是对文本每个分段给出的有限读法集合，负责限定搜索空间，声学打分是冻结模型对完整读音序列计算的负对数似然，负责在候选之间排序，二者搭配的原因是分段单独打分会丢失上下文协同发音信息，整句打分又必须先有合法的整句，组合意义是每次都把一个完整拼接后的读音拿到整段语音上算分。
日语的惩罚项有具体形式，用来处理只靠孤立分段分析找到的不可靠读法。惩罚与切换到这类读法的分段数以及主打分器的语句词元数成正比。也就是说，越长的句子、切换越多，惩罚越大。多语言实验把惩罚设为零，因为那里的词典和工具候选不包含这类孤立分段读法。惩罚不是模型训练，而是推理时加在总代价上的偏置。
没有训练阶段时，实际计算和参数更新是什么？
本研究没有训练阶段，没有梯度更新，没有读音标注数据的监督，也没有优化器和重置时机需要报告。实际计算全部是推理时前向打分加搜索。两个打分器都是冻结调用：第一个是联结时序分类模型，第二个是自回归模型。自回归模型对多种拼写取至多 16 种拼写的教师强制似然求和，并按录音缓存交叉注意力。超参数来自校准，不是训练：第二打分器权重从候选集合中选为一，余量阈值选为 0.6，拼写上限在开发集上设定，候选和提示设置用的校准子集不进入评测。
因为候选组合数随分段数指数增长，论文用从左到右贪心近似。记号表示把当前赋值向量的某个分段换成候选。从全默认出发，每次访问一个分段，把该分段全部候选拼成完整序列打分，选总代价最小的并固定，前面的选择已固定，后面的分段还保持默认。原文的更新式表达了这一步选择和固定。
\[r_{n}^{\prime}=\operatorname*{arg\min}_{r\in\mathcal{R}_{n}}J(\hat{\mathbf{r}}^{(n-1)}[n\!\leftarrow\!r],x),\;\;\hat{\mathbf{r}}^{(n)}=\hat{\mathbf{r}}^{(n-1)}[n\!\leftarrow\!r_{n}^{\prime}],\]贪心搜索 × 级联融合： 贪心搜索负责从左到右每次固定一个分段的最优读法，避免候选组合数随分段数指数膨胀，级联融合负责在第一遍改动了默认读法时才引入第二个更贵模型的加权分数复查，二者搭配的原因是第一遍便宜模型已能处理大部分无歧义位置，第二遍只需处理可疑语句，组合意义是在保持精度的同时减少对大自回归模型的调用次数。
级联的具体操作是先用第一模型分数跑一遍贪心。如果权重为正且第一遍改动了任何默认读法，就从全默认重新用融合分数跑第二遍，否则保留第一遍结果。融合分数是第一模型负对数似然加权重乘以第二模型负对数似然。论文报告级联比每句都融合更省，因为只在可疑语句上调用贵的自回归模型。
余量检查是最后的保守回退。从搜索输出出发，只重访被改动过的分段。对每个分段比较当前读法与换回默认读法的声学分数差，要求达到随长度缩放的阈值才保留改写，否则换回默认。长度取当前读法、默认读法和一的最大值，按归一化符号数计算，阈值是每符号要求的分数增益。设为零就关闭检查。
\[S\big(y(\tilde{\mathbf{r}}[j\!\leftarrow\!r_{j}^{0}]),x\big)-S\big(y(\tilde{\mathbf{r}}),x\big)\geq\tau\,\ell_{j},\]默认读法 × 余量检查： 默认读法是仅根据文本选出的最可能读法，负责提供搜索起点和回退安全选项，余量检查负责要求被选中的非常见读法必须比默认读法好出随长度缩放的阈值，否则回退到默认，二者搭配的原因是声学分数在弱证据下可能偶然偏向生僻候选，组合意义是用一个可校准的阈值控制冒险改写的程度。
需要纠正一个常见误解：冻结参数不等于输出确定，也不等于全局最优。贪心每次只看当前分段，束搜索对照在论文中表现相近，支持了声学证据多为局部的假设，但这只是经验观察，不是每句都成立的保证。
数据、文本条件、基线和指标如何对齐？
日语用 3 个语料。第一个开发集是六百句非平行语料，20 个说话人，带人工假名。第二个是五千句单说话人语料，标签经过核验。第 3 个是近万句百说话人语料，标签是基于对齐的银标签。评测时每个语料取五百一十二句公共子集。
文本条件有两种：语料原文作为参考文本，以及大模型输出作为识别文本，后者对应自动流水线。候选生成用形态分析、词典工具和基于规则的变体，开放词典页面当前可用，整理脚本页面当前可用。
打分器固定为上述联结时序分类和自回归检查点。基线分 5 类：纯文本字形转换、纯音频直接解码、同模型文本条件、已发布语音加文本标注器及其加词典约束版本、开放多模态大模型。已发布标注器的模型链接在本次核查中未能确认可达，因此复现时应以论文记录的已发布解码和词典约束设置为准。单语料训练过的模型在该语料上省略结果。商业模型只作参考，不参与最优加粗。
指标是语料级字符错误率，单位是百分比，先做归一化再计算，银标签语料算在银标签上。成本用单张高端卡、批量为一、在开发集参考文本条件下的实时率衡量。校准用两个语料各一千句，迁移到开发集，校准子集不进入评测。多语言部分用西班牙语、法语和英语语料，每种语言采样两百句含可变候选分段的语句，法语去掉无音频后剩一百九十二句，指标是加权音系特征错误率，同样越低越好，不同语言之间不可直接比较。
日语主结果在相同条件下赢在哪里，代价是什么？
比较的问题是：在同样的参考文本或识别文本条件下，受文本约束的声学重打分是否比只用文本、只用音频和已训练的语音加文本标注器更好。公平条件是同一公共子集、同一归一化字符错误率、百分比单位越低越好，识别文本条件统一用同一识别输出。成本维度用同一硬件实时率看效率。下表保留原文可运行策略和主要基线，省略部分商业参考行以聚焦可部署比较，完整商业数字见原文。
表前需要明确指标方向与比较口径：字符错误率越低越好，参考文本与识别文本分开比较，候选与打分器在各方法间尽量对齐。
| Commercial models (reference only): audio + text | Commercial models (reference only): audio + text | Commercial models (reference only): audio + text | Commercial models (reference only): audio + text | Commercial models (reference only): audio + text | Commercial models (reference only): audio + text | Commercial models (reference only): audio + text |
|---|---|---|---|---|---|---|
| + spoken-form rules | 0.85 | 1.40 | 0.60 | 1.53 | 1.97 | 2.49 |
| Kana CTC (greedy) | 5.38 | 5.61 | 13.02 | – | – | – |
| kana-whisper | 0.90 | 0.87 | 2.29 | – | – | – |
| Furigana Whisper + prompt | 0.90 | – | 0.63 | 1.21 | – | 2.05 |
| + dict. constraint† | 0.21 | – | 0.15 | 0.73 | – | 1.66 |
| Ours (AR-only) | 0.25 | 0.27 | 0.31 | 0.72 | 0.75 | 1.81 |
| Ours (CTC-only) | 0.23 | 0.30 | 0.13 | 0.70 | 0.74 | 1.65 |
| Ours (cascade) | 0.15 | 0.17 | 0.04 | 0.64 | 0.65 | 1.58 |
上表显示级联方法在参考文本下把纯文本默认的误差降到 0.15、0.17、0.04 量级，对应 3 个日语语料。在识别文本下从 1.5、1.9、2.4 量级降到 0.64、0.65、1.58 量级。它也优于同模型的纯音频解码和加提示或词典约束的同模型条件，以及加词典约束的已发布标注器。单模型重打分已经很强，但级联在全部 6 个格子上都进一步降低误差。开放多模态大模型的误差高出一个数量级以上。
成本与精度的关系需要看下面这张对数坐标散点图，横轴是实时率越左越快，纵轴是字符错误率越下越好，论文报告贪心比束搜索快三到 3.5 倍且精度相近，级联比直接解码快约 2 倍，因为只在选中分段上运行自回归模型并用单次前向代替逐步解码。图前导读先帮助读者确认坐标含义与点的分组，再进入具体位置的解释。
看图路径： 1. 先确认横轴是单张卡上的实时率对数轴越左越快，纵轴是字符错误率对数轴越下越好；2. 再找出左下方蓝色圆点代表的级联与贪心位置，对比中部直接解码点的高低左右；3. 最后看右上方开放多模态大模型点与左下方本文方法的整体距离
论文图 1。原论文 Figure 1:：“Processing cost versus pronunciation error rates on JVS-dev.”。
图中蓝色圆点代表本文不同配置，集中在左下方，表示低实时率下达到最低字符错误率。纯文本默认在更左但纵轴更高，表示更快但误差更大。联结时序分类贪心解码和自回归直接解码在中部，开放多模态大模型和部分商业参考偏右上。需要注意对数轴会压缩视觉差距，0.1 个百分点的差距在语音合成数据清洗中仍有意义，不能只看点的远近，还要结合上表的绝对数值。未胜出的一项是识别文本下的银标签语料绝对误差仍有 1.58 量级，说明文本错误会传导到候选生成，这是全自动流水线的边界。
去掉门控、去掉级联、换掉音频会发生什么？
消融要回答每个组件是否必要，以及声学证据是否真的被用到。对照包括去掉余量门控、去掉级联改为每句融合、用束宽为五的束搜索替换贪心、用无关音频或静音替换输入音频，以及用与参考读音编辑距离最小的贪心预言作为候选集内的近似上界。下表是参考文本、五百一十二句条件下的字符错误率，单位为百分比，越低越好。
表前比较问题是门控与级联是否为小幅精修，贪心是否为有效近似，以及音频替换能否证伪声学作用。公平条件是同一文本与候选，只改搜索、融合或音频输入。
| Components | Components | Components | Components |
|---|---|---|---|
| w/o gate | 0.154 | 0.193 | 0.054 |
| w/o cascade | 0.161 | 0.182 | 0.058 |
| w/ beam | 0.167 | 0.160 | 0.042 |
| Proposed w/ other audio | 15.329 | 16.192 | 12.440 |
| Proposed w/ silent audio | 13.870 | 14.819 | 12.544 |
| Greedy oracle | 0.047 | 0.121 | 0.000 |
| Proposed | 0.154 | 0.171 | 0.042 |
表后解释需要区分 3 个层次。第一，去掉门控或级联会让误差上升最多约 0.022 和 0.016 个百分点，说明两者有效但增益是小幅精修，不是数量级变化。第二，把束搜索换成贪心后精度相近，支持了每段声学证据多为局部的假设，也支撑了选择贪心的效率理由。第三，把音频换成无关录音或静音后误差升到 12 到 16 个百分点，证实没有语音证据时仅靠文本候选无法维持精度，反过来说明主结果的提升确实来自声学打分。
预言对照显示级联距离候选集内近似最优还有 0.107、0.050、0.042 个百分点的差距，论文称恢复了纯文本到预言之间八十七到九十六的误差下降。这是一个事后最优值，不能当作可部署收益，只能说明候选覆盖大致足够，剩余误差一部分来自搜索和阈值，另一部分来自候选本身没有包含正确答案。负结果是无关音频下的高误差本身，它提醒复现时必须检查音频文本是否配对，配错会直接暴露为数量级退化。
哪些情况可能失效，原文明确了什么边界？
第一个限制是候选覆盖。如果正确答案不在词典和工具给出的候选里，声学打分再准也选不出来。预言对照与实际方法的差距已经暗示了这一点，多语言还要靠人工扩展音近变体来补覆盖，说明低资源语言的词典质量会成为瓶颈。复现时应先统计候选召回，再讨论打分优劣，否则容易把覆盖问题误判为模型问题。
第二个限制是文本质量。识别文本条件下的误差明显高于参考文本，尤其银标签语料自动流水线仍有 1.58 量级的字符错误率（%）。切分错误、识别错误会同时污染默认读法和候选集，声学打分只能在给定候选内选择，不能修正文本本身。因此全自动流程的上限同时取决于识别质量和切分质量。
第 3 个限制是超参数和归一化依赖。余量阈值、日语惩罚系数、拼写上限、国际音标映射都需要在开发集上设定。不同语言阈值不同，日语 0.6，西班牙语 2.0，法语 1.5，英语零，说明阈值不是通用常数。评价依赖归一化，片假名、长音、标点和固定映射都会影响字符错误率的绝对值，跨论文比较时必须核对同一归一化。
原文没有报告误判率、延迟分布和标注成本的完整统计，也没有给出训练所需三元组数据的精确造价，因此不能把低错误率直接翻译为低总成本或低延迟。总体趋势不等于每组都成立，例如西班牙语级联不如单模型，说明融合不一定在每种语言上都增益，选择资源仍是关键。
要复现这条流水线，先做什么、去哪里找资源？
先准备三样东西。第一是文本分段和候选生成：日语用形态分析、开放词典工具和口语形规则，开放词典页面当前可用。第二是冻结打分器：联结时序分类模型和自回归模型按论文检查点调用，只做前向，不训练。第三是校准集：从两个语料各取一千句做阈值和权重校准，并确保与评测的公共子集不重叠。银标签整理脚本页面当前可用，可用于理解银标签来源。已发布标注器的模型链接在本次核查中未能确认可达，复现时不要默认它可下载，应先以纯文本默认加自有打分器为基线。
实现顺序建议沿样本走通再批量跑。先对一句话生成分段候选并记录默认读法，再把每个完整拼接转成打分模型词元，计算整句负对数似然，验证默认组合与人工改写的分数排序是否符合听感。然后实现从左到右贪心，确认每步只改当前分段且历史选择固定。接着实现级联条件触发和余量回退，阈值先用论文值再在自己的开发集上小范围搜索。
还需补的验证包括：检查音频文本配对是否正确，可以用无关音频替换做反证；记录单句实时率和调用自回归模型的比例，以确认效率收益在自己的硬件上成立；多语言复现必须固定国际音标映射并报告加权方式，否则音系特征错误率无法对比。论文未给出完整代码可运行性的统一声明，复现前应以原文描述的调用、搜索和计算为准，不要从模型名称推定未报告的实现细节。
什么时候值得尝试这条路线，还需补哪项验证？
当同时有录音和文字稿，且文字稿存在同形多音或口语变体，而没有读音标注数据去训练联合模型时，这条路线值得尝试。它的核心判断是把文本当作约束，把语音当作证据：文本负责说哪些读音合法，语音负责说哪个合法读音更像这段录音。复现时先保证候选覆盖，再调打分器和阈值，顺序不要反。
多语言迁移的证据显示只换词法资源和打分器也能改进，但幅度小于日语。下表整理原文报告的加权音系特征错误率，单位为百分比，越低越好。不同语言分数不可跨语言比较，只能在语言内看相对变化。候选有变化的子集才进入评测，西班牙语两百句，法语一百九十二句，英语两百句。
| 条件 | 指标 | 专家默认 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 西班牙语两百句 | 音系特征错误率 | 2.47 | 2.38 | 开放多模态大模型均更高 |
| 法语一百九十二句 | 音系特征错误率 | 4.39 | 4.11 | 开放多模态大模型均更高 |
| 英语两百句初步 | 音系特征错误率 | 13.76 | 13.21 | 开放多模态大模型均更高 |
上表收益是三语都在语言内优于专用词典或字形转换默认读法，西班牙语用单模型最好，法语和英语用级联最好，并且两种配置都优于全部 4 个开放多模态大模型，最优配置与最强的商业模型差距在西班牙语和英语约 0.4 以内。代价和边界是增益幅度小于日语，英语绝对误差仍在十三量级，说明资源与打分器匹配是关键，选错词典或声学模型会直接限制上限。
如果候选本身很干净且歧义少，纯文本默认可能已经足够，声学重打分的增益会很小。如果录音噪声大或文本识别错误多，声学分数的区分度会下降，余量检查会把很多改写退回默认，这时应先改善文本和切分。最终结论按论文直接报告表达：免训练的文本约束声学重打分在日语上快于并优于所有被评测基线，在三语上也优于开放多模态大模型和专用默认。待验证的是更广说话人、更差音频和更弱词典下的稳定性，这些需要补新的对照才能回答。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses