要评出发音和声调错误，日语识别器为何不能只做听写

英文题目：Building Tailored Speech Recognizers for Japanese Speaking Assessment

会议身份：conference:interspeech:2026:conference-paper-id:kubo26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#教育 #CTC #模型融合 #多任务学习 #语音识别

评分：6.3/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Yotaro Kubo：机构信息未能从会议 PDF 纯文本可靠映射
• Richard Sproat：机构信息未能从会议 PDF 纯文本可靠映射
• Chihiro Taguchi：机构信息未能从会议 PDF 纯文本可靠映射
• Llion Jones：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

日语口语评估需要从语音直接输出带音高重音标记的片假名摩拉序列，难点是带人工重音标注的自发语音仅有Corpus of Spontaneous Japanese（CSJ）核心集23683条约45小时，而正字法数据约大10倍且通用识别器会将口误正则化为规范文本。首先可流式编码器加因果变换器同时预测音素字母（Phonetic Alphabet，PA）、文本字符（Text Tokens，TTs）与基频（fo）轨迹类别，使无重音标注语料也能训练共享表示。其次将PA与TT的联结时序分类（Connectionist Temporal Classification，CTC）后验转成混淆网络并去除空白符得到格子，再经基于UniDic的转换器（Finite-State Transducer，FST）把文本格子映射为第二路PA格子。最后对两路PA格子取并集并求最短路径得到融合解码，兼顾声学忠实度与词典约束。与仅核心集PA训练相比，该链条在CSJ三个核心评估集上将含重音的平均摩拉标签错误率从12.3%降至7.1%，其中7.1%对应融合外部域内TT-only文本格子的最优配置，纯自包含多任务加融合平均为7.9%。该结论限于日语摩拉加重音体系与词典覆盖词汇，对重度非母语口音与词典外错误尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://huggingface.co/kyutai/mimi — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出必须保留什么？

输入是一段日语语音，可能是自发的课堂朗读，也可能带有迟疑、填充词、重读放错和自我修正。目标不是给出最通顺的听写文本，而是给出忠实于实际发音的音素记录，并且在重音所在的莫拉后面标出声调符号。举例来说，如果学习者把本该读在前面的重音读到了后面，系统应当把错的位置标出来，而不是自动改成词典里的标准读法。莫拉是这里的计时与标注单位，可以白话理解为一个短元音或带尾辅音的小拍，每一拍占时大致相当，重音符号就挂在拍级别的片假名标签上。

这个要求与通用语音识别正好相反。通用系统为了可读性会做归一化，把口误抹平成常见词，把迟疑去掉，把声调信息丢掉。但在口语评测里，被抹掉的恰恰是评分依据。如果系统把错读改对，教师就看不到错误。因此论文把任务定为带声调标记的音素识别，而不是字符错误率最低的听写。

输出必须保留两类信息，一是实际发出的音节序列，二是感知到的声调位置。评估也围绕这一点展开，用莫拉标记错误率同时看音对错和声调对错。

数据条件是主要矛盾。日语虽然资源丰富，但带人工声调标注的自发语音很少。论文指出自然发音语料库中只有核心子集带有逐莫拉的片假名与声调感知标注，训练句只有两万多条，不到全部训练数据的 6%。用这么少的数据直接训练一个既要听准音又要标对调的模型，很容易过拟合。后续的多任务与融合设计，都是为了解决这个稀疏问题，而不是为了追求更大的通用模型。

通用多语种转写为什么不够用？

同一输入、同一目标下的相关路线有 3 条。第一条是通用多语种音素转写器，例如面向国际音标的模型。它的输入也是语音，输出是跨语言共享的音素符号。这类模型能处理低资源语言，但它不直接输出日语特有的莫拉加声调标记。自发语音的实际发音变化很大，从宽泛的国际音标映射回日语母语人感知的音位标签并不容易，论文的对比显示这类通用转写并不适合直接拿来做日语口语评测。

第二条是带外部识别器条件的音素标注方法。前人工作用外部语音识别结果作为隐式或显式条件，一方面把文本字符作为辅助输入，另一方面把文本信息作为解码约束。本文方法与它有相似之处，但关键区别在于不需要事先可靠的文本标签。论文同时求解文本与音素两路识别，属于多任务框架下的联合估计。解码方法也可以看作显式条件方法的扩展，能够更灵活地引入文本约束，而不是硬性要求文本先对。

第 3 条是音素与字形联合估计的迭代精炼方法。它也能同时估计音素与字符序列，但不估计声调位置，也不用词典在小数据下提精度。论文的定位因此很清晰，任务设计上补了声调，解码上补了词典约束，并且整个模型按可流式运行来实现。比较时不能把类别差异当成同条件胜负，通用听写字符错误率低不等于音素声调标得准，因为前者允许改错，后者要求保留错。

要解决的稀疏问题到底卡在哪里？

卡点不在语音本身难录，而在标注成本不对等。正字法文本相对便宜，大量非核心数据只有文本。带声调的音素标注很贵，只有核心子集有。基频轨迹则可以用算法从波形中便宜地估计出来。论文的判断是，文本与音素相互依赖，基频与声调高度相关，因此可以用便宜信号辅助昂贵目标的学习。

另一个卡点在解码。即使训练出了音素分支，小数据下的估计仍然不稳。文本分支因为见过更多数据，往往更稳，但它本身也会听错，尤其在有口误的自发语音上。如果简单地用文本硬约束音素，一旦文本错了就会把音素带偏。需要一种能同时考虑两路不确定性，并在词典帮助下选出最可信音素序列的机制。

还有一个容易误解的地方。有人以为字符错误率低就代表评测能力强。论文的实验恰恰说明，在自发语音上通用大模型倾向于忽略说话人错误，听写看起来通顺，但忠实转写意义上的字符错误率并不低。在朗读且无错误的域外数据上，通用模型听写很好，但这不代表它能标出声调错误。任务目标不同，指标方向也要分开看。

整体链路如何从波形走到精炼音素？

拿一个样本走完全程有助于建立依赖关系。输入是一段原始波形，先进入语音编码器得到声学表示，再进入因果变换器得到上下文表示。变换器之后分出 3 路估计，分别是文本字符序列、基频类别和音素字母序列。前两路是辅助任务，只在训练和解码约束中起作用，最终对外输出的是精炼后的音素序列。

文本分支的输出先进入文本到音素转换模块，该模块受发音词典约束，把字符格转成第二份音素格。音素分支直接给出第一份音素格。两份格在格融合模块做并集合并与优化，取出最短路径作为最终结果。基频分支不直接进入融合，它的作用是训练时让变换器内部保持对音高走向敏感。

下图是理解分工的关键，白框表示神经网络，灰框表示基于规则的有限状态处理，箭头表示数据流向而非梯度方向。

看图路径： 1. 先从左侧波形出发，沿语音编码器到因果变换器的箭头确认三路输出的分支位置；2. 再看文本分支如何进入灰色文本到音素转换块，并与下方音素直连分支汇入格融合；3. 最后确认词典作为外部输入只进入转换块，而精炼后音素序列是唯一的最终输出

论文图 1。原论文 Figure 1：“Proposed architecture of our PA recognizer. White boxes are neural nets, gray boxes are rule-based processes.”。

这张架构图把学习依赖讲得很直白。左侧白色竖条是流式语音编码器与因果变换器，属于可训练的表示部分。中间分出的 3 路箭头对应 3 个监督头，右侧灰色竖条与横条是不可训练的词典转换与格融合。词典从右侧横向进入转换块，说明词汇知识只在解码时以图的形式介入，不参与梯度更新。下方回路把直连音素格送入融合，意味着最终决策同时看见声学直判与文本转写两份证据。

音素字母序列 × 文本字符： 音素字母序列负责记录实际怎么读并带声调标记，文本字符负责记录按正字法应该是什么词，二者搭配的理由是正字法标注更便宜且数量大，可以约束发音假设，组合意义在于用文本分支的词汇知识去纠正稀疏数据下不稳的音素估计，同时保留口误原样而不归一化掉。

编码器与三个估计头各自做什么？

语音编码器采用预训练的语音模型，去掉量化与下采样，只保留连续声学特征提取能力。论文明确训练时除语音编码器外的权重都被优化，编码器本身的参数安排按原文交代为准，这里不从模型名字推定是否冻结之外的细节。变换器基于解码器结构改成编码器用的因果变换器，随机初始化，维度与层数按配置设定，训练中用丢弃来缓解过拟合。

音素分支的词表来自核心训练集的片假名转写，重音用在莫拉后加撇号表示，长音符号替换为前元音的复制，共得到两百多个不同标记。文本分支按字符切分并做归一化，得到两千多个不同字符。两路都用联结时序分类头输出包含空白符的分布。基频分支先用基频估计算法每 10 毫秒估计 1 次基频，再比较左右窗口的平均对数基频与清浊状态，把轨迹分成 10 类，用交叉熵做辅助监督。

为什么坚持用联结时序分类值得单独讲。它不对输出序列内部做强依赖建模，因此不容易把少见的错误波动改成常见说法。虽然已有研究指出它也可能学到内部语言模型，但在需要最小化改错的场景下，它仍是更合适的选择。

联结时序分类 × 语言模型纠错： 联结时序分类分工是做帧级独立的标签分布估计，不建模输出内部的强依赖，语言模型纠错分工是把少见序列改成常见说法，二者搭配的原因是口语评测恰恰要保留少见的错误波动，组合意义在于选择联结时序分类可以从结构上减弱自动改错倾向，让声调放错和迟疑原样保留在输出中。

下图把联结时序分类输出如何变成图讲清楚了，左侧是随时间的混淆网络，右侧是空白符删除器，边上的符号对表示输入输出映射关系。

看图路径： 1. 先看上面混淆网络中每个时刻节点如何用多条弧表示不同标签的竞争关系；2. 再看下面空白符删除器中以冒号分隔的输入输出对，区分保留与删除两种动作；3. 最后对照左右两侧状态，理解重复标签与空白符是在图组合中被折叠掉的

论文图 2。原论文 Figure 2：“FST representation of (a) CTC outputs and (b) blank φ removal. For brevity, only phonemes /a, i, e/ and φ are shown.”。

这张图要按图例读。上面部分的每个圆圈代表一个时刻，从左到右的弧表示该时刻可能发出哪个标签，权重来自负对数概率。下面部分的菱形结构是后处理 transducer，冒号左边是输入，右边是输出，输出为空表示删除。沿着组合与投影操作，先把重复与空白符折叠掉，再经剪枝与确定化得到紧凑的格。文本格也是同样流程，只是标签换成字符。

基频类别 × 声调标记： 基频类别分工是把每帧的基频升降与清浊组合成离散监督信号，声调标记分工是决定哪个莫拉带重音符号，二者搭配的理由是日语是词汇声调语言，基频轨迹与声调位置高度相关，组合意义在于用便宜的基频信号把韵律信息压进共享表示，帮助声调符号判得更稳。

混淆网络 × 有限状态 transducer 融合： 混淆网络分工是把联结时序分类每时刻的标签概率存成带权图，有限状态 transducer 融合分工是做空白符删除、词典转换与并集取最短路径，二者搭配的理由是两路估计都是分布而非单条结果，组合意义在于先保留不确定性再用词典和另一路分布加权，从而在文本不可靠时仍能稳健选出音素序列。

格子融合的计算步骤是什么？

这节把第四节的计算讲成可执行的操作。第一步建格，对每个时刻的标签分布建混淆网络，弧权重取负对数概率，再与空白符后处理 transducer 做组合，经投影与剪枝、去空、确定化与最小化得到紧凑格。音素与文本各走一遍，得到两份格。第二步转换，用词典 transducer 把文本格转成音素格，对多发音词用音素格的概率做加权与归一化。第三步融合，对两份音素格做并集与优化，取最短路径为最终序列。显式条件相当于只从转换后的格里选最优，而融合是两份格一起选，因此更鲁棒。

实现时要注意半环与优化顺序。原文在对数半环下按剪枝、去空、确定化与最小化的顺序优化，复现时不要随意调换。归一化针对出边权重和为一的要求，缺少这一步会让多发音加权失真。计算效率来自剪枝后的紧凑表示，长句要先验证内存与时间，避免全量组合爆炸。

多任务权重与数据增强如何操作？

训练同时优化 3 个损失，权重按原文给出的预设值分配，音素、文本与基频分别取不同的比例。论文说明了安排理由，基频与主任务相关性较弱给小权重，文本数据量约为声调数据 10 倍且对表示学习重要给大权重，且明确这些权重没有进一步调优。学习率用带预热的余弦调度，批量大小固定，增强包括变速扰动与时域版频谱增强。变速按比例抽取部分样本加速或减速，掩蔽分别在波形时域与全句傅里叶频域上进行。

监督来源要分清。音素声调监督只来自核心子集，文本监督可以来自核心加非核心，基频类别监督来自算法自动估计而非人工标注。这正是多任务能利用无声调数据的原因，共享变换器在文本与基频任务上见过更多语音，音素头也能间接受益。论文没有报告梯度截断或分阶段冻结之外的额外技巧，复述时不应脑补。

下表整理了模型容量的关键配置，数字写法保留原文精度，单位按原文交代放在表头或说明中理解。

表前的问题是模型容量与正则条件是否交代清楚，比较时要固定同一套容量再看任务与解码的增益，否则分不清是容量还是方法带来的变化。表中维度与层数决定表示能力，丢弃概率决定正则强度。表后需要指出代价，容量本身不解决标注稀疏，24 层变换器在小数据上更容易过拟合，这也是后文必须用多任务与增强的原因。该表只是配置表，不能替代识别精度的结果表，精度判断要看后文的莫拉错误率。

训练流程的可重放点在于数据划分与扰动比例、掩蔽数量与最大长度、调度步数与峰值学习率。论文给出了这些超参数的具体取值，复现时应先按原值跑通，再考虑调参。未报告的内容也要记下来，例如不同随机种子的方差与显著性检验，原文没有给出，解读时只能说报告了平均趋势，不能断言每组都显著。

训练中哪些更新，哪些只是规则？

参数更新只发生在神经网络部分，包括变换器与输出头，语音编码器之外的权重参与优化。词典转换、空白符删除、格组合与最短路径都是基于规则的有限状态操作，没有可训练参数，也不产生梯度。基频类别标签来自算法估计，属于自动监督，它的交叉熵只更新共享表示，不改变基频算法本身。

监督路径要分开记。音素损失回传到共享表示与音素头，文本损失回传到共享表示与文本头，基频损失回传到共享表示与基频头。3 路在共享变换器交汇，这正是多任务能迁移的原因。解码时的融合不参与训练，训练结束后才介入。如果要做自训练迭代，用生成标签补全未标注部分，那是论文提出的未来方向，本次实验没有做，复述时不能当成已验证结论。

在什么数据与基线上测，指标怎么算？

训练数据是自然发音语料库，核心子集带声调标注用于主任务，非核心子集只有文本用于辅助任务。评估分两类，一类是同域的 3 个核心评估集，反映多说话人自发语音的评测能力，一类是域外的单说话人朗读集，用于考察跨域行为。朗读集没有口误，更干净，但说话人与风格都变了。

基线覆盖了可运行的通用路线。通用大模型与多语种音标模型都不能直接输出目标音素格式，因此论文为它们接了基于词典的适配器，把文本或国际音标映射成多个候选音素，再按参考标签选最优来算错误率下界。这种选最优的做法是事后乐观估计，论文明确标出，只能说明通用路线即使被优待也不占优，不能当作可部署收益。解码对照还包括显式条件方法与外部文本格来源，用于分离融合本身的贡献。

指标分两个。莫拉标记错误率看音素加声调是否全对，分别报告计入声调与不计声调两种口径，越低越好。字符错误率看文本听写质量，用于解释文本分支是否可靠。需要强调数值相同不是同一指标的证据，百分点变化与相对百分比变化也不同。硬件预算与统计检验在原文中没有充分展开，这是复现时要补的缺项。

对比条件是否一致，如何避免误读？

一致性要逐项核对。数据方面，定制模型训练依赖自然发音语料库，评估用核心集与域外朗读集，通用基线没有在该任务上微调，因此比较的是定制训练加融合与零样本通用加适配器的差距，不能解读为同数据同参数的架构胜负。指标方面，通用路线的最终数字是按参考选最优的下界，定制路线是可运行的单次解码，二者不在同一可部署性上，直接比大小会高估通用路线。

聚合口径也要小心。核心集平均与单集数字不同，计入声调与不计声调不同，字符错误率与莫拉错误率更不能混放一列。原文表格同时给出多种口径，引用时必须带上数据集、阶段、指标与聚合对象。自动指标不能当成人评，错误率下降不等于教师打分一致性提升，后者没有测量就不能断言。

主结果支持什么判断，有什么反例？

主结果的问题是，在保持忠实转写的前提下，定制模型是否比通用模型更适合口语评测。条件是同域自发语音评估，指标是莫拉标记错误率，方向越低越好。论文报告定制路线明显优于通用路线，即使通用路线用了按参考选最优的乐观算法，在核心集上仍不具竞争力。原因在正文中有机制解释，通用模型的语言模型倾向于把口误归一化成通顺文本，这在评测任务里恰恰是错误行为。

下表用原文直接报告的平均趋势做可核对的总结，数值与单位保留原文写法，不做四舍五入与 2 次计算。

表前要明确公平条件，基线是仅音素训练的小数据起点，本方法是完整的多任务加融合，评估范围是核心集平均，指标方向越低越好。表后解释主要收益与代价，收益是平均错误率大幅下降且方法可直接解码，不依赖事后选最优。代价是没有免费的午餐，增益依赖文本分支质量与词典覆盖，反例出现在域外朗读集上，当自带文本分支不准时，融合收益会消失，甚至需要引入外部更准的文本格才能恢复优势。

另一个反例是通用模型在干净朗读集上听写很好，字符错误率很低，但这不等于它能标声调。一旦允许按参考选发音，乐观指标会显得很低，容易误导。解读时必须把可运行策略与事后最优分开，部署只能用前者。

多任务与融合各自贡献了多少？

消融按依赖顺序展开。先看多任务，对比只用音素与加入文本、基频的效果。论文显示只加文本就有明显下降，只加基频几乎无效甚至略有波动，但文本加基频一起用时比单加文本更好。支持的判断是，大部分增益来自文本任务带来的数据规模，基频更像正则项，在文本存在时帮助模型更好地利用韵律信息。未胜出项也要点名，单加基频不是有效方案，不能单独拿来解决声调问题。

再看解码，对比直接输出、显式条件与格融合。在核心集上融合优于直接输出，也优于显式条件。机制解释是显式条件对文本错误更脆弱，一旦文本把口误听错，硬约束会把音素带偏。融合因为保留两路分布再取并集最优，对单路错误更鲁棒。论文还做了换文本来源的实验，用域内更准的文本模型做格来源时核心集最好，用通用大模型做来源时域外朗读集最好。这说明融合是一个开放接口，文本越准，融合上限越高。

多任务学习 × 格融合： 多任务学习分工是在训练阶段让无声调标注的非核心数据也能更新共享编码器，格融合分工是在解码阶段把文本格经词典转成第二份音素格再取优，二者搭配的理由是一个解决训练数据少，一个解决解码时单路不可靠，组合意义在于训练更充分的表示加上解码时双证据投票，共同压低莫拉标记错误。

哪些边界没有测，不能承诺什么？

首先是词典依赖。文本到音素的转换基于发音词典，词典之外的词、方言变体或严重口误可能没有正确映射路径。论文用剪枝与加权缓解，但没有证明开放词汇下的覆盖率，复现时要单独统计未登录词比例。

其次是域外行为。自带文本分支在核心集上优于通用模型，但在域外朗读集上字符错误率明显变差，导致融合失效。这表明表示与文本头都带有域偏置，不能把核心集的趋势推广到所有场景。论文用外部文本格补救，恰恰说明了边界所在。

最后是未测量的量。原文没有报告误判率分解、实时延迟、流式等待、推理开销与训练算力预算，也没有显著性与多人评分离散度。因此不能承诺延迟更低或成本更小，训练资源与推理帧率要分开讨论。缺失证据不是技术错误，但在教学与选型时必须明确说待验证，不能把识别精度提升偷换成整体系统更优。

复现先做什么，需要哪些信息条件？

先准备数据与标注。需要核心子集的逐莫拉片假名与声调感知标注，非核心子集的文本，以及同一划分下的 3 个核心评估集与域外朗读集。注意长音与重音符号的预处理规则，长音要按前元音复制展开，重音撇号挂在莫拉后，这些细节直接决定词表与错误率可比性。

再搭训练链路。语音编码器与因果变换器按配置搭建 3 个输出头，损失权重按原文预设值起步，不先调参。基频类别按左右窗口平均对数基频与清浊状态生成，窗口长度与清浊定义要与原文一致。增强先按变速比例与掩蔽数量跑通，再考虑替换。学习率调度与批量大小保留原文取值，随机种子与评估脚本固定。

然后搭解码链路。把联结时序分类输出建成混淆网络，经空白符删除、投影与优化得到音素格与文本格。文本格经词典 transducer 转成第二份音素格，用第一份音素格的权重做发音加权与归一化，最后并集合并取最短路径。词典条目要按原文剔除空发音与未知标记。外部资源状态是可用性判断的唯一依据，本次收到的第三方语音编码器链接显示本次未能确认可达，因此复现时只能说本次未能确认该链接可达，不能写已公开可用，实际下载前需自行核验。

先跑通单路基线，再加文本多任务，再加基频，最后加融合。每一步记录计入声调与不计声调两种错误率，以及文本字符错误率，避免用单一指标下结论。

何时值得尝试，还需补哪项验证？

当任务要求保留口误与声调错误，而不是给出通顺听写时，这套方法值得尝试。特别是已有少量声调标注加大量纯文本的场景，多任务能把后者用起来。已有较准文本识别器时，融合接口也值得接，因为它不需要改训练，只在解码侧增加第二份证据。

当词典覆盖差、口音变化大或需要严格流式低延迟时要谨慎。词典缺失会限制转换质量，域外文本不准会吃掉融合收益，图组合与剪枝也会带来额外开销，这些在原文中没有量化，选型前要自己测延迟与内存。

还需补的验证很具体。一是未登录词与严重口误下的映射失败率，二是跨说话人与跨教材的泛化，三是声调错误检出率与误报率的分解，而不只是平均错误率，四是显著性与多次运行的方差。把这些补齐后，才能从识别精度结论推进到课堂可用的评测结论。

一句话收束，论文用便宜的文本与基频信号缓解昂贵声调标注的稀缺，再用词典约束的双格融合稳健解码，核心集平均错误率从 12.3% 降到 7.1%，但收益的上界仍系于文本质量与词典覆盖。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总