英文题目：THA: Weighted Finite-State Text Normalization and Inverse Text Normalization for Khmer
标签：#文本到语音 | #信号处理 | #语音识别 | #开源工具
评分：8.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Seanghay Yath：Digital Government Committee, Cambodia
📌 核心摘要
高棉语文本归一化需把含数字符号的书面串转为可读口语词序列，逆归一化则需把口语词转回书面符号，难点是词间无空格且短数字词常嵌在普通词内部无法逐词分类。Tha先用分类器对整行做最短路径标注，交替生成普通文本与半符号标记以实现分类即切分，再用边界过滤器剔除起止于高棉音节内部的切分以避免误读词内片段。随后逐标记 verbalizer 将每个半符号标记写成目标形式，逆向另加柔性连接处理粘连与空格变体，上一步的标注格输出直接进入下一步约束与改写。与依赖预切词的旧管线相比，关键机制差异是把上下文约束后置到标注格上整行竞争选优，实际意义是无需外部切词器即可在无空格文本上运行并减少跨音节误切。在十类书面标记回环评测任务下，基数词的准确率为100.0%，高于小数类的准确率91.0%。其适用边界是科学计数法、罗马数字与字母代码等尚未覆盖，且整音节同形仍受限需外部词典消歧，失败条件集中于拼写变体与词尾同形数词。该工作无神经训练成本，推理开销在单核笔记本上中位延迟逆归一化为8.6毫秒、正向归一化为3.4毫秒，时间随长度线性增长。
🔗 开源与复现资源
代码相关资源：https://github.com/seanghay/tha — 链接可访问（HTTP 200）
复现相关资源：https://github.com/seanghay/tha — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，什么信息不能丢？
这篇论文解决两个互逆任务。输入到语音合成前端的是一行书面高棉语，例如价格加美元符号与小数，目标是输出朗读时要说的词序列，数字、货币、度量都必须展开成词，不能漏读数字，也不能把不可发音的符号原样留给合成器。输入到逆归一化的是一行口语形式的高棉语，例如连写的数词加货币词，目标是输出紧凑书面形式，例如美元符号加数字。2 个方向都要求数字转换精确，因为读错一个数是不可恢复的错误。
高棉语的难点直接决定方法设计。原文报告书写时词与词之间不放空格，空格只标记短语边界，零宽空格的使用也不一致，因此不存在可以直接逐个分类的空白切分 token。更麻烦的是短数字词会出现在普通词内部，论文举例两个音节共享前缀的情况，若按子串匹配就会把普通词切碎。评价时必须保留的信息包括类别归属、字段切分与原始字符跨度，输出时还要能区分一个五词数字与 5 个普通词，论文用分隔符连接口语 token 的各部分来实现。
文本归一化 × 逆文本归一化： 文本归一化负责把书面形式写成可朗读的口语词，逆文本归一化负责把口语词写回紧凑书面形式，二者分工方向相反但共享半 otic 类别划分，搭配理由是同一套金额、时间、度量语法只需改变 verbalizer 方向即可复用，组合意义是让语音合成与语音识别共用一套可精确核对的转换规则。
初学者容易误以为分词是独立前置步骤，论文明确不这样做。它的选择是让分类器在整行上 1 次完成切分与分类，再用第二个换能器拒绝落在音节内部的边界。后续各节沿一条样本走完输入到输出，再展开权重公式与过滤器公式，最后用独立语法测试、真实语音提示、往返测试与消融来限定结论边界。
已有路线为什么在高棉语上不够用？
语法路线把归一化拆成切分标注器与 verbalizer。切分标注器给文本跨度打上半 otic 类别与字段，verbalizer 把每个标签转写成词。实现上常用 Thrax 或 Pynini 编写语法并编译成加权有限状态换能器，用加权改写规则与最短路搜索求解，生产系统如 Kestrel 与开源对应 Sparrowhawk 即属此类，NeMo 与 WeTextProcessing 把该设计带到 Pynini 并覆盖多语言的双向转换。Tha 在接口上跟随 NeMo 的标注器与 verbalizer 设计，这是为了复用已验证的工程划分。
神经与混合路线是另一条线。序列到序列模型多数 token 正确，但偶发不可接受的错误，例如读错数字，因此有用覆盖语法约束或与加权有限状态换能器做浅融合的方案，大语言模型也被提示用于双向转换。论文没有把神经方法当作同条件基线比较，而是把精确性作为选择语法路线的主要理由，这个判断只在数字精确性层面有源支持。
高棉语的已有资源更稀缺。原文指出唯一公开的语法是谷歌为语音合成写的 Thrax 语法，只做文本归一化，要求输入已经分好词，且自 2021 年起已归档，NeMo 与 WeTextProcessing 不支持高棉语。东南亚相邻语言中有缅甸语的无空格有限状态归一化工作，Nisaba 提供婆罗米系文字的脚本归一化，高棉语分词器 khmercut 只在本文中被用来展开重复标记。理解这段对照后，才能明白为何本文把免分词整行标注作为核心贡献，而不是重复已有多语言工具的功能。
高棉语数字与文字带来哪些具体歧义？
数字词本身就有歧义。六到九是五加一到五加四的复合词，因此同一字符串可读成九也可读成五、四。10 位数有省略中间音节的口语短式，只出现在数字之前。量级词覆盖百、千、万量级及百万以上借词，口语常把千数到十以上而不使用更高量级词，若干数词同时是普通词或地名的一部分，例如量级词也可表示程度或院子，单字数词也可作不定冠词。教学例子是把短式 10 位数单独列出时不能直接当完整数读，必须看后接成分，这一点后文逆归一化语法用分块结构处理。
书写惯例增加第二层歧义。高棉数字与拉丁数字混用，1000 位分隔可用空格、逗号或点，小数点可用点或逗号，日期为日优先，两数之间的连字符在区间读作到，在体育比分读作对阵。这些都不能只看 token 本身解决，论文用上下文规则处理连字符、区间与比分、时间日期前功能词的吸收，以及点式 1000 位分隔的可开关选项。
文字层还有字符顺序与重复标记问题。同一可视音节允许多种字符顺序，规范顺序由 SIL 高棉字符规范定义，语法按精确字符序列匹配，因此需要先把每音节字符排序到规范顺序。重复标记要求说出前词 2 次，但无空格时前词范围未知，有时重复一词，有时重复两词或三词，空格会终止短语，只重复空格后的部分。这些细节说明为何本文既需要脚本级清理，也需要基于分词结果的重复范围规则，而不是把重复标记当成简单的复制前一字符。
两条流水线如何组织？
文本归一化流水线依次是预处理、分类器加过滤器、逐 token 的 verbalizer、上下文规则。预处理处理数字、负号与重复标记，分类器在整行上标注，verbalizer 逐 token 生成口语词，最后处理区间与比分等跨 token 读法。逆归一化流水线依次是灵活连接、分类器加过滤器、逐 token 的 verbalizer、后处理。灵活连接允许口语词连写或带零宽空格，后处理恢复重复标记与高棉数字选项。两条流水线共用分类加过滤再逐 token 改写的骨架，区别在于连接处理的位置与方向。
标注串采用 NeMo 格式，示例中普通文本与金额 token 分别列出字段，Python 解析后再逐个改写。口语 token 的各部分默认用分隔符连接，以便下游区分长数字与多个词，分隔符可设为空格或去掉。这个设计把全局切分与局部生成解耦，全局只做 1 次最短路，局部可独立维护词表。
分类器 × verbalizer： 分类器负责在整行上切分并给每个跨度打上类别标签与字段，verbalizer 负责把单个已标签 token 写成目标形式，前者解决在哪里切、切成什么类，后者解决每一类怎么写，搭配原因是切分需要全局权重比较而书写只需要局部规则，组合后流水线先全局标注再逐 token 精确生成。
下图导读先建立对语法规模的直觉，再进入组件细节。图中横轴为对数刻度的弧数，纵轴为类别，蓝色与橙色分别对应 2 个方向，条形越长表示该类别编译前状态图越大。金额与度量因为每种货币与单位各占一条路径而最长，部分类别只在 1 个方向有条形，说明它们只存在于单向任务。
看图路径： 1. 先看横轴为对数刻度的弧数，对比蓝色文本归一化与橙色逆归一化每类的条形长度；2. 再找出只有单色条形的类别，确认它们只存在于一个方向；3. 最后定位金额与度量两类，验证它们是否为最长的两组条形
论文图 2。原论文 Figure 4:：“Size of each class grammar before it is combined into the classifier.”。
从图中可见双向共有的核心类别是基数、小数、金额、度量、时间、电话等，而白名单、序数、罗马数字等只在一侧出现。这解释了为何分类器总规模很大但可分解维护：词表类路径多但互不依赖，过滤器与权重负责在组合时解决竞争。下一节先讲分类器如何用权重实现免分词标注，这是理解全文计算目标的关键。
整行分类器用什么代价同时切分与分类？
分类器把一行看成交替出现的普通名 token 与半 otic token。普通 token 是任意非空字符串，每字符代价为 1，半 otic token 代价为类别固定权重且与长度无关。类别权重按偏好设置，例如日期时间类权重低于基数类，同跨度匹配时权重小的类别获胜，相邻两个半 otic token 不允许直接相邻，因此特定冒号结构不会被拆成时间加数字。文本归一化方向数字不允许出现在普通 token 中，从而保证每个数字都被 verbalize，可发音符号在普通 token 中会被替换成高棉语名称，避免不可发音内容进入合成转录。
半 otic token 权重 × 普通文本逐字代价： 半 otic token 权重是每个类别固定小于 1 的平坦代价，普通文本逐字代价是每字符为 1 的累积代价，前者让长跨度 1 次覆盖更便宜，后者让不覆盖的文本按长度付费，搭配理由是用代价差驱动最短路自动选择覆盖更多字符且用更少 token 的路径，组合意义是不用分词器也能在整行上同时完成切分与分类偏好。
计算目标是输入与分类器的复合再投影到输出带后与过滤器复合的最短路，符号含义是复合为换能器连接，投影取输出带，最短路在热带半环下求解。直觉可用论文的格图例子理解：普通文本六字符花费六，金额单 token 权重较低，总代价低于把美元符号当普通字符加基数单 token 的路径，因此覆盖更多文本的单 token 路径获胜。公式先给出最短路目标，再给出分类器的交替结构。
\[t^{*}=\mathrm{ShortestPath}\big(\pi_{\text{out}}(x\circ C)\circ F\big),\]上式中输入为原始行，分类器输出带标签串，过滤器约束标签串，最短路给出唯一标注结果。下式给出分类器结构，普通 token 可选出现在首尾，中间为半 otic 与普通交替，半 otic 为各类别语法与权重的并。
\[C=N^{?}\,(S\,N)^{*}\,S^{?},\qquad S=\textstyle\bigcup_{c}\big(G_{c}\otimes w_{c}\big),\]权重表是复现时必须原样保留的超参数，不应自行调大调小。表前问题是不同类别相遇时谁优先，公平条件是所有类别在同一整行格上按平坦权重竞争，指标方向是总代价越小越优先。表中普通文本每字符代价为 1，半 otic 类别从白名单到序列依次增大，文本归一化与逆归一化两列的类别集合略有差异。
| wcw_{c} | TN classes | ITN classes |
|---|---|---|
| 0.30 | whitelist | |
| 0.40 | date, time, telephone, | date, time, telephone, |
| electronic, year range, | electronic | |
| formation | ||
| 0.45 | money, measure, ordinal, | money, measure, |
| license plate, roman | license plate | |
| 0.50 | cardinal, fraction | cardinal, fraction, |
| range, arithmetic | ||
| 0.55 | decimal, code | decimal |
| 0.60 | serial | serial |
| 1.00 | per character of a name token | per character of a name token |
表后解释是权重编码了偏好而非语言学真值，例如日期优先于基数，白名单权重最低以便固定例外先匹配。代价是权重不能解决真正歧义，例如电话分块与货币重量同形只能靠权重先选其一，残留歧义需语言模型重打分或神经跨度标注补充。未胜出项在这里是明确的：被更低权重覆盖的同跨度类别不会出现在最短路中，但仍保留在格中，可被后续重打分利用。下一节讲过滤器如何剔除落在音节内部的边界，这是权重做不到的事。
边界过滤器如何拒绝切碎音节？
最便宜路径仍可能把半 otic token 的起点或终点放在音节中间，例如把普通词开头的数字子串读成数。过滤器是标签串上的接受器，定义为全集减去包含禁用模式的语言，禁用模式只出现在普通 token 与半 otic token 的交界处。逆归一化方向的禁用包括半 otic 后接从属元音、变音符号或重复标记，半 otic 前接 coeng 下标辅音，以及书面形式会与相邻数字或拉丁字母粘连的情况。文本归一化方向则让序数、时间、日期等远离拉丁字母，并拒绝数字后接量级词时的点式 1000 位读法。
把约束施加在标签格上而不是写进每个类别语法，是为了保持类别语法独立于上下文。类别作者只需描述本类内部结构，跨界音节合法性由统一过滤器处理，新增类别时不用修改已有类别。公式给出过滤器的集合差形式，符号中西格玛为标签字母表，B 为禁用交界模式的并。
\[F=\Sigma^{*}\setminus\Sigma^{*}\,B\,\Sigma^{*},\]实现上先求输入与分类器复合的输出投影，再与过滤器复合后取最短路，因此过滤不改变权重，只删除非法路径。若最短非法路径被删，次短合法路径自动胜出，这解释了消融中去掉过滤器后词内切碎增加而提示句改动数变化不大的现象。限制是整音节同形的数字词无法用脚本区分，例如三在词尾与独立数字同形，只能靠词典解决，论文在讨论中明确承认这一点。
文本归一化基数的递归构造进一步说明类别内部如何分节。对不带前导零的定长数字串，按低于当前长度的最大可用量级拆分，前段接量级词，后段为全零删除或空格加剩余段的并，从而生成带空格分隔的完整读法。超过 15 位或带前导零的数字逐位读出，分组数字与编号符号也被接受。公式如下。
\[\mathit{nz}_{k}=\mathit{nz}_{k-e}\;m_{e}\;\big(\mathrm{del}(0^{e})\;\cup\;\texttt{\kern 0.41992pt\rule[-0.60277pt]{5.0399pt}{0.43057pt}\kern 0.41992pt}\,\mathit{full}_{e}\big),\]该式中下标为位数，e 为量级位数，m 为量级词，del 删除对应个数的零，full 读取任意非零段。初学者可沿 1234 走一遍：先按千拆分，前段为一，后段为二百三十四的完整读法，空格分隔即得最终口语串。逆归一化基数不直接求逆，而是按零填充 15 位数字串重写，以接受正向从不产生的口语结构，包括口语千表达、短式 10 位、发音拼写与零填充编号，这是双向不对称设计的关键。
重复标记、连接子与单数字规则如何落地？
重复标记的范围用 khmercut 在标记前最多 120 字符内切分，同行且以上一个空格为界，因为空格结束短语。取最后三词按规则决定重复一词、两词或三词，默认重复最后一词，特定功能词与时间单位触发扩大重复，时间单位表与两种拼写在原文中有明确清单。标记前空格被忽略，无词时丢弃标记。逆向后处理把用分隔符重复的词或短语恢复成标记。这个模块是全文唯一依赖外部切分器的部分，评价未单独测量其准确率，属于已报告的缺项。
边界过滤器 × 类别语法： 类别语法负责描述每个类别内部怎么写，如基数如何分节，边界过滤器负责拒绝跨音节的切分位置，如数字起始落在从属元音之前，分工是内容与上下文分离，搭配理由是把上下文约束放在标注格上统一施加可保持各类别语法独立，组合意义是既接受口语变体又不打碎普通词。
逆归一化连接处理把每类语法写成无连接子形式，再与可选删除分隔符或零宽空格的换能器复合。空格不是连接子，空格标记短语边界，因此连写数词被视作一个数而空格隔开的数词被视作两个数，只有日期语法接受部分间空格。单数字规则是召回与精度的权衡：孤立单数词通常是短语的一部分而保留为词，只在更大 token 内或特定标记后才写成数字，负号使单数字成数，连字符在两数之间才作算术。算术类要求运算符词位于两数之间才写回符号，否则保留为普通词，单表达式 token 比两数夹一词更便宜，因此不会误拆成数字加负数。
灵活连接子 × 空格短语边界： 灵活连接子负责在逆归一化方向可选删除词间分隔符与零宽空格，空格短语边界负责在高棉语中表示短语切分而非可忽略的连接，前者分工是兼容合成输出与网页文本的不同写法，后者分工是保留空格的语义，搭配原因是若把空格也当可删除连接子会把两个数误合成一个，组合后只有日期等明确允许空格的类别才跨空格连接。
字符顺序清理在双向之前运行，把每音节字符排成规范顺序并合并易混元音序列，与上游版本的区别是保留两种 coeng 的对立。原文报告谷歌语音提示已是规范顺序，清理不改变其中任何一句，因此第 5 节评价不依赖该步骤。词表以可编辑文件存放，单位、货币、月份、字母名等可由母语者修改而不触及语法，这为后续补拼写变体留下可操作接口。
没有训练阶段时，什么被编译、什么被冻结？
本研究没有神经网络训练阶段，也就没有优化器、梯度路径、训练集监督与参数更新。实际计算是语法编译与有限状态搜索。语法用 Pynini 编写，首次使用时编译并在进程内缓存，原文报告笔记本上文本归一化编译约数秒、逆归一化编译约 1 秒多，编译后分类器规模为数十万状态与弧数。复现时应把编译时间视作 1 次性构造开销，把每次句子处理视作组合、投影、过滤与最短路的推理开销，二者不可混为一谈。
所谓冻结的是类别权重与语法结构，调用时不更新。权重表在编译时与各类别语法结合，运行时只做最短路选择，不存在从数据中学习权重的步骤。监督来源是人工编写的语法与可编辑词表，以及 SIL 规范派生的字符清理规则，而非标注数据的梯度信号。重置时机也不适用，因为没有跨步累积的状态，进程缓存的编译结果可复用。
必须避免两个误解。其一，无训练不等于确定性求解，最短路在固定换能器下是确定的，但输入拼写变体、权重并列与歧义仍会导致不同输出，论文用权重与过滤器处理而非用训练消除不确定性。其二，不能从参数冻结推定系统输出在所有输入上稳定，新增词表项或开关点式 1000 位选项都会改变输出，复现时应记录选项状态。缺项是论文未报告多线程与内存占用，推理延迟只在单核笔记本上测量，硬件条件需原样引用。
用什么数据、怎么跑、与谁比？
评价由四部分组成，均可从公开数据重跑。数据一是谷歌高棉语法的 verbalizer 测试文件，包括基数与小数时间，每条有结构化值与参考语法产生的词。数据二是谷歌高棉语语音合成语料的提示句，共 2906 句已写成口语形式，数字为词。数据三是配套发音词典的高棉语条目共 62175 条，用作应保持不变的普通词表。数据四是按本文书面惯例随机生成的 10 类书面 token，每类 300 个。
协议关键一步是去除高棉字符间的空格后再运行逆归一化，因为两处来源按词加了空格而真实高棉文本不这样写，去空格后每个数字都必须在无词边界下被找到。比较对象是独立语法参考，而非神经基线，论文未与神经或大模型归一化器比较，也未在大规模独立标注金标上评价，这在结论中被列为最有用的下一步。指标方向是正确数越高越好，往返准确率越高越好，词典改动中词内错误越少越好，延迟越低越好。
实现条件按原文交代。包基于 Pynini 特定版本，应用程序接口模仿 NeMo，编译后分类器规模与各类别规模在图与正文中有报告。速度在笔记本单核上测量，按 20 字符分箱取中位，时间随长度线性增长，符合与固定换能器复合的预期。复现时应保留空格去除、分隔符连接方式三态、点式 1000 位开关与单数字开关的设置，否则数字不可比。
独立语法一致性与真实提示改写支持什么判断？
先看与谷歌语法的 agreement。文本归一化方向基数词去空格后部分与参考完全一致，其余差异只来自七的拼写，参考用发音拼写而本文用标准拼写，映射该拼写后全部一致。逆归一化方向读回参考口语形式时，单数字无符号按设计保留为词而被排除，加入发音拼写前所有基数错误都来自该拼写，例如含该音节的十七被读成数字加残留音节，加入后基数与时间全部正确，剩余小数错误为不支持的科学计数法。这一过程显示评价发现了作者自有测试未覆盖的变体，支持词表可扩展性的判断。
真实提示改写的比较问题是无词边界下能否精确写回且不破坏普通词，公平条件是去空格后整行搜索，指标是改写句正确率。下表整理提示句规模、改写规模与人工核对结果，表中正确率来自作者本人判断，需标注为非独立人评。
| 条件 | 指标 | 总句数 | 改写句数 | 正确句数与正确率 |
|---|---|---|---|---|
| 2906 句口语提示去空格后逆归一化 | 改写句人工正确率 | 2906 | 158 | 153 句，96.8% |
| 其中写出的半 otic token 总数 | 写回 token 数 | 2906 | 172 | 153 句对应 |
表后解释是主要收益为在真实文本上保持高精度，实例包括度量、口语 100 位数、完整日期的正确写回，未胜出项是 5 个错误全部保留：3 例来自源文本单位拼写错误，1 例来自单位恰为品牌名前缀，1 例来自既是货币又是重量的多义词。搜索未改写句只发现一处疑似漏检且为拼写错误，而地名与普通程度义被正确保留，说明过滤器与权重在真实分布上有效，但多义单位与拼写错误仍是边界。
下图导读聚焦改写 token 的类别分布，横轴为写出 token 数，纵轴为类别，条形越长表示该类在提示中越常见。预期基数与度量占主导，金额与日期时间较少，这与提示语料的口语数字分布一致。
看图路径： 1. 先读横轴为逆归一化写出的 token 数，比较四类条形的相对长度；2. 再确认基数类条形是否明显最长并读出其末端数值；3. 最后观察日期与时间类的条形是否只有个位数
论文图 3。原论文 Figure 5:：“Semiotic tokens written by ITN in the 2,906 TTS prompts.”。
从像素可见基数条形最长并标注 124，度量次之标注 36，金额与日期时间仅为个位数。这支持结论中金额度量语法虽大但在该语料触发少，而基数语法是实际收益主体。结合速度点云，提示中位逆归一化耗时不足 10 毫秒，说明整行搜索在真实句长下可行，但总体趋势不等于每句都快，长句耗时随长度上升，需按下节延迟表核对分位值。
往返与延迟在什么条件下成立？
往返问题的定义是书面 token 经正向读成口语后再经逆向写回原 token。公平条件是按本文书面惯例生成，每类 300 个，口语词以连写、分隔符、零宽空格 3 种方式连接后读回。指标方向是精确往返率越高越好。下表用原文连续句中的数字组织结果与延迟，延迟单位保留毫秒，往返率保留 1 位小数与百分号位置。
| 条件 | 指标 | 基数 2 至 15 位 | 小数 | 电话与延迟 |
|---|---|---|---|---|
| 3 种连接方式下往返，每类 300 | 精确往返率 | 100.0% | 91.0% | 98.7% |
表后解释需区分方向性失败。小数失败在正向，因为按高棉用法点后恰 3 位被读作 1000 位分隔，文档化的点式 1000 位选项是代价所在。电话失败在口语本身歧义，分块读法可对应多种切分，词 alone 无法恢复原切分。10 类中 8 类在 3 种连接下精确往返，基数各长度每长度 200 个全部往返，说明连接子设计对三态写法鲁棒。延迟按字符换算为每秒数千字符，中位与 95 分位差距约 1 倍，线性增长符合预期，但硬件为苹果芯片笔记本单核，换硬件不可直接比较。未评测边界是重复标记规则与神经基线对比缺失，往返生成器用本文惯例可能高估真实拼写多样性下的表现。
去掉过滤器与单数字规则后哪里变差？
消融问题是每个设计选择对误伤普通词的影响。方法是对 62175 条词典条目与提示句运行逆归一化，按数字跨度与切分词边界的对齐自动分类：整条即数字、在复合条目词边界处的数字、起止落在词内的数字，其中词内为错误。公平条件是除被消融项外其余规则全开，指标是词内错误越少越好。下表用原文连续句的数字组织三配置对比，单位为条目数与句子数。
| 配置 | 词典改动总数 | 其中词内错误 | 提示句改动数 | 词典基数 |
|---|---|---|---|---|
| 全规则 | 36 | 4 | 158 | 62175 |
| 允许单数字 | 186 | 61 | 438 | 62175 |
表后解释是全规则下改动 36 条中代理标记 4 条词内，人工复核发现 3 条实为切分器未拆分的复合词，一条为真错误即三在词尾整音节同形导致的误写。去掉过滤器后词内从个位数增至 9 例，实例包括下标簇中的十被拆出，提示句改动仅微增，说明过滤器主要防词内切碎而非提升召回。允许单数字影响最大，词典改动增至 186 条且 61 条词内，提示句改动增至 438 句，其中部分为对小数的正确读出，因此默认保留该规则是以牺牲小数字召回换取不破坏词，论文明确记录了这一取舍。负结果是即使全开仍有 1 例整音节同形错误，只能靠词典而非脚本解决。
下图导读对应上述三行，左侧为词典改动堆叠，右侧为提示句改动。先看左侧总长度从短到长的跳变，再看红色词内段占比，最后读右侧 438 与 158 的对比，确认单数字规则是主导因素。
看图路径： 1. 先看左侧词典条目的堆叠条，区分词内错误、词边界与整条即数字三段颜色；2. 再对比去掉边界过滤器与去掉单数字规则后左侧总长度与红色段的变化；3. 最后看右侧提示句改动条，读出三种配置下的句子数
论文图 5。原论文 Figure 7:：“Ablation of the ITN design choices. Left: lexicon entries that ITN changes, by where the number’s span falls relative to khmercut’s word boundaries; “inside a word” is an error.”。
从像素可见全规则与去过滤器两行左侧总长相近且红色段都很短，而去单数字规则行左侧显著变长且浅蓝与深蓝段大幅增加，右侧第 3 条达 438 远超前两行的 158 与 162。这支持原文判断：单数字开关是精度与召回的主要旋钮，过滤器是防止音节内切碎的必要约束。复现时应同时报告词典与提示两端，否则只看一端会误判规则价值。
哪些歧义是更好语法也修不好的？
论文明确列出 4 类需要 token 外信息的歧义：电话分块读法、货币与重量的同形词、连字符的区间与比分读法、动词兼负号标记在计数前的读法。最后一类用句子级线索解决，前两类留给权重，作者建议用语言模型重打分格或神经跨度标注补充上下文，而语法保持转换本身精确。这个分工很重要：语法保证写得对，上下文决定选哪个，不能把权重胜出误读成语义理解。
正字法变体是第二类限制。谷歌评价与提示错误都指向未知拼写：发音拼写、单位拼错、打字错误。因为词表是数据文件，补变体不用改语法，但必须先从大语料中发现变体清单，论文未提供该清单。边界过滤器的相关极限是整音节同形的数词在词尾，只能靠词典区分。
风格选择是第三类限制。拉丁与高棉数字、符号与单位词、数字与拼写日期、单数字是否成数都是惯例而非事实，论文以选项暴露最重要的几项，下游偏好不同需自行配置。评价局限是缺少大规模独立标注金标、未测量重复规则、未与神经或大模型方法比较。阅读时应把报告理解为在独立语法、单语料、往返与消融上的有限支持，而非在所有书面高棉语上的普遍正确，待验证部分需用待建测试集补足。
要复现与复用，先跑什么、记什么？
代码与结果按资源状态当前可用，地址为官方仓库，许可证为 Apache 2.0。复现先做三件事：按指定 Pynini 版本安装并首次编译缓存语法，记录文本归一化与逆归一化各自的编译秒数与分类器状态弧数；运行字符清理并确认提示语料是否零改动，以隔离清理对评价的影响；用去空格后的提示与三态连接的往返生成器重跑主数字，核对改写句数、正确率、往返率与延迟分位。
关键超参数与信息条件是类别权重表、点式 1000 位与比分开关、分隔符设置、单数字开关、日期空格例外。调用示例为归一化价格金额与逆归一化花费金额，初学者应先沿该样本打印标签串，确认普通文本与金额字段的切分，再看 verbalizer 输出。词表为可编辑文件，补变体时只改文件不改语法，并用词典词内错误与提示改动数同时回归。
下图导读用于核对延迟复现，横轴为句子字符数，纵轴为每句毫秒，蓝色为正向，橙色为逆向，线为按长度分箱的中位。预期逆向整体高于正向且随长度线性上升，点云离散但中位趋势清晰。
看图路径： 1. 先区分蓝色文本归一化点云与橙色逆归一化点云的上下位置；2. 再沿句子长度横轴观察两组中位线随长度上升的斜率；3. 最后对比相同长度下两组点云的离散程度与耗时量级
论文图 6。原论文 Figure 8:：“Time per sentence against sentence length. Lines are medians over 20-character bins.”。
从像素可见橙色点云与中位线位于蓝色之上，短句多集中在数毫秒，长句向右上发散，百字符附近逆向中位约二十余毫秒而正向约 10 毫秒内。这支持单核笔记本上每秒数千字符的报告，但总体趋势不等于每句成立，复现时应报告中位与 95 分位而非单句最快值。若硬件不同，只比较相对斜率与双向差距，不直接比较绝对毫秒。
何时值得尝试，还缺哪项验证？
当输入是无空格高棉语且数字精确性不可妥协时值得尝试。语音合成前端需要把金额、度量、日期时间展开为可朗读词，语音识别后处理需要把连写数词写回符号数字，本文方法用 1 次整行最短路代替分词器，用边界过滤器防止打碎普通词，用可编辑词表吸收变体，适合作为可核对的基线或混合系统中的精确转换层。当文本已规范分词或允许偶发数字错误时，其相对优势会减弱，需另行验证。
复用建议是把分类器权重与过滤器当作不可随意改动的默认配置，把词表与开关当作适配层。先在目标语料上统计未知单位拼写、发音拼写与品牌前缀，补词表后再评估；对区间比分与多义单位，保留格并接入语言模型重打分，而不是调权重硬选。重复标记范围依赖切分器，若领域与切分器训练域差异大，应先测该模块。
还缺的验证是独立标注的大规模书面金标、重复规则的定量测量、与神经跨度标注加规则转换的同条件对比。论文已给出可重跑的四项评价与全部脚本，下一项最有价值的工作是建测试集并报告误判率、延迟与成本的联合分布，而不是仅报告正确率。记住本研究的保证是转换精确与切分可控，而非语义消歧全自动，部署时需为歧义留出上下文通道。
📎 论文与评分元数据
排名：前25% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses