英文题目：Towards Stress-Aware Sentence-Level Filipino G2P With Weakly-Supervised ByT5 Fine-Tuning
标签：#语音合成 | #弱监督学习 | #SFT | #多语言 | #韵律
评分：7.2/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Lorenz Bernard Marqueses：机构信息未在 arXiv HTML 中可靠披露
- Paulo Grane Gabriel Silva：机构信息未在 arXiv HTML 中可靠披露
- Chastine Cabatay：机构信息未在 arXiv HTML 中可靠披露
- Ericson Adler Tan：机构信息未在 arXiv HTML 中可靠披露
- Ann Franchesca Laguna：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
菲律宾语字素到音素转换 grapheme-to-phoneme / G2P输入为无重音符号的句子字素序列，输出为含重音标记的国际音标 international phonetic alphabet / IPA序列，难点是重音 diin具有词汇性且正字法省略变音符号，须依赖上下文消歧同形异音词并处理黏着词缀导致的重音漂移。方法链分三步：先从WikiPron挖掘词级词典并按重音类划分语义歧义词，再用大语言模型 large language model / LLM辅助管线对句子中歧义词做上下文选音而其余词用规则转写合成弱标签，最后以多语言CharsiuG2P初始化字节级模型 byte-level T5 / ByT5并在混合句子语料上微调以学习整句映射。与词级多语言基线和规则系统Epitran的关键机制差异在于字节级端到端建模整句上下文而非孤立查词，从而直接预测重音位置。在1173条人工校对测试集上最佳模型混合错误率显著低于基线，相对词级基线实现了数量级的下降并能区分多数重音类别。适用边界是长新闻域噪声较大且malumi与非标准词仍易误判，未在真实语音合成 text-to-speech / TTS可懂度或跨域口语上验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
代码相关资源：https://github.com/dlsu-cse-nlp/filipino-byt5-g2p — 链接可访问（HTTP 200）
第三方资源：https://github.com/andrianllmm/tagalog-stemmer — 链接可访问（HTTP 200）
第三方资源：https://github.com/lingjzhu/CharsiuG2P — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
菲律宾语拼读很直，为什么还要做句子级转换？
输入是菲律宾语书面句子，目标是输出带重音符号的国际音标序列。必须保留的信息包括音段本身、重音落在末音节还是倒数第二音节、词尾是开口还是声门塞音。本文按任务依赖展开，先讲为何词级不够，再讲数据管线、模型、训练与评估。
菲律宾语继承自他加禄语，属于浅正字法，白话说就是字母与发音对应比较直接，初学者容易以为查表就能转写。论文用 mare 作例子，在美式英语与菲律宾语里转写完全不同，说明跨语言不能共用映射。更关键的是菲律宾语重音能区别词义，拼写相同但重音位置不同意义不同，日常书写又通常省略标示重音的附加符号。
例子是 bukas，重音在前表示明天，重音在后表示打开，单看一个词无法决定，必须看整句语境。例如门开着这个语境才能选后一种读法。黏着形态让问题更难，白话说就是词根前后可以接很多前后缀，每加 1 次都可能移动重音。论文举 sulat 作名词时重音在前，加前缀构成动词 nagsulat 后重音移到末音节。
可能的词缀组合数量很大，靠手写规则逐条枚举容易遗漏，这也是作者转向数据驱动的原因。对刚入门的研究生，记住依赖顺序：先有音段映射，再有重音位置，最后才有整句消歧。缺了上下文这一步，词级模型在同形词上必然只能猜测。
同任务同输入下有哪些路线？为什么选字节级模型？
相关工作按同输入同目标对照。传统路线是手写规则，例如支持他加禄语的 Epitran，优点是轻量快速，缺点是规则写死后难处理不规则与新词。统计路线如联合序列模型与加权有限状态方法，从数据学习模式，比纯规则灵活。神经路线从循环序列到序列再到 Transformer，Transformer 在英语基准上明显超过无注意力的循环模型。
另一条线是把转换统一为文本到文本生成。通用文本到文本转换模型把所有任务看作生成，语言相关预训练模型微调效果好，没有专属模型时可用多语言模型替代但有性能折中。这类模型在长词与同形词上精度较高，正好对应菲律宾语词长且同形词多的特点。
字节级建模是本文的直接前身。ByT5 直接操作原始字节，不用复杂子词切分，把原本放在大词表矩阵上的参数让给稠密变换层，学到适合字符到音素映射的表示。在大规模多语言字形到音素转换基准上，参数量相近时字节级小模型明显优于词块模型。覆盖约 100 种语言的 CharsiuG2P 包含他加禄语，孟加拉语与巴西葡萄牙语实验也报告了字节级对生僻词与拼写变体的鲁棒性。
梵语声调重建的例子进一步说明字节级能直接处理组合附加符号而不被切分破坏，这与菲律宾语重音恢复的需求相通。作者因此不是从零训练，而是用 CharsiuG2P 权重初始化再微调，把多语言学到的映射作为起点。
要解决的问题是什么？输入输出与难点如何界定？
论文把转换形式化为映射函数，输入是词序列，输出是音素序列，函数由神经网络实现。训练这个函数需要同时有词级与句子级语料，前者教基本拼读，后者教重音在语境中的选择。难点不在单个字母怎么读，而在歧义词在句中读哪一个。
为此作者先区分歧义类型。词典初筛得到大量一词多音，但多音不等于多义，可能是方言或同位异音。论文把标准收紧为语义歧义：同一拼写必须跨越至少两种重音类别，且不同发音对应词典条目中的不同义项。这样问题就从列出所有可能音变成在句中选对一个音。
另一个难点是数据缺口。菲律宾语现有文本语料很少自带音素，更少带重音符号。作者明确把训练定为弱监督，也就是用合成的带噪标签训练，最后用人工校对集检验。这意味着训练集大但不纯，测试集小但可信。复述时不能把合成集上的损失下降直接当作真实能力提升。
整体管线如何从一句原文走到一句音标？
沿一个样本走完全程有助于建立依赖。假设输入是一句含 bukas 的菲律宾语句子，先查词典把每个词分为无歧义与有歧义两类。无歧义词直接走规则转换得到默认音素，有歧义词把全部候选发音与词根义项一起送入大语言模型，由模型按上下文选一个。两路输出再拼接为整句音标，用于微调 ByT5。
ByT5 × 句子级上下文： ByT5 负责直接对原始字节建模，不依赖子词切分，从而保留重音符号与词缀边界等字符级线索；句子级上下文负责提供目标词左右的句法与语义条件，告诉模型当前 bukas 是门的状态还是时间词。二者搭配的原因是字节级编码能无损接收整句输入，上下文则决定歧义词应选哪条发音，组合后模型把整句作为条件 1 次生成整句音素，而不是孤立查词典。
推理时不再走这条合成管线，而是把整句直接送入微调后的 ByT5，1 次生成整句音标。这种安排的理由在原文写得很直接：词典没有收录所有屈折形式，遇到未登录的黏着形时让模型参考词根推测。规则部分只处理每词唯一发音的情形，把不确定性隔离给大语言模型。
作者把这条管线同时用于真实句子与合成句子，区别只在句子本身是来自现有语料还是由模型先造句再标注。理解这一点后，后面的 4 个数据集只是同一管线在不同来源上的重复运行。
词典、音素表与标注管线各自负责什么？
词级基础来自 WikiPron 挖掘的维基词典他加禄语发音，原始符号用类似重音符号前后位置的方式记录重音。初筛得到大量词与发音对，其中一部分一词一音，另一部分一词多音，再按是否跨重音类别且对应不同义项过滤出语义歧义词，其余多音按首个发音归为无歧义。这个过滤动作很关键，它决定了后继合成数据要求模型区分的是真歧义，而不是方言差异。
字形到音素转换 × 重音感知： 字形到音素转换负责把正字法字符串映射为国际音标序列，解决怎么读的问题；重音感知负责在音素序列中放对重音符号与声门塞音位置，解决读哪个义项的问题。二者搭配的原因是菲律宾语日常书写省略重音附加符号，光做音段映射会把 bukas 的明天与打开混为一形，组合后模型必须同时输出音段与韵律标记，才能支撑同形异义消歧。
音素表需要清洗。抓取的国际音标出现几十种符号，但有些不符合菲律宾语音系或极罕见，作者按他加禄语元音辅音库存并参考借词常见音做了归并，得到统一音素表，用于过滤与映射。例如个别罕见符号被映射到最接近的可用音，无法对齐的字符则被过滤掉。这一步保证训练与评估在同一符号集下比较，否则错误率会被符号集不一致污染。
标注管线的组件分工如下。词干提取器负责给出屈折形的词根，帮助大语言模型推测未登录形的读法。大语言模型负责在候选发音中按上下文选择，真实句子用不同版本与是否开启思考模式加以区分。规则转换负责无歧义部分的默认映射，过滤器负责去掉含非法字符或超长样本。词典提供可信锚点，规则处理确定部分，模型集中处理真正需要上下文的重音选择。
四个训练集与微调配置是如何构造与运行的？
训练数据由同一管线产生 4 个分支。Tatoeba 分支是短句翻译集，经标注过滤后得到数千条训练样本，平均句长较短。NewsPH-NLI 分支从新闻蕴含数据集采样数万句，因资源限制只处理其中一部分，再做同样过滤，得到一万多条训练样本，平均句长远长于前者，也是最复杂但噪声最大的分支。
朴素合成集从全部多音词出发，让模型每种发音造数句再走标注管线，得到两万多条样本，其中一部分来自歧义词。词典引导合成集只取语义歧义词，每种发音造更多句子并要求按义项平均分配，例如 baka 的两种读法各自覆盖其下多个义项，最终得到近 60000 样本中约四万多条进入训练。评估另从 Tatoeba 与合成集中抽样人工校对得到金标准集，新闻分支因自动转写质量较差未进入该测试集。
弱监督 × 大语言模型辅助标注： 大语言模型辅助标注负责在多个候选发音中按句意选一个，并为屈折形推测发音；弱监督负责承认这些标签是带噪合成标签，仍拿来做训练信号而不当作金标准。二者搭配的原因是人工逐句标重音成本太高，用词典加规则加模型先产生大规模近似标签是可行折中，组合后训练目标是在噪声下学习可泛化映射，评估必须另用人工校对集检验。
模型结构是编码器解码器，用 CharsiuG2P 权重初始化，输入输出都按字节表示。优化器用 Adafactor，学习率固定并带预热，有效批量靠小批量加梯度累积实现，训练若干轮后取验证损失最好的若干检查点做集成。生成长度设上限，短句可完整覆盖，长句会被截断。复述时要注意原文报告了不同数据集大小对应不同的预热步数，说明训练预算与数据规模是联动的。
当前代码仓库状态按本次收到的资源证据为可用，原文也声明源代码已公开，可作为复现起点。第三方词干与 CharsiuG2P 仓库同样本次可达，但复现仍需以原文证据中的数据划分与过滤为准。
测什么、与谁比、在什么条件下算公平？
评估围绕 3 个问题：音段转得对不对、字符串整体对不对、重音类别选得对不对。音素错误率先用语音工具把字符串切为音素再算编辑距离除以总音素数，字符错误率直接按原始字符算，把空格与重音符号计入，语音特征错误率则按发音特征向量算替代删除插入代价。重音分类把词按重音在末还是倒数第二、结尾开口还是声门塞音分为 4 类加无重音与非标准。
音素错误率 × 字符错误率： 音素错误率负责度量按音素切分后的编辑距离，关注字母到音素映射是否正确；字符错误率负责按原始字符计算编辑距离，把空格与重音符号也计入，关注转写字符串是否完全一致。二者搭配的原因是只看音素会低估重音放错的代价，只看字符又会把空格误差与音段误差混在一起，组合后可以区分模型是音段错了还是重音符号放错了。
比较对象包括 6 种微调数据组合、未微调的多语言基座与规则基线。公平性要点是后两者不预测重音符号，因此字符错误率对它们不是完全有效指标，原文保留数值但做了标记。聚合方式分池化与按句平均两种，前者把全集看作一个长语料，后者先算每句再平均，标准差反映句间波动。显著性用配对符号秩检验并用方法控制多重比较的族系误差。
下表把各来源的数据规模放在同一版式下比较，列数满足宽表要求，数值均有原文连续句支撑。读表时注意总量、训练量与平均句长是不同聚合对象，不能跨列相减得出验证集大小。平均句长的标准差只描述长度分布，不代表转写难度分布。
| 数据来源 | 处理后总量 | 进入训练集量 | 平均句长与离散 | 测试集说明 |
|---|---|---|---|---|
| Tatoeba 短句 | 5, 662 training samples | 5, 662 training samples | 34.9 characters per sentence，均值，SD = 16.7 | 抽样进入 1, 173 samples 人工校对集 |
| NewsPH-NLI 新闻句 | 22, 178 samples | 17, 742 training samples | 177.6 characters per sentence，均值，SD = 43.6 | 未进入人工校对集 |
| 朴素合成集 | 27, 494 samples | 21, 993 in training split，其中 17, 484 are generated from ambiguous words | 管线过滤后产生 | 抽样进入人工校对集 |
| 词典引导合成集 | 59, 252 samples | 47, 402 in training split | 按义项平均分配造句 | 抽样进入人工校对集 |
| 人工校对金标准 | 1, 173 samples | 不适用，专用于评估 | 手工挑选并校正 | 来自 Tatoeba 与合成集 |
上表的主要收益是把数据规模与句子复杂度放在一起看，短句干净但信息少，新闻句长但噪声大，合成集大但依赖模型造句。代价是合成集的标签噪声无法从规模本身消除，新闻集因质量问题被排除在金标准之外，说明多不等于可评。未胜出项是新闻集单独训练的模型，它在后文主结果中明显差于其他组合，提示在弱监督下数据质量比单纯长度更重要。
主结果显示什么？最好成绩与基线的差距有多大？
主结果在人工校对集上报告。所有微调模型都大幅优于未微调基座与规则基线，最好的组合把音素错误率降到约 0.5%量级、字符错误率降到约 2.5%量级，而基座音素错误率在约 19.7%量级。语音特征错误率同步下降，说明不仅是符号对齐变好，发音特征层面的混淆也在减少。数据量总体上越多越好，但最后加入词典引导合成集的一步在音素与特征层面几乎持平，只在字符层面带来约零点 3 个百分点的下降。
显著性检验支持这一判断：除最后两组之间在音素与特征上不显著外，其余配对差异显著，而最后两组在字符层面仍显著。作者据此推测新增数据主要帮助区分重音最小对立，而非普遍改善音段。重音分类只在语义歧义词上度量，相当于要求模型按上下文二选一。4 类主重音的召回在 80%多到近 90%，无重音词识别最好，非标准词最差。
下表把最强证据与词典规模放在同一版式下，列数满足宽表要求，数值均有原文连续句支撑。注意百分点差与相对百分比不同，音素错误率与字符错误率是不同指标，不能把字符层面的 0.3 直接理解为音段提升。
| 证据对象 | 指标与条件 | 最佳微调结果 | 基座或词典规模 | 比较含义 |
|---|---|---|---|---|
| 人工校对集整体 | 音素错误率 | 0.54% 左右 | 基座约 19.74% | 微调大幅降低音段误差 |
| 人工校对集整体 | 字符错误率，含重音与空格 | 2.50% 左右 | 基座不预测重音不可比 | 含重音时仍保持低误差 |
上表的主要收益是微调相对基座的下降幅度大且有金标准支撑，代价是基座与规则基线因不输出重音符号而不宜用字符错误率直接排名。未胜出项是基座与规则模型，它们在音素层面已落后一个数量级，说明多语言词级预训练本身不足以处理句子级重音。边界是该结论只在人工校对的短句与合成句分布内成立，新闻长句因被排除在金标准外而未被同等验证。
消融比较了什么？哪一步真正带来重音收益？
消融按数据组合编号比较。单用短句已能把误差降到较低水平，单用新闻集反而最差，二者合并优于各自单独，说明长句多样性有用但噪声会拖累。加入朴素合成集带来明显下降，再加入词典引导合成集后音素与特征几乎不变，只有字符层面继续下降。作者的解读是最后一步的价值集中在重音符号放置，而非音段本身。
显著性细节支持谨慎表述。最后两组在音素与特征上的配对检验不显著，在字符上显著，这与池化数值的观察一致。教学上要区分报告与推测：差异显著是报告，归因于重音最小对立是有限解释，仍待更严格的假设检验。另一个反证是新闻集单独训练的误差远高于其他组合，说明在弱监督下引入更复杂但噪声更大的数据不一定单调提升。
复述消融时必须保留实际可运行的策略，即各数据组合对应的训练配置，而不是只报最优值。事后最优检查点集成是实际策略的一部分，但不能用测试集上的事后挑选代替验证集选点的收益。原文用验证损失选检查点再集成，评估用独立人工集，这一链条是判断可部署性的前提。
哪些词仍易错？结论的边界在哪里？
最弱的一环是 malumi 类与非标准词。malumi 在 4 类主重音中分类指标最低，非标准词约三成被误判为最常见的 malumay。混淆矩阵的对角线虽强，但非对角仍有系统性偏移，说明模型在低频类别上偏向多数类。例子显示同形词重音错 1 位是主要误差来源，这正是句子级任务的核心，模型尚未完全解决。
数据与评估边界同样明确。训练标签来自合成管线，词典未收录的屈折形依赖模型推测，提示词中词根信息只能缓解不能消除噪声。新闻集因自动转写质量差被排除出金标准，意味着长句复杂语境的真实能力未被同等测量。嵌入可视化只显示弱聚类，不能作为模型理解重音的证明，反而提示符号正确不等于表征分离。
方法边界包括未建模的次重音现象与生成截断。原文明确排除次重音以聚焦主重音，复述时不能把结论推广到次重音。生成长度上限对短句足够，对新闻长句会截断，误差中有一部分可能来自截断而非发音知识。相关性不等于因果，数据量与性能同增不能直接断言每加一批都有因果增益，尤其最后一步的增益只体现在字符层面。
要复现这条管线，先做什么、保留哪些条件？
复现先从数据与符号集做起。按原文用 WikiPron 抓取他加禄语发音，复刻一词一音、一词多音到语义歧义的过滤，保留跨重音类别且跨义项的标准，并清洗为统一音素表。接着实现管线：词干提取得词根，查词典分流歧义与非歧义，歧义部分送大语言模型按上下文选择，非歧义部分走规则直转，最后拼接并做字符过滤与长度过滤。
4 个分支的采样规模、训练切分比例与平均句长条件应原样保留，以便对齐误差来源。模型侧用 CharsiuG2P 权重初始化 ByT5 编码器解码器，按字节输入输出。优化器、学习率、有效批量、预热步数随数据规模调整、训练轮数、验证选点与检查点集成的设置是关键超参数，生成长度上限与长句截断也要如实记录。
评估必须重建人工校对集或同等金标准，用相同切分工具算音素与特征误差，用相同音节规则算重音分类，只在歧义词上度量消歧能力。基线应保留未微调基座与规则模型，并注明字符错误率对它们不完全有效。还需补的验证包括新闻长句的人工校对、malumi 与非标准词的定向测试、不同随机种子与检查点选择的稳定性。
原文未报告延迟与成本，复述时不应承诺这些量得到改善。代码当前可用为复现提供起点，但权重下载与系统可运行是不同事项，需按实际运行确认。
何时值得尝试这套方法？还需补哪项验证？
当任务同时满足 3 个条件时值得尝试：正字法较浅但重音区别词义、词级词典有重音标注但句子级标注稀缺、存在可用的多语言字节级预训练。此时用词典加规则加模型先合成大规模弱标签，再用小规模人工校对集检验，是一条成本可控的路径。反之，若语言没有可信的词级重音词典，或同形词稀少，合成管线的收益可能无法覆盖噪声。
对研究生而言，可迁移的判断是把音段误差与重音误差分开看。音素与特征误差反映拼读基本功，字符误差与重音分类反映语境选择，最后一步合成数据的价值恰好落在后者。若复现中发现音素已低但重音仍错，应优先增加按义项均衡的歧义句，而不是盲目增大通用语料。
未来工作按原文指向更大更多样的数据清洗、多任务或融合语境模型以显式建模重音，以及处理黏着动词移位与同形损失。任何新判断都需回到人工校对集与显著性检验，保留数据集、基线、指标、单位与聚合口径的一致，才能判断是真实进步还是分布偏移。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses