📄 为朗读录制而修的约鲁巴语句子：ÌròyìnSpeech 文本部分是怎么来的
英文题目：The ÌròyìnSpeech Text Corpus: 24,905 Curated Yorùbá Sentences for Speech and Language Technology
标签：#文本到语音 | #数据集构建 | #数据集 | #低资源
评分：6.3/10 | 创新 1/2 | 技术严谨 0.8/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Kola Tubosun：机构信息未在 arXiv HTML 中可靠披露
- Aanuoluwapo Aremu：机构信息未在 arXiv HTML 中可靠披露
- Tolulope Ogunremi：机构信息未在 arXiv HTML 中可靠披露
- Iroro Orife：机构信息未在 arXiv HTML 中可靠披露
- David Ifeoluwa Adelani：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
约鲁巴语可用文本长期以圣经及耶和华见证人翻译为主，网络爬取文本又常缺失声调符号，导致模型难处理当代口语与新闻语域。ÌròyìnSpeech项目为录制录音室语音先整理了可朗读提示句，本文发布其中的文本部分以提供当代全调世俗文本。来源收集把MENYO-20k与MasakhaNER约鲁巴语部分的新闻句子，与依据未发表短篇小说改写和新写的句子合并，形成覆盖新闻与小说语域的初稿。人工编辑承接上述初稿逐词核对声调符号和下圆点，缩短难读长句并改写宗教与冒犯性表达，再把非约鲁巴语人名地名本地化为约鲁巴语形式，输出可直接朗读的提示集。在2022年工作文件共25001行的同一清洗计数下以句行数量为指标，清洗前25001行高于去除96个完全重复后保留的24905句唯一句子，且其中15451行不符合NFC规范化形式的问题规模高于35句误用U+0329编码问题的35句，以上为语料质量清洗结果，不是模型性能实验。二次检查承接可朗读提示集统一规范化形式并标记少词与字符集越界等残留问题，使文本可直接用于声调符号恢复、字音转换、语音合成前端和正字法研究。该语料仅覆盖尼日利亚标准约鲁巴语朗读新闻与改写小说语域，不适合作为事实记录，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://aclanthology.org/2021.mtsummit-research.6/ — 链接可访问（HTTP 200）
第三方资源：https://doi.org/10.18653/v1/2022.emnlp-main.298 → https://aclanthology.org/2022.emnlp-main.298/ — 链接可访问（HTTP 200）
第三方资源：https://aclanthology.org/2020.lrec-1.520/ — 链接可访问（HTTP 200）
第三方资源：https://doi.org/10.18653/v1/P19-1310 → https://aclanthology.org/P19-1310/ — 链接可访问（HTTP 200）
第三方资源：https://aclanthology.org/2024.lrec-main.812/ — 链接可访问（HTTP 200）
第三方资源：https://doi.org/10.21437/Interspeech.2020-1096 → https://www.isca-archive.org/interspeech_2020/gutkin20_interspeech.html — 链接可访问（HTTP 200）
第三方资源：https://doi.org/10.21437/Interspeech.2022-10850 → https://www.isca-archive.org/interspeech_2022/meyer22c_interspeech.html — 链接可访问（HTTP 200）
第三方资源：https://arxiv.org/abs/2609.33734 — 链接可访问（HTTP 200）
第三方资源：https://arxiv.org/abs/2609.38627 — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决的输入输出是什么
这篇论文处理的对象是约鲁巴语文本。约鲁巴语是声调语言，词义随声调变化，书写时靠元音上的声调符号和高低符号以及ẹ、ọ等带下圆点的字母来区分，缺了这些符号，句子就含糊不清，语音合成也不知道该怎么读。
论文的输入是 2022 年为录制语音而攒下的工作文件，大约两万五千行已经过人工改写的句子。输出是一个公开发布的文本语料：24905 句不重复的、经人工核对声调的当代世俗约鲁巴语句子，共 275897 个词例，15687 个词型。它的直接用途是当朗读提示，让志愿者在录音棚里一句句读出来；间接用途是给需要正确带调文本的研究用，例如补全声调、把字形转成发音、做合成前端和研究正字法。
声调符号 × 下圆点： 声调符号指标在元音上下的高低升降记号，决定词义；下圆点指ẹ、ọ等字母下方的点，用于区分不同元音音位，两者都要写对，句子才能被正确朗读和转为发音。
变音符号恢复 × 字形到音素转换： 变音符号恢复指把流通文本中缺失的声调和下圆点补回去，字形到音素转换指把写出的字母串变成发音单位序列，前者补写形，后者定读音，两者都是语音合成前端需要的步骤。
为什么已有约鲁巴语料不够用
论文说，约鲁巴语使用者超过 40,000,000 人，分布在尼日利亚西南部、贝宁共和国、多哥以及相当规模的全球散居群体中，但做语言技术时能拿到的文本大多来自宗教翻译。标准多语语料里约鲁巴语一侧绝大部分是圣经和耶和华见证人材料，用它们训练的模型读经文很顺，处理当代口语和新闻就不行。语音方面也是类似情况，BibleTTS 这类较大的非洲语音资源来自圣经录音，早期的开放约鲁巴语语音数据则规模和领域都有限。
所以这个项目选择从源头材料入手，先攒一批现代的、世俗的、可朗读的句子，再去录音。音频部分已有 42 小时、80 人录制的版本，由 ELRA 分发，本文是第一次正式发布和说明其中的文本部分。时间上源新闻大约是 2018 年至 2022 年，整理工作在 2022 年完成，清洗打包在 2026 年完成。
种子文本和已有语音资源各负责什么
论文把已有资源分成两类。第一类是文本种子，约 11000 句来自两个开放许可的集合：MENYO-20k 的约鲁巴语一侧主要来自尼日利亚之声和 Global Voices，MasakhaNER 2.0 的约鲁巴语部分基于 Asejere 报纸。选它们的原因是它们已经过母语者对网络爬取文本中常见的变音符号错误做过初步检查，比重新爬网页更可靠。
第二类是已有语音，BibleTTS 和早期的约鲁巴语开源语音被用来说明领域偏差和规模不足的问题。它们不是本文的基线对照，而是用来解释为什么要另起一套世俗朗读提示。本文也没有在翻译或识别指标上与它们打擂台，只是说明材料来源不同。
MENYO-20k × MasakhaNER 2.0： MENYO-20k 是来自尼日利亚之声等新闻的约鲁巴语英平行句集，MasakhaNER 2.0 是基于 Asejere 报纸的命名实体数据，两者在本篇中共同作为约 11000 句新闻种子句的来源，都已做过初步声调校对。
什么样的句子才能直接拿去录音
能直接录音的提示句必须同时满足几个条件。第一，声调符号和下圆点要逐词正确，否则朗读者会读错，合成模型也会学错。第二，句子不能太长、句法不能太绕，否则志愿者在棚里容易绊住。第三，用词要中性，不带宗教对立或冒犯性说法。第四，不能出现需要用英语发音读出的人名地名，否则一句话里要切换发音体系，影响声学建模。
论文为此定了一条本地化改写规则：把非约鲁巴语的人名地名换成约鲁巴语形式，例如把 United States 换成Ìlú Ọba 一类写法。这条规则保证了录音时发音一致，但代价是文本不再忠实记录原来的新闻事件。按论文的说法，这是关于一个轻度虚构化尼日利亚的约鲁巴语散文。
从种子到可发布语料的整体流程
整个构造分 3 段。先取材，约 11000 句来自上述两个新闻集合，约 12000 句在内部新写。内部写作以译者未发表的约鲁巴语短篇译稿为种子，把长句拆短，再按种子材料的主题和语域写新句，另有几十句专门提高稀有音节性鼻音的出现频率。
再做人工编辑，所有句子不分来源都要过一遍逐词核对声调、缩短简化、改中性措辞、本地化人名地名。最后为本次发布做二次清理，处理 Unicode 规范化、去重、引号、空格和残留的编辑批注，对少数有问题但不想删的句子只做标记。清洗后工作文件的 25001 行变成 24905 句不重复句子。
内部新写句子补了哪块覆盖
只靠新闻种子凑不够 40 小时录音，也补不上自然样本里稀少的发音。内部写作一方面扩主题和语域，让内容超出宗教翻译的范围；另一方面把长句拆成适合朗读的短句。
还有一小批句子是为音节性鼻音补的，例如 m̀bá、ḿbọ̀中的音节性 m，以及人名内部的鼻音如 Bím̀bọ́、Olúyọḿbọ̀。这类结构在自然抽样里很少见，但合成和发音词典需要见到实例，所以特意写了几十句放进发布版。对刚入门的同学可以这样理解：这相当于给语料做定向补货，不是随机采样，而是缺什么补什么。
音节性鼻音 × 本地化改写： 音节性鼻音指单独成音节的 m、n 等，如 m̀bá中的 m̀，本地化改写指把外来人名地名换成约鲁巴语拼写，前者是补录稀有发音样本，后者是避免朗读者中途切换成英语发音。
Unicode 问题是怎么发现和修的
第二次清理是为这次发布做的复查，起因是表格里人工逐词核对声调和圆点时看不出编码差异。人工核对只看字形是否正确，表格工具也不会提示同一字母用了两种存法，所以问题一直留到发布前才被发现。工作文件共 25001 行，其中有 15451 行不是 NFC 形式，占比超过 60%。问题不是整句统一用错一种写法，而是同一字母的预合成和分解表示混在同一句里。例如一个à存成单个码位 U+00E0，旁边一个ì却存成字母 i 加组合符号 U+0300，屏幕上看起来都是正常的带声调字母。漂移只发生在那些本就有预合成形式的字符上，包括í、à、á、ì、ó、ú、é、ò、è、ù、ń和ọ，其中í一个就占了 25158 次。
复查的顺序是先解决编码一致，再处理版式遗留。编码部分先把工作文件逐行检查是否符合 NFC，把预合成与分解混用的写法统一起来，统一后的发布文件为 NFC 形式，原始文件另外保留，以便复现和对照。另一处是 35 句把 U+0329 竖线下组合符用在了本该用 U+0323 圆点下组合符的位置。人眼看上去一样，但机器看来是两个不同词，会对不上、排不到一起、分词结果不同，还会虚增词表。论文把后果说得很具体，就是对不上、排不到一起、分词结果不同，词表也会被撑大。修复后发布文件统一为 NFC，原始文件保留以便复现，方便以后研究这种错误是怎么在长期人工整理中产生的。
但 NFC 不等于一字一码位。24905 句里有 22642 句含有ọ́、ọ̀、ẹ́或ẹ̀，占 90.9%，共 69038 处，这些组合在 Unicode 里从未编码过预合成形式，按稳定性政策以后也不能加，所以规范化后仍是两个码位。任何把 NFC 当成一字一码位的工具都会数字符数错、切词错、精确匹配失败，处理这批文本时必须按字形簇或码位序列的真实情况计数。论文把这一点单独写明，是因为码位总数 1344572 与字形簇总数 1275178 本来就不相等，若按码位去数带圆点加声调的字母，自然会偏多。这也是发布时同时给出两种计数的原因，让做评测和对齐的人直接按真实字形簇来算，不必再猜。
同一轮还处理了其他遗留痕迹。96 个完全重复的句子被去掉，5 个不换行空格被改掉，505 句里不统一的引号被理顺，粘在 5 句后面的编辑批注被清除，这些都是不影响句意的版式清理。另有一些不改只标出：8 句不足 4 个词，7 句含有伊博语字符，5 句含有约鲁巴字母表以外的字母，14 句的组合声调符号没有贴在字母上，而是跟在空格、标点或行首后面，还有 1 句把 U+00B8 间隔变音符当成了逗号。标出而不删，是为了保留原貌，让使用者自己决定是否剔除，也让原稿整理中的疏漏可以被看到和复核。
这次复查分了两层，先改会破坏匹配和计数的一致性问题，再改只影响版式的问题，最后把拿不准是否该删的句子标出来。编码统一后，发布文件可以直接拿去做对齐和建词表，原始文件则留着对照编码漂移原来的样子。标出而不改的那几十句，数量很少，但类型分散，使用时可以先按标记过滤，再决定是否进入朗读录制或声调恢复训练，这样既不丢信息，也不会把原稿笔误当成正常写法学进去。
NFC 规范化 × 预合成与分解表示： 预合成指一个带调字母存成一个码位，分解表示指字母加组合符号存成多个码位，NFC 规范化指统一优先用预合成形式的规则，三者组合解释了为什么看起来相同的词会匹配失败。
本文训练了什么，没有训练什么
本文没有训练任何神经网络模型，也没有报告翻译、识别或合成的训练曲线和超参数。它做的是语料构造和清洗，属于规则加人工的计算过程：逐词核对声调、改写句子、统一编码、去重和标记。
实际的计算步骤是可复述的：把工作文件转成统一的 NFC 形式，把 U+0329 替换为 U+0323，删除 96 个完全重复句，统一引号和空格，清理 5 句上残留的编辑批注；对过短句、含伊博字母句、含约鲁巴语字母表外字母句、悬空组合声调句和误用间隔变音符的逗号句只标记不删除。论文没有给出自动化脚本的优化器、梯度或阈值搜索过程，这一项是缺的，不应从语料名称去猜测模型实现。
语料的地域时间范围和许可条件
地域上覆盖尼日利亚西南部以约鲁巴语为母语的地区，源新闻关心尼日利亚全国和地区事务，又经过本地化改写，地名偏向约鲁巴语州。贝宁和多哥的约鲁巴语变体没有收，整理目标是尼日利亚广播媒体用的标准约鲁巴语。
时间上源材料约 2018 年至 2022 年，整理在 2022 年。许可上因为上游两个集合都带非商业条款，且派生改写后已无法干净拆分，全库按 CC BY-NC 4.0 发布。论文特别说明，2024 年那篇语音论文里写成 CC BY 4.0，这次文本改为 CC BY-NC 4.0；凡是同时进过 Mozilla Common Voice 并以 CC0 进入公有领域的句子，不受此限制，但项目记录已无法标出具体是哪些句，需要无限制条款的用户要自己去对 Common Voice 的约鲁巴语版本。
清洗前后留下了多少文本
把清洗结果看成一次如实报告：工作文件 25001 行，去掉 96 个完全重复后得到 24905 句不重复句子，词例 275897，词型 15687。论文没有拿它和别的语料在同一任务上比分数，所以这里的数字是规模陈述，不是胜负结论。
下表整理 Unicode 类问题的比较：问题是什么、有多少行受影响、频次多高、最后怎么处理。比较的公平条件是同一份工作文件、同一套 NFC 标准；指标方向是受影响行越少、编码越一致越好，但ọ́这类双码位残留不是错误，而是 Unicode 本身没有预合成形式。
| 问题类型 | 影响行数 | 频次与比例 | 示例字符与编码 | 处理结果 |
|---|---|---|---|---|
| 非 NFC 混用行 | 15451 行，共 25001 行 | 同句内预合成与分解并存 | à为 U+00E0，ì为 i 加 U+0300 | 已统一为 NFC，保留原始文件 |
| 高频未合成字符 | 多行 | í共 25158 次 | í、à、á、ì、ó等 | 已转预合成形式 |
| 无预合成组合 | 22642 句，共 24905 句 | 69038 次，占 90.9% | ọ́、ọ̀、ẹ́、ẹ̀ | 仍为双码位，属正常残留 |
| 匹配分词影响 | 全库 | 词表虚增、排序分词不一致 | 外观相同编码不同 | 规范化后可比 |
表后解释要落到代价上。统一 NFC 的好处是外观相同的词能匹配到一起，代价是必须记住两点：第一，原始文件和清洗后文件要分开存，否则复现时对不上；第二，下游不能假设一字一码位，数字符数要用字形簇而不是码位数，论文给的码位数 1344572 与字形簇数 1275178 之差就来自这部分。未胜出的范围是贝宁多哥变体和口语语域，本次根本没有评测。
去重标点与标记句各有多少
第二组结果是句子级清理。论文报告去掉了 96 个完全重复，修了 5 个不换行空格和 505 句里的不一致引号，清理了粘在 5 句上的编辑批注。另有一些不改只标的：不足四词的 8 句、含伊博字符的 7 句、含约鲁巴语字母表外字母的 5 句、悬空组合声调的 14 句、把间隔符 U+00B8 当逗号的 1 句。标记保留是为了不丢信息，也提醒用户先过滤再用。
| 处理类别 | 句子数量 | 涉及符号或内容 | 原始规模背景 | 当前状态 |
|---|---|---|---|---|
| 完全重复删除 | 96 句 | 整句相同 | 工作文件 25001 行 | 已删除，余 24905 句 |
| 引号空格清理 | 505 句，5 处空格 | 引号不一致、不换行空格 | 同一工作文件 | 已统一修正 |
| 编辑批注残留 | 5 句 | 正文外批注粘连 | 同一工作文件 | 已剥离 |
| 悬空声调与误用逗号 | 14 句悬空，1 句误用 | 组合符后跟空格标点、U+00B8 代逗号 | 同上混合来源 | 只标记不改 |
这张表的限制是来源不可完全还原。用已发布的 MENYO-20k 和 MasakhaNER 2.0 去对，只找回 65 个完全相同句和 921 个有较多 n 元重叠的句子，远少于记录里约 11000 句的来源量。原因是拆句、缩短和本地化改写已让派生句在字符串层面认不出来。论文给了每句的来源推测和置信区间，但明确说那是重建，不能当许可判定依据。
如果不做本地化和拆短会怎样
论文没有做去掉某一模块后分数掉多少的消融实验，这里的对照是按原文机制推的适用边界。本地化改写把外来地名换成约鲁巴语形式，避免朗读者切到英语发音，保证声学建模干净；若去掉它，录音里会出现中英混读，文本也更接近真实新闻，但就不适合直接当纯约鲁巴语音提示。
拆短简化让长难句变得可读，若不做，志愿者更容易读错停顿，录音废品率会上升，但文本会保留更完整的新闻句法。补写稀有鼻音句提高了 m̀、ḿ等结构的覆盖，若拿掉，语料更自然但发音词典和合成前端会缺实例。三者都是为录音任务做的取舍，不能推广成所有约鲁巴语任务的最优做法。
哪些结论不能从这篇论文里得出
第一，不能把它当事实新闻档案用。本地化虚构了地名人名，语域只是可朗读的新闻和改写小说，既不是会话口语，也不是书面语全集。第二，不能当方言代表，它只做了广播媒体的标准约鲁巴语，地区差异没有收。第三，不能用它证明变音符号恢复或合成指标提高了多少，论文没有跑这些实验，只是说材料适合拿去做这类工作。
第四，许可和来源都有缺口。Common Voice 子集无法标出，具体哪句是 CC0 要用户自己去对；上游非商业条款导致全库只能 CC BY-NC 4.0。把相关当因果、把规模大当质量高，都是误读。容易误解的是看到 NFC 就以为一字一码位，论文恰恰提醒ọ́等仍是双码位，字符计数和精确匹配要按字形簇处理。
要复现和复用第一步做什么
复现清洗先拿 Zenodo 上的发布包，注意区分清洗后文件和保留的原始文件。第一步用支持 Unicode 规范化的工具把原始文件转 NFC，检查是否还有 U+0329，并统计ọ́、ọ̀、ẹ́、ẹ̀的双码位出现，核对 15451 行非 NFC、22642 句含双码位组合这类数量级是否对得上。再检查 96 个重复是否已去、505 句引号是否一致，以及被标记的短句、外来字母句和悬空声调句是否还在。
复用分两种。只做文本工作的人可以直接用 Zenodo 文本，许可按 CC BY-NC 4.0，同时自行对 Common Voice 排查 CC0 部分；要连音频一起用的人还需另行向 ELRA 申请 ELRA-S0492。要录新声音的人可以直接拿这套已验证可读的提示去录不同方言、年龄或性别，但要先按自己目标过滤标记句，并确认本地化地名是否符合新录音的需求。作者资源之外的引用链接只证明论文提到过，不代表作者已开源。
什么时候值得用，还缺哪项验证
当你的任务需要当代世俗的、人工核对过声调的标准约鲁巴语句子，且能接受朗读新闻语域和虚构化地名时，这套语料值得一试，例如做变音符号恢复的训练评测、字形到音素和合成前端开发，或当语言模型里平衡宗教文本的干净对照。
当你需要口语对话、多方言覆盖或事实新闻检索时，它不合适。还缺的验证是论文没有给出的：在这套文本上训练的恢复或合成到底比用宗教文本好多少，需要补一个同任务、同划分、同指标的对照实验，并报告分词、字符计数和匹配规则，才能把复用价值从材料合适变成效果证据。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses