声调看不见的合成器：DunDun 给约鲁巴语 TTS 补一条声调轴

英文题目：Tone on a Budget: A Reference-Free Metric for Lexical Tone in Massively Multilingual Text-to-Speech

标签：#文本到语音 | #评测协议 | #语音 | #多语言 | #韵律

评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Moses Daudu：机构信息未在 arXiv HTML 中可靠披露
• Adeola Enitan Bamidele：机构信息未在 arXiv HTML 中可靠披露
• Honor-Jesus Bezaleel：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

约鲁巴语（Yoruba）等声调语言完全依靠基频曲线的细微起伏决定词义区分，而常用字符错误率（Character Error Rate，CER）经由去声调的自动语音识别（Automatic Speech Recognition，ASR）转写计算，对平调化合成几乎失明。本文提出 DunDun，先从输入文本的变音符号直接读取高（High，H）/中（Mid，M）/低（Low，L）金标序列，再经强制对齐（Forced Alignment）定位声调承载单元并取基频（Fundamental Frequency，F0）残差做三分类，形成与覆盖率配对的参考无关声调精度。与基于 ASR 转写或专家标注的已有声调错误率不同，该链路完全不依赖声调标注语料与识别文本，阈值一次冻结后可按检查点节奏评分自由生成。在27话语探针评测设置下，零样本检查点的DunDun准确率为0.5674，低于5小时微调检查点的DunDun准确率0.628，且覆盖率始终高于0.94而原生锚点为0.596。该结论仅适用于变音符号可靠的正字法与单一声调语言验证，且量程在锚点附近停止区分系统优劣。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么字符错误率不够？

这篇解读的输入是论文正文证据与两张官方原图像素，目标是让刚进入语音领域的研究生能核对并复述方法。必须保留的信息包括任务定义、指标计算、校准冻结方式、验证条件、预算实验的两种误差条，以及所有关键数字的适用条件。输出是 1 篇按学习依赖展开的技术解读，不做营销式判断。

任务是评价约鲁巴语语音合成中的词位声调。约鲁巴语例子是教学例子：ọkọ、ọkọ̀、ọkọ́只差第二个音节的声调，分别对应丈夫、车辆、锄头。论文要解决的矛盾是，标准自动化指标字符错误率在实际计算中来自不带声调符号的识别转写，压平所有声调的系统在转写层面不丢分。也就是说，合成器说错了词，字符错误率仍然可能报喜。

字符错误率 × DunDun： 字符错误率分工是衡量合成语音被识别成文字后的字形可懂度，DunDun 分工是衡量每个声调承载单元的高中低实现是否正确。两者搭配的理由是同一段合成语音可能字对而调错，组合后新增的作用是同时回答词能不能认出来和词是不是变成了另一个词。

论文因此提出两个问题。第一是测量问题：声调专用轴能显示什么字符错误率显示不了的东西。第二是数据问题：几小时干净且可靠标调的音频到底买到了什么。论文把这两个问题分开回答，测量部分给出名为 DunDun 的指标，数据部分给出固定配方下的预算扫描。理解后文的关键是先接受作者的范围限定：金标只从输入文本的变音符号读出，无标记元音算中调，可靠标调是测量的前提。

同输入同目标的已有路线差在哪里？

相关工作按同输入、同目标、同监督和同运行阶段对照。最接近的 3 条声调错误率路线各有不同取舍。一条评价合成的米佐语语音，它在本文意义上也是无参考录音，因为合成任务的输入文本天然给定，但米佐语正字法不标调，所以由 1 位专家语音学家提供金标，能到达 DunDun 到不了的语言，但做不到检查点频率的自动打分。另两条是自动但经过识别器中介：一条是约鲁巴语识别的声调感知错误率，对照参考转写打分。

一条是对合成的唇到语音输出，经识别转写再过字音转换打分。两者打的都是词位可恢复性，而不是声学实现，因为不看声调的前端仍可借助上下文输出带调正确的词。后者还要求能输出声调的识别器加字音转换，这种栈在普通话存在，在非洲声调语言基本不存在。

发音训练中的自动声调评估是仪器的来源。计算机辅助发音训练早就用强制对齐已知目标文本、按声调承载单元取基频、归一化后阈值判决的配方。区别在于发音训练诊断的是学习者，需要用标注数据拟合声调模型或阈值，而 DunDun 把两个判决阈值在 126 段音频上网格搜索 1 次后冻结，此后金标全部来自正字法，不需要声调标注语料。论文因此只声明组合和适用范围，不声明强制对齐、识别器、基音同步叠加算法、说话人验证编码器等部件本身。

另一类参考是无参考韵律评价，它们把韵律当作渐变副语言，不输出每承载单元的范畴标签，无法把车辆读成丈夫记为错误。非洲语言合成的现状是已有标调语料和零样本约鲁巴语合成器，但缺少声调轴，已有基准用词错误率和平均意见分预测器评价，无法隔离声调错误。

要判对什么，什么算作弊，什么不算证据？

要判对的是每个正字法单元的高调、中调、低调三选一。声调承载单元在实现上是一个元音字母或带调字符，集合包括一般元音加ẹ和ọ。金标来自文本的锐音、钝音和长音符号分别对应高、低、中，无标记元音对应中。预测来自音频基频经去倾斜和锚定后的残差分区。分数是每类召回的无加权平均，附带覆盖率，汇合后 3 类都在时机会水平恰为三分之一。

什么算作弊需要提前讲清。弃权单元不许记成中调拿免费分。对齐窗口存在不等于对准了目标音节，错位窗口会拿真实基频值去对错误金标打分，且这种错误不可见。把全中预测拿来比较时，其期望值就是三分之一，这可以作为基线，但不能把系统性翻转低于机会水平的现象只当作退化测试，它恰好是答案键翻转检验能成立的原因。

什么不算独立证据也要提前讲清。把答案键中高低互换后两类读数降到 0.14，在数值上可由正确键结果与回答中调的比例代数推出，论文明确说这是评分路径依赖金标的一致性检查，而不是 DunDun 能读基频的独立证据。读基频的证据来自改变音频而不改变答案键的压平实验。同样，人耳能听出翻转与指标能检出翻转成立，不等于指标逐试次跟踪人耳判断成立，论文把后者报告为阴性结果。

DunDun 沿一个样本走完输入到输出

先沿一个合成样本走全程。输入是两样东西：待朗读的带调文本，以及合成器为该文本生成的波形，不查该句的任何参考录音。文本侧做规范化并按变音符号解析出金标序列。对齐时只去掉 3 个声调符号而保留下点，因为ẹ、ọ、ṣ是对齐器词表条目，同时记录每个承载单元的基字符索引，使金标与预测按构造对齐。音频侧做两件事：用字符级连接主义时间分类强制对齐给出每单元时间窗，用基频跟踪给出整句基频曲线。对齐只提供时间，从不提供标签。

随后在每个窗口内取窗后半段浊音帧的中值作为该单元基频，窗后半无浊音则重试全窗再弃权，转为半音。由于约鲁巴语句内基频整体下倾，晚出现的高调可能低于早出现的中调，直接对原始基频分区会在正确语音上接近机会水平，因此用无标签的稳健斜率拟合去倾斜并按句内中值重中心化，再用冻结阈值分区为高中低。最后汇合为平衡准确率加覆盖率，对照机会水平和母语锚点解读。

下图是该流程的像素级总览，蓝色为文本侧，红色为波形侧，绿色为汇合输出，阅读时注意红色支路明确标注从不输出标签。

看图路径： 1. 先沿蓝色上路看输入文本到金标高高中低的箭头，确认不需要参考录音；2. 再沿红色中路看合成波形分叉到强制对齐与基频跟踪的两条支路；3. 找到红色斜线标注的从不对齐器发出标签的说明，确认标签只来自变音符号；4. 最后看绿色底部框中金标与预测汇合为平衡召回加覆盖率的输出

论文图 1。原论文 Figure 1:：“DunDun. Gold comes from the transcript’s diacritics; forced alignment supplies one window per tone-bearing unit and never a label; the declination-removed, register-anchored F0…”。

该图显示文本侧从带调文本经变音符号解析到每单元金标高中低，波形侧从合成波形分叉到只给时间的强制对齐和基频跟踪，再到每单元窗口与窗后半中值半音值。两路在去除下倾与锚定说话人中值后，用冻结阈值带输出预测高中低，最后金标与预测汇合为平衡每类召回加覆盖率。底部注明机会水平三分之一汇合，且分数对照母语锚点解读而不对照 1。图中红色斜线的作用是把本方法与经识别器转写的声调错误率分开，这是方法归属的关键。

母语锚点 × 机会水平： 机会水平分工是与标签无关的预测器的期望值，3 类汇总是三分之一；母语锚点分工是同一管线在正确声调母语录音上测得的实际上限 0.596。两者搭配的理由是该指标到不了 1，组合意义是分数必须读成在机会到锚点之间占了多少位置，而不是读成百分比正确。

窗口、基频、去倾斜与阈值如何计算？

窗口来自对多媒体多语言模型的对数概率做字符级强制对齐，实验用 24 千赫波形与 16 千赫对齐配置。词汇表外字符逐个弃权，对齐失败或长度失配回退到浊音段上的等宽窗口，论文要求报告该回退路径的发生率。对齐在母语朗读上验证，是否迁移到合成语音只是假设，编解码器无关性建立在该假设上，而不是建立在覆盖率上。

基频每段只跟踪 1 次，范围 65 到 400 赫兹，浊音置信度 0.9，无声帧记空值。取数位置选窗后半段，是因为约鲁巴语声调目标在该区间实现。半音转换的参考值在差值中抵消，细节以原文实现为准。

去倾斜用所有有值单元的半音时间散点拟合稳健斜率，不用声调标签，钳制在负二到零半音每秒，不足 3 个有值单元保持零斜率。重中心化用句内中值，代价是隐含假设句内众数是中调，高调或低调为主的载体句会把锚点拖进该簇并整体偏移标签。分区规则是残差大于等于高阈值判高，小于等于负的低阈值判低，否则判中。阈值在开放语料库 380 段中按句子不重叠切分的 126 段校准集上 6 乘 6 网格搜索 1 次后冻结，目标是平衡准确率减去高低召回差的一半，并拒绝标签置换对照超过 0.40 的参数对，胜出为高 1.0、低 1.25 半音。冻结后在不相交测试集上读得 0.580，覆盖率 0.917，置换对照 0.334。

强制对齐 × 基频： 强制对齐只负责给出每个声调承载单元在时间上的窗口，从不输出声调标签；基频只负责在该窗口内读出音高数值。两者搭配的理由是把何时看与看什么分开，组合后新增的作用是让预测完全来自声学实现而不经过识别器转写，避免上下文把声调错误掩盖掉。

聚合时缺窗口或无浊音即弃权，弃权不记中。汇合分数为有覆盖声调的每类召回均值。限制到子集时均值只在子集上取，机会水平不再是简单的一除以类别数，因为限制金标不限制预测，预测答到子集外即记错。覆盖率需与分数同行，分声调覆盖率也要同行，因为弃权不是类无关的，句末低调常因嘎裂声丢失。汇合覆盖率低于约 0.7 即判失败，无论准确率多高。

准确率 × 覆盖率： 准确率分工是已覆盖单元上 3 类召回的无加权平均，覆盖率分工是说明有多少单元有可用窗口和浊音基频。两者搭配的理由是对齐错位和清音缺失本身会扭曲分数，组合后新增的作用是要求二者同行，覆盖率过低时分数不可读。

本研究训练了什么，冻结了什么，两种误差条是什么？

本节先说没有训练什么。DunDun 指标本身没有神经网络训练，只有两个阈值在 126 段上拟合 1 次后冻结，此后所有评估不再更新。对齐器、识别器、说话人编码器、自监督编码器都是既有模型调用，不在本研究中训练。基线字符错误率来自多媒体多语言识别器，基频跟踪用既有跟踪器加备用方案，说话人相似度用说话人验证嵌入的余弦，抗坍缩探针用非洲语言自监督编码器且明确声明只是 corroborative 性质的辅助检查。

真正执行训练的是案例研究中的预算扫描。对同一大规模多语言零样本合成器，用干净且可靠标调的约鲁巴语在 0、1、5、15 小时预算下按同一配方微调：固定 10 轮、批量 16384 词元、学习率十的负 5 次方。28.5 小时是全量干净语料的例外点，固定 5000 步而非固定轮数，与约 2600 步的换算量不同配方，因此是离轴点，后续结论不依赖它。每个检查点在同一 27 句留出探针上测字符错误率、DunDun 和说话人相似度。

解码种子方差 × 训练种子方差： 解码种子方差分工是固定一个已训练检查点、只重采样生成过程，衡量输出稳定性；训练种子方差分工是固定数据预算、重复整个微调，衡量预算真正买到了什么。两者搭配的理由是数据效率结论只能用后者支撑，组合意义是防止把生成抖动误读成预算之间的优劣。

两种误差条必须分开。解码种子方差是单检查点 5 次生成种子，回答生成稳定性，是唯一能覆盖全部五预算的协议。训练种子方差是数据固定下 3 次独立从头微调，回答预算真正买到什么，是数据效率结论需要的误差条，1、5、15 小时具备，28.5 小时是单次运行不具备。零样本按构造只能有解码方差。论文要求两类区间永不放同一列相除，解读时也不比较跨类型均值高低。

验证与预算实验在什么条件下测什么？

验证有 3 组，每组都设计成声调盲分数无法偶然通过。第一组固定语句只动基频，用基音同步叠加按 1.0 到 0.0 压缩基频摆动到单调，检验 DunDun 是否跟随压平因子而字符错误率是否不动。第二组不动音频只动答案键，对 300 段 37 人母语录音在正确键、打乱键、高低互换键下打分，预测序列按字节相同，检验评分路径是否按定义依赖金标。第 3 组是人耳对照，用同 route 构建伪影匹配的正确与翻转孪生句，随机正确侧、3 位母语者盲听，另设捕捉试次做门控，检验翻转是否可听以及指标能否检出。

预算实验条件是固定配方、固定 27 句探针、固定三轴读数。数据来自公开约鲁巴语语料中转写带变音符号的两部分，探针与微调材料不重叠。非声调对照用同一基座模型在斯瓦希里语单叙述人录音室数据上按同配方在 0、1、2.5、5 小时预算下微调，只读字符错误率与说话人相似度，不跑 DunDun，因为正字法不标调则金标不存在。指标方向是字符错误率越低越好，说话人相似度作为控制量看是否漂移，DunDun 越高越好但只在机会水平到母语锚点之间解读。

统计上除了解码与训练种子区间，还有母语锚点的 95% 区间与试次水平区间，人耳部分报告威尔逊区间与精确二项检验，逐试次对应报告受试者工作特征曲线下面积与点二列相关及其区间。

资源状态是正文开源声明的唯一依据。本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开，只能说论文文本声明释放指标、冻结校准与验证协议，当前可用性本次未能确认。

压平、翻转与预算曲线显示了什么分离？

先看压平对照要回答的问题：在固定语句上只破坏声调时，声调轴是否倒下而字符错误率是否无动于衷。公平条件是五档压平因子作用于相同语句，段内容、时长与说话人基本保留。指标方向是 DunDun 应随压平下降，字符错误率应基本持平。下表整理原文报告的五档读数，DunDun 从未压平到全平单调大势向下并在全平时恰落到三分之一，字符错误率全程扁平且仅在全平时小幅上探，作者明确不解读该小幅上升。

表后解释主要收益与代价。收益是单变量操作下的分离：摧毁词位声调的退化对 DunDun 是全额打击，对字符错误率不可见。代价与反例是排序并非严格单调，最小两档相差 0.006 且在噪声内，不能逐档排名，只能读大势与端点。未胜出项是字符错误率，它在此对照中没有输掉可懂度任务，只是证明它不负责声调任务。

再看预算曲线要回答的问题：几小时干净音频买到的是可懂度还是声调。公平条件是同一配方、同一 27 句探针、同一三轴。下图上方面板为声调轴对照母语锚点与机会水平，下方面板为字符错误率，蓝线为覆盖全预算的解码种子协议，方块为 1、5、15 小时的训练种子协议。

看图路径： 1. 先看上方面板蓝色折线与绿色方块分别代表解码种子与训练种子两种误差条；2. 确认橙色横线与浅色带代表母语锚点 0.596 及其置信区间，灰色虚线代表机会水平；3. 再看下面板红色字符错误率折线随预算下降的斜率，与上方面板声调线的平坦作对比；4. 注意 28.5 小时点标注为单次运行，确认该点没有训练区间

论文图 2。原论文 Figure 2:：“The clean Yorùbá budget curve. Top: DunDun against the native-speech anchor (0.596, shaded band the 95% CI [0.578,0.614]) and the 1/3 chance floor.”。

该图上方面板显示声调零样本起点已接近橙色母语锚点带，随预算缓慢爬升并在 5 小时后进入或超过锚带，其中 15 小时训练方块区间很宽，28.5 小时点明确标注为无训练区间的单次运行。下方面板显示字符错误率从零样本明显下降，到 5 小时约减半，到 15 小时约 3 倍以上，随后持平。两面板合读即论文所说的分离：可懂度买到了大幅早期收益，声调轴在微调前已用掉机会到锚点的大部分行程。像素上注意纵轴两面板不同，上为平衡高中低分数，下为字符错误率，不能把下方曲线的向下直接读成上方性能变差，两者好坏方向相反。

下表把预算扫描的端点放在同一视野，声调归一化位置与说话人控制量并列，提醒读者训练区间重叠时不排座次。

表后解释强调三点。第一，零样本声调已覆盖机会到锚点约 0.89 的行程，5 小时字符错误率减半而声调只走完剩余小部分并进入饱和带。第二，5 小时与 15 小时训练区间重叠，不 claim 15 小时胜过 5 小时。第三，说话人相似度全程在 0.81 到 0.84 内，可懂度提升不是靠漂离目标声音换来的。负结果是 28.5 小时因单次且离配方不能与括号内行比较，只能作为全量语料的报告点。

答案键翻转与人耳对照各证明了哪一段链路？

本节按问题组织两组对照。答案键问题是：评分路径是否按定义依赖金标。条件是音频与预测字节相同，只换金标。指标方向是打乱键应回落到机会水平，高低互换的两类读数应远低于其特殊机会水平 0.35 而非 0.5，因为限制金标不限制预测，答中调即记错。关键数字是 3 类正确键 0.596，打乱键 0.34，高低互换 3 类 0.32，两类正确 0.56，两类互换 0.14。

支持的判断是评分路径确实读金标，且若预测泄露自答案或某类被静默丢弃，该对称性会大声失败。限制是互换值可由正确键召回与中调回答率代数推出，不是读基频的独立证据。

人耳问题分两层：翻转是否可听，以及指标是否逐试次跟踪人耳。条件是伪影匹配孪生句、正确侧随机、3 人盲听加捕捉门控。关键数字与分工见下表，表中把人类正确率、指标胜负与逐试次对应分开，避免把可听性当成一致性。

表前已提出比较问题与公平条件，表后解释收益与代价。收益是翻转可听且指标敏感，冻结锚点与出厂设置的差距说明出厂损失多在单句中值锚定而非基频读取。代价是逐试次对应未建立，区间横跨机会水平，作者报告为阴性结果而非 caveat。未胜出项与边界是早期单听者 0.96 因刺激构建已更换而不可比，仅 1 人达到 24 试次门槛，2 位满分听者对一致性统计无方差贡献，需要难度分级的刺激而非更多同类专家试次。

轴在哪里饱和，在哪里不适用？

第一，轴在母语锚点处饱和。正确声调母语经同一管线只读 0.596，区间 0.578 到 0.614，可用范围远窄于三分之一到 1。从 5 小时起检查点位于锚点上，超过锚点不是超母语，而是轴停止可靠排名，这是 DunDun 的局限而非模型的性质。也因此该扫描能显示声调轴在微调前已近用完，同时排不出顶部预算的座次。

第二，范围条件是正字法可靠标调。约鲁巴语内中调无符号，漏标会把金标高低变成金标中，恰好奖励从不离开中带的压平系统。豪萨语正字法不标调，伊博语只部分标调且降阶高无三分类位置，DunDun 按原文写法不迁移，需要专家或词典金标则是另一方法。

第三，对齐与锚定假设未充分检验。对齐在母语朗读验证后假设迁移到合成语音，覆盖率只证窗口存在不证位置正确。句内中值锚定假设中调为众数，高低为主的载体会整体偏移。弃权非类无关，句末低调易因嘎裂声丢失，不配分声调覆盖率的每类召回偏乐观。

第四，扫描宽度不足。单模型家族单探针，27 句固定导致两类误差条都不含项目方差，母语锚点段水平标准差 0.168 换算到 27 句的项目抽样 1/2 宽约 0.063，约占可用区间的 1/4，相邻预算排序本来就解不出。斯瓦希里语对照是单种子每预算 1 次，1 小时与 2.5 小时倒挂应读端点而非排序。人类证据只有 3 人，逐试次问题开放。论文列出的解决顺序是更多听者、第二标调语言、在合成音频上做对齐研究，成本递增。

复现先做什么，需要哪些固定物？

复现先做三件事。第一是重建金标解析：规范化后按锐音、钝音、长音符号映射高中低，无标记元音记中，承载单元为元音字母或带调字符，保留ẹ、ọ、ṣ的下点供对齐使用。对齐只去三调符号，记录基字符索引使序列按构造对齐。对齐失败或长度失配走等宽回退并记录发生率。

第二是冻结阈值与管线：基频跟踪 1 次，取窗后半浊音中值，无值重试全窗再弃权，转半音后做无标签去倾斜与句内中值重中心化，用冻结的高 1.0、低 1.25 半音分区。校准集的句子不重叠划分与置换对照拒绝规则必须保留，因为阈值拟合而非假设。评估时汇合平衡召回加总覆盖率与分声调覆盖率，对照三分之一机会水平与 0.596 母语锚点解读，不对照 1。

第三是复刻验证协议而非只跑分数：同语句五档压平看声调轴是否触底而字符错误率扁平；同预测换答案键看打乱是否回机会、互换是否远低于 0.35；伪影匹配孪生句盲听加捕捉门控看可听性，再独立跑指标看可检出性，逐试次对应单独报告区间。预算复现需保留解码与训练两种误差条分列，28.5 小时按离轴单运行处理，不与固定轮数行比较。关键超参数是固定 10 轮、批量 16384 词元、学习率十的负 5 次方，以及探针与训练不重叠。信息条件是输入必须可靠标调，否则金标扁平方向恰好 flatter 最差系统。

何时值得尝试，何时不值得？

当语言有词位声调且正字法可靠标调，当评价需要在检查点频率自动打分，当字符错误率已无法区分压平与正确系统，值得尝试 DunDun 作为第二轴。它不需要参考录音，不需要声调标注语料，不需要能输出声调的识别器，适合放在合成训练的检查点节奏上与字符错误率并读。读数时把零样本起点换算成机会到锚点的占比，把微调增量放在训练种子区间下判断，把超过锚点的分数读成饱和而非超母语。

当语言无词位声调或正字法不标调，当文本来自爬取且漏标严重，当载体句声调分布极偏或句太短导致中值锚定不稳，当覆盖率低于约 0.7，不值得单独依赖该分数。斯瓦希里语对照的含义正在于此：需要的指标是语言的属性，不是通用升级。论文的直接报告是分离本身，有限解释是声调早熟而可懂度后熟，未验证推测是把该结论推广到其他声调语言或模型家族，措辞上应保留可能与待验证。最终的复述口径是：数小时干净音频买到的是可懂度的大幅早期收益，声调在零样本已接近锚点并迅速饱和，而该饱和首先是测量轴的上限，不是合成质量的终点。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-16 语音/音乐/音频论文速递