不用发音词典的马来语合成：双分辨率如何留住短字母

📄 不用发音词典的马来语合成：双分辨率如何留住短字母

英文题目：DRC-TTS: A Dual-Resolution Codec-Based Architecture for Lexicon-Free Malay Speech Synthesis

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Tianhui Su：机构信息未能从 arXiv PDF 文本可靠映射
• Tien-Ping Tan：机构信息未能从 arXiv PDF 文本可靠映射

📌 核心摘要

需要解决的是从马来语文本直接生成语音，输入是清洗和规范化后的小写字符序列，输出是可由外部解码器还原为波形的离散声学码元。字符物理时长常短于低帧率编解码器一帧的时间，在12.5 Hz下按取整量化可能得到零帧，字符在长度调节阶段失去表示，导致发音遗漏。处理沿单条前向展开：字符嵌入后经序列编码器得到语言表示，按50 Hz分辨率复制展开并保证每字符至少一帧，再经步长为4的一维卷积下采样到12.5 Hz，与预测的基频和能量相加后由解码器逐帧预测量化器编号，最终送入Mimi解码器合成波形。与完全在12.5 Hz展开的单分辨率基线相比，该设计保留短字符的中间表示，同时不增加需要生成的码元数量。在Idayu单女性说话人语料的留出测试上，用外部语音识别系统计算字符错误率，双分辨率模型为21.86%，低于单分辨率基线12.5 Hz的27.11%。在20名马来语母语者对20句域外句的五分制自然度评测中，双分辨率模型平均意见分为4.30，高于单分辨率基线的4.12。结论适用于该语料和评测条件，跨说话人、跨语种和统计显著性尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/malaysia-ai/malaya-speech — 链接可访问（HTTP 200）

• 第三方资源：https://github.com/jaywalnut310/glow-tts — 链接可访问（HTTP 200）

• 第三方资源：https://portaspeech.github.io/ — 链接可访问（HTTP 200）

• 第三方资源：https://speechresearch.github.io/fastspeech/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文要解决什么样的合成任务

论文研究的是马来语文本到语音合成，输入是经过清洗和数字展开后的小写字母序列，目标是输出听起来自然而且读得完整的马来语语音。系统在推理时不依赖发音词典，只给字母，不给音素，模型需要自己决定每个字母读多长、语调如何起伏，最终生成离散音频记号，再由外部声码器解码器还原成波形。

对初学者来说，关键是理解必须保留的信息有两类，一是内容信息，也就是字母顺序不能少，少一个辅音就可能变成另一个词，二是韵律信息，也就是基频和能量的走势要合理，否则听感会生硬。输出则是声码器记号序列，论文用的外部 Mimi 声码器在 12.5 赫兹下工作，每 80 毫秒产生 1 帧，每帧有 32 层量化记号。模型并行预测这些记号，而不是逐帧自回归生成，所以必须事先把字母序列拉长到与声学帧数相同的长度，这个拉长动作就是后文反复提到的长度调节。

已有路线为什么会在这里遇到困难

非自回归合成从 FastSpeech 系列开始确立了一条路线，用时长预测器估计每个输入单位占几帧，再用长度调节器复制隐状态，然后并行解码。后续的 Glow-TTS、VITS、PortaSpeech 等改进了对齐搜索或韵律建模，但都保留了按帧复制这种显式映射。另一条路线是离散声码器合成，例如 VALL-E 和 AudioLM，把连续频谱换成离散记号，利用大步长卷积把帧率压得很低，以减少生成序列长度和传输带宽。

论文指出，这两条路线单独看都成立，合在一起并且换成字符输入时会出现新的矛盾。传统做法如果用音素或高帧率频谱，短辅音还能分到帧，而字符对应的声学事件更短，文献提到个别辅音常短于 40 毫秒。当声码器帧率只有 12.5 赫兹，1 帧长达 80 毫秒，按四舍五入把时长换算成帧数，低于 40 毫秒的字符就会被记为零帧。已有的并行离散模型多用自回归逐个预测记号，避开了显式时长分配，并没有系统处理字符加低帧率在低资源马来语下的对齐问题，这正是本文要补的结构修改。

零帧截断具体是怎么发生的

论文用单词 SATU 作例子说明。假设其中 T 的实际发音不足 40 毫秒，而 12.5 赫兹系统每 80 毫秒才有一个声码器帧，量化规则是时长除以 80 毫秒再四舍五入。那么 T 算出的帧数就是零，长度调节时 T 不产生任何展开后的隐状态，训练和推理时解码器就看不到 T。更麻烦的是相邻的 T 和 U 可能挤进同一个声码器帧，边界被压缩到一个离散表示里，微观的声学分界就丢失了。

教学上可以这样想，输入是 4 个字母，输出是按 80 毫秒切分的记号，中间需要一张字母到帧数的对照表。如果尺子太粗，短于半格的东西就会被记成不存在。论文统计发现这种情况不是偶发，强制对齐得到的真实字符时长中有 20.23% 的字符短于 40 毫秒。也就是说，如果直接在 12.5 赫兹上做取整，大约五分之一的字符在原理上面临被记零的风险，这是后文双分辨率设计的直接动机。

双分辨率的总体思路是什么

DRC-TTS 的全称是基于双分辨率编解码的架构，整体仍基于 FastSpeech 2 框架，但把长度调节和记号预测用的时间分辨率分开。数据准备阶段产生两种速率的目标，字符时长目标放在 50 赫兹上，每帧 20 毫秒，韵律和声码器记号目标放在 12.5 赫兹上。模型训练时学习在 50 赫兹上展开字符，再下采样到 12.5 赫兹去预测记号。

沿一个样本走一遍，原始文本先清洗成小写字母串，强制对齐给出每个字母的起止时间，换算成 50 赫兹帧数并且保证至少 1 帧。字符嵌入和编码器得到语言表示，按该帧数复制展开成 50 赫兹隐序列，再经步长为 4 的卷积压缩成 12.5 赫兹序列，叠加预测的基频和能量后送入解码器，一次并行输出每帧的 32 层记号，最后交给冻结的 Mimi 解码器变成波形。这样短字符在高速阶段先被保住，再通过卷积的局部感受野把信息带入低速表示，而不是在第一步就被丢掉，同时最终生成的记号帧数并没有增加。

文本清洗和数字展开做了什么

数据流水线第一步是文本清洗。全部字母转小写，用正则表达式去掉非发音的标点符号，得到只含字母的序列，目的是让编码器看到的序列与实际发出的声音长度一致，减少训练噪声。随后是领域相关的归一化，把数字、货币、日期、小数、序数词等展开成马来语单词，例如 RM 10.50 展开成 sepuluh ringgit lima puluh sen，2026 展开成 dua ribu dua puluh enam，3.14 展开成 tiga perpuluhan satu empat，ke-5 展开成 kelima。

这一步对无词典合成很关键，因为模型没有词典兜底，如果输入里留着阿拉伯数字或符号，对齐工具无法给出稳定的字母到音频映射。论文还排除了无法用标准马来正字法映射的异常字形，避免把噪声带入时长统计。后文的压力测试正是检验这套规则，输入包含小数货币、复合日期、序数词和时间缩写，检查模型能否稳定读出展开后的长数字串。

字符级建模 × 发音词典： 字符级建模指直接把归一化后的字母序列作为合成模型的输入单位，发音词典指把单词映射到音素串的人工或规则词典；论文用前者替代后者，是因为马来语拼写比较规则，可以省去人工维护词典的成本，但代价是把字母到声音的对应学习完全交给强制对齐和时长模型。

字符对齐和时长目标如何得到

清洗后的文本按单个字符切分，利用 Montreal Forced Aligner 加预训练声学模型与音频对齐。论文配了 Praat 可视化说明，非语言的静音段被映射到专门的静音记号，而不是任意拉长相邻字母。从对齐结果取出每个字符和静音的绝对起止时间，相减得到物理时长，再换算成帧级时长目标，用来训练时长预测器。

需要提醒研究生，对齐质量决定了后续一切时长目标的可信度。字母频率统计显示 a 占 17.0%，n 占 10.0%，e 占 8.5%，i 占 7.7%，而 q、v、x 很少见，但频率高低不代表时长长短，时长必须另看分布。论文明确说字母频率只描述输入构成，不说明声学实现，对齐给出的时长分布才是判断零帧风险的依据。

时长调节器 × 离散神经音频编解码器： 时长调节器指按每个输入字符预测的帧数把编码器隐状态复制展开的模块，离散神经音频编解码器指把波形压缩成低帧率离散记号再解回波形的外部模块；前者决定每个字母占几帧，后者决定最终每帧要预测哪些记号，两者的帧率不一致就会出现短字母被取整到零帧的问题。

双轨特征和下采样如何保留短字符

论文把声学特征分成两轨。字符时长轨放在 50 赫兹上，每帧 20 毫秒，时长四舍五入到最近整数，并且强制每个字符至少占 1 帧。这样即使 t 只发了十几毫秒，也能在展开序列里保留一个 20 毫秒位置的隐状态。另一轨是韵律轨，基频用 YIN 算法在 50 赫兹到 500 赫兹范围内提取再取对数，能量用帧级均方根计算，然后按 12.5 赫兹边界切片平均，使韵律序列长度与声码器记号严格同长。

模型侧的对应结构是字符嵌入、序列编码器、层级方差适配器、步长卷积下采样层和离散记号解码器。编码器输出按 50 赫兹时长展开，展开后的 50 赫兹隐状态经步长为 4 的 1 维卷积降到 12.5 赫兹。论文的措辞比较谨慎，说短字符的表示可能通过卷积的局部感受野贡献到下采样表示，而不是必然被保留。随后在 12.5 赫兹上叠加基频和能量预测，再经前馈 Transformer 解码，每帧用 32 个线性头按量化层级顺序预测 Mimi 的 32 层记号，时间上并行，层级上串行。

50 赫兹展开 × 步长卷积下采样： 50 赫兹展开指在每 20 毫秒一帧的高分辨率上做长度调节，保证每个字符至少占一帧，步长卷积下采样指用步长为 4 的一维卷积把 50 赫兹隐状态序列压缩到 12.5 赫兹；前者负责保留短字符的表示，后者负责把表示对齐到声码器需要的帧率，两步配合才既不丢字符又不增加声码器记号数量。

基频 × 能量： 基频指用 YIN 算法提取的每帧发声振动频率的对数表示，能量指用均方根计算的每帧响度表示；两者在本文都按 12.5 赫兹分段平均后作为韵律目标，与声码器记号同速率，既给解码器提供语调和轻重信息，又避免引入另一套高速率序列打乱对齐。

模型用什么监督训练，推理时怎样工作

论文没有提出新的损失函数形式，而是联合最小化时长、基频、能量和离散记号预测损失，并且加一项连续梅尔谱辅助损失。辅助分支把解码器隐状态同时投影到梅尔谱，用作内部正则，帮助早期梯度稳定收敛。优化器用 AdamW 加带预热的 Noam 学习率调度，共训练 150000 步，批量大小为 4。原文没有披露各损失权重、预热步数和学习率峰值的具体数值，也没有说明 Mimi 编码器和解码器是否参与更新，按描述外部声码器是预训练好直接调用的，训练的是声学模型部分。

推理时不需要词典和真实时长。流程是编码字符，时长预测器在 50 赫兹上预测帧数并且取整和截断到至少 1 帧，长度调节展开后再下采样，叠加预测的韵律特征，解码并且逐层预测 32 层记号，最后送入 Mimi 解码器合成波形。复现时缺少的那几项超参数需要按原文代码或默认配置补齐，不能从模型名字猜测。

数据、划分和对比条件是什么

实验用 Mesolitica 发布的 Malaysian-TTS 数据集中的 Idayu 子集，单女性母语人，录音室录音，24 千赫兹采样、16 位脉冲编码，共 12421 句约 12.4 小时。处理后统计为词汇量 9752，总字符数 745436，平均字符时长 57.04 毫秒。数据按 90% 训练、5% 验证、5% 测试划分，避免数据泄露。训练硬件是单张 24 吉字节显存的 NVIDIA GeForce RTX 4090，用 PyTorch 实现。

对比的两个系统都是非自回归，基线是全程 12.5 赫兹的单分辨率架构，待验证的是 50 赫兹展开再下采样到 12.5 赫兹的双分辨率架构，其余优化目标和训练步数保持一致，目的是单独考察提高长度调节分辨率的效果。主观评测用留出测试集中随机抽的 20 个域外句子，由 20 名马来语母语者在隔音环境用专业设备按 5 分制评价自然度，并且给出 95% 置信区间。客观可懂度用外部预训练语音识别系统计算字符错误率，声学保真度用梅尔倒谱失真、带段非周期性、基频均方根误差和清浊音错误率衡量，其中失真和误差都是越小越好。

有多少字符处在会被记零的区间

在看合成质量之前，论文先直接分析强制对齐得到的真实字符时长分布。按 12.5 赫兹每帧 80 毫秒、四舍五入以 40 毫秒为界的规则，低于 40 毫秒的字符会被记为零帧。统计显示全库有 20.23% 的字符时长短于 40 毫秒，直方图上大量辅音落在阈值以下的擦除区。

双分辨率的做法是在 50 赫兹上表示时长，每帧 20 毫秒并且强制每字符至少 1 帧，从而在高速展开阶段避免零帧分配。论文强调，这一步保证的是展开序列更完整，为后续下采样和记号预测提供更全的隐序列，而不是直接证明最终记号里每个短字符都被独立还原。字符错误率的下降与该动机一致，但仅凭错误率不能反推截断减少了多少，这是解释时要守住的边界。

频谱和韵律指标显示了什么变化

下面比较关心频谱距离和基频精度是否随双分辨率发生变化。比较问题是同一 Idayu 划分、同一 Mimi 记号目标下，单分辨率基线与双分辨率模型在合成语音与真实录音之间的声学差距。指标方向是梅尔倒谱失真和基频均方根误差越小越好。本表集中对比这两个指标在两种分辨率设计下的取值差异。

上表显示双分辨率模型的梅尔倒谱失真从 11.60 dB 降到 10.70 dB，基频均方根误差从 41.59 Hz 降到 40.32 Hz。原文还报告清浊音错误率从 2.06% 降到 2.01%，带段非周期性两者相当，约 11.45 dB 对 11.46 dB，基本没有差别。论文的措辞是这些结果与高分辨率长度调节有助于保留短时语言表示的假设一致，而不是证明因果。在只有单次训练、无显著性检验和无多说话人验证的情况下，应理解为在该实验条件下观察到的关联性改善，而且韵律绝对误差仍然较大，离自然语音还有距离。

可懂度和听感在什么条件下成立

可懂度比较的问题相同，只是指标换成外部语音识别系统算出的字符错误率，越小表示漏读越少。基线和模型的训练测试条件与上一节一致，识别器对三者相同，表中数字来自原文连续句逐字核对，单位保留原文的写法。

上表说明真实录音本身在该识别器上就有 16.32 percent 的错误率，这可以看作该语料和识别器组合下的上限参考。基线合成达到 27.11 percent，论文将其作为低分辨率约束下出现漏读的旁证。双分辨率合成降到 21.86%，绝对下降 5.25 个百分点，相对降幅约一成九，但仍高于真实录音。需要区分百分点和相对百分比，这里 5.25 是百分点相减，不是相对提升可以混用的说法。

听感方面，基线平均意见分为 4.12，论文给出正负 0.09 的 95% 置信区间，双分辨率模型为 4.30，正负 0.15，真实录音为 4.65，正负 0.08。评委提到基线偶有截断词和丢辅音，与零帧分析的现象描述一致。论文自己也提醒，听音人只有 20 人、句子只有 20 句，而且未做正式假设检验，只能说提示了潜在的感知收益，不能断言统计显著。真实录音与模型的差距可能部分来自高压缩声码器本身的声学瑕疵，这一点在只换声学模型分辨率而声码器不变的设计下是无法剥离的。

字符错误率 × 平均意见分： 字符错误率指用外部语音识别系统转写合成语音再与文本比对得到的字符级错分比例，平均意见分指母语听音人按五分制对自然度打分的平均值；前者从可懂度角度反映是否漏读字母，后者从听感角度反映是否自然，两者方向不同，需要分开看，不能互相代替。

文本归一化压力测试说明了什么，没有说明什么

论文把文本前端单独做了定性压力测试，输入是小数货币、复合日期、序数词和时间缩写 4 类复杂语义，例如 RM 3,450.99、15 Ogos 2026、ke-3、08:30 a.m.，检查模型能否读出展开后的长词串。结果描述为 4 类都成功转成合法词汇并且保持自然语调，没有出现声学退化。这说明清洗加领域展开至少在这些例子上把歧义输入标准化了，为无词典对齐提供了稳定的前提。

但这部分没有给出错误率或对照系统的数字，也没有测试未见缩写、借词或拼写变体的失败率，因此不能推广为归一化在所有开放文本上都可靠。它回答的是流程完整性能否跑通，而不是归一化本身比词典方法好多少。结合前文，真正的受控对比其实是单分辨率与双分辨率的比较，韵律和频谱之外的模块并没有逐个拿掉重训，所以下采样卷积核大小、辅助梅尔损失权重等设计的单独贡献在本文证据下仍是未知。

这篇结论的边界在哪里

首先是数据边界，全部结果来自单说话人、单语料、约 12.4 小时的 Idayu 录音室数据，论文未来工作也明确要扩展到更大和多说话人数据以及其他语言。在没有跨数据集验证前，不能认为双分辨率在男声、噪声、电话信道或多口音下同样有效。其次是统计边界，客观指标只报告单次训练的一组数值，没有多次随机种子的方差，主观评测样本量小而且作者已说明需要更大听音池和正式检验。

其次是机制边界，50 赫兹保证每字符至少 1 帧，但下采样卷积仍可能把相邻短字符的信息混叠到同一 12.5 赫兹帧里，论文用可能贡献一词保留了这种不确定性。字符错误率下降与减少截断的方向一致，但没有直接测量多少零帧被挽回，也没有对短字符子集单独算错分率，因此不能说 5.25 个百分点的下降全部来自零帧修复。最后是成本边界，论文没有报告参数量、训练时长、推理延迟和实时率，高分辨率展开会增加中间序列长度为原来的 4 倍，虽然后续下采样而且记号帧数不变，但训练显存和计算开销的变化没有量化，不能默认没有代价。

如果要复现，第一步该做什么

复现第一步不是直接训练模型，而是把数据流水线跑通并且复刻时长分布。按论文步骤清洗文本、展开货币日期、按字符切分后运行 Montreal Forced Aligner，提取起止时间并且换算成 50 赫兹和 12.5 赫兹两种帧数，验证短于 40 毫秒的字符比例是否接近 20.23%，平均字符时长是否接近 57.04 毫秒，总字符数是否接近 745436。只有对齐分布对上，后续的至少 1 帧约束和切片平均才有可比性。

第二步再按双轨准备目标，用 YIN 在 50 赫兹到 500 赫兹范围内提基频并且取对数，计算均方根能量，按 12.5 赫兹边界切片平均，编译全局均值、标准差、最小最大值做标准化，划分 90%、5%、5% 并且固定随机种子。模型侧基于 FastSpeech 2 实现 50 赫兹展开加步长 4 下采样加 32 头记号预测，损失包含时长、基频、能量、记号和梅尔辅助项，用 AdamW 加 Noam 预热训练 150000 步。关于代码和资源，论文正文引用的链接经核查多为第三方工具和数据集页面，不能当作作者已公开本模型实现，复现时应把代码可用、权重可下载、系统可运行三件事分开确认，缺少的超参数需要自己记录并且做多次重复。

什么时候值得尝试，还缺哪项验证

当任务同时满足 3 个条件时值得考虑这个设计，输入是字符或细粒度字素而且拼写比较规则，不想维护发音词典，输出又必须是低帧率离散记号而且采用显式时长复制的并行架构。这时把长度调节搬到更高分辨率再下采样，是一个不增加记号数量的针对性补救。反过来，如果已用音素输入、高帧率声学特征或自回归逐记号生成，零帧风险本身很小，就不必引入这套双分辨率。

容易产生的误解有两处，一是把字符错误率下降直接等同于零帧完全解决，实际上论文只显示了更完整的隐序列和更低的错误率，并未直接计数挽回的零帧数，二是把平均意见分 4.30 对 4.12 的描述性领先当作显著更自然，原文已说明需要更大样本和检验。还缺的验证包括短字符子集的细粒度错分分析、下采样前后表示的可视化或探针、多说话人和跨语料泛化，以及训练推理开销与延迟的量化。补上这些，才能判断收益中有多少真正来自保留短字符，又要付出多少计算代价。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-30 语音/音乐/音频论文速递