📄 跨语言时长不匹配：印度语言无对齐语音合成的评测基准与推理期时长估计
标签：#文本到语音 | #测试时自适应 | #基准测试 | #跨语言
评分：6.0/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Adarsh Arigala：机构信息未在 arXiv HTML 中可靠披露
- Arjun Gangwar：机构信息未在 arXiv HTML 中可靠披露
- Srinivasan Umesh：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
对齐无关的文本到语音（Text-to-Speech，TTS）模型在参考语音与目标文本同语种时合成质量较高，跨语言时目标时长估计容易失准。论文指出 F5-TTS 按 UTF-8 字节数度量文本长度，印度语言单字符常占多字节，且各语言每字符对应语音时长不同，直接套用会造成目标过短或过长。作者构建英语与 9 种印度语言的跨语言基准，含英语参考生成印度语和印度语参考生成英语两个方向，其中 8 种语言各约 2 小时，印地语为 1.35 小时，共 759 到 1179 句不等。方法上先把长度统计改到字符级得到改良 F5-TTS，再引入从训练语料统计的语言平均每字符时长，提出两种推理时启发式融合。双语和多语言 A-DMA 模型评测显示字符级修正消除大部分极端错误，例如多语言模型英语参考生成卡纳达语时词错率从 55.88% 降到 26.45%，启发式 2 进一步降到 25.15%；印度语参考生成英语方向降幅更大，多语言卡纳达语从 49.66% 降到 3.36%。结论限于英语与所覆盖印度语言之间的跨音色克隆，印度语言之间互转未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://github.com/Cross-Lingual-TTS-for-Indian-Languages/Cross-Lingual-TTS-Indic-Test-Set/ — 链接可访问（HTTP 200）
第三方资源：https://cross-lingual-tts-for-indian-languages.github.io/Cross-Lingual-TTS-Demo/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
跨语言合成要解决什么输入输出问题
这篇论文研究跨语言语音合成中的时长失配。输入是两部分，一句参考语音，用来提供目标音色和语速线索，一句待合成文本，它的语言与参考语音不同，例如用英语参考音去说卡纳达语，或者用泰米尔语参考音去说英语。输出是保留参考人音色、内容为目标语言文本的语音波形。必须保留的信息包括说话人身份、目标文本的发音内容，以及合理的语速与停顿。
对于刚接触语音合成的读者，可以把任务理解为声音转换加文本朗读，模型要听出参考人是谁、有多快，同时读准另一种语言的字。论文聚焦印度语言场景，原因是印度日常多为英语与地区语言混用，而且印度语言在书写系统与每字符对应语音时长上与英语差异大，时长估计稍有偏差就会导致语速过快或过慢，进而出现吞字、含糊和音色漂移。
实验覆盖英语与 9 种印度语言，分别是卡纳达语、泰卢固语、泰米尔语、印地语、马拉雅拉姆语、旁遮普语、孟加拉语、奥里亚语和马拉地语，2 个方向分别评测，也就是英语参考生成印度语言，以及印度语言参考生成英语。
已有路线在何处增加了复杂度
论文把背景放在无对齐模型一侧。E2-TTS、F5-TTS 和 A-DMA 这类模型去掉了显式的发音时长对齐模块，训练更简洁，同语合成质量已经较好。跨语言时困难来自书写系统不同、每个字符平均对应的语音时长不同，以及 F5-TTS 用 UTF-8 字节数而非字符数来度量文本长度。印度语言字符常占多字节，英语多占单字节，直接按字节比例推算目标时长会系统性偏大或偏小。已有改进有两条路线，但都增加了训练或结构负担。
一条是跨语言 F5-TTS，去掉对参考转写的依赖，但在训练期引入基于 MMS 的强制对齐预处理和单独训练的语速预测器。另一条是 PFluxTTS，把时长引导模型与无对齐模型在推理期融合，但重新引入了显式时长预测器。论文强调比较条件，这两类近期方法的官方实现在实验时尚未公开，因此本文只与可公开运行的 A-DMA 基线比较，不把不同输入、不同监督或不同训练流程的差异说成同条件胜负。论文的选择是保持模型结构与训练不变，只在推理期修正目标总时长的估计值。
为什么字节计数会导致跨语时长算错
关键在于目标总时长是合成前必须先给定的控制量。无对齐的流匹配模型需要知道要生成多长的语音，再把文本与参考音频一起作为条件去填充细节。如果目标时长给短了，模型被迫加速，听感急促且容易丢音，给长了则拖沓、停顿异常。原文 F5-TTS 的思路是用参考时长按文本长度比例外推，参考人说参考文本用了多久，按生成文本与参考文本的长度比折算。但长度用的是 UTF-8 字节数。
在同语情况下两边编码方式一致，比例尚可，跨语时一边是英语单字节为主，另一边是印度语言多字节为主，长度比不再反映真实的发音量差异。比如同样是 10 个字形字符，英文可能计为 10 个字节左右，印度语言可能计为 20 到 30 个字节，若直接代入比例，印度语言一侧会被高估很多。论文进一步指出，即使统一换成字符计数，不同语言每个字符平均对应的语音时长仍不同，因此还需要语言相关的平均统计来校正，这就是后文 2 种启发式要做的事情。
整体流程：模型不变，只在推理期修正时长
论文的方法分为训练好的合成主体与推理期时长估计两层。合成主体是 A-DMA，骨干与 F5-TTS 一致，训练目标把条件流匹配生成损失与双模态对齐损失结合，中间层用基于 CTC 的文本对齐损失做早期字符级约束，较后层用语音表征对齐损失约束语音空间，使用的语音表征来自 data2vec-AQC 第 21 层。推理时流程是，给定参考音频与参考文本、目标文本，先估计一个目标总时长，据此构造需要生成的梅尔谱长度，再运行流匹配采样，最后用预训练 Vocos 声码器转成 24 kHz 波形。
论文不动训练与结构，只替换估计目标总时长的公式。先后有 4 个版本，原始 F5-TTS 按字节估计，修正版把字节换成字符，Heuristic-1 把原估计与语言统计加权融合，Heuristic-2 用参考每字符时长加上目标与参考语言平均比值做加性修正。下面公式是原始估计的形式，符号含义是参考时长、参考与生成文本长度以及语速因子，本文实验中语速因子取 1。
A-DMA × 条件流匹配损失： A-DMA 是本文采用的合成主体框架，以 F5-TTS 为骨干；条件流匹配损失是它的主要生成训练目标，负责把噪声逐步变换为目标梅尔谱。两者分工是前者提供整体结构，后者给出生成方向，再配合文本对齐损失和语音表征对齐损失加速收敛，组合后在同语训练时能保持合成质量，但跨语推理仍受目标总时长估计的影响。
\[D_{F5}=D_{ref}+\left\lfloor\frac{D_{ref}}{L_{ref}}\cdot\frac{L_{gen}}{s}\right\rfloor\]理解这个流程后就能复述关键步骤，先算参考语速锚点，再按生成文本量外推，最后用语言平均节奏做跨语校正，校正只影响总时长，不改变模型参数。
从字节到字符：修正版估计做了什么改变
修正版 F5-TTS 是后文比较的起点，它只做一处改变，把公式中的文本长度从 UTF-8 字节数换成字符数。换成日常语言解释就是数数方式变了，原来数的是计算机存储占几个字节，现在数的是人眼看到的几个字符。这样做的作用是消除书写系统编码带来的系统偏差，让英语与印度语言的长度处于同一量纲。代价很小，不需要重训，也不需要新增模块。但它仍有一个未解决的问题，不同语言每个字符说起来本来就快慢不同，同样 10 个字符，有的语言平均需要更长语音，有的更短。
只统一计数方式，相当于假设所有语言每字符时长相同，这在跨语时仍会低估或高估。论文的定性分析也报告，修正版虽大幅缓解偏差，但在印度语言参考生成英语的设置中仍偏向偏短、语速偏快，因此需要进一步引入语言相关的每字符时长先验。
UTF-8 字节长度 × 字符长度： UTF-8 字节长度是把文本按字节编码后计数，英文一个字符多占一字节，印度语言一个字符常占多字节；字符长度是按字形字符计数。原文 F5-TTS 用前者估计目标时长，跨语时会系统性放大印度语言一侧的长度。本文先把计数统一换成后者，再引入语言统计做微调，组合后让不同书写系统的长度尺度可以相比。
\[d^{c}=\frac{L_{audio}}{C_{text}}=\frac{N_{samples}/H}{C_{text}}\]上式说明每字符时长如何从单句得到，用波形采样点数除以跳长得到谱帧数，再除以该句字符数。得到单句值后，再按语言在训练语料上平均，得到后文启发式要用的语言常数。
两种启发式如何把语言平均节奏加进来
两种启发式使用同一组语言平均每字符时长，但组合方式不同。先说统计量的来源，对训练语料中每个语言的所有说话人，按上节单句公式算出每句的每字符时长，再按语句数平均，得到该语言的一个常数。论文报告的数值反映了语言差异，印度英语、马拉地语和旁遮普语偏大，马拉雅拉姆语和泰米尔语偏小。
Heuristic-1 的做法是融合，保留原按比例外推的一项，再加一项由生成文本中印度语言字符数乘其语言平均、英语字符数乘其语言平均得到的目标语言期望时长，两项按系数加权，实验统一用 0.7 和 0.3。可以理解为七成相信当前参考人的语速外推，三成拉向目标语言的平均节奏。Heuristic-2 的做法是加性缩放，在参考每字符时长基础上，加上目标语言平均与参考语言平均的比值，再乘以生成字符数。前一项捕捉当前参考人的快慢，后一项是语言间相对快慢的修正。
两者都不需要训练，只是推理期算术，计算代价可以忽略。
每字符时长统计 × 参考时长按比例缩放： 每字符时长统计是从训练语料按语言平均得到的每个字符对应多少谱帧时长，反映语速与正字法差异；参考时长按比例缩放是按参考音频时长除以参考文本长度再乘以生成文本长度来推测目标时长。前者提供目标语言的节奏先验，后者提供当前说话人的语速锚点，组合后既跟随参考人语速又向目标语言平均节奏靠拢。
Heuristic-1 × Heuristic-2： Heuristic-1 是把原按比例外推的一项与语言感知时长项按权重融合的策略，Heuristic-2 是把参考每字符时长与目标相对参考的语言比值相加后再乘生成字符数的策略。两者分工不同，前者保留原估计再加权拉向平均，后者用加性修正强调语言间相对快慢，共同点是不改结构、不重训，只在推理期调整目标总时长。
\[d^{c}_{lang}=\frac{1}{N_{\text{utt}}}\sum_{i=1}^{N_{\text{utt}}}D^{c}_{i}\]\[D_{H2}=D_{ref}+\left(\frac{D_{ref}}{C_{ref}}+\frac{d^{c}_{gen}}{d^{c}_{ref}}\right)\frac{C_{gen}}{s}\]需要提醒的是，平均统计抹掉了说话人与语句层面的韵律变化，这是后文局限的来源，它能纠正系统性偏快或偏慢，但不能还原每句话的个性化停顿。
模型如何训练与评测集如何构造
论文训练了两类 A-DMA 模型来考察跨语表现。双语模型是每个印度语言各训一个，搭配 30 小时印度英语数据，采用 F5-TTS Small 结构，18 层 DiT、12 头、768 维，加上 4 层 ConvNeXtV2，共 159M 参数，训练 1,200,000 步，预热 20,000 步，有效批量 0.75 小时。多语模型是在约 3248.5 小时、24 个语言的大语料上训练一次，数据来自 IndicVoices-R、IndicTTS V2 与 V3 以及 Rasa，结构为 F5-TTS Base，22 层 DiT、16 头、1024 维，同样加 4 层 ConvNeXtV2，共 335.8M 参数，训练 300,000 步，预热 45,000 步，有效批量 2.09 小时。两类模型都用 24 kHz、跳长 256 提取 100 维梅尔谱，用 AdamW 优化，峰值学习率 7.5×10-5，用预训练 Vocos 合成波形。
评测基准是新建的跨语测试集，每个印度语言与英语配对约 2 小时，一半是英语参考生成印度语言，一半是印度语言参考生成英语，参考句限 4 到 7 秒，生成目标句限 4 到 10 秒随机采样。印度语言语音选自 Rasa 与 IndicVoices-R 测试划分，英语选自 IndicTTS 训练划分中留出的部分。看这张分布图时，先确认横轴纵轴与红色虚线的含义，再比较不同语言平均值的位置，最后结合分布宽度思考平均值的代表性。
看图路径： 1. 先看横轴说话速率与纵轴语句数，确认是语句级分布；2. 再找红色虚线平均值位置，比较马拉雅拉姆语与旁遮普语的左右差异；3. 最后看右侧拖尾长度，理解只取平均值会丢失哪些说话人与韵律变化
论文图 1。原论文 Figure 1:：“Utterance-level duration-per character distributions for the multilingual training data.”。
图中各语言分布都呈右偏且有重叠，平均值位置不同，说明用单一全局常数难以兼顾所有语言，这正是按语言分别取平均的依据。同时分布宽度也提示平均值不能代表每位说话人的快慢，语速快慢不同的人落在分布的不同位置，取平均后个性差异就被抹掉了。
用什么指标与条件来比较时长策略
评测用 4 个客观指标。词错率与字错率通过语音识别得到，英语用 Whisper-large-v3 转写，印度语言用 IndicConformer-600M 转写，错率越低表示可懂度越好。说话人相似度用基于 WavLM-large 的说话人向量衡量，越高表示音色保持越好。自然度用 UTMOS 客观预测分，越高表示预测听感越好。比较时固定模型与文本，只换 4 种时长策略，也就是原始 F5-TTS、修正版 F5-TTS、Heuristic-1 和 Heuristic-2，因此差异可以归因于时长估计。
论文还给出真值参考行的指标，便于判断合成与真实录音的差距。需要理解的细节是，真值与生成不是同一说话人对齐录制，因此时长对比看的是分布是否贴近，而非逐句差值，识别器本身也有误差，真值行并非零错率。多语模型因见过更多文字与节奏变化，预期在跨语上更稳，但这不等于在每个语言上都最好，具体要看分语言数字。
WER × CER × SIM × UTMOS： WER 与 CER 是用语音识别转写合成语音后再与文本比对得到的词错率与字错率，越低表示可懂度越好；SIM 是用说话人向量比较合成与参考音色相似度，越高越好；UTMOS 是用客观模型预测的自然度分，越高越好。四者搭配才能同时看到内容是否说对、音色是否保持、听感是否自然，避免只看一类指标得出片面结论。
实验没有引入人工听音，只用客观指标，这是解读结论适用范围的关键，客观可懂度改善不自动等于人耳偏好改善。
英语参考生成印度语言时改进有多大
这个方向是英语参考音去说印度语言，最能暴露字节计数的危害。原始 F5-TTS 在所有语言上错率都很高，双语与多语模型都退化，只是程度不同。修正为字符计数后错率大幅下降，说明大部分退化来自编码量纲错误，而非模型本身不会说印度语言。在此基础上两种启发式带来进一步小幅改善，自然度与相似度基本保持或略升。下面的数字把卡纳达语多语模型的比较集中在一起，固定模型只换时长策略，错率越低越好，自然度越高越好，可以看出字符修正贡献多大、语言先验又额外带来多少。
| 比较对象 | 词错率 | 字错率 | 自然度 UTMOS | 相对变化 |
|---|---|---|---|---|
| 原始 F5-TTS 多语卡纳达语 | 55.88 | 22.22 | 3.383 | 退化基准 |
| 修正版相对原始 | 52.7% 下降 | 81.2% 下降 | 升至 3.460 | 字符修正收益 |
| Heuristic-1 相对修正版 | 0.9% 下降 | 0.2% 下降 | 升至 3.475 | 融合微调 |
| Heuristic-2 相对修正版 | 4.9% 下降 | 6.2% 下降 | 升至 3.495 | 加性微调 |
数字显示最大的一跳来自字节到字符的修正，多语卡纳达语词错率与字错率相对下降约 52.7% 与 81.2%，这是论文明确报告的比例。启发式在修正版之上再带来几个百分点的相对下降，幅度小但在多语言上趋势一致。代价方面没有增加参数与训练，只是推理期多做几次乘加。限制是各语言绝对错率仍高于真值，而且孟加拉语等多语结果改善不明显，说明平均先验不是万能。看下面这组时长分布时，重点比较橙色预测与紫色真值主峰是否重合，横轴单位是秒。
看图路径： 1. 对比左上原始策略与右上修正版的橙色预测分布相对紫色真值的偏移；2. 观察左下与右下两种启发式分布是否更贴近真值主峰；3. 注意横轴是秒，不要把分布变窄直接等同于逐句时长准确
论文图 2。原论文 Figure 2:：“Comparison of ground-truth (GT) and predicted durations for English reference and Tamil speech generation.”。
左上原始策略预测明显偏长、分布右移，右上修正版大幅回落到真值附近，左下与右下启发式与真值主峰贴合更好。这支持论文的判断，字节偏差是首要误差源，语言先验进一步微调分布，但分布贴合不保证每句韵律都对。
印度语言参考生成英语时是否同样有效
反方向是印度语言参考音去说英语，此时原始策略同样高错率，但修正版的相对提升更大，因为按字节估计会把英语目标时长压得过短。论文报告卡纳达语上双语与多语模型相对原始策略都有九成量级的错率下降，相似度与自然度也有回升。多语模型总体错率更低，说明见过多语言节奏有助于跨语稳定，但个别语言上双语与多语差距不大，不能推广为多语在所有情况下必胜。下面的数字仍以卡纳达语为例，固定模型比较 4 种时长策略，错率越低越好，用于回答反方向的主要收益来自哪一步、启发式是否还有增益。
| 比较对象 | 词错率 | 字错率 | 适用模型 | 相对变化 |
|---|---|---|---|---|
| 原始双语卡纳达语 | 57.01 | 52.16 | 双语 | 退化基准 |
| 原始多语卡纳达语 | 49.66 | 44.33 | 多语 | 多语略稳 |
| 修正版相对原始多语 | 93.2% 下降 | 97.6% 下降 | 多语 | 字符修正收益 |
| 修正版相对原始双语 | 91.6% 下降 | 96.1% 下降 | 双语 | 字符修正收益 |
| 启发式相对修正版 | 5.4%/3.0% 下降 | 6.6%/4.7% 下降 | 多语 | 小幅再改善 |
反方向的最大收益同样来自字符修正，双语与多语相对原始策略的降幅都在九成量级。启发式在多语上再降几个百分点，相似度基本持平，自然度略升，说明音色保持没有因时长拉长而明显受损。没有胜出的情况也要看到，印地语等部分语言上启发式与修正版差距很小，相似度甚至略有波动，因此不能说启发式在所有语言上都显著更好。看下面这组分布时，重点看修正与启发式是否把分布搬回真值区间。
看图路径： 1. 先看左上原始预测集中在 1 秒附近而真值在 4 到 10 秒的错位；2. 再看右上修正版是否把主峰搬回真值区间；3. 比较下方两种启发式在右侧拖尾上的差异，思考平均统计的影响
论文图 3。原论文 Figure 3:：“Comparison of ground-truth (GT) and predicted durations for Tamil reference and English speech generation.”。
左上错位最严重，原始预测挤在 1 秒附近而真值在 4 到 10 秒，右上修正版已与真值大幅重合，下方两种启发式进一步贴近，但 Heuristic-2 右侧拖尾更长，提示平均比值修正可能在个别长句上估计偏大。这与论文所说修正版仍偏快、启发式更贴近真值的定性描述一致。
融合权重是否敏感与语言统计是否可信
论文对 Heuristic-1 的权重做了消融，在多语模型、泰卢固语、印地语和卡纳达语的双向上比较 6 比 4、7 比 3 和 8 比 2 这 3 组系数。结论是整体不敏感，差异多在不到 1 个百分点内，最优比例随语言与方向略有变化，因此论文为公平起见全实验固定为 0.7 与 0.3，并建议实际使用时按语言对调参。语言统计的可信度来自大语料平均，但平均掩盖了说话人与风格差异，训练分布图的宽度就是证据。下面的数字聚焦泰卢固语英语参考生成印度语言方向，固定多语模型只换权重，错率越低越好，用于回答换权重是否值得以及收益上限大概多少。
| 比较条件 | 词错率 | 字错率 | 相对 7 比 3 | 相似度变化 |
|---|---|---|---|---|
| 6 比 4 泰卢固语 | 16.75 | 1.98 | 差 2.1%/2.5% | 几乎不变 |
| 7 比 3 泰卢固语 | 16.40 | 1.93 | 最好 | 几乎不变 |
| 8 比 2 泰卢固语 | 16.43 | 2.05 | 差 0.2%/5.9% | 几乎不变 |
| 反方向 6 比 4 略好 | 3.21 | 1.03 | 方向相关 | 几乎不变 |
在英语参考生成泰卢固语方向，7 比 3 最好，词错率 16.40，相对 6 比 4 改善约 2.1%，相对 8 比 2 改善约 0.2%，字错率也有类似小幅改善，相似度几乎不变。反方向则是 6 比 4 略好，说明没有一组权重在双向同时最优。若把权重调优后的最好值当成部署收益，会高估实际效果，因为那是事后按测试集选出的。另一类细节是语言平均值的精度，正文给出 1 位小数，图中标注为 2 位小数，这种舍入差异不影响趋势，复现时应以代码实际使用的平均值为准。此外，启发式是固定的算术而非学习得到的参数，它不能建模语境相关的快慢变化，这是方法层面的上限。
各语言平均每字符时长差异有多大
要理解启发式为什么按语言分别取值，先看论文从训练语料算出的语言平均值。计算方法是每句用采样点数除以跳长再除以字符数，再按语言平均语句，单位隐含为谱帧每字符。不同语言均值不同，印度英语、马拉地语和旁遮普语偏大，马拉雅拉姆语和泰米尔语偏小，这与正字法密度和语速差异有关。下面的整理把 10 个语言的常数放在一起，固定统计口径，可以回答跨语校正需要多大的先验跨度，以及为什么统一常数不够用。
| 语言分组 | 平均每字符时长 | 统计口径 | 推理期用途 | 相对位置 |
|---|---|---|---|---|
| 印度英语 | 9.6 | 训练语料平均 | 目标或参考先验 | 偏大 |
| 卡纳达语 | 8.7 | 训练语料平均 | 目标或参考先验 | 中上 |
| 泰卢固语 | 8.4 | 训练语料平均 | 目标或参考先验 | 中间 |
| 泰米尔语 | 7.0 | 训练语料平均 | 目标或参考先验 | 偏小 |
| 印地语 | 8.5 | 训练语料平均 | 目标或参考先验 | 中间 |
| 马拉雅拉姆语 | 6.8 | 训练语料平均 | 目标或参考先验 | 最小 |
| 旁遮普语 | 10.1 | 训练语料平均 | 目标或参考先验 | 最大 |
| 孟加拉语 | 8.1 | 训练语料平均 | 目标或参考先验 | 中下 |
| 奥里亚语 | 8.7 | 训练语料平均 | 目标或参考先验 | 中上 |
| 马拉地语 | 9.8 | 训练语料平均 | 目标或参考先验 | 偏大 |
均值跨度从 6.8 到 10.1，说明若用同一个全局语速去外推，偏快或偏慢的语言必然有一端吃亏。按语言分别取值后，Heuristic-1 与 Heuristic-2 才能在不同方向上给出不同的拉力。限制同样清楚，均值只代表集中趋势，分布本身有宽度，遇到语速极端的人或风格特殊的句子，平均先验就会失准，这也是论文把说话人与韵律变化列为未来工作的原因。
结论在什么条件下才成立，有哪些未测范围
论文的改进结论依赖 3 个条件。第一，模型与文本固定、只换时长策略，此时修正与启发式的增益才可以归因于时长，若换模型、换识别器或换采样文本，数字会变。第二，指标是客观的可懂度、相似度与预测自然度，没有人工听音，因此只能说客观指标支持改进，不能说人耳一定更喜欢。第三，统计量来自训练语料的语言平均，若目标说话人语速极快或极慢，或文本含大量数字与外来词，平均先验可能不准。
未测范围包括印度语言到印度语言的跨语、单句韵律与停顿质量，以及推理延迟与显存变化，论文明确把印度到印度作为未来工作。还有一个常见误解需要澄清，多语模型总体更稳不等于每个语言都赢过双语，个别语言上两者接近，启发式略好于修正版也不等于在所有语言上显著更好，部分语言差距很小。缺少逐句对齐的真值也意味着时长分析只能看分布贴合，不能证明每句时长都准确。
复现第一步做什么，需要哪些信息条件
复现应从数据与基线开始，而不是先调权重。第一步是按论文划分准备评测集，印度语言语音取自 Rasa 与 IndicVoices-R 测试划分，英语取自 IndicTTS 训练划分中留出的印度英语部分，按参考 4 到 7 秒、目标 4 到 10 秒随机配对，保证双向各约 1 小时每语言对。第二步是跑通 A-DMA 双语或多语基线，用相同的 Vocos 声码器与梅尔参数，保持语速因子为 1，先复现原始按字节与修正按字符的差距，确认主要误差是否复现。
第三步再计算语言平均每字符时长，对训练语料每句用采样点数除以跳长再除以字符数，按语言平均，得到类似印度英语 9.6、旁遮普语 10.1、马拉雅拉姆语 6.8 的一组常数，然后实现两种启发式公式并固定系数 0.7 与 0.3。关键超参数与信息条件包括跳长 256、24 kHz、100 维梅尔、批量与步数只影响训练复现而不影响推理修正，以及转写用的识别器必须与论文一致，否则错率不可比。
关于资源可用性要分开说，论文正文给出评测集链接与演示页，本次只验证链接可达，不等于权重已公开或系统可以一键运行，实际复现前需确认代码与权重是否真正可下载。
什么时候值得尝试，还需要补哪项验证
如果无对齐语音合成在同语上正常，一到跨语就出现语速异常或错率飙升，而且参考与目标语言书写系统不同，那么值得先尝试把字节计数换成字符计数，这是成本最低而且本文证据最强的一步。若修正后仍系统性偏快或偏慢，再尝试加入语言平均每字符时长的推理期修正，优先试 Heuristic-1 的 0.7 与 0.3，再在小范围内调权重，Heuristic-2 可以作为备选，尤其在参考与目标语速差异大的方向上对比。复现第一步是重建双向评测与 4 种时长策略的可比基线，而不是直接搜索最优权重。
还需要补的验证包括人工听音对自然度与口音的评价、印度语言到印度语言的泛化，以及长句与代码混杂文本上的稳定性。只有在这些验证通过后，才能把客观错率的下降理解为实际可部署的提升。本文的价值在于用最小改动定位并缓解了跨语时长失配，但它没有解决个性化韵律建模，也没有证明平均统计在所有说话人上都最优。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses