📄 只用合成语音训练的土耳其语小模型 Antalia-2 Mini
评分:6.6/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Sezgin Saygili:机构信息未能在本次解析中与作者逐人可靠绑定
- Emre Kaplaner:机构信息未能在本次解析中与作者逐人可靠绑定
- Oncel Ozgul:机构信息未能在本次解析中与作者逐人可靠绑定
- Fikri San Koktas:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
土耳其语文本到语音要把字符序列变成单人可听声音,小模型直接学习易在短句、词首特殊元音和声码器环节出错,而大规模真人录制成本很高。先由文本规范器把数字日期和缩写改写为可读词,再由编码器加时长预测为每字符规划帧数并送入生成器,生成器从噪声出发多步画出梅尔频谱图,最后由声码器把该频谱图变成48 kHz波形并经固定后处理输出。与已有纯合成数据做法的关键差异是发现声码器只见真实频谱图带来失配,因而以0.8概率混入生成频谱图微调声码器纠正,同时用播后切除的隐藏前缀遮住教师在词首ö的缺陷。在495句Freya-TR-Eval公开测试链路上,1.0.1版词错误率为1.09%、字符错误率为0.220%,其中词错误率比EMA Lightning高0.05个百分点但配对自助法下不可区分,而全频带自动质量分以3.18分低于EMA Lightning的3.30分。在训练期自有链路相邻预发布检查点上,用生成频谱图微调使词错误率均值从3.89%降至1.75%,字符错误率从0.984%降至0.385%,每对句子自助95%区间均不含零。原文披露shipped谱系训练链路共114.5 GPU小时,其中声学模型36.4小时、声码器78.0小时,推理在笔记本M5 CPU双线程约41倍实时。结论只适用于该495句上调参后的设置且未经人听评测,因同句调参而偏乐观,全频带质量分是英语训练代理且音色不同需谨慎解读,短输入微调效果与输出均衡器听感选择均未得到验证。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
要在设备上直接说话,输入输出和代价是什么
任务是从土耳其语文本生成 48 kHz 语音,输入是原始字符串,输出是单一声线的波形。必须保留的信息是文本的词序、数字与缩写的读法,以及可懂的发音;目标是在没有显卡服务器、不把文本送出设备的情况下也能合成。
论文的动机是小模型能否接近大系统的可懂度。文中在同一 Freya-TR-Eval 基准上用 Whisper 转写比较:16M 参数的 Piper 词错率 3.41%,36M 的 MMS-TTS 为 6.38%,而约 2.38B 的 Trendyol-TTS 为 1.16%。Antalia-2 Mini 只有 7,620,931 参数,读字符,不用音素转换器,依赖文本规范器先把数字、日期、金额、缩写和网址展开成 47 个符号内的拼写。
土耳其语正字法比较透明,字母与读音对应规则,例外是Ğ,论文因此选择直接读字符。但规范器的已知错误会直接进入语音,例如后缀元音、连字符和未处理的单位。理解后文的关键是:可懂度用 Whisper 的词错率和字错率衡量,音质用英文训练的 UTMOS 估计,两者都不是人工听音。
同样用合成语音训练,前人做了什么
用一个模型的音频训练另一个模型至少可追溯到 2021 年的 TTS-by-TTS,它在 5 小时真人录音上加 179 小时 Tacotron 2 合成语音。更近的有 20.9M 的 Matcha-TTS 学生在 100 小时纯合成语音上训练,以及与本文同教师 VoxCPM2 的 EMA Lightning。
与本文最像的三项是:EMA Lightning 同样只用 VoxCPM2 合成语音训练,约 1000 小时,只是音色不同;泰语 Wayu-Paxa-TTS-Edge 只用 15 秒参考音的合成语音训练固定音色,并明确指出教师错误会成为训练目标,这与本文ö首音缺陷被学生继承一致;英语 Paradee 是 8.07M 学生,但还用了教师内部特征从而不用学对齐,而本文只用音频。
少步采样方面,本文用捷径自一致性,原论文只在图像上验证,Flow2GAN 用于谱条件声码,论文称未找到把它用在 TTS 声学模型的文献。声码器微调方面,Tacotron 2 和 HiFi-GAN 都在预测特征上训练声码器并报告人工平均意见分提升,但它们是教师强制特征且评人工分,与本文采样谱加词错率的条件不同,效应量不可直接比较。
论文要解决的具体困难是什么
第一个困难是数据完全合成带来的误差继承。全部训练音频来自未改动的 VoxCPM2 克隆一个合成参考音,文本是自选的,每句都带文本标签。教师在片段开头的ö音节损坏,学生没有教师内部特征,只能把该损坏当正确目标学。
第二个困难是 2 级失配。声学模型输出梅尔谱,声码器把谱转成波形;若声码器只在真实谱上训练,推理时见到生成谱就会变差。论文需要证明在生成谱上微调能降低词错率。
第三个困难是小模型少步推理。生成器默认跑 8 步、每步 2 次条件与无条件前向,共 16 次网络通过,占约 84% 的乘加运算。如何在少步下保持可懂度,同时处理字符到帧的对齐和时长,是模型设计要回答的。
整个模型如何把一句话变成波形
先看一个真实句子的完整链路:规范器把数字写成词,编码器和时长预测器规划每字符占多少帧,生成器从噪声画梅尔谱,声码器 1 次转成音频。图 1 把该过程按字符数、帧数、谱步骤和波形时长展开,并给出参数分布。
看图路径: 1. 从左到右看输入文本如何变成 53 个字符和 309 帧时长;2. 比较噪声、中间步与第 8 步谱图的纹理变化;3. 看底部参数条中声学模型与声码器的占比
论文图 1。原论文 Figure 1::“The whole model on one real sentence (version 1.0.1, seed 0).”。
图 1 确实显示 53 个字符对应 309 帧,从左到右噪声逐渐出现谐波结构,到第 8 步形成清晰谱纹,最后是一段 3.4 秒的 48 kHz 语音。底部参数条说明声学模型约 3.69M、声码器约 3.93M,生成器是运算主体。这帮助理解后文为何采样步数和声码器微调对速度与词错率影响最大。
推理时文本先分块,每块至多 300 字符,每句基准句即一块。预测时长除以 0.95 语速并钳位到 1 至 60 帧,重叠音按加倍规则拉长。每个块后加隐藏的“ ee.” 作后缀,以ö或ı开头的块前加隐藏的“ee,” 作前缀,网络对整串计算后再按预测跨度剪掉隐藏部分,块间补 0.12 秒或 0.06 秒静音。1.0.1 与 1.0.0 权重相同,只改默认输出链的均衡、齿音消除、增益和限幅。
隐藏文本为什么多渲染又剪掉
模型实际渲染的文本比听到的长,这是为了把不稳定的首尾帧藏进切掉的部分。图 4 用一句带前缀、后缀和加倍规则的基准句展示了切点、保留帧与丢弃帧的关系。
看图路径: 1. 区分灰色隐藏区与中间保留的朗读区;2. 看底部字符块宽度如何表示预测时长;3. 注意加倍规则与切点在何处生效
论文图 4。原论文 Figure 4::“The model renders more text than the listener hears.”。
该图可见左侧隐藏前缀和右侧隐藏后缀的谱能量较弱,中间 296 帧保留而全长 412 帧,基准 495 句平均丢弃 16.8% 的渲染帧。底部字符块宽度表示预测时长,空格颜色更浅,切点按预测跨度加 5 毫秒淡化。这解释了为何前缀能遮住教师留下的首音损坏:损坏发生在片段开头,而开头音频被直接剪掉,但模型内部仍生成了它,并未真正修复。
声学模型 × 声码器: 声学模型负责把字符转成梅尔谱,即按人耳音高排列的时频能量图;声码器负责把梅尔谱转成波形。前者决定读什么和时长,后者决定音质,两级串联后误差会累积,因此论文要把声码器放在声学模型自己的生成谱上再微调。
编码器、对齐和时长如何把字符变成帧
声学模型读 47 个符号,包括起止标记、空格、标点、32 个字母和 3 个带抑扬符元音,没有数字和音素。文本编码器是嵌入加 3 个 ConvNeXt 块再加一个带旋转位置编码的自注意力块,输出每字符一个向量。梅尔谱是 128 带、每秒 93.75 帧,生成器按 2 帧堆叠成一个 token,每 token 21.333 毫秒。
训练时没有字符到帧的标注。单调对齐搜索用一个训练用的线性先验把编码器输出映射到期望梅尔帧,再用动态规划找从左到右的最可能分配,每符号至少 1 帧。时长预测器学习该分配的帧数,梯度在编码器输出处截断,推理时替代搜索。
单调对齐搜索 × 时长预测器: 训练时没有字与帧的对应,单调对齐搜索用动态规划找出从左到右、每字符至少一帧的最可能对齐;时长预测器记住该对齐的每字符帧数,推理时直接给出时长而不再搜索,从而把可变长文本变成定长谱帧。
生成器如何用 8 步从噪声画出梅尔谱
生成器是 5 块扩散 Transformer,带门控前馈和自适应层归一化,条件来自按帧重复并经 ConvNeXt 平均的文本向量。训练同时优化流匹配损失和捷径自一致性损失,前者学直线速度,后者学大步等于两小步平均。
流匹配要计算的是从高斯噪声到目标梅尔谱的直线速度,网络在给定文本条件和步长为 0 时回归该速度。式中 xt 是插值,v 是预测速度,c 是文本条件。
\[x_{t}=(1-t)\,x_{0}+t\,x_{1},\qquad\mathcal{L}_{\text{FM}}=\bigl\|v_{\theta}(x_{t},t,0\mid c)-(x_{1}-x_{0})\bigr\|^{2}.\]该公式的含义是:先按时间 t 混合噪声 x0 和目标 x1 得到 xt,再让网络输出接近 x1 减 x0。每个样本以 1/4 概率训练捷径损失,其余训练流匹配损失,并按 token 数归一化使两者总权重相当。训练在 7 个步长层级均匀采样,从 1 到 1/64,底层来自纯流匹配,因此同一模型可 1、2、4 或 8 步采样。
图 3 左侧示意一大步目标是两小步速度的平均,右侧按时间轴展示不同步数的划分。发布默认用 8 步,基准比较了 4、8 和 16 步。
看图路径: 1. 看左图一大步如何对准两小步的平均目标;2. 看右图不同步数在时间轴上的划分密度;3. 确认发布默认是 8 步而评测只比较了 4、8、16 步
论文图 3。原论文 Figure 3::“Shortcut self-consistency training lets one model sample at 1, 2, 4 or 8 steps; the release uses 8, and the benchmark scored 4, 8 and 16 only.”。
从像素看,右图 8 步对应的深色条最接近发布设置,4 步在自有测试上词错率 1.17% 而 8 步为 0.97%。这说明步数减半有可测代价,但仍在同一量级,后文速度小节会换算成每秒输出的乘加量。
流匹配 × 捷径自一致性: 流匹配学一条从噪声到梅尔谱的速度场,小步走准但步数多;捷径自一致性额外让一大步等于连续两小步的平均,使同一网络可用 1、2、4 或 8 步采样。两者相加训练,兼顾路径准确和少步推理。
采样引导和声码器如何得到波形
采样用无分类器引导,同时跑条件速度和学到的空条件速度,再外推。温度缩放初始噪声,欧拉法按步数推进。公式给出外推速度和迭代更新,K 是步数,w 是引导权重,发布取 K 为 8、w 为 2.0。
\[\hat{v}=v_{c}+(w-1)(v_{c}-v_{\varnothing}),\qquad x^{i+1}=x^{i}+\tfrac{1}{K}\,\hat{v}\bigl(x^{i},\,\tfrac{i}{K},\,\tfrac{1}{K}\mid c\bigr).\]该式先把条件速度沿远离空条件方向放大,再以 1/K 步长累加。10% 训练 utterance 用空向量代替文本条件,以学会无条件分支。8 步即 16 次生成器前向,这是运算占比如此高的直接原因。
声码器沿用 Vocos 思路,无上采样,由 8 个 ConvNeXt 块加线性头预测每帧 1025 个对数幅度与相位,再经逆短时傅里叶变换重建波形。训练加判别器损失,包括多周期与多分辨率谱判别器、最小二乘对抗项和特征匹配,权重为 4/5 梅尔损失加对抗加 2 倍特征损失。1.0.1 输出链是固定信号处理,无学习参数,包括 80 Hz 高通、200 Hz 低搁架、350 Hz 与 3.2 kHz 峰值、8 kHz 高搁架组成的均衡,5.5 kHz 以上齿音消除,固定加 1.6 dB 增益和软限幅。
1790 小时合成数据如何生成和筛选
全部音频由未改动的 VoxCPM2 在 ultimate 模式、引导 2.0、10 步下克隆一个 9.88 秒合成参考音生成,主检查点约 2.29B、加音频编解码约 2.38B,约为学生的 300 至 313 倍。教师训练据称超 2,000,000 小时 30 个语言,但无土耳其语单独时长。音色经聚类选 38 个渲染固定,中位基频 130.4 Hz,5 至 95 百分位 125.1 至 137.5 Hz。
图 2 概括了从教师生成到质检保留,再到学生 2 阶段训练和发布的全链条,条形在各自节点内成比例,珊瑚色标出长集行的 Whisper 首词正确率。
看图路径: 1. 看上排教师生成到质检保留的小时数变化;2. 看下排声学模型到声码器再到发布版的链条;3. 注意右侧教师首音缺陷与隐藏前缀的标注
论文图 2。原论文 Figure 2::“All training audio came from unmodified VoxCPM2 cloning one synthetic clip, and the vocoder was fine-tuned on the acoustic model’s own mels.”。
图中可见 917,297 条长集句子和 444,437 条短集片段共生成 1,361,734 段,保留 1,325,846 段约 1790 小时;长集中位 5.22 秒,短集中位 1.64 秒。长集文本来自 FineWeb-2、维基、Qwen3 服务域句子和数字模板,短集多为 2 至 6 词片段并加权 6 倍只用于短微调。基准句已从训练文本剔除,复查无完全或近似匹配。
下表比较 9 个候选中的 4 个,说明为何选中当前参考音:在 60 提示各 2 次渲染中,它 83.3% 落在 125 至 138 Hz 音高带,其他均未过 50%。
| Teacher and reference | CER, % | UTMOS | Identity | F0, Hz | In band, % |
|---|---|---|---|---|---|
| VoxCPM2, chosen reference | 2.95 | 3.387 | 0.697 | 129.42 | 83.3 |
| VoxCPM2, earlier model’s render | 3.03 | 3.295 | 0.748 | 139.33 | 45.0 |
| VoxCPM2, second refinement | 2.82 | 3.365 | 0.631 | 125.13 | 50.0 |
| Alania-2 API, earlier model’s render | 3.12 | 2.648 | 0.623 | 146.71 | 23.3 |
该比较的问题是哪个教师加参考音同时保证音高稳定与可懂度。选中参考的字错率 2.95%、UTMOS 3.387、身份相似度 0.697,基频 129.42 Hz。限制是每配置仅 120 次渲染,对抗与外语提示拉高字错率,且在自有测试上选中参考比第二精炼版词错率更低,这一步已用基准做过 1 次选择。
质检按长度、字错率、语速、说话人相似度、基频中值、UTMOS 顺序执行,短集放宽阈值。下表给出各规则的拒绝数。
| Rule | Rejects when | Relaxed in the short set | Long set | Short set |
|---|---|---|---|---|
| CER | Above 10% | Up to 4 words: passes if the clip’s text appears in the transcript. Interjections: off | 14,227 | 289 |
| ECAPA identity | Below 0.45 | Under 1.2 s: off | 33 | 7,092 |
| Median F0 | Outside 110–155 Hz | Interjections: off | 146 | 7,271 |
| UTMOS | Below 2.8 | Up to 4 words: off | 4,832 | 921 |
| All rejections | 19,251 | 16,637 |
该表回答哪条规则筛掉最多:长集主要是字错率筛掉 14227 条,短集主要是音高和身份筛掉 7000 余条,共拒绝 19251 加 16637 条,保留率 97.4%。限制是短集 440,000 条中 Whisper 只转写了 7500 条,其余以空转写和占位 0 通过,语速与身份等规则仍生效但无法验证文本正确性;长集 10% 整句字错率门限放过了 82% 的ö首词错误行。
声学模型训练中的静默故障与短句微调
正式声学权重是长集 420,000 步主运行加双集 51880 步短微调后的指数滑动平均,用 AdamW、梯度裁剪 1.0 和 bf16 混合精度。主运行 base 学习率 3×10 的负 4 次方,3 卡 H200 后减至 2 卡;另有一条过滤高 UTMOS 的兄弟运行。短微调把短集重复 6 次,两集合计 2802.62 小时,短音频占 44.07%,验证集只有长集前 256 段。
关键故障是捷径目标在同一 autocast 区内计算,缓存的权重使训练拿到分离副本,生成器前 6000 步无梯度。表现为流匹配损失在训练与滑动平均验证上分别平在 2.03 附近和恒为 2.0359,捷径损失为 0,而编码器与先验仍在下降。修法是关闭缓存,教训是第一步后即断言每模块有梯度。
短微调在基准上与主运行不可区分:相对主运行的词错率差在 4 步为 -0.08、8 步为 -0.05,95% 配对区间都含 0。验证集无短句、全基准区间含 0,因此不能说清它对短输入的作用。兄弟过滤运行在 1 次中期评估更差,但步数与学习率不同,无公平比较。
总账是正式链路 114.5 GPU 小时,声学 36.4、声码 78.0,全部训练 159.0,生成加质检另 33.7,均在一台 8 卡 H200 为主的机器上。评估耗时不计。
用什么句子、什么指标、什么测试架比较
基准是 Freya-TR-Eval 的 495 句土耳其语,3 至 13 词,406 句日常句加 89 句来自公共语料的短母语句,无数字,因此不考数字读法。3 次 take 共 11751 词、80922 字符。报告的是经频带匹配的词错率和字错率次要指标,未算语义词错率主要指标。
有两个测试架:公开架 3 次 take、每句种子 100000s 加 i,Mini 与 EMA Lightning 各一台 L4 但不同虚拟机;自有架 3 次 take 各用全句一种子 0、1、2,Mini 在 L40S、A10G、A100 上跑,EMA 在 H200、教师 1 种子在 A100。两者都送原始文本,都做 8 kHz 频带匹配,都用 faster-whisper 大模型波束 5 转写、同一文本归一、按 take 算语料级错误率,再用 SpeechMOS 的 UTMOS22-strong 在 16 kHz 打分。
词错率 × 字错率: 词错率和字错率都是 Whisper 转写与参考文本的编辑距离除以参考长度,前者按词计,后者按字符计,越低越好。论文把它们作为可懂度代理指标,但不等于人工听写,且同一 Whisper 既筛训练数据又打分,会使分数偏乐观。
UTMOS × 频带匹配: UTMOS 是对平均意见分的自动估计,在英文语音上训练,分越高越好;频带匹配是先下采样到 8 kHz 再上采样到 16 kHz,只保留电话带宽再评分。论文同时报告全频带和 8 kHz 两种 UTMOS,两者排序相反,说明该代理指标对均衡和音色敏感,不能直接当人工排序。
配对比较用至少 10000 次按句重采样的语料级差值中央 95% 区间,两句分数保持配对。495 句 3 次 take 下 1/2 宽约 0.27 个词错率百分点、0.07 个字错率百分点,更小差异无法分辨。“水平相当” 要求公开架、自有架与合并在词错率和字错率上区间都含 0,从不用于 UTMOS。单一种子跨度约正负 0.13 词错率点,用于理解种子噪声。
基准主结果在什么条件下成立
比较的问题是:在同一 495 句、同一 Whisper 打分、公开架 3 次 take 下,7.62M 的 Mini 与已知大小的 13 个系统及闭源系统相比,可懂度和自动质量分如何。指标方向是词错率、字错率越低越好,UTMOS 越高越好,干净率是无词错句占比。
| System | WER, % | CER, % | UTMOS | Parameters |
|---|---|---|---|---|
| EMA Lightning 1.0.1 | 1.04 | 0.225 | 3.30 | 8.6M |
| Antalia-2 Mini 1.0.1 | 1.09 | 0.220 | 3.18 | 7.62M |
| Trendyol-TTS | 1.16 | 0.229 | 3.82 | 2.38Bd |
| Chatterbox Multilingual | 1.91 | 0.429 | 3.51 | 801Mc |
| Piper, voice dfki | 3.41 | 0.733 | 3.71 | 16M |
表中 Mini 1.0.1 词错率 1.09%、字错率 0.220%,词错率排公开架第二,仅比 EMA Lightning 高 0.05 个点;字错率在 11 个开源权重系统中最低。限制是这些差距对应 80922 字符中 2 至 7 个字符,配对区间无法区分;Mini 设置是在该基准上调的,存在选择乐观;打分 Whisper 也筛过训练数据,可能使分数偏向模型。
配对区间进一步确认不可区分。下表是 Mini 减 EMA Lightning 与教师的差值,单位百分点。
| Mini 1.0.1 minus | WER | CER |
|---|---|---|
| EMA Lightning 1.0.1, public harness | +0.05 [−0.22, +0.32] | −0.005 [−0.075, +0.065] |
| EMA Lightning 1.0.1, own harness | +0.02 [−0.25, +0.27] | +0.007 [−0.052, +0.071] |
| VoxCPM2 teacher, own harness, 1 seed | +0.10 [−0.25, +0.45] | +0.005 [−0.103, +0.105] |
该表回答 Mini 是否与相近小模型及教师拉开差距:公开、自有与合并 6 次 take 下对 EMA 的词错率差分别为 0.05、0.02、0.03,字错率差接近 0,教师单种子差 0.10,全部 95% 区间含 0。合并跨架种子本不对齐,仅作灵敏度检查。UTMOS 则相反,Mini 全频带低于 EMA 约 0.115,但在自有架 8 kHz 带高于 EMA 约 0.165,教师全频带 3.42 高于 Mini。论文强调 UTMOS 是英文训练代理且音色不同,需谨慎解读。
误差位置显示 Mini 错误更重复:公开架 70.3% 词错落在 3 次全错句,EMA 为 54.9%;10 句所有前 8 系统全错,属识别或评分效应;16 句 Mini 多次错而 EMA 不错,其中 12 句从转写看像真发音错,例如Çorbanın 被写成Şorbanın。3 至 4 词短句更差,但长度与语域混杂,同长度日常句 Mini 仅 0.77%。
声码器微调与朗读修复各带来什么
要回答的是 2 级失配是否真由声码器引起。2.16M 旧声码器在真实谱上训练越久,语料 40 句的拷贝合成 UTMOS 从 20,000 步 2.54 跌到 148,000 步 2.17,而教师 3.29;93.75 Hz 帧率包络峰从 4.2 dB 升到 5.3 dB,教师仅 2.79 dB。换 3.93M 结构后 85,000 步达 2.69 dB 峰 2.82 dB。
在相邻声学检查点、同种子、4 步、无输出链的 7 对比较中,生成谱微调把词错率均值从 3.89% 降到 1.75%,每对降 1.66 至 2.63 点且区间不含 0,字错率从 0.984% 到 0.385%,UTMOS 从 2.45 到 2.93。而冻结的真实谱声码器在声学模型推进 67,000 步中停在 3.63 至 4.14%,说明增益非声学训练所致。代价是微调谱用 4 步、温度 1.0、MAS 时长,与发布 8 步、温度 0.6、预测时长不一致;最终 77,000 步微调在发布链路上词错率仅从 1.115% 到 1.089%,无可证增益。
教师ö首音缺陷方面,长集 12554 条ö首行仅 26% 首词正确,首字母大写的其他行 94%,同位置后文约 98%,指向片段开头。等字符下错行中位长 0.315 秒,短集ö行比ü行长 0.169 秒,支持是多出音节而非 Whisper 误读。10% 整句门限放过 9271 条,学生无前缀时 4 句基准仅对 5/12,加隐藏“ee,” 前缀后 12/12。限制是该 12 次来自 4 句 3 种子,无 3 种子配对区间;全块加前缀会破坏 Jöle 等词,故只限ö和ı。加倍规则把重音双写第二段拉长 1.3 倍,3 种子词错率从 1.013% 到 0.970%,区间含 0,500 句外集方向一致但几乎全靠一种子,不可分于种子噪声。
哪些结论还不能下
没有人工听音是最大缺口。全部质量数都是单基准自动指标,词错率是次要指标,未算语义词错率;UTMOS 英文训练且跨音色比较;自有架不同 GPU 跑不同种子,教师仅一种子。
选择偏差明确存在。加倍规则来自基准错误,温度、步数、语速、后缀和均衡都在 495 句上筛过,公开架只是换种子同句子;前缀范围虽来自训练统计,但症状也在基准句出现;一个教师参考音因基准更差被否决。Whisper 在质检用波束 1、打分波束 5,能转写的留下、不能的离开长集,声码器与设置又用其词错率选型,因此相对人工可懂度偏乐观多少未知。
残留错误包括 9271 条ö首错行仍在长集,过滤再训练 2 次无可证增益,未在源头重生成;Mini 跨 take 重复错多于 EMA,部分像模型缺陷但无人听过这些音频。范围上单音色单风格只说土耳其语,无情感控制,长文按句独立分块故韵律不跨句,短感叹词自述最弱但无单独指标,声码器没见过短集音频,短集仅 1.7% 经 Whisper 检查。1.0.1 均衡凭耳选,全频带 UTMOS 比 1.0.0 低 0.065,词错率变化在噪声内。
能复现什么,不能复现什么
要区分权重可下载、代码可运行与可重训练三件事。下表是截至 2026 年 11 月 6 日的公开状态,前四项 Apache-2.0。
| Public | Not public |
|---|---|
| Weights, fp32 and fp16 (Hugging Face) | Training code |
| JavaScript normalizer, browser page, ONNX graphs (Space) | Training data, the chosen reference clip |
| Benchmark harness, adapters, per-clip scores (Hugging Face) | Own-harness code |
| Hosted API, needs a key | Android source, Kotlin normalizer source |
该表回答读者第一步能拿到什么:权重 fp32 与 fp16、推理代码与规范器、浏览器页与图、基准重跑架与逐句分数可公开获取;训练代码、生成脚本、训练数据与选中参考音、自有架代码、导出工具与安卓源码不公开。轮子里的 model.py 有训练前向但缺模块故不能训练。
可重跑的是公开架开源行:用 1.0.1 包跑 run_antalia_mini.py 再 score.py 与 aggregate.py,可与 results.json 零差重算;Mini 1.0.0 需另装旧轮子因均衡滤波器缓存不同;种子只在同一软件栈固定音频,换 GPU 重打分曾改 3/1485 转写。不可重跑的是训练链路与自有架 8 kHz UTMOS,短集配方只有文字描述。速度方面,L4 上 Mini 1.0.1 为 35 倍实时, plain EMA 为 58 倍、编译 331 倍。
M5 双线程 Mini 41 倍,但有其他任务在跑;同机 L40S 与 8 核 EPYC 的对比用的是 1.0.0,1.0.1 未重测;浏览器与模拟器速度也是 1.0.0 旧链,1.0.1 输出链在 Node 上每秒音频多 4.8 毫秒。真机从未测,32 位包从未运行。
什么时候值得试,第一步做什么,还缺什么验证
当需要在 CPU 设备端合成土耳其语、文本不出设备、且能接受单音色与规范器读法时值得试。预期是在基准类日常句上获得接近大系统的转写可懂度,代价是全频带自动质量分低于同级小模型与大系统,且短感叹词、外语与特殊格式可能读错。
复现第一步是装 antalia-mini 包,用固定种子在同一环境渲染 Freya-TR-Eval 式短句,先关隐藏前缀与加倍规则看ö首与双写的影响,再开默认设置对比;速度先在目标 CPU 双线程测前 100 句,不要拿 L4 的 35 倍与 M5 的 41 倍直接排名机器。
还需补三项验证:土耳其母语者盲听,含听写以检验词错率是否高估、打分以检验全频带与 8 kHz 相反的 UTMOS 差距;源头重生成ö片段并关闭前缀重训,看首词正确率能否追上其他大写首词;真机与浏览器 1.0.1 重测时延与首包音频。常见误解是把不可区分当相等、把 UTMOS 当人工排序、把隐藏前缀当修复,原文明确说区间含 0 只是无法分辨、前缀只遮不修、无听音则不下音质结论。
📎 论文与评分元数据
排名:前50% | 文档类型:模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses

