不用人打分，能从 TTS 训练过程本身学到质量排序吗：TDScore 解读

英文题目：TDScore: Learning Synthetic Speech Quality Predictors from TTS Training Dynamics without Human annotation

会议身份：conference:interspeech:2026:conference-paper-id:miniconi26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#弱监督学习 #跨语言 #语音 #语音质量评估

评分：5.7/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Natacha Miniconi：机构信息未能从会议 PDF 纯文本可靠映射
• Meysam Shamsi：机构信息未能从会议 PDF 纯文本可靠映射
• Anthony Larcher：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音质量评估需要无人工平均意见得分条件下预测合成语音感知排序，跨语言与跨合成范式泛化与标注成本是实际难点。该方法先从零训练多种文本到语音系统并周期保存检查点，用同一文本集合成各检查点音频以形成质量渐变序列，其输出直接作为伪标签构造的输入。接着为每条音频附训练迭代与训练损失作伪标签，并用客观质量曲线确定的最大迭代截断饱和检查点，过滤后的数据集再进入预测器训练。最后基于自监督语音表示以成对排序目标训练TDScore从音频估计迭代或损失，预测分用于与人工平均意见得分算斯皮尔曼等级相关。与依赖人工标注或通用伪造检测代理的方法不同，该机制将优化进程本身视为质量排序信号，因而可捕捉系统开发相关的质量差异。在英语BVCC外域评测下，TDScore–F5–Ite的系统级SRCC为0.73，低于TDScore–MOS的系统级SRCC 0.88。该结论适用边界受限于F5等渐进改善型训练动态，对非单调改善架构与细粒度跨时期泛化尚未验证，SOMOS上衰减即为失败条件例证。原文未披露训练推理部署成本与优化器超参数。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么合成语音一好听就难评估？

输入是这篇论文要解决的评估输入：一段由文本转语音系统生成的波形。目标是判断它有多自然、有多少可闻缺陷，以便在开发中做模型选择与训练监控。必须保留的信息是：人工听感测试是金标准，但成本高、耗时、难扩展且易受偏置影响；自动预测器想模仿人工打分，却仍需要大量人工标注，且在新语言、新说话人、新合成范式下容易变差。

对刚入门的同学，白话先行：主观平均意见分就是请很多人听完打分再平均，英文叫 Mean Opinion Score，缩写 MOS。后文统一叫 MOS。输出是本文的解读路线：先讲已有路线为何仍依赖人，再讲训练动态代理是什么，再走完 1 次从文本到波形到伪标签到预测器的全过程，最后讲实验条件与可复述的判断边界。

一个教学例子：假设你训练同一个法语单说话人系统，在第 10,000 轮和第 200,000 轮用同一句话各合成 1 次，人耳通常能听出早期有含糊与断裂，后期更流畅。论文的核心假设就是这种随训练推进的质量演化可以被记录下来，当作免费标签。注意这只是例子，不代表论文给出这两轮的具体分数。

本解读只讲论文实际研究的任务：无人工标注的合成语音质量排序学习。凡是例子都会标为例子，不添加无源的效果数字。资源方面，本次没有发现来源绑定且完成验证的开源资源，因此不声称代码、模型或数据已公开，后文复现节只按正文文字交代可重放的步骤。

已有路线在同输入同目标下差在哪里？

先统一比较口径：同输入都是合成波形，同目标都是估计感知质量，同运行阶段都是训练后评估，差别在监督来源。第一类是有监督 MOS 预测器，从 MOSNet、MBNet、LDNet 到基于自监督语音模型的 SSL-MOS，做法是拿大人打过分的数据做回归。论文报告这类方法受标注成本限制，且在未见语言或合成范式下性能下降。

第二类是无 MOS 代理。论文总结了 3 条：用现成自监督模型的不确定性统计与 MOS 求相关；用早期自监督层中合成与自然语音表示的分布距离估计自然度；用深伪检测模型区分真假的信号来捕捉感知退化。它们的共同点是不用人打分，但都不利用 TTS 自己的训练过程。

第三类是训练动态的启示。论文引用 TTS 中间检查点听感不同、缺陷随训练减少，以及元音共振峰等声学组织随训练变化的观察，说明优化轨迹本身编码了可感知的变化。但过去训练动态多用于优化、收敛分析或课程设计，而非直接建模感知。

主观平均意见分 × 训练动态代理： 主观平均意见分是多人听后打分的平均值，是评估金标准但昂贵且分辨率有限，训练动态代理是从检查点序号与损失等训练元数据构造的标签；搭配原因是前者提供最终验证标尺，后者提供训练时免费且连续的排序信号，组合意义在于不用人标注也能学到可与 MOS 对比的排序器。

本文的位置因此很清晰：不是改进有监督回归，也不是换一个现成预训练代理，而是把 TTS 从零训练时的检查点序列变成标注源。据论文自述，据其所知此前没有工作明确把 TTS 训练动态当作无人工标注质量预测器的监督。

论文把什么定为可验证的问题？

论文把中心问题限定为：在计算预算有限、需要反复选模型与监控训练的条件下，如何学到一个不依赖人工标注、能跨多样生成条件泛化、并能支持检查点选择与早停的质量信号。关键词是可支持开发，而非完全替代最终听测。

为让问题可验证，论文做了两个可检验的预期：训练轮次应与质量正相关，因为靠后的检查点通常合成更好；训练损失应与 MOS 负相关，因为更低的损失通常对应更好的感知质量。评测时用斯皮尔曼等级相关系数，英文 Spearman Rank Correlation Coefficient，缩写 SRCC，分别在系统级与句子级计算预测与人工 MOS 的排序一致性。数值越高表示排序越一致，负值表示方向相反。

论文还明确了一个难点：人感知分辨率有限，细微差异可能低于可辨阈值，主观评测看不到，但系统开发仍需要区分。因此代理信号的价值不在于复刻绝对 MOS 分，而在于给出稳定的相对比较。

理解这点才能读懂后文表格：所有跨库数字都是排序相关，不是还原 MOS 绝对分，也不能直接换算成误判率或延迟收益。

四步流水线如何从训练走到评估？

论文用一张总览图把方法分成 4 步，适合先建立全局动作。第一步是从零训练 TTS 并定期保存检查点；第二步是用同一组文本在每个检查点各合成 1 次，得到带训练元数据的合成集；第三步是按客观质量趋势丢弃饱和后的检查点，只保留质量仍在变化的阶段；第 4 步是用保留数据训练能从音频估计轮次或损失的预测器，并在人工 MOS 库上用 SRCC 验证排序能力。

这张图的前导读是：不要把它看成 4 个独立模块，而要看成一条数据 lineage。箭头从文本加音频数据集进入 TTS 训练，产出检查点序列，再分叉成两种标签的数据集，经过最大轮次截断后进入同一个预测器训练，最后预测值才与 MOS 相遇。训练全程见不到 MOS，MOS 只出现在最后的验证端。

看图路径： 1. 先从左到右沿 STEP1 到 STEP4 确认主路径：训练存检查点再合成再筛选再训练 TDScore；2. 再看 STEP2 中同一文本在不同 k 下生成的数据集合符号如何对应两种标签；3. 接着看 STEP3 曲线中 keep 与 discard 以最大轮次为界的划分动作；4. 最后看 STEP4 中预测值与人工 MOS 只在评测端汇合而不参与训练

论文图 1。原论文 Figure 1：“Overview of the proposed framework without human annotations.”。

对照实际收到的图像素解释：最左侧棕色块标出文本加音频数据集、TTS 训练与检查点；第二块品红框强调同一文本合成，并写出两种集合的构造形式；第三块绿色框画出随检查点上升后趋平的质量曲线，以最大轮次为界划分保留与丢弃；最右侧紫色块左边训练能输出轮次或损失估计的模型，右边把估计值与 MOS 求 SRCC。图中符号与正文公式符号一致，k 表示轮次，带帽符号表示估计值。

记住这个顺序后，后面每节只解决一个局部动作：组件节讲标签定义，训练节讲数据截断与优化，实验节讲条件，结果节讲相关是否成立。

轮次与损失两种伪标签各自负责什么？

先沿一个样本走完。取一条文本 x，系统 t 在训练 k 轮后的模型记为 t 的 k 状态，用它合成波形得到 tk 与 x 对应的音频，同时记录该样本对应的训练损失值。于是每个音频天然带有两个免费标签：它来自第几轮，以及它当时的损失是多少。论文据此构造两个系统专属合成语料：一个以轮次为标签，一个以损失为标签。

白话加英文：检查点轮次英文是 checkpoint iteration，后文简称轮次；训练损失英文是 training loss，后文简称损失；质量预测器英文是 quality predictor，本文模型叫 TDScore，即 Training-Dynamics Score，后文简称 TDScore。组合机制是训练两个变体：TDScore 减 TTS 减 Ite 预测归一化轮次，TDScore 减 TTS 减 Loss 预测标准化损失，都只吃波形，输出对轮次或损失的估计，再把该估计当作质量代理。

训练轮次 × 合成质量： 训练轮次指 TTS 从零训练后保存的检查点迭代序号 k，合成质量指人听感知的自然度好坏；TDScore 把轮次当作质量的代理，是因为同一文本在训练早期与后期合成的缺陷逐渐减少，轮次代表模型的学习状态而非单个样本的偶然误差，因此用预测轮次来逼近质量排序。

训练损失 × 合成质量： 训练损失指生成某条语音时 TTS 优化目标的取值 l，合成质量指人感知的优劣；两者搭配的理由是损失下降通常伴随重建改善，但损失随输入起伏且呈振荡，同一轮次内不同句子损失差异大，因此它比分轮次更不稳定，只能作为第二种弱代理信号。

为什么需要两个？论文的安排理由是比较稳定性。轮次代表模型整体学习状态，对所有句子单调递增；损失是输入相关的优化残量，会振荡且同一轮次内不同句子差异大。若质量相近但标签不同，比较器训练会困惑，这正是后文要做饱和截断的原因。

此处不猜梯度细节：论文未给出预测器内部逐层冻结或梯度停止的额外说明，只说明采用已有 SSL-MOS 架构做回归与排序学习，因此只按证据讲监督来源是训练元数据，不从模型名推定实现。

如何构造训练集并真正优化排序器？

训练节包含两段真实计算：合成数据集的构造与截断，以及预测器的优化。先讲构造。论文在法语 Blizzard Challenge 2023 Hub 任务音频书数据上从零训练 3 个 TTS：FastSpeech 2、FastPitch 与 F5-TTS。语料约 51 小时单女声，22.05 千赫采样，文本经归一化与人工校对，共 63943 条训练 utterance。检查点每 10,000 轮保存 1 次。

接着是饱和处理。论文指出不能保证某轮之后质量仍有差异，但可以用外部客观指标找到保证改善的一段。具体做法是对每个检查点随机抽 100 句合成，用一组客观质量度量求平均得到检查点级曲线，再据此定出最大保留轮次，只保留该轮之前的数据。每个系统每检查点合成条数不同以平衡总量，并额外加入每系统 3000 条自然参考，损失标 0、轮次标为最大轮次加 100,000 轮，代表最高质量条件。

自监督语音表示 × 成对排序目标： 自监督语音表示指从大量无标注语音预训练得到的音频编码器输出的质量相关特征，成对排序目标指让模型判断两条语音谁的伪标签更大而非回归绝对值；分工是前者负责把波形变成可比的听感特征，后者负责把轮次或损失的相对顺序学出来，搭配后模型更关注相对好坏，适合跨系统比较与选检查点。

优化方面，论文对每个 TTS 各训两个变体，共 6 种配置。标签分别做归一化与标准化，采用基于二元交叉熵的成对排序目标学习相对好坏，每种配置用 5 个随机种子训练。另训一个同架构但用人标注 BVCC 训练的有监督基线 TDScore 减 MOS，仅作对照。论文未报告学习率等完整超参数与硬件预算细节，这是复现时需要补看实现的具体缺项，不自行编造。

一句话收束：训练见到的只有音频加轮次或损失，没有任何 MOS；MOS 只在评测时用于算 SRCC。

在什么数据与协议下验证排序？

评测要回答 3 个问题：能否恢复训练标签本身，能否在同语言新系统上排好，能否跨语言跨系统排好。对应 4 组数据：自家 TTS 的留出测试集用于验证轮次与损失恢复；法语 VoiceMOS Challenge 2023 Blizzard Hub 任务数据作为域内评测；英语 BVCC 测试集与英语 SOMOS 验证集作为跨域评测。论文明确域内指语言与 TTS 训练一致但系统有限，跨域指语言、应用与生成时期都不同。

域内评测 × 跨域评测： 域内评测指在与 TTS 训练同语言的法语 Blizzard 数据上验证，跨域评测指在语言与合成系统都不同的英语 BVCC 与 SOMOS 上验证；两者分工是前者检验代理信号是否成立，后者检验是否只是记住法语单说话人特征，组合起来才能判断轮次代理是否具有跨语言泛化能力。

指标与聚合按原文交代：除自家测试集外，均计算 TDScore 预测与人工 MOS 的 SRCC，分系统级与句子级报告。系统级先按系统平均再求排序，句子级直接按条求排序。论文对自研的 6 种配置报告 5 种子均值加 95% 置信区间，有监督与无监督基线在有出处时引用文献值。

条件一致性需要小心：有监督基线见过人工 MOS，无 MOS 代理与 TDScore 没见过，因此不能把跨监督的差距直接读成架构胜负。论文把 TDScore 减 MOS 作为同架构有监督对照，目的正是分离架构有效性与监督来源有效性。

成本方面，论文致谢提到使用 Jean Zay 超算 H100 分区与 GENCI 资源，但未给出可比的训练时长、推理开销与帧率，因此本解读不承诺延迟或成本改善，相关量待验证。

主结果显示轮次可排、损失不稳吗？

先提出比较问题：在公平验证下，轮次代理与损失代理谁更能恢复自身标签并与人工 MOS 同向排序？公平条件是同架构预测器、同训练语料来源、评测时都不见 MOS，指标方向是轮次应正相关、损失应负相关，SRCC 绝对值越大排序能力越强。

下表整理自家留出集上恢复训练标签的能力，共五列以满足宽表要求，数值保留原文裸值写法，单位按原文在表头与正文中交代为相关系数本身。表前这段提出问题与方向，表后一段再解释收益与代价。

表后解释：主要收益是轮次恢复稳定且高，F5 达 0.90 并领先另两种架构，支持训练进程确实反映在音频中；代价是损失恢复普遍更低且跨架构不一致，最好的是 FS 损失变体的 0.79，但论文仍判断损失是不太稳定的标注信号。跨库看，F5 轮次在法语域内系统级达 0.74，在英语 BVCC 系统级达 0.73，显示一定跨语言泛化，但这仍是排序相关，不是还原绝对分，也不能推广到每组每步都成立。

第二张表聚焦与外部基线的可运行对照，同样五列，数值均为原文报告的系统级与句子级 SRCC。需要强调监督不同：有监督方法见过 MOS，无 MOS 方法都没见过。

表后解释：法语域内 F5 轮次的 0.74 超过引用的深伪代理 0.60 与层级自监督代理 0.70 的系统级结果，也超过同架构有监督对照的系统级 0.66，这是论文最强的域内证据；但英语 BVCC 上有监督仍明显领先，F5 轮次的 0.73 虽超过深伪代理约 0.39，却与 0.94 有差距，说明人工标注仍有益。SOMOS 上 F5 轮次仅 0.38，损失变体为负 0.34，泛化明显减弱。未胜出项必须点名：FP 与 FS 轮次在 SOMOS 接近零，损失变体在部分库符号异常，这些反例支持损失不稳与跨域衰减的判断。

换 TTS 架构与换标签会怎样变化？

论文没有传统意义的模块消融，而是用架构与标签的交叉对照承担反证职责。先看换架构：同为轮次变体，F5 在 3 组评测上普遍高于 FP 与 FS。论文的有限解释是 F5 训练中质量呈更平滑渐进的改善，而另两种架构的改善不清晰，因此能提供更干净的排序监督。这属于论文的解释而非因果证明，待验证。

再看换标签：同架构下轮次变体普遍优于损失变体。论文假设损失振荡且输入相关，轮次代表模型学习状态更稳健。证据是自家集上轮次恢复更高，跨库上损失符号有时不符合负相关预期，例如 FS 损失在法语域内出现正值，说明损失方向不可靠。

第 3 个对照是同架构有监督：TDScore 减 MOS 在 BVCC 达 0.88 系统级，证明架构本身能学好 MOS 回归，从而把无监督差距归因于监督信号而非架构无效。这是一个已验证的对照，不是拿掉某模块必然怎样的猜测。

教学提示：不要把 F5 最好读成 F5 永远最好。论文明确这是当前训练动态性质的约束，未来架构可能更适合或更不适合构造数据集；跨架构联合训练被列为展望，未实际验证。

哪些边界尚未验证？

首先是监督来源的边界。TDScore 受当前 TTS 训练动态性质约束，F5 的渐进改善恰好适合做排序，但这不保证未来扩散或自回归架构仍有同样平滑的动态。若训练本身震荡或早期就饱和，轮次标签会混入大量质量相近但标签不同的样本对，加重比较器困惑。论文用客观曲线截断缓解，但截断阈值依赖外部客观指标的选择，原文未充分展开该集成的敏感性。

其次是评测边界。SOMOS 上的大幅下降表明跨域仍有限；论文未测量误判率、延迟、推理开销与输出帧率，也未报告统计显著性之外的校准误差，因此不能承诺这些量得到改善。相关性不是因果，排序高不等于能指导每一步早停。

第三是数据边界。训练 TTS 是法语单女声有声书，语言多样性低；论文展望提到减少语言多样性与用更短 utterance 的构造策略，但未验证。自然参考被赋予损失 0 与最大轮次加 100,000 轮，这是一个人为设定的最高质量锚点，其合理性未做敏感性分析。

缺失证据不是技术错误，后续若补做应优先补：截断策略的消融、联合多架构训练、以及在更多说话人与语言上的验证。

要复述与复现需先固定什么？

先固定信息条件：训练 TTS 用 Blizzard 2023 法语 Hub 任务数据，单说话人约 51 小时，22.05 千赫，63943 条训练 utterance；三系统从零训练，检查点每 10,000 轮保存；每检查点随机抽 100 句算客观平均定最大轮次；每系统每检查点合成条数不同以平衡总量，另加 3000 条自然参考并按上节规则打伪标签；预测器采用 SSL-MOS 架构，六配置各训 5 种子，成对排序目标。

可执行的复现顺序是：先复现合成集构造脚本，检查同一文本在不同 k 下的文件命名与损失记录是否对齐；再复现客观曲线与最大轮次选择，保存保留检查点清单；再训练轮次与损失两个变体，验证自家留出集上能否先恢复到约 0.90、0.84、0.79 量级的轮次排序；最后再跑法语与英语外部库的 SRCC，注意系统级与句子级分别聚合。

常见误解是把自动指标当人评，或把不同指标的差值放在模型列下比较。必须同时核对数据集、模型、实验阶段、指标与聚合对象，百分点与相对百分比也不同。原文表头与算术若冲突应标注冲突，不自行编造划分来圆。

开源状态按本次核验口径：未发现来源绑定且完成验证的资源，不得声称代码、模型或数据已公开。若需运行，应以论文文字与官方渠道为准，区分代码开源、权重下载与系统可运行三件事。

何时值得尝试这种无标注排序？

当你面临的矛盾与论文相同才值得尝试：需要频繁选检查点与监控训练，但请不起反复听测，且目标只是相对排序而非绝对 MOS 分。此时用同文本多检查点合成加轮次伪标签，能得到一个便宜且跨语言有一定泛化的排序器，尤其在训练动态平滑的系统上效果更明显。

当目标是最终验收或跨范式精细比较时，不应单独依赖它。英语跨域结果显示有监督仍领先，SOMOS 上差距更大；损失标签更不稳，不宜单独作为早停依据。若训练曲线本身不平滑，应先检查客观曲线与饱和截断，否则轮次标签会引入噪声。

给研究生的收束动作是：复述时能沿一个样本说清输入波形到轮次或损失标签再到排序输出的全链路；实验时先验证自家恢复能力再谈跨库泛化；报告时区分论文直接报告、有限解释与未验证推测，对振荡解释与架构优劣用可能与待验证表达。如此，这篇论文的方法才能被准确复述而不被夸大。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总