自然多语速普通话基准：GRATS 为何要用真实目标录音检验变速

英文题目：GRATS : A Natural Multi-Speed Mandarin Dataset for Speech Time-Scale Modification Benchmarking

会议身份：conference:interspeech:2026:conference-paper-id:aghniya26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #数据集 #数据集构建 #语音 #语音编辑

评分：8.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：数据集与基准

👥 作者与机构

• Ghaida Fathin Aghniya：机构信息未能从会议 PDF 纯文本可靠映射
• Dyah A. M. G. Wisnu：机构信息未能从会议 PDF 纯文本可靠映射
• Stefano Rini：机构信息未能从会议 PDF 纯文本可靠映射
• Yu Tsao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音时间尺度变换要求改变语速同时保持音高与可懂度，普通话因词汇声调依赖基频与音节时序的精细协同而对拉伸失真高度敏感。人工变速参考无法复现真实变速下的协同变化，因而基于人工参考的波形相似度评测会混淆算法失真与自然变速差异。作者先以卡拉OK式逐字高亮视觉提示采集同一说话人与同一文本在0.5x、0.75x、1.0x、1.25x、1.5x五档目标速率下的独立自然录音，共25人60句7500条8.10小时。再以同说话人同语句自然目标录音为参考构建平行评测对，将1.0x输入生成的变速语音与对应自然目标直接对比，以暴露人工变换与真实变速的差距。接着用固定多语言Whisper medium计算字符错误率（Character Error Rate，CER），用宽带感知语音质量评估（Perceptual Evaluation of Speech Quality，PESQ）、短时客观可懂度（Short-Time Objective Intelligibility，STOI）、深度噪声抑制平均意见分（Deep Noise Suppression Mean Opinion Score，DNSMOS）评价质量，并经蒙特利尔强制对齐器（Montreal Forced Aligner，MFA）与WORLD声码器提取音节时长平均绝对误差（Mean Absolute Error，MAE）与对齐感知F0皮尔逊相关，最后揭示经典与神经方法在自然参考下的多维权衡。在GRATS自然参考与推理式评测下，相位声码器（Phase Vocoder）在0.75x的CER为0.046，低于同期神经基线并在全速率保持可懂度优势，而CLPCNet在DNSMOS与STOI上占优，极端0.5x与1.5x下时长误差呈U形增大且F0相关普遍下降。该结论仅适用于台湾普通话朗读语体与客观指标范围，未经自然度与声调忠实度主观听测验证，也未覆盖自发语音与其他方言。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://grats.tw/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文的输入是 GRATS 论文的正文证据与 3 张官方原图像素，目标是让刚进入语音音乐音频领域的研究生能够不依赖营销式判断，独立复述该研究的方法与实验条件。必须保留的信息包括数据集规模与录制方式、五档速率的定义与实际偏离、5 种基线系统的推理设置、6 类评价指标的计算来源，以及论文直接报告的主结果与明确声明的局限。

输出按学习依赖展开，先讲语音时间尺度变换任务与已有路线的不足，再讲 GRATS 如何构造自然平行语料，然后讲基准协议如何把常速输入映射到自然目标参考，最后讲实验条件、结果分化与复现要点。白话来说，语音时间尺度变换，英文是 Speech Time-Scale Modification，缩写 STSM，指把一句话说快或说慢，但尽量不改变音高和说话人听感的技术。它常见于播放器变速、语言学习、助听和数据增强。初学者容易误以为变速只是把波形均匀压缩拉伸，论文要纠正的正是这一点。

对于普通话这类声调语言，字义依赖基频随时间的精细走向，均匀拉伸会破坏音节时长与基频的配合，听感和声调都会受损。因此评价不能只比波形像不像，而要问生成语音是否接近人在目标语速下真实会发出的样子。

已有方法与已有数据各解决了什么，还缺哪一块？

按同输入同目标对照，已有 STSM 方法可分为经典信号处理与神经方法两条路线。经典路线包括基于波形相似叠加的 WSOLA 和相位声码器，相位声码器的英文是 Phase Vocoder。前者通过寻找波形相似片段做叠加来改变时长，后者通过短时傅里叶变换后做相位累积来改变时长。神经路线包括论文评测的 TSMNet、ScalerGAN 和 CLPCNet，分别对应时域压缩网络、生成对抗网络精修和可控线性预测网络思路。

论文指出这两类方法在中等变速下已有较多伪影抑制工作，但评价标准不统一，尤其缺乏针对声调语言的多速率基准。已有数据方面，英文的 LibriSpeech 和 VCTK 提供高质量多说话人录音，但没有同一说话人同一句子的多速率自然平行录音。普通话的 AISHELL-1 和 TMHINT-QI 提供声调语音，但前者主要面向语音识别，后者面向听觉评估，都不包含跨多速率的平行录音。结果是已有评价只能拿人工变速信号当参考，也就是把常速录音用确定性算法拉伸后当作正确答案。

这种做法隐含假设人工拉伸近似自然快慢变化，论文引用行为学证据指出自然与人工变速语音在感知上并不等价。对研究生而言，关键区分是输入相同不代表监督相同，人工参考检验的是信号变换精度，自然参考检验的是语速实现逼真度，两者不可互换。

为什么普通话变速评价不能沿用英文那套人工参考？

问题可以沿一个样本走一遍来理解。假设同一说话人读同一句 10 个汉字的提示句，先以自然语速录一遍得到常速输入，再分别以更快和更慢的真实朗读各录一遍得到自然目标。如果用人工参考做法，研究者只保留常速那一遍，然后用算法把它拉长 2 倍当作慢速正确答案。如果用 GRATS 做法，研究者保留说话人真正慢读的那一遍当作正确答案。差异在于真实慢读会改变发音用力、停顿分布、音节拉长策略和基频起伏，而人工拉伸只是把每 1 帧均匀重复。

普通话的声调，英文是 lexical tone，指第一声到第四声加轻声用音高走向区分字义，例如同样音节不同声调意义不同。基频，英文是 fundamental frequency，缩写 F0，指声带振动频率决定的音高轨迹。论文强调普通话依赖精细的音高与时间协同，英文是 pitch–timing coordination，因此人工参考会漏掉速率依赖的韵律变化，甚至把波形相似误当成声调保真。GRATS 要解决的正是缺少自然录制的多速率普通话平行数据，导致无法确定当前系统是真正保留声调与节奏结构，还是只复现了 1 次信号级变换。

GRATS 总体上做了什么，如何从一句话走到基准分数？

GRATS 的全称是 Granular Rate Adaptation for Temporal Scaling，做法是招募固定说话人集合，在五档受控语速下朗读完全相同的提示句，全部直接录制，不做任何人工变速、归一化或静音剪切。评测时取自然录制的常速语音作为每个系统的输入，让系统生成 4 个目标速率的输出，再与同一说话人同一句子在目标速率下的自然录音对比打分。指标分成 4 组，分别是可懂度、感知质量、时间结构和音高一致性。具体包括用固定 Whisper 多语言中杯模型转写后计算的字错误率，英文是 Character Error Rate，缩写 CER；用宽带语音质量感知评价，英文是 Perceptual Evaluation of Speech Quality，缩写 PESQ。

用短时客观可懂度，英文是 Short-Time Objective Intelligibility，缩写 STOI；用深度噪声抑制平均意见分，英文是 Deep Noise Suppression Mean Opinion Score，缩写 DNSMOS；以及基于蒙特利尔强制对齐的音节时长平均绝对误差和基于 WORLD 声码器提取基频后的相关系数。

自然目标录音 × 人工变速参考： 自然目标录音指同一说话人在目标速率下独立重新朗读得到的语音，人工变速参考指把常速录音用算法直接拉长缩短得到的信号，前者保留发音、节奏和基频的速率依赖变化，后者只是确定性信号变换，搭配理由是只有用前者做参考，才能检验变速系统是否逼近真实快慢读法，而不只是复现 1 次数学拉伸。

沿样本走完就是输入是常速自然录音，表示是系统内部的波形或频谱变换，组件是 5 种基线变速器，目标是逼近自然目标录音，输出是变速语音加 6 类分数。论文的贡献因此有 3 层，一是提供首个平行自然录制的多速率普通话数据集，二是提出以自然目标为参考的语言学基准协议，三是给出经典与神经系统的多维基准结果。

哪些组件参与变换，哪些组件参与打分，各自分工是什么？

变换侧有 5 个可运行基线。WSOLA 和相位声码器是经典无训练方法，直接在波形或频谱域操作。TSMNet、ScalerGAN 和 CLPCNet 是神经方法，使用官方或公开实现与预训练权重，在 GRATS 上只做推理，不重新训练或微调。打分侧组件各有明确分工。Whisper 负责把生成语音转写成文字，再与原文比对得到 CER，衡量内容是否可被识别。

PESQ 和 STOI 是侵入式指标，需要把生成语音与自然目标配对比较，前者反映客观语音质量，后者反映时频加权可懂度。DNSMOS 是非侵入式指标，只看生成语音本身估计感知质量。蒙特利尔强制对齐器，英文是 Montreal Forced Aligner，缩写 MFA，负责给出音素与音节边界，用于计算每秒音素数和音节时长误差。WORLD 声码器负责提取基频轨迹，再经对齐后计算皮尔逊相关系数，衡量音高走向一致性。

语音时间尺度变换 × 声调： 语音时间尺度变换负责在不改变音高的前提下压缩或拉伸时长，声调负责用基频随时间的精细走向区分普通话字义，二者搭配的难点在于前者若只做波形均匀伸缩，就会打乱后者依赖的音节时长与基频协同，组合意义是评价必须同时看时长对齐和基频轨迹，而不只看波形相似。

对初学者重要的是先固定简称，后文统一用 STSM 指变速任务，用 F0 指基频，用 CER、PESQ、STOI、DNSMOS 指 4 类质量可懂度指标，用 MFA 指对齐工具，用 WORLD 指基频提取工具，避免中英文混用造成回指不清。

没有训练阶段时，录制与推理的真实计算过程是什么？

本研究没有训练任何新变速模型，training 一节的等价职责由数据构造与推理调用承担，必须明确说明这一点，不能把无训练理解为确定性求解。构造过程是受控录制。25 名普通话母语者，每人朗读相同的 60 个句子，每个句子在 0.5、0.75、1.0、1.25 和 1.5 五档提示速率下各录一遍，共 7500 句，总时长 8.1 小时。为保证速率可控，采用卡拉 OK 式视觉提示系统按目标节奏高亮汉字，录音在低噪声环境下用 Audio-Technica ATR2500x-USB 麦克风以 16 位脉冲编码调制波形文件、44.1 千赫单声道保存，读错重录，不做后处理。推理过程是固定流程调用。

每个说话人每句话的自然常速录音作为输入，各基线用各自原生采样率生成目标速率输出，打分前统一把生成与自然参考都转成 16 千赫单声道，以保证跨系统可比。论文未报告梯度路径、参数冻结细节或训练超参数，因为本研究不涉及这些，缺项就是无训练设计本身，不应从模型名称推定实现。

下面这张图是论文图 1 的录制软件界面，直接展示提示与控制如何配合，是理解构造可复现性的关键。

看图路径： 1. 先看顶部黑色横条的提示句，确认这是逐句朗读的视觉引导区；2. 再看右侧控制面板的速度选择与开始确认重录按钮，理解速率控制如何落地；3. 最后看下方麦克风数量与通道设置，确认录音硬件配置的可复现信息

论文图 1。原论文 Figure 1：“Recording software interface used for data collection.”。

从像素可见，界面分为上下两部分，上方黑色横条显示当前提示句，这学期学校有书法比赛，下方左侧是说话人视频预览与麦克风通道设置，右侧是控制面板，标有速度选择、说话人信息、开始、确认、重录与删除按钮。这说明速率控制不是口头要求，而是通过界面上的速度档与逐字高亮共同约束，录制错误可即时丢弃重录。复现时应同样记录提示软件版本、屏幕高亮节奏参数与重录判定标准，否则只抄采样率无法复现速率分布。

速率如何定义，划分与指标方向如何保证公平？

实验按问题组织。测的是以常速自然录音为输入的变速输出，与自然目标录音的差距。与谁比是 5 个基线之间的横向比较，条件一致体现在同一说话人同句子的源目标配对、同一推理设置、同一打分前采样率转换。目标速率因子用 s 表示，取值为 0.5、0.75、1.0、1.25 和 1.5，其中 1.0 是每位说话人的自然朗读条件。但人无法完全跟随外部节奏，因此论文定义实现速率因子为阿尔法，等于话语级语速除以该说话人在 1.0 条件下的平均语速，语速用每秒音素数报告。

指标方向是 CER 越低越好，PESQ、STOI、DNSMOS 和 F0 相关越高越好，时长平均绝对误差越低越好。数据集划分上 GRATS 本身是全平行结构，元数据支持按说话人与句子系统加载，基准协议固定用 1.0 生成其余四档，不存在训练集测试集划分，公平性来自配对而非划分。

下图是论文图 2 的语速统计分布，是检验提示协议是否真正控制住语速的证据。

看图路径： 1. 先对比左中两图的横轴速率与纵轴每秒字数和每秒音素数，确认单调上升趋势；2. 再看右图目标速率虚线与实际速率实线的偏离，理解名义与实现速率的差异；3. 注意箱线图的分布宽度，观察说话人之间的自然变异仍然保留

论文图 2。原论文 Figure 2：“Distribution of speaking-rate statistics: (a) characters per second, (b) phones per second, and (c) realized speed-rate factor α compared with the target speed factor.”。

从像素可见，左图每秒字数随目标速率单调上升，中图每秒音素数的箱线图同样单调上移，右图实现因子与目标因子的连线总体贴近对角虚线，但在 0.5 偏高、1.5 偏高，说明慢速没能慢到名义值、快速比名义更快，偏离主要反映人的自然变异而非录制失误。复现时应先复算这两组语速统计，若单调性不成立，后续基准分数不可比。论文还报告提示句均为 10 个汉字，共 309 个不同汉字，5 种声调 token 数分别为 167、89、110、192 和 42，平均时长随速率从 5.64 秒降到 2.14 秒，同样支持速率控制有效。

主结果显示了什么分化，极端速率代价在哪里？

主结果必须多指标并读。论文报告相位声码器在全部速率下 CER 最低，说明其保留可识别语言内容的能力最强，但 CLPCNet 等神经方法在 DNSMOS 和 STOI 上更高，说明感知或频谱质量更好。时间与韵律指标则揭示另一类失效。时长误差呈 U 形，两端 0.5 和 1.5 误差更大，基频相关随速率变快和极端化而下降，说明极端变速更难保留自然节奏与音高时间协同，即使文字内容仍可识别。总体趋势是中间速率平稳，极端速率全面承压，神经模型在自然速率附近有竞争力，大倍数变换下退化更明显。 下图是论文图 3 跨速率基准趋势，是主结果的可视化总览。

看图路径： 1. 先沿横轴从 0.5 到 1.5 扫一遍各子图，区分中间速率平稳与两端恶化的位置；2. 再对比下方时长误差的 U 形与基频相关的下滑，确认极端速率的韵律代价；3. 最后找出始终偏低的一条神经基线曲线，理解其与其他方法分层的原因

论文图 3。原论文 Figure 3：“Benchmark trends across speaking rates using natural target-rate references.”。

从收到的像素可见，上排 PESQ 子图在 0.75 达到峰值后向 1.5 下滑，下排 F0 相关子图随速率增加持续下滑，时长误差子图在 1.25 最小、两端抬高，其中一条黄色三角线代表的神经基线在多子图上始终偏低，与表格中 TSMNet 在多档表现较弱一致。这说明不能把某方法在中间速率的好结果推广到全程，也不能把曲线向下直接等同于单一原因，需结合纵轴是原始指标还是误差量来判断好坏。

音节时长平均绝对误差 × 基频相关系数： 音节时长平均绝对误差分工是度量生成语音与自然目标在音节层面的节奏偏离，基频相关系数分工是度量两条基频轨迹在对齐后的走向一致性，二者搭配是因为普通话声调同时依赖时长位置和音高走向，组合后能暴露内容可懂但韵律声调已漂移的失效模式。

为便于核对，把数据集构成这一论文特有细节整理成下表。表前问题是语料规模与格式是否足以支撑平行基准，公平条件是同一说话人同句子跨五速全覆盖，指标方向是覆盖越全、格式越原始越有利于复现。

表后解释是主要收益为全平行自然目标使源目标配对确定，代价是仅为朗读风格且说话人限定台湾普通话，后续泛化需谨慎。未胜出项是该表本身不证明任何变速方法更好，它只是基准地基，不能替代下面的性能表。

换参考与换指标会改变结论吗，反例是什么？

论文没有做传统消融切模块，但做了两类等价对照，一是自然参考与人工参考的解释对照，二是多指标交叉对照，必须按证据展开。自然参考下波形相似不再充分反映性能，尤其普通话的音高时间协同需要对齐感知的时长与音高指标才能暴露。换成人工参考，任务会退化为复现确定性变换，分数可能虚高但与真实快慢读法无关。多指标对照的反例很清晰。只看 CER 会选相位声码器，只看 DNSMOS 和 STOI 会选 CLPCNet，只看时长与基频会发现极端速率下所有方法都退化。论文明确指出较低 CER 不必然意味着更好感知质量或语言正确性，这就是单指标的误用边界。

字错误率 × 深度噪声抑制平均意见分： 字错误率用固定语音识别转写衡量语言内容是否保留，深度噪声抑制平均意见分用非侵入式模型估计生成语音的感知质量，二者搭配的原因是内容可识别不等于听感好，组合意义是 GRATS 基准显示经典方法字错误率更低而神经方法感知分更高，必须多维并读才能避免单指标误判。

为核对核心结果，下表整理四档速率下可运行基线的关键数字，数据来自论文表 4 原文行。表前问题是在相同自然目标下哪类方法在内容与质量上分化，公平条件是同为官方推理、无 GRATS 微调、统一转 16 千赫打分，指标方向是 CER 越低越好，PESQ 与 STOI 越高越好。

表后解释是主要收益为相位声码器在所列格中 CER 最低，支持其内容保留更稳，具体代价是其 DNSMOS 与 STOI 并不占优，论文表 4 显示 CLPCNet 在多档 DNSMOS 超过 2.9 而 TSMNet 在 1.5 档 CER 高达 0.160 且 F0 相关仅 0.657，构成明确反例。未评测边界是这些客观分不能替代人耳对自然度、声调忠实度和说话人稳定性的判断，论文把主观听评列为未来工作。

哪些结论有直接证据，哪些还只是待验证推测？

用报告、支持和可能 3 级表达区分证据强度。论文报告的是数据集规模、录制流程、五基线多指标数值趋势与极端速率退化，这些有表格与分布图支撑。论文支持的是普通话 STSM 评价应多指标并用、重视对齐与声调感知评价，这一判断由 CER 与感知分分化、时长 U 形与基频下滑共同支撑。可能或待验证的是神经不稳定性是否直接损害声调实现，以及自然目标偏离在多大程度上来自发音策略而非跟随误差，论文用可能影响措辞，未做因果断言。

明确局限有两项，一是仅覆盖台湾普通话朗读语音，未覆盖自发对话、歌唱或其他方言与风格，二是客观指标不能完全替代人类感知，尤其自然度、声调忠实度、说话人一致性与目标速率恰当性仍需主观听评。缺失证据不是技术错误，相关性不是因果，未测量推理延迟与计算成本时，不应承诺这些量得到改善。训练资源、推理开销与实际延迟在原文未报告，复现时应单独记录。

要复现基准，先做什么，需要什么信息条件？

复现先做三件事。第一是获取数据与工具。项目页为https://grats.tw/，资源状态本次核验为可用，论文说明数据集与基准工具通过受控申请流程提供研究使用，链接当前可用不等于免申请下载，需按页面要求提交申请。第二是还原录制与组织信息。核对 25 人 60 句五速 7500 句、每句十汉字、44.1 千赫 16 位单声道、无后处理，以及说话人句子速率 3 级平行目录与元数据加载方式，保证同一说话人同句子跨速率配对。

第三是还原推理与打分。固定用自然 1.0 录音做输入，生成 0.5、0.75、1.25 和 1.5 输出，用官方实现与预训练权重不微调，打分前统一转 16 千赫单声道，用固定 Whisper 中杯多语言模型算 CER，用 MFA 做对齐算音节时长误差，用 WORLD 提取基频算相关，同时计算 PESQ、STOI 与 DNSMOS。关键超参数与信息条件包括各基线原生采样率与窗长跳长容差设置，例如 WSOLA 窗 1024 跳 512 容差 512，相位声码器窗 2048 跳 512 加相位累积，其余神经方法按表 3 的采样率与特征配置运行。

区分代码开源、权重下载与系统可运行，论文提供的是实现链接与推理脚本位置，不是新模型权重，复现成本主要在申请数据与跑通 5 个官方流水线。

何时值得尝试 GRATS，下一步还需补哪项验证？

当研究目标是检验变速输出是否像人真实快慢朗读，而不只是检验波形拉伸精度时，值得尝试 GRATS，尤其涉及普通话声调、节奏与基频协同的系统。教学例子是做播放器 2 倍速，若只在人工参考上测，可能得到高分却在真实快读下声调含糊，此时切到 GRATS 自然目标与时长基频指标才能发现差距，但这只是理解方法的例子，不添加无源的效果数值。复现后应先复算语速单调性与实现因子偏离，再跑通五基线多指标，确认是否复现中间稳两端差与可懂度感知分化。

若要把结论推向产品，还需补主观听评与更广风格方言覆盖，并在报告中保留名义速率与实现速率的区分，避免把 0.5 或 1.5 当成精确物理倍数。总体判断是 GRATS 把评价锚点从信号变换搬到自然实现，代价是语料风格受限与主观验证缺席，后续工作应在保留平行配对的前提下扩展场景，并用听评补齐声调忠实度的最后一块证据。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总