不用改 vocoder 结构，只换条件特征：群延迟乘积谱能否替代梅尔谱

英文题目：GROUP DELAY PRODUCT SPECTROGRAMS EMPLOYED AS CONDITIONING IN SPEECH SYNTHESIS

会议身份：conference:eusipco:2026:conference-paper-id:0000481

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#主观评测 #时频分析 #多语言 #语音 #语音合成

评分：5.5/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 0.6/1.5 | 清晰度 0.7/1 | 影响力 0.6/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Sisamaki, Eirini：机构信息未能从会议 PDF 纯文本可靠映射
• Pantazis, Yannis：机构信息未能从会议 PDF 纯文本可靠映射
• Tsiaras, Vassilis：机构信息未能从会议 PDF 纯文本可靠映射
• Stylianou, Yannis：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作针对神经声码器（Neural Vocoder）只用幅度梅尔谱（Magnitude Mel-Spectrogram）作条件而丢弃相位信息的问题，目标是验证联合幅度相位的群延迟积谱图（Group Delay Product Spectrogram）能否直接作为条件生成高质量语音。方法上先由短时傅里叶变换（Short-Time Fourier Transform, STFT）计算功率谱与群延迟（Group Delay），经平滑因子 \(\rho\) 相乘构造积谱（Product Spectrum），再经梅尔滤波压缩为与基线同帧移的二维条件，最后送入Clarinet声码器，以谱能量距离（Spectral Energy Distance）做无蒸馏稳定训练并合成22050 Hz波形。其机制差异在于条件本身已对齐共振峰处的功率峰与群延迟峰，理论上同时携带包络与激励线索。在英语LJSpeech上积谱条件（\(\rho=10^{-6}\)）平均意见分（Mean Opinion Score, MOS）为3.22分，低于梅尔基线3.87分；在希腊语4说话人集上为3.95分，接近基线4.13分。客观上积谱条件的梅尔倒谱失真（Mel Cepstral Distortion, MCD）高约1.1-1.3 dB，F0周期性均方根误差（RMSE）希腊语略优、英语略劣。该结论仅适用于Clarinet单架构、朗读式英语单女声与希腊语4人数据，未验证HiFi-GAN等当代架构、噪声混响与跨说话人外推。原文仅披露batch size为4的单卡GeForce RTX 2080训练，未披露优化器、学习率、步数、训练时长与推理延迟。

🔗 开源与复现资源

• 数据相关资源：https://stoma.iacm.forth.gr/database.html — 链接可访问（HTTP 200）
• 第三方资源：https://www.sciencedirect.com/science/article/pii/016763939190011H — 链接不可用（HTTP 403）
• 第三方资源：https://doi.org/10.1609/aaai.v37i11.26479 → https://ojs.aaai.org/index.php/AAAI/article/view/26479 — 链接可访问（HTTP 200） 预印本/扩展版链接未在会议页展示；会议版来源见页首官方记录与 PDF。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么

本文的输入是已经切帧的语音波形经过频谱分析得到的条件特征，目标是用神经声码器把条件特征还原成可听波形。研究生读完应当能复述三件事：第一，群延迟乘积谱是如何从功率谱和群延迟算出来的；第二，训练时把该特征作为条件送入声码器的具体帧长、窗型和数据划分；第三，英语单说话人与希腊语四说话人上的主观与客观对照条件和关键数字。本文不做文本到频谱的声学模型，只研究声码器阶段的条件特征替换，因此所有结论都限定在给定真实条件特征做波形重建的范围内。

对刚进入语音合成的读者，先建立一个样本级链条。取一条 22050 赫兹采样率的英文朗读，作者用 256 点帧长、32 点帧移做短时分析，幅度分支得到梅尔谱，另一条分支计算群延迟再与功率谱相乘并做平滑得到群延迟乘积谱。两条分支每次只取其一送入同一个 Clarinet 声码器做训练和合成，输出都是波形。比较的是换特征是否还能保持高质量，而不是换模型结构。

必须保留的信息包括实验条件与失败条件。英语用公开的 LJSpeech，约 24 小时单女声，13100 个短句；希腊语用约 20 小时四说话人库，2 男 2 女。声码器训练批量为 4，单块 GeForce RTX2080。群延迟乘积谱的关键平滑参数记为 ρ，文中实际跑了 10−6、10−5，并提到 10−7 和 0 得到退化语音。主观用 5 分制平均意见分，客观用梅尔倒谱失真和基频周期性均方根误差，方向都是越低越好。

此前处理相位和幅度时走了哪几条路线

语音处理文献长期关注群延迟函数及其变体。原文回顾了修正群延迟、啁啾群延迟，以及功率谱与群延迟乘积等形式，并列举了这些表示在语音识别、耳语识别、说话人确认、情感识别和嗓音病理检测中的应用。这条路线说明群延迟类特征在分类和检测任务中有用，但此前很少作为神经声码器的条件特征。

神经语音合成的另一条主流路线是直接用幅度梅尔谱作为声码器条件，Parallel WaveNet、Parallel WaveGAN、Clarinet 等模型都沿此路线取得了很好的合成质量。短时傅里叶变换本身可以完美重建，但多数系统只用幅度谱，相位信息被丢掉。相位难建模的原因是卷绕和周期结构，听感作用也未完全清楚，但相位估计变好已被报告能减少可感知伪影。

与本文最接近的是联合估计幅度和相位谱的工作，例如直接预测幅度与相位谱的声码器，以及用时频域联合估计改进相位的工作。还有研究用预训练自监督表示做重合成。本文的不同点是既不改声码器结构，也不直接预测相位输出，而是把一种新的相位相关特征放在输入端做条件。理解这个区分很重要，否则会误把本文当成相位预测模型。

要解决的具体问题与不解决的部分是什么

具体问题是能否找到一种包含相位信息的谱特征，使其可以直接替换幅度梅尔谱作为神经声码器的条件，而不需要修改声码器结构。衡量标准是双重的：听感上是否与梅尔谱基线相当，客观声学距离上是否保持在先进声码器报告的范围内。

不解决的部分同样明确。第一，不解决文本到频谱的预测，只做给定条件特征到波形的重建；第二，不解决通用声码器架构创新，Clarinet 结构保持不变；第三，不承诺降低训练成本或推理延迟，原文没有报告延迟和每步耗时对比。因此把本文理解为特征替换的可行性验证最为准确，不能引申为更快或更省的方案。

方法全景：一个样本如何走完输入到输出

沿一个英文样本走完全程有助于建立整体依赖。输入波形先按 256 点帧长、32 点帧移加窗分帧，窗型在条件特征描述中写为 Hanning Derivative 窗。幅度路径计算梅尔谱作为基线条件；实验路径计算功率谱与群延迟的乘积谱，再经平滑和梅尔尺度处理得到群延迟乘积谱。两个特征的帧率一致，保证送入声码器时的时序对齐。

声码器侧的安排是同一 Clarinet 模型分别用两种特征训练，结构不做改动。训练完成后，给定测试句的对应特征，声码器生成波形，再做主观试听和客观指标计算。整个链条中特征计算是确定性信号处理，学习只发生在声码器权重更新上。

这个全景决定了后文的阅读顺序。必须先懂群延迟为何难直接用，再懂乘积与平滑如何让它可用，然后才能理解训练对照为何公平，最后才能正确解读主观接近而客观拉开的结果。

群延迟为何难用，乘积与平滑做了什么

群延迟函数定义为信号傅里叶变换相位的负导数。对最小相位信号，从幅度谱算出的群延迟与从相位谱算出的结果一致；但对真实语音，直接估计很困难，首要原因是相位卷绕，即离散时间傅里叶变换的相位响应存在以 π 为倍数的不连续。原文指出可以通过直接从信号序列计算群延迟函数来克服该问题，并引用了从信号本身计算的公式路径。

白话解释是相位角本身跳变太多，不适合逐点当特征。求导后得到的群延迟能突出共振峰位置，但它在频谱谷底会被放大成尖峰，噪声敏感。乘积谱的做法是用功率谱去乘群延迟，让高能量共振处保留结构、低能量谷底的尖峰被压住。平滑参数 ρ 则控制对分母或尖峰的抑制强度，ρ 选得不合适会直接改变特征动态范围。

群延迟 × 乘积谱： 群延迟负责刻画相位随频率的变化率，对共振峰和谐波结构敏感但易受包络起伏和相位卷绕干扰，乘积谱负责把功率谱幅度与群延迟相乘，用幅度给群延迟加权以压制低能量区的尖峰，二者搭配的理由是以联合的幅度相位特征替代只丢弃相位的幅度梅尔谱，新增作用是让声码器在不改结构的情况下读到相位相关信息。

对初学者而言，关键操作记忆点是先算功率谱与群延迟，再相乘，再按 ρ 平滑，再做梅尔尺度变换得到可与梅尔谱对照的 2 维谱。ρ 不是可忽略的小常数，后文英语实验显示 10−6 与 10−5 的听感差距很大，因此复现时必须把 ρ 当作一等超参数记录。

两种条件特征的分工与替换逻辑是什么

幅度梅尔谱的分工是提供平滑的频谱包络，维度紧凑且与人耳频率分辨相近，是声码器最熟悉的输入。群延迟乘积谱的分工是提供联合的幅度相位线索，同样组织成随时间变化的谱图，使声码器可以在相同接口下读取相位相关结构。两者帧长帧移相同，都是 256 点帧长、32 点帧移，这是公平对照的前提。

替换逻辑不是把两种特征拼接，而是 1 次只用一种训练一个模型。基线模型只见过幅度梅尔谱，实验模型只见过群延迟乘积谱，测试时也各自用对应特征生成。这样听感与客观差异才能归因到特征本身，而不是模型容量或训练步数差异。

梅尔谱 × 群延迟乘积谱： 梅尔谱分工是提供经过梅尔尺度压缩的幅度包络，是当前声码器最常用的条件输入，群延迟乘积谱分工是提供同时包含幅度和相位变化信息的条件输入，二者搭配比较的理由是检验相位相关特征能否在相同声码器和相同帧移下达到可听质量，组合意义不是二者拼接，而是用后者整体替换前者做对照。

需要提醒的是原文把群延迟乘积谱称为首次作为声码器条件使用。此前群延迟类特征多用于识别与检测，合成侧的相位工作多在输出端预测相位。本文把相位信息前移到输入端，声码器仍只需学会从条件到波形的映射，不必显式输出相位角。

相位谱 × 群延迟函数： 相位谱分工是记录每个频率点的相位角，但存在以 π 为倍数的跳变而不便直接建模，群延迟函数分工是对相位求负导数得到随频率的延迟分布，把难用的卷绕相位转成更能显示共振的结构，二者搭配的理由是避开直接预测相位，新增作用是把相位信息变成可作为条件的连续谱特征。

声码器如何训练，哪些更新哪些冻结

训练对象是 Clarinet 神经声码器，结构不做修改。原文明确的训练设置是批量为 4，在单块 GeForce RTX2080 上训练。训练数据分两套：英语 LJSpeech 与希腊语四说话人库，采样率均为 22050 赫兹。条件特征在两种语言下保持相同的窗型、帧长和帧移。

监督来源是真实波形与对应条件特征的配对。声码器权重随训练更新，信号处理侧的特征计算不参与梯度更新，ρ 在 1 次训练中固定为某个取值。原文没有给出优化器类型、学习率、总步数和早停规则，也没有说明是否冻结声码器某些层，因此不能从模型名称推定这些实现细节，只能记录为未报告项。

Clarinet 声码器 × 条件特征： Clarinet 声码器分工是把给定条件特征并行生成波形，条件特征分工是逐帧告诉声码器应生成什么样的频谱包络和激励特性，二者搭配的理由是声码器结构保持不变，只更换输入特征即可比较特征本身的效果，组合意义在于把特征设计与波形生成解耦，特征好坏直接反映在合成语音质量上。

对复现而言，可执行动作是先固定特征流水线再启动训练。先用同一套切分生成幅度梅尔谱和群延迟乘积谱，核对帧数一致；再分别训练两个 Clarinet 模型；最后用各自测试集特征生成波形。不要在训练中途切换 ρ，也不要把一种特征训练的权重直接用于另一种特征推理，否则对照失效。

数据、试听与客观指标的执行条件是什么

数据侧英语用 LJSpeech，13100 个短句约 24 小时单女声；希腊语用约 20 小时四说话人库，2 男 2 女，链接在原文中给出。资源状态核查显示该希腊语库链接当前可用，已公开可访问。采样率 2 库均为 22050 赫兹。条件特征统一用 Hanning Derivative 窗、256 点帧长、32 点帧移。

主观协议分两场。英语场通过 Prolific 招募 30 名英语母语听众，来自英国和美国，年龄 18 到 30 岁，男女各半，每套系统合成 15 个测试句评总体质量。希腊场招募 30 名希腊语母语志愿者，来自克里特大学，每套系统合成 13 个测试句，流程与英语场相同。评分用 5 分制平均意见分，5 为优秀，1 为很差，要求安静环境戴耳机。希腊场未纳入 ρ 为 10−5 的方法。

客观指标用 Amphion 工具包计算梅尔倒谱失真和基频周期性均方根误差，方向越低越好。原文还引用了近年神经声码器在 LJSpeech 与其他数据集上的区间作为参照，但未给出与本文完全同切分同工具的逐模型复跑表，因此跨文比较只能当作范围参考，不能当作同条件胜负。

主观听感是否与基线相当，数字如何读

比较问题是在相同声码器和相同帧率下，群延迟乘积谱能否达到与幅度梅尔谱相当的总体听感。公平条件是结构不变、采样率相同、特征帧移相同，指标方向是平均意见分越高越好。下表整理英语场的 4 个可运行条件，希腊场结果在正文段落中补充对照。

表后解释需要同时看到收益与代价。英语场中 ρ 为 10−6 的群延迟乘积谱得 3.22 分，低于幅度梅尔谱的 3.87 分，但仍在可懂且质量较高的区间；ρ 为 10−5 时跌到 1.77 分并伴随可闻伪影，说明 ρ 选择决定成败。希腊场原文报告原始录音 4.44 分，幅度梅尔谱 4.13 分，群延迟乘积谱 ρ 为 10−6 得 3.95 分，两者差距小于英语场。希腊听众还反馈各方法样本质量接近难以区分，提示在高质量区间平均意见分对细微差异不敏感。

平均意见分 × 梅尔倒谱失真： 平均意见分分工是从听感总体评价合成语音质量，梅尔倒谱失真分工是从声学距离度量频谱包络重建误差，二者搭配的理由是主观听感与客观距离可能不一致，需要同时报告以避免只看一侧下结论，组合意义是当听感接近但客观距离拉开时，提示差异可能在包络细节而非整体可懂度和自然度上。

未胜出项必须保留。英语场中群延迟乘积谱没有超过梅尔谱基线，ρ 为 10−5 是明确的负结果，ρ 为 10−7 和 0 也被报告为退化。这些负结果的支持判断是该特征可行但窗口窄，复现时应优先复跑 10−6，再向两侧做小步扫描，而不是默认任何小 ρ 都可用。

ρ 与客观距离如何变化，失败条件在哪里

比较问题是当主观接近时，客观声学距离是否一致，以及 ρ 失配会带来什么。公平条件是同一语言内比较同一工具包算出的指标，方向都是越低越好。下表同时给出两语言 4 种可运行策略的客观数字，最后一列标明方向以免误读。

表后解释要分开两个指标。梅尔倒谱失真上群延迟乘积谱高于梅尔谱基线，希腊为 2,971 对 1,808，英语为 2,799 对 1,487，原文仍表述为小于 2.98 分贝属于包络重建准确、音色稳定。基频周期性误差上两者相当，希腊为 0.03558 对 0.03866，英语为 0.00547 对 0.00451，原文表述为处于近年声码器报告的上游区间。支持的判断是激励与周期性建模保持住了，代价是频谱包络距离偏大。

失败条件同样来自 ρ。英语主观表中 ρ 从 10−6 变到 10−5 时平均意见分从 3.22 跌到 1.77，原文明确说 10−5 引入可闻伪影，10−7 和 0 也退化。这支持 ρ 需要在 10−6 附近仔细选择，待验证的是该最优点是否随说话人、语言和窗型漂移，原文没有给出跨 ρ 的完整客观曲线，因此不能把 10−6 当作通用最优。

哪些结论有边界，哪些验证还没有做

原文自己指出的边界值得逐条记录。第一，主观评价没有显示出对基线的改进，部分原因可能是高质量神经合成常见的天花板效应，以及平均意见分中的量程均衡偏倚，即听众会把当前听到的样本范围当作标尺，导致细微差异被压缩。希腊场听众难以区分也与此一致。

第二，评价聚焦总体质量，没有针对韵律或表现力的细粒度试听，因此不能判断群延迟乘积谱是否在特定属性上有优势，原文把这列为未来工作。第三，客观上先进的表述依赖与文献区间的比较，而非与全部近年声码器在同切分同工具下的重跑对照，跨数据集数字不可直接排名。

未测量的量不能承诺。原文没有报告训练时长、收敛步数、推理耗时、实时率和模型参数量变化，结构不变不等于速度不变，因为特征计算本身也有开销。也没有报告误发音率、可懂度测试和统计显著性检验。引用链中有一条科学直接出版链接当前不可用，核查状态为不可达，阅读时应以正文描述为准，不应假设该链接内容。

要复现先做什么，需要补哪项验证

复现的第一步是重建特征流水线。用 22050 赫兹音频，按 Hanning Derivative 窗、256 点帧长、32 点帧移生成幅度梅尔谱；另一路算功率谱与群延迟乘积并按 ρ 平滑后再做梅尔尺度变换，优先复跑 ρ 为 10−6。核对两路特征帧数严格对齐，再分别训练 Clarinet 声码器，批量为 4，记录所用显卡与随机种子。英语先用 LJSpeech 单女声验证，希腊语再用四说话人库验证，测试句分别按 15 句与 13 句生成。

第二步是复跑评价。用同一 Amphion 工具包计算梅尔倒谱失真和基频周期性均方根误差，保留千分位逗号与小数精度原文写法核对。主观若做众包，需记录听众母语、年龄范围、耳机与安静环境要求，并同时报告均值与 95% 置信区间。

还需补的验证包括 ρ 在 10−7 到 10−5 之间的细扫描，跨说话人与跨语言的稳定性，以及与其他声码器结构的组合测试。原文未来工作明确提到要在更广的声码器模型与架构上检验这些替代特征。代码与权重方面，原文未给出可运行仓库与权重下载信息，因此应按无公开代码处理，复现成本主要在特征实现与声码器训练上。

何时值得尝试，一句话收束

当研究目标是为声码器引入相位相关信息，但又不希望改动声码器结构时，群延迟乘积谱值得作为一个可替换的条件特征尝试。它的适用条件是能接受仔细调节 ρ，并能承担包络距离略高的代价；它的直接证据是希腊语 3.95 分接近基线 4.13 分，英语 3.22 分低于基线 3.87 分但仍高质量，客观上基频周期性误差与基线相当。

不适合的场景是追求开箱即用的最优质量或最低延迟，且不愿做特征级调参的工程直接上线。此时幅度梅尔谱仍是更稳的默认选择。未来若补上细粒度听感、ρ 自适应选择和多架构验证，才能判断该特征是特定条件下的等价替代，还是在某些属性上真正有增益。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 7 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总