不重训也能定位合成语音毛刺：XSQ-AST 把质量分投影到音素与时间上

英文题目：XSQ-AST: An Explainable Audio Spectrogram Transformer Framework for Localising Synthetic Speech Artifacts

标签：#语音质量评估 | #注意力机制 | #语音 | #主观评测 | #可解释性

评分：7.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Ben Heritage：机构信息未在 arXiv HTML 中可靠披露
• Luca Resti：机构信息未在 arXiv HTML 中可靠披露
• Mónica Villanueva Aylagas：机构信息未在 arXiv HTML 中可靠披露
• Timothy Mehlenbacher：机构信息未在 arXiv HTML 中可靠披露
• Konrad Tollmar：机构信息未在 arXiv HTML 中可靠披露
• James Alfred Walker：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

合成语音评估输入为单语言多说话人合成话语，输出应为定位到时间与音素的伪影诊断，而全局平均意见分已饱和且无法解释局部断裂、噪声与音色退化。本文方法链分四步：先用SQ-AST对平均意见分（Mean Opinion Score，MOS）、噪声感、非连续性、音色与响度五个1到5分维度打分并过滤低分样本，再从音频频谱Transformer（Audio Spectrogram Transformer，AST）提取时频显著图。接着用WhisperX转写与音素对齐获得边界与音素后验图，最后经核密度估计（Kernel Density Estimation，KDE）与音素离散化显著图（Phoneme Discretized Saliency Maps，PDSMs）生成话语级与系统级报告。与需修改训练目标加段一致性约束的帧级质量方法不同，该框架完全以后验方式复用冻结模型，无需帧级标注与重训练即可将质量分映射为时序分布。在VoiceMOS 2022手选30样本与40名听者参与的评测设置下，Attention Rollout的整体中位Spearman’s ρ为0.444，高于Raw Attention的整体中位Spearman’s ρ-0.020。结论仅适用于短话语英语合成的明显局部伪影，对弱伪影、长音频分段边界与跨系统泛化尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/luca-resti/synth-speech-eval — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

全局打分够用吗：局部伪影为什么难评？

输入是单语言、多说话人的合成语音文件，目标不是再给一个整句好坏分，而是回答毛刺出现在何时、何频、哪个音素以及属于哪类感知问题。必须保留的信息包括 5 个维度的分数、时频显著性、音素边界和听众可复述的定位曲线，输出是话语级图文报告与系统级汇总表。传统做法依赖主观平均意见分，也就是请一群听众给自然度打分再平均，或者用客观模型去拟合这个平均分。这种做法在比较系统好坏时省事，但对开发者几乎没有动作指引。

论文指出的矛盾是零样本神经编解码语言模型和扩散架构已经接近人类语音，全局自然度分数趋于饱和，而瞬时中断、局部失真和累积误差带来的韵律漂移仍然存在，尤其在游戏语音等长句场景中更明显。也就是说，整句听起来不错，不代表没有一两处让人出戏的瞬间。已有细粒度路线有两种，一种是改训练目标加片段一致性约束来学帧级分数，代价是需要重新训练且缺乏帧级标注；另一种正是本文路线，用现成预训练模型做事后解释，不改权重。

平均意见分 × SQ-AST 维度分： 平均意见分是对整句自然度的总体打分，只回答好不好，不回答坏在哪里；SQ-AST 维度分把总体感拆成 MOS、Noisiness、Discontinuity、Colouration 和 Loudness 5 个可并行输出的分数，各自分工指向噪声感、中断感、音色失真和响度等问题，搭配理由是总体分饱和后仍需要可归因的维度，组合意义是让后续显著性可以按维度分别定位，而不是共用一个全局显著图。

白话说，平均意见分是班主任给的总评，SQ-AST 维度分是各科老师给的分科评语。前者告诉你这句总体烦人程度，后者告诉你是吵、中断、发闷还是忽大忽小。初学者容易把噪声大等同于质量差，实际上中断一瞬间也可能让整句不可用，分科才能对上不同的修复动作。

同任务、同监督、同阶段有哪些已有路线？

同输入同目标的工作是合成语音质量评估。经典输入都是波形或频谱，目标都是预测平均意见分，监督来自 VoiceMOS 等数据集的人评均值，运行阶段都是推理时输出全局分。Kuhlmann 等人的帧级分数工作与本文目标最接近，都是要定位时间上的麻烦点，但监督不同，他们需要修改训练目标并引入片段一致性来弥补没有帧级标注的问题，运行阶段需要训练好的专用模型。本文明确不做这件事，而是把已有的 SQ-AST 当作冻结打分器，把 WhisperX 当作冻结对齐器，只在推理时加解释层。

另一条相关线是语音显著性与音素离散显著性图，输入是时频显著性加音素后验图，目标是按音素排名，监督不需要人工帧标注，运行阶段是事后池化。本文沿用了该思路并扩展了中位数、最大值、l1 范数和 l2 范数等池化。同监督对照上，本文听音实验让被试按维度高亮波形转写，监督是离散高亮区间，与模型显著性形成同口径比较，而不是直接比较全局分高低。

同运行阶段对照上，所有显著性方法都不重训，只在推理时从 SQ-AST 内部抽注意力或梯度，这决定了它的成本是推理开销而非训练开销。

要解决的具体问题与输入输出是什么？

举一个可复述的例子帮助理解，不代表论文实测数值。假设有一句 4 秒多的英文合成语音，SQ-AST 给出 MOS 偏低、不连续维度更低，其余维度尚可。开发者要做的不是重录整句，而是确认是不是最后一个辅音处断裂，并判断是切分问题还是模型生成问题。XSQ-AST 要求输入的就是这样的浮点或脉冲编码调制音频文件与一份配置文件，配置文件指定分数阈值、显著性方法、音素离散设置、核密度估计参数和报告类型。

输出分两层，话语层给出转写、梅尔特征、显著性叠加、时间与频率核密度曲线、音素排名和自动语音识别置信度，系统层给出全部样本的分数表格、低于阈值样本的原始分析值、按严重程度排序的表格、小提琴图与柱状图、频率聚合曲线、维度间相关热图和麻烦音素对直方图。阈值的含义很具体，只有当任 1 维度低于阈值才做完整分析，这样大批量数据可以先筛后看，控制报告数量和分析时间。

不重训的包装器如何走完一句话？

先沿一个样本走完全程。音频进入后先做断言与清洗，多通道按单通道拆分，重采样到目标采样率，过长音频按最小分段数切分且段间保留 1.5 秒重叠，让切分边界在相邻段都被看到，再经预训练梅尔滤波器组提取特征并按 SQ-AST 代码固定的均值方差归一化。接着送入基于音频频谱 Transformer 的 SQ-AST，1 次得到 5 个维度分数。若分数都在阈值之上，只记录分数不展开。

若有维度低于阈值，则按配置抽取该维度的时频显著性，同时把该话语降采样到 16 kHz 并与其他低分话语拼接，中间垫 1 秒静音以提高 WhisperX 推理效率。WhisperX 负责判语言、转写、给置信度并对齐音素，得到音素后验图。最后把显著性与音素后验图按音素池化得到音素离散显著性图，并把显著性沿时间与频率做核密度估计，生成可解释曲线与元数据。

SQ-AST × WhisperX： SQ-AST 分工是给出每句话 5 个维度的质量分并提供 Transformer 内部的注意力与梯度，供显著性方法追问哪块时频补丁拉低了分数；WhisperX 分工是识别语言、转写文本并把音素边界对齐到时间轴，还给出音素后验图，搭配理由是前者有分数无语言单位、后者有语言单位无质量判断，组合意义是把连续的时频显著性离散到音素上，形成可读的音素级诊断。

下图是论文给出的信号流，左侧是输入数据集与配置，中间是单话语处理大框，右侧是 3 类输出，适合对照上面的文字路径阅读。

看图路径： 1. 先从左侧输入数据集和配置文件出发，沿黑色实线找到单话语处理框内的 SQ-AST 主路；2. 再看五个维度分支如何各自输出显著性，并汇入中间的分数阈值条；3. 最后确认低于阈值的话语如何同时走向 WhisperX 与底部的 PDSM 与 KDE 汇总

论文图 1。原论文 Figure 1:：“Signal flow for XSQ-AST, containing SQ-AST [22] and WhisperX [2] models.”。

图中可见顶部黄色 SQ-AST 条带分出 5 个纵向分支，每个分支都带有粉色显著性块，说明每个维度独立保留自己的显著性，而不是共用一张图。中间蓝色横条是分数阈值，起到开关作用，只有低分分支的红色虚线才向下流入底部的音素离散与核密度汇总。左侧黑色实线把原始话语同时送往 SQ-AST 和 WhisperX，虚线表示配置控制。右侧绿色三块分别对应表格数据、系统级图和话语级图，SQ-AST 分数也单独汇入系统输出，说明即使不做定位，分数本身仍是系统级分析的基础。

显著性、音素对齐与平滑分布如何分工？

显著性抽取实现了 4 类方法。原始注意力、注意力回滚和注意力流按已有文献实现，改编的梯度类激活映射把卷积分类任务的做法搬到 Transformer 回归上，具体是对最后一层 Transformer 梯度做平均，并把分数 1 当作类别置信的代理。论文明确写出一个关键假设，即 SQ-AST 以满分为起点，用线性层根据各维度伪影存在程度做减分，因此显著性大的补丁被解读为最拉低该维度分数的位置。得到的显著性会缩放到梅尔特征尺寸并插值，保证与时间轴对得上。

自动语音识别侧把低分话语降采样拼接后送 WhisperX，输出转写、置信度和音素对齐，进而得到音素后验图。话语级报告把后验图与各维度显著性按音素池化，除了沿用的求和与平均，还开放中位数、最大值、l1 范数和 l2 范数，默认取排名前 10% 的麻烦音素高亮。显著性还沿时间与频率做核密度估计，在波形与转写旁画出平滑分布，并用自动语音识别置信度标出难转写的词。

论文还导出时间维核密度平坦度，灵感来自频谱平坦度和直方图平坦度，用于区分是局部尖锐毛刺还是整句弥散性差。

显著性图 × 音素离散： 显著性图分工是标出梅尔时频补丁对低分的影响权重，是连续、高分辨率但难直接读的；音素离散分工是按每个音素区间对显著性做 sum、mean、median、max、l1 范数和 l2 范数等池化并排序，把连续权重变成按音素排名的问题清单，搭配理由是听音者和开发者都按词和音素理解，组合意义是默认取最麻烦的前 10% 音素高亮，支撑话语级报告。

核密度估计 × 听众标注核密度估计： 模型侧核密度估计分工是把时频显著性沿时间和频率聚合为平滑的 1 维分布，用于在波形和转写上方画出麻烦区域的连续曲线；听众侧核密度估计分工是用同样带宽把 40 人离散的高亮区间聚合成一致性分布，搭配理由是只有同一平滑口径才能比较模型与人的时间注意力，组合意义是用 Spearman 秩相关和 AUC 直接度量时间定位是否对齐。

对初学者而言，可以这样记操作顺序。先看分数决定是否值得看，再看时间核密度曲线决定何时出问题，再看频率核密度决定问题在高频嘶嘶声还是低频闷糊，最后看音素排名决定改哪个音。平坦度是快速筛选器，平坦说明处处都不太好，尖峰说明有明确可修点。

本研究训练了什么、冻结了什么？

本研究没有训练阶段，没有更新 SQ-AST 或 WhisperX 的任何权重，也没有为帧级定位学习新参数。真实计算全部是冻结模型的推理加事后统计。SQ-AST 侧是前向推理得到 5 个维度分数，再根据所选方法做注意力传播或梯度平均，梯度只用于解释当前样本的分数敏感度，不做反向更新。WhisperX 侧是语言识别、转写与强制对齐的前向推理，不微调声学或语言部分。核密度估计、音素池化、排序和阈值筛选都是确定性计算，没有可学习参数。

论文未报告优化器、学习率、训练轮数、梯度裁剪或参数重置时机，因为这些概念在本框架中不存在。缺项在于未说明不同显著性方法的推理耗时与内存占用，也未说明梅尔滤波器组与归一化常数之外的预处理超参数选择依据。不能把冻结等同于输出确定，解码采样、拼接填充和分段重叠仍可能影响数值稳定性，复现时应固定配置与版本。

听音验证测什么、条件如何对齐？

验证要回答两个问题，分数是否反映烦人程度，时间定位是否与人一致。为此设计了听音实验，被试在转写波形上按给定维度高亮自己觉得麻烦的区域。所有被试结果按样本聚合归一化，离散数据用于音素离散分析，用与模型相同带宽做核密度估计用于曲线比较，保证比较口径一致。合成语音是从 VoiceMOS 2022 数据集中手工挑选的 30 句，挑选标准是具有局部时间伪影、核密度平坦度低，并在合成方法与各维度分数上有差异，避免只测单一系统或单一毛刺类型。

实验用 PsychoPy 搭建并在线运行，配有耳机筛查。完成实验的是 40 名被试，女性 20 人、男性 19 人、其他 1 人，平均年龄 32.8 岁，标准差 8.1 岁，范围 24 到 55 岁，均自报无确诊听力损伤。模型与听众的时间比较用 Spearman 秩相关，被试级二分类用受试者工作特征曲线下面积，显著性检验用 Wilcoxon 符号秩检验。代码当前可用，已公开在官方仓库，状态以资源声明为准，本文写作时资源状态为可用。

分数与人的一致性有多强？

先看分数本身是否可信。下图把每句的平均感知影响与 SQ-AST 分数画成散点，每点是一句听音条目，左图横轴是 MOS，右图横轴是维度专属分数，纵轴都是从完全不影响到极度影响。

看图路径： 1. 先区分左图 MOS 与右图维度专属分数的横轴含义不同；2. 再看纵轴平均感知影响从下往上加重时，散点总体向左下到右上的趋势；3. 最后核对右下图例中五种颜色形状分别代表哪个维度

论文图 3。原论文 Figure 3:：“Perceived influence versus SQ-AST scores. Each marker corresponds to one of the listening test items.”。

可见左图点云从右下向左上倾斜，MOS 越低，听众报告的烦人程度越高，右图趋势仍存在但更散。图右上角标注的相关系数支持这一目视判断，MOS 相关更强，维度分相关较弱。比较的问题是全局分与分科分谁更能反映烦人程度，条件是同一批 30 句、同一批听众均值，指标是 Spearman 相关，绝对值越大、显著性越小越好。

上表显示 MOS 的负相关达到 -0.638 且高度显著，报告为分数越低烦人程度越高，支持用 MOS 做严重程度排序。维度分相关只有 -0.373 且刚过显著阈值，说明分科分数能提供方向但单独预测烦人程度能力有限，未胜出项正是维度分。限制是这只是 30 句手工挑选的局部毛刺样本，不是随机大样本，不能推广到所有合成系统。

再看一个单句定位实例。下图是来自 AudioMOS 2025 的一句不连续伪影示例，中间是梅尔时频叠加转写，顶部与右侧蓝色曲线分别是时间与频率核密度。

看图路径： 1. 先看横轴时间秒数与纵轴梅尔频率 bins，确认这是单句的时频显著叠加图；2. 再看顶部蓝色时间核密度曲线在 4 秒附近的峰如何对应末尾辅音；3. 最后看右侧蓝色频率核密度曲线在中高频段的隆起与转写词边界的关系

论文图 2。原论文 Figure 2:：“Example saliency output with KDE (in blue) and transcription temporally localising a discontinuity artifact on the last consonant at 4.2s (sample from AudioMOS 2025 [10]).”。

可见横轴 0 到 4.6 秒，转写从 It is a booklet 一直到 prescribed，纵轴是梅尔频率。顶部蓝色曲线在 0.5 秒和 2 秒附近有隆起，在 4.1 秒附近达到全句最高峰，对应转写末尾 prescribed 的最后一个辅音，论文图注明确指出此处是不连续伪影。右侧蓝色曲线在中高频段隆起，说明麻烦能量集中在较高梅尔带。中间时频图在 4 秒附近出现纵向亮带与深色切分，支持此处存在瞬态不连续的判断。该图是单样本展示，不能当作方法在所有样本都如此精准的证据。

哪种显著性方法在时间上更像人？

时间定位比较把每种显著性方法的时间核密度与听众聚合核密度算秩相关，取样本级中位值。方法包括原始注意力、注意力回滚、注意力流、正向梯度映射与负向梯度映射。比较的问题是 5 种事后解释中谁的时间注意力更像人，公平条件是同一批话语、同一听众聚合曲线、同一带宽与同一 Spearman 口径，指标方向是中位相关越大越好，峰值命中率与正相关比例越高越好。

上表显示主要收益是注意力回滚总体中位 0.444 最高，其次是正向梯度映射 0.403 与注意力流 0.378，Wilcoxon 检验显示三者都显著高于原始注意力和负向梯度映射。代价与反例是分维度看最优不同，正向梯度映射在 MOS 的 0.649 和响度的 0.625 最高，注意力流在音色 0.732 和噪声 0.389 最高，注意力回滚在不连续 0.358 最高，说明没有通吃方法。

未胜出项是原始注意力和负向梯度映射，总体接近零相关，在被试级也接近随机。峰值命中率上注意力流 73.3% 最高，但正向梯度映射只有 60%，说明曲线整体相关高不等于峰值每次都踩中。

注意力回滚 × 梯度类激活映射： 注意力回滚分工是把多层注意力按层间传播规则累积，得到考虑全模型信息流的时间重要性；梯度类激活映射分工是把回归分数对最后一层 Transformer 的梯度平均，用分数 1 作类别置信的代理来加权激活，搭配理由是前者看信息通路、后者看分数对局部特征的敏感度，组合意义是论文发现二者分别在不连续、MOS 和响度等维度占优，说明没有单一方法通吃所有伪影。

初学者应记住按伪影选方法，而不是默认用原始注意力。若只看最后一层注意力，很容易被局部高亮误导，而回滚与流考虑了跨层传播，梯度映射考虑了分数敏感度，三者互补。

换池化与换聚合口径会改变结论吗？

论文做了两类特有细节。第一是音素离散的池化消融，除了求和与平均，还试了中位数、最大值、l1 范数和 l2 范数，并用 50% 阈值只比较最麻烦音素以避开低共识区。报告显示在 MOS、不连续和音色维度，最优组合周围 0.05 范围内没有其他组合能接近，说明这些维度的池化选择更敏感，而在其他维度有多个组合能进入该范围。另一处报告是所有显著性方法用 l1 范数和求和池化时总体中位相关都超过 0.5，说明求和类池化对总体排名更稳。

第二是聚合口径消融，聚合曲线会抹平分歧，因此加了被试级分析。每个被试的二值高亮向量直接对模型核密度算受试者工作特征曲线下面积，共 1200 个被试样本对，其中 1061 对同时包含高亮与非高亮区间才可算。比较的问题是被试级判别是否仍高于随机，公平条件是同一二值标注、同一模型曲线，指标是中位 AUC，0.5 为随机，越大越好。

上表显示主要收益是三者总体中位 AUC 分别为 0.666、0.626 和 0.662，支持在个体层面仍能区分高亮与非高亮时间区间。代价是原始注意力和负向梯度映射接近随机，未在表中胜出。限制是 AUC 只测排序能力，不测阈值、延迟与误报代价，且 139 对因全高亮或全未高亮被剔除，可能低估极端样本的行为。

哪些边界尚未验证、不能承诺？

直接报告的是 30 句手工挑选、40 人规模的验证，挑选偏向低平坦度的局部毛刺，支持方法在该分布上与人对齐，但可能待验证的是随机大样本、其他语言、多说话人与长时韵律漂移上的表现。相关性不是因果，显著性高只说明该补丁与低分关联，不能证明改掉该补丁分数必然回升，论文也未做干预实验。未测量的是推理开销、输出帧率与实际延迟，以及不同分段长度与重叠对定位稳定性的影响，因此不能承诺该框架降低了标注成本或可实时部署。

训练资源与部署成本要分开看，训练成本为零是因为复用冻结模型，但部署时仍需同时运行 SQ-AST 与 WhisperX 并计算多种显著性，大批量数据的阈值筛选与拼接推理策略仍需实测。总体趋势不等于每组都成立，例如维度分总体弱相关不代表噪声维度在特定系统上无用，峰值命中率总体超 60% 不代表每句都命中。

复现先做什么、需要哪些条件？

复现先固定信息条件。准备单语言合成语音与配置文件，配置文件写明 5 个维度的分数阈值、显著性方法、音素离散池化、核密度带宽与报告类型。按论文步骤做通道拆分、重采样、分段重叠、梅尔特征与固定归一化，再跑冻结 SQ-AST 得到分数，只有低于阈值的话语才进入 WhisperX 降采样拼接与对齐。显著性按所选方法抽取并插值到特征尺寸，核密度带宽必须与听众比较时保持一致，否则相关系数不可比。

评估时先复现分数与感知影响的负相关，再复现时间核密度的 Spearman 与被试级 AUC，注意区分百分点与相对百分比，Spearman 差值不能写成百分比提升。关键超参数在原文中已给的是 1.5 秒分段重叠、1 秒拼接静音、16 kHz 对齐采样率、前 10% 麻烦音素默认高亮与 50% 音素排名阈值，其余带宽与阈值按配置文件记录。代码当前可用意味着可下载仓库，但权重下载、环境版本与系统可运行仍需按仓库说明核对，本次仅确认链接可达，不承诺开箱即用。

何时值得尝试、还需补哪项验证？

当全局分已经饱和但仍能听到个别毛刺，且团队需要把问题指到具体音素和时间时值得尝试。建议按伪影选方法，不连续优先试注意力回滚，音色与噪声优先试注意力流，MOS 与响度优先试正向梯度映射，原始注意力与负向梯度映射可作为失败对照。先用分数排序找到最差句，再看时间峰是否尖锐，若平坦则可能是系统性问题而非局部可修点。

还需补的验证是更大随机数据集上的分布外表现、干预修复后分数与听感是否同步改善，以及双人标注一致性与重测信度。常见误解是把音素排名第 1 等同于必须重录该音，实际上显著性只是关联证据，还要结合转写置信度与波形试听判断是合成错误还是对齐误差。另一个误解是把总体中位相关 0.444 当作每句都有 0.444，实际上有约三分之一样本相关低于 0.3，峰值也并非每次命中，使用时应保留人工抽查环节。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-23 语音/音乐/音频论文速递