固定声码器之后，检测证据还剩多少在声学模型里

英文题目：Tracing and Relearning Detection Evidence in Text-to-Speech Systems

标签：#音频深度伪造检测 | #生成对抗网络 | #文本到语音 | #领域适应 | #语音

评分：7.1/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.4/0.5 | 工程/实践 0.8/1.5

👥 作者与机构

• Eunji Shin：机构信息未在 arXiv HTML 中可靠披露
• Kyudan Jung：机构信息未在 arXiv HTML 中可靠披露
• Jihwan Kim：机构信息未在 arXiv HTML 中可靠披露
• Minwoo Lee：机构信息未在 arXiv HTML 中可靠披露
• Jaegul Choo：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

音频深度伪造检测（audio deepfake detection）要区分真实录音与文本到语音（text-to-speech，TTS）合成，但基准等错误率（equal error rate，EER）混杂了声学模型、声码器、语料和信道因素，无法定位证据来源。本文固定 BigVGAN 声码器，先对比重采样源、真实梅尔频谱（mel spectrogram）重建与 F5-TTS 生成的分离度以追踪证据阶段，再用对抗微调只更新声学模型并用固定检测器度量 EER 变化，最后将检测器在微调输出上适配以检验是证据消失还是证据不可见。关键机制差异在于判别器以真实梅尔重建为真、以生成梅尔经同一声码器输出为假，从而剥离声码器身份并让梯度经可微声码器回传声学模型。在 LibriSpeech 上微调使 XLS-R SLS 的 EER 从 15.46% 升至 19.42%，而在 VCTK 上适配后该微调输出 EER 可降至 0.10% 量级且向未见基线输出迁移。结论仅适用于所测 F5-TTS 加 BigVGAN 流水线与三款固定检测器，未验证其他声码器、其他 TTS 架构与野外信道迁移。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么低错误率不能直接说清检测器用了什么？

输入是这篇论文的全文证据与两张官方原图，目标是让刚进入语音与音频方向的研究生能复述方法与条件，输出是 1 篇按学习依赖展开的技术解读，必须保留的配对条件、冻结关系、指标方向与关键数字都放在后文表格与段落中。

初学者容易把音频真伪检测理解为把一段波形丢给模型得到真或假。论文要解决的起点恰好相反：在常用基准上报告很低的等错误率，只说明在该协议下真实语音与合成语音被分开了，没有说明检测器用的是哪一段管线留下的痕迹。基准同时在变的东西很多，声学模型与波形生成在不同欺骗系统之间变化，源语料与通道条件在基准与试次之间变化。

更麻烦的是已有两类干扰。第一类与合成无关，例如静音时长这类线索也可能被检测器利用。第二类是声码器重建本身就能与源语句分开，也就是把从真实语音提取的梅尔再经声码器转回波形，检测器也可能给出低于随机的等错误率。而完整的语音合成输出中，声码器吃到的是声学模型生成的梅尔，不是真实梅尔。因此一个端到端的基准数字无法把分离归因到声学生成还是声码重建。论文把源语料与通道条件固定，追问低等错误率到底反映哪一段，这是全文所有对照的设计动机。

同输入同目标的已有路线提供了哪些对照？

与本文同输入同目标的工作是音频伪造检测。输入都是波形，目标都是区分真实语音与合成语音，常用监督来自逻辑访问类数据的真假标签，运行阶段都是在固定评测集上打分求等错误率。本文使用的 3 类固定检测器都属于这一路线，但前端与后端不同。第一类是基于大规模自监督语音表示的检测器，第二类共享同类前端但换了序列建模后端，第 3 类直接从波形经正弦卷积前端建模。把三者并列的意义不是比谁更强，而是检验声学模型更新带来的变化是否只依赖某一种前端。

同运行阶段的另一条路线是声码重建对照。已有工作把真梅尔经声码器重建后当作声码伪造来评测，本文沿用这一构造但只用于评价而不用于训练，目的是量化重建本身引入的分离。本文的不同点在于把重建与生成放在同一声码器下比较，并进一步做声学模型微调与检测器适应。教学上可以把例子记为：同样一段话，路径一是真梅尔加固定声码器，路径二是生成梅尔加同一声码器，两条路径的波形差异只能来自梅尔来源不同。

要回答的问题是什么，不能回答什么？

论文把问题拆成 3 个可操作的判断。第一，在固定声码器后，真梅尔重建引入的分离与换成生成梅尔后新增的分离，哪一个更大。第二，只更新声学模型且目标中不放任何评价检测器，能否在保持质量与内容指标可比的同时抬高固定检测器的等错误率。第三，抬高之后是证据真的消失了，还是检测器没见过新证据，这需要用只见过微调输出的适应实验来区分。

不能回答的部分原文也明确限定。生成梅尔与源梅尔的比较同时覆盖了生成伪影与韵律声学实现差异，实验不能把二者拆开。增益对照能剥离整体响度的影响，但不能说明残余来自局部幅度、频谱还是时间结构。研究只覆盖一种声学模型加一种声码器的管线，只适应一种检测器结构，报告的标准差反映生成与适应种子而不是说话人变化。这些边界决定了结论的适用条件。

配对重合成如何把两段管线拆开？

方法全景是一条配对重合成链。取同一个源语句与目标文本，所有生成评测条件都用同一说话人另一段 held-out 语句做提示，而不是用正在重合成的那一段。5 个条件共享同一源头。重采样条件只把源重采样到 24 kHz，不做合成。真梅尔重建条件从源语句提取确定性真梅尔，再经固定声码器重建。

基础合成条件用基础声学模型生成梅尔，再经同一声码器。微调合成条件把声学模型换成微调版本，其余声码器、文本处理、提示与采样步数都固定。增益匹配条件是对基础合成做标量增益，使其均方根幅度与配对的微调输出一致。

比较逻辑是成对做差。重采样与重建之差归因于声码重建。重建与基础合成之差保持声码器相同，把源梅尔换成生成梅尔。基础合成与增益匹配之差隔离响度能解释的份额。基础合成与微调合成之差是声学模型更新的总效果。下图把固定语料与通道、拆分声学模型与声码器的思想做了总览。

下段导读对应官方第一张总览图，请先按从左到右的主链路阅读，再看下方固定的部分与待归因的两段模块。

看图路径： 1. 先看上排从语音合成模型经波形到检测器再到等错误率的主链路；2. 再看下排被虚线框固定的源语料与通道条件；3. 最后对比声学模型与声码器两个并列方框，确认问题是问哪一段解释了低等错误率

论文图 1。原论文 Figure 1:：“Isolating which TTS stage supplies the detection evidence, with the source corpus and channel condition fixed.”。

上排像素显示左侧语音合成模型方框经波形箭头指向音频伪造检测器，再指向等错误率。下排灰底框把源语料与通道条件放在虚线固定框内，右侧并列声学模型与声码器两个模块，声学模型框内可见喇叭、书本与梅尔色块，声码器框内可见梅尔色块到波形的箭头，底部蓝色问题指向哪一段解释了低等错误率。可见内容支持上文的阅读顺序：先确认评价链路，再确认被固定的混杂因素，最后把剩余差异定位到两个待比较阶段。

重合成控制 × 检测证据： 重合成控制指对同一源语句构造重采样、真梅尔声码重建、基础合成、增益匹配与微调合成 5 种配对条件，检测证据指检测器能用来分离真实与合成的可用差异，二者搭配是因为只有配对并固定语料与通道，才能比较重建引入的分离与声学生成新增的分离，组合后可以说清低等错误率反映的是哪一段管线。

声学模型、声码器与判别器各自做什么？

沿一个样本走完流程有助于建立因果链。输入是一段源波形与目标文本。源波形一路做重采样得到评价用的真实试次，另一路提取真梅尔。文本与提示音进入声学模型生成梅尔。真梅尔与生成梅尔分别送入同一个固定声码器得到波形。

波形再按 16 kHz 或 24 kHz 送入检测器或判别器打分。输出是各条件下的检测分数与等错误率，以及语音质量与内容指标。

声学模型 × 声码器： 声学模型负责把文本与提示音转为梅尔频谱图，决定韵律与声学实现的内容载体，声码器负责把任意来源的梅尔转为波形，二者搭配的理由是固定同一声码器后，真梅尔重建与生成梅尔的波形差异只剩梅尔来源不同，组合意义是把检测器分离的变化归因到声学生成阶段而不是声码器身份。

实验框架的像素细节进一步固定了分工。下图左侧显示源波形到重采样的箭头，以及真梅尔色块到固定声码器的连线。中间大框标出语音合成系统，声码器在中间保持不动，声学模型分为上方带火焰标记的可训练分支与下方带雪花标记的冻结分支，分别对应微调与基础版本。右侧判别器包含多周期与多分辨率 2 组子判别器，标注为真与假的两路输入来自同一声码器的不同梅尔来源。底部图例区分原始与不同采样率。右侧子图显示检测器适应只用真实与微调输出配对，基础输出不参与适应。

看图路径： 1. 沿左侧源波形到重采样与真梅尔的两条输入线，确认配对起点；2. 比较中间共用声码器的三路输出与右侧判别器两类输入的真假标注；3. 查看底部颜色图例区分原始与不同采样率，再看右侧检测器适应的配对输入

论文图 2。原论文 Figure 2:：“Overview of the experimental framework, with conditions defined in Sec.”。

该图可见的火焰与雪花标记直接对应后文训练节的冻结安排：微调时只更新声学模型，声码器保持可微但不更新，判别器从随机初始化开始联合训练。评价检测器在该子图中处于冻结状态，只在微调完成后对 3 路输出打分。这种画法把梯度路径与监督来源说清了，判别器波形损失经固定声码器反传到声学模型，而评价检测器不在目标中。

声学模型微调更新了什么，冻结了什么？

训练节承担精确复述更新范围的任务。被更新的是全部 337100000 个声学模型参数，该模型是流匹配扩散变换器结构。被冻结的是声码器与其余语音合成部件。声码器保持可微分，因此判别器在波形上计算的损失可以穿过它到达声学模型。联合训练的判别器从随机初始化开始，组合 5 个多周期判别器与 3 个多分辨率判别器，周期取二、三、五、七、十一，傅里叶尺寸取两千零四十八、一千零二十四、五百一十二。

监督来源经过刻意设计。判别器的真实目标是真梅尔经声码器重建的波形，虚假输入是生成梅尔经同一声码器的输出。共用声码器去掉了声码器身份作为两类输入差异的可能，唯一差异是梅尔来自哪里。损失采用最小二乘对抗与特征匹配形式，权重分别为一和二，不使用梅尔重建损失，特征匹配使用绝对激活差异。评价检测器始终在该目标之外。

对抗损失 × 特征匹配损失： 对抗损失要求判别器把真梅尔重建判为真、生成梅尔输出判为假并推动声学模型骗过判别器，特征匹配损失要求生成与真实在判别器中间层激活的绝对差异变小，二者按 1 比 2 加权搭配使用，理由是只靠对抗容易不稳定而特征匹配约束中间表示，组合意义是在不使用梅尔重建损失和评价检测器的条件下更新声学模型。

优化与选择细节按原文交代。声学模型与判别器学习率分别为十的负 6 次方与十的负 5 次方，预热 200 步，批量为八，分布在四块四十吉显存的图形处理器上，采样使用 32 步展开欧拉步。报告的检查点在第一千八百步，是每 200 步保存的 10 个检查点中最后一个在测试集上三项质量内容指标不差于基础模型的检查点，选择标准不含检测器等错误率。原文未报告判别器重置时机之外的更多调度细节，这部分记为缺项而不推测。

数据划分、检测器适应与指标如何保证可比？

数据与划分需要逐项核对。声学模型微调用训练集的干净 100 小时子集。检测器适应与评价使用两个语料。第一路适应从该训练子集取 20 个说话人的 2580 条语句，真实语音经重采样并做恒定电平校正，使响度不能充当标签线索。评价用另外 40 个说话人的 800 条测试干净语句。

第二路适应使用欺骗评测训练划分中 20 个说话人的 2578 条真实语句，评价用既不在该训练划分也不在开发集中的 68 个说话人的 1354 段，每段由两条语句拼接以覆盖检测器窗口，合成条件对两半分别生成再拼接，使拼接本身不能充当类别线索。该路真实与微调输出电平差 0.09 分贝，因此不需要电平校正。另有 800 条议会演讲英文语句只用于评价。

检测器适应从已发布检查点出发继续训练，把微调输出标为合成。在适应集内每个微调样本与提供其提示与文本的真实语句配对，使内容与说话人不能代替标签。2 次适应都不含基础合成样本，因此向基础输出的迁移是测出来的而不是训出来的。评价覆盖预留条件与遗留基准。2 次适应各训练 2000 步，批量十四，单卡四十吉显存，3 个训练种子，每个适应后检测器都在两个语料上评价。

固定检测器有 3 个，都在逻辑访问数据上训练。其中两个共享 300000000 参数自监督前端而后端不同，第 3 个经正弦卷积前端直接读波形。指标中，等错误率以百分比报告，在固定分数方向下越接近 50% 表示分离越差。质量与内容指标包括语音质量预测、与提示音的说话人相似度余弦值与大模型转写词错误率，词错误率在参考词上微平均。生成条件使用 3 个随机种子汇总均值与标准差，重采样与重建是确定性的。

固定声码器后分离主要出现在哪一段？

结果按问题组织，先看分离出现在声码重建还是声学生成。比较问题是：在同一声码器下，真梅尔重建相对重采样的下降大，还是换成生成梅尔后的下降大。公平条件是真实试次均为重采样源，声码器固定为声码重建分离最小的配置。指标方向是等错误率越低表示分离越强。

上表覆盖两个语料与 3 个固定检测器。重采样条件接近随机猜测，说明重采样本身带来很少分离。重建条件对两个共享自监督前端的检测器降低了等错误率，而从重建到基础合成的进一步下降约为重采样到重建步长的 3 倍与 8 到 9 倍。不同前端的第 3 个检测器上，重采样与重建都在随机水平，全部下降出现在基础合成处。因此对比在不同前端与后端下成立，但分离大小依赖检测器与语料。

在该声码器下分离主要出现在声学模型生成梅尔之后。限制是重建与生成的比较没有区分生成伪影与生成语句的韵律声学实现。

固定检测器 × 检测器适应： 固定检测器指在声学模型更新前后都不再训练、只用来打分的 3 种已发布检测器，检测器适应指从已发布检查点出发继续把微调输出标为合成来训练，搭配理由是固定检测器上的等错误率上升有两种解读，适应后若能重新检出则说明证据仍在只是原来没见过，组合意义是区分证据消失与证据未见。

声码器选择本身影响结论份额。下表比较同一检查点支持的两种声码器配置在真梅尔重建上的分离，指标仍是等错误率，越低分离越强。

表中声码重建分离是声码器依赖的，另一配置的重建分离远强于所选配置。这支持原文的限定：把较大份额归因于声学生成是在所选声码器下成立，换声码器会改变留给该阶段的份额。未胜出的一项是重建分离更大的配置，它不适合用来突出声学阶段，因此方法节选择分离最小的配置作为真实目标。

适应后微调输出还能被检出吗？

第二个结果问题是抬高之后证据是否还在。比较问题是：只用微调输出做适应的检测器，能否同时检出微调输出与未见过的基础输出。公平条件是适应集内内容与说话人配对，适应不含基础样本。指标方向是对合成条件等错误率越低越好，对重采样与重建则用来检验是否学到了不该学的东西。

上表整理自原文连续报告的适应数字，基线是生成种子汇总，未适应遗留基准另见原文。适应后微调等错误率在两个评价语料上都大幅下降，基础输出也降到可比水平，尽管适应标签只有微调输出。因此固定检测器上的上升不意味着没有东西可抓。反例是重采样仍接近随机，而用某一语料适应后重建等错误率在两个语料上都有所下降，说明适应部分学会了区分声码器输出与真梅尔。

遗留基准上，用更贴近检测器训练真实域的语料适应更接近发布检查点，而另一路适应在 3 个遗留基准上都更高，达到更低新输出错误率的一路保留更少遗留性能。由于换语料同时换了真实语句与配对合成输出，实验不能区分真实域与合成输出各自的作用。

响度能解释多少，微调代价是什么？

消融问题是微调相对基础的上升中有多少只是响度变化。比较对象是基础合成、增益匹配与微调合成，增益匹配把基础输出缩放到与配对微调输出相同均方根幅度，而微调目标不约束该电平。指标方向仍是等错误率越高表示固定检测器分离越差。

上表把检测分离与质量内容指标并列。质量方向是语音质量预测与说话人相似度越高越好，词错误率越低越好。微调在所有 6 个检测器与语料组合上都抬高了等错误率，且超过生成种子间波动，幅度从最小的 0.64 个百分点到最大的近 19 个百分点，后者在某个语料上使某个波形前端检测器接近随机。增益匹配在某语料上能解释约五成与三成缺口，在另一语料上几乎不变，而某个检测器对电平更敏感，在某语料上解释约 60%。6 组比较在增益之上都留有残余，但残余是局部幅度、频谱还是时间属性，实验没有进一步拆分。

等错误率 × 均方根增益匹配： 等错误率是误接受与误拒绝相等时的错误率，越接近 50% 表示固定分数方向下分离越差，均方根增益匹配是把基础合成按标量增益缩放到与微调输出相同响度，二者搭配是因为微调目标不约束整体响度，必须先剥离响度能解释的上升份额，组合意义是得到高于增益对照的残余上升才能归为声学模型改变的证据。

代价方面，3 个语料上的质量与内容变化都很小且方向不一，有的语料变好有的变差，任一指标的最大退化都在生成种子波动之内或附近。评价还包含微调未参与 checkpoint 选择的两个语料，因此上升不是以可测质量崩坏换来的。但这些指标测不到的声学属性是否变化，原文记为开放问题。

哪些结论不能推广，缺了哪些验证？

适用边界首先是管线单一。研究只覆盖一种声学模型加一种声码器，只适应一种检测器结构。声码器对照已显示重建份额随声码器变化，因此声学阶段份额的表述不能直接搬到其他声码器。检测器前端不同时分离大小不同，因此微调影响所有三者的方向性结论仍需在更多结构上验证。

测量边界其次是归因粒度。生成与源梅尔的差异同时包含生成伪影与韵律声学实现，方法不能拆分。增益对照只剥离整体响度，残余的声学解释未被定位。质量指标只覆盖预测质量、说话人相似度与词错误率，未测量误判率之外的延迟、成本或人评，总体趋势也不等于每组每步都成立。统计口径上标准差反映种子而不反映说话人变化。

资源状态是复现前必须核对的唯一依据。本次收到的证据清单中没有发现来源绑定且完成安全状态验证的资源，因此不得声称代码、模型或数据已公开或当前可用。若后续需要复现，应先按论文给出的划分、种子、电平处理与冻结关系重建流程，再补做缺失的人评与跨声码器验证。

要复现应先固定什么，再跑什么？

复现先做信息条件清单。数据侧固定朗读语料的训练、适应与评价说话人不重叠，另一语料的评价段避开训练与开发划分，拼接方式与电平处理与原文一致。模型侧固定声码器为重建分离最小的配置，声学模型用基础与微调两个版本，文本处理、提示选择与采样步数在基础与微调之间保持一致。评价侧固定 3 个检测器的发布权重与分数方向，真实试次统一用重采样源。

再跑 3 组计算。第一组跑 5 个配对条件得到重采样、重建、基础、增益匹配与微调的等错误率，核对重建到基础的下降是否大于重采样到重建。第二组按给定学习率、预热、批量与步数微调声学模型，选择检查点时只看质量与内容指标不看检测分数，再核对微调相对基础的上升是否超过种子波动与增益对照。第 3 组从发布检测器出发，用配对的真实与微调输出适应，不放入基础样本，再核对微调与基础是否同时下降，以及重采样是否仍接近随机。

关键超参数保留原文数值：声学模型与判别器学习率、判别器周期与傅里叶尺寸、损失权重一与二、采样步数与检查点步数。常见误解是把适应后下降当成证据消失的反证，正确读法是固定检测器失效不等于不可检测，适应实验正是为此而设。

何时值得尝试这种先隔离再适应的做法？

当检测基准同时混合声学模型、声码器、语料与通道变化，而你需要知道低错误率来自哪一段时，值得尝试先固定声码器的配对重合成。它的成本是为同一批语句多生成多路波形并严格配对提示与文本，但收益是得到可复述的归因：重建引入多少，生成新增多少，响度解释多少，残余还有多少。

当生成端更新后固定检测器性能下降，而质量指标没有明显退化时，不要直接宣布合成已不可检测。更稳妥的下一步是做只见新输出的适应，并检验向未见旧输出的迁移，同时报告遗留基准的代价。本文的证据支持在该管线中这样做：微调输出抬高了固定检测器的错误率，但适应后两类输出都被重新检出，代价是遗留性能随适应语料不同而回落。

还需补的验证包括跨声码器重复、更多检测器结构、以及质量指标测不到的声学属性分析。只有在这些条件下，才能判断声学模型更新削弱证据与检测器适应追回证据的循环是否在更广范围内成立。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-28 语音/音乐/音频论文速递