把重建当难题：用扩散重建逼出更能泛化的音频深伪检测

英文题目：Diffusion Reconstruction towards Generalizable Audio Deepfake Detection

会议身份：conference:interspeech:2026:conference-paper-id:cheng26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对比学习 #扩散模型 #鲁棒性 #语音 #音频深度伪造检测

评分：6.4/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Bo Cheng：机构信息未能从会议 PDF 纯文本可靠映射
• Songjun Cao：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaoming Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Jie Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Long Ma：机构信息未能从会议 PDF 纯文本可靠映射
• Fei Chen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频深度伪造检测需以原始波形为输入并输出真伪二分类判决，实际难点在于新型语音合成与神经音频编解码持续涌现导致跨域泛化显著下降。本文先用HiFi-GAN、DAC、Encodec与基于潜在扩散的SemantiCodec对ASVspoof 2019 LA训练与开发集的真实与伪造音频做重构，构造听感基本不变但携带生成伪影的难样本以逼近未知攻击。接着冻结XLS-R 300M并提取其多层Transformer特征，经自适应卷积注意力加权聚合为统一表示后送入AASIST分类器进行判别。然后以交叉熵分类损失联合标准对比与增强对比构成的双重对比损失及方差正则损失优化AASIST末隐层嵌入，其中真实样本标为0类而其余三类统一标为非真实类。与仅用单一编解码重构或仅用分类损失的方法相比，该机制差异在于以扩散重构强化难样本覆盖并以对比加正则显式拉开真实与重构真实距离，其实际意义在于提升对扩散合成与编解码攻击的鲁棒泛化。在ASVspoof 2019 LA评估集、ITW、DiffSSD、WaveFake和CodecFake五个测试集上，最优模型RACL Diffusion平均等错误率从基线15.789%降至8.247%，扩散单重构为12.220%，相对基线下降22.604%。结论适用于以重构伪影近似未知攻击的场景，原文未披露训练推理成本与显著性检验。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文解读的输入是题为扩散重建面向可泛化音频深伪检测的研究，目标读者是刚进入语音与音频方向的研究生。需要保留的关键信息包括任务定义、重建构造方法、检测模型结构、损失设计、训练与评估条件、主结果数字及其适用边界。输出是 1 篇可核对、可复述方法的中文技术解读，不做超出原文的营销判断。

音频深伪检测的输入是一段语音波形，输出是该语音为真实录制还是合成伪造的二分类判断。白话说，真样本指直接录制的人声，英文为 bona fide；假样本指经语音合成或声音转换生成的语音，英文为 spoof。评价常用等错误率，英文为 Equal Error Rate，缩写为 EER，指误接受率与误拒绝率相等时的错误率，数值越低越好。

泛化难的核心在于攻击不断变化。训练时见过的声码器与测试时遇到的神经编解码器、扩散合成器可能完全不同，模型若只记住训练攻击的痕迹，遇到新攻击就会失效。因此本文把问题定义为提升对未见攻击的跨域泛化，而不是在已知攻击上再提高零点几个点。

为便于复述，先固定简称。后文用真样本表示 bona fide，用假样本表示 spoof，用重建真表示由真音频重建得到的样本，用重建假表示由假音频重建得到的样本，用聚合表示多层特征加权求和，用对比学习表示基于样本对距离的优化目标。

已有检测路线做了什么，为什么还留下了泛化缺口？

原文回顾了 3 类相关路线。第一类强调谱表示，认为真假差异藏在频谱图的细微差别中，通过频谱建模做鲁棒分类。第二类关注全局与局部伪迹，用谱时交叉聚合与动态卷积融合时间与频率表示。第 3 类直接针对未见攻击做泛化，通过隐空间精炼与增强，用可学习原型与隐层操作扩充特征多样性。

这些方法在已知攻击上有效，但原文指出它们对域外音频仍吃力。原因是训练分布覆盖的生成器有限，而测试分布包含新的编解码与扩散生成器，痕迹统计特性发生变化。教学上可以这样理解，例子：若训练只见过某种声码器的金属感，测试换成扩散模型的平滑感，依赖前者的分类器就会误判，但这只是帮助理解的例子，不代表原文给出该数值或现象。

本文的对照思路不是简单换更大的前端，而是改变训练数据的难度分布与优化目标。一方面用重建生成与原内容相同但带生成痕迹的难样本，另一方面用对比与正则约束重塑特征空间。这与图像域扩散重建检测的思路相呼应，即能分开难样本的模型自然能处理简单样本。

为什么把重建音频当作难样本来训练？

重建指把一段音频送入生成模型再合成一遍。白话说，内容还是那句话、那个人，但波形经过了 1 次生成器的编解码或声码器重合成。原文的观察是重建音频听起来与源录音相同，但含有生成模型固有的细微伪迹。这正是难样本的理想来源，因为内容线索无法用来区分真假，模型必须依赖生成痕迹。

重建样本 × 难样本： 重建样本指把原始真或假音频再经过声码器或编解码器合成一遍得到的音频，听感与原音频基本相同但带有生成模型的细微痕迹；难样本指模型最容易判错的边界样本。二者搭配的理由是重建保留内容而引入生成痕迹，正好模拟未知伪造的细微差异，组合意义是让分类器在训练时就见过更难的真假边界，从而把判别标准从记忆特定攻击转向识别生成痕迹。

从学习依赖看，这个假设先于后续所有设计。只有承认重建痕迹与未知伪造痕迹有相似性，用重建扩充训练才合理。原文通过比较多种重建范式来验证该假设，而不是默认某一种重建最有效。具体做法是对训练与开发集中的真与假都做重建，训练时同时学习原始真、原始假、重建真、重建假 4 类样本。

框架让一个样本走完从波形到判决的哪条路？

先沿一个样本走完全程。输入是一段原始波形，先进入数据生成分支得到是否重建的版本，然后统一进入检测分支。检测分支先用冻结的 XLS-R 300M 提取多层特征，再经自适应层聚合得到聚合特征，送入可训练的 AASIST 得到嵌入与分类输出。优化同时使用分类损失与正则化辅助对比学习目标，英文为 Regularization-Assisted Contrastive Learning，缩写为 RACL。

多层特征聚合 × 正则化辅助对比学习： 多层特征聚合是对 XLS-R 全部变换器层做加权求和，综合浅层声学细节与深层语义信息；正则化辅助对比学习是在分类损失之外再加双重对比与方差正则的优化目标。搭配原因是只用最后一层会丢失对重建痕迹敏感的浅层线索，只用分类损失会过度拟合训练攻击，组合意义是从表示与目标两端同时增强对未知攻击的鲁棒性。

下图是全文的方法总览，阅读时先看主路径再看损失分支，有助于把数据构造与优化约束对应起来。

看图路径： 1. 从左侧数据生成框沿箭头数清四类样本如何汇入同一训练流；2. 观察中间 XLS-R 框内多层权重 W1 到 WN 在哪里汇合再进入 AASIST；3. 对比顶部两个对比损失框的图例，确认增强对比只关注哪两类点；4. 追踪 AASIST 末隐层分出的三条线分别指向哪三个损失

论文图 1。原论文 Figure 1：“The workflow of the proposed framework.”。

从像素可见，左下数据生成框内有两个输入波形，红色标为假，绿色标为真，经中间重建模块后向右引出 4 路，分别为假、重建假、重建真、真，其中重建样本用红色波形表示，提示其带有生成痕迹。中间 XLS-R 框内纵向排列变换器层，每层引出权重后汇入加号节点再进入右側 AASIST 框。AASIST 框内标出末隐层、输出层与 Softmax，末隐层向上分出两条线指向顶部两个对比损失，另有一条线指向正则损失，最右输出指向分类损失的真与假两个圆圈。顶部左侧对比损失图例包含 4 类点，右侧增强对比只包含真与重建真两类点，这与正文只对真与重建真施加增强对比的描述一致。

前端、聚合与后端各自负责什么计算？

前端是冻结的 XLS-R 300M。它先经卷积编码再经多层变换器，输出每一层的时频特征。原文冻结该前端，只训练后端，这意味着通用语音表示不变，泛化压力主要由聚合与后端承担。原文未报告解冻前端的对照，因此不能推断解冻一定更好，缺项在此明确指出。

聚合是自适应层聚合。白话说，不只用最后一层，而是给每一层学一个权重再加权求和。计算上先对每层特征做全局平均池化得到标量描述子，再经 1 维卷积与激活得到权重，最后加权求和送入 AASIST。这样浅层的声学细节与深层的语义信息都能保留，对重建引入的细微痕迹更敏感。

XLS-R × AASIST： XLS-R 是负责提取语音表示的冻结自监督前端，输出多层变换器特征；AASIST 是负责做真假判别的后端分类器，处理谱时空图结构。搭配原因是前端提供跨语言、大规模预训练的通用声学表示，后端擅长捕捉局部与全局伪造痕迹，组合意义是冻结前端保留通用性，只训练后端与聚合权重来学习更具泛化性的边界。

后端是 AASIST。它接收聚合特征，建模谱时图关系并输出嵌入与分类概率。分类损失把原始真标为 0，把重建真、原始假、重建假都标为 1。也就是说，重建真在听感上像真，但在监督上被当作非真类，这正是逼模型区分难样本的关键监督设计。

损失侧有三部分。标准对比损失对所有样本按是否同类拉近或推远，增强对比损失只聚焦真与重建真，正则损失对真类与非真类分别约束每维方差趋向紧凑。总目标是分类、双重对比与正则的加权组合，原文给出的系数为 0.6、0.1 和 0.3，分别对应标准对比、增强对比与正则的权重。

对比与正则如何分工而不互相抵消？

标准对比采用基于间隔的对比形式，用欧氏距离衡量样本对远近，同类拉近、异类推开到间隔之外。它对所有样本等权重，因此对最难的真与重建真不够敏感。增强对比把注意力收窄到真与重建真，专门扩大这两者的间隔，弥补标准对比的不足。

增强对比损失 × 正则化损失： 增强对比损失专门拉开原始真样本与重建真样本的距离，解决标准对比损失对难样本不敏感的问题；正则化损失用方差约束让同类嵌入在每个维度上更紧凑。搭配原因是前者负责扩大难样本间隔，后者负责稳定类内结构防止边界被拉散，组合意义是在推开真与重建真的同时保持同类聚集，使决策边界更清晰且稳定。

正则损失 inspired by 说话人验证中的正则蒸馏思路，但目标改为批级别类内紧凑。它对真类与包含 3 类假变体的非真类分别计算每维方差并约束其趋向零，使同类分布更密集。用原文的话说，它起稳定器作用，锚定类内方差，让增强对比在细化边界时不破坏已有特征结构。

三者组合后，标准对比维持整体可分性，增强对比主攻难样本间隔，正则维持紧凑性。消融与可视化部分将验证缺掉其中一项时平均性能与距离的变化。

数据如何重建、增强与优化，哪些细节可直接复用？

数据生成覆盖 4 种重建。HiFi-GAN 先提梅尔谱再用预训练声码器重合成波形。Encodec 与 DAC 直接处理原始音频生成重建波形。SemantiCodec 即扩散实现，用双编码器提语义与声学特征作为条件，由隐扩散模型预测隐表示，再经解码器与声码器得到波形。原文使用官方预训练检查点，未报告微调这些重建模型，因此复现时应冻结或直接调用它们。

训练数据是对 ASVspoof 2019 LA 训练与开发集中的真与假都做重建，基线只用原始数据。所有音频重采样到 16 kHz 并统一为 64600 个采样点，长则截断，短则循环补齐。增强用房间脉冲响应与 MUSAN 语料，噪声与音乐按不同信噪比区间加入，语音混合 3 到 8 句。优化只训练 AASIST，用 Adam，初始学习率与衰减、权重衰减、类别权重、100 轮与固定种子均有明确报告，最终模型取验证损失最低及其前 4 轮的参数平均。

监督来源有 3 路。分类损失来自真假标签，对比损失来自样本对是否同类，正则损失来自同批同类嵌入的方差。梯度路径上前端冻结，只有聚合权重与 AASIST 更新。原文未给出批大小与采样比例等细节，这是复现时需要补记的缺项，不应从模型名推定。

在哪些数据与协议上测泛化，指标方向是什么？

评估用 5 个多样化测试集。ASVspoof 2019 LA 评估集包含传统声码器的合成与转换语音。CodecFake 聚焦神经编解码器衍生的深伪，且测试集排除了与训练验证重叠的真样本以防泄漏。DiffSSD 评估对扩散合成的泛化，包含多种扩散方法与商用接口。WaveFake 评估对基于生成对抗网络合成的检测。ITW 从社交媒体收集音频，测试非受控环境。

指标为 EER，越低越好。报告方式是每个集单独 EER 再算五集平均。所有实验独立重复 3 次取均值，这有助于减少单次随机性的影响。比较条件上，基线是作者自己实现的原始数据训练版本，另有文献基线作参考，重建方法分别用 4 种生成器在相同检测结构下比较，聚合与 RACL 在扩散重建基础上逐步叠加，因此重建范式之间的比较相对公平。

需要区分的细节是，CodecFake 内部分为多个子集，不同子集对应不同编解码器生成，平均值是对子集的聚合。数值相同不代表同一指标，跨表对比时必须核对数据集、阶段与聚合对象。原文未报告延迟与计算开销，因此不能声称该方法更快或更省。

哪种重建真正带来跨集增益，代价是什么？

要回答的核心比较问题是，在相同检测结构下，加入重建是否普遍提升，以及哪种重建最稳。公平条件是同为原始加对应重建训练，指标方向为 EER 越低越好。下表整理原文直接报告的平均结果，基线与扩散重建的数值及相对变化均有原文连续句支撑。

表后解释需要同时讲收益与代价。收益是扩散重建在所有测试集上一致优于基线及其他重建，且在 CodecFake 各子集上平均最优并全面超过基线。原文将其归因于扩散合成的随机性更能模拟复杂真实场景，但这属于有限解释，应表述为支持而非因果证明。代价是加入重建不保证每个集都提升，特定重建只对同类生成器有效，例如 Encodec 重建在对应子集最好，DAC 重建在对应子集占优，而 HiFi-GAN 与 DAC 重建在部分集上甚至差于基线。叠加聚合与 RACL 后平均大幅下降，但在个别集上出现小幅回退，原文解释为模型优先学通用特征而非特定伪迹，取得了更好的全局最优。

未胜出项必须点名。HiFi-GAN 与 DAC 重建的平均结果差于基线，说明重建本身不是万能药。未评测边界是原文未测量误判分布、延迟与成本，也未覆盖训练之外的最新商用生成器，因此不能把平均增益推广为所有未来攻击都有效。

损失的每一项是否必要，特征空间发生了什么变化？

消融要回答的是标准对比、增强对比与正则是否各自有效。原文以五集平均 EER 为指标，报告仅分类时较高，加入标准对比后下降，再加增强对比进一步下降，三者全用时最优。这支持增强对比通过分离难样本带来增益，正则通过缩小类内距离带来增益，且正则起稳定作用的判断。

下图对应消融中 3 种配置的嵌入可视化，阅读时先确认图例再比较距离标注，避免把点云形状直接当性能好坏。

看图路径： 1. 先看每幅子图右下角图例，确认蓝色与绿色点各代表哪类样本；2. 比较上排两图蓝色带与左侧混杂团块之间的虚线距离标注如何变化；3. 观察下图加入正则后蓝色带形状与左侧团块紧凑程度的变化

论文图 2。原论文 Figure 2：“t-SNE visualization of feature embeddings. The plots correspond to the configurations in the second (top-left), third (top-right), and final (bottom) rows of Table 3.”。

从像素可见，上排左图标题为仅标准对比分布，右侧蓝色带呈细长弧形，左侧为红绿紫混杂团块，中间虚线标注包含 50.64。上排右图为双重对比分布，蓝色带仍在右侧，左侧团块形态变化，标注出现 65.77 与 75.72。下图为双重对比加正则分布，蓝色带变为更分散的双弧，左侧团块更混合，标注出现 76.11、81.31 与 71.40。图例统一为真、重建真、假、重建假 4 类，星形标记为类中心。可见变化是真与其他的平均距离增大，真与重建真的分离扩大，同时类内更紧凑，这与正文定量描述一致。

下表用原文连续句中的距离数字整理可视化支撑，避免复述无源的消融数值。

表后解释是，距离增大支持判别性增强，紧凑支持稳定性增强，但 t-SNE 只是降维可视化，不能当作分类精度的证明。限制是这些距离基于特定采样与末隐层嵌入，换层或换采样可能变化，原文未报告统计显著性，因此应表述为报告与支持，而非必然因果。

哪些结论有证据，哪些还只是推测？

直接报告的是扩散重建平均最优、聚合与 RACL 进一步降低平均 EER、增强对比拉开真与重建真距离、正则使类内更紧凑。这些有数字与可视化支撑，可以复述为显示或报告。有限解释的是扩散随机性模拟真实复杂场景，因此泛化更好。这有跨集一致性支持，但未做因果干预实验，应表述为可能或待验证。

未验证推测包括重建痕迹必然覆盖未来未知攻击、平均增益必然带来每个部署场景增益。原文自己也指出个别集回退与特定重建只对同类生成器有效，这反证了总体趋势不等于每组都成立。缺失证据不是技术错误，但复现与部署时必须补测。例如未报告推理开销、模型参数量、训练时长与硬件预算，未报告不同阈值下的误报代价，未报告跨语言与跨信道的稳定性。

另一个边界是标签设计。把重建真标为非真类在训练时有效，但部署时真实录制不会经过重建，若用户音频偶然经过编解码压缩，可能被误判的风险未被测量。在没有误判率与实际延迟数据前，不应承诺该方法适合实时拦截。

要复现应先做什么，需要准备什么条件？

复现先做数据管线。按原文将训练与开发集音频统一到 16 kHz 与 64600 点，准备 RIR 与 MUSAN 并按报告的信噪比区间增强。然后准备 4 种重建的官方预训练模型，其中扩散实现用 SemantiCodec 官方检查点，直接推理得到重建波形，不重新训练重建模型。检测侧加载冻结的 XLS-R 300M，实现自适应层聚合与 AASIST，用报告的优化器、学习率衰减、类别权重、100 轮、种子 688 训练，并对验证最优及其前 4 轮做参数平均。

关键超参数与信息条件要保留。对比权重 0.6 与 0.1、正则权重 0.3、分类交叉熵类别权重偏向真类、重复 3 次取均值，这些决定结果可比性。划分上注意 CodecFake 测试需排除与 ASVspoof 训练验证重叠的真样本，否则会高估性能。

资源状态是正文开源声明的唯一依据。本次未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开。复现者应把重建模型、前端权重、增强语料视为需自行获取的外部依赖，并记录版本与下载时间以保证可重复。

何时值得尝试这个思路，还需补哪项验证？

当部署环境面临未知编解码与扩散合成，且已有检测器在新攻击上明显退化时，值得尝试重建难样本加对比正则的思路。尤其当训练数据只覆盖传统声码器，而测试可能包含神经编解码与扩散生成时，扩散重建是原文证据中最稳的起点。但若应用对特定已知攻击的精度要求极高且不关心未知攻击，直接针对该攻击微调可能更划算，因为通用化会带来个别集的小幅代价。

还需补的验证包括跨信道与跨语言测试、压缩后真音频的误报测试、推理延迟与内存测试，以及不同前端冻结与解冻的对照。只有补齐这些，才能判断平均 EER 的降低是否转化为实际可部署的收益。教学上记住一句话，能分开重建真与真的模型才更可能分开未知假与真，但这仍需用新攻击的实测来确认，而不是用比喻代替证明。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总