Few-Shot Recognition of Audio Deepfake Generators using Graph-Based Prototype Adaptation
📄 Few-Shot Recognition of Audio Deepfake Generators using Graph-Based Prototype Adaptation #音频深度伪造检测 #少样本学习 #图神经网络 #音频取证 ✅ 7.5/10 | 前25% | #音频深度伪造检测 | #图神经网络 | #少样本学习 #音频取证 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yupeng Tan (广西大学计算机、电子信息学院，广西人工智能学院) 通讯作者：Wei Xie (广西大学计算机、电子信息学院，广西人工智能学院) 作者列表：Yupeng Tan (广西大学计算机、电子信息学院，广西人工智能学院)，Wei Xie (广西大学计算机、电子信息学院，广西人工智能学院) 💡 毒舌点评 本文巧妙地将图神经网络与转导学习范式结合，用于解决少样本音频深度伪造生成器识别中因数据稀缺导致的原型估计偏差问题，技术路线完整且实验结果显著优于基线。然而，其核心思想——利用无标签数据（查询集）的结构信息来优化有标签数据的原型表示——在少样本学习领域并非首创（如标签传播等），创新深度有限，且论文未提供任何开源代码或模型权重，对后续研究的可复现性构成障碍。 📌 核心摘要 问题：在音频取证中，识别深伪造音频的具体生成器类型至关重要，但新兴生成器的有标签样本极少，传统少样本方法因数据稀疏导致原型估计偏差大、特征区分度低。 方法：提出基于图的原型适应框架。在每个少样本任务中，将支持集和查询集样本构建成一个联合图（基于样本间距离的稀疏连接），通过图适应模块进行信息传播和特征精炼，再估计更可靠的原型进行分类。 创新：1）采用转导学习范式，联合利用有标签和支持样本构建任务特定图；2）设计图适应模块，通过图卷积网络精炼特征并校准原型，缓解原型偏差；3）在元测试阶段引入对比损失进行自适应。 实验：在ASVspoof2019 LA和MLAAD数据集上的5-way设置中，GPA方法在所有shot数下均取得最优准确率，例如在ASV2019LA上5-shot相比最强基线提升3.17%，10-shot提升6.12%，20-shot提升8.28%。消融实验验证了各组件的必要性。 意义：为应对新出现的音频深伪造威胁提供了一种有效的少样本识别方案，增强了音频取证系统对未知生成器的适应能力。 局限性：方法依赖预训练的CLAP编码器和特定的图构建策略，计算复杂度随样本数增加；实验仅在两个数据集上进行，对更多样化生成器和真实场景的泛化能力有待验证。 🏗️ 模型架构 模型架构图如图2所示。 整体流程：对于一个N-way K-shot任务，输入是包含N×K个有标签样本的支持集S和N×M个无标签样本的查询集Q。所有音频样本首先通过预训练的CLAP音频编码器转换为d维嵌入向量。这些嵌入（支持集和查询集）被组织成一个联合图，其中节点是单个样本，边表示样本间的相似性。该图输入到图适应模块中进行处理。经过GAM精炼后，从属于各类的支持节点嵌入中计算出类原型（各类嵌入的均值）。最后，每个查询节点根据其与各类原型的欧氏距离进行分类。 主要组件： 预训练CLAP编码器：作为特征提取器，将原始音频转换为语义嵌入空间中的向量。 联合图构建模块：为每个任务动态构建图。节点对应所有样本（支持+查询）。边的建立遵循四条规则：同类支持节点间连接；每个支持节点连接其在查询集中的top-k最近邻；查询节点间连接top-k最近邻；所有节点添加自环。边权重为节点间欧氏距离的倒数。这种稀疏连接策略（复杂度O(kn)）保留了关键结构，同时降低了计算量。 图适应模块：核心组件，由两层图卷积网络和一个残差连接构成。其作用是通过图上的消息传递，融合来自支持集和查询集的结构信息，精炼每个节点的嵌入表示，从而生成更鲁棒、更具区分性的特征，用于后续原型估计。处理后，对支持节点还会施加一个轻量级线性分类器进行显式监督（focal loss）。 原型估计与分类：从精炼后的支持节点嵌入中，为每个类别计算一个原型（均值向量）。查询节点通过计算到这些原型的距离进行分类。 数据流与交互：CLAP输出的原始嵌入 -> 构建联合图邻接矩阵 -> GAM通过两层GCN在图上传播信息并更新节点嵌入 -> 从精炼后的支持节点嵌入计算原型 -> 查询节点与原型距离计算分类概率。整个框架采用元学习训练范式。 ...