📄 Audio-Visual Deepfake Generation and Detection: An Exploratory Survey

#音频深度伪造检测 #语音伪造检测 #对比学习 #基准测试 #数据集

✅ 6.5/10 | 前25% | #音频深度伪造检测 | #对比学习 | #语音伪造检测 #基准测试

学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中

👥 作者与机构

• 第一作者：Hang Xu（哈尔滨工程大学计算机科学与技术学院）
• 通讯作者：Boquan Li（哈尔滨工程大学计算机科学与技术学院，liboquan@hrbeu.edu.cn），Min Yu（中国科学院信息工程研究所，yumin@iie.ac.cn）
• 作者列表：Hang Xu（哈尔滨工程大学计算机科学与技术学院）、Yuning An（哈尔滨工程大学计算机科学与技术学院）、Pengrui Fu（哈尔滨工程大学计算机科学与技术学院）、Zhiyu Fan（中国科学院信息工程研究所）、Boquan Li（哈尔滨工程大学计算机科学与技术学院）、Jiakun Liu（哈尔滨工业大学计算学部）、Yachao Liang（中国科学院信息工程研究所）、Min Yu（中国科学院信息工程研究所）

💡 毒舌点评

这篇综述及时填补了音视频深度伪造这一新兴交叉领域综述的空白，系统梳理了生成技术、检测方法和关键数据集，并指出了现有检测器在泛化性和鲁棒性上的普遍短板。然而，其实验部分虽有价值，但复现条件苛刻（需对大量检测器重新实现/训练），且综述本身未提出新的检测算法，结论的普适性受限于所选的有限数据集和检测器。

📌 核心摘要

这篇论文旨在应对音视频深度伪造（Audio-Visual Deepfake）日益增长的威胁，通过系统综述和实验评估，深入分析当前生成技术、检测方法及挑战。方法核心是：1）梳理了音视频深度伪造的生成方法（唇形同步和说话人脸生成）和相关数据集（完全伪造与部分伪造）；2）将检测方法分为基于模态融合和基于模态不一致性两大类进行综述；3）通过泛化性实验和鲁棒性实验，评估了代表性检测器在多个数据集和多种失真下的可靠性。

与已有综述相比，本文新在首次专注于“音视频”这一具体伪造类型，并提供了针对该类型检测器的系统性可靠性评估。主要实验结果显示，大多数检测器泛化能力不足（表1），例如LIPINC在LAV-DF数据集上AUC仅为50.55%；同时抗干扰能力较弱（图3），高斯噪声和时间拉伸对多数检测器性能有显著破坏。本文的实际意义在于明确了当前检测技术的瓶颈，并为未来研究指明了方向，如发展基于内容相关性的检测策略、构建更具挑战性的测试基准等。主要局限性在于其评估覆盖的检测器和数据集有限，且未提供可直接复现的代码或模型。

主要实验结果表格： 表1. 泛化性实验结果 (AUC, %)

注：星号()表示该结果基于监督学习设置（测试集与训练集有重叠），不反映泛化能力。*

🏗️ 模型架构

本文是一篇综述论文，并未提出一个新的检测或生成模型。因此，本节将阐述其综述所梳理的音视频深度伪造生成与检测的技术架构与分类体系。

1. 生成技术架构：论文将生成方法分为两类：

   • 唇形同步生成：核心流程是操纵视频中的嘴部区域，使其与输入音频匹配。代表方法如Wav2Lip（图1所示流程），它融合音频特征与面部图像，基于生成对抗网络生成唇部运动，并使用判别器惩罚唇音不同步的样本。
   • 说话人脸生成：旨在根据音频合成完整的说话头部，不仅同步唇部运动，还生成相应的面部表情和头部姿态。例如，SadTalker使用3D表情和姿态作为中间表示，通过3D感知的人脸渲染器合成视频。

2. 检测技术架构：论文将检测方法分为两大类（图2所示分类体系）：

   • 基于模态融合的检测器：旨在融合音频和视觉特征以捕获跨模态相关性。包括监督学习方法（如MRDF、FRADE）、结合自监督与监督的方法（如AVFF）、以及基于多任务学习的方法。
   • 基于模态不一致性的检测器：旨在利用音视频模态间的固有同步关系，检测不一致性以识别伪造。包括监督方法（如LIPINC，通过时空不一致性检测）和无监督方法（如SpeechForensics，仅在真实样本上训练，学习同步模式）。

💡 核心创新点

作为一篇综述论文，其“创新点”主要体现在其综述视角和评估方法上：

1. 首个聚焦于音视频深度伪造的综述：现有综述通常覆盖广泛的深度伪造技术。本文首次系统性地专注于由音频驱动的视觉（如唇部、表情）伪造这一新兴子领域，明确了其技术范畴和分类体系。
2. 对检测器可靠性的系统性评估：不同于仅罗列方法，本文通过设计泛化性和鲁棒性实验，定量评估了现有代表性检测器在多个数据集和多种失真条件下的实际性能，揭示了当前技术（除少数例外）普遍存在的短板。
3. 提出前瞻性的未来研究方向：基于评估结果，论文明确指出了未来研究的关键路径，如发展“内容聚焦”的检测策略、构建更具挑战性的部分伪造测试集、增强检测器鲁棒性等，为后续工作提供了清晰的路线图。

🔬 细节详述

• 训练数据：本综述本身未训练模型。其评估所用数据集包括FakeAVCeleb，IDForge，AVLips和LAV-DF，论文说明从每个数据集中随机抽取500个真实和500个伪造视频进行测试。
• 损失函数：未说明（综述论文不提出新模型）。
• 训练策略：未说明。论文提及对于无可用模型的检测器，按照原始文献的设置进行重新训练以选择最佳参数。
• 关键超参数：未说明。
• 训练硬件：未说明。
• 推理细节：未说明。
• 正则化或稳定训练技巧：未说明。

📊 实验结果

1. 泛化性实验：评估检测器在未见过的数据集上的性能。关键结果见上文核心摘要中的表格1。

• 主要发现：大多数检测器泛化能力不足。在未见过的数据集（如LAV-DF）上性能大幅下降。SpeechForensics表现最稳健，在多数数据集上AUC超过95%，但在包含混合真假帧的LAV-DF上降至85.37%。

2. 鲁棒性实验：评估检测器在视频受到多种失真干扰时的性能。实验对FakeAVCeleb数据集施加了五种失真（颜色对比度、高斯噪声、压缩、时间拉伸、音高偏移），各五种强度，共25组测试。结果见图3。

• 图3：鲁棒性实验结果： robustness_results 关键结论：大多数检测器对高斯噪声（图3b）和时间拉伸（图3d）等失真非常敏感，性能显著下降。Yu et al.在所有失真下表现相对稳健（AUC > 85%），但其模型是在FakeAVCeleb上训练的，因此该结果不完全反映泛化鲁棒性。

⚖️ 评分理由

• 学术质量：5.5/7：作为综述，其技术梳理清晰，分类合理。创新性主要体现在聚焦特定子领域和进行定量评估，而非提出新算法。实验部分设计了泛化与鲁棒性评估，提供了有价值的发现，但评估范围（检测器和数据集数量）受限，部分结论依赖于“未公开代码”的检测器，其实现细节和复现性存疑。
• 选题价值：1.5/2：选题非常前沿且重要，音视频深度伪造是当前信息安全与数字内容真实性的重大挑战。该综述及时总结该领域，对研究人员和从业者具有较高的参考价值和实际意义。
• 开源与复现加成：-0.5/1：论文明确指出“众多现有检测器缺乏可复现性（例如，源代码和模型不可用）”，且其评估所用的检测器实现也需要重新训练，这极大地影响了其结论的可验证性和实用性。论文本身未提供代码、模型或新的基准工具。

🔗 开源详情

• 代码：论文中未提及提供本文相关的代码仓库链接。论文指出，许多被评估的检测器“要么没有开放其实现代码，要么发布的代码或模型不完整”，因此论文作者对这些检测器进行了重新实现或训练。
• 模型权重：未提及。
• 数据集：论文评估所用的数据集（FakeAVCeleb, IDForge, AVLips, LAV-DF）是已公开的，但论文未提供获取方式或整理脚本。
• Demo：未提及。
• 复现材料：论文为每个检测器标注了参考文献，并说明了重新训练/评估的总体原则，但未提供详细的复现配置文件、超参数列表或检查点。
• 论文中引用的开源项目：论文作为综述，引用了大量生成与检测的原始工作（如Wav2Lip, SadTalker, SpeechForensics等），这些工作本身大多有公开代码，但论文并未将其整合为一个可运行的工具包。

← 返回 ICASSP 2026 论文分析