音频深度伪造检测

📄 Tell me Habibi, is it Real or Fake? #音频深度伪造检测 #数据集 #多语言 #语音克隆 #音视频 🔥 8.0/10 | 前25% | #音频深度伪造检测 | #数据集 | #多语言 #语音克隆 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kartik Kuckreja (MBZUAI) 通讯作者：未说明 作者列表：Kartik Kuckreja (MBZUAI), Parul Gupta (Monash University), Injy Hamed (MBZUAI), Thamar Solorio (MBZUAI), Muhammad Haris Khan (MBZUAI), Abhinav Dhall (Monash University) 💡 毒舌点评 这篇论文精准地抓住了现有深度伪造检测数据集在多语言（尤其是阿拉伯语-英语语码转换）场景下的巨大空白，并提供了一个规模空前的数据集（387k视频），填补了这一重要缺口。然而，其数据生成管道高度依赖多个前沿但复杂的TTS/唇同步模型组合以及GPT-4的文本编辑，虽然保证了多样性，但也使得“伪造”样本的生成过程本身成为一个“黑盒”集成，其质量的上限和下限都极大程度地受限于这些商业/开源模型的能力，而非论文提出的统一框架。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：论文明确表示将公开数据集，并提供了获取所需的EULA表单（图7）。访问需通过机构IRB批准和签署EULA。 Demo：未提及在线演示。 复现材料：论文提供了数据生成管道的详细描述、关键工具（Whisper-v2, GPT-4.1-mini, XTTS-v2, OpenVoice-v2, Fairseq, Diff2Lip, LatentSync）以及评估脚本的开源承诺。附录中提供了详细的文本操作提示（图6）、数据分布、扰动列表和身份重叠分析等复现相关信息。 论文中引用的开源项目：Whisper, wav2vec 2.0, XTTS-v2, OpenVoice-v2, Fairseq, Diff2Lip, LatentSync, XLSR-Mamba, Jais-3B, Qwen2.5等。 📌 核心摘要 问题：现有的深度伪造检测研究主要针对单语内容，忽略了全球普遍存在的多语言，特别是阿拉伯语-英语语码转换（CSW）场景下的检测挑战。 方法核心：提出了ArEnAV，首个大规模阿拉伯-英语音视频深度伪造数据集，并设计了一个三阶段数据生成流程：利用GPT-4.1-mini进行受控的文本（语码转换）操纵，使用4种TTS和2种唇同步模型组合生成伪造的音频和视频。 创新点：数据集首次系统性地包含了句内语码转换、方言变体和纯阿拉伯语内容；生成流程专门针对阿拉伯语-英语混合内容设计；提供了多维度的基准测试，包括与现有单语/多语言数据集的对比、SOTA模型评估及用户研究。 主要实验结果： 数据集对比：ArEnAV是目前最大的多语言音视频深度伪造数据集（387k视频，765小时），远超PolyGlotFake（15k）和Illusion（1.37M但非重点CSW）。伪造片段更长，检测更难。 检测性能：现有SOTA模型（如BA-TFD+）在ArEnAV上性能大幅下降。在测试集上，BA-TFD+（AV-1M预训练）的AP@0.5仅为3.74，而微调后AUC可达79.97%。 跨数据集泛化：在DFDC, FF++, CelebDF上表现良好的模型（如Face-X-Ray, LipForensics），在ArEnAV上AUC接近随机猜测（~50%）。 用户研究：人类参与者的检测准确率仅为60.00%，定位精度（AP@0.5）仅0.79，证明该任务极具挑战性。85%的失败案例发生在语码转换中的英语单词部分。 实际意义：为构建更具鲁棒性、能应对真实世界多语言语码转换场景的深度伪造检测模型提供了关键资源和基准，推动了该领域向全球化、多样化方向发展。 主要局限性：生成管道复杂，依赖外部模型（Whisper, GPT-4, TTS，唇同步模型），其质量和特性直接影响数据集质量；“含义+翻译”模式下，LLM有时未能充分改变语义；数据集目前仅限于阿拉伯语和英语。 🏗️ 模型架构 本文的主要贡献是数据集而非一个新的检测模型架构。论文的核心是ArEnAV数据生成管道，其架构如图1所示： 整个流程分为三个主要阶段： ...

📄 Diffusion Reconstruction towards Generalizable Audio Deepfake Detection #音频深度伪造检测 #扩散模型 #对比学习 #数据增强 #预训练 ✅ 7.5/10 | 前25% | #音频深度伪造检测 | #扩散模型 #对比学习 | #扩散模型 #对比学习 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Bo Cheng（南方科技大学电子与电气工程系） 通讯作者：Fei Chen（南方科技大学电子与电气工程系） 作者列表：Bo Cheng（南方科技大学电子与电气工程系）、Songjun Cao（腾讯优图实验室）、Xiaoming Zhang（南方科技大学电子与电气工程系）、Jie Chen（南方科技大学电子与电气工程系）、Long Ma（腾讯优图实验室）、Fei Chen（南方科技大学电子与电气工程系，通讯作者） 💡 毒舌点评 本文巧妙地将“数据增强”提升到了“生成困难样本进行对抗训练”的哲学高度，利用扩散模型的随机性模拟未知攻击，思路新颖且实验验证有力。然而，其核心逻辑存在一个微妙的自证循环：用于检测的模型，其训练数据部分来源于同族模型（扩散模型）的重建，这可能使得模型对“生成痕迹”的识别能力被部分限定在“重建痕迹”上，对真正未知的、非重建类生成攻击的泛化上限有待进一步验证。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开本模型的权重。论文中提及使用了公开的预训练模型（XLS-R 300M）和重建模型（HiFi-GAN, DAC, Encodec, SemantiCodec）的权重。 数据集：使用了公开数据集（ASVspoof 2019 LA, CodecFake, DiffSSD, WaveFake, ITW），论文中给出了部分数据集的引用链接。 Demo：未提及。 复现材料：提供了较为详细的训练策略、超参数配置和架构描述（见第3.2节和第2.3、2.4节），但未提供完整的复现配置文件或脚本。 论文中引用的开源项目： HiFi-GAN: https://github.com/jik876/hifi-gan DAC (Descript Audio Codec): https://github.com/descriptinc/descript-audio-codec Encodec: https://github.com/facebookresearch/encodec SemantiCodec: https://huggingface.co/haoheliu/SemantiCodec/tree/main XLS-R 300M: https://github.com/facebookresearch/fairseq AASIST：论文引用了相关论文，但未提供具体开源链接。 📌 核心摘要 本文针对音频深度伪造检测（ADD）模型泛化能力不足的挑战，提出了一种基于扩散重建的困难样本生成框架。其核心思想是：一个能够区分困难样本（如重建后的音频）的模型，必然也能处理简单的伪造样本。方法上，论文首先评估了HiFi-GAN、DAC、Encodec和SemantiCodec（基于扩散）等多种重建范式，发现基于扩散的方法能最有效地生成具有泛化价值的困难样本。其次，为增强特征判别力，设计了正则化辅助对比学习（RACL） 目标函数，它结合了标准对比损失、聚焦于困难样本的增强对比损失以及用于类内紧凑性的方差正则化损失。最后，采用预训练的XLS-R 300M提取多层特征并经自适应聚合后，送入AASIST进行分类。实验在五个多样化的测试集（ASVspoof, ITW, DiffSSD, WaveFake, CodecFake）上进行。主要结果表明，集成扩散重建、多层聚合和RACL的最佳模型（RACL Diffusion）取得了8.247%的平均EER，相比基线（15.789%）相对降低了约47.8%。消融实验和t-SNE可视化证实了RACL中各组件对提升类间距离和类内紧凑性的作用。该研究的实际意义在于提供了一种提升ADD模型泛化能力的有效数据驱动和学习策略，其局限性在于自证循环的潜在风险以及在个别数据集（如ASVspoof）上性能略有下降。 ...

📄 Similarity Choice and Negative Scaling in Supervised Contrastive Learning for Deepfake Audio Detection #音频深度伪造检测 #对比学习 #自监督学习 #鲁棒性 #基准测试 🔥 8.0/10 | 前25% | #音频深度伪造检测 | #对比学习 #自监督学习 | #对比学习 #自监督学习 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jaskirat Sudan (University of Michigan, Dearborn) 通讯作者：未说明（论文未明确指定） 作者列表：Jaskirat Sudan (University of Michigan, Dearborn)、Hashim Ali (University of Michigan, Dearborn)、Surya Subramani (University of Michigan, Dearborn)、Hafiz Malik (University of Michigan, Dearborn) 💡 毒舌点评 亮点：实验设计极其严谨，通过固定所有其他变量（模型、优化器、增强等），孤立地研究了相似度函数和负样本队列的影响，并揭示了二者之间复杂的非单调交互关系，为该领域的实践者提供了扎实的调参依据。短板：所有结论都建立在单一模型（XLS-R 300M）和单一训练集（ASVspoof 2019 LA）上，其发现是否能迁移到其他自监督模型或其他伪造检测数据集上，文中未做任何探讨，这在一定程度上削弱了结论的普适性。 ...

📄 A Parameter-Efficient Multi-Scale Convolutional Adapter for Synthetic Speech Detection #音频深度伪造检测 #自监督学习 #语音伪造检测 #迁移学习 #参数高效微调 ✅ 7.0/10 | #音频深度伪造检测 #自监督学习 👥 作者与机构 第一作者：Yassine El Kheir（DFKI, Germany；Gretchen AI, Germany） 通讯作者：未说明 作者列表：Yassine El Kheir（DFKI, Germany；Gretchen AI, Germany）、Fabian Ritter-Guttierez（Nanyang Technological University, Singapore）、Arnab Das（DFKI, Germany；Gretchen AI, Germany）、Tim Polzehl（DFKI, Germany；Gretchen AI, Germany）、Sebastian Moller（DFKI, Germany；Technical University of Berlin, Germany） 💡 毒舌点评 亮点在于设计了一个巧妙的参数高效适配器，用仅1%的参数就显著超越了全微调方法，在效率与性能的权衡上取得了亮眼成绩。但短板也很明显：论文没有提供代码或模型链接，让复现成了“开卷考试但没带书”；另外，对多尺度特征融合的物理意义（如具体哪些特征对应短时/长时伪影）缺乏更深入的可视化分析或解释。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了多个公开的基准数据集（ASVspoof系列， ITW， MLAAD），但未提供经过处理的或增强后的数据集。 Demo：未提供在线演示。 复现材料：论文提供了较为详细的实现细节（超参数、优化器设置、数据增强方法等），但未提供训练脚本、配置文件或预训练模型，复现仍需较多工作。 论文中引用的开源项目：引用了Wav2Vec2.0/XLSR， HuBERT， WavLM， AASIST等模型，并提到了LoRA、Houlsby Adapter、ConvAdapter等方法作为对比基线，但未明确说明是否依赖特定开源实现。 📌 核心摘要 这篇论文针对现有基于自监督学习（SSL）的语音合成检测模型在全微调时计算成本高、而通用参数高效微调（PEFT）方法缺乏捕捉音频多尺度时间伪影的特定归纳偏置这一问题，提出了一种新的多尺度卷积适配器（MultiConvAdapter）。该方法的核心是在SSL骨干网络（如XLSR）的Transformer层中的多头自注意力（MHSA）模块后，插入一个并行的、使用不同大小卷积核的深度卷积模块，使模型能同时学习短时伪影和长时失真。与已有方法（如LoRA、Houlsby适配器）相比，新方法显式地引入了针对音频时间结构的先验知识。主要实验结果表明，在五个公开数据集（ASVspoof LA19、DF21、ITW、MLAAD、ASV5）上，MultiConvAdapter仅使用3.17M可训练参数（仅为317M骨干模型的1%），其平均EER（等错误率）达到5.91%，相比全微调方法（7.07%）相对降低了16.41%，并优于其他PEFT方法（如LoRA为8.43%）。该方法的意义在于为部署高效、鲁棒的合成语音检测系统提供了一种可行的参数高效解决方案。主要局限性在于论文未公开代码和模型，且分析局限于标准数据集，未探讨在极端对抗环境或更复杂编解码条件下的泛化能力。 ...

📄 A Superb-Style Benchmark of Self-Supervised Speech Models for Audio Deepfake Detection #音频深度伪造检测 #自监督学习 #基准测试 #模型评估 #鲁棒性 ✅ 7.0/10 | 前25% | #音频深度伪造检测 | #自监督学习 | #基准测试 #模型评估 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：未说明（论文按顺序列出作者，未明确指定第一作者） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Hashim Ali, Nithin Sai Adupa, Surya Subramani, Hafiz Malik（均来自University of Michigan, Electrical and Computer Engineering） 💡 毒舌点评 本文最大的价值在于“填空”——在音频深度伪造检测这个安全关键领域，终于有了一个像SUPERB那样标准化的评测框架，让不同研究能放在同一擂台上比较，这本身就是一个重要的贡献。但短板也同样明显：它本质上是一个“评测员”而非“创新者”，提出的Spooof-SUPERB协议是现有技术的整合而非新方法的突破，且未开源代码或模型，大大削弱了其作为基准的实践影响力。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开本次实验所使用的SSL模型下游微调后的权重。 数据集：论文中评估所使用的数据集（如ASVspoof系列、In-the-Wild、DFEval等）多为公开数据集，但论文本身未提供新的数据集，也未说明如何获取或处理它们。 Demo：未提及。 复现材料：论文详细描述了下游任务协议（冻结SSL、加权和聚合、分类器结构、训练/评估数据集），提供了复现所需的大部分信息，但缺乏具体的训练超参数（如学习率、优化器、batch size）。 论文中引用的开源项目：论文引用了大量SSL模型的原始论文（如wav2vec 2.0, HuBERT, WavLM等），这些都是开源项目。但本文自身未提供基于这些项目的整合代码。 总结：论文中未提及任何由本文作者发布的开源计划（代码、模型、工具）。 📌 核心摘要 这篇论文旨在解决音频深度伪造检测领域缺乏统一评估标准、导致研究结果难以比较的问题。其核心方法是提出一个名为“Spoof-SUPERB”的SUPERB式基准，该基准采用固定的下游任务设置（冻结SSL前端+加权层聚合+简单分类器），在ASVspoof 2019训练集上训练，并在包括ASVspoof 2019、2021、DeepfakeEval 2024、In-the-Wild、Famous Figures和ASVSpoofLD在内的8个数据集上进行跨域评估。与以往碎片化的研究相比，这是首个系统性地评估20个涵盖生成式、判别式和混合式架构的自监督学习模型的标准化基准。主要实验结果显示，大规模判别式SSL模型（如XLS-R、UniSpeech-SAT、WavLM Large）在平均EER上显著优于生成式模型和FBANK基线（例如XLS-R为17.4%，而FBANK为46.5%），并在噪声、混响和编解码器退化条件下表现出更强的鲁棒性。本文的实际意义是为社区提供了一个可复现的基线和实用的模型选择指南。主要局限性在于，固定的下游协议（训练数据选择、简单后端）可能限制了对模型潜力的挖掘，且未公开代码和模型权重。 ...

📄 AI-Generated Music Detection in Broadcast Monitoring #音频深度伪造检测 #数据集 #鲁棒性 #工业应用 ✅ 7.0/10 | 前50% | #音频深度伪造检测 | #数据集 | #鲁棒性 #工业应用 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：David López-Ayala (Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain) 通讯作者：未明确标注（根据邮箱顺序，第一作者与Martin Rocamora并列，推测Martin Rocamora可能为通讯作者，但论文未明确声明） 作者列表：David López-Ayala (Music Technology Group, Universitat Pompeu Fabra)、Asier Cabello (BMAT Licensing S.L.)、Pablo Zinemanas (BMAT Licensing S.L.)、Emilio Molina (BMAT Licensing S.L.)、Martin Rocamora (Music Technology Group, Universitat Pompeu Fabra) 💡 毒舌点评 亮点：本文最大的价值在于其“问题意识”——它没有停留在实验室的完美条件下自嗨，而是直指工业界（广播监测）的真实痛点，并通过精心设计的AI-OpenBMAT数据集和系统的消融实验，量化证明了现有“明星模型”在复杂声学环境下的脆弱性，为该领域指明了亟需突破的方向。短板：论文止步于“诊断”和“展示问题”，并没有提出任何新的“药方”（新的检测模型或算法）。作为一篇方法论文，其贡献更偏向数据工程和基准测试，技术深度略显不足，使得最终结论虽扎实但冲击力有限。 ...

📄 Assessing the Impact of Speaker Identity in Speech Spoofing Detection #音频深度伪造检测 #多任务学习 #自监督学习 #说话人识别 🔥 8.0/10 | 前25% | #音频深度伪造检测 | #多任务学习 | #自监督学习 #说话人识别 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Anh-Tuan DAO（法国阿维尼翁大学计算机实验室， Laboratoire d’informatique d’Avignon） 通讯作者：未说明（论文未明确标注，但联系邮箱来自Nicholas Evans） 作者列表：Anh-Tuan DAO（法国阿维尼翁大学计算机实验室）、Driss Matrouf（法国阿维尼翁大学计算机实验室）、Nicholas Evans（法国EURECOM， Sophia Antipolis） 💡 毒舌点评 这篇论文的亮点在于它设计了一个巧妙的“可开关”框架（SInMT），能统一评估两种关于说话人信息的对立假设，并且实验设计扎实，在四个数据集上验证了“去除说话人信息”对检测特定高级伪造攻击（A11）的显著效果。然而，其短板在于整体创新属于对现有SSL+多任务框架的特定应用组合优化，且论文未探讨将两种模式（aware/invariant）动态融合的潜力，结论部分稍显仓促。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用的是公开的ASVspoof 5， ASVspoof 2021， ITW和MUSAN数据集，论文中未提供新的或私有数据集。 Demo：未提及。 复现材料：论文给出了详细的训练细节、配置（如优化器、学习率、Batch Size、Epochs、硬件）和关键超参数（α, λ），以及数据增强流程，为复现实验提供了必要信息。 论文中引用的开源项目：引用了XLSR预训练模型（[10]）。 📌 核心摘要 要解决什么问题： 研究在基于自监督学习（SSL）的语音伪造检测系统中，说话人身份信息究竟是应该被利用还是被抑制，以及这种信息对模型性能有何具体影响。 方法核心是什么： 提出一个名为说话人不变多任务（SInMT）的统一框架。该框架使用预训练的XLSR作为特征提取器，后接两个结构相同的MHFA分类头。核心创新在于通过控制一个梯度反转层（GRL）的开启/关闭，使模型能在“说话人感知（MHFA-spk）”和“说话人不变（MHFA-IVspk）”两种模式间灵活切换。 与已有方法相比新在哪里： 以往工作多单独评估多任务学习或不变性学习，SInMT框架首次在单一SSL骨干网络中实现了二者的统一与直接对比。它允许研究者系统评估在相同数据和特征基础上，引入或抑制说话人信息带来的不同效果。 主要实验结果如何： 在四个评估集（ITW， ASVspoof 5 评估集， ASVspoof 2021 LA和DF隐藏子集）上，说话人不变模式（MHFA-IVspk） 取得了最佳的整体性能。与基线MHFA模型相比，其平均EER（等错误率）降低了17.2%（从7.41%降至6.13%）。对于最具挑战性的攻击类型A11，MHFA-IVspk实现了48%的相对EER降低（从17.02%降至8.76%）。说话人感知模式（MHFA-spk）也优于基线。 主要实验结果表格（论文中Table 1）： 模型 ITW EER(%) ASV5 eval EER(%) ASV21LA EER(%) ASV21DF EER(%) 平均EER(%) AASIST 7.03 5.54 13.66 9.60 8.95 Conformer 5.69 3.85 12.49 10.40 8.10 MHFA 4.31 4.64 12.14 8.58 7.41 MHFA-spk 3.76 5.29 8.67 8.41 6.53 MHFA-IVspk 3.58 4.98 8.41 7.57 6.13 实际意义是什么： 为设计更鲁棒的语音伪造检测系统提供了新的思路和实证依据。研究表明，在SSL特征基础上，主动抑制说话人特定信息可能使模型更专注于伪造痕迹本身，从而提升对高级、高仿真伪造攻击的检测能力，尤其是在跨数据集、跨说话人的场景下。 主要局限性是什么： 论文指出，虽然MHFA-IVspk整体更优，但其在“见过说话人”的闭集场景下可能不如MHFA-spk，这一点因评估集均为开集（说话人与训练集不重叠）而未能验证。此外，框架的通用性受限于其特定的特征提取器（XLSR）和后端分类器（MHFA）。 🏗️ 模型架构 SInMT框架的整体架构如下： ...

📄 Audio Deepfake Detection at the First Greeting: “Hi!” #音频深度伪造检测 #时频分析 #端到端 #鲁棒性 #实时处理 ✅ 7.5/10 | 前25% | #音频深度伪造检测 | #时频分析 | #端到端 #鲁棒性 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Haohan Shi（拉夫堡大学伦敦分校数字技术研究所） 通讯作者：Yunxiao Zhang（埃克塞特大学计算机科学系） 作者列表：Haohan Shi（拉夫堡大学伦敦分校数字技术研究所）、Xiyu Shi（拉夫堡大学伦敦分校数字技术研究所）、Safak Dogan（拉夫堡大学伦敦分校数字技术研究所）、Tianjin Huang（埃克塞特大学计算机科学系）、Yunxiao Zhang（埃克塞特大学计算机科学系） 💡 毒舌点评 这篇论文精准地切入了音频伪造检测中一个极具现实意义的细分场景——“第一句话”检测，并为此设计了针对性的轻量化框架，实验对比充分且结果显著，工程化考量（效率、部署）也值得肯定。不过，其核心模块（PCEM， FCEM）的命名虽显“豪华”，但内部算子（如卷积、池化、GELU）的组合更像是一个精心调优的“乐高”拼装，原创的理论洞察稍显薄弱，更像是一个扎实的工程优化案例。 🔗 开源详情 代码：论文在结论部分声明“Codes are available.”，表明代码已公开，但未在文中提供具体的仓库链接（如GitHub URL）。 模型权重：未提及是否公开预训练模型权重。 数据集：训练数据集Dcom由多个公开数据集构建，论文未提供独立的下载链接，但指明了来源语料库。评测数据集ADD-C也已公开使用。 Demo：未提供在线演示。 复现材料：提供了较为详细的训练配置信息（损失函数、优化器、调度策略、Batch Size、早停设置等），以及模型架构的主要组件和关键超参数。未提及是否提供配置文件、环境依赖或更详细的附录。 论文中引用的开源项目：提到了依赖的基线模型实现（LCNN， RawNet2， AASIST等）和数据集（Fake-or-Real， Wavefake， ASVspoof等）。 论文中未提及开源计划：除了声明代码可用外，未提及是否在特定平台维护、是否持续更新或提供issue支持等详细开源计划。 📌 核心摘要 本文旨在解决在真实世界通信降质（如编解码、丢包）条件下，对超短音频（0.5-2秒）进行深度伪造检测的挑战，典型场景是通话开头的“Hi”。作者提出了S-MGAA框架，这是对MGAA的轻量化扩展。其核心方法包括两个新模块：像素-通道增强模块（PCEM）和频率补偿增强模块（FCEM），前者从时频像素和通道维度增强伪造线索的显著性，后者通过多尺度频率分析来补偿时间信息的不足。与已有方法相比，本文首次联合关注了超短输入和通信降质鲁棒性两个方面，并设计了轻量高效的模型。主要实验结果表明：在ADD-C测试集上，S-MGAA-MFCC在0.5秒输入下的平均等错误率（EER）为3.44%，相比次优基线（RawGAT-ST）的4.52%降低了23.89%；在所有时长和降质条件下均取得最优或次优性能；同时，模型在实时因子（RTF）、浮点运算量（GFLOPs）和训练时间上展现出显著优势。该研究为实时部署在资源受限设备（如智能手机）上的早期语音欺骗检测提供了可行方案。主要局限性在于，实验评估均在合成降质数据集上进行，未在真实部署的实时通信系统中验证其端到端性能。 ...

📄 Audio-Visual Deepfake Generation and Detection: An Exploratory Survey #音频深度伪造检测 #语音伪造检测 #对比学习 #基准测试 #数据集 ✅ 6.5/10 | 前25% | #音频深度伪造检测 | #对比学习 | #语音伪造检测 #基准测试 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Hang Xu（哈尔滨工程大学计算机科学与技术学院） 通讯作者：Boquan Li（哈尔滨工程大学计算机科学与技术学院，liboquan@hrbeu.edu.cn），Min Yu（中国科学院信息工程研究所，yumin@iie.ac.cn） 作者列表：Hang Xu（哈尔滨工程大学计算机科学与技术学院）、Yuning An（哈尔滨工程大学计算机科学与技术学院）、Pengrui Fu（哈尔滨工程大学计算机科学与技术学院）、Zhiyu Fan（中国科学院信息工程研究所）、Boquan Li（哈尔滨工程大学计算机科学与技术学院）、Jiakun Liu（哈尔滨工业大学计算学部）、Yachao Liang（中国科学院信息工程研究所）、Min Yu（中国科学院信息工程研究所） 💡 毒舌点评 这篇综述及时填补了音视频深度伪造这一新兴交叉领域综述的空白，系统梳理了生成技术、检测方法和关键数据集，并指出了现有检测器在泛化性和鲁棒性上的普遍短板。然而，其实验部分虽有价值，但复现条件苛刻（需对大量检测器重新实现/训练），且综述本身未提出新的检测算法，结论的普适性受限于所选的有限数据集和检测器。 🔗 开源详情 代码：论文中未提及提供本文相关的代码仓库链接。论文指出，许多被评估的检测器“要么没有开放其实现代码，要么发布的代码或模型不完整”，因此论文作者对这些检测器进行了重新实现或训练。 模型权重：未提及。 数据集：论文评估所用的数据集（FakeAVCeleb, IDForge, AVLips, LAV-DF）是已公开的，但论文未提供获取方式或整理脚本。 Demo：未提及。 复现材料：论文为每个检测器标注了参考文献，并说明了重新训练/评估的总体原则，但未提供详细的复现配置文件、超参数列表或检查点。 论文中引用的开源项目：论文作为综述，引用了大量生成与检测的原始工作（如Wav2Lip, SadTalker, SpeechForensics等），这些工作本身大多有公开代码，但论文并未将其整合为一个可运行的工具包。 📌 核心摘要 这篇论文旨在应对音视频深度伪造（Audio-Visual Deepfake）日益增长的威胁，通过系统综述和实验评估，深入分析当前生成技术、检测方法及挑战。方法核心是：1）梳理了音视频深度伪造的生成方法（唇形同步和说话人脸生成）和相关数据集（完全伪造与部分伪造）；2）将检测方法分为基于模态融合和基于模态不一致性两大类进行综述；3）通过泛化性实验和鲁棒性实验，评估了代表性检测器在多个数据集和多种失真下的可靠性。 ...

📄 Auxiliary Multi-Label Training For Improving the Robustness of Audio Deepfake Detection on AI-Processed Data #音频深度伪造检测 #数据增强 #多任务学习 #自监督学习 #鲁棒性 ✅ 6.5/10 | 前50% | #音频深度伪造检测 | #数据增强 | #多任务学习 #自监督学习 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Inho Kim（松石大学） 通讯作者：Souhwan Jung*（松石大学） 作者列表：Inho Kim（松石大学），Jiwon Seo（松石大学），Seoyoung Park（松石大学），Thien-Phuc Doan（松石大学），Souhwan Jung*（松石大学） 💡 毒舌点评 亮点在于问题定义非常清晰——将“AI处理”从传统伪造中剥离，并提出一个简单易懂的训练框架（AMLT）来提升模型对此类数据的鲁棒性，思路直接有效。短板则是实验对比略显单薄，仅用了两个AP模块进行训练和评估，且未深入探讨不同AP组合或更复杂场景下的泛化能力，对方法为何有效的理论解释也主要停留在t-SNE可视化，机制剖析不够深。 🔗 开源详情 代码：论文中未提及自己方法（AMLT）的代码仓库链接。 模型权重：未提及公开的模型权重。 数据集：评估所用数据集（VCTK, LibriSpeech, VoxCeleb, ASVspoof 2021, DSD-Corpus, In-The-Wild）为公开数据集，论文提供了引用。训练基线使用ASVspoof 2019公开数据。 Demo：未提供在线演示。 复现材料：给出了基线模型、AP模块的来源链接（开源工具），以及部分训练设置描述（如保持基线配置、调整输出层），但关键超参数（损失权重、学习率等）未说明。 论文中引用的开源项目： 神经编解码器：BigCodec, EnCodec, SpeechTokenizer, FunCodec 语音增强：ClearerVoice, VoiceFixer, Resemble-Enhance, Denoiser 基线模型/特征：wav2vec 2.0 (Hugging Face) 📌 核心摘要 要解决什么问题：音频深度伪造检测模型（如SSL-Conformer, SSL-AASIST）在面对经过神经编解码器（NC）或AI语音增强（SE）等AI处理（AP）的音频时，性能会严重下降，因为这些处理会引入网络伪影，导致模型误判。 方法核心是什么：提出辅助多标签训练（AMLT）。在训练阶段，为AP处理后的音频分配额外的辅助标签（如AP bona, AP sp），将原本的二分类（真实/伪造）扩展为多分类进行训练，使模型能显式学习区分AP数据。在评估阶段，则忽略辅助标签，回归原始的二分类进行性能评估。 与已有方法相比新在哪里：打破了音频深度伪造检测领域长期遵循的“二分类训练”范式。与简单的数据增强（Aug）方法相比，AMLT通过引入辅助标签，在训练时为AP数据提供了更细粒度的监督信号，理论上能学到更具区分性的特征表示。 主要实验结果如何：在SSL-Conformer和SSL-AASIST两个基线上，AMLT（4L-2L设置）相比基线和简单数据增强方法，在包含AP数据的评估集上均取得了最高的准确率。具体而言，4L-2L使SSL-AASIST准确率从65.89%提升至72.28%，SSL-Conformer从71.21%提升至76.63%，优于简单数据增强的69.58%和72.94%。混淆矩阵和t-SNE可视化显示，AMLT能更好地区分真实样本和经过AP处理的真实样本。 实际意义是什么：提供了一种提升音频深度伪造检测模型在真实世界（音频可能经过各种AI预处理）场景下鲁棒性的有效策略，有助于增强现有检测系统的实用性和安全性。 主要局限性是什么：方法有效性对训练时所选AP模块的代表性有依赖；论文未深入分析AMLT提升性能的深层原因（如为何多标签训练优于二分类训练）；实验仅验证了特定基线和有限AP组合下的效果，未在更广泛场景（如未知AP、混合AP）下验证泛化性。 🏗️ 模型架构 论文中未提供专用的模型架构图（AMLT本身是一种训练策略，而非新模型结构）。AMLT应用于两个现有的基线模型： ...