A Superb-Style Benchmark of Self-Supervised Speech Models for Audio Deepfake Detection

📄 A Superb-Style Benchmark of Self-Supervised Speech Models for Audio Deepfake Detection #音频深度伪造检测 #自监督学习 #基准测试 #模型评估 #鲁棒性 ✅ 7.0/10 | 前25% | #音频深度伪造检测 | #自监督学习 | #基准测试 #模型评估 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:未说明(论文按顺序列出作者,未明确指定第一作者) 通讯作者:未说明(论文中未明确标注通讯作者) 作者列表:Hashim Ali, Nithin Sai Adupa, Surya Subramani, Hafiz Malik(均来自University of Michigan, Electrical and Computer Engineering) 💡 毒舌点评 本文最大的价值在于“填空”——在音频深度伪造检测这个安全关键领域,终于有了一个像SUPERB那样标准化的评测框架,让不同研究能放在同一擂台上比较,这本身就是一个重要的贡献。但短板也同样明显:它本质上是一个“评测员”而非“创新者”,提出的Spooof-SUPERB协议是现有技术的整合而非新方法的突破,且未开源代码或模型,大大削弱了其作为基准的实践影响力。 🔗 开源详情 代码:论文中未提及代码仓库链接。 模型权重:未提及公开本次实验所使用的SSL模型下游微调后的权重。 数据集:论文中评估所使用的数据集(如ASVspoof系列、In-the-Wild、DFEval等)多为公开数据集,但论文本身未提供新的数据集,也未说明如何获取或处理它们。 Demo:未提及。 复现材料:论文详细描述了下游任务协议(冻结SSL、加权和聚合、分类器结构、训练/评估数据集),提供了复现所需的大部分信息,但缺乏具体的训练超参数(如学习率、优化器、batch size)。 论文中引用的开源项目:论文引用了大量SSL模型的原始论文(如wav2vec 2.0, HuBERT, WavLM等),这些都是开源项目。但本文自身未提供基于这些项目的整合代码。 总结:论文中未提及任何由本文作者发布的开源计划(代码、模型、工具)。 📌 核心摘要 这篇论文旨在解决音频深度伪造检测领域缺乏统一评估标准、导致研究结果难以比较的问题。其核心方法是提出一个名为“Spoof-SUPERB”的SUPERB式基准,该基准采用固定的下游任务设置(冻结SSL前端+加权层聚合+简单分类器),在ASVspoof 2019训练集上训练,并在包括ASVspoof 2019、2021、DeepfakeEval 2024、In-the-Wild、Famous Figures和ASVSpoofLD在内的8个数据集上进行跨域评估。与以往碎片化的研究相比,这是首个系统性地评估20个涵盖生成式、判别式和混合式架构的自监督学习模型的标准化基准。主要实验结果显示,大规模判别式SSL模型(如XLS-R、UniSpeech-SAT、WavLM Large)在平均EER上显著优于生成式模型和FBANK基线(例如XLS-R为17.4%,而FBANK为46.5%),并在噪声、混响和编解码器退化条件下表现出更强的鲁棒性。本文的实际意义是为社区提供了一个可复现的基线和实用的模型选择指南。主要局限性在于,固定的下游协议(训练数据选择、简单后端)可能限制了对模型潜力的挖掘,且未公开代码和模型权重。 ...

2026-04-29 · 更新于 2026-07-24 · 3 min · 507 words

AI-Generated Music Detection in Broadcast Monitoring

📄 AI-Generated Music Detection in Broadcast Monitoring #音频深度伪造检测 #数据集 #鲁棒性 #工业应用 ✅ 7.0/10 | 前50% | #音频深度伪造检测 | #数据集 | #鲁棒性 #工业应用 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:David López-Ayala (Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain) 通讯作者:未明确标注(根据邮箱顺序,第一作者与Martin Rocamora并列,推测Martin Rocamora可能为通讯作者,但论文未明确声明) 作者列表:David López-Ayala (Music Technology Group, Universitat Pompeu Fabra)、Asier Cabello (BMAT Licensing S.L.)、Pablo Zinemanas (BMAT Licensing S.L.)、Emilio Molina (BMAT Licensing S.L.)、Martin Rocamora (Music Technology Group, Universitat Pompeu Fabra) 💡 毒舌点评 亮点:本文最大的价值在于其“问题意识”——它没有停留在实验室的完美条件下自嗨,而是直指工业界(广播监测)的真实痛点,并通过精心设计的AI-OpenBMAT数据集和系统的消融实验,量化证明了现有“明星模型”在复杂声学环境下的脆弱性,为该领域指明了亟需突破的方向。短板:论文止步于“诊断”和“展示问题”,并没有提出任何新的“药方”(新的检测模型或算法)。作为一篇方法论文,其贡献更偏向数据工程和基准测试,技术深度略显不足,使得最终结论虽扎实但冲击力有限。 ...

2026-04-29 · 更新于 2026-07-24 · 2 min · 235 words

Assessing the Impact of Speaker Identity in Speech Spoofing Detection

📄 Assessing the Impact of Speaker Identity in Speech Spoofing Detection #音频深度伪造检测 #多任务学习 #自监督学习 #说话人识别 🔥 8.0/10 | 前25% | #音频深度伪造检测 | #多任务学习 | #自监督学习 #说话人识别 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者:Anh-Tuan DAO(法国阿维尼翁大学计算机实验室, Laboratoire d’informatique d’Avignon) 通讯作者:未说明(论文未明确标注,但联系邮箱来自Nicholas Evans) 作者列表:Anh-Tuan DAO(法国阿维尼翁大学计算机实验室)、Driss Matrouf(法国阿维尼翁大学计算机实验室)、Nicholas Evans(法国EURECOM, Sophia Antipolis) 💡 毒舌点评 这篇论文的亮点在于它设计了一个巧妙的“可开关”框架(SInMT),能统一评估两种关于说话人信息的对立假设,并且实验设计扎实,在四个数据集上验证了“去除说话人信息”对检测特定高级伪造攻击(A11)的显著效果。然而,其短板在于整体创新属于对现有SSL+多任务框架的特定应用组合优化,且论文未探讨将两种模式(aware/invariant)动态融合的潜力,结论部分稍显仓促。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:使用的是公开的ASVspoof 5, ASVspoof 2021, ITW和MUSAN数据集,论文中未提供新的或私有数据集。 Demo:未提及。 复现材料:论文给出了详细的训练细节、配置(如优化器、学习率、Batch Size、Epochs、硬件)和关键超参数(α, λ),以及数据增强流程,为复现实验提供了必要信息。 论文中引用的开源项目:引用了XLSR预训练模型([10])。 📌 核心摘要 要解决什么问题: 研究在基于自监督学习(SSL)的语音伪造检测系统中,说话人身份信息究竟是应该被利用还是被抑制,以及这种信息对模型性能有何具体影响。 方法核心是什么: 提出一个名为说话人不变多任务(SInMT)的统一框架。该框架使用预训练的XLSR作为特征提取器,后接两个结构相同的MHFA分类头。核心创新在于通过控制一个梯度反转层(GRL)的开启/关闭,使模型能在“说话人感知(MHFA-spk)”和“说话人不变(MHFA-IVspk)”两种模式间灵活切换。 与已有方法相比新在哪里: 以往工作多单独评估多任务学习或不变性学习,SInMT框架首次在单一SSL骨干网络中实现了二者的统一与直接对比。它允许研究者系统评估在相同数据和特征基础上,引入或抑制说话人信息带来的不同效果。 主要实验结果如何: 在四个评估集(ITW, ASVspoof 5 评估集, ASVspoof 2021 LA和DF隐藏子集)上,说话人不变模式(MHFA-IVspk) 取得了最佳的整体性能。与基线MHFA模型相比,其平均EER(等错误率)降低了17.2%(从7.41%降至6.13%)。对于最具挑战性的攻击类型A11,MHFA-IVspk实现了48%的相对EER降低(从17.02%降至8.76%)。说话人感知模式(MHFA-spk)也优于基线。 主要实验结果表格(论文中Table 1): 模型 ITW EER(%) ASV5 eval EER(%) ASV21LA EER(%) ASV21DF EER(%) 平均EER(%) AASIST 7.03 5.54 13.66 9.60 8.95 Conformer 5.69 3.85 12.49 10.40 8.10 MHFA 4.31 4.64 12.14 8.58 7.41 MHFA-spk 3.76 5.29 8.67 8.41 6.53 MHFA-IVspk 3.58 4.98 8.41 7.57 6.13 实际意义是什么: 为设计更鲁棒的语音伪造检测系统提供了新的思路和实证依据。研究表明,在SSL特征基础上,主动抑制说话人特定信息可能使模型更专注于伪造痕迹本身,从而提升对高级、高仿真伪造攻击的检测能力,尤其是在跨数据集、跨说话人的场景下。 主要局限性是什么: 论文指出,虽然MHFA-IVspk整体更优,但其在“见过说话人”的闭集场景下可能不如MHFA-spk,这一点因评估集均为开集(说话人与训练集不重叠)而未能验证。此外,框架的通用性受限于其特定的特征提取器(XLSR)和后端分类器(MHFA)。 🏗️ 模型架构 SInMT框架的整体架构如下: ...

2026-04-29 · 更新于 2026-07-24 · 2 min · 260 words

Audio Deepfake Detection at the First Greeting: "Hi!"

📄 Audio Deepfake Detection at the First Greeting: “Hi!” #音频深度伪造检测 #时频分析 #端到端 #鲁棒性 #实时处理 ✅ 7.5/10 | 前25% | #音频深度伪造检测 | #时频分析 | #端到端 #鲁棒性 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Haohan Shi(拉夫堡大学伦敦分校数字技术研究所) 通讯作者:Yunxiao Zhang(埃克塞特大学计算机科学系) 作者列表:Haohan Shi(拉夫堡大学伦敦分校数字技术研究所)、Xiyu Shi(拉夫堡大学伦敦分校数字技术研究所)、Safak Dogan(拉夫堡大学伦敦分校数字技术研究所)、Tianjin Huang(埃克塞特大学计算机科学系)、Yunxiao Zhang(埃克塞特大学计算机科学系) 💡 毒舌点评 这篇论文精准地切入了音频伪造检测中一个极具现实意义的细分场景——“第一句话”检测,并为此设计了针对性的轻量化框架,实验对比充分且结果显著,工程化考量(效率、部署)也值得肯定。不过,其核心模块(PCEM, FCEM)的命名虽显“豪华”,但内部算子(如卷积、池化、GELU)的组合更像是一个精心调优的“乐高”拼装,原创的理论洞察稍显薄弱,更像是一个扎实的工程优化案例。 🔗 开源详情 代码:论文在结论部分声明“Codes are available.”,表明代码已公开,但未在文中提供具体的仓库链接(如GitHub URL)。 模型权重:未提及是否公开预训练模型权重。 数据集:训练数据集Dcom由多个公开数据集构建,论文未提供独立的下载链接,但指明了来源语料库。评测数据集ADD-C也已公开使用。 Demo:未提供在线演示。 复现材料:提供了较为详细的训练配置信息(损失函数、优化器、调度策略、Batch Size、早停设置等),以及模型架构的主要组件和关键超参数。未提及是否提供配置文件、环境依赖或更详细的附录。 论文中引用的开源项目:提到了依赖的基线模型实现(LCNN, RawNet2, AASIST等)和数据集(Fake-or-Real, Wavefake, ASVspoof等)。 论文中未提及开源计划:除了声明代码可用外,未提及是否在特定平台维护、是否持续更新或提供issue支持等详细开源计划。 📌 核心摘要 本文旨在解决在真实世界通信降质(如编解码、丢包)条件下,对超短音频(0.5-2秒)进行深度伪造检测的挑战,典型场景是通话开头的“Hi”。作者提出了S-MGAA框架,这是对MGAA的轻量化扩展。其核心方法包括两个新模块:像素-通道增强模块(PCEM)和频率补偿增强模块(FCEM),前者从时频像素和通道维度增强伪造线索的显著性,后者通过多尺度频率分析来补偿时间信息的不足。与已有方法相比,本文首次联合关注了超短输入和通信降质鲁棒性两个方面,并设计了轻量高效的模型。主要实验结果表明:在ADD-C测试集上,S-MGAA-MFCC在0.5秒输入下的平均等错误率(EER)为3.44%,相比次优基线(RawGAT-ST)的4.52%降低了23.89%;在所有时长和降质条件下均取得最优或次优性能;同时,模型在实时因子(RTF)、浮点运算量(GFLOPs)和训练时间上展现出显著优势。该研究为实时部署在资源受限设备(如智能手机)上的早期语音欺骗检测提供了可行方案。主要局限性在于,实验评估均在合成降质数据集上进行,未在真实部署的实时通信系统中验证其端到端性能。 ...

2026-04-29 · 更新于 2026-07-24 · 2 min · 315 words

Audio-Visual Deepfake Generation and Detection: An Exploratory Survey

📄 Audio-Visual Deepfake Generation and Detection: An Exploratory Survey #音频深度伪造检测 #语音伪造检测 #对比学习 #基准测试 #数据集 ✅ 6.5/10 | 前25% | #音频深度伪造检测 | #对比学习 | #语音伪造检测 #基准测试 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者:Hang Xu(哈尔滨工程大学计算机科学与技术学院) 通讯作者:Boquan Li(哈尔滨工程大学计算机科学与技术学院,liboquan@hrbeu.edu.cn),Min Yu(中国科学院信息工程研究所,yumin@iie.ac.cn) 作者列表:Hang Xu(哈尔滨工程大学计算机科学与技术学院)、Yuning An(哈尔滨工程大学计算机科学与技术学院)、Pengrui Fu(哈尔滨工程大学计算机科学与技术学院)、Zhiyu Fan(中国科学院信息工程研究所)、Boquan Li(哈尔滨工程大学计算机科学与技术学院)、Jiakun Liu(哈尔滨工业大学计算学部)、Yachao Liang(中国科学院信息工程研究所)、Min Yu(中国科学院信息工程研究所) 💡 毒舌点评 这篇综述及时填补了音视频深度伪造这一新兴交叉领域综述的空白,系统梳理了生成技术、检测方法和关键数据集,并指出了现有检测器在泛化性和鲁棒性上的普遍短板。然而,其实验部分虽有价值,但复现条件苛刻(需对大量检测器重新实现/训练),且综述本身未提出新的检测算法,结论的普适性受限于所选的有限数据集和检测器。 🔗 开源详情 代码:论文中未提及提供本文相关的代码仓库链接。论文指出,许多被评估的检测器“要么没有开放其实现代码,要么发布的代码或模型不完整”,因此论文作者对这些检测器进行了重新实现或训练。 模型权重:未提及。 数据集:论文评估所用的数据集(FakeAVCeleb, IDForge, AVLips, LAV-DF)是已公开的,但论文未提供获取方式或整理脚本。 Demo:未提及。 复现材料:论文为每个检测器标注了参考文献,并说明了重新训练/评估的总体原则,但未提供详细的复现配置文件、超参数列表或检查点。 论文中引用的开源项目:论文作为综述,引用了大量生成与检测的原始工作(如Wav2Lip, SadTalker, SpeechForensics等),这些工作本身大多有公开代码,但论文并未将其整合为一个可运行的工具包。 📌 核心摘要 这篇论文旨在应对音视频深度伪造(Audio-Visual Deepfake)日益增长的威胁,通过系统综述和实验评估,深入分析当前生成技术、检测方法及挑战。方法核心是:1)梳理了音视频深度伪造的生成方法(唇形同步和说话人脸生成)和相关数据集(完全伪造与部分伪造);2)将检测方法分为基于模态融合和基于模态不一致性两大类进行综述;3)通过泛化性实验和鲁棒性实验,评估了代表性检测器在多个数据集和多种失真下的可靠性。 ...

2026-04-29 · 更新于 2026-07-24 · 1 min · 176 words

Auxiliary Multi-Label Training For Improving the Robustness of Audio Deepfake Detection on AI-Processed Data

📄 Auxiliary Multi-Label Training For Improving the Robustness of Audio Deepfake Detection on AI-Processed Data #音频深度伪造检测 #数据增强 #多任务学习 #自监督学习 #鲁棒性 ✅ 6.5/10 | 前50% | #音频深度伪造检测 | #数据增强 | #多任务学习 #自监督学习 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Inho Kim(松石大学) 通讯作者:Souhwan Jung*(松石大学) 作者列表:Inho Kim(松石大学),Jiwon Seo(松石大学),Seoyoung Park(松石大学),Thien-Phuc Doan(松石大学),Souhwan Jung*(松石大学) 💡 毒舌点评 亮点在于问题定义非常清晰——将“AI处理”从传统伪造中剥离,并提出一个简单易懂的训练框架(AMLT)来提升模型对此类数据的鲁棒性,思路直接有效。短板则是实验对比略显单薄,仅用了两个AP模块进行训练和评估,且未深入探讨不同AP组合或更复杂场景下的泛化能力,对方法为何有效的理论解释也主要停留在t-SNE可视化,机制剖析不够深。 🔗 开源详情 代码:论文中未提及自己方法(AMLT)的代码仓库链接。 模型权重:未提及公开的模型权重。 数据集:评估所用数据集(VCTK, LibriSpeech, VoxCeleb, ASVspoof 2021, DSD-Corpus, In-The-Wild)为公开数据集,论文提供了引用。训练基线使用ASVspoof 2019公开数据。 Demo:未提供在线演示。 复现材料:给出了基线模型、AP模块的来源链接(开源工具),以及部分训练设置描述(如保持基线配置、调整输出层),但关键超参数(损失权重、学习率等)未说明。 论文中引用的开源项目: 神经编解码器:BigCodec, EnCodec, SpeechTokenizer, FunCodec 语音增强:ClearerVoice, VoiceFixer, Resemble-Enhance, Denoiser 基线模型/特征:wav2vec 2.0 (Hugging Face) 📌 核心摘要 要解决什么问题:音频深度伪造检测模型(如SSL-Conformer, SSL-AASIST)在面对经过神经编解码器(NC)或AI语音增强(SE)等AI处理(AP)的音频时,性能会严重下降,因为这些处理会引入网络伪影,导致模型误判。 方法核心是什么:提出辅助多标签训练(AMLT)。在训练阶段,为AP处理后的音频分配额外的辅助标签(如AP bona, AP sp),将原本的二分类(真实/伪造)扩展为多分类进行训练,使模型能显式学习区分AP数据。在评估阶段,则忽略辅助标签,回归原始的二分类进行性能评估。 与已有方法相比新在哪里:打破了音频深度伪造检测领域长期遵循的“二分类训练”范式。与简单的数据增强(Aug)方法相比,AMLT通过引入辅助标签,在训练时为AP数据提供了更细粒度的监督信号,理论上能学到更具区分性的特征表示。 主要实验结果如何:在SSL-Conformer和SSL-AASIST两个基线上,AMLT(4L-2L设置)相比基线和简单数据增强方法,在包含AP数据的评估集上均取得了最高的准确率。具体而言,4L-2L使SSL-AASIST准确率从65.89%提升至72.28%,SSL-Conformer从71.21%提升至76.63%,优于简单数据增强的69.58%和72.94%。混淆矩阵和t-SNE可视化显示,AMLT能更好地区分真实样本和经过AP处理的真实样本。 实际意义是什么:提供了一种提升音频深度伪造检测模型在真实世界(音频可能经过各种AI预处理)场景下鲁棒性的有效策略,有助于增强现有检测系统的实用性和安全性。 主要局限性是什么:方法有效性对训练时所选AP模块的代表性有依赖;论文未深入分析AMLT提升性能的深层原因(如为何多标签训练优于二分类训练);实验仅验证了特定基线和有限AP组合下的效果,未在更广泛场景(如未知AP、混合AP)下验证泛化性。 🏗️ 模型架构 论文中未提供专用的模型架构图(AMLT本身是一种训练策略,而非新模型结构)。AMLT应用于两个现有的基线模型: ...

2026-04-29 · 更新于 2026-07-24 · 2 min · 284 words

AVATAR: Audio-Visual Adaptive Fusion via Trained Agent Reinforcement for Multimodal Deepfake Detection

📄 AVATAR: Audio-Visual Adaptive Fusion via Trained Agent Reinforcement for Multimodal Deepfake Detection #音频深度伪造检测 #强化学习 #多模态模型 #鲁棒性 ✅ 7.5/10 | 前25% | #音频深度伪造检测 | #强化学习 | #多模态模型 #鲁棒性 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:Ebad Shabbir(DSEU-OKHLA, New Delhi, India) 通讯作者:Jiechao Gao(Stanford University, Stanford, CA, USA) 作者列表:Ebad Shabbir(DSEU-OKHLA, New Delhi, India),Pushkar Arora(DSEU-OKHLA, New Delhi, India),Rakshita Saksaina(DSEU-OKHLA, New Delhi, India),Tiange Xie(Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China),Jiechao Gao(Stanford University, Stanford, CA, USA) 💡 毒舌点评 本文巧妙地将强化学习(PPO)引入多模态融合权重的动态决策,思路新颖且在小规模实验上取得了令人瞩目的性能提升,证明了“让模型自己决定信哪个”的可行性。然而,其所有实验仅基于1000个片段的微小数据集进行,这就像在沙盘里赢得了一场战争,其结论能否推广到真实世界的海量、复杂数据洪流中,要打一个大大的问号,极大地限制了工作的说服力。 ...

2026-04-29 · 更新于 2026-07-24 · 2 min · 338 words

Beyond Face Swapping: A Diffusion-Based Digital Human Benchmark for Multimodal Deepfake Detection

📄 Beyond Face Swapping: A Diffusion-Based Digital Human Benchmark for Multimodal Deepfake Detection #音频深度伪造检测 #多模态模型 #基准测试 #扩散模型 #数据集 🔥 8.1/10 | 前25% | #音频深度伪造检测 | #多模态模型 | #基准测试 #扩散模型 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者:未说明(论文标注Jiaxin Liu†和Jia Wang†贡献相等,未明确谁为第一) 通讯作者:Saihui Hou⋆, Zhaofeng He⋆ 作者列表:Jiaxin Liu(北京邮电大学,BUPT)、Jia Wang(北京师范大学,BNU)、Saihui Hou(未说明具体机构,可能来自BUPT或BNU)、Min Ren(滴滴出行,Didi Chuxing)、Huijia Wu(滴滴出行,Didi Chuxing)、Long Ma(未说明)、Renwang Pei(未说明)、Zhaofeng He(未说明具体机构,可能来自BUPT或BNU) 💡 毒舌点评 亮点在于构建了第一个专门为评估“扩散模型驱动的数字人”伪造而设计的大规模多模态数据集(DigiFakeAV),数据生成流程严谨,有效暴露了现有检测器的脆弱性,为领域提供了急需的试金石。短板则是提出的检测方法DigiShield虽然有效,但更像一个验证多模态融合有效性的“基线”而非一个具有颠覆性的新架构,且其在DigiFakeAV上80.1%的AUC也说明“道高一尺,魔高一丈”,真正的安全挑战远未解决。 🔗 开源详情 代码:论文中提及项目主页 https://hubeiwuhanliu.github.io/DigiFakeAV.github.io/,但未明确是否提供代码仓库链接。 模型权重:未提及是否公开DigiShield或其他模型的权重。 数据集:通过项目主页 https://hubeiwuhanliu.github.io/DigiFakeAV.github.io/ 提供获取信息,表明将开源。 Demo:未提及在线演示。 复现材料:给出了部分实现细节(如预处理、骨干网络ResNet-50、采样30帧、数据增强),但缺乏关键训练超参数(优化器、学习率等),复现材料不完整。 论文中引用的开源项目:引用了多个作为数据生成和对比的方法/模型,如Sonic [8], Hallo [5], EchoMimic [4], CosyVoice 2 [16], 以及基线检测器如Meso4 [19], Xception [2]等。 📌 核心摘要 要解决什么问题:现有深度伪造检测数据集和技术主要针对过时的面交换方法,无法有效评估和应对由扩散模型生成的、具有高度真实性和多模态一致性的新一代数字人伪造,导致现有检测器性能在现实威胁面前大幅下降。 ...

2026-04-29 · 更新于 2026-07-24 · 2 min · 389 words

Combining SSL Speech Features, Contextual Transformers and Mamba Models for Realistic Audio Spoofing Detection

📄 Combining SSL Speech Features, Contextual Transformers and Mamba Models for Realistic Audio Spoofing Detection #音频深度伪造检测 #状态空间模型 #预训练 #自监督学习 #基准测试 ✅ 7.5/10 | 前25% | #音频深度伪造检测 | #状态空间模型 | #预训练 #自监督学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Luis Buera(Microsoft) 通讯作者:未说明(论文作者列表未明确区分第一/通讯作者,但通讯邮箱为microsoft.com) 作者列表:Luis Buera(Microsoft),Héctor Delgado(Microsoft),Daniele Colibro(Microsoft),Antonio Miguel(University of Zaragoza, Spain) 💡 毒舌点评 亮点:论文构建的“真实世界”评测基准极具说服力,明确区分了注入和播放两种攻击呈现方式,并评估了模型在不同通话时长下的性能,这为学术研究与工业落地之间架设了更实际的桥梁。 短板:提出的“ResNet-CoT-Mamba”更像是一个高效的成功模型组装案例,其核心组件如Audio Mamba、Hymba集成方式的原创性有限,更多是对现有技术的巧妙组合与验证。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:论文使用了公开数据集(如ASVspoof系列,VoxCeleb等)和私有数据集。公开部分可从原数据集官网获取;私有数据集(Realworld, Augmented)未说明获取方式。 Demo:未提及。 复现材料:提供了相当详细的架构图、训练策略、超参数和数据增强方法。论文中引用的开源项目/工具包括:wav2vec 2.0, RawBoost, 各种神经编解码器(神经声码器/编解码器库)。 论文中未提及明确的开源计划。 📌 核心摘要 问题:传统音频伪造检测模型在实验室条件下效果良好,但在面对真实通话场景(如电话客服中心)中的注入和播放攻击时,性能会下降,且现有研究对攻击呈现方式关注不足。 方法核心:提出“ResNet-CoT-Mamba”架构。首先使用预训练的wav2vec 2.0提取语音特征,然后通过由残差网络(ResNet)和上下文Transformer(CoT)组成的模块捕获短时相关性,最后用Mamba状态空间模型(SSM)捕获长程依赖关系。论文探索了多种Mamba集成方式,包括单向、双向、Hymba(Transformer与Mamba并行)和双路径结构。 创新点:1) 构建了包含注入、播放和真实通话中心场景的全面评测基准;2) 提出将Transformer(CoT)与Mamba在检测任务中进行多种方式的组合,特别是首次将Hymba架构引入该领域。 实验结果:在提出的基准测试中,最佳模型(Dual+Hymba+u (6))相比强基线LGF,在EER和MDR上分别实现了52.6%和56.3%的相对改进。在“真实世界”数据集上,该模型在播放攻击场景的MDR上显著优于基线。关键数据见下表: 模型 Pool EER(%) Avg. MDR(%) Pool MDR(%) 播放攻击MDR(%) LGF (基线) 7.27 19.90 23.84 39.72 Dual+Hymba+u (6) 3.28 10.58 8.15 未在表中直接给出 Dual+Hymba+u (4) 3.77 12.52 9.59 31.05 实际意义:该工作推动了音频伪造检测从实验室走向真实应用,为电话客服、金融通话等场景提供了更可靠的防御模型。 主要局限性:1) 模型架构的创新主要体现在组合方式上,而非基础模块的原创设计;2) 论文未开源代码、模型权重或测试数据集,影响了可复现性;3) 训练数据包含未公开的私有数据集(如Realworld, Augmented),尽管公开部分足够验证核心结论。 🏗️ 模型架构 论文提出了两种主要架构变体:ResNet-CoT-Mamba和ResNet-CoT-Dual-Mamba。 ...

2026-04-29 · 更新于 2026-07-24 · 2 min · 352 words

CompSpoof: A Dataset and Joint Learning Framework for Component-Level Audio Anti-Spoofing Countermeasures

📄 CompSpoof: A Dataset and Joint Learning Framework for Component-Level Audio Anti-Spoofing Countermeasures #音频深度伪造检测 #语音分离 #多任务学习 #数据集 ✅ 7.0/10 | 前25% | #音频深度伪造检测 | #语音分离 | #多任务学习 #数据集 学术质量 4.7/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者:Xueping Zhang(苏州昆山杜克大学,多模态智能系统苏州市重点实验室;数字创新研究中心) 通讯作者:Ming Li(苏州昆山杜克大学,多模态智能系统苏州市重点实验室;数字创新研究中心) 作者列表: Xueping Zhang(苏州昆山杜克大学,多模态智能系统苏州市重点实验室;数字创新研究中心) Yechen Wang(OfSpectrum, Inc., Los Angeles, USA) Linxi Li(OfSpectrum, Inc., Los Angeles, USA) Liwei Jin(OfSpectrum, Inc., Los Angeles, USA) Ming Li(苏州昆山杜克大学,多模态智能系统苏州市重点实验室;数字创新研究中心) 💡 毒舌点评 亮点:敏锐地捕捉并定义了“成分级伪造”这一更隐蔽的攻击新范式,并为此构建了首个配套数据集和完整的端到端解决方案,框架设计逻辑自洽。 短板:提出的数据集规模较小(2500条),且环境声伪造检测效果显著弱于语音伪造检测,说明所提的“专用环境声反欺骗模型”(直接复用XLSR-AASIST)可能并不完全适配,成为系统性能短板。 ...

2026-04-29 · 更新于 2026-07-24 · 2 min · 411 words