语音伪造检测

📄 WaveSP-Net: Learnable Wavelet-Domain Sparse Prompt Tuning for Speech Deepfake Detection #语音伪造检测 #时频分析 #预训练 #自监督学习 #参数高效微调 🔥 8.0/10 | 前25% | #语音伪造检测 | #时频分析 #预训练 | #时频分析 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xi Xuan（University of Eastern Finland） 通讯作者：Xi Xuan（University of Eastern Finland， 邮箱：xi.xuan@uef.fi） 作者列表： Xi Xuan（University of Eastern Finland） Xuechen Liu（National Institute of Informatics） Wenxin Zhang（University of Chinese Academy of Sciences， University of Toronto） Yi-Cheng Lin（National Taiwan University） Xiaojian Lin（Tsinghua University） Tomi Kinnunen（University of Eastern Finland） 💡 毒舌点评 亮点： 论文巧妙地将经典的、可解释的小波变换（多分辨率分析）与前沿的参数高效微调（Prompt Tuning）相结合，不仅提升了检测性能，还通过消融实验有力地证明了可学习小波滤波器和稀疏化机制的关键作用，这种“老树开新花”的思路值得肯定。 短板： 尽管在DE24和SpoofCeleb两个基准上表现优异，但论文的实验验证相对局限，主要依赖于SSL模型XLSR和特定后端Mamba，未能探讨该小波提示框架在其他预训练模型（如HuBERT）或更轻量级端侧模型上的泛化能力与适用性，其“普适性”有待更广泛验证。 ...

📄 RTCFake: Speech Deepfake Detection in Real-Time Communication #语音伪造检测 #一致性学习 #数据集 #实时处理 ✅ 7.0/10 | 前25% | #语音伪造检测 | #一致性学习 | #数据集 #实时处理 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Jun Xue（武汉大学，计算机科学与工程学院，网络空间安全专业，Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education） 通讯作者：Yanzhen Ren（武汉大学，计算机科学与工程学院） 作者列表：Jun Xue（武汉大学，计算机科学与工程学院）、Zhuolin Yi（武汉大学，计算机科学与工程学院）、Yihuan Huang（武汉大学，计算机科学与工程学院）、Yanzhen Ren（武汉大学，计算机科学与工程学院）、Yujie Chen（北京航空航天大学）、Cunhang Fan（安徽大学，计算机科学与技术学院）、Zicheng Su（武汉大学，计算机科学与工程学院）、Yongcheng Zhang（武汉大学，计算机科学与工程学院）、Bo Cai（武汉大学，计算机科学与工程学院） 💡 毒舌点评 亮点：论文首次系统性地指出了真实RTC传输环境对语音伪造检测的“黑盒”挑战，并针对性地构建了大规模配对数据集和基于语言学单元的训练策略，问题定义精准且工程落地意图明确。短板：所提的“音素引导一致性学习”本质上是特征对齐的损失函数改进，创新性相对有限；实验部分虽然全面，但核心方法（PCL）相比简单的混合训练（Mix）带来的提升幅度（EER从7.33%降至5.81%）并非革命性，说服力中等。 📌 核心摘要 解决的问题：现有的语音深度伪造检测研究主要针对离线场景，忽略了真实实时通信（RTC）过程中由噪声抑制、编解码、数据包丢失等黑盒处理模块引入的复杂、耦合且动态的失真，导致检测模型跨平台泛化和噪声鲁棒性差。 方法核心：提出首个针对RTC场景的大规模语音深度伪造数据集RTCFake（约600小时），并通过主流通信平台进行真实传输构建配对的离线/在线语音。基于观察到音素级表征比帧级表征在传输前后更稳定，提出了音素引导的一致性学习（PCL）策略，在训练时约束模型学习跨传输条件的音素级不变特征。 新在哪里：数据层面，首次构建了覆盖多生成模型、多RTC平台、多噪声场景的配对数据集；方法层面，首次利用语音的音素结构作为稳定锚点，引导检测模型学习领域不变的鉴别性特征，区别于以往基于帧级特征或简单数据增强的方法。 主要实验结果： 在RTCFake评估集上，提出的PCL方法取得了最佳的平均EER（5.81%），优于仅离线训练（9.60%）、仅在线训练（8.96%）和混合数据训练（7.33%）。 跨平台泛化实验表明，PCL方法在已见和未见通信平台上均显著优于基线方法，尤其在未见平台上的EER稳定且最低。 噪声鲁棒性实验证明，在多种未见噪声条件下，PCL方法的性能稳定性优于其他训练策略。 实际意义：为在真实、复杂的RTC环境中部署语音伪造检测系统提供了关键的数据基础和一种有效的建模范式，有助于提升视频会议、社交软件等场景下的语音交互安全。 主要局限性：未考虑真实世界中录音/播放硬件的异质性、用户行为多样性等终端侧变量与平台处理管线的交互影响；在极端噪声或某些平台的强非线性失真下仍存在性能差距。 🏗️ 模型架构 本文并未提出一个全新的检测模型架构，而是在已有的SOTA检测模型框架上引入了一种新的训练策略。其核心流程如下： ...

📄 Spectro-Temporal Modulation Representation Framework for Human-Imitated Speech Detection #语音伪造检测 #时频分析 #信号处理 #生物声学 ✅ 6.5/10 | 前50% | #语音伪造检测 | #时频分析 | #信号处理 #生物声学 | arxiv 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 低 👥 作者与机构 第一作者：Khalid Zaman（日本先进科学技术大学院大学） 通讯作者：Masashi Unoki（日本先进科学技术大学院大学） 作者列表：Khalid Zaman（日本先进科学技术大学院大学）、Masashi Unoki（日本先进科学技术大学院大学） 💡 毒舌点评 这篇论文成功地将听觉通路的建模（从耳蜗到皮层）包装成一个“框架”，并应用于“人类模仿语音检测”这个小众但有趣的任务，达到了接近人类听众的准确率（71% vs. 70%），这是其亮点。然而，其核心“创新”很大程度上是现有特征工程（STM）和听觉模型（GTFB/GCFB）的组合应用，且实验仅在一个规模极小（100个样本）且未公开的数据集上进行，使得其结论的普适性和说服力大打折扣，这是其明显短板。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文使用了自定义的“人类模仿语音数据集”，但未说明如何获取或是否公开。 Demo：未提及。 复现材料：未提供训练细节、配置、检查点或附录说明。 论文中引用的开源项目：未提及依赖的具体开源工具或模型（GTFB和GCFB是标准模型，但论文未引用具体实现库）。 总体结论：论文中未提及开源计划。 📌 核心摘要 这篇论文旨在解决人类模仿语音（由人自然发出）检测这一比检测AI合成语音更具挑战性的问题，因为模仿语音保留了高度的自然性。其核心方法是提出一种受听觉感知启发的频谱-时间调制（STM）表示框架，该框架分别使用Gammatone（GTFB）和Gammachirp（GCFB）耳蜗滤波器组提取子带信号，并通过希尔伯特变换提取包络后，再进行二维快速傅里叶变换以联合分析频谱和时间维度的调制模式。与已有方法相比，其新颖之处在于：1）系统性地应用了更符合人耳非对称特性的GCFB模型；2）引入了分段STM（Segmental-STM）以捕捉短时时变调制模式；3）将检测任务与人类听觉处理机制更紧密地对齐。主要实验结果表明，在一个包含100个样本的小型数据集上，分段STM（GCFB）特征配合Extra Trees分类器达到了71%的准确率，略高于人类听众70%的准确率，而传统的Mel频谱和音色特征表现较差。该工作的实际意义在于为语音鉴伪提供了一种基于生物启发式特征的新思路。主要局限性是实验所用数据集规模极小且未公开，限制了结果的可靠性和可复现性。 🏗️ 模型架构 本文提出的并非一个端到端的深度学习模型，而是一个基于传统信号处理和特征提取的“框架”，用于生成可分类的特征向量。其整体流程如图1所示。 输入与听觉滤波：输入语音信号首先通过一个模拟耳蜗功能的听觉滤波器组（GTFB或GCFB）。GTFB是耳蜗频率选择性的一阶近似（64通道，覆盖60Hz-7.6kHz），而GCFB在此基础上进一步模拟了随声级变化的滤波器非对称性。此步骤将宽带信号分解为多个符合临界带结构的子带信号。 包络提取：对每个子带信号，通过希尔伯特变换计算其解析信号，取模平方后经低通滤波器（截止频率64Hz）得到功率包络 e_k^2[n]。这模拟了听觉神经对子带信号的缓慢振幅变化的编码。 调制分析： 全局STM：将所有通道、所有时间点的包络组成一个二维矩阵，进行2D-FFT，取幅度谱得到 STM_GTFB 或 STM_GCFB。这捕捉了整个语音段在频谱调制（SM）和时间调制（TM）上的能量分布。 分段STM (Segmental-STM)：为捕捉短时动态，将包络重采样到160Hz后，分割为1秒长、50%重叠的片段（如图2所示）。对每个片段独立进行上述2D-FFT操作，得到 STM_seg(i)，并将所有片段的STM沿时间轴拼接成一个三维张量 STM_seg ∈ R^{K×M×S}。 分类：将最终得到的STM特征（展平、标准化后）输入至SVM、KNN或Extra Trees分类器，进行真假语音的二分类。 设计选择动机：整个架构的设计动机是模拟从耳蜗到听觉皮层的处理层级（图1），并利用调制域分析来捕捉对人类感知至关重要、但可能被传统频谱特征忽略的动态信息。 ...

📄 Neural Encoding Detection is Not All You Need for Synthetic Speech Detection #语音伪造检测 #自监督学习 #数据集 #模型评估 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Luca Cuccovillo（柏林工业大学，媒体技术中心） 通讯作者：根据论文格式和致谢，Xin Wang（理化学研究所，RIKEN）可能是通讯作者，但论文未明确标注。 其他作者： Xin Wang（日本理化学研究所，RIKEN 知能系统中心 PRESTO） Milica Gerhardt（柏林工业大学，媒体技术中心） Patrick Aichroth（柏林工业大学，媒体技术中心） 💡 毒舌点评 亮点：给当前合成语音检测领域狂热追捧的“神经编码检测”泼了一盆及时的冷水，一针见血地指出SOTA方法可能只是在检测“声码器痕迹”而非“合成语音本质”，并犀利地关联到法律证据适用性问题，格局打开了。 槽点：作为“综述”，自己提出的“假设驱动”方法部分（韵律、POI）有点像文献综述的简单罗列，深度和说服力不如对数据驱动方法的批判部分那么酣畅淋漓，有点“破而不立”的感觉。 🔗 开源详情 代码：论文未明确开源代码。但在图2的脚注中提供了一个GitHub仓库链接：https://neural-isnt-deepfake.github.io，该仓库用于发布其实验中创建的“神经编码后的自然语音”测试数据集。 模型权重：论文中实验部分使用的SSL模型（XLSR-AASIST, XLSR-SLS, XLSR-Mamba）的权重，声明是“使用作者提供的权重”，但未说明获取方式。 数据集： 引用的公开数据集：ASVspoof 2019/2021/2024 LA, ADD, SAFE, CodecFake等。 自建/发布的数据集：通过上述GitHub仓库，提供了用于复现其图2实验的、经过多种神经编码器处理的ASVspoof 2019 LA评估集子集。 在线Demo：未提及。 📌 核心摘要 这篇综述论文的核心贡献在于揭示并论证了当前合成语音检测领域的一个关键误区：过度依赖“神经编码检测”。论文首先系统回顾了基于SincNet、自监督学习（SSL）和神经编码检测的三类数据驱动方法，指出当前性能最佳的SSL模型实际上主要捕捉的是声码器（vocoder）在波形生成阶段引入的痕迹，而非语音合成特征提取阶段的异常。通过实验（图2）证明，当对自然语音施加神经编码后，现有SOTA检测器的性能会显著下降，这验证了其核心论点。论文进一步指出，这种依赖在长期来看是不可靠的，因为神经编码将成为语音传输的常态，而非合成的专属标志。因此，论文倡导未来研究应转向更具可解释性和针对性的“假设驱动”方法，如基于韵律异常和特定说话人身份（POI）验证的检测，并呼吁建立高质量的合成语音数据集、标准化的评估流程以及可解释性分析工具。 🏗️ 模型架构 本文是一篇综述和立场性论文，并未提出一个全新的、端到端的模型架构。因此，其“模型架构”部分主要体现在对现有三类数据驱动方法的梳理和批判上： SincNet-based 方法： 输入：原始音频波形。 核心组件：SincNet滤波器组，其参数（中心频率、带宽）通过可学习的sinc函数表示，旨在学习一组带通滤波器。 后续处理：滤波器组输出后接复杂的分析模块，如残差块（RawNet2）、图注意力网络（RawGAT-ST, AASIST）来建模时频关系。 关键设计理由：避免对梅尔频谱图使用2D卷积，直接在波形上学习滤波器。但论文指出，这些模型最终倾向于关注无语音的高频和低频区域（背景噪声），而非语音本身，导致泛化能力差。 SSL-based 方法： ...

📄 Listening Deepfake Detection: A New Perspective Beyond Speaking-Centric Forgery Analysis #语音伪造检测 #数据集 #多模态 #音视频 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Miao Liu（根据arXiv常见格式推断，可能来自某高校或研究机构，原文未提供具体机构信息） 通讯作者：Fangda Wei（根据arXiv常见格式推断，可能来自同一机构，原文未提供具体机构信息） 其他作者：Jing Wang, Xinyuan Qian（根据arXiv常见格式推断，可能来自同一机构，原文未提供具体机构信息） （注：提供的论文摘要中未包含作者所属机构信息，以上为基于arXiv论文常见格式的推断。完整论文全文通常在标题页或脚注中包含机构信息。） 💡 毒舌点评 亮点在于敏锐地捕捉到了现有深度伪造检测研究的“盲区”——只盯着“说谎的嘴”，却忽略了“倾听的脸”，这个视角的转换很有启发性，为领域打开了新方向。槽点则是新创的“ListenForge”数据集规模可能有限（基于5种生成方法），且提出的MANet模型虽然有效，但其复杂度和在真实世界海量、多变的“聆听”场景下的泛化能力，恐怕还有待更严苛的考验。 🔗 开源详情 代码：论文中提到“数据集和代码已开源”，并提供了匿名链接 https://anonymous.4open.science/r/LDD-B4CB。预计在论文被接收后会公开至GitHub等平台。 模型权重：论文摘要未提及是否公开预训练权重。 数据集：ListenForge数据集通过上述匿名链接提供。 预训练权重：所使用的视觉（如I3D）和音频（如VGGish）特征提取器为公开的预训练模型。 在线Demo：论文摘要未提及。 引用的开源项目：论文可能依赖于PyTorch/TensorFlow深度学习框架，以及MMDetection、FaceAlignment等用于人脸检测和关键点定位的开源工具。 📌 核心摘要 本文首次提出了“聆听深度伪造检测”这一新任务，旨在识别视频中人物在倾听状态下（非说话时）的伪造反应，弥补了现有研究主要集中于“说话”场景的不足。为解决此任务数据稀缺的问题，作者构建了首个专门数据集ListenForge，包含由五种不同头部生成方法合成的伪造聆听视频。针对聆听伪造中细微的运动不一致性，作者设计了一个名为MANet的运动感知与音频引导网络，该网络通过捕捉听众视频的细微运动，并利用说话者的音频语义来引导跨模态特征融合，从而有效检测伪造。实验表明，现有的说话深度伪造检测模型在聆听场景下性能显著下降（AUC约60%），而MANet在ListenForge数据集上取得了优越性能（AUC达94.5%）。该工作强调了超越传统“说话中心”范式进行深度伪造检测的必要性，并为交互场景下的多模态伪造分析开辟了新方向。 🏗️ 模型架构 MANet是一个用于二分类（真实/伪造）的双流网络，其核心思想是联合分析听众的视觉运动和说话者的音频语义。 整体流程： 输入：一段包含听众反应的视频片段（视觉流V）和对应的说话者音频片段（音频流A）。 特征提取： 视觉流：使用预训练的3D CNN（如I3D）提取视频片段的时空特征，得到视频特征 V。同时，通过计算相邻帧差异或使用光流网络，提取听众面部/头部的运动特征 M。 音频流：使用预训练的音频网络（如VGGish）提取说话者音频的语义特征 A。 跨模态融合与检测（核心模块 - Motion-aware and Audio-guided Network）： 运动特征处理：运动特征 M 首先通过一个由卷积层、批归一化（BN）和ReLU激活组成的模块进行编码。 音频引导的通道注意力（CHA）：将编码后的运动特征 M 与音频特征 A 结合。具体地，对 M 进行跨空间平均池化，得到一个通道描述符。然后，将该描述符与音频特征 A 拼接（或进行其他融合），通过全连接层（FC）、ReLU和另一个FC层，再经过Sigmoid函数生成通道注意力权重 W_c。这个权重 W_c 用于对中间视觉特征 V'（可能来自视觉流或运动特征）进行通道维度的重新加权，强调那些与当前说话内容更相关的视觉通道。 空间注意力（SPA）：将经过通道加权的特征与运动特征 M 再次结合，通过跨通道平均池化，然后经过卷积层和Sigmoid函数，生成空间注意力图 W_s。这个权重 W_s 用于对原始视频特征 V 进行空间维度的重新加权，引导模型关注听众面部/头部中运动最不一致或最可疑的区域。 分类：将经过双重注意力（空间和通道）精炼后的视频特征 V' 送入分类器（如全连接层），输出伪造概率。 关键设计理由： ...

📄 ProSDD: Learning Prosodic Representations for Speech Deepfake Detection against Expressive and Emotional Attacks #语音伪造检测 #对比学习 #预训练 #自监督学习 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Aurosweta Mahapatra（约翰霍普金斯大学，语言与语音处理中心 (CLSP)） 通讯作者：Berrak Sisman（约翰霍普金斯大学，语言与语音处理中心 (CLSP)），Nicholas Andrews（约翰霍普金斯大学，语言与语音处理中心 (CLSP)）（根据联系邮箱和致谢推断） 其他作者： Ismail Rasim Ulgen（约翰霍普金斯大学，语言与语音处理中心 (CLSP)） Kong Aik Lee（香港理工大学） 💡 毒舌点评 亮点：这篇论文的“脑回路”很清奇，不教模型去死记硬背伪造品的长相，而是先让它闭关修炼，通过“听”大量真实语音来内化人类说话时抑扬顿挫的“气韵”（韵律）。这种“先学正道，再辨邪魔”的思路，确实比单纯刷题（拟合伪造数据）高明不少，在面对情感丰富的“影帝级”伪造语音时，表现出了惊人的韧性。 槽点：不过，这套“两阶段修炼法”听起来就挺费算力的，训练步骤繁琐，而且为了“气韵”修炼，还得额外准备一个韵律编码器和说话人嵌入模型，系统复杂度直线上升。最让人嘀咕的是，论文里对“韵律不一致”的具体定义和建模方式，感觉还有点“玄学”，可解释性有待加强。 🔗 开源详情 代码：论文中明确提到将公开代码，并提供了一个项目网站链接：https://prosdd.github.io/ProSDD_website/。预计代码将托管在GitHub上。论文中未提供具体的GitHub仓库地址和stars数量。 模型权重：论文中未明确说明是否会公开预训练或最终的模型权重。 数据集：实验中使用的所有数据集（LibriSpeech， ASVspoof系列， EmoFake， EmoSpoof-TTS）均为公开学术数据集，可通过官方渠道获取。 预训练权重：模型基于公开的预训练XLS-R骨干。 在线Demo：论文中未提及。 依赖的开源项目：论文中明确引用的开源模型/工具包括：XLS-R (SSL backbone)， ECAPA-TDNN (说话人嵌入)， RawBoost (数据增强)， 以及作为基线的RawNet2， AASIST， XLSR-SLS。 📌 核心摘要 这篇论文旨在解决当前语音深度伪造检测（SDD）系统在面对富有表现力和情感的合成语音攻击时泛化能力不足的核心问题。现有方法过度依赖伪造数据，容易学习数据集特定的伪影，而非自然语音的可迁移特征。为此，作者提出了ProSDD，一个创新的两阶段框架。第一阶段，模型仅使用真实语音，通过一个受监督的掩码预测任务，学习以说话人身份为条件的韵律变化（基于音高、语音活动和能量），从而内化自然语音的韵律多样性。第二阶段，模型在欺骗分类任务中，将上述韵律预测任务作为辅助监督目标进行联合优化，以保持对韵律结构的敏感性。实验表明，ProSDD在ASVspoof 2019和2024基准上均优于基线模型，尤其在表达性数据集（如EmoFake和EmoSpoof-TTS）上实现了显著的性能提升（例如，将ASVspoof 2024的EER从25.43%降至16.14%）。该研究证明了显式建模自然语音韵律变异性对于提升SDD系统泛化能力的关键作用。其局限性可能在于对韵律特征的依赖，以及两阶段训练带来的额外计算开销。 🏗️ 模型架构 ProSDD的整体架构基于一个预训练的XLS-R（wav2vec 2.0的多语言版本）自监督学习（SSL）骨干网络，并对其进行两阶段微调。 ...