随输入换压缩宽度、只扰动高频梅尔带:音频伪造检测的泛化框架
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
论文把混合音频的取证从整段二分类扩展为语音与背景各自的存在与真假八分类,用分离引导加混合波形与伪影证据联合推理的 TruMix 在 MixedTruth 上达到宏平均 AUC 约 98.51%,代价是约 98.8M 参数的多路 Transformer 与结构化推理流程。
论文针对部署中无标签条件下无法判断检测器是否处于熟悉条件的问题,在固定检测器嵌入上用两个参考的正则马氏距离做可信与告警分流,实验显示未被拦截的伪造误接受率降到 1% 以下,但代价是自动覆盖率明显下降且真语音漂移也会触发大量告警。
论文用语音和背景声各自独立真假的混合数据,比较四种检测器对假语音与假背景声的敏感度和依赖频段,发现假背景声更好检但差距主要来自对未见过假语音的泛化失败,且前端编码器决定了证据集中在哪个频段。
针对伪造语音加微小扰动即可骗过检测器的问题,该文用轻净化前后检测分数的变化来判断风险,只对高风险输入做强扩散净化,在三个检测器和三种攻击下取得最优综合误差,而干净输入几乎不受影响,代价是每次都要做轻探针净化且自适应攻击下存在绕门风险。
针对合成语音破坏自然频谱-时间协同变化的问题,论文用频谱节点和时间节点之间的联合协方差建图并做多项式图滤波,再与图注意力分支互补融合,在 ASVspoof 与四个跨数据集上降低等错误率,代价是只增加约 4 至 8k 的后端可训练参数和高阶滤波可能引入冗余关系。
论文揭示合法神经编解码压缩会让现有音频伪造检测大幅退化且基于编解码重合成训练的模型更脆弱,并用成对一致性微调在保持编解码生成检测的同时把压缩下的平均等错误率从 28.67% 降到 12.77%,代价是需多编解码增强训练与推理前只用单次前向。
论文针对语音伪造检测中训练攻击与未知生成器、编码器和录音条件不一致导致失准的问题,用一次源梯度同时完成虚拟适应和向高损失方向的端点偏移,只做两次梯度计算就在四个未见测试集上一致改进 MLDG,但结论只在 19LA 训练、两种 XLSR 后端和固定扰动半径下成立。
该文针对 XLSR-AASIST 这类 3 亿参数量级检测器难以部署的问题,用跨域知识蒸馏补泛化监督、用移动分数引导结构化剪枝保关键结构,在 90% 稀疏度下做到 31.9M 参数和 23.3G FLOPs 且多数据集平均只上升 1.30% EER。
针对阿拉伯语方言泛化和声学信道鲁棒两类偏移,论文冻结 W2V-BERT-2.0 并用小波提示微调加跨层聚合得到多个检测器,再按赛道分别做多窗口大融合与中心截断小融合,在官方终测上取得 Track1 1.96% 和 Track2 1.04% 的等错误率,代价是融合分数依赖整个评测集做标准化因而不能逐文件独立复现。
针对声码器伪造与编解码伪造分布差异大的问题,论文用本地 FedProx 加逐层按到中心距离加权的聚合做联邦伪造语音检测,最强证据是双客户端下平均等错误率降到 0.266% 接近集中联合训练,代价是仍略逊于集中训练且只验证了两客户端严重非独立同分布情形。
针对低码率神经音频编码导致深伪检测错误上升的问题,论文用混合配对协议定位真假两侧不对称失效,再冻结 DAC 并加入码率条件残差适配器做检测器引导微调,在 ASVspoof 2019 LA 上 0.5 kbps 处把 AASIST 等效错误率大幅降低,同时只增加约 1.75% 参数并保持重建质量基本相当。
在冻结 wav2vec 2.0 与 4 维 PCA 和 200 样本预算下对照 QSVM、RBF-SVM 与单隐层 MLP,最强证据是 ASV19 到 ADD 上 QSVM 以 AUC 76.04% 和 EER 27.00% 保留可分性而 MLP 退到约 50%,代价是反向与近域转移反转且校准更差。
针对部署后新伪造攻击占主导而旧攻击仍残留的问题,SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督,在六个演变环境中把未见攻击上的等错误率大幅降低,但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。
SEAR 把音频伪造检测拆成 verdict、证据识别与量化、取证解释四问,用 35 个声学特征的统计规则构造参考证据,最强证据是冻结模型的 BAEA-Fixed 在 19LA 上把 T1 EER 从 36.34% 降到 24.53%,代价是依赖稳定的真品参考分布且跨域收益明显变小。
针对新伪造机制不断出现而真实语音来源已知的更新场景,论文提出按生成机制组织任务的 RAMI 协议与非对称提示方法 RF-Prompt,在 RAMI 上取得 10.110% 平均 EER 与 10.370% 混合 EER,但离线联合训练仍更优且部分机制上基线更低。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚、只修正元测试梯度的域梯度手术及其逐层变体,在多组跨数据集评估上报告了平均相对等错误率下降,但部分数据集上仍存在未胜出项与方向敏感性代价。
针对未见攻击类型与声学条件下的语音伪造检测,论文提出域自适应双门控混合专家 DADGMoE,用原始波形与 SSL 表示的双路 Sinc 滤波加可学习域原型计算路由权重,再用轻量批量归一化仿射专家变换特征,在 21DF、ITW、FoR 上相对 XLSR-AASIST 基线取得约 31.2% 至 40.8% 的等错误率相对下降,代价是增加约 0.17M 参数并需 …
针对声码器到神经编解码器合成范式迁移导致的泛化下降,论文先用共享线性分类器比较 12 种声学表示,再提出双视角 MN-P 融合 token 级分层 XLS-R 与话语级 pooled 无人声残差,在合并测试集上把最强重训基线的等错误率从 5.986% 降到 2.744%,未见编解码器子集从 15.692% 降到 6.136%,代价是依赖离线人声分离与冻结大模 …
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读