面向端侧部署的音频伪造检测压缩:跨域蒸馏与移动引导剪枝如何分工
该文针对 XLSR-AASIST 这类 3 亿参数量级检测器难以部署的问题,用跨域知识蒸馏补泛化监督、用移动分数引导结构化剪枝保关键结构,在 90% 稀疏度下做到 31.9M 参数和 23.3G FLOPs 且多数据集平均只上升 1.30% EER。
该文针对 XLSR-AASIST 这类 3 亿参数量级检测器难以部署的问题,用跨域知识蒸馏补泛化监督、用移动分数引导结构化剪枝保关键结构,在 90% 稀疏度下做到 31.9M 参数和 23.3G FLOPs 且多数据集平均只上升 1.30% EER。
针对阿拉伯语方言泛化和声学信道鲁棒两类偏移,论文冻结 W2V-BERT-2.0 并用小波提示微调加跨层聚合得到多个检测器,再按赛道分别做多窗口大融合与中心截断小融合,在官方终测上取得 Track1 1.96% 和 Track2 1.04% 的等错误率,代价是融合分数依赖整个评测集做标准化因而不能逐文件独立复现。
针对声码器伪造与编解码伪造分布差异大的问题,论文用本地 FedProx 加逐层按到中心距离加权的聚合做联邦伪造语音检测,最强证据是双客户端下平均等错误率降到 0.266% 接近集中联合训练,代价是仍略逊于集中训练且只验证了两客户端严重非独立同分布情形。
针对低码率神经音频编码导致深伪检测错误上升的问题,论文用混合配对协议定位真假两侧不对称失效,再冻结 DAC 并加入码率条件残差适配器做检测器引导微调,在 ASVspoof 2019 LA 上 0.5 kbps 处把 AASIST 等效错误率大幅降低,同时只增加约 1.75% 参数并保持重建质量基本相当。
在冻结 wav2vec 2.0 与 4 维 PCA 和 200 样本预算下对照 QSVM、RBF-SVM 与单隐层 MLP,最强证据是 ASV19 到 ADD 上 QSVM 以 AUC 76.04% 和 EER 27.00% 保留可分性而 MLP 退到约 50%,代价是反向与近域转移反转且校准更差。
针对部署后新伪造攻击占主导而旧攻击仍残留的问题,SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督,在六个演变环境中把未见攻击上的等错误率大幅降低,但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。
SEAR 把音频伪造检测拆成 verdict、证据识别与量化、取证解释四问,用 35 个声学特征的统计规则构造参考证据,最强证据是冻结模型的 BAEA-Fixed 在 19LA 上把 T1 EER 从 36.34% 降到 24.53%,代价是依赖稳定的真品参考分布且跨域收益明显变小。
针对新伪造机制不断出现而真实语音来源已知的更新场景,论文提出按生成机制组织任务的 RAMI 协议与非对称提示方法 RF-Prompt,在 RAMI 上取得 10.110% 平均 EER 与 10.370% 混合 EER,但离线联合训练仍更优且部分机制上基线更低。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚、只修正元测试梯度的域梯度手术及其逐层变体,在多组跨数据集评估上报告了平均相对等错误率下降,但部分数据集上仍存在未胜出项与方向敏感性代价。
针对未见攻击类型与声学条件下的语音伪造检测,论文提出域自适应双门控混合专家 DADGMoE,用原始波形与 SSL 表示的双路 Sinc 滤波加可学习域原型计算路由权重,再用轻量批量归一化仿射专家变换特征,在 21DF、ITW、FoR 上相对 XLSR-AASIST 基线取得约 31.2% 至 40.8% 的等错误率相对下降,代价是增加约 0.17M 参数并需 …
针对声码器到神经编解码器合成范式迁移导致的泛化下降,论文先用共享线性分类器比较 12 种声学表示,再提出双视角 MN-P 融合 token 级分层 XLS-R 与话语级 pooled 无人声残差,在合并测试集上把最强重训基线的等错误率从 5.986% 降到 2.744%,未见编解码器子集从 15.692% 降到 6.136%,代价是依赖离线人声分离与冻结大模 …
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对只改一两个词的部分语音伪造,论文用神经编解码器压缩原声并以时间重复最低有效位方式预先藏回自身,再比较接收信号与自重建的动态时间规整差异做检测,在单双词替换下把等错误率降到约 9% 和约 5%,代价是发布前必须嵌入且极短篡改仍难检。
针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。
针对神经音频编解码器生成的老年伪造语音检测任务,论文构建英汉老年编解码器伪造数据集并证明旧基准模型跨年龄泛化严重退化,提出以詹森香农散度对齐语言绑定与图像绑定表示的融合框架 BONSAI,以平均等错误率 1.66% 建立新基准,但代价是依赖域内老年训练数据与双基础模型推理成本。
针对生成器持续演化导致判别边界失效的问题,DASM 只用真实音乐学习记忆库流形再用原始与偏差双分支判别,在 SONICS 上报告 0.13% EER、99.89% 准确率、99.98% AUC,代价是跨域到 FakeMusicCaps 时 EER 仍升至 25.59% 且需两阶段训练与 MERT 提示调优。
论文把部分伪造 utterance 中合成词定位问题并入 Whisper 的下一词预测,用前后标记包住假词并用部分声码器重合成词降低数据成本,同域上检测与转写与专用 ResNet 相当,但跨合成器与跨域时明显退化。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚的不对称投影 DGS 及其逐层变体 LW-DGS,在多组跨数据集评测上报告平均相对等错误率下降 5.29% 和 4.04%,代价是在部分数据集上仍有波动且未验证延迟与算力开销。
针对合成语音来源验证被说话人特征干扰的问题,论文提出在双分支框架上加说话人解耦的切比雪夫损失与双曲黎曼损失,在 MLAAD 四种说话人-来源组合协议上以 ResNet34 加 RiemannSD-AAM 取得平均 EER 最低,但未见训练仍依赖伪说话人标签与固定超参数。
论文固定后训练检查点比较监督微调与组相对策略优化微调,报告纯 GRPO 在域内持平而四个域外集回升,但强正则欠拟合与去掉负奖励变差构成主要代价。