把真伪线索和攻击痕迹拆开:正交约束为何能让语音伪造检测跨库更稳
针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题,该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦,最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%,代价是在 19LA 上从 0.22% 微升到 0.32%。
针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题,该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦,最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%,代价是在 19LA 上从 0.22% 微升到 0.32%。
针对动态说话视频中唇同步线索不可靠的问题,该工作用说话人距离与语音能量的物理一致性做检测,在动态子集上取得 0.7449 的 ROC-AUC 并与唇同步模型集成带来增益,代价是依赖深度估计与声音分离质量且近距离麦克风等场景下关系会被削弱。
针对富有表现力和情感的语音伪造泛化难的问题,ProSDD 先在真实语音上学习说话人条件韵律表示、再把该目标保留为辅助任务联合训练伪造分类,在保持标准基准竞争力的同时大幅降低情感集等错误率,代价是需要构造外部韵律目标并执行两遍前向训练。
针对自监督音频伪造检测模型过大难以端侧部署的问题,论文用跨域知识蒸馏补监督、用移动分数引导结构化剪枝保关键结构,在 90% 稀疏下做到 31.9M 参数与 6.3× FLOPs 下降而多数据集平均性能只降 1.30%,代价是蒸馏仍受教师在无标注域外数据上误差的上限约束。
论文提出合成心音检测任务 SHAC 并构建 CARDIOFAKE 基准,用 MFCC 与 WavLM 的 Gram 最优传输融合 GROOT 在可见编解码器上达到 93.20% 准确率与 5.86% 等错误率,但跨编解码器泛化仍下降约 7 个百分点且推理开销未报告。
针对语音伪造检测泛化差且缺可解释推理的问题,该文用 4 万条人类标注的伪造线索做思维链监督,在 SALMONN 上做二分类与推理联合微调,最强证据是 Test-1-HL 上 EER 从 15.7% 降到 13.2%,代价是推理质量提升小且对高保真未见合成器仍吃力。
针对未知语音伪造泛化难的问题,该研究用包含扩散重建在内的重建样本构造难样本,并结合多层特征聚合与正则化辅助对比学习提升泛化,最强证据是五集平均等错误率从基线 15.789% 降到 8.247%,代价是在个别集上出现小幅回退且依赖重建与增强配置。
针对全频带黑盒检测难定位伪造痕迹的问题,BandMIL 用 8 频带注意力做可解释谱分析、用 WavLM 做全局时序建模并以门控融合与多实例学习聚合,在 ASVspoof 2019 LA 上报告 1.28% EER 和 0.0331 min t-DCF,但融合在 A10 等三类攻击上弱于单分支且未验证跨数据集泛化。
论文在冻结编码器加固定轻量后端的配方下,用约 315M 容量的 wav2vec2 家族对照 1 到 1406 种语言覆盖,并用相同 Libri-Light-60k 数据对照掩码预测与对比目标,发现域外误差在 128 语言处触底而 1406 语言不再提升,且掩码预测明显更稳,代价是结论限定于单训练语料与固定流程且覆盖与数据量无法彻底解耦。
针对音画伪造在未见篡改与跨语言下易失效的问题,Referee 用一次真实参考做生物特征锚点,经身份瓶颈压缩与跨身份匹配再联合音画时序做真伪判定,在 FakeAVCeleb 训练下跨库与跨语言取得最强 AUC 与 AP,但仍依赖同身份真实参考且对参考质量敏感。
VietPrism 用 993.4 小时真人语音与说话人配对的伪造语音研究方言和越英混说下的检测脆弱性,最强证据是零样本检测器随说话人相似度升高而 EER 明显恶化,代价是小方言样本少且合成系统只有四种。
针对直接压平小波散射系数会丢失父子路径关系的问题,WST-Graph 用固定的小波散射变换重建稀疏调制-载波网格再接入图后端,在 ASVspoof2019 LA 上以约 120k 可训练参数达到 2.92% 等错误率,并在 DFADD 等跨域集上显示出局部优势,但并非所有跨域集都一致占优。
针对人声与合成声部混合后全局检测失效的问题,该工作用分频段局部检测构成合成概率图再与目标声部能量掩码联合判断单个声部真伪,在人声鼓组吉他上表现较强而在贝斯上受限于分离质量。
针对同一句话中真假语音共存且需逐帧定位的问题,BISL 在帧分类主任务之外增加相邻帧差分的边界学习和段内均值标准差加紧致性的段学习,在 PartialSpoof 上报告 EER 为 2.52% 与 F1 为 97.40%,代价是跨数据集到 LPS 时仍只达到 EER 为 37.10% 与 F1 为 53.61% 且推理时仅保留帧头。
SPADE 针对长语音中局部篡改的检测与定位问题,用大模型改写文本加合成与编辑两类生成器构建 12 语言数据,并在定位模型上报告跨生成器、跨语言、跨声学环境三类泛化证据,主要代价是未见生成器下接近随机猜测且噪声下显著退化。
该文把 AI 音乐检测当作评估治理问题,用内容摘要与血缘分组冻结 828 轨主队列并分离校准与密封测试,在 562 轨四模型公共成功交集上报告 ArtifactNet 以 0.982 AUROC 领先但 Udio 补充集回落至 0.650,而聚合 F1 掩盖的生成器与真音乐域偏移与缺失覆盖决定了排名是否可比。
DFD-Lab 把数据集适配、配对片段表示、检测器接口与实验配置分开,用 FakeAVCeleb 训练、过滤后的 Deepfake-Eval-2024 外部测试三类融合实现,最一致的证据是 JPEG50 训练增强把外部 AUROC 从 0.504、0.538、0.458 分别提升到 0.691、0.605、0.570,但三者准确率同时从 …
GenTraceBench 把同一 TTS 谱系内预训练与 SFT、DPO、GRPO 适配后的配对检查点固定文本和说话人重合成来测取证稳定性,报告显示 RL 对齐平均归因变化小而部分 SFT 与预训练数据更换带来大幅漂移,且多样本注册只能缓解方差型漂移而不能纠正均值偏移。
针对未见攻击泛化难且不扩充数据、不改动原参数的问题,CoReLoop 用 LoopBridge 构造循环输入、循环 LoRA 加门控更新与 ExitBridge 对齐分类器,在 14 个跨域测试集上 24 层模型以约 10M 可训练参数把池化等错误率从 4.85% 降到 3.74%,自适应停止以平均 1.18 次通过达到 3.73%,代价是第二次通过仍需完整 …
针对真实扰动下单一音频伪造检测器不稳定的问题,ROGUE 用扰动智能体出难题、策略智能体按序挑选检测工具的对抗方式构造工作流,在 WaveFake 训练与多扰动和跨数据集评测中提升了平均准确率,但代价是联合搜索更贵且依赖工具多样性。