先把自己藏进声音里:无训练自嵌套如何抓住局部语音篡改
针对只改一两个词的部分语音伪造,论文用神经编解码器压缩原声并以时间重复最低有效位方式预先藏回自身,再比较接收信号与自重建的动态时间规整差异做检测,在单双词替换下把等错误率降到约 9% 和约 5%,代价是发布前必须嵌入且极短篡改仍难检。
针对只改一两个词的部分语音伪造,论文用神经编解码器压缩原声并以时间重复最低有效位方式预先藏回自身,再比较接收信号与自重建的动态时间规整差异做检测,在单双词替换下把等错误率降到约 9% 和约 5%,代价是发布前必须嵌入且极短篡改仍难检。
针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。
针对神经音频编解码器生成的老年伪造语音检测任务,论文构建英汉老年编解码器伪造数据集并证明旧基准模型跨年龄泛化严重退化,提出以詹森香农散度对齐语言绑定与图像绑定表示的融合框架 BONSAI,以平均等错误率 1.66% 建立新基准,但代价是依赖域内老年训练数据与双基础模型推理成本。
针对生成器持续演化导致判别边界失效的问题,DASM 只用真实音乐学习记忆库流形再用原始与偏差双分支判别,在 SONICS 上报告 0.13% EER、99.89% 准确率、99.98% AUC,代价是跨域到 FakeMusicCaps 时 EER 仍升至 25.59% 且需两阶段训练与 MERT 提示调优。
论文把部分伪造 utterance 中合成词定位问题并入 Whisper 的下一词预测,用前后标记包住假词并用部分声码器重合成词降低数据成本,同域上检测与转写与专用 ResNet 相当,但跨合成器与跨域时明显退化。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚的不对称投影 DGS 及其逐层变体 LW-DGS,在多组跨数据集评测上报告平均相对等错误率下降 5.29% 和 4.04%,代价是在部分数据集上仍有波动且未验证延迟与算力开销。
针对合成语音来源验证被说话人特征干扰的问题,论文提出在双分支框架上加说话人解耦的切比雪夫损失与双曲黎曼损失,在 MLAAD 四种说话人-来源组合协议上以 ResNet34 加 RiemannSD-AAM 取得平均 EER 最低,但未见训练仍依赖伪说话人标签与固定超参数。
论文固定后训练检查点比较监督微调与组相对策略优化微调,报告纯 GRPO 在域内持平而四个域外集回升,但强正则欠拟合与去掉负奖励变差构成主要代价。
针对固定补齐截断在变长检测中丢失全局时长上下文的问题,该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图,最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力,而帧独立与帧依赖两种变体则带来代价甚至退化。
本文对 39 个语音伪造数据集做可核对审计,发现缺人口统计标注使公平评估不可行、共享真实语音源使跨数据集评估夸大泛化,且合成文档与许可缺失限制复现。
论文针对自监督前端为深伪检测提供了什么依据这一问题,提出把判定轴投影到各证据子空间并用解释比例度量,在冻结、微调和后训练条件下用静音等九类证据检验,显示同质训练放大信号级捷径而多样训练与后训练能部分抑制但静音残留持续存在。
FakeSound2 把声音伪造检测从二分类扩展为定位何时伪造、辨别如何伪造与追溯何处来源的三维诊断,证据是域内操纵类型精度 93.1% 掉到域外 32.4%,代价是相似操纵与新来源仍难区分且需大规模可控构造与标注。
针对干净与多种增强梯度方向冲突和幅值失衡问题,论文提出以干净梯度为参考的对齐加指数滑动平均幅值归一化,在保持干净锚不变下用可运行的多增强训练在域外集上降低等错误率,但冲突裁剪阈值与参考选择仍需更多验证。
针对神经编解码处理后真语音更易被误判为假的问题,该工作用难正例挖掘加引导损失和三元组损失拉开编解码后真与假的嵌入距离,在未见编解码上把等错误率从约三成降到约一成二,代价是需构造特定小批量并调两个间隔超参数。
针对 44.1 kHz 歌声伪造检测,论文用全带专家保全局加子带专家抓局部伪影,对比四种融合后在 WildSVDD 上以蒸馏再聚合达到 Test A 最低 1.58% 与 Test B 8.77%,代价是多专家训练与推理结构更复杂。
针对预训练语音表示漏掉低层幅度相位伪影的问题,该工作用频率音频编码器显式建模幅度与相位、用谱混合专家在冻结奇异基下适配 WavLM,在 2019 LA 上报告 0.29% 等错误率与 0.0081 最小串联代价,代价是引入跨注意力融合与多专家门控等额外结构与超参数。
针对音视频局部短时伪造易被全局池化稀释的问题,MS-GNN 把视频切成 400 ms 非重叠窗口建异构图并做自下而上聚合与自上而下回注,用视频级主损失加窗口级辅助损失训练,在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC,在 FakeAVCeleb 上准确率 93.20% 而 AUC 最高为 96.75%,代价是依赖 …
针对歌声合成检测中伴奏遮蔽与幅度谱丢失相位 discontinuity 的问题,OPERA-Net 以相位一致 CQT 捕捉瞬时频率异常并以 WavLM 语义门控抑制伴奏,在 CtrSVDD 混合 EER 做到 1.54% 而代价是双流结构与预训练依赖。
针对泰米尔语等六种东南亚语言真伪检测覆盖不足的问题,论文用十个开源与四个闭源系统按真实文本配对生成 711 小时数据,证明在 ASVspoof5 上为 1.25% 等效错误率的模型会在新数据上恶化到 43.8% 左右,而在新数据上微调可恢复到 0.2% 左右,但伴随原域遗忘与语言间难度差异。
SingFox 针对歌声伪造检测泛化难的问题,用 20 个语言、1150 歌手、四类生成范式构造六条评测赛道,报告跨数据集最高准确率 77.84 %,而替代伪造使基线跌至 45.13 %,代价是训练子集小且部分语言缺乏人评验证。