定长训练遇上变长语音:用时长嵌入去纠正自注意力的位置偏置
针对固定补齐截断在变长检测中丢失全局时长上下文的问题,该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图,最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力,而帧独立与帧依赖两种变体则带来代价甚至退化。
针对固定补齐截断在变长检测中丢失全局时长上下文的问题,该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图,最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力,而帧独立与帧依赖两种变体则带来代价甚至退化。
本文对 39 个语音伪造数据集做可核对审计,发现缺人口统计标注使公平评估不可行、共享真实语音源使跨数据集评估夸大泛化,且合成文档与许可缺失限制复现。
论文针对自监督前端为深伪检测提供了什么依据这一问题,提出把判定轴投影到各证据子空间并用解释比例度量,在冻结、微调和后训练条件下用静音等九类证据检验,显示同质训练放大信号级捷径而多样训练与后训练能部分抑制但静音残留持续存在。
FakeSound2 把声音伪造检测从二分类扩展为定位何时伪造、辨别如何伪造与追溯何处来源的三维诊断,证据是域内操纵类型精度 93.1% 掉到域外 32.4%,代价是相似操纵与新来源仍难区分且需大规模可控构造与标注。
针对干净与多种增强梯度方向冲突和幅值失衡问题,论文提出以干净梯度为参考的对齐加指数滑动平均幅值归一化,在保持干净锚不变下用可运行的多增强训练在域外集上降低等错误率,但冲突裁剪阈值与参考选择仍需更多验证。
针对神经编解码处理后真语音更易被误判为假的问题,该工作用难正例挖掘加引导损失和三元组损失拉开编解码后真与假的嵌入距离,在未见编解码上把等错误率从约三成降到约一成二,代价是需构造特定小批量并调两个间隔超参数。
针对 44.1 kHz 歌声伪造检测,论文用全带专家保全局加子带专家抓局部伪影,对比四种融合后在 WildSVDD 上以蒸馏再聚合达到 Test A 最低 1.58% 与 Test B 8.77%,代价是多专家训练与推理结构更复杂。
针对预训练语音表示漏掉低层幅度相位伪影的问题,该工作用频率音频编码器显式建模幅度与相位、用谱混合专家在冻结奇异基下适配 WavLM,在 2019 LA 上报告 0.29% 等错误率与 0.0081 最小串联代价,代价是引入跨注意力融合与多专家门控等额外结构与超参数。
针对音视频局部短时伪造易被全局池化稀释的问题,MS-GNN 把视频切成 400 ms 非重叠窗口建异构图并做自下而上聚合与自上而下回注,用视频级主损失加窗口级辅助损失训练,在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC,在 FakeAVCeleb 上准确率 93.20% 而 AUC 最高为 96.75%,代价是依赖 …
针对歌声合成检测中伴奏遮蔽与幅度谱丢失相位 discontinuity 的问题,OPERA-Net 以相位一致 CQT 捕捉瞬时频率异常并以 WavLM 语义门控抑制伴奏,在 CtrSVDD 混合 EER 做到 1.54% 而代价是双流结构与预训练依赖。
针对泰米尔语等六种东南亚语言真伪检测覆盖不足的问题,论文用十个开源与四个闭源系统按真实文本配对生成 711 小时数据,证明在 ASVspoof5 上为 1.25% 等效错误率的模型会在新数据上恶化到 43.8% 左右,而在新数据上微调可恢复到 0.2% 左右,但伴随原域遗忘与语言间难度差异。
SingFox 针对歌声伪造检测泛化难的问题,用 20 个语言、1150 歌手、四类生成范式构造六条评测赛道,报告跨数据集最高准确率 77.84 %,而替代伪造使基线跌至 45.13 %,代价是训练子集小且部分语言缺乏人评验证。
针对自监督预训练偏重语音内容而忽视局部伪造痕迹的问题,该文提出混帧扰动加帧级监督的中间后训练阶段,在 ASVspoof5 上以无增强单模型取得 4.50% 等错误率,并在 ASVspoof2021 上把 LA 与 DF 差距压缩到 0.16 个百分点,代价是需要额外调拼接比例与 LoRA 位置。
论文以跨生成器与黑盒低资源两条赛道检验环境声真假判别,第一名在两赛道均把等错误率压到 0.3% 左右,代价是依赖大规模自监督表征、针对性增广与多系统集成。
该文在固定 BigVGAN 的 F5-TTS 管线中用配对重合成把检测分离归因到声学梅尔生成,再用不含检测器的对抗微调抬高固定检测器的等错误率,并用只见过微调输出的检测器适应把两类输出重新检出,代价是遗留基准性能随适应语料不同而回落。
论文用时间对齐自监督表示上的积分梯度定位判决证据,再经 100 条样本人工标注与掩蔽反证,显示 AASIST 看非语音环境、CA-MHFA 看局部音素、SLS 看词边界与频谱完整性,而重压缩是三者共同的失效条件。
针对静态 RawBoost 在环境声上破坏高频纹理且采样与决策边界无关的问题,DAR-Boost 用可微噪声层加形状与强度解耦加自适应路由做对抗增强,在 EnvSDD 上把 ATA 降到 0.90% 而代价是引入梯度反转与多样性权重的联合调参。
论文用统一纯 Python 工具 DeepFense 复现已有系统并做 96 系统交叉评测,报告显示自监督前端主导性能方差而 CodecFake 训练泛化最好,但高平均性能伴随质量性别语言上的公平性代价。
针对 MLAAD 开放集溯源中 SSL 域内强但域外过自信的问题,论文用冻结 XLSR-53 加 66 维 CORES 双分支与输入条件门控联合能量间隔训练,在 Eval 上报告 97.6% 域内准确率、4.9% EERc 和 10.4% FPR95,代价是需 Dev 域外样本做辅助监督且门控需冻结预热与熵正则维持。
针对隐式身份泄漏导致的跨说话人泛化失败,论文用样本级余弦正交加批量级交叉协方差的双粒度几何约束配合课程式加权做说话人伪影分离,在 ASVspoof 2019 LA、2021 DF 和 In-the-Wild 上报告 1.35%、7.88% 和 21.58% 等错误率,代价是对解耦强度与训练节奏更敏感且最难攻击仍有残留误差。