从单向门控到双向调制:BiSASV 如何让说话人与伪造检测互相校准
针对伪造语音攻击下说话人确认失效问题,BiSASV 用说话人全局统计调制反欺骗特征再反向门控说话人嵌入,并在 ASVspoof 2019 LA 评估集上报告 SASV-EER 0.73% 与 min a-DCF 0.0153,代价是依赖预训练前端与联合后端调参。
针对伪造语音攻击下说话人确认失效问题,BiSASV 用说话人全局统计调制反欺骗特征再反向门控说话人嵌入,并在 ASVspoof 2019 LA 评估集上报告 SASV-EER 0.73% 与 min a-DCF 0.0153,代价是依赖预训练前端与联合后端调参。
针对未见攻击与声学条件下的语音伪造检测,论文提出域自适应双选通混合专家,在波形与自监督表示两路做 Sinc 滤波并用域原型指导路由,在 21DF、ITW 和 FoR 上把等错误率从 3.69%、10.46% 和 7.47% 降到 2.54%、6.35% 和 4.42%,代价是只增加约 0.17M 参数并引入选通与原型等附加设计。
该研究固定模型与采样条件,以规模抽样和多源混合两组对照说明固定生成方法下扩量收益先升后降,而 53 种生成方法、94 小时的小混合集在跨域上优于上千小时的单一大数据集,但未验证模型容量与采样策略的交互代价。
论文用目标模型样本的平均残差做指纹并以马氏距离做归因与检测,在多语种多架构上报告近乎完美的单模型归因与可比深度基线的闭世界分类,代价是对抗自适应攻击与强混响压缩仍需重估计指纹。
针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题,MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排,在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好,但以多候选并行解码的推理开销为代价。
针对只用少数公开模型训练导致在真实商用语音合成面前泛化不足的问题,论文用 30 个 API 约 230 小时伪造语音构造 MultiAPI Spoof 并提出在嵌套块间加滑动窗口局部注意力的 Nes2Net-LA,加入训练后把 MultiAPI 测试集等错误率从 7% 以上降到 1% 以下且在未见 API 上仍有效,代价是 API 溯源中未见类召回仍偏低。
针对单中心单类学习把真语音压成单峰分布的问题,QAMO 按语音质量建立两个真语音中心并用质量分类与单类损失联合训练,在 XLSR-Conformer-TCM 上于 In-the-Wild 取得 5.21% 等错误率,代价是依赖 Scoreq 预测与增强样本的质量代理假设。
针对语音伪造检测中自监督特征平滑掉细粒度伪影的问题,该文冻结语音编码器、只用约 4.4% 附加参数学习量化器层级加权,在 2019 年评测上相对基线降低 46.2% 等错误率,在第 5 代评测上降低 13.9%,代价是增益随编解码器家族变化且静态权重不能自适应样本。
针对单句反欺诈易过拟合伪造痕迹的问题,RAT 用同说话人真参考做交叉注意力的增强训练,在 ASVspoof 5 评估集上以 2.57% EER 和 0.074 minDCF 达到单模型最优,且推理时可直接用零向量代替参考,代价是需要配对采样和两阶段微调。
针对大语言模型时代文本转语音与声音转换带来的分布漂移,VoxENES 2026 用英西双语 53628 个样本与 10 种后处理复现部署条件,不微调评测 8 个预训练检测器,最好的等错误率也只有 28.98%,多数接近随机猜测,代价是现有检测器依赖的细粒度伪影不再可靠。
针对防伪造说话人验证同时依赖说话人相似度和伪造检测分数的问题,AGENT 用分数最大化加方向选择性梯度融合做黑盒迁移攻击,在级联结构上报告最高 99.62% 攻击成功率,代价是扰动预算增大时信噪比降至 22 dB 左右。
针对多域混合训练时单高斯风格假设不足的问题,该文用风格空间在线高斯混合模型估计簇内偶然不确定性并与批量级扰动叠加增强,在 ASVspoof5 第一轨评估集上报告等错误率为 3.96% 和最小检测代价为 0.108,代价是引入分量数 K 与强度 λ 等超参数及批量统计稳定性依赖。
SMIA 针对 AI 合成语音中人耳不敏感的低能量时频区做黑盒频谱掩蔽与插值搜索,在 ASVspoof 2019 与 LibriSpeech 上报告独立反欺骗最高 100%、独立验证最高 97.5%、联合管线最高 82% 的攻击成功率,但强反欺骗与保真说话人特征之间存在明显张力。
针对部分伪造音频中短篡改片段难定位的问题,该研究用多尺度 GRU 建模时序连续性并以帧真伪、方向转移、融合精修三头联合监督,在 20 ms 分辨率下于 PartialSpoof 取得 6.45% 帧级等错误率并在 PartialEdit-E1/E2 取得 4.50% 与 3.85%,代价是需要精细帧标注与多损失调参。
该工作把二分类 deepfake 检测与开集来源归属统一为层次度量学习加小样本原型注册,用 WavLM-Large 加 LoRA 在 MLAAD v9 时间划分上训练并在 ASVspoof 5 Track 1 开放条件上报告 0.49% 等错误率与 99.0%/97.0% 归属精度,代价是余弦分数校准偏差与对原型覆盖度的依赖。
针对语音伪造检测只给真假标签而缺可核对解释的问题,该工作用冻结检测模型的可解释人工智能归因图加声学特征重要性约束多模态大模型生成时频定位解释,在 PartialSpoof 上以人工评分和定位保真度检验显示定位精度大幅提升,但多模型聚合会增加推理难度与不稳定性。
针对多方言阿拉伯语反欺骗基准缺失问题,ArFake 用 Casablanca 八方言加四种 TTS 构建 54413 条混合语料并以 Whisper-large 加浅分类头做检测,在域内取得 4.88% 等错误率、在未见 VITS 上取得 97.94% 准确率,代价是训练集伪造占比近七成且部分满分依赖低质量合成伪影。
针对防欺骗说话人确认中说话人判别与伪造检测目标不一致且分数分布易漂移的问题,论文提出以开发集等错率阈值边距为置信度的软门控分数融合,在两个基准集与四种声学模型组合上报告相对基线最高约 90% 的 a-DCF 相对改进,但阈值贴近 0 或 1 时会明显失效。
针对自监督前端加图池化后端这一语音防伪路线,SpAArSIST 把可学习图池化与堆栈节点注意力换成可控稀疏与轻量聚合,在后端计算量下降 20.7% 条件下把 In-the-Wild 等错误率从 4.64% 降到 2.82%,代价是 ASVspoof5 域内等错误率从 4.49% 微升到 5.05%。
该文在匹配主干与数据轮次预算下比较全局分类锚定与成对验证做开放集语音合成源头追溯,报告域内全局锚定 8.61% 等错误率优于成对变体的 12–15%,并以瓶颈对照与 k99 分析支持差距来自目标函数对嵌入方向的塑造而非单纯维度降低。