用可解释卷积滤波暴露预训练检测器的可迁移弱点：Malasimplex 攻击解读

英文题目：Robustesse aux attaques adversariales de détecteurs de deepfakes audio basés sur un modèle pré-entraîné

会议身份：conference:jep:2026:conference-paper-id:kandharsingh26_jep

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#信号处理 #对抗鲁棒性 #可解释性 #音频深度伪造检测

评分：5.5/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Shirley Kandharsingh：机构信息未能从会议 PDF 纯文本可靠映射
• Pierre Serrano：机构信息未能从会议 PDF 纯文本可靠映射
• Jean-François Bonastre：机构信息未能从会议 PDF 纯文本可靠映射
• Olivier Boëffard：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频深度伪造检测需将原始波形判为真实或伪造，难点在于高性能系统普遍依赖公开自监督语音编码器，其架构与训练数据高度透明而易被攻击者复用以构造迁移攻击。作者提出Malasimplex两阶段方法链：先冻结Wav2Vec 2.0 XLS-R编码器并在其上训练多头注意力投影头以形成可分的真实与伪造潜在空间，该投影头输出直接作为下一步的度量空间。再冻结该投影头并在伪造音频上优化长度为257的线性卷积滤波器，滤波后批量嵌入均值与原始真实嵌入均值之间的余弦相似度最大化驱动滤波器更新直至收敛。相对Malafide仅利用目标系统响应而不显式建模真实分布、Malacopula依赖同说话人配对与非线性结构并逐说话人训练，新方法摆脱说话人依赖并直接向真实类靠拢，滤波器更简单且频响可解释。在YourTTS-Eval评测设置下，攻击后DDA目标1的EER为19.91%，从攻击前DDA目标1的EER 5.07%升至19.91%。该结论适用边界限于两种文本到语音伪造与两种编码器后端组合，尚未验证商业高质量伪造与局部篡改等外推范围，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么公开预训练模型值得担心？

本文的输入是论文原文与官方原图像素，目标是让刚进入语音与音频方向的研究生能独立复述方法与实验条件，凡涉及数字、配置与结论都以原文证据为准，不引入外部评价。必须保留的信息包括攻击的 2 阶段流程、冻结与更新的对象、两种目标检测器的骨干差异、白盒与黑盒的定义、YourTTS 与 XTTS 两组伪造的来源，以及等错误率变化的方向与倍数。

音频伪造检测任务的输入是一段原始波形，输出是一个二分类判决：真实音频在论文中称为 bona fide，伪造音频称为 spoof 或 deepfake。白话说，系统要听出哪些是人真正说过的，哪些是语音合成或变换生成的。对初学者而言，关键是把检测器拆成两部分：先用英文缩写 SSL 表示的自监督学习模型把波形变成向量，再用分类头把向量映射为概率。论文使用的两类 SSL 分别是 Wav2Vec 2.0 XLS-R 和 WavLM，前者在大规模多语种数据上预训练，后者还加入去噪目标。

自监督学习模型 × 音频伪造检测器： 自监督学习模型负责把原始波形编码为富含语音信息的向量表示，音频伪造检测器则在此表示上训练二分类头判定真实还是伪造，二者搭配的理由是前者提供跨语种大数据学到的通用声学表征，后者只需少量标注即可获得高精度，组合后新增的作用是检测器继承了预训练模型的公开结构与训练分布，也继承了可被攻击者复用的相似表示空间。

公开预训练模型带来的矛盾在于，检测器越依赖结构公开、文档齐全、训练数据部分重叠的大模型，攻击者就越容易复刻相似的表示空间。论文的假设是攻击者知道目标检测器由 SSL 加多头注意力分类头 MHFA 组成，也知道数据增强协议，唯一变量是具体用哪一个 SSL 骨干。如果攻击在一个 SSL 上练出的滤波能迁移到另一个 SSL，就说明脆弱性来自 SSL 家族的共性，而不仅是某个分类头的偶然弱点。这正是后文同时设置白盒与黑盒评估的原因。

已有卷积滤波攻击做了什么，Malasimplex 要摆脱哪个限制？

理解 Malasimplex 之前，需要先沿着已有路线看清输入到输出的链条。已有攻击的输入同样是传统方法生成的伪造波形，输出是经过滤波后的波形，目标是让目标系统把伪造判为真实，同时尽量不引入明显失真。Malafide 的做法是学习一个线性滤波，直接在频带能量上做衰减或增强，其优化只用伪造样本去迎合目标系统的响应，没有显式利用真实样本的表示。Malacopula 的做法更复杂，它学习非线性滤波，并且为每个说话人独立训练，需要把同一说话人的真实音频与对应伪造配对，最小化二者表示的余弦距离，再挑选泛化最好的滤波。

Malafide × Malacopula： Malafide 负责用线性卷积滤波调整伪造音频各频带能量以欺骗检测器，Malacopula 负责用非线性广义 Hammerstein 结构按说话人优化滤波以欺骗说话人验证，二者搭配的理由是都证明短卷积滤波这种低自由度扰动已足够改变系统判决，组合意义在于 Malasimplex 继承了滤波可解释、听感接近编解码失真的优点，但丢掉了逐说话人配对训练的约束。

另一条相关路线是用声源分离模型构造攻击，同样保留了与说话人相似的约束，并且在利用 SSL 时不限制音频失真。教学上可以把例子想成：若必须为每个说话人配一副眼镜，部署成本很高；若能做出一副通用眼镜让多数伪造都更像真实，威胁更大。Malasimplex 要摆脱的正是说话人配对依赖，它不再要求攻击者知道测试时的说话人身份，而是直接让受扰伪造的整体分布靠近真实音频的整体分布。这一步选择决定了后文训练时只需按伪造生成器分组，而不需按说话人分组。

论文把脆弱性问题具体化为哪两个可测问题？

论文把宽泛的担心收紧为两个可操作的问题。第一个问题是有效性：在给定一个用 SSL 训练出的判别空间后，一个只有 257 抽头的线性卷积滤波能否显著抬高检测器的等错误率。等错误率英文为 Equal Error Rate，缩写 EER，定义是把真实类作为正类时误报数等于漏报数对应的错误率，数值越低表示区分能力越强。第二个问题是可迁移性：用 Wav2Vec 2.0 XLS-R 练出的滤波去攻击基于 WavLM 的目标时，是否仍然有效。如果黑盒也有效，就支持公开 SSL 之间存在可被利用的共性这一判断。

为使问题可测，论文固定了攻击者的知识边界。攻击者拥有高质量的伪造生成器，知道目标是 SSL 加 MHFA 分类头并知道增强协议，但不一定知道具体骨干。评估使用 ASVSpoof5 评估集中的两个子群，分别对应 YourTTS 和 XTTS，在原文中记为 A28 和 A29。选择两个生成器的理由在原文中明确写出：一是观察到检测性能随合成器不同而有差异，二是希望比较两个滤波频响以讨论可解释性。XTTS 被报告在转录保真、声学质量和说话人相似度上更好，而两者在人评平均意见分上都是该评估集中较高的高质量伪造。

Malasimplex 分哪两步走，一个样本经历了什么？

Malasimplex 的全景可以先沿一个样本走一遍。假设输入批次中既有真实波形也有伪造波形，第一步先把它们送入参数冻结的 SSL 得到嵌入，再送入可训练的二分类头得到判别表示，用交叉熵让分类头学会分开两类，学完后冻结分类头。这个冻结后的整体映射就是后文优化滤波用的投影空间。第二步随机初始化一个长度为 257 的卷积滤波，把批次中每个波形做卷积得到受扰批次，再把原始批次与受扰批次分别送入已冻结的投影空间，取出真实原始表示的均值与受扰伪造的表示，最大化二者的余弦相似度，只更新滤波系数直到收敛。

以下导读帮助阅读 2 阶段示意图，重点是区分哪部分冻结、哪部分更新，以及损失回传只走向哪里。

看图路径： 1. 先看上方阶段 1 箭头：波形经冻结自监督模型到嵌入再到可训练分类头形成判别表示；2. 再看下方阶段 2 分叉：原始批次直接求表示，滤波后批次求受扰表示；3. 确认阶段 2 右侧闭环：真实质心与受扰伪造算批次平均余弦相似度后回传只更新滤波；4. 注意图中冻结与更新标记：阶段 1 只更新分类器，阶段 2 只更新卷积滤波

论文图 1。原论文 Figure 1：“Schéma explicatif du modèle adversarial Malasimplex en deux phases.”。

投影空间 × 卷积滤波器： 投影空间负责提供一个能把真实与伪造分开的判别表示，卷积滤波器负责在波形域施加可学习的线性变换使伪造表示向真实质心移动，二者搭配的理由是先冻结判别空间再优化滤波可以避免分类器与攻击目标互相抵消，组合后新增的作用是攻击只更新 257 抽头的滤波系数，优化稳定且频响可直接画出解释。

上图的上半部分对应阶段 1，下半部分对应阶段 2，图中用不同图标区分冻结的 SSL 与可训练的分类器或滤波器。阶段 1 的输出是判别表示，阶段 2 的输入同时包含原始音频分支与滤波后音频分支，最终通过批次平均余弦相似度形成损失并只更新滤波权重。原文特别用脚注说明两处冻结的理由：冻结 SSL 是为了限制过拟合，冻结分类头是为了避免攻击想拉近分布而分类器想推开分布，二者目标冲突。复述时要记住，滤波作用在波形域，损失定义在冻结后的判别表示域，梯度路径只经过滤波，不经过 SSL 与分类头。

投影头如何训练，滤波损失的符号与输入是什么？

投影头的训练细节是复现的第一道门。设输入批次为包含真实与伪造的波形集合，SSL 参数冻结，只训练 MHFA 分类头。分类头把 SSL 输出的丰富表示映射为类别概率分布，优化目标是最小化预测分布与真实分布之间的交叉熵。论文报告投影训练使用 Wav2Vec 2.0 XLS-R 作为骨干，分类头参数量约为 300K，YourTTS 投影与 XTTS 投影的批次大小分别取 256 和 512，数据增强采用 RawBoost 并以 0.8 概率施加，包含 Musan 噪声与混响，噪声信噪比范围为 0 到 15 分贝。训练在 A100 上只需数个轮次即收敛，说明该阶段成本不高。

余弦相似度 × 真实音频质心： 真实音频质心负责在一个批次内对原始真实音频的判别表示求平均得到参考点，余弦相似度负责度量受扰伪造表示与该参考点的方向一致性，二者搭配的理由是不比较逐样本配对而比较分布中心，从而摆脱说话人配对依赖，组合后新增的作用是损失函数变为最大化批次平均余弦相似度，使一个通用滤波能同时拉近多种文本与说话人的伪造。

滤波优化的计算目标需要逐符号讲清。记长度为 257 的滤波为 ms，对批次中每个波形做卷积得到受扰波形，记受扰批次为 Xperturbed。把原始与受扰批次送入已冻结的投影函数，分别得到表示，再取原始真实表示的均值记为真实质心，取受扰伪造表示记为另一端。损失写为 1 减去二者的余弦相似度，余弦相似度是向量内积除以模长乘积，最大化相似度等价于最小化该损失。原文只给出该损失形式与随机初始化、批次大小为 64 的设置，未报告滤波优化器的类型、学习率与停止准则，这是复现时需要补记的缺项，不能从模型名称推定。

为什么线性短滤波既有效又可解释？

线性短滤波的有效性来自它直接改变了检测器依赖的频谱线索。已有文献指出不同合成算法会在不同子带留下可检测痕迹，检测器在训练中会利用这些痕迹。一个全局的线性滤波可以通过提升某些频带、抑制另一些频带，把伪造的谱包络推向真实分布，同时听感上只像经过 1 次编解码，作者在随机抽听后也报告了类似编解码的感知。相比非线性大模型攻击，短线性滤波自由度小，不易过拟合到某个文本或说话人，也更容易画出幅度频响并与声学假设对照。

可解释性体现在频响曲线的峰与谷可以直接对应假设。原文在补充分析中指出，两条滤波在 0 到 800 赫兹附近有相似的通带行为，在 1500 赫兹和 6000 赫兹附近幅度有差异，可能反映 YourTTS 特有而 XTTS 没有的声学成分，4800 赫兹附近的共同峰可能对应真实类的共同标记，7000 到 7500 赫兹附近的共同谷可能对应伪造类的共同标记。必须注意措辞分级：这些是论文用可能与似乎表达的有限解释，不是因果证明，支持它们的证据是两条独立训练的滤波出现相似结构，但未做逐频带消融来验证拿掉某个峰谷后攻击必然失效。

攻击如何分组训练，目标检测器如何训练？

攻击训练按生成器分组，共训练两个 Malasimplex 攻击，分别对应 YourTTS 与 XTTS。每个攻击先训练自己的投影函数，分别称为 YourTTS 投影与 XTTS 投影，训练与验证音频来自 ASVSpoof5 评估集及其中的真实子集，评估集则用训练时未见过的真实音频加上对应生成器的伪造，记为 YourTTS-Eval 与 XTTS-Eval。第二阶段分别利用各自投影训练滤波，滤波长度固定为 257，批次大小固定为 64。论文说明滤波长度是效率与效果折中后实验确定的，但未给出搜索网格，因此复现时应先固定 257 再补做长度敏感性检查。

目标检测器的训练与攻击投影类似但数据划分不同。两个目标检测器都按 2.1.2 节相近协议训练，区别是更换 SSL 骨干以测试迁移，训练与验证集来自 ASVSpoof5 的训练与验证划分，增强采用该挑战中表现最好的 RawBoost 类协议，其中随机选择截止频带的滤波增强被认为能提升对频带信息丢失的鲁棒性。下表整理了攻击侧已明确报告的构造配置，表中数字与单位均保留原文写法，裸数值不擅自添加百分号。

上表说明攻击构造的主要代价不在算力，而在数据分组与投影选择。两个分支除投影批次外其余关键超参数一致，这为后文比较两条频响曲线的相似性提供了公平基础。若复现时改变骨干或批次，需同步记录增强概率与信噪比范围，否则无法判断效果变化来自滤波还是来自投影判别力的变化。

在什么数据、什么知识条件、什么指标下评估？

评估的知识条件是本研究最需要复述的部分。白盒指攻击者还知道目标的 SSL 骨干，黑盒指不知道该骨干，其他知识如 MHFA 结构与增强协议在两种场景下都假设已知。用白盒度量攻击上限并与经典攻击可比，用黑盒度量泛化与迁移。目标 1 基于 Wav2Vec XLS-R，与攻击投影同骨干，构成白盒；目标 2 基于 WavLM Large，与攻击投影不同骨干，构成黑盒。

白盒场景 × 黑盒场景： 白盒场景负责假设攻击者已知目标检测器的自监督骨干，用于度量攻击在最有利条件下的上限，黑盒场景负责假设攻击者只知道检测器是自监督加分类头但不知具体骨干，用于度量跨模型迁移，二者搭配的理由是只有同时报告两者才能区分滤波本身的有效性与预训练模型之间表示相似带来的迁移性，组合意义是直接检验论文关于公开预训练模型放大脆弱性的假设。

数据与指标条件按原文交代如下。投影与攻击的数据来自 ASVSpoof5 评估集，目标检测器的训练验证来自 ASVSpoof5 训练验证集，评估覆盖 ASVSpoof5 评估集、In The Wild、ASV2019、ASV2021、Mlaad-Mailabs 与 LlamaPartialSpoof 等经典语料。指标为等错误率，数值越低越好。下表整理目标检测器在未受攻击时的基线水平，用于判断后文抬高倍数是否有实际意义，表中相对描述保留原文的数量级措辞。

上表的主要信息是两个目标在 ASVSpoof5 评估集上都达到约 2% 量级，在声学退化条件下为 4 到 7% 量级，在商业高质量合成的 LlamaPartialSpoof 上退化到约 20% 量级，论文称其达到近期语料上的前沿水平。必须同时记下未胜出项：LlamaPartialSpoof 的高错误率说明即使不受攻击，当前检测器对最新商业合成仍有明显边界，这限制了把本攻击结论外推到所有合成器的范围。

攻击把错误率抬高了多少，白盒与黑盒差在哪里？

主结果按评估子集组织，比较问题是同一目标、同一子集在攻击前后等错误率如何变化，公平条件是评估集固定为训练时未见的真实加对应生成器伪造，指标方向是等错误率越低越好。论文报告攻击前目标 1 能正确区分两类，且在 XTTS 上更强，攻击后两个目标的错误都明显上升。白盒目标 1 的上升幅度大于黑盒目标 2，这与攻击用同骨干构造的预期一致。

下表用原文报告的倍数关系整理核心收益与代价，倍数是相对变化，不能与百分点混淆，绝对基线差异会影响对倍数的解读。

上表显示 Malasimplex 带来 2 到 7 倍的检测错误增长，论文将其代价表述为需要更多人工核查才能保证决策可靠。听感代价方面，作者随机抽听后认为扰动像编解码效应，可能绕过人工抽查，但原文未做正式人评实验，也未测量延迟与算力开销，因此不能承诺听感不可察或部署成本不变。另一个反例是 XTTS 在黑盒下只增长约 2 倍，说明迁移收益并不均匀，初始更易检测的伪造在跨骨干时仍相对更难彻底掩盖。

两条滤波的频响告诉我们什么，哪些还只是假设？

本节把频响分析当作论文特有的可解释性证据来组织。待回答的问题是为不同生成器独立训练的滤波是否学到相似的频带操作，比较条件是骨干同为 Wav2Vec XLS-R、滤波长度同为 257、投影批次外配置基本一致，观察对象是归一化幅度随频率的变化。原文报告两条滤波在通带与截止频率上有相似性，同时在低频幅度上存在差异，这为区分生成器特有痕迹与家族共有痕迹提供了起点。

以下导读帮助阅读两条滤波的频响对比，重点是先确认坐标与图例，再比较峰谷位置而非单点精确读数。

看图路径： 1. 先确认横轴为频率、纵轴为归一化幅度，图例区分 YourTTS 与 XTTS 两条滤波曲线；2. 观察 0 到 800 赫兹附近两条曲线的通带相似性与 1500 赫兹附近的幅度分歧；3. 对比 4800 赫兹附近的共同峰与 7000 到 7500 赫兹附近的共同谷；4. 注意 7500 赫兹以上 YourTTS 回升更明显，而 XTTS 保持相对抑制

论文图 2。原论文 Figure 2：“Réponses fréquentielles normalisées des filtres développés sur les espaces de projection YourTTS et XTTS.”。

上图横轴为频率、纵轴为幅度，单位为分贝与赫兹，紫色与橙色分别对应 YourTTS 投影与 XTTS 投影下训练的滤波。可见内容支持三点有限解释：低频段存在共同结构，4800 赫兹附近出现共同峰，7000 到 7500 赫兹附近出现共同谷，论文据此推测前者与真实类标记有关、后者与伪造类标记有关。像素不能精确辨别的深谷数值不应硬写，原文对 1500 赫兹与 6000 赫兹附近差异的表述也保留了推测语气。缺失的验证是未对这些频带做屏蔽或替换消融，也未扩展到更多生成器与 SSL，因此峰谷与决策的因果关系仍待验证，不能把相关性写成因果。

哪些结论有边界，哪些量根本没有测？

论文直接报告的是攻击有效且可跨骨干迁移，支持的是公开 SSL 的相似性放大了脆弱性，可能与待验证的是具体频带峰谷即为检测器决策依据。必须区分这 3 层。有效性有白盒与黑盒两组倍数支撑，迁移性有 WavLM 目标上的 2 倍与近 4 倍支撑，但因果机制仍是推测。原文未报告滤波优化器的超参数、未做正式人类听感评分、未测量误判率之外的延迟与计算成本，也未评估部分伪造或真实音频被滤波后的行为。

另一个边界是数据增强的局限。目标检测器使用了包含随机截止频带滤波的 RawBoost 增强，按理应对频带信息丢失更鲁棒，但仍被简单的线性滤波显著绕过。这说明该增强覆盖的随机频带操作与攻击学到的针对性谱形调整不是同一分布，不能把一般声学鲁棒性等同于对抗鲁棒性。LlamaPartialSpoof 上约 20% 量级的基线错误也提醒，结论主要基于 ASVSpoof5 评估集中的 YourTTS 与 XTTS，外推到商业大模型合成需重新测量。总体趋势不等于每组都成立，XTTS 黑盒相对增益较小就是具体反例。

要复现应先做什么，需要保留哪些信息条件？

复现时先按学习依赖准备数据与模型，再分阶段执行并记录缺项。第一步获取 ASVSpoof5 的训练验证与评估划分，按生成器取出 YourTTS 与 XTTS 子群，并从评估集中划分训练时未见的真实音频用于构造 YourTTS-Eval 与 XTTS-Eval。第二步加载冻结的 Wav2Vec 2.0 XLS-R 与 MHFA 头，按分支批次 256 与 512、增强概率 0.8、噪声信噪比 0 到 15 分贝训练两个投影，损失为交叉熵，训练后冻结分类头。第三步随机初始化长度 257 的线性卷积滤波，批次取 64，最大化受扰伪造与原始真实质心的批次平均余弦相似度，只更新滤波。第四步用相同协议训练 Wav2Vec 与 WavLM 两个目标检测器，先复现约 2% 量级的评估集基线，再施加滤波测量攻击前后等错误率。

必须保留的信息条件包括攻击者知道 MHFA 结构与增强协议、白盒与黑盒仅差在是否知道 SSL 骨干、滤波长度与批次等超参数。资源状态方面，本次未发现来源绑定且完成安全验证的代码、模型或数据资源，因此不得声称代码或权重已公开，复现应按论文文字与超参数自行实现。还需补记的验证包括滤波优化器与学习率、正式人评的不可察性、更多生成器与骨干上的迁移矩阵，以及把学到的滤波加入训练做对抗增强后能否降低被绕过率。

何时值得尝试这种攻击思路，还需补哪项验证？

当检测器满足 3 个条件时值得尝试 Malasimplex 类思路：骨干是公开的自监督语音模型，分类头结构标准且增强协议可猜，攻击者能拿到目标领域的高质量伪造按生成器分组。此时先训练判别投影再学习短线性滤波，成本低且频响可解释，适合先做脆弱性摸底。若目标骨干未知，仍可用一个常用 SSL 做代理训练滤波再测黑盒迁移，论文在 WavLM 目标上观察到的 2 倍与近 4 倍增长说明这种代理策略并非无效，但应预期收益低于白盒。

从防御视角看，论文的启示不是弃用预训练模型，而是要把此类可解释滤波纳入训练与评估。后续验证应优先补两项：一是对频响峰谷做逐频带消融，验证去掉某个峰谷后攻击是否确实失效，从而把相关观察升级为因果证据；二是在更多合成器与更多 SSL 上扩展迁移矩阵，并报告绝对等错误率与相对倍数，避免因基线过低夸大倍数意义。只有完成这些，才能更可靠地回答公开预训练究竟在多大程度上、以何种频谱机制放大了音频伪造检测器的对抗风险。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 3 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 jep-2026 论文汇总