分数相似不等于听到的东西相同：三个 WavLM 检测器各自盯住了哪段声音

英文题目：What Do Deepfake Speech Detectors Actually Hear?

会议身份：conference:interspeech:2026:conference-paper-id:stanek26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据标注 #可解释性 #语音 #音频深度伪造检测

评分：7.4/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.9/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Vojtěch Staněk：机构信息未能从会议 PDF 纯文本可靠映射
• Veronika Jirmusová：机构信息未能从会议 PDF 纯文本可靠映射
• Anton Firc：机构信息未能从会议 PDF 纯文本可靠映射
• Kamil Malinka：机构信息未能从会议 PDF 纯文本可靠映射
• Jakub Reš：机构信息未能从会议 PDF 纯文本可靠映射
• Martin Perešíni：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

伪造语音检测器长期只输出真伪分数，无法说明证据位于信号何处与依赖何种声学线索，自监督前端主导后黑盒问题更突出。本文构建音频原生事后解释流水线：先以原始波形输入与伪造Logit为目标，对微调后WavLM帧表征做集成梯度归因，以训练集真品质心为基线并沿层与维度聚合为时间归因图。再由专家对高归因区做结构化语义标注，输出线索类型与局部性评分后进入定向掩膜因果验证。与依赖CAM或注意力可视化的已有方法不同，该机制以公理化积分为替代避免硬掩膜引入伪影，严格分离伪造偏离从而具备因果可验证性。在ASVspoof 5评测集下，SLS的EER错误率为3.98%，低于CA-MHFA的EER错误率5.26%。语义结论为AASIST偏非语音与环境异常、CA-MHFA偏局部音素与发音伪影、SLS偏词边界与频谱完整性，三者互补但共享重压缩失效。上述结论适用边界受限于ASVspoof 5与WavLM Base+联合微调体系，重压缩与YourTTS类攻击下失败条件集中暴露，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/Security-FIT/IG_for_SSL_detectors — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

检测器只给一个分数，法医和部署缺了哪块信息？

输入是这篇论文的全文证据与一张官方原图像素，目标是让刚入门的研究生能复述它的方法链条与证据强度。必须保留的信息包括研究对象、解释方法、标注流程、因果掩蔽操作与性能条件，输出是 1 篇按学习依赖展开的中文解读。本文只讲论文实际做的任务，不引入外部数据集结论，教学用的比方会明确标为例子。

语音伪造检测的任务是判断一段录音是真人说话还是合成、转换或拼接生成的假语音。在自动说话人验证反欺骗语境下，系统对每条语音输出一个分数，超过阈值判为伪造。研究生首先要建立的直觉是，分数本身不说明证据在哪里，也不说明是哪类线索驱动了判决。尤其当系统以自监督语音模型为前端时，前端表示维度高、层数多，后端网络又是非线性的，黑盒程度更高。论文要回答的就是检测器到底在听什么，是听语音里的发音瑕疵，还是听语音之外的环境与编辑痕迹。

这决定了后续所有方法的设计。如果只是比较等错误率谁更低，就无法解释为何分数相近的模型会在同一条语音上看向完全不同的位置，也无法预判它们在压缩、噪声或新合成器下会以什么方式失效。论文因此把工作分成 3 步，先用音频原生的归因方法把分数证据定位到时间轴，再由人工对高归因区赋予语义标签，最后用定向掩蔽验证这些语义是否真的驱动分数。理解这个 3 段结构，后面读公式、标注协议和消融表才不会迷路。

同输入同目标下，已有解释方法缺了什么？

把相关工作按同输入、同目标、同运行阶段对照，最容易看清本文的位置。同输入都是原始波形或其谱表示，同目标都是解释伪造判决，同运行阶段都是事后解释，即模型训练好之后再分析它为何给出当前分数。论文交代的已有路线包括基于扰动的沙普利值与局部可解释模型无关解释，以及在伪造检测里常用的类激活映射与注意力可视化。

论文认为这些路线在自监督流水线上不够直接。扰动类方法需要反复掩蔽输入，容易引入域外伪影；注意力权重不等于对分数的贡献；类激活映射依赖特定结构。相比之下，积分梯度提供公理化的归因，它沿基线到输入的直线路径积分梯度，避免硬掩蔽，更适合把分数变化分配到时间帧上。论文还强调基线选择对语音自监督编码器很关键，零向量可能代表域外输入，全局质心会混入训练分区里特定攻击的痕迹，噪声向量则缺乏语音语义参考，因此它选择真品质心作为参考。

另一条相关线是检测器主干。论文研究的是 3 个基于 WavLM 的现代结构，分别是音频反欺骗的谱时图注意力网络、上下文感知的多头因子化注意力池化，以及敏感层选择分类器。它们在 ASVspoof 5 评测集上处于相近的性能区间，与单系统最优水平可比。已有工作多停留在定性举例，本文的差异是做了结构化标注与因果掩蔽，把定性观察变成可统计、可干预的证据。

要解释的到底是哪个函数的哪次判决？

把问题形式化有助于复述。给定一条录音，前端 WavLM 产生一个 3 维表示，维度分别是层数、时间帧数与特征维度。后端检测器是一个从该张量到实数伪造分数的函数，论文针对的是该函数的输出逻辑值。解释的目标不是重训练一个可解释模型，而是对 1 次已发生的判决回答证据在时间轴的哪里，以及该证据在语义上属于哪类线索。

论文把证据分为支持伪造与支持真品 2 个方向。时间归因值为大的正值对应增加伪造分数的证据，大的负值对应增加真品分数的证据。为了抑制帧级噪声，还用滑动窗口平均做平滑，原始与平滑后的归因都用于标注。举一个教学用的例子，不是论文数值：若某条语音第 2 秒处有一个尖峰，平滑后仍显著高于邻域，标注者就会去听该段并看语谱图，判断它是擦音异常、呼吸声、静音切口还是压缩噪声。例子到此为止，论文的真实标注流程与类别在后面按原文展开。

问题的难点在于 3 个检测器共享同一个前端家族但微调后特征空间不同，基线必须按模型分别计算。论文因此为每个系统单独计算真品特征质心，再广播到时间维构成基线。这种按模型定制基线的做法，是后面跨模型比较时必须记住的条件，否则会把特征空间差异误读为语义差异。

从波形到语义标签，完整链条经过哪几站？

沿一条样本走完全程最有助于建立整体感。输入是一条 16 千赫兹录音，先经过 WavLM 卷积编码器与多层变换器，得到按约 20 毫秒步进排列的帧表示，因为卷积步长为 320 个采样点。然后后端检测器把该表示映射为伪造分数。解释阶段固定模型参数，对该分数关于表示求梯度，并沿真品质心基线到当前输入的直线路径积分，得到每个元素的贡献。接着把同一时刻所有层与维度的贡献求和，得到时间归因信号，再做约 120 毫秒窗口的滑动平均。标注者同时看到波形、短时傅里叶语谱图、原始与平滑归因曲线，标出主要线索区并赋予类型与集中程度评分，最后比较同一条录音上 3 个检测器的线索是否一致。

自监督前端 × 后端检测器： 自监督前端负责把原始波形变成按时间排列的层帧表示，保留语音内容与通道细节但不做判决；后端检测器负责把这些表示映射为一个伪造分数。后两者搭配的原因是前端提供可微、可插值的时间表示，后端提供可求梯度的分数函数，组合后才能沿基线到输入的直线路径做积分梯度并得到时间归因。

这条链的教学意义在于每一步都有明确产物。前端产物是可微的时间表示，归因产物是时间曲线，标注产物是带语义的区间，掩蔽产物是全量评测集上的性能移动。论文的贡献也对应这 3 段，一是把积分梯度适配到自监督检测器并定位到时间，二是对 3 个检测器做语义分析，三是用定向掩蔽因果验证主要线索。记住产物，后面读组件公式与实验表时就知道每个数字来自哪一站。

积分梯度与时间归因图具体算了什么？

先解释符号与输入。记输入录音的自监督表示为输入张量，基线为真品质心广播后的张量，两者形状相同。记后端函数为从表示到分数的映射，插值系数从 0 变到 1 表示从基线沿直线走到输入。积分梯度对每个元素计算基线差值乘以沿路径的梯度积分，论文用 Captum 库以黎曼和近似该积分，目标是分数的逻辑值。原文明确只对表示求归因，不重训练前端与后端。

计算目标是把分数变化公平地分配到每个表示元素。直观理解是，如果把基线看作典型真品，把输入看作待测语音，那么沿路径每走一小步，分数都会有微小变化，把这些变化按梯度归到对应元素并累加，就得到每个元素对伪造方向的贡献。论文未给出插值步数等近似细节的具体取值，这是一个缺项，复现时需要按代码仓库的默认实现核对，不能从方法名推定步数。

积分梯度 × 时间归因图： 积分梯度负责给自监督张量中每个层、时间、维度元素分配对分数的贡献，沿基线到输入积分梯度以避免硬掩蔽引入的域外伪影；时间归因图负责把同一时刻所有层与维度的贡献加和成一个随时间变化的信号。搭配理由是前者太细无法直接阅读，后者把细粒度贡献压缩到时间轴上，正好对应标注者能听、能看语谱图的位置。

真品质心基线 × 伪造偏差： 真品质心基线负责提供每个模型的参考表示，它是对训练集全部真品特征按样本与时间平均再沿时间广播得到；伪造偏差负责被解释的数量，即输入相对该基线的偏离所引起的分数变化。搭配原因是自监督模型在大量语音上预训练，零向量是域外输入，而全局质心会混入攻击痕迹，只有真品质心能让归因更集中地隔离合成与处理痕迹。

时间归因的聚合方式是把同一时刻所有层与特征维的贡献直接求和，得到随时间变化的 1 维信号。求和后做 6 帧滑动平均，对应约 120 毫秒，用来抑制帧级抖动。符号方向保留正负语义，正值推向伪造，负值推向真品。需要区分的是，原始目标是元素级归因，时间图是为可读性做的近似汇总，汇总会丢失层与维度的信息，因此论文在需要时同时查看原始与平滑曲线，而不是只看平滑峰。

模型是怎么训练的，解释阶段动了哪些参数？

本节同时承担训练说明与无训练环节的澄清。检测器训练是真实存在的神经网络训练，不是无训练论文。3 个系统都用预训练 WavLM Base+ 做前端，训练策略是前端与分类器联合微调 10 个轮次。优化器用 AdamW，前端学习率为 10 的负 6 次方，分类器学习率为 10 的负 3 次方，批量大小为 16。数据增强以 30% 概率逐项施加，包括时间掩蔽、缪律编解码、RawBoost 的特定配置、加噪以及多种滤波器类型。实验在 ASVspoof 5 上进行，指标为等错误率与最小检测代价函数。

解释阶段没有训练，不更新任何参数。积分梯度只做前向与反向计算，基线是离线统计量，标注是人工过程，掩蔽是评测时干预。必须明确的是，冻结参数做归因不等于系统输出确定，因为解码阈值、数据划分与增强随机性仍会影响性能数字，论文报告的是固定条件下的评测结果。

主要线索区 × 线索类型： 主要线索区负责定位，即归因峰值所在的时间段；线索类型负责定性，即把该段判为局部毛刺、音素内容、清浊过渡、静音、呼吸、通道噪声、频谱异常或弥散不清。搭配原因是只有位置没有语义无法比较检测器逻辑，只有类型没有位置无法做因果掩蔽，论文用两者结合把积分梯度从曲线变成可统计、可验证的语义标签。

标注流程本身是一个需要复现的人工作业。论文从评测分区精选 100 条录音，分为高置信正确、高置信错误与边界 3 类。高置信正确的筛选条件是 3 个检测器在误接受与误拒绝均小于 0.1% 的操作点下都判对，从中选 32 条伪造与 28 条真品；高置信错误是三者都高置信判错，包括 10 条真品误判为伪造与 10 条伪造误判为真品；边界是在开发集等错误率阈值附近选三者预测一致的样本，每种真假与对错组合各 5 条。

标注由 3 名有伪造语音经验的研究者在安静环境用耳机完成，共约 40 人时。复现时应先拿到这 100 条名单与标注界面定义，再谈语义结论。

评测数据、基线与代码条件是什么？

数据与协议按原文交代。训练与调参在 ASVspoof 5 的训练与开发分区完成，解释用的 100 条来自评测分区，性能主结果也在评测集上报告。论文用开发集训练 3 个分数的逻辑回归融合，用开发集等错误率阈值确定边界样本与固定阈值下的方向性误差。指标方向是等错误率与最小检测代价越低越好，固定阈值下的伪造接受率与真品拒绝率用于看分数向哪个方向漂移。

基线条件是 3 个检测器在相同前端家族与相同联合微调流程下各自训练，不是共享同一个前端权重，因为微调后特征空间已经分化，基线质心也要按模型分别计算。比较的公平条件是同一评测集、同一指标定义，融合只在开发集上学习权重，不在评测集上调参。论文报告 3 个单系统与融合系统的评测性能，融合用于检验互补性，但增益不大。

资源状态是正文开源声明的唯一依据。代码资源当前可用，状态码为 200，地址为论文给出的仓库链接，可用于核对实现细节、100 条名单与标注方法。权重下载与完整可运行状态在本文证据中未单独说明，不能把代码可用等同于权重可下载或一键可运行。硬件预算方面，论文致谢提到计算资源来自捷克教育部门支持的项目，但未报告具体机时与推理开销，这是缺项，复现成本只能按仓库实际运行测量，不能从致谢推定。

三个分数相近的检测器，看到的证据有何不同？

比较问题是，在相同评测集与相同指标下，3 个检测器的性能是否相近，以及融合是否带来可部署增益。公平条件是同一 ASVspoof 5 评测集，指标方向为等错误率与最小检测代价越低越好。论文报告单系统处于相近区间，融合略优，但增益不大，且三者共享压缩导致的失败模式。

上表显示融合的等错误率与最小检测代价均为最低，但相对单系统最优的改善有限。结合正文的互补性讨论，主要收益是 3 个模型在多数语音上看向不同位置，理论上融合可利用互补视角；具体代价是它们在重压缩下会同时失效，因此不做针对性缓解就难以把互补性转化为大幅增益。未胜出项也要说明，CA-MHFA 的两个指标均为三者中最差，但它在后续掩蔽中对静音掩蔽最稳健，说明单看等错误率会掩盖它的局部发音敏感优势。

语义结果是本文的核心。AASIST 主要评估非语音与环境线索，常给异常干净的静音高归因，归因分散，对噪声轮廓突变敏感，在低质量真品上易把编解码痕迹判为伪造。CA-MHFA 高度局部化，盯住音素与发音，对擦音与塞音、词的突兀起止敏感，归因尖锐。SLS 关注全局信号完整性与频谱一致性，归因偏弥散，在过渡事件与词尾缺乏混响、频带缺失或高频异常处出现峰值。呼吸声是少见的共识，真品呼吸常带来真品方向归因，失真呼吸带来伪造方向归因。数据集层面的模式是高置信错误多与激进压缩相关，特定攻击在高置信错误中占比较高。

下面这张图是理解互补性的关键单样本证据，来自高置信正确类别的一条伪造录音。它不是分布统计，不能推广为全程结论，但能直观显示同一条语音上三者峰位分离。导读之后看图，再读解释。

看图路径： 1. 先看灰色波形包络确认 4 秒内哪里有语音、哪里是低能量间隙；2. 再对比红色 AASIST 峰、绿色 CA-MHFA 尖峰、蓝色 SLS 宽平台的位置是否重合；3. 最后核对三块底色标注的主要线索区分别落在波形的前段、中段尖峰和尾段

论文图 1。原论文 Figure 1：“Spoof IG attributions (smoothed) of the three examined detectors for the file E 0005076209 (spoofed recording from the High- confidence correct predictions category).”。

该图横轴为 0 到 4 秒，纵轴为归一化后的平滑归因，灰色为波形包络，红绿蓝 3 条曲线分别为 3 个检测器的平滑归因，三块底色分别为各自的主要线索区。可见红色峰在前段语音能量区密集起伏，绿色呈窄尖峰孤立在约 2.4 秒处，蓝色则在全程维持较高平台并在尾段形成宽峰。三块底色基本不重合，分别落在前段擦音区、中段特定音素点与尾段词偏移加静音区。这支持论文的判断，即三者即使都判对，理由也不同；只有在重压缩或强真品呼吸等极端条件下才会趋同。像素不能精确读出的峰值数值不硬写，应以曲线相对位置与区间分离为观察结论。

定向掩蔽能否证明标注出的线索真的驱动分数？

实验按问题组织。测的是把某类线索削弱后，全量评测集性能与方向性误差如何移动；与谁比是相对各自未掩蔽基线；条件是否一致是同一评测集、同一固定阈值；指标方向是等错误率越低越好，固定阈值下的伪造接受率上升表示更倾向真品，真品拒绝率上升表示更倾向伪造。论文做 4 组操作，分别是静音掩蔽、高能量音素掩蔽、频谱掩蔽与压缩器效应。

上表只摘录每组最能说明方向的部分数字，完整九列细节见原文消融表。主要收益是静音掩蔽让 AASIST 的伪造接受率跃升到接近全部接受为真品，同时 SLS 也明显漂向真品，而 CA-MHFA 几乎不受影响，这支持 AASIST 依赖环境与非语音区、CA-MHFA 盯住浊音发音的判断。高能量音素掩蔽让 AASIST 等错误率大幅恶化，而另两者保持稳健，论文解释为邻域均值填充在信号中引入了不自然的编辑痕迹，正好被环境异常检测器捕捉。频谱掩蔽对三者均为轻微退化，与各自依赖频谱完整性的不同侧面一致。压缩器效应让三者的真品拒绝率同步上升，证实扁平能量与弥散噪声会被统一当作合成痕迹。

因果掩蔽 × 定性标注： 定性标注负责提出假设，例如 AASIST 依赖静音环境、CA-MHFA 依赖高能量音素；因果掩蔽负责检验假设，即在全量评测集上定向削弱该类线索后观察错误率是否按预期方向移动。搭配原因是标注只能显示相关性，掩蔽通过干预提供因果支持，两者闭环才能把推测变成可复述的检测器语义。

反证与限制也要讲清。未胜出项是频谱掩蔽的区分度较弱，不能单独证明 SLS 的频带假设，只能说一致。未评测边界包括掩蔽强度是人为选定的，静音混合系数、音素能量阈值、频带范围与压缩器参数改变后结论是否稳定，原文未做灵敏度分析。相关性不等于因果的提醒仍然适用，掩蔽支持了主要线索的因果作用，但不排除模型同时利用其他相关线索。

哪些结论有直接支持，哪些还只是可能？

用报告、支持、可能 3 级表达区分证据强度。论文报告的是 3 个检测器在 ASVspoof 5 评测集上的等错误率与最小检测代价数字，以及 4 组掩蔽下的方向性移动，这些是直接测量。论文支持的是语义分工，即 AASIST 偏环境、CA-MHFA 偏局部音素、SLS 偏词边界与频谱完整性，因为标注统计与掩蔽方向相互印证。论文未验证的推测是融合必然带来实用增益，以及压缩鲁棒性可通过简单缓解获得，原文只显示小幅融合增益与共同失效，没有给出缓解方案的对照。

方法局限按原文交代。方法不是模型无关，只适用于基于时间帧表示的自监督模型。标注只有 100 条，虽覆盖正确、高置信错误与边界，但相对全量评测集仍是小样本，且标注者为 3 名内部研究者，未报告一致性系数。基线质心依赖训练集真品分布，若部署域的真品环境变化，归因参考是否仍然有效待验证。

缺失证据不是技术错误，但复述时要明确。论文未测量误判率之外的延迟、算力与输出帧率，不能承诺该解释流水线可实时部署。未报告积分梯度的插值步数与平滑窗口之外的超参数敏感性，不能从 1 次可视化推定每条语音都呈现同样的分离模式。总体趋势不等于每组每步成立，重压缩下的趋同只是高置信错误子集的观察，不能推广为所有压缩条件。

要复现这条链条，先做什么、用什么条件？

复现的第一步是按论文条件重训或获取 3 个检测器。关键超参数是联合微调 10 轮、AdamW、前端与分类器分别用极小与常规学习率、批量 16、30% 概率的多项增强。必须保留的信息条件是前端为 WavLM Base+、评测为 ASVspoof 5、开发集用于定阈值与训练融合权重。若只想复现解释部分，可固定已有权重，直接按模型分别计算真品特征质心并广播为基线，再用 Captum 对分数逻辑值求积分梯度。

第二步是复现时间归因与标注。把层与维度求和得到时间曲线，做 6 帧滑动平均，同时保存原始曲线。标注时需要波形、语谱图与两条曲线同屏，标注字段包括主要线索区起止、线索类型、集中程度 1 到 5 分与可选文字评论，最后对同一条录音比较三者异同。论文的线索类型集合与集中程度量表必须原样保留，否则跨模型统计不可比。

第 3 步是复现因果掩蔽。静音掩蔽需用强制对齐找到非语音帧并与真品静音质心混合，高能量音素掩蔽用邻域均值填充，频谱掩蔽在短时傅里叶域衰减指定频带，压缩器效应衰减高幅值并整体增益。评估时固定基线等错误率阈值，报告等错误率与方向性误差。代码当前可用是唯一的开源依据，权重与一键脚本状态未知，复现前应先核对仓库中的名单、基线计算与掩蔽参数，还需补做的验证是更换掩蔽强度与跨域真品的稳健性测试。

何时值得用这套解释，法医与设计各取走什么？

何时值得尝试的判断应基于论文特有的条件。当手头是自监督前端加后端分类器的伪造检测器，且需要向法医或产品解释分数来自语音内还是语音外时，这套时间归因加语义标注加掩蔽验证的流程值得尝试。当模型已出现压缩域失效或呼吸声误判时，用它的 4 组掩蔽可以快速定位是环境、音素还是频谱假设出了问题。当目标是融合多个分数相近的模型时，应先看它们的主要线索区是否重合，若如本文般分离则融合有互补潜力，若在重压缩下趋同则应先缓解共同弱点。

法医可取走的是辩护语言。报告显示 AASIST 的伪造指向多与异常干净的静音、噪声切口有关，CA-MHFA 的指向多与擦音与过渡毛刺有关，SLS 的指向多与词尾截断与频带异常有关，呼吸声可作为真品支持但可被逼真合成欺骗。设计者可取走的是分工意识，不应把等错误率相近误读为逻辑相同，也不应把注意力峰直接当作分数证据。

论文特有的误解需要澄清。一是把曲线分离当作模型必然互补，实际上共享压缩弱点会限制增益。二是把掩蔽后性能下降当作该线索是唯一依据，实际上只能说它是主要驱动之一。三是把真品质心基线当作通用最优，实际上它依赖训练域真品分布，换域需重算。记住这三点，才能把这篇论文从好看的可视化变成可核对、可复述的方法。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总