真伪判定的神经元依据能被拆开算账吗：证据子空间投影的量化解读

英文题目：Evidence Subspace Projection: Measuring How Much Evidence Explains Deepfake Detection in Self-Supervised Speech Models

会议身份：conference:interspeech:2026:conference-paper-id:xiao26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#统计分析 #可解释性 #语音 #音频深度伪造检测

评分：7.6/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Yixuan Xiao：机构信息未能从会议 PDF 纯文本可靠映射
• Cheng-Wei Lin：机构信息未能从会议 PDF 纯文本可靠映射
• Xin Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Yassine El Kheir：机构信息未能从会议 PDF 纯文本可靠映射
• Arnab Das：机构信息未能从会议 PDF 纯文本可靠映射
• Tim Polzehl：机构信息未能从会议 PDF 纯文本可靠映射
• Sebastian Möller：机构信息未能从会议 PDF 纯文本可靠映射
• Ngoc Thang Vu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频深度伪造检测（Audio Deepfake Detection）以语音波形为输入，输出真伪二分类标签，难点在于自监督学习（Self-Supervised Learning, SSL）前端在域外数据上依赖数据集捷径而非真实伪造痕迹。所提证据子空间投影（Evidence Subspace Projection, ESP）先以语音经SSL前端得到的声学token与前馈神经元激活为输入，统计各标签下激活覆盖率并按层拼接，输出共享神经元激活空间中的标签表示，再以该标签表示为输入，在同一数据集与分组内做单对余去均值以去除公共与数据集偏移，输出残差向量，其中真伪残差构成决策轴、同组证据标签残差张成证据子空间，最后以决策轴与证据子空间为输入，将前者投影到后者并以有效秩归一化，输出解释率以前端行为方向的可比能量占比度量证据贡献。与以往整机归因不同，该方法冻结后端而直接比较前端行为方向，实现了跨证据类型的定量可比。在ASV19测试集上冻结模型的静音组解释率超过10%，而在ITW上低于0.5%，微调后XLSR在ASV19上达到0.25%等错误率（Equal Error Rate, EER）却放大了静音依赖。该结论限于XLSR与HuBERT两类前端及6个评测集，对混杂因素的解耦与阈值外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/XIAOYixuan/ESP — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文解读的输入是论文原文提供的文字证据与 3 张官方原图像素，目标是让刚进入语音与音频深伪检测的研究生能够不依赖二手评价复述方法与结论。必须保留的信息包括研究问题、证据子空间投影的计算链条、冻结与微调与后训练 3 种条件、6 个数据集与 9 类证据的划分、以及关键数值的适用条件与单位。输出是 1 篇按学习依赖展开的中文技术解读，事实只来自原文证据，凡是教学举例都会明确标注为例子而不混入无源数值。

音频深伪检测的任务是判断一段语音是真实录制还是合成或转换生成，常用做法是用大规模自监督语音模型做前端提取表示，再接一个轻量后端做二分类。这种做法在域内数据上往往表现很强，但在跨数据集时容易失效，提示模型可能依赖了数据集中特有的线索而非真正的伪造痕迹。

初学者容易把前端与后端整体看成一个黑盒，把性能提升直接理解为抓住了伪造本质，本文要解决的正是如何把前端单独拿出来，定量回答它的判定方向与哪些可命名的证据因素重合。解读先讲任务与相关路线，再讲方法全景与组件计算，然后讲训练与构造过程、实验条件、结果与反证，最后讲复现与收束，读者可以沿着一个样本从波形到判定轴再到投影比例走完全程。

已有解释路线为什么还不够？

已有工作大多把检测器整体作为分析对象，例如用特征归因方法解释深度模型的单次判定，或分析部分伪造音频中模型关注的时间位置，或讨论静音段与子带能量等伪影是否被利用。这些路线与本文同输入、同目标，即同样输入语音、同样关心真伪判定，但监督与运行阶段不同，它们解释的是包含后端、损失与微调动力学的完整系统，无法区分前端本身编码了什么。

另一条相关路线是免训练的近邻或溯源方法，它显示仅用冻结自监督特征就能做深伪来源追踪，侧面说明前端本身已经很关键，但它没有给出每种证据因素各解释了多少判定。还有文本与语音领域寻找知识神经元、语言神经元与属性神经元的工作，提供了把前馈网络看作键值记忆、把神经元激活与离散单元共现起来统计的工具，本文正是沿这条工具路线把它首次系统用于音频深伪检测的前端隔离分析。

理解这 1 对照很重要：类别差异不能当作同条件胜负，例如把整体系统的可解释性分数与本文的投影比例直接比大小是没有意义的，因为二者度量的空间与归一化完全不同。

论文把问题拆成哪两个可检验的研究问题？

论文提出两个研究问题。第一个问题是冻结前端已经捕捉了什么与深伪检测有关的信息，具体到它的检测判定方向与静音结构、频谱属性、攻击者身份等证据因素有多大重叠。第二个问题是微调与后训练如何重塑检测判定与这些证据因素之间的关系。这里的冻结指自监督模型参数不更新，只用其内部神经元响应做分析；微调指在反欺骗数据上更新前端并接一个多层感知后端做分类。

后训练指在大规模深伪数据上做过的另一类训练模型。把问题拆成冻结与训练后两段的好处是，先确认捷径是否在预训练表示中就已存在，再判断训练是解耦了这些捷径还是放大了它们。举例来说，如果冻结模型在某数据集上的静音证据解释比例很高，而在另一个野外数据集上接近零，就支持静音是数据集特有捷径而非通用伪造指示器的判断，这正是后文用跨数据集比较来检验的逻辑。

证据子空间投影如何把判定与证据放在同一空间比较？

方法的全景可以沿一个样本走完。输入一段音频，先送入自监督语音模型，逐帧得到前馈层神经元的激活值，同时用一个语音量化器给每帧分配一个数值型单元标签，该标签编码细粒度的子音素信息。然后对属于同一标签的数据统计每个神经元在该单元下被激活的一致性，汇总成该标签的激活覆盖向量，再把同组其他标签的均值减掉得到残差向量。真伪组只有真实与伪造两个标签，它们的残差方向相反，任取其一经归一化就得到判定轴。

证据组例如静音对比语音、不同声码器、不同攻击类型，同样各自得到一组残差向量并张成一个子空间。最后把判定轴投影到每个证据子空间，投影能量的占比就是该证据的解释力，还要除以有效秩以消除子空间维度带来的天然优势。

神经元激活覆盖 × 残差表示： 神经元激活覆盖统计某标签下每个神经元对全部量化单元的响应广度，残差表示把该标签的覆盖向量减去同组其他标签的均值得到 1 对多对比方向；搭配理由是只有去掉公共成分和数据集偏移后，不同标签才能放在同一神经元激活空间比较，组合后真伪残差直接构成判定轴，证据残差张成证据子空间。

以下示意图展示了从神经元激活到残差轴再到投影比例的 3 段结构，阅读时先看整体箭头再看每个面板的向量含义。

看图路径： 1. 先看面板 a 中真伪音频各自的神经元与量化单元共现格，确认橙色为激活态；2. 再看面板 b 中真伪向量如何相减得到方向相反的残差轴；3. 最后看面板 c 中判定向量向静音与语音张成的直线上投影得到投影长度

论文图 1。原论文 Figure 1：“(a) Feed audio to SSL models to compute neuron ac- tivation probabilities. n is a neuron and t is a token. (b) Each label produces a neuron activation pattern.”。

图 1 包含 3 个面板。面板 a 用橙白圆点表示神经元在不同量化单元下是否激活，区分真实音频与伪造音频的激活模式差异。面板 b 把两类激活模式抽象为两个向量并相减，得到方向相反的残差轴。面板 c 把伪造判定向量向静音与语音张成的直线上投影，投影长度与原长的比值即解释比例。这一图示的教学价值在于把抽象的神经元激活空间具体化为 2 维箭头，帮助初学者建立投影即解释占比的直觉，但实际计算是在高维神经元空间中经标准化与奇异值分解完成的，不能把图中的 2 维夹角当作真实数值。

激活概率、残差与投影三步各自算什么？

第一步是神经元激活概率。设数据集、标签组、标签、量化单元与神经元层等符号已知，统计在标签下单元与神经元的共现次数，除以该标签下该单元的总次数，得到条件激活概率。1 次共现的判定标准是该神经元在该帧的激活值排在全部神经元的前 1%。随机激活下每个神经元对任意帧都有 1% 的激活机会，因此以 1% 为基线，只有高于基线的单元才记为激活指示。

把指示对该标签出现过的所有不同单元求平均，就得到激活覆盖矩阵，取值接近 1 表示该神经元对该标签的几乎所有单元都响应，接近基线表示无偏好。这一步把可变长的音频转化为固定维度的标签级神经元响应画像。第二步是残差表示。把同一数据集同组内某标签的覆盖向量减去组内其他标签覆盖向量的均值，得到 1 对多对比向量。二分类时两个残差严格反平行并落在判定轴上，多标签时每个残差代表该标签区别于组内其余标签的方向。

为防止个别神经元因尺度主导结果，还要做列向标准化和行向归一化。这一步的关键转变是从基于样本的特征空间转到基于神经元的激活空间，移动向量意味着决策行为的变化，而非数据本身的属性变化。第三步是证据子空间投影。把伪造残差归一化为判定轴，把证据组内各残差堆成矩阵并做奇异值分解，保留非零奇异值对应的基向量以应对标签高度相关时的退化情形。

把判定轴向该正交基投影并取平方范数即解释比例，范围在 0 到 1 之间，再除以有效秩得到每有效维度的解释力。

自监督前端 × 后端分类器： 自监督前端负责把波形变成保留音素、说话人和通道信息的神经元响应模式，后端分类器负责把这些表示映射到真伪标签；二者搭配的原因是前端单独已能编码可区分真伪的方向，而后端、损失和微调会混入额外效应，组合意义在于把前端隔离出来单独度量，才能判断判定到底依赖伪造痕迹还是数据集捷径。

判定轴与证据子空间的几何关系需要紧扣神经元空间来理解，而不是样本相似度。

判定轴 × 证据子空间： 判定轴是用归一化后的伪造残差表示的真伪分离方向，证据子空间是由某证据组内各标签残差经奇异值分解正交化后张成的空间；搭配理由是二者同处神经元激活空间因而可直接投影，组合意义是投影能量占比即解释比例，越接近 1 说明检测判定几乎落在该证据的对比方向上。

初学者常见误解是把投影比例当作分类准确率或因果贡献，实际上它只是方向重叠程度，高重叠说明用于区分真伪的神经元对比模式与用于区分该证据内部标签的模式高度一致，但不能直接推出去掉该证据后性能必然如何变化。

没有新损失时，微调、后训练与分析计算各自更新什么？

本节对应机械契约中的训练节，但论文的方法本身没有提出新的可训练损失，因此必须先说清没有训练什么，再讲实际发生的计算。证据子空间投影的分析链条中没有梯度更新、没有优化器、没有早停，激活统计、覆盖平均、残差相减、标准化与奇异值分解都是确定性计算，不涉及参数冻结与解冻的选择。真正的参数更新发生在作为研究对象的检测模型上。

论文研究 300M 参数的 XLSR 与 HuBERT 各自的冻结版本、在 ASV19 上微调的版本、在 ASV5 上微调的版本，以及仅 XLSR 可用的在大规模深伪数据上后训练的版本，原文明确说明没有可比的 HuBERT 后训练模型。微调时后端是一个简单多层感知结构，把自监督特征投影到 128 维、做均值池化再映射到两类，输入循环补齐到 4 秒且不做增强。数值单元来自语音量化器的第九层 500 类配置。需要指出原文未报告学习率、轮数与优化器细节，这些属于缺项，不能从模型名称推定实现。

后训练的细节引用外部工作，本文只把它当作一种已存在的训练条件来比较证据依赖的变化。代码当前可用，已公开在官方仓库，可用于复现激活统计与投影流程，但权重下载与系统可运行性仍需按仓库说明确认。

在哪些数据与证据划分上比较，指标方向如何读？

实验按问题组织。测的是冻结、微调与后训练条件下判定轴与 9 类证据的解释比例变化，以及对应的等错误率。比较对象包括两种自监督模型、3 种训练条件与 6 个数据集，数据集涵盖 ASV19、ASV21 逻辑接入与深度伪造子集、ASV5 测试集，并因部分数据与后训练数据重叠而额外引入 ASV19 开发集与野外采集的 ITW 作为未见集合。证据分为元数据衍生与信号级两类。

元数据类包括声码器身份、数据集特定攻击编号、粗粒度攻击类型、编解码、传输条件与性别，信号级包括静音、频率和谐波噪声比 3 类帧级标注。静音标注把首尾比最大均方根能量低 30 分贝的段标为静音，其余为语音。频率标注计算对数幅度谱并做谱白化，按最大池化把能量汇总到 4 个子带，若某带能量超过帧均值 0.5 倍标准差则多热标注，组合出 16 种模式。谐波噪声比用谱平坦度并以大津阈值区分谐波主导与噪声主导帧。

指标方向是解释比例越高表示判定越落在该证据方向上，等错误率越低表示检测越好，但二者分属不同空间，不能把投影下降自动等同于等错误率下降。以下两张表分别整理冻结条件下的组间差异与余弦相似度验证的细节，阅读时注意数值相同不代表指标相同，百分点与相对百分比也不可混用。

冻结前端已经编码了哪些捷径与脆弱对齐？

先提出比较问题：在不更新参数时，不同证据对判定的解释力排序是否跨模型一致，跨数据集是否稳定。公平条件是同一冻结前端、同一激活统计与同一归一化流程，指标是每有效秩的解释比例。下表整理原文直接报告的冻结条件数值，覆盖静音、性别与攻击相关组的代表性结果，单位保留原文百分号写法，比较对象为另一模型或另一个数据集。

表后解释需要同时讲收益与代价。冻结模型的热图显示 XLSR 与 HuBERT 的相对排序大体保留，说明模式反映自监督表示的共有属性而非单模型伪影。

静音组在 ASV19 测试上超过 10% 而在 ITW 上低于 0.5%，报告支持静音是数据集特有捷径而非通用伪造指示器。性别组低于 1% 点四，支持性别区分模式与检测判定几乎正交。代价与反例是声码器内与攻击组内的高值：ASV19 开发集声码器组与 ASV5 攻击组出现异常高值，意味着某些伪造子类的激活模式更接近真实类，这种域内对齐是脆弱的，容易把特定攻击误判为真实或反之。

频率与谐波噪声比没有一致的跨数据集模式，部分组合达 4% 到六而另一些接近零，支持它们也是数据集特有而非稳定指标。

有效秩 × 解释比例： 解释比例是判定轴投影到证据子空间后的平方范数，有效秩是对证据矩阵奇异值分布的连续化维度度量；搭配原因是标签数多的证据组天然占据更大子空间而容易虚高，组合后用解释比例除以有效秩得到每有效维度的解释力，才能跨组公平比较声码器、攻击类型与静音等不同证据。

以下热图给出冻结条件下全部证据组与数据集的完整数值，颜色越深表示每有效秩解释比例越高，阅读时不要把颜色深浅直接读成准确率高低。

看图路径： 1. 先横向比较左侧 XLSR 与右侧 HuBERT 在同一行同一列的颜色深浅；2. 再纵向看 Silence 行在 ASV19 与 ITW 列的数值落差；3. 最后定位 ASV5 列 Attacks 行的最深色格确认跨模型差异

论文图 3。原论文 Figure 3：“E∆/erank (%) for frozen XLSR and HuBERT.”。

图 3 左侧为 XLSR、右侧为 HuBERT，行是 9 类证据，列是 6 个数据集，灰色缺失格表示该数据集无对应元数据。可见声码器行在 ASV19 开发集最深，攻击行在 ASV5 最深且 HuBERT 深于 XLSR，静音行在 ASV19 与 ASV21 逻辑接入列呈橙色而在 ITW 列接近零，性别行整体最浅。这些像素细节支持上段关于捷径与脆弱对齐的判断，但具体数值应以原文矩阵为准，不可从颜色估计精确百分比。

微调与后训练是解耦了伪造子类还是放大了信号级线索？

本节按训练条件做消融式比较。测的是相对冻结的变化量与括号内绝对值，比较的是微调与后训练策略，条件是否一致取决于训练集是低多样性的 ASV19 还是高多样性的 ASV5。指标方向是攻击相关组的变化为负表示解耦，信号级组的变化为正表示放大。下表整理原文用余弦相似度验证脆弱对齐的数值，同一单元格内保留原文单位与精度，不自行换算。

表后解释要给出机制与反例。

within 伪造组上，在任 1 数据集上微调都降低声码器与攻击组的解释比例，后训练进一步降到多数情况下低于冻结水平，例如攻击组在 ASV19 上从冻结 4% 点四降到后训练 1% 点七，支持训练把伪造子类差异与判定轴解耦。反例是信号级组：用 ASV19 微调比用 ASV5 微调带来更大的静音、编解码与传输组增量，静音增量最大，反映同质录制条件使信号级属性与检测任务混杂，而 ASV5 多样性使其去相关。

模型差异上，HuBERT 在 ASV5 微调下对谐波噪声比与频率的吸收强于 XLSR，例如开发集谐波组 HuBERT 增加较多而 XLSR 增加较少，提示对谱结构的敏感性依赖于自监督模型。后训练把谐波与频率压回接近冻结水平但只部分抑制静音，在 ASV19 上仍增加 8.1%、在 ASV21 深度伪造上增加 5.3%，说明静音捷径持续存在。以下热图展示相对冻结的变化，暖色为增加、冷色为减少。

看图路径： 1. 先确认每格上行为相对冻结的变化量、下括号内为绝对值；2. 再比较下方 Silence 两行的大面积暖色与上方攻击相关行的冷色；3. 最后定位 HuBERT 微调后在 ASV5 攻击行的大幅负向变化格

论文图 2。原论文 Figure 2：“E∆/erank change relative to frozen models with absolute values.”。

图 2 按模型训练条件分块，左侧为 XLSR 后训练，中间为 HuBERT 在 ASV19 上微调，右侧为 HuBERT 在 ASV5 上微调，每块内列为测试集。可见下方静音两行大面积暖色，上方攻击相关行多为冷色，右侧块在 ASV5 列攻击行出现深蓝色大幅负向格。这些像素支持解耦与放大的双向结论，但像素不能精确辨别的步数与小数不应硬写，绝对值以括号内数字为准。

哪些结论还只是相关性，边界在哪里？

需要区分论文直接报告、有限解释与未验证推测。直接报告的是投影数值的跨模型与跨数据集模式、余弦相似度数值与等错误率排序。有限解释的是对高对齐成因的机制讨论，例如谱滤波加叠加声码器复用原始残差信号因而成为真实类的代理，对抗攻击感知到文本转语音特有伪影因而改变残差方向，这些解释有相似度数值支持但仍用可能与假设等措辞，属于待验证而非因果证明。

未验证推测包括把某一组的解释力完全归因于该组本身，因为一个组的解释力可能来自与之相关的另一因素，论文在结论中明确提示未来需引入更多组以解耦混杂效应。

缺失证据不是技术错误：原文未测量误判率分解之外的延迟、算力与帧率，总体趋势也不等于每组每步都成立，例如微调后 22 个三元组中有 18 个符合解释比例越低则等错误率越低，其余为例外，其中一个例外是 XLSR 在 ASV21 深度伪造攻击组上解释比例更高却因转换类占多数且好分类而总体等错误率更低。未评测边界包括野外数据的标注缺失导致的灰色格、以及仅 XLSR 有后训练模型而无法做 HuBERT 后训练对照，这些都限制了结论的外推。

要复现这套度量，先做什么、保留什么条件？

复现先做三件事。第一是按仓库说明准备冻结的 XLSR 与 HuBERT 权重与量化器配置，保持量化器层与类别数与原文一致，并用循环补齐到 4 秒且不做增强的方式送入模型，以保证激活统计口径一致。第二是复现 9 类证据的划分脚本，特别是静音的 30 分贝阈值、频率的谱白化与四带划分和谐波噪声比的大津阈值，任何阈值改动都会改变残差方向。

第三是严格执行列向标准化、行向归一化与基于非零奇异值的秩选择，再计算投影能量与有效秩归一化，不要跳过归一化直接比较原始投影。关键超参数与信息条件包括前 1% 激活判定、1% 随机基线、有效秩归一化与仅用伪造音频计算伪造子类组的设定。代码当前可用，已公开，但本次只确认链接可达，不承诺权重下载速度与一键可运行。

还需补的验证是引入更多证据组以检验混杂，例如把说话人与通道条件加入后观察静音与频率的解释比例是否下降，以及在自有野外数据上重算跨数据集稳定性，避免把单数据集的高解释比例当作通用结论。

何时值得尝试这套方法，如何一句话记住它？

当你的检测器在域内很好但跨域掉点，且怀疑前端依赖了静音、编码或特定攻击伪影时，值得尝试这套方法，因为它不需要改后端就能给出每种证据各解释了多少判定方向，并能用微调前后的变化判断训练是解耦还是放大了捷径。一句话记住它是把真伪对比方向投影到各证据对比子空间，用每有效维度的投影能量为前端的依据算账。

实践建议是先看冻结模型的跨数据集排序以定位捷径，再看微调后攻击相关组是否下降、信号级组是否上升以选择更多样化的训练数据，最后用后训练或数据增强检验静音残留是否可压制。论文的中心判断是冻结模型已编码数据集特有捷径，伪造子类对齐诊断脆弱性，同质训练导致信号级混杂而多样性使其去相关，后训练抑制多数依赖但静音持续存在。

初学者复述时应保留条件：所有高低判断都相对于冻结基线、同一归一化与同一数据集划分而言，离开这些条件谈数值大小是没有意义的。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总