英文题目：Mask-Induced Displacement in Audio XAI via Logit Trajectory Decomposition
标签：#音频分类 | #统计分析 | #可解释性 | #模型评估
评分：7.7/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
👥 作者与机构
- Nico García-Peguinho：机构信息未在 arXiv HTML 中可靠披露
- David Kelly：机构信息未在 arXiv HTML 中可靠披露
- Fabrizio Smeraldi：机构信息未在 arXiv HTML 中可靠披露
- Anna Xambó Sedó：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
扰动解释需要对梅尔频谱图做遮挡并将输出变化记在保留特征上，但填充信号本身会污染响应，难点在于缺乏真值时无法区分模型行为与方法伪影。该文先在复数短时傅里叶变换（Complex Short-Time Fourier Transform，STFT）域施加保留掩膜并走完各模型信号链得到logit向量，再以全遮挡到原始输出连线为归因轴做投影分解，最后对正交残差做分保留率协方差与特征谱分析以检验结构稳定性。与以往比较填充忠实度的做法不同，本文放弃排序选优而直接度量几何位移，将标量归因不可见的正交分量显式化。在AudioSet评测条件下，ast+sa零填充Silence类的平均置信度指标为.608，高于panns-sa零填充Silence类的平均置信度指标.327。部分掩膜下正交位移占比高且在中等保留率处最显著，不同采样与加权策略对其暴露程度不一。该结论限于三种填充与三种AudioSet分类器的黑盒logit观测，未打开中间激活验证因果机制，也未证明校正后忠实度提升。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
代码相关资源：https://github.com/ne3k0/partial_mask_geometry_xai — 链接可访问（HTTP 200）
模型相关资源：https://github.com/ne3k0/partial_mask_geometry_xai — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，为什么填充值得单独研究？
输入是音频片段经短时傅里叶变换与梅尔滤波得到的对数梅尔频谱，目标是解释音频分类器对某个真实标签的预测依据。常用做法是遮掉频谱的一部分，看输出下降多少，再把下降 credit 给被保留的区域。初学者容易把遮掉理解为删除，但实现上只能用一段替代信号补上，这段替代信号就是填充。论文要回答的是混合了保留声与填充声之后，输出变化是否可预测，以及偏离有什么结构。必须保留的信息是 3 种填充、3 种分类器、1100 个评估片段与全遮挡条件下的类别响应，输出是 1 篇能复述几何分解与实验条件的解读。代码与训练模型当前可用，已公开在官方仓库链接。
同类解释路线有哪些，为什么本文不做忠实度排序？
同输入同目标的路线包括 KernelSHAP、LIME 与 RISE，它们都通过扰动输入拟合重要性或跟踪输出变化，在语音、音乐标注、情感与内容分析中都有应用。另一条路线是训练解码器做学习型替代，以可解释性为代价换取拟合。相关掩膜文献已指出填充会主导忠实度排序，积分梯度的基线选择同样塑造归因。本文不做忠实度排序的理由是原文明确给出的：没有真值解释可验证，评估会奖励归因与评估用同一填充，超参数能改变排序，掩膜形状本身可被模型利用。因此本文转向几何诊断，直接测量输出轨迹，而不是先选一个填充再比谁更忠实。
要检验的核心假设是什么，为什么标量输出不够？
核心假设是加性替代假设，即保留比例近似等于沿归因轴的输出进度。直白说，保留一半就应走完一半路程。标量方法只看目标类的输出值，例如跟踪该类置信度或拟合其线性函数，等于只看投影进度。若模型同时激活了其他类别方向，标量值看不见这部分偏离。论文把全遮挡输出到原始输出的连线作为归因轴，沿轴为在轴分量，垂直为离轴分量。举例来说，同样是保留一半，一个掩膜可能让目标类回到一半，另一个掩膜可能同时激起噪声类或嗡鸣类，标量进度相近但完整输出向量位置完全不同，后者就是需要被度量的离轴位移。
沿一个样本走完输入到分解输出的全链路
取一个评估片段，先得到原始复数频谱与相位。按粗网格随机划分保留块，生成一个二值保留掩膜，保留比例记为阿尔法。被遮掉的位置填入零、均值或高斯噪声 3 种填充之一，再经过各模型完全相同的信号链得到对数梅尔频谱并送入分类器。分类器输出 527 个 AudioSet 类别的对数向量，分别记录原始向量、全遮挡向量与部分掩膜向量。
从全遮挡指向原始的差向量是归因轴，当前掩膜相对全遮挡的差向量投影到该轴得到标量进度，减去投影后剩下的向量长度就是离轴大小，方向由残差向量记录。下图把 4 种频谱输入、分类器、527 维输出与轴分解放在同一视图，是理解后文所有曲线的基础。 导读：左侧是输入与填充类型，中间是模型与输出维度，右侧是几何分解，箭头表示计算流向而非训练梯度。
看图路径： 1. 从左侧四条频谱输入沿箭头找到分类器 F 再到 527 维输出；2. 对比右图紫色归因轴 d 与绿色偏离点的垂直虚线关系；3. 确认底部 logit 换算式把 sigmoid 置信度线性化；4. 记录 v_foc 与 v_orig 两个端点如何锚定 tau 为 0 和 1
论文图 1。原论文 Figure 1:：“Method overview. Four spectrograms (original and three fills) are passed through classifier \mathcalF, producing logit vectors \mathbfv\in\mathbbR^527.”。
解释：左侧 4 张频谱分别为原始、零填充、均值填充与高斯噪声填充的示意，黑色块为被替换区域，均值与噪声填充保留了更多纹理。中间黑色梯形为分类器，输出条形表示 527 类置信度，其中一类被标红。右侧紫色带箭头直线为归因轴，两端紫点为全遮挡与原始输出，绿色点为不同保留比例的掩膜输出，绿色虚线为其到轴的垂直距离，橙色虚线分别标出在轴进度与离轴大小。底部公式把置信度换算为对数值以便做线性几何分析。
掩膜、填充与信号链如何操作？
掩膜定义在较粗的梅尔与时间单元网格上，时间边界取总帧数的十分之一附近，每单元约 100 毫秒，再上采样到频谱分辨率。网格被划分为 25 个连续矩形块，每次按块整体采样，边界每个种子重画，目的是让每个单元出现在多种组合中，减少固定网格带来的位置偏置。每个片段用 300 个种子乘 32 个样本得到 9600 个部分掩膜，保留比例二项分布集中在 0.5 附近。填充在复数域施加，保留相位，只改幅度：零填充置零，均值填充用该频率 bins 的时间平均幅度，高斯噪声填充用以该平均幅度为尺度的半正态幅度，且每个片段只抽 1 次并固定。随后经过各模型信号链丢弃相位得到对数梅尔频谱。
填充 × 掩膜： 掩膜负责决定保留哪些时频单元，填充负责给出被遮掉单元的替代信号，二者搭配是因为掩膜不能删除输入只能替换，组合意义是每次输出都是保留声与填充声的联合响应，偏离结构由此产生。
填充施加的复数替换关系是后续一切几何的起点，其符号含义是掩膜为 1 保留原值，为 0 取填充值。
\[\tilde{\mathbf{Z}}=\mathbf{m}\odot\mathbf{Z}+(1-\mathbf{m})\odot\mathbf{Z}_{\text{fill}},\]该式的计算目标是生成分类器真正吃到的频谱，原文明确在复数域操作后再走模型信号链，不是直接在梅尔域贴色块。
在轴与离轴如何计算，理想行为是什么？
记原始对数向量减全遮挡向量为归因轴，当前掩膜减全遮挡为位移向量。位移与轴的点积除以轴平方范数得到标量进度，位移减去进度乘轴后取范数得到离轴大小，位移本身范数为总位移。锚定方式是全遮挡处进度为 0，原始处为 1。理想替代假设要求进度约等于保留比例。目标类单独的归一化进度用于归因加权。还报告每片段进度与离轴的标准差的平均值，以及离轴占总位移的平均比例。
在轴分量 × 离轴残差： 在轴分量负责度量沿全遮挡到原始输出连线的投影进度，离轴残差负责度量垂直于该轴的偏离大小与方向，二者搭配是因为标量归因只看目标类进度，组合意义是把填充引入的额外激活从归因进度中分离出来。
分解的计算目标是把标量方法能看见的进度与看不见的正交激活分开，大离轴意味着替代模型在不知情的情况下加权。
\[\tau=\frac{\Delta\mathbf{v}\cdot\mathbf{d}}{\|\mathbf{d}\|^{2}},\qquad d_{\perp}=\|\Delta\mathbf{v}-\tau\,\mathbf{d}\|,\qquad d_{\text{total}}=\|\Delta\mathbf{v}\|.\]该式只涉及前向输出的几何运算，不引入可训练参数，也不做梯度更新。
保留比例 × 替代假设： 保留比例负责记录每次掩膜保留了多少单元，替代假设负责要求输出进度近似等于保留比例，二者搭配是因为 LIME 与 KernelSHAP 把保留比例当作接近原声的距离，组合意义是检验该距离假设是否成立以及何时被离轴偏离打破。
保留比例是采样属性，进度是模型响应属性，二者本应接近，偏离的形态与大小正是第 4 节要画出的曲线。
离轴残差的结构如何度量？
残差向量按构造垂直于各自片段的归因轴。为看它是否有共享方向，按保留比例分成 20 个区间，在每个区间内跨 22 类与全部片段汇集残差，估计区间内协方差。汇集是故意的，目的是发现跨片段的共享结构而非单个片段的特例。最少样本区间仍有 9889 个向量，样本维数比至少 19 比 1。对协方差做特征分解，用参与率概括谱集中度，1 为单方向，526 为各向同性上限。再取主特征向量，计算区间两两绝对余弦相似度的均值与最小值，以及主方向解释的方差比例。
参与率 × 主方向稳定性： 参与率负责给出离轴残差占据的有效维数，主方向稳定性负责检验不同保留比例下主特征向量是否指向同一方向，二者搭配是因为低维还不够、方向漂移会让修正失效，组合意义是判断离轴结构是否值得做事后校正。
低参与率加高跨区间相似度意味着稳定低维，可谈修正；方向随保留比例漂移则修正难以落地。
\[\mathrm{PR}_{b}=\frac{\left(\sum_{i}\lambda_{i}\right)^{2}}{\sum_{i}\lambda_{i}^{2}},\]该式给出有效维数，分子为特征值和的平方，分母为平方和，原文用单遍稳定批量更新估计协方差。
本研究训练了什么，没有训练什么？
本研究没有训练新的分类器，也没有训练解释替代模型，3 个被解释对象是已有的 AudioSet 梅尔频谱分类器：两个 PANNs 变体共享训练数据，仅以是否使用 SpecAugment 为区别，另一个为带 SpecAugment 的音频频谱变换器。原文说明变换器若去掉该增强会过拟合且性能明显下降，因此只评估带增强版本。真实计算过程是既有模型推理加几何分析：复现各模型信号链，对每个片段生成固定掩膜集合，前向得到对数向量，再做投影、残差、协方差与特征分解。
SpecAugment × 零填充不变性： SpecAugment 负责在训练时施加时频零值遮挡，零填充不变性负责让模型在低保留比例下对零填充不产生过大偏离，二者搭配是因为训练见过的遮挡形式会改变几何轨迹，组合意义是解释为何同一架构加减该增强后离轴曲线差异明显。
训练阶段见过的零值遮挡会在推理几何中留下痕迹，这正是比较两个 PANNs 变体的对照价值，未报告优化器与训练超参数细节，本文也不从模型名推定其实现。
数据、采样与评估条件如何保证可比？
评估集取自 AudioSet 评估划分，从 22 个涵盖乐器、动物、环境与语音的类别中每类抽 50 个片段，共 1100 个，类别是为覆盖声学类型有意挑选而非随机抽样。输出一律对照片段的真实标签而非模型最高预测，避免把模型猜对与否混入几何度量。掩膜确定性生成，使填充效应可在相同掩膜下直接比较。每个片段 9600 个掩膜乘 1100 片段再乘条件，总计约 95,040,000 个部分掩膜。度量在对数空间进行以线性化 sigmoid 输出。缺项是原文未报告硬件预算与运行时间，也未报告人类评价，因此不能把自动几何差异当作人类可理解性胜负。
全遮挡证明了什么：没有中性填充
比较问题是全遮掉后模型是否回到无信息基线，公平条件是同一 1100 片段与同一信号链，指标方向是平均置信度越高且越集中，越说明填充自带声学含义。理想无信息要求全遮挡对数向量为零即每类 0.5，但判别训练的分类器无法保证。结果显示零填充与信号无关，同模型下各片段输出相同；均值与高斯填充与信号有关，引入片段间方差。零填充下两个无增强或变换器模型指向静音，带增强的 PANNs 指向音乐。
均值下变换器高度集中于电源嗡鸣，高斯噪声下 3 模型一致指向宽带噪声类。下表整理全遮挡的模态类别与集中度，数值保留原文精度。
| 条件 | 指标 | 零填充 | 均值填充 | 高斯噪声填充 |
|---|---|---|---|---|
| 变换器加增强 | 全遮挡首选类与平均置信 | 静音 0.608 | 电源嗡鸣 0.691，共 857 片段 | 白噪声 0.466，共 969 片段 |
| 无增强 PANNs | 全遮挡首选类与平均置信 | 静音 0.327 | 蜂鸣器 0.216，共 273 片段 | 白噪声 0.342，共 618 片段 |
| 带增强 PANNs | 全遮挡首选类与平均置信 | 音乐 0.187 | 正弦波 0.512，共 295 片段 | 静电噪声 0.229，共 348 片段 |
表后解释：主要收益是证伪中性填充，均值最分化、高斯最一致。代价是均值与高斯继承源片段谱特性，填充自身可判别性与源结构在片段级不可分，并会延续到所有保留比例。未胜出项是无增强 PANNs 在均值下共识最弱，概率分散，这是后文高离轴的伏笔。均值按源类别的细分还显示电干扰与周期音两组语义聚集，但跨架构不一致。
部分掩膜轨迹：进度可预测与偏离共存
比较问题是保留比例能否预测输出进度，公平条件是相同掩膜分布与相同归因轴定义，指标是进度均值相对理想线的位置与离轴占比。导读：第一行看进度是否贴合理想虚线，第二行看离轴随保留比例的形状，左下表看总体占比与稳定性。
看图路径： 1. 先看左上掩膜数直方图确认多数掩膜集中在保留比例 0.5 附近；2. 再对比第一行三列 tau 曲线与黑色 tau 等于 alpha 虚线的上下关系；3. 再看第二行三列离轴残差随保留比例是递减还是倒 U 形；4. 核对左下汇总表中 off-axis 占比与两类标准差的跨条件差异
论文图 2。原论文 Figure 2:：“Logit-space trajectory analysis across 95.04M partial masks (22 classes, 50 clips, 9,600 masks/clip).”。
解释：左上直方图显示掩膜数集中在 0.5 附近，意味着伯努利采样天然把多数样本放在两信号最混合的中段。第一行三列中变换器进度整体高于理想线，PANNs 在均值与高斯下更贴近理想线，但这不代表干净。第二行显示变换器离轴随保留比例递减，无增强 PANNs 零填充在低保留段离轴高达 30 以上，带增强后降至 7.5 附近，而两 PANNs 均呈中段隆起的倒 U 形，正好落在采样最密处。下表给出跨条件汇总，离轴占比与不稳定性并读。
| 模型 | 指标方向 | 变换器离轴占比 | 无增强 PANNs 离轴占比 | 带增强 PANNs 离轴占比 |
|---|---|---|---|---|
| 三填充平均趋势 | 离轴占比越低暴露越小 | 0.41 到 0.53 | 0.67 到 0.77 | 0.67 到 0.76 区间 |
| 方法暴露 | 加权策略与低离轴区是否重合 | LIME 近原端加权重合低离轴区 | Shapley 核降权中段恰逢倒 U 峰 | 均值高斯跨增强变化小 |
表后解释：主要判断是在轴可预测与离轴污染可以共存，无增强 PANNs 在均值高斯下进度贴合理想线但离轴仍大。代价是采样与加权与几何耦合：LIME 近原端加权恰好利于变换器，Shapley 核对中段降权恰好利于 PANNs，所谓 apparatus 依赖即方法装置塑造了所见行为。反例是变换器在高斯与均值下低保留段目标类进度分别约 0.52 与 0.36 起跳，高斯在高保留段甚至超过 1，说明进度本身也被填充抬升。
离轴结构何时稳定低维，何时漂移难修正？
比较问题是离轴残差能否被一个稳定方向概括，公平条件是同一分箱协方差与同一相似度定义，指标方向是参与率越小、平均余弦越高、主成分方差占比越高越可修正。下表按模型与填充对照有效维数与方向稳定性。
| 模型与填充 | 有效维数参与率 | 平均余弦 | 最差余弦 | 主成分方差占比 |
|---|---|---|---|---|
| 无增强 PANNs 零填充 | 8.39 | 0.95 | 0.68 | 32.1% |
表后解释：最可修正的是无增强 PANNs 零填充，不到 9 个有效维且方向跨保留比例稳定，30% 以上方差集中在单一特征向量。代价是 SpecAugment 大幅降低稳定性，带增强 PANNs 最差余弦可低至 0.02，方向随保留比例漂移，事后校正难以落地。未胜出项是变换器方向一致但结构弥散，有效维数 13 到 19，主成分仅解释约两成方差，属于方向稳但维度散。总体趋势不等于每组都成立，高斯下变换器最差余弦也跌至 0.25，需按组合单独判断。
什么还不能做，哪些推论需要克制？
论文直接报告的是几何现象与结构度量，支持的是填充非中性与方法装置依赖，有限解释是采样加权与低离轴区的重合可能减轻暴露，但未做因果干预证明加权必然修正归因。未验证的是打开黑盒看中间激活的因果机制，原文结论明确把这点列为未来工作。缺失证据不是技术错误：未测量误判率、延迟与计算成本，不能承诺修正会改善这些量；未做人类评价，不能把离轴小等同于更可理解。
相关性不等于因果，SpecAugment 与零填充离轴下降一致，但不能仅凭此断言训练必然带来通用不变性，因为均值与高斯在两 PANNs 间几乎不变。评估修正本身还需要依赖填充选择的忠实度指标，形成循环，这是原文指出的根本限制。
复现先做什么，需要哪些信息条件？
先按原文复现信号链与掩膜生成：粗网格时间边界取十分之 1 帧，每单元约 100 毫秒，25 块按块采样，300 种子乘 32 样本，每片段 9600 掩膜，保留比例记录为保留单元占比。填充在复数域实现并保留相位，均值用分频时间平均幅度，高斯按该幅度定标且每片段固定 1 次抽样。模型调用 3 个现成检查点，对数变换后再按全遮挡到原始连线做投影分解，分 20 个保留区间估计协方差并算参与率与余弦稳定性。
关键超参数是块数、种子数、分箱数与样本维数比，信息条件是必须用同一确定性掩膜比较填充。代码与模型权重当前可用，已公开在官方仓库，可直接运行前向与分析脚本，但需注意类别挑选非随机，若换随机抽样结论数值会变。
何时值得尝试这种诊断，记住哪条误解？
当你的音频解释出现换填充就换结论，或 LIME 与 RISE 排序打架时，值得先做这种对数轨迹分解，看离轴占比是否超过四成以及倒 U 峰是否落在采样密集区。若离轴稳定低维且方向跨保留比例一致，可探索沿主离轴方向的校正；若方向漂移或维度弥散，应先换采样分布或加权策略而非调解释超参数。特有误解是把进度贴合理想线当作填充无害，PANNs 在均值高斯下已证明两者可共存；另一误解是把零理解为空，零在声学上是静音，在训练史上是 SpecAugment 见过的遮挡，二者都会激活特定类别。记住填充与方法是实验装置的一部分，所测即所得，诊断的价值是让不可见的偏离变得可度量。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses