只做整段分类的模型，能否用积分梯度找回声音何时出现

英文题目：EVALUATING THE TEMPORAL DETECTION CAPABILITY OF INTEGRATED GRADIENTS APPLIED ON SOUND CLASSIFIER

会议身份：conference:eusipco:2026:conference-paper-id:0000241

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #可解释性 #环境声 #音频事件检测

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Dumpis, Martynas：机构信息未能从会议 PDF 纯文本可靠映射
• Virtanen, Tuomas：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为10 s家居复调音频，输出为10类 domestic 事件的帧级起止活动，难点是训练只有片段级存在标签，事件时长0.25 s至4.2 s且可重叠。方法链分三步：先用冻结的 AudioSet 预训练 PANNs CNN14加全局最大池化训练片段级多标签分类器，只学存在与否；再对预测概率超过0.5的类别，用积分梯度（Integrated Gradients，IG）以全零波形为基线沿直线路径取50步累积梯度并取绝对值，得到与波形等长的采样点重要性；最后按100 ms窗平均聚合成帧级曲线并做1至99百分位阈值二值化得到检测。相比带帧级预测头的多实例学习弱监督检测，该路线无时间预测头，靠事后归因恢复时间。在合成家居测试集上IG达到平均交并比0.39、帧级F1 0.52、Pointing Game准确率82.6%，接近同骨干弱监督帧级基线FW-WS的0.42、0.55、97.3%，但峰值定位差距超14个百分点，强监督上限FW-SS为0.45、0.58、97.9%。结论仅适用于15 dB至25 dB合成清晰声景，对瞬态类与真实低信噪比录音未验证。原文未披露训练推理成本与统计显著性。

🔗 开源与复现资源

预印本/扩展版链接未在会议页展示；会议版来源见页首官方记录与 PDF。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些信息

这篇解读的输入是 10 秒长的合成家庭环境音频，采样率是 32 千赫兹，每段混有背景家用噪声和 1 到 3 个前景事件，前景来自 10 类日常声音，事件在时间轴上随机放置且允许重叠。目标不是只回答整段里有什么，而是进一步回答每类声音在何时出现，也就是给出帧级活动判断。必须保留的信息有 3 类。第一是监督条件，主分类器训练时只有片段级标签，没有起止时间，也没有帧级预测头。

第二是评价条件，测试时有合成器给出的精确起止真值，所有定位指标统一在 100 毫秒帧分辨率上计算。第三是输出形态，事后归因必须先变成随时间变化的重要性，再经阈值变成二值检测，才能与真值比较。读完本篇，你应能复述从波形到对数梅尔谱，到冻结特征加分类层，到积分梯度归因，再到分窗平均与百分位阈值的完整链条，并知道每个数字是在什么监督和什么分辨率下得到的。

后续先讲任务与相关路线，再沿一个样本走完方法全景与组件计算，然后讲数据构造与训练冻结，最后按问题组织实验与复现要点。

已有解释方法做到哪一步，还缺哪一次检验

在音频可解释领域，已有工作把层级相关性传播用在语音指令与乐器识别上，观察到热力图与音素边界或演奏技法存在对应，也有人发现输入表示不同会让波形模型与谱图模型突出不同特征。另有工作提出内在可解释结构，试图替代事后解释，还有工作用源分离做可听解释。这些工作大多停在解释整段分类决定是否合理，较少回答事后归因能否在复调重叠下成为时间上可靠的活动代理。

图像领域的弱监督定位常用固定阈值，例如取最大激活的一定比例，但音频事件边界不如图像物体边缘清晰，直接照搬阈值可能不合适。梯度归因的阈值选择本身也被综述指出是开放问题，多依赖数据集调参。本文的缺口正是补上 1 次系统检验。用合成复调数据提供真值，用同一评价分辨率比较事后积分梯度与显式帧级模型，并报告阈值敏感性，从而判断分类器在只有存在性监督时是否保留了何时出现的信息。

为什么弱标签下的时间定位是一个真问题

声音事件检测要求同时解决两个子问题，识别类别与估计起止时间。实际中逐秒标注起止时间成本很高，因此常用弱监督形式，只给整段出现过哪些类，不给时间。一种常见建模是多示例学习，先产生帧级分数，再经时间聚合得到片段预测，使模型在没有强标注时也能学到时间预测。本文研究更受限的设定，主分类器连帧级预测头都没有，训练与结构都不直接产生时间输出，事后才用归因反推时间。

初学者容易误解为分类分数高自然等于定位准，实际上分类只需要抓住最判别性的瞬间，而定位要求覆盖完整范围并放准峰值。白话说，片段级分类回答整段有没有，声音事件检测回答每 100 毫秒有没有。

片段级分类 × 声音事件检测： 片段级分类只判断 10 秒内出现过哪些类别，不给起止时间，分工是提供弱标签；声音事件检测要求逐帧判断每类是否活动，分工是恢复时间边界；两者搭配的理由是多示例学习假设片段标签可由帧级证据聚合得到，组合意义在于检验没有时间头和时间标签的分类器是否仍保留可被归因恢复的时间信息。

沿一个样本理解，输入是一段 10 秒波形，目标是输出 10 个类别各自的帧级二值序列。训练时只知道该样本的类别集合，测试时才用合成真值检查时间对齐。这种设定下，任何时间信息都必须来自模型内部保留的时序证据，而不是来自标签直接教时间。

沿一个样本走完输入到检测输出

取一段 10 秒测试音频为例。第一步是表示，波形按 1024 点汉明窗、320 点跳长转成 64 通道对数梅尔谱，频率覆盖 50 赫兹到 14 千赫兹。第二步是特征与分类，卷积块来自在音频集上预训练的 14 层卷积网络，特征在频率上平均，在时间上用全局最大池化压成 2048 维向量，再经新换的 10 类线性层与逐类 sigmoid 输出 10 个存在概率。第三步是归因，只对预测概率超过 0.5 的类别计算积分梯度，基线是全零波形代表静默，步数取 50，用 Captum 实现，得到与波形同长度的 320000 维有符号重要性，取绝对值作为强度。

第四步是时间检测，把采样级重要性按 100 毫秒窗平均得到帧级分数，再按百分位阈值 2 值化，高于阈值的帧判为该类活动。全文只讲论文实际做的这条链条，教学举例会明确标为例子，不添加无源的效果数字。阈值不是固定常数，而是在验证集上从 1 到 99 百分位扫描后为每种方法选优，测试集只用选定的阈值报告交并比与帧级 F1。

分类器做了什么，归因又补了什么

分类器组件的分工是把可变长谱图变成固定维判别向量。卷积基座在训练时冻结，只训练最后的 10 类分类层，损失是二元交叉熵，适配多标签。全局最大池化是关键选择，它鼓励模型保留最具判别性的时间证据，有利于判断有没有，但也为定位埋下偏差，即归因可能强调峰值而非完整范围。归因组件的分工是把片段得分重新分配到时间上。积分梯度沿从静默基线到真实输入的直线路径累积梯度，正值表示增加该类概率，负值表示抑制，取绝对值后用于分析。只对超过 0.5 的预测类计算，避免为模型认为不存在的类强行解释。

积分梯度 × 时间归因图： 积分梯度负责把某类的片段得分沿基线到输入的路径累积梯度，分到每个波形采样点；时间归因图负责把采样点重要性按 100 毫秒窗平均并二值化为检测输出；搭配理由是分类器本身不输出时间轴，必须靠事后归因重建时间轴，组合后才能用交并比等检测指标评价。

举例说明只是帮助理解，不是论文新实验。例如一段同时有餐具碰撞与语音的音频，理想的时间归因图应在餐具段与语音段各自抬高，且类间可分。论文用代表性样本的波形与两类归因强度示意了这种集中现象，持续事件对应更宽的高重要区，瞬态事件对应更尖的峰，但具体形状需回到阈值与指标定量评价，不能只看图。

帧级对照模型与主分类器差在哪里

为判断归因的时间信息是否可比直接学习，论文实现了一个帧级卷积对照。它去掉分类前的时间池化，对每个时间帧独立分类，输出形状为批量、时间、类别，再经时间最大池化得到片段得分。训练时有两种监督，弱监督帧级模型用片段标签，靠时间最大聚合回传；强监督帧级模型用同分辨率的帧级活动标签直接训练。两者共享同样的迁移设置，音频集预训练权重载入，卷积基座冻结，只训练 10 类分类层，优化器、轮数与早停与主分类器一致。10 秒音频在给定谱参数下输出 31 个时间帧，约 0.32 秒 1 帧，评价时再与 100 毫秒归因窗对齐比较。

全局最大池化 × 帧级多示例池化： 全局最大池化在主分类器中先把时频特征压成一个 2048 维向量再分类，分工是保留最判别性瞬间以利于识别存在性；帧级多示例池化在对照模型中先逐帧分类再对时间取最大得到片段得分，分工是保留显式时间预测；搭配比较的理由是两者监督同为片段标签但时间信息保留位置不同，组合意义在于区分定位能力来自归因还是来自显式帧预测头。

这个对照的意义是公平，它不是换一个大模型压分，而是只改变时间头的有无与监督来源。若事后归因的交并比接近弱监督帧级模型，则说明分类器内部确实保留了可恢复的时间证据；若指向游戏差距大，则说明峰值放置的稳定性仍不如显式帧预测。

数据如何合成，哪些参数冻结，哪些被训练

本研究没有采集真实标注，而是用声音场景合成器与家庭环境数据生成合成复调音频。前景事件音频来自家庭环境声音库，背景是环境家用噪声，背景参考电平为负 55 分贝。每个前景事件与背景的信噪比在 15 到 25 分贝之间均匀采样，保证前景清晰可闻。事件时长遵循源文件自然长度，范围是 0.25 到 4.2 秒。每段 10 秒，事件数 1 到 3，类别与位置随机，允许多事件重叠。

训练、验证与测试用不同的前景音频池，背景池共用。初始生成 1000 段训练音频，经去掉三事件同时重叠的自动过滤后剩 823 段。验证与测试各生成 250 段并同样过滤后剩 193 段，再平分为验证 96 段与测试 97 段。

弱监督 × 强监督： 弱监督只用片段级类别集合训练，分工是模拟标注起止时间昂贵时的现实条件；强监督用与评价同分辨率的帧级活动标签训练，分工是给出时间定位的上界；搭配理由是两者共享同一帧级卷积结构与冻结策略，只改变监督来源，组合意义在于量化事后归因与直接学习时间标签之间的差距。

训练过程是迁移加线性探针。14 层卷积基座冻结，只更新 10 类分类层，用 Adam 学习率千分之一，批量 16，最多 100 轮，早停耐心 10 轮。主分类器用片段标签，弱监督帧级模型用片段标签加时间最大聚合，强监督帧级模型用帧级标签。论文未报告所用显卡型号与训练耗时等硬件预算，这是复现时需要补记的缺项，不能从模型名推定开销。

评价协议如何保证时间比较公平

评价分两层。第一层是分类完整性检查，对 sigmoid 输出用 0.5 阈值做二值预测，按类计算精确率、召回率与 F1，确认模型不是随机猜。第二层是时间检测，统一在 100 毫秒帧分辨率上计算交并比、帧级 F1 与指向游戏。交并比是归因二值掩膜与真值活动交集除以并集，帧级 F1 把每帧看成二分类样本计算精确率与召回率的调和，指向游戏检查最大归因时刻是否落在真值事件内。归因先按 100 毫秒窗平均绝对值，再按百分位阈值 2 值化，阈值在验证集上从 1 到 99 扫描选优。

测试流程是先跑片段分类，只对超过 0.5 的类生成归因与帧预测，低于阈值的类视为未检出，不参与归因分析。帧级对照在同一测试集上对每个检出类产生帧预测。指标先按类内样本平均，再在 10 类上宏平均得到总体分。随机归因与能量归因作为下界对照，分别用均匀随机分数与信号幅度生成重要性。

主结果在相同阈值选择下说明什么

比较问题是，在各自验证集选优阈值下，事后归因的时间重叠能否接近显式帧级模型，评价方向是交并比、帧级 F1 与指向游戏越高越好。公平条件是同一合成测试集、同一 100 毫秒分辨率、同一按类宏平均，且归因只对检出类计算。下表整理总体时间检测数字，方法列是实际可运行策略，阈值是各自选优后的事后最优，不能直接当作免调参的部署收益。

表后解释需要同时看到收益与代价。收益是积分梯度明显高于随机与能量下界，且与弱监督帧级模型差距小，交并比差 0.03，帧级 F1 差 0.03，报告为接近直接学习时间预测的水平，支持片段分类器保留了何时出现的信息。代价在指向游戏，积分梯度为 82.6%，而两个帧级模型分别为 97.3% 与 97.9%，差距约 15 个百分点，说明整体重叠可比，但峰值放准的稳定性较差。未胜出项是能量基线，其指向游戏仅 15.9%，甚至低于随机，说明单纯响度不能代表类别相关的时间证据。

交并比 × 指向游戏： 交并比衡量归因二值掩膜与真值活动在全部帧上的重叠与并集之比，分工是评价范围覆盖是否完整；指向游戏只检查最大归因时刻是否落在真值事件内，分工是评价峰值是否放准；搭配理由是两者都用同一 100 毫秒分辨率但一个看整体一个看峰值，组合意义在于解释为何本文积分梯度重叠接近基线而峰值准确率差距更大。

分声类看，哪些声音好定位，哪些难

比较问题是定位能力是否随声音的时频特性变化，公平条件是同一归因流程与同一阈值选择逻辑，按类分别平均。下表聚焦论文点名的几类，指标方向仍是越高越好，分类 F1 与定位分数要分开看，不能混为同一能力。

表中最后一行是为防误读而设的分类对照，0.95 是语音的片段分类 F1，0.90 是猫的片段分类 F1，0.27 与 0.29 是搅拌器与煎炸声的低召回对应的分类 F1，不是定位分数。表后解释是平稳连续声更易定位，电动剃须刀与搅拌器在积分梯度下交并比达 0.67 与 0.63，而多变瞬态声更难，餐具仅 0.20，语音仅 0.32。反例是语音分类最强但定位偏弱，帧级模型把语音交并比提升到 0.41 与 0.43，而餐具在所有方法下都难，说明存在类别固有难度。论文的机制解释是全局最大池化鼓励保留最判别峰值，持续声的高重要区更宽，瞬态声的峰更尖，不利于覆盖完整范围，这属于有限解释而非因果证明，待进一步验证。

阈值一变，结论还成立吗

要检验的问题是二值化阈值对结论的影响。操作是在验证集上扫描 1 到 99 百分位，对每种方法分别记录交并比与帧级 F1 曲线。报告显示积分梯度在 56 百分位交并比峰值 0.39，在 57 百分位帧级 F1 峰值 0.52，而常用的 80 百分位只能得到交并比 0.34，相对低约 13%。弱监督帧级模型在 43 百分位达到交并比 0.54 与帧级 F10.67，强监督在 28 到 29 百分位达到交并比 0.65 与帧级 F10.77。

注意这里验证集最优与测试集最优的数值口径不同，正文总体表报告测试集宏平均 0.39 到 0.45，而阈值曲线段提到帧级模型更高的验证峰值，不能把两处数字直接当成同一聚合下的胜负。支持的判断是固定阈值可能次优，最优工作点依赖检测器与事件特性。未评测边界是真实录制与更低信噪比混合，当前合成信噪比 15 到 25 分贝相对清晰，结论外推需谨慎。部署时不能把事后选优值当作免调参收益，必须预留验证集调阈值的步骤与成本。

哪些边界本文没有测，不能承诺什么

第一是数据边界，全部是合成声景，前景清晰，背景单一参考电平，未评价真实录制、未知混响与更低信噪比下的归因稳定性。第二是方法边界，只系统评价了积分梯度，未同条件比较梯度加权类激活映射、层级相关性传播、扰动法与注意力法，因此不能说积分梯度最优。第三是阈值边界，最优百分位随方法与指标漂移，论文未给出无需验证集的通用阈值，实际部署仍需调参。

第四是成本边界，未测量误判率分解、延迟、输出帧率与推理开销，50 步积分梯度本身有额外前向与反向成本，不能承诺定位改善不增加计算。缺失这些证据不是技术错误，但意味着相关性不等于因果，总体趋势也不等于每类每步都成立。阅读时要区分论文直接报告的数字、基于池化机制的有限解释，以及尚未验证的推测，分别用报告、支持与可能来表达。

要复现，先固定什么，再跑什么

先固定数据生成，记录合成器版本、家庭环境声音库的前景划分、背景池、随机种子、事件数采样、信噪比采样区间与三重叠过滤规则，确保训练 823 段、验证 96 段、测试 97 段可重放。再固定表示与模型，记录对数梅尔谱的窗长、跳长、通道数与频率范围，载入音频集预训练的 14 层卷积权重并冻结基座，只训练 10 类分类层，记录优化器、学习率、批量、轮数与早停。归因侧固定基线为零波形、步数为 50、只解释超过 0.5 的类、取绝对值后按 100 毫秒窗平均。

评价侧固定 100 毫秒分辨率、百分位扫描范围、按类平均再宏平均的聚合顺序，以及随机与能量基线的实现。资源状态方面，综述类技术评论的链接本次可达，但这不等于本论文系统可运行，复现仍需自己实现合成、训练与归因脚本。建议先跑通分类完整性检查，确认语音高、搅拌器与煎炸声召回低的分布，再进入时间指标，避免用分类好坏直接推断定位好坏。

何时值得试这种事后定位，还需补哪项验证

当只有片段级标签且无法改模型结构时，值得试积分梯度作为时间定位的起点，尤其目标是平稳连续声或只需粗略活动范围时。复现优先级是先保证片段分类器可靠，再在验证集上为每类调阈值，最后用交并比与指向游戏双指标验收，避免只看重叠不看峰值。若目标是瞬态多变的语音与餐具碰撞，或需要高一致的峰值放置，则显式帧级头与强标签仍有明显优势。

还需补的验证至少包括真实录制混合、低信噪比压力测试、与其他归因方法的同条件比较，以及 50 步开销与帧率的可行性评估。记住本研究显示的是片段分类器保留了可被恢复的时间证据，不是证明所有分类器都天然具备精确边界，阈值与类别特性会显著改变结论。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

另有 5 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总