从注意力里找证据：用低熵头锁定语音识别依据的 LEAF-X

英文题目：Listening with Attention: Entropy-Guided Explainability for Transformer-Based Audio Models

会议身份：conference:interspeech:2026:conference-paper-id:kumar26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #可解释性 #语音 #语音识别

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ravi Kumar：机构信息未能从会议 PDF 纯文本可靠映射
• Utkarsh Grover：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaomin Lin：机构信息未能从会议 PDF 纯文本可靠映射
• Agoritsa Polyzou：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

Transformer自动语音识别需为每个解码词元输出在声学特征帧序列上的归一化重要性分布，但扰动类解释不稳定且与内部计算脱节，原始注意力又常被高熵发散头污染而难以词级接地。LEAF-X先对解码器音频到文本交叉注意力计算头香农熵并经温度变换转为置信权重，在层内加权平均得到去噪层注意力，抑制对词元对数似然无影响的注意力。其输出进入带残差思想的多层rollout算子以聚合跨层证据得到词元到帧归因，再可选以词元对数似然梯度调制注意力并以逐层消融负对数似然增量估计层重要性做因果重加权。与直接平均或单层注意力及扰动解释不同，该链条同时利用低熵置信选择、跨层传播与轻量因果校验，使稀疏解释更贴近模型实际打分变化并可审计。在LibriSpeech评测设置下，LEAF-X的D-AOPC指标为0.45，低于SaCo的D-AOPC指标为0.51。在Whisper-large-v3与Canary-Qwen-2.5B及TED-LIUM语料条件下其删除与不保真度最低而稀疏性与稳定性居前，仅时间定位与最强基线持平或略低，消融显示各组件互补。其适用边界受限于特定主干、数据集与语言覆盖，对注意力与熵校准敏感，且尚未验证噪声域偏移与人类可解释性上的表现；因果重加权带来与音频到文本注意力层数相当的额外前向计算量，必要时可关闭以降低推理开销。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么高准确率的语音识别仍然需要解释？

输入是一段连续语音，目标是输出对应的词序列。论文研究的是基于 Transformer 的自动语音识别，也就是先把音频变成对数梅尔帧序列，再用编码器解码器或语音增强的解码器模型逐词生成文本。对于刚入门的读者，白话理解是：模型听得很准，但我们不知道它依据哪几毫秒的声音做出每个词。

必须保留的信息是每个解码词对应哪些音频帧的贡献度。输出不是一句话的总体热力图，而是每个词一个归一化分布，所有帧权重和为 1，权重越大表示该帧对该词预测的支撑越强。这种词到帧的细粒度对应，是后续审计医疗听写或应急响应错误的前提。

高准确率不等于可审计。论文指出 Whisper 和 Canary 这类大规模模型在标准测试上已接近人类词错误率，但预测依据仍然不透明。操作者需要回答哪个声学片段支持了当前词，以及模型为何选择该假设而非另一假设。在安全关键场景中，若不能定位证据，就难以发现幻觉或系统性误听。监管对高风险人工智能决策要求可解释性，也推动了这种需求。

本文解读只讲论文实际研究的任务：为 Transformer 语音识别提供忠实且时间 grounded 的解释。不扩展到说话人识别或情感识别，教学中若举例会明确标为例子。

已有解释路线为什么在语音上不够用？

同输入同目标的已有路线主要有 3 类。第一类是模型无关扰动，如 LIME 和 SHAP，白话是遮挡一部分输入看输出如何变化，再拟合局部代理模型分配贡献。第二类是梯度归因，如积分梯度，白话是从基线到真实输入积分梯度得到每处特征的重要性。第 3 类是 Transformer 专用传播，如注意力 rollout 与相关性传播，白话是沿层的注意力流追踪信息如何组合。

在语音上的困难是时间依赖强、需要精确到词的时间定位，且不能破坏时序连续性。论文回顾指出，把 LIME 用于音素识别需要手动分段和大量扰动，计算贵且定位粗；频谱显著性图能显示共振峰或爆破段等语言学上合理的线索，但在端到端识别中往往扩散，难以对应到词级。更关键的是忠实度问题：许多扰动或梯度解释只与输出相关，没有抓住因果证据，且在小输入变化下不稳定。

论文采用的忠实度量化思路是删除高归因区域后看模型分数下降多少，下降越大越忠实。但直接在语音上做朴素掩蔽会打断时序连续，也不能保证找到的区域与模型内部声学与词的对齐一致。因此论文主张利用编码器解码器和语音增强解码器模型的内部结构，做模型内在解释，而不是只在外部扰动。

LEAF-X 要解决的具体对应问题是什么？

给定声学特征序列与已解码词序列，LEAF-X 要为每个词计算一个帧级归因向量。白话是：每个词分得一张时间注意力账单，所有帧分摊 1 的权重。对编码器解码器模型如 Whisper，证据来自解码器交叉注意力指向编码器帧的质量；对语音增强的解码器模型如 Canary-Qwen，则是对指向音频伪词元的注意力质量做同样处理。为了能在真实时间上可视化，模型帧索引会用前端跳长和编码器下采样步长映射回波形，再线性插值到音频时间轴。

为了让初学者先建立直觉，可以看论文给出的词级归因示意。以下导读针对本次收到的第一张原图像素：在看图前请先明确该图不是训练曲线，而是一个单样本的解释效果展示，左侧是完整音频证据，右侧是时频解释，目标是检查词与声学区域是否对齐。

看图路径： 1. 先看左侧波形下标注的完整句子，确认输入是一段连续语音；2. 再看右侧时频图上五个词框与箭头分别指向哪段能量集中区；3. 对比不同词的高亮位置是否沿时间轴依次排列且互不重叠

论文图 1。原论文 Figure 1：“LEAF-X provides token-level attribution over the au- dio evidence, revealing which acoustic regions support each transcribed phrase.”。

该图显示左侧波形对应句子 He was at the station at 9 pm，右侧时频图横轴是时间，纵轴是频率，上方 5 个词框 he、was、at、the、station 分别用箭头指向不同的能量集中区域。高亮呈现为红黄集中块，蓝色为背景，5 个词的高亮沿时间从左到右依次出现，与发音顺序一致。这支持论文所说的标记到帧归因：每个转录短语都能找到支撑它的声学区域，而不是整句共用一张模糊热力图。但单样本只能说明可视化形态，不能证明忠实度，后续仍需删除插入实验验证。

LEAF-X 的三步流水线如何走完一个样本？

沿一个样本走完全程有助于记住依赖关系。输入音频先变成频谱特征，再送入 Transformer 语音识别模型收集注意力权重；接着做熵引导加权与跨层 rollout 生成词到时间归因；最后输出每个词的时间或时频热力图，与转录对齐显示。白话是：先收集所有头的所有注意力，再筛掉分散的头，再把各层证据叠起来，必要时用轻量因果检查调整层权重。

在展开细节前先看总体结构图。以下导读针对本次收到的第二张原图像素：该图是方法总览，重点不是具体数值，而是模块之间的数据流向，请先区分蓝色主路径箭头与橙色权重计算支路，再看中间大矩阵如何汇聚信息。

看图路径： 1. 先沿左侧熵加权权重与注意力矩阵汇入中间大矩阵的蓝色箭头看主路径；2. 再看顶部词框向下指向大矩阵列的对应关系，确认词到时间的映射方向；3. 最后看大矩阵向右输出到时频解释图的箭头，确认最终产物形式

论文图 2。原论文 Figure 2：“Overview of the LEAF-X pipeline.”。

该图左侧显示熵引导权重计算与多个注意力矩阵通过乘加汇入中间的跨层注意力 rollout 与因果聚合大矩阵，顶部词框 the、cat、sat 向下指向该大矩阵的不同列，右侧输出为一张横轴时间纵轴频率的解释图。可见主路径是从注意力矩阵到跨层聚合再到解释输出，熵权重作为侧路调制参与融合。这种结构对应论文的 3 个组件：熵加权清洗单层，rollout 聚合深度，梯度调制与因果重加权提升保真。理解这张图后，再看公式中的符号就知道每个量放在哪一步。

熵加权如何筛掉扩散的注意力头？

先解释术语。注意力头白话是模型中并行工作的多个关注通道，每个头对同一词给出一个指向音频帧的分布；熵白话是分布分散程度的度量，越均匀熵越高，越集中熵越低；温度系数是控制权重陡峭程度的正数。

具体动作是：对第 l 层第 h 个头在解码第 i 个词时的注意力分布计算熵，即对所有帧的注意力概率乘其对数求和取负。熵低意味着该头聚焦在少数帧上，更可能是词特异的声学证据；熵高意味着广泛铺开，更可能是通用上下文。然后把归一化熵转成置信权重，熵越低权重越高，温度控制区分度，再用这些权重对同层所有头做加权平均得到该层的熵加权注意力。分母加极小常数避免除零。

直觉是过滤掉反映宽泛上下文而非词特异证据的扩散头，使对齐更尖锐可读。论文明确指出该步骤产生更稀疏的解释，后续稀疏性指标部分与该设计对齐，因此评价稀疏性时不能单独作为优越性证据。

熵引导注意力加权 × 注意力 rollout： 熵引导注意力加权负责在单层内评价每个头的专注程度，熵低则权重大，熵高则权重小；注意力 rollout 负责把各层已加权的结果沿深度向前传播累积。两者搭配的原因是单层筛选只能去噪不能看到组合证据，而直接跨层平均又会被扩散头污染，因此先用熵权重清洗每层输入，再做跨层传播，组合后得到既稀疏又保留深层组合关系的词到帧分布。

需要记住的是熵加权只发生在层内，还没有解决深层组合问题，这就是下一节 rollout 的任务。

跨层聚合与梯度调制如何保留深层证据？

白话解释：注意力 rollout 是把各层的注意力流像传递接力棒一样逐层相乘传播，从而累积深层组合影响的方法；梯度调制是用输出对注意力的敏感度去缩放注意力，只保留真正影响词概率的部分。

计算目标是得到最终归一化的词到帧向量。实现上先令第一层的累积归因为该层的熵加权注意力，之后每一层的累积归因由该层的有效传播算子作用于上一层累积结果得到，实际可用带残差连接的 rollout 或等价注意力流近似实现。最终把最后一层的累积图按帧求和归一化，得到每个词的解释分布。

梯度调制紧接着发生：计算当前词对数概率对其注意力权重的偏导数，用它逐元素乘原注意力，再重新归一化。原文明确说这一步抑制对词概率影响有限的注意力，回应了序列模型中只看注意力不可靠的已知担忧。操作上需要 1 次反向求梯度，但不需要更新模型参数。

交叉注意力 × 解码器自回归分布： 交叉注意力负责给出解码每个词时指向声学帧的权重，是证据候选；解码器自回归分布负责给出在已有历史和音频下当前词的对数概率，是正确性标尺。两者搭配的原因是注意力大不等于对输出影响大，因此用对数概率对注意力的梯度去调制注意力，只保留既被关注又真正影响词概率的帧，组合后缓解只看注意力不可靠的问题。

这样得到的解释既经过熵清洗，又经过深度累积和敏感度过滤，为可选的因果层加权打下基础。

轻量因果检查如何给不同层分配权重？

白话解释：因果重加权不是观察相关性，而是动手消融某一层的音频到文本注意力贡献，看词损失如何变化；中间层归因是 rollout 到每一层时的中间解释快照。

具体动作是：记第 i 个词的负对数似然损失为基准，对每一层做消融，即绕过该层的交叉注意力，再计算损失，两者之差为该层的损失增量。增量越大说明该层对该词越关键。把所有层的正增量归一化得到层权重，负增量截断为零，分母加极小常数稳定。最后用这些层权重对各中间层归因加权求和，形成层加权的最终解释。当少数层主导某词的声学证据时，该步骤提升忠实度。

因果重加权 × 中间层归因： 中间层归因负责给出每一层 rollout 到当前深度的解释向量，反映该深度已累积的证据；因果重加权负责通过消融该层音频到文本注意力前后负对数似然的变化量估计该层重要性。两者搭配的原因是不同词依赖的层不同，均匀累积会稀释关键层，因此用消融损失差转成的层权重对各层解释加权求和，组合后让主导声学证据的少数层占更大比重。

代价是每分析一个词最多需要额外做层数的消融前向，因此论文说明该步骤可选，可在需要时关闭。这是从忠实度换取计算量的典型权衡，复现时要如实记录是否开启。

本研究训练了什么，没有训练什么？

本研究没有训练新的语音识别模型，也没有微调解释器参数。Whisper-large-v3 与 Canary-Qwen-2.5B 都是既有预训练模型，直接用于推理收集注意力、梯度与消融损失。因此不存在优化器、学习率、训练轮数或梯度更新路径需要报告，所谓学习只是推理时计算归因，不改变模型权重。

真实计算过程是纯推理与分析：前向得到注意力与词概率，反向得到梯度调制量，多次前向得到各层消融损失。超参数主要是解释控制量：熵温度典型扫描范围在 0.5 到 2 之间，数值稳定常数约为 1e-8，rollout 深度设为全部音频到文本注意力层数，以及梯度调制与因果重加权的两个可选开关。这些都在原文可重现参数段交代。

缺项是论文未报告具体选择哪个温度为最终值，也未报告消融与梯度计算的硬件耗时分解。复现时应固定温度并记录开关状态，不能从模型名称推定实现细节。

在什么数据、模型和指标下比较解释方法？

模型是 1.55B 参数的编码器解码器 Whisper-large-v3，通过交叉注意力解码，以及语音增强的解码器混合模型 Canary-Qwen-2.5B，耦合 Fast-conformer 语音编码器与预训练 Qwen 大语言模型解码器。数据是 1000 小时朗读英文有声书 LibriSpeech，训练评估用 train-clean-100 并在 test-clean 与 test-other 报告，以及约 450 小时以上 TED 演讲自发讲座语音 TED-LIUM Release 3，使用官方 70% 训练 10% 验证 20% 测试划分，音频保持 16 kHz 以匹配前端。

比较对象覆盖黑盒扰动、梯度归因与 Transformer 专用方法：LIME、SHAP、积分梯度、音频原生遮挡基线 Occlusion 与 SpecMask、原始注意力对齐、SaCo、Transformer Attribution。所有方法经过相同的按指标按数据集最小最大归一化，便于比较。

指标共五项，方向需记牢：删除扰动曲线下面积越低越忠实，时间定位越高越好，稀疏性越高越集中，稳定性越高越鲁棒，不忠实度越低越好。时间定位对照强制对齐的词时间区间，稀疏性为头部质量占比，稳定性测轻微噪声与平移下解释一致性，不忠实度测随机扰动下归因与输出变化的失配期望。论文提醒这些是忠实度与可靠性的代理度量，不证明人类信任或完全因果充分性，应视为审计辅助工具。

主结果在两个模型上显示了什么权衡？

先提出比较问题：在相同归一化条件下，LEAF-X 是否在忠实度、定位、稀疏与稳定之间取得最好整体权衡？公平条件是同一数据集同一模型下所有基线共享归一化，指标方向按上述记忆判断。

以下导读针对本次收到的第三张原图像素：该图是忠实度曲线，横轴是按归因排序后操作的帧比例从 0 到 50%，纵轴是归一化忠实度，实线是插入时词准确率增益，虚线是删除时词错误率增幅，陡峭即为忠实，请先区分线型含义再比较颜色。

看图路径： 1. 先确认横轴是按归因排序后操作的帧比例，纵轴是归一化忠实度；2. 再区分实线插入组与虚线删除组，观察蓝色 LEAF-X 实线是否始终在最上方；3. 比较 10% 到 30% 区间各基线与 LEAF-X 的垂直差距，判断早期恢复速度差异

论文图 3。原论文 Figure 3：“Faithfulness curves. Normalized insertion (solid; token accuracy gain when progressively adding top-attributed frames) and deletion (dashed; WER increase when progres- sively…”。

该图显示蓝色 LEAF-X 实线在插入组始终位于最上方，尤其在 10% 到 30% 区间明显高于 SaCo 橙色、TA 绿色与 RAA 红色等曲线，说明加入少量高归因帧就能快速恢复准确率；虚线删除组各方法差距较小且整体平缓，但 LEAF-X 虚线仍略高。图例同时列出 IG、SpecMask、SHAP、LIME，插入组中 LIME 灰色最低。这支持插入删除趋势上的忠实度优势，但作者也提醒这只是代理证据，不证明完全因果充分性。

上表整理 Whisper 上的关键数字，表后解释主要收益与代价。LEAF-X 删除面积与不忠实度均为 0.45 最低，稀疏 0.70 与稳定 0.78 最高，时间定位 0.72 略低于 SaCo 的 0.73。收益是更忠实稳定且保持可比定位，代价是定位并未单独胜出，且稀疏性部分得益于熵加权设计，不能单独依赖稀疏证明优越。未胜出项是 SaCo 的定位最高，这是必须保留的反例。

上表整理 Canary 上的关键数字，表后解释跨架构泛化与限制。LEAF-X 删除面积 0.48 与不忠实度 0.47 最低，稀疏 0.68 与稳定 0.76 最高，定位 0.70 与 SaCo 持平。报告显示方法在解码器混合架构与自发演讲噪声下仍保持最好整体权衡，但估计的运行间标准差在删除与不忠实度上达 0.03 到 0.08，差异需考虑波动。未评测边界是骨干、数据集与语言覆盖有限，对注意力熵校准敏感，存在噪声域偏移影响。

忠实度 × 时间定位： 忠实度负责回答删除或加入高归因帧是否真正改变模型置信，方向是越忠实删除代价越大；时间定位负责回答高归因帧是否落在强制对齐得到的词时间区间内，方向是重叠越多越好。两者搭配的原因是只忠实可能定位偏，只定位准可能并未影响模型，因此论文同时报告删除面积、插入删除曲线与定位重叠，组合后才能判断解释既影响模型又对得上真实发音位置。

稀疏性 × 稳定性： 稀疏性负责衡量归因质量是否集中在少数帧，用头部质量占比表示，越集中越简洁；稳定性负责衡量在轻微噪声或时间平移下解释是否保持一致，一致越高越可靠。两者搭配的原因是过稀疏可能脆弱，稳定但分散则不可读，因此需要同时看集中程度与扰动下的一致性，组合后判断解释是否既简洁又可重复。

拿掉每个组件后损失出现在哪里？

比较问题是 4 个组件是否互补且必要。公平条件是同一 Whisper 与 LibriSpeech 设置下每次只去掉一个组件，指标方向不变。

上表显示去掉熵加权或单层注意力时定位与稀疏下降最大，忠实度也变差；去掉梯度调制或因果重加权主要损害忠实度，对定位稳定影响较小但持续存在。全量取得最低删除与不忠实度和最高定位稀疏稳定，支持三部分互补且联合必要。代价是因果重加权需额外前向，梯度调制需反向，都增加分析成本。论文未声称拿掉后必然在所有数据上同样退化，复现时应报告具体波动。

哪些结论还不能下，缺了哪项验证？

论文直接报告的是代理指标上的优势，支持的是更忠实稳定的审计辅助能力，可能但待验证的是人类可理解性与高风险部署中的可信提升。原文明确列出局限：骨干与数据集语言覆盖有限，对注意力与熵校准敏感，噪声与域偏移影响，以及缺乏用户研究验证人类可解释性。

缺失证据不是技术错误，但不能把相关性当因果。插入删除曲线陡峭只说明高归因帧影响模型，不能证明已找到充分因果证据；稀疏集中可能是设计偏置，而非真实证据本身稀疏。未测量误判率、延迟或成本改善时，不能承诺这些量得到改善。训练资源、推理开销、输出帧率与实际延迟应分别讨论，总体趋势不等于每组每步成立。

资源状态方面，本次未发现来源绑定且完成验证的资源，不得声称代码模型或数据已公开。复现只能依赖论文描述的模型名称、数据划分与超参数范围自行搭建。

要复现 LEAF-X 先做什么，后补什么？

先做调用准备：准备 16 kHz 音频，用 Whisper-large-v3 与 Canary-Qwen-2.5B 做推理，收集解码交叉注意力与词对数概率；对 LibriSpeech 用 train-clean-100 流程并在 test-clean 与 test-other 评估，对 TED-LIUM 用官方划分。实现 3 步：按熵公式算头权重并层内加权平均，跨层 rollout 累积并归一化，可选梯度调制与层消融加权。固定温度、稳定常数、rollout 深度与开关状态，记录是否开启因果重加权以核算额外前向。

评价复刻删除插入流程：按归因排序逐步掩蔽或加入头部帧，测置信下降、词准确率恢复与词错误率上升，同时算时间定位重叠、头部质量稀疏、扰动一致性稳定与不忠实度。保留原文归一化方式与标准差估计，避免把单次最优当可部署收益。

还需补的验证是用户研究、噪声域偏移测试与开销测量。关键超参数保留温度 0.5 到 2 扫描、稳定常数 1e-8、全层 rollout。区分代码开源、权重下载与系统可运行：本解读不认定任何链接当前可用。

何时值得尝试 LEAF-X，如何一句话记住它？

当需要为每个识别词找到可审计的声学依据，且能访问模型内部注意力与梯度时值得尝试 LEAF-X，尤其在医疗听写或应急转写的事后核查中，用它生成词到帧热力图对照波形检查。若只能做黑盒调用而拿不到注意力，或对实时延迟极敏感而无法承担逐词消融，则应先用原始注意力或遮挡基线，或关闭因果重加权。

一句话记忆是：先用熵筛掉不专注的头，再把各层证据叠起来，最后用梯度与消融留下真正影响词概率的层与帧。常见误解是把注意力大等同于证据强，LEAF-X 的梯度与因果步骤正是为纠正这一点；另一个误解是把稀疏等同于正确，稀疏只是可读性偏好，仍需忠实度与定位共同佐证。

收束时回到起点：输入连续语音，输出带证据的转录。LEAF-X 不改变识别结果，只为每个词补上一张可核对的时间账单，是否采信仍需结合删除实验与人工听辨判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总