交叉注意力只说对一半：语音到文本模型到底在听哪里

英文题目：Cross-Attention is Half Explanation in Speech-to-Text Models

会议身份：conference:interspeech:2026:conference-paper-id:papi26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #可解释性 #语音 #语音识别 #语音翻译

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.6/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Sara Papi：机构信息未能从会议 PDF 纯文本可靠映射
• Dennis Fucci：机构信息未能从会议 PDF 纯文本可靠映射
• Marco Gaido：机构信息未能从会议 PDF 纯文本可靠映射
• Matteo Negri：机构信息未能从会议 PDF 纯文本可靠映射
• Luisa Bentivogli：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音到文本需将连续梅尔谱图映射为离散词序列，输出长度可变且时频线索高度局域，交叉注意力常被挪用为对齐与时间戳依据却未经验证。本文先以能量聚类扰动与KL散度构建输入级与编码器输出级显著图作为银标准，得到每输出词的时间相关性分布。接着沿解码器层与头抽取交叉注意力分数，并在束搜索解码假设下同步获取分布，使上一步显著图成为可对比参照。然后对显著图做二维最大池化等时频聚合与词维归一化，再以皮尔逊相关度量注意力与显著图的一致性，并在编码器输出层面重复对比以分离上下文混合影响。与自然语言处理中围绕注意力可解释性的争论不同，该工作把检验落到语音编码器下采样与2000Hz以下频带集中特性上，指出平均池化会抹除关键局部峰值因而最大池化更保真。在EuroParl-ST测试集下，2D maximum pooling第6层交叉注意力的Pearson为0.582，高于第1层的Pearson 0.115。该结论适用边界受限于仅验证Conformer编码器加Transformer解码器、自训base与FAMA英意双向语音识别与翻译，未覆盖问答摘要等长程任务及语音大语言模型，推理开销在单块NVIDIA A40硬件上base约2.5分钟而大小模型需3至6.5分钟。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么要怀疑注意力？

这篇论文研究的输入是语音，输出是文字。输入用 80 维梅尔滤波器组表示，每 10 毫秒取 1 帧，窗口 25 毫秒，可以看成一张时间乘频率的谱图。输出是自回归生成的词序列，识别任务输出同语言转写，翻译任务输出另一语言译文。模型是编码器解码器结构，编码器是 Conformer，先经过两层步长为 2 的 1 维卷积把时间下采样为原来的 1/4，再用多层卷积加自注意力提取表示。解码器是 Transformer，每层都有交叉注意力，让当前已生成的词去加权编码器输出，再预测下一个词。

实际应用中很多人直接拿交叉注意力权重当对齐用，例如估计每个词的时间戳、做音频文本对齐、指导同时翻译的读写决策。这种做法隐含一个假设：注意力分高就等于模型生成该词时真正依赖那段输入。论文要检验的正是这个假设。怀疑的理由很具体：交叉注意力看的不是原始音频，而是编码器输出，而编码器已经把上下文信息搅在一起，一个编码帧可能混入了前后多帧的内容。自然语言处理领域已经为注意力能否当解释争论多年，语音领域却几乎没有系统检验。

对刚入门的读者，可以把任务想成老师听写。学生听到一句话写出文字，老师想知道学生写每个词时到底听了录音的哪一段。如果只看学生自己说的我在听这一段，那是交叉注意力。如果做对照实验，把录音某些小块静音后看学生答案变化多大，那就是扰动归因。论文的目标就是比较这两种证据有多一致，并量化上下文混合造成了多大偏差。

同输入同目标的前人做了什么，还缺哪块？

在语音到文本的可解释性路线上，前人大多用扰动法。代表性工作是 SPES，它针对自回归语音到文本模型，把谱图按能量轮廓聚类，对每个聚类以一定概率掩蔽并重复上 10000 次，用原始输出分布与扰动后输出分布的 KL 散度作为影响度，再映射回时频位置形成每个词的显著图。另一些工作研究音素识别的可解释方法评估、人类与机器听觉策略比较、连续语音中重要时频位置定位。这些工作与本文同输入同目标，但它们只给出参照解释，没有回答推理时免费的注意力能否替代它们。

在注意力可解释性路线上，自然语言处理有大量自注意力分析，例如用向量范数修正权重解释、跨层聚合注意力流、讨论单层局部交互被平均掩盖的问题。语音领域已有自注意力头多样性分析、音节结构探针、上下文混合的同音消歧研究，但都集中在编码器自注意力，没有直接检验解码器交叉注意力。机器翻译中有少量编码器解码器注意力研究，但语音输入比文本长约 10 倍，且有时频 2 维结构，结论不能直接搬运。

本文的缺口定位因此很清晰：第一，以 SPES 作为银标准参照，直接计算交叉注意力与输入显著图的相关性；第二，再计算交叉注意力与编码器输出显著图的相关性，用两者之差间接估计上下文混合的影响；第三，覆盖单语多语、识别翻译、3 种模型规模。这样既回答能否当输入输出依赖的代理，也回答它作为轻量解释工具能省多少计算又损失多少忠实度。

要回答的两个问题是什么，判断标准是什么？

论文把大问题拆成两个可操作的问题。第一个问题是交叉注意力是否反映输入输出依赖。操作化方法是把每个输出词对应的交叉注意力向量与同一词的输入显著图时间向量算皮尔逊相关系数。相关系数接近 1 表示线性一致，接近 0 表示无关。作者强调选用皮尔逊而非排序相关，因为显著值是连续量级，区分重要与不重要比区分第几名更关键，排序相关会对大量接近零的非信息特征的任意排序过于敏感。

第二个问题是上下文混合的影响有多大。操作化方法是再做一组编码器输出显著图，对编码器隐状态逐帧置零扰动，同样用 KL 散度得到每个词对每个编码帧的依赖，然后算交叉注意力与它的相关。如果后者明显高于前者，就支持差异来自编码器对信息的重排。论文还用删除指标做直接质量检验：按解释排序逐步删除最重要的输入帧，看词错率上升多少，面积越大说明解释越忠实。

需要保留的关键信息是所有比较都在同一解码假设下进行，假设用波束搜索生成，相关计算前去掉句首句尾特殊符号，交叉注意力按帧做均值方差归一化以抑制注意力汇点的影响，显著图按词做归一化以消除不同词输出分布尺度差异。这些细节是复述方法时不能丢的公平条件。

沿一个样本走完输入到输出的全景

假设输入是一段议会辩论录音，时长几秒。先提取梅尔谱图得到矩阵 X，时间维为 T，频率维为 F。编码器把它变成隐序列 H，时间维为 T1，约为 T 除以 4，维度为 D。解码器从句首符开始逐词生成，例如先生成 What，再生成 is，依此类推，直到句尾。生成第 i 个词时，解码器每层每头都会对 H 算一组权重，权重加和为 1，加权求和后融入生成。把所有层头的权重收集起来就是细粒度的交叉注意力集合。

与此同时，SPES 对同一假设做两套归因。对输入归因，它把谱图分成形态学碎片，多次随机掩蔽，用 KL 散度衡量每个词预测分布的变化，得到 3 维显著图，维度为词数乘时间乘频率。对编码器输出归因，它对 H 的每 1 帧向量整体置零，同样重复扰动并算 KL 散度，得到词数乘编码时间的显著图。前者回答模型依赖原始音频哪里，后者回答解码器依赖编码器哪里。

下图把三者的覆盖范围画了出来，理解它就能理解全文的比较逻辑。

交叉注意力 × 输入显著图： 交叉注意力负责在解码每一步对编码后语音帧加权求和以便生成下一个词，它的输入是已经混合上下文的编码器输出；输入显著图负责用扰动后输出分布变化反推原始梅尔谱图上哪个时频块真正影响预测，它的输入是原始声学特征。二者搭配的理由是前者推理时免费可得但位置偏后，后者代价大但位置靠前，组合起来才能判断注意力权重是否等同于输入输出依赖。

看图路径： 1. 先从左到右跟随原始音频到输入特征再到语音编码器的主箭头；2. 再看编码器输出与文本解码器之间紫色交叉注意力模块的位置；3. 对比浅蓝色大框内输入显著图与编码器输出显著图各自覆盖的区间；4. 注意黄色虚线标注的上下文混合只发生在编码器内部

论文图 1。原论文 Figure 1：“Visual representation of which part of the model”。

这张图从左到右是原始音频进入输入特征，再进入语音编码器，再到编码器输出，再进入带交叉注意力的文本解码器，最后输出示例文本。浅蓝色大框标出输入显著图覆盖从输入特征到输出的整段，虚线小框标出编码器输出显著图只覆盖从编码器输出到解码的部分，黄色虚线标出编码器内部的上下文混合。读懂这个包含关系，就能明白为什么作者要用两组显著图分别检验两种解释含义。

交叉注意力与两类显著图各自怎么算？

交叉注意力的计算是标准的点积注意力。记解码器第 l 层当前隐状态为 B，编码器输出为 H，分别线性投影为查询 Q 和键 K，维度为 dk，再算 Q 乘 K 转置除以根号 dk 后做 softmax，得到该层每个输出词对每个编码帧的权重。多头时每个头有独立投影矩阵，得到每层每头一张矩阵。分析时作者按集合 S 取均值，例如固定层对头取平均得到层注意力，固定头对层取平均得到头注意力，对全部层头取平均得到全局平均。这种聚合是后文所有相关的基础。

输入显著图的计算依赖 SPES。先用基于 SLIC 的形态学碎片金字塔按频谱相似性聚类，阈值长度 7.5 秒，紧凑度 0.1，每秒碎片率取 400、500、600。对每个聚类以概率 0.5 掩蔽为 0，重复 20000 次，每次算原始分布与扰动分布的 KL 散度，再把散度映射回聚类位置并聚合，得到每个词一张时频图。编码器输出显著图流程相同，只是扰动对象是 H 的每帧向量，掩蔽概率在开发集上调为 0.7，重复次数同样为 20000。

上下文混合 × 编码器输出显著图： 上下文混合指 Conformer 编码器通过卷积和自注意力把相邻帧信息互相掺入，使每个输出帧不再只代表原始对应时刻；编码器输出显著图指对编码器隐状态做独立置零扰动得到的每步解码相关性，它直接评价解码器用了哪些编码帧。二者搭配可以把与原始波形的错位和解码器使用方式分开，前者解释为何与输入对不齐，后者给出不受输入混合干扰的参照。

比较前还要把粒度对齐。显著图先在频率维和下采样时间窗内取最大值，把时间维从 T 压缩到 T1，再做归一化。交叉注意力按帧做均值方差归一化，显著图按词归一化。然后把两个词数乘 T1 的矩阵展平成 1 维向量，算皮尔逊相关。作者还说明频率聚合函数的选择会影响结论，因此专门用删除指标比较了 2 维平均、两步最大加平均、2 维最大 3 种聚合，发现 2 维最大最能保留集中在 2000 赫兹以下的共振峰信息，后文主实验统一用它。

模型训了什么，没训什么，监督从哪里来？

本文不是提出新模型，而是训练受控模型来做解释性分析，因此训练细节是实验条件的一部分。共有 3 类模型。单语识别基座模型有 12 层编码器和 6 层解码器，每层 8 头，嵌入 512，前馈 2048，参数量 125M，词表是用英文转写训练的 8000 单元 SentencePiece。另有 FAMA 多任务多语模型，分小和大两档，小模型 12 层编码器 6 层解码器，大模型 24 层编码器 12 层解码器，每层 16 头，嵌入 1024，前馈 4096，词表是英意转写训练的 16000 单元加两个语言标识符，参数量分别为 474M 和 878M。所有编码器前都有两层步长 2 核 5 的 1 维卷积，下采样因子为 4，Conformer 卷积模块核大小为 31。

训练数据方面，单语模型用 IWSLT2024 评测的英文语音到文本数据，包括 CommonVoice、CoVoSTv2、Europarl-ST、LibriSpeech、MuST-C、TEDLIUM、VoxPopuli，约 3000 小时。多任务多语模型用超过 150,000 小时的英意开源语音，包括上述数据加 FLEURS、MOSEL、MLS 和 YouTube-Commons，缺失的翻译用 MADLAD-400 生成。作者强调全部训练数据公开可控，目的是避免数据污染，这对解释性结论的可信度很重要。

损失由三项组成：解码器输出的标签平滑交叉熵，目标是转写或翻译；第 8 层或第 16 层编码器输出的 CTC 损失，目标是转写；最终编码器输出的 CTC 损失，目标同样是文本。FAMA 先做识别预训练再做识别加翻译联合训练，联合阶段两任务等概率采样。论文未报告学习率具体数值和优化器细节以外的完整训练超参数，这是复现时需要补看代码仓库的缺项，不能从模型名称推定。

没有新训练目标时，本节如何理解训练与推理分工？

本论文没有提出新的训练目标，它的训练部分承担的是构造可控被解释对象的职责。需要明确的是：被解释模型的权重是通过三损失联合训练更新的，推理阶段权重冻结，只做波束搜索和注意力抽取；解释阶段的扰动不更新任何权重，只是前向计算输出分布变化。梯度路径在论文中没有给出，不能猜测归因是否用了梯度，只能按描述认为是黑盒扰动。监督来源是转写和翻译文本，以及中间层 CTC 用的转写，没有人工标注的对齐或显著图金标准。

这意味着复现时不要把解释当训练，不要对 SPES 的掩蔽过程反向传播。也不要把无新训练等同于确定性求解，波束搜索和随机扰动都带来方差，论文用 20000 次重复和测试集平均来稳定估计。若只想验证结论而不重训大模型，可以固定用论文描述的开源数据和结构重新训练小基座，或在已有权重上只跑推理加解释，但必须说明权重来源，否则数据污染控制的前提就不成立。

在什么数据上测，用什么指标，计算代价多大？

测试集选 Europarl-ST，因为它是唯一同时支持识别和翻译的非合成集。意大利语部分 1686 段约 6 小时，英语部分 1130 段约 3 小时，覆盖英意双向识别和互译。假设生成用波束 5 和 5 元不重复约束，在单张 40 GB 的 A40 上推理，基座约 2.5 分钟，小模型 3 到 5.5 分钟，大模型 3 到 6.5 分钟，批量按 40,000 词元计。解释生成代价大得多，基座约 27 小时，小模型 3 到 4 天，大模型 6 到 8 天，同样单卡。这组数字说明交叉注意力作为免费副产品在效率上的吸引力。

输出质量用词错率评价识别，用 COMET2.2.4 评价翻译。解释质量用 SPES 仓库的删除指标和尺寸指标，识别用词错率最大化 scorer，翻译用 BLEU。相关计算用 SciPy 的皮尔逊实现，在测试集样本上平均。论文报告基座英文识别词错率 9.5，小模型英文识别 11.7，大模型 11.1，翻译 COMET 在 0.75 到 0.86 之间，与 Whisper、OWSM、Seamless 等公开大模型相当，说明被解释的模型本身是可用的，解释结论不是建立在坏模型上。

SPES × 删除指标： SPES 负责按能量轮廓聚类谱图并多次掩蔽聚类，用 KL 散度衡量预测分布变化从而生成每个词的时频显著图；删除指标负责按显著图排序逐步置零最重要的输入帧并观察词错率上升曲线下面积。SPES 提供待评价的解释，删除指标提供不依赖相关系数的忠实度检验，二者组合才能选出与交叉注意力粒度可比的聚合方式。

下图是输入显著图的直观例子，解释为什么聚合时不能做全局平均。

看图路径： 1. 先纵向比较 What 到句号每个词条带的高亮位置是否随时间右移；2. 再横向观察每个条带内高亮是否集中在 2000 赫兹以下的低频区；3. 注意底部颜色条从深紫到亮黄表示显著值从 0 到 1；4. 检查横轴时间从 0 到 3.5 秒与纵轴频率对数刻度的对应关系

论文图 2。原论文 Figure 2：“An example of SMX maps for the predicted sen- tence “What is important are the options, not quantity”. The frequency axis is represented in Hertz on a logarithmic scale.”。

这组图把预测句每个词的显著图按时间横排，纵轴是频率的对数刻度，颜色越亮表示越重要。可以看到每个词的高亮都集中在特定时间段且偏向低频，背景大面积接近零。如果对整张图取平均，这些局部亮斑会被稀释，这正是 2 维最大池化在删除指标上优于 2 维平均的原因。复现时应先复现这一步聚合选择，否则后续相关数值会系统性偏低。

评价细节中容易误读的点有哪些？

第一个易误读点是单位与聚合对象。删除指标对识别是词错率曲线下面积，越高表示解释越好；对翻译是用 BLEU 的类似构造，越低表示越好，不能把两类删除数值直接比较。尺寸指标衡量解释紧凑度，数值范围在 28 到 30 之间，越小越紧凑，但它不能替代忠实度。相关系数是对展平后的词乘时间向量算的，平均对象是测试集样本，不是词或帧，不能理解为每个词的相关。

第二个易误读点是表头冲突。原文表格用颜色深浅表示高低，识别和翻译用不同色系，粗体表示全局最高，下划线表示层内最高。阅读时应先看图例确认对象，再看数值，不能同色即同对象。百分比与百分点的区别也要注意，混合影响 6.6 到 16.7% 是相对估计，而相关提升 0.03 到 0.18 是绝对差值，两者不能混用。

第三个易误读点是基线选择。论文的比较基线是实际可运行的策略：单头、单层、跨头平均、跨层平均，以及不同聚合函数，没有使用事后最优或 oracle 帧选择。因此报告的最好值是可部署的聚合策略，不是挑选最有利样本得到的上界。这一点在引用结论时必须保留，否则会夸大注意力的解释力。

交叉注意力与输入显著图有多一致？

主结果是中等相关但只覆盖约一半输入相关性。在单语基座英文识别上，单头相关普遍偏低，深层个别头稍好，跨头平均后明显提升，第 6 层达到 0.588，全层平均为 0.577。多任务多语模型趋势一致，英文识别相关最高，英文到意大利翻译次之，意大利语源的相关低于英语源，这与训练数据中英语占 84% 而意大利语占 16% 的分布一致。层趋势是后半段解码层最优，小模型第 5 层最好，大模型第 8 到第 10 层最好，跨层平均在几乎所有配置下最好或接近最好。作者据此认为聚合后的注意力与输入显著图有中等到强相关，但只解释 49% 到 63% 的输入相关性。

直接的质量检验更直观。下表比较同一基座模型上 3 种解释信号的删除指标，数值越大表示按解释删除重要帧后性能下降越多即解释越忠实。表前的问题是：在相同聚合粒度下，免费的注意力是否与代价高昂的归因一样忠实。公平条件是同一假设、同一删除协议，指标方向是删除得分越高越好。

表后需要强调代价与反例。主要收益是交叉注意力无需额外扰动即可得到，但代价是即使与同样聚合后的显著图比也低了约 11 点，与全分辨率图比差距更大。这支持论文判断：注意力丢掉了细粒度时频线索，相关系数的中等数值不是归因参照本身太弱造成的，因为全分辨率显著图的删除得分高达 91.3。同时要记下一个未胜出项：单头注意力相关低，不能挑单个头当解释用。

下图对比了显著图与注意力的对角线形态，有助于理解中等相关的来源。

看图路径： 1. 先观察两张热力图中亮色对角线是否表示输出词与输入时间的单调对应；2. 再比较左侧与右侧对角线的清晰和连续程度差异；3. 注意右侧色条量级与左侧色条量级的标注范围不同；4. 沿横轴编码帧序号检查后半段对角线是否仍然集中

论文图 3。原论文 Figure 3：“Example extracted from the outputs produced by the base model on the dev set.”。

这两张热力图的行是输出词序号，列是编码帧序号，亮色表示权重或显著值高。右侧对角线更清晰连续，左侧相对弥散，说明交叉注意力比输入显著图更集中在单调对角上，但仍有扩散和噪声。这与数值结果一致：注意力抓住了大致的时间对应，却丢失了部分真正影响预测的细节，因此只能算一半解释。

自动语音识别 × 语音翻译： 自动语音识别要求把英文或意大利文语音转写为同语言文本，映射相对单调；语音翻译要求把英文翻成意大利文或反向，还需跨语言重排序和词汇选择。论文在同一套编码器解码器上同时检验二者，理由是翻译复杂度更高，若注意力解释力在翻译上下降，就能说明任务难度会放大注意力与真实依赖的差距。

去掉上下文混合后，注意力能解释多少？

第二个主结果比较交叉注意力与编码器输出显著图。趋势与输入层面一致：跨层平均最强或接近最强，后半段解码层优于前段。但绝对值更高，提升幅度在 0.03 到 0.18 之间，换算为上下文混合影响约 6.6% 到 16.7%。即使如此，相关换算后也只覆盖 52% 到 75% 的编码器输出显著性。下表把这一差距整理为可核对的陈述，表前问题是：混合解释了多少差距，剩下多少仍无法解释。

表后要说明支持与限制。支持的是混合假说：与编码器输出的相关更高，且图例中注意力与编码器显著图的对角更贴合。限制的是即使在注意力直接作用的表示层，仍有 25% 到 48% 无法解释，说明差距不全是混合造成的，还有注意力本身作为解释信号的内在局限。未评测的边界是问答、摘要等更长依赖任务，以及英语意大利语之外的语言，结论不能直接推广。

对下游应用的含义是：时间戳和同时翻译中常取单层单头的注意力，论文建议至少跨头跨层平均会更贴近显著行为；若要提升可解释性，可考虑训练时用归因信号正则注意力，但这只是方向建议，未在本论文验证效果。

聚合方式和层头选择如何改变结论？

论文把聚合函数当作关键消融。比较的问题是：把 3 维显著图压缩到与注意力相同的词乘编码时间粒度时，哪种池化最忠实且与注意力最相关。公平条件是同一单语基座开发集、同一删除协议，指标方向是删除得分越高越好、皮尔逊越高越一致。下表整理原文报告的 3 种聚合在不同层的相关和删除得分，列数满足比较需要。

表后解释是：2 维最大在几乎每层都最高，第 6 层达 0.582，层平均 0.572，删除 57.04 也是最高；2 维平均最差，特别是在深层差距拉大，例如第 5 层 0.457 对 0.572。这说明关键显著值在频率上高度局部化，平均会模糊共振峰。两步法先在频率取最大再在时间平均，效果居中，支持频率保留比时间平均更重要的判断。这个消融也排除了一个反解释：注意力与显著图的相关低不是因为选错了聚合，因为即使选最好的聚合，相关仍只有中等水平。

头平均 × 层平均： 头平均指把同一解码层内多个注意力头的权重矩阵取均值，层平均指把多个解码层的结果再取均值。单头分工是捕捉不同模式因而稀疏噪声大，单层分工是不同深度表征不同抽象级别。二者搭配的理由是汇聚互补信息，论文发现跨头平均普遍优于任一单头，跨层平均接近最优，从而得到更稳的注意力解释。

层头消融的另一发现是：跨头平均一致优于单头，跨层平均接近最优但并非总是全局最优，说明并非所有层同等重要，无差别聚合会稀释信号。深层优于浅层符合深层编码更抽象任务相关特征的直觉，但论文没有报告逐头的统计显著性，因此不能说某一特定头一定最可解释，只能说聚合策略比挑单头更稳。

哪些结论有边界，哪些不能承诺？

论文明确承认 4 个边界。第一，只评测识别和翻译，没有评测口语问答和语音摘要，后者的解码器注意力动态可能不同。第二，多语只覆盖英语和意大利语，原因是大模型多语言训练成本高，不能推广到所有语言。第三，只研究编码器解码器语音基础模型，没有研究语音大语言模型，且为避免数据污染坚持从零训练或使用完全开源数据的 FAMA，这限制了与闭源大模型的直接对比。第四，参照本身用 SPES 银标准，它是扰动估计会有误差，只是作者用删除得分高于 90 和翻译删除接近 0 证明其高质量，因而比梯度范数等通用方法更可信。

还有方法边界需要初学者注意。相关性不是因果，中等相关不能说注意力导致预测，只能说两者在线性一致程度上有限。论文没有测量误判率、延迟和推理成本的改善，因此不能承诺用注意力替代归因能省多少误报或提速多少，只能说注意力计算上免费但忠实度更低。总体趋势不等于每样本每步都成立，单样本热力图只能示例，不能把末步结果推广到全程。

资源状态方面，本次收到的证据中没有发现来源绑定且完成验证的代码模型数据资源，因此不能声称代码模型或数据已公开。原文提到输出与聚合脚本发布在 FBK 共享链接，但本次未能确认可达，复现时应以论文描述的参数和公开数据集为准，不应假设链接当前可用。

复现先做什么，需要哪些参数和检查？

复现应按学习依赖排序。先准备数据与模型：下载 Europarl-ST 的英意测试集，确认意大利语 1686 段和英语 1130 段的划分；按论文结构搭建 Conformer 编码器加 Transformer 解码器，或直接使用论文描述的基座配置，词表用 SentencePiece 单语 8000 或双语 16000，注意下采样因子为 4 和梅尔 80 维、10 毫秒步长、25 毫秒窗这些信息条件。先用波束 5 跑通识别和翻译，检查词错率和 COMET 是否落在论文区间，再进入解释比较。

再复现解释管线。输入归因用形态学碎片金字塔聚类，参数取阈值 7.5 秒、SLIC 方差 0、紧凑度 0.1、每秒碎片率 400、500、600，掩蔽概率 0.5，重复 20000 次；编码器归因掩蔽概率取 0.7，重复 20000 次。用 KL 散度聚合得到显著图后，先做聚合消融，对比 2 维最大、2 维平均和两步法的删除得分，确认 2 维最大最优后再算皮尔逊。相关前务必去掉句首句尾，对注意力做帧级均值方差归一化，对显著图做词级归一化，否则数值会偏移。

最后做层头聚合比较。分别算单头、跨头平均、单层、跨层平均的相关，检查深层高于浅层、跨头平均优于单头的趋势是否复现。若要验证混合影响，再算与编码器输出显著图的相关并求差值，检查提升是否落在 0.03 到 0.18 区间。若计算资源不足，可只复现基座英文识别，因为该配置解释生成约 27 小时，远小于大模型的数天，但仍需单张大显存显卡。

何时值得看注意力，何时必须做归因？

综合全文，可以给出可操作的判断。如果只是需要轻量线索，例如快速检查模型大致听了哪段、为时间戳或同时翻译提供初始对齐，可以看交叉注意力，但务必用跨头跨层平均，优先取后半段解码层，并记住它只有约一半的输入解释力，不宜单独作为证据呈现。如果是要做错误分析、评估模型是否依赖了错误的时频线索、或要发表可解释性结论，就必须做 SPES 这类扰动归因，并用删除指标检验，因为注意力在相同粒度下删除得分明显更低，且即使排除混合也只能解释 52% 到 75% 的编码器显著性。

对研究生而言，这篇论文的复述要点是：输入是谱图，模型是 Conformer 加 Transformer，解释参照是扰动显著图，比较工具是皮尔逊相关加删除指标，结论是注意力有用但不完整，混合只解释了 0.03 到 0.18 的相关差距。记住这条链条，就能在组会上讲清为什么标题说交叉注意力只是半个解释，以及下一步若要让注意力更可解释，需要补的验证是更多语言、更多任务和训练时对齐注意力的干预实验。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总