Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps

英文题目：Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.2147

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #多语言 #语音 #语音识别

评分：7.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Jonas Waldendorf：机构信息未能从会议 PDF 纯文本可靠映射
Bashar Awwad Shiekh Hasan：机构信息未能从会议 PDF 纯文本可靠映射
Evgenii Tsymbalov：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音大模型以连续音频帧序列为输入自回归生成转录或翻译文本，实际难点在于输出流畅却可能完全脱离音频证据，且推理时缺乏参考文本难以在线拦截。方法链分三步：首先在每个解码步从语音与文本注意力权重计算音频熵、文本熵、音频比例与跨步一致性四类指标，刻画对齐集中与分散状态；随后将各步数值按时间平均得到每层每头的单一取值并拼接为特征向量，进入下一步分类；最后以该向量训练轻量逻辑回归分类器，直接输出幻觉概率以支持过滤与拒识。相对文本领域的平均熵、困惑度与回视透镜基线，关键差异是将输入侧限定为音频帧并引入双侧熵与跨步一致性，从而显式捕捉对齐坍缩与回退到音频首部的病理模式，具有音频特异的可解释意义。在VOXPOPULI测试集下，逻辑回归方法的PR-AUC为0.58，高于MEAN ENTROPY基线的0.49。该结论适用边界在于模型依赖与任务专用训练明显，在噪声会话数据与翻译任务迁移上优势收窄且需重训。全量开发硬件为八块A100-40GB GPU，单轮推理开销约为每秒处理4.5个样本并消耗约38.5个GPU小时，开发与评测总量上限约为300个GPU小时。

🔗 开源与复现资源

数据相关资源：https://huggingface.co/datasets/facebook/ — 暂时无法访问
数据相关资源：https://catalog.ldc.upenn.edu/LDC97S42 — 链接可访问（HTTP 200）
数据相关资源：https://huggingface.co/datasets/google/fleurs — 暂时无法访问
第三方资源：https://huggingface.co/Unbabel/XCOMET-XL — 暂时无法访问
第三方资源：https://scikit-learn.org/stable/index.html — 链接可访问（HTTP 200）可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音幻觉为什么值得单独做检测？

输入是语音，目标是文字。自动语音识别要把说话内容逐字转写，语音到文本翻译还要跨语言转换意思。论文把幻觉定义为流利但不被输入音频支撑的生成，依赖训练分布编造内容，改变相对源音频的语义。这与普通识别错误不同，普通错误多保留大意仍可被下游理解，幻觉则引入虚假信息，在助手与转写等场景可能造成关键失败。

检测的困难在于部署时拿不到金标文本。已有语音幻觉工作多用假设与参考对比、算语义相似度与流畅度来判幻觉，需要人工标注与外部模型，成本高且无法在线拦截。文本大模型的轻量检测思路，如用输出概率算不确定性，或看注意力是否回看输入，不能直接搬运，因为音频帧序列远长于文本，对齐是帧到词的时间对齐，动态完全不同。

因此作者提出推理时检测：不改语音大模型本身，只在生成过程中读它的注意力图，训练一个轻量分类器输出幻觉概率。好处是可在线过滤、可离线标记病理样本，还能与不确定性信号互补。全文用两款语音大模型验证，一款是 Qwen-2-Audio，一款是 Voxtral-3B，任务覆盖识别与翻译，重点回答注意力是否真有可复用的幻觉信号。

已有路线在什么条件下有效，在哪里失效？

第一条路线是不确定性估计。做法是从语言模型 logits 算序列对数概率、困惑度、平均词熵，模型越不确定越可能幻觉。这类方法便宜有效，在文本摘要与机器翻译中常是强基线。论文把它当对照组，包含平均熵与困惑度。但作者指出它只看输出分布，不看是否真正利用了音频，在翻译任务上可能失灵。

第二条路线是注意力检测。文本侧已有工作看因果注意力、跨层平均注意力，以及训练分类器看输入与自回归前缀的注意力比。机器翻译还发现幻觉与注意力对角熵下降有关。问题是这些工作针对文本到文本，语音的输入侧是长音频帧，文本提示只是指令，照搬会把指令注意力也算进输入侧，稀释信号。

第 3 条路线是基于参考的方法。例如用假设与参考的语义相似加语言模型流畅度找幻觉，或用 SHALLOW 基准把幻觉细分为词汇、语音、形态、语义 4 类。这类方法能做细粒度分析，但部署时没有参考转写，无法运行。论文的选择是参考无关、推理时可用：只用内部注意力加轻量分类器，训练标签用自动规则生成，避免全量人工标注。

要判什么？标签从哪里来？

要判的是每个完整输出是否为严重幻觉，是二分类问题。输入是一段音频加文本指令，输出是模型生成的转写或翻译。检测器在生成结束后或逐块生成时给出概率，超过阈值则判为幻觉，用于拒识或转人工。

标签构造分两步。先人工标注 1950 条英文与德文议会语音样本，作者认定 142 条为幻觉，标准是包含流利但音频中不存在的编造内容。用这批小样本校准自动阈值，再大规模自动打标。识别任务用词错误率加语义幻觉分数之和是否超过 0.7 来判定，公式含义是表面错误与语义偏离同时考虑，高精度低召回，原文报告精度 0.979、召回 0.443，宁可漏标也要保证训练信号干净。翻译任务用外部翻译质量模型打分，取最低 5% 为幻觉。

举例说明阈值的作用。假设一条假设词错误率高但语义仍接近参考，和为 0.6 则判为非幻觉；另一条流利但编造整句伤亡数字，和为 0.9 则判为幻觉。这只是教学例子，不是论文新增数据。关键是后续所有分类器训练都依赖这套自动标签，标签的保守性会直接影响召回与阈值校准，读结果时必须记住这一点。

注意力图如何暴露没在听音频？

沿一个样本走一遍。音频先被编码为 N 个音频 token，文本指令为 M 个文本 token，解码已生成 t-1 个词。当前步每个注意力头对所有可见位置有一个分布。正常转写时，某些头呈现对角线结构，生成第几个词就关注对应时间段的音频帧，随解码推进而右移。幻觉时对角线退化，注意力塌回音频开头，后续词仍看最初几帧，等于没在听新内容。

论文聚焦两类模式。一类是对角时序对齐是否维持，另一类是音频输入与自回归文本前缀之间的平衡是否被打破。图 1 正是这一直觉的像素证据，展示 Voxtral-3B 第 25 层第 30 头在同一类德语议会语音上的两种行为，左为幻觉，右为正确。

看图路径： 1. 先看横轴输入音频 token 与纵轴生成文本 token 构成的注意力矩阵方向；2. 对比左图早期音频帧的纵向深色条带与右图沿对角线移动的深色块；3. 注意左图后半段生成词仍被开头帧主导，右图每个生成词对应音频位置前移；4. 结合色标确认深色为高注意力，判断对角对齐是否建立

论文图 1。原论文 Figure 1：“Attention to audio tokens for Layer 25, Head 30 in Voxtral-3B.”。

从像素看，右图深色块沿左上到右下对角线依次出现，每个生成词对应横轴音频位置前移，反映时间对齐。左图纵轴多数生成词对应的深色集中在横轴 0 附近的竖条，只有尾部少数词出现弱对角，说明模型早早放弃跟随音频。横轴长度也不同，左约 116 帧、右约 77 帧，说明不是同一条音频的直接配对，而是两种典型行为的对照。色标越深注意力越高，判断依据是深色位置而非颜色本身。这个对照支撑后面 4 个指标的设计：既要度量音频占比，也要度量相邻步是否卡死、分布是否弥散。

四个指标各自算什么？

符号先讲清。设模型有 L 层 H 头，输入为音频 token 加文本 token，输出为已生成序列。在解码步 t，第 l 层第 h 头对每个位置有权重。4 个指标都在每步计算，再对所有步取平均，得到每头一个值，拼成长度为层数乘头数的特征向量。

音频比度量音频依赖占比。分子是该头在当前步分配给全部音频 token 的注意力之和，分母再加分配给自回归文本前缀的注意力之和，比值越高越在听音频。它继承回看透镜的思想，但把输入侧严格限定为音频，避免指令文本干扰。

音频一致性度量是否卡死。取当前步与上一步的音频注意力向量，算皮尔逊相关系数，只在第一步之后有定义。幻觉时两步都看开头，相关升高。对角头上有效，但作者提醒有些头即使正确时也看开头，此时该指标会误报。

两个熵指标度量注意力是否集中。做法是取出对应侧的注意力权重，重归一化为分布再算熵。音频熵看音频侧，文本熵看文本侧。熵高表示分散没把握，熵低表示集中。音频熵对无对角线的头也有用，文本熵捕捉文本侧头的混乱。熵特征要做最大最小缩放到 0 到 1，保证与比值特征量级一致。

幻觉 × 不确定性估计： 幻觉指输出流利但未被输入音频支撑的虚构内容，负责定义要拦截什么；不确定性估计指用输出 logits 的熵或困惑度度量模型没把握的程度，负责给出便宜的怀疑信号。二者搭配的理由是没把握常伴随虚构但不等同虚构，组合意义是注意力提供音频 grounding 是否丢失的结构证据，不确定性提供输出分布是否发散的统计证据，论文用对照说明在干净数据上前者更准、在噪声通话上后者更强。

AUDIORATIO × LOOKBACK-LENS： LOOKBACK-LENS 指文本大模型中输入上下文与自回归前缀注意力之比，负责捕捉模型是否还在看输入；AUDIORATIO 把该思想搬到语音，分子只取音频输入 token 的注意力，分母加自回归文本前缀注意力，负责排除纯指令文本提示的干扰。搭配原因是语音输入远长于文本且对齐方式不同，组合意义是得到只反映音频依赖度的比值，幻觉时该比值系统性下降。

AUDIOCONSISTENCY × AUDIOENTROPY： AUDIOCONSISTENCY 指相邻解码步音频注意力向量的皮尔逊相关，负责捕捉注意力是否卡死在音频开头不再随时间推进；AUDIOENTROPY 指重归一化后音频注意力分布的熵，负责捕捉注意力是否发散或失去焦点。搭配原因是前者专盯对角线式时序对齐头的退化，后者对无清晰对角线的头也有信号，组合意义是同时覆盖回退和弥散两类病理模式。

TEXTENTROPY × 逻辑回归检测器： TEXTENTROPY 指文本输入 token 上注意力分布的熵，负责反映文本侧头的混乱程度；逻辑回归检测器指在每层每头指标拼成的特征向量上训练的线性分类器，负责把多头证据加权为幻觉概率。搭配原因是单头噪声大、多头互补，组合意义是用可解释权重做头选择与阈值决策，推理时无需参考文本即可打分和拦截。

分类器与标签流水线如何训练？

本研究训练的是外挂检测器，不微调语音大模型本身。语音大模型参数冻结，只做推理产生文本、logits 与注意力。训练对象是逻辑回归，输入是上述注意力特征，输出是幻觉概率。超参数在议会语音验证集上选择，L2 模型与 L1 模型分别设惩罚与求解器，类别权重向正类倾斜以应对幻觉占比仅百分之几的不平衡。

特征选择有两种。一种是 L2 模型按系数绝对值乘特征标准差排序，取前 N 个头，N 在验证集上调。一种是 L1 模型做稳定选择，五折交叉验证中至少四折系数非零的头才保留，再用 L2 重训，称为稳定特征模型。论文报告稳定特征共 99 个，其中音频比 39 个、一致性 36 个、音频熵 20 个、文本熵仅 4 个，说明文本熵贡献最小。

训练数据上，识别任务用 40,000 条议会训练语音，4 种语言各 10,000 条，Qwen 产生 1537 条幻觉约 3.8%，Voxtral 产生 1178 条约 2.9%，多语言混合是为了抵抗语言间幻觉率差异。翻译任务用翻译训练集 1 万多条，用质量分数打标。推理时对新样本走同样流程：跑语音模型得注意力，按指标聚合为特征，送入逻辑回归得概率，再按阈值判类。概率还用于拒识排序，优先拒掉最可疑样本。

在什么数据、模型与指标下比较？

识别评估用议会语音与电话通话两类。议会语音合并英德法西 4 个测试集共 7080 句，干净正式；电话通话经去除过短句后剩 3916 句，含重叠说话与口吃，更嘈杂。翻译评估用多语言语音翻译测试集共 4613 句。模型固定为 Qwen-2-Audio 与 Voxtral-3B，对比条件一致：同一输出、同一标签、同一划分下比较。

基线包括不确定性类的平均熵与困惑度，以及注意力类的 RAUQ 熵与注意力分数，外加随机基线。主指标为 F1、精确率、召回率、PR-AUC，方向都是越高越好。PR-AUC 对幻觉这种稀有事件比准确率更诚实。还报告预测拒识比，在议会数据上看前 10% 拒识、在通话数据上看前 30% 拒识，用语义分或翻译质量为质量标准，衡量按概率拒识接近理想排序的程度。

资源状态按本次核验交代：议会语音链接本次未能确认可达，电话语音目录当前可用，翻译语音集本次未能确认可达，翻译质量模型链接本次未能确认可达，机器学习库文档当前可用。实验成本方面，论文称 8 卡推理每秒约 4.5 样本，单轮覆盖约 5.7 万识别句与 2.1 万翻译句，约 38.5 卡时，多轮加打分上限约 300 卡时。复现时应先确认数据可达性，再谈超参数。

同域识别与跨域通话各赢在哪里？

比较问题是：在同一议会测试集上，注意力分类器是否在同样阈值协议下超过不确定性与已有注意力基线，指标看 F1 与 PR-AUC，越高越好。下面原表矩阵为论文提供的结构化证据，行列按原矩阵选择，渲染以代码映射为准。

Attention-based	features	outperform baselines
logistic	regression models	consistently outperform
For	Qwen-2-Audio, the	strongest baseline, MEAN

该窄表只承担结构对照，宽数值对照由下表承担。表中基线为平均熵，最强可运行策略为音频比单指标与多指标组合，另有前 75 头精简版。数据显示议会集上逻辑回归全面超过基线，Qwen 侧基线约 0.50 F1 与 0.49 PR-AUC，检测器达 0.56 与 0.58；Voxtral 侧基线约 0.42 与 0.44，音频比达 0.64 与 0.67，提升约 0.23 PR-AUC。标签无关的拒识比也提升，Qwen 约 0.05、Voxtral 约 0.13，说明概率排序本身变好，不只是阈值运气。

条件	指标	基线	本方法	比较对象
议会语音 Qwen 识别	F1 与 PR-AUC	0.50 与 0.49	0.56 与 0.58	平均熵对逻辑回归
议会语音 Voxtral 识别	F1 与 PR-AUC	0.42 与 0.44	0.64 与 0.67	平均熵对音频比

表后解释收益与代价。同域收益明确，且在干净稀有幻觉场景更大。但跨域到电话通话时模型依赖显现。Voxtral 的前 75 头模型在通话上 F1 约 0.55、PR-AUC 约 0.61，与平均熵相当或更好，泛化成立。Qwen 则预测幻觉率高达 60% 以上，远超真实约 20%，F1 仅 0.45 左右，原因是阈值失配而非特征完全失效，因为 PR-AUC 仍与同域相当，排序能力还在。未胜出项是 Qwen 在噪声域的 F1，此时平均熵与困惑度反而更强，平均熵值从议会的约 0.10 升到通话的约 0.30，噪声让不确定性信号更有效。

分类实例的像素证据进一步说明边界难例。以下为 Voxtral 在议会集上前 75 头模型的四格展示，含真正例、误报与漏报，每格标注概率、平均熵、语义分与词错误率。

看图路径： 1. 先按图例区分替换、删除、插入四类标记，再看每块的标签与预测是否一致；2. 对比两个真正例中模型编造称呼语与伤亡数字的插入跨度；3. 看误报例中仅多出技术性声明短语为何仍被判为幻觉；4. 看漏报例中英文意译改写为何逃过检测器并对照平均熵数值

论文图 3。原论文 Figure 3：“Examples of classifications using Top 75 with Voxtral-3B outputs on the VOXPOPULI test set.”。

从像素看，第一格法语长插入编造伤亡与金额，概率 0.98 判对而平均熵仅 0.17 漏掉；第二格德语整句替换称呼语，概率 0.64 判对而平均熵 0.09 漏掉，证明注意力能抓低不确定性幻觉。第三格仅多出技术性声明短语，语义分 0.39、词错误率 0.27，标签为 0 却被判 1，靠近自动标注边界。第四格英文意译改写，标签为 1 却得概率 0.02，平均熵 0.15 同样判错，说明改写类幻觉仍是共同盲区。

多少个头够用？翻译任务能直接搬吗？

要回答的消融问题是：头数与指标组合如何影响效果，以及识别训练的模型能否零样本转到翻译。条件是固定 Voxtral 与议会集，只变每指标取前多少头，头按 L2 系数排序独立选取，指标看 PR-AUC。

看图路径： 1. 先看横轴注意力头数量与纵轴 PR-AUC，确认虚线为困惑度基线位置；2. 对比四条指标曲线在 5 到 30 个头区间的爬升速度差异；3. 观察 100 个头附近曲线是否走平，判断继续加头的收益；4. 注意黄色一致性曲线早饱和而绿色音频熵曲线后发先至的分工

论文图 2。原论文 Figure 2：“PR-AUC as a function of feature count for Voxtral-3B on VOXPOPULI.”。

从像素看，横轴为头数 0 到 150，纵轴 PR-AUC 约 0.2 到 0.7，灰色虚线为困惑度基线约 0.41。4 条曲线在 5 个头时多在基线附近甚至更低，说明单头不够。到 20 到 30 头快速爬升，音频一致性早期最快但随后走平，音频熵起步最低但 50 头后反超，音频比与文本熵居中。100 头附近 3 条主要曲线达约 0.64 到 0.67 后走平，150 头几乎无增益。教学判断是约 100 头为性价比拐点，继续加头主要是过拟合风险。论文的稳定 99 特征模型在通话上 PR-AUC 达 0.64，反而超过 300 特征版本，支持少头更泛化。

翻译侧的数字对照如下，基线仍为平均熵与困惑度，可运行策略为识别训练的前 75 头模型与翻译重训的组合模型。

条件	指标	基线	本方法	比较对象
翻译 Qwen	PR-AUC 与 F1	基线约 0.25	0.44 与 0.28	RAUQ 熵对前 150 头重训
翻译 Voxtral	PR-AUC 与 F1	基线约 0.17	0.44 与 0.37	平均熵对前 300 头重训

表后解释反证。识别模型直接搬到翻译时 PR-AUC 仅 0.15 与 0.08，接近随机，拒识比也低于基线，说明跨任务泛化失败。但在翻译数据上重训后大幅超过基线，Qwen 提升约 0.19 PR-AUC 与 0.20 F1，Voxtral 提升约 0.27 与 0.26，拒识比达 0.67 与 0.68。代价是召回仍低，只能抓严重幻觉，对细微翻译错误不敏感。只用音频比会掉点，Voxtral 从 0.44 掉到 0.38，说明翻译更需多指标互补。前 50 重要头的跨任务重叠率仅音频一致性约 30%、音频比约 20%、两熵约 10%，支持幻觉注意力具有任务特异性，但作者也提醒共线性可能夸大了差异。

哪些结论不能推广？

论文明确报告的局限先讲。自动标注精度虽高达 0.979，召回仅 0.443，大量真幻觉被排除在训练外，且除阈值校准外未做直接人工复核。任务是二分类严重幻觉，不区分幻觉类型与严重度。跨任务必须重训，跨模型表现不一，评估只覆盖两款模型与 4 种语言。

未测量的量不能承诺。注意力提取带来额外推理计算与显存开销，论文称相对语音大模型本身不大，但在延迟敏感部署中仍可能 relevant，原文未给出延迟与误判成本的量化，因此不能说总体成本一定下降。总体趋势不等于每组都成立，例如文本熵只贡献 4 个稳定特征，在某些语言或噪声下可能无效。

相关性不是因果。对角线退化与幻觉共现，但不能证明注意力塌缩导致虚构，也可能是解码已偏离后注意力的结果。把曲线向下直接读成性能变差也是错的，图 2 纵轴是 PR-AUC 越高越好，上升才是变好。像素不能精确读出的步数与数值不要硬写，复现应以代码与日志为准。

要复现应先固定什么？

先固定数据与标签。按原文划分准备议会训练 40,000 条、测试 7080 条，电话通话 3916 条，翻译训练 16,000 条与测试 4613 条。用人工小样本校准词错误率加语义分之和大于 0.7 的阈值，翻译取质量分最低 5%。注意本次有链接未能确认可达，跑前先验证可达性并记录版本，不同版本的切分与标点会改变词错误率。

再固定特征与模型。跑冻结的语音大模型，保存每步每头对音频与文本的注意力，按四指标聚合为每头均值，熵特征做最大最小归一。用验证集调逻辑回归惩罚、类别权重与前 N 头数，或用 L1 五折稳定选择。评估时同时报告 F1 与 PR-AUC，并报告拒识比，避免只调阈值刷 F1。跨域时先看 PR-AUC 判断排序是否还在，再重校阈值，不要把阈值失配当成特征失效。

还需补的验证是人工抽查自动标签、报告延迟与显存、以及在更多模型与语言上的重复。代码层面需保存注意力所需的显存策略，否则长音频会爆显存。论文未开源承诺在证据中未给出，因此应区分论文方法可重写、权重需另行下载、完整系统可运行三件事。