英文题目：REVE: Efficient Hallucination Correction for Large Audio-Language Models via Reused Encoder States
标签：#音频字幕生成 | #测试时自适应 | #音频大模型 | #高效推理 | #音频事件检测
评分：6.7/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Hongjin Song：机构信息未在 arXiv HTML 中可靠披露
- Jiasheng Kuang：机构信息未在 arXiv HTML 中可靠披露
- Xinyu Yang：机构信息未在 arXiv HTML 中可靠披露
- Qiuyu Fang：机构信息未在 arXiv HTML 中可靠披露
- Ziyu Wu：机构信息未在 arXiv HTML 中可靠披露
- Guowu Tan：机构信息未在 arXiv HTML 中可靠披露
- Xiang Xie：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
大型音频语言模型（Large Audio-Language Model, LALM）在开放字幕生成中会提及输入中不存在的声学事件，现有文本自检难以定位具体错误片段。复用编码器状态验证事件（Reused Encoder States for Verifying Events, REVE）复用目标模型已计算的投影前帧状态，先做本体映射把字幕片段对齐到固定事件类，再用双尺度读出打分并经类感知融合得到存在概率，最后按阈值删除无支撑片段而保留其余文本。统计读出汇总帧级分数分布而分段读出保留四段时序均值，两路互补为融合提供全局与局部依据。与需二次编码的外部检测器不同，该方法不重载音频也不运行第二编码器，核验完全发生在已有表示之上。在AudioSet评测下，REVE的Reduction指标为92.9%，高于CED-Tiny的Reduction指标92.7%。该结论的适用边界受限于词级本体匹配与开发集选定的统一阈值，对未映射自由表述不做编辑，且跨架构与开放表述外推尚未验证。增量验证的延迟为完整路径0.57毫秒与GPU前向0.29毫秒，仅增加3.38M参数，无需额外音频编码通道。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，模型要输出什么，哪里会多说？
输入是一段波形 x 和一条字幕指令 q，目标是生成描述其中可听事件的字幕 C。典型大音频语言模型先用音频编码器从对数梅尔谱提取帧级状态，再经模态投影器转成与语言模型输入空间兼容的音频令牌，最后由语言模型解码器结合指令生成字幕。以 Qwen2-Audio-7B-Instruct 为例，10 秒片段的编码器输出是 750 帧、每帧 1280 维，投影后得到 250 个音频令牌，解码采用贪心解码。必须保留的信息是声学证据与文本片段的对应关系：字幕中哪些词是事件提及，这些提及是否被参考标签支持。
论文指出的问题是幻觉式事件提及，即模型提到输入中不存在的声事件，例如仅有雨声却写 thunder，或语音录音却写 music。这类描述往往合乎语境，仅看生成文本或词概率难以核验。例子仅用于帮助理解任务形态，不代表论文报告了该例的数值效果。后续方法要解决的是如何在不重编音频的前提下，对每个提及给出存在分数并做保留或删除。
已有路线在同输入同目标下各补了什么？
在同为音频输入、字幕或问答输出的条件下，已有路线分属不同运行阶段。音频感知解码在生成时干预，激活 steering 在内部表示上干预，偏好对齐改训练目标，更广的评测框架补评估维度。论文报告这些路线存在两个缺口：字幕级分数定位不到具体无据片段，改训练或改解码对已部署模型不易应用。
另一条直接的事后路线是先从字幕抽事件提及并映射到音频事件本体，再用 CED 这类外部检测器查询声学证据，它能保留有据提及并删除无据片段，但需要第二个音频编码器和第二次前向。基线中的 CLAP、AST、PANN Cnn14、CED-Tiny 与 CED-Base 都属于重处理音频的外部模型，而 Token Confidence 用与提及对齐的词概率，Decoder Probe 用最后一层语言模型状态，Mean Readout 用单次平均池化的编码器表示。本文的对照意义在于把同输入同目标同运行阶段的事后验证放在同一协议下比较，而不是把类别不同的训练期改进当成同条件胜负。
要把事后修正定义成什么可测问题？
论文把事后字幕修正形式化为与本体对齐的事件验证。设被评提及集合为 I，每个提及 i 有参考支持标记 yi，1 表示被参考标签支持，0 表示无据。对打分方法 m 和阈值 τ，保留指示 ri 为 1 表示保留、0 表示删除。残留错误提及密度是剪枝后仍保留的错误提及占原始全部被评提及的比例，越低越好；忠实提及召回是剪枝后保留的有据提及占原始有据提及的比例。
相对幻觉减少量是被删掉的原始错误提及占比。关键约束是不能用全删换高减少量，因此论文在开发集上要求召回不低于 0.75，再在满足约束的阈值集合中取最大阈值。由于类平衡训练使声学输出是决策分数而非校准概率，阈值不在 0.5 固定，而是在开发集上选择。REVE 的校准与阈值选择只用开发集的分组折外预测，避免用测试集调阈值。
REVE 沿一个样本走完哪条复用路径？
沿一个 10 秒样本走一遍：波形先算对数梅尔谱并经音频编码器得到帧状态 H，投影器把 H 转成音频令牌，语言模型结合指令做 1 次标准多模态解码得到原始字幕。REVE 不重新加载或重编码音频，而是直接复用同一份 H。字幕中的事件片段经本体映射得到本体类，REVE 只对这些被提及类查存在分数 pc，再按阈值 τ 决定保留或删除，其它文字不动，等价于对全部 K 类打分中的候选稀疏实现。
图前导读如下：该图把生成与验证画在同一张流程里，左侧是编码，中间是解码，下方是验证，重点是验证分支的输入箭头是否真正来自已有的帧状态，以及分数如何回指到具体提及，这决定了省掉第二次编码的说法是否成立。
编码器状态复用 × 事件验证： 编码器状态复用负责提供声学证据，它直接取目标模型在生成字幕前已经算出的帧级状态 H，不再重走特征提取和音频编码；事件验证负责给出字幕中每个事件片段是否存在，它把片段映射到本体类后再查对应类分数并做阈值保留或删除；两者搭配的理由是生成路径与验证路径共享同一份 H，从而省掉第二个音频编码器，组合后新增的作用是在不改动已部署模型解码与训练的前提下实现可定位到片段的事后修正。
看图路径： 1. 先从左侧 10 秒波形经 Log-Mel 到 Whisper 编码器得到 750 帧状态的纵向箭头看主路径；2. 再看中间音频投影到 250 个音频令牌与指令一起进入解码器生成 rain、dog、cat 的横向路径；3. 接着看下方两条复用同一份帧状态的分支如何汇入类感知分数融合；4. 最后看右侧按阈值对三个提及做保留与删除的对应关系
论文图 1。原论文 Figure 1:：“Caption generation and event verification.”。
图后解释如下：像素显示左侧从 10 秒波形经 Log-Mel 谱到 Whisper-large-v3 编码器再到 h1 至 h750 的帧状态，矩阵标注为 750 乘 1280；中间从音频投影器到 a1 至 a250 音频令牌再到 32 块的 Qwen2-7B 解码器，生成示例提及 rain、dog、cat；下方验证分支同时接收同一份帧状态，一路上走帧分数统计到统计读出，另一路上走 4 段均值到分段读出，两路汇入类感知分数融合后做分数查找与阈值比较，最终示例为保留 rain 与 dog、删除 cat。图例用火焰标可训练、用雪花标冻结，目标大语言模型参数在训练中保持冻结，只有验证侧读出与融合器更新。
帧状态、平均表示与两路读出各算什么？
先讲符号与输入。x 是输入波形，q 是字幕指令，E、P、G 分别是目标模型的音频编码器、模态投影器与语言模型解码器。编码器从对数梅尔谱提取帧级状态序列，投影器把该序列转成音频令牌，解码器由令牌与指令生成字幕。原文实现中目标模型参数冻结，验证模块只读投影器之前的 H。
\[H=E\bigl(\operatorname{LogMel}(x)\bigr)=[h_{1},\ldots,h_{T}]^{\top}\in\mathbb{R}^{T\times d}.\]该式说明 H 是 T 帧 d 维矩阵，每行 ht 是 1 帧状态，这是后续一切复用的证据源。接着为得到整段基线表示，对全部帧做平均池化得到 e。
\[e=\frac{1}{T}\sum_{t=1}^{T}h_{t},\qquad e\in\mathbb{R}^{d}.\]该式是整段平均向量，用于定义基类 logit 与帧级 logit。统计分支为每个被提及类汇总其帧级分数的时间分布，取基线 logit、帧分数标准差与最大值组成 3 维向量，再经类特定仿射与 Sigmoid 得到统计分数。
\[q_{c}=[g_{c},\operatorname{std}_{t}a_{t,c},\max_{t}a_{t,c}],\]该设计的教学含义是均值给全局基线，最大值捕捉短时强证据，标准差刻画时间起伏，三者互补以缓解纯平均对短事件的削弱。分段分支把 T 帧切成 4 个连续等长区间并各取均值向量，再拼接经线性层与 Sigmoid 得到分段分数。2 分支都在 AudioSet 平衡训练集上用类平衡二元交叉熵训练，最终经共享参数与类专属偏置斜率的正则化类感知校准器融合成 pc，该校准器只增加 1057 个系数。
统计读出 × 分段读出： 统计读出负责刻画全局分数分布，它对同一类的帧级 logit 取均值代表的基线、标准差和最大值，保留短时强证据也不被平均淹没；分段读出负责保留局部时序信息，它把 T 帧切成 4 个连续等长区间并各取均值向量再联合打分；两者搭配是因为纯平均池化会削弱短事件，而纯局部又缺全局校准，组合后经类感知的融合器输出每个本体类的存在分数。
映射与删除如何只改事件片段？
语言模型输出自由写法，读出使用固定类，因此需要本体映射。做法是从 AudioSet 官方类名派生匹配形式，做大小写与分隔符归一化并去掉括号限定语，再做整词匹配得到集合 M，元素为片段 sj 与其本体类 cj。匹配节点直接对应读出类或其最近的有表示祖先，未映射片段不编辑，参考标签用同样映射以保证比较口径一致。打分后只对字幕中提到的类产生 pcj，再按阈值做二值保留决策。
\[r_{j}(\tau)=\mathbb{I}\left[p_{c_{j}}\geq\tau\right].\]该式表示分数不低于阈值保留，否则删除。修正后的字幕是对原始字幕删除被判无据的片段集合，其它文本不变。候选稀疏实现只算被提及类，但数学上等价于对全部 K 类打分后再查表，因此复杂度分析只计验证增量，不计共享的目标模型。
本体映射 × 事件提及： 事件提及是字幕中的自由文本片段，例如 rain 或 dog 这类词；本体映射负责把这些自由写法对齐到 AudioSet 固定类，它做大小写与分隔符归一化并去掉括号限定语后做整词匹配，匹配节点直接对应读出类或其最近的有表示祖先；两者搭配使验证只对有类分数的片段打分，未映射片段不编辑，其它文字保持不变。
哪些参数训练，监督与阈值从哪里来？
训练对象是两个读出与类感知融合器，目标大语言模型全部参数冻结。监督来自 AudioSet 平衡训练集的类标签，用类平衡二元交叉熵训练多标签读出。原文未报告优化器类型、学习率、轮数与早停细节，这是具体缺项，不从模型名称推定实现。校准与阈值选择只用开发集分组折外预测：先在开发集上找出满足召回不低于 0.75 的阈值集合，再取其中最大值作为该方法的部署阈值。
测试集不参与任何选择，所有方法用同一批字幕、同一事件片段、同一本体映射与同一参考标签，以保证公平。数据处理、评测与复杂度分析脚本原文称将发布，但本次资源状态显示未发现来源绑定且完成验证的资源，因此不能写代码当前可用或已公开，只能写本次未能确认可达，复现需按文中划分与指标自行实现。
数据划分、模型与指标如何对齐？
AudioSet 侧用平衡训练集训练读出，1000 条评测片段分成各 500 条的不重叠开发集与测试集，只有开发集用于选校准器与阈值。DESED 侧用孤立前景事件合成 1000 条 10 秒混合，每条含 1 至 3 个不同事件、无背景噪声，覆盖 8 个事件族，开发与测试各 500 条且源波形不相交，混合记录给出精确存在标签，可避免 AudioSet 缺标歧义。主要目标是 Qwen2-Audio-7B-Instruct，另测 Qwen2.5-Omni-7B 与 SALMONN-13B 以检验跨架构。基线覆盖生成置信、内部状态与外部音频模型，外部模型都重处理音频，而 REVE 复用目标模型状态。
指标方向为残留密度越低越好、召回与减少量越高越好，但减少量必须在召回约束下解读。复杂度只计 10 秒片段的验证增量，不计共享目标模型，在 NVIDIA L20Y 上 FP32 测量，GPU 前向用 CUDA 事件计时，CED 完整延迟还含特征提取与传输。
残留错误提及密度 × 忠实提及召回： 残留错误提及密度负责衡量删后还剩多少无据提及，它是剪枝后保留的错误提及数除以原始全部被评提及数，越低越好；忠实提及召回负责约束不能把有据提及误删，它是剪枝后保留的有据提及数除以原始有据提及总数；两者必须联合报告，因为全部删除可得 100% 相对减少但召回为零，论文因此在开发集上先要求召回不低于 0.75 再取最大阈值。
主结果在相同约束下删掉多少又保住多少？
比较问题是在开发集召回不低于 0.75 且阈值按此规则各自选择的条件下，谁删掉更多无据提及同时保住有据提及。公平条件是同一字幕、同一映射与同一参考，指标看召回、残留密度与相对减少量。图前导读如下：右图检验可控混合下随复音数增加的排序能力，左图检验 AudioSet 上减少率与延迟参数的权衡，两图共同回答高效是否以漏检为代价，读图需先确认纵轴是 AUROC 与减少率而非原始检出数。
看图路径： 1. 先看左图三维效率曲面中 REVE 标记在低延迟低参数处仍处于高减少率峰附近；2. 再对比同图中 CED-Base、CED-Tiny、PANN 与 CLAP 标记更靠右的延迟与参数位置；3. 再看右图横轴注入声源数从 1 到 3 时三条 AUROC 折线的下降斜率；4. 最后确认 REVE 折线在 1、2、3 个声源下都位于两条 CED 折线上方
论文图 2。原论文 Figure 2:：“Efficiency and controlled-mixture results.”。
图后解释如下：像素显示左 3 维曲面横轴为参数量与延迟的对数尺度、纵轴为减少率，标记为实测点、曲面仅为视觉引导，REVE 标记位于低延迟低参数一侧的高位；右图横轴为注入声源数 1 至 3、纵轴为 AUROC，REVE 折线从约 0.996 经约 0.964 降至约 0.932，始终在 CED-Base 与 CED-Tiny 折线上方，后两者在多源时下降更快。该趋势支持复用状态在重叠声源下仍保持排序优势，但总体趋势不等于每条样本都成立。下表先看增量成本这一可部署维度，问题是达到相近减少量是否必须付出第二个编码器的参数与延迟，公平条件为同为 10 秒片段在同卡 FP32 下的验证增量，指标方向为参数与延迟越低越好。
| Method | Parameters | GPU forward (ms) | Complete path (ms) |
|---|---|---|---|
| CED-Tiny | 5.50M | 4.20 | 8.27 |
| CED-Base | 85.71M | 5.46 | 10.32 |
| REVE | 3.38M | 0.29 | 0.57 |
表后解释如下：该原表报告 CED-Tiny 为 5.50M 参数、GPU 前向 4.20 毫秒、完整路径 8.27 毫秒，CED-Base 为 85.71M 参数、5.46 毫秒与 10.32 毫秒，REVE 为 3.38M 参数、0.29 毫秒与 0.57 毫秒，约为 CED-Base 完整路径的 18 分之 1。收益是参数更少且无第二次音频编码，代价是仍需训练验证侧读出并依赖开发集选阈值，未胜出项是若只看减少量极值，CED-Base 仍略高。下表看 AudioSet 主结果的可运行策略对比，含必要基线与实际阈值策略，不用事后最优代替。
| 条件 | 指标 | 无修正 | 本方法 | 比较对象 |
|---|---|---|---|---|
| AudioSet 开发召回不低于 0.75 | 残留密度 | 0.844 | 0.060 | CED-Base 为 0.052 |
| AudioSet 开发召回不低于 0.75 | 忠实提及召回 | 1.000 | 0.756 | CED-Base 为 0.758 |
| AudioSet 开发召回不低于 0.75 | 相对减少量 | 0.0% | 92.9% | CED-Tiny 为 92.7%，CED-Base 为 93.8% |
表后解释如下：REVE 把残留密度从 0.844 降到 0.060，在 0.756 召回下删掉 92.9% 错误提及，与 CED-Tiny 的 92.7% 和 CED-Base 的 93.8% 相当。未胜出项是 Token Confidence 仅 33.3% 减少、CLAP 为 64.3%，说明仅用词概率或外部弱对齐不足以定位片段；Mean Readout 已达 87.8%，说明平均池化本身有较强基线，但仍低于两路融合。限制是 AudioSet 参考存在缺标，绝对数值受标注口径影响，需结合 DESED 可控混合解读。
可控混合与跨模型是否还成立？
比较问题换到标签精确与架构变化时结论是否保持。DESED 用源波形不相交的开发与测试各 500 条混合，指标为微平均 AUROC 与 AP；跨模型在 Qwen2.5-Omni-7B 与 SALMONN-13B 上复用同样开发召回 0.75 协议。下表同时给出这两类论文特有细节，避免只看单一数据集。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| DESED 可控混合存在诊断 | 微平均 AUROC | 0.901 | 0.959 | CED-Tiny 为 0.896 |
| DESED 可控混合存在诊断 | 微平均 AP | 0.791 | 0.915 | CED-Tiny 为 0.779 |
| DESED 按声源数 1 至 3 | AUROC | 未报告单点基线 | 0.996，0.964，0.932 | 均高于两 CED 变体 |
| 跨模型 Qwen2.5-Omni | 残留密度前后 | 0.797 | 0.158 | 减少 80.1%，AUROC 为 0.865 |
| 跨模型 SALMONN-13B | 残留密度前后 | 0.804 | 0.207 | 减少 74.3%，AUROC 为 0.841 |
表后解释如下：DESED 上 REVE 以 0.959 的 AUROC 和 0.915 的 AP 高于最强外部检测器 CED-Base 的 0.901 与 0.791，且在 1 至 3 个声源下分别取得 0.996、0.964、0.932 并始终高于两 CED 变体，支持在无缺标条件下复用状态仍有效。跨模型上 Qwen2-Audio-7B 的 0.930 降到 Qwen2.5-Omni 的 0.865 与 SALMONN 的 0.841，减少量从 92.9% 降到 80.1% 与 74.3%，说明跨架构可迁移但收益收窄，未评测边界是更多编码器类型与更长音频的稳定性。
两路信号与校准各自补了什么？
比较问题是统计分支、分段分支、共享融合与类感知校准各自带来多少排序与决策收益。公平条件为同一 AudioSet 划分与同一开发召回目标 0.75，指标看提及 AUROC 越高越好、残留密度越低越好。下表整理消融在该约束下的表现，数据来自全文连续原句的逐字证据，不引入无源列。
| 条件 | 指标 | 单路基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| AudioSet 开发召回 0.75 | 提及 AUROC | 0.91 | 0.930 | 共享融合为 0.931 |
| AudioSet 开发召回 0.75 | 残留密度 | 0.103 | 0.060 | 共享融合为 0.082，单路为 0.095 |
表后解释如下：共享融合把提及 AUROC 从约 0.91 抬到 0.931 并把残留密度降到 0.082，支持两路证据互补。
类感知校准在 AUROC 几乎不变的情况下进一步把残留密度压到 0.060，支持用一个跨类阈值做更准决策。未胜出项是仅统计或仅分段都停在 0.095 残留密度，说明单尺度不足。边界是消融只在主目标模型与 AudioSet 上报告，跨模型时两路相对贡献未分解，待验证。
共享融合 × 类感知校准： 共享融合负责把统计分支和分段分支的 2 维 logit 先用跨类共享参数合在一起，提升提及级排序能力；类感知校准负责给每个类加专属偏置与斜率，使一个全局阈值能跨类做决定；两者分工不同，消融显示共享融合主要抬高 AUROC，类感知校准在 AUROC 几乎不变时进一步压低开发集召回约束下的残留密度。
哪些误差与成本还没有被量到？
首先是标注口径限制。AudioSet 评测依赖参考标签与同一本体映射，缺标会把有据提及判成无据，论文用 DESED 混合缓解但混合无背景噪声且每条仅 1 至 3 个事件，与真实长尾场景仍有距离。其次是阈值泛化。阈值在开发集上按召回约束选择，类平衡训练使输出是决策分数而非校准概率，换域或换模型需重选阈值，不能把 0.5 当默认。再次是未测量量。
原文报告验证增量延迟与参数，但未报告误删有据提及的语义代价分布、长音频分段策略与整体端到端延迟占比，因此不能承诺误判率或全链路延迟同步改善。最后是实现缺项。优化器、学习率、训练轮数与随机种子未报告，数据处理与评测脚本的可达性本次未能确认，复现时需先补这些验证。
要复现应先固定什么再跑什么？
先固定信息条件：用同一批生成字幕、同一事件片段抽取、同一归一化与整词匹配规则、同一参考映射，否则残留密度与召回不可比。再固定划分：AudioSet 评测 1000 条按 500 开发与 500 测试的不重叠划分，只用开发集做分组折外校准与阈值选择；DESED 按源波形不相交合成开发与测试各 500 条 10 秒混合并保留混合记录作精确标签。接着实现两读出：在冻结的目标编码器 H 上训练统计分支与 4 段均值分支，用类平衡二元交叉熵，再训练共享加类专属的融合器。
推理时只对字幕中提到的类查 pc 并按开发集选出的最大可行阈值删除。复杂度复测需注明 FP32、同卡型号与是否含特征提取传输，避免把 GPU 前向 0.29 毫秒误当端到端。关键超参数中阈值必须重选，训练细节因原文缺项需自行记录并做敏感性检查。
何时值得试，首选动作与还需补什么？
当系统已部署大音频语言模型且不能改训练或解码，又需要定位到片段删除无据事件时值得尝试 REVE，因为它复用已算出的 H 而省掉第二个音频编码器。首选动作是先跑 Mean Readout 基线，再加统计与分段两路与类感知校准，观察在开发召回 0.75 约束下残留密度是否从约 0.103 经 0.082 降到 0.060 附近。若跨到新模型或新域，需重做校准与阈值选择，并用可控混合核对多源下的 AUROC 是否保持领先。
还需补的验证是含背景噪声与更长音频的表现、误删的语义影响分类，以及与 CED 系列在同硬件完整链路下的端到端对比。常见误解是把相对减少量当绝对正确率，或把 GPU 前向延迟当完整验证延迟，或把单阈值 0.5 直接套用，这些在原文协议下都不成立。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses