英文题目：Tracing Audio Grounding and Answer Selection in Audio LLMs
标签：#音频问答 | #注意力机制 | #LoRA | #可解释性 | #音频大模型
评分：6.7/10 | 创新 1.6/2 | 技术严谨 1.3/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.7/1.5
👥 作者与机构
- Hyebin Cho：机构信息未在 arXiv HTML 中可靠披露
- Suho Yoo：机构信息未在 arXiv HTML 中可靠披露
- Jihoo Jung：机构信息未在 arXiv HTML 中可靠披露
- Joon Son Chung：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
音频问答任务输入为音频、问题与候选选项，输出为选项字母，难点在于模型易依赖文本先验而非声学证据导致高分与真实听觉接地脱节，难以量化训练是否真正让声学决定答案。第一步负责构造行为敏感度检验，用于量化声学依赖，将静音与错配音频替换后的准确率落差计算为敏感度并传递至下一步对比训练前后变化。第二步用于定位信息流，负责阻断注意力，分别切断音频到选项与选项到答案的跨层连接，测量正确选项概率变化并将层段重要性分布送入下一步。第三步负责检验参数更新的功能作用，用于按层段禁用或单独训练LoRA增量，验证特定层带对性能的必要性与充分性并传递至下一步输出分阶段机制结论。与仅报告准确率提升的已有方法不同，该链路将行为变化归因到早期到中期层融合声学以塑造选项表征、中期到后期层解码选项表征用于最终预测，揭示了声学接入与决策利用的分工意义。在论文报告的评测设置下，本文方法相较零样本Qwen2-Audio的准确率指标从36.9%升至51.1%，方向为更高。适用边界是：结论仅在多选题、短音频（截断至30秒）与Qwen2-Audio/Qwen2.5-Omni上验证，长音频、开放式问答及跨架构外推尚未检验且MMAU上出现负迁移。成本方面，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
任务是什么：输入、目标与必须保留的信息
这篇论文研究的任务是多项选择式的音频问答。每个样本的输入包含三部分：一段音频、一个自然语言问题、以及若干候选答案，模型被要求只生成正确选项对应的字母，例如 A 或 B。目标不是让模型编造一段解释，而是让选项字母的预测真正由音频中的声学证据决定，而不是靠问题文字本身的语言先验就能猜对。
必须保留的信息是音频与问题之间的对应关系。如果把音频换成静音或换成另一道题的无关音频，正确答案就不再有声学支撑，理想的模型应当表现出明显的性能下降。论文把这种下降作为是否在听的外部行为信号，而不是直接宣称模型内部已经理解了声音。
输出是受限生成的下一个 token 在合法选项字母上的概率分布。评估时只在该样本实际拥有的选项字母集合上重归一化概率，再取正确选项的概率或准确率。这样做避免了模型生成无关文字带来的干扰，也让后续的注意力阻断实验可以用概率变化而非硬性的对错翻转来捕捉更细微的依赖变化。
从学习依赖看，任务要求模型先把音频信息写入候选答案的表征，再用这些表征做出最终选择。论文后续把这两个阶段分别对应到不同的层区间与不同的注意力连接，从而把是否在听拆解为可定位、可干预的路径问题。
同类任务有哪些已验证路线，为何仍需看模型内部
在输入与目标相同的音频问答路线上，已有一类工作通过构造数据来迫使答案必须来自音频，例如 DCASE 2026 的 AudioMCQ-StrongAC-GeminiCoT 与 ADQA-Bench 等基准，它们刻意降低仅靠文本线索就能答对的题目比例。这类路线在行为层面已显示出提升，但没有回答训练到底改变了模型内部的哪条通路。
另一类同运行阶段的工作是机理解释研究，关注音频相关信息在模型哪几层被表示、音频与文本如何交互。已有研究在不同模型上定位过音频信息的表示位置与跨模态注意力模式，但大多在单一训练状态下描述现象，未系统比较训练前后同一连接的功能重要性如何变化。
本文的对照点在于同时保留行为与机制两类证据。行为上用静音与错配音频两种扰动取平均来度量对声学证据的敏感度，机制上用注意力阻断与 LoRA 层带消融来定位层区间。相关工作按同输入、同目标、同监督与同运行阶段对照时，前者提供了数据侧的基线，后者提供了方法侧的工具，而本文把二者对齐到同一组模型与同一组跨基准评估上，从而区分声学信息何时写入选项表征、何时被用于最终选择。
要回答的三个具体问题是什么
第一个问题是在需要声学证据的数据上训练后，模型是否真的更依赖所提供的音频。论文不只看准确率是否上升，而是看把音频移除或替换后准确率下降幅度是否更大，以排除仅靠文本先验提升的可能性。
第二个问题是声学信息在哪些层塑造候选答案的表征，又在哪些层开始影响最终预测。需要把音频到选项与选项到答案这两条连接分开测量，并分别在零样本与微调后比较层级曲线，才能判断训练改变的是早期的接地阶段还是后期的决策阶段。
第 3 个问题是训练学到的参数变化集中在哪里。论文把 LoRA 更新按层带分组，既做关闭某一带的必要性检验，也做只在单一带内训练的充分性检验，以确定改进是分散在所有层还是集中在特定层带，以及不同模型是否呈现不同的层带模式。
这 3 个问题按依赖顺序展开：先确认行为上是否更依赖音频，再定位依赖在何处发生，最后追问由哪些参数支撑。每一问都需要独立的对照与度量，避免把准确率提升直接等同于更会听。
方法全景：从样本到预测的完整路径如何被拆解
沿一个样本走一遍，输入先被切分为 4 类 token：音频 token、问题 token、候选答案 token、以及待生成的答案首位置 token。音频经过音频编码器得到音频 token 序列，文本部分经分词得到问题与选项 token，模型在自回归生成时需要在合法选项字母上做出选择。训练时使用 19,480 个 AudioMCQ-StrongAC-GeminiCoT 样本，丢弃其中的思维链标注，只用选项字母做监督；评估时在 ADQA-Bench、MMAU-test-mini、MMAR、MMSU 4 个未参与训练的基准上测试跨基准泛化。
全景上论文设置了两类探针。第一类是行为探针，通过原始、静音、错配 3 种音频条件计算敏感度，回答是否更依赖音频。第二类是机制探针，包含注意力阻断与 LoRA 层带分析，回答依赖在何处发生与由哪些参数支撑。注意力阻断不改参数，只在推理时把特定源到目标的注意力分数设为负无穷，从而阻断信息通路；LoRA 分析则通过分组关闭或分组训练来定位参数作用的层带。
早期到中层 × 中层到晚层： 早期到中层指模型前半部分的层区间，中层到晚层指靠近输出的层区间，论文把音频到选项的影响定位在前者、把选项到答案的影响定位在后者，二者搭配形成 2 阶段图景：先在前段完成声学接地，再在后段完成基于接地的选择。
图 1 把上述全景压缩为 2 阶段示意：左侧是随时间展开的音频波形与文本选项如何转为 token，右侧是 AudioLLM 内部按早期、中期、晚期排列的层。图中紫色连线表示音频与选项 token 之间的交互在早期到中层最重要，且训练前后都存在；橙色连线表示选项到答案的最终预测路径在中层到晚层经训练后被强化。这种分层图景为后续的定量阻断实验提供了待验证的假设。
看图路径： 1. 沿左侧音频波形与问题选项的输入箭头，确认音频 token 与文本 token 如何进入同一 AudioLLM 块；2. 观察紫色 Audio 到 Attn 再到选项行的连线，定位早期到中层的音频与选项交互；3. 追踪橙色从中层 Attn 到晚层答案 token 的路径，确认训练强化的最终预测通路
论文图 1。原论文 Figure 1:：“How audio information is used across layers in Audio LLMs.”。
从像素看，图 1 左侧用垂直时间轴展示两段波形示例，箭头指向音频 token 列；问题 How does the speaker feel?与选项 A. happy 到 D. fear 分别指向文本 token 列；最下方 Answer:指向待生成位置。右侧大框内每行代表一层，灰色方块为层表示，紫色 Attn 节点汇聚多条来自早期层的音频连线，再经紫色箭头指向中层的选项行，橙色 Attn 节点则在中层到晚层之间连接选项行与答案行，最终橙色箭头指向输出 A。该布局与后文图 2 中早期到中层与中层到晚层的两段负峰位置一一对应，说明全景图不是装饰而是对层级分工的先验假设。
组件与计算：敏感度、阻断与概率变化如何算
行为敏感度的计算先得到 3 种条件下的准确率：原始音频准确率、静音准确率、错配准确率。静音条件用等时长的全零波形保留音频输入通道但移除信息，错配条件用同一基准内随机抽取的另一条自然波形保留自然性但破坏与问题的对应关系，错配配对使用固定随机种子并排除自身匹配。敏感度取原始准确率减去静音与错配准确率的均值，训练前后的增量为微调后敏感度减去零样本敏感度，正值表示更依赖有效声学证据。
\[S_{\mathrm{audio}}=A_{\mathrm{orig}}-\frac{A_{\mathrm{sil}}+A_{\mathrm{mis}}}{2}.\]上式中 A_orig 为原始条件准确率，A_sil 为静音条件准确率，A_mis 为错配条件准确率，S_audio 越大表示移除或替换有效声学证据时性能下降越大。该分数度量行为敏感度，不直接指认内部机制。
\[\Delta S_{\mathrm{audio}}=S_{\mathrm{audio}}^{\mathrm{FT}}-S_{\mathrm{audio}}^{\mathrm{ZS}},\]上式定义训练前后的敏感度变化，FT 表示 LoRA 微调后，ZS 表示原始指令微调检查点。论文在 6 个准确率提升的模型与数据集组合上报告该增量为正，在 MMAU 上为负，从而把行为改进与对音频的依赖联系起来。
声学证据敏感度 × 行为敏感度指标 S_audio： 声学证据敏感度指模型预测随真实音频是否可用而变化的程度，行为敏感度指标 S_audio 则是把它算出来的具体做法：用原始音频准确率减去静音与错配音频准确率的均值，二者搭配把抽象的是否在听与可重复计算的差值联系起来，组合后才能在不同数据集上比较训练前后对音频依赖的增量。
注意力阻断的计算在预 softmax 注意力分数上操作。将输入划分为音频 token 集合、问题 token 集合、候选答案 token 集合与首个生成答案位置，记源集合为 S、目标集合为 T、干预层窗口为 W。对属于窗口内且满足目标关注源的注意力分数置为负无穷，其余保持不变，经 softmax 后对应权重为零，从而在所有注意力头上阻止 T 对 S 的关注。论文关注两条连接：音频到选项与选项到答案，前者检验音频对选项表征的功能重要性，后者检验选项对最终预测的直接贡献。
\[\widetilde{z}_{t,s}^{\ell,h}=\begin{cases}-\infty,&t\in T,\;s\in S,\;\ell\in\mathcal{W},\\ z_{t,s}^{\ell,h},&\text{otherwise},\end{cases}\]上式中 z 为原始注意力分数，tilde z 为干预后分数，l 为层索引，h 为头索引，W 为被干预的层窗口。记该干预为 S 不指向 T。
层级效应的度量不用硬性的准确率翻转，而是用正确选项概率的变化。对每个样本先在完整模型下得到正确选项的重归一化概率，再在以层 l 为中心的 k 层窗口阻断后得到对应概率，二者差值在全部样本上平均并乘以 100，得到以百分点为单位的概率变化。负值表示阻断该连接会降低对正确答案的支持，负得越多表示该连接在该层窗口越重要。主分析取 k 为 9，并检验 k 在 1、3、5、9、13 时层级趋势定性一致，窗口在模型边界处做截断。
\[\Delta p^{S\nrightarrow T}_{\ell}=\frac{100}{N}\sum_{i=1}^{N}\left[p^{\mathrm{KO}}_{i,\ell}(y_{i})-p^{\mathrm{full}}_{i}(y_{i})\right].\]上式中 p_full 为完整模型的正确选项概率，p_KO 为阻断后概率，N 为汇集的样本数，Delta p 为层级概率变化。论文在汇集所有基准样本上计算该曲线，并进一步把选项拆分为正确选项与错误选项，分别阻断正确选项到答案与错误选项到答案，以判断增强的是对正确选项的选择性依赖还是对所有选项的一般依赖。
注意力阻断 × 层窗口干预： 注意力阻断是在推理时把某类目标 token 禁止关注某类源 token，注意力权重经 softmax 后置零；层窗口干预则限定这种禁止只发生在连续的 k 层窗口内，二者组合可在不改参数的前提下定位某条信息通路在哪几层真正影响正确选项概率。
音频到选项的连接 × 选项到答案的连接： 音频到选项的连接衡量候选答案表征在形成阶段是否吸收了音频信息，选项到答案的连接衡量已形成的选项表征在生成答案首 token 时是否被用于决策，前者负责把听到的内容写入选项，后者负责用已写入的选项做出选择，二者分工让论文能区分声学整合与答案选择两个阶段。
训练与构造：数据、模型与参数更新如何安排
训练数据为 AudioMCQ-StrongAC-GeminiCoT，共 19,480 样本，属于 DCASE 2026 为需要声学证据而策展的训练集。论文丢弃其中的思维链标注，仅用选项字母做监督，训练时每题固定使用 4 个选项，评估时保留各样本原始选项数并将生成限制在对应合法标签上。输入音频截断至最多 30 秒，覆盖语音、音乐与一般音频的混合内容。
模型对比 Qwen2-Audio 与 Qwen2.5-Omni 的原始指令微调检查点与 LoRA 适配后版本。LoRA 秩为 16，缩放因子为 32，dropout 为 0.05，作用于音频编码器与语言模型的目标模块。训练未报告对其他参数的冻结或更新细节，也未报告优化器、学习率、批次大小与训练步数的具体取值，复现时需以官方代码为准，不从模型名称推定未说明的实现。
LoRA 层带 × 功能必要性与充分性： LoRA 层带指把音频编码器与语言模型中按层连续分组的可训练低秩更新，功能必要性通过在完整训练后关闭某一带看性能下降来检验，功能充分性通过只在单一带内训练看能否恢复性能来检验，二者配合才能判断哪些层带的更新是既被依赖又能独立学会任务的。
为定位学习到的更新在哪里起作用，论文把已训练的 LoRA 按连续层带分组。第一组实验保持其余适配器不变、每次关闭一个层带的更新，观察相对完整训练模型的准确率变化；第二组实验从零开始只允许单一层带内训练 LoRA，并与全层 LoRA 在秩 16 与秩 4 两种预算下比较。全层秩 4 的设置用于近似匹配单层带秩 16 的可训练参数量，从而在参数预算相近的条件下比较层带集中训练与分散训练的效果。原文明确指出，关闭实验回答的是完整模型对已学更新的依赖，单带训练回答的是受限条件下能学到什么，二者结果不必一致，因为不同层带的更新在训练与推理中可能协同工作。
这种分组设计避免了把所有层的更新混为一体的笼统结论，也为后文解释为何最重要的层带不一定是单带训练表现最好的层带提供了依据。
实验条件：评估什么、与谁比、在什么约束下比
评估问题分为行为与机制两类。行为类问题测跨基准泛化与对音频的依赖是否同步提升，机制类问题测音频到选项与选项到答案两条连接的层级重要性，以及 LoRA 更新的层带效应。所有比较都在同一模型家族内进行零样本与微调后的配对对比，数据集与模型配对保持一致，生成均限制在合法选项字母上，避免开放式生成带来的额外变异。
数据与协议方面，训练集与 4 个评估基准无重叠，ADQA-Bench 作为 DCASE 2026 官方评估集专门降低可仅靠文本线索答对的题目比例，提供对声学证据使用的针对性检验。MMAU-test-mini、MMAR、MMSU 各为 1,000 或 5,000 样本规模，覆盖多模态推理与音乐等不同分布。静音与错配两种音频扰动均在同一基准内构造，错配采用固定随机种子并排除自身匹配，以减少扰动本身的随机性对结论的影响。
指标与聚合上，行为侧用准确率与敏感度增量，机制侧用正确选项概率的层级变化。准确率以百分比报告，敏感度增量与概率变化以百分点报告，置信区间采用 10,000 次重采样的配对自助法给出 95% 区间 1/2 宽。层级分析在汇集全部基准样本上计算平均概率变化，窗口大小以 9 层为主并检验多档窗口的一致性。硬件与时间预算在原文中未详细报告，复现时需按官方实现记录实际耗时与显存占用，不把总体趋势推广为每个样本或每一步都成立。
约束上，输入音频截断至 30 秒，LoRA 仅作用于指定目标模块，评估时在合法选项集合内重归一化概率。这些约束保证了不同条件下的比较是公平的，也让敏感度与阻断实验的数值可以直接对应到同一预测分布上。
主结果：准确率提升是否伴随更强的音频依赖
先看行为侧的总体趋势。论文报告在 ADQA-Bench、MMAR、MMSU 上 2 个模型经训练后准确率均有提升，而在 MMAU 上 Qwen2-Audio 提升微弱、Qwen2.5-Omni 明显下降。更关键的是，在 6 个准确率提升的模型与数据集组合上，行为敏感度增量均为正，说明用静音或无关音频替换后性能下降在训练后更大；在 MMAU 上 2 个模型的敏感度增量均为负，与准确率的弱或负迁移一致。这支持了成功迁移通常伴随对相关声学证据贡献增加的判断，而 MMAU 作为负迁移对照提示所学变化并非在所有分布上都泛化。
下表把行为结果按模型与数据集组织，比较零样本与微调后的准确率以及敏感度增量，指标方向为准确率越高越好、敏感度增量为正表示更依赖真实音频。表前已说明比较条件为同一模型在同一基准上的配对对比，生成均限制在合法选项字母上，敏感度为原始准确率减去静音与错配均值的定义。
| 模型与数据集 | 评估条件 | ZS 准确率 | FT 准确率 | 敏感度增量 ΔS_audio |
|---|---|---|---|---|
| Qwen2-Audio ADQA-Bench | 跨基准泛化 | 36.9 | 51.1 | +9.3±2.0 |
| Qwen2-Audio MMAR | 跨基准泛化 | 41.2 | 52.5 | +6.9±3.6 |
| Qwen2-Audio MMSU | 跨基准泛化 | 47.3 | 58.8 | +6.8±1.5 |
| Qwen2.5-Omni ADQA-Bench | 跨基准泛化 | 41.9 | 54.4 | +4.5±2.0 |
| Qwen2.5-Omni MMAR | 跨基准泛化 | 53.7 | 65.7 | +6.7±3.5 |
表中 Qwen2-Audio 在 ADQA-Bench 上从 36.9 提升至 51.1，敏感度增量为 +9.3 个百分点；在 MMAR 与 MMSU 上也有超过 11 个百分点的准确率提升与约 6 至 7 个百分点的敏感度提升。Qwen2.5-Omni 在 ADQA-Bench 与 MMAR 上分别提升至 54.4 与 65.7，敏感度增量为 +4.5 与 +6.7 个百分点。未在表中展开的 MMAU 行则呈现相反模式，准确率与敏感度增量均为负，说明该分布上的学习未带来对音频依赖的增强。这一正反对照为后文的层级分析提供了筛选依据：后续机制分析聚焦于训练同时提升性能与敏感度的 ADQA-Bench、MMAR、MMSU，而将 MMAU 保留为负迁移对照。
再看机制侧的层级分工。注意力阻断显示，阻断音频到全部选项的连接在早期到中层对正确概率影响最大，Qwen2-Audio 的最强效应约在 8 至 12 层，Qwen2.5-Omni 约在 10 至 16 层，且零样本与微调后均存在，说明声学信息塑造选项表征的阶段在训练前已具备。阻断全部选项到答案的连接则呈现不同模式：零样本时各层变化很小，微调后在中层到晚层出现明显的负向概率变化，Qwen2-Audio 约在 18 至 22 层，Qwen2.5-Omni 约在 20 至 27 层。由此可得，训练最大的变化不在早期的音频与选项交互本身，而在后期如何使用已融入音频的选项表征来做最终预测，这也解释了为何移除或替换音频在训练后对最终预测的影响更大。
看图路径： 1. 对比实线 Audio 到 All Options 与虚线 All Options 到 Answer 在不同层上的概率变化幅度；2. 在 Qwen2-Audio 与 Qwen2.5-Omni 两列中分别找到负峰所在的层区间；3. 比较零样本与微调后虚线在中层到晚层的差异，判断训练新增的影响
论文图 2。原论文 Figure 2:：“Layer-wise attention knockout. Audio\nrightarrowAll Options is most influential in early-to-middle layers for both ZS and FT, whereas All Options\nrightarrowAnswer becomes…”。
从像素看，图 2 左右两列分别为 Qwen2-Audio 与 Qwen2.5-Omni，横轴为层，纵轴为概率变化百分点。实线代表 Audio 到 All Options，虚线代表 All Options 到 Answer，蓝色为零样本，红色为微调后，阴影为置信区间。实线在中部形成明显的负峰，虚线在零样本时接近零线，微调后在右侧形成第二段负峰，且红色虚线的负峰深度与宽度均超过蓝色虚线。该形状与图 1 中紫色早期交互与橙色晚期决策的分段一致，也与后文 LoRA 层带的功能必要性区间重叠，说明行为敏感度的提升有对应的层级路径支撑。
消融与反证：正确与错误选项的贡献以及层带的作用
为判断选项到答案的增强是一般性依赖还是对正确选项的选择性增强，论文进一步拆分正确选项与错误选项。Qwen2-Audio 在约 16 至 28 层呈现相反效应：阻断正确选项到答案会降低正确概率，阻断错误选项到答案反而会提升正确概率，且该模式在零样本与微调后均存在，说明模型在训练前已能区分正确选项的支持信息与错误选项的竞争信息。Qwen2.5-Omni 则显示训练带来的选择性变化：阻断错误选项在两种状态下影响都很小，而阻断正确选项到答案在微调后于约 18 至 25 层产生显著的负向变化，表明训练主要强化了正确选项表征对最终答案的贡献。
看图路径： 1. 在 Qwen2-Audio 中区分实线正确选项与虚线错误选项对正确概率的相反作用；2. 在 Qwen2.5-Omni 中观察微调后正确选项实线在 18 至 25 层的显著下探；3. 核对错误选项虚线在训练前后是否保持接近零，判断选择性增强的对象
论文图 3。原论文 Figure 3:：“Correct- and wrong-option contributions.”。
从像素看，图 3 左右两列同样按模型分列，实线为 Correct option 到 Answer，虚线为 Wrong options 到 Answer。Qwen2-Audio 左图中实线在中后段下探至约负 5 个百分点，虚线在同一区间上探至约正 5 个百分点，形成镜像；Qwen2.5-Omni 右图中虚线始终贴近零线，实线在微调后于 20 层附近急剧下探至约负 8 个百分点，且零样本实线无此深度。该对比说明 2 模型在如何利用选项信息上存在差异，但共同点是训练后正确选项的贡献在中层到晚层被放大。
LoRA 层带的消融从参数侧提供反证。关闭实验显示，移除 16 至 23 层的已学习更新对 Qwen2-Audio 性能下降最大，移除 21 至 27 层对 Qwen2.5-Omni 影响最大，这些区间恰好与选项到答案连接在训练后变得重要的层重叠，说明学习到的变化集中在特定层带而非均匀分布。在 MMAU 这一负迁移基准上，关闭某些层带反而提升准确率，与行为侧敏感度下降一致，提示该分布上的已学更新可能引入了不利于泛化的偏置。
下表展示单层带训练的充分性检验，比较全层训练与仅在单一层带内训练的准确率，参数预算通过全层秩 4 与单层带秩 16 的近似匹配来控制。表前已说明比较条件为同一训练数据与同一评估协议，指标为准确率百分比，方向为越高越好。
| 模型与训练设置 | ADQA-Bench 准确率 | MMAR 准确率 | MMSU 准确率 | 均值准确率 | 参数预算对照 |
|---|---|---|---|---|---|
| Qwen2-Audio 全层 r=16 | 51.13 | 52.51 | 58.78 | 55.26 | 全层更新 |
| Qwen2-Audio 仅 8-15 层 r=16 | 51.13 | 52.81 | 59.72 | 54.82 | 单带更新 |
| Qwen2-Audio 仅 16-23 层 r=16 | 38.80 | 42.11 | 51.34 | 47.04 | 单带更新 |
| Qwen2.5-Omni 全层 r=16 | 54.37 | 65.66 | 64.94 | 62.12 | 全层更新 |
| Qwen2.5-Omni 仅 7-13 层 r=16 | 41.17 | 56.38 | 55.98 | 54.53 | 单带更新 |
表中 Qwen2-Audio 仅训练 8 至 15 层即可在 ADQA-Bench、MMAR、MMSU 上接近或超过全层秩 16 的性能，均值仅低约 0.44 个百分点，且明显优于全层秩 4 的预算对照，说明该模型的大部分改进可由受限层带获得。Qwen2.5-Omni 则无单一层带能恢复全层性能，即使全层秩 4 的平均表现也优于任何单层带，说明其改进需要跨多个层带的更新协同。论文特别指出，关闭实验中最重要的层带不一定是单带训练中表现最好的层带，前者问的是完整模型对已学更新的依赖，后者问的是受限条件下能学到什么，二者的差异提示不同层带的更新在训练与推理中协同工作。
另一张汇总表把层级阻断的定量区间与上述层带结果对齐，明确早期到中层与中层到晚层的分工在 2 个模型上均成立，且训练后新增的负峰位置与功能必要性区间重叠，从而在行为、注意力与参数 3 个层面形成一致的证据链。
| 分析维度 | 关键连接 | 零样本层区间 | 微调后层区间 | 训练新增效应 |
|---|---|---|---|---|
| 注意力阻断 | Audio 到 All Options | 8-12 层 | 10-16 层 | 保持显著变化较小 |
| 注意力阻断 | All Options 到 Answer | 接近零 | 18-22 层 | 出现明显负峰 |
| 注意力阻断 | Correct 到 Answer | 16-28 层相反效应 | 18-25 层强化 | 选择性增强 |
| LoRA 必要性 | 关闭层带 | — | 16-23 层 | 下降最大 |
| LoRA 充分性 | 单带训练 | — | 8-15 层 | 可恢复大部分性能 |
该表概括了图 2 与图 3 中负峰所在层与图 4 中下降最大的层带，强调声学接地与答案选择是两个可分离的阶段，训练主要作用于后者。表中未胜出的层带如 Qwen2-Audio 的 16-23 层单带训练与 Qwen2.5-Omni 的多数单带设置均明显低于全层性能，说明并非任意层带都能独立承担改进。
看图路径： 1. 在 Qwen2-Audio 左图中定位 16-23 层带关闭后准确率下降最深的点；2. 在 Qwen2.5-Omni 右图中定位 21-27 层带关闭后下降最深的点；3. 对比 ADQA、MMAR、MMSU 与 MMAU 四条曲线在同一层带的正负变化
论文图 4。原论文 Figure 4:：“Functional effect of LoRA layer bands.”。
从像素看，图 4 左右两列分别展示 Qwen2-Audio 与 Qwen2.5-Omni 在 4 个层带上关闭 LoRA 后的准确率变化百分点，横轴为层带，纵轴为相对完整模型的准确率变化，ADQA、MMAR、MMSU、MMAU 4 条曲线以不同颜色区分。Qwen2-Audio 左图中 16-23 层带处 MMSU 与 ADQA 曲线下探最深，Qwen2.5-Omni 右图中 21-27 层带处多条曲线下探，且 MMAU 曲线在部分层带上位于零线上方，表明关闭该带反而提升在该分布上的准确率，与负迁移的解释一致。
边界与未验证的推测是什么
已验证的范围限于多项选择式音频问答，且评估时将生成限制在合法选项字母上并在该集合内重归一化概率，结论是否适用于开放式生成、长音频或需要多步推理的任务尚未在本文中检验。训练数据固定为 AudioMCQ-StrongAC-GeminiCoT，输入音频截断至 30 秒，LoRA 仅作用于音频编码器与语言模型的目标模块，其他超参数与优化细节未完整报告，因此不同截断长度、不同秩或不同目标模块的组合是否保持相同的层级分工仍待验证。
相关性与因果的区分需要谨慎。行为敏感度提升与注意力阻断中晚期负峰的出现、以及 LoRA 层带必要性区间的重叠，三者共同支持训练强化了选项到答案的路径，但这仍是多证据的收敛性支持，而非对单个神经元或单个注意力头的因果证明。论文也报告了 MMAU 上的负迁移与敏感度下降，说明所学变化在某些分布上不泛化，不能把总体趋势推广为每个数据集或每个样本都成立。
未测量的量包括误判率的细粒度分解、推理延迟与显存开销、以及在噪声、混响或缺失证据等更具挑战条件下的鲁棒性。原文未承诺这些量随准确率同步改善，复现时应分别测量准确率、敏感度、概率变化与层带效应，避免把自动指标的提升等同于人评或实际部署收益。
此外，论文的层级结论基于汇集样本的平均概率变化，单样本的层级曲线可能存在变异。把平均趋势直接用于解释单个样本的决策路径时，需要额外做样本级阻断与显著性检验，不能仅凭总体负峰位置下结论。
复现时先做什么、如何一步步核对
第一步准备数据与模型。下载 AudioMCQ-StrongAC-GeminiCoT 作为训练集，丢弃思维链标注仅保留选项字母；下载 ADQA-Bench、MMAU-test-mini、MMAR、MMSU 作为评估集，确保评估集未参与训练。加载 Qwen2-Audio 与 Qwen2.5-Omni 的原始指令微调检查点作为零样本基线，LoRA 配置设为秩 16、缩放因子 32、dropout 0.05，作用于音频编码器与语言模型目标模块，输入音频截断至 30 秒。
第二步复现行为敏感度。按原文定义分别在原始、静音、错配 3 种音频条件下评估准确率，静音用等时长全零波形，错配在同一基准内用固定随机种子抽取另一条音频并排除自身匹配，敏感度取原始准确率减去静音与错配均值，增量为微调后减去零样本。核对 6 个准确率提升组合的增量是否为正，以及 MMAU 上是否为负，并用 10,000 次配对自助法计算 95% 区间 1/2 宽。
第 3 步复现注意力阻断。实现预 softmax 分数置负无穷的干预，分别阻断音频到全部选项与全部选项到答案，并在正确与错误选项拆分上重复，窗口大小以 9 层为主并检验 1、3、5、9、13 的定性一致性，窗口在边界处截断。度量正确选项重归一化概率的百分点变化，汇集全部基准样本计算层级曲线，核对早期到中层与中层到晚层的两段负峰位置是否与原文的 8 至 12、10 至 16、18 至 22、20 至 27 等区间一致。
第四步复现 LoRA 层带分析。先在完整训练后逐一关闭一个层带的更新并评估相对完整模型的准确率变化，定位下降最大的层带；再从零开始仅在单一层带内训练 LoRA，并与全层秩 16 及全层秩 4 的预算对照比较，核对 Qwen2-Audio 在 8 至 15 层单带训练接近全层性能、而 Qwen2.5-Omni 需跨层带协同的现象是否复现。记录实际训练时间、显存与推理开销，不把总体均值推广为每个层带或每个样本的结论。
每一步都要保留与原文相同的限制条件：训练时每题四选项、评估时保留原始选项数并限制生成到合法标签、在合法标签集合内重归一化概率。只有在这些约束一致时，准确率、敏感度与概率变化的数值才可直接比较。
何时值得尝试、如何理解两阶段分工
当你的音频问答系统在基准上准确率很高但怀疑模型并未真正听音频时，本文的方法值得尝试。先用静音与错配两种扰动计算行为敏感度，若准确率提升伴随敏感度同步提升，再用注意力阻断检查音频到选项与选项到答案的层级曲线是否呈现早期接地、晚期决策的分工，最后用 LoRA 层带的关闭与单带训练判断改进是否集中在特定层带。这种从行为到机制再到参数的 3 步检验，比单看准确率更能判断模型是否真正利用了声学证据。
2 阶段分工的要点是区分可用性与使用。早期到中层让音频信息写入候选答案的表征，这一能力在训练前已存在；中层到晚层决定是否用已写入的表征来做最终选择，训练主要强化的是后者。因此，即使早期交互本身变化不大，晚期对正确选项的选择性增强仍会让移除或替换音频对最终预测的影响变大，这正是行为敏感度提升的内部对应物。
不同模型的差异也提示实践中的选择。若在 Qwen2-Audio 上复现，单层带训练可能以较少参数恢复大部分性能；若在 Qwen2.5-Omni 上复现，则需保留跨层带的更新以获得完整收益。无论哪种情况，都应保留 MMAU 这类负迁移对照，避免把在部分分布上的提升误认为普遍泛化，并在报告时同时给出准确率、敏感度增量与层级概率变化，避免把自动指标的提升直接等同于实际部署中的鲁棒性或延迟改善。
最终，论文把让声学证据可用于选项与让选项决定答案区分开来，提醒我们在设计训练数据与评估时，不仅要让答案必须听才能答对，还要检查模型是否在正确的层区间真正使用了听到的内容。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.2-contributor
评分请求协议：openai_responses