不用指令做音频任务：用注意力头掩码锁定大音频语言模型的功能通路

英文题目：AHAMask: Reliable Task Specification for Large Audio Language Models Without Instructions

会议身份：conference:aaai:2026:conference-paper-id:39299

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#参数高效微调 #音频大模型 #可解释性 #鲁棒性 #音频理解

评分：6.9/10 | 创新 1.5/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yiwei Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Bohan Li：机构信息未能从会议 PDF 纯文本可靠映射
• Hankun Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhihan Li：机构信息未能从会议 PDF 纯文本可靠映射
• Shuai Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Xie Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Kai Yu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

大音频语言模型以音频与文本指令为输入、输出转写分类描述等文本，同义改写与大小写标点扰动即可引发幻觉与剧烈波动，指令敏感成为可靠部署的难点。先冻结模型全部参数，仅为解码器每个注意力头学习是否激活的二值掩码，以无指令音频直接配对目标文本为监督输入，用交叉熵优化掩码Logits并输出连续激活概率。再将上一步概率经Gumbel-Sigmoid离散化前向、直通估计器反向回传，职责是使不可微头选择可端到端学习，输出任务相关的头子集分布。最后把学习到的概率按阈值固化为固定二值掩码并跳过被屏蔽头的输出投影累加，将训练所得通路直接作为推理时任务触发器而不再输入指令。相比指令微调与低秩适配改写权重，该机制不增改权重而是缩减有效通路，可训练参数量等于注意力头数、存储仅百字节量级，具有高效实际意义。在LibriSpeech性别识别任务测试集下，AHAMask无指令的ACC为98.05，高于显式指令基线的96.79。该结论适用边界受限于已见单任务与语音识别与性别组合，对开放指令与跨模型迁移尚未验证，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

大音频语言模型要解决什么任务，为什么只靠换指令不够稳？

输入是连续的语音或通用音频，目标是按任务要求输出离散文本，例如转写语音内容、判断说话人性别、判断情绪、判断两段语音是否为同一说话人、为音频写描述句、把英文语音翻成中文、转写重叠的两路语音。论文研究的大音频语言模型由音频编码器和解码器大语言模型主干组成，编码器把波形变成高维上下文表征，主干读取声学向量加文本指令后自回归生成答案。必须保留的信息是任务集合、模型结构分工和提示敏感性的存在：同一意图的不同措辞会导致结果大变。

以一个样本走完全程为例，一段朗读语音先被 Whisper 风格编码器和 BEATs 等编码器压缩成若干声学向量，再与文本指令的词向量拼接后送入 Vicuna 或 Qwen 主干，主干经过多层多头注意力与前馈网络后逐词预测出转写或 Male 或 Female 等答案。当指令从简短通用句换成全大写或更长的同义句时，输出可能变成重复音素、恒输出 Male 或情绪错分。论文在 SALMONN 上的扰动实验显示这种不稳定不是偶发，而是覆盖多个单任务的系统现象。

大音频语言模型 × 指令： 大音频语言模型负责把音频编码器输出的声学表征交给解码器大语言模型主干生成文本，指令负责在统一输入界面上告诉主干当前要回答语音内容还是说话人性别等哪一方面，二者搭配的理由是同一套参数要复用给多种任务，组合意义是任务指定完全依赖自然语言的措辞，因而措辞微变就会改变输出。

学习依赖上，本节先建立任务输入输出形态和指令指定任务的常规做法，后续方法节才能理解为什么要把控制点从外部自然语言移到内部注意力头开关上。

已有路线如何处理指令跟随与模型内部功能分工？

同输入同目标的路线是大音频语言模型本身，例如 SALMONN 用 Whisper 加 BEATs 经 Q-Former 压缩后接入 Vicuna 13B，Qwen2Audio 用 Whisper 风格编码器接入 Qwen-7B 并分出 Base 与 Instruct 两个变体，它们都在统一界面下用不同指令处理语音语言学、副语言学和通用声学事件。同监督同运行阶段的另一条路线是文本大语言模型的指令跟随优化，包括监督微调、强化学习、转向向量等，目标都是让模型更听话。

同运行阶段但不同机制的第三条路线是功能划分研究，文本模型中已发现前馈神经元存知识、注意力头搬运任务表示、缓解知识冲突，Han 等人进一步发现只掩蔽部分注意力头就能在无指令时触发特定文本任务。论文明确指出声学功能与文本功能不同，前者需要连续信号与离散文本空间的多模态对齐并理解韵律与非语言信息，因此不能直接认定文本上的结论适用于音频，本文要验证声学功能通路是否存在。

对照意义在于，参数高效微调通常保持或增加有效参数，而本文方法是推理时减少有效参数；指令优化仍保留自然语言界面，而本文完全去掉指令。这种差异决定了后文比较必须同时看任务指标和指令遵循率，不能只看单一准确率。

论文把提示敏感性具体化成什么可测量的问题？

问题是任务指定不可靠：给定同一音频和同一任务意图，仅改变标点、大小写、句子长短或是否在分类题中列出候选项，模型输出质量就明显波动。论文把每种改写做成 5 条不同提示，用固定束搜索解码以排除采样随机性，使性能差异只能归因于指令措辞。

例如在自动语音识别中把提示改成全大写会引发更多幻觉重复，词错误率上升；在性别识别中加上 Male or Female 约束反而使模型几乎恒答 Male；在语音情绪识别中加长加复杂的同义指令会导致准确率大幅下降。自动说话人验证和语音翻译相对稳健，但整体上长而复杂的指令更可能带来退化。这就把抽象的敏感性变成每个任务纵轴指标上的散点分布，为后文用掩码替代指令提供了对照基线。

需要区分的是，论文报告的是敏感性现象的存在与幅度，不是误判率或延迟的测量，也未声称所有任务都同样敏感。

AHAMask 的全景是什么，不输入指令时谁来指定任务？

AHAMask 的回答是让模型内部的一组注意力头开关来指定任务。训练阶段为每个任务学一张二值掩码，推理阶段只给音频而不给文本指令，把掩码作用到大语言模型主干的每一层多头注意力输出加权求和上，被置零的头不贡献输出，但残差连接保证计算图不断开。

继续沿样本走，音频向量进入主干后，每层每个头独立做查询键值注意力得到头输出，再乘以该头对应的 0 或 1 后求和送往下一层。做性别识别时保留的那组头会让解码偏向输出 Male 或 Female，做转写时另一组头会让解码偏向输出词序列。掩码本身与输入无关，是任务级的固定开关。

下图左右对比了常规做法与本文做法的数据流差异，左路依赖文本指令块，右路用掩码替代该块的作用。

看图路径： 1. 先从左图沿音频输入到音频编码器再到大语言模型主干的箭头看完整路径；2. 对比左右两图中间输入序列中蓝色文本指令块的有无；3. 观察右图主干中被打叉屏蔽的注意力头与保留头的分布；4. 确认两图最终都输出同一文本答案但任务指定方式不同

论文图 1。原论文 Figure 1：“Diagram of a typical large audio language model.”。

该图左半显示音频输入经音频编码器变成绿色声学块，蓝色文本指令块注明 The emotion is:等内容，二者拼接后进入标注 LLM Backbone 的多层多头结构再生成 Happy 等文本答案；右半去掉蓝色指令块，仅保留音频向量，并在主干内部用禁止符号标出被屏蔽的头，保留的头继续参与计算并输出同样答案。这支持论文的核心判断：任务功能可以内生于头的子集，而不必每次都用自然语言描述。

掩码作用在注意力的哪个粒度，参数量为什么极小？

作用粒度是单个注意力头。记输入序列为 X，层数为 n，每层头数为 h，第 i 层第 j 个头的输出由该层查询键值投影计算缩放点积注意力得到，多头输出是所有头输出经输出投影后的加权和。AHAMask 引入与层头同形的二值矩阵 M，元素 mi,j 为 1 则保留该头，为 0 则屏蔽，对应修改后的多头求和只累加保留头。

注意力头 × 掩码： 注意力头是多头注意力中独立做查询键值加权求和的基本单元，掩码是每个头上取值为 0 或 1 的开关，二者搭配的理由是不改模型权重只控制哪些头的输出被加进残差流，组合意义是靠保留与任务相关的头子集来触发特定声学功能而不输入指令。

参数量极小的原因是可训练量只等于主干注意力头总数。SALMONN 主干有 1600 个头，Qwen2Audio 两个变体各有 1024 个头，因此掩码训练的参数量级是 1 到 2k，远小于 LoRA 等数百万量级的微调。推理时掩码是二进制的，论文称 SALMONN 的一张掩码存储开销约 200 字节。原文未给出掩码之外的模型权重更新，明确说明冻结原始大音频语言模型参数，只训练掩码 logits。

教学例子是：若把主干看成配电盘，每个头是一路开关，任务指定就是合上哪几路闸。例子不附带任何效果数值，实际保留多少头由训练决定，例如 SALMONN 做识别与翻译时只屏蔽数十个头即可。

掩码如何从不可微的开关变成可用梯度学出的开关？

训练数据对给定任务表示为音频与目标文本的二元组集合，不含指令文本。目标是标准的下一词预测交叉熵，只对目标文本词元计算损失。所有原始参数冻结，只有掩码 logits 矩阵可训练。

离散化处理分前向与反向两步。前向对 logits 加 Gumbel 噪声后做 Sigmoid 并以 0.5 为阈值 2 值化，反向用直通估计器把硬掩码上的梯度嫁接到软概率上继续回传。温度系数控制近似的尖锐程度，推理时直接对 logits 取符号得到离散掩码，大于等于 0 为保留。每个头的 Sigmoid 概率还可视为重要性权重，用于后文按重要性逐步激活的分析。

Gumbel-Sigmoid × 直通估计器： Gumbel-Sigmoid 负责把离散的 0 或 1 掩码松弛为可加噪声采样的连续概率以便求梯度，直通估计器负责在前向用硬阈值得到二进制掩码而反向把硬掩码的梯度直接嫁接到软概率上，二者搭配的理由是离散开关本身不可微，组合意义是只更新与头数相等的掩码 logits 就能用标准交叉熵训练出任务掩码。

具体超参数与硬件条件如下表所述，表中数值与单位来自原文连续描述，训练均在单张昇腾设备上完成。

上表提出的问题是训练是否轻量且可复现，公平条件是冻结主干、只动掩码、损失与解码固定。表后解释是：初始化保证起点为全通，退火使早期探索更平滑后期更接近硬开关，学习率先升后降配合 3k 步转折；代价是原文未报告训练轮数、批量大小与总时长，也未给出随机种子与方差，因此复现时需补记这些缺项，不能从模型名推定数据管线细节。

在哪些模型、数据与指标上测，与谁比才算公平？

模型是 3 个开源大音频语言模型：SALMONN、Qwen2Audio-Instruct、Qwen2Audio-Base。SALMONN 用 Whisper 加 BEATs 作编码器、Vicuna v1.1 13B 作主干，Qwen2Audio 两个变体结构相同但一个经指令监督微调、一个为基座。任务覆盖自动语音识别、性别识别、语音情绪识别、说话人验证、音频描述、语音翻译、重叠语音识别，以及由识别与性别识别按分隔符或 JSON 格式组合的复合任务。

数据划分按原文交代：识别与性别用 LibriSpeech，情绪用 IEMOCAP 前 4 会话训练第五会话测试，验证用 VoxCeleb1，描述用 AudioCaps，翻译用 CoVoST2 英译中，重叠语音用 Libri2Mix，复合任务用 LibriSpeech。指标方向是词错误率越低越好，准确率、METEOR、ROUGE-L、BLEU-4 越高越好，复合任务另算指令遵循率即输出能按竖线切分或按 JSON 解析的比例，且子任务指标只在遵循样本内计算。解码用束宽 4 的确定性束搜索。

比较对象包括带通用指令、不带指令、与 AHAMask 激活数相同的随机掩码，以及 Qwen 两变体之间互换掩码。随机掩码控制激活数量相同以检验位置特异性，互换掩码检验模型特异性。

单任务上掩码能替代指令吗，哪些任务最能说明问题？

要回答的核心问题是：在不给指令且只开关注意力头的条件下，性能是否达到带指令水平，比较的公平条件是同一模型同一测试集、解码相同、随机掩码激活数相同。指标方向如上节所述。

下图先展示不换方法只换措辞时的不稳定幅度，说明基线本身有波动，再看掩码的绝对性能才有意义。

看图路径： 1. 先看横轴每组任务下 G 与 AS 到 SC 等不同扰动类型的分组；2. 再看纵轴在 ASR 用 WER 越低越好而其余多用准确率越高越好的方向；3. 对比同一任务内不同颜色叉号的垂直散布范围

论文图 2。原论文 Figure 2：“Prompt sensitivity experiments on SALMONN. Different colors and columns denote different types of variations.”。

该图包含 ASR、GR、SER、ASV、AAC、S2TT、OSR 7 个子图，每子图横轴为通用、改标点、改大小写、同义简中繁与加约束等分组，纵轴为对应指标。可见 ASR 在复杂同义改写下词错误率可冲高至上百分位，GR 在部分简单同义改写下准确率跌至接近零，SER 在加约束下出现大幅下探，而 ASV 与 S2TT 相对集中。这支持论文报告的判断：即使是已覆盖训练数据的 SALMONN 仍对同义指令敏感。

下表给出 SALMONN 在 7 个单任务上的关键数字对照，保留原文写法与精度，竖线分隔识别测试集的干净与其他子集。

表后解释是：AHAMask 在 SALMONN 上与带指令相当或略优，性别与情绪还高出约 1 个百分点，音频描述的 METEOR 与 ROUGE-L 明显更高；无指令与随机掩码大多失效，说明位置特异的掩码是关键。具体代价与反例是说话人验证、翻译、重叠识别上掩码略低于指令，Qwen-Base 的识别与翻译因是预训练任务而指令明显更好。未胜出项必须保留，不能只讲掩码赢的列。Qwen 侧的互换实验显示把 Instruct 的掩码给 Base 或反之都会失效，支持掩码是模型内生的判断。

复合格式、掩码相似度与逐步激活说明了什么机制？

复合任务测的是格式遵循加两个子任务的三重要求。论文组合识别与性别识别，要求按竖线两种顺序或 JSON 键输出，指标为遵循率与遵循样本内的词错误率和准确率。

下表给出 SALMONN 复合任务的数字，遵循率越高越好，词错误率越低越好，准确率越高越好。

表后解释是：带指令在反序竖线与 JSON 上遵循率很低且子任务退化，而掩码把 3 组格式的遵循率都拉到高位且子任务接近单任务水平；代价是 Qwen-Base 在反序上的遵循率仍只有约 30%，说明掩码改善显著但未完全抹平顺序敏感性。

功能通路 × 复合任务： 功能通路指为某一声学任务保留的那组注意力头的集合，复合任务指要求按固定分隔符或 JSON 格式依次完成语音识别和性别识别的多跳输出，二者搭配的理由是复合输出同时考验格式遵循和两个子任务能力，组合意义是用一张复合任务掩码同时约束格式与内容，比自然语言指令更可靠地控制多方面行为。

掩码相似度用 Jaccard 系数衡量两任务保留头集合的交并比，数值越高表示共用头越多。

看图路径： 1. 先确认三个面板分别对应 SALMONN 与 Qwen2Audio 两个变体；2. 再看对角线留白与非对角格中两两任务的相似度数值；3. 对比 ASR 与 OSR 格与 SER 与 ASV 格的颜色深浅差异

论文图 3。原论文 Figure 3：“Jaccard similarities of AHAMask between different tasks in each LALM.”。

该图 3 个热力面板分别对应 3 个模型，行列均为 7 个单任务，格内数字为相似度。对角留白，非对角可见重叠语音识别与自动语音识别最相似，SALMONN 上达 0.94，副语言分类任务与其他任务相似度较低，音频描述与识别翻译类也有较高相似。不同模型的矩阵模式不同，支持相似性源于模型内部机制而非任务名的表面相关的判断，但这仍是相关性观察，不是因果证明。

逐步激活实验按掩码概率分位数从少到多打开头，观察非分类任务的细粒度指标变化。

看图路径： 1. 先看横轴激活头百分比从 0 到 100 的变化方向；2. 再看 ASR 与 OSR 纵轴 WER 越低越好而 AAC 与 S2TT 纵轴越高越好的含义；3. 找到每幅子图中橙色三角标记对应的阈值位置

论文图 4。原论文 Figure 4：“Performance of SALMONN on 4 non- classification tasks with AHAMask in different percentage of activated attention heads. The orange triangle marker denotes the metric in Table 2.”。

该图四子图横轴为激活头百分比，纵轴分别为识别与重叠识别的词错误率越低越好、描述的 METEOR 与翻译的 BLEU-4 越高越好，绿色折线为不同阈值，橙色三角为概率阈值 0.5 即正文主结果。可见性能随激活比例总体渐变而非突变，中间段提升最快，两端可能回落，说明功能由多头集体渐进构成。分类任务的单样本示例也显示随激活数增加输出从无意义串经错误情绪到正确情绪再到描述的渐变，但像素不能精确读出的中间步数值不应硬写。

哪些边界没有测，哪些结论不能推广？

论文直接报告的是所测模型与数据集上的现象，有限解释是功能通路的存在，待验证的是该划分能否组合复用或经文本到掩码的转换器泛化到新任务。原文结论节明确把划分的可组合性与通用转换器列为未来工作，因此不能把当前每任务一张掩码的成绩理解为已实现零样本任务生成。

未评测边界包括：掩码训练的数据量敏感性、跨数据集与跨语言的迁移、推理延迟与显存变化、误判率的人工复核。由于掩码只减少有效参数但仍走完整残差与前馈，论文未测量延迟与成本，不能承诺更快更便宜。总体趋势不等于每组都成立，例如 Qwen-Base 的复合反序仍较弱，SALMONN 个别任务仍略逊于指令。

相关性不是因果：掩码相似度高只说明共用头多，不能证明这些头必然编码某种可解释的声学概念；随机掩码失效只支持位置特异性，不排除其他同样有效的掩码存在。

要复现需要准备什么，先跑哪一步？

先按任务准备与原文相同的数据划分与指标脚本，固定束宽 4 的确定性解码，再冻结大音频语言模型全部原始参数，只初始化与头数等量的掩码 logits。训练损失只对目标文本词元算交叉熵，不拼接任何指令。超参数起点可沿用高斯均值 4 方差 0.02 使全头初始激活，温度从 4.0 在 3k 步内线性退火到 0.5，学习率从 1e-6 暖机到 1e-2 再余弦降到 1e-4。推理时对 logits 取符号得到二进制掩码并作用到每层多头求和。

先跑单任务的带指令基线与无指令基线，确认能复现敏感性散布，再训练 AHAMask 并用同激活数的随机掩码作反证，最后跑复合格式的遵循率与子任务指标。需补记的缺项是批量大小、总步数、随机种子、数据采样与统计显著性，原文未交代这些，不能自行编造。资源状态方面，本次未发现可验证的可用链接依据，不得声称代码模型或数据已公开，复现应以论文正文与本地数据为准。

何时值得尝试 AHAMask，还需补哪项验证？

当系统已出现同义改写导致转写幻觉、分类恒答一类或长指令退化，且任务集合固定可为每任务存一张掩码时，值得尝试用掩码替代指令以获得更稳定的任务指定。尤其在复合格式任务上，若自然语言指令的遵循率低而子任务本身可用，掩码更可能同时拉起格式与内容。

不值得盲目尝试的情形是任务频繁新增且不能承担每任务训练，或需要跨模型直接复用掩码，因为论文显示掩码不可跨变体复用。当预训练已强覆盖某任务时，指令仍可能明显更好，应保留指令基线对比。

还需补的验证是掩码在新措辞音频、新说话人与新领域上的稳定性，以及掩码大小、激活头数与任务复杂度的定量关系。只有补齐这些，才能把声学功能通路从现象观察推进为可部署的任务指定方案。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总