文本抢了声音的戏：MATA 在中间层把注意力推回音频

英文题目：MATA: A Training-Free Approach to Mitigate Cross-Modal Attention Imbalance in Large Audio Language Models

会议身份：conference:interspeech:2026:conference-paper-id:wang26t_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #多模态学习 #音频大模型 #音频问答

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Junyu Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jian Zong：机构信息未能从会议 PDF 纯文本可靠映射
• Tianrui Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhengding Luo：机构信息未能从会议 PDF 纯文本可靠映射
• Meng Ge：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaobao Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Longbiao Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jianwu Dang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

大型音频语言模型任务以音频信号与文本指令为输入，需输出答案及连贯推理链，实际难点是融合时系统性偏向文本的注意力失衡导致声学线索利用不足、推理易出现幻觉与逻辑断裂。本文提出免训练方法 MATA（More Attention To Audio），先诊断各解码层对音频词元的平均注意力分布，再在多模态融合关键的中间层对序列末词元的原始注意力分数做音频区间加权，最后经归一化 Softmax 重新分配权重以强化音频上下文。与视觉领域的重对齐训练或文本抑制策略不同，MATA 不新增参数且只干预推理前向的局部注意力计算。在 MMAU Test-mini（v05.15.25，1000样本）上增强后的 Qwen2.5-Omni-7B 平均准确率达到73.6%，在 MMAR（1000样本全集）上达到61.2%，在 Interspeech 2026 音频推理挑战中将 Qwen3-Omni-Thinking 的准确率提升至71.0%且推理质量 rubric 分达到62.6%，获单模型赛道第2名。该结论目前仅在 Qwen 系列解码器架构与 MMAU 与 MMAR 类问答推理上验证，对其他编码器与长音频交互场景的外推尚未证明。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，模型要解决什么推理任务？

本文的研究对象是刚进入语音与音频方向的研究生需要先建立直觉的大音频语言模型，英文名为 Large Audio Language Model，简称为大音频语言模型。它的输入包含两部分，一部分是声音，例如环境声、音乐片段、语音及其混合，另一部分是用户用文字写出的指令或问题。模型先用音频编码器把波形或频谱变成一串音频词元，再与文本词元拼接后送入基于变换器的大语言模型解码器，解码器按自回归方式逐个生成回答词元。

音频推理任务与转写或分类不同，它要求模型从声音中推出隐含结论。论文举例的思路是，在复杂声景中，突然的高音尖叫指向 distress 或危险，而发动机持续的轰鸣指向某个过程仍在进行。这类任务需要同时抓住说话人意图、情感语气和环境线索，而不是只识别出有声音存在。教学上可以这样理解，例子：同样一段带笑声的对话，若只看文字可能判为高兴，若听到颤抖的哭腔与急促呼吸，则应判为强颜欢笑，关键证据在声音里。

本解读的输入是论文正文证据与一张官方原图，目标是把方法讲到可核对、可复述，输出是 1 篇按学习依赖展开的中文技术解读。必须保留的信息包括干预位置、干预对象、超参数默认值、评测数据集版本与复现基线数值。本文不声称代码、模型或数据已公开，因为本次未发现完成验证的资源绑定。

大音频语言模型 × 自回归解码： 大音频语言模型负责把音频编码器输出的音频表征与文本指令一起送入大语言模型解码器做理解与推理，自回归解码负责 1 次生成一个词并把已生成词作为下一步的上下文，二者搭配的理由是音频信息必须在每一步预测时都能被查询到，组合意义在于若解码每一步都偏向文本，先验文本知识就会压住声学证据。

理解上述链条后才能看清本文的矛盾，模型虽然能接收音频，但在生成每一步时可能根本没有认真听，这就引出了注意力失衡问题。

已有路线做了什么，为什么音频分支仍缺一块？

大音频语言模型路线先解决对齐问题。早期工作如倾听、思考与理解模型与具备复杂推理能力的音频语言模型，把预训练音频编码器与大语言模型做微调对齐，建立了基本的音频理解能力。随后问答音频模型引入人类反馈强化学习，使回答更符合人类对音频输入的期待。再往后，音频思维链与音频推理器把思维链技术引入音频语言领域，把复杂任务拆成可解释的步骤。更近的通用多模态模型与最新一代模型则扩大架构规模并优化训练目标，在音频文本场景取得更强表现。

另一条路线研究多模态输入的注意力权重偏置。偏置一词在这里是白话的分配不均，英文为 Attention Weight Bias，指模型不成比例地把注意力分给一个模态。在大视觉语言模型中已有较多证据，模型 built upon 预训练大语言模型，因在海量文本上预训练而天然偏向文本，即使再用图文对做对齐，文本先验仍占主导，这被认为是幻觉的根源之一。已有缓解策略分两类，一类是用高质量标注数据重做对齐训练以削弱文本主导，另一类是在推理时增强视觉或削弱文本，例如在推理时提升图像词元关注或降低文本影响。

音频分支缺的是系统性测量。论文指出，对音频与文本之间注意力动态的类似研究很少。间接证据来自一项近期研究，即使完全拿掉音频输入，只给文本指令，大音频语言模型在音频推理任务上仍能取得有竞争力的表现。这支持了一个判断，当前模型倾向于忽视音频而过度依赖文本。本文的定位正是补上直接测量与免训练纠偏，而不是再做 1 次全量重训练。

注意力失衡具体长什么样，在哪几层最严重？

论文在问答全能模型 7B 上做了直接测量，做法是对自回归解码的每一步取出注意力分布，再按解码器层求平均，得到每一层分给音频词元、指令词元和系统词元的平均权重。其中指令词元指用户提供的文本输入，系统词元指模型内部用于组织对话格式的特殊词元。测量对象是所有预测词元的平均，而不是只看某一步的偶然值。

下图是理解全文的关键证据，它展示了 0 到 27 层每一根堆叠柱中 3 类词元的占比，纵轴是注意力权重加和为 1.0，横轴是层编号。阅读时先建立整体印象，再定位中间层音频段是否持续偏矮，这是后文只干预中间层的经验依据。

看图路径： 1. 先看横轴层编号 0 到 27 与纵轴注意力占比 0 到 1.0 的含义；2. 再对比底部橙色音频段在浅层与中间层的高度变化；3. 接着看中间层顶部红色系统词元与中部蓝色指令词元的合计占比；4. 最后确认音频占比在整个解码平均下是否持续处于最低一段

论文图 1。原论文 Figure 1：“The distribution of average attention weights among all predicted tokens across different layers with Qwen2.5-Omni- 7B.”。

从像素可见，0 到 3 层底部橙色音频段相对较高，蓝色指令段占据主体。进入中间层后，顶部红色系统词元迅速扩大并占据每根柱子的一半以上，中部蓝色指令词元保持可观高度，而底部橙色音频段被压缩得很薄，多个中间层的音频高度只有纵轴 0.1 以下。论文的文字结论与该视觉印象一致，在中间层音频注意力持续偏低，而系统与指令文本注意力保持高位。作者认为中间层正是多模态信息融合的关键位置，若此处听不清，后续深层解码只能基于偏文本的表示做推理，容易产生推理质量下降与幻觉。

跨模态注意力失衡 × 幻觉： 跨模态注意力失衡指模型在融合时把大部分注意力权重分给文本词元而只给音频词元很小份额，幻觉指模型脱离实际音频内容编造答案，二者搭配的原因是当关键声学线索在加权求和中占比过低，解码就会靠文本先验补全，组合意义在于纠偏注意力是减少音频推理中无据生成的直接抓手。

需要区分的是，该图报告的是平均分配比例，不是某一题的因果证明。它支持失衡存在，但不能单独证明把音频权重调高一定提高推理正确率，后者需要后文的对照实验来验证。

MATA 选择在何时、何处、只动谁？

MATA 的全称是多听音频方法，英文为 Pay More Attention To Audio，缩写为 MATA。它是一个免训练方法，含义是不增加参数、不做梯度训练，只在推理时的自注意力计算中动态干预。核心选择可以概括为三句话，在原始注意力分数算出之后、Softmax 之前干预，只动序列中最后一个位置的查询，只放大该查询对音频键区间的分数。

沿一个样本走一遍有助于建立全景。输入是一段音频与一道文字题，音频先变成音频词元区间，记起止索引为音频起点到音频终点，文本指令与系统词元占据其余位置。解码器逐层计算查询与键的点积并除以键维度的平方根，得到原始分数。MATA 在此时检查查询位置是否为序列末位，若是，则把落入音频区间的分数乘以 1 加阿尔法，否则原样保留。修改后的分数再做 Softmax 归一化并与值向量相乘，得到该层的注意力输出。

为什么只动末位查询，因为自回归生成中末位决定下一个词，它最需要兼顾音频与文本的平衡上下文。为什么选中间层，因为测量显示失衡在中间层最明显，且文献认为此处是多模态融合的主战场。默认超参数是增强强度阿尔法等于 0.1，干预层范围是解码器第 10 到 20 层。这两个数是后文实验的默认配置，不是理论推导出的最优闭式解。

该方法的计算代价按论文说法可忽略，因为只是前向过程中对部分分数做标量乘法，不引入可训练参数，易于部署到已有的预训练模型上。但原文未报告延迟、吞吐或显存的实测数字，因此可忽略应理解为结构上的额外计算很少，而不是已验证的延迟结论。

放大操作如何计算，符号与归一化如何衔接？

先把符号讲清。查询、键、值分别记为 Q、K、V，注意力头记为 h，查询位置记为 i，键位置记为 j，序列总长度记为 L，音频区间记为起点到终点。原始注意力计算是点积除以根号下键维度，再做 Softmax，这是变换器自注意力的标准形式，目的是防止点积过大导致数值不稳定。

MATA 的修改只发生在上述除法之后、Softmax 之前。若查询位置等于 L 减 1 且键位置落在音频区间，则把该位置原始分数乘以 1 加阿尔法，否则保持不变。记修改后分数为带帽的 A，阿尔法控制增强强度。随后对修改后的分数做 Softmax，用得到的权重对值向量加权求和，完成本步注意力输出。

原始注意力分数 × Softmax 归一化： 原始注意力分数负责度量当前查询与每个键的相关强度且尚未归一化，Softmax 归一化负责把这些分数变成加和为 1 的权重以决定值向量的混合比例，二者搭配的理由是只有在归一化之前放大音频位置的分数，才能在保持权重合法的同时真正提高音频占比，组合意义在于 MATA 选择在 Softmax 前干预而不破坏归一化语义。

实现上论文强调是修改自注意力模块的前向过程，不加可训练参数。需要注意原文没有给出梯度路径、反向传播或训练损失，因为本研究不训练。原文也没有给出多头之间是否区别对待，公式中保留头下标 h 意味着对每个头按同样规则处理。复述时应保留该细节，不自行假设某些头被跳过。

一个常见误解是把放大理解为直接改权重。若在 Softmax 之后乘权重，加和不再为 1，会破坏归一化语义。MATA 选择在 Softmax 之前乘分数，放大后的音频分数仍要与其他位置一起归一化，因此音频权重上升的同时文本权重会被相对压缩，但总和保持为 1，这正是保持注意力合法性的关键。

没有训练阶段时，真实计算与冻结关系是什么？

本研究没有训练阶段，这是必须首先明确的事实。论文没有报告优化器、学习率、训练轮数、损失函数或梯度更新，也没有冻结与更新的层级划分。因此不能从模型名称推定其训练实现，也不能把免训练等同于输出确定。免训练只意味着 MATA 本身不引入参数更新，不意味着整个系统输出确定，因为自回归采样、解码温度与外部评测流程仍可能带来随机性，而原文未交代解码采样细节。

真实计算全部发生在推理时。调用的是已有的预训练大音频语言模型，包括问答音频指令模型、问答全能模型与最新一代思考模型，以及一个经强化学习微调的变体。计算过程是标准自回归前向，只是在指定层的注意力模块中插入一步分数放大。监督来源不是训练标签，而是评测阶段的基准答案与量表打分。论文未报告梯度是否流动、是否停止梯度，因为推理不需要反向。

从复现角度，应把本节理解为推理补丁而非训练配方。需要准备的是可运行的基线权重与可修改注意力前向的代码入口，而不是训练脚本。缺项也要记下，原文未说明音频词元起止索引在不同模板下如何自动定位，未说明批量推理与缓存键值时末位判断是否受填充影响，这些都需要在复现时按实际代码补齐并记录。

在哪些数据与协议上测，与谁比才算公平？

评测围绕 3 个场景展开。第一个是 MMAU 的大规模多任务音频理解与推理基准，本文使用更新版本 Test-mini 集合，包含 1000 段音频，分为声音、音乐、语音 3 类任务。由于完整测试集答案未公开，所有模型都在该 1000 子集上评测。第二个是 MMAR 基准，包含 1000 段测试音频，覆盖单模态与混合模态，既有声音、音乐、语音单类，也有声音加音乐、声音加语音、音乐加语音以及三者混合。第 3 个是 Interspeech 2026 音频推理挑战赛，其决赛阶段使用 MMAR 的 1000 题完整基准，但评价重点从最终答案正确率转向中间推理过程质量。

基线包括闭源与开源两类。闭源侧列出双子座闪光版与音频版生成模型，开源侧列出早期音频语言模型、通用听觉模型、音频火烈鸟、音频思维链、音频推理器、问答音频、问答全能以及强化学习微调变体。公平比较的关键是同一数据集版本、同一子集划分与同一复现基线，论文用特殊标记区分原文报告值与本工作复现值，解读时应以复现值为比较起点，因为代码版本与模板差异会导致基线漂移。

指标方向是准确率越高越好，挑战赛还增加量表分越高越好。量表协议对生成的思维链按事实性、逻辑性和完整性做实例级打分，直接衡量推理链质量。默认干预配置是阿尔法 0.1、层 10 到 20。硬件预算、统计显著性检验与多次运行方差在证据中未报告，因此后文的百分点差异应读作单次评测下的观察改进，不宜直接当作显著性结论。

思维链 × 实例级量表评估： 思维链负责让模型写出分步的中间推理过程而不只给最终选项，实例级量表评估负责对每条推理链的事实性、逻辑性和完整性逐题打分，二者搭配的理由是最终答对可能是猜中，只有检查链条才能判断是否真正用到了音频，组合意义在于 Interspeech 2026 挑战赛用该量表区分了答案正确与推理可信。

复现前还需确认版本细节，MMAU 初版已不可用，必须使用证据注明的更新版本日期版本，否则 3 类任务的划分与题量会对不上。

主结果提升多少，哪些基线被超过？

在 MMAU 上的比较问题是，在相同 1000 题子集与准确率指标下，免训练放大音频注意力能否在不重训的情况下提高 3 类任务的平均准确率。公平条件是同一版本子集与复现基线对照，指标方向是越高越好。下表整理了论文文字报告的核心数字，保留原文百分号写法与复现标记含义，条件列说明数据集与模型，指标列为平均准确率。

表后解释需要同时看到收益与代价。主要收益是一致性，相对弱的问答音频基线提升约 5.4 个百分点，相对强的问答全能基线在 MMAU 提升约 2.5 个百分点，在 MMAR 提升约 4.6 个百分点，经强化学习优化后的变体仍能再提升约 2.7 个百分点，说明该方法与强化学习微调不互斥。挑战赛上最终答案提升 2.4 个百分点，量表分提升 3.9 个百分点，论文强调后者意味着推理链本身变得更事实、更连贯，而不只是猜中选项。

未胜出项也要说明，MMAR 的声音加音乐混合子集在问答全能上有下降，但该类只有 11 段音频，论文称约等于一个样本的误分类，统计上可忽略。另一处是强化学习变体的音乐单模态从 54.9% 到 53.9% 略降，说明总体趋势不等于每个子组都提升。

混合专家模型 × 免训练干预： 混合专家模型负责在每层只激活部分专家子网络以扩大容量，免训练干预负责不改参数只改推理时前向计算中的注意力分数，二者搭配的理由是若方法依赖特定稠密结构就难以迁移到专家路由结构，组合意义在于 MATA 在 Qwen3-Omni-Thinking 这类混合专家模型上仍能生效，显示其只依赖通用注意力接口。

还需注意基线漂移，问答全能的 MMAU 平均在文献侧为 71.5%，本工作复现为 71.1%，解读时应以复现值为准，否则会夸大或缩小方法收益。

消融比较问题是，在同一 MMAU Test-mini 与问答全能基线下，增强强度与干预层区间如何改变 3 类任务表现。下表整理消融原文报告的裸值，表头保留原文百分号含义，条件列说明强度与层区间，指标列为各类别与平均准确率。

表后解释需同时看到最优与边界。中间层 10-20 配合强度为 0.10 时平均最高，声音与音乐同步提升，说明该区间是音频文本融合的关键位置。偏小或偏大的强度收益有限或略有回落，而早期 0-10 层干预导致平均跌至个位数，说明在初始编码阶段扰动注意力会破坏上下文，后期层已完成融合则难以超越基线，因此只在中间层放大音频注意力才成立。

换强度与换层位会发生什么，哪种做法会失败？

消融要回答两个操作问题，阿尔法选多大，层区间选哪里。论文以原始问答全能为基线，在 MMAU 上测试不同配置。增强强度测试了 0.05、0.10、0.15，层区间测试了 0 到 10、10 到 20、20 到 28 以及 0 到 28 全层。指标仍是 3 类任务平均准确率，方向越高越好。

结果显示中等强度最好。阿尔法 0.10 在 10 到 20 层时平均准确率最高，报告为 73.6%，且 3 类任务都有改进。0.05 增益有限，0.15 略有回落，论文解释为过度放大可能破坏多模态信息融合的精细平衡。这个解释应读作有限解释，因为原文没有逐头或逐样本的机制证据，只是用总体回落支持适度原则。

层位选择的影响更大。干预中间层 10 到 20 最好，与前文失衡观测一致。干预晚层 20 到 28 未能超过基线，论文认为此时关键融合已完成，事后放大难以改变表示。干预早层 0 到 10 与全层 0 到 28 则出现灾难性下降，平均准确率掉到个位数级别，论文推测是扭曲了初始上下文编码。失败条件的教学价值在于，它反证了并非所有层都缺音频，盲目全层放大不可行，必须定位到融合主战场。该消融未报告方差与显著性，也未测试其他模型上的层敏感性，因此层 10 到 20 应视为该模型上的经验默认值，换模型时需重新扫描。

哪些边界尚未验证，不能承诺什么？

首先是证据边界。注意力分布图只在问答全能 7B 上测量并按所有预测词元平均，不能推广为所有大音频语言模型在所有题目上都有相同分布。消融也只在该模型与 MMAU 上完成，层 10 到 20 的最优性是否适用于混合专家模型或未来架构，属于待验证。其次是数据边界，MMAR 中声音加音乐混合只有 11 段，三者混合等小样本子集的波动很大，单题对错就会改变百分比，总体平均的提升不能读作每个混合场景都稳定提升。

其次是成本与风险边界。论文称计算开销可忽略，但未测量推理延迟、吞吐、显存或输出帧率，因此不能承诺延迟改善或成本下降。增强强度过大导致回落、早层干预导致崩溃，说明该方法有明确的误用风险，复现时若定位错音频区间或选错层，可能得到远差于基线的结果。

最后是评价边界。MMAU 与 MMAR 主要报告最终准确率，挑战赛虽引入量表分，但量表打分本身依赖自动评估流程与官方报告细节，本文证据未给出评分者一致性与统计检验。相关性不等于因果，音频权重上升与答案变好同时出现，不能直接断言每一步改进都因多听音频所致。缺失证据不是技术错误，但在使用结论时应保留这些限定。

复现先做什么，需要保留哪些信息条件？

复现的第一步是固定信息条件。数据集必须使用 MMAU 更新版本 Test-mini 的 1000 题子集与 MMAR 的 1000 题划分，记录版本号与题量。基线必须先复现不加 MATA 的准确率，问答音频约 59.4%、问答全能 MMAU 约 71.1%、MMAR 约 56.6%、强化学习变体约 64.1%、思考模型挑战赛约 68.6% 与量表约 58.7%，只有对上这些起点，后续增量才可比。解码模板、系统提示与采样设置也要固定，因为系统词元占比很高，模板变化会改变注意力基线。

第二步是实现干预。找到解码器自注意力前向中原始分数除以根号维度之后、Softmax 之前的位置，加入判断，仅当查询为序列末位且键在音频区间时乘以 1 加阿尔法。默认阿尔法 0.1、层 10 到 20。必须正确获取音频起止索引，不能把系统或指令文本误当音频放大。建议先在单样本上打印每层 3 类词元的平均权重，确认中间层音频偏低的现象可复现，再打开干预观察音频权重是否上升。

第三步是验证与记录。按声音、音乐、语音与混合子组分别记录准确率，不要只记平均，因为小样本子集波动大。挑战赛复现还需按官方量表记录事实性、逻辑性与完整性。关于可用性，本次未发现完成验证的资源绑定，因此不得声称代码、模型或数据已公开，实际可运行性需以读者能下载到的权重与可修改的代码入口为准，还需补做的验证包括多随机种子方差、延迟实测与换模型后的层扫描。

何时值得尝试，一句话如何带走？

当你的大音频语言模型出现能转写却不会推理、拿掉音频仍答得不错、推理链脱离声音细节时，值得尝试 MATA 这类中间层音频增强。它的最大优点是不需要训练，只要能改注意力前向就能部署，且在稠密模型与混合专家模型上都有报告的增益。适用前提是已确认失衡确实存在于中间层，而不是盲目套用 10 到 20 层。

不适用或需谨慎的场景包括音频区间定位不可靠、模板频繁变化、早层编码本身不稳定，以及对延迟有严格要求的在线系统，因为本文未提供延迟实测。增强强度建议从 0.05 起步，以 0.10 为中心小范围扫描，优先观察平均值与最差子组的 joint 变化，而不是只看平均值。

回到中心矛盾，文本先验强而音频证据弱，MATA 用最小的推理时改动把天平推回声音一侧。它不能替代更好的音频编码与对齐训练，但作为一种高效的纠偏补丁，它让模型在决定下一个词的关键时刻多听一点音频，这正是论文在多个基准与 1 次挑战赛第 2 名成绩中想要证明的效率与稳健性。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总