后训练的高分是真听懂了吗：重看音频大模型的理解与推理

📄 后训练的高分是真听懂了吗：重看音频大模型的理解与推理

英文题目：What Does LALM Post-training Learn? Rethinking Audio Understanding and Reasoning Capabilities

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

👥 作者与机构

• Hua-Hsuan Chen：机构信息未能在本次解析中与作者逐人可靠绑定
• Xuanjun Chen：机构信息未能在本次解析中与作者逐人可靠绑定
• Wei-Chung Lu：机构信息未能在本次解析中与作者逐人可靠绑定
• Chih-Kai Yang：机构信息未能在本次解析中与作者逐人可靠绑定
• Yu-Xiang Lin：机构信息未能在本次解析中与作者逐人可靠绑定
• Sung-Feng Huang：机构信息未能在本次解析中与作者逐人可靠绑定
• Haibin Wu：机构信息未能在本次解析中与作者逐人可靠绑定
• Hung-yi Lee：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

大音频语言模型输入一段声音波形和一个文字问题，要求输出答案，难点在于答对可能来自听懂声音，也可能来自文字常识和选项猜测，常规总准确率无法区分两者。该研究固定训练数据和奖励，只比较真实声音与等长静音输入下的后训练增益，把音频增益定义为真实声音下后训练减基座的准确率差，把静音增益定义为静音下对应的差值，再把多项选择改写为开放作答并用大语言模型评判语义等价，追踪增益是否依赖选项存在。研究还把全部训练声音替换为等长静音后重新训练，并在开放作答形式下重新训练，以检验训练阶段是否需要声音以及格式错配是否解释增益消失。在MMAU多项选择评测下以准确率为指标，Qwen2-Audio-7B-Instruct的组相对策略优化模型准确率为60.0%，高于基座45.2%共14.8个百分点，而同评测同指标下静音输入的该模型仍高于基座11.2个百分点。在MMAU开放作答评测下以准确率为指标，该方法准确率为29.3%，仅高于基座27.1%共2.3个百分点，说明大部分增益来自文本线索。在MMAU真实声音评测下以准确率为指标，用等长静音训练的该模型仍高于基座7.6个百分点，低于用真实声音训练时高于基座的14.8个百分点，后训练还主要减少落到选项之外的无效回答，而非提高基于声音的选项辨别。结论适用于所测的多项选择音频理解基准和所用后训练流程，对需要真正听觉依据的开放任务尚未证明有效。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

音频问答要听什么、答什么、怎么算分

这篇论文面对的任务是音频问答：输入是一段声音加上一道文字题，声音覆盖语音、音乐和日常环境声，文字题问的是这段声音里发生了什么、是什么意思或需要哪一步推理，模型要输出答案。评测用的是两个公开多选题基准，一个是 MMAU 的 test-mini 共 1000 题，另一个是 MMAR 共 1000 题，计分方式是看模型最终选的选项是否与金选项一致。初学者容易把准确率高直接理解为听力好，但论文提醒，有音频在场时答对并不能证明模型用了音频，因为很多题只看题干和选项也能猜。

举例来说，如果选项里只有一首特别有名的儿歌，模型即使没听清旋律也可能蒙中。所以要理解后文，必须先分清三件事：必须保留的信息是声音本身带来的证据，目标是答对且证据来自声音，输出目前多是选择题字母或选项文字。论文的全部对照都围绕这个缺口展开：把声音拿掉还能答对多少，把选项拿掉还剩多少，这才是判断是否真在听的关键。

这篇工作接在哪些已有路线之后

在文字大模型里，监督微调、拒绝采样微调、GRPO 这类组相对优化和 VCRL 这类变体已经是常用后训练做法，奖励往往只看最终答案是否可验证正确，不看中间怎么推出来的。音频领域把这套做法几乎原样搬过来，在 MMAU 和 MMAR 上报告了明显涨分。另一条线是质疑是否真在听：有人发现不少题在无音频或静音下也能答，有人发现文字和声音冲突时模型更跟文字走，还有人发现推理变长时声学感知反而下降。

本文与这些工作输入和目标都可比，都是音频加文字题、都是考理解和推理，但它固定训练设置去追问涨分的来源，而不是再提一个更高分的方法。它引用了 R1-AQA、Audio-Reasoner、Ke-Omni-R、AudioMCQ、Omni-R1 等开源模型作为外部对照，用同样的静音和开放问法重测。需要说明的是，这种比较不是同数据同算力下的公平竞赛，只是看不同团队独立训练出的模型是否也呈现同样的静音残留和格式依赖，因此不能把谁分数更高直接读成谁听力更强。

论文要拆开的两个混淆：有没有声、是不是选择题

论文提出的核心问题是，后训练报告的涨分到底是音频理解变好了，还是更会做选择题了。这里有两个混淆必须拆开。第一是有没有声音：平时评测都给真实音频，涨分可能来自声音，也可能来自文字先验和猜选项策略，只有在文字不变、把音频换成等长静音后重测，才能看到多少涨分不需要声音。

第二是不是选择题：平时训练和评测都带选项，模型可以学到先保证输出落在选项内、再利用题干关键词和选项分布排除，拿掉选项后如果涨分消失，说明能力没有泛化到自己说出答案。论文把这两个维度做成正交对照：评估时切换真实音频与静音，训练时也切换真实音频与静音，评测格式切换选择题与开放式，训练格式也切换选择题与开放式。只有同时看这 4 种组合，才能回答后训练到底学到了什么。

整体思路：固定训练，只动输入和格式做对照

论文没有提出新模型，它的整体流程是先统一做一次后训练，再用多组对照评测去解剖涨分。训练池来自 Audio-Cogito，只用问题和金选项，共 12267 道多选题，对应 7129 段音频、17.4 小时，覆盖 AudioSet 的环境声、Medley-solos-DB 的音乐独奏和 DailyTalk 的日常对话，并划分出 10446 条训练和 1821 条域内验证，且核对过训练音频没有泄漏到评测集。两个基础模型是 Qwen2.5-Omni-3B 和 Qwen2-Audio-7B-Instruct，4 种方法共用同一奖励，即最终答案是否与金选项匹配，无法解析的回答记 0 分。评测时每个模型用各自的提示词，但在同一基准上与自己的基础模型保持一致设置。下面的示意图把这种对照思想画得很直白，值得先读图再看数字。

看图路径： 1. 先看上面一行有声输入从基础模型到后训练模型的箭头；2. 再看下面一行静音输入是否画出同样的进步方向；3. 最后看右侧大括号标注的可比涨分含义

论文图 1。原论文 Figure 1:：“Schematic overview of LALM post-training.”。

上半部分画的是带真实音频的后训练，下半部分画的是带静音输入的后训练，两边都是从表情困惑的基础模型指向表情开心、举着高分答卷的后训练模型，右侧大括号标出两者涨分可比。教学上可以把它理解为论文的假设检验：如果右边静音线也能涨出相近的分数，那么左边的涨分就不全是听出来的。图中写意的约 40 分只是示意涨幅可比，不是某次实验的精确值，精确值要看后文表格。静音在这里不是删掉音频轮次，而是把波形在特征提取前置零，保留音频 token 长度，只去掉信息，这样才能保证输入长度和模板一致。

两个增益指标如何把声音的贡献分离出来

为了量化声音是否必要，论文定义了两个相对基础模型的提升。音频增益是后训练模型在真实音频下的准确率减去基础模型在真实音频下的准确率，静音增益是同样 2 个模型都在静音输入下的准确率之差，文字输入保持不变。理想的听力进步应该是音频增益明显为正、静音增益接近零，因为没有声音时不该多出这么多正确。如果两个增益高度相关，说明涨分在没有声音时也存在，声音不是必要条件。

这个设计的关键是比较对象固定为各自的基础模型，而不是跨模型比绝对分，因为不同基础模型的起点和提示词不同。论文还把同一思想用在细粒度能力上，按 MMAU 的类别和 MMAR 的分层分别算静音增益，看文字捷径是普遍存在还是只在某类题上出现。

大音频语言模型 × 后训练： 大音频语言模型指能同时读音频波形和文字问题并作答的模型，后训练指在它已具备基础能力之后再用问答数据做监督微调或强化学习；前者决定它理论上能听什么，后者决定它在评测上实际学会了什么套路，两者搭配才能看出涨分来自听力还是答题技巧。

音频增益 × 静音增益： 音频增益是后训练模型在真实音频下相对基础模型的准确率提升，静音增益是把音频换成等长静音后同样算出的提升；前者是常规报告的总涨分，后者是去掉声音信息后还剩下的涨分，两者并列才能分离出多少提升真的需要声音。

从选择题到开放问答：改写规则和判分方式

第二个组件是格式对照。选择题评测保留原选项并检查模型输出对应哪个选项，开放式评测删掉选项，只呈现问题本身，让模型自由生成，再用 Qwen3.6-27B 做判官判断生成内容与参考答案是否语义等价，判官不听音频，只比两段文字。直接删选项会让少数题变得不可答，例如问以下哪段声音持续最长而列表没了，论文只做句法改写：删掉选择指示语，把 which of the following 改成 what，把指向选项表的词删掉，但保留指向音频本身的 the following audio 等表述。

改写触及 MMAU 的 172 题和 MMAR 的 407 题，仍有 6 题改后仍预设选项，论文保留它们并跑满每基准 1000 题，测算出去掉它们对准确率的影响中位数很小。开放式训练也配套改了奖励，因为没有选项可匹配，改为先做归一化相等判断，再在词边界上找金答案字符串是否出现在回答里，以避免 male 是 female 子串这类误判。

选择题评测 × 开放式评测： 选择题评测给模型题干加候选选项，只需选中一项，开放式评测拿掉选项要求模型自己写出答案并由语言模型判官判语义等价；前者允许利用选项文字排除和猜测，后者逼模型说出内容，两者对照才能看出涨分是否依赖选项格式。

四种后训练方法共用了一套怎样的预算和实现

训练部分要先说清共用的部分。4 种方法都用秩为 32 的 LoRA 适配器，作用在注意力和前馈的投影上，包括音频编码器和语言模型中按名匹配到的投影，优化器是 AdamW，固定学习率 1 乘 10 的负 5 次方，只取第 200 步检查点报告结果，每种方法跑 3 个随机种子。组相对的 GRPO 和 VCRL 每题采样 8 条 rollout，温度 1.0，核采样阈值 0.95，每优化步累积 4 组，对基础模型的 KL 系数 0.02，PPO 裁剪范围 0.2。

区别在于监督来源和样本利用：监督微调只看金选项一步学习，拒绝采样微调对基础模型每题采 8 次、把验证正确的 rollout 都拿来训练，GRPO 用组内奖励减组均值做优势且不做标准差归一化、全对或全错的组也保留以保证步数预算一致，VCRL 在 GRPO 基础上按奖励方差做组选择，目标保留比例 0.75 并从 0.3 热身。静音训练不改其他设置，只是把每段训练波形在特征提取前置零，保留长度和对话模板。

监督微调 × 组相对策略优化： 监督微调是直接拿金答案做一遍模仿学习，组相对策略优化是对同一题采样一组回答、用是否答对算相对优势再更新策略；前者是记住正确选项写法，后者是靠可验证奖励强化能猜对的输出，论文把它们放在同一数据和步数下比较，看不同学习信号是否都走向文字捷径。

数据、模型、基准和重复次数如何对应

复现时要对齐的实验条件包括数据、模型、评测和聚合。数据是上述 12267 条多选题池，训练用 10446 条，域内留 1821 条，评测外推用 MMAU test-mini 和 MMAR 各 1000 题。模型是 Qwen2.5-Omni-3B 和 Qwen2-Audio-7B-Instruct 两个起点，各自配 4 种后训练，外加 6 个开源模型做外部验证。评测分 4 种：真实音频加选择题、静音加选择题、真实音频加开放问答、静音加开放问答，开放问答由同一判官贪心解码最多 8 个 token 判分。论文自训模型的数字是固定检查点上 3 个种子的平均，并给出波动范围，开源模型则按各自论文或仓库的提示词和采样策略跑。

能力细分沿用基准自带分类，MMAU 看推理和信息抽取等，MMAR 看语义、感知、文化和信号层。理解结论成立条件时要记住，所有涨分都是相对各自基础模型在同一评测协议下的差值，绝对分跨模型不可比，开放问答绝对分整体偏低是预期现象，关键看涨分是否还在。

真实音频涨多少分，静音下还剩多少

先看最核心的对照：在选择题下，后训练的总涨分在静音下大多还剩下一大半。论文自训模型里，Qwen2-Audio-7B-Instruct 上 GRPO 在 MMAU 的音频涨分最大，静音下仍保留很高的对应提升；在 Qwen2.5-Omni-3B 上也有类似的跟随关系，只有当静音增益接近零时音频增益本身也很小。开源模型呈现同样模式，即使有的模型总涨分更大，静音残留依然显著。下面的表把关键几组数字并列，比较问题是同一模型在声音存在与否下各涨了多少，公平条件是文字输入和基础模型都固定，指标方向都是相对基础模型的百分点提升，数值越大表示涨得越多。

放在一起看，14.8 中有 11.2 在没有声音时依然存在，7.2 中有 4.9 在静音下依然存在，说明大部分报告的改进不需要信息性音频。代价是这种读法会低估真正的听力成分，因为静音对照只能给出上限而非精确分解，但它足以说明此前只看总准确率会把文字能力误算成听力。论文还指出细粒度上推理和信息抽取的静音残留通常较大，MMAR 的信号层波动最大，从负到正都有，文化层残留相对较小，但总体偏离零的模式没有改变。未胜出的反例是 RFT 在某些设置下静音增益接近零，但它的音频增益本身也只有零点几到三点左右，没有形成有力的听力进步证据。

无效回答 × 选项内错误： 无效回答指输出落在选项列表之外，选项内错误指选中了列表里但不正确的那一项；前者反映有没有遵守选择题格式，后者反映在格式内有没有选对，区分两者才能判断后训练是学会了听辨还是先学会了不写出格答案。

换一批开源模型，静音残留是否依然存在

为了排除这是自家训练配方特有的问题，论文对开源模型做了同样的静音重测。比较问题不变：看外部独立训练的模型在真实音频和静音下相对各自基础模型的涨分是否也同步。公平条件是尽量沿用各模型自己的提示词和采样，指标方向同样是百分点提升。结果是耦合关系依然成立，而且绝对涨分更大的模型残留也更大。

具体而言，R1-AQA 在 MMAU 上的音频增益为 23.4 个百分点，静音增益为 17.2 个百分点；Audio-Reasoner 音频增益为 20.5 个百分点，静音增益为 18.4 个百分点，多数涨分在静音下依然保留。更极端的是 AudioMCQ 本来特意挑了强音频依赖的子集训练，结果音频增益 5.0 反而低于静音增益 6.4，也就是不给声音涨得更多。这说明问题不在某一份数据或某一个超参数，而是只奖励最终选项对错的训练目标本身容易放大文字捷径。限制是开源模型的训练数据、步数和提示词各不相同，不能据此排名谁的方法更好，只能说静音残留是一个跨方法的共性现象。下面的个例图把这种捷径具体化，展示了模型如何在没有声音时依然选对、拿掉选项后反而答错。

看图路径： 1. 先看上半部分口哨题在真实音频静音和开放问下的对错变化；2. 再看下半部分六种开放问法下是否都偏向同一首儿歌；3. 对比基础模型与后训练模型在有无音频时的回答是否一致

论文图 2。原论文 Figure 2:：“Case Study: Revealing option priors and the impact of question phrasing on model predictions.”。

上半部分是一段 10 秒口哨声，问题是哪首儿歌被吹奏，选项包括四首儿歌，基础模型在真实音频下答错，后训练的 GRPO 在真实音频和静音下都答对、开放问下答错。下半部分把同一问题换成 6 种开放问法，凡是题干提到儿歌或儿童歌曲，模型几乎都输出同一首高频儿歌而不管有没有音频，去掉这类提示词后则输出落在选项之外。这对应论文所说的虚假修正：看起来是听对了，实际是被文字先验带进选项里才蒙对。

训练时没听过声音，放到真实音频上还能涨吗

评估时用静音只能证明涨分在测试时不需要声音，还不能证明训练时不需要声音。论文做了训练端消融：把全部训练音频换成等长静音重跑后训练，再放到真实音频上评测，看音频增益保留多少。比较问题是同方法、同预算下用声训练与用静音训练的差距，公平条件是步数、LoRA、奖励和模板都不变，只把波形信息置零。结论是在 MMAU 上大约保留一半，例如 Qwen2-Audio 上 GRPO 用真实音频训练涨 14.8，用静音训练仍有 7.6，模型整个后训练没听过任何信息却在真实音频上拿到了一半的提升。

MMAR 保留得更少且方差更大，说明它对训练音频更敏感一些。这个消融的代价是它没有证明声音完全无用，而是证明很大一部分涨分可以在没有声音监督的情况下获得，因此不能把选择题涨分等同于听力训练有效。尚未评测的范围是如果延长步数或换更大模型，这个一半比例是否稳定，论文没有给出。

表后解释要分两层：前两行说明训练声音的贡献不到总量的一半，后三行说明涨分里很大一块来自格式合规，即先把落在选项外的无效回答压下来。Qwen2-Audio 的无效回答从 17.2 降到 7.6，而选项内选错只从 37.6 降到 32.4，Omni-3B 的无效回答也从 7.5 降到 2.0。这意味着模型先学会了按格式作答并利用选项文字，真正靠声音在候选项之间辨别的能力提升有限。这个发现为下一节拿掉选项做了铺垫。

拿掉选项后，选择题上的涨分还剩多少

论文把选择题换成开放问答后，绝对分整体大幅下降，例如 Qwen2.5-Omni-3B 在 MMAU 上从 63.1 掉到 27.1 左右，但这在预期内，因为模型和基准本来就是按选择题设计的，关键要看相对基础模型的涨分是否还在。比较问题是同一模型在两种格式下的音频增益和静音增益，公平条件是问题内容经句法改写后意图不变、判官和题量不变。结果是涨分几乎消失：Qwen2-Audio 上 GRPO 和 VCRL 的 MMAU 音频增益从 14.8 和 12.4 掉到 2.3 和 2.1，静音增益从 11.2 掉到 0.8，开源模型同样从二十多掉到一左右甚至负值。

格式一换，音频增益和静音增益一起塌掉，说明原来的涨分高度绑定选项存在。为了排除这只是训练用选项、评测不用选项导致的失配，论文又做了开放式训练再开放评测，结果 GRPO 只有 2.0 左右，与失配训练的 2.3 几乎一样，远低于选择题的 14.8，VCRL 也只有 3.0 左右，静音增益同样停在零点几。这就否定了失配解释：即使从训练起就不给选项，模型也学不会原来的高涨分。限制是开放问答的判官本身有误差，且改写不可能完全等价，但论文测算过去掉残留预设选项题对结果影响极小，因此塌掉的结论不依赖这几题。负结果同样重要：没有任何一种后训练能在开放问答下恢复选择题的涨幅。

哪些结论有边界，哪些还没测到

论文自己划定的边界需要认真对待。证据覆盖两个基础模型、4 种自训方法和 6 个开源模型，在 MMAU 和 MMAR 上表现一致，但这仍是有限样本，其他架构、规模或基准可能不同。它证明的是音频增益与静音增益之差在这些独立模型上一直很小，而不是这种现象必然处处发生。方法上的边界包括：静音对照保留了长度和模板，只能说明声音信息非必要，不能精确量化听力成分；开放问答依赖语言模型判官比对文字，判官不听音频，长答案的语义等价判断会有噪声。

训练只跑 200 步 LoRA，更长训练或全参数训练是否会学到更多听力，本文没有回答。还有一类尚未评测的范围是真实部署成本，论文没有报告训练耗时、推理延迟或误判率，因此不能从涨分消失推出系统更快或更便宜，也不能把相关性读成因果。对初学者而言，最重要的是记住条件：所有关于捷径的结论都建立在多选题加最终答案奖励的设定下，换了奖励或任务形式，结论需要重测。

要复现这组对照，第一步该做什么

复现的第一步不是调参，而是把评测管线搭成四格：真实音频加选择题、静音加选择题、真实音频加开放问答、静音加开放问答，并固定每个模型自己的提示词。静音要在特征提取前把波形置零而不是删掉音频轮次，以保持 token 长度一致。开放问答要先按论文规则做句法改写，只删指向选项表的措辞，保留指向音频的表述，再用同一判官模板贪心判分，模板要区分更具体的实例算对、同类并列算错、更宽泛的上位词算错。

训练复现要沿用同一数据划分和 200 步 LoRA 设置，奖励只看最终答案是否匹配金选项，开放训练则改用归一化相等加词边界包含。关键超参数包括 LoRA 秩 32、学习率 1 乘 10 的负 5 次方、GRPO 每题 8 条、温度 1.0、KL 系数 0.02。信息条件上要保证训练音频与评测音频无泄漏，且每次比较都相对各自基础模型算差值。

关于资源，论文未公开可用的代码、模型或数据链接，来源清单显示没有可验证的作者资源，因此应按无法一键运行来计划，需要自己实现训练和评测脚本并准备音频基准的读取与判官模型的调用。

什么时候值得尝试，后续还缺哪项验证

什么时候值得尝试这套检验，答案很具体：当你在音频问答上用最终答案奖励做后训练并看到选择题涨分时，先跑静音对照和开放问答，再决定是否宣称听力进步。如果静音下涨分所剩无几且开放问答下涨分仍在，那才是值得继续放大的听力信号；如果像本文多数情况那样静音残留大、开放问答塌掉，接下来该改的是奖励和任务，而不是加大同一选择的训练量。

后续最缺的验证是能证明声音被使用的正向证据，例如要求模型指出声音中的时间证据、做音频与文字冲突时的跟随测试，或在奖励中加入对声音依据的检查，而不是只奖励选项对错。只有当模型在没有选项时也能说出内容、在没有声音时确实变差，才支持它是真在听。在此之前，标准基准分只能读成在特定文字格式下的答题能力，不宜直接读成通用音频理解和推理能力的提升。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-16 语音/音乐/音频论文速递