何时想、如何想：用四路奖励教音频大模型做难度自适应的推理

英文题目：Audio-Thinker: Guiding Large Audio Language Model When and How to Think via Reinforcement Learning

会议身份：conference:aaai:2026:conference-paper-id:40689

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#强化学习 #音频大模型 #后训练 #音频问答

评分：6.8/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Shu Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Chenxing Li：机构信息未能从会议 PDF 纯文本可靠映射
• Wenfu Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Hao Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Hualei Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Meng Yu：机构信息未能从会议 PDF 纯文本可靠映射
• Dong Yu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频问答以音频波形加自然语言问题为输入并输出选项答案，难点在于题目难度跨度极大且仅监督最终答案时显式思考链易与答案脱节、沦为噪声。Audio-Thinker先用自适应提示让模型先判断是否需要思考，再分别产生直答与带思考的混合 rollout，为后续学习何时思考提供候选。接着以组相对策略优化按自适应思考精度奖励学习难度感知的思考策略，并用随训练退火的软惩罚因子平衡思考与直答两种模式的占比。然后外部评审模型对思考与答案的一致性及推理质量打分，并与精度奖励组合成最终奖励，引导模型走向有效且可解释的推理轨迹。与强制思考或朴素GRPO不同，该方法将难度感知、一致性约束与过程质量显式解耦并渐进精化，抑制了猜对答案但推理错误的奖励黑客行为。在MMAU test-mini基准下，Audio-Thinker Qwen2.5-Omni版本的平均准确率为73.70，高于Omni-R1的平均准确率71.3。该结论适用边界主要为英文多选题音频理解与短音频问答场景，尚未验证开放生成、长音频与跨语言外推，训练硬件受限于单节点8卡H20 GPU上训练1000步的设置。

🔗 开源与复现资源

预印本/扩展版链接未在会议页展示；会议版来源见页首官方记录与 PDF。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么要学何时思考？

这篇解读的输入是会议论文正文加 3 张官方原图像素，目标是让刚进入语音音乐音频方向的研究生能复述 Audio-Thinker 的做法、训练条件和证据边界，必须保留的信息包括任务定义、4 路奖励的计算逻辑、训练数据与超参数、3 个评测集上的对照结果。输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断。

论文研究的任务是音频问答，也就是听一段包含环境声、音乐或语音的音频，再回答一个选择题。所用的底座是音频语言大模型，即把音频编码器接在大语言模型前面，使模型既能听又能用语言推理作答。先修知识只需要知道两点，一是大语言模型常用思维链让模型先写推理再给答案，二是强化学习可以用规则奖励按答案对错给分。

难点在于，过去在音频问答上直接加思维链并不能稳定提分，有时简单题也被迫长思考，反而引入幻觉和不一致。论文用两个观察把问题拆开，第一是显式思考不一定有效，第二是只靠提示词让模型自己决定想不想，模型对难易并不敏感。因此作者把何时想和如何想分开处理，前者学一个随难度开关思考的策略，后者学一致且逻辑站得住的思考内容。

音频问答 × 音频语言大模型： 音频问答负责给定声音和文字问题后选出或生成答案，音频语言大模型负责把音频编码器与大语言模型对接以理解声音、语音和音乐，二者搭配的原因是问答是检验模型是否真听懂的任务载体，而大模型提供感知加语言推理的底座，Audio-Thinker 要改进的正是底座何时展开推理的决策。

举一个教学用的例子帮助建立直觉，注意这只是例子而非论文报告的数值。听到一声短促的鸟叫并问声源是什么，模型可以直接答鸟，不必展开推理；听到持续车流加人群尖叫并问录音地点是哪里，模型就需要先写出由车噪和尖叫推断为户外热闹场景，再收敛到游乐场。论文要做的就是让这种开关由奖励学出来，而不是写死在提示词里。

同输入同目标的前人走了哪几条路？

在同输入同目标的音频问答路线上，早期代表是 Audio Flamingo、SALMONN 和 Qwen2-Audio，它们主要解决感知和基础问答，没有显式推理过程。随后 Audio-Reasoner 在 Qwen2-Audio 上引入包含规划、描述、推理和总结的多阶段结构化思考，需要大规模思维链数据。R1-AQA 则用组相对策略优化微调 Qwen2-Audio，发现简单拼接推理链并不能带来实质提升。同期 SARI 在 Qwen2.5-Omni 上同时尝试结构化和非结构化推理加课程强化学习，但效果没有超过只用强化学习的 Omni-R1。

在语言和视觉多模态推理路线上，DeepSeek-R1、OpenAI-o1 和 Kimi K1.5 证明了基于规则奖励的强化学习可以激发数学和代码推理，视觉侧的 Visual-RFT、Seg-Zero 和 Video-R1 把类似方法搬到识别、分割和视频分析上。这些工作共同说明，在数据稀缺时强化学习能接近监督微调的域内效果，并在分布外泛化上占优。

Audio-Thinker 与上述工作的区别是有源可查的三点。第一，它不要求全程思考，而是允许思考和免思考两种格式并存。第二，它把准确率奖励按是否思考拆成四档，并用批次内思考比例做软平衡，避免早期坍缩到一种模式。第三，它引入外部大语言模型同时做一致性判断和思考质量打分，把监督从只看答案扩展到看推理过程。理解这三点，就能明白后文每个奖励是为了解决哪条旧路线的失败条件。

论文把挑战拆成哪两个可验证的观察？

第一个观察是显式思考不总有效。论文引用 R1-AQA 和 Omni-R1 的结果，指出在音频问答上显式建模推理过程没有带来与数学任务相当的提升。这意味着深思考的有效性与任务相关，不能默认越长越好。对初学者而言，关键是把思考当成有成本的动作，简单感知题强行思考可能引入错误联想。

第二个观察是只靠提示词做不到自适应思考。作者用一段提示词让模型先判断是否需要思考，再按需输出思考加答案或只输出答案，并在 MMAU 测试迷你集的简单、中等、困难三档上统计免思考比例。结果是只靠提示词的两个基座在三档上曲线平坦，说明开关动作对难度不敏感。而用 Audio-Thinker 训练后的模型呈现随难度上升而免思考比例下降的趋势，这正是难度感知的直接证据。

这两个观察决定了方法必须同时回答何时想和如何想。若只解决后者，模型仍会在简单题上浪费思考；若只解决前者，模型可能用投机但正确的答案骗过准确率奖励。后文的 4 路奖励正是按这个分工设计的。

Audio-Thinker 让一个样本走完怎样的全流程？

先沿一个样本走完全流程。输入是一段音频加一个文字问题，例如判断哨声来源或录音地点。模型先读到一段自适应提示，要求它先判断本题是否需要思考。若判断不需要，就只输出答案标签里的选项；若判断需要，就先输出思考标签里的推理，再输出答案标签里的选项。

训练时对同一问题采样多个回答，形成既有免思考也有思考的混合 rollout 集合，再用 4 路奖励打分并做组内比较更新策略。推理时不再采样多条，而是由学到的策略直接决定开关。

框架全景可分为提示设计和强化训练两大块。提示设计只做一件事，就是允许两种格式合法存在，为后续奖励提供可区分的动作空间。强化训练则用渐进细化的奖励函数，先保证格式合法，再用自适应准确率奖励教何时想，最后用一致性和思考奖励教如何想。

下面这张总览图把四栏的衔接画得很清楚，左起提示、采样、训练、推理，中间用评分反馈把奖励送回策略，值得按箭头完整跟一遍。

看图路径： 1. 先从左到右看提示设计、采样、强化训练、推理四栏的主路径；2. 再看训练栏中列出的四种奖励如何汇入评分反馈；3. 最后对比推理栏中简单题只给答案、难题先想后答的开关差异

论文图 1。原论文 Figure 1：“Overview of the Audio-Thinker framework.”。

从像素上看，该图最左侧是指示模型先判断是否需要思考的英文提示，中间分为只含答案的免思考采样和含思考加答案的思考采样，右侧训练栏明确列出自适应格式奖励、自适应准确率奖励、一致性奖励和思考奖励四项，最右侧推理栏用简单题直接答鸟和难题先分析车噪尖叫再答游乐场的例子展示开关效果。读图时要确认主路径是从问题经推理模型到多个输出，再经奖励到组计算最后到优势更新，而不是把奖励当成独立模块。这个全景是后文每个公式和消融的锚点。

四路奖励各自算什么，为什么要这样组合？

第一路是自适应思考格式奖励。只要模型按要求输出合法格式，无论是否思考都给 1 分。它的分工是先把格式错误与内容错误分开，避免模型因括号写错而被误罚。搭配理由是后续 3 路都依赖标签解析，只有格式稳定才能正确归因到思考还是答案。

第二路是自适应思考准确率奖励，这是何时想的核心。原文把每个样本分成 4 种情况，思考且答对、思考但答错、免思考且答对、免思考但答错，初始分值分别为正 1、零、正 2、负 1。可以看到答对时免思考得分更高，答错时免思考罚得更重，意在鼓励简单题直接答、难题才动用思考。但若直接用这组分值，早期可能坍缩到全思考或全免思考。为此作者引入批次级软平衡因子，用批次中思考比例计算随训练步数衰减的惩罚系数，使早期保持双模式探索，后期逐渐回到原始规则奖励。最终分值公式对思考正确乘以思考侧系数，对思考错误做与该系数相关的放大惩罚，对免思考侧做对称处理。

第 3 路是一致性奖励，用 Qwen3-8B-Base 做裁判，判断思考结论是否支持最终答案，一致给 1，不一致给 0，免思考回答默认给 1。它的分工是堵住思考写 1 但答案写 2 这类前后矛盾。原文明确只在答案正确时才计入加成，避免答错但自洽反而拿高分。

第 4 路是思考奖励，同样用 Qwen3-8B-Base，但只看中间推理质量打 0 到 1 分，不看答案对错，免思考回答取批次内思考奖励的均值。它的分工是区分蒙对和真推出，即使答案对了，逻辑错误或依据虚构也要低分。

自适应思考 × 自适应思考准确率奖励： 自适应思考负责在推理时按题目难度决定输出只含答案还是先想后答，自适应思考准确率奖励负责在训练时给 4 种组合赋不同分值并用批次比例做软平衡，二者搭配的原因是只靠提示词模型不会按难度开关思考，而该奖励把答对且免思考给最高分、答错且免思考给最重罚，从而把何时想变成可优化的行为。

一致性奖励 × 思考奖励： 一致性奖励负责判断思考过程的结论是否与最终答案一致，思考奖励负责独立于答案对错给中间推理的逻辑质量打 0 到 1 分，二者搭配的原因是只看一致会放过自圆其说但依据错误的推理，只看质量又可能忽视前后矛盾，组合后才能同时要求有效和可信的如何想。

总奖励把 4 路按下式组合，准确率奖励乘以一致性加成，再加格式项的一半和思考质量分。原文强调这种乘加结构是为了让一致性只做正确时的放大器，而思考质量始终独立起作用。训练时每个问题的多个回答先算出各自总奖励，再在组内标准化成优势去更新策略。

下图把奖励管线的上下两层画了出来，上层是推理模型、参考模型、规则函数与外部裁判的汇合，下层展开了准确率、平衡、一致性和思考 4 个子框。

看图路径： 1. 先沿上半部分看从问题到推理模型、多个输出、奖励再到组计算的闭环；2. 再看下半部分自适应准确率奖励、双模式平衡、一致性和思考奖励四个子框；3. 最后找到右下角总奖励公式中各项系数的写法

论文图 3。原论文 Figure 3：“An illustration of Audio-Thinker RL-based training pipeline.”。

从像素上看，上半部分从问题经推理模型到多个输出，一路送参考模型做散度约束，一路送格式准确率函数和外部思考奖励模型，再汇成总奖励进入组计算得到优势。下半部分左侧是准确率四分类与随步数衰减的软系数公式，中间是批次内双模式平衡示意，右侧是一致性校验与思考打分以及右下角总奖励公式。读图时要把外部裁判只参与打分、不提供梯度直连这一点确认清楚，梯度只来自策略自身的强化更新。

训练数据、优化器和采样是如何组织的？

训练数据来自视听问答数据集 AVQA，原文按 R1-AQA 的做法把视频中的音频抽出来，并把问题中的视频一词替换为音频，共得到 40176 条音频文本对。用于监督微调对比的思维链数据是先用 Qwen2-Audio-7B-Instruct 生成音频描述，再用 Qwen2.5-72B-Instruct 根据描述、问题和答案生成推理过程。底座为 Qwen2-Audio-7B-Instruct 和 Qwen2.5-Omni 2 个模型，训练框架为 SWIFT。

优化算法是组相对策略优化。对每个问题采样一组回答，用上述总奖励逐条打分，再减去组均值除以组标准差得到优势值，最后用带裁剪和与参考模型散度惩罚的目标更新策略。原文报告的超参数为在 8 卡 H20 节点上每卡批量 1、梯度累积 2、有效批量 16，训练 1000 步，学习率 1e-6，采样温度 1.0，每步每题采样 8 个回答，散度系数 0.04。

组相对策略优化 × 优势值： 组相对策略优化负责对同一问题采样一组回答并用组内相对好坏更新策略，优势值负责把每个回答的总奖励减去组均值再除以组标准差得到相对位置，二者搭配的原因是音频推理没有可微分的对错信号，只能靠同组比较告诉模型哪条思考路径更值得强化。

需要如实指出缺项。原文未报告外部裁判的采样温度、打分提示词细节、失败重试逻辑，也未说明音频编码器是否冻结、优化器类型和学习率调度。复现时应先按有效批量 16 和每题 8 采样的组计算对齐，再补记裁判调用版本，否则优势分布可能对不上。训练成本只给了卡型和步数，没有给出总时长和显存峰值，推理延迟同样未测量，因此不能从训练步数少推断推理一定更快。

在什么数据和指标上测，与谁比才算公平？

评测覆盖 MMAU 测试迷你集和完整集、MMAR、AIR 基础部分共 3 组基准。MMAU 考察声音、音乐、语音 3 类复杂音频问答，指标为选择题准确率。MMAR 考察语音、音频、音乐及其混合下的深度推理，同样用准确率。AIR 基础部分考察声音、音乐和语音理解，其中语音又细分为语音情感识别、声音事件分类和语音数字变化等子任务，方向均为越高越好。比较对象包括同基座复现、监督微调及其思维链版本、普通强化学习及其思维链版本，以及 GPT-4o 音频版、Gemini 系列、Omni-R1、R1-AQA、Audio-Reasoner 等内外部基线。

公平比较的关键在于基座一致和版本一致。论文在消融中固定基座，只改变是否加思维链和增加哪路奖励；在主结果中区分旧版 MMAU 和新版 MMAU-v05.15.25，正文主表用旧版以保持与已有榜单可比，新版结果放在附录。训练数据量是另一项条件，Audio-Thinker 只用约 40,176 training samples，而 Omni-R1 用了更大训练集，这点在解读 MMAR 结果时必须保留。

下表把数据来源、训练预算和评测协议收拢在一处，方便复现时逐项核对，避免把不同版本或不同聚合口径的数字混在一起。

上表不是结果表，只是把原文交代的构造与协议集中呈现，数字的单位与聚合对象以表头为准。真正的性能比较见后文 2 张结果表，读数时要注意测试迷你集与完整集、声音音乐语音子项不能混用，百分点差值不能说成相对百分比提升。

主结果在三个基准上赢在哪里，输在哪里？

要回答的主问题是，4 路奖励训练后的模型是否在保持同基座可比的条件下提升音频推理。公平条件是同基座、同旧版 MMAU 口径，指标方向为准确率越高越好。下表整理论文直接报告的关键数字，保留了基座起点和训练后终点，以及 AIR 总体分，便于核对提升幅度而非只看单点。

上表数字全部来自原文连续句的逐字证据，百分点差值是解读人计算的方向性说明而非原文新指标。Qwen2.5-Omni 底座的 Audio-Thinker 在 MMAU 测试迷你上从 66.30 升到 73.70，在完整集上从 68.03 升到 72.83；Qwen2-Audio 底座的 Audio-Thinker 从 54.90 升到 68.00 和从 52.50 升到 67.90。论文报告前者在测试迷你和完整集上分别超过 Omni-R1 约 2.40 和 1.63 个百分点，从而成为该旧版榜单的新最优。在 AIR 基础上，该模型总体 67.1 分，声音 75.8 分，语音子项中声音事件分类 94.5 分为报告最高，语音数字变化 67.5 分为次优。在 MMAR 上该模型平均 65.30 分，超过同基座但用更大数据的 Omni-R1，并接近 Gemini 2.5 Flash 和 GPT-4o 音频版。

必须同时说明未胜出项和边界。论文的表格显示，在 AIR 音乐子项上 Audio-Thinker 并未全面领先闭源模型，在 MMAR 音乐子项上也低于部分基线，这说明思考奖励对音乐推理的增益有限。所有主结果都是准确率，没有报告误判率、延迟、输出长度和人工可读性评价，因此不能把准确率提升等同于推理更可解释或部署更便宜。

下图是难度感知最直观的证据，横轴三档难度，纵轴免思考比例，值得按图例逐条确认。

看图路径： 1. 先确认横轴为简单、中等、困难三档，纵轴为免思考比例；2. 再对比只靠提示词的两条曲线是否随难度下降；3. 最后看 Audio-Thinker 两条曲线从高到低的下降幅度

论文图 2。原论文 Figure 2：“No-Think Rate by Difficulty on MMAU-test-mini.”。

从像素上看，只靠提示词的两条曲线在简单、中等、困难三档上几乎水平，维持在 0.45 到 0.60 之间，说明开关动作不随难度变化；而 Audio-Thinker 的两条曲线从简单的约 0.73 到 0.78 一路下降到困难的约 0.38 到 0.42，呈现明显的下坡。读图时要区分纵轴是行为比例而非准确率，曲线向下代表更倾向于思考，不能直接读成性能变差。该图支持自适应准确率奖励确实教会了何时想，但它不证明思考内容一定正确，还需后文消融中一致性和思考奖励的增量来佐证如何想。

拿掉哪路奖励会掉多少分，哪条对照说明问题？

消融要回答的操作问题是，4 路奖励各自是否必要。论文固定基座，比较监督微调、普通强化学习、加思维链的强化学习，再逐步叠加自适应思考准确率奖励、一致性奖励和思考奖励。指标仍为 MMAU 测试迷你平均、AIR 基础平均和 MMAR 平均，方向越高越好。下表把原文报告的增量收拢，重点看可运行策略之间的阶梯，而非搜索最优或事后最优。

上表增量为原文直接报告的百分点差值，不是相对百分比，聚合对象以 MMAU 迷你平均、AIR 基础平均和 MMAR 平均为准。关键反证有两条，第一是显式推理加普通强化学习并不稳定超过隐式推理的普通强化学习，说明没有有效监督时多写思考无用；第二是每加一路奖励都有正增量，但在 Qwen2.5-Omni 侧一致性和思考奖励的增量幅度与 Qwen2-Audio 侧不完全一致，说明增益大小与基座能力有关，不能推广为每步每组都成立。总体趋势支持渐进细化有效，但原文未做显著性检验和多次随机种子平均，解读时应表述为报告显示而非已证明必然。

证据不支持哪些推广，缺了哪项验证？

首先是监督来源的局限。一致性和思考奖励都依赖 Qwen3-8B-Base 做裁判，论文未报告裁判与人类判断的一致率，也未分析裁判自身对音频描述的偏见。若裁判偏好冗长或特定句式，策略可能学会迎合裁判而非真正听懂音频，这正是奖励黑客在思考侧的残留风险。

其次是成本与泛化的缺项。训练只报告了卡型、步数和批量，没有总时长、显存和裁判调用开销；推理只展示了开关行为，没有报告平均输出长度、延迟和不同难度下的准确率分解。因此不能承诺该方法降低了推理成本或在所有子任务上都更省。音乐子项的相对弱势也提示，当前奖励对需要乐理和长时结构的推理覆盖不足。

显式推理 × 奖励黑客： 显式推理指把思考写在标签里再给出答案的做法，奖励黑客指模型用错误或空洞思考蒙对答案来骗取准确率奖励，二者搭配讨论的原因是论文发现只监督最终答案时模型会学会投机，因此必须用一致性和思考质量奖励去约束推理本身，否则显式推理只是噪声。

最后是版本与可比性。主表用旧版 MMAU 以保持与榜单连续，新版结果在附录，若读者直接拿新版数字与旧表对比会得到错误结论。复现时应锁定同一版本、同一基座复现起点，再比较增量。缺失证据不是技术错误，但相关性不是因果，在补做人类评估、延迟测量和多种子统计之前，不宜把该方法描述为通用最优解。

要复现先做什么，需要哪些信息条件？

复现的第一步是锁定信息条件。论文给出扩展版链接，资源状态显示当前可用，可以公开获取更完整的提示词和新版 MMAU 结果。但正文开源声明只指向论文扩展版，没有给出代码仓库和权重下载地址，因此应表述为论文可读、系统可运行性待确认，不写已开源或可一键复现。

第二步是重建数据与协议。从 AVQA 抽音频并替换问题措辞得到 40176 条训练样本，用相同方式划分验证集以调软平衡系数的衰减节奏。评测时固定旧版 MMAU、新版 MMAU、MMAR 和 AIR 基础的版本与聚合方式，分别记录声音、音乐、语音子项，避免只看平均分。超参数先按有效批量 16、每题 8 采样、学习率 1e-6、温度 1.0、散度系数 0.04、1000 步起步，再小范围调软系数的总步数。

第三步是先跑通必要基线再叠奖励。先复现同基座直接答、监督微调、普通强化学习、加思维链的强化学习 4 条线，确认显式推理单独加分有限这个反证成立，再依次加入自适应准确率奖励、一致性奖励和思考奖励。每步同时记录免思考比例随难度的曲线和答案准确率，防止只看准确率而忽视开关行为是否学会。若外部裁判版本不同，应固定裁判快照并记录打分分布，否则组内优势不可比。

何时值得尝试这个方法，如何一句话记住它？

当你的音频问答系统出现简单题过度思考、难题思考前后矛盾、蒙对答案但依据错误这 3 类症状，且你能承担每题多采样和外部裁判打分的训练开销时，值得尝试 Audio-Thinker 的 4 路奖励做法。它用格式奖励保解析，用自适应准确率奖励学开关，用一致性奖励保前后一致，用思考质量奖励保逻辑站得住，最后用组内比较把相对更好的思考路径强化出来。

一句话记住它，就是按难度决定想不想、按裁判决定想得好不好。对于刚入门的研究生，建议先复述出 4 种情况的分值高低关系，再画出批次比例如何通过软系数把早期探索拉回平衡，最后用 MMAU 三档免思考曲线和 3 张结果表检验自己是否真把何时想和如何想分开理解了。若要继续深挖，可补做裁判与人类一致性、音乐子任务失败案例和推理延迟三项验证，这正是原文留给社区的开放缺口。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总