不靠闭源模型抄答案：用同一模型自己生成推理过程的 Audio-Cogito

英文题目：Audio-Cogito: Towards Deep Audio Reasoning in Large Audio Language Models

会议身份：conference:interspeech:2026:conference-paper-id:li26o_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #数据集构建 #知识蒸馏 #音频问答

评分：7.5/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：模型报告

👥 作者与机构

• Longhao Li：机构信息未能从会议 PDF 纯文本可靠映射
• Hongjie Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Zehan Li：机构信息未能从会议 PDF 纯文本可靠映射
• Qihan Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Jian Kang：机构信息未能从会议 PDF 纯文本可靠映射
• Jie Li：机构信息未能从会议 PDF 纯文本可靠映射
• Lei Xie：机构信息未能从会议 PDF 纯文本可靠映射
• Yongxiang Li：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频推理以混合音频信号A与文本查询Q为输入，要求模型先输出逐步思维链C再给出最终答案R。其实际难点在于声学线索细微易误读、混合域干扰强且现有标注只有短标签或浅层推理。该工作提出四阶段Cogito-Pipe流水线：先聚合声音、语音、音乐三域及混合音频与元数据，再用约500道种子问题引导问答生成并构造难负例问答对。随后由同一思考模型在隐去答案条件下自由生成思维链，最后经问答一致性检查与法官模型双重过滤得到545k训练样本进入微调。与依赖Gemini等闭源模型的做法不同，本文用目标模型自身生成再微调以保持推理风格一致。基于Qwen3-Omni-Thinking 30B-A3B经LoRA单轮微调得到的Audio-Cogito在MMAR上平均准确率达71.7%，相对基座68.0%提升3.7个百分点，并在Sound-Music等混合域优势明显。该结论目前仅在MMAR单一基准及5次运行取中间3次均值的协议下验证，未在MMAU-Pro等基准验证泛化，原文未披露训练与推理成本、优化器与批量大小等复现细节。

🔗 开源与复现资源

• 代码相关资源：https://github.com/llh666521/Audio-Cogito — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要解决什么矛盾？

这篇论文的输入是声音加文字问题，输出是先写推理过程再给最终答案。声音覆盖 3 类：环境声音事件、人类语音、音乐，还包括它们混合或交错出现的情况，例如声音与音乐同时出现、语音与音乐叠加。文字问题是选择题或需要判断的问句，模型必须听出速度、情感、乐器、语种、事件因果等细微线索。

目标不是把音频转写成文字就结束，而是让模型展示它是如何从听觉证据一步步推出答案的。初学者可以这样理解：以前的音频问答只看答对没有，相当于考试只看选项；现在的要求是同时交出草稿纸，老师要看草稿纸上的每一步是否真的来自录音。论文反复指出，现有大音频语言模型常给出僵硬的结构化推理，缺乏深度音频接地，在复杂声学环境下容易出现逻辑不一致和误读细微线索。

必须保留的关键信息是：数据瓶颈是主要矛盾。公开的 AudioSet、AudioCaps、Clotho 多为简短标签或描述，不足以培养深度推理；少数推理数据集偏浅，且复杂推理轨迹高度依赖 Gemini 2.5 Pro 等闭源模型，带来成本、不可复现和格式不兼容问题。因此论文选择完全开源、不依赖专有接口的路线。代码当前已公开，地址为官方仓库，可供核对数据与方法，这是复现的前提。

大音频语言模型 × 大音频推理模型： 大音频语言模型负责把声音信号和文字问题对齐并给出理解与回答，大音频推理模型则在此基础上要求先显式写出一步步的推理链再给答案；前者分工是感知与对齐，后者分工是可检查的思考过程，两者搭配的理由是只看最终答案无法区分蒙对与真听懂，组合意义是让评测与训练都同时约束答案与过程。

本解读的输出是一套可复述的方法与实验条件：流水线如何走、模型如何训练、用什么评测、数字在什么条件下成立。阅读时请沿着一个样本走完全程：一段音频与一个问题进来，经过表示与推理组件，产生推理链与答案，再被规则打分。

已有路线走到哪里，还缺哪一步？

按相同输入、相同目标来对照，已有工作可分为 3 类。第一类是大音频语言模型，例如 SALMONN、Audio Flamingo 系列、Qwen2-Audio 系列，以及 GPT-4o Audio 等系统。它们的强项是音频文本理解与交互，但在 MMAR 这类考察推理过程的基准上表现不稳定，说明感知能力不等于推理能力。

第二类是全模态语言模型，例如 Qwen2.5-Omni、Qwen3-Omni-Instruct、Gemini 2.0 Flash 与 Gemini 2.5 系列。它们支持多模态输入输出，在单域与混合域问答上整体更强，但论文指出其推理过程同样需要被显式评估，不能只看最终准确率。

第 3 类是大音频推理模型，即在音频模型上加入显式思维链机制，例如 Audio-CoT、Audio Flamingo 3、Step-Audio-R1、Qwen3-Omni-Thinking、Audio-Reasoner 与 Mellow。论文报告这些模型仍存在推理刚性、模板化的问题，尤其在混合域任务上波动大。教学例子：同样听到一段快节奏车辆声加背景音乐，一个模型可能直接猜高速，另一个模型会先描述引擎与风噪特征再排除低速选项，只有后者留下可核对的听觉依据。

缺的一步是高质量、可复现的音频推理训练数据与一致的生成微调格式。论文正是补这一环：不引入闭源标注器，用目标模型自身生成自由格式的推理，再做一致性过滤。

论文把任务形式化成什么可训练的问题？

论文把每次预测定义为给定音频信号与文本查询，生成两段文字：推理轨迹与最终回答。训练数据因此是四元组，包含音频、问题、推理链、答案。学习目标是最大化推理链与答案的联合似然，也就是先学会讲道理再给出结论。这种分解的教学意义在于，监督信号同时约束过程与结果，模型不能只记住答案分布。

评测问题同样被拆成两个可计算量。第一个是平均准确率，即答对样本数占总样本数的比例，方向是越高越好。第二个是推理质量：每个样本有一份 5 条细则的量表，由标准推理路径派生而来；若最终答案错误，推理分直接记零；若正确，则按满足的细则比例取零到一之间的六档分数。

整体规则分数是所有样本推理分的均值，正确推理分数则是只在答对样本上求平均。初学者注意百分点与相对百分比不同：论文说相对基线提升百分之几，是指差值除以基线，而非直接相减。

该形式化隐含的适用条件是：音频必须真正包含判别信息，问题必须需要多步排除；若问题仅靠常识就能回答，推理链的音频接地就无从检验。论文用混合域任务来加压这种情况，因为多声源交织时单靠文本先验更容易出错。

Cogito-Pipe 四阶段如何串成一条流水线？

Cogito-Pipe 是论文提出的数据构造流水线，分为数据收集、问题构造、思维链生成、质量验证 4 个阶段。数据收集负责汇聚声音、语音、音乐三域及混合场景的音频与元数据，并准备约 500 道高质量种子问题作为少样本示例。问题构造负责合成问答对，思维链生成负责生成自由格式推理，质量验证负责过滤不一致与幻觉样本。

思维链 × 自蒸馏： 思维链分工是把复杂问题拆成中间推断步骤并留下文字痕迹，自蒸馏分工是用同一个模型架构既生成这些推理轨迹又用它们做微调；搭配理由是若用别的强模型生成固定模板的推理，格式与本模型的原生输出习惯不对齐会损伤推理能力，组合意义是保证生成与学习时的推理风格一致，减少逻辑错位。

沿一个样本走完全程有助于建立依赖关系：先有一段带元数据的音频，例如一段车辆行驶声；接着标注器参考 20 道种子问题仿写出新问题与迷惑选项；然后思考器只听音频生成思考文字与答案；最后审计器检查思考推出的答案是否与问答对一致，并审查思考是否编造了音频中没有的证据。通过的样本才进入 545k 规模的训练集。

下图是论文图 1 展示的后 2 阶段示意，重点看生成与验证如何衔接，而非装饰细节。

看图路径： 1. 先看左侧思维链生成框中两条样本的输入到输出走向；2. 再看中间审计员图标如何连接生成与右侧验证；3. 对比右侧上下两个子框的勾选与打叉含义；4. 注意最终答案高亮部分与前面思考文字的分工

论文图 1。原论文 Figure 1：“Overview of Cogito-Pipe.”。

从像素可见，左侧是思维链生成框，上下各有一条样本，上方样本以高速行驶作结，下方样本以南非作结，每条都以思考标记开头并以最终答案收尾，体现先推理后作答的格式。中间是手持放大镜的审计员形象，表示人工隐喻的检查角色。右侧是质量验证框，分为问答一致性与大模型作为裁判两个子框，分别用勾选与打叉表示通过与淘汰。这一布局对应的真实计算是：生成阶段输出候选推理，验证阶段执行 2 次判定，只有双重通过才保留，从而在源头减少结论与过程脱节的数据。

数据与问题从哪里来，如何保证多样与难度？

数据收集覆盖声音事件、语音、音乐三域。声音侧包括 AudioSet 的通用事件、Clotho 与 AudioCaps 的描述、ComplexAudio 的复杂音频；语音侧包括 MELD 的情感、CoVoST2 的翻译、DailyTalk 的对话；音乐侧包括 MusicBench 的通用音乐、FMA 的流派、Medley-solos-DB 的乐器分析。论文同时收集元数据作为补充描述上下文，并在构造时提供给模型做接地参考。种子问题池约 500 道，先由大语言模型生成候选，再经领域专家修订补充，覆盖多域、多种推理类型与难度。

问题构造使用 Qwen3-Omni-Instruct 作为标注器。每次构造时从种子池抽取 20 道题作为少样本示例，引导模型模仿提问风格与视角，挖掘深层听觉知识。论文明确要求生成迷惑性干扰选项作为难负例，每段音频生成 1 到 3 个问答对，以多角度捕捉听觉线索。白话解释：种子示例是范文，干扰选项是陷阱，数量控制是为兼顾覆盖面与成本。

问题构造 × 思维链生成： 问题构造分工是用标注器模型针对每段音频合成 1 到 3 个有迷惑选项的问答对，思维链生成分工是用思考器模型只听音频自由生成推理链而不提前告知正确答案；搭配理由是前者提供多角度的考察点，后者保证推理真正 grounded 到声音而非抄答案，组合意义是得到既多样又忠实于音频的监督信号。

思维链生成使用 Qwen3-Omni-Thinking 作为思考器，采用自蒸馏策略，即生成数据与后续微调使用相同模型架构。论文强调两点实现选择：允许自由格式而非刚性模板，因为模板与模型原生输出不对齐会损伤推理；生成时故意不提供标准答案，迫使模型只从声学线索推导，保证推理忠实于音频输入。流水线中的模型可替换，意味着若换目标模型，可用该模型自身重新生成数据以保持风格一致。

两道验证如何拦下幻觉与逻辑断裂？

质量验证由审计器执行，分为两步。第一步是问答一致性检查：看从思维链推出的答案是否与问题构造阶段的答案对齐。若思考过程指向选项 A 而标准答案是 B，该样本被视为结论不一致。第二步是大模型作为裁判：用 Qwen3-Omni-Instruct 审查推理过程，显式过滤出现幻觉或逻辑不一致的样本，例如音频中没有鼓声却写听到了鼓点，或前后两句互相矛盾。

问答一致性检查 × 大模型作为裁判： 问答一致性检查分工是核对从思维链推出的答案是否与构造阶段的答案一致，大模型作为裁判分工是用 Qwen3-Omni-Instruct 审查推理过程是否存在幻觉或逻辑矛盾；搭配理由是前者只管结论对不对，后者管过程是否可信，组合意义是两道过滤共同留下结论与过程都可靠的样本。

这两步的分工不同，不可互相替代。一致性检查只能发现结论漂移，发现不了以错误理由蒙对的情况；裁判审查能发现过程编造，但单独使用可能受裁判自身偏好影响。论文的安排是先做一致性再做裁判审查，只有双通过才保留。初学者复述时要说清监督来源：答案来自构造阶段，推理来自思考器，质量标签来自审计器的 2 次判定，而非人工逐条标注。论文未报告人工抽检的误判率与验证阈值的具体数值选择过程，这是复现时需要补记的缺项，不应从模型名称推定其判断必然正确。

模型如何把推理链与答案一起学下来？

Audio-Cogito 构建于 Qwen3-Omni-Thinking，参数规模为 30B。训练采用有监督微调，使用 ms-swift 框架与低秩适配方法，只更新适配参数而非全量参数，训练一个轮次，最大学习率设为 1 乘 10 的负 5 次方。输入是音频与文本查询的多模态表示，输出是推理链与最终回答的拼接序列，优化目标是该拼接序列的对数似然之和取负。白话解释：模型每读一条样本，就练习把思考文字与答案一起完整复现，错一处都算损失，从而养成先思考后回答的习惯。

需要明确冻结与更新的边界：论文只说明使用低秩适配做一轮微调，未报告适配秩、目标模块、批量大小、学习率衰减与 warmup 等细节，也未说明音频编码器是否冻结。因此复现时不能从模型名称推定编码器必然冻结或更新，应以官方仓库配置为准。梯度路径按标准自回归语言建模理解，即对推理链与答案的每个词元计算交叉熵，但论文未给出是否对问题词元屏蔽损失的说明，这也是一项缺项。

训练数据的监督来源是 Cogito-Pipe 过滤后的 545k 样本，而非人工新标。论文称该数据集已随代码开源，可核对规模与领域分布。由于只训练一轮，欠拟合与过拟合的权衡更多体现在数据质量而非训练时长上，这也是消融实验重点检验数据流水线各组件的原因。

在什么数据、基线与指标下比较才算公平？

评测只用 MMAR 数据集，理由是它是唯一显式评估思维链过程的音频基准。MMAR 覆盖单域的声音、音乐、语音，以及声音音乐、声音语音、音乐语音、声音音乐语音等混合域，共 7 个子类。论文遵循 Interspeech 2026 音频推理挑战赛的协议，同时报告答案正确性与推理质量。为降低评估方差，论文进行 5 次运行并取中间 3 次的均值。

基线分为 3 类并同时包含开源与闭源系统。第一类大音频语言模型包括 Audio Flamingo、Qwen2-Audio 系列等开源模型，以及 GPT-4o Audio、Omni-R1 等；第二类全模态模型包括 Qwen2.5-Omni、Qwen3-Omni-Instruct 等开源模型，以及 Gemini 2.0 Flash、Gemini 2.5 Flash 与 Pro 等闭源模型；第 3 类大音频推理模型包括 Mellow、Audio-CoT、Audio-Reasoner、Audio Flamingo 3、Step-Audio-R1 与作为基座的 Qwen3-Omni-Thinking。比较条件是同一 MMAR 划分与同一挑战赛裁判流程，其中推理质量的裁判为 GPT-4o。

指标方向要记清：平均准确率、规则分数、正确推理分数都是越高越好。规则分数对答错样本记零，因此它同时惩罚答案错误与过程缺失；正确推理分数只在答对样本上平均，反映答对时的过程可信度。论文未报告延迟、推理开销与人工评价，因此不能把自动规则分数等同于人类感知的可解释性，也不能承诺速度得到改善。

主结果在哪些条件下成立，代价是什么？

要回答的核心问题是：在同一 MMAR 条件下，自蒸馏数据微调是否同时提升答案准确率与推理质量。公平条件是所有模型接受相同的七子类划分与相同的裁判流程，指标方向均为越高越好。下表整理 3 个代表性系统的关键数字，基座、改进后模型与当前最强闭源系统并列，便于看出收益与剩余差距。

论文报告 Audio-Cogito 在开源 3 类模型中平均准确率最优，相对基座 Qwen3-Omni-Thinking 提升 5.44%，在混合域上提升尤其明显，并在声音音乐语音与单域声音上接近或超过部分闭源系统。同时它超越了 Gemini 2.0 Flash、Gemini 2.5 Flash 等闭源全模态模型与 Omni-R1、GPT-4o Audio 等音频模型的平均准确率，但仍低于 Gemini 2.5 Pro 的全量均值。推理质量上，规则分数与正确推理分数均为推理模型中最好，支持自蒸馏带来更可靠推理链的判断。

平均准确率 × 规则分数： 平均准确率分工是统计所有样本最终答案答对的比例，规则分数分工是对每个答对样本用 5 条实例级细则评价推理链满足了几条，答错则记零；搭配理由是前者只看结果，后者看结果正确时的过程质量，组合意义是同时回答模型是否答对与是否以正确理由答对。

代价与反例必须同时说明。第一，收益不等于每子类都最优，例如单域音乐与语音上与基座持平或小幅提升，说明混合域是主要收益来源。第二，声音音乐子类上闭源最强系统仍达 100.00，表明差距未完全 закрыт。第三，规则分数依赖 GPT-4o 作为裁判，若换裁判或换量表生成模型，数字可能变化，因此跨论文对比时需固定裁判条件。

拿掉流水线部件后性能如何变化？

消融要回答的问题是：种子问题、质量验证、元信息三者是否各自必要。实验做法是固定基座为 Qwen3-Omni-Thinking，只在去掉某个部件的数据上微调，再在 MMAR 上比较。公平条件是训练轮次、适配方法与评测协议保持一致，指标仍看平均准确率与推理质量。

论文报告所有去掉部件的配置都导致下降，其中去掉种子问题下降最大，尤其在混合域任务上，说明种子示例引入了更难更多样的问题并激发更深推理。去掉质量验证会显著增加幻觉，体现在规则分数回落；去掉元信息则因缺少关键接地线索而降低问答准确性。初学者注意：论文未给出每次消融的完整超参数与随机种子，也未报告统计显著性，因此只能说方向一致支持各部件有效，不能断言拿掉后必然在所有划分上都下降相同的幅度。

为理解数据规模的来源，下表整理流水线使用的数据集构成，重点看数量与占比的分布，而非直接当作成效表。

该分布显示声音与音乐占比较大，语音翻译与通用音乐也是重要来源。结合正文，音乐侧还有 MusicBench 约 88k、FMA 约 76k 等，完整 545k 覆盖多任务。复现启示是：若只用单域数据，混合域收益可能无法复现；消融中混合域下降最大正好印证多样性数据的价值。未评测的边界是流水线未检验换用其他基座模型时的可迁移幅度，论文仅称模型可互换但未给出跨基座数字，这属于待验证项。

哪些结论尚未被验证，不能过度推广？

首先，评测单一性是明确限制。论文只在 MMAR 上报告主结果与消融，未在 MMAU-Pro 等其他推理基准上展开，因此在 MMAR 上的最优不能直接推广为所有音频推理任务最优。裁判依赖也是限制：实例级量表由 Gemini-2.5-Pro 生成，推理判定由 GPT-4o 执行，若量表或裁判更换，规则分数与正确推理分数可能偏移。

其次，数据与训练细节存在缺项。论文未公开种子问题的完整清单与专家修订标准，未报告质量验证的通过率与阈值，未说明低秩适配的具体秩与目标模块，也未报告训练硬件、时长与显存预算。因此复现时若推理质量波动，应优先检查过滤严格度与适配配置，而非认定方法无效。

再次，成本与部署量未被测量。论文未报告生成 545k 推理数据的计算开销、微调的实际耗时、推理时的额外词元开销与延迟。更长的思维链通常增加推理成本，总体准确率提升不等于每步都更快更便宜。在未测量延迟与成本前，不应承诺该方法改善了效率。相关性也不是因果：混合域提升与多样性数据相关，但不能排除基座本身对混合域的潜在偏好，只有跨基座重复才能加强因果解释。

要复现应先做什么，需要哪些条件？

复现的第一步是确认资源可达。论文声明代码与 545k 数据集通过官方仓库公开，本次资源状态显示代码链接可用，因此可先下载仓库核对流水线脚本、种子示例格式与过滤 prompts，再检查数据集的划分与元数据字段。若链接未来不可达，应明确记录本次未能确认可达，而非沿用旧结论。

第二步是按依赖顺序重跑最小闭环：先用基座模型在 MMAR 上复现基线分数，固定 5 次运行取中间 3 次均值的聚合方式；再用仓库提供的少量示例跑通问题构造、思维链生成、两步验证，确认输出格式为先思考后答案；最后再扩大到全量数据做一轮低秩适配微调，学习率从 1 乘 10 的负 5 次方起步。关键超参数与信息条件要保留：基座为 Qwen3-Omni-Thinking 30B、每音频 1 到 3 个问答对、每次构造参考 20 道种子题、生成时不给答案、验证用同一系列的指令模型。

第三步是补齐论文未报告的验证：记录验证通过率、人工抽检幻觉率、不同裁判下的规则分数变化，以及推理长度与延迟。若要尝试新场景，值得尝试的条件是混合域任务与需要排除干扰选项的复杂声学环境；若是单域简单描述任务，预期收益可能较小，应先做小规模试点再决定是否全量训练。

何时值得尝试，还需补哪项验证？

综合来看，当任务需要模型听出细微声学证据并留下可检查的推理痕迹，且不能依赖闭源标注时，这套自蒸馏路线值得尝试。它的核心判断是：用同一模型生成自由格式推理并经过双重验证，能在保持格式一致的同时提升混合域推理能力，MMAR 上的平均准确率、规则分数与正确推理分数共同支持这一判断。

但采用前要认清边界：当前最强证据来自单一基准与固定裁判流程，跨基准、跨裁判、跨基座的泛化尚未充分验证；训练与推理的计算代价尚未量化；种子质量与过滤严格度对结果影响大，去掉任一环节都可能回吐收益。后续最需要补的验证是：在第二个独立推理基准上重复主比较，报告通过率、人工抽检与延迟开销，并公开完整的适配配置与种子清单。只有补齐这些，才能把从 1 次成功到可复用方法的距离真正走完。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总