英文题目：Task-Level Instructions Induction for Audio Question Answering from Few Examples
会议身份：
conference:eacl:2026:conference-paper-id:2026.eacl-short.18
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#提示学习 #音频大模型 #高效推理 #少样本 #音频问答
评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Po-Chun Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Hen-Hsen Huang：机构信息未能从会议 PDF 纯文本可靠映射
- Hsin-Hsi Chen：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
音频问答需从连续语音中转写问题与选项、辨别声学事件并完成多步推理，人工标注音频思维链需顺序聆听与整合声学语言信息而成本极高，且直接拼接示例音频的少样本提示反而干扰逐步推理。先以固定元提示输入三组带答案的音频问答示例，负责单次多模态分析以抽取推理模式并输出结构化分析，再以该分析为输入将其归纳为包含输入格式与操作步骤的纯文本任务指令并输出可复用指令，最后在推理时以该指令与目标音频问题为输入直接求解而不再输入示例音频，使任务级一次性归纳结果进入每次推理。与每问重复处理多段示例音频的少样本提示及每次重新生成策略的战略思维链不同，该方法将示例消耗从推理侧移到任务级一次性归纳，从而消除推理干扰并降低输入负担。在BBA基准下，Gemini 2.5 Flash的准确率为98.33%，高于零样本思维链的91.35%。跨模型迁移显示由强模型归纳的指令可直接提升弱模型推理，并在十八组模型基准组合上经检验显著优于已有提示方法。推理开销方面消除示例音频使输入成本较三样本提示大幅下降，而任务级一次性归纳成本摊薄后可忽略。其适用边界受限于预定义任务类别与强指令跟随的大型音频语言模型，弱模型自归纳不稳定且示例增至五组时多模型回落，噪声音频鲁棒性与任务边界不清场景尚未验证。
🔗 开源与复现资源
- 第三方资源：https://www.videolan.org/vlc/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，为什么音频更难？
这篇解读的输入是论文正文给出的任务定义、方法步骤、实验条件与结果陈述，目标是让刚进入语音音乐音频方向的研究生能按原文复述做法并核对条件。必须保留的信息包括示例数量、调用方式、评测基准、基线种类与成本口径，输出是一套可照做的理解。
论文研究的任务是音频问答，也就是给定一段音频与一个文字问题，模型要听懂声音并结合问题给出答案。白话说，大音频语言模型是指能同时接收音频与文字并生成文字回答的大模型，英文为 Large Audio-Language Model，后文简称大音频语言模型。
大音频语言模型 × 音频问答： 大音频语言模型负责同时接收声音信号与文字问题并生成文字回答，音频问答负责规定输入是音频加问题、输出是符合格式答案的任务形态；前者提供听与推理的执行能力，后者规定可评测的行为接口，两者搭配才把听懂声音变成可比较的问答成绩。
音频比文字难在需要顺序收听，声音事件随时间展开，模型还要把听到的声学信息与问题中的语言信息对齐。标注思维链示例时也要反复听并写出推理，成本高于文字与图像。论文报告的一个反直觉现象是，直接加 3 个问答演示的少样本做法在多个模型上反而不如只加一句逐步思考的零样本思维链。
举一个教学例子帮助建立输入形态：一段录音读出几个物品与数量，问题问某类物品总数是多少，模型要先辨听物品名再提取数量并求和。这只是例子，不代表论文的真实数值。真实任务覆盖逻辑推理与音乐声学推理两类，论文用两个基准来检验。
理解本节后，读者应能说出每次推理的输入三元组是目标音频、目标问题与一段文字指令，输出是符合格式要求的答案。这种输入输出观是后文核对 2 阶段分工的基础。
已有路线在同输入同目标下如何比较？
相关工作按同输入、同目标、同运行阶段来对照才公平。白话说，零样本思维链是指不给示例、只追加一句逐步思考的提示方法，英文为 Zero-shot Chain-of-Thought，后文简称零样本思维链。白话说，少样本提示是指在推理请求中附带几个完整示例的做法，英文为 Few-shot prompting，后文简称少样本提示。
白话说，策略思维链是指先让模型生成解题策略再按策略推理的做法，英文为 Strategic Chain-of-Thought，后文简称策略思维链。三者输入都是音频加问题，目标都是答对，但运行阶段成本不同。零样本思维链与策略思维链每次只传目标音频，少样本提示每次还要传演示音频。
零样本思维链 × 少样本提示： 零样本思维链分工是不给示例只追加一句逐步思考来激发推理，少样本提示分工是给出若干问答演示让模型模仿；前者省去演示音频传输但缺少任务细节，后者有示例但每次都要传输演示音频，论文正是在这组取舍上提出只归纳 1 次的第 3 条路。
论文把文字领域的指令归纳思想搬到音频，区别是归纳对象包含声音，产物是纯文字的任务级指令。训练路线如在大量数据上微调音频推理模型，与本文的免微调提示路线不在同运行阶段。不能直接比谁更强，只能说本文不做权重更新。
需要纠正一个常见误解：示例越多一定越好在音频上不成立。论文推测多段顺序音频同时进入模型会引入干扰，这与文字示例的经验不同。后文用示例数量与示例选择实验来支撑这一判断。
要解决的两个具体问题是什么？
第一个问题是效果不稳定。论文报告标准少样本提示在音频问答上没有带来预期提升，在一个基准的 9 个模型中有 8 个不如零样本思维链，在另 1 基准上也是好坏参半。论文的有限解释是，没有显式推理步骤、只有直接答案的演示可能干扰模型自己的逐步推理。
但这只是推测，原文用推测语气表述，不能当作已证实的因果机制。第二个问题是推理成本高，每次推理都要处理多段演示音频。论文举例 30-second 音频在某个大音频语言模型接口中相当于 20,000 text tokens 的代价，说明音频标记开销不可忽略，原文为 a 30-second audio sample costs equivalent to 20,000 text tokens 的同组写法。
因此问题可表述为：能否只用少数带答案示例做 1 次准备，之后每次推理不再传演示音频，同时保持或提升准确率。这就引出 2 阶段设计：1 次性归纳，可复用应用。归纳成本每个任务只付 1 次，可分摊到后续大量推理。
本节的问题界定决定了后文实验必须同时报告准确率与成本，缺一不可。只谈准确率提升而不谈是否每次传演示音频，就没有回答论文的完整问题。
成本对照的可比口径是什么，节省来自哪里？
成本问题是输入成本与总成本是否同向下降，归纳成本是否被重复计算。公平条件是只比较每次推理的输入文字加音频开销，归纳阶段单独记并按查询量分摊。指标方向是同准确率下成本越低越好，下表整理论文直接报告的降幅区间与覆盖范围。
| 成本口径 | 相对 3-Shot 降幅区间 | 覆盖模型数量 | 归纳成本是否计入每次推理 | 输出长度是否影响结论 |
|---|---|---|---|---|
| 输入成本 | 53-78% | 9 个模型均下降 | 否 | 否 |
| 总成本 | 19-78% | 8 个模型下降 | 否 | 是 |
| 推理音频量 | 约 3.9× | 主要来自演示音频 | 否 | 否 |
表后解释是：输入成本下降明确，因为推理时省去了 3 段演示音频，只传目标音频。论文报告输入成本下降区间为 53-78%，总成本 8 个模型下降且区间为 19-78%，但个别大思考模型总成本与基线相当或略高。因此不能承诺延迟与误判率同时改善，这些量原文未测量。
总成本是否下降还取决于输出长度，输出变长会吞掉输入节省。这是理解输入节省大而总节省分化的关键机制，也是复现时必须分别记录输入与输出标记的原因。
Audio-Induct 分哪两步走？
论文提出的方法叫 Audio-Induct，白话说就是从少数音频示例中归纳出任务级文字指令，然后反复使用该指令。第一阶段是指令归纳，每个任务只做 1 次，输入是少数带正确答案的音频问答示例，输出是一段纯文字指令。指令包含任务内容、输入格式与操作步骤。
第二阶段是指令应用，对每个新样本，把已归纳好的文字指令与目标音频、目标问题一起交给模型。模型先按操作步骤写出推导，再按格式给出最终答案，推理时不再需要任何演示音频。下面这张总览图把上下两栏分别对应 1 次性归纳与每次应用，适合用来核对示例只出现 1 次而指令被复用的关键主张。
看图路径： 1. 先看上半第一阶段左侧示例框中有三段波形与水果蔬菜计数问答；2. 再看云形框中多模态分析列出的分析音频与识别共性动作；3. 接着看右侧任务指令框中任务内容与操作步骤的结构；4. 最后看下半第二阶段中新问题只配一段目标音频与复用的指令卡
论文图 1。原论文 Figure 1：“Overview of the Audio-Induct framework.”。
从像素可见，上栏左侧是 3 个波形示例与对应的水果蔬菜计数问答，下栏左侧是只有一个波形的新问题。中间卡通人物手持的指令卡在下栏被复用，右侧应用框展示了按听录音、列物品、提数量、分类、求和、输出整数的逐步推导。这支持论文的说法：归纳时同时看多段音频，应用时只看目标音频。
指令归纳 × 指令应用： 指令归纳负责每个任务只做 1 次，从带正确答案的少数示例中提炼文字指令，指令应用负责对每个新样本执行该指令并输出推导与答案；前者把听演示音频的成本摊薄到多次推理，后者保持每次只听目标音频，组合意义是把示例成本从每次推理移到 1 次性准备。
沿一个样本走完全程有助于记忆：以物体计数为例，归纳阶段模型看到 3 个计数示例后写出先转写再求和的步骤。应用阶段新录音说到沙发、烤箱、微波炉等物品，模型按步骤列出每项数量并相加，最后只输出整数。这种走通先于公式细节，公式只是把上述调用写成符号。
归纳阶段的输入表示与计算如何组织？
归纳阶段的输入被定义为示例集合，每项包含音频、问题与正确答案，论文用符号表示音频、问题与答案。用元提示引导模型 1 次生成完成两步，这是本节的核心计算安排。白话说，多模态分析是指模型先分别看文字与音频、再综合找共性并列出难点的思考段，英文为 multi-modal analysis。
白话说，任务指令是指包含任务内容、输入格式与操作步骤的纯文字说明，英文为 task instruction，后文简称任务指令。多模态分析分工是发现规律，任务指令分工是固化规律。搭配理由是先显式写出跨示例的听答模式，再把它变成可执行的步骤。
多模态分析 × 任务指令： 多模态分析负责检查示例中音频内容与文字问答的对应规律并列出难点，任务指令负责把规律写成含任务内容与操作步骤的可复用文字说明；前者是 1 次性的归纳过程，后者是可长期复用的产物，搭配后推理时只需指令加新音频即可执行。
该阶段计算目标是在单次生成中先产出分析再产出指令，原文明确这是通过一个指令归纳元提示在 1 次调用中完成。不做多轮迭代优化，也不更新模型权重。符号与输入的对应关系是：元提示与示例集合为输入，分析与任务指令为输出。
\[(m, PT ) = LALM(PM, E)\]实现上论文把完整元提示模板放在附录，要求输出用标签包裹分析与指令两部分。原文未报告归纳时温度之外的搜索策略，复现时应按实验条件用确定性调用。需要指出，归纳质量依赖模型的指令遵循与结构化输出能力。纯音频无语言模型的架构可能不适用，这是论文在局限中明确的边界。
本研究训练了什么，没有训练什么？
本研究没有训练或微调任何大音频语言模型，没有梯度更新、没有优化器步骤、也没有权重重置环节。真实计算过程是 2 次模型调用：1 次是归纳调用，吃进少数示例音频与元提示，产出文字指令。另 1 次是应用调用，吃进文字指令、目标音频与目标问题，产出推导与最终答案。
2 阶段都不改变参数，冻结与更新的区分不适用。不能从参数冻结推定输出确定，确定性来自接口温度设为 0 的调用条件。应用阶段的符号对应是：任务指令、目标音频与目标问题为输入，预测答案为输出。计算目标是按指令中的操作步骤完成听答。
\[ˆy = LALM(PT , a∗, q∗)\]论文对主实验固定用 3 个示例做归纳，所有调用走官方接口，温度为 0。归纳成本每个任务只付 1 次，可分摊到后续大量推理，这句话是理解成本结论的前提。教学上可以把本节记为无训练提示论文的典型写法：讲清调用什么模型、传入什么、取回什么，比猜测内部梯度更重要。
还需要明确监督来源：归纳阶段用了带正确答案的示例，但这种监督只用于生成文字指令，不用于更新权重。应用阶段不再接触演示音频，只用已固化的指令。因此不存在训练集梯度泄露到参数的问题，只有提示层面的信息复用。
在什么数据、模型与基线上评测，条件是否一致？
评测要回答测什么、与谁比、条件是否一致。数据侧用两个基准：大基准音频版包含形式谬误、导航、物体计数与谎言链 4 个推理子任务。另一综合基准考查对语音、声音、音乐及其混合的声学语言整合推理。
论文说明一个基准的音频已在可接受大小内，另 1 基准的原始波形文件太大。为满足接口文件大小限制，用一款开源播放软件把波形转成单声道压缩音频。给出的参数是 Bitrate: 64 kb/s、Channels: 1 与 Sample rate: 22050 Hz，资源状态显示该软件链接当前可用。
模型侧评测 9 个配置，来自两个系列，包括开放权重系列的迷你与小型，以及另一系列的闪速轻量与闪速与专业版。其中部分启用思考模式，思考预算为 0 表示关闭，为 8192 表示启用默认思考量。基线侧比较 3 种可运行提示策略：零样本思维链、3 样本提示与策略思维链。
少样本示例为无显式推理步骤的问答对，指标用微平均准确率。微平均即把所有样本答对数除以总样本数，每个样本等权，方向是越高越好。实现上归纳与少样本都用 N = 3 个示例，调用温度为 0 以求确定性输出。跨模型迁移实验把一个模型归纳的指令交给另一模型应用，以检验指令是否可转移。
成本分析区分输入成本与总成本，输入成本只计文字加音频，归纳阶段成本不计入每次推理。这种口径划分是后文说节省输入成本但总成本需另看的原因。
主结果在什么条件下成立，未胜出项在哪里？
比较问题是：在相同模型与相同测试集下，1 次性文字指令是否能在准确率上不输、输入成本上更省。公平条件是同一模型、同一评测划分、同一微平均准确率口径，基线均为实际可运行的提示策略。不用事后最优值代替，指标方向是准确率越高越好，成本越低越好。下表整理论文直接报告的总体胜负与显著性结论，数字来自正文连续原句而非自行计算。
| 对比基线 | 胜平负 | 显著性 p 值 | 是否可运行策略 | 推理是否需演示音频 |
|---|---|---|---|---|
| 对零样本思维链 | 13-1-4 | p = 0.006 | 是 | 否 |
| 对 3 样本提示 | 15-0-3 | p < 0.001 | 是 | 否 |
| 对策略思维链 | 14-0-4 | p = 0 .054 | 是 | 否 |
表后解释需要同时讲收益与反例。论文报告该方法对 3 条基线分别取得上述胜平负，并在 18 个模型基准组合上做符号秩检验。对前两者显示显著，对后者显示边缘显著，这支持 1 次性指令总体有效的判断，但趋势不等于每组都成立。
未胜出项明确存在：小模型如迷你版在部分基准上比零样本思维链下降。论文称大模型归纳更强、小模型能力有限，这与文字领域指令归纳的规模趋势一致。下面这组柱状图把每个模型的 4 个子任务拆开，能看到总体胜负来自哪些任务，适合核对大模型一致提升与小模型有升有降的说法。
看图路径： 1. 先确认每张小图横轴是四个子任务纵轴是准确率差值；2. 再按底部图例区分红色对少样本绿色对零样本思维链蓝色对策略思维链；3. 重点比较上排小模型与下排大模型在正负方向上的一致性
论文图 7。原论文 Figure 7：“Complete head-to-head performance comparison across all 9 models on BBA subtasks.”。
从像素可见，上排小模型在物体计数等任务上出现明显的负向柱，而下排大模型多数柱为正向。尤其某个闪速模型在 4 个任务上均为较长的红色正柱，说明相对少样本的优势最稳。另一细节是思考模式开启的模型在各任务上基本不出现下降，这限定了方法的适用条件：归纳与应用都更依赖较强模型。
示例数量、示例选择与跨模型转移说明什么？
本节按论文特有的 3 组对照展开。第一组是示例数量，论文比较 1 个、3 个与 5 个示例做归纳的效果。报告 3 个最优、5 个在若干模型上下降，这与文字领域示例越多越好的经验不同。论文推测多段音频同时整合会引入干扰，待未来验证。
第二组是示例选择敏感性，用原始顺序、逆序与 2 次随机采样做比较，问题是换示例是否导致大波动。下表整理论文直接报告的优势区间与方差结论，比较对象是实际可运行的 3 样本提示，指标方向是准确率越高且方差越低越好。
| 模型 | 相对 3 样本优势区间 | 本方法方差 | 3 样本方差表现 | 结论方向 |
|---|---|---|---|---|
| 闪速模型 | 3.75-7.29% | ∼0.4% | 1.48% | 更稳且更高 |
| 小型开放模型 | 2.71-4.17% | ∼0.4% | 0.26% | 更高且相当稳 |
表后解释是：本方法在 4 种示例变体下均高于 3 样本提示，且两类模型上方差都在约 0.4% 附近。而 3 样本提示的敏感性随架构变化较大，这支持对示例选择更鲁棒的判断。但只在两个代表模型与一个基准上验证，不宜推广到所有模型。
第 3 组是跨模型转移，问题是强模型归纳的指令能否给弱模型用。下面热力图的行是产指令模型、列是用指令模型，三块分别对 3 种基线，适合核对指令质量是否取决于来源模型。
看图路径： 1. 先确认横轴是用指令的模型纵轴是产生指令的模型；2. 再分别读三块热力图标题对应的基线零样本思维链少样本与策略思维链；3. 观察强模型所在行是否整行偏蓝弱模型所在行是否出现橙色
论文图 8。原论文 Figure 8：“Complete cross-model instruction transfer results on BBA.”。
从像素可见，中间对 3 样本的热力图几乎全蓝且右侧列深蓝，说明转移后远好于每次传演示音频。上块对零样本思维链中强模型所在行多数为蓝，弱模型所在行出现橙色负值。下块对策略思维链仍是强模型行占优，这支持用强模型归纳 1 次再分发给便宜模型的部署建议。
策略思维链 × Audio-Induct： 策略思维链分工是在每次推理前先生成解题策略再按策略推理，Audio-Induct 分工是提前把策略固化为任务级文字指令并反复复用；前者每次都要多做一步策略生成，后者把策略生成只做 1 次，搭配比较才能看出节省成本的同时是否保持准确率。
还需说明策略思维链对照的边界：论文称强模型指令在多数跨模型组合上超过该基线。同时省去每次生成策略的开销，但这是在一个基准上的结果，另 1 基准的转移细节未同等展开。
哪些结论不能下，边界在哪里？
论文明确列出 3 类局限。第一，评测同时用商业接口模型与开放权重模型，前者架构未公开。限制对模型特有行为的细粒度分析，复现时只能固定接口标识与思考预算，不能推定内部实现。
第二，方法依赖较强的指令遵循与结构化输出能力，纯音频无语言模型的架构可能无法满足格式要求。适用性存疑，这是框架的硬边界。第三，框架工作在任务级别，要求任务类别预先定义。
在任务边界不清时需要额外的聚类或分类适配机制，未评测该场景。统计上对策略思维链只是边缘显著，不能表述为确证超越。成本上输入成本下降明确，但总成本是否下降还取决于输出长度。
论文报告 9 个模型中有 8 个总成本下降，个别大思考模型总成本与基线相当或略高。相关性不等于因果，示例数量与干扰的解释仍是推测。
要复现应先做什么，需要哪些超参数与信息条件？
复现先做三件事：固定任务划分与音频格式，固定归纳用示例，固定调用条件。数据侧按原文把综合基准的波形转成指定压缩参数，另 1 基准保持原大小。评测用微平均准确率，每个样本等权。
归纳侧每个任务取 3 个带正确答案的示例，配合元提示 1 次生成分析与指令。保留指令文本以便复用，调用侧走官方接口，温度设为 0。另一系列思考预算按 0 与 8192 区分开关，开放权重系列记录迷你与小型版本标识。
基线必须包含 3 个实际可运行策略：零样本思维链、3 样本无推理步骤提示、策略思维链。不能用搜索最优或事后最优代替可部署收益，成本复现要分别记录输入文字标记、输入音频标记与输出文字标记。归纳成本单独记并按查询量分摊。
代码与权重层面，论文未声明本方法代码开源，开放权重模型的权重可下载。但系统可运行还需接口与音频预处理链路自行搭建，建议先在单个大模型与 4 个逻辑子任务上跑通闭环。再扩展到音乐基准与跨模型转移，还需补更多随机种子的示例采样与输出长度受控下的总成本比较。
何时值得尝试，一句话如何记住？
当任务满足 3 个条件时值得尝试：任务类型可预先定义且样本共享同一推理套路，每次推理传演示音频的开销不可忽略。使用的模型能稳定输出结构化推导与最终答案，做法可记为用 3 段带答案音频换一段可复用文字操作手册。
之后每次只听新音频，不值得的情形包括：模型过小导致自行归纳不稳定、任务每次都变且无法复用指令。输出超长吞掉输入节省的场景也不值得优先尝试，论文特有的误解需要澄清。
少样本演示在音频上并非默认增强，它可能干扰逐步推理。示例从 3 增至 5 并非默认更好，总体趋势不等于每个子任务都提升。物体计数等任务在小模型上出现过下降，记住归纳 1 次、应用多次的成本分摊逻辑。
以及强归纳弱应用的部署搭配，就抓住了全文的可操作部分。这种搭配把能力强的模型用于 1 次性准备，把成本低的模型用于大规模应用。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses