📄 工具给对了信息，模型为什么还是答错：推导深度暴露的音乐分析短板
英文题目：Derivation Depth Exposes Reasoning Failures in Tool-Augmented Music Analysis
评分：7.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Rupali Rajesh：机构信息未能在本次解析中与作者逐人可靠绑定
- Sethuraman T：机构信息未能在本次解析中与作者逐人可靠绑定
- Savya Khosla：机构信息未能在本次解析中与作者逐人可靠绑定
- Srinidhi Sunkara：机构信息未能在本次解析中与作者逐人可靠绑定
- Aditya Shanmugham：机构信息未能在本次解析中与作者逐人可靠绑定
- Rohan Maheshwari：机构信息未能在本次解析中与作者逐人可靠绑定
- Derek Hoiem：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
研究对象是带有音乐信息检索工具的音频问答系统，输入是音频和工具报告的文字测量，输出是对终止式、转调、调式、动机、曲式等问题的二选一判断，困难在于工具常只给中间测量而把最后一步推导留给模型。论文引入推导深度，即从工具测量到答案需要的推理步数，用同一音乐事实的不同文字包装控制信息量不变，只改变距离。方法上先用程序生成最小对立乐曲并渲染音频，再以六种报告格式和四级推导阶梯送入五个音频语言模型，配对计分要求对立两曲同时答对，对比无音频和有音频条件，并用知识单点提问和层内读出检验失败来源。相对已有只看最终准确率的工具评测，关键差异是分离了工具是否给对信息和模型是否会用信息。在转调推导阶梯无音频条件的配对准确率比较中(n=72)，三个开放模型在结论直述d0时均为100%，只给新调名d1时为57%-81%低于d0，给转调和弦d2时为0%-26%进一步低于d1。结论适用于当前五模型和所测五任务，音频补充、真实librosa输出和GuitarSet实录均未消除差距，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决的音乐分析困境是什么
想让机器回答转调到大调还是小调、终止式是正格还是阻碍、曲式是 ABA 还是通作，这类问题听起来基础，把音频直接交给音频语言模型，效果停留在机会水平附近。音频语言模型在这里指能同时读取音频和文字并作答的模型，论文首先确认了它恢复基本音乐属性时的起点位置。
于是常见做法是在中间加入音乐信息检索工具。音乐信息检索工具指从音频计算调、和弦、结构相似度等测量值的传统信号程序。理想分工是工具负责听准数值，模型负责把测量值变成答案。已有评测主要看最后答对与否，工具算错与模型误读工具输出交织在一起。本文聚焦后一半：在给出的音乐信息完全正确的前提下，模型能否把答案推出来。
对刚入门的读者，关键是记住输入有两路：音频片段和工具的文字报告，输出是一个音乐判断。信息正确与作答正确之间还隔着推理。工具设计为模型留下多少推导工作，这正是全文要量化的对象。
已有工具增强路线为什么还说不清失败原因
论文把背景分成两条线。一条是经典音乐信息检索，已经能给出调、和弦、结构等测量；另一条是最近的工具增强音频系统，报告说加入外部证据带来明显提升。两条线都默认工具给得越准，模型答得越好。
这两条线留下一个缺口：工具常常只给中间测量。比如工具说新调是 D major，用户问的却是新调是大调还是小调，模型还要自己补上 D major 是大调这一步。最终答错时，原因可能在工具数值，也可能在模型补这一步的过程里。已有评测只量最终正确率，恰好把这两种原因放在同一个分数里。
所以作者另做一把尺子，专门量模型还要走几步。这也是全文只谈转调、终止、调式、动机、结构 5 个小任务的原因：它们都对应工具常报告的属性，便于固定事实、只变换写法，再看模型能否从正确信息推出答案。
推导深度到底在数什么
推导深度是本文的核心度量，指从工具测量到答案之间需要的推理步数。零步是报告已经写出结论，例如直接说转到大调；一步是只给新调名 D major，模型要认出这是大调；两步以上是只给副属七和弦或只给组成音，模型要先拼出和弦、再推出解决到的调、再判断大小。
论文用一个例子讲清代价：工具说新调是 D major，问题问大调还是小调，答案都是大调。信息实质相同，只是写法从说结论变成给数值，开放模型的正确率就明显下滑。直接单问 D major 是大调还是小调时三者又都能答对，说明知识具备，难点在把知识用到工具输出上。
理解这个定义，后面所有掉点曲线才有意义：横轴是题目离答案越来越远，深度从零到多步，报告从结论退到原始测量。评价工具增强系统时，既要问信息给到没有，还要问离答案几步。
整个测试链条是如何搭起来的
链条分五步：先有乐谱事实，再渲染成音频，再用模板或真实分析器生成工具报告，再把问题加报告一起提示模型，最后按成对正确率打分。实验还设了无音频和有音频两种输入条件，前者看模型只读报告作答的表现，后者看加上原音频能否补救。
下图是全文的路线图，先看主链条，再看两种失败模式，读图时重点区分读结论和做推导的位置。
音频语言模型 × 音乐信息检索工具： 音频语言模型负责读问题和作答，但直接听音频辨调式、终止式很不可靠；音乐信息检索工具负责从音频算出调、和弦、结构相似度等测量值。二者搭配的理由是让工具做测量、模型做高层判断，组合后本应兼得信号测量和语言推理，但本文发现模型读不懂中间测量，搭配并没有自动成功。
看图路径： 1. 先看上面一行从音频到工具再到问题和答案的主链条；2. 再看下面两种失败：照抄错误结论与不会从中间量推导；3. 注意第二个例子中工具只给原调和副属和弦，问题仍问新调大小
论文图 1。原论文 Figure 1:：“Setup and failure modes. (a) The model answers a musical question from the audio and an MIR tool’s output.”。
这张图确实可见上下两大块。上块是五格主流程：音频输入、检索工具、工具输出、给模型的提示、模型答案，提示里同时写着问题和工具输出。下块展示两种失败：上面是工具写成小调而真相是大调时模型跟随错误结论，下面是工具只给原调和副属和弦时模型答错或表示拿捏不定。它帮助理解后文所有对照都是在同一链条上只换报告写法，音频和真相都固定，失败位置因此可以归到读结论还是做推导。
题目和音频是如何保证真相唯一的
每个任务都是最小对：同一首短曲写两个版本，只差一个属性。例如终止式任务只差最后是正格还是阻碍，转调任务只差新调是大调还是小调，调式任务是 Lydian 和 Ionian 只差一个音，动机任务是移调再现还是新动机，结构任务是 ABA 还是通作。这样正确答案的唯一决定因素就是目标属性，编曲和音色带来的干扰得到排除。
所有题目先按程序写谱，再用 FluidSynth 加钢琴音色渲染成音频，模板报告直接从已知乐谱填写，所以真相精确。每个任务有少量基础曲，每首再做多次移调，覆盖正负几个半音内，一般每任务几十对。推导阶梯另造一批题目，变换调和谐声关系而只是移调，保证每份报告都相异，模型难以靠记忆调名作答。
真实性检验用两套：同一音频跑真正的分析器重建报告，以及几十首带专家调性标注的吉他录音。这样既有完全可控的合成集，又有真实工具和真实录音，可以检验掉点是否只在模板里出现。
六种报告写法和四级阶梯分别藏了几步
同一转调事实有 6 种常规写法加一个翻转对照。结论句直接说第几小节转到新的大调；键值对只给某小节区间的调名；散文同样说出结论但带经过和弦；完整工具输出逐小节列和弦。
再加上噪声版和同样内容的 JSON 结构。翻转版故意说成小调，用来测模型是核验还是跟从。6 种写法模拟工具在真实系统中可能呈现的样子。
推导深度 × 工具输出格式： 工具输出格式是同一音乐事实的不同写法，从直接说结论到只给原始和弦音高；推导深度是为这些写法排序的尺子，记录从测量到答案还差几步推理。格式解决信息以什么面貌出现，深度解决模型还要补几步，合起来才能把最终正确率下降归因到推理距离，而不是归因到信息缺失。
推导阶梯把推理距离排得更干净：零深度说结论，一步给原调和新调，两步给作为证据的转调和弦，三步只给该和弦的组成音。每阶信息都充分，只是每深一层就扣掉一个推理前提。其中键值对写法有个混淆是它只给新调而缺少原调，连转调发生都难以确立，所以严格比较深度时要看阶梯，阶梯保证只变步数而信息完整。
本文训练了什么，又实际执行了哪些计算
本文没有训练任何新模型，也没有微调被测模型。3 个开放权重模型在本地运行，两个前沿模型通过接口调用，权重全部冻结。论文要观测的是已有模型读工具的能力，工作重心在评测设计，而非提出新的训练方法。
实际执行的计算是评测构造和探测：程序化写谱和音频渲染、用模板填报告、用真实分析器跑同一音频、两种输入条件下批量问答、关键词自动打分并用人工打分校验一致性、按基础曲重采样的自助法给区间。机制部分还执行了逐层解码和隐状态注入，以及两步调用补救。
因此所有结论都是关于推导环节的观测。文中没有报告训练耗时和梯度路径，观测到的掉点归到从测量到答案的推理过程。
模型、计分和知识探针如何保证公平
被测模型共 5 个：3 个开放权重模型加上两个前沿模型。每种报告格式都跑无音频和音频叠加两种条件，前者隔离读报告能力，后者检验音频能否补救。同一题目在两种条件下只差有没有给音频波形，报告文字和问题保持一致。
最小对 × 成对正确率： 最小对是只差一个音乐属性的两首曲子，例如大调转调和小调转调各一首；成对正确率要求两首必须同时答对才算一对正确。最小对保证答案只能由目标属性决定，成对计分保证总答大调或总答小调的偷懒策略最多对一半中的一半，组合后测量的是真分辨能力，原文机会水平为 25%。
计分用成对正确率：每题含大小调各一首，必须两首全对才算对 1 对，总答同一答案只能得 0 分，机会线较低。区间按基础曲而不是按移调版本重采样，因为同一曲子的移调彼此关联，直接按条目算会高估稳定性。
知识探针单独直问每阶需要的乐理：一步问某调名是大调还是小调，两步问属七和弦解决到哪调以及某音级大小，三步问一组音拼成什么和弦。规则还用陈述规则、选择题和允许推理多种问法复核，确认问法简短是否低估知识，从而把缺知识和不会组合分开。
说了结论就照抄，说错了也照抄吗
当工具直接说结论时，5 个模型几乎全对；但把结论故意写反，正确率掉到零，前沿模型也不例外，加音频也没用。说明模型读到了报告，但不核验结论，结论式报告的权重压倒了其他证据。
下表比较直接结论与翻转结论下的表现，比较问题是同样信息下模型是验证还是跟从，指标方向是跟从错误结论比例越高越差。
| 条件 | 指标 | 基线直接说结论 | 翻转结论 |
|---|---|---|---|
| 5 个模型无音频 | 成对正确率 | near-perfect | 0% |
| 5 个模型有音频 | 是否跟从错误陈述 | 仍近全对 | 仍全部跟从错误陈述 |
这个对比的限制在于：直接给结论的高分不能当成理解，因为一翻转就全错。这只能证明不核验，不能证明模型完全没看音频。后文用真实分析器算错和吉他录音错标注重复了同一模式，在合成与真实录音上都成立，因此盲从不是模板措辞造成的偶然现象。
离答案多一步，正确率掉多少
去掉结论只给测量，开放模型从满分掉到三成多，前沿模型掉得少但也掉。转调阶梯最典型：同样问新调大小、答案都是大调，结论换成调名剩一步时就明显下滑，给副属和弦掉到机会线附近，只给音高直接归零。
观察任务是看同一事实下正确率随深度的变化，横轴每加一步就扣一个前提，纵轴越高越好。下图展示三任务随深度的曲线，读图时注意开放与前沿的分化位置。
看图路径： 1. 横轴是需要的推导步数，纵轴是成对正确率，虚线是机会线；2. 比较转调子图里开放模型随深度快速下落的曲线；3. 注意结构与终止式上下落位置不同，前沿模型在深层出现分叉
论文图 2。原论文 Figure 2:：“Pair accuracy against derivation depth on three tasks, no audio, n=72 independent items each.”。
这张图确实可见三幅小图分别为结构、转调、终止式，横轴是所需推导步数，纵轴是成对正确率。开放模型随横轴增加迅速下落，转调和终止式在较深处已贴近或跌破虚线，前沿模型在深层出现分叉。它说明掉点不是题目本身变难，而是写法离答案变远，且不同任务在不同步数上崩。
下表把转调阶梯的掉点具体化，比较问题是信息充分时距离是否单独导致失败，数值越高越好。
| 推导深度 | 报告内容 | 开放模型成对正确率 |
|---|---|---|
| d0 说结论 | 直接说大调 | 100% |
| d1 给调名 | 只给 D major | as low as 57% |
| d2 给和弦 | 只给副属和弦 | 0–26% |
| d3 给音高 | 只给组成音 | 0% |
一步就丢几十个点，深层直接归零。但终止和结构崩的位置不同，前沿模型在终止和结构各阶接近满分，只有转调深层分化，所以不能把转调的陡峭推广到所有音乐任务，任务难度与所需乐理共同决定了曲线的形状。
掉点是因为乐理不会，还是会却用不出
一步需要的知识是认出某调名是大调还是小调，3 个开放模型单独直问都能答对，但放回转调问题里最低只有一半多。这证明第一步失败不是缺知识，而是不会把已知事实用到工具输出上。深层则是两者兼有：有的模型缺中间理论，有的知道单点事实仍拼不起来。
知识探针 × 推导阶梯： 推导阶梯是把同一转调事实放在 d0 说结论、d1 给新调名、d2 给转调和弦、d3 只给和弦音高的对照；知识探针是把每一阶需要的乐理单独拿出来直问，例如 D major 是大调还是小调。前者测用起来会不会，后者测知不知道，合起来才能区分是缺知识还是有知识却不会用到工具输出上。
下表对比单问知识与放回推导的表现，比较问题是同样深度下知识有无与用出与否如何分离，指标仍是成对正确率，越高越好。
| 对比对象 | 条件 | 结果 |
|---|---|---|
| 开放模型单问 | 认调名大小 | 100% accuracy |
| 开放模型放回作答 | 转调一步推导 | as low as 57% |
| 前沿模型深层 | 转调两步与三步 | 15%，86 and 82% |
有知识不等于会用，这是全文最关键的限定。前沿模型在最难链条上分叉，一个在深层崩到十几，另一个保持 80% 以上，说明内部推理能力影响了深层表现。限制是知识探针只覆盖转调所需的 3 类事实，深层拼和弦开放模型正确率很低，所以深层失败里知识缺口依然存在，不能全归因于组合失败。
音频和真实录音也救不了：深层加音频仍上不去；真实分析器正确时结论式近全对、测量式掉几 10 分，算错时模型照跟；吉他录音上错标注跟从率从三成到全部跟从，而只听音频时开放模型还能认对一半左右，前沿模型只听音频反而很低。
让模型先写中间步骤能救回来吗
两步调用是先让模型说测量说了什么、意味着什么，第二步只看自己的第一步陈述作答，不再给原始测量，这与普通思维链还允许回看原证据不同。比较问题是在结论曾形成或从未形成时，外化中间步骤是否有用，指标仍是成对正确率，越高越好。
| 任务与深度 | 单次作答 | 两步作答 |
|---|---|---|
| 终止两步 | 17% | 42% |
| 结构坏例 | 0% | 17% |
| 结构一步 | 100% | 62% |
| 结构两步 | 90% | 38% |
只有终止中间深度和个别结构坏例变好，深层转调仍是零，终止最深层还从十几掉到个位数，结构浅层反而因中间总结丢掉第二步需要的乐谱分数而大跌。说明外化只在网络已形成信息时有选择性帮助，不能扩展推理深度，还可能丢掉终答需要的信息，因此不能当成通用补救。
结论是在内部从没形成，还是形成后丢了
行为掉点分不清两种机制，论文对一个开放模型做了层内探测。固定接续让模型必须在答案位表态，再把残差流逐层投到输出头，看正确词与错误词的概率差。观测加干预组合，才能区分从未形成与形成后丢失。
logit lens × 激活 steering： logit lens 是把每一层残差流投到输出词表，看正确与错误答案词的对数概率差何时出现，用来判断结论是否曾在内部形成；激活 steering 是把说结论条件和要推导条件的平均隐状态差注入推导过程，看能否把行为救回来。观测加干预组合，才能区分是从未形成结论，还是形成了却在最后丢失。
读图说明聚焦层数与概率差的变化：左为转调深层，右为结构完整报告，蓝色是直接给结论的高幅对照，橙色是需要推导，纵轴是正确减错误的差值，零表示没偏好。
看图路径： 1. 先看左右两幅分别对应转调和结构两种条件；2. 看蓝色直接给结论曲线随层数上升到高幅，橙色需推导曲线是否跟上；3. 注意右侧橙色需推导曲线在第 25 层升至约 +0.9 再向输出回落，左侧橙色始终贴零
论文图 3。原论文 Figure 3:：“Logit lens on Qwen2.5-Omni: log-probability margin between the correct and incorrect answer words decoded from each layer.”。
这张图确实可见左侧转调橙色需推导曲线始终贴零、蓝色直接给结论对照随层数升到高位；右侧结构橙色需推导曲线在第 25 层升至约 +0.9 再向输出回落，而蓝色对照更高约 +6。它对应文字结论：转调是缺席失败，从没可靠解码；结构是丢失失败，多数题目曾在中间层可解码但到输出减弱。多数题目 93% 可解码是来源正文逐项探针的结论，不是由这条聚合曲线的高度推出的。
行为上结构深层仍保持较高正确率，与内部曾形成一致。干预也对得上：转调注入平均隐状态差几乎不涨分，提示中写明规则开放模型仍无改善而前沿模型大幅回升，说明转调缺的是推导本身，不是少一句话规则。
这些结论在什么条件下才成立
合成集控制最严但最不像真实音乐：短谱、钢琴音色、模板报告，真相精确但生态效度低。真实分析器和吉他录音补了真实性，但吉他集只测调性标注一种，且只听音频时开放模型约对一半、前沿模型仅 10% 左右，说明音频基线本身就弱，不能指望音频补救。
机制结论只在一个开放模型的 2 个条件上测过：转调深层几十题和结构完整报告几十题，外加多层多档强度的转向注入。不能推广到所有模型和任务，结构上丢失不等于所有丢失都能靠两步调用救回，实际两步调用在结构深层反而变差。
还有一个易误解：翻转结论跟从率高不等于模型完全不听音频，而是结论式报告权重压倒音频和推理；测量式掉点也不等于工具无用，而是工具设计要算上留给模型的步数。缺证据不等于技术有错，相关也不等于因果。
如果要复现，第一步做什么
先复现最小对和成对计分：按论文写少量合成曲、移调、渲染，再对同一事实写多种格式和多级阶梯两套报告，跑无音频和音频叠加两种提示，用关键词判分并抽上 100 条人工核对一致性，再按基础曲重采样上 10000 次给区间。关键是同一事实只换写法，真相和音频不动。
关键信息条件要保留：转调阶梯几十题、知识探针每问几十题、吉他录音几十首、真实分析器在不同模型运行时正确对数略有差异。缺的是完整超参数表和解码设置，原文未披露温度和采样细节，复现时应固定为贪婪或记录种子，并固定提示措辞。
来源方面，本次未发现绑定且完成验证的作者资源，不得声称代码模型数据已公开；吉他集是第三方开放许可，合成音频无第三方权利，人声基线为 1 位知情音乐人、无个人数据。
什么时候值得试工具增强，接下来还缺什么验证
当工具能直接输出用户要的结论词，例如直接写大调而非只给调名，且你接受模型会盲从错误结论时，工具增强最稳。只要还剩一步换算，就要按推导深度做对照，并在翻转结论下测跟从率，不能只看最终正确率。部署前要明确工具输出离答案几步，以及模型在该步数上的实测表现。
论文建议的训练方向是奖励正确读工具，而不仅是正确调工具，用深度样例和翻转对照做监督或奖励信号，同时检验是否核验而非跟从。这仍是建议，未在本篇验证，不能当成已证有效的改进。
未来要补三项：在更多模型和非西方音乐体系上重测深度曲线；在真实工具错误分布下测核验能力而非只用故意翻转；在部署预算下测延迟和调用成本。本文没测误判率、延迟和成本，不能承诺这些会改善。总体判断是：改进工具本身不够，工具输出要为模型的可靠推导步数留余量。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses