既看谱又听录音：HMU-Bench 如何分层考查全模态模型的音乐理解

📄 既看谱又听录音：HMU-Bench 如何分层考查全模态模型的音乐理解

英文题目：HMU-Bench: Hierarchical Music Understanding Benchmark for Omni Models

标签：#音乐分析 | #音频问答 | #基准测试 | #基准设计

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Zheqi Dai：机构信息未在 arXiv HTML 中可靠披露
• Boyang Wang：机构信息未在 arXiv HTML 中可靠披露
• Zhiyue Wu：机构信息未在 arXiv HTML 中可靠披露
• Yiyang Xu：机构信息未在 arXiv HTML 中可靠披露
• Xinming Shi：机构信息未在 arXiv HTML 中可靠披露
• Ruibin Yuan：机构信息未在 arXiv HTML 中可靠披露
• Xuerui Yang：机构信息未在 arXiv HTML 中可靠披露
• Chao Yan：机构信息未在 arXiv HTML 中可靠披露
• Qiuqiang Kong：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

音乐理解要求模型从乐谱或录音中读出音高、节奏、和声与曲式，并把局部证据连成整体判断，开放作答难以只用选择题覆盖。HMU-Bench包含ABC问答与音频问答两部分，前者给ABC谱片段并要求抽取、单步推断或多步推断，后者给完整录音并区分全局与局部范围和易中难配置，答案都对照人工核对的参考答案按0到4分评定。构建时先把Suno生成歌曲经SheetSage2转写为ABC并做规范化，规范后的谱与节拍对齐结果送入人工标注以得到和弦与段落边界。标注修正后的转写与谱片段作为出题证据，其中ABC题目由模型起草后人工核对，音频题目由人工模板实例化并以标注为答案依据，所有题目再经人工核对后入库。评测时回答模型只见问题与谱片段或录音，参考答案与标注只进入评分器得到0到4分，记谱与音频分数分别报告以暴露模态差异。原文未提供可核对的关键定量结果，记谱转调个例还显示评分器会漏判八度错误。结果适用于Suno风格的评估环境，尚未验证到真实商业录音与完整乐谱，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/stepaudiollm/hmu-bench — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文要解决什么输入输出问题

论文讨论的输入有两种。一种是 ABC 文本谱例，附带中文或英文问题，模型要输出开放式文字回答，有时还要给出解释或改写后的 ABC。另一种是完整歌曲录音，附带中文或英文问题，局部题还附带目标段落名、时间窗和小节范围，模型同样输出开放式回答。目标是检验模型能否读出音符、节奏、和弦等要素，说明它们的作用，并把局部细节与全曲联系起来。必须保留的信息包括音高拼写与八度位置、时值与休止、拍号、调号与和声上下文，以及音频中的和弦进行与段落边界。

论文强调基准要同时写清模型能看到什么证据，以及答对需要做什么操作，否则一个总分无法说明失败位置。对于刚入门的读者，可以把任务理解为开卷考试：乐谱卷给谱 excerpt，音频卷给录音加定位，参考答案事先写好但不对考生公开，只交给判分者。

已有基准覆盖了哪些路线

在记谱一侧，论文回顾了多项工作。MusicTheoryBench 随 ChatMusician 发布，用选择题考理论与推理，包含基于 ABC 的推理；ABC-Eval 考符号理解与指令遵循；SSMR-Bench 用规则可验证答案合成五线谱问题；CSyMR-Bench 考原子谱面分析的组合。

MSU-Bench 在完整古典乐谱的 ABC 与 PDF 上做四层生成式提问。这些工作分别建立了记谱理解的不同侧面。在音频一侧，MuChoMusic 在公开配乐上做选择题，后续工作过滤掉不听也能答对的题以保证感知依赖；MUSE 考感知与关系推理，BASS 针对结构与语义推理，MusicBench 评估全局与时间理解，MusTBench 与 MusicGroundingBench 聚焦时间定位，MusICA-MetaBench 扩展跨表征的选择题感知测试。HMU-Bench 的不同在于用开放式问答加人工审定的参考答案，并给每题标注解法需求，对同一批全模态模型同时测记谱与音频。

比较时要注意输入、目标与监督并不相同，选择题与开放式生成、规则判分与参照判分不能直接比高低，只能说它们互补。

为什么要把证据和操作分开标注

论文提出音乐理解基准应当识别两个维度。一是模型可用的证据，是谱面文本还是录音波形，局部题是否给了时间窗。二是答对需要的操作，是直接读出谱面属性，还是套用一次乐理关系，还是链式使用多个关系；音频侧则是全局与局部范围交叉容易、中等、困难要求。举例来说，同样问调式，若谱面直接写了调号，操作只是抽取。

若只给三小节和弦解决与后续色彩，需要先判断 A 大三和弦在 D 小调中是 V 级再看解决到 i 级 Dm，并用 C6 与 Bb 的自然小调色彩排除 F 调，这就是多步推断。论文中的 ABC-V2-0128 正是这类例子，参考答案为 K:Dm 即 D 小调。把标签理解为出题意图而非标定难度很重要，因为题面内容与标签是混杂的，多步题大量集中在调性与和声域，不能直接当成推理深度的受控比较。标注的意义是让失败可定位，而不是给难度排序。

两条构建流水线如何分工

整体流程分记谱与音频两条路径，但都经过材料准备、任务设计与人工检查 3 段。记谱路径从 Suno 生成歌曲出发，经 SheetSage2 自动转谱，再做规范化并截取任务相关 excerpt；音频路径同样从 Suno 录音出发，经转谱后加入人工和弦与段落标注，并用修正后的和弦调整 ABC。之后记谱题由模型起草、音频题由人工模板实例化，最后统一人工检查措辞、音乐正确性以及问题、证据与参考答案的一致性。下图展示了这种双路结构，上下两行分别对应 997 首与 92 首的起点，以及各自的规范化方式与最终题量。

读图说明：这张构造总览图上下对照了乐谱与音频两条路径，建议按从左到右的材料、设计、检查、基准四列阅读，重点看每列的输入输出如何变化。

看图路径： 1. 先看上下两行分别对应乐谱与音频的材料起点与数量；2. 再看任务设计一列如何把乐谱分成三层、把音频分成全局与局部；3. 最后看人工检查列与最终题量是如何衔接的

论文图 1。原论文 Figure 1:：“HMU-Bench construction. ABC Q&A uses normalized SheetSage2 excerpts; Audio Q&A uses transcriptions refined with human chord and section annotations.”。

上排蓝色为 ABC 问答，下排绿色为音频问答。材料列可见波形到转谱再到规范化的箭头，乐谱侧强调保留拼写、音区、时值、休止与拍号并去除歌词等无关文本线索，音频侧强调和弦加段落的人工复核与修正。任务设计列用三角表示抽取、单步、多步三层，用长短波形表示全局与局部的覆盖关系。人工检查列均为问题与答案对照后打勾修订，最终形成 1029 对乐谱问答与 460 对音频问答。这种分工保证两部分证据链清晰，也为后文分开报告分数埋下依据。

乐谱材料做了哪些规范化

ABC 池包含 997 首 Suno 生成歌曲的 SheetSage2 转谱结果。处理包括把旋律事件对齐到时间与节拍，规范和弦符号、行内转调与连音。截取 excerpt 时保留音符拼写、音区、时值、休止、拍号与所需和声上下文，去除歌词、描述性段落名与自由注释，以减少无关文本提示。也就是说，模型不能靠歌词或段落标题猜答案，必须读谱。最终乐谱集有 1029 个中英问题对，来自 997 首歌与 1166 个 excerpt，其中抽取 335 题、单步 441 题、多步 253 题。6 个领域为全局信息、音高与旋律、调性与和声、节奏、曲式与时间关系、可验证符号任务，共 38 种任务类型。

ABC 记谱 × SheetSage2 转谱： ABC 记谱是用纯文本字母、数字和符号记录音高、节奏、调号与和弦的乐谱写法，模型直接读文本即可作答；SheetSage2 转谱是把 Suno 生成的录音先转成 ABC 草稿的自动步骤，它解决从声音到可编辑符号的转换问题，两者搭配后人工只需做规范化和纠错，而不是从零扒谱。

规范化的代价是转谱误差仍可能存在，论文用人工检查问题、证据与参考的一致性来兜底，而不是声称转谱完全正确。英文版与中文版共享同一份记谱，因此中英比较建立在相同证据上，但仍不能分离翻译与评分员效应的影响。

解法需求标签具体指什么

每个乐谱题带有解法需求标签。抽取如读出休止后进入拍，答案属性已编码在记谱中。单步推断如在 K:E 下把 C12 B4 拼成升 C 到 B，判为上行小七度，只用一次音程关系。多步推断如先把和弦做等音 reinterpret，再解释解决与声部进行，需要链式推理。论文明确这些标签描述出题意图，不是标定难度。

实际分布也印证了这一点：253 道多步题中有 165 道属于调性与和声，仅 5 道属于音高与旋律，因此按标签平均的分差混杂了内容差异，不能当成推理深度的受控实验。六域划分同样如此，题量从 25 到 392 不等，域均值反映题目内容与样本量，不代表领域本身的难易。理解这一点才能正确读后文的分组分数。

抽取 × 单步推断 × 多步推断： 抽取指答案直接写在谱面上的属性，如休止后的进入拍；单步推断指套用一次乐理关系，如在 K:E 下把 C12 B4 读成升 C 到 B 的上行小七度；多步推断指连续使用多个关系，如先等音 reinterpret 和弦再解释解决与声部进行，三者搭配把答对需要做的操作显式标出来，便于定位失败在读谱还是用规则。

对初学者而言，复述时要说清标签回答的是正确解答必须做什么，而不是题目有多难，这是论文反复提醒的适用条件。

音频材料与模板如何保证可答

音频集包含 92 首 Suno 录音。标注者逐首听录音，识别或修正和弦与段落边界，修正后的和弦用于调整 SheetSage2 的 ABC 转谱。标注与调整后的记谱作为出题与写参考的证据，段落边界定义局部题的窗口。每首录音贡献 5 个配置各 1 对中英问题：全局容易、全局困难、局部容易、局部中等、局部困难，共 460 对中英问题，每个配置 92 对。乐谱题由 GPT-5.6 Sol 在超强推理设置下起草，音频题从人工模板实例化并从标注中取参考，参考给出结论加要求的解释或改写记谱。

所有条目都经人工检查措辞、音乐正确性与三者一致性，不一致则修订问题、证据或参考后才收录。论文说明歌曲由作者在付费 Suno 订阅下生成并经下载通道获取，仅供评估使用并受 Suno 条款约束。

全局范围 × 局部范围： 全局范围要求听完整首录音后回答整体特征，如音域及其极值位置；局部范围额外给出目标段落名称、时间窗与小节范围，但完整录音仍作为上下文保留，模型既要利用定位信息聚焦片段，又要结合前后音乐判断功能，两者搭配区分整体感知与片段内精听。

这种做法的好处是参考答案扎根于人听过的标注，代价是只覆盖 Suno 生成音乐，缺乏外部真实录音与多样风格，结论不能直接推广到更广音乐来源。

本研究训练了什么没有训练什么

本研究没有训练任何被测模型，也没有报告梯度、优化器或参数冻结细节。7 个全模态被测模型与两个纯文本参照系统均为现成调用：Gemini 3.7 Flash、Gemini 3.1 Pro、Gemini 2.5 Pro、Seed2.0 Lite、Qwen 3.5 Omni Plus、Qwen 3 Omni Flash、StepAudio 3 Realtime，以及仅测乐谱的 GPT-6 Astra 与 DeepSeek V4.1 Flash。实际计算过程是构建与评分流水线：转谱与规范化、人工和弦段落标注、模型起草与模板实例化、人工审核修订，最后用大模型评分员批量判分，共 18522 条乐谱回答与 6440 条音频回答。无训练不等于确定性求解，调用时的采样与评分员行为仍可能带来波动。

论文还提到约 20 个因参考含糊或评分证据不全的条目在修订后重新评分，所有报告分数均使用修订后的参考与评分证据；另有 82 条音频参考待进一步听审，人与评分员一致性尚未测量，相关模型需在统一记录提示下重测，这些都是复现时要留意的未完成项。

输入输出与判分规则如何控制

乐谱查询由中文或英文问题加记谱 excerpt 组成，中英配对共享同一份记谱；模型返回开放式回答，含要求的解释或改写 ABC，参考与评分标准不对作答模型可见。音频查询由完整录音加中文或英文问题组成，中英配对共享同一录音与定位信息，局部题额外给出目标段落、时间窗与小节范围，但完整录音仍作为上下文；人工标注与调整后 ABC 只用于出题与评分，不提供给作答模型。

评分由 Qwen 3.5 Flash 按问题与参考执行，乐谱题还看记谱，音频题还看结构化要点与文字标注但不听录音，音频要点列出必需事实、可接受替代与易混淆项。等级为 0 到 4 整数：0 为错误、无依据或缺失，1 为大部错误但有少量相关内容，2 为部分正确但有重要错误或遗漏，3 为核心结论正确仅有小遗漏或不精确，4 为完整正确；等价音乐表达可接受，缺要求的解释或成分则不能满分。评后人工抽查分数与理由，修订后重评。总体分按题等权平均并分中英报告，分组分合并双语。

音频另报满分率。下图说明了作答与判分的隔离设计。

读图说明：这张评估流程图左侧是两种考生输入，中间是被测模型与评分员的交接，右侧是分路报告，建议重点看参考与证据只进入评分员这一隔离关系。

看图路径： 1. 先看左侧两种输入分别包含哪些证据以及局部定位符的位置；2. 再看中间被测模型与评分员之间传递的是作答还是参考；3. 最后看右侧 0 到 4 分如何分成乐谱与音频两路报告

论文图 2。原论文 Figure 2:：“Evaluation workflow. References and annotations enter only the grader; notation and audio scores are reported separately.”。

左侧可见 ABC 加问题与音频加问题两路，音频图标中虚线框出局部定位段但仍保留全曲波形为背景。中间全模态模型输出作答箭头指向大模型评分员，评分员下方另有参考加证据输入，说明考生看不到答案。右侧 0 到 4 分按乐谱分中英报告、音频加报分数与满分率分开呈现。

参考答案 × 大模型评分员： 参考答案是人工审定过的结论加解释或改写后的记谱，是判分依据；大模型评分员是论文用的 Qwen 3.5 Flash，它对照问题、参考答案和证据给 0 到 4 分，乐谱题还看记谱、音频题还看结构化要点与文字标注但不听录音，两者搭配实现开放式作答下的统一参照评分。

平均分 × 满分率： 平均分是全部 0 到 4 分的算术平均，反映整体水平；满分率 FCR 是得 4 分的题目占比，反映完全正确的比例，两者搭配看既能发现部分得分的差异，也能发现真正做对的稀缺程度，在音频这种低分区尤其重要。

这种隔离的意义是防止参考泄露，代价是音频评分员实际只看文字证据而不听声音，对音色、演奏细节的判断依赖标注的完备性。

乐谱问答的主结果与分组表现

乐谱部分的比较问题是：在相同记谱证据与统一参照评分下，7 个全模态模型与两个纯文本参照的中英平均分、六域与三层解法需求表现如何，分数越高越好，满分 4 分。这次比较的公平条件是所有模型面对同一批 1029 对问题与审定参考，评分员与提示一致，中英分别平均，分组分合并双语，但题量与内容在域与层之间并不均衡。

上表选择了原表 1 的总体与前 4 个领域列，保留了从高到低的模型顺序与原始小数精度。表后解释如下：Gemini 3.7 Flash 在全模态中领先，Seed Lite 与 StepAudio 3 紧随其后，纯文本 GPT-6 Astra 高于所有全模态，这与下文整理表一致。每个全模态在全局信息域最高，6 个中有 6 个在音高与旋律最弱，Qwen 3 Omni Flash 则在可验证符号任务最弱，但域均值混杂题量与内容，不能读成领域难易的一般结论。解法层次也不按预期排序，例如 Seed Lite 抽取 3.56 而多步 3.48，Gemini 3.7 Flash 反而多步更高，原因仍是内容与层次混杂。未胜出项同样重要：Qwen 系列在乐谱端明显偏低，为后文音频排名反转埋下伏笔。

核心乐谱总体分的精简对照见下表，数字与单位均来自原文连续句，分数为 0 到 4 平均分，越高越好。

上表只整理总体分以便快速复述，完整域与层次细分以原表 1 为准。其限制是未包含 38 种任务类型细节与样本量差异，引用时应同时说明分组不均衡与内容混杂，不能把总体领先推广到所有乐理操作。

音频问答为何整体偏低

音频部分的比较问题是：在完整录音输入与相同参照评分下，7 个模型在全局与局部、不同难度上的平均分与满分率如何，分数越高越好，满分率是得 4 分占比。表前公平条件是每配置每录音一题共 460 对，中英分别平均，分组分合并双语，评分员不见录音只看文字证据。精简对照如下，数字来自原文连续句。

没有模型音频均值超过 1.4，最高者 Qwen 3.5 Omni Plus 在 4 种配置领先，Gemini 3.7 Flash 在局部中等以 1.000 领先；局部困难对所有模型最弱，仅 0.060 到 0.261；每个模型全局均高于局部，如 Qwen 为 1.867 对 0.975。但范围与难度未与内容独立变化，差距不能分离为定位或推理深度的纯效应。更关键的是双语乐谱与音频排名的 Spearman 相关仅负 0.04，且两部分用不同歌曲与任务，因此不是受控的模态比较，只能说分开报告是必要的。谐功能案例也显示差异：JAZZ16-V4-T02-Q03 问首段结尾 C7 后接何和弦及其在主调功能，参考为 00:44.43 到 01:06.43 的 C7 到 Fm 即 F 小调 V7 到 i，Qwen 答对和弦与功能得 4，Gemini 3.7 Flash 误作 F 与 F 大调得 1，Gemini 2.5 Pro 虽说出 Fm 却置于降 A 大调作假 V/V 到 vi 也得 1，说明说出和弦名与在调性中 grounding 功能是不同要求。

语言与移调检查带来什么新信息

语言比较的附加问题是中英是否系统性更容易。结果显示并非如此：Qwen 3.5 Omni Plus 英文比中文低 0.119，StepAudio 3 英文高 0.102，其余差异更小且方向混杂，论文明确这只是描述性比较，未分离翻译与评分员效应，不能读成某语言能力更强。解法层次的附加分析已在前文说明，标签均值受内容混杂影响。另一类特有细节是符号输出的评分检查：ABC-V2-0002 要求从升 C 小调下大二度移到 B 小调，正确需移调音高与和弦符号并保留时值休止与连音，但 Seed Lite、Qwen 3.5 Omni Plus 与 StepAudio 3 的回答中 1 到 3 个应为低音 B 的音被写成高八度的 B，却仍各得 4 分。

这说明大模型评分在高分段可能漏掉八度错误，需要事件级校验；论文也强调这只是示例，不估计评分员整体错误率。音频侧满分率同样揭示部分正确与完全正确的落差：全局容易满分率可达约 40%，而局部困难几乎为零，平均分相近时满分率可能差异很大，复述时应同时给出两者。

结论在什么条件下才成立

论文自述多项局限，决定了结论边界。音乐仅为 Suno 生成，缺乏更广来源，不能推广到真实商业录音或多样风格。缺少无问题基线控制，无法像先前工作那样量化多少题不听也能答对。82 条音频参考待进一步听审，人与评分员一致性尚未测量，受影响 ABC 模型需在统一记录提示下重测。乐谱与音频用不同歌曲与任务，因此乐谱高、音频低与排名低相关不能读成同一材料的模态差距，只能作为分开报告的动机。

分组分受题量与内容混杂影响，不能读成领域或推理深度的纯效应。移调八度案例只说明高分需事件级校验，不估计整体误判率。初学者常见误解是把总体领先当成全面更强，或把相关当成因果，或把无训练当成输出确定，这些在本文证据下都不成立。引用数字时要保留指标、语言、配置与聚合方式，例如说明是中文总体均分还是合并双语的某配置均分加满分率。

复现第一步做什么需要什么

复现应从证据链重建开始，而不是直接跑模型。首先按论文所述准备材料：获取 Suno 生成歌曲的下载版本，用 SheetSage2 转谱并做节拍对齐与符号规范，音频侧补充人工和弦与段落标注并用修正和弦调整转谱，截取时保留拼写、音区、时值、休止、拍号与和声上下文并去除歌词等线索。然后用审定后的中英问题与参考、结构化评分要点与评估提示调用被测模型与 Qwen 3.5 Flash 评分员，保持问题、证据与参考的对应与版本一致，注意约 20 条已修订条目需用修订版。

关键信息条件是作答模型不见参考与评分标准，评分员乐谱见记谱、音频见文字证据而不听录音，局部题给全曲加定位符。论文称数据、标注、评分提示与已评分回答将发布于所列仓库，但本次可核验的资源均为第三方镜像链接，不能据此写作者资源已公开或可运行；代码开源、权重可下载与系统可运行是三件不同的事，需分别确认。

还需补的验证包括听审剩余 82 条音频参考、测量人与评分员一致性、在统一记录提示下重测受影响模型，并扩展到更广音乐来源与无问题控制。

什么时候值得尝试还缺什么

当研究目标是同时了解模型读谱与听录音的能力，并需要定位失败在抽取还是推断、在全局还是局部时，这套分层标注与分开报告的思路值得借鉴。它的价值在于用解法需求与范围难度标签把开放式回答的可比性建立起来，用隔离评分保证参考不泄露，并用案例揭示平均分掩盖的八度与功能 grounding 问题。代价是构建依赖大量人工听审与修订，且当前仅覆盖 Suno 生成音乐与特定模板分布，音频评分又依赖文字标注的完备性。

下一步最需要补的是听审完整性、人机一致性与统一提示重测，以及更广来源与控制实验。总体判断应限定为：在本文歌曲、题型与参照评分下，最强系统乐谱表现高而音频普遍低，两类排名几乎无关，高分符号输出仍需事件级校验。超出这些条件的外推需要新的证据。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递