📄 看得懂谱，听得出演奏，才算懂音乐：MuSP-Bench 为何要把乐谱与演奏放在一起考

英文题目：MuSP-Bench: Advanced Multimodal Benchmarking of Music Understanding across Score and Performance

一句话：MuSP-Bench 用 490 道由音乐家围绕完整作品编写的长程题目，把乐谱意图与演奏实现之间的诠释性推理做成可控对比的基准，并用四种等价输入证明结构化符号在分析上最强而原始音频与图像的联合推理仍大幅失效。

标签：#音乐理解 #多模态模型 #基准测试 #模型评估

评分：6.2/10 | 创新 1.4/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Milan Liessens Dujardin：机构信息未在 arXiv HTML 中可靠披露
• Song-Ze Yu：机构信息未在 arXiv HTML 中可靠披露
• Kevin Miao：机构信息未在 arXiv HTML 中可靠披露

💬 毒舌点评

用490道人工长程题把乐谱意图（Score）与演奏实现（Performance）的诠释性推理做成可测基准，精准命中既有基准只做单图短ABC或只做音频感知的盲区，设计洞察到位。短板是仅18首古典钢琴+6段管弦乐、490题切分子集后统计功效薄弱，且仅测5个前沿模型、缺人类天花板与显著性检验，标注一致性与难度校准亦未量化，导致区分度与外推性仍模糊。

📌 核心摘要

既有音乐理解基准多孤立评估乐谱或音频感知，缺乏对乐谱意图与演奏实现之间跨模态、长时程诠释性推理的系统检验。为此论文提出MuSP-Bench（Multimodal Score-Performance Benchmark），由2名专业音乐家围绕18部完整古典钢琴作品/乐章与6段管弦乐摘录人工编写490道题目，其中460道为开放式预定义格式（音高、小节号、和弦进行、时间戳、乐句等，允许多答案以容纳歧义）、30道为选择题，覆盖音高、织体、和声、曲式、演奏技法与诠释等层级。基准按四维标注：模态（Modality，S/P/S&P/S/P）、时域跨度（Horizon，短19.2%/中25.1%/长36.1%/任意19.6%）、内容层级与操作类型，并支持音频（Audio）、演奏MIDI文本化（MIDI-as-text，ABC音名渲染）、ABC记谱与乐谱图像（Score Image）四种等价输入的对齐对比。实验评估GPT-5.6 Sol、Qwen3.6-Plus、Audio Flamingo Next、Muse Spark 1.2、Qwen3.5-Omni-Plus共5个前沿多模态大模型，发现结构化符号输入在分析类任务上最强，而图像与音频仅在调性、风格、作曲家等全局属性上占优，跨模态联合推理（S&P）仍大幅失效。该基准为面向教育与艺术实践的真实音乐智能提供了稀缺的长程跨模态评估基础，但样本局限于古典、题量与模型覆盖有限。

🔗 开源与复现资源

• 代码：论文中未提及代码链接
• 模型权重：论文中未提及
• 数据集：MuSP-Bench包含490道题目，获取地址为 https://musp.vaclis.net，底层乐谱与演奏数据来自(n)ASAP、PianoCoRe和BSED，论文中未提供这3个来源数据集的具体下载链接与开源协议
• Demo：论文中未提及
• 复现材料：论文中未提及训练配置与检查点，仅说明评估采用确定性答案归一化，并在多种输入条件下测试，包含ABC与PDF转图像的乐谱、音频与文本形式MIDI，论文中未提供附录链接
• 论文中引用的开源项目：论文中提及MusicTheoryBench、MMMU、WildScore、ZIQI-Eval、ABC-Eval、MSU-Bench、MusiXQA、SSMR-Bench、HumMusQA、MUSE、CMI-Bench、MusTBench、MuseBench、(n)ASAP、PianoCoRe、BSED、GPT-5.6 Sol、Qwen3.6-Plus、Audio Flamingo Next、Muse Spark 1.2、Qwen3.5-Omni-Plus，论文中未提供上述项目的具体链接

🧭 深度解读

为什么听懂音乐，比识别音符难得多

想象你坐在琴房里，面前是一份十几页的奏鸣曲乐谱，耳边是同一首曲子的录音。乐谱写着作曲家想要什么：音高、节奏、力度、声部走向；录音则呈现演奏家实际做了什么：哪里抢了一点，哪里压轻了，哪个声部被刻意突出。真正的音乐理解，发生在两者之间——你得把纸上的意图和耳朵里的实现对上，才能说出“这里的主题被演奏家用放慢和放轻处理成了无声的高潮”。

这正是 MuSP-Bench 想抓住的难点。过去的很多评测只考一半：要么给你一小段 ABC 记谱（一种用字母表示音高的文本记谱方式）问乐理，要么给你 1 段音频问风格或乐器。模型可以靠局部模式蒙对，却不必做长距离的记忆、结构追踪和跨模态对齐。MuSP-Bench 把题目锚定在完整作品上，平均约 10 页谱、约 5 分钟时长，最长可达 40 页和 12 分多钟，迫使模型像人一样在全局结构里定位证据，而不是在两小节里找答案。

已有基准在考什么，漏掉了什么

如果把现有基准排成一条光谱，一端是纯符号：一类如 MusicTheoryBench、WildScore 只看短 ABC 或单张乐谱图像，多为选择题；另一端是纯音频：如 HumMusQA、MUSE、CMI-Bench 等考音高、流派、旋律或时序定位，但不问演奏与乐谱的关系。中间曾有尝试，比如 MuseBench 同时给了谱和音频，但音频侧只问调性是否准确、演奏是否完整、速度是否稳定这类是非判断。

这些设计留下一个空白：音乐家日常的“诠释性聆听”没有被系统检验。MuSP-Bench 的定位就是补上这一块——围绕声部处理、乐句塑造、弹性速度（Rubato，指演奏中对速度的细微伸缩）、动机与主题、奏法与踏板等，设计必须同时理解谱上写了什么、演奏中如何实现的问题。它不是要再做一个更大的乐理题库，而是把“谱意图—演奏实现”的关联本身变成可测的推理任务。

要测的究竟是哪种能力

论文把问题拆成 4 个正交维度来描述，这对初学者理解任务很有帮助。第一是模态（Modality）：解题所需的最少信息来自乐谱（S）、演奏（P）、两者联合（S&P），还是任一即可（S/P）。第二是时域跨度（Horizon）：证据需要多长——短（1-2 小节或约 5 秒内）、中（3-16 小节或约 5-30 秒）、长（更大或非连续）、任意。

第三是内容层级，从底层的音高、时序组织、配器、演奏实现，到上层的旋律、和声、曲式、诠释与语境；第四是操作类型，包括识别、定位、量化、比较、排序、推理、转录、解释与概括。举两个真题感受一下：S&P 类会问“从 2:51 开始的主题，演奏家在哪一小节以显著放慢和放轻做出被消解的无声高潮”；P 类会问“0:08 之前，有多少个 F3 低音是以真正断奏（staccato）演奏的”。前者必须对齐谱与音频，后者必须在音频中做精细的时序计数。

基准是如何搭起来的：从选曲到四种等价输入

MuSP-Bench 不是一个可训练的模型，而是一套基准构建与评测协议，流程可以概括为：数据策展→人工命题与 4 维标注→多表征对齐转换→多条件评测→确定性归一化计分。

数据策展上，钢琴部分乐谱来自(n)ASAP，并用 PianoCoRe 的演奏 MIDI 做共识清洗以保证谱与演奏对齐；管弦乐部分乐谱与音频来自 BSED。最终覆盖 18 部完整古典钢琴作品或乐章加 6 段管弦乐摘录。所有输入在评测前都去掉作曲家与标题等元数据，避免模型靠记忆作弊。

最关键的设计是多表征对齐转换。同一首曲子会提供 4 种等价表征：ABC 记谱文本、乐谱图像（PDF 转图像）、演奏音频、以及 MIDI-as-text（把演奏 MIDI 渲染成 ABC 音名序列的文本）。另设一个消融，把 ABC 音名换成 MIDI 数值，以检验音名语义是否有用。这样，同一个问题可以在符号、视觉、听觉通道间做可控对比：到底是模型看不懂图像，还是听不懂音频，或是无法把两者连起来。

题目与标注：如何让开放式答案也能自动评分

命题由 2 名专业音乐家完成，强调完整作品与长时程诠释性。490 道题中，460 道是开放式但落在预定义格式内——答案必须是音高、小节号、和弦进行、时间戳、乐句等可归一化的形式，并允许多个正确答案以容纳音乐中的合理歧义；剩下 30 道在无法定义精确格式时才用选择题。

标注体系的输入是题干与作品，输出是 4 个标签。模态维度标出解题所需的最少信息：S 180 题、P 106 题、S&P 72 题、S/P 132 题（其中 General 36、Tonality/style 48、Composer/title 48）；时域跨度标出最短证据长度：短 19.2%、中 25.1%、长 36.1%、任意 19.6%。内容层级与操作类型则标出考什么、怎么考。

为什么要这样设计？因为只有把答案约束到可确定性归一化的格式，才能在不依赖人工判卷的情况下做大规模自动评分，同时又通过多答案机制保留音乐的多解性。这是一种在可评测性与音乐真实性之间的折中。

没有训练阶段，评测本身就是方法

这篇工作没有训练任何新模型，也就没有损失函数、优化器、超参数或训练硬件的设置。它的“计算过程”是确定性求解与推理评测：按模型支持的模态施加对应输入组合——S 或 S/P 类用 ABC 与图像，P 与 S/P 类用音频与 MIDI-as-text，S&P 类用图像+ 音频或 ABC+ 音频/MIDI。

评测时还会跑两个对照：一是仅给作曲家与标题的语言基线（Metadata），用来度量模型靠记忆能答对多少；二是 MIDI 表征消融，对比 ABC 音名与 MIDI 数值的差异。计分采用确定性答案归一化，允许多正确答案，聚合时按子集题量加权，从而对符号、视觉、听觉及联合理解能力做细粒度诊断。基准对外发布于 musp.vaclis.net，复用的是现成的前沿多模态大模型做推理。

用什么数据、怎么比、看什么指标

理解实验前，先看清样本与协议。根据论文正文整理，数据集与评测协议如下：

指标方向很直观：准确率越高越好（Accuracy ↑）。论文未报告人类天花板、置信区间或显著性检验，也未说明解码温度等推理细节，这一点在解读数字时需要保持谨慎。

主结果：符号最强，音频与图像只在全局属性上占优，联合推理大幅失效

实验要回答的核心问题是：不同表征与模态组合下，模型能否完成分析、感知与联合推理。根据论文正文与图中报告值整理，关键对比可归纳如下：

不能从这些数字推出的是：模型已经“懂”音乐。Metadata 基线仅 3.0%-6.6%，说明记忆捷径已被剥离；但 S 类即使最强的 ABC 也只有 51.1%，P 类音频侧普遍低下，说明结构与表达的理解仍不稳健。更重要的是，论文未提供人类表现，无法判断 55.3% 的天花板有多高，也未给出置信区间，6.9% 与 30.6% 这类关键差距的稳健性仍存疑。

一个常被忽略的负结果是 MIDI 表征消融：将 ABC 音名换成 MIDI 数值后，GPT-5.6 Sol 下降 26.5 个百分点，Qwen3.6-Plus 降 7.6，Qwen3.5-Omni-Plus 降 6.3，而 Muse Spark 1.2 为 0.0。这说明音名语义对依赖语言先验的大模型至关重要，但对 Muse Spark 1.2 无影响——符号语义的增益是有架构边界的。

边界在哪里：样本、题量与评测覆盖的局限

论文没有以独立章节明确列出局限性，结论仅隐含指出基于音频与图像的乐谱理解仍具挑战、全局属性成功不代表结构与表达理解稳健。审稿视角的潜在问题更具体。

首先是样本外推性：仅 18 部古典钢琴加 6 段管弦乐，平均 10 页/5 分钟的长程设计虽好，但风格与编制覆盖窄，难以推广到更广的音乐类型。其次是题量与统计功效：490 题对长程基准已属稀缺，但切分子集后如 General 仅 36 题，区分度与显著性检验缺失，关键对比的稳健性难以判断。

再者是评测覆盖：仅测 5 个前沿模型且多为闭源，部分模型不支持音频导致大量 N/A，跨模型公平性受限；Qwen3.6-Plus 与 Audio Flamingo Next 的结果在正文叙述中被弱化。标注侧也缺少一致性与难度校准的量化，2 名音乐家编写可能引入主观偏差。最后，答案归一化与多答案判定规则未公开，复现与防泄漏机制不明；音频与图像联合推理失败的错误归因也未展开，无法区分是感知、时序对齐还是推理瓶颈。

能否复现：公开了什么，还缺什么

从可复现性看，论文披露了 4 种输入形态、按子集题量加权聚合与确定性归一化的思路，并给出基准地址 musp.vaclis.net，底层数据来源为(n)ASAP、PianoCoRe 与 BSED。但论文未提供代码链接、模型权重、数据集的具体下载链接与开源协议，也未给出附录链接。

更关键的缺失在细节：归一化实现、多答案判定规则、解码温度等推理参数均未说明。这意味着即使拿到题目，也难以完全复刻计分。论文也未报告训练或推理的硬件与预算，因为它本身不训练模型。对于想基于此做后续工作的研究生，更现实的路径是先复用其 4 维标注与多表征对齐的评测协议，再自行补齐人类基线与统计检验。

收束：这个基准为什么值得关注，又该如何使用它

回到开头的问题：为什么要把谱和演奏放在一起考？因为音乐的意义不在单一模态里，而在意图与实现的张力中。MuSP-Bench 的价值在于把这种张力操作化了——用完整作品、长时程与 4 维可控标注，配合 4 种等价输入，让我们能具体地说出模型在哪种通道、哪种跨度、哪种任务上失效。

它的结论也很清晰：结构化符号输入在分析类任务上最强，图像与音频仅在调性、风格、作曲家等全局属性上占优，而最能体现音乐家能力的跨模态联合推理仍大幅失效。这为面向教育与艺术实践的真实音乐智能指出了瓶颈。

对刚进入方向的研究生而言，使用这个基准时建议带着 3 个问题去读表：第一，同一问题在不同表征下表现如何变化；第二，长跨度题是否系统性更难；第三，哪些失败是感知问题，哪些是推理问题。把这 3 个问题答清楚，比单纯追求加权聚合的最高分更有意义。

⚖️ 评分依据与证据（展开查看）

← 返回 2026-08-31 语音/音乐/音频论文速递