📄 Music I Care About: Automated Multimodal Benchmarking of LLM Music Perception Skills on (Almost) Any Music

#音乐理解 #基准测试

7.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.7/1 | 影响 0.9/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

✅ 7.8/10 | 前25% | #音乐理解 | #提示学习 | #基准测试 | arxiv

👥 作者与机构

  • 第一作者：Tomáš Sourada（查尔斯大学数学与物理学院，形式与应用语言学研究所）
  • 通讯作者：未明确提及，推断为 Jan Hajič jr
  • 作者列表：Tomáš Sourada，Katia Vendrame，Jan Hajič jr
  • 机构：查尔斯大学数学与物理学院，形式与应用语言学研究所

💡 毒舌点评

论文用"用户数据即benchmark"的元框架戳中静态基准的致命伤，程序化生成和基准尺寸校准做得聪明又实用。遗憾的是，问题模板仍停留在音乐理论的"小学算术"级别，无输入基线在修改提示语后才可能更干净，现在对"真正在听"的论证依然有点虚。跨模态对齐的想法很好，但音频模态下"第n个音符"这种需要强音高追踪的题目，本质上就比读乐谱难一个量级——这不完全是模型的锅，部分是出题的问题。

📌 核心摘要

  1. 要解决的问题：现有音乐MLLM评估基准是静态的，存在四大根本缺陷：(a) 对研究者来说评估成本高、易数据泄露、结果泛化性差；(b) 许多声称评估音乐理解的基准实际上用纯文本线索就能作答，并未真正要求音乐感知；(c) 绝大多数基准仅覆盖单一模态，无法支持跨模态性能对比；(d) 静态基准永远无法覆盖音乐的多样性，模型更新速度远超评估速度。

  2. 方法核心：提出MusICA-MetaBench元基准框架，将评估从"发布一个固定基准"转变为"按需从用户数据生成基准"的范式。用户提供对齐的多模态音乐数据（至少包含MusicXML），框架利用预定义的、基于音乐理论感知技能的问题模板，通过music21库程序化地从MusicXML中提取每个（问题，片段）对的正确答案和干扰项，生成多选题QA对，并可跨音频、乐谱图像、ABC符号三种模态复用同一套问题，实现细粒度模态间对比。

  3. 与已有方法相比新在哪里：(a) 范式转变：从静态基准到可对任意用户数据运行的自动化元基准流水线；(b) 首次在音频、乐谱图像、符号三种模态上对完全相同的音乐感知问题进行对齐评估；(c) 引入统计驱动的最优基准尺寸校准方法，平衡统计功效与经济成本；(d) 引入无输入和噪声输入消融条件，验证问题确实需要音乐内容感知。

  4. 主要实验结果：在ChoraleBricks（10首众赞歌）上评估了8个MLLM，Gemini 3.1 Pro整体准确率达59.0%，远超次高的Qwen3 Omni 30B（46.3%），但API成本极高（(58.4）且速度极慢（12小时）。跨模态准确率排序为：符号(ABC) > 图像 > 音频。在ChoralSynth（20首合成人声作品）上性能全面下降（Gemini 3.1 Pro降至47.0%），图像和音频模态下降尤为显著。无输入和噪声输入消融实验显示准确率显著下降，但两种基线仍高于随机（约22%和20%），提示干扰项难度仍有提升空间。

    ChoraleBricks整体结果（s=300）

    模型Acc. (%)时间价格 ())
    Gemini 3.1 Pro59.012 h58.4
    Qwen3 Omni 30B46.32 hN/A
    Gemini 3.1 FL45.718 m0.3
    agg-GPT-542.091 m1.3
    agg-GPT-4o41.021 m2.6
    Gemini 2.5 FL41.090 m0.6
    Gemini 2.0 FL40.316 m0.04
    agg-Mistral39.389 m0.5
    Random Baseline20.0N/AN/A

    ChoralSynth前三模型结果（s=300）

    模型AllAudioABCImage
    Gemini 3.1 Pro47.0317535
    Gemini 3.1 FL33.3234928
    Gemini 2.5 FL32.0224727

  5. 实际意义：为MIR研究者提供了一种低成本、可定制、按需生成的诊断工具，能够直接在自己关心的音乐数据上评估MLLM的感知能力，避免依赖通用静态基准，可指导实际模型选型与音乐处理系统设计。

  6. 主要局限性：(a) 问题模板仅覆盖西方调性音乐基础的音高、音程、节奏、时间比例、和声五类感知技能，范畴较窄，尚未涵盖更复杂或开放式理解任务；(b) 无输入条件下模型仍高于随机水平（原作者指出可能是提示语要求模型"分析所提供的音乐作品"导致某些模型在无输入时拒绝作答，建议改用"尝试猜测正确答案"的提示语）；(c) 仅支持分声部单音音乐（如合唱），不支持复音键盘乐器（如钢琴）和非调性音乐；(d) 干扰项难度可进一步提升；(e) 尚未将个体技能得分映射到成熟的分级体系（如ABRSM）；(f) 仅对两个数据集进行了验证，扩展至新数据集时地面真值提取方法可能需要调整。

🔗 开源详情

  • 代码：GitHub仓库链接已提供（https://github.com/tomsouri/MusICA-MetaBench-preprint），包含完整的基准生成与响应评估流水线代码，以及所有生成的benchmark实例。
  • 模型权重：不适用（作者未发布模型权重；评测对象为第三方MLLM，作者仅提供评测框架与生成后的基准）。
  • 数据集：使用的两个数据集均为公开可用的研究数据集——ChoraleBricks（可从https://audiolabs-erlangen.de/resources/MIR/2025-ChoraleBricks获取）和ChoralSynth（引用自公开文献，具体获取方式见原始论文[15]）。作者未提供独立的数据集下载链接，仅提供了来源说明。
  • Demo：未提及。
  • 复现材料：论文中给出了问题模板类别、校准实验设置、评估提示结构等所有关键实验配置的详细描述，代码仓库中提供可直接运行的流水线，复现条件充分。
  • 论文中使用的开源项目：music21（https://github.com/cuthbertLab/music21）；abc_xml_converter（Python库，未给出独立链接）；MuseScore（用于渲染乐谱图像，https://musescore.org）；噪声输入消融实验中用于生成乱序ABC记谱的程序未引用额外项目。

🏗️ 方法概述和架构

MusICA-MetaBench是一个全自动、LLM无关的多模态音乐感知基准生成框架。其核心是一条可复用的数据处理流水线，输入为用户提供的对齐多模态音乐数据，输出为跨模态对齐的多选题QA对。整个流水线基于规则和music21库的程序化提取，不涉及任何模型训练或LLM辅助标注，从而避免评估数据的训练数据污染问题。

整体流程：

Figure 1: MusICA-MetaBench: pipeline of constructing a benchmark instance. Inputs: (i) provided by us (orange): ontology, question templates with implementations of ground truth (GT) and distractor extraction methods; (ii) user-provided (blue): dataset. MCQ = multiple-choice question. Number of intermediate items for benchmark generation from ChoraleBricks dataset (see Section˜4) is shown in green boxes. For subsampling, desired target size s=300s=300 is displayed, as used in Section˜7.1.

上图（图1）清晰展示了该流水线的完整构建流程。首先，利用预定义的问题模板（包含带占位符的文本和对应的Python提取函数）和从music21对象自动生成的音乐本体字典（如音名、声部、索引等术语映射），实例化生成具体问题。然后，将每个问题与用户提供的所有音乐片段（例如，ChoraleBricks的10个片段）进行配对，并对每个（问题，片段）对，调用模板函数从MusicXML中程序化提取正确答案和干扰项，生成一个多选题（MCQ）条目。这一步会产生一个较大的候选池（例如，7560个条目）。接着，通过过滤无效项和分层随机子采样（例如，从4222个有效项中采样到100个），控制最终基准的题量和统计可靠性。最后，将每个选中的MCQ条目（包含问题、正确答案、干扰项）复制并绑定到三种不同的音乐表示形式（音频、ABC符号、乐谱图像）上，生成一个对齐的基准实例（例如，包含300个项目，每个项目有三种模态版本）。

  1. 问题模板实例化：利用预定义的问题模板（包含带占位符的文本和对应的Python提取函数）和音乐本体字典（自动从music21对象生成的术语映射表，将音名、和弦标记、节奏单位等内部表示映射为自然语言标准命名），将wildcard占位符替换为本体中的所有合法取值组合，生成具体问题。
  2. QA对生成：将实例化后的问题与用户提供的所有音乐片段做笛卡尔积。对每个（问题，片段）对，调用对应模板的提取函数，使用music21解析MusicXML文件，程序化地获取一个正确答案和一组来自同一音乐片段的候选干扰项。干扰项优先从片段内获取（如查询某声部第3个音的音高时，其他声部的同时刻音高或同声部后续音高为干扰项），片段内干扰项不足时从本体字典中随机采样补充。
  3. 过滤与子采样：过滤掉无效项（如查询的音符索引在给定片段中不存在），按技能类别和模态进行分层随机子采样，以控制成本和保证统计可靠性。子采样策略保证同一个问题要么在所有模态中出现，要么都不出现，维持跨模态对齐性。
  4. 跨模态绑定：将生成的（问题文本，正确答案，4个干扰选项）四元组分别与对应的音频文件、PNG乐谱图像、ABC符号文件绑定，生成三种模态的最终评测项。每个评测项均为单模态输入（不同时包含音频和图像），不涉及多模态联合感知。
  5. 评估与响应解析：使用与MMMU-Pro一致的固定提示模板，向MLLM发送问题文本、音乐文件和5个选项（1个正确+3个干扰+NOTA），通过正则匹配从模型回复中提取选项字母（A-E），计算准确率。NOTA选项在20%的题目中为正确选项，以匹配1/5的均匀先验概率，缓解模型仅靠选项概率分布猜测的问题。选项在生成时随机打乱。

关键设计决策：

  • 问题全部是piece-level：以整个片段为上下文，不涉及片段内局部裁剪，避免由于定位偏差带来的评估噪音。
  • 基准尺寸校准：通过在不同大小的子样本上对6个模型进行多次重评估，计算准确率标准差随基准尺寸的变化，并使用配对t检验确定给定效应量下的最小基准尺寸。主实验采用\(s=300\)，最小可检测效应量为6个百分点。
  • 感知必要性验证：设置无输入（text-only，不发送任何音乐文件）和噪声输入（音频/图像用高斯噪声替代，符号模态用词法上无意义的乱序ABC记谱替代）两种消融条件，验证问题是否确实需要音乐内容感知，将"not really listening"问题扩展到多模态场景。

💡 核心创新点

  1. 动态元基准范式：首次提出不发布固定数据集，而是提供一套可对任意用户的音乐数据自动生成跨模态感知评测的流水线，从根本上解决静态基准的数据泄露风险、高重构成本、风格泛化性弱等问题，将评估范式从"跑一次通用榜单"转变为"按需诊断自有数据上的模型表现"。
  2. 跨三模态的完全对齐问题设计：将同一道基于音乐理论的感知问题同时应用于音频、乐谱图像和符号表示，实现真正的跨模态性能对比。这在已有音乐MLLM基准中未见覆盖（最多覆盖两种模态，且问题不同无法直接对比），使得研究者可以区分"模态感知缺陷"与"深层概念理解不足"。
  3. 统计驱动的基准尺寸校准：通过系统性的子采样重评估和配对t检验，建立了基准尺寸\(s\)与最小可检测效应量\(E\)之间的量化关系（如\(s=300\)可检测\(E=6\%\)，\(s=1500\)可检测\(E=2\%\)），为benchmark工程提供了具有普适参考价值的方法论贡献，而非凭经验随意确定题量。
  4. 感知必要性的多模态系统验证：同时引入无输入和噪声输入两种消融条件，覆盖了"不听"、“不看”、“不读乐谱"三种模态的信息剥夺场景，系统性地验证了题库需要真实音乐感知，而非仅靠文本线索或随机猜测。

📊 实验结果

实验结果包含三大部分：基准尺寸校准、感知必要性验证、两个数据集上的模型评测。

基准尺寸校准结果： 在ChoraleBricks上使用6个MLLM进行重采样实验，得到的效应量-基准尺寸映射关系为：

基准尺寸 (s)15751503007501500
最小可检测效应量 (pp)30128632

该结果支持了主实验选择\(s=300\)的合理性。准确率标准差随基准尺寸增大而减小，但均值保持稳定，印证了小规模但设计良好的基准可以提供可靠的全量评估估计。下图（图2）直观展示了这一趋势：随着基准尺寸从75增加到1500，不同模型的准确率标准差普遍下降并趋于稳定，验证了尺寸校准的有效性。

Figure 2: Standard deviation of model accuracy across 10 randomly subsampled benchmark instances for each benchmark size. Some models were excluded from larger sizes due to computational constraints. X-axis log-scaled.

感知必要性验证（消融实验）： 在ChoraleBricks上使用Gemini 2.0 FL和Gemini 3.1 FL进行消融（基于10次独立子采样的平均）：

  • 正常输入：约42%平均准确率。
  • 无输入（text-only）：约22%。
  • 噪声输入：约20%（接近随机基线20%）。

准确率从正常到无输入/噪声输入有显著下降（约20个百分点），说明问题确实需要感知音乐内容。但两种基线仍高于纯随机的20%，提示干扰项难度可进一步提升。原作者在论文局限性部分指出，这可能部分缘于提示语要求模型"分析所提供的音乐作品”，导致某些模型在无文件时拒绝作答，建议改用"尝试猜测正确答案"的提示语以获得更干净的无输入基线。图3展示了这一消融实验的直观结果。

Figure 3: Robustness test results: is perception required? Normal setup vs. no-input (no musical file is sent) and noise-input (Gaussian noise is sent instead of the musical file). Average accuracy over two MLLMs (Gemini 2.0 FL and Gemini 3.1 FL) on 10 independent instances of the benchmark of size s=300s=300 reported.

ChoraleBricks模型评测结果（s=300）： 完整结果已列于核心摘要的表格中。关键发现：

  • Gemini 3.1 Pro全面领先（59.0%），其次是Qwen3 Omni 30B（46.3%）和Gemini 3.1 FL（45.7%）。
  • 跨模态能力排序为：符号(ABC) > 图像 > 音频，表明当前MLLM的音乐感知瓶颈主要在听觉模态。这一结论得到了图4的详细支持，该图按音频、符号和图像三种模态分别展示了所有模型的准确率。

Figure 4: Per-modality results, ChoraleBricks, s=300s=300, one benchmark instance.

从图4可以更细致地观察到：在符号（ABC）模态下，模型间的差异非常显著（从86%到43%），Gemini 3.1 Pro优势明显；而在音频和图像模态下，大多数模型的准确率聚集在30%-45%的狭窄区间内，且性能排序与整体排序略有不同（例如，音频模态下agg-Mistral排名第二）。这进一步证实了符号模态是当前模型能力差异的主要体现。

  • 模型间的性能差异主要来自符号模态的表现差距，音频和图像模态中大部分模型分数高度聚集。
  • Gemini 3.1 Pro的领先是以极高成本为代价的（\(58.4，12小时），若需速度和成本的平衡，Gemini 3.1 FL（\)0.3，18分钟）是更优选择，但其与agg-GPT-4o的差距在\(s=300\)下尚未达到统计显著。

ChoralSynth泛化实验（s=300）：

  • 所有模型性能显著下降（总体平均准确率从42%降至28%），但Gemini 3.1 Pro仍以47.0%领先。
  • 音频和图像模态下降尤为剧烈：可能原因包括合成音频中的声部标签不可辨识、多页乐谱图像难以读取。
  • 消融实验确认感知必要性成立（无输入17%，噪声输入20.1%，正常28%均值）。
  • 基准尺寸校准显示ChoralSynth上的标准差略高，归因于片段数量更多导致的题项方差更大。

🔬 细节详述

  • 训练数据：不适用（框架不涉及模型训练）。源数据集为ChoraleBricks（10首四声部众赞歌，含多轨录音、MusicXML、PNG乐谱）和ChoralSynth（20首合成人声作品，含MusicXML和分轨音频），均为公开可用的研究数据集。
  • 损失函数/训练策略/正则化：不适用。
  • 关键超参数：基准总题数\(s=300\)用于主实验；问题模板共10种（5大类别×2子类型：数量识别和关系识别）；每个题目5个选项（1正确+3干扰+NOTA）；NOTA在20%题目中为正确选项；选项生成时随机打乱。
  • 问题模板类型：音高（识别/计数）、音程（识别/计数）、节奏（识别/计数）、时间比例（识别/计数）、和声（调性/和弦/和弦进行），覆盖音乐理论教学中"分析"层次的感知技能。
  • 响应解析：使用与MMMU-Pro一致的正则表达式从模型回复中提取选项字母A-E。
  • 评估提示：使用固定格式的提示模板，模型温度等解码参数未明确说明。
  • 计算资源：Qwen3 Omni 30B在本地运行（GPU型号未说明），其余模型通过OpenRouter API调用。总实验API费用约730美元，主要由前沿模型（特别是Gemini 3.1 Pro）贡献。
  • 统计方法：基准尺寸校准中使用Shapiro-Wilk检验验证正态性假设（绝大多数情况通过），配对t检验配合Bonferroni多重比较校正（\(\alpha=0.05\)）。

⚖️ 评分理由

  • 创新性 (1.2/2)：从"发布固定基准"到"按需生成元基准"的范式转变在音乐MLLM评估领域有明确的新颖性，跨三模态对齐问题设计也属首次。但问题模板本身覆盖的技能层级较基础，未触及深层次音乐理解（如曲式、情感、风格判断），且元基准的概念并非完全原创（类似思路在NLP领域已有探索），因此无法给满分。
  • 技术严谨性 (1.0/1.5)：流水线整体设计合理，music21程序化提取保证了答案的正确性和无偏性。统计驱动的基准尺寸校准方法正确且实用。主要扣分点在于：(a) 感知必要性的验证不完美——无输入基线仍高于随机，作者自己也承认了提示语问题；(b) 干扰项生成策略相对简单，仅从片段内抽取和本体字典随机采样，缺乏对混淆度的建模或难度控制；(c) 未讨论music21进行地面真值提取时可能出现的解析错误或边界情况。
  • 实验充分性 (1.1/1.5)：在两个数据集上评估了8个前沿MLLM，包含基准尺寸校准、多模态分析、感知必要性消融和跨数据集泛化实验，实验维度较全面。不足之处：(a) 未与任何现有静态音乐基准（如MuChoMusic、MusicTheoryBench）进行元层面的对比或交叉验证；(b) 仅在四声部调性合唱音乐上验证，缺乏对更广泛音乐类型和风格（尽管受框架当前能力所限）的覆盖证据；(c) 未展示逐个技能类别的准确率分析（正文仅提到见README），而这对诊断框架的核心价值至关重要。
  • 清晰度 (0.7/1)：论文结构清晰，图文并茂。但问题模板的具体实现细节、本体字典的自动生成逻辑、NOTA选项如何"替换"正确答案的具体机制等在正文中不够详细，需要阅读代码或附录才能完整理解。部分表格（如ChoralSynth全量结果仅列前三）呈现不够充分。
  • 影响力 (0.9/1.5)：为MIR研究者提供了一个实用、可定制的诊断工具，能直接指导实际场景下的模型选型和系统设计，在方法论层面对benchmark工程有参考价值。但受限于西方调性音乐和基础感知技能的范围，以及piece-level选择题的格式，其在更广阔音乐理解研究中的推动作用和被引潜力中等。
  • 开源 (1.2/1.5)：已提供GitHub仓库链接（发布时包含代码和生成的benchmark实例），核心流水线可预期完整开源。未确认最终版README、文档和示例的完整度，无在线Demo或HuggingFace界面，因此给1.2分。
  • 可复现性 (0.5/0.5)：除开源代码外，论文详细给出了本体生成方式、10种问题模板类别、校准实验设置、评估提示结构、所用第三方工具（music21等）版本或来源，所有关键超参数（s=300、5选项、20% NOTA）明确，复现所需信息充分，无关键缺失。
  • 工程/实践价值 (1.2/1.5)：全自动pipeline从数据到评测结果无需人工干预，组件化设计使新问题模板、新数据集接入成本较低，且提供了基准尺寸自定义的工程化选择。扣分点在于目前仅适配分声部单音调性音乐，落地普适性较窄；对新音乐文化的扩展需要人工编写新模板和本体映射，虽然框架可扩展，但扩展成本依然存在。

🚨 局限与问题

论文明确承认的局限：

  • 无输入条件下的准确率高于随机，可能因提示语要求模型"分析所提供的音乐作品"导致某些模型拒绝作答，改用"尝试猜测"的提示语会更合理。
  • 干扰项难度可能被高估，建议采用更严格的distractor生成方法（如参考MuChoMusic的方法论）。
  • 尚未将单个技能得分映射到ABRSM等成熟的分级体系。
  • 仅对ChoraleBricks和ChoralSynth验证，扩展到新数据集时地面真值提取方法可能需要调整。
  • 不支持复音键盘乐器（钢琴）的功能对位/主调织体和非调性音乐。
  • 不支持需要同时感知多种模态信息的跨模态联合问题。
  • 模板覆盖的技能层级为基础音乐理论感知，未扩展到更复杂的理解任务。

审稿人发现的潜在问题：

  • 跨模态公平性问题：音频模态下的"第n个音符是什么"隐含了极强的音高追踪、声部分离和时间量化能力，这在本质上是比读乐谱难一个量级的任务。因此，“音频准确率最低"的结论可能部分混淆了"模型听觉感知能力差"和"题目在音频模态下天然更难”，这是一种评估效度的威胁。框架并未设置仅靠音频就能完成的、同等难度的基线任务来进行校准。
  • 选择题格式的局限性：所有题目均为piece-level的封闭式五选一，这限制了评估的生态效度。实际音乐处理任务（如错误检测、乐曲描述、风格判定、转调分析）并不总以这种形式出现。模型可能在学会特定的选项排除策略后获得"虚高"准确率，而这并不代表其真正的音乐理解能力。
  • 基准尺寸校准的外推风险：校准使用的6个模型集合以及两个特定数据集（四声部合唱音乐），所得的"s-E映射"在多大程度上适用于不同难度分布的问题模板、不同的音乐风格、或完全不同的模型集合，是一个未经验证的假设。直接将\(s=300\)用于全新的设定可能不够严谨。
  • NOTA机制的局限：NOTA选项在20%题目中为正确答案的设定虽然匹配了均匀先验，但也引入了一种人为的难度。模型若发展出"倾向于不选NOTA"或"过度选择NOTA"的偏置，将直接影响分数的可解释性，而论文对此未做分析。
  • 对MIR核心任务的诊断价值有限：模板所测的技能（如识别第n个音的音高）与MIR研究者真正关心的实际任务（如节拍追踪、和弦估计、音乐推荐、源分离）之间存在差距。一个模型在该基准上表现优秀，是否意味着它在下游MIR任务中表现更好，这一点完全未知。

← 返回 2026-07-08 语音/音乐/音频论文速递