📄 OmniScore-Bench:把乐谱阅读拆成六类操作分别考查

英文题目:OmniScore-Bench: Evaluating Vision-Language Models on Musical Score Reading

评分:7.3/10 | 创新 1.4/2 | 技术严谨 1.5/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Congren Dai:Central Conservatory of Music;Tsinghua University
  • Zhancheng Guo:Central Conservatory of Music;Tsinghua University
  • Danni Zhao:Central Conservatory of Music
  • Wenchu Wang:Central Conservatory of Music;Tsinghua University
  • Xiaobing Li:Central Conservatory of Music
  • Maosong Sun:Central Conservatory of Music

📌 核心摘要

视觉语言模型能回答乐谱问题,但定位符头、关联声部与解释时值等操作是否可靠仍需分别检验,区别于仅报告转录总分的已有光学乐谱识别评测,单独转录分难以定位瓶颈所在。OmniScore-Bench把一次读谱拆成可单独观测的请求,每题声明可见范围、参考标注与答案格式,输入为乐谱图像及目标标识、结构归属或解释规则等文字条件,输出为符号框、归属判定、关系边、MusicXML转录或带证据的问答答案。构建先按图像与编码对应生成候选题目并输出题面与参考标注,再将这些题目送入自动检查与两名专家独立审核,最后分歧由第三名专家裁定并形成正式评测集。六个方面覆盖渲染、印刷扫描与手写三种来源,每种来源1000题,每子类型125题,共3000题,覆盖24个任务子类型。在多页转录T4.4的125题评测上,Claude Opus 5.5的CER为64.3,低于Qwen 3.8 Max的79.8,数值越低越好。配对去图对照在保持文字条件与输出格式不变下移除全部乐谱图像,显示音高与反复展开依赖图像,而结构归属与片段变换在无图时仍保留部分成功率。结论适用于所选题目与给定条件,不支持跨页数因果推断,残余误差仍大。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

读谱为什么不能只看最后抄得像不像?

这篇论文要解决的是视觉语言模型读乐谱时的诊断问题。输入是一张或多张乐谱图像加一道文字问题,输出是按题目契约给出的结构化答案或 MusicXML 乐谱文本。初学者容易把读谱理解成把谱面抄下来,但论文开头的例子提醒了关键差别:符头旁边一个附点会改变时值,连接两个音的弧线可能是延长时值的系线,也可能是只表示分句的连音线。要正确解读,必须先定位这个记号,再确定它的端点或依附对象,然后套用对应的乐理规则。

如果只给一个整页转录分数,模型可能抄对了大部分音,却在系线与连音线、声部归属、反复跳转这些环节系统性出错,而总分看不出瓶颈在哪里。论文因此把 1 次读谱拆成可单独观察的操作:符号在哪、版式如何划分、对象之间有何关系、能否重建乐谱、记谱的音乐后果是什么、能否带着证据回答问题。每道题都声明可见范围与音乐范围,参考标注只在这个范围内给答案,这样定位错、关联错和乐理算错就不会被混成一个分数。

对刚入门的读者,重要的是先建立这种分层观念:像素层面的看见、结构层面的组织、关系层面的连接、乐理层面的解释,是四件不同的事。后面所有任务划分、度量选择和对照实验,都是为了让这四件事分别可测。

已有乐谱数据集各测了哪一段?

在理解新基准之前,需要先看已有资源各自覆盖了哪段链路。DeepScores 系列主要做密集符号检测,MUSCIMA++ 在手写谱上补充了符号关系,PrIMuS 与 GrandStaff 侧重单谱表或钢琴谱转录,SMB 把扫描谱与标准化转录评价统一起来并引入 OMR-NED,Muse 基准提供谱面与编码对,而 MSU-Bench 关注整谱理解并报告定位错误与幻觉。这些工作分别验证了从单个符号到整页的不同层次,但没有同时要求模型给出区域、归属、关系、乐理推断与证据引用。

下表比较了各资源是否把 6 个方面作为专门评价目标,勾表示至少支持该方面一个目标,叉表示不是专门评价重点。需要强调的是,打勾不意味着覆盖本论文的全部子类型,T4 在 MUSCIMA++ 中包含音乐内容抽取,Muse 的结构与关系检查作用于符号化乐谱,T5 指单独的音乐一致性提问,T6 指乐谱问答且本论文要求显式证据评分。

Dataset / benchmarkT1T2T3T4T5T6
DeepScoresV2 [tuggener2021deepscoresv2]✓✗✗✗✗✗
MUSCIMA++ [hajic2017muscima]✓✓✓✓✗✗
PrIMuS [calvo2018primus]✗✗✗✓✗✗
GrandStaff [rios2023pianoform]✗✗✗✓✗✗
SMB [martinez2025smb]✗✓✗✓✗✗
Muse OMR Benchmark [musegroup2025benchmark]✗✓✓✓✗✗
MSU-Bench [dai2026msu]✗✗✗✗✗✓
OmniScore-Bench✓✓✓✓✓✓

这张表支撑的判断是:已有工作在定位、转录或问答上各有侧重,但没有一个同时把六方面都作为专门目标。OmniScore-Bench 的位置是补上中间环节,让符号位置、谱表归属、关系标注与音乐解释与重建并列可测。对照时要注意任务与输入并不相同,不能把某数据集上的检测分数直接当成转录能力,论文也没有提出替代距离,而是沿用已有转录度量再增加区域、归属与证据层面的提问。

题目到底要求模型做什么、答案如何判定?

论文把乐谱阅读定义为 6 个方面共 24 个子类型。T1 符号要求返回类别与归一化图像框,覆盖符头休止符、谱号变音记号、符干符旗符梁附点、力度表情记号 4 类。T2 结构关心页面与系统组织、小节区域、声部归属与跨系统延续,其中几何输出按区域评分,归属与延续按声明的关联评分。T3 关系处理系线与连音线端点、和弦与符杠分组、跨声部时值与其它类型连接,系线与连音线即使曲线相似也被视为不同类型。

T4 转录全部要求输出 MusicXML,分为单声部片段、单谱表多声部片段、单页范围与多页有序输入四档,范围由可见输入界定,多页不一定是完整作品。T5 音乐一致性不考整谱重建,而是考记谱后果:拍号与时值、记谱音高与发声音高、发声事件、有限范围内的反复走访,每题都给定目标事件、变换假设与歧义处理。T6 乐谱问答要求答案加证据联合成功,证据或是图像区域或是已给区域标识,计数与检索是两套不同的输出与评分契约。

每道题 1 次只问一个请求,附带目标标识、结构给定或解释规则等公开上下文。参考答案只在声明范围内有效,例如给定目标小节后,音高题就不再考查模型能否在整页找到该小节。这种设计把找范围的困难与算音乐的困难分开,也是后面对照实验能成立的前提。

3000 道题如何从三种谱面组装并保证范围一致?

基准共 3,000 道题,Rendered、Printed scan 与 Handwritten 各 1,000 道,每个方面含 4 个子类型,每个子类型 125 道。Rendered 来自 MuseScore 相关编码与 OpenScore Lieder,手写来自 CVC-MUSCIMA 与 MUSCIMA++,印刷扫描组合了 Winterreise 材料、小节区域标注、额外扫描与变音记号检测集合。题目只在有对应标注层的条件下实例化,并用自动检查验证问题是否有明确答案、图像与参考是否覆盖同一音乐范围,印刷扫描还要核对可见记谱与符号编码的对应。

下图是六方面与 3 类输入的总体布局,上方展示干净渲染、退化拷贝、艺术歌曲、弦乐四重奏、不同书写者与真实扫描的质感差异,下方把版式区域、符号、关系与转录示例并置,右侧说明图像元数据、版式区域、符号参考、规范事件、可执行断言、证据问题、公开给定与私有参考的分层。读图时不要把示例谱面的装饰细节当成任务定义,关键是输入质感、任务类型与标注层三者的对应。

看图路径: 1. 先看顶部三类输入的示例谱面质感差异;2. 再看中部六个方面与下部事件和断言属性如何对应;3. 对照左侧版式、符号、关系、转录四条示例条带

原论文 Figure 1:Six aspects of musical score reading for vision-language models.

论文图 1。原论文 Figure 1::“Six aspects of musical score reading for vision-language models.”。

该图确实可见顶部 3 组谱面示例质感不同,中部用 6 个色块区分符号、结构、关系、转录、一致性与问答,下部列出身份、时间、音高类型 3 组事件属性与内在、基于参考、结果 3 组断言属性。它帮助理解为什么同一张谱可以派生出定位框、归属判定、关系边与乐理答案等不同输出,以及为什么参考必须绑定到可见任务范围。

题目来源构成与数量如下表所示,其中一道渲染题含合成退化但仍计入渲染域。2 名各有 20 年以上经验的专家在看不到模型回答且互盲的条件下独立审核全部 3,000 题,初始一致率为 92.50%,分歧由第三位同等资历专家裁定最终参考答案。所有模型做同一套题,不做任务训练,也没有划分开发集与测试集。

DomainCollectionQuestions
RenderedMuse native corpus952
RenderedAdditional Muse pairs4
RenderedOpenScore Lieder44
HandwrittenCVC-MUSCIMA source images680
HandwrittenMUSCIMA++ annotations320
Printed scanSchubert Winterreise / Peters scans543
Printed scanAudioLabs measure annotations369
Printed scanAdditional IMSLP pairs27
Printed scanAccidental-detection release61
Total3000

来源表说明评估覆盖了软件渲染、真实扫描与手写 3 种质感,且手写与扫描内部又来自多个采集集合。它的限制是数量均衡不等于内容等价,不同域的曲目、声部数与标注完备度不同,因此跨域比较描述的是已评估子集上的表现,而不是对同一批乐谱换渲染方式的控制效应。

符号、结构与关系三类操作如何分别评分?

T1 的严格定位采用类别感知的框一对一匹配,在交并比 0.5 处判定命中,并另做 1 像素平移容差的敏感性分析。T1.1 只看完整落在区域内的符头休止符,T1.2 固定可用标签做谱号变音记号,T1.3 处理符干、符旗、符梁与附点等细窄节奏记号,T1.4 处理力度表情记号的完整标记块而非字符框。细窄符干的匹配对坐标偏移更敏感,同一偏移可能放过宽符头却判错窄符干,容差分析不修正类别与依附错误。

T2 中系统谱表与小节按区域 F1 评分,声部归属按精确答案评分,结构延续按关系 F1 评分。部分题目会直接给出对象标识或结构给定,成功只度量请求的关联是否正确,不要求模型重新恢复上游全部环节。T3 中系线连音线按类型化端点评分,连音线允许参考定义的同一逻辑和弦内已标成员等价,系线仍对音高敏感;和弦符杠分组要求完整分组精确匹配,部分正确不得同等得分;跨声部时值比较从小节起点算起的精确四分音符时值。

符头与休止符定位 × 谱表与小节区域: 符头与休止符定位要求在声明区域内给出类别与归一化框,解决细小符号找得到找得准的问题;谱表与小节区域要求恢复系统包络与小节切分,解决页面如何被划分的问题;两者搭配才能区分是没看见音符,还是没切对小节,组合后得到从像素到版式骨架的定位能力画像。

空参考题单独处理:T1.4 有 12 道、T3.1 有 29 道、T3.4 有 22 道无目标题,用每题误报数衡量是否添油加醋,而不对空答案赋任意满分 F1。无效或空答案也可能零误报,因此必须结合正例 F1 与输出有效性一起看,否则会把拒答误当成正确克制。

系线与连音线 × 和弦与符杠分组: 系线与连音线要求判断两个端点之间是哪种有向类型,系线延长时值而连音线只表示分句,外形相近但音乐含义不同;和弦与符杠分组要求把已标对象划分到同一和弦或连续符杠组,解决谁和谁同时或同组的问题;两者搭配把几何相连与音乐相连分开,组合后才能看出模型是端点找错还是类型判错。

这一层的要点是几何相近不等于音乐相同。论文用 T3.1 例子说明,正确端点配错类型仍是关系错误,这正是把检测曲线与判断系线连音线分开的理由。

转录、音乐推断与带证据问答各解决什么困难?

T4 四档转录都要求独立 MusicXML 文本,继承上下文与分组指令保留在提示中,只收录端点都在输入范围内的关系,不补范围外小节也不展开反复。评价用 5 种互补距离:NED 按规范化预测与参考 MusicXML 的记谱编辑聚合,字符、符号、行错误率是对转换后 ABC 表示按参考单位聚合,归一化树编辑距离对截断到至多 6,000 节点的树求平均。5 种单位与归一化不同,排序不必一致,解析转换与计算限制会导致部分缺测,覆盖率保持显式。

T5 把整谱重建拆成可核查的音乐计算。T5.1 返回拍号、名义小节时长与各目标事件的起点时值,时间用题目单位下的精确有理数;T5.2 返回记谱音高的音名、变音与八度及发声半音坐标,C4 为中央 C 且发声 C4 等于 60,题目给定移调条件而非让模型猜测;T5.3 只对已标音符做 1 次记谱遍走的发声事件合并,系线连接的合并、未连的分立 attack、连音线忽略;T5.4 在标定小节范围内按可见反复记号走访,到达末小节尾或可见停止指令结束,否则在缺失跳返目标时按契约返回未知。

T6 把答案与证据绑定。T6.1 抽取可见拍号、标题、速度文本与声部标签并引用区域标识;T6.2 分两个总体,61 道印刷扫描题对给定符头检索关联变音记号,64 道计数题分别数常规尺寸实心与空心符头并给出符号框;T6.3 在完整小节内比较声乐谱表与钢琴上谱表的 attack 集合并引用区域;T6.4 比较两个完整声乐小节在色度音高与归一化时值下的变换并引用 A 与 B。联合成功要求答案与证据同时正确,区域引用与符号框是两种不同的证据要求。

转录 × 音乐一致性: 转录要求把可见范围完整重建成 MusicXML,解决符号能否被完整还原的问题;音乐一致性要求在给定事件、调号、移调与反复规则下算出拍号、音高、发声事件或走访路线,解决记谱的音乐后果是什么的问题;两者搭配区分重建得像与算得对,组合后才能判断错误来自漏抄还是乐理推断。

这种拆分让计数好不等于定位好成为可观测现象:数值答对但支撑框找不准,会在证据 F1 上暴露,这正是后面 Opus 计数与证据分化的伏笔。

模型、输入与聚合方式如何保证可比?

评估覆盖 7 个开发者的 12 个视觉语言模型,包括 DeepSeek V4.1 Flash、Qwen 3.7 Plus 与 3.8 Max、Kimi K3 与 K3.1 Pro、GLM 5.3 Flash、Claude Fable 5.1 与 Opus 5.5、Gemini 3.8 Flash 与 4 Argon、GPT-6.1 Sol 与 GPT-6 Astra。每个请求含一道题与图像输入,指令、范围与输出契约跨模型相同,每题独立作答且看不到参考标注。严格评分要求 JSON 或独立 MusicXML 契约,所有 MusicXML 先做语义保持的规范化再验证计算,截断、拒绝、无效或空答案计入输出失败,通信失败可重试。另有一轮只去掉一层合法外层 Markdown 围栏的补充分析,不修正音乐内容。

主比较共 36,000 个模型题目对,涉及 1,905 张去重原图与 4,535 次原图出现,按来源标识划分 616 个来源内容组。非转录分数先在组内平均再跨组平均,空参考题单独计误报,有效覆盖率保持显式。每题一问的设计避免了多问之间的提示干扰,而组宏平均避免了题目扎堆的来源主导总分。

非转录主汇总公式计算每个子类型在有效题集上的组宏平均,先对组内有效题取均值,再对有代表性的组取均值,其中符号表示该子类型题目的得分。

\[S_{t}=\frac{1}{|\mathcal{G}_{t}|}\sum_{g\in\mathcal{G}_{t}}\frac{1}{|E_{t}\cap g|}\sum_{i\in E_{t}\cap g}s_{i}.\]

该式先消除同一来源内题目数量的影响,再消除来源数量的影响,空参考题不进入 F1 平均而另行统计。它帮助理解为什么跨域题量不同时仍可比较,但也意味着组数少的子类型对方差更敏感。

确定性路线与未知路线的走访成功按另一公式分别处理,有效输出、路线一致与扩展事件一致三者共同决定得分,未知题要求有效的未知回答与引用受影响及证据区域的理由代码。

\[s_{i}=V_{i}R_{i}\bigl[(1-a_{i})+a_{i}E_{i}\bigr],\]

该式区分只要求路线与还要求扩展事件的两类题,以及显式未知题的判定逻辑。它说明反复走访不仅考导航,还考展开后的音乐内容。

MusicXML × ABC 表示: MusicXML 是模型必须直接输出的规范乐谱文本,保留声部、音高、时值与关系结构;ABC 表示是由提交的 MusicXML 转换得到的线性序列,用于计算字符、符号与行级编辑距离;两者搭配让同一份转录既能做树与符号级比较,也能做序列级比较,组合后可分辨局部拼写准而行结构差等不同失败。

转录侧用语料库 NED 把全子类型的编辑数与符号数分别求和再相除,另有按题平均与按组平均两种加权在附表中对照;Opus 与 Astra 的排序用 10,000 次成组自助法在来源组上重采样,给出配对差值的百分位区间,区间条件于已观测分组,不含重复生成的变异,也不做全模型多重比较校正。

哪些操作分化了模型,转录领先者为何随范围改变?

非转录能力画像显示操作依赖很强。可见事实抽取远强于音高解读:Opus 在 T6.1 可见事实题联合成功率达 99.0%,而 T5.2 记谱与发声音高题精确答案只有 56.0%;Astra 对应为 100.0% 与 81.7%。这组对照把检索可见文字与选择并解读音符分开,前者几乎饱和,后者仍是瓶颈。细定位上 Sol 与 Astra 在 T1.1 分别达 91.0% 与 89.8%,而 Opus 只有 7.9%,但 Opus 在小节区域达 94.0%、跨声部时值达 76.1%,说明大尺度组织与细符号定位可以分离。

关系类型进一步分化模型。Qwen Max 在系统谱表与小节区域 F1 超过 84%,但声部归属精确答案只有 46.9%;Argon 结构延续达 98.0%,但系线连音线端点只有 57.7%。前者区分区域几何与对象归属,后者区分跨版式连续与音符间音乐连接。下图例子把端点正确但类型错误具体化:Opus 找到 3 到 4 端点却把参考系线判成连音线,Sol 与 Astra 返回系线,蓝色框复现 4 个公开目标,裁剪来自手写页局部。

读图任务是区分几何相连与音乐相连,不要只看弧线存在,要看表格中类型列的差异。

看图路径: 1. 先看四个蓝色目标框标出的端点位置;2. 再对照表格中参考为 Tie 而 Opus 给 Slur 的行;3. 注意端点相同但类型不同意味着什么

原论文 Figure 3:Correct endpoints, incorrect musical relation.

论文图 3。原论文 Figure 3::“Correct endpoints, incorrect musical relation.”。

该图确实可见手写谱上线条与 4 个标号框,以及下表参考为 Tie 而 Opus 为 Slur 的行,Sol 与 Astra 行与参考一致。它证明即使端点全对,类型判错仍导致关系失败,也解释了为什么 T3 需要类型化评分而不能只测曲线检测。

转录排序随范围改变。Astra 在 T4.1、T4.2、T4.3 以完整总体语料库 NED 最低,而 T4.4 多页上 Opus 为 39.9%,Astra 为 50.6%,Sol 为 55.2%,Kimi K3.1 Pro 为 67.0%。Opus 与 Astra 的多页差值配对区间为负向且不含零,在等题与等组加权下反转依然成立,3 种参考长度分层中 Opus 也都更低。但在双方都有效的 80 题子集上两者为 33.3% 对 34.6%,区间包含零,说明计入输出失败时 Opus 领先,而只看共同有效输出时两者音乐重建接近。

下表是四档转录的完整总体语料库 NED,数值已乘以 100,越低越好,每格覆盖 125 题,语料库比率把编辑数与符号数跨子类型分别求和。

ModelT4.1T4.2T4.3T4.4
DeepSeek V4.1 Flash89.686.186.489.0
Qwen 3.7 Plus90.889.991.896.1
Qwen 3.8 Max81.181.176.176.2
Kimi K371.769.370.974.5
Kimi K3.1 Pro64.464.162.867.0
GLM 5.3 Flash89.686.983.793.1
Claude Fable 5.164.469.259.377.1
Claude Opus 5.546.355.143.539.9
Gemini 3.8 Flash84.479.885.798.0
Gemini 4 Argon46.229.052.088.3
GPT-6.1 Sol28.023.530.555.2
GPT-6 Astra23.521.426.850.6

这张表支撑的判断是 excerpt 与单页的领先者不等于多页领先者,Astra 在前三档最低而 Opus 在多页最低。限制是来源内容不同,不能把这种反转归因于页数本身;缺测的其它距离与树距离覆盖率在附表中单独报告,不能用子集均值替代完整总体排序。

多页长度分层进一步说明观测长度内的表现,符号数与页数范围描述每层,语料库 NED 乘以 100。

LengthnnRef. symbolsPagesOpusAstra
Shorter42404–26862–716.925.0
Middle422724–47162–1227.945.7
Longer414720–544432–8453.658.8

该表显示短、中、长 3 层中 Opus 分别为 16.9、27.9、53.6,Astra 为 25.0、45.7、58.8,Opus 在每层都更低。但长度与来源材料混杂,只能说在已观测长度上如此,不能推出因果的长度效应。终止标签显示 Opus 正常停止中无输出失败而 Astra 有 31 次,长度终止两者都有失败,这些状态与评分失败度量的是不同性质,不要混为一谈。

域内画像同样呈现任务条件性。下图上板为单页转录语料库 NED,下板为音高组宏精确答案,同任务跨三域比较且模型顺序固定。读图时先确认纵轴方向相反,再看同模型跨颜色的变化。

看图路径: 1. 上下面板分别看转录越低越好与音高越高越好;2. 同模型比较三种颜色在同一任务内的高低变化;3. 注意 Printed scan 上各模型的相对顺序变化

原论文 Figure 4:Model profiles vary across domains.

论文图 4。原论文 Figure 4::“Model profiles vary across domains. Each panel evaluates the same task across three domains for all twelve VLMs.”。

该图确实可见上板各模型三色柱高低不一,下板 Sol 与 Astra 在渲染域并列满分而在印刷扫描域明显回落,Opus 在手写音高上高于渲染音高但手写转录误差更大。它帮助理解重建像与算得对可以分离,域排序会随任务改变,印刷扫描上 Sol 与 Astra 的区间重叠使点估计顺序只是描述性。

去掉图像、给定与增加页面各改变了什么?

图像移除在 270 题固定子集上检验视觉依赖,T2.3 与 T5、T6 各取 30 题,文本、坐标、给定、输出模式与生成设置不变,只删去全部图像部分。Sol 的记谱与发声音高从 83.3% 降到零,反复走访从 92.0% 降到零,可见事实从 100.0% 降到 13.6%,移除后 270 题中有 268 题输出仍有效,说明下降主要在答案内容而非格式失效。但结构归属仍有 53.3%,片段变换仍有 60.0%,公开文本几何与先验可支撑部分无像素作答。DeepSeek 基线已接近零的任务存在地板效应,差值虽小但诊断价值有限。

辅助给定移除保留图像,只删指定辅助域。T5.2 去掉额外小节框但保留目标音符框与标识,T6.3 去掉对齐小节时长但保留行归属与节奏规则。Sol 在 T5.2 保持 95.0%,13 道 T6.3 全对;DeepSeek 在 T5.2 从 15.0% 降到 5.0%,T6.3 联合成功不变但格式有效数变化,说明总分不变可能掩盖答对题集的变化与格式合规变化。固定目标的页面上下文对照在目标片段后追加同源页面序列,参考与继承上下文不变,Opus 在 T4.1 增加 6.3 点、T4.2 增加 3.4 点,Astra 减少 0.6 与 8.6 点,但每组区间都包含零,方向因模型而异且不确定性覆盖利弊两端。

格式与内容分离用围栏补充分析说明。Qwen Plus 可评分题从 341 恢复到 2824,GLM Flash 从 1930 恢复到 2825,但恢复后的转录仍有很大记谱距离,说明格式只解释小部分转录误差。细符号定位的 1 像素容差让 Sol 的 T1.3 从 58.9% 升到 72.3% 而 T1.1 只从 91.0% 升到 91.9%,坐标偏差对窄符干影响更大,但类别与依附错误仍需另行修正。

严格评分 × 外层代码围栏补充分析: 严格评分要求只接受符合 JSON 或独立 MusicXML 契约的答案,解决输出能否被自动解析的问题;外层代码围栏补充分析只去掉一层合法的 Markdown 围栏后重评,内容不做任何修正,解决错误是包装问题还是音乐内容问题;两者搭配才能把格式不兼容与音高时值算错分开,组合后避免把能解析但写错判成格式问题。

下图是格式有效但音乐错误的典型:T5.2 问上钢琴谱表标定小节内最高记谱音,发声定义为记谱减两半音,模型收到全部五页,蓝色框复现公开小节范围。读图时先看谱面裁剪中的目标范围,再看表格中参考 B5 与 Opus F5 的对应发声值。

看图路径: 1. 先看蓝色框标出的目标小节范围;2. 再对照表格中 B5 与 F5 两行的发声值差异;3. 注意格式有效但音高选错如何被判定

原论文 Figure 5:A valid format can contain a musical error.

论文图 5。原论文 Figure 5::“A valid format can contain a musical error.”。

该图确实可见双谱表片段与蓝色目标框,以及下表参考 B5 对应 81、Opus F5 对应 75、Sol 与 Astra 与参考一致的行。它证明格式检查通过不代表音高选择正确,Opus 的移调计算自洽但选错了音,定位目标与变换计算是两个可分离的错误来源。

这些结论在什么条件下才成立?

首先是总体边界。所有分数条件于已选内容分组与单次生成,配对自助区间只刻画内容抽样敏感性,不含重复推理变异,也不对 12 个模型做同时排序校正。T5.4 上 Opus 与 Astra 点估计接近而区间很宽,相对反复能力无法定序;T4.4 共同有效子集区间包含零,只能说在可接受答案上两者接近,不能推广为整页重建无差异。

其次是指标与覆盖边界。5 种转录距离单位不同,字符符号距离偏向局部序列,行距离与树距离偏向行结构与层级结构,排序不必一致。T4.4 的树距离对所有模型都不完整,多个模型的 ABC 距离缺测,缺测使完整 12 模型排名无法建立,只能报告可用子集。空参考误报必须与正例 F1 联合解读,无效答案的零误报不是正确克制。

第三是域与长度边界。域比较使用不同来源材料与给定,描述的是已评估子集表现,不是同一批谱换渲染的控制效应。长度分层中符号数与页数与来源混杂,只能描述观测长度内的表现。图像移除的残留成功可来自公开几何、任务约束或模型先验,不能反推模型看见了谱面;低基线任务的图像依赖因地板效应而无法判定。这些限制意味着选型必须按操作与输入质感分别进行,不能用一个总分指导所有读谱任务。

复现第一步该做什么、去哪里找资源?

复现应从问题契约开始,而不是从跑模型开始。先按附录问题串与输出契约重建一道 T1 定位题与一道 T5 音高题的输入结构:用户消息中的问题、区域、目标标记、给定与输出契约字段,以及有序原图与声明的辅助裁剪如何排列。确认归一化坐标是相对原图而非裁剪图,区域框单独提供而非画在谱面上,共享指令只要求返回 JSON 或独立 MusicXML 且不加围栏、不截断范围。跑通严格评分器对格式有效与输出失败的判定后,再引入 MusicXML 规范化、ABC 转换与组宏平均的聚合逻辑。

数据侧按来源表核对三域构成与 125 题每子类型的配额,理解 Muse 原生语料、手写 CVC 与 MUSCIMA++、Winterreise 扫描与小节标注等集合的分工,以及 1,905 张原图与 616 个来源内容组的聚合单元。论文正文表示将公开基准与评测脚本,但本次未发现可验证为作者资源且可用的链接,因此不能写成代码模型数据已公开或可下载,第三方提及的链接也只证明论文提到该链接。复现时应以论文附带的表 S1 数量、问题文本与评分规则为准,先验证范围绑定与参考对应,再补模型调用。

统计复现要注意随机种子与分组:Opus 与 Astra 比较用 10,000 次成组自助并保留组内全部题目,种子与区间定义在附录中给出。输出上限 32,768 的控制条件、有效覆盖率显式报告、失败仍计入分母等细节,都需要在复现脚本中保留,否则点估计与区间不可比。

什么时候值得尝试、还需补哪项验证?

当任务可以明确为定位、切分、归属、关系、转录、乐理计算或带证据回答之一时,这套基准值得作为选型依据。例如需要大面积找符头与表情记号时,Sol 与 Astra 的细定位更可靠;需要从扫描页重建单页时,excerpt 与单页领先者更合适;需要重建多页有序输入并容忍输出失败计入总分时,Opus 的完整总体更优;需要解释音高时值与反复路线时,应直接看 T5 而不是用转录分代替。行动顺序是先按操作与输入质感查对应子类型点估计与区间,再看格式有效率与证据 F1 是否支撑可用性,最后用图像移除与辅助移除的对照判断对谱面像素的依赖程度。

还需补充的验证集中在三处:一是缺测距离的覆盖,特别是多页树距离与部分 ABC 距离,需要在可解析子集上补足并明确报告分母;二是印刷扫描与手写在相同曲目上的控制比较,现有域差异混杂了内容与给定,不能直接当成渲染鲁棒性;三是重复生成的变异,现有区间只反映内容抽样,需要多次采样才能知道排序稳定性。容易产生的误解是把共同有效子集的接近当成整体无差异,把围栏恢复后的可评分数当成正确数,把残留无图作答当成视觉不重要,原文的分组、失败计入与证据分离设计正是为了避免这 3 种误读。

📎 论文与评分元数据

排名:前50% | 文档类型:数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-16 语音/音乐/音频论文速递