把申克分析变成逐层留音符：用多关系图与节点隔离学层次

英文题目：AutoSchA: Automatic Hierarchical Music Representations via Multi-Relational Node Isolation

会议身份：conference:aaai:2026:conference-paper-id:39640

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#图神经网络 #人类参与评测 #音乐 #音乐理解

评分：6.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Stephen Ni-Hahn：机构信息未能从会议 PDF 纯文本可靠映射
• Rico Zhu：机构信息未能从会议 PDF 纯文本可靠映射
• Jerry Yin：机构信息未能从会议 PDF 纯文本可靠映射
• Yue Jiang：机构信息未能从会议 PDF 纯文本可靠映射
• Cynthia Rudin：机构信息未能从会议 PDF 纯文本可靠映射
• Simon Mak：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为巴洛克赋格主题的符号乐谱多关系图，输出为每音符在各申克深度是否保留的嵌套比特序列及声部归属，难点在于专家标注极贵且深层保留集合必须包含于浅层。方法先将音高节奏特征与起音、前向、声部等关系边编码为多关系图并新增级进音程边，再经有向多关系卷积融合双向邻域上下文得到局部节点嵌入。接着对拓扑排序序列用变换器或经子空间融合提取全局调性信息，将其与局部嵌入拼接后送入轻量关系卷积打分网络。然后按阈值隔离低分节点的全部边以阻断消息传递，并用各深度的二元交叉熵加单调正则联合优化池化分配。与需预设固定删除比例的Top-K池化不同，该节点隔离机制按曲目与深度自适应决定删除量，并把池化分配本身作为主优化目标。在验证集评测下，AutoSchA序列变体的准确率为0.749（0.015），高于R-GCN基线的0.729（0.012）。其结论在单声部赋格主题上经5位专家盲评接近人类水平，但多声部奏鸣曲与跨风格外推尚未验证，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文的输入是一首用符号乐谱给出的短小单声部或复调织体片段，实验部分集中为巴赫与帕赫贝尔的赋格主题。目标不是生成旋律或配和声，而是给出申克分析，英文为申克分析。白话说，分析者要判断哪些音符是装饰性的经过音邻音，哪些音符撑起和声与线条骨架，并把这种判断分层写出来。前景是乐谱原样，深层是逐层去掉装饰后剩下的骨干，最深层常只有寥寥数音。

为让研究生能复述方法，本文要求记住 3 条必须保留的信息。第一，层次用比特数组表示，每个深度对应一列是否保留，且深层为真的位置在浅层必为真，形成嵌套过滤。第二，乐谱被转成多关系图，节点是音符，边是同时开始、时间相邻、同声部相邻、隔休止相邻、延持、连线以及按音程连接的下个同度二度等关系。第三，模型对每个节点在每个深度输出一个保留分数，用阈值判定去留，用分类损失学准，用单调性惩罚保证去掉的不再回来。

输出是一组可读的层次标注与声部标注。专家可以调节阈值得到不同稀疏程度的分析，也可以用分数的相对高低处理最高层的歧义。本文的解读只讲论文实际做的赋格主题层次预测，不把主观听感或生成质量当作已证明的结论。

已有路线为什么没能直接给出可训练的申克分析？

申克传统与计算尝试之间隔着数据与表示两道坎。早期计算工作多为启发式或基于规则的系统，原因是缺少计算机可读的完整分析。马斯登用六首莫扎特分析定义优劣度量再在巨大搜索空间中找高分分析，柯林用四十一首分析训练随机森林预测音符间的延长关系，并借用受限的最大外平面图表示。这些工作把问题带向数据驱动，但论文明确指出柯林模型把旋律读成单一声部，处理不了复调织体与复合旋律，而这恰是申克听觉结构的关键。

图神经网络一侧提供了可学习的池化工具。聚类式池化学习分组矩阵，取前百分之若干式池化学习打分函数并剪掉低分节点。论文梳理指出，多关系图的池化研究较少，已有方法要么只处理异构节点集而非申克需要的异构边集，要么先融合成共识图再做不可学习的显著性排序，要么簇数作为固定超参数而不自适应。符号音乐的图表示已有让森等人把音符作节点、把同时开始与时间相邻等作边的工作，本文在其上增加了音程边以捕捉深层结构连接。

因此本文的定位不是再做一个分类器，而是第 1 次把申克分析表述为直接优化池化分配的多关系图池化问题。理解这一点才能明白后文为何不预设每层删除比例，为何要同时学习卷积、打分与全局特征，以及为何基线要分别覆盖非图模型与图模型。

层次标注如何变成有嵌套约束的逐节点预测？

论文把深度为深度的申克分析写成比特序列，每个深度对应一个与节点数等长的是否保留向量。越深的向量越稀疏，且满足深层集合含于浅层集合。用帕赫贝尔第一首为例，前 4 个音勾勒主和弦原位三和弦，第五音以五到六的交换动摇主功能并走向属和弦，随后下行数音展开属功能，最后回到主和弦。低音多作大跳勾勒和声根音，高音多作级进，这种分工在表示中体现为同一时刻不同声部可以有不同的保留模式。

对初学者而言，关键动作是沿一个样本走完输入到目标。输入是谱面全部音符，深度零包含全部音符，深度一保留有符干的音，深度二保留符干更长的音，依此类推。底部数字给出每个音的最大深度，例如某装饰音只属于深度零而不属于深度一，某较结构音属于深度零和一而不属于深度二。模型要为每个音在每个深度回答留还是去，且回答之间不能自相矛盾。

下面这张图把谱面分析与数学表示并置，是全文任务定义的可核对锚点，上半是符干长短与连线表达的层级，下半是是否保留的比特列与嵌套注记。

看图路径： 1. 先看上半部分谱面上的长短符干与连线，区分前景全部音符与越深层越稀疏的骨干音；2. 再看下半部分每列音符对应的比特列，核对深层为 1 的位置在浅层是否仍为 1；3. 对照左上角高音与低音颜色与底部声部标注，观察同一时刻不同声部的去留差异；4. 读底部包含关系注记，确认预测目标必须满足嵌套而非每层独立分类

论文图 1。原论文 Figure 1：“Top: SchA, Pachelbel’s Primi Toni No.”。

该图显示帕赫贝尔赋格主题的申克分析在上、比特数组在下，深层包含于浅层的注记直接对应后文单调性正则的学习目标。读图时不要把符干长度误认为时值长短，它在此处编码结构深度；也不要把虚线连线误认为连音记号，它表达同音高或同层级的延长关系。任务的难处正在于训练数据极贵，论文写道分析一个乐句可超过 30 分钟，且已发表分析多不完整，无法直接拿来训练。

AutoSchA 的全景流水线如何组织卷积打分与隔离？

AutoSchA 的总体思路是逐层重复卷积加打分加隔离。给定输入图，包括节点特征矩阵与多个邻接矩阵，模型先做有向多关系卷积得到节点嵌入，同时抽取全局特征矩阵，二者拼接后送入打分模型得到该层的池化分数。分数与专家真值算交叉熵损失，按阈值把低分节点的出入边剪掉，被隔离节点的嵌入按分数加权后送入下一层卷积。为保证过滤合法性，另用相邻两层分数算单调性正则。反向传播同时更新卷积参数与打分参数。

申克分析 × 图池化： 申克分析负责定义任务语义：前景包含全部音符，越深的中景与背景只保留越结构化的音符且满足嵌套包含；图池化负责提供计算动作：对每个深度给每个节点打分并按阈值隔离掉非结构音符。二者搭配的理由是申克的逐层剥离装饰音恰好对应池化的逐层删节点，组合后层次预测变成可监督、可求单调性的池化分配学习。

下图是该流水线的总览，蓝色是卷积主路径，绿色是全局特征抽取，黄色是阈值掩膜，红色是打分与损失，紫色是反向传播，右侧虚线框表示下一层的重复。

看图路径： 1. 沿左侧输入图经卷积生成嵌入再拼接全局特征的主箭头走一遍层内流程；2. 找到打分模型输出预测分数与真值比较得到池化损失的位置；3. 找到按阈值做掩膜并把隔离后图送入下一层的回路；4. 观察连接相邻两层分数的单调性正则与反向传播回卷积和打分参数的路径

论文图 2。原论文 Figure 2：“Overview of model architecture: diagram for the pooling GNN.”。

结合像素可见，左侧多关系输入图先经卷积生成该层嵌入，中间拼接全局特征后对每个节点输出分数条，下方同时画出预测分数与真值以计算池化损失，黄色掩膜符号按阈值决定哪些节点在右侧子图中变为虚线孤立节点，右下公式把上一层已低分而下一层又抬高的部分累加为单调性损失。这种设计把通常作为分类副产品的池化变成了直接优化的主目标，这是与常见图分类池化的本质区别。

图如何构造，卷积与隔离具体算什么？

节点特征分音高类与节奏类。音高类包括音名类别、归一化乐器数字接口音高、调内音级，节奏类包括归一化时值、归一化位置、节拍强度。边类型沿用同时开始、前向相邻、同声部相邻、隔休止相邻、延持与连线，并新增音程边，例如首音与倒数第二音之间若为上行二度则连一条下个上行二度边。音乐时间只向前流，因此前向边构成有向无环图，这为后文拓扑排序提供了合法性。

卷积先回顾单关系情形的度归一化传播，再推广到多关系求和，最后推广到有向情形，对每种边类型分别设前向与后向权重并用系数与其余数加权融合。打分函数形式类似，只是输出维度为 1 并经激活函数压到零到一之间。隔离操作用指示向量对邻接矩阵做行列掩膜，并把节点嵌入按分数加权，被隔离节点仍在图中占位但不再参与消息传递。

多关系卷积 × 节点隔离： 多关系卷积负责让每个音符从不同乐理关系邻居聚合信息，前向与后向分别设权重并用系数加权；节点隔离负责把打分低于阈值的节点边全部剪掉，使其在下一层收发不到消息。前者解决异构边不能混用的表示问题，后者解决每首曲子每层应删多少不固定的自适应问题，组合后卷积提供打分依据，隔离执行层次递进。

下图用同一首赋格主题展示多关系图的样貌，是把谱面转成计算对象的关键一步。

看图路径： 1. 先看顶部谱例与下方音符圆圈的对应，确认节点就是音符；2. 对照右下图例区分前向边与不同音程边在谱中的走向；3. 看左下节点特征框，点清音高类与节奏类各有哪些输入；4. 追一条从首音出发的长距离边，体会局部邻接之外还编码了什么关系

论文图 3。原论文 Figure 3：“Primi Toni No. 1 as a multi-relational graph.”。

像素中可见顶部谱面与下方圆圈音符一一对应，蓝色多为时间相邻的前向边，红色黄色绿色分别示例同度与二度等音程边，左下框列出音高类别、音级、节拍强度、乐器数字接口音高、时值与位置等节点特征。教学例子是首音与后方某音的二度连接，它说明模型不仅看相邻音，还能直接看到潜在的线条骨架候选。

声部与全局特征是两个不可省略的组件。声部预测是三标签多标签任务，选项为高音、低音与内声部，只用第一层卷积信息预测 1 次再传播到各深度。高音与低音承担外声部结构角色，内声部多为动机与填充支持。全局特征有两种实现，下图左右并置了这两种路径。

看图路径： 1. 左侧看从前向子图经拓扑排序进入变换器得到全局嵌入的步骤；2. 右侧看多个关系子图的嵌入汇入统一流形再生成融合邻接矩阵的步骤；3. 比较两种路径最终都输出全局特征并与局部嵌入拼接的位置；4. 注意右侧公式所示的融合拉普拉斯构造，理解它不是简单取并集

论文图 4。原论文 Figure 4：“Two approaches to compute the global embedding, Xglobal.”。

左路把前向图抽出并拓扑排序成序列再送变换器编码器得到全局向量，并按上一层分数加权后拼回每个节点，以削弱已删除节点对全局的干扰。右路为各边类型算拉普拉斯嵌入，在格拉斯曼流形视角下融成统一全局拓扑，再把原始特征在其上卷积得到融合全局特征。

声部归属 × 深度归属： 声部归属负责判断每个音符属于高音声部、低音声部还是内声部，刻画外声部骨架与内声部填充的不同结构角色；深度归属负责判断该音符在第几层仍被保留。搭配理由是申克分析同时依赖横向层次与纵向对位，不分声部会把复调织体误读成单线条，组合后模型先定声部再逐层打分，使同一音高在不同声部语境下有不同去留。

序列全局特征 × 子空间融合全局特征： 序列全局特征负责用前向边的拓扑排序把图拉成时间序列再送变换器编码调性与大范围和声走向；子空间融合全局特征负责把多种边类型的拉普拉斯信息融成一张统一全局图再做卷积。前者长于时间先后与远距离依赖，后者长于多关系拓扑的统一表达，组合意义是给局部打分函数补上超出邻域的上下文，避免只看邻音误判结构音。

两条全局路径的共同点是都把超出局部邻域的信息带回打分函数，不同点是序列路依赖时间顺序而融合路依赖多关系拓扑，论文报告序列路精度更高而融合路在相近参数量下亦优于无全局基线。

损失如何相加，参数如何更新，哪些细节未报告？

训练目标是池化损失与单调性正则之和。池化损失是对所有深度的二元交叉熵求和，每个深度比较预测分数与专家是否保留真值。单调性正则遍历中间层与节点，若某节点在该层分数低于阈值，则把其在下一层的分数累加为惩罚，促使一经隔离便保持隔离。论文明确写出阈值是零到一之间的超参数，推理时专家也可自选阈值，歧义时参考分数相对高低。

梯度路径按图示同时回传卷积参数与打分参数，隔离后的嵌入作为下一层输入继续参与前向。声部分支用有向关系图卷积加激活函数训练，与深度分支解耦，推理时先预测声部再逐层算深度分数。数据增强把分析移调到 12 个调，逐音符逐深度计数可得每深度数万次推断，但这不等于独立乐曲数，仍是同一批八十八首赋格主题的变换。

池化损失 × 单调性正则： 池化损失负责在每个深度上用二元交叉熵拉近预测分数与专家标注的是否保留；单调性正则负责惩罚在浅层已低于阈值却在深层又抬高分数的节点。搭配理由是申克序列必须嵌套，单有分类损失不能保证深层集合含于浅层，组合后模型既学对每层去留又学到一经去除不再返回的过滤性质。

需要指出的缺项是原文未完整报告优化器类型、学习率、训练轮数与早停规则在主文中的具体取值，消融部分仅提及训练若干副本与轮数的比较设置。未报告不等于没有训练，也不能从模型名推定实现，复现时应以公开补充材料与代码核对为准。当前证据状态下不得声称代码已公开可用，只能说补充材料给出仓库路径而本次未能确认可达。

数据基线与人的评测各在什么条件下比较？

数据来自论文引用的新申克数据集中的一百四十余首计算机可读分析，实验聚焦其中最丰富且较同质的八十八首巴赫与帕赫贝尔赋格主题。按音符计数共 3807 个音符，每个音在每个深度都是 1 次推断，移调 12 个调后每深度共 45684 次推断。这种计数方式放大了样本量但未增加体裁多样性，结论外推到奏鸣曲、流行或民族调式时需谨慎。

相对性能比较要求每个基线为每个申克深度单独训练，最小化该深度的节点分数二元交叉熵。基线包括多层感知机、变换器、图卷积网络、图注意力网络与关系图卷积网络，其中图卷积与图注意力用所有边类型取并集的无向图。指标一是准确率，定义为分数落在阈值正确一侧的节点比例，越高越好；指标二是单调性损失，越低越好。报告的是测试样本上最优准确率与最低单调性损失的均值与标准差。

人的评测邀请 5 位懂申克分析的音乐理论专家，这是论文强调的该方向迄今最多专家参与的 1 次。每份谱与录音配三份分析，分别来自数据集中人类分析、模型经专家选阈值生成的分析与故意写坏的问题分析，三者随机排序。问题包括按学生作业打等级、零到十分的音乐性、对人类所写的确信度以及有无明显别扭之处并可文字说明。不与柯林模型比较，理由是其不做严格意义的申克分析。

模型相对基线强在哪里，人评与问题分析对照说明什么？

相对性能的核心问题是同条件训练下多关系与隔离机制是否带来准确率与单调性双收益。公平条件是各基线都按深度单独训练并用同一真值比较阈值正确侧，指标方向为准确率越高越好、单调性损失越低越好。下表整理原文报告的验证集最优均值与标准差，数值保留原文写法。

该表显示本方法序列编码版本准确率最高，基础版单调性损失最低，融合版亦优于无全局基线。代价是标准差并不小，且图卷积在单调性上亦曾取得较低值，说明趋势成立但非每组全面碾压。未胜出项值得记住，变换器准确率低于多层感知机，图注意力亦未超过关系图卷积，提示在小样本符号音乐图上简单关系建模可能比复杂注意力更稳。

人评的核心问题是模型分析在专家眼中是否接近人类而远离问题分析。下表先看等级与音乐性，分数越高越好，括号为置信区间。

表后解释是本方法显著优于问题分析，但与人类仍有差距，等级差约 0.3，音乐性差约 0.8，且差异在统计上可辨。这支持接近人类但不等同人类的判断，不能读成通过图灵测试。

另一组人评看确信度与别扭比例，前者越高越好，后者越低越好。

这组结果的反证意味更强，确信度上本方法与人类统计不可分，但别扭比例上本方法显著高于人类，也显著低于问题分析。也就是说专家可能觉得整体像人写的，却仍能挑出局部不 musical 的连接，这正是未来工作要修的局部决策。

拿掉哪些特征与超参数最影响准确率？

消融要回答特征必要性与阈值方向敏感性。做法是去掉某些节点与边特征后训练 30 个副本各 3 轮，在合计 90 轮中取验证准确率最大值比较。论文报告节奏特征最为关键，去掉两个音高特征即音名类别与乐器数字接口音高后反而达到最高准确率，过多音高特征似乎干扰了模型。教学含义是赋格主题的结构判断更依赖位置与节拍强度而非绝对音名，但论文也假设换到悬留多的风格或更大编制时变量重要性会变化。

阈值与方向权重的探索显示理想阈值在 0.5 附近，最优前后权重在 0.75 左右，说明分析主要是前视现象但后视分量不可少，从 0.75 到 1.0 的陡降证明了后向边的必要性。边方向与全局的消融共同指向同一机制解释，结构音判断需要同时听到前方的解决与后方的来源，单向传播会丢失延长关系的一侧证据。

失败条件与边界同样要记牢。消融仅在小样本赋格主题上进行，未评测跨体裁与大编制，阈值结论是否适用于更深层次或更长曲式待验证。个案研究对比了模型与人类对同一首的分析，可作为复现时的定性核对，但不能替代统计结论。

哪些结论不能从现有证据推出？

第一，体裁边界未测。实验只覆盖巴赫与帕赫贝尔赋格主题这一较同质子集，不能推出对奏鸣曲、爵士、摇滚或戏曲同样有效，原文引言虽提及申克思想曾被借用到多种音乐，但那是理论史陈述而非本模型的实证范围。第二，数据规模边界明显。原始音符仅三千八百余个，移调增强缓解了绝对音高稀疏但未增加结构多样性，标准差与人评置信区间都提示估计仍有不确定性。

第三，人评的解读要区分指标。确信度无显著差异不等于质量无差异，别扭比例与等级音乐性同时显示本方法与人类有显著差距。自动准确率也不能当成人评，阈值正确侧比例只衡量是否保留，不衡量连线、声部与和声标注的音乐合理性。第四，成本与延迟未测量。论文未报告训练耗时、推理开销与硬件预算，不能承诺分析更快更便宜，只能说自动初稿可供专家修改，或用于生成等下游任务的探索。

第五，资源可达性本次未能确认。证据清单中没有完成安全验证的资源绑定，补充材料仓库路径在正文出现但状态未知，解读中不得声称代码模型或数据已公开，只能写明需读者自行核对链接可达性。

要复现应先做什么，需要补哪项验证？

复现的第一步是重建数据表示而非直接调模型。按原文把每首赋格主题转成节点为音符、边含同时开始、前向、同声部、隔休止、延持、连线与音程边的多关系图，节点特征至少包含音名类别、归一化音高、音级、归一化时值、归一化位置与节拍强度。核对前向边是否无环并实现拓扑排序，为序列全局路准备顺序。第二步实现有向多关系卷积与打分隔离循环，阈值先取 0.5，前后权重先取 0.75，再按验证集微调。第三步先训声部分支再训深度分支，推理时允许专家按深度调阈值。

验证要补三项。一是划分与聚合口径的书面记录，包括曲目级划分是否按首划分、有无调性泄漏、准确率按音符平均还是按曲平均。二是跨体裁的留出测试，至少在另一风格小集上报告准确率与单调性，避免只在赋格主题上自证。三是人评的盲测扩展，增加曲目数并记录别扭位置的类型学，例如是邻音误留、和声误判还是声部混淆，以便把单调性之外的音乐错误变成可优化的损失。

何时值得尝试是当研究目标是层次骨架抽取或长结构生成控制，且有专家可做阈值校准与后编辑时。若只需要和弦识别或旋律生成，则不必引入如此重的层次 machinery。信息条件上必须保留调性、节拍与声部线索，缺失这些时不应期待同样效果。

一句话收束：它解决了什么，还缺什么？

AutoSchA 把申克分析的逐层剥离翻译成可学习的图池化，用多关系卷积看懂局部对位，用全局特征补上调性走向，用节点隔离实现自适应稀疏，用双损失同时学准与学嵌套。在巴洛克赋格主题上，它在自动指标上超过同条件基线，在专家盲评中显著优于问题分析并接近人类，但在别扭比例上仍显著逊于人类。

对研究生而言，可带走的复述链是谱面到多关系图，到卷积嵌入与全局拼接，到逐层打分与阈值隔离，到双损失训练与专家调阈值推理。未验证的是跨体裁泛化、完整分析质量与实际省时省力，这些需要新的数据、更细的音乐错误分类与可运行系统的实测来回答。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总