表现力从哪里来：速度、踏板与节拍标注谁真正改变了钢琴生成

英文题目：Evaluating Tokenization Strategies for Expressive Classical Piano Performance Generation

会议身份：conference:dafx:2026:conference-paper-id:DAFx26_demo_64

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #Transformer #预训练 #音乐 #符号音乐生成

评分：7.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Qingyang Lyu：机构信息未能从会议 PDF 纯文本可靠映射
• Brian Cruz：机构信息未能从会议 PDF 纯文本可靠映射
• Jeremy Wagner：机构信息未能从会议 PDF 纯文本可靠映射
• Carmine-Emanuele Cella：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务以作曲家标识与体裁标识为输入，生成富有表现力的古典钢琴演奏符号序列，输出为包含时间、时值、音高、力度、拍点与踏板状态的事件流，难点在于揉弦式速度偏移、力度塑造与踏板交叠衰减无法被固定小节网格量化。方法链第一步用前缀分层词表把连续时间、时值、音高、力度、拍点与踏板离散为统一编号空间，时间以每秒100刻度离散并支持六种模式截断复用。第二步以24层解码器自回归建模事件依赖，并用交叉注意力注入由作曲家与体裁嵌入经双层感知机投影得到的记忆向量，上一步的词表输出直接作为下一步的自回归输入序列。第三步先在MAESTRO上以Note+Vel+Pedal模式预训练学习音高、节奏、力度与踏板结构，再到ASAP上按六种模式分别微调以学习拍点感知的表现力。与基于小节与拍细分的REMI相比，该设计保留绝对时间分辨率并允许大词表向小词表截断复用，其实质意义在于联合保留力度攻击与踏板延音交叠的建模能力。在ASAP测试集下，Note+Vel+Pedal的FAD分数为1.76，低于Note基线的FAD分数3.10。该结论适用边界仅限于经FluidSynth渲染音频的分布相似性比较，尚未验证真实听感偏好与跨音色泛化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://archives.ismir.net/ismir2020/paper/000127.pdf — 链接可访问（HTTP 200）
• 第三方资源：https://openreview.net/forum?id=EBNJ33Fcrl → https://openreview.net/challenge?redirect=%2Fforum%3Fid%3DEBNJ33Fcrl — 链接可访问（HTTP 200） 预印本/扩展版链接未在会议页展示；会议版来源见页首官方记录与 PDF。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要解决的困难从哪里来？

这篇论文的输入是符号化的钢琴演奏序列，目标是让模型自动生成具有古典风格表现力的演奏，而不只是生成音高正确的乐谱。初学者容易把音乐生成理解成给出一段旋律就行，但古典钢琴的难点在于演奏层：同一个乐谱，不同演奏者在触键时间上会有细微推拉，在强弱上会有起伏，在踏板上会有延续与混响，这些都不会完整写在谱面上。白话说，乐谱告诉你弹哪些音，演奏告诉你怎么弹，而论文要生成的是后者。

为此作者把连续的演奏属性离散化，也就是分词。分词英文是 tokenization，指把发声时刻、持续时长、音高、力度、节拍位置、踏板开关变成整数编号，让 Transformer 像做语言建模一样逐个预测。必须保留的关键信息是：时间分辨率是每秒 100 个点，单窗口最长 100 秒，时长最长约 10 秒，音高是标准 0 到 127，力度是 128 级，节拍只有 3 种，踏板只有开与关。输出是完整的词序列，可以转回 MIDI 再渲染成音频。评价不在词层面做准确率，而在渲染后的音频层面算分布距离。

本解读的输出是一套可复述的方法与实验条件：6 种分词如何构成、模型如何以作曲家与体裁为条件、2 阶段训练如何衔接、生成与渲染如何控制、主结果与反例各是什么。学习时请先建立一个样本直觉：一个音符至少需要何时开始、持续多久、是哪个键，表现力则追问用多大力、处在哪个拍点、是否踩着踏板，后文所有对照都围绕这几问是否值得变成词。

已有路线提供了什么，本文卡在哪个缺口？

第一条路线是 MIDI 词表设计。论文回顾了 REMI 引入小节与节拍词来提供节拍结构的做法，并指出它把发声位置量化到固定节拍细分上，更适合流行音乐。对于古典演奏必需的自由速度，英文是 rubato，指演奏者在节拍前后做弹性伸缩，这种固定网格会抹掉关键细节。另一条路线是紧凑的音符元组编码，代表是 Anticipatory Music Transformer 与 MIDI-LLM，用时间加时长加音高的结构生成乐谱。本文继承了元组思路，再系统加入力度、节拍事件与踏板事件，从而能逐项检验各自贡献。

第二条路线是带元数据的可控生成。已有工作用乐器与速度等符号做条件，同时生成多声部伴奏，也有用掩码语言模型理解符号音乐。本文的条件是作曲家编号与体裁编号，例如肖邦练习曲或巴赫赋格，做法不是拼在序列开头，而是通过交叉注意力让每一层都能读到条件向量。这意味着控制信号是全局共享的记忆，而不是只影响第一个音。

第三条路线是评价指标。弗雷歇音频距离英文是 Fréchet Audio Distance，简称 FAD，它在 VGGish 嵌入空间比较生成音频分布与参考音频分布的距离，比波形层面的信噪比更贴近听感。论文明确把它作为主指标，生成 MIDI 统一用 FluidSynth 加标准钢琴音色库渲染，参考 MIDI 也用同样方式渲染，保证比较的是符号决策差异，而不是合成器差异。缺口因此很清晰：已有分词要么缺表现力通道，要么没有在同一模型与同一评价下做受控消融，本文补的就是 6 种分词的公平对比。

要比较的问题是什么，公平条件如何界定？

要回答的问题是：在同一个条件 Transformer 下，多给力度、节拍、踏板 3 类信息中的哪几类，能让生成的古典钢琴演奏在听感分布上更接近真实演奏。与谁比决定了结论是否可信：基线是纯音符模式，只给时间加时长加音高；候选是逐步叠加力度、踏板、节拍的 5 种扩展；最全的是六者全给的全量模式。条件是否一致是关键，论文让 6 个模型共享同一架构、同一预训练起点、同一微调数据划分与同一渲染流程，区别只在词表与对应事件是否出现。

指标方向要先讲清：FAD 越低越好，它衡量的是按作曲家加体裁分组的音频分布距离。举例说，这不是判断某个音弹错了没有，而是判断一批生成的肖邦叙事曲在音色动态与时间质感上整体像不像真实录音对应的 MIDI 渲染。聚合对象是先按 19 个作曲家与体裁类别分别算 FAD，再取均值，同时因为个别类别是大幅离群点，还报告去掉每种模式最小与最大一类的截尾均值。

一个常见的误解是词越多一定越好。本文的假设恰恰相反：多加的词可能带来信息，也可能带来稀疏与噪声。节拍词需要乐谱对齐才能准确，自由速度段会被标成无法定位的模糊拍；力度与踏板在小数据上可能学不充分。因此比较必须同时看平均收益与类别反例，后文结果节会逐项落实。

六种分词与两阶段流程如何组织成一次对照？

先看整体安排。论文设计了一个前缀分层的共享词表：特殊符、时间、时长、音高、力度、节拍、踏板按顺序分配编号区间，省略某类词的模式仍然保留完整嵌入矩阵，只在训练与生成时限制可预测的编号子集。这样做的好处是可以用大模式的预训练权重直接截断装入小模式，避免从零重训。6 种模式从纯音符到全量，区别只在音符事件是否带力度、是否插入节拍事件、是否插入踏板事件。

下图把 3 种事件的形状讲得很直观，阅读时把它当成拼积木的说明书：每类事件都以时间为首词，后面跟随该事件的载荷。

看图路径： 1. 先看左侧三行事件名，确认只有音符、节拍、踏板三类事件；2. 再沿每行从时间词向右看第二、第三个词，记住音符行是时长加音高加可选力度；3. 对比节拍行与踏板行第二词的区别，一个是节拍类型一个是踏板开关

论文图 2。原论文 Figure 2：“Three event types in the tokenization.”。

图中第一行是音符事件，按时间、时长、音高、力度从左向右排列，力度只在启用时出现；第二行是节拍事件，只有时间加节拍类型，类型在常规拍、强拍与模糊拍三者中取一；第三行是踏板事件，只有时间加开或关。像素上三行共用同一个蓝色时间块，说明时间是统一时钟，后续色块不同说明载荷分流。这种设计让约束解码变得简单：模型在每个位置都知道下一步该出时间还是载荷，从而保证语法合法。

回到流程，预训练在 MAESTRO 上只用音符加速率加踏板模式，因为该数据集没有节拍标注，这是与 MAESTRO 兼容的最丰富模式；微调在 ASAP 上分别展开为 6 种模式，得到 6 个可比模型；评价在 ASAP 测试集上渲染音频并算 FAD。这种先学弹奏常识再学风格表达的分工，是全文复现时最不能颠倒的一步。

模型内部如何把音符序列与风格条件结合？

模型是一个只用解码器的 Transformer，输入序列经过可学习的词嵌入与位置嵌入相加，进入 24 层解码器。每层包含因果自注意力、交叉注意力与前馈网络，采用每子层之前做层归一化的预归一化结构，并保留残差连接。因果自注意力保证生成时只能看到历史词，交叉注意力保证每一层都能读到风格记忆，前馈网络用 GELU 激活并带 dropout。白话说，自注意力管音乐上下文连贯，交叉注意力管风格不跑偏，前馈网络管逐位置变换容量。

条件机制的具体动作是：作曲家编号与体裁编号各自映射为 128 维嵌入，拼接后经两层带 GELU 的多层感知机投影为 768 维记忆向量，维度与模型 hidden 对齐，该向量被所有层共享。推理时用核采样逐词生成，设置是 top-p 为 0.98、温度为 0.95，并加约束解码按时间到时长或节拍或踏板再到音高再到力度的阶段限制词表，避免出现时间后直接接力度之类的非法序列。最大序列长度为 8192 个词。

分词 × 表达性演奏： 分词负责把连续的发声时间、时长、音高、力度、节拍位置和踏板开关切成离散词表，表达性演奏负责提供需要被保留的弹性速度、强弱起伏和延音交叠，二者搭配的理由是模型只能学到词表里出现过的区别，组合意义是每增加一类词就等于允许模型显式预测一类演奏动作。

下图展示了上述两条输入如何汇合，读图时抓住主路径与条件支路的交汇点。

看图路径： 1. 先沿顶部红色方块到蓝色与绿色嵌入块的箭头，看主序列输入路径；2. 再看底部作曲家与体裁嵌入如何汇入条件投影并指向解码器块中部；3. 最后看右侧语言模型头到下一个词的箭头，确认自回归输出位置

论文图 1。原论文 Figure 1：“Model architecture. MIDI tokens are embedded and processed by 24 decoder layers with causal self-attention and cross-attention over composer/genre condition memory.”。

像素上顶部红色 MIDI 词块分出蓝色词嵌入与绿色位置嵌入并相加进入中间大框，大框内从上到下是因果自注意力、交叉注意力、前馈网络，底部绿色作曲家嵌入与黄色体裁嵌入汇入紫色条件投影再斜向进入大框，右侧粉色语言模型头输出下一个词。解释是：音乐内容走上路，风格意图走下路，两路在每层的交叉注意力处相遇，输出仍是标准的下一个词预测。这种分离让消融更干净，因为换分词只换上路词表与约束，不动下路条件结构。

交叉注意力 × 作曲家与体裁条件： 作曲家与体裁条件分管提供要生成谁的哪类作品的全局意图，交叉注意力分管让每一层解码器都能读取该全局向量，搭配理由是不想把条件只放在开头而被长序列稀释，组合意义是生成全程都受风格记忆约束，实现可控生成。

两阶段训练与数据增强实际做了什么？

预训练阶段使用 MAESTRO，该数据集提供超过 170 小时带对齐 MIDI 与音频的钢琴演奏，模型在此学会音高关系、节奏、动态与踏板用法。模式固定为音符加速率加踏板，训练 10 个轮次，每卡批量 32，共 8 卡，用 AdamW 加余弦学习率。需要强调的是，所有 ASAP 测试曲目及其在 MAESTRO 中的源录音都被排除在预训练划分之外，避免泄漏。

微调阶段使用 ASAP，该数据集提供 236 首古典钢琴曲的 1067 次演奏，覆盖 15 位作曲家，并带节拍与强拍标注。6 种模式各自微调出一个模型，小于预训练的模式通过截断语言模型头与嵌入矩阵来装载，缺失的键例如节拍嵌入随机初始化，训练 50 到 62 轮次，每卡批量 28。2 阶段都把原始数据与增强拷贝一起训练，增广倍数约为 16 倍：MAESTRO 对每条原始做 6 份音高移位、正负 1 到 3 半音，5 份 0.8 到 1.2 的均匀时间伸缩，5 份 0.9 到 1.1 的速度缩放；ASAP 微调做同样的音高与力度增强，演奏 MIDI 的时间伸缩收窄为 0.9 到 1.1。评价用的参考演奏只用非增强版本。

预训练 × 微调： 预训练分管在大数据上学会基本的音高、节奏、力度与踏板关系，微调分管在带节拍标注的小数据上学会作曲家与体裁相关的表达方式，搭配理由是表达数据稀少而基础音乐结构通用，组合意义是先用大模型学会弹对，再用小数据学会弹得像特定风格。

下图把 3 步的输入输出讲成流水线，记住每步的模式数量与数据角色。

看图路径： 1. 按从左到右的编号确认三阶段顺序与箭头指向；2. 对比每个方块下方小字，记住预训练只用一种模式而微调展开为六种；3. 看第三块下方标注，确认最终比较只在测试集上进行

论文图 3。原论文 Figure 3：“Training and evaluation pipeline. Pretraining on MAESTRO learns basic musical structure; finetuning on ASAP with six tokenization modes produces six models; FAD evaluation on the…”。

像素上 3 个方块从左到右编号为 1、2、3，分别是蓝色 MAESTRO 预训练、绿色 ASAP 微调、红色 FAD 评价，下方小字依次是单模式、6 种模式、测试集。解释是：第一步学基本音乐结构，第二步学表达性演奏并展开对照，第 3 步在同一测试集上比较分词。复现时必须按此顺序检查：预训练权重是否来自单模式，微调是否 6 路独立，评价渲染是否统一音色。

生成、渲染与评分的条件如何保持一致？

生成条件是按测试集中每个作曲家加体裁类别至少自回归生成 20 首 MIDI，以该曲的作曲家与体裁为条件，序列上限 8192。采样与解码与训练节一致，保持 top-p 与温度不变，并启用阶段约束以保证语法合法。这里的公平点是：6 个模型面对的是同一组类别提示与同一数量要求，差别只在各自词表允许输出的事件种类。

渲染条件是生成 MIDI 与参考 MIDI 都用 FluidSynth 加标准钢琴音色库转成音频，避免合成器差异污染 FAD。评分条件是用 VGGish 嵌入按类别算 FAD 再平均，同时报告截尾均值以抵抗离群类别。论文还说明代表性 MIDI 与 WAV 样例放在代码仓库的制品目录，但本次解读的事实只依据正文证据与官方原图像素，不依赖外部仓库可达性。资源状态方面，MAESTRO 与 ASAP 的官方链接在本次证据中显示可用，另有第三方方法链接可用，但这只说明出处可查，不改变本文实验的重跑成本。

需要交代的缺项是：正文未报告解码耗时、模型参数量、训练 wall-clock 与显著性检验，FAD 对样本量敏感且截尾口径是每尾去掉 1 个类别，这些都会影响对小数点后差异的解读。后文看到全量与最优的均值差距只有 0.21 时，应结合截尾均值与类别反例一起判断，而不是只看名次。

哪种分词真正降低了音频分布距离？

在进入数字前先明确比较问题：同一模型下，加力度与踏板是否稳定优于纯音符，加节拍是否进一步改善，评价方向是 FAD 越低越好。下表先整理 6 种模式的构成与词表规模，帮助把后文的数字归因到具体事件，而不是笼统地说模型变强。表中事件规模指每个事件占几个词，词表规模是该模式启用的编号上限，时间与时长的分辨率与区间是所有模式共享的前提。

表中后三行的词表规模差异来自节拍与踏板编号是否启用，共享前缀设计使得大模式权重可截断复用。结合正文，音符事件为时间加时长加音高，启用力度时再加力度；节拍事件为时间加 3 种节拍类型之一；踏板事件为时间加开或关。这一结构是理解主结果的前提：力度改变音头，踏板改变延续，二者缺一都会让渲染包络不完整。

力度 × 踏板： 力度分管每个音头的敲击强度，踏板分管音尾的衰减与声部交叠，搭配理由是只给其一时渲染出的响度包络仍然不完整，组合意义是二者同时出现才能让 attack 与 decay 在音频层面互相印证，这也是二者联合最优的机制解释。

主结果的完整类别表如下，阅读时先看最后两行的均值与截尾均值，再回看离群行。选择的行保留了首尾类别与两种平均，避免只看平均而忽略分布。

表后解释必须同时给出收益与代价。收益是音符加速率加踏板与全量的普通均值分别为 1.76 与 1.97，明显低于纯音符的 3.10；截尾均值分别为 1.37 与 1.33，顺序互换但仍是前二，说明结论对离群点相对稳健。代价是单加其一并不稳定：音符加速率均值 3.14、音符加踏板均值 4.05，都没有超过纯音符；类别层面例如巴赫前奏曲中音符加速率已低至 0.70 而全量为 0.54，肖邦练习曲中三者却都在 2.8 以上，说明增益高度依赖曲目。未胜出项要明确点名：纯音符在海顿奏鸣曲等类别仍有竞争力，而音符加踏板在多类别显著变差，不能因为平均最优就认为联合编码在所有风格都最优。

节拍词为何平均无效，却在个别类别有效？

把节拍当成消融变量时，比较是同底座加减节拍：音符加速率对比音符加速率加节拍，最优的音符加速率加踏板对比全量。论文报告，加节拍让前者均值从 3.14 升至 3.45，让后者从 1.76 升至 1.97，方向都是变差。类别层面波动很大，例如舒曼克莱斯勒偶像中加节拍反而把 8.19 降到 3.54，而德彪西意象中却从 3.38 升到 5.12。这种平均变差加个别变好并存，就是所谓混合的、类别相关的效应。

节拍标注 × 自由速度： 节拍标注分管给出规则拍点与强拍位置，自由速度分管古典演奏中偏离网格的推拉与无法定位的模糊拍，搭配理由是想用显式网格帮助模型对齐乐谱时间，组合意义是当演奏本就偏离网格时硬加节拍词反而引入噪声，因此出现类别相关的正负效应。

机制上可以这样复述：节拍词来自 ASAP 的节拍标注，模糊拍被单独标为无法精确定位的类型，当演奏弹性很大时，模型学到的是带噪声的对齐信号；若某类作品的节拍相对规整或标注质量更高，显式拍点就能帮助稳定时间结构。论文没有进一步按标注质量分组验证，因此这仍是有限解释而非因果证明。

下表把可直接引用的均值对照收拢在一处，便于核对方向与幅度，阅读时注意普通均值与截尾均值的口径不同。

表后要强调反证：克莱斯勒偶像一行是大幅离群点，纯音符高达 15.22，全量也高达 14.48，而音符加速率加节拍反而最低为 3.54，这说明平均结论不能推广到每一组。复现时若只看均值会误以为节拍无用，若只看该离群类又会误以为节拍最强，正确做法是同时报告普通均值、截尾均值与逐类表，并检查生成样本量是否足以稳定 FAD。

结论的边界与未验证的推测有哪些？

直接报告的结论是：在该渲染与 FAD 设置下，力度与踏板联合编码最优，单加其一不可靠，节拍平均未改善最优模式。支持该判断的是 19 类上的均值与截尾均值双口径，以及逐类表中多数行由后两者占优。待验证的是论文给出的机制解释，即力度管 attack、踏板管 decay 从而互相增强，这符合听感直觉但没有做包络层面的测量，不能当成因果证明。

未评测的边界要逐项列出：踏板只有开与关，没有半踏板与弱音踏板；时间是 100 赫兹离散，没有连续时间表示；预训练只用单一曲目分布的大数据，没有更大更多样曲目的扩展；评价只用 FAD，没有人类听感实验，没有误判率、延迟与成本测量。因此不能承诺该分词改善了人的偏好、实时性或训练效率。总体趋势不等于每组成立，前文已给出多个反例。

还有一处方法缺项：正文未说明截断后随机初始化的节拍嵌入在微调中更新几轮才收敛，也未报告 6 个模型的轮次差异是否带来公平性偏差。阅读时应把全量与最优之间 0.21 的普通均值差距理解为不具决定性的差异，而截尾后 0.04 的反超更说明二者基本同档，选择时应看部署是否需要节拍可解释性，而不只看名次。

要重跑这组对照，先做什么、保留什么？

先做数据与划分：获取 MAESTRO 与 ASAP，复刻排除逻辑，即 ASAP 测试曲及其源录音不得出现在预训练中；确认 ASAP 的节拍、强拍与模糊拍标注如何转为 3 种节拍词，踏板开与关如何从 MIDI 解析。保留的关键超参数是时间每秒 100 点、窗口 100 秒、时长上限约 10 秒、音高 0 到 127、力度 128 级、解码 top-p 为 0.98、温度为 0.95、最大 8192 词、作曲家与体裁各 128 维并投影到 768 维、24 层预归一化结构。

再做训练链：先在 MAESTRO 上以单模式训出预训练权重，再 6 路微调，装载时截断嵌入与输出头、随机初始化缺失键；增强按正文倍数与区间实现，评价只用非增强参考。推理时实现阶段约束解码，时间之后只允许时长或节拍或踏板，音高之后只允许力度或下一事件的时间，避免非法序列污染 FAD。渲染统一用同一 FluidSynth 音色库，评分用同一 VGGish 的 FAD 实现，按类别生成至少 20 首再平均。

还需补的验证是：固定随机种子多跑生成以估计 FAD 方差；报告逐类样本量与截尾前后对比；若要检验节拍假说，应按标注质量或速度弹性分组再看增益，而不是只看全平均。代码开源、权重下载与系统可运行是三件不同的事，正文只给出样例路径，没有承诺权重与一键运行，重跑前应按缺项清单补齐环境。

何时值得尝试这种分词，何时不必？

当你的任务是生成古典钢琴演奏而非乐谱，且最终要渲染成音频供人听时，值得优先尝试音符加速率加踏板的联合编码，因为它在本文的分布距离上最稳；若还需要输出可读的拍点或与乐谱对齐的可解释性，再考虑全量并接受平均上可能持平或略差的代价。当你的曲目节奏严格贴网格、已有高质量节拍标注且评价看重节拍准确时，节拍词的价值可能上升，但这已超出本文证据，需要自己分组验证。

当数据量很小或踏板标注噪声大时，不必急于上全量，因为单加踏板在本文平均上反而变差，说明稀疏通道需要足够数据与调参才能兑现。教学上最易犯的错误有三：一是把 FAD 下降直接等同于人更喜欢，二是把离群类的单点最优推广为通用最优，三是把词表变大等同于模型变强。本文的正确读法是：分词决定了模型能谈论什么，而能否谈好取决于数据、条件与评价是否对齐，力度与踏板恰好是渲染链路上最互补的 1 对，因此联合出现时收益最大。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 3 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 dafx-2026 论文汇总