📄 随机乐谱与多样音色：在线生成数据如何帮助自动音乐转录
标签：#音乐转录 | #数据增强 | #域泛化 | #音乐
评分：7.7/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Haiwen Xia：机构信息未在 arXiv HTML 中可靠披露
- Chao Zhang：机构信息未在 arXiv HTML 中可靠披露
- Qiuqiang Kong：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
自动音乐转录要把录音变成音高、起止时间与乐器等符号音符，难点是精确标注的多声部录音稀少，合成数据能否替代真实乐谱结构并不清楚。论文把在线生成拆成符号采样器与音频渲染器，采样器决定目标音符集合，渲染器决定其声音实现，两路独立控制后与固定离线录音联合训练。符号侧用统一损坏采样器在原始片段、部分损坏与音符属性独立重抽之间连续调节，音频侧用NSynth单音渲染与Pianoteq预设整轨渲染分别控制音色范围。固定转录模型为卷积前端加时间Transformer编码器与分通道共享解码器，输出各乐器通道的事件token。在固定MAESTRO片段采样与训练预算的MAPS外域评测下，Pianoteq音色从程序0的4%扩大到100%再到0-7号程序时Agn起始F1从59.40%升到78.13%，超过真实MAESTRO录音训练的77.14%。结论适用范围是音符级属性与声学实现的覆盖优先于完整乐谱的联合结构，局限是键盘外乐器覆盖不足且强基线下增益收窄。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
代码相关资源：https://github.com/Haiwen-Xia/randomscore-amt — 链接可访问（HTTP 200）
第三方资源：https://www.modartt.com/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
自动音乐转录要从录音里恢复什么
自动音乐转录的输入是一段录音，输出是符号化的音符事件。对刚接触音频的研究生来说，可以把输入理解成随时间变化的波形或频谱，把输出理解成类似 MIDI 的清单：每个音符有乐器程序号、音高、起始时间、结束时间与力度。论文只研究音符级别的转录，不含鼓，因为它的两种渲染器都不产生鼓声。评价时用 onset F1，即在 50 毫秒容差内同时找对时间和音高的程度，越高越好。
任务的难点在于多声部叠加、乐器音色多变，而精确到音符的多声部标注成本很高，现有监督数据集覆盖的音乐与声学条件有限。合成数据的思路是反过来走：先有符号事件，再渲染成音频，这样标签天然精确，数据量可以扩大。关键问题是，合成数据要逼真到什么程度才对真实录音有效，是乐谱的联合结构重要，还是音色的覆盖重要，论文正是要把这两个因素拆开分别检验。
已有合成与增强路线为何分不清两个因素
论文把已有工作分成渲染类和重组增强类。渲染类从符号乐谱合成音频，例如用采样或建模乐器扩大声学覆盖，但保留了来源乐谱的连贯结构，与本文逐音符渲染器相近的工作是把 Lakh 乐谱与 NSynth 孤立音符结合。增强类重组已有的音频与标签对，例如单声部音轨、分离音轨或鼓模式，它们的成功说明逼真编配可以放松，但重组仍保留每个来源内部的结构，同时把复调程度和音色一起改变。
也就是说，过去的方法要么动声学但保留乐谱，要么把复调和音色一起动，无法回答哪些乐谱依赖是必要的，也无法独立地改变音色覆盖。论文的在线采样器加渲染器正是为了补上这个对照：在相同输入、相同目标、相同运行阶段下，固定音色只改变符号分布，或固定符号只扩大音色，用同一转录模型比较域外迁移。
论文要分离的两个问题是什么
论文把 1 次合成拆成两个独立控制。记音频片段为 x，音符事件为 y，这里的 y 指分词之前的面向音符的 MIDI。训练中合成的标注在线对是即时渲染且只用 1 次，离线对是固定且每个轮次重复见。生成分解为采样器决定 y 的分布，渲染器决定给定 y 时音频 x 的声学实现。固定一边、变化另一边，就能分离乐谱结构与音色覆盖。
评估侧重域外泛化：在一种分布上训练，到录制条件、乐器与曲目都不同的 MAPS、MulTTiPop、RWC 等真实录音上测试。论文要回答的是：把音符间依赖打乱到什么程度仍能提供有效监督；在固定音符分布下扩大音色支持是否持续带来增益；在线渲染数据与真实及已有合成数据联合训练时是否互补。
在线采样器加渲染器如何与离线数据一起训练
整体流程是源 MIDI 先经过符号采样器得到采样事件 y，再经过渲染器得到音频 x，组成在线对 x 与 y，与离线对一起按固定离线在线比例进入同一个转录模型。采样器由参数控制破坏程度，渲染器由音色选择控制声学实现，采样事件同时就是转录目标。每个小批量中在线与离线样本损失权重相同，区别只在来源。所有条件还施加相同的 stem 内丢弃与跨 stem 混音增强，因此观察到的差异可归因于采样器或渲染器的设置，而不是增强不同。
采样器 × 渲染器： 采样器负责决定转录目标是什么音符事件，渲染器负责决定这些事件听起来像什么音色，二者分工使论文能固定一边而只改变另一边，组合后每次训练都能得到新的事件与音色配对，从而单独检验乐谱结构和音色覆盖的作用。
下面这张框架图把上述主路径画了出来，读图时注意符号侧与声学侧在哪里汇合，以及在线对与离线对在哪里共同监督模型。
看图路径： 1. 先沿源 MIDI 到采样器再到采样事件的主箭头看符号侧如何变化；2. 再看渲染器框内音色选择如何与符号事件汇合生成在线对；3. 最后看离线对与在线对如何共同进入同一转录模型
论文图 1。原论文 Figure 1:：“Online data generation with independent controls over score structure and timbre, combined with offline data for joint training.”。
从图中可见，左侧源 MIDI 进入采样器后变为采样事件，向上进入渲染器后与音色选择结合，向下生成包含波形与事件的在线对，再与左侧离线对一起训练转录模型。渲染器框内区分了逐音符与按 stem 两种路径，对应后文 NSynth 与 Pianoteq 两种实现。这种 1 次生成、1 次使用的在线方式使模型在固定离线录音之外持续见到新的事件与音色组合，为受控迁移比较提供了基础。
符号采样器如何用两个参数控制随机程度
符号采样器从一个 MIDI 片段出发，片段含 N 个音符，每个音符携带程序号、音高、起始、结束与力度。它先定义一个因子化音符分布 r，把音符看成独立的：保留原程序号，音高与时长从源语料库 2 秒片段上估计的经验边缘分布中抽，起始与力度在其可行范围内均匀抽。论文明确避开均匀抽时长，因为过多长音会使转录问题病态。接着每个片段指定一个破坏率，记为 rho，表示要改动的音符比例，每个音符以概率 rho 被替换为来自 r 的中间音符，以概率 1 减 rho 保留原音符。
替换后的输出音符是原音符与中间音符的插值，插值强度记为 s，s 为零保留原音符，s 为一完全替换，音高在插值后取整为合法 MIDI 值。由于 r 保留原程序号，插值不改变程序号。rho 管改多少个音符，s 管每个被改音符偏离原值多远。
\[\widetilde{\bm{e}}_{n}=\begin{cases}\bm{e}_{n},&\text{with probability }1-\rho,\\ \widetilde{\bm{e}},\quad\widetilde{\bm{e}}\sim r(\bm{e}),&\text{with probability }\rho.\end{cases}\]上式说明每个音符是保留还是走向因子化抽样，rho 是按片段指定的比例。
\[\bm{e}_{n}^{\prime}=(1-s)\bm{e}_{n}+s\widetilde{\bm{e}}_{n},\qquad s\in[0,1],\]上式说明输出音符是原音符与中间音符的线性插值，s 在零到一之间。论文比较的 3 种设置是同一采样器的特例：源设置 rho 为零，原样返回；破坏设置 rho 按每片段在零到一均匀抽，s 大于零；音符因子化设置 rho 与 s 均为一，每个音符的非程序属性全部独立重抽。
音高 × 音色： 音高指音符发哪个音，由采样器中的音高属性决定，音色指同一音高用哪种乐器质感发出，由渲染器选择的录音或预设决定，论文把两者解耦，正是为了验证转录模型更需要音符级属性加声学实现的覆盖，而不是完整乐曲的联合结构。
对初学者而言，可以把例子标成教学例子：假设一片段有 4 个音符，rho 为一半意味着大约一半音符会被指向因子化抽样，s 为一半意味着被选中的音符只走一半路，s 为一才完全跳到随机值。论文在实验一中固定 NSynth 渲染器、源片段全部取自 Slakh 训练集，经验边缘也只从 Slakh 训练集的 2 秒片段估计，因此不同条件只保留不同程度的音符间依赖。
两种渲染器如何独立控制音色覆盖
给定符号目标 y，渲染器抽一个兼容的音色选择 z，再产生音频 x 等于渲染函数作用于 y 与 z。扩大这些选择的支持范围就是扩大音色覆盖，而不改变符号分布。逐音符渲染器把每个符号音符映射到兼容的 NSynth 录音，再按目标起始混音。它不直接截断录音，而是检测发声区域并把起点对齐到目标起始，使每个音符从起始可听，缩短时加平滑衰减，这种逐音符局部操作可并行且开销低。
按 stem 渲染器把完整 MIDI stem 送给 Pianoteq，抽一个兼容预设，免费版暴露跨 25 个乐器组的预设，但固定缺 8 个音高，受影响音符被重标到同音名最近可演奏八度。为摊销引擎启动开销，多个 MIDI 片段在 1 次调用中拼接渲染，再按已知边界切分。论文强调只控制预设，但每个预设耦合了物理建模参数，抽预设会同时改变音色的多个方面，而同一 stem 内保持连贯实现。受控钢琴实验比较程序零中 4%、20% 与 100% 的预设子集，再到程序零到七的宽钢琴覆盖。
编码器与通道切分如何得到多路声学流
转录模型是紧凑编码器加解码器。输入是 2 秒、16 kHz 片段的 128 维对数梅尔频谱，8 毫秒跳长，共 256 帧。卷积前端在时间与频率上滤波，只在频率上池化以保留时间分辨率，时序 Transformer 块建模长程上下文，得到共享特征。线性投影把每帧扩展到通道数乘宽度的尺寸，再切成 13 路等宽流，对应 YourMT3+ 的粗乐器类。所有 Transformer 块用旋转位置编码与 RMSNorm。
模型在每次数据生成比较中保持固定，以便把性能差异归因于数据。下面这张结构图有助于理解从频谱到多路流再到共享解码的路径，读图时先分清编码、切分、解码三栏，再看共享权重标注的位置。
看图路径： 1. 先看编码器侧对数梅尔输入经过卷积与时序变换的纵向路径；2. 再看投影加切分如何分成多个通道流；3. 最后看共享解码器块内部自注意力与交叉注意力的连接方式
论文图 2。原论文 Figure 2:：“Transcription architecture with shared decoder weights across channels.”。
从图中可见，最左编码器含卷积块与变换块，中间投影加切分产生多通道，右侧解码器块内含自注意力、交叉注意与前馈，权重在通道间共享，输出为各通道的事件序列。钢琴实验中只有钢琴通道激活。这种设计把乐器区分的负担放在 attending 哪一路声学流上，而不是为每类乐器各训一套解码参数。
共享解码器与训练目标如何给出监督
给定音频后各通道条件独立并行解码，通道内词元仍自回归依赖自身前缀。每个解码块对本通道前缀做因果自注意力，对对应编码流做交叉注意，再做位置前馈。词元嵌入、块参数与输出头在所有通道共享，通道只在 attending 的流与发出的事件上不同。事件词元编码乐器、音高、事件时间与音符开关，词表大小为 V。训练目标是自回归词元交叉熵，对所有通道与所有词元的负对数似然求和。
在线与离线样本共用该目标，只在来源与批量组成上不同。对没有精确程序标注的来源，在对应乐器族上聚合概率质量。
\[\mathcal{L}_{\mathrm{AR}}=-\sum_{c=1}^{C}\sum_{m=1}^{M_{c}}\log p_{\theta}(u_{c,m}\mid u_{c,通道切分 × 共享解码器： 通道切分指把编码器输出的共享声学表示投影后分成十三个粗乐器类的流，共享解码器指所有通道用同一套自回归参数分别解码，搭配的意义是通道靠 attending 的声学流区分，参数靠共享减少规模，论文因此不用专门的 Perceiver TF 编码器也能做多乐器转录。
理解这组搭配后，就能明白论文的简化含义：用标准 Transformer 编码器替代专门的 Perceiver TF 编码器，靠切分加共享解码仍保持多乐器能力，实验四正是用该结构与 YourMT3+ 比较以检验专门编码器是否必要。
训练按什么批量组成与优化设置进行
论文没有只用无监督或规则推理，而是用监督训练。实验一到三用基础规模，编码宽度七百六十八、通道宽度一百九十二、六加六块，约 60000000 参数，训 200000 步，批量三十二，实验二批量八；实验四用大模型，编码宽度一千零二十四、通道宽度三百八十四、十加六块，约一百九十兆，训 3200000 步。优化器为 Adam，预热 1000 步，余弦衰减，基础学习率万分之一，2 阶段微调的第二阶段用十万分之一。
每个小批量用固定离线在线比例，例如实验三与四的联合条件每批 16 个在线加 16 个离线，所有样本损失权重相同。渲染对训练中生成 1 次、用 1 次，离线对固定重复见。实验三与四的在线配置包括 NSynth 与混合，NSynth 配均匀破坏采样器加 NSynth 逐音符渲染，混合用同样采样器但 NSynth 与 Pianoteq 按 3 比 1 混合，Pianoteq 预设跨键盘、吉他、固定音高打击乐与贝斯。
离线数据对 × 在线数据对： 离线数据对是固定录音与标注，每个轮次都会重复见到，在线数据对是训练中即时渲染且只用一次，论文让两者共用同一个自回归损失但按固定比例组成小批量，离线提供稳定真实分布，在线提供不断变化的事件与音色组合。
这种组成意味着在线数据不是预先存好的增强集，而是训练预算内持续提供的新组合，比较时训练步数与预算固定，因此增益不能解释成单纯多训了几步。
在什么数据与指标下比较迁移
所有实验共享结构，只变训练数据。实验一与二是在线-only 的消融，固定模型，分别消融符号采样与音色覆盖；实验三与四把离线音频与在线数据结合，检验互补性。评估用 MAPS 测域外钢琴迁移，实验一、三、四还在真实多乐器录音 MulTTiPop 与 RWC 上测，实验一与三在 Slakh 测试集上测，实验二在 MAESTRO 测试集上测。指标为 onset F1 百分比，乐器无关或程序感知，鼓排除，MAPS 只报乐器无关，RWC 平均其 5 个子集。
实验二的评估 F1 还排除 Pianoteq 免费版不支持的 8 个音高，因为训练从未见过它们。源池与每个测试集是否域内按实验说明，例如实验二的 Pianoteq 目录不含录制 MAESTRO 与 MAPS 的 Yamaha Disklavier，因此所有渲染条件对这两个测试集都是音色域外，而录制 MAESTRO 音频是参考条件。
乐器无关 × 程序感知： 乐器无关只要求 onset 在五十毫秒容差内且音高正确，不检查乐器编号，程序感知还要求乐器程序号归属正确，两者搭配可以区分模型是把音听对了还是把谁在演奏也分对了，论文在 NSynth 标签较粗时正是靠这组对比说明声学覆盖与乐器归属的不同来源。
记住指标方向有助于读表：F1 越高越好，百分点差是绝对差，不是相对百分比，论文中一点多即指百分点。
打乱乐谱结构后监督是否仍然有效
实验一要回答的比较问题是：在固定 NSynth 渲染器与 Slakh 来源下，保留多少音符间依赖才影响迁移。公平条件是渲染器、源语料、边缘估计与模型都相同，只变破坏率与插值强度。指标为乐器无关 onset F1，越高越好。下表完整呈现源、两种破坏与音符因子化的结果，表后解释主要收益与未胜出项。
| Sampler | ρ\rho | ss | MAPS | MulTTiPop | RWC | Slakh |
|---|---|---|---|---|---|---|
| Source | 0 | 0 | 64.99 | 22.92 | 36.41 | 49.55 |
| Corrupted | 𝒰[0,1]\mathcal{U}[0,1] | 0.5 | 67.28 | 21.58 | 36.70 | 50.30 |
| Corrupted | 𝒰[0,1]\mathcal{U}[0,1] | 1 | 68.28 | 21.53 | 35.72 | 49.78 |
| Note-factorized | 1 | 1 | 61.18 | 12.56 | 28.21 | 36.83 |
从表中可见，音符因子化尽管去掉大部分音符间依赖，仍能迁移到渲染训练分布之外，但在 MulTTiPop 上明显弱于源，可能因为 MulTTiPop 与 Slakh 训练片段共享 Lakh MIDI 来源。两种破坏设置在多乐器集上接近源，在 MAPS 上更好，s 为一半在 RWC 与 Slakh 最好，s 为一在 MAPS 最好。这支持论文判断：逼真乐谱结构不是有效监督的必要条件，采样一段破坏程度范围比完全因子化更有效。限制是源在 MulTTiPop 仍最好，说明结论依赖测试集与源 MIDI 的亲缘关系，不能推广为随机乐谱在所有领域都最优。
离线与在线监督联合训练是否互补
实验三要回答的比较问题是：用基础模型时，离线 Slakh 音频、在线 NSynth、两者联合与 2 阶段微调 4 种策略孰优。公平条件是结构、增强与步数框架一致，联合每批十六加十六，2 阶段先 100000 步在线再 100000 步 Slakh 且学习率降低。指标同时看乐器无关与程序感知。下表完整呈现四策略在 MAPS、Slakh、MulTTiPop 与 RWC 上的结果，表后解释互补性与标签噪声的影响。
| Strategy | MAPS | Slakh | Slakh | MulTTiPop | MulTTiPop | RWC | RWC |
|---|---|---|---|---|---|---|---|
| Agn | Agn | Prog | Agn | Prog | Agn | Prog | |
| Offline | 68.50 | 75.84 | 73.59 | 20.84 | 12.96 | 35.94 | 30.20 |
| Online | 68.28 | 49.78 | 39.37 | 21.53 | 13.23 | 35.72 | 28.60 |
| Joint | 70.86 | 75.73 | 73.07 | 21.44 | 13.38 | 39.09 | 33.27 |
| Two-stage | 71.63 | 76.21 | 73.70 | 20.58 | 12.82 | 37.93 | 32.30 |
表中离线与在线在 Slakh 自身上差 26 分，除 RWC 程序感知离线 30.20 对在线 28.60 差 1.60 分外，其余域外 MAPS 乐器无关、MulTTiPop 乐器无关/程序感知、RWC 乐器无关差在 1 分以内，说明合成分布的迁移远好于其域内表现所暗示的。联合训练基本保持 Slakh 性能，同时域外程序感知与 RWC 最好，2 阶段在 MAPS 最好。尽管 NSynth 标签的程序组较粗，合成电风琴等不对应真实乐器族，在线单独训练在域外程序感知上已与离线 Slakh 相当，差距只出现在域内，说明在线提供互补声学覆盖，而准确离线标签主要影响域内乐器归属。未胜出项是 2 阶段在 MulTTiPop 上弱于联合，联合在 MAPS 上弱于 2 个阶段，因此没有单一联合方式在所有集上全胜，选择需看目标领域。
强离线混合下在线数据还有用吗
实验四要回答的比较问题是：在包含 Slakh、MAESTRO、GuitarSet、URMP、MusicNet 等的强离线混合与大模型下，再加 NSynth 或混合在线数据是否仍有增益。公平条件是每批十六在线加十六离线，源片段取自训练集，训 320000 步，并列出 YourMT3+ 与 MuScriptor-Large 同集基线。指标与上表相同。下表完整呈现三 regime 与两基线的比较，表后解释领域依赖与精度召回权衡。
| Regime | MAPS | MulTTiPop | MulTTiPop | RWC | RWC |
|---|---|---|---|---|---|
| Agn | Agn | Prog | Agn | Prog | |
| Offline | 86.77 | 23.28 | 13.39 | 44.97 | 39.20 |
| Offline+NSynth | 86.56 | 24.04 | 14.74 | 44.92 | 39.03 |
| Offline+Mixed | 87.18 | 22.85 | 13.26 | 46.29 | 40.16 |
| YourMT3+ | 85.83 | 19.15 | 12.39 | 48.39 | 43.78 |
| MuScriptor-L | 85.82 | 39.06 | 28.28 | 51.90 | 40.90 |
从表中可见，在线监督仍有益但强烈依赖领域：加 NSynth 在 MulTTiPop 乐器无关上比离线高 0.76 分，加混合在 MAPS 高 0.41 分，在 RWC 乐器无关与程序感知高 1.32 与 0.96 分，但加混合降低 MulTTiPop 两项，精度从 31.3% 升到 34.02%，召回从 21.55% 降到 19.78%，属于以召回换精度，不是均匀正则。RWC 5 个子集的增益分散，乐器无关提升 1.07 到 1.80 分，程序感知四升一降，贝斯在 4 个非古典子集提升 5.3 到 6.1 分。
与基线比，离线-only 已在 MAPS 与 MulTTiPop 上与 YourMT3+ 可比，说明 Perceiver TF 不是竞争性迁移的必要条件；与 MuScriptor-Large 比，在 MAPS 与 RWC 程序感知可比，但在 MulTTiPop 与 RWC 乐器无关落后，论文认为可能因后者预训练约 11000 小时音频的规模差。限制是增益变小且依赖渲染器指向的声学域，不能理解成加在线数据必然全域提升。
固定音符只扩大音色覆盖带来什么变化
实验二要回答的比较问题是：在固定 MAESTRO 片段抽样与训练预算下，扩大 Pianoteq 预设覆盖是否单调提升转录。公平条件是符号片段固定，只变音色支持，从程序零的 4%、20%、100% 子集再到程序零到七。指标仍是乐器无关 onset F1，越高越好。下表还给出录制 MAESTRO 音频的参考条件，表后解释增益与代价。
| Source | Timbral coverage | MAESTRO | MAPS |
|---|---|---|---|
| Rendered | Pianoteq, program 0, 4% | 60.64 | 59.40 |
| Rendered | Pianoteq, program 0, 20% | 71.13 | 68.73 |
| Rendered | Pianoteq, program 0, 100% | 79.25 | 75.70 |
| Rendered | Pianoteq, programs 0–7 | 81.05 | 78.13 |
| Recorded | MAESTRO audio | 94.87 | 77.14 |
表中渲染条件的两列都随覆盖扩大单调上升，扩展到程序零到七后在 MAESTRO 与 MAPS 上再提升 1.8 与 2.43 分点，说明相关音色也有助于原声钢琴转录。该设置在 MAPS 上超过真实 MAESTRO 训练，而真实音频在 MAESTRO 上仍最强，因为那是域内训练。限制是评估排除了 8 个不支持音高，且目录本身对两个测试集都是音色域外，因此单调性只在该预算与该目录内成立，不能直接断言无限扩大音色就无限提升，也不能把域内最强等同于域外最强。
这些结论在什么条件下才成立
论文明确在线增益在多样离线监督下变小且依赖领域。NSynth 只提供粗乐器标签，限制程序级监督；Pianoteq 偏向键盘乐器，未覆盖全乐器集；常见母带等后处理也未包含。因此方法应看作研究与扩展合成监督的手段，而非替代多样配对录音。
复现时还要注意：实验二排除 8 个固定缺失音高，跨表比较需对齐是否排除；MAPS 只报乐器无关，RWC 是五子集平均；实验一的源优势部分来自与 MulTTiPop 共享 Lakh 来源，换源语料结论强度可能变化。作者资源方面，论文给出代码链接且本次校验显示可用，可写作者资源当前可用；Pianoteq 链接是第三方工具链接，只证明论文提到该链接，不证明作者已开源。
把音色单调增益推广到未测乐器、把破坏设置的最优 s 推广到其他语料，都超出证据支持，需要补验证。
复现第一步做什么与关键设置是什么
复现先按实验目标选最小闭环：若验证符号随机性，就固定 NSynth 逐音符渲染与 Slakh 来源，只变破坏率与插值强度；若验证音色覆盖，就固定 MAESTRO 片段抽样与预算，只变 Pianoteq 预设子集。关键超参数与信息条件要保留：输入为 2 秒 16 kHz、一百二十八梅尔、8 毫秒跳长；基础模型约 60000000 参数训 200000 步，大模型约一百九十兆训 320000 步；Adam 预热 1000 步加余弦衰减，基础学习率万分之一。
联合批量十六加十六且损失权重相同；stem 内丢弃与跨 stem 混音在所有条件一致；评估用 50 毫秒容差的 onset F1，鼓排除。NSynth 侧需实现发声区检测与起点对齐及缩短衰减，Pianoteq 侧需处理 8 个缺失音高的重标与多片段拼接后按边界切分。代码与权重是两件事：论文只报告代码已公开，未报告权重可下载，因此应从代码与数据准备起步，不要假设有现成权重可直接运行。
什么时候值得尝试与还需要补哪项验证
当目标是域外泛化且标注录音不足，而能承担渲染开销时，值得尝试在线采样器加渲染器：先用适度破坏扩大音符级属性覆盖，再用宽音色预设扩大声学实现，优先保证音符属性与其音色实现的覆盖，而不是复刻完整逼真乐谱。需要补的验证包括：在非 Slakh 源与非键盘主导的乐器集上重测随机乐谱的有效性；在更多渲染器与母带条件下重测音色单调性；在强离线混合下按乐器分轨报告精度召回，以确认混合渲染的领域指向。
常见误解是把域外一两分的提升当成全域必然提升，或把 MAPS 超过真实训练当成合成已替代真实，原文显示真实在域内仍最强，混合在 MulTTiPop 反而下降，因此应按目标领域选渲染器并保留离线准确标签对域内乐器归属的作用。总体上，论文支持的实践是：用在线生成补覆盖、用离线真实保归属、用领域相关的评估决定是否加入某种渲染。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses