📄 把公共乐谱变成可分轨音频:SPDMX 如何做大规模开放分轨

英文题目:SPDMX: Large-Scale Open Stem Audio From Symbolic Music

评分:6.9/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

  • Phillip Long:机构信息未能在本次解析中与作者逐人可靠绑定
  • Eduardo Escoto:机构信息未能在本次解析中与作者逐人可靠绑定
  • Julian McAuley:机构信息未能在本次解析中与作者逐人可靠绑定
  • Zachary Novack:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

音乐研究缺少可自由再发行录音,多轨监督尤其稀缺,已有录音集规模小或受限,合成集依赖商用音源或音色干瘪,难以同时满足规模、真实感与可再发行。论文输入为公有领域PDMX符号乐谱对应的MIDI,输出为44.1kHz单声道干声、分轨线性叠加得到的混音、配对MIDI与关联标识,音频以CC BY 4.0开放发布。处理先按轨道名修正通用MIDI音色号并删除空轨道以输出清理后乐谱,再将清理后乐谱送入小规模试听为每类乐器固定渲染方案,最后将固定方案送入全库合成统一响度并保留音符速度比例叠加成混音。相对已有方法,关键差异是用可再发行音色库加神经合成的开放链条替代商用采样器,并保留乐谱对齐,可复用于其他符号乐谱库。在表1多轨资源比较设置中以歌曲数与混合小时为指标,多轨子集共88403首、2734小时,超过Slakh2100全库的2100首、145小时,同期全部歌曲对应253982首、5469小时、490159个单声道干声。结论适用于域内分离、条件合成与转录等需要乐谱对齐的研究,约65%为单轨且钢琴主导、均为单声道,不保证跨录音室录音的泛化与绝对真实感。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

音乐为什么缺大规模可再发行的分轨数据

刚接触音频的研究生可以先把任务想成这样:输入是乐谱或 MIDI,目标是得到与之对齐的多轨音频,输出的每一轨只包含一种乐器,混音则是它们的和。做声源分离时需要用分轨做监督,做分轨条件生成和 MIDI 转音频时需要乐谱到音频的配对,做转录时需要音频到乐谱的配对。

文本、图像、语音已经有大规模公开数据,但音乐录音受版权限制,难以直接再发行。已有的录制类多轨数据如 MUSDB18、MedleyDB 和 MoisesDB 音质真实,但小时数只有十几小时,规模和获取都有门槛。合成路线能放大规模,但 Slakh2100 依赖不能再发行的商业音色库,朴素的通用 MIDI 渲染又干又假。

分轨 × 混音 × 乐谱: 分轨是指单独一轨乐器的音频,例如钢琴轨、鼓轨;混音是把同一首歌的所有分轨直接相加得到的完整音频;乐谱在这里是 MIDI 记载的音高、时值和力度。SPDMX 的做法是先有乐谱,再逐轨合成出分轨,最后相加得到混音,因此分轨与乐谱在时间上天然对齐,这正是它能同时支持分离、转录和合成的原因。

PDMX × MIDI × song-hours: PDMX 是公共领域的符号乐谱集合,提供可再发行的音符内容;MIDI 是 SPDMX 实际拿来渲染的中间表示,记录每个音符的乐器编号、起止时间和力度;song-hours 是按混音时长每首歌只计一次的小时数,不乘以分轨数。三者搭配的意义是:用 PDMX 解决版权和规模问题,用 MIDI 衔接音频合成,用 song-hours 避免把多轨重复计时,从而公平比较不同数据集的体量。

录制多轨与合成多轨各自解决了什么

录制类工作解决的是真实性的问题。MUSDB18、MedleyDB、MoisesDB 以及室内乐 URMP 都是真实演奏或录音室分轨,声音自然,但录制成本高,小时数很难上去,而且授权往往受限。SPDMX 明确不走这条路,它用合成换取开放规模。

合成类工作解决的是规模和可控性的问题。Slakh2100 把 Lakh MIDI 合成约 145 song-hours 的多轨音频,但渲染器是商业采样库,不能随数据再发行。CocoChorales 用神经合成器做大规模生成,EnsembleSet 和 SynthSOD 针对室内乐或管弦乐,但同样依赖商业库或只覆盖特定编制。SPDMX 的差异在于: repertoire 来自真实的公共领域 PDMX 曲目,渲染只用开放的 FluidSynth 和 MIDI-DDSP,同时给出分轨、混音和对齐乐谱。

本文要填的缺口是什么

论文要回答的是:在不使用商业音色的前提下,能否把符号乐谱规模转化为可再发行的分轨音频规模,并且保留乐谱对齐。必须保留的信息包括每首歌的乐器分轨、与分轨时间对齐的 MIDI,以及能关联回 PDMX 元数据的歌曲标识。输出是 44.1 kHz 的单声道 FLAC 分轨,多轨歌曲还给出等于分轨和的单声道混音。

评价这个想法的条件也在文中说得很清楚。规模要用 song-hours 比较,多轨部分要单独看,因为单分轨歌曲不能提供分离监督;音质选择只靠一个小规模试听做设计参考,不做全库绝对真实性的断言;分离和转录的可用性只在项目页用同预算检查确认,不在正文给出大表。

三步流程如何从乐谱走到可发布的分轨

拿一首 PDMX 歌曲为例,完整过程是三步。第一步清理 MIDI:根据音轨名别名修正与名字不符的 GM 乐器编号,删掉没有任何音符事件的空轨,得到更可靠的符号来源。第二步为每类乐器选渲染方案:通过试听在 basic、varied 和 MIDI-DDSP 混合方案中冻结一类一方案。第三步全量组装:按冻结方案逐轨渲染成单声道分轨,做响度和峰值处理,再打包成可下载的分片,附带 MIDI 和元数据。

分支在哪里汇合也很具体。正文描述的 MIDI-DDSP 适用对象是弦乐、管乐和铜管中符合条件的单声部,不符合条件的多声部、超出 URMP 乐器表或其它 GM 音色回退到 FluidSynth;鼓、风琴、吉他等类别直接用冻结的 FluidSynth 方案。所有分轨统一到 44.1 kHz 后再相加成混音,因此混音与分轨保持线性关系。

清理 MIDI 时到底改了什么

清理处理的对象是 PDMX 自带的 MIDI 文件。常见困难是音轨名写着小提琴,但 GM 编号却是钢琴,如果直接按编号渲染,音色就会错。论文的做法是用音轨名别名来纠正 GM 编号,并删掉零音符轨。这一步只提高符号来源的可靠性,不解决音色干、弦乐和管乐 sustain 不自然这类声学问题。

为衡量乐器分布,论文还定义了非静音时长:把每个渲染分轨按 0.25 s 窗计算 RMS,只累加 RMS 至少 0.01 的窗口,约相当于 -40 dBFS,从而去掉音符间隙和尾部填充。这个统计方式说明后文的小时分布图看的是有声部分,而不是文件总长。

四种渲染做法分别是什么声音

可以把渲染想象成给同一份 MIDI 换不同的乐队。basic 全库只用一个 GM 库 SGM-V2.01,是开放参照。varied 按类别从 FluidR3_GM、GeneralUser GS、Arachno 和 Airfont 等可再发行库中挑选,并加轻混响,目标是在不用商业库的情况下获得类似 Slakh2100 的音色多样性。人声类只用合唱或人声 soundfont,论文明确把歌词演唱合成列为范围之外。

MIDI-DDSP 只在符合条件的单声部弦乐、铜管和管乐上替换 soundfont,多声部和库外乐器一律回退。它原始合成是 16 kHz,论文上采样到 44.1 kHz 以便统一混音,但这些分轨相对原生 44.1 kHz 仍是带限的。也就是说,采样率统一了,频带并没有真正补回来。

执行顺序上是 3 段式分工:先清洗符号源,再用小规模试听选定每个乐器类别的渲染配方,最后按冻结配方全量组装。清洗要纠正与轨道名不一致的 GM 程序号,并丢弃无音符事件的空轨;试听是每类取两条分轨、每条截 10 秒片段,由 8 名听众在 0–100 分上评感知真实感,basic、varied 与两种 MIDI-DDSP 混合以乱序匿名方式比较,basic 与 varied 接近时默认保留 varied 以维持音色多样性。冻结配方是鼓、风琴和吉他用 basic,钢琴、人声、马林巴类与杂项用 varied,弦乐和铜管用 MIDI-DDSP over basic,管乐用 MIDI-DDSP over varied。

组装时不做逐轨独立响度抹平,而是先把每轨向 −23 LUFS 做响度归一化并限峰,再按该轨最大触键力度相对全曲最大值的比例缩放,以保留 MIDI 力度平衡,最后对分轨求和统一做一次防削波峰值增益,保证混合等于分轨线性相加,每轨存为 44.1 kHz 单声道。

FluidSynth × soundfont × MIDI-DDSP: FluidSynth 是用采样库演奏 MIDI 的开放合成器,soundfont 就是它用的音色库,决定听起来像哪种钢琴或弦乐;MIDI-DDSP 是针对单旋律弦乐、管乐和铜管的神经合成器,能生成更连贯的 sustain。SPDMX 把两者搭配:大部分乐器用 FluidSynth 保证开放可复现,符合条件的单声部改用 MIDI-DDSP 提升真实感,不符合条件时回退到 FluidSynth。

basic × varied: basic 是只用一个通用 GM 音色库 SGM-V2.01 的基准渲染做法;varied 是按乐器类别从多个可再发行音色库中挑选并加轻混响的做法,目的是模仿 Slakh2100 那样的音色多样性,但不用商业音色。两者分工是:basic 提供统一可比的参照,varied 提供多样性,试听就在此基础上决定每类乐器最终冻结用哪一种。

小规模试听如何决定冻结方案

试听的输入是每类乐器抽出的 10 秒分轨片段,每个类别用两个分轨代表,共 10 个类别。8 名听众给感知真实感打 0 到 100 分,比较 basic、varied、MIDI-DDSP 叠加 basic 回退、MIDI-DDSP 叠加 varied 回退 4 个家族,basic 作为开放参照会在乱序盲听中重复出现。

选择规则是启发式的:默认选均值最高者,但 basic 和 varied 接近时保留 varied 以保留音色多样性,论文明确说这不是显著性检验。最终冻结的是鼓、风琴和吉他用 basic,钢琴、人声、马林巴类和杂项用 varied,弦乐和铜管用 MIDI-DDSP 叠加 basic,管乐用 MIDI-DDSP 叠加 varied。读者复述时要强调 N=8、每类两个片段,结论只是设计参考,不能推广为全库绝对音质排名。

本文没有训练什么,实际计算是什么

这篇论文没有训练新的分离、转录或合成模型,也没有报告神经网络的优化器和梯度路径。实际执行的计算是数据构造:清理符号、按类别渲染、响度与峰值处理、打包发布。MIDI-DDSP 用的是已有的开放权重,论文注明其权重为 Apache 2.0 且训练自 URMP,本文只是调用而非重新训练。

响度归一化 × 力度比例 × 线性可加: 响度归一化是把每个分轨先拉到约 -23 LUFS 附近再做峰值限制,避免有的轨过大或过小;力度比例是再按该轨最大触键力度与全曲最大力度的比值缩放,保留乐谱原来的强弱关系;线性可加是指最后对分轨求和再做统一防削波增益,保证混音等于分轨之和。三步连起来既统一整体响度,又不抹掉 MIDI 力度,还保持混音与分轨的严格对应。

具体做法是每个分轨先向 -23 LUFS 做响度归一化并做峰值限制,再按该轨最大触键力度与全曲最大力度的比值缩放,最后对分轨求和做统一的防削波峰值增益。这样做的代价是整体响度被拉平,但 MIDI 力度对比被保留,且混音严格等于分轨之和,符合 Slakh2100 一类工作对线性可加的要求。

发布形态和可比性子集如何设置

发布按分片组织,每首歌给出单声道 FLAC 分轨和配对 MIDI,多轨歌曲额外给出等于分轨线性求和的单声道混音,单分轨歌曲不需要单独存混音。所有歌曲共享 PDMX 标识,下载 PDMX 后可把乐谱和其它符号字段与音频联合使用,元数据还标出多轨歌曲和 BDGP 四轨包等方便子集。

单分轨歌曲 × 多轨歌曲 × BDGP 子集: 单分轨歌曲是指清理后只剩一个有音符分轨的歌曲,多轨歌曲是指有 2 个及以上分轨、能提供分离监督的歌曲;BDGP 子集是同时包含贝斯、鼓、吉他和钢琴的 632 首歌,专门用来与 Slakh2100 做同乐器对照。三者组合让体量、分轨监督能力和可比性分开讨论:总量看规模,多轨看分离可用性,BDGP 看跨数据集比较的公平性。

比较公平性需要先对齐计时口径。song-hours 按混音时长每首歌计一次,不乘分轨数;乐器分布另用非静音小时统计,排除静音间隙。项目页的分离和转录检查强调同预算对照,用来确认域内音频与标签对齐可用,细节、模式说明和更多实验记录放在项目页,正文不展开大表。

规模达到多大,多轨部分是否超过 Slakh2100

先看总量与多轨量的比较问题:在同样按混音时长计时的条件下,SPDMX 总量和多轨子集分别是什么体量,与 Slakh2100 相比如何。下表整理原文报告的歌曲数、分轨数和 song-hours,Slakh2100 作为实际可运行的合成基线保留,指标方向是越大表示可用的音频小时越多。

范围采样与授权
SPDMX 多轨多轨监督子集
Slakh2100 全部商业音色渲染,不能再发行渲染器
SPDMX 单分轨支持生成与转录

读这张表时要注意,SPDMX 即使去掉 165,579 首单分轨,多轨子集的 2,734 song-hours 仍超过 Slakh2100 全库的 145 小时。论文据此称它是所调查资源中按 song-hours 计最大的开放许可合成多轨子集,但这句话只在表 1 所列的比较范围内成立,且 SPDMX 包含单分轨歌曲而 Slakh2100 是纯多轨,口径差异需要记住。代价是总量里约 65% 是单分轨,不能直接用于分离监督。原文把发布过程分为 3 个阶段:清洗 PDMX 乐谱、为每个乐器类别选择渲染器族、再由这些分轨组装完整发布,上述总量与多轨量的划分正是在清洗后按每首歌的分轨数统计得到的,混音时长按每首歌计一次而不按分轨数相乘。

下面是观察分轨数分布的论文图,读图前先明确任务:看不同分轨数上 song-hours 如何分布,并确认 SPDMX 多轨是否在各分轨数上都形成规模。

看图路径: 1. 先看横轴分轨数与纵轴 song-hours 的对数刻度;2. 比较同一分轨数下蓝色 SPDMX 与橙色 Slakh2100 的柱高;3. 注意 20+ 柱和 2 轨附近 SPDMX 明显更高的位置

原论文 Figure 1:Song-hours versus stems per song for SPDMX and Slakh2100 (log y).

论文图 1。原论文 Figure 1::“Song-hours versus stems per song for SPDMX and Slakh2100 (log y).”。

从像素可见,蓝色 SPDMX 在 2 轨附近有一根很高的柱,之后随分轨数增加逐渐降低,但在 20+ 处又出现一根高柱;橙色 Slakh2100 主要集中在中间分轨数,整体柱高低于蓝色。纵轴是对数刻度,所以视觉上的小差距实际可能是数倍差异。该图省略了 SPDMX 单分轨,因此不能用它估计全库总量,它只支持多轨分布的比较。

乐器分布是否均衡,非静音时长说明什么

第二个比较问题是:分轨数量占比和有声时长占比是否一致,哪个乐器占主导。下表把原文的均值、占比和 BDGP 子集放在一起,指标方向仍是占比越高表示该类在库中越多,但数量多不等于有声时间长。

对象数量与占比时长口径
钢琴占分轨数 57%占非静音小时 41%,说明很多钢琴轨稀疏或短
BDGP 四轨包632 首,同时含贝斯、鼓、吉他和钢琴用于匹配 Slakh2100 的对照

数量与有声时长的背离在这里很明显:钢琴在数量上占 57%,但在非静音小时中只占 41%,说明数量优势部分来自稀疏短轨;鼓、风琴、吉他等类别占比更低,全库并不均衡。非静音小时按每条渲染分轨累加 0.25 s 窗口、仅计 RMS 至少 0.01 的窗口得到,排除了音符间近静音间隙和尾部填充。BDGP 只有 632 首,跨数据集比较时只能在这个小子集上谈公平性,不能把结论推广到全库。执行顺序上,先清洗校正 GM 程序并丢弃无音符轨道,再按试听结果为每类固定渲染器族,最后组装发布并划分多轨与 BDGP 子集。

下面这张图正是为了看清这种不均衡,读图前先区分左图分轨数与右图非静音小时的不同统计对象,并数清左侧纵轴带星号标签的数量,再对照图注的说法。

看图路径: 1. 左图看分轨数量占比,右图看非静音小时占比;2. 对比钢琴在左右两图的百分比差异;3. 数清左侧纵轴带星号标签的数量,再对照图注只列出弦乐、管乐和铜管三类的说法

原论文 Figure 2:SPDMX stem counts and non-silent hours by listening category (same ten labels used in the…

论文图 2。原论文 Figure 2::“SPDMX stem counts and non-silent hours by listening category (same ten labels used in the rendering study).”。

从像素可见,左图钢琴蓝色横条远长于其它类别,标注约 58%,人声约 15%,其余类别都在 10% 以下;右图钢琴橙色横条仍最长但缩短到约 43%,人声约 21%,管乐、弦乐等占比相对上升。像素左侧纵轴可见 4 个带星号标签:Wind*、Strings*、Brass* 与 Drums*,而图注与正文只说 MIDI-DDSP 适用于弦乐、管乐和铜管 3 类,两者存在不一致,此处以像素所见为准指出该矛盾。这张图帮助理解方法选择的影响范围:即使按正文 3 类的说法,神经合成也只覆盖少数类别,不能改变钢琴主导的整体分布。

试听中哪类乐器更偏好哪种渲染

这里的对照不是消融模型层,而是比较渲染家族。问题是:在每类乐器上,basic、varied 和两种 MIDI-DDSP 混合的感知真实感有何差异,冻结方案是否取了最高均值。条件是 8 名听众、每类两个 10 秒片段、0 到 100 分,basic 重复出现做参照。

读图前先明确观察任务:先看前 7 类只有 basic 与 varied 两箱的相对位置,再看后 3 类 4 个箱中 MIDI-DDSP 的位置,最后核对星号是否落在论文所述的冻结方案上。

看图路径: 1. 先看每类乐器小面板中 basic 与 varied 两箱的位置;2. 再看弦乐、铜管和管乐面板中 MIDI-DDSP 两种回退的箱体;3. 找到每面板底部星号标记的冻结方案

原论文 Figure 3:Pilot listening ratings of realism (0–100) by instrument category for basic, varied, and…

论文图 3。原论文 Figure 3::“Pilot listening ratings of realism (0–100) by instrument category for basic, varied, and MIDI-DDSP hybrids.”。

从像素可见,上排鼓、风琴和吉他的 basic 箱体中位线高于 varied,星号落在 basic;钢琴、人声、马林巴和杂项的星号落在 varied,即使有些面板两者接近。下排弦乐和铜管中 MIDI-DDSP 叠加 basic 的箱体位置较高,星号落在该处;管乐面板中 MIDI-DDSP 叠加 varied 的箱体偏高且星号落在该处。论文明确这是设计启发式,basic 与 varied 接近时主动保留 varied,因此不能把星号位置读成显著性检验的胜负,也不能推广为全库音质排名。

哪些结论不能从本文证据中得出

先说构造带来的直接限制。约 65% 歌曲是单分轨,钢琴主导明显;MIDI 来自记谱乐谱,时值和力度是量化的,缺少真实演奏的细微起伏;所有分轨都是单声道,没有立体声信息;MIDI-DDSP 分轨由 16 kHz 上采样到 44.1 kHz,仍是带限的。

再说证据范围的限制。小试听用的是合成参照、8 人和每类两个片段,不支持全库绝对真实感的断言。分离与转录的同预算检查只在项目页说明,正文没有给出可复核的大表,因此只能说域内对齐可用,不能引用为具体的分离分数提升。把相对变化当成百分点、把自动指标等同人工评价,或把总量小时数直接当成分离监督小时数,都是容易误读的地方。

要复现或复用第一步该做什么

复现的第一步是拿到 PDMX 符号与 SPDMX 音频的对应关系。按歌曲标识把两者下载到同一目录,检查配对 MIDI、分轨 FLAC 和多轨混音是否对齐,再用元数据筛选出多轨歌曲或 632 首 BDGP 子集。模式细节和下载说明在项目页,论文正文没有给出完整路径,因此不要把第三方镜像当成作者资源。

渲染管线复用的关键是按类别冻结方案重跑。鼓、风琴和吉他用 basic,钢琴、人声、马林巴和杂项用 varied,弦乐和铜管用 MIDI-DDSP 叠加 basic,管乐用 MIDI-DDSP 叠加 varied;MIDI-DDSP 不可用时回退到对应 FluidSynth。响度处理要保留先归一化到约 -23 LUFS 再按力度比例缩放、最后统一防削波的顺序,否则会破坏力度对比或线性可加。

还需要补的验证至少有两项:一是在自己关心的乐器上重做稍大规模的盲听或用分离、转录的下游分数验证渲染选择;二是在 BDGP 子集上跑同预算的分离对照,确认多轨对齐在你的训练框架下仍然成立。论文未报告训练超参数和硬件预算,这些缺口要自己记录,不能从模型名猜测。

什么时候值得尝试这个数据

当你需要开放可再发行的分轨小时数,且能接受合成音色和单声道时,SPDMX 值得尝试。它同时给出分轨、混音、对齐 MIDI 和 PDMX 标识,适合做分轨条件生成、MIDI 转音频、转录和符号与音频联合建模;有多轨监督需求时只用 88,403 首多轨子集,需要与 Slakh2100 对照时先用 632 首 BDGP 子集。

当你的任务依赖真实录音质感、立体声、歌词演唱或非钢琴主导的均衡分布时,它就不合适。单分轨大头和钢琴主导意味着直接全库训练可能偏向稀疏钢琴,需要按乐器分层采样或只取多轨。试听结论只是小样本设计参考,全库音质仍需自己的下游评测来确认。

📎 论文与评分元数据

排名:前50% | 文档类型:数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-09 语音/音乐/音频论文速递