标签：#音乐源分离 | #注意力机制 | #音乐 | #数据集 | #时频分析
评分：7.3/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.9/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Benjamin Shiue-Hal Chou：机构信息未在 arXiv HTML 中可靠披露
- Purvish Jajal：机构信息未在 arXiv HTML 中可靠披露
- Nicholas John Eliopoulos：机构信息未在 arXiv HTML 中可靠披露
- James C. Davis：机构信息未在 arXiv HTML 中可靠披露
- George K. Thiruvathukal：机构信息未在 arXiv HTML 中可靠披露
- Kristen Yeon-Ji Yun：机构信息未在 arXiv HTML 中可靠披露
- Hao-Wen Dong：机构信息未在 arXiv HTML 中可靠披露
- Yung-Hsiang Lu：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
乐谱告知音符分离输入为单声道复调混音与对齐的音高加起止时间，输出为每个乐谱音符的演奏波形，难点在于同乐器音色相近、八度与纯五度共享大量谐波，外加非谐性、颤音、混响与宽带起振相互掩蔽。第一步以谐波打击源分离将混合片段拆为谐波与打击两路，并在乐谱指示存在低一至二个八度重叠时才对谐波流做低频门控，打击流始终保留起振细节，两路输出一并送入抽取网络。第二步由两个时频卷积加时频全连接U型网络分别处理两路分量，在深层编码器、瓶颈与浅层解码器处经双向交叉注意力互写特征，并以音高与起止条件调制逐查询独立输出目标波形。第三步将同期全部原始估计与混合频谱及跨音符上下文送入自适应集合归属，经门控与相对增益预测做归一化重分配，还原满足混音一致的最终音符集合。相对梳状滤波与非负矩阵分解类方法，该设计以学习式谐波加打击分解替代固定模板假设，以跨流注意力替代手工八度处理。在SCNS-Eval评测下，NoteSep的中位SI-SDR为7.39 dB，高于Score-Informed NMF的中位SI-SDR 2.49 dB。该结论限于给定准确乐谱与单声道场景，自动转录误差、强混响现场与未见演奏技法下的外推尚未验证。原文披露了A10上2秒16查询的分离加仲裁开销，训练硬件与总时长未披露。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，哪些信息不能丢？
这篇论文研究的是乐谱告知的音符分离。输入是单声道复调混合波形，加上已经对齐的乐谱事件，每个事件给出 3 个量：音高、起音时刻与止音时刻。输出是每个乐谱事件对应的演奏波形，也就是把混合中属于这个音符的振动、起振噪声与房间混响尽可能完整地取出来，其余音符的成分尽可能不混进来。
对于刚入门的读者，关键是把任务粒度想清楚。常见的音乐分离输出的是乐器干声，例如把钢琴与小提琴分开。而这里要求更细：同一架钢琴同时弹响的两个音也要分开。它们的音色几乎一样，语义标签帮不上忙，很多泛音频率还重合。八度与纯五度共享大量谐波，非谐性、颤音、房间反射与宽带起振又让简单的梳状滤波失效。所以乐谱提供的不只是提示，而是必须保留的条件：没有音高就不知道基频在哪里，没有起止时间就不知道在哪一段找攻击与衰减。
论文把完整系统称为 NoteSep，它包含 2 级。第一级是 NoteGrab，1 次处理一个查询，输出一个原始音符估计。第二级是自适应集合归属，英文为 Adaptive Set Ownership，缩写为 ASO，同时看一个时间窗内所有并发的原始估计，把争抢同一时频格的能量重新分配。理解后文所有设计，都可以回到这个 2 级分工：先保证单音符抓得准，再保证多个音符加起来与混合自洽且互不侵占。
同输入同目标的已有路线走到哪里？
在乐器与声部粒度上，已有深度方法可以用对齐乐谱分离管弦乐器或合唱声部，但输出仍是一声部一轨，例如男高音一轨、男低音一轨，而不是一个音符一轨。通用分离器可以用语言或音频对齐的嵌入指定要什么声音，但同一乐器的不同音符在语义上几乎不可区分，因此这类条件对音符粒度的帮助有限。
在音符粒度上，过去的主力是非深度方法：谐波梳状滤波、非负矩阵分解、乐谱告知的模板分解。它们依赖较强的假设，例如泛音严格成整数倍、模板固定不变、起振可以忽略。在八度重叠、非谐泛音与宽带攻击面前，这些假设容易失效。也有针对特定乐器调参或引入人工判断的系统，精度可以做高，但换录音、换音色库就要重新调整。
音符分离 × 乐器声部分离： 音符分离要求输出每个演奏音符的波形，输入必须有对齐的音高、 onset 与 offset，分工是支持改单个错音或提亮一条旋律线；乐器声部分离只要求输出每种乐器或声部的一轨，分工是做伴奏消除或人声提取。搭配比较的原因是同一段录音可以用两种粒度评价，论文把音符估计按乐器求和就得到声部，可直接与专用声部分离系统对照，组合意义是检验只在合成数据训练的音符模型能否迁移到真实录音。
论文的定位因此很明确：做第一个基于深度学习的乐谱告知音符分离方法，不靠人工逐录音调参，直接在多样化合成数据上训练，再到未见过的乐器与曲目上测试。它还把音符结果聚合成乐器声部，去与真实录音上的专用声部分离系统对照，用来检验迁移能力，而不是声称在所有声部指标上全面超越专用系统。
混合模型与查询如何形式化？
论文把单声道混合写成多个音符波形之和。每个音符有自己的真实演奏波形，混合是它们的叠加。对第 i 个音符，查询是三元组，分别表示音高、起音与止音。给定局部混合窗与这个查询，NoteGrab 输出一个估计波形。当一个窗内有 K 个查询事件，NoteSep 就运行 K 次共享权重的 NoteGrab，得到 K 个原始估计，再用 1 次 ASO 做联合重分配。
举一个教学例子帮助建立直觉，不代表论文实测数值。假设钢琴同时按下低八度与高八度两个同音名的音，低音的 2 次谐波正好落在高音的基频上。两个独立的抓取器都会声称这份能量属于自己，加起来就超过混合中实际存在的能量。这时只看单个音符无法裁决，必须把两个估计放在一起，比较它们在该频率格的相对可信度，再按比例分账。这正是 ASO 要解决的联合归属问题。
评价时论文不只看整体响度对不对，还要看串音。指标包括每音符的 SI-SDR、离目标能量与目标投影增益，以及八度混淆率。八度混淆的定义是：当目标音高上下 12 半音处有活跃的八度竞争音时，比较估计与目标参考、估计与竞争者参考的相关性平方，若竞争者更高就记 1 次混淆。这个定义把八度抢能量的问题单独拎出来计数，是理解后文消融的关键。
两级流水线如何从混合走到每个音符？
整个流程可以沿一个样本走一遍。先根据目标音符的起止截取一段以其为中心的混合片段。对这段片段做谐波打击乐分离，英文为 Harmonic-Percussive Source Separation，得到谐波输入与打击乐输入。两路分别进入两个结构相同的 TFC-TDF v3 U-Net，一个处理谐波，一个处理打击乐。2 流在中间三处通过双向交叉注意力互写特征，最后各自输出波形预测并在波形域相加，得到该查询的原始音符波形。
接下来是联合阶段。把 6 秒混合音频窗内所有音符的原始估计收集起来，为每个音符构造 9 个特征图，包括混合幅度、估计与混合的幅度比、该估计占所有估计之和的份额、与混合的逐格相位相似度、到最近乐谱谐波的距离、归一化谐波序号、带符号的起音与声学止音距离，以及一个可学习的门。对这些特征做共享投影与局部、时序编码，再拼接当前音符与其它并发音符的均值与最大池化，形成跨音符上下文，预测一个对数增益。
把原始幅度先过门控，再乘以该增益得到权重，最后按权重占总权重的比例从混合频谱中分能量。若某格所有权重为零，则回退到原始估计幅度加混合相位，避免放大泄漏。
这样设计的原因在原文中有明确安排。谐波与打击乐分开是因为八度干扰主要污染谐波流，而攻击与非谐细节主要在打击乐流。门控只在有低八度重叠时才切除基频以下，因为无差别高通会误删目标低频。联合重分配用幅度掩码而不用复数掩码，是因为幅度重分配更容易训练、更容易保证混合一致性，并在实验中表现更好。
NoteGrab 的输入门控与双流交换如何工作？
NoteGrab 的输入处理有两种变体，便于对照。无门控变体把完整的谐波与打击乐分量都送入网络，保留全部目标频谱，但也把与低八度音共享的能量暴露给谐波流。选择性变体先查乐谱是否存在重叠的低一或两个八度的音，若存在则把谐波输入在基频减 60 赫兹与 30 赫兹取较大值以下的部分置零，否则保持原样。打击乐输入始终不门控，让起振、共鸣与基频以下的非谐能量仍然可用。
谐波分量 × 打击乐分量： 谐波分量负责持续的周期性泛音结构，是音高与音色的主体；打击乐分量负责起振、噪声与非谐振等宽带瞬态。两者搭配的理由是单一频谱同时建模会让八度重叠的谐波与起振瞬态互相干扰，NoteGrab 让两条 TFC-TDF U-Net 各处理一路 HPSS 输出，再用双向交叉注意力互写信息，组合意义是谐波流保音高连续性、打击乐流保攻击细节，最后在波形域相加得到完整音符。
下图是 NoteGrab 的结构导读，重点看双流如何分工又如何互通。顶部是混合频谱经谐波打击乐分离后分叉，左侧经选择性谐波门进入蓝色流，右侧全频带打击乐进入红色流。每条流都是一个 27.4M 参数的 TFC-TDF v3 U-Net，在最深编码器、瓶颈与最早解码器三处各有 1 对方向相反的交叉注意力模块。每个模块以 1 流为键与值、另 1 流为查询，把消息加到被查询流上。底部 2 流各自输出谐波预测与打击乐预测，相加得到目标音符波形。音高与起止通过类似钢琴卷帘的特征图，以 FiLM 层加到每一层做条件。
看图路径： 1. 沿顶部混合频谱经 HPSS 分叉到左右两路的箭头确认双流入口；2. 观察 E5、瓶颈 B、D5 三处交叉的 CA 箭头方向是否为双向互写；3. 对比左侧选择性谐波门与右侧全频带打击乐的标注差异；4. 沿底部谐波预测与打击乐预测汇入加号得到目标音符波形
论文图 1。原论文 Figure 1:：“Architecture of NoteGrab: NoteGrab extracts one queried note using gated harmonic and ungated percussive components fed into a two-stream version of TFC–TDF U-Net.”。
从像素上看，这张图的信息密度在中间 3 层。蓝色谐波流从 E1 经 E2 到 E4 再到 E5，红色打击乐流对称排列，E5、瓶颈 B 与 D5 处各有两条交叉箭头，一条蓝色一条橙色，方向相反，分别写入对方加号节点。左侧虚线标注跳跃连接，说明 U-Net 自身的编码器到解码器仍有直连，交叉注意力是额外增加的跨流通道。这种安排的教学要点是：跳跃连接保单流内的细节，跨流注意力补流间缺失，例如被门控切掉的低频目标信息可以从打击乐流找回来。
选择性谐波门控 × 双向交叉注意力： 选择性谐波门控分工是只在乐谱显示有低八度竞争音重叠时才切除基频以下的谐波输入，避免低音能量污染高音估计；双向交叉注意力分工是在编码器深层、瓶颈与解码器浅层让 2 流互为查询与键值并相加回写。搭配原因是门控是输入端的硬先验，会误删目标低频，而注意力是中间层的软补偿，可以把保留在打击乐流中的低频细节写回谐波流，组合后既压八度混淆又不丢起振。
独立抓取 × 自适应集合归属： 独立抓取指 NoteGrab 1 次只看一个乐谱事件并输出一个波形，不考虑其他并发音符，分工是保证单音符的绝对质量；自适应集合归属分工是同时看 6 秒窗内所有原始估计，做门控、预测相对增益并归一化重分混合频谱，分工是保证集合一致性。搭配原因是独立估计之和不等于混合，各自多占共享泛音，自适应集合归属用跨音符均值与最大池化提供竞争上下文，组合意义是把多占的能量收回并按比例再分配。
ASO 如何把争抢的能量重新记账？
ASO 的输入是每个音符 9 个特征图，作用各不相同。混合幅度给出总量，估计与混合幅度比与估计占总估计份额给出相对话语权，相位相似度帮助判断该格是否同源，到谐波距离与谐波序号引入乐谱先验，起止距离引入时间先验，可学习门则先把极弱的时频系数压掉。门的构造是：先找到使最弱系数累计占总频谱能量 1% 的幅度阈值，再乘以可学习全局标量的指数得到自适应阈值，低于一半阈值去掉，高于阈值保留，中间用 3 次函数衰减。
网络先用 3 乘 3 投影把 9 通道映到 24 通道，再过两个局部块与两个时序块，时序块用 1 乘 5 深度卷积且空洞为 1 与 2。然后把当前音符的隐表示与其它并发音符的均值池化、最大池化拼接成 72 通道，经 1 乘 1 卷积多层感知机输出相对对数增益。调整后幅度等于原始幅度乘门再乘增益指数，分配比等于该权重除以所有并发音符权重之和，最终估计等于分配比乘混合频谱。
下图是 ASO 的导读，重点是共享编码与跨音符比较的顺序。顶部是混合、估计与乐谱生成 9 个特征，中间虚线框是每音符共享的编码器，从输入投影到局部块再到时序块，输出 24 通道嵌入。下方紫色框把当前、均值与最大拼接，输出相对增益，右侧黄色框是可学习阈值，底部是门控、增益、归一化乘混合幅度的重分配链。
看图路径： 1. 先看顶部九个编号特征图确认每音符输入的构成；2. 沿共享编码器从 3x3 投影经局部块到时序块追踪 24 通道嵌入；3. 观察跨音符均值与最大池化如何与当前音符拼接成 72 通道；4. 看底部原始幅度经门控与相对增益再归一化乘混合幅度的重分配链
论文图 2。原论文 Figure 2:：“ASO gates the raw magnitudes, predicts relative gains from cross-note context, and normalizes the adjusted weights before reallocating mixture energy.”。
从像素上看，顶部 9 个小色块编号清晰，第 4 块呈红蓝碎点对应相位相似度，第 7 与第 8 块呈大面积红蓝渐变对应带符号的时间距离。中间局部块画成 3 乘 3 网格、时序块画成 1 乘 5 横条，直观表达空间局部与时间长程的分工。底部 3 个深色频谱经乘门与乘增益后，颜色分布明显收窄再重新铺开，说明门先做稀疏化、增益再做相对加权，最后归一化保证同一格分出去的总量不超过混合。原文强调，若全零则回退到原始幅度加混合相位，这是用不完全一致换更少泄漏的安全选择。
数据如何构造，模型如何监督？
训练数据是论文自建的 SCNS-Train，包含 25729 个源完备混合与 743920 个孤立音符目标，由 6 个符号数据集与 NSynth 和 TinySOL 录音音符库渲染。增强包括增益、失谐、移调、回声、房间脉冲响应与有色噪声，目的是让音色、调性与空间变化更大。监督同时作用于谐波流、打击乐流与两者之和，损失包括多分辨率相对复数频谱、幅度对数、波形与包络对数。NoteGrab 用 16 kHz 音频、1024 点频谱变换与 128 点跳跃，训练 30000 步，批量 8，优化器为 AdamW，学习率 5 乘 10 的负 5 次方加余弦衰减。ASO 沿用相同训练配方。
这里需要区分直接报告与未报告。原文明确给出了采样率、窗长跳长、步数批量与优化器，但没有逐项报告每个损失的权重，也没有报告 FiLM 条件分支是否冻结、梯度是否截断、何时重置。因此复述时只能说 2 流与其和都受监督，不能脑补某一路是辅助损失或某条梯度路径被停止。同样，门控阈值中的可学习标量参与训练，但原文未给出初始化与学习率细节，只能按缺项处理。
推理预算在原文中有明确数字。把 K 个音符的 K 次共享权重 NoteGrab 与 1 次 ASO 记为 K 加 1 次通过。对于 2 秒、16 个查询的输入，在英伟达 A10 上分离器与 ASO 阶段分别为 1323.8 与 14.0 GMACs、454.7 与 32.7 毫秒、峰值显存 840.1 与 828.5 MiB。这说明主要成本在逐音符的抓取，ASO 本身是相对小的常数开销。若只需要抽一个音符而不用 ASO，则不需要其它音符标签。
若要用 ASO 改进单个估计，则需要重叠音符标签且计算量超过 K 倍。实际编辑通常本来就要抽所有音符，因此 ASO 的额外成本相对可接受。
在什么数据与基线上测，指标方向如何读？
评测集是 SCNS-Eval，包含 144 个不相交的 PDMX 乐谱、3473 个有谱音符、16 种未见乐器与未见音符库，没有乐谱或音频库与训练共享。这保证了乐器与曲目双重未见，是检验泛化的关键条件。基线包括 Melodyne 5.4.2 与乐谱告知的非负矩阵分解，后者增强了非谐模板与交替方向乘子法。Melodyne 本身不用乐谱，靠聚类检测到的成分得到音符，因此论文用音高与起音将其检测与乐谱事件匹配后再算分，并明确标注不可直接比较。
目标投影增益 × 离目标能量： 目标投影增益衡量估计中与参考同向的分量保留了多少，理想接近 1，分工是看漏提还是衰减；离目标能量是投影后剩余残差按目标归一化，分工是看混入了多少别人的声音。搭配原因是只看 SI-SDR 无法区分是目标变小还是干扰变大，两者一起读才能判断分离是保守还是冒进，组合意义是为八度泄漏这类部分正确、部分串音的情况提供更细的诊断。
指标方向需要先统一。SI-SDR 越高越好，论文报告每音符中位与均值。离目标能量越低越好，目标投影增益应接近 1，八度混淆率越低越好。编辑质量用 2f 指标，它把编辑后参考与估计都过 PEAQ 听觉模型再比较，越高越好。乐器聚合实验还报告 SI-SDR、SI-SDR 改进与 SDR，都越高越好。
数值相同不代表同一指标，例如分离前 SI-SDR 与编辑后 2f 量纲完全不同，不能跨列比较。相对百分比与百分点也不同，54.42% 是匹配率，2.96% 是混淆率，各自有各自的分母。
下表整理数据规模与匹配条件，解决先读什么再读结果的问题。第一行是训练规模，第二行是评测的未见条件，第三行是 Melodyne 匹配的口径与可比范围，避免把无乐谱方法的低分误读为同条件失败。
| 条件 | 指标 | 训练混合 | 训练目标 | 评测或匹配说明 |
|---|---|---|---|---|
| SCNS-Train 构造 | 规模 | 25729 个源完备混合 | 743920 个孤立音符目标 | 6 个符号数据集与录音音符库渲染 |
| SCNS-Eval 划分 | 未见性 | 144 个不相交乐谱 | 3473 个有谱音符 | 16 种未见乐器与未见音符库 |
表后需要强调公平条件。SCNS-Eval 的主结果是在全量 3473 音符上对乐谱告知方法比较，Melodyne 只在 1890 个匹配上算分且仍用音高与起音匹配，这对 Melodyne 已经是偏有利的子集。乐器聚合实验中 NoteGrab 与 NoteSep 都只在 SCNS-Train 训练、未见过被测真实录音，而对照的专用系统有的在被测曲目的合成渲染上训练过，因此不能把跨数据集的数字差直接读成架构优劣，还要考虑训练数据的针对性。
主结果与八度例子支持什么判断？
主结果的问题是：在未见乐器与未见曲目上，逐个抓取加联合分账能否超过乐谱告知的非负矩阵分解与无乐谱的 Melodyne。条件是同一 SCNS-Eval，指标方向为 SI-SDR 越高越好、离目标能量与八度混淆越低越好、增益接近 1。论文报告 NoteSep 中位 SI-SDR 为 7.39 dB，最强基线为 2.49 dB。Melodyne 在匹配子集上中位为 -3.88 dB，而 NoteSep 在同一口径下为 9.24 dB，但因前者不用乐谱，不应视为同条件胜负。
下图是八度重叠的定性证据导读。左右两列分别是低音 Ab4 与高音 Ab5 的频谱，行从上到下是孤立目标、独立抓取与联合输出。虚线标出 0.83 与 1.66 kHz 两处共享泛音，h 标记谐波序号。重点观察独立抓取时两音在共享线上的能量都偏亮，说明各自多占，而联合输出后低音的高次谐波变暗、高音的对应线更干净。
看图路径： 1. 按行对比目标、独立抓取与联合输出三行频谱的谐波线数量；2. 在 0.83 与 1.66 kHz 虚线处检查共享泛音的能量归属变化；3. 对比左列 Ab4 与右列 Ab5 在联合输出后谁的低次谐波被压低；4. 结合横轴 0.4 到 0.8 秒观察起振段与持续段的差异
论文图 3。原论文 Figure 3:：“Octave-overlapping A\flat4 and A\flat5 notes in an SCNS-Eval piano chord.”。
从像素上看，顶行目标频谱谐波线细而分明，中行独立估计在 0.4 到 0.6 秒起振段出现额外的宽带能量，底行联合输出后背景更黑、谐波线更收敛。论文用文字点出机制：在 831 赫兹附近低音 2 次谐波与高音基频重合，两者原始声索之和超过混合，ASO 把两者都下调；在 1.66 kHz 附近把能量从低音 4 次谐波移向高音 2 次谐波，其中低音整体 SI-SDR 提升 5.16 dB。这个单样本不能推广为平均提升，但它把表格中八度混淆率从 5.19% 降到 2.96% 的机制讲具体了。
综合判断应用原文的措辞分级。论文直接报告的是 NoteSep 在 SCNS-Eval 上的中位 7.39 dB 与八度混淆下降，这可以用报告表达。双向注意力与选择性门控各自带来提升、ASO 带来最大提升，可以用支持表达，因为有配对消融对照。能否说该方法在所有真实录音都更好，则只是可能且待验证，因为真实录音实验是聚合到乐器粒度的迁移检验，且在 Bach10 上仍略低于任务专用的卷积网络。
门控、注意力与联合分账各自贡献多少？
消融要回答 3 个递进问题：输入门控是否有用，双流交换是否有用，联合重分配是否有用。公平条件是同一 SCNS-Eval 与同一指标族，比较对象保留原文实际可运行的策略，包括无门控独立模型、选择性独立模型、无门控与选择性 NoteGrab，以及完整 NoteSep。只看数据集规模或只看配置不能替代这张结果表。
下表是论文的编辑评估表，同时包含分离前 SI-SDR 与编辑后 2f，能看到独立估计在求和时的一致性代价。表头单位按原文保留，数值为裸值，指标方向为越高越好。表前已交代比较问题，这里直接呈现原文矩阵。
| System | Pre-edit | Target 2f | Unedited 2f | Final 2f |
|---|---|---|---|---|
| Score-Informed NMF | 2.49 | 25.73 | 41.77 | 43.40 |
| NoteGrab | 5.09 | 31.70 | 32.87 | 32.38 |
| NoteSep | 7.39 | 40.09 | 71.23 | 71.08 |
表后解释主要收益与具体代价。NoteGrab 相对乐谱告知非负矩阵分解，把分离前中位从 2.49 dB 提到 5.09 dB，把编辑目标 2f 从 25.73 提到 31.70，说明单音符抓取本身更准。但独立估计求和时未编辑部分 2f 只有 32.87、最终 32.38，低于基线的 41.77 与 43.40，说明各自为政的估计加起来与原混合不一致，保留其余演奏时反而拖后腿。加入 ASO 后 NoteSep 在分离前达 7.39 dB，编辑目标 2f 达 40.09，未编辑与最终分别达 71.23 与 71.08，大幅反超。这支持联合分账主要修的是集合一致性，而不只是单音符绝对质量。
未胜出项也要就近说明。原文的另一张主结果显示，独立无门控到独立选择性、再到 NoteGrab 无门控与选择性，SI-SDR 逐步从 3.94 经 4.46 与 4.54 到 5.09 dB，八度混淆从 8.15% 经 7.79% 与 8.29% 到 5.19%，说明门控与注意力各自有效，但任何一个单独用都不如两者叠加再加 ASO。Melodyne 的离目标能量 0.62 与增益 0.34 也表明，无乐谱检测在该任务上漏提严重，不能因其品牌知名度而视为可比基线。
哪些边界没有测，哪些代价必须接受？
第一个边界是对齐乐谱的依赖。所有查询都假设音高、起音与止音已对齐，若对齐偏差超过容忍，截窗与 FiLM 条件都会错位。论文没有报告对齐误差鲁棒性曲线，也没有测量自动转录加分离的端到端性能，因此不能把当前数字推广到无乐谱或弱对齐场景。Melodyne 的低匹配率恰好反衬了检测本身的难度，但这不构成对齐免费的证据。
第二个边界是计算与标签成本。逐音符 1 次 NoteGrab 意味着复调越密成本越高，2 秒 16 查询在 A10 上分离器需 454.7 毫秒，实时性取决于复调密度与批处理。ASO 需要同窗所有音符标签才能改进单个估计，单音符抽取若不愿标注重叠音符，就只能用独立估计，享受不到联合增益。原文如实给出了 GMACs、毫秒与显存，复述时应把三者分开：算力趋势、延迟实测与峰值显存是三件事，不能用算力下降直接承诺延迟下降。
第 3 个边界是真实录音的评价粒度。PHENICX 无混响四首与 Bach10 十首都是把音符估计按乐器求和后再算声部指标，这能检验迁移，但不能证明每个音符在真实房间中都达到 7.39 dB 水平。Bach10 上专用卷积网络仍略高，且它在被测曲目的合成渲染上训练过，说明数据针对性仍有价值。原文未报告听感盲测的误判率，也未报告不同乐器族的逐类显著性，因此总体趋势不等于每种乐器都成立。
复现先做什么，需要哪些超参数与信息条件？
复现的第一步是重建数据管线，而不是先调模型。需要按原文用符号数据集与录音音符库渲染源完备混合，保留每个音符的孤立目标波形与对齐的音高起止。训练集与评测集的乐谱与音频库必须不相交，评测用 16 种未见乐器，否则无法复现泛化结论。增强至少包括增益、失谐、移调、回声、房间脉冲响应与有色噪声，缺了房间与失谐，真实录音迁移大概率打折。
第二步是按原文实现 2 级训练。NoteGrab 用 16 kHz、1024 点变换、128 点跳跃，30000 步、批量 8、AdamW、学习率 5 乘 10 的负 5 次方加余弦衰减，同时监督 2 流与其和的多分辨率复数频谱、幅度对数、波形与包络对数。ASO 处理 6 秒窗，用 9 通道特征、3 乘 3 投影到 24 通道、两个局部块与两个空洞为 1 和 2 的时序块，再拼接均值最大池化成 72 通道预测对数增益。门控阈值按最弱系数累计 1% 能量自适应，全零格回退到原始幅度加混合相位。
下表整理可直接对照的开销与迁移数字，解决复现时先对齐哪组数字的问题。第一行是推理预算，第二行是跨数据集迁移的改进量，第三行是主结果锚点。所有数字与单位的写法保留原文，裸值不擅自加百分号，dB 只出现在原文明确给出的组内。
| 条件 | 指标 | 联合模块 |
|---|---|---|
| 2 秒 16 查询在 A10 上 | 计算与延迟显存 | 14.0 GMACs |
| PHENICX 上聚合到声部 | SI-SDR 改进与 SDR | 8.45 dB 改进 |
| Bach10 上聚合到声部 | SI-SDR 改进与 SDR | 10.10 dB 改进 |
关于可用性必须严格表述。本次收到的证据中资源状态为未发现来源绑定且完成验证的资源，不得声称代码、模型或数据已公开。原文正文写了代码与权重将发布并给出演示页，但这属于未来计划与外部页面，不是当前可用性的证据。复现前应先确认对齐乐谱、音符库授权与 A10 量级的算力，再谈复刻 7.39 dB。
何时值得尝试这个方法？
当任务明确是修单个错音、提亮一条旋律线、做音符级变速变调变音高，且手头有对齐到 150 毫秒内甚至更准的乐谱，NoteSep 值得尝试。它的分工清晰：NoteGrab 负责把目标音的谐波延续与起振细节抓全，ASO 负责在八度与五度重叠处按相对可信度分账。SCNS-Eval 上从 2.49 dB 到 7.39 dB、八度混淆降到 2.96%、编辑后最终 2f 到 71.08，都支持在合成主导的分布上联合分账是关键增益。
当没有乐谱、只有哼唱或文字描述，或者复调密度极高且延迟敏感，就不值得硬套。此时应先做对齐或转录，或退到乐器声部分离。把自动指标当成人耳验收、把声部聚合指标当成每个音符都好、把总体提升当成每首曲子都提升，都是论文特有的常见误读。需要补的验证也很具体：对齐误差敏感性、逐乐器族的显著性、人耳盲测，以及更长窗与更密复调下的延迟与显存曲线。带着这些边界去用，才能把音符分离从演示变成可靠的编辑工具。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses