📄 先修复混合再分离最后逐轨修复的音乐源复原框架
英文题目：Restore, Separate, Restore: A Modular Framework for Music Source Restoration
标签：#音频修复 | #音乐源分离 | #生成对抗网络 | #音乐 | #音频质量评估
评分：7.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Tobias Morocutti：机构信息未在 arXiv HTML 中可靠披露
- Emmanouil Karystinaios：机构信息未在 arXiv HTML 中可靠披露
- Gerhard Widmer：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
音乐源修复的输入是经过分轨效果、混音母带和传输退化后的立体声成品录音，输出是8类乐器未经处理的原始分轨，难点在于同时逆转非线性制作处理、区分声源归属并补回丢失的音色与瞬态细节。本文先用混合修复模型去除输入端退化得到近似母带混合，其输出直接送入单个多轨分离模型，将混合归属到仍携带分轨级退化的各分轨估计。最后对每个分轨用专用修复模型去除残留的分轨级退化与分离伪影，专家在分离器的真实输出上微调以贴合实际伪影分布。与此前按音轨分组专用级联相比，该设计用一个分离模型处理全部8轨并只在混合与分轨两端配修复模型。在MSR Challenge测试集上，混合修复使分离的多梅尔信噪比（Multi-Mel-SNR，MMSNR）从3.980 dB提高到4.047 dB，最终系统平均达到4.050 dB，明显高于基线但仍低于专用级联。该结论仅适用于重采样至44.1 kHz后的客观指标评估，分离器在干净未母带混合上训练而推理面对近似母带混合，存在未解决的训练推理失配；MSRBench验证集与测试集为独立采集，验证集上五轨有效的门控在测试集仅三轨仍有效且FAD-CLAP变差，本文也未做主观听感评估。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
代码相关资源：https://github.com/theMoro/music_source_restoration — 链接可访问（HTTP 200）
第三方资源：https://hf.co/datasets/MSRChallenge/2025TestSet → https://huggingface.co/datasets/MSRChallenge/2025TestSet — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
真实录音的输入是什么，复原要输出什么
刚接触音频分离的同学容易把混合想成干净录音的简单相加。这篇论文要纠正的第一件事就是，真实发行的音乐不是这样来的。输入是一个已经过混音、母带处理，还可能经过传输编解码或声学退化的立体声成品，记为 y。目标是恢复 8 个乐器类别的原始未处理分轨，记为 s1 到 s8，具体是人声、吉他、键盘、合成器、贝斯、鼓、打击乐和管弦乐，每轨通常也是立体声。所谓未处理，是指希望接近直接从乐器或人声拾取、还没有加均衡、压缩、饱和、混响等制作效果的信号。
必须保留的信息包括每轨的音高内容、节奏位置、音色包络和声像，而必须去掉的是 3 类东西：各轨自带的制作效果、母带处理、发行后退化。输出是 8 个估计轨，用客观指标与干净参考轨逐轨比较。理解这个输入输出定义很重要，因为后文所有 3 阶段的分工都是按这 3 类失真在哪里被反演来划分的，不是按常规降噪或分离的习惯划分的。
已有路线为什么把分离和修复混在一起会不够
论文梳理的背景是音乐源复原先有 RawStems 未处理分轨数据集，再有 MSRBench 用专业混音而非人工简单叠加来构造轨混合对，并在不同退化下评测，进而有了 ICASSP 2026 MSR 挑战赛。多数参赛系统沿用 BS-RoFormer，这是一种常用于分轨分离的掩蔽式模型，成绩最好的 xlancelab 用 BS-RoFormer 级联做去噪、分离和人声去混响。修复侧则有 Apollo，它用频带切分加 RoFormer 与时域卷积网络建模，并用生成对抗目标做 44.1 kHz 音频修复。
论文强调的张力在于，掩蔽式分离擅长把混合中已有的能量分给正确的源并抑制串音，但修复要求找回被非线性处理改变或丢失的信息。打个比方，掩蔽像按比例重新分蛋糕，已被吃掉的那块变不回来；修复则要直接把缺的音色细节、瞬态结构和空间感再做出来。MSRBench 基线里复数域分离模型对修复不够的现象也支持这一点。所以论文不是简单把分离模型调大，而是明确让掩蔽模型管分离，让直接预测频谱加对抗目标的模型管修复，再按乐器分专家细修。
论文如何把混音母带退化写成可讨论的形式
论文把问题表述做成统一的符号体系，目的是把分散在前人数据描述里的轨处理、混音、母带和退化写进同一组公式，方便说明每个阶段到底反演哪一段。先看轨级：每个干净轨经过各自的轨级退化，例如均衡、压缩、饱和、混响，叠加成混合 x。作者说明实际还有增益分级和总线处理，但模型里没有显式建模这部分，只是按求和近似。
\[x=\sum_{i=1}^{n}f_{i}(s_{i}).\]再看发行级：混合先过母带函数得到母带后混合，再过发行退化得到发行录音 y。母带包括宽带与多段均衡、压缩和限幅，退化包括声学影响或编解码压缩。作者把复合记为 g 等于 d 复合 m。
\[y=g(x)=d\left(m\left(\sum_{i=1}^{n}f_{i}(s_{i})\right)\right).\]给定只有 y，复原要同时做三件事：反演 g、把能量归属到正确的源、再反演缠在每个源里的残留轨级退化。这个写法直接决定了 3 阶段的输入输出定义，下一节总览会逐段对应，读的时候可以把公式里的每个符号当成数据流水线上的一个检查点。
三阶段流水线如何分工，一份录音走完全程经历什么
从一份发行录音出发，流水线按修复混合、分离、修复分轨的顺序走。第一阶段混合修复把可能退化的发行混合映射为修复混合，目标是接近母带后混合，也就是去传输退化但保留母带。第二阶段单模型分离把修复混合归属为 8 个带轨级退化的成分，仍带有轨级退化。第 3 阶段 8 个源专用修复专家把每个分离估计映射为最终干净估计。全局与局部的分工是，混合修复和分离在出现分轨结构之前全局作用于所有源，逐轨修复则局部作用于每个源各自的误差统计。读图时先分清训练用的真值链和推理用的模型链，再看监督虚线连的是哪两端，就不容易把训练输入和推理输入搞混。
下面这张官方原图图注为 3 阶段音乐源复原流水线，读图前先明确左右两栏分别是数据合成与模型级联，中间虚线是监督关系。
看图路径： 1. 先沿右侧自下而上看推理级联：混合修复、分离、逐轨修复三块颜色分区；2. 再看左侧数据合成链：未处理轨经轨增强、混音、母带与退化得到退化混合；3. 对照中间三组监督虚线：退化混合到修复混合、干净混合到分离轨、干净轨到修复轨分别监督谁；4. 注意实线训练与虚线推理箭头的区别，特别是分离训练输入与推理输入来源不同
论文图 1。原论文 Figure 1:：“Proposed 3-stage Music Source Restoration pipeline.”。
这张图右侧自下而上是阶段一混合修复模型输出修复混合，阶段二分离模型输出分离轨，阶段三逐轨修复模型输出修复轨。左侧是数据合成：顶部未处理八轨数据集 RawStems 经轨增强得到真值增强轨，再与已处理八轨数据集混合成真值干净混合，经母带与可选退化得到退化混合。中间横向虚线标出 3 组监督关系，底部图例区分训练实线、推理虚线与监督线。需要特别注意，分离模型的训练输入在图中连向真值干净混合，而推理时它的输入来自修复混合，原文明确承认这带来训练与推理的不匹配，留作未来工作，不能理解为混合修复已经把母带影响也去掉了。
阶段一混合修复做了什么，为什么放在分离之前
阶段一用 Apollo 架构做混合修复，输入是可能退化的发行混合，输出是修复混合，目标是近似母带后混合。Apollo 把输入频谱按频带切分，在频率和时间上联合建模，然后直接重建输出频谱，而不是估计掩蔽再乘回输入。直观说，它不是给旧频谱加权重，而是重新画一张频谱，所以有机会补回被编解码压掉的细节。训练时目标是未退化混合，以 0.5 概率同时对输入和目标做母带仿真，再对输入额外加模拟或声学效果或编解码压缩等退化。
模型从官方预训练检查点初始化，冻结前 3 个频带切分网络块，只微调后 3 个块和输出头，共 20 轮。论文把这一步放在分离之前，是因为分离器本身没有在退化混合上训练过，先去掉输入侧退化有望让下游分离更稳。机制上只能说去除传输退化 d 对下游有帮助，不能说成输出已更接近分离器的干净未母带训练分布，因为作者明确写了阶段一输出近似的是母带后而非干净未母带混合，母带相关的不匹配依然存在。
\[y\;\mapsto\;\hat{x}\approx\bar{x}=m\left(\sum_{i=1}^{n}f_{i}(s_{i})\right).\]混合修复 × 声源分离： 混合修复指在分离前对整个立体声混合做整体去退化，声源分离指把混合内容分配到各个乐器轨；前者负责校正编解码和声学过程带来的公共劣化，后者负责归属与串音抑制，二者搭配是因为掩蔽只能重加权已存在成分，缺失的细节需要直接预测来补。
阶段二单模型分离如何一次分出八轨
阶段二用 BS-RoFormer 风格的单模型 1 次分出 8 个目标轨，外加一个辅助残留轨。输入是阶段一的修复混合，输出是每个源在混合中的存在形态，仍带有轨级退化。实现上从六轨预训练检查点扩展到九轨，总参数 248M，其中辅助 other 轨实际无用且训练时不回传它的梯度。5 个已有轨人声、贝斯、鼓、吉他、键盘的掩蔽估计头从检查点初始化，新增的打击乐、合成器、管弦乐头随机初始化，微调 Transformer 块和全部掩蔽估计头约 17000 步，频带切分模块冻结。训练用多分辨率短时傅里叶损失加 L1 损失等权。
关键技巧是随机混音，把来自不同歌曲的分轨拼成不顾节拍与调性连贯的嘈杂混合做增强，退火策略是从 0.9 线性降到 0.0 并持续前 85% 训练，测试集多播种平均 MMSNR 从 3.81 dB 提到 3.94 dB。论文刻意不用每轨或每组专用分离模型，是想用一个模型换更低的总参数与训练成本，可能牺牲部分分轨精度。推理分段是 10 秒立体声，与修复模型的 4 秒分段不同。
\[\hat{x}\;\mapsto\;\{\hat{u}_{i}\}_{i=1}^{n}\approx\{f_{i}(s_{i})\}_{i=1}^{n}.\]掩蔽估计 × 直接频谱预测： 掩蔽估计指输出时频掩蔽再乘回输入频谱，适合做分离归属；直接频谱预测指网络直接输出目标频谱，适合做修复重建；论文让分离用前者以保归属精度，让两处修复用后者并加对抗目标，以鼓励重建掩蔽无法找回的音色与瞬态细节。
阶段三逐轨专家为什么要用分离器的真实输出来训练
阶段三为 8 个目标轨各训一个 Apollo 修复专家，输入是分离估计，输出是最终干净估计，目标是反演残留的轨级退化。与阶段一不同，这里不用合成退化构造输入输出对，而是先把 RawStems 子集过混合修复再过阶段二分离，得到分离器真实估计，再与对应干净轨配对，1 次性生成训练对。这样每个专家看到的就是分离器真正会犯的错误，例如某轨漏掉的谐波或从别轨漏进来的串音。每个专家从微调好的混合修复模型初始化并冻结相同层，微调 40 轮。
是否保留该轨专家要看验证集：只有在 MSRBench 验证集上 MMSNR 超过只分离不修复时才纳入最终系统，验证集上有五轨满足，人声、吉他、合成器、打击乐、管弦乐。但这只是验证集上的筛选规则，不保证测试集上同样成立，后文消融会看到测试集上只有其中三轨仍有提升，整体也只微增，且不同指标方向不一致。
\[\hat{u}_{i}\;\mapsto\;\hat{s}_{i}\approx s_{i},\quad i=1,\dots,n.\]母带处理 × 传输退化： 母带处理指宽带与多段均衡、压缩和限幅等针对发行混合的全局处理，传输退化指声学影响或编解码压缩等发行后退化；论文把二者复合记为 g，混合修复只以反演传输退化 d 为目标，输出仍保留母带处理 m，这决定了后续分离器面对的是近似母带后混合而非干净未母带混合。
分离器真实残留 × 合成退化近似： 分离器真实残留指第二阶段分离模型实际输出中的串音、空洞与模糊，合成退化近似指人工加均衡混响等构造的退化对；逐轨修复专家只用前者配对干净轨来微调，是为了让修复目标对准分离器真正产生的误差分布，而不是对准人工假设的分布。
数据、增强与损失是如何组织训练的
训练数据合并 4 个多轨数据集：RawStems、MoisesDB、Slakh2100 和 MUSDB25 风格扩展，其中只有 RawStems 含未处理轨，作者还清洗了其中一部分标注以解决已知的轨混合对齐问题。训练混合先算每秒活动掩蔽，均方根大于负 40 dB 为活动，要求至少两轨在至少 80% 秒数上活动。只对 RawStems 样本做轨级增强流水线，以每个 10% 概率近似轨级退化，再做均方根匹配以保持原始响度，目的是让它与其他已处理数据集对齐。各轨按相对随机参考轨缩放到目标信噪比 0 到 10 dB 再叠成混合，对应问题表述里提到的增益分级。
损失上分离用多分辨率短时傅里叶损失加 L1 等权，修复用多分辨率梅尔损失权重 0.5 加直接优化 MMSNR 的多梅尔信噪比损失权重 0.04，再加对抗损失，逐轨修复对抗权重 0.5，混合修复对抗权重 0.2，作者说后者用更高权重训练不稳定。优化器都用 Adam，混合修复学习率 1.5e-6 指数衰减有效批量 32，分离用线性计划 8000 步热身峰值 4e-4 终值 1e-4 有效批量 32，逐轨修复有效批量 16 并留 20% 每轨对做验证。所有模型在 44.1 kHz 立体声上微调，验证与测试音频都从 48 kHz 重采样到 44.1 kHz。
多分辨率短时傅里叶损失 × 对抗损失： 多分辨率短时傅里叶损失与多梅尔频谱损失负责多尺度频谱保真，对抗损失负责鼓励细粒度真实感；修复训练把保真损失与对抗损失加权组合，是因为只优化平均误差容易得到过平滑频谱，而对抗项可以推动重建更可信的高频与瞬态结构，但权重过高又会不稳定。
验证集测试集如何划分，指标方向怎么看
为与挑战赛可比，验证用 MSRBench，测试用新发布的 MSR 挑战赛测试集，两者都是 48 kHz 发布再重采样到 44.1 kHz。与常见从同一池子划分验证测试不同，这两个是 2 次独立的数据收集，可能带来验证与测试分布偏移，后文解释逐轨修复迁移失败时会用到这一点。评测沿用挑战赛协议，报告 3 个客观指标，都是拿复原输出与干净参考轨比较。MMSNR 是在多个梅尔频谱分辨率上平均的尺度不变信噪比，是挑战赛排名的主指标，越大越好。
Zimtohrli 把信号经听觉通路多阶段映射再用加窗结构相似度比较，越小越好。FAD-CLAP 捕捉分布与语义相似而非逐采样保真，越小越好。论文只报告客观指标，没有做主观评测，但提到挑战赛里这些客观排名与另 1 次盲测主观平均意见分高度相关，斯皮尔曼相关系数 0.9，以此支持用它们做感知质量代理。读数时要注意，3 个指标意图相近但并不等价，后文会出现 MMSNR 变好而 FAD-CLAP 变差的情况，不能把任一单指标增益当成全面变好。
混合修复加分离的主结果是什么，代价在哪里
先看分离本身与混合修复带来的变化，比较问题是同样的分离模型在有无阶段一预处理时性能是否一致，公平条件是测试集固定、分离权重固定，只切换输入是原始退化混合还是修复混合，指标方向是 MMSNR 越高越好，Zimtohrli 与 FAD 越低越好。单模型 1 次分八轨在测试集达到 MMSNR 3.98 dB，作者对比 MSRBench 上 BSRNN 基线称是大幅提升，尽管没有用按轨或按组特化的级联。加上阶段一后三项指标都变好。下表完整呈现这次两行对照，是理解阶段一价值的最直接证据。
| Config. | MMSNR↑\uparrow | Zimt↓\downarrow | FAD↓\downarrow |
|---|---|---|---|
| Stage 2 | 3.980 | 0.015 | 0.300 |
| Stages 1+2 | 4.047 | 0.014 | 0.293 |
上表是阶段 1 对阶段二的影响，阶段二单行对应只有分离，阶段一加 2 对应先修复再分离。可以看到 MMSNR 从 3.980 dB 提升到 4.047 dB，另两项指标同步下降，说明这次预处理没有出现指标打架。支持的判断是输入侧去除传输退化对下游分离有帮助，即使分离器没见过退化混合。限制是这种帮助不能理解为已消除母带不匹配，因为阶段一目标仍是母带后混合，而分离器训在干净未母带混合上，不匹配依然存在。代价是多了一个 Apollo 修复模型的训练与推理开销，以及 44.1 kHz 下 4 秒分段与 10 秒分段的衔接处理。这只是两行平均数，没有给出分轨与置信区间，也不能推广到所有退化类型，因为测试集的退化组成是固定的。
与基线和专用级联相比，单模型方案站在什么位置
这里的比较问题是最终系统相对 MSRBench 的 BSRNN 基线和 xlancelab 专用级联处于什么水平，公平条件是同一挑战赛测试集与同一三指标，但要记住基线与对照的训练数据和专用程度并不相同，所以只能按原文报告同条件复述，不能当成严格控制变量的胜负。下表是分轨与外部系统的完整对照，是判断单模型策略取舍的核心依据。
| MMSNR↑\uparrow | MMSNR↑\uparrow | MMSNR↑\uparrow | ZIMT↓\downarrow | ZIMT↓\downarrow | ZIMT↓\downarrow | FAD↓\downarrow | FAD↓\downarrow | FAD↓\downarrow | |
|---|---|---|---|---|---|---|---|---|---|
| Source | BL | xlance | Ours | BL | xlance | Ours | BL | xlance | Ours |
| bass | 2.109 | 8.145 | 6.956 | 0.014 | 0.009 | 0.010 | 0.641 | 0.307 | 0.391 |
| drums | 2.193 | 5.806 | 5.604 | 0.020 | 0.014 | 0.015 | 0.568 | 0.314 | 0.399 |
| vocals | 1.057 | 1.596 | 1.535 | 0.019 | 0.016 | 0.017 | 0.349 | 0.266 | 0.306 |
| guitars | 0.994 | 3.726 | 3.070 | 0.017 | 0.011 | 0.013 | 0.370 | 0.191 | 0.222 |
| keyboards | 1.693 | 6.882 | 6.660 | 0.017 | 0.012 | 0.011 | 0.698 | 0.317 | 0.325 |
| synthesizers | 0.730 | 2.244 | 3.131 | 0.020 | 0.017 | 0.016 | 0.665 | 0.508 | 0.541 |
| percussions | 0.000 | 1.200 | 0.783 | 0.032 | 0.018 | 0.016 | 1.297 | 0.543 | 0.785 |
| orchestral | 0.951 | 6.071 | 4.662 | 0.020 | 0.014 | 0.015 | 0.521 | 0.301 | 0.433 |
| Average | 1.216 | 4.459 | 4.050 | 0.020 | 0.014 | 0.014 | 0.436 | 0.210 | 0.279 |
上表 BL 为基线，xlance 为专用级联，Ours 为本文最终系统。原文报告最终系统在所有轨和指标上大幅超过基线，平均 MMSNR 从基线 1.216 dB 到本系统 4.050 dB，而 xlancelab 平均 4.459 dB 仍在多数轨领先。具体看，合成器上本系统 3.131 dB 超过 xlancelab 的 2.244 dB，人声 1.535 dB 接近 1.596 dB，鼓 5.604 dB 接近 5.806 dB，但在贝斯、键盘、管弦等轨差距较大。Zimtohrli 平均两家都是 0.014，打击乐上本系统 0.016 好于 xlancelab 的 0.018。FAD 平均本系统 0.279 弱于 xlancelab 的 0.210。
支持的判断是联合多轨建模在部分轨上有竞争力，但缺乏按轨特化在多数轨仍吃亏。代价侧是 xlancelab 用多模型按组特化，总参数与训练成本更高，本文用单分离模型加少量专家换更低成本。未胜出项很明确：多数轨的 MMSNR 与 FAD 仍落后专用级联，不能因为平均提升就声称整体最优。
逐轨修复的增益为什么在验证集成立到测试集就不稳
这里的比较问题是在阶段一加二的基础上再加阶段三是否每轨都变好，公平条件是前 2 阶段固定，只切换是否过逐轨专家，筛选规则是验证集 MMSNR 提升才保留，指标方向同前。验证集上有五轨满足保留条件，但在测试集上只有人声、吉他、合成器仍有 MMSNR 提升，而贝斯、打击乐等轨反而下降。若对八轨全部加上阶段三，整体反而下降。最终系统按验证集筛选只保留部分轨，整体测试集 MMSNR 只是微增，但 FAD-CLAP 变差，Zimtohrli 基本不变。下表给出分轨的完整对照，是本文最重要的负结果证据。
| MMSNR ↑\uparrow | MMSNR ↑\uparrow | ZIMT ↓\downarrow | ZIMT ↓\downarrow | FAD ↓\downarrow | FAD ↓\downarrow | |
|---|---|---|---|---|---|---|
| Source | 1+2 | 1+2+3 | 1+2 | 1+2+3 | 1+2 | 1+2+3 |
| bass | 6.956 | 6.430 | 0.010 | 0.010 | 0.391 | 0.339 |
| drums | 5.604 | 5.550 | 0.015 | 0.014 | 0.399 | 0.368 |
| vocals | 1.486 | 1.535 | 0.017 | 0.017 | 0.295 | 0.306 |
| guitars | 3.045 | 3.070 | 0.013 | 0.013 | 0.226 | 0.222 |
| keyboards | 6.660 | 6.618 | 0.011 | 0.010 | 0.325 | 0.339 |
| synthesizers | 3.102 | 3.131 | 0.016 | 0.016 | 0.583 | 0.541 |
| percussions | 0.823 | 0.783 | 0.016 | 0.016 | 0.878 | 0.785 |
| orchestral | 4.698 | 4.662 | 0.015 | 0.015 | 0.409 | 0.433 |
| Overall | 4.047 | 3.972 | 0.014 | 0.014 | 0.293 | 0.274 |
上表是加与不加阶段三的分轨对照，1+2 为只有混合修复加分离，1+2+3 为全部加上。可以看到贝斯 MMSNR 明显下降但 FAD 反而改善，说明不同指标对同一轨的变化评价相反；人声从 1.486 dB 到 1.535 dB、吉他从 3.045 dB 到 3.070 dB、合成器从 3.102 dB 到 3.131 dB 仍有提升，但贝斯从 6.956 dB 掉到 6.430 dB。支持的判断是按单指标在验证集选轨不能保证测试集一致提升，这与验证测试独立收集带来的分布偏移一致。限制是该结论依赖本次特定的验证测试划分与 MMSNR 筛选，若换指标或换筛选阈值结论可能变化。尚未评测的范围包括主观听感是否也这样分化，以及在匹配分布下逐轨专家是否更稳定，原文没有给出，需要补验证。
哪些结论是有证据的，哪些还只是推测
有证据的是三点。第一，混合修复加分离在测试集三指标上同步好于只有分离，数字在阶段 1 对照表里完整给出。第二，单模型分离大幅好于 MSRBench 的 BSRNN 基线，但在多数轨落后 xlancelab 专用级联，只有合成器 MMSNR 反超，数字在外部对照表里完整给出。第三，按验证集 MMSNR 筛选的逐轨修复到测试集只有小幅整体提升且指标打架，数字在分轨消融表与正文里完整给出。
还只是推测的是分布偏移解释，作者用 MSRBench 与挑战赛测试集是 2 次独立收集来解释迁移失败，这与观察一致但没有做受控的匹配分布对照，所以只能说一致，不能说已证明因果。同样，分离训练与推理的母带不匹配是作者明确承认的未解决问题，不能把阶段一的效果说成已让输入更接近训练分布。指标方面，客观排名与主观平均意见分相关系数 0.9 来自挑战赛另 1 次盲测，不是本文的主观实验，不能当成本文系统的主观结论。
训练与推理成本、延迟、误判率都没有测量，不能承诺实际部署会更快或更稳。
要复现第一步做什么，需要哪些数据与代码
复现第一步是先把数据与采样率对齐。训练需要 RawStems、MoisesDB、Slakh2100 和 MUSDB25 风格扩展，其中 RawStems 要做子集清洗以解决对齐问题，再按每秒均方根大于负 40 dB 算活动掩蔽并筛选混合。验证用 MSRBench，测试用挑战赛测试集，两者发布都是 48 kHz，模型跑在 44.1 kHz，所以验证测试音频都要重采样到 44.1 kHz，修复分段 4 秒，分离分段 10 秒。模型起点是 Apollo 官方预训练检查点做混合修复，BS-RoFormer 六轨检查点扩展到九轨做分离，逐轨专家从微调好的混合修复模型初始化。
按本次收到的来源记录，作者代码链接当前可用，测试集为第三方链接本次未能确认可达，来源未确认不是技术缺陷，但跑测试前要先自行确认数据可达。损失权重、冻结层数、学习率计划与批量大小都要按原文抄，不能从模型名猜实现。逐轨专家训练对要先跑完前 2 阶段生成真实分离估计再配对，不能用合成退化代替，否则就不是原文的误差分布。是否保留某轨专家必须先在验证集上比 MMSNR，测试集只做最终报告，不能拿测试集反选。
什么时候值得尝试，还缺哪项验证
当你的任务同时有发行退化与制作效果，且已有分离模型在干净混合上表现不错但一遇到编解码或声学退化就掉点时，值得尝试先加一个混合修复再分离。它的预期收益是输入侧鲁棒性，代价是多训一个 Apollo 量级的修复模型与多一段推理。当你发现某轨总是有固定模式的串音或模糊，且有足够多的该轨真实分离输出可配对时，可以试逐轨专家，但要做好它可能只在验证分布有效的心理准备，务必留出独立测试集并同时看 MMSNR、Zimtohrli 和 FAD-CLAP 3 个方向。
还缺的验证有三项：匹配分布下的逐轨专家稳定性对照，以区分是方法本身不稳还是验证测试偏移导致；针对母带不匹配的对照，例如在母带后混合上微调分离器，看阶段一增益是否变化；以及 MSR 专用指标与人听感知的直接验证，因为本文没有做主观评测。容易产生的误解是把单模型省成本当成性能也全面占优，原文恰恰显示省成本的同时在多数轨仍落后专用级联，只在合成器等少数轨有竞争力，选型时要按轨与指标权衡。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses