📄 在固定 token 预算下学会在哪里切分频带
英文题目：Learning Where to Split: Dynamic Band Splitting for Audio Source Separation
标签：#音频分离 | #动态计算与早退 | #音乐 | #语音
评分：7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Bingzhe Zhang：机构信息未在 arXiv HTML 中可靠披露
- Kai Li：机构信息未在 arXiv HTML 中可靠披露
- Xiaolin Hu：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
音频源分离（audio source separation，从混合录音恢复各声源波形）的输入是单声道或立体声混合波形的短时傅里叶变换（Short-Time Fourier Transform，STFT）复数语谱图，输出是各声源的复数掩码与波形，难点在于高频率分辨率语谱图直接送入分离器代价过高，而固定频带会把有判别力的成分合并或浪费分辨率。动态频带划分（Dynamic Band Splitting，DBS）把频率轴切成4个固定的频率块（frequency block），每个块分配固定的频带数量预算，在块内按内容预测边界概率并保留概率最高的若干位置，从而在频带总数不变时改变位置与宽度。选出的变宽频带经内容加权池化压缩为固定维数的频带token，该token序列直接送入BSRNN或TIGER等分离主干建模时间与频带间依赖，得到分离后的频带表示。分离表示经平滑后按同一划分扩展回STFT网格、再沿频率细化，最后由频率共享头预测复数掩码用于重建波形。与已有频带划分（band-split）方法的区别是边界由混合音频决定且端到端训练，同时保留STFT网格用于重建。在DnR v2上DBS-BSRNN的三声源平均尺度不变信号失真比（Scale-Invariant Signal-to-Distortion Ratio，SI-SDR）为9.07 dB，高于同为128频带的静态BSRNN的7.69 dB，提高1.38 dB；摘要报告相对原BSRNN的相对增益为29.0%。结论适用于固定token预算下的多主干与宽带、窄带数据，但未验证窗内逐帧自适应与可变频带数量，推理代价随边界预测与全分辨率重建上升。原文披露了参数量与每秒乘加数，未披露完整训练时长。
🔗 开源与复现资源
代码相关资源：https://cslikai.cn/Dynamic-Band-Splitting → https://cslikai.cn/Dynamic-Band-Splitting/ — 暂时无法访问
第三方资源：https://zenodo.org/records/6949108 — 暂时无法访问
第三方资源：https://zenodo.org/records/3338373 — 暂时无法访问
第三方资源：https://huggingface.co/datasets/JusperLee/EchoSet — 暂时无法访问
演示资源：https://cslikai.cn/Dynamic-Band-Splitting → https://cslikai.cn/Dynamic-Band-Splitting/ — 暂时无法访问
第三方资源：https://github.com/ZFTurbo/Music-Source-Separation-Training/blob/main/configs/config_musdb18_bs_roformer_384_8_2_485100_sage.yaml — 暂时无法访问
第三方资源：https://github.com/ZFTurbo/Music-Source-Separation-Training/blob/main/configs/config_musdb18_mel_band_roformer_all_stems.yaml — 暂时无法访问
第三方资源：https://github.com/JusperLee/TIGER/blob/9f18d4a10a7137e1ce8052cfb62215179f1287b6/configs/tiger-small.yml — 暂时无法访问
第三方资源：https://github.com/JusperLee/TIGER/blob/9f18d4a10a7137e1ce8052cfb62215179f1287b6/look2hear/metrics/wrapper.py — 暂时无法访问
第三方资源：https://github.com/ZFTurbo/Music-Source-Separation-Training — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
分离任务的输入输出与要保留的细节
音频源分离的输入是一段单声道混合波形，目标是恢复其中几个源各自的波形。论文研究的 3 种情形分别是影视声轨中的音乐加语音加音效、歌曲中的人声加鼓加贝斯加其他伴奏、带噪声混响的两个说话人。输入先经短时傅里叶变换变成复数谱图，横轴是时间帧，纵轴是频率格。分离器要在谱图上建模，再对每个源估计复数掩码，与混合谱相乘后经逆变换回到波形。这里必须保留的是细谱结构，例如谐波和瞬态的位置，因为一旦在编码阶段把有区分力的成分压到同一个表示里，后续很难再分开。输出则要求回到原始谱网格的全分辨率掩码，而不是只输出粗带掩码。
短时傅里叶变换 × 频带切分： 短时傅里叶变换把混合波形变成按频率分格、按时间分帧的复数谱图，是后续划分的操作对象；频带切分是把相邻频率格合并成一个带来压缩频率轴长度的操作，目的是让分离器只处理较短的序列。两者搭配后，前者保留全分辨率重建所需的网格，后者决定分离器看到的分辨率，组合的意义是把计算代价与输出分辨率解耦。
对刚入门的读者，可以把整条链路记成编码、分离、重建 3 段。编码决定分离器看到多长的序列，重建决定最终波形的频率精度。固定频带方法用同一套边界服务所有混合，优点是实现简单、带数可控，缺点是分辨率分配被提前写死。论文要解决的就是在不增加带数的前提下，让分辨率分配跟随每段混合的内容变化。这种变化不是简单地增加计算，而是把有限的表示能力重新分配到更需要的地方。
从波形到掩码要经过哪几步计算
初学者可以沿着一个样本走一遍：单声道波形先做谱变换，得到每个时间帧、每个频率格的复数值；预测器看完整窗的幅度形状，给出哪里该切一刀；切好后每带池化成一个向量，分离器在向量序列上建模时间与带间关系；分离后的向量再被放回原来的格位置，细化后预测掩码。掩码乘回混合谱即得各源谱，逆变换即得波形。
代价主要在三处：预测器的卷积与循环网络、分离器对带序列的建模、重建侧的频率细化与逐格解码。动态划分没有增加带数，但增加了预测与细化的开销，因此不能把分离质量提升理解为免费午餐。理解这条路径后，再看公式与消融会更清楚每一步为何必要。
固定频带与可学习前端处在不同位置
与带切分直接相关的已有路线包括带切分循环网络、带切分旋转位置注意力模型和面向影视与语音的小参数模型。它们的共同点是把谱轴分成子带，每个带做成一个表示，再建模带内结构和跨带交互，从而把频率轴从上 1000 个格压缩到几十到上 100 个带。不同点在带接口，例如固定非重叠带、重叠三角滤波器带、不同的掩码头。论文把这些频率布局理解为模型层面的结构先验，即边界和带宽在训练前指定、对所有输入共享。
另一类工作放松固定谱前端，例如可学习滤波器组、共享序列建模的谱压缩、按时间频率路由的专家混合。论文强调自己的改动位置不同：不是换掉整个谱变换，也不是在分离器内部改计算路径，而是学习相邻频率格之间连续带的边界位置，同时保持带总数不变。边界预测器与分离器联合优化，重建仍用原来的逆变换网格。
比较时要注意运行阶段和监督是否相同，固定布局与动态布局的对照必须在相同带预算和相同训练安排下进行，否则多出来的带数本身就会带来增益。
为什么固定边界会在两种方向上浪费预算
信息丰富的谱成分随源内容移动。宽带可能把几个有区分力的成分压成一个表示，例如音乐谐波与音效瞬态挤在一起；过细的划分又可能落在信息较少的内容上，浪费表示能力。增加带数能提高分辨率，但分离器的计算随序列长度增长。论文把问题表述为在固定带 token 预算下，按每段混合自适应分配频率分辨率。
举例来说，这不是说低频永远更重要，而是说同一套低频密、高频疏的先验，对语音为主的窗和音乐加电子音效的窗可能都不是最合适的。一个教学用的例子是：若某窗高频有密集打击乐瞬态，就值得在高频多放几个边界；若另一窗高频几乎是噪声底，就应把边界省下来给中低频。这里例子只是帮助理解动机，不代表论文给出某类内容的固定最优划分，实际划分由模型对每窗预测。
固定划分的困难在于它必须用一套折中方案服务所有窗，而动态划分允许每一窗有自己的折中。
固定带数对照为什么必须小心构造
固定带数对照的难点是原始模型带数本来不同，直接比较会把带数红利误当成方法红利。论文在影视数据上把两种原始布局各自按累积边界曲线插值扩展到一百二十八带，保证每带至少一格且严格递增，从而保留各自低频密、高频疏的先验。这样动态与静态的带数相同，差异只在边界是否随输入移动。音乐数据的对照同样要求无外部数据、单模型联合估计四茎，而不是拿目标专用模型或用外部数据增强的数字来比。
窄带语音则与已发表分数比提升值，而不是比绝对值。这些提升数字都是在同带预算、同训练安排、同评估协议下得到的，离开这些对照条件，绝对值的差异就不能说明方法本身的效果。
总流程如何把划分与重建绑在一起
总览图从左到右展示了混合形成、谱变换、动态划分、编码、分离与重建的完整链路，特别要看同一划分同时指向编码和重建的两条线，这是理解全文的关键线索。
看图路径： 1. 先从左侧混合波形沿谱变换箭头看到动态划分与编码；2. 再看同一划分如何同时送往编码侧和重建侧；3. 最后对比右侧三个分离波形的输出分支
论文图 2。原论文 Figure 2:：“Overview of DBS, using cinematic audio separation on the DnR v2 dataset as an example.”。
总览图所示流程可以按一个 3 秒窗来复述。混合波形经短时傅里叶变换得到复数谱。对频率轴先用固定的块脚手架分成 4 个连续不重叠的频率块，每个块分到固定带数，总带数固定。对每个块预测内容相关的边界概率，再用硬选择选出规定数量的边界，形成连续带。带内做内容加权池化得到固定数量和固定维度的 token，送入保留下来的分离器主干。
分离后的 token 先按带顺序平滑，再按同一硬划分复制回原始谱网格，经频率方向细化后由频率共享头预测每个格的复数掩码。掩码与混合谱相乘并逆变换得到各源波形。每个推理窗预测一个划分，编码和重建共用它，因此分离器用的分辨率与输出分辨率被解耦：前者是带级，后者回到格级。
边界分数从哪些信号算出来
块内划分细节图展示了从谱输入到硬边界的完整预测路径，建议先看左侧两路输入的来源，再看中间分数合成的位置，最后看右侧校准与选择的过程。
看图路径： 1. 看卷积特征与幅度统计如何汇入循环网络；2. 看上下文差异与幅度差异在哪里相加得到分数；3. 看校准后概率如何经硬选择变成边界
论文图 3。原论文 Figure 3:：“Detailed dynamic band splitting within block r.”。
预测器对每个块处理其实部虚部堆叠和幅度谱。对每个频率格提取 3 个幅度统计，分别是时间均值、峰均比、标准差均比，经对数压缩后组成 3 维向量；另一路用时间卷积提取谱时特征，再与统计投影拼接，用单层双向长短时记忆网络汇总成每个格的上下文向量。候选边界是相邻格之间的过渡，分数由两部分组成：学习表示的相邻差异，加上幅度统计变化经有界变换后的加权项，原文固定系数为 0.15。再经可学习的尺度和位置偏置校准成边界概率。
\[p_{r}(f)=\sigma\!\left(\tau_{r}\bigl(u_{r}(f)-0.5\bigr)+\beta_{r}(f)\right).\]上式中概率是对分数减去 0.5 后缩放偏置再过激活函数。特征项比较相邻格的学习表示差异，幅度项度量声学统计的变化。第一格固定为边界，其余内部位置按概率取最大的固定数量。
\[\mathcal{B}_{r}=\{f_{r}^{\min}\}\cup\operatorname{TopK}\left(\{p_{r}(f)\}_{f\in\mathcal{F}_{r}\setminus\{f_{r}^{\min}\}},J_{r}-1\right),\]上式选出每块规定带数减一的内部位置，加上块起点即形成连续带。累计计数把每个格指派到带序号，位置可随混合变化，但带数不变。
频率块 × 带 token 预算： 频率块是把整个频率轴切成的固定连续区间，例如在宽带数据上四个块共用一百多个带；带 token 预算是每个块允许产生的带数之和，对所有输入都相同。频率块负责保证低频到高频各段都有最低份额，预算负责限定分离器的输入长度，两者组合后边界可以在块内移动但不能把所有带都挤到低频。
边界概率 × 硬 Top-K 选择： 边界概率是每个候选频率间隙是切分点的打分，经校准后在零到一之间；硬 Top-K 选择是在每个块内按概率取固定数量的位置作为真实边界。概率负责表达内容相关性，硬选择负责保证带数精确固定，组合后前向是离散划分、反向需要用替代梯度训练。
分块脚手架的作用在这里很直观：如果没有分块约束，模型可能把所有边界都放到能量变化最剧烈的低频，高频只剩很少的带。分块后每一频段都有固定名额，块内自适应只决定名额在块内怎么花。
可变带宽如何变成等长 token 又如何展回全分辨率
重建路径图展示了从分离后的带表示回到谱格掩码的 3 个步骤，阅读时注意复制箭头是 1 对多，细化是在复制之后而不是之前。
看图路径： 1. 看分离 token 如何先平滑再复制到谱格；2. 看频率细化与频率共享掩码头的前后顺序
论文图 4。原论文 Figure 4:：“Full-resolution reconstruction within block r.”。
带 token 化先把每个格编成固定维度特征，再在每个选中带内按时间平均特征打分并归一化，加权池化成一个 token。权重在时间帧间共享，因此无论带宽包含几个格，每帧每个带恰好贡献一个向量。按频率顺序拼接所有块的 token，得到固定长度序列送入分离器。
\[\mathbf{Z}_{r,j}(t)=\sum_{f\in\mathcal{S}_{r,j}}\alpha_{r,j}(f)\mathbf{U}_{r}(f,t)\in\mathbb{R}^{D}.\]上式是带内加权求和，权重和为一。它改变的是哪些格被池化到一起，不改变 token 数和维度。分离后需要从带级回到格级。直接复制会产生分段常数特征并在边界处跳变，因此先用带内平均边界概率在 token 顺序上做插值平滑，概率大则保留当前带更多，概率小则从前一带传递更多。再用编码时的硬指派把平滑 token 复制到每个格，残差频率块混合相邻格特征，最后由频率共享解码器对每个格预测各源实虚掩码参数，经门控与源轴一致性投影得到复数掩码。
块间掩码沿频率拼接即得全谱掩码。论文的消融显示去掉频率细化后平均指标大幅下降，说明复制后的细化不是可有可无的后处理。
带 token 化 × 分离器主干： 带 token 化是把同一带内不同宽度的频率格特征加权池化成一个固定维度向量，宽度变化不改变向量数；分离器主干是原来循环网络或注意力模型中建模时间和带间依赖的部分。前者负责适配可变带宽的输入接口，后者负责实际分离，组合后不同主干可以共用同一套动态划分接口。
离散选择如何得到梯度与密度约束
硬选择在前向固定了 token 序列，但普通梯度无法从分离损失传到边界预测器。论文用直通估计处理：前向用硬扩展值，反向对以边界存在与否为假设的局部软插值求导。另有一条不改变前向值的置信度路径，为边界概率提供直接梯度。附录给出候选特征差与置信项的局部导数形式，这里只记其作用：插值梯度依赖有无边界两种特征之差，置信梯度与是否选中有关。软边界密度另由比率损失约束，使块内平均概率接近目标压缩比的倒数。
\[\mathbf{Z}_{r}^{\mathrm{STE}}(f)=\mathbf{Z}_{r}^{e}(f)+\mathbf{Z}_{r}^{\mathrm{soft}}(f)-\operatorname{sg}\!\left(\mathbf{Z}_{r}^{\mathrm{soft}}(f)\right)\in\mathbb{R}^{T\times D_{\mathrm{sep}}},\]上式前向等于硬扩展，反向走软替代。停止梯度保证前向值不变。联合目标是分离损失加正则项。
\[\mathcal{L}=\mathcal{L}_{\mathrm{sep}}+\lambda_{\mathrm{ratio}}\mathcal{L}_{\mathrm{ratio}},\]宽带影视数据的循环网络变体用三源平均负 SI-SDR，注意力变体用波形与谱的平均绝对误差；音乐数据用波形平均绝对误差加多分辨率复数谱平均绝对误差；窄带语音数据对两个可交换说话人用排列不变训练。宽带解码器用一个频率细化块且不直接输入全分辨率混合谱特征，比率权重取 0.01；窄带语音在热身中从零升到 0.02。
直通估计 × 边界密度正则： 直通估计是前向用硬划分、反向对软插值求导的训练技巧，用来把分离损失传给边界预测器；边界密度正则约束软概率的块内均值接近目标压缩比。直通估计提供任务驱动的梯度，正则防止软概率整体漂移，两者分工不同，硬带数仍由硬选择固定。
训练时边界预测器、带编码器、分离器与解码器联合优化，硬带数始终由选择固定，软概率的漂移由正则约束，任务相关的调整由直通路径提供。
数据集带宽与带预算如何对齐比较条件
3 套数据覆盖不同任务与带宽。影视声轨是 44.1 kHz 合成数据，分离音乐、语音、音效，官方划分训练 3406 条、测试 973 条，全长 60 秒；音乐数据是 44.1 kHz 无压缩歌曲，分离人声、鼓、贝斯、其他，100 训练、50 测试；语音数据是 16 kHz 双说话人带噪混响，20268 训练、2650 测试，每段 6 秒。分析带宽上前两者为 0-22.05 kHz，后者为 0-8 kHz，正好检验自适应分配在不同谱宽下的表现。
宽带用 1025 个谱格配 128 个带 token，窄带用 321 个格配 67 个带 token。影视数据按 3 秒窗、1.5 秒跳推理，每个窗一个划分；窄带每段一次前向；音乐按块估计后重叠相加。指标方向都是越大越好。
SI-SDR × SDR： SI-SDR 是把估计波形向参考波形做最小二乘投影后再算能量比，对整体幅度缩放不敏感；SDR 允许有限冲激响应滤波器补偿允许的线性失真。宽带影视数据用前者及其平均，音乐数据用后者，两者都是越大越好，但数值不能直接跨指标比较。
下面第一张表说明各数据集谱分辨率与 token 预算在同一数据集内跨主干共享，但边界位置仍随混合变化，读表时注意预算相同不等于划分相同。
| Dataset | STFT bins | Blocks | Band tokens |
|---|---|---|---|
| DnR v2 | 1025 | 4 | 128 |
| MUSDB18-HQ | 1025 | 4 | 128 |
| EchoSet | 321 | 4 | 67 |
上表来自原文数据集级配置，宽带都是 1025 谱格、4 块、128 带，窄带是 321 格、4 块、67 带。它只说明输入规模与预算，不证明哪种划分更好，真正的划分差异要在结果表中看。本表数值与单位依据论文 PDF。
下面第二张表说明动态接口替换了各主干原来的带接口而保留其分离核心，读表时注意比较的是接口加分离器的整体效果。
| Backbone | Original band interface | Retained separator |
|---|---|---|
| BSRNN | Fixed non-overlapping bands; per-band input and mask heads | Temporal and inter-band RNNs |
| TIGER | Fixed band splitter and restoration head | FFI blocks |
| BS-RoFormer | Fixed non-overlapping bands; multi-band masks | Hierarchical RoPE Transformers |
| MelRoFormer | Overlapping Mel bands; Mel-band masks | Hierarchical RoPE Transformers |
上表说明循环网络保留时间与带间建模，注意力模型保留层级注意力结构。动态方法替换的是带接口与基于带的掩码重建。固定重叠滤波器对照保留其原有滤波器组，因此与动态版本的比较是完整接口比较，不只分离边界移动，这一点在解释音乐数据的重叠带结果时要保留。
主结果在固定带数下带来多大变化
核心比较问题是在带数、训练数据与训练安排相同的条件下，动态划分是否优于对应的静态划分。影视数据的静态对照是把各自原始布局扩展到一百多带后从头训练，音乐是无外部数据的单模型联合估计四茎，语音与已发表的基线比较提升值。下表把原文连续句中的关键平均数与提升整理成可对照的形式，数值与单位写法保留原文分组，相对增益只在有原文证据时引用。读表时注意影视用 SI-SDR，音乐用 SDR，语音用相对混合的提升量，三者不能混比。
| 比较条件 | 指标 | 静态基线 | 动态结果 | 原文报告的变化 |
|---|---|---|---|---|
| 窄带语音循环网络 | SDRi / SI-SDRi | 已发表基线 | 动态模型 | 0.46 dB / 0.43 dB |
上表的主要收益是动态划分在 3 个数据集和多个主干上都高于对应的静态对照，影视上循环网络平均 SI-SDR 从 7.69 提高到 9.07 dB，论文摘要按相对增益表述为 29%。代价与限制是计算量并未同步下降，原文报告的每秒乘加数在部分配置上更高，且音乐采用与原系统不同的单模型联合估计设置，因此不能把这里的绝对 SDR 与原论文的目标专用模型数字直接对比。语音的提升幅度较小，说明在 0 到 8000 赫兹窄带双说话人条件下增益仍然存在但更温和。
未胜出项是可学习滤波器组基线在该设置下表现很差，附录将其归因于分析合成路径失真与隐排序和带序假设不一致，而不是动态划分本身的问题。
增益是否来自边界位置而非带数或偶然
这一节回答两个更细的问题：去掉动态性还剩多少，以及边界是否真的随输入变化。下表整理固定预算下的对照，比较对象包括均匀划分、推理时替换边界、减少分块数、简化预测器、去掉细化。所有对照保持一百多带预算，数值保留原文的 dB 分组写法。
| 对照含义 | 指标 | 对照值 | 完整动态值 | 原文报告的变化 |
|---|---|---|---|---|
| 推理时换成固定布局，权重不变 | 平均 SI-SDR | 8.62 dB | 9.07 dB | 回落到 8.62 dB |
| 四块改两块 | 平均 SI-SDR | 8.32 dB | 9.07 dB | 下降 |
| 四块改一块 | 平均 SI-SDR | 6.30 dB | 9.07 dB | 下降 |
| 只用幅度统计预测边界 | 平均 SI-SDR | 6.93 dB | 9.07 dB | 下降 2.14 dB |
| 去掉频率细化 | 平均 SI-SDR | 3.92 dB | 9.07 dB | 下降 5.15 dB |
上表说明边界位置本身影响质量：训练好的动态模型在推理时换成固定布局会从 9.07 回落到 8.62 dB，均匀对照也低 1.07 dB。分块预算的作用明显，一块时边界集中在低频、高频稀疏，四块时分布更均衡。预测器需要学习谱特征，只用幅度统计会掉 2.14 dB；去掉声学过渡先验掉较多，去掉置信路径掉 1.54 dB，去掉显式能量描述掉 0.57 dB。去掉频率细化掉 5.15 dB，且音乐与音效损失最大，支持复制后必须细化的判断。限制是这些消融都在影视数据的循环网络上完成，不能自动推广到其他主干或窄带数据。
以下导读帮助阅读边界自适应箱线图：横轴是 4 个频率块，纵轴是两划分间不共享的内部边界百分比，蓝色为不同曲目、橙色为相邻窗，叉号为重复输入，先看块间高低再看组间差异。
看图路径： 1. 比较四个块的替换率中位数高低；2. 比较不同曲目与相邻窗两组箱体的差异；3. 确认重复输入的叉号是否都落在零附近
论文图 5。原论文 Figure 5:：“Boundary adaptation on DnR v2 under a fixed 128-band budget.”。
图示内容是高频块的替换率最高、第二块最稳定，相邻窗的替换率低于跨曲目但明显大于零，重复输入的叉号落在零附近。原文在几十个测试混合上的统计给出跨混合与相邻窗的多组替换率，高频块最大可达 40% 以上，第二块只有个位数，中心窗的完整划分各不相同，重复推理边界不变。这支持划分是确定性输入条件而非随机抖动或偷偷增加 token，且自适应发生在窗级，每个推理窗内边界固定。
哪些结论超出证据就不成立
论文明确的局限是带数固定且每个推理窗只有一个划分，因此不能在窗内逐帧移动边界，也不能按内容增减表示量。初步的可变带数尝试倾向于选最大允许预算，说明若要路由可变预算还需要显式复杂度约束。证据只支持在固定 token 预算下按混合分配分辨率可以提高分离质量，不支持动态划分一定降低计算或延迟，因为部分配置的乘加数更高。
相关不等于因果：边界可视化把预测边界叠在平均谱功率上，只能显示分配随谱形变化，不能把某个格的选中归因于某个源或某个谱峰，也不能仅凭叠图证明分离增益来自语义对齐。没有测量误判率、实际延迟或人工听感，就不能承诺这些方面会改善。不同指标差值不能混放，SI-SDR、SDR、提升量各有聚合与排列规则，窄带语音的 SI-SDR 评估与训练损失在是否做均值中心化上不同，跨阶段数字要按原文协议理解。
复现第一步要固定什么
复现先固定数据划分与评估协议。影视数据用全部九百多条全长测试录音，以 3 秒窗、1.5 秒跳推理；音乐用官方一百训练、五十测试，单模型联合估计四茎后重叠相加；语音用全部两千多条 6 秒测试混合，单次前向估计两个说话人并按排列选优算提升。模型侧固定谱分辨率与预算：宽带是一千多格、四块、每块三十二带共一百多，窄带是三百多格、块端点与每块四十、十、八、九共六十多。
影视固定对照需用附录方法把两种原始布局各自扩展到一百多带，而不是直接用六十多或五十多带的原始模型对比。训练侧保留配对主干的相同数据与安排，宽带与窄带用 3 秒段、每卡 4 条共三十二、优化器初始千分之一，音乐跟公开四茎配置走。来源方面，论文正文给出代码与演示链接，但本次核验的多个资源链接为暂时不可达，因此代码可用、权重可下载、系统可运行要分开确认，不能把提到链接等同于已开源可运行。
关键超参数包括频率细化块数、核大小、比率权重与是否输入全分辨率混合谱特征，缺任何一项都可能改变结果，原文未报告的梯度细节不要自行猜测。
什么时候值得尝试与还缺哪项验证
当分离器受限于频率轴长度、而混合内容在频谱上差异较大时，值得尝试这种固定预算的动态划分，例如影视声轨这类音乐语音音效交替的场景。窄带双说话人场景也有增益，但幅度更小，需要权衡边界预测器与重建细化带来的额外计算。复现第一步是先跑通固定一百多带对照与均匀对照，确认在相同预算下动态划分的 1 分贝量级差异可重复，再做推理时边界替换以分离位置效应。
还需补的验证包括跨主干的完整消融、长窗与短窗下划分稳定性的统计、以及在真实录音而非合成混合上的泛化。总体上，论文的贡献是把频率分辨率的分配权交给每段混合，同时用块预算、硬选择与全分辨率重建守住 token 数与输出精度；结论成立的条件是固定带预算、按窗预测、与对应静态接口同条件比较，离开这些条件就不宜外推。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses