英文题目：Real-Time Music Source Separation on a Low-Power Audio DSP
标签：#音乐源分离 | #CNN | #流式处理 | #端侧运行 | #高效推理
评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.5/1.5
👥 作者与机构
- Jianan Li：机构信息未在 arXiv HTML 中可靠披露
- Li Liu：机构信息未在 arXiv HTML 中可靠披露
- Ken Malsky：机构信息未在 arXiv HTML 中可靠披露
- Gabby Yi：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
实时音乐源分离需从44.1 kHz立体声混合输入逐帧输出人声、鼓、贝斯与其他四路波形，难点在于四路相关输出与逐茎波形重建在低功耗音频DSP上同时受片上内存与单帧截止期约束。所提系统先以因果时频卷积加时分布全连接U-Net对384个子带估计复数比掩膜得到第一路波形估计，该掩膜输出进入逆变换前的加权混合节点等待融合。接着门控深度滤波头从同一隐特征预测逐时频点复数有限脉冲响应抽头与门控值，滤波器直接作用于混合频谱得到第二路估计，两路估计按门控加权混合后经逆短时傅里叶变换输出，并由带内顶部估计的高频带增益重建16.5至22.05 kHz。与已有实时系统的关键差异在于以连续上下文训练消除块填充与流式缓存间分布失配，并以过去与未来抽头分配将附加延迟显式设为11.6毫秒整数倍。在MUSDB18-HQ测试集下，部署模型的cSDR指标为4.70 dB，低于RT-STT的cSDR指标5.17 dB。该结论适用边界为同类音频DSP与23毫秒窗工作点，跨语料泛化与整数量化精度尚未验证。部署模型以手排浮点帧循环在器件上实测10.43毫秒满足11.6毫秒延迟约束，训练成本为单张T4上连续段前向训练。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么嵌入式更难？
本文讨论的任务是音乐源分离。输入是一段混合音乐波形，输出是同时重建的 4 路音轨，一般对应人声、鼓、贝斯与其他伴奏。初学者容易把分离理解为分类，但这里的输出不是标签，而是与输入等长的波形，每一路都要逐采样点恢复幅度和相位信息。论文在 44.1 kHz 采样率下工作，短时傅里叶变换取 1024 点、跳长 512 点，对应约 23 ms 的分析窗和约 11.6 ms 的帧间隔，这就是实时系统必须跟上的节奏。
桌面系统的实时往往只关心算法延迟和在高端处理器上的每帧耗时。嵌入式音频芯片完全不同，它同时给出三重硬约束。第一是片上静态存储有限，权重最好常驻片内，否则每帧都要从片外反复搬运。第二是可持续乘加速度远低于标称峰值，因为访存、状态携带和串行环节都会吃掉算力。第三是每跳必须输出，不允许偶发超时累积。
论文使用的代表器件是商用低功耗音频数字信号处理器，片上 2 级存储为 2 MB，实测可持续算力为每秒 2.07 GMAC，每秒约 86.1 帧，每帧截止时间为 11.6 ms。教学例子是：这好比每 11.6 ms 必须交 1 次作业，书写纸只有 2 MB，写字速度按实测而不是广告速度计算。例子只帮助理解节奏，不改变原文数字。
音乐分离比语音增强更费资源的原因在原文有明确交代。输出是 4 路强相关的完整音轨，解码器要为每一路重建信号，而不是只输出一路增强语音或一个掩蔽。因此同样的预算下，音乐分离的计算与存储压力更大。这也解释了为什么语音增强已经能跑在嵌入式器件上，而音乐分离还没有已发表系统真正对照嵌入式预算完成验证。
已有实时分离路线走到了哪里，还缺哪块验证？
按输入、目标、监督和运行阶段划分，已有工作可以分成 3 条线。第一条是离线高精度线，消耗整首歌做非因果处理，精度最高但不满足实时约束，不在本文的可部署比较范围内。第二条是桌面实时线，包括混合 TasNet 系列与实时频谱变换器等，特点是明确区分算法延迟与计算效率，并报告每帧处理时间，但时间测自桌面处理器或高端显卡。第三条是频带切分与高效结构线，通过切分频带或降低桌面规模的计算量来提速，但目标仍不是文中的嵌入式预算。
论文对桌面实时线的态度是承认其延迟设计，但指出其测量条件不可迁移。显卡上几毫秒不代表音频芯片上能按时完成，因为指令吞吐、访存层次和并行方式完全不同。另一条相关线是深滤波，它原本把逐点复数掩蔽换成沿时间的短复数滤波器，曾作为离线后滤波或脉冲与稳态分离工具使用。本文把它改成因果、可门控、抽头可配的形式，并把未来抽头数做成延迟旋钮，这是运行阶段上的实质改动。
缺失的一块验证正是本文的起点。作者表示，据其所知，还没有音乐分离系统以此类器件为目标做过评估或展示。移动端图形处理器和嵌入式语音增强的成功不能直接推广，因为任务输出路数、解码代价和相关性都不同。所以后文不是简单压缩模型，而是先建立与硬件无关的两条可部署判据，再检查已发表系统，最后设计能同时通过两条判据的新系统。
什么算装得进？两条预算如何同时卡住不同模型？
可部署被定义为同时满足内存与算力两条不等式。内存看权重字节数是否小于 2 级存储，算力看每帧乘加数乘以每秒帧数是否小于可持续乘加速度。论文对已发表系统采用最宽容的内存假设，即每权重只算 1 字节，而自家权重按 32 位浮点计算；激活与流状态都不计入，因此真实差距只会更大。算力一侧用实测可持续值而不是标称峰值，作者还说明即使给基线 16 位定点并按同样效率折算，结论依然成立。
\[\displaystyle W\cdot b\;\leq\;M_{\mathrm{L2}},\]上式是内存约束的原始形式，其中权重数乘以每权重字节数不得超过 2 级存储容量。配套的算力约束在原文中是每帧乘加数乘以采样率除以跳长不得超过可持续速率。两个公式都不含精度红利，论文把有利于基线的一侧留给基线。
权重内存 × 每帧计算量： 权重内存指参数量乘以每权重字节数是否装得进片上静态存储，分工是决定模型能否常驻；每帧计算量指每跳对应的乘加数折算到每秒需求是否低于实测可持续算力，分工是决定能否按时输出；二者搭配的原因是嵌入式设备同时受存储和截止时间约束，论文显示两类约束分别淘汰不同家族的模型，因此必须同时检验。
关键洞察是参数量不能预测每帧代价。论文定义权重重用系数为每帧乘加数除以参数量。对以全连接和循环为主、每帧执行 1 次的模型，该系数接近 1；对在频率轴做卷积的模型，同一卷积核在每个频点重复使用，系数可以达到数百。原文报告该系数跨越两个半数量级，从 1 到 345，因此按参数排序必然误判。
权重重用系数 × 参数量： 参数量只统计权重个数，分工是描述模型大小；权重重用系数指每帧乘加数除以参数量，分工是描述每个权重在频率轴上被重复使用多少次；二者搭配的原因是卷积在频率维复用使小参数模型也可能很贵，全连接与循环为主的模型重用接近一，论文用该系数解释为何参数排序不能预测每帧代价。
下图把两条预算画成横纵轴，可部署集合是左下角阴影方框。横轴是折算到每秒的每帧计算需求，纵轴是对数刻度的权重内存，虚线分别标出实测算力上限与 2 级存储上限。已发表的大模型落在上方，小参数但高复用的模型落在右方，自家两个工作点落在框内，这种反相关正是参数量失效的直观证据。
看图路径： 1. 先看横轴每帧算力与纵轴权重内存两条虚线划分出的左下可部署阴影区；2. 再确认已发表模型分别落在阴影区右方还是上方，理解两类约束淘汰不同模型；3. 最后找到左下角标注为本研究的低位置点，确认它们同时满足两轴预算
论文图 1。原论文 Figure 1:：“Published real-time MSS against a commercial audio DSP: both budgets as axes, so the deployable set is the shaded box.”。
从像素可见，左下浅绿阴影区标注为装得进该器件，右方橙色方框代表计算超预算的家族，左上方橙色方框代表内存超预算但计算尚可的模型，右下粉色菱形与橙色方框代表内存通过但计算远超的基线与全带宽大模型。蓝色星形与绿色三角是本文的两个可部署点，位置明显低于并左于所有已发表点。图注明确指出两条约束淘汰不同系统，且参数量预测不了可部署性，质量数字见原文表格。
系统沿一帧走完：从混合波形到四路音轨
先沿一个短时傅里叶帧走完主路径。混合波形进入短时傅里叶变换，得到当前帧频谱。论文保留 1024 点变换中的低频 384 个频点，覆盖 0 至 16.5 kHz，高频 16.5 至 22.05 kHz 不直接分离，而是用带内顶部频点的每源增益去缩放混合高频来重建。裁剪频点数是计算旋钮，因为乘加量随频点数线性变化，另有一个 192 频点的窄带变体。编码器与潜在层提取特征后，经过单路径循环与解码器输出复数比率掩蔽，与输入频谱逐点相乘得到基于掩蔽的估计。另一条支路用同一隐特征预测深滤波抽头与门控，对混合频谱做时间方向滤波，再与掩蔽估计按门控混合，最后经逆变换输出 4 路波形。
下图上面板给出该信号路径，下面板给出块内部结构。主路径蓝色块为因果的时频卷积与时频分布结构，中间是单路径循环块，黄色块是深滤波头与滤波求和，门控箭头控制两路估计的混合比例。所有时间卷积均为左侧填充的深度可分离卷积，保证当前帧只依赖过去采样，图注把新增延迟的唯一来源限定为前视阶数。
看图路径： 1. 沿上方主路径从混合波形经短时傅里叶变换、编码、循环、解码、掩蔽到逆变换走一遍；2. 再看下方深滤波支路从隐特征预测抽头与门控并作用于过去与未来混合帧；3. 最后看下方三组模块内部结构，区分深度可分离卷积、单路径循环块与抽头延迟含义
论文图 2。原论文 Figure 2:：“(a) Streaming signal path for one STFT frame: the causal TFC-TDF U-Net emits a complex ratio mask M_t, a deep-filter head predicts per-bin complex FIR taps W_k and a gate G from…”。
从像素可见，上面板从左到右依次是混合、变换、编码、潜在、循环、解码、掩蔽、门控混合、逆变换与 4 路输出，深滤波头从潜在特征分叉并读取过去与未来混合帧。灰色虚线是逐元素跳连。下面板左侧是 3 乘 3 卷积加全频点全连接的结构，中间是归一化加随时间循环再加全连接的结构并标注状态有界，右侧是过去与未来抽头示意并标出前视带来延迟。该图把新增延迟的唯一来源限定为前视阶数，这是后文延迟旋钮的基础。
主干为何选门限循环与掩蔽？深滤波如何加延迟旋钮？
主干沿用因果时频卷积加时频分布的 U 形网络，并按实时工作特化。两个选择由流式运行决定而非单纯精度。第一是循环用门限循环单元而不用长短时记忆网络。原文给出机理：门限循环的状态是过去状态与候选状态的凸组合，天然有界；长短时记忆的细胞状态是遗忘门乘旧状态加输入门乘候选的无界累加。
作者让两个已训练检查点连续运行并跟踪状态绝对值最大值，报告长短时记忆持续增长而门限循环稳定有界。若状态无界，下游激活终将饱和，而该器件没有重置路径，因此有界结构是更便宜的论证。作者也明确说明未测试遗忘偏置初始化或循环归一化是否能约束长短时记忆。
第二是网络输出复数比率掩蔽并作用于输入频谱。这样静音输入必然映射为静音输出，空闲噪声底由构造为零，而不是靠训练学出来。这对长时间运行的助听或监听设备很重要，因为静音段不应产生残留嗡鸣。
复数比率掩蔽 × 深滤波： 复数比率掩蔽负责对当前帧频谱做逐点相乘，给出干净但时间上下文有限的估计，分工是保底和保证静音输出零；深滤波负责沿时间对混合频谱做短复数有限冲激响应滤波，分工是利用相邻帧修正混响与重叠；二者搭配的原因是掩蔽擅长幅度抑制而滤波擅长利用帧间相关，门控混合让网络按频带决定是否采纳滤波，形成可开关的增益结构。
深滤波头从隐特征出发，用两层 3 乘 3 卷积加一层 1 乘 1 投影预测每源每时频点的复数滤波器抽头与门控值。抽头数记为过去数加未来数加一，论文用总数 5、前视取 0、1、2 三挡。实部与虚部分别经双曲正切限幅，这是唯一施加的稳定性约束。当前视阶数为零且头部时间填充只用左侧时，系数预测器本身也是因果的，否则会出现滤波器因果但抽头非因果的错位。
\[\hat{S}^{\mathrm{df}}_{t}\;=\;\sum_{k=-Q}^{P}W_{k}\odot X_{t-k},\]上式是深滤波估计的原始形式，符号含义是当前帧估计等于各抽头系数与对应偏移混合频谱逐点相乘之和，其中负偏移对应未来帧。输入是混合频谱而非掩蔽估计，因此同样把静音映射到静音。
\[\hat{S}_{t}\;=\;G\odot\hat{S}^{\mathrm{bb}}_{t}+(1-G)\odot\hat{S}^{\mathrm{df}}_{t}.\]上式是门控混合的原始形式，符号含义是最终估计等于门控乘掩蔽估计加一减门控乘滤波估计。门控值在零到一之间，网络可以按源按频带拒绝深滤波。过去与未来抽头的切分精确决定新增算法延迟，每 1 帧前视对应跳长除以采样率，即 11.6 ms 的整数倍。
训练如何避开分块填充带来的流式塌缩？
训练用连续上下文配方替代常规分块训练。常规做法把音频切成独立短块，每块左侧补零；推理时同一卷积层看到的是真实历史缓存。堆叠层会放大这种失配，一层 3 乘 3 核依赖过去 2 帧，约 8 层堆叠会使每块前约 16 帧处于部署时不存在的状态。原文以 0.755 s 块内 65 帧中有约 16 帧为例，指出 1/4 帧处于从未在部署出现的区间。
分块填充训练 × 连续上下文训练： 分块填充训练指把音频切成独立短块并在左侧补零后训练因果卷积，分工是便于并行但制造了部署时不存在的全零历史；连续上下文训练指对长连续片段做 1 次前向并携带真实历史，分工是让卷积缓存与循环状态都见到部署分布；二者搭配的意义在于揭示评估盲区，即分块评估分数相同但连续逐帧运行时前者会塌缩，因此后者是部署前的必要修正。
后果在标准分块评估中很容易漏掉。分块训练的模型在分块协议下可达 3.93 dB，但同样权重逐帧连续运行时在约 2 s 内塌缩到静音输出。消融把原因定位为卷积上下文而非循环状态：跨块传递循环状态但保留每块零填充，只损失约 0.2 dB。连续训练用 5.8 s 单连续段做 1 次前向，中间无内部填充，随机位置切割并跨曲目重混音源，批大小 6，在单卡上占用 8.8 GB，优化器用权重衰减的自适应矩估计，学习率 1 乘 10 的负 4 次方，梯度范数裁剪到 3.0，混合精度，深滤波头在收敛主干上热启动。截断反向传播变体还必须让相邻块按变换长度减跳长重叠，否则帧网格在边界会跳过一个位置。
前视阶数 × 算法延迟： 前视阶数指深滤波器使用未来帧抽头的个数，分工是控制滤波器能看到多远的将来；算法延迟指为等待这些未来帧而必须增加的系统延迟，分工是决定交互可用性；二者搭配的原因是每增加一个前视抽头就固定增加一跳的延迟，论文把它做成显式旋钮，使精度增益与延迟代价可以直接交换。
需要明确的缺项是原文未给出完整损失权重与增强参数表，只说波形用绝对误差损失并沿用基线的增强做法，也未报告深滤波热启动时主干是否冻结。因此复现时应先按主干收敛再加滤波头的 2 阶段流程实现，并在日志中记录主干是否参与更新，以便对照论文的增益归因。
数据、指标、算力口径如何保证可比？
数据用 MUSDB18-HQ，在全部 50 首测试歌曲上以 44.1 kHz 评估。指标同时报告 cSDR 与 uSDR，前者是先在 11 s 窗口取中值再在歌曲间取中值且对静音参考窗口门控，后者是整首歌信干比再在歌曲间取平均。论文特别提醒 cSDR 是普通能量比，不是 museval 中 BSSEval 第四版的投影指标，在自家 50 轨立体声评估中两者每音轨差异为负 1.33 至正 1.21 dB 且符号在不同音轨间不一致，因此跨论文比较只是指示性的。为可比，作者对部署模型同时给出两种口径，4.70 dB cSDR 对应 4.48 dB BSSEval 口径，并列出人声、鼓、贝斯与其他 4 路的对照。
计算口径用钩子统计每层卷积、线性与循环的每帧乘加，并在硬件上校准，计数器复现了独立计时的 15.08 M 每帧。内存按已发表参数量评估，已发表侧按每权重 1 字节的最宽容假设，自家按 32 位浮点计算，且都不含激活与流状态。算力按实测可持续值折算，帧率按采样率除以跳长得到每秒 86.1 帧。部署模型的表中两行窄带深滤波行为投影值，由实测窄带速率按乘加缩放网络项并固定 0.28 ms 信号处理得到，其余表中行为芯片实测。
训练侧的可比条件是可部署变体统一用连续上下文配方。基线侧的计算对未实现的系统用重用系数近似给出下界，作者的实时频谱变换器乘加来自自家复现，该复现得 4.93 dB，因此质量配作者报告值、算力配自家复现值并做标记。这种把质量与算力分源标注的做法需要在解读时保留，不能把复现算力误当成原作者报告算力。
哪些工作点真正按时跑完？精度与预算如何交换？
要回答的问题是：在 11.6 ms 截止内端到端跑完且装得进片上存储的工作点有哪些，精度损失多少，条件是否公平。比较的公平条件是同一测试集、同一采样率与跳长、同一 cSDR 与 uSDR 定义，时间含信号处理端到端并在器件上实测。指标方向是 cSDR 与 uSDR 越高越好，每帧时间与预算占比越低越好。
下表是原文可部署工作点的原表选择，含窄带无滤波、窄带加深滤波零前视、窄带加深滤波 2 帧前视与全带宽加深滤波 2 帧前视四行。表头与数字均来自原文矩阵，未做单位换算与四舍五入。
| Model | cSDR | uSDR | MAC/fr | Time/fr | Budget |
|---|---|---|---|---|---|
| slim, no DF | 4.04 | 4.24 | 15.1 M | 7.56 ms | 65% |
| slim ++DF (LA0) | 4.10 | 4.30 | 18.0 M | 8.98 ms | 77% |
| slim ++DF (LA2) | 4.34 | 4.52 | 18.0 M | 8.98 ms | 77% |
| full ++DF (LA2) | 4.70 | 4.70 | 21.9 M | 10.43 ms | 90% |
表后需要同时读出收益与代价。全带宽加深滤波 2 帧前视达到 4.70 dB cSDR 与 4.70 dB uSDR，每帧 21.9 M 乘加，端到端 10.43 ms，占预算 90%，在 2040 kB 的 2 级存储中占用 1963 kB，1 级存储占用 512 kB 中的 447 kB，因此同时满足两条约束且是实测而非投影。窄带方案用 0.36 dB 换到 77% 计算占用与更宽的存储余量，适合余量优先的产品。未胜出项是窄带无滤波的 4.04 dB，它证明只靠裁剪频带会明显掉精度，必须靠深滤波或全带宽补回。反例是全带宽无约束模型虽达 5.49 dB 但需 6.4 倍可用算力，说明精度上限在该器件上不可达。
芯片验证的细节进一步支撑按时性。均值 10.43 ms、最坏 10.44 ms，0.01 ms 的波动与均值同样重要，因为帧路径无分配、无缓存重填、无数据相关分支，所以截止是被满足而不是通常被满足。6 个门限循环占 4.37 ms，深滤波头占 2.77 ms。降精度只用在不累积处：卷积环缓存用 16 位浮点并把 1050 kB 减半，它只存 2 帧滑动窗，而长期携带的权重与循环状态保持 32 位。构建与流式对照模型的相对误差为 7.2 乘 10 的负 4 次方并可连续运行数小时无漂移。
门控学到了什么？贝斯为何几乎不用深滤波？
要检验的是门控是否真的按源分配滤波使用率，以及强制改变门控是否只会变差。比较条件是同一 88 轨子集上的推理期覆盖实验，指标是贝斯 cSDR 的变化方向。指标方向是偏离学习值后下降越多说明学习值越合适，混合率初值每源相同而收敛值按源分化是支持按源分配的证据。
原文报告混合使用率 1 减 G 初值每源均为 0.119，收敛后人声为 0.104，其他为 0.021，鼓为 0.017，贝斯为 0.007。贝斯接近零但不是优化塌缩，证据是推理期强制覆盖只会让贝斯变差：强制关闭时贝斯下降 0.22 dB，强制到 0.119、0.4 和 0.8 时分别下降 0.34、1.90 和 3.80 dB，方向均为单向变差。机制对应是贝斯能量集中在少数频点，时间滤波无利可图，网络学会拒绝它。未胜出项是其他三源的低使用率同样说明深滤波不是全频带均匀生效，而是集中在人声等需要帧间修正的源。边界是该结论只在 88 轨子集上验证，且门控值是平均使用率，不能推广到每 1 帧每一频点都成立。
深滤波增益来自未来信息还是滤波本身？流式塌缩有多快？
要回答的两个问题是：严格因果的深滤波是否已经带来增益，以及分块训练的塌缩是否可复现。左图按前视阶数扫描全带宽模型的每路 cSDR，横轴从无滤波到零前视零毫秒、1 帧前视 11.6 ms、2 帧前视 23.2 ms。右图是连续逐帧推理下的随时间轨迹，中值为 8 轨中值、阴影为四分位距，纵轴是每 1 秒窗口的 cSDR，静音输出按定义计零分。
下表整理原文连续句子中的前视增益与流式轨迹数字，用于把左图的增益归因与右图的塌缩速度固定为可核对的对照，条件列保留原文对象，数值保留原文写法。
| 滤波条件 | cSDR 变化 | uSDR 变化 | 总量区间 | 适用对象 |
|---|---|---|---|---|
| 严格因果 Q=0 | 增益 0.38 dB | 增益 0.23 dB | 每路都涨 | 全带宽匹配基线 |
| 1 帧前视 11.6 ms | 再加 0.19 dB | uSDR 仍升 | 5.50 到 5.49 走平，5.35 到 5.39 仍升 | 全带宽 |
| 分块训练分块评估 | 3.93 dB | 重置状态每块 | 与连续训练不可分 | 标准块协议 |
| 分块训练连续逐帧 | 跌到 0.04 dB，静音计 0 dB | 约 2 s 内塌缩 | 连续训练保持 3.17 dB | 88 轨中值后 30 s |
表后解释需要区分增益来源与评估盲区。严格因果滤波在全带宽上已有增益且每路都涨，1 帧前视继续上升，2 帧前视处平均线走平而 uSDR 仍升，说明增益首先来自复数滤波而非未来信息。窄带模型是限定条件：零前视只增益 0.06 dB，需 2 帧前视才达到 0.30 dB cSDR 与 0.28 dB uSDR，说明裁剪到 192 频点后严格因果滤波可利用的信息变少。流式一侧分块评估下两者同为 3.93 dB，但连续逐帧时分块训练模型在约 2 s 内跌到 0.04 dB 并停留，连续训练模型保持 3.17 dB 中值，部署模型的连续值与分块值一致，且掩蔽把空闲底置零。
看图路径： 1. 在左图按人声、鼓、贝斯与其他四条曲线比较无深滤波到前视零、一、二阶的变化；2. 在右图比较连续训练与分块训练两条中值曲线在流开始后约两秒内的分叉；3. 注意右图纵轴是每秒窗口的 cSDR 且静音按定义计零分，不要把零分误读为负无穷
论文图 3。原论文 Figure 3:：“(a) Per-stem cSDR across the look-ahead sweep: every stem rises already at the strictly causal Q=0, so the gain is complex FIR filtering rather than future information.”。
从像素可见，左图人声蓝色线最高，鼓黄色线次之，平均黑色线居中，其他粉色与贝斯绿色线较低，但所有曲线在零前视处已相对无滤波上升，说明增益来自复数滤波而非未来信息；1 帧前视继续上升，2 帧前视处平均线走平而 uSDR 仍升。右图两条曲线在零时刻重合，因为缓存为零正是分块训练制造的状态，随后橙色分块训练线在约 2 s 内跌到零并保持，蓝色连续训练线维持在 3 dB 附近波动，阴影显示分布而非单样本噪声，图注明确写出分块训练模型在约 2 s 内塌缩到静音。
精度差距、口径差异与未测量项有哪些？
论文对差距不回避。在自家指标上部署模型比实时频谱变换器低 0.47 dB，按 BSSEval 同口径比较低 0.69 dB，与混合 TasNet 相当。作者的表述是：不声称追平前者，只声称前者在该类器件上跑不起来。自举 95% 区间在 50 轨上为 4.21 至 5.09，说明小样本下的点估计有波动，解读时应保留区间而非只记 4.70。
口径差异需要单独强调。cSDR 与 BSSEval 投影在每路差异可达负 1.33 至正 1.21 dB 且符号不一致，因此跨论文的 0.5 至 0.7 dB 差距只是指示性比较。只有同时给出两种口径的部署模型数字可以直接对照，作者给出的人声、鼓、贝斯与其他两套数字正是为此。
未测量项按原文逐项列出。内存结论来自已发表参数量，算力结论对未实现系统用重用系数近似且是下界。窄带深滤波两行是投影而非实测。未报告定点精度，因为循环状态是无限期携带的累加器，整数格式并非免费，这也是它在器件上保持 32 位的原因。只报告算力不报告能量，MUSDB18-HQ 未测试域鲁棒性。
延迟上 2 帧前视增加 23.2 ms，加到 23 ms 窗口上对助听与重混可用，但对现场舞台监听不够，此时零前视要付出 0.24 dB 代价。这些限制意味着能耗、跨域与定点部署都属于待验证，不能从算力满足推出功耗满足。
复现先做什么，后做什么，哪些超参数必须保留？
复现的第一步是重建预算脚本，而不是先调模型。按采样率 44.1 kHz、跳长 512 点算出每秒 86.1 帧与每帧 11.6 ms 截止，再按权重数字乘字节数检查 2 级存储，按每帧乘加乘帧率检查可持续算力。已发表侧内存按每权重 1 字节的最宽容假设计入，自家按 32 位浮点计入，这样即使偏向基线仍能复现淘汰结论。算力必须用实测可持续值，峰值只能做反例说明类别错误。
第二步是实现流式孪生。短时傅里叶变换取 1024 点、无中心填充、当前帧只依赖过去采样；保留 384 频点并用带内顶部增益重建高频；所有时间卷积左侧填充；循环用门限循环并跟踪状态最大值。
输出用复数比率掩蔽保证静音为零。深滤波头用两层 3 乘 3 卷积加 1 乘 1 投影到每源每频点抽头与门控，实部虚部分别限幅，总抽头 5、前视先做 0、1、2 三挡。
第三步是训练流程。先以 5.8 s 连续段单次前向训练主干，随机切割、跨曲目重混、批 6、权重衰减自适应矩估计学习率 1 乘 10 的负 4 次方、梯度范数裁剪 3.0、混合精度，再在收敛主干上热启动深滤波头。必须同时跑分块评估与连续逐帧评估，前者重置状态，后者携带状态与卷积缓存并画出随时间轨迹，否则无法复现约 2 s 塌缩。评估用全 50 首测试集，同时报告 cSDR 与 uSDR，并对部署点补充 BSSEval 口径以便跨论文对照。
关于代码与模型可用性，本次收到的证据中资源状态为无绑定可用资源，因此不得声称代码、模型或数据已公开。论文正文提到分析器、可行性脚本与器件参考运行时将发布，但在本次证据下只能写本次未能确认可达，复现应按上述超参数与信息条件独立实现。
何时值得尝试这条路线？一句话收束
当目标是助听、入耳监听或现场重混这类必须在低功耗音频芯片上按时输出的产品时，这条路线值得尝试：先用两条预算筛掉装不进的家族，再用连续上下文训练保证流式不塌缩，最后用门控深滤波把延迟做成可交换的旋钮。窄带加 2 帧前视适合预算余量优先，全带宽加 2 帧前视适合精度优先，零前视适合延迟敏感但能接受约 0.2 dB 级损失的场景。
需要补的验证是跨域录音、真实功耗与定点精度三项，因为本文只在 MUSDB18-HQ 上报告算力与精度，未测量误判率之外的能量与鲁棒性。教学上的误解澄清是：小参数不等于省算力，大模型分高不等于可部署，严格因果滤波的增益可以来自滤波本身而不必来自未来信息。最终结论与原文一致：没有已发表实时音乐分离能跑在目标嵌入式硬件上，原因不是模型大小，而是两条约束分别淘汰不同家族；造出能装进的模型更多是训练问题而非结构问题，部署点在器件上以 10.43 ms 跑出 4.70 dB cSDR。
📎 论文与评分元数据
排名：前25% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses