在时频谱上同时看清纹理与归属：TF-MossFormer 的局部-全局注意力分工

英文题目：TF-MossFormer: Integrating Convolution Gated Local-Global Attentions for Enhanced Time-Frequency Domain Monaural Speech Separation

会议身份：conference:interspeech:2026:conference-paper-id:zhao26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #时频分析 #单通道 #语音 #语音分离

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Shengkui Zhao：机构信息未能从会议 PDF 纯文本可靠映射
• Zexu Pan：机构信息未能从会议 PDF 纯文本可靠映射
• Haoxu Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Biao Tian：机构信息未能从会议 PDF 纯文本可靠映射
• Bin Ma：机构信息未能从会议 PDF 纯文本可靠映射
• Xiangang Li：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

单通道语音分离需从单路混合波形恢复各说话人波形，难点在于同时保留谐波与音素级短程连续性和说话人身份长程一致性。本文提出时频域Transformer TF-MossFormer，先经短时傅里叶变换得到实部虚部谱并用二维卷积编码为隐表示，再交替沿频率轴与时间轴精化表示，最后解码直接预测各声源复谱并经逆变换重建波形。每个建模模块依次经卷积SwiGLU前馈、均方根组归一化后的局部全局多头自注意力与第二个卷积SwiGLU并带残差，前者输出进入后者逐步提炼。局部采用内容感知的滑动窗口注意力聚合邻域以保留谱连续性，全局采用全序列注意力负责长程分组，二者间以一维卷积加Swish门控逐元加权，最优编排为先局部后全局的级联V1，区别于静态卷积与纯全局注意力的刚性建模。在WSJ0-2Mix测试集下，TF-MossFormer(M)的SI-SDRi指标为24.0 dB，高于TF-Locoformer(M)的SI-SDRi指标23.6 dB。该结论适用边界受限于WSJ0-2Mix双说话人全重叠8kHz英语条件，尚未验证噪声、混响、多于两说话人及跨语种场景的泛化与失败条件。在计算量上小中大模型分别需99.5、283.4与425.0 G MACS/s，参数量为6.0、16.9与25.4M，部署需权衡分离质量与推理开销。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为什么长短依赖都要建模？

这篇论文研究的输入是一个单通道混合波形，用记号写作混合信号等于多个说话人干净信号之和，目标是估计出其中每一个说话人的单独波形。评价时把估计波形与真实干净语音比较，看相对混合信号提升了多少。初学者容易把分离理解成逐帧分类，但语音有两类结构必须同时处理。第一类是短程连续性，白话就是相邻几十毫秒内谐波排布与音素过渡是连续的，频谱上表现为相邻时间帧与相邻频率带之间有平滑延续。

第二类是长程归属，白话就是整段话里属于同一个说话人的能量应该被归到一起，即使中间被另一说话人盖住，首尾仍要保持音色与内容一致。只用全局自注意力时，每个位置都能看到全序列，长程归属好做，但细粒度局部连续容易被平均掉。只用卷积或只看邻域时，局部纹理清晰，但需要很多层才能把远处信息传过来。论文因此提出在时频谱图上同时保留两条通路。

全局注意力 × 局部注意力： 全局注意力负责让每 1 帧都能看到整个序列以维持说话人归属的一致性，局部注意力只让每 1 帧看滑动窗口内邻居以保留谐波与音素过渡的连续性，二者搭配的原因是单靠全局容易抹平细粒度结构、单靠局部又难以跨越长距离分组，组合意义是先用局部保住细节再用全局做聚合。

为了先建立直觉，可以沿一个样本走一遍任务。假设输入是一段 8 千赫兹采样的 2 人完全重叠混合语音，先做短时傅里叶变换得到实部与虚部组成的 2 维谱图，横轴是时间帧，纵轴是频率点。模型要对谱图上每个时频单元判断它更属于说话人一还是说话人二，并直接预测两个说话人各自的实部与虚部谱，再经逆变换回到波形。训练用的损失是尺度不变信号失真比损失，验证集不提升就降低学习率。测试时说话人与训练验证不重叠，因此不能靠记住说话人取胜，必须学会通用的连续性与归属规则。下面先用全局与局部的注意力模式图把这种分工固定下来，再进入具体结构。

这段导读针对图 1 的两个方阵，左图应读成稠密全局，右图应读成对角带状局部，颜色深浅只表示是否参与计算与自身位置，不表示注意力权重大小。

看图路径： 1. 先看左右两块方阵的蓝色覆盖范围：左侧是否铺满全阵、右侧是否只保留对角带状；2. 再看对角线颜色是否更深，确认查询帧自身位置的标记方式；3. 对比白色留白区域，确认局部注意力显式屏蔽了远距离帧；4. 结合图注确认左为全局、右为局部，不要把带状误读为因果掩码

论文图 1。原论文 Figure 1：“Illustration of the global and local attention patterns in TF-MossFormer.”。

图 1 左侧方阵的蓝色铺满整个矩阵，含义是序列中每一行查询帧都与所有列键帧计算相关性，对应全局注意力的长程依赖能力。右侧方阵只有对角线附近一条蓝色带，带外是白色留白，含义是每帧只与窗口内邻居计算注意力，对应局部注意力的细粒度连续性建模。对角线本身颜色更深，表示当前帧自身始终在窗口内。初学者不要把右侧带状误认为只能看过去不能看未来，原文窗口定义是前后对称的局部邻域。带宽越窄局部性越强，但过度变窄会丢失音节级上下文，这正是后文消融要比较窗口长度的原因。

同任务同阶段的已有路线如何分工，本文站在哪一步？

在相同输入、相同目标、相同单通道两说话人分离任务下，已有路线可以按 3 组对照。第一组是时域端到端路线，代表是卷积时域音频分离网络与双路径循环网络，前者强调卷积做局部特征抽取，后者把长序列切块后分别做块内局部与块间全局。这种切块思路证明了长短分工的必要性，但操作对象是时域波形块，不是 2 维谱图。

第二组是时频域路线，代表是时频格网网络与状态空间变体，前者在谱图上分开做时间与频率路径，用双向循环保持细粒度连续、用全带自注意力抓长程依赖，后者把循环换成状态空间模型以降低代价。第 3 组是把卷积放进注意力块的混合路线，例如 conformer 类方法与时频局部变换器，后者用门控卷积层补充全局注意力的局部建模。

本文的对照点正在这里，时频局部变换器已经证明门控卷积加全局注意有效，本文要验证的是把静态卷积换成内容相关的滑动窗口局部注意力是否还能进一步保留谱连续性。跨领域的长文档与视觉变换器也被引用为动机，但它们处理的是文本与图像，不是语音分离，不能当成同条件基线，只能理解为局部加全局是一种通用处理长序列的思路。

按同运行阶段比较，本文与上述基线都在分离器阶段工作，输入都是混合信号，输出都是估计源信号，监督都是分离损失，而不是做语音识别或增强后处理。因此后文与卷积时域音频分离网络、双路径循环网络、双路径变换器、时频格网网络、时频局部变换器以及状态空间系列的数字比较，才属于同任务对照。需要提醒的是，部分基线带有动态混合数据增强标记，训练数据构造并不完全一致，阅读提升幅度时要把这一条件差异记在心里。

要解决的具体矛盾是什么，用什么形式化表达？

具体矛盾是全局注意力擅长整句归属但容易丢失谱细节，静态卷积擅长局部但感受野固定且不能按内容调整。论文把问题形式化为给定混合波形估计多个源波形，工作域选在短时傅里叶变换域，直接预测复谱实部与虚部，而不是预测时域掩码。这个选择意味着相位信息也要被重建，实部虚部任一部分偏差都会影响波形。举例说明时要明确这是教学例子而非论文数值，假如某时频点 2 人能量相当，模型不能只靠该点幅度判断，必须一方面看邻近频率是否有谐波延续，另一方面看远处属于同一说话人的帧是什么音色，这正是局部窗口与全局跨帧要各自回答的问题。

形式化之后，模型设计要回答 3 个可检验的问题。第一，局部窗口取多大时间跨度与频率跨度最合适，过小或过大是否都会下降。第二，局部与全局的排列顺序是先局部后全局、先全局后局部还是并行，哪种保留连续性的效果最好。第三，卷积门控是否带来可测增益，去掉后是否下降。后文消融正是围绕这 3 个问题展开，而不是泛泛地说注意力有效。

从波形到波形的主路径如何走通，频率与时间怎样交替？

主路径可以按一个样本的流动顺序复述。输入混合波形先经短时傅里叶变换得到实部谱与虚部谱，形状是时间帧数乘频率点数，两者按通道拼成 2 通道输入。接着经过一个 3 乘 32 维卷积把每个时频单元映射为 D 维嵌入，再做全局层归一化，得到 D 乘时间乘频率的张量。随后进入由 B 个块堆叠的分离器，每个块包含一个频率建模模块与一个时间建模模块，两者结构相同但序列轴不同。

频率模块把频率维转到序列轴上建模谱依赖，时间模块把时间维转到序列轴上建模时序依赖，交替进行以逐步精炼表示。最后解码器用 3 乘 32 维转置卷积输出 2 倍说话人数的通道，分别对应每个说话人的实部与虚部估计，再经逆短时傅里叶变换回到波形。

时频域建模 × 双路径交替建模： 时频域建模指在短时傅里叶变换后的 2 维谱图上操作，同时拥有时间轴与频率轴，双路径交替建模指用结构相同的模块先沿频率轴建模再沿时间轴建模并堆叠 B 次，二者搭配的原因是谱图天然是 2 维的、1 次只沿一轴做序列建模更易实现，组合意义是逐块精炼后间接覆盖全时频上下文。

这里的关键是交替而不是 1 次同时做 2 维注意力。把 3 维张量转置后，每次注意力只处理 1 维序列，计算与实现更直接，多次堆叠后仍能间接覆盖全时频上下文。每个频率或时间模块内部又包含前后两个卷积前馈、1 次归一化与 1 次局部全局注意力，残差连接保留原表示。理解了这条主路径，再看细节图就不会迷路。

下面导读针对图 2 的三栏结构，(a) 是系统级流程，(b) 是单个频率块内部，(c) 是局部全局注意力的 3 种排布，右下小图是门控实现，圆圈加号与乘号分别表示相加与相乘。

看图路径： 1. 沿最左侧(a) 列从 Input 经 STFT 到输出箭头走一遍主路径，确认编码器与解码器位置；2. 看中间(b) 列 Permute 进入与返回的位置，确认频率块与时间块靠转置对齐序列轴；3. 对比右侧(c) 列 V1 先局部后全局、V2 先全局后局部、V3 左右并行的连线差异；4. 找到门控支路的乘法符号与加法符号，确认残差与门控的汇合点

论文图 2。原论文 Figure 2：“Overview of TF-MossFormer. (a) Model flowchart with STFT/ISTFT, Conv2D/Deconv2D, gLN, and B stacked TF-MossFormer blocks for interleaved time–frequency modeling.”。

图 2(a) 从下往上是输入经短时傅里叶变换、2 维卷积加归一化、B 次块循环、转置卷积、逆变换到输出，频率建模在下、时间建模在上，虚线表示重复堆叠。图 2(b) 显示单个块内部先转置对齐序列轴，再经下方卷积前馈加残差、归一化、中间局部全局注意力、上方卷积前馈加残差，最后转置回去，左右两条残差线是保持信息流的关键。图 2(c) 的 V1 是下局部上全局的串联，V2 是下全局上局部，V3 是左右并行再相加，每条支路旁边都有门控支路做乘法调制，门控本身是底部的 1 维卷积加 Swish 激活。像素上可以执行地看到 V1 与 V2 只是黄绿两块上下互换，而 V3 是双路并行后在顶部汇合，这直接对应后文消融比较排序的原因。

局部窗口与全局全连接各自如何计算，门控放在哪里？

先讲全局注意力。它是标准多头自注意力，每个头把序列映射为查询、键、值，查询与所有键做缩放点积再经归一化得到权重，再对值加权求和，多头结果拼接后经输出投影。复杂度随序列长度平方增长，因为查询键矩阵是稠密的。再讲局部注意力，它把每帧的可见键值限制在以该帧为中心的固定窗口内，查询是单帧向量，键值是窗口内多帧矩阵，同样做缩放点积与加权，但只在窗口内归一化。复杂度随序列长度乘窗口宽度线性增长，窗口固定时处理长语音更划算。

论文把这种机制称为内容相关的滑动窗口，含义是窗口位置随查询滑动、权重按内容计算，而不是像静态卷积那样用固定核系数。

滑动窗口注意力 × 卷积门控： 滑动窗口注意力负责把注意力限制在当前帧前后固定窗内实现内容相关的局部加权，卷积门控负责用 1 维卷积加 Swish 激活生成门控系数再与注意力输出逐元素相乘做特征筛选，二者搭配的原因是注意力擅长自适应加权而卷积擅长提取局部模式，组合意义是增强信息流选择并稳定局部与全局两条支路的输出。

门控的实现是 1 维卷积后接 Swish 激活，输出与对应注意力支路的输出逐元素相乘，3 个变体区别只在相乘与相加的顺序。V1 先做局部加门控再做全局加门控，V2 顺序相反，V3 两路并行各做门控再相加。论文还在这两层注意力前后各放一个卷积前馈块，该块先归一化、再两路并行 1 维卷积、一路经 Swish 后调制另一路、最后经 1 维反卷积恢复维度。初学者容易把门控理解成注意力权重本身，实际上门控是注意力之外的逐通道筛选器，作用是让模型决定哪些注意力输出特征可以往下传。

下面导读针对图 3 的局部多头实现，底部 3 组输入分别对应查询单帧与键值窗口，顶部是拼接加线性输出，颜色堆叠表示多头。

看图路径： 1. 从底部 Qi(t)、Ki 窗口、Vi 窗口三路输入向上看，确认查询是单帧、键值是窗口；2. 看中间 Scaled Dot-Product Attention 被复制多层的含义，确认多头并行；3. 向上追踪 Concat 再 Linear 的收束过程，确认多头输出如何拼回统一维度；4. 注意底部 w 标记的窗口宽度，确认局部范围由该参数控制

论文图 3。原论文 Figure 3：“An overview of the local attention module, which per- forms multi-head self-attention using sliding windows.”。

图 3 底部左侧查询输入画成单条蓝色长条，表示当前帧的查询向量，中间与右侧键值输入画成多格短条并标出窗口宽度，含义是只取邻域内多帧。向上经过各自线性层后进入中间大框的缩放点积注意力，该框在纵深方向复制多层，对应头数，右侧小标表示头的维度。顶部先拼接再线性，含义是多头结果融合为统一输出。观察时可以执行地数出底部键值格数多于查询格数，确认局部限制只作用于键值侧，而查询侧始终是单帧驱动，这正是滑动窗口与全局全连接在像素与计算上的本质区别。

频率块内部的归一化与前馈起什么作用，参数规模如何分档？

频率块与时间块共享同一套内部顺序，只是转置轴不同。进入块后先做 1 次卷积前馈加残差，目的是在注意力之前注入局部卷积偏置并变换特征。接着做均方根分组归一化，作用是稳定深层训练时的数值范围。然后进入局部全局注意力主体，出来后再做 1 次卷积前馈加残差，目的是融合注意力输出并恢复适合下一块的表示。2 次残差都很重要，因为堆叠 B 次后若没有直连通路，早期谱细节容易丢失。

Conv-SwiGLU × RMSGroupNorm： Conv-SwiGLU 负责在注意力前后做前馈变换，通过两路并行 1 维卷积、一路经 Swish 后逐元素调制另一路再经反卷积恢复维度，RMSGroupNorm 负责在进入注意力前做分组均方根归一化以稳定训练，二者搭配的原因是一个管表达能力、一个管优化稳定性，组合意义是让深层堆叠的频率与时间块能够收敛且保留残差原表示。

参数规模按三档配置。小档嵌入维度较小、块数较少，大档嵌入维度与块数都增加，隐藏维度与头数等也相应调整。时间窗口默认取 31 帧，频率窗口默认取 7 带，这是消融后选定的折中值。解码器输出通道数为 2 倍说话人数，是因为每个说话人都要预测实部与虚部。理解这些符号后，才能正确阅读后文的超参数表与消融表，而不会把窗口长度误认为卷积核大小。

训练如何组织，哪些更新规则是原文明确给出的？

训练阶段是存在的，任务是监督分离。数据来自 WSJ0-2Mix，包含训练、验证、测试 3 个划分，混合方式是随机选两段话完全重叠、相对能量在负 5 到 5 分贝信噪比之间随机选择，测试说话人与训练验证不重叠。所有音频采样在 8 千赫兹。输入切成 4 秒片段，短时傅里叶变换窗长 16 毫秒、跳长 8 毫秒，每个混合按自身标准差归一化，批量大小为 4。优化器明确写为 AdamW，权重衰减为 0.01，学习率先在前 4000 步线性热身到 0.001，若验证损失连续 3 轮不改善则减半，最多训练 150 轮，连续 10 轮无改善提前停止，梯度二范数裁剪到 5。损失明确写为在 ESPnet 流程下使用尺度不变信号失真比损失。

原文未报告的内容要如实指出缺项。论文没有给出随机种子、具体硬件型号与训练时长，也没有说明分布式策略与混合精度是否使用，没有报告验证集上的方差或多次运行的统计显著性。门控卷积与注意力参数默认都是可更新的，原文没有提到冻结任何部分，也没有提到停止梯度或分阶段训练，因此应理解为端到端联合优化，但不应脑补梯度路径的额外细节。复现时应优先按上述已给超参数搭建，再补做缺失项的记录，而不是从模型名称推定实现。

数据划分、指标方向与训练预算如何核对？

核对实验条件要先问测什么、与谁比、条件是否一致。测的是单通道两说话人分离在测试集上的提升值，指标是 SI-SDRi 与 SDRi，都是数值越大越好，提升值指分离结果相对未分离混合的改善。与谁比包括同规模紧凑模型、中规模模型与大模型 3 组，基线涵盖时域与频域两类。条件一致性方面，采样率、划分方式与重叠方式按数据集默认一致，但部分基线是否使用动态混合增强并不完全相同，比较时要保留这一差异说明，不能当成完全同条件胜负。聚合口径原文未明确是 utterance 平均还是加权平均，阅读时不要自行假设。

下表把训练与构造中可直接运行的关键条件整理成五列，数值与单位保留原文写法，表头单位与裸值的区分按原文处理，便于复现时逐项核对。

表后需要解释代价与边界。4 秒切片与小批量意味着单步显存可控，但长句推理时仍需面对全局注意力平方复杂度，论文用滑动窗口与交替建模缓解而非消除这一代价。学习率减半与早停是防止过拟合的预算控制，但原文未报告训练曲线，无法判断是否提前陷入平台。按标准差归一化有助于稳定幅度，但实际部署中混合电平未知时仍需同样的前端归一化，否则指标可能变化。未胜出或未评测的边界是噪声、混响与三说话人场景均未在本文证据中出现，不能把两说话人干净重叠的结果推广到那些条件。

主结果在什么规模上超过了谁，代价是什么？

主结果按小中大三档分别比较。小档 TF-MossFormer 以 6.0M 参数达到 22.61 dB 的 SI-SDRi 与 22.77 dB 的 SDRi，超过同规模的卷积时域、双路径循环、状态空间与时频局部变体。中档以 16.9M 参数达到 24.0 dB 的 SI-SDRi 与 24.20 dB 的 SDRi，超过 14.4M 参数的时频格网网络与 15.0M 参数的中档时频局部变换器。大档以 25.4M 参数达到 24.4 dB 的 SI-SDRi 与 24.5 dB 的 SDRi，超过大档时频局部变换器与带有动态混合的变换器基线。论文报告的计算量随规模从 99.5 G MACS/s 上升到 283.4 G MACS/s 与 425.0 G MACS/s，说明性能提升伴随明显的计算代价。

SI- × SDRi： SI-指尺度不变的信号失真比相对混合信号的提升值，SDRi 指信号失真比相对混合信号的提升值，二者都是数值越大表示分离后相对输入的改善越大，搭配报告的原因是可以互相印证主结论是否只依赖尺度不变这一特定归一化，组合意义是当两者同向提升时对分离质量改善的判断更稳妥。

下表把三档与关键基线的参数量、两项提升指标与计算量放在同一五列下比较，方向是分离改善越大越好，但计算量越小越好，二者要分开阅读。

表后解释主要收益与具体代价。小档的收益是用 6.0M 参数取得 22.61 dB SI-SDRi 和 22.77 dB SDRi，计算量为 99.5 G MACS/s，低于 SPMamba 报告的 238.6 G MACS/s，支持局部加全局在紧凑规模下更高效的判断。中档的收益是以 16.9M 参数取得 24.0 dB SI-SDRi 和 24.2 dB SDRi，超过时频格网网络报告的 23.5 dB SI-SDRi 和 23.6 dB SDRi，且计算量低于后者报告的 445.5 G MACS/s，支持架构扩展性好的判断。大档建立了新高，报告为 24.4 dB SI-SDRi 和 24.5 dB SDRi，但 425.0 G MACS/s 的计算量高于多数基线，说明最强数字是以部署成本换来的。未胜出项也要指出，在中档附近仍有未知说话人数分离的变换器达到 24.0 dB 量级，大档与 55.7M 参数的时域模型报告值接近，不能理解为全面碾压。总体趋势成立不等于每句都成立，原文只报告平均值，未报告分说话人、分信噪比与显著性检验。

窗口多大最合适，先局部还是先全局，门控是否必要？

消融围绕两个问题展开。第一个问题是滑动窗口长度。保持所有头窗口相同以简化调参，时间窗比较 15、31、65，频率窗比较 3、7、15，全长窗口也作为对照。结果是时间 31 加频率 7 达到 22.61 dB 的 SI-SDRi 与 22.77 dB 的 SDRi，计算量 99.5 G，窄到 15 帧与宽到 65 帧都略低，频率 3 带与 15 带也不如 7 带，全长窗口最弱只有 22.38 dB。这支持中等窗口平衡局部细节与效率的解释，也反证了并非看到越多越好。

第二个问题是局部全局的排布与门控。V1 先局部后全局最好，V2 先全局后局部降到 22.45 dB，V3 并行居中为 22.49 dB，去掉门控的 V4 降到 22.51 dB。这支持先用局部保住谱连续再做全局聚合的安排，也支持门控带来可测增益。

下表把窗口与排布的两组消融放在同一五列下，便于核对提升值、计算量与排序是否一致。

表后要讲限制与反例。窗口消融只在小档上完成，中档与大档是否仍以 31 与 7 最优在证据中未验证，不能直接推广。所有头共享窗口长度是为了调参方便，但不同头本可以关注不同距离，统一窗口可能限制了多样性。全长最弱这一反例很重要，它说明稠密全局反而可能稀释局部连续性，但这只是单数据集单规模的观察，换数据集或更长语音时结论可能变化。门控去掉只降约 0.1 dB，说明增益真实但幅度有限，不应夸大为决定性因素。

还有哪些条件没测，数字上有哪些不一致要标注？

首先标注原文内部的数字口径差异。摘要写三档参数量为 5.9M、16.9M、25.4M，而配置表与结果正文小档写作 6.0M，这 0.1M 差异可能是四舍五入或统计口径不同，阅读时应保留两种写法并以结果章节的 6.0M 为准核对小档表格。摘要的三档提升值写作 22.6、24.0、24.4 dB，正文精确到 22.61、24.0、24.20 与 24.4 dB，精度不同但指向一致，使用时不要自行 2 次四舍五入。其次是未评测边界。

数据集只有 WSJ0 两说话人完全重叠干净语音，没有噪声、混响、三说话人与未知说话人数，测试说话人不重叠但仍是同语料库同录音条件，不能推广到远场会议或流式低延迟场景。再次是统计与成本缺项。原文未报告多次运行方差、显著性检验、训练时长与硬件型号，推理开销只给 MACS 每秒，没有给出实际帧率与端到端延迟，MACS 低不等于延迟一定低，因为转置、窗口组装与访存也会耗时。最后是资源可得性。

本次收到的证据中没有绑定且完成超文本传输安全协议状态验证的资源，资源状态为空，因此不得声称代码、模型或数据已公开，只能说当前未能确认可达，复现需按论文文字自行实现。

要复现应先做什么，需要保留哪些超参数与信息条件？

复现先做数据与前端。按 WSJ0-2Mix 默认方式生成两说话人完全重叠混合，信噪比在负 5 到 5 分贝之间随机，采样率固定 8 千赫兹，训练验证测试说话人不重叠。前端用 16 毫秒窗、8 毫秒跳的短时傅里叶变换，输入切 4 秒，混合按标准差归一化，批量 4。接着搭模型。编码器用 3 乘 32 维卷积加全局层归一化，分离器按 B 堆叠频率与时间块，每块内部按卷积前馈、分组归一化、局部全局注意力、卷积前馈的顺序加残差，局部全局主体先用 V1 串联加门控，时间窗 31、频率窗 7，解码器用 3 乘 3 转置卷积输出对应实部虚部。训练用 AdamW、权重衰减 0.01、热身 4000 步到 0.001、验证 3 轮不升则减半、最多 150 轮、10 轮早停、梯度裁剪 5、尺度不变信号失真比损失。

信息条件要保留完整。评估时同时看 SI-SDRi 与 SDRi，避免只用其一得出片面结论。比较基线时注明是否使用动态混合增强，避免把数据增强的收益误归于结构。先复现小档的最优窗口与 V1 排序，再扩展到中档与大档，不要直接跳到大档。常见误解是把滑动窗口当成普通卷积，实际上窗口内权重是按查询与键内容计算的，会随输入变化，而卷积核固定。

另一个误解是把门控当成注意力权重，实际上门控是注意力输出后的筛选器，去掉后模型仍可运行，只是指标略降。还有一项待验证是不同头共享窗口是否最优，复现时可以记录但不要改动首轮对照，保持与原文可比。

何时值得尝试这种结构，还需补哪项验证？

当任务同时需要谱纹理与整句归属时值得尝试，例如单通道两说话人分离、歌声与伴奏在谐波密集区的分离，以及需要在频谱上保留共振峰连续性的增强任务。如果已有全局变换器出现细节模糊，可以先加入滑动窗口局部支路并采用先局部后全局的串联，再加轻量卷积门控，这种改动在小参数下已有可测收益。如果计算预算极紧，要注意全局分支的平方复杂度并未消失，长语音仍需评估实际延迟，而不仅看 MACS。如果数据含噪声混响或说话人数可变，则本文证据尚不支持直接结论，需要补做相应数据集与在线解码的验证。

还需补的验证包括跨语料库泛化、三说话人与含噪混响条件、不同头不同窗口的配置、以及多次运行的方差与显著性。复现时应完整记录随机种子、硬件与训练时长，并实测端到端延迟与实时率，才能把论文报告的平均提升转化为可部署的判断。总体上，本文的贡献在于用内容相关的局部注意力替代静态卷积补充全局注意力，并在时频交替框架下验证了中等窗口与先局部后全局的有效性，但最强结果伴随高计算量，选用时要在质量与成本之间按场景权衡。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总