单比特脉冲下做双谱增强：GSU-DBNet 为何只留一个门

英文题目：Neuromorphic Speech Enhancement with Dual-Branch Spiking Neural Networks

会议身份：conference:interspeech:2026:conference-paper-id:meng26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#RNN #高效推理 #语音 #语音增强

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Taiyu Meng：机构信息未能从会议 PDF 纯文本可靠映射
• Wenbin Jiang：机构信息未能从会议 PDF 纯文本可靠映射
• Haoyi Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Yuhan Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Haoyi Yin：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音增强需从含噪观测恢复干净语音波形与相位谱，脉冲神经网络受二值发放与事件驱动约束而长期落后于传统人工神经网络。先将含噪语音经短时傅里叶变换得到的实部虚部与幅度三通道谱输入编码器，由三块卷积加卷积注意力模块负责时频压缩与通道增强，输出紧凑时频特征。再将该紧凑时频特征送入由两个堆叠双路径门控脉冲单元构成的分离器，由双向门控脉冲单元在频率路径捕获全局谱相关、单向因果门控脉冲单元在时间路径建模时序依赖并经线性投影与残差融合，输出解耦的时频分离特征。最后将该分离特征送入双分支解码器，由复数DeepFilter分支估计复数掩模实现相位感知重构、幅度掩模分支估计能量包络并经加权平均融合与逆变换，输出增强语音波形，单遗忘门设计将循环层参数减半并保留二值脉冲传输。相对时域均匀施加脉冲单元与延续长短时记忆的已有方法，该跨域联合建模与双分支互补融合在保持稀疏发放的同时弥合了幅度与复数谱的信息割裂，具有参数高效与神经形态兼容意义。在VoiceBank+DEMAND基准测试集下，GSU-DBNet的PESQ为3.04，高于TSTNN的PESQ 2.96。结论目前仅限该英语小规模非严格因果评测，未验证跨语种、强混响与低信噪泛化，未提供神经形态硬件实测。

🔗 开源与复现资源

• 演示资源：https://meng-taiyu.github.io/dpnet-demo/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为何脉冲网络难做增强？

本研究的输入是带噪语音波形，目标是恢复出干净语音波形，作为助听、识别与实时通信的前端。必须保留的信息包括语音的能量包络与相位细节，输出是经逆短时傅里叶变换重建的增强波形。本文解读的输出是一套可核对、可复述的方法流程与实验条件，不做超出原文的性能承诺。

语音增强的主流做法是用深度神经网络估计时频掩蔽或直接映射，但高性能模型常需数百万参数与密集浮点运算，难以装入低功耗边缘设备。脉冲神经网络换了一条路线：神经元之间只传二值脉冲，用事件驱动的方式做时间建模，原生适配低功耗神经形态硬件。白话说，传统网络每步都传一个小数，脉冲网络每步只传开或关。

难处在于二值激活本身信息容量小，网络结构若直接照搬传统循环网络，相位恢复与细节重建就会落后。已有脉冲增强方法多为单分支，只建模单一谱维度，没有同时利用幅度谱擅长抑噪与复数谱擅长恢复相位的互补性。本文要解决的正是如何在保持参数高效的同时，把时域与频域、幅度与相位放在一个脉冲框架里联合建模。

脉冲神经网络 × 替代梯度： 脉冲神经网络负责用二值脉冲做事件驱动计算以省电，其分工是前向只传 0 或 1；替代梯度负责解决阶跃函数不可微的问题，其分工是在反向用三角函数近似梯度；二者搭配的原因是若无近似梯度则含脉冲阈值的网络无法用随时间反向传播训练，组合后新增的作用是让门控脉冲单元可以在语音增强任务上被端到端优化。

为理解后文，先固定简称：脉冲神经网络记为 SNN，人工神经网络记为 ANN，门控脉冲单元记为 GSU，短时傅里叶变换记为 STFT。SNN 的前向靠膜电位累积与阈值发放，反向靠替代梯度绕过不可微点，这是全文训练能跑通的前提。演示音频当前可用，链接为官方页面，状态码 200，可用于听感核对但不作为定量证据。

同任务同阶段有哪些路线，本文站在哪条线上？

在同输入同目标同运行阶段下，语音增强至少有 3 条可比路线。第一条是复数谱建模，以深层复数卷积循环网络为代表，联合估计实部与虚部以保留相位信息，代价是参数量大、浮点运算密集。第二条是双分支与多域融合，例如同时估计幅度与相位、子带分解、注意力协作，靠表征互补提升质量，但核心循环模块仍是长短时记忆网络或门控循环单元，依赖连续隐状态。第 3 条是脉冲增强，例如时域双路径脉冲网络与脉冲全子带网络，靠二值脉冲压缩参数，但在谱域选择与门控设计上缺乏系统探索。

原文明确指出，已有脉冲方法要么只关注复数谱特征，要么在时域波形上统一使用脉冲单元，没有研究脉冲动力学在不同信号域的适配性。传统轻量双路径循环网络把长序列分解为时间与频率 2 维分别建模，显著降低计算复杂度，但其循环核仍是连续值门控，不节能。本文的站位是把双路径思想与门控脉冲建模结合，用 GSU 替代长短时记忆网络，既保留双路径的维度分解红利，又获得脉冲的效率红利。

这种对照是公平的起点：比较时应看同数据集、同指标、同因果约束。本文频率路径用双向建模看全频带，时间路径用单向因果建模保证流式潜力，这与传统双路径的因果划分一致。读者不要把类别差异直接当胜负，脉冲与非脉冲在硬件与运算类型上本就不同，后文数字只在 VoiceBank 加 DEMAND 基准与给定指标下成立。

问题如何形式化，单分支为何不够？

形式化地说，设带噪语音经 STFT 得到带噪谱，包含实部、虚部与幅度。任务是从带噪谱估计出干净谱，再经逆变换得到波形。幅度谱只描述每个时频点的能量大小，丢失了相位角；复数谱同时包含实部虚部，能推回相位，但直接估计时能量包络不稳定。单分支若只做幅度掩蔽，相位只能沿用带噪相位，重建波形会有失真；若只做复数掩蔽，低能量区的感知质量与噪声抑制又不够稳。

举一个教学例子，不代表原文数值：假设某帧谐波清晰但相位被噪声扰动，只做幅度增强会让声音更响却仍发劈，只做复数增强可能相位对了但能量忽大忽小。原文的判断是 2 分支各有所长，需要联合估计。例子到此为止，实际效果以后文消融数字为准。

因此本文把问题拆成两个并行估计目标：一个是复数掩蔽或滤波系数，负责相位感知的重建；一个是幅度掩蔽，负责能量包络估计。两者共享前端编码与分离器表征，再经各自解码器输出，最后加权平均融合。这种拆分让监督信号可以分别作用于复数细节与幅度包络，是后文混合损失的依据。

GSU-DBNet 让一个样本走完全程需要经过哪些动作？

沿一个带噪 utterance 走一遍，主路径分为编码、分离、解码 3 段。第一步做 STFT，从实部、虚部与幅度谱拼成 3 通道谱输入，保持时间帧数不变。第二步经编码器 3 层卷积块，每块含 2 维卷积、组归一化、参数化修正线性单元与卷积注意力模块，前两层用步幅卷积压缩频率维并增加通道，第 3 层用一点乘一卷积把通道提到 64，形成隐特征图。第三步经两个堆叠的双路 GSU 块，交替沿频率与时间处理。第四步经两个独立的转置卷积解码器恢复频率分辨率，并用跳跃连接融合对应编码层特征，分别产生复数分支与幅度分支输出，最后加权平均并经逆 STFT 重建波形。

本图是全网总览，先读主干再看分支汇合，才能把双路与双分支的位置摆正。图中可见编码器输出标注的通道与压缩后频率维，以及双路块重复 2 次的堆叠方式，两解码器分别经不同激活后在加号处融合，这是全文结构的核心记忆点。

看图路径： 1. 先从左侧 Noisy 经 STFT 到 Encoder 的箭头确认三通道频谱输入走向；2. 再看中间 Full-GSU DP Block 分为 Freq 与 Time 两条横向支路的标注；3. 接着对比上方 cDecoder 加 tanh 与下方 mDecoder 加 sigmoid 的两条解码支路；4. 最后确认两支路在加号处汇合再经 iSTFT 输出增强语音的融合点

论文图 1。原论文 Figure 1：“Overview of the GSU-DBNet architecture with dual-path spiking blocks and a complex-magnitude dual-branch decoder.”。

图后需要把像素与文字对应起来。上方支路是复数解码器，经转置卷积与双曲正切激活生成滤波系数，再经深层滤波作用于带噪谱；下方支路是幅度解码器，经转置卷积与 S 型激活生成幅度掩蔽，再与带噪幅度相乘。虚线表示的跳跃连接把编码器特征送入对应解码层，用于恢复被压缩的频率细节。频率路径用双向 GSU 以捕捉全局谱相关，时间路径用单向 GSU 以保持因果性，每条路径后跟线性投影、组归一化与残差连接，这是双路块在总图中的落点。

门控脉冲单元与双分支解码各自算什么，为何这样配？

先讲 GSU 细胞的计算。每个时刻输入当前谱特征与上一时刻的二值脉冲输出，经输入与循环两组线性投影相加，再切成两半。一半经 S 型函数得到遗忘门，取值接近 1 表示保留旧膜电位，接近 0 表示接纳新输入；另一半作为候选输入，用一减遗忘门做隐式输入门。膜电位更新是遗忘门乘旧状态加隐式输入门乘候选量。

随后膜电位经阶跃函数输出二值脉冲，反向用三角替代梯度近似，原文设宽度参数为 1.0。每个神经元每步只传一比特，这是参数高效的来源，也是信息瓶颈的来源。

再讲双分支解码的分工。复数分支逐步恢复频率分辨率，经双曲正切生成复数掩蔽，作为深层滤波系数滤波带噪谱；幅度分支用同样解码与跳跃结构，经 S 型生成幅度掩蔽，与带噪幅度相乘。分离器输出记为隐变量，带噪谱记为已知条件，2 分支估计经加权平均融合为最终谱。原文强调复数分支擅长校正相位，幅度分支提供稳定能量估计，融合后兼得两者。

幅度谱掩蔽 × 复数谱滤波： 幅度谱掩蔽负责估计语音能量包络，分工是只乘幅度谱以稳定抑制噪声；复数谱滤波负责同时校正实部虚部以恢复相位，分工是用 DeepFilter 系数滤波带噪短时傅里叶变换；二者搭配的原因是单看幅度会丢相位、单看复数则能量估计不稳，组合后经加权平均融合新增了兼顾听感与波形重建的作用。

左图是细胞级计算图，右图是双路块级装配，先看门内乘加再看块内整形与归一化，才能理解单门如何在阈值前完成记忆控制。左图可见投影、门控、膜电位、脉冲 4 个色块分区，右图可见频率与时间两段各含整形、脉冲循环、整形加归一化与残差相加的对称结构。

看图路径： 1. 先看左图顶部 xt 与 ht-1 经两组线性投影汇合为加号节点的投影区；2. 再看左图中部 sigma 分支输出 ft 与 1-ft 分别控制两路乘法的门控区；3. 接着看左图底部经 Theta 输出 ht 的脉冲发放区；4. 最后看右图上下两块分别为 BiGSU 双向与 GSU 单向并各带残差相加的双路块

论文图 2。原论文 Figure 2：“(a) GSU cell computation graph. (b) DP-GSU block with BiGSU (frequency) and GSU (time).”。

图后解释计算目标与实现要点。细胞的目标是在只保留一个门的前提下实现可学习的膜电位衰减，投影维度因此只需 2 倍隐维度，比长短时记忆网络约省一半循环层参数。双路块的目标是把编码特征先在频率维重排后送双向 GSU，再在时间维重排后送单向 GSU，配合群归一化稳定脉冲统计。深层滤波的频率、时间与通道阶数分别设为 3、5 与 16，这是复数分支滤波器感受野的直接依据。

频率路径 × 时间路径： 频率路径负责沿频率轴建模全局谱结构与谐波关系，分工是用双向门控脉冲单元看全频带；时间路径负责沿时间轴建模帧间连续性，分工是用单向门控脉冲单元做因果推进；二者搭配的原因是长序列同时在 2 维有依赖，组合堆叠后新增了时频交替精化的空时表征能力。

监督从哪里来，梯度走哪条路，哪些参数在更新？

训练是有监督的端到端训练，不是无训练推理。监督来源有两路：一路是频域经幂律压缩后的谱均方误差，分别作用于实部、虚部与幅度，压缩指数为 0.3，用于强调低能量谱区以改善感知质量；另一路是时域经逆变换重建波形后计算的尺度不变信噪比损失。总损失是复数部分权重 30 加幅度部分权重 70 再加时域损失，权重经预实验确定并在所有配置中固定。

梯度路径是随时间反向传播经替代梯度穿过阶跃阈值。原文明确用三角替代梯度近似阶跃导数，使膜电位到脉冲的不可微点可导；编码器卷积、分离器投影、解码器转置卷积均为可更新参数，未报告有冻结层。优化器用解耦权重衰减的 AdamW，初始学习率千分之一，验证平台期降半， patience 为 10，梯度范数裁剪到 5.0，批量 18，最多 150 轮。原文未报告膜电位重置时机与阈值具体数值，这是复现时需要补看代码的缺项，不能从模型名推定。

需要区分原始目标、近似与优化步骤。原始目标是干净波形与干净谱，近似是用压缩谱均方误差代替人耳感知，优化步骤是小批量梯度下降。替代梯度只是近似，不是真实阶跃导数，因此训练曲线趋势不等于每步都下降，后文只报告最终测试指标，不报告训练耗时与收敛步数。

数据、切分、特征与指标如何固定，公平条件是什么？

数据集用 VoiceBank 加 DEMAND。训练集含 28 个说话人的 11572 条，混入 10 种噪声，信噪比为 0、5、10 与 15 分贝；测试集含 2 个未见说话人的 824 条，混入 5 种未见噪声，信噪比为 2.5、7.5、12.5 与 17.5 分贝，采样率 16 千赫。划分按原数据集固定口径，测试噪声与说话人均未见，这是泛化判断的前提。

特征固定为汉宁窗 400 点约 25 毫秒，跳 100 点约 6.25 毫秒，傅里叶点数 512，得到 257 个频点。编码器 3 层输出通道为 16、32 与 64，前两层核与步幅分别为 5 与 2、2 与 1，第 3 层核与步幅为 1 与 1；分离器含两个双路 GSU 块，频率与时间隐维度均为 128，输出经参数化修正线性单元与一点乘一卷积；解码器与编码器对称，用转置卷积恢复频率分辨率并用跳跃连接融合。

指标方向必须先讲清。宽带语音质量感知评估、信号失真、背景噪声与整体质量的复合指标以及短时客观可懂度都是越大越好；分段信噪比与尺度不变信噪比也是越大越好；深度噪声抑制平均意见分的信号、背景与整体分同样越大越好。主结果报告前五项，消融额外报告后三项。比较的公平条件是同数据集同切分下与已发表 ANN 结果及复现 SNN 基线对比，其中双路径脉冲网络与脉冲全子带网络为复现值，其余为已发表值。

主结果测什么，与谁比，数字支持什么判断？

主结果要回答 3 个问题：脉冲方法之间谁更好，与代表性 ANN 相比差距多大，参数代价是多少。比较对象包括深层复数卷积循环网络、全子带增强及其扩展、 glance 与 gaze 协作框架、2 个阶段 Transformer，以及两个 SNN 基线。指标方向均为越大越好，参数量越小越好。公平条件是同基准测试集，但 ANN 为已发表值、SNN 为复现值，复现环境差异是限制。

下表整理原文连续句中可逐字核对的核心数字，聚焦语音质量与参数量。表中参数单位为千，语音质量为宽带评估分，无量纲。阅读时先看行对应的模型，再看列对应的指标，不要把不同指标的差值混入模型列。

表后解释收益与代价。报告显示本方法以 394K 参数达到 3.04，超越了参数量大 9 到 22 倍的上述 ANN 方法，并在背景与整体质量及分段信噪比上为最优。支持的判断是双分支谱建模在感知质量与抑噪上有一致增益，且双路门控脉冲建模有效缩小了与主流方法的差距。代价与反例是 2 个阶段 Transformer 在信号失真维度仍略优，说明语音信号一致性还有提升空间；总体趋势不等于每项都最优，也未测量延迟与功耗，不能直接承诺硬件节能幅度。

拿掉分支、路径与门数后，哪些假设被反证？

消融沿 4 个维度展开：分支、路径、细胞门数与容量。基线即 394K 参数的完整双分支双路网络。分支消融分别去掉幅度分支只留复数与去掉复数分支只留幅度；路径消融分别去掉时间路径与频率路径；细胞设计用双门与三门脉冲长短时记忆变体替换单门 GSU。

容量试验隐维度取 64 与 192。指标同时看语音质量、可懂度与尺度不变信噪比。

下表用原文原句可覆盖的数字整理分支与发放行为的关键证据，发放率为百分比，可懂度为百分比，信噪比为分贝。比较时注意聚合对象是 824 条测试上的均值，发放率还涉及 128 个隐单元的群体统计。

表后解释主要收益与具体代价。分支消融支持双分支必要性，去复数分支时尺度不变信噪比掉 0.71 分贝而仅复数变体基本不变，说明复数估计靠相位能力主导波形重建。路径消融显示两者都重要，去频率路径掉到 2.72，去时间路径掉到 2.80，频率双向建模对抑噪与谐波恢复贡献更大。细胞消融显示门数从 1 增到 3 时参数从 394K 增至 542K 再到 690K，但语音质量不升反降，双门持平、三门明显退化，支持二值输出瓶颈解释。容量试验显示隐维度翻倍初期提升大、之后收益递减，128 处于拐点附近。未胜出项是三门变体，它是明确的负结果。

遗忘门 × 二值输出瓶颈： 遗忘门负责控制上一时刻膜电位保留多少与新输入融入多少，分工是用一个 sigmoid 输出完成记忆衰减；二值输出瓶颈负责把连续膜电位经阶跃函数压成每步一比特，分工是决定信息能向后传多少；二者搭配的原因是瓶颈截断了精细调制的传递，组合意义在于证明单门已够用，增加输入门与输出门只会增加参数而不能提升可传播的信息量。

发放行为的可视化先看整体再看个体，才能把稀疏性与多样性联系起来。上方面板是膜电位随毫秒变化的连续曲线，下方面板是同色神经元的脉冲光栅，颜色一一对应，时间轴对齐。

看图路径： 1. 先看上方面板纵轴为膜电位 ct 随时间毫秒变化的五条曲线走向；2. 再看图例中五个神经元编号后括号内 0% 至 100% 的发放率标注；3. 接着看下面板同色横条表示的 silent 到 tonic 五种发放模式的起止位置；4. 最后对比绿色神经元膜电位大起伏与其下方集中发放段的对应关系

论文图 3。原论文 Figure 3：“Membrane potential and spike raster of the time-path GSU.”。

图后结合像素解释机制含义。可见编号 70 的神经元膜电位长期高于零阈值，对应下方几乎连续的强直发放；编号 35 的膜电位长期低于阈值，对应下方空白的静默；编号 55 的膜电位先深负后跃升，对应中段集中的相位式发放；编号 42 与 94 则为稀疏与簇发。

像素支持原文判断：单门 GSU 靠群体中异质发放率集体表达时间特征，平均 37% 意味着任一时刻约三分之二神经元静默，适合事件驱动硬件。原文补充说明这是系统性而非偶然，归因明确。

还有哪些边界未测，不能承诺什么？

首先是数据集边界。实验仅在 VoiceBank 加 DEMAND 上报告，该集说话人与噪声类型有限，混响、远场与多说话人场景未覆盖，不能把 3.04 推广到更复杂数据。原文未来工作也明确要做更多样数据集，这是待验证项。其次是基线口径。ANN 多为已发表值，SNN 为复现值，不同训练轮数、数据增强与解码实现可能影响小数点后 2 位，不宜过度解读 0.02 量级的差距。

其次是成本与部署边界。参数量小不等于延迟低、功耗低，脉冲稀疏度、时间步展开、STFT 与逆变换开销、硬件映射效率都未测量。频率路径用双向建模，需要看到全频带甚至未来帧才能输出，在严格流式低延迟场景需重新设计因果版本。深层滤波阶数与加权平均系数等超参数按原文固定，未报告搜索过程。

最后是推断边界。缺失证据不是技术错误，但不能把相关性当因果。例如三门退化与二值瓶颈一致，但不能证明所有多门脉冲设计必然失败；幅度分支稳定能量与复数分支恢复相位的分工是有限解释，跨数据集是否仍互补待验证。未测量误判率、主观听感分布与统计显著性，不承诺每条语音都改善。

要复现这套方法，先做什么，需要哪些固定条件？

复现先做数据与特征对齐。按原文切分准备 VoiceBank 加 DEMAND 的 11572 条训练与 824 条测试，保持 16 千赫采样；STFT 用汉宁窗 400 点、跳 100 点、点数 512，拼实部虚部幅度为 3 通道输入。编码器 3 层通道 16、32、64，核步幅按 5 与 2、2 与 1、1 与 1 实现，组归一化与注意力模块不可省略，因为脉冲统计对归一化敏感。分离器堆叠两个双路块，隐维度 128，频率双向、时间单向，各接线性投影、组归一化与残差。

再做损失与优化对齐。压缩指数 0.3，复数权重 30、幅度权重 70，时域用尺度不变信噪比损失；优化器用 AdamW 初值千分之一，平台期降半 patience 为 10，梯度裁剪 5.0，批量 18，最多 150 轮。替代梯度用三角函数宽度 1.0，随时间反向传播。深层滤波阶数取频率 3、时间 5、通道 16，加权平均系数按代码默认值核对，原文未给出具体数值，这是必须看开源实现的第一项。

验证时先复现主指标再做消融。主指标核对语音质量 3.04 量级与参数量 394K 量级；消融核对单分支 2.96 与 2.94、去路径 2.80 与 2.72 的相对顺序，而非绝对小数。听感可用官方演示页做定性核对，定量仍以本地解码为准。代码开源声明的唯一依据是资源状态，本次收到演示页状态为可用且状态码 200，可写当前可用；权重与训练代码是否公开需以页面实际可达为准，本次未能逐项确认，不做承诺。

何时值得尝试这套设计，一句话如何记住它？

当任务是单通道语音增强、部署受参数与功耗约束、且相位失真可闻时，值得尝试双分支脉冲方案。记住一句话：用双路看全时频，用双分支分开管能量与相位，用单门脉冲保住效率。若场景要求严格因果流式，需把频率双向改为因果或缓存式实现；若数据含强混响，需补测压缩损失权重与滤波阶数是否仍适用。

对刚入门的研究生，建议按学习依赖复述：输入 3 通道谱经编码压缩，双路 GSU 交替精化，复数滤波管相位、幅度掩蔽管能量，加权融合后逆变换；训练靠压缩谱误差加波形信噪比联合监督，反向靠替代梯度穿过阈值；评估看语音质量、可懂度与信噪比 3 类方向，消融看分支互补、路径分工与单门最优。常见误解是门越多越好，本文反证是在一比特输出下多门精修会被阈值丢弃；另一个误解是参数少一定更快，实际延迟还取决于时间步与硬件事件调度，需另测。

收束时回到证据强度。直接报告的是参数量与指标数字，有限解释的是瓶颈与分工机制，未验证的是跨数据集泛化与硬件功耗。下一步应补多样数据验证与神经形态部署实测，这正是原文指出的未来工作。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总