不等看完就判决：用第一个输出脉冲做分类的早退脉冲网络

英文题目：First-to-Spike: An Early-Exit Framework for Rapid and Energy-Efficient Spiking Neural Networks

会议身份：conference:interspeech:2026:conference-paper-id:lin26j_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#正则化 #高效推理 #脑信号 #语音 #关键词检测

评分：7.2/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Zheyuan Lin：机构信息未能从会议 PDF 纯文本可靠映射
• Sirui Li：机构信息未能从会议 PDF 纯文本可靠映射
• Zeyang Song：机构信息未能从会议 PDF 纯文本可靠映射
• Zhiqi Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Siqi Cai：机构信息未能从会议 PDF 纯文本可靠映射
• Haizhou Li：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为语音指令与脑电情绪等连续时间序列，输出为类别标签，难点在于不同样本信息密度差异大而固定全长推理造成延迟与功耗浪费。本文提出首达脉冲框架，先由脉冲骨干网络逐步提取特征并向决策层注入电流，再由漏积分发放输出神经元积分竞争并以首个脉冲触发停机，随后由胜者通吃侧抑制加速分出胜负，最后由混合时序训练联合优化分类与时序间隔。与依赖每步计算柔性最大值置信度与人工阈值的外挂早退机制不同，该方法以神经元自身发放阈值充当内生决策边界，完全保留事件驱动特性。该内生竞争使平均决策步数随证据充分程度自适应提前，从而同步降低计算量与延迟。在Google Speech Commands V2基准下，F2S方法的准确率为92.89%，高于ED-sKWS基线的准确率90.14%。该结论目前仅在干净语音指令与受试者无关划分的情绪脑电数据上验证，低信噪比与异步传感输入下的外推尚未证实。原文未披露优化器、学习率与训练成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/PatrickZLin/F2S — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文的输入是随时间展开的特征序列。对于语音关键词任务，输入是 1 秒语音切成 98 步、每步 40 维对数梅尔滤波器组能量的序列；对于脑电情绪任务，输入是保持时间顺序的差分熵特征序列。目标都是序列分类，即给整段信号 1 个类别标签，例如说的是哪个命令词，或者当前情绪属于哪一类。必须保留的信息包括数据划分与协议、主干与决策层的计算方式、决策时刻如何定义、延迟与能耗如何测量，以及关键超参数。

读完这篇解读，你应当能复述一个样本如何从第一帧进入脉冲主干、如何在输出层累积膜电位、如何因首次脉冲而停机，以及训练时三项损失各自约束什么。全文只讲论文实际做的关键词识别与脑电情绪识别，不把教学举例当作论文结论。代码当前可用，地址见原文脚注，资源状态为可用，因此可以写已公开，但权重与完整运行环境仍需按原文核对。

已有早退路线为什么还要改？

在脉冲网络之前，早退的常见做法是在每个时刻算 1 次连续置信度，例如对输出做柔性最大值归一化，再与人工设定的阈值比较，超过阈值就退出。论文点名的两条路线是面向关键词的早决策脉冲网络与面向通用时序的早退脉冲网络，它们都依赖这类外部非脉冲判断。好处是实现直观，坏处是引入了与事件驱动不兼容的计算，还要为阈值调参，并且在部署到神经形态硬件时增加负担。

另一条路线是全序列脉冲基线，例如语音命令基线模型，它把 98 步全部算完再判决，延迟固定为最大值，能耗也固定为全量。论文的选择是回到脉冲本身：神经元膜电位超过自身发放阈值就会产生脉冲，这个阈值就是内禀决策边界。因此不需要再算 1 次柔性最大值，也不需要再设一个外部退出阈值。理解这一步很关键，后面所有加速与训练都是为了让这个内禀边界更快更稳地被正确神经元触及。

固定看完全部帧会浪费在哪里？

语音与生理信号在时间上并不均匀。清晰响亮的关键词可能在前几百毫秒就已可辨，而含混、轻声或带噪样本则需要更长积分。如果对所有样本都强制走满 98 步或脑电全长，简单样本的后半段计算就是浪费。论文把这种浪费表述为静态最大延迟推理：不管样本难易，一律付出相同步数与突触操作。早退要解决的正是按样本难度分配计算量。

难点在于判断何时证据已足。若用外部置信度，就要在每个时刻额外做连续运算；若直接用脉冲，则要解决竞争模糊与训练信号稀疏的问题。举一个教学例子而非论文数据：假设两个输出神经元膜电位同时接近阈值，仅靠自然竞争可能相差一两步就分出胜负，也可能长期胶着，这就是后文引入侧向抑制与间隔约束的动机。论文没有声称所有时刻信息量相同，相反，它明确指出早期缺少上下文、尾部填充段可能是静音或噪声，因此训练时需要加权。

框架全景：一个样本如何走完输入到停机？

先沿一个样本走完全程。输入序列按步进入多层脉冲主干，主干逐时刻输出隐藏状态，送入只有一个决策层的先发放脉冲决策层。该层是泄漏积分发放神经元，每类对应一个神经元。每个神经元维护膜电位，随输入电流累积并按泄漏因子衰减，发放后按重置规则处理。决策时刻被定义为输出层中任意神经元首次发放的时刻，预测类就是在该时刻发放的神经元编号。

一旦该事件发生，推理立即停止，后续帧不再计算。如果到最大步长仍无脉冲，则退回到比较最终膜电位最高的神经元，保证总有输出，但训练的目标是强烈鼓励在序列内发放。下面这张图把上述流程画成从波形到停机判框的纵向流水线，值得对照正文慢慢看。

看图路径： 1. 先从顶部输入波形沿 Frame1 与 Frame2 的预处理箭头向下看主干逐层传递路径；2. 再看 F2S 层在每个时刻向下对应到两个类别的膜电位爬升曲线；3. 对比 Class1 与 Class2 谁先触碰红色阈值虚线并产生纵向脉冲线；4. 最后看底部 Spike 判框从 No 链条走到 Yes 并输出 Prediction Class2 的停机动作

论文图 1。原论文 Figure 1：“An overview of the proposed First-to-Spike (F2S) framework.”。

图中顶部是输入波形与两个滑动窗，箭头经预处理进入第零层与第 L 层的状态方块，再汇入先发放脉冲层。下方两条膜电位曲线分别对应类别一与类别二，随时间爬升与衰减，红色虚线是发放阈值。类别二的曲线先触阈并画出纵向脉冲线，底部判框链条于是从否走到是，直接输出类别二并截断后续计算。这张图同时说明了自适应计算：简单样本的触阈时刻靠前，困难样本的触阈时刻靠后。图中没有画出侧向抑制的横向连线，抑制的作用要到组件节结合公式理解，也不要从曲线颜色猜测具体数值。

决策层与竞争电路：谁积分，谁压制，谁先开火？

决策层的分工是积分证据。白话说，泄漏积分发放神经元像一个漏水的水桶，进水是主干电流，漏水是泄漏衰减，水位是膜电位，水位超过桶沿即发放脉冲。英文名为 Leaky Integrate-and-Fire，缩写为 LIF。发放由阶跃函数决定，超过阈值记为 1，否则为 0。反向传播时因阶跃不可微，采用替代梯度近似，这是原文明确给出的训练手段。

决策规则的分工是定胜负。白话说，先开火者获胜，英文可记为 First-to-Spike。决策时刻是输出层首次出现 1 的时刻，预测类是该时刻发放的神经元序号。神经元自身阈值就是决策边界，这是内禀性的来源。胜者通吃电路的分工是压制对手，英文为 Winner-Take-All，缩写为 WTA。

它引入可训练的横向抑制矩阵，神经元用平滑后的对手活动经负权求和得到抑制电流，加到自身膜电位更新中。对角线固定为零，避免自我抑制，初值设为小负数以保证起始即为抑制。随着领先者电位升高，它对落后者的压制增强，迅速拉开差距。

脉冲神经网络 × 早退推理： 脉冲神经网络负责用离散脉冲随时间累积证据，其分工是逐步积分与事件驱动计算；早退推理负责在证据足够时提前停止，其分工是按样本难度自适应截断计算；二者搭配的理由是脉冲天然具有到达阈值即发放的时间点信息，无需外部置信度再判断 1 次，组合后新增的作用是把发放时刻直接变成分类时刻与停机时刻。

先发放脉冲者获胜 × 胜者通吃电路： 先发放脉冲者获胜负责定义决策规则，即输出层谁先过阈值谁就是预测类；胜者通吃电路负责通过侧向抑制放大领先者与落后者的膜电位差距，其分工是竞争整形；搭配的原因是多类证据接近时会同时爬升、导致犹豫不决，组合后新增的作用是让领先神经元主动压制对手，从而更快形成唯一胜者并降低平均决策步长。

需要提醒的是，抑制矩阵只加在类别数很小的最终决策层，例如 4 类任务对应 4 乘 4 矩阵，因此原文报告其开销可忽略，节能主要来自提前终止省下的主干计算。原文没有给出主干每层的具体泄漏系数与阈值是否可训练的完整清单，复现时只能按开源代码核对，不从模型名称推定。

混合时序训练如何同时教对、教早、教稳？

训练目标由三项加权求和，总损失等于分类损失加阿尔法乘间隔损失加贝塔乘效率损失。原文报告的超参数为阿尔法 0.05、贝塔 0.01、最小时间间隔 5 步。第一项是加权时序高效训练损失，白话说就是在每个时刻都对膜电位做 1 次交叉熵监督，但按时刻加权。权重采用序列中部为中心的归一化 S 形函数，强调中间更可信的时刻，压低缺少上下文的早期与可能是填充的尾部。分母对权重归一化，分子是各时刻损失的加权和。

第二项是时序间隔损失，白话说就是要求正确类比最早错误类至少提前若干步。记正确类发放时刻与错误类最早发放时刻，若正确时刻不比错误时刻早出间隔量，就产生正损失，否则为零，期望取自批量平均。第三项是效率损失，白话说就是直接最小化正确类的发放时刻，给网络持续的提前压力。三者组合的意义是分类损失管分对，间隔损失管顺序鲁棒，效率损失管提前。

原文未给出权重函数中心与斜率的具体数值，也未说明无发放样本在三项中如何回退处理，复现时需以代码为准，不自行补公式。

加权时序高效训练损失 × 时序间隔损失： 加权时序高效训练损失负责在每个时间步对膜电位做分类监督，但按中间可信、两端不可靠加权，其分工是保证全程可分；时序间隔损失负责要求正确类发放时刻比最早错误类至少提前 M 步，其分工是保护发放顺序的鲁棒性；二者搭配的原因是只求分对不求先对会导致晚发放，组合后新增的作用是同时学对类别与学对先后顺序。

训练时梯度经替代梯度与随时间反向传播回流，监督来源是真值标签对应的膜电位与发放时刻，推理时则只看首次脉冲，不再计算损失。

在什么数据、协议与计量下比较才算公平？

语音部分采用谷歌语音命令第二版数据集，遵循标准划分，每条 1 秒音频预处理为 98 步 40 维特征。脑电部分采用情感脑电数据集与 4 类版本，输入为差分熵特征，并采用严格的留一被试交叉验证，即每次留出一个被试做测试，其余被试训练，以检验跨被试泛化。测试时保持时间顺序以评估连续信号性能。评价指标有 3 类，方向要记清。准确率越高越好，基于决策时刻的预测计算。

平均决策步长越小越好，记录触发决策前实际处理的步数。能耗越小越好，按 45 纳米工艺折算，乘加操作计 4.6 皮焦，累加操作计 0.9 皮焦，总能耗与决策步之前的突触操作成正比，并计入抑制矩阵的开销。比较对象包括全序列基线、早决策基线与本文完整方法，参数量在同一量级，语音任务约为 27,000 到 28,000 参数，抑制矩阵只增加数百参数。

需要指出，原文未报告多次随机种子的方差检验与显著性方法，语音部分只给单点准确率，脑电部分给出均值正负标准差，因此跨数据集的提升幅度不能直接换算为统计显著。

主结果：在更快更省的同时准确率变了吗？

比较的问题是，在相同语音命令任务下，内禀脉冲决策能否同时做到更高准确率、更小步长与更低能耗。公平条件是相近参数量与相同 98 步上限，指标方向为准确率越高越好，步长与能耗越低越好。下表整理语音主结果，数值与单位均来自原文连续句，裸值按原文表头含义理解，不擅自追加百分号。

表后解释需要同时看到收益与代价。本文方法在语音任务上报告准确率更高，同时把平均决策步长从 66.07 降到 63.68，能耗降到 2.75 微焦，支持内禀阈值比外部柔性最大值阈值更高效的判断。代价是参数量从 2.763 万增至 28,820，增量来自抑制矩阵，原文称其开销可忽略，但仍需在部署时计入。

未胜出项也要说明：在脑电 4 类任务上，早退基线的准确率低于全序列基线，说明外部阈值早退曾以掉点换速度，而本文方法才同时保住准确率与速度。脑电的步长基数很小，百分之几十的相对降幅对应的绝对步数只有一两步，解读时应区分相对百分比与百分点。

平均决策步长 × 能量估计： 平均决策步长负责记录从序列起点到首次输出脉冲共处理了多少步，其分工是度量延迟；能量估计负责按 45 纳米工艺下乘加与累加单价折算到决策步之前的突触操作，其分工是度量功耗；搭配的原因是早停一步就少算一步，组合后新增的作用是把时间维度的提前量直接换算成可比较的微焦级能耗收益。

拿掉竞争与混合训练各会失去什么？

消融要回答每个组件是否必要。比较的问题是，仅保留先发放即判的朴素机制时性能如何，逐个加回混合训练与竞争电路后变化是否一致。公平条件是同一语音数据集与同一 98 步上限，指标方向同上。下表把原文报告的 4 个配置放在同一条件下对比，数字来自原文连续句。

表后解释要给出机制归因与反例。朴素先发放已达 89.17% 与 69.78 步，支持脉冲自然竞争本身就是可用基线，这是论文强调的内禀早退能力。加入混合训练后准确率微升至 89.84%，步长降至 66.32，说明时序整形主要改善提前性。

加入竞争电路后准确率跃升至 92.32%，步长降至 65.43，说明压制对手对消歧更关键。两者合在一起达到 92.89% 与 63.68 步，能耗 2.75 微焦，支持二者协同而非重复。反例是脑电上外部阈值方法曾掉点，提醒早退并不天然保精度，必须配合竞争与间隔约束。原文未报告去掉分类损失或只留效率损失的失败条件，也未评估高噪与低信噪比下的鲁棒性，这是明确的未评测边界。

哪些结论还不能下，边界在哪里？

论文直接报告的是在给定数据集与协议下的准确率、步长与估计能耗提升，支持在这些条件下的最优权衡。有限解释是节能主要来自提前终止，抑制矩阵开销可忽略，这一解释依赖于类别数很小与 45 纳米单价假设，换工艺或大词汇量任务时需重算。未验证推测包括对边缘噪声环境的鲁棒性、与异步动态音频传感器的联合收益，以及在神经形态芯片上的实测延迟与功耗，原文只在讨论中提出方向，没有给出测量，因此不能承诺实际部署一定同比例变快变省。

另一个边界是无发放样本的退化路径：原文说此时按最终膜电位最大者判决，但未报告这类样本占比与单独准确率，也未说明它们在间隔损失中的处理方式。统计方面，语音单点结果缺少方差，脑电虽有标准差但缺少显著性检验，不能把 2.75 个百分点的提升直接读作普遍显著。相关性不等于因果，步长变小与能耗变低同时出现，不代表每一步的节省都相等，具体分布需看代码中的计数器。

要复现先做什么，先核对哪些配置？

复现的第一步是按原文脚注获取已公开代码，并核对本次证据中的可用状态，不要假设权重已发布。数据侧先重做语音 98 步 40 维特征与脑电差分熵序列，语音用标准划分，脑电用留一被试交叉验证并保持测试时间顺序。模型侧先实现泄漏积分发放决策层与首次脉冲停机逻辑，再加入对角线为零、初值为小负数的抑制矩阵，注意只作用于决策层。训练侧按阿尔法 0.05、贝塔 0.01、间隔 5 步启动，分类损失采用中部加权的时序高效训练形式，优化经替代梯度与随时间反向传播。

评估侧同时记录决策时刻预测的准确率、平均决策步长与按乘加 4.6 皮焦、累加 0.9 皮焦折算的能耗，并单独统计无发放退化样本的比例。何时值得尝试：如果你的任务是流式关键词或连续生理信号，且希望按样本难度自适应截断，就值得用该框架替代外部阈值早退；如果是固定长、类别极多或噪声极大的任务，则应先补做信噪比扫描与大类别矩阵开销评估。常见误解是把首次脉冲等同于最大膜电位，二者在有发放时一致，在无发放退化时不一致。

另一个误解是把估计能耗当作芯片实测，原文只是按工艺单价折算突触操作。

一句话收束：何时用它，何时不用它？

这项工作的中心判断是早退可以是脉冲网络的自然属性，而不必外挂连续置信度。方法是把输出层首次脉冲同时当作分类信号与停机信号，用小规模竞争电路加速分出胜负，用三项混合时序目标教会网络分对、提前且拉开间隔。证据是在语音与脑电上同时报告更高准确率（%）与更小步长，语音从 66.07 步降到 63.68 步、能耗到 2.75 微焦，脑电从全长 10 步与早退基线 4.82 步降到 3.06 步。代价是引入抑制矩阵参数与 3 个超参数，以及对无发放样本与噪声鲁棒性的报告缺项。

因此，当你需要实时边缘推理且类别数不大时，可以优先复现该路线；当你面对强噪声、大词表或需要芯片实测功耗时，应把本文结果当作起点而非终点，先补齐对应验证再做选型。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总