📄 把脉冲当作可训练接口：三值门控滤波与共振发放如何分工做语音识别
评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Pavlos Poulos：机构信息未能在本次解析中与作者逐人可靠绑定
- Katelyn Sadorf：机构信息未能在本次解析中与作者逐人可靠绑定
- Themos Stafylakis：机构信息未能在本次解析中与作者逐人可靠绑定
- Costas A. Anastassiou：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
研究对象是从连续语音波形到文字序列的映射，困难在于静音和音素边界切断上下文，而常用的带衰减发放机制在承担特征提取的同时还要保持长程依赖，容易丢失跨停顿信息，同时密集矩阵乘法带来能量和存储代价。论文的处理过程是把对数梅尔滤波器组特征降采样为低帧率二进制脉冲，再用门控循环做时间滤波，最后用共振发放神经元输出二进制脉冲给下一块，解码直接用联结时序分类（Connectionist Temporal Classification，CTC）线性读出。门控循环单元（Gated Recurrent Unit，GRU）在这里指带更新门和候选状态的循环滤波结构，三值权重（Ternary Weight）指仅取三种离散值的学习权重，延迟缩放（Deferred Scaling）指先用加减法累加三值结果再乘权重尺度，共振发放（Resonate-and-Fire，RF）神经元指带复数衰减和振荡频率的发放模型。输入脉冲先经深度可分离时间卷积做局部声学滤波，进入三值门控循环保留长上下文，再经开关门控前馈混合通道并与残差相加，最后作为电流驱动并行共振发放积分并发放二进制脉冲。与已有脉冲语音系统保留连续浮点解码器不同，该设计把二进制事件流作为训练期约束；与三值循环语言模型保留连续激活不同，该设计在训练中直接学习离散事件接口。在LibriSpeech-960的test-clean无外部语言模型条件下以词错率（Word Error Rate，WER）为指标，大型模型以6.44±0.17%低于小型模型的8.09%，对应建模的运算能量率约为3.42 mJ/s，结论适用于无外部语言模型的独立声学模型条件。原文承认能量为解析估算而非实测，训练仍需全精度影子权重，且test-other上性能明显弱于test-clean。
🔗 开源与复现资源
- 第三方资源：https://www.openslr.org/11/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音识别在这里要解决什么困难
这篇论文做的是连续语音识别。输入是按 50 Hz 提取的 80 维对数 Mel 滤波器组特征，目标是把一整段话转成文字。语音里有停顿、协同发音和跨词的长距离上下文，模型既要提取短时声学特征，又要在句子尺度上记住上下文。评价用词错误率 WER 和字错误率 CER，数值越低越好。LibriSpeech-960 是英文朗读数据，论文主要看 test-clean 和 test-other；Aishell-1 是普通话数据，看 dev 和 test 的 CER。
脉冲神经网络的卖点是稀疏事件驱动：神经元只在发放时才向下一块传递 0/1 事件，静默时刻不做有效累加，理论上计算和访存更省。但传统做法里，一个块既要做特征提取又要靠带衰减的膜电位记上下文，停顿一长信息就漏掉。另一条路线是无矩阵乘法循环模型，权重做成三值，但激活仍是连续浮点，上神经形态硬件还要再做一次激活量化。论文的问题就是能不能把二进制脉冲约束直接放进训练，同时保留门控循环的长时滤波能力。
为此论文把存储和通信分开：三值权重约束存什么，脉冲约束块之间传什么。前者减少参数存储，后者让块间事件流天然稀疏。训练时下一块看到的就是推理时的 0/1 序列，反向用替代梯度穿过不可微的发放函数，这样量化不是部署时的后处理。
已有路线为什么还留下一个缺口
连续模型如 Transformer、Conformer、CitriNet 精度高，但依赖稠密浮点矩阵乘加，论文在同一 45nm 工艺常数下建模，Transformer 约 8.80 mJ/s，Conformer 约 11.28 mJ/s。这些估计只计乘加和累加等算术操作，不含归一化、访存和解码搜索，只是同一口径下的比较条件。
MatMul-free 的 MLGRU 把权重做成三值，去掉了稠密学习矩阵乘积，但连续激活仍在，映射到 Loihi 2 时要单独量化激活，8 位后精度明显下降，仍保留 16 位精度。也就是说权重离散了，激活离散还没有进训练。
脉冲语音识别的另一端是混合结构：脉冲编码器加稠密浮点序列解码器。例如 GSU、Spike-driven Transformer、IML-Spikeformer 都带 6 层连续解码器，编码器可以用稀疏累加，但解码器又把浮点瓶颈和串行执行带回来。QT-SNN 只做孤立关键词，DyTr-SNN 只在单说话人 LJSpeech 上验证且依赖稠密解码器。于是缺口很具体：没有已学习序列解码器、学习投影又不用稠密矩阵乘加的脉冲网络，能不能在 LibriSpeech 这种连续大词表任务上达到个位数 WER。
论文把任务切成存储与通信两个约束
论文提出一个类皮层的分工比喻：树突做门控非线性滤波，胞体做整合与发放。对应到模型，三值 MLGRU 负责时序滤波，并行共振发放神经元负责把连续残差转成 0/1 脉冲。三值权重约束存什么，RF 脉冲约束块之间传什么。关键是后者不是部署时的后处理，而是在训练前向中就产生下一块看到的 0/1 序列，反向用替代梯度穿过不可微的发放函数。
这样做的好处是推理时已学习投影不需要稠密浮点矩阵乘加，块间事件流天然是二进制。延迟缩放先用三值做加减累加，再在输出端乘一次尺度，数学上与先把尺度乘回权重等价，但避免了浮点权重矩阵。代价也在原文里写明：门控、残差缩放、RMSNorm 和神经元动态里仍有连续逐元素乘法，不是完全无乘法；量化感知训练还要保留全精度影子权重，训练开销仍在；为弥补 2 位权重的容量损失，通道做到 1024，时序核最大到 63。
训练并行性也来自这种解耦。MLGRU 状态更新没有稠密隐状态矩阵乘，可以用关联扫描并行展开；PRF 把复位折进复数衰减，膜电位变成线性递推，可以用快速傅里叶变换一次算完整段序列。原文报告这比参数量相当的 LIF 变体快 3.1 倍到 3.4 倍。
一个样本从波形到文字经过哪些步骤
拿一条 LibriSpeech 语音为例。先算 80 维 log-Mel 特征，50 Hz，再经过三值 2 维卷积前端做 4 倍下采样，帧率降到 12.5 Hz，每帧对应 80 毫秒音频。接着一个 MLGRU 加并行共振发放神经元做预编码，输出离散脉冲序列。然后进入若干个相同的 Spiking-Ternary GRU 块，每个块读入上一块的 0/1 脉冲和一条连续残差流，输出新的 0/1 脉冲和更新后的残差流。最后所有帧的末层脉冲进入 CTC 线性读出，投影到 10000 词的 BPE 词表，用 CTC 损失端到端训练，解码时把重复 token 合并、去掉 blank。
块内部有两条路：事件路是离散脉冲，经过深度可分离卷积和 MLGRU 滤波；残差路是连续的，用 RMSNorm 和可学习向量做稳定加和，再作为电流送给共振发放神经元。下一块的事件路只看到二进制脉冲，残差路则保留连续信息帮助优化。这是理解全文的关键结构。事件路处理块间通信对象，残差路处理层内稳定优化对象，两者在 PRF 处汇合再分开。
稀疏累加 × 矩阵乘加： 矩阵乘加指稠密浮点权重与稠密激活相乘再累加，是 Transformer 等连续模型的主要开销；稀疏累加指输入为 0/1 脉冲且权重为三值时，只在脉冲为 1 且权重非零时取数相加。本文用稀疏累加替代已学习投影中的稠密矩阵乘加，但逐元素的门控乘法和归一化仍保留。
CTC 读出 × 已学习序列解码器： 已学习序列解码器指带参数的自回归 Transformer 解码器，需要额外训练和稠密计算；CTC 读出指一层线性投影直接输出词表 logit，再用 CTC 对齐训练。本文不用已学习序列解码器，只保留一层 CTC 线性读出，因此主干可以保持事件驱动。
三值权重与延迟缩放如何省掉矩阵乘加
三值投影是本文的存储约束。每个全精度影子权重矩阵 W 先算绝对值均值作为尺度，再除以该尺度并四舍五入裁剪到 -1、0、+1。第一次出现时可以这样记：影子权重用于训练更新，前向实际参与累加的是三值矩阵。尺度保留了权重整体幅度，符号和稀疏由三值矩阵保留。
\[\widetilde{W}=\operatorname{RoundClip}\left(\frac{W}{\gamma_{W}+\epsilon},-1,1\right),\qquad\widetilde{W}_{ij}\in\{-1,0,+1\}.\]有了三值矩阵，朴素做法是把尺度乘回权重再做矩阵乘，权重又变回浮点。论文的延迟缩放是先用三值做加减累加，再在输出端乘一次尺度。两者数学等价，但后者把稠密浮点矩阵乘加变成稀疏加减加一次输出缩放。时序深度卷积同理，核系数为 +1 做加法，为 -1 做减法，为 0 跳过，最后再乘尺度。输入归一化在两种模式前都一样，不区分模式。
\[\mathcal{T}(V,\widetilde{W},\gamma_{W})_{i}=\gamma_{W}\sum_{j=1}^{d}\widetilde{W}_{ij}V_{j},\qquad i=1,\ldots,m.\]三值投影 × 延迟缩放： 三值投影指权重只取 -1、0、+1，决定网络存什么；延迟缩放指先用加减法累加三值结果，再在输出端乘一个标量，决定缩放何时加。两者搭配后，矩阵乘法变成稀疏加减加一次输出缩放，既保留幅度信息，又避免把浮点尺度折进每个权重里。
MLGRU 滤波与共振发放如何分工
每个块先对输入脉冲做 1 维深度卷积加逐点投影，得到连续表示 X，再进 MLGRU。MLGRU 有候选、遗忘门和门控分支，状态更新是逐元素加权，没有稠密的隐状态矩阵乘，因此可以用关联扫描并行展开。之后是三值 SwiGLU 通道混合和带 ReZero 向量 α 的残差加和，保证深层方差稳定。残差更新还对前后两路都做 RMSNorm，再用可学习向量加权相加。
残差流送给并行共振发放 PRF 神经元。传统 LIF 因硬复位导致必须串行反向，而 PRF 把复位折进复数衰减因子，膜电位更新变成线性递推，可以用快速傅里叶变换在频域一次算完整个序列。膜电位是复数，取实部超过阈值就发 1，否则发 0，输出的二进制序列直接作为下一块的事件输入，反向用多高斯替代梯度。复数衰减同时带有衰减和振荡，振荡部分帮助桥接停顿前后的上下文。
\[U_{t}=\exp\left(-\frac{\Delta}{\tau}\right)\left(\cos(\Delta\theta)+i\sin(\Delta\theta)\right)U_{t-1}+\Delta Z^{(l)}_{t}\]\[U_{1:T}=\mathcal{F}^{-1}(\mathcal{F}(Z^{(l)}_{1:T})\odot\mathcal{F}(K_{1:T}))\]\[S^{(l+1)}_{t}=\mathcal{H}(\Re\{U_{t}\}-V_{th})\]MLGRU 门控滤波 × PRF 共振发放： MLGRU 门控滤波负责连续的非线性时序整合，用门决定保留多少历史；PRF 共振发放负责把连续残差流变成 0/1 脉冲，决定块之间通信什么。滤波在前、发放脉冲在后，训练时就对离散脉冲流优化，而不是部署时再量化激活。
训练如何跨过离散化与深层不稳定
直接把随机初始化网络压成三值会产生量化冲击，论文用渐进式量化感知预热。前 10990 步内，有效权重是缩放连续权重与三值权重的插值，系数从 0 线性到 1，之后完全用三值，反向用直通估计更新连续影子权重。残差分支的 α 初始化为 0 或很小，早期近似恒等映射，梯度容易穿过深层。预热结束後前向权重已是三值，但反向仍更新影子权重。
学习率用半共振余弦退火 SRCA：先保持峰值 150 步，再做 2.75 个余弦周期，峰值按 0.75 指数衰减，起始相位从谷底开始扫。下图是该调度器的形状，横轴是训练步数，纵轴是学习率，可以看到 3 个依次变矮的峰和底部最低学习率虚线。左侧竖虚线是保持阶段结束位置，黑色实线是学习率，灰色横虚线是最低学习率。
读图任务是确认保持段很短、峰高递减、最终回到谷底，这解释了训练为何先稳定三值化再精调。图中起点约 5e-4，第一个峰最高约 9e-4，第二个峰约 7e-4，第 3 个峰约 5e-4，谷底都回到最低线附近。
看图路径： 1. 看横轴训练步数与纵轴学习率的三个余弦峰高度递减；2. 确认最左侧保持阶段与最低学习率虚线的位置
论文图 4。原论文 Figure S1:：“Figure S1: Semi-Resonant Cosine Annealing (SRCA) learning rate schedule with initial holding period (S_hold=150), followed by 2.75 cosine cycles with exponential peak decay…”。
该图确实显示一条黑色学习率曲线从保持线出发，先冲到最高峰再回落，之后两个峰依次降低，灰色虚线是最低学习率。它帮助理解训练不是单调下降，而是用多次退火让离散权重有机会跳出局部不良配置。需要强调的是，这只是调度形状，不直接证明识别精度来源。
数据、模型规模与能耗记账规则
LibriSpeech-960 用 SentencePiece BPE 10000 词表，Aishell-1 用 BERT-base-Chinese 分词器 21128 词表。前端通道 512 和 1024，主干通道固定 1024，核大小随语言阶段从 11、21、39、51 扩大到 63。Small、Medium、Large 分别有 4、8、15 层。下表是原文的阶段配置，说明容量靠加深同一阶段实现，Large 独有 63 核的扩展上下文阶段。
该表回答容量如何随深度和感受野扩展，比较的是三档规模在相同通道下的层数分配，不涉及精度与能耗方向。
| Linguistic Stage | Kernel Size | Small | Medium | Large |
|---|---|---|---|---|
| Stage 1 (Phonemes) | 11 | 1 | 2 | 3 |
| Stage 2 (Syllables) | 21 | 1 | 2 | 3 |
| Stage 3 (Words) | 39 | 1 | 2 | 3 |
| Stage 5 (Extended Context) | 63 | – | – | 3 |
| Total stGRU Layers | 4 | 8 | 15 |
该表显示通道全为 1024，核从 11 增至 63，Small 每阶段 1 层共 4 层，Medium 每阶段 2 层共 8 层，Large 每阶段 3 层共 15 层。限制是它只说明结构，没有训练超参和实际感受野的测量值，不能据此推算延迟。阶段命名从音素、音节、词、句子到扩展上下文，只是感受野由小到大的对应关系。
能耗是建模估算而非实测硬件功耗。45nm 下浮点乘加按 4.6 pJ，稀疏加按 0.9 pJ，PRF 更新按 17.5 pJ，按前向实际发放率和非零权重比例折算有效操作数。归一化、激活函数、残差缩放、访存和搜索解码都不计入。可选的 OpenSLR 4-gram 语言模型只做 CPU 查表，也不计入神经能耗。流式变体用非对称填充把未来帧限制为 4 帧，每帧 80 毫秒，共 320 毫秒前视，不改变 MLGRU 的无矩阵乘加特性。
主结果在什么条件下成立
不带外部语言模型时，Small、Medium、Large 在 test-clean 上分别为 8.09%、7.04%、6.44% 左右，Large 是 6 个种子的均值加减标准差；加 4-gram 语言模型后 Large 到 5.95% 左右。流式变体限制未来帧为 320 毫秒，Large 达到 9.11%。Aishell-1 上 Large 为 dev 9.28%、test 10.88%。这些数字都是独立声学模型的直接 CTC 解码结果，没有已学习序列解码器。
下表比较同任务、同划分下三档脉冲模型与连续基线的 WER 和建模能耗率，WER 越低越好，能耗率越低越好，Large 脉冲行是 6 种子均值、其余为 3407 种子单次运行。
| 模型与条件 | 指标 | Small 脉冲 | Large 脉冲 | 连续 Transformer 对照 |
|---|---|---|---|---|
| 建模能耗率 | mJ/s | 1.95 mJ/s | 3.42 mJ/s | 8.80 mJ/s |
脉冲模型在 test-clean 上首次做到无矩阵乘加、无已学习解码器下的个位数 WER，且建模能耗率明显低于连续 Transformer 和 Conformer。但 test-other 上 Large 仍有 17.49% 左右，明显弱于 test-clean；与最强连续和混合系统比，精度仍有差距。能耗优势依赖发放稀疏性和操作常数假设，CTC 读出中 0.05 mJ/s 的估计只计稀疏累加的算术部分，不含权重读取能耗。
下表单独对照 Aishell-1 测试集的字符错误率，数值越低越好。开发集 9.28% 的结果仍按上文独立报告，不能与 LibriSpeech 的词错误率混比。
| 模型 | Aishell-1 test CER |
|---|---|
| Large stGRU（从头训练） | 10.88% |
| VGG-BiLSTM | 10.7% |
该表对应论文明确给出的 Aishell-1 测试比较：本文模型接近 VGG-BiLSTM，但没有超过它；表中只比较测试集 CER，不能据此声称已达到原表中最强连续或混合系统。
L11 错误监测 × L14 置信承诺： L11 错误监测指深层第 11 层在识别错误时放电更高、更稀疏、发放率更偏对数正态；L14 置信承诺指第 14 层在高置信正确时放电最高、稀疏下降、分布偏高斯。两者沿深度连续过渡，被论文类比为从监测到承诺的功能交接，但只是统计相似性，不是因果证明。
深层为什么会出现错误与置信的分工
论文分析 Large 模型在词层面的放电，对象是词选择性神经元在词起始前后的群体放电。选择性按匹配 AUC 加 FDR q<0.001 判定，正确偏好再按 CTC 对数概率中位数分成高置信与低置信。浅层 L0 到 L5 对目标词 this 与声学近似词区分弱，选择性神经元少于 50 个；到 L11 到 L14 超过 250 个。L11 在识别错误时群体放电最高，稀疏度达到峰值 0.83，单神经元发放率更偏对数正态，ΔR2 为 +0.091。
L14 反转为高置信正确时放电最高，稀疏下降，分布偏高斯，ΔR2 为 -0.011。中间 L12 是拐点，3 类结果的群体发放分布几乎重合，组间比较至少一组不显著。
读图任务是沿深度看编码从快声学滤波变为慢语义整合，并定位 L11 与 L14 的功能反转。第一行看词起始后瞬态形状，第二行看错误偏好与高置信正确偏好的数量对比，第三行看每词静默比例定义的稀疏度，第四行和第五行分别看群体发放分布和单神经元发放率直方图。
看图路径： 1. 先看第一行 L11 与 L14 在词起始后 0 到 250 毫秒内的峰高与宽度差异；2. 再看第二行随层数增加的选择性神经元总数与红绿构成反转；3. 最后看第三行稀疏度在 L14 的下降与第四行分布分离在 L12 的消失
论文图 3。原论文 Figure 3:：“Depth-graded coding emerges in trained Spiking-Ternary networks.”。
该图第一行显示 L11 错误曲线在词起始后出现窄而高的瞬态，L14 的 3 条曲线都变宽变高；第二行柱状显示 L11 红色错误偏好最多，n=194，L14 绿色高置信正确偏好最多，n=254；第三行稀疏度在 L11 见顶后在 L14 骤降；第四行 L11 三分布分离而 L12 标为 ns。这支持深层存在从监测到承诺的梯度，但消融显示该选择性依赖门控提供的时序基底：完整模型在错误词空发射率 13.82% 时，只保留有发射试验后选择性总数只降 8.1%，去掉 MLGRU 门控后空发射率升到 57.76%，同样控制后选择性崩塌 95.5%，不能只归因于脉冲本身。
拿掉卷积、门控、脉冲或缩放会发生什么
同规模对照显示，只用线性加 RF 的 Large 在 test-clean 为 17.34%，加 Conv1D 后到 11.64%，再加完整 MLGRU 三值栈后到 6.14%，说明时序卷积和门控是精度的主要来源。权重从全精度三值化时，Large 连续 ReLU 基线从 5.83% 到 6.49%，增加 0.66 个百分点，建模能耗率从 33.48 到 4.10 mJ/s；把连续 ReLU 换成 PRF 脉冲后进一步到 6.14% 与 3.42 mJ/s。在 Aishell-1 上 LIF 变体反而略好，提示神经元选择与语言或分词有关，不能把 RF 一定更优推广到所有数据。
下表整理延迟缩放与训练并行性的消融，比较朴素折叠、延迟缩放与去掉缩放三者的 WER 与建模能耗，WER 越低越好。
| 缩放放置 | Small test-clean WER | Large test-clean WER | 建模能耗变化 | 训练速度 |
|---|---|---|---|---|
| 朴素折叠 | 8.15% | 6.44% | 9.78 mJ/s 对应 Small，17.74 mJ/s 对应 Large | LIF 串行较慢 |
| 延迟缩放 | 8.09% | 6.14% | 1.95 mJ/s 对应 Small，3.42 mJ/s 对应 Large | PRF 快 3.1 倍至 3.4 倍 |
| 去掉缩放 | 9.44% | 7.51% | 2.21 mJ/s 对应 Small，3.75 mJ/s 对应 Large | 并行性不变 |
延迟缩放以相近精度把建模能耗率降到约五分之一，去掉缩放则两档规模都明显变差，说明幅度信息不可省。PRF 相对参数匹配的 LIF 在 10 轮训练中快 3.1 倍到 3.4 倍，这是实测的吞吐量差异，不是建模能耗。但消融均为 3407 种子单次运行为主，Large 主结果除外，种子波动仍需注意。
分布拟合进一步支持功能交接。下图按层比较对数正态与高斯对发放率的拟合优度差。
看图路径： 1. 对比 L9 到 L14 上排红色对数正态与蓝色高斯曲线的贴合变化；2. 读下排 ΔR2 柱在 L11 最高、在 L14 变为负值的具体数值
论文图 5。原论文 Figure S2:：“Figure S2: Depth-dependent change in firing-rate fits (L9–L14).”。
该图上排显示 L11 红色对数正态明显更贴合直方体，下排 ΔR2 在 L11 为 +0.091 最大，经 L12 的 +0.064、L13 的 +0.041 衰减，到 L14 变为 -0.011 即高斯略优。它与稀疏度和选择性变化同向，但只是描述性统计，不能证明网络在做因果意义上的纠错控制。
哪些结论不能从现有证据推广
第一，能耗和显存都是理论建模。显存按参数量乘精度算，INT2 按 0.25 字节；能耗只计突触累加和 PRF 更新，Large 在 LibriSpeech 上共 66.70 焦耳折 3.42 mJ/s。访存、归一化、激活、残差缩放和解码搜索都没计入，CTC 读出的权重读取能耗也未计入，因此不能当作芯片实测功耗。
第二，模型不是完全无乘法。已学习投影避免了稠密矩阵乘加，但门控、残差、RMSNorm 和神经元动态仍有连续逐元素乘法，纯加法或纯整数硬件仍需特殊单元或近似。第三，精度在难集上明显更差，test-other 显著高于 test-clean；Aishell-1 上 Large 的 10.88% 接近 VGG-BiLSTM 的 10.7%，但低于最强稠密与混合系统。第四，内部的类前扣带回与前额叶类比基于放电方向、稀疏、时序和分布的联合相似，没有干预实验，不能理解为真正的错误监测回路。
复现第一步要准备什么
复现应从 SpeechBrain 流程搭起：80 维 log-Mel、4 倍下采样到 12.5 Hz、三值前端、4 到 15 层主干、CTC 损失。分词必须按原文：英文用一万 BPE，中文用 21128 词表，否则 WER 与 CER 不可比。训练在 LUMI 的 8 个 MI250X GCD 上做分布式，QAT 预热 10990 步，学习率按 SRCA 从千分之一峰值退到十万分之一谷底。
需要记录的关键量是每层输入发放率和权重非零比例，因为建模能耗完全依赖这两个稀疏度。若只复现精度，可以先跑 Small 验证 8.09% 附近；若验证能耗，必须用同一操作常数和同一 19,440 秒评测集分别统计下采样器、编码器和读出 3 段，否则与原文不可比。作者资源方面，本文证据只确认 OpenSLR 11 的第三方 4-gram 链接当前可用，不能写作者已开源代码或权重。
什么时候值得尝试这种结构
当部署要求已学习投影不用稠密浮点矩阵乘加、块间只传二进制事件，且能接受 CTC 直接解码时，这种结构值得尝试。它把激活离散化提前到训练中，推理的事件路径天然稀疏，Small 和 Large 的建模能耗率分别在 1.95 和 3.42 mJ/s 量级，参数存储也因 INT2 明显下降。
不适合的情况是追求最强精度、需要流式极低延迟实测保证，或硬件只能做整数加法。流式变体虽然把前视限制到 320 毫秒，但 WER 从 6.14% 升到 9.11%，且仍是建模能耗。后续验证应补三项：在同一硬件上实测功耗与延迟、对 test-other 难例做错误分析、在中文上对比 LIF 与 RF 的稳定性。只有补完这些，才能判断建模优势能否转为实际边缘收益。
📎 论文与评分元数据
排名：前25% | 文档类型：模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses