参数小不等于能跑：LiSenNet 在受限 NPU 上的算子与状态协同改造

英文题目：Beyond Model Size: Redesigning LiSenNet for embedded speech enhancement

标签：#语音增强 | #CNN | #模型量化 | #端侧运行

评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.5/1.5

👥 作者与机构

• Clément Laroche：机构信息未在 arXiv HTML 中可靠披露
• Rasmus Kongsgaard Olsson：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

单通道语音增强需从含噪短时傅里叶变换中恢复目标语音幅度并实时输出，难点在于受限神经网络加速器只支持静态整数量化卷积图，而小参数模型仍依赖循环、动态归一与异形重排。作者先将频域双向循环改写为深度可分离频率混合器，输出的子带特征进入时域建模，从而消除32步频轴展开导致的切片开销与编译停滞。接着将时域循环替换为因果空洞时间卷积网络并保留卷积门控，其有限感受野历史经先进先出缓冲在帧间传递，为流式推理提供可冲刷状态。然后把多维层归一化折叠为批量归一化、限幅激活约束为ReLU6、上采样改为转置卷积，得到全静态图后再做静态整数量化部署。与循环基线相比，该卷积重设计消除了主机回退并用有限感受野状态替代无限循环状态，具有漂移可冲刷与量化误差不累积的机制优势。在VoiceBank-DEMAND测试集条件下，LiSenNet-NPU的PESQ为3.01，高于LiSenNet的PESQ 2.93。该结论目前仅在单数据集、单芯片STM32N6与固定帧移条件下成立，向多语种、非平稳噪声与更长流式时长的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么嵌入式很难？

这篇论文研究的是单通道语音增强。输入是麦克风收到的含噪语音，目标是在嵌入式设备上实时输出更干净的语音。研究生首先要建立的动作是把任务拆成三约束来核对：延迟约束要求每跳输入必须在下一跳到来前算完，内存约束要求权重加流状态能放进微控制器片上资源，能耗约束要求计算尽量落在加速器而非主机处理器。原文的起点是参数量只有 37k 左右的 LiSenNet 已经在质量上可行，但它的图在 STM32N6570-DK 的 Neural-ART 加速器上编不过。

理解这一点很关键：论文不是追求更大模型，而是让小模型真正可编译、可量化、可流式。输出是增强后的幅度谱再结合含噪相位重构波形，离线的 Griffin-Lim 细化在因果推理中被省略。复述时要保留输入跳长、因果性、无浮点回退这 3 个限定，否则会把离线质量误当成在线质量。

同任务同约束下，前人走了哪两条路？

按同输入、同目标、同运行阶段来对照，前人大致分两类。第一类是轻量感知与循环估计路线，包括 RNNoise、PercepNet、NSNet2 和 DeepFilterNet，它们用帧级处理、听觉频带划分或深滤波降低全带复杂度，在中央处理器或数字信号处理器上代价很低。第二类是编码器混合器解码器路线，包括 FSPEN 和 LiSenNet，用结构化时频混合加子带处理把参数压到 10 万以下。

论文指出这两类常用的低参数、低乘加数并不能保证在固定功能微控制器加速器上高效，因为循环层、运行时 LayerNorm、动态整形和特殊非线性在通用处理器上便宜，在只支持静态整数卷积的加速器上可能无法编译或被迫回退到主机。另一支硬件感知研究做剪枝、量化和循环优化，但目标是明确支持循环或稀疏的处理器，与 Arm Ethos-U 和 Neural-ART 这类以静态卷积为主的编译器控制型加速器不同。

因此本文的对照基准不是谁参数更少，而是谁在同一块板、同一流程、同一流式方式下同时给出质量与延迟。

LiSenNet 的部署缺口具体卡在哪里？

原始 LiSenNet 是轻量单通道幅度掩蔽结构。给定含噪短时傅里叶变换，它取功率压缩幅度、归一化频率相位导数和归一化瞬时频率偏差作为输入，子带编码解码加跳连把频率维从 257 降到 32，再用双路循环瓶颈建模频率与时间依赖，解码器估计两个增益作用于含噪幅度谱。部署缺口集中在五处：频率轴双向门控循环单元无法作为受支持循环算子导入，按 32 个频率步展开会产生约 850 个张量切片操作并使编译器停滞；多维 LayerNorm 需要运行时统计。

PReLU 与 Mish 不在支持的整数字符集内且动态范围不利量化；基于整形的子像素上采样会产生不支持的秩 5 中间张量；全图张量维度必须在编译期固定。原文还强调小流模型的瓶颈往往不是乘加本身，而是主机执行、数据搬运和调度开销。复述时不要把问题说成参数太多，准确说法是算子与执行模式不兼容。

改造的全景：保留什么，替换什么，另行选择什么？

改造策略分 3 层，学习时要按依赖顺序记忆。第一层是保留骨架：子带编码器、渐进降频、U 形跳连和掩蔽解码器不动，保证输入表示与输出增益机制不变。第二层是瓶颈与算子替换：频率轴循环改为深度可分离卷积混合，剩余不兼容逐个局部替换，目标是全图只用 Neural-ART 可映射的静态整形原语导出。

第 3 层是时间建模的单独选择：时间轴循环在技术上可以通过暴露隐状态为图输入输出来部署，但主模型仍改用因果时间卷积网络，动机是长时流中的状态漂移与量化误差累积，而卷积先进先出状态只保留固定帧数，误差会随感受野滑出。沿一个样本走一遍就是：含噪短时谱求特征并拼接到编码器，降频到 32 带后进双路卷积块做频率混合与时间混合加卷积门控，再经转置卷积上采样解码出增益，乘到含噪幅度并用含噪相位做逆变换。

这一遍走通后再看消融与量化细节才不会迷路。

频率混合器如何替代双向循环？

频率瓶颈是主要矛盾。原文保留时间因果约束下的一个观察：当前帧的完整频谱已经可用，因此频率方向可以用对称上下文而不引入时间前视。替换后的频率混合器是深度可分离结构，先做频率对称深度卷积，再做逐点卷积做通道混合。论文尝试多种频率核尺寸后选择了 11，质量最好，且直接映射到加速器支持的卷积原语。需要核对的动作是张量保持批量乘 24 通道乘时间乘 32 频带的静态形状，避免批量合并整形。初学者易误以为卷积感受野越大越好，但后文宽度与深度实验显示并非单调，频率建模能力还要与通道宽和量化稳定性联合调试。

子带处理 × 双路建模： 子带处理负责把 257 个频点逐级压缩到 32 个频带，降低后续计算维度，双路建模负责分别处理频率依赖和时间依赖，二者搭配的原因是全带同时建模时空代价过大，组合后编码器先降频，双路瓶颈再分轴混合，形成编码器降维加瓶颈分轴混合的结构。

复述时要说清双向循环被替换的不是时间记忆，而是频率轴的双向依赖，时间记忆由下一组件的时间卷积另行承担。

时间卷积与流状态如何实现因果？

时间建模采用因果深度卷积加逐点通道混合加卷积门控，门控沿用 LiSenNet 的设计。深度卷积使用递增空洞率，时间方向因果填充，通道方向由逐点卷积混合。每个双路卷积块内是频率混合器接时间混合器再接卷积门控，堆叠 2 个或 3 个块形成 68、132、196 帧的感受野。流式实现上，编码器有 6 个先进先出状态，解码器有 1 个，每个双路卷积块有 6 个，总计 25 个张量，编码器加三块加解码器共 25 个。推理时每帧只计算当前步，历史激活存在缓存中，下 1 帧直接复用。

原文明确区分了 3 种执行：卷积加缓存的有状态、同样卷积但每帧重算全感受野的无状态、以及保留时间门控循环的混合变体。比较延迟时必须指明是哪一种，否则乘加数与毫秒数对不上。

因果时间卷积网络 × FIFO 状态： 因果时间卷积网络负责用不同空洞率的深度卷积加逐点混合提取固定感受野内的时序上下文，FIFO 状态负责在帧间保存所需的历史激活，二者搭配的原因是卷积本身无记忆必须靠外部缓存实现流式，组合后每帧只算当前步并复用缓存，有限历史使量化误差随窗口滑出而被冲掉。

有状态流式 × 无状态重算： 有状态流式负责把中间激活保留在片上缓存供下 1 帧复用，无状态重算负责每帧重新输入整个感受野并从头计算，二者对比的原因是同一卷积图可以用两种执行方式部署，组合意义在于揭示延迟主要来自重复计算而非参数量，有状态用内存换计算，无状态省状态但计算量随感受野线性膨胀。

初学者应先画出当前帧依赖哪几帧历史，再数缓存张量数，最后才看毫秒数。

归一化、激活与上采样如何变为整数友好？

剩余不兼容用局部替换解决。归一化把多维 LayerNorm 换成按通道 BatchNorm，推理时参数折叠进前一卷积，不再计算运行时均值方差。激活把 PReLU 和 Mish 换成 ReLU6，既在支持的 int8 算子集内，又截断激活范围以提高量化鲁棒性，最终还在解码器加限幅 ReLU6 以保护量化后质量。上采样把基于整形的子像素上采样换成频率步幅为 3 的 1 乘 3 转置卷积，避免秩 5 中间张量，并把解码器计算量降低约 3 倍。子带逐点卷积到转置卷积、激活到 ReLU6 与 Sigmoid 的对应都要逐 1 核对，确保导出图无浮点回退。教学上容易忽略的是有界激活不是为了提升浮点上限，而是为了让百分位校准的静态量化更稳定，这一点在后文深模型加限幅后 int8 回升中得到验证。

BatchNorm × ReLU6： BatchNorm 负责按通道做可折叠的归一化，推理时可线性吸收进前一卷积，ReLU6 负责把激活上限截断到 6 以控制量化动态范围，二者搭配的原因是 LayerNorm 加 PReLU 或 Mish 在 Neural-ART 上不支持或量化鲁棒性差，组合后归一化不引入运行时统计，激活不产生长尾，共同支撑静态 int8 映射。

静态 int8 量化 × Neural-ART 加速器： 静态 int8 量化负责在编译期固定激活与权重的量化参数，Neural-ART 负责只执行维度静态的整数卷积与矩阵乘，二者搭配的原因是加速器没有动态整形与浮点回退的低成本路径，组合后全图必须是没有主机回退的整数图，量化校准方式直接决定可部署性。

复述时要强调这些替换是编译与量化约束驱动的，不是通用精度优化。

训练与量化流程如何保证可比？

所有模型包括复现基线与变体都从零训练，采用同一 CMGAN 流程。目标函数组合复数谱、幅度谱与对抗损失，权重分别为 0.1、0.9 和 0.05，感知判别器按 MetricGAN+ 方式近似宽带语音质量评估。优化器为 AdamW，贝塔 1 为 0.8，贝塔 2 为 0.99，初始学习率 5 乘 10 的负 4 次方，衰减因子 0.98，训练 140 轮。数据为 16 kHz 的 VoiceBank-DEMAND，用原始训练测试划分，在完整 824 句测试集上报告。短时傅里叶变换用 512 点分析窗、256 点跳，对应 16 ms 帧移。

导出与量化用 ONNX 运行时的训练后量化，激活为有符号 int8，权重为按通道有符号 int8 加百分位校准。硬件用 ST Edge AI Core 4.0.1 在 STM32N6 上部署，Neural-ART 与 Cortex-M55 频率按原文记录，板载延迟用目标验证工具跑 10 次取数，执行轮次与内存取自编译器报告并用逐轮剖析器验证。未报告的是判别器更新节奏与数据增强细节，复述时应标为缺项而不猜测。

实验条件如何对齐质量与延迟？

实验分质量与板载两条线，条件必须分开核对。质量线以宽带语音质量评估为主指标，另报短时客观可懂度、尺度不变信噪比和 DNSMOS 的语音、背景、总分。除非另有说明，实时 int8 评估指静态 int8 估计掩蔽再用含噪相位重构。板载线在同一块板、同一流程、同一先进先出流式下测每发射 1 帧的处理毫秒数、实时因子、权重与状态内存、状态张量数和部署 int8 质量。流式变体每 16 ms 输入跳产生 1 帧输出，截止线就是 16 ms。

对比必须保留实际可运行策略：有状态卷积、混合循环、无状态重算，以及 ConvFSENet 与稠密 NSNet2 在同板同流程下的实现。指标方向要记牢：语音质量评估、可懂度、信噪比、DNSMOS 越高越好，毫秒数与实时因子越低越好。数值相同不代表同一指标，百分点与相对百分比也不同，跨指标差值不能混入模型列。

质量主结果：最终模型相对循环基线胜在哪里？

先提出比较问题：在相同数据集与训练流程下，卷积化加整数友好改造是否在浮点与 int8 都追上循环基线，量化损失是否更小。下表整理消融链中的关键质量点，感受野以帧计，P-32 为浮点语音质量评估，P-8 为 int8 语音质量评估，表中读数均为原文连续句给出的语音质量评估值。

表后解释是：最终模型浮点超出基线，int8 超出基线，浅层 C=24 的量化损失仅 0.01，而原循环基线为 0.08，说明有界激活与可折叠归一化主要改善的是量化保持而非单纯浮点上限。深模型的浮点随感受野拉长继续走高，但其 int8 会低于浅层 C=24 的 3.00，必须加限幅才能兑现长上下文收益。

下段转向板载延迟与质量的联合视图，为引出散点图做准备：横轴为每帧延迟，纵轴为板载 int8 语音质量评估，虚线为 LiSenNet 帕累托前沿，图中还标出 16 ms 截止线。

看图路径： 1. 先看横轴每帧延迟毫秒与纵轴板载 int8 PESQ，确认右下为高延迟低质量、左上为低延迟高质量；2. 再找红色 16 ms 截止虚线，数清落在线右侧阴影区的无状态点与 NSNet2 点；3. 对比深蓝色 LiSenNet-NPU 点与浅蓝色卷积点、绿色 GRU 点在虚线蓝色帕累托前沿上的位置；4. 注意圆圈大小表示 2 个或 3 个 DPC 块，确认深模型靠左上但仍在截止线内

论文图 2。原论文 Figure 2:：“Latency per emitted frame vs. on-device int8 PESQ (STM32N6). Dashed: Pareto front over all LiSenNet variants and baseline models.”。

上图是板载 int8 质量相对每帧延迟的散点，横轴为对数延迟，纵轴为板载 int8 语音质量评估，虚线为 LiSenNet 帕累托前沿，红色虚线为 16 ms 截止。可见深蓝色 LiSenNet-NPU 点位于前沿左上且在截止线内，红色无状态点与黑色 NSNet2 点落在右侧高延迟区，绿色循环点延迟更低但质量略低，浅蓝色不同宽度卷积点沿前沿分布。

板载延迟与内存：为什么必须用有状态？

板载比较的问题是：在 16 ms 截止下，哪种时间处理能同时满足延迟与质量。下表对比同图不同执行与外部基线，MACs 为每帧乘加数，状态为缓存大小，毫秒为每发射帧实测，实时因子为毫秒除以 16 ms。

表后解释主要收益与代价：有状态 C=20 仅 0.92 M MACs 和 2.59 ms 每帧，无状态同模型为 66.55 M MACs 和 29.93 ms 每帧，深模型差距从 1.69 to 336.31 M MACs 以及从 4.88 to 127.16 ms 扩大，无状态均超 16 ms 截止。最终模型以 4.83 ms 每帧与实时因子 0.30 通过截止，状态却达 154 KiB 超权重 45 KiB 3 倍多。未胜出项是循环深变体仅 2.18 ms 与 17 KiB 状态，延迟与内存更优但质量 2.98 略低；外部基线参数大一至两个量级但质量 2.91 与 2.83 更低，说明模型大小 alone 不预测部署质量与时间。

宽度、感受野与限幅：哪一步真正兑现收益？

消融按加法链组织，每加一行保留上面所有修改。第一步把双路循环换成卷积混合，浮点从 3.01 降到 2.97，int8 从 2.93 降到 2.86，说明结构替换有初始损失。第二步加整数友好算子并调宽：在 68 帧下 C=20 仅 2.90 与 2.85，C=24 回到 3.01 与 3.00，C=28 反而掉到 2.93 与 2.87，证明质量不随瓶颈宽单调上升，C=24 是 favorable 操作点。第三步拉长上下文：空洞 16 把感受野从 68 拉到 132，浮点到 3.03，深到三块 196 帧时浮点到 3.07，但 int8 仅 2.95 与 2.99，不及浅层 C=24 的 3.00。第 4 步在深模型解码器加限幅 ReLU6，参数与感受野不变，浮点再升 0.015 到 3.08，int8 升 0.029 到 3.01，才同时收回长上下文收益并超过量化基线。下表补充 int8 的多指标视角，方向均为越高越好，信噪比单位为分贝。

表后要讲清反例：新模型可懂度持平 0.934，三项 DNSMOS 分别从 3.02、3.63、2.64 升到 3.05、3.67、2.69，支持感知分改善的判断，但尺度不变信噪比从 17.7 降到 16.9，不支持波形重构精度保持的说法。有限解释是有限上下文卷积保可懂度与感知分，但不保原始模型的波形精度，未验证的推测不应写成因果。

哪些边界本文没有测，不能承诺？

论文直接报告的是 VoiceBank-DEMAND 上的质量与 STM32N6 上的延迟内存，不支持向其他语种、噪声、采样率或加速器的直接推广。长时流漂移与量化累积是换用卷积的动机，但原文未给出数小时流的误判率曲线，只能说有限窗口可冲掉误差，不能承诺永不漂移。循环变体延迟与状态更优，但其漂移与量化风险仍在，原文只说当状态内存与延迟优先时它是有效替代，没有说它在所有场景更优。统计方面只报告全测试集均值，未报告置信区间与显著性，总体趋势不等于每句都成立。

资源状态方面本次未发现可验证的代码模型数据链接，不得写已公开或当前可用，只能按原文方法复述。若把自动指标当人评，或把浮点质量当板载质量，都会高估收益。

复现先做什么，后验证什么？

复现的第一步是按原文重建数据与训练：16 kHz 划分、512 窗 256 跳、CMGAN 权重 0.1、0.9、0.05、AdamW 参数与 140 轮，先复现循环基线浮点 3.01 与 int8 2.93。第二步是逐项替换并每次导出静态图检查：频率混合核 11、BatchNorm 折叠、ReLU6、1 乘 3 步幅 3 转置卷积，确认无主机回退。第三步是量化：有符号 int8 激活加按通道有符号 int8 权重百分位校准，对比 C=20、24、28 在 68 帧下的 int8，确认 C=24 的 0.01 损失。第 4 步是流式：实现 25 个先进先出缓存，先跑有状态确认 4.83 ms 量级，再跑无状态确认数十至上 100 毫秒以理解差距，最后在板上用 10 次验证与逐轮剖析器核对内存。

值得尝试的时机是目标加速器同样只支持静态整数卷积且延迟卡在主机回退时；若加速器原生支持高效循环或内存极紧，则应优先评估混合循环变体。还需补的验证是长时流稳定性、不同噪声下的 DNSMOS 与人听评，以及编译器版本变化后的轮次分配。

一句话收束：协同设计到底协同了什么？

把全文压缩成可执行的判断就是：参数量、算子兼容、量化范围与持久流状态必须联合设计。频率卷积解决编译可行，整数友好算子加有界激活解决量化保持，空洞时间卷积加先进先出缓存解决因果流式，三者缺一都会在质量、延迟或内存某 1 维掉队。最终 LiSenNet-NPU 用 46.2k 参数、196 帧感受野、25 个缓存实现板载 int8 3.01 与 0.30 实时因子，超过量化循环基线约 0.08，但代价是状态内存远大于权重。

研究生复述时应保留基线、宽度选择、感受野与限幅 4 步因果链，以及有状态相对无状态一个量级以上的延迟差，忘记任何一步都会把协同简化成单一技巧。未来工作可沿循环与卷积的混合、更紧的状态压缩和跨芯片验证展开，但都需回到同板同流程的完整编译图上测量，而非只报参数与乘加数。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-25 语音/音乐/音频论文速递