在没有神经加速器的微控制器上跑 65.7M 参数流式语音识别
论文把流式 Zipformer2 transducer 编码器压缩到 2 与 4 比特并用整数流水线在 ESP32-P4 上实时运行,在 LibriSpeech test-clean 上以 4.34% 词错率比原模型高 0.40 个百分点,而整数运算本身几乎不带来损失,代价集中在权重上。
论文把流式 Zipformer2 transducer 编码器压缩到 2 与 4 比特并用整数流水线在 ESP32-P4 上实时运行,在 LibriSpeech test-clean 上以 4.34% 词错率比原模型高 0.40 个百分点,而整数运算本身几乎不带来损失,代价集中在权重上。
EmbeddingGemma 2 用 271M 双向主干加视觉与音频编码器把交错多模态输入映射为 768 维单位向量,经文本预微调、多模态预微调和对比微调三阶段学习,在代码、图像视频文档和音频检索上建立新的参数效率前沿,且支持截断与量化部署。
论文针对折叠复用引擎中精度与工作量脱钩的问题,用按存储定价的混合精度和按调度周期定价的通道稀疏分别压缩权重带与计算调度,在 Kria KV260 上证明稀疏跳过能同时降低帧耗时与动态能量而精度宽度主要影响存储与功耗。
论文用三值 MLGRU 做时序滤波、用并行共振发放神经元在训练中直接产生二进制脉冲,在 LibriSpeech 上达到 6.44% 左右的 test-clean 词错误率,代价是更宽的通道、长卷积核与仍保留的逐元素连续乘法,且能耗数字只是基于 45nm 常数的建模估算。
Oído 把 13M 参数 Conformer-CTC 以整句整块加按帧动态 int8 的方式装进 ESP32-S3 并在 LibriSpeech 上做到 3.70%/8.23%,代价是单核约 2 倍实时、文本要在说话结束后数秒才出现。
论文为无网或弱网的非洲语言社区设计了一套离线语音交互流水线与两档硬件清单,并用三款 2-5B 指令模型在四种量化精度下的吞吐、内存、功耗与多语言分类准确率证明 Q4_K_M 是最兼顾速度与质量的部署选择,但树莓派首字延迟与奥罗莫语识别仍是短板。
Paradee 针对单音色 af_heart 把 Kokoro-82M 的文本侧与解码器分别蒸馏并直接拼接,在 200 句 held-out 上 UTMOS 4.41 接近教师 4.52,代价是保留 2-8 kHz 相位相关的轻微嗡嗡声并依赖相位锁定滤波做训练后修正。
针对被动声学监测每夜数十 GB 超声数据的问题,该工作把短时傅里叶特征加轻量谱减与全量卸载到 MVP 加速器的 8 比特 CNN 做成边缘门控,在空间异域低流行率下报告 AUC-ROC 0.9748 并抑制 99.4% 噪声帧,代价是只保留 65.3% 蝙蝠叫声且 100 毫秒窗仍需 104.00 ms 端到端延迟。
针对耳机助听器等电池供电设备的语音去噪功耗问题,Zephyr 把 Spiking-FullSubNet 改写为 INT8 硬件友好版本并配以稀疏感知的复用 PE 阵列,在 Intel N-DNS 上报告 14.54 dB 与 52.9nJ 每帧的估算能耗,代价是相对浮点原版约 0.66 dB 下降且能耗为 45nm 估算而非实测。
针对助听级单片机算力与功耗约束,论文用卷积网络估计最小方差无失真响应权重加轻量变换器逐帧修正,并以交错执行与混合精度在 GAP9 上实现 15 毫秒帧延迟,部署后报告 STOI 97.65%、SI-SNR 20.26 dB、宽带 PESQ 3.676、平均功耗 45.9 毫瓦,语音占空比下可超 16 小时续航,代价是权重刷新周期拉长到 564 毫秒且依赖语音 …
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对语音模型激活范围大导致常规校准信息损失的问题,论文把每层激活缩放因子校准写成局部均方误差初始化加全局任务误差优化,并用 CMA-ES 免梯度搜索求解,在五个语音任务上报告 INT8 基本无损、INT4 结合 PTQ 接近无损,但平均 2.31×加速等部署收益与部分 INT4 大误差并存。
论文把 Parakeet-CTC 的相对位置注意力、Swish 和异常激活全部改写为整数运算,在 LibriSpeech test-other 上以 4.97% 词错误率和 0.048 实时率跑通手机 NPU,代价是相对浮点基线仍高约 1.21 个百分点且依赖静态图与填充。
LUMO 针对无网与隐私敏感场景,在树莓派 5 上用本地语音识别加 4 比特量化小模型加本地合成组成全离线流水线,在短指令上报告低噪声下较低词错误率与约 3.2 秒端到端延迟,代价是强噪声下错误率明显上升且小模型推理能力有限。
针对 Conformer-Transducer 端侧过大问题,论文用二值低秩分解加梯度敏感度的混合秩分配把编码器压到亚 1 比特,用 LibriSpeech 上 1.0 bpw 混合秩 dev-other 词错误率 6.01% 与 0.2 bpw 仍可运行为证据,代价是解码器与联合网络仍需高秩且低码率下词错误率明显上升。
针对 2-3 比特下标准 GPTQ 把所有语音帧等同对待导致静音和填充主导校准的问题,DiffAQ 用编码器隐状态帧间差的幅度给 Hessian 加权,在 Whisper Medium LibriSpeech test-other 2 比特上把 WER 从 17.53% 降到 12.93%,代价是仍不能挽救 Base 模型 2 比特的表征容量不足且对突发噪声 …
该文针对带相对位置编码的 Conformer 在模拟忆阻器上执行时退化加剧的问题,确认编码后线性层的输出范围超出默认 ADC 量程是主因,用只放大位置编码层量程或去掉该线性层两种可运行方案分别将退化相对降低约 50% 和约 30%,代价是 ADC 面积功耗约束与基线小幅损失。
针对 STM32N6 上 Neural-ART 只支持静态整数量化卷积图的问题,该研究把 LiSenNet 双路 GRU 瓶颈改为卷积频率混合加因果空洞时间卷积并配套可折叠归一化与有界激活,最终以 46.2k 参数实现板载 int8 PESQ 3.01 与每 16 ms 跳 4.83 ms 处理,代价是 154 KiB 的 25 个 FIFO 流状态。
该文在因果语音增强梯子上用深监督加逐帧单调修复得到可比静态族,证明路由相对专用静态可高出约 0.11 感知质量但与修复后静态前沿差距小于 0.01,且在 STM32N6 实测时延上动态执行只提供同一梯子内的中间工作点。
该研究在统一协议下对 3 个核心加 8 个复现加 2 个盲测 TTS 模型做训练后量化,发现相同位宽下自然度损失完全取决于模型特异的敏感部件,最强证据是 4 比特逐通道权重让 Supertonic 下降 2.8 个 UTMOS 而 Kokoro 仅下降 0.07,而代价是逐张量缩放即使在 8 比特也会严重退化且真实部署的延迟与能耗必须逐运行时验证。