论文解读

不留浮点的 Conformer:I-Parakeet 如何在手机 NPU 上跑起 0.6B 语音识别

论文把 Parakeet-CTC 的相对位置注意力、Swish 和异常激活全部改写为整数运算,在 LibriSpeech test-other 上以 4.97% 词错误率和 0.048 实时率跑通手机 NPU,代价是相对浮点基线仍高约 1.21 个百分点且依赖静态图与填充。

 · 更新于 2026-11-04 · 约 18 分钟 · 8942 字 阅读 →
论文解读

树莓派上不联网也能说话:LUMO 如何把识别、生成与合成装进 8 GB 内存

LUMO 针对无网与隐私敏感场景,在树莓派 5 上用本地语音识别加 4 比特量化小模型加本地合成组成全离线流水线,在短指令上报告低噪声下较低词错误率与约 3.2 秒端到端延迟,代价是强噪声下错误率明显上升且小模型推理能力有限。

 · 更新于 2026-11-04 · 约 19 分钟 · 9441 字 阅读 →
论文解读

因果错位不蒸馏特征值:用历史关系拓扑教流式关键词模型

针对非因果教师特征含未来上下文与因果学生零前视能力冲突的问题,该文用下三角掩码的样本内时间关系蒸馏加离线双向拓扑先验,在 GSC V2 上把因果 1D-CNN 准确率从 95.12% 做到 96.91%,并在 1.0 FA/h 下把连续流误拒率从 8.52% 降到 4.15%,且不增加部署参数与单步延迟。

 · 更新于 2026-11-04 · 约 20 分钟 · 9959 字 阅读 →
论文解读

在线又剪枝又微调:OnDA 把个性化关键词识别的架构也拿到端上改

OnDA 针对常开关键词识别的说话人与环境偏移,把权重自学习与结构化通道剪枝都搬到端上,用伪标签的域内数据做剪枝与微调,在 HeySnips/HeySnapdragon 上以 0.5 次误报每小时下等精度实现最高 9.63×压缩,代价是伪标签噪声与微调样本更少且剪枝时机影响端上能耗回本点。

 · 更新于 2026-11-04 · 约 19 分钟 · 9272 字 阅读 →
论文解读

解开 1 比特下限:用可变秩二值分解把编码器压进亚比特

针对 Conformer-Transducer 端侧过大问题,论文用二值低秩分解加梯度敏感度的混合秩分配把编码器压到亚 1 比特,用 LibriSpeech 上 1.0 bpw 混合秩 dev-other 词错误率 6.01% 与 0.2 bpw 仍可运行为证据,代价是解码器与联合网络仍需高秩且低码率下词错误率明显上升。

 · 更新于 2026-11-04 · 约 19 分钟 · 9146 字 阅读 →
论文解读

不用并行编码器:用语音活动与谐波线索调制瓶颈的轻量多模态增强

针对强噪声下轻量声学麦克风增强容量不足的问题,LAU-NetV2 用皮肤加速度计压缩出语音活动和谐波两路线索以特征调制方式控制 U-Net 瓶颈,在 TAPS 加 DNS 噪声上把 PESQ 从 1.78 提升到 2.78,代价是增加约 30k 调制开销并需经 40% 剪枝才能在 MCU 上满足 48.66 ms 推理预算。

 · 更新于 2026-11-04 · 约 17 分钟 · 8189 字 阅读 →
论文解读

冻住已发货检测器再长出新词分支:参数封顶的模块化关键词扩展

为在拿不到原始训练数据且不允许老词退化的条件下增加新触发词,该文冻结约 150k 参数的基座并只训练不超过 10k 参数的扩展分支与新词头,在固定 1% 误接受率下把新词平均漏检率从可部署独立模型基线的 6.46% 降到 4.37%,最坏情况计算量为 16.34M,低于同预算适配器与低秩适配的 18.45M 与 20.52M。

 · 更新于 2026-11-04 · 约 21 分钟 · 10231 字 阅读 →
论文解读

关键词只偶尔出现,为何卷积要每帧都全算一遍:子模型短时记忆的稀疏调度

针对流式关键词检测中逐帧输出带来的池化状态冗余,论文把卷积主干切成以池化结尾的子模型并按静态调度稀疏执行,在保持识别精度的同时把嵌入计算和缓存都压下来,但分类间隔拉大也带来了可测的延迟代价。

 · 更新于 2026-11-04 · 约 21 分钟 · 10436 字 阅读 →
论文解读

留住跨模态共有通道:面向气导骨导融合的 CCAP 结构化剪枝

针对气导易受噪、骨导带宽受限而融合模型又难上穿戴设备的问题,CCAP 用双路零掩蔽相对多模态响应的保持度给卷积通道打分并剪掉低分通道,在 TAPS 上多架构保持 PESQ 与 STOI 的同时把 50% 剪枝 LAU-Net 在 Cortex-M7 上的延迟降到 87 ms,但高剪枝率与单次剪枝加微调仍是主要代价与边界。

 · 更新于 2026-11-04 · 约 18 分钟 · 8575 字 阅读 →
论文解读

床旁直接算语音:把采集、计算与显示装进一台嵌入式设备

针对临床录音需外传处理带来的延迟与信息技术障碍,该演示把韵律分析全流程搬到 NVIDIA Jetson AGX Orin 上本地运行,用麦克风采集、显示器呈现交互仪表盘,并以快于音频时长的本地处理支撑床旁复核与重算,但原文未报告可比精度与延迟数字。

 · 更新于 2026-11-04 · 约 21 分钟 · 10171 字 阅读 →
论文解读

三路不对齐时先对齐再融合:LMPAN 用轻量多路径校准保住双讲语音

针对全双工对话中时延漂移与能量失配导致回声残留和过抑制问题,LMPAN 用多路径软对齐加注意力融合与动态目标加两阶段 SSL 训练,在约 480K 参数和 126M 计算量下取得与 DeepVQE-S 可比的主观与下游任务表现,代价是动态目标会略微拉低整体 MOS。

 · 更新于 2026-11-04 · 约 23 分钟 · 11495 字 阅读 →
论文解读

小参数做音频问答:Samsone 用裁剪与数据配比换端侧可用性

Samsone 针对端侧音频问答任务,采用 Whisper-Tiny 编码器加 SmolLM2 解码器的标准结构并做词汇表缩减与深度剪枝,在 MMAU 等基准上以 99M 至 356M 参数取得可比大模型的成绩,代价是语言通用能力下降且未做硬件级优化。

 · 更新于 2026-11-04 · 约 17 分钟 · 8111 字 阅读 →
论文解读

在时域里学增益:WaveNorm 如何同时做响度归一与降噪

针对远近场电平起伏与噪声下传统增益控制易放大噪声的问题,WaveNorm 选择全因果时域卷积加 GRU 瓶颈的端到端映射,在 -70 dB 宽动态与多种噪声下报告约 6 dB 降噪与符合 P.56/P.79 的响度稳定,代价是 49 M MACs 与 55 KB 的端侧预算约束。

 · 更新于 2026-11-04 · 约 19 分钟 · 9062 字 阅读 →
论文解读

延迟云端来帮忙:用空间统计稳住低算力多通道语音增强

针对可穿戴设备低算力实时增强能力不足的问题,论文用冻结的大容量云端模型以延迟输出、中间层特征和协方差融合三种方式辅助边缘小模型,在标准集上把 SI-SDR 从 1.97 dB 提升到 5.74 dB,在挑战集上从 -1.16 dB 提升到 2.33 dB,边缘侧仅增加约 1.5% 参数和 2.4% 计算量。

 · 更新于 2026-11-04 · 约 18 分钟 · 8597 字 阅读 →
论文解读

先降维再建依赖:RALCT 用随机增强与卷积 Transformer 做轻量环境声识别

针对助听器难辨非语音环境声的问题,RALCT 把随机音频增强、MFCC 与 log-mel 拼接、CNN 降维与 Transformer 建模串成一条流水线,在 UrbanSound8K 上以约 310000 参数达到最高 94.56% 验证准确率,代价是增强强度受内存限制且部分易混类别仍偏弱。

 · 更新于 2026-11-04 · 约 18 分钟 · 8960 字 阅读 →
论文解读

在手机上同时跑三个十亿级模型:Argmax Pro 如何兼顾实时转写、说话人与自定义词表

Argmax Pro 针对离线可用的富功能语音识别问题,选择以 Parakeet v2 做转写、Canary v2 CTC 经 CTC-WS 做偏置、Streaming Sortformer v2 微调做说话人切分并全部部署到手机 NPU 上,论文报告自定义词表可扩至 3000 词而不影响运行时延迟,但未给出词错率、延迟与功耗的定量对照。

 · 更新于 2026-11-04 · 约 17 分钟 · 8401 字 阅读 →
论文解读

参数小不等于能跑:LiSenNet 在受限 NPU 上的算子与状态协同改造

针对 STM32N6 上 Neural-ART 只支持静态整数量化卷积图的问题,该研究把 LiSenNet 双路 GRU 瓶颈改为卷积频率混合加因果空洞时间卷积并配套可折叠归一化与有界激活,最终以 46.2k 参数实现板载 int8 PESQ 3.01 与每 16 ms 跳 4.83 ms 处理,代价是 154 KiB 的 25 个 FIFO 流状态。

 · 更新于 2026-11-04 · 约 15 分钟 · 7324 字 阅读 →
论文解读

逐帧早退省算力吗?修直出口梯子后动态路由不再超越静态前沿

该文在因果语音增强梯子上用深监督加逐帧单调修复得到可比静态族,证明路由相对专用静态可高出约 0.11 感知质量但与修复后静态前沿差距小于 0.01,且在 STM32N6 实测时延上动态执行只提供同一梯子内的中间工作点。

 · 更新于 2026-11-04 · 约 18 分钟 · 8965 字 阅读 →
论文解读

小参数也要听懂声音:Mizar 用频率合并与三阶段训练补齐音频证据

Mizar 针对 200M 参数以下本地音频理解问题,用 CED-Small 加频率合并映射器连接 SmolLM2-135M,并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督,在 MMAU 等三项基准上报告超越同规模 Mellow 的结果,代价是仍需三阶段调参与教师模型辅助筛选。

 · 更新于 2026-11-04 · 约 19 分钟 · 9210 字 阅读 →
论文解读

说话与开枪必须同步:PUBG Ally 如何把慢推理装进快对局

PUBG Ally 用事件驱动的语言模型做高层意图与语音、每刻运行的行为树做移动战斗恢复来解决语音协同与实时控制的矛盾,最强证据是 2B 端侧学生在能力评分上追平 31B 教师且端到端语音往返约 1.6 秒对云端约 3.4 秒,代价是安全加强后良性拒答小幅上升且残局战斗评分仍偏低。

 · 更新于 2026-11-04 · 约 22 分钟 · 10638 字 阅读 →