标签：#音视频语音识别 | #CNN | #端侧运行 | #鲁棒性 | #高效推理
评分：6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Leonidas Delimpasis：机构信息未在 arXiv HTML 中可靠披露
- Panagiota Moraiti：机构信息未在 arXiv HTML 中可靠披露
- Antonis Porichis：机构信息未在 arXiv HTML 中可靠披露
- Panos Chatzakos：机构信息未在 arXiv HTML 中可靠披露
- Michail Karamousadakis：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
工业噪声下语音交互的输入为同步唇部视频与受损音频，输出为命令文本，难点在于低信噪比摧毁纯音频识别而边缘芯片又不支持三维卷积与注意力。该工作先用滑动窗口对视频与语谱图做中心对齐切分，再以逐帧卷积编码器提取空间特征并堆叠为时间图做时序卷积，同时用独立编码器处理梅尔倒谱系数，最后拼接双流嵌入并经多层感知机输出连接时序分类损失下的词元分布。与主流音视频方法相比，其机制差异在于将空时建模完全分解为顺序二维卷积并配合受限文法束搜索，用硬件兼容性换取表达能力。在GRID未见说话人划分噪声条件下，量化音视频融合模型的WER为14.0%，低于同条件纯音频基线的WER 22.5%，并在工业命令语料上取得98.6%命令准确率。该结论仅适用于小词汇固定文法与受控采集条件，未验证未见说话人、大词表与真实车间混响的外推。部署成本上论文给出了芯片与中央处理器及图形处理器的实测功耗对比，理论能耗则基于操作计数与互补金属氧化物半导体工艺常数估算。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，读完要能复述什么？
这篇解读的对象是刚进入语音、音乐与音频方向的研究生，目标是把 NAVIR 这套在 BrainChip AKD1000 上运行的音视语音识别系统讲到可核对、可复述。输入是说话人唇部视频裁剪区与对应音频，输出是整句词序列，并最终在演示中映射为机械臂动作。必须保留的信息包括硬件约束、数据划分、训练与量化条件、解码约束、评价指标方向与关键数字。你读完应当能说出系统把哪些主流结构去掉了、用什么替代了时间建模、噪声从哪里来、融合在何处发生、能量数字是如何算出与测出的。
本文默认只依据论文原文证据写作，不引入外部评价。资源状态方面，本次未发现来源绑定且完成验证的公开代码、模型或数据资源，因此不声称任何代码或权重已公开，内部工业指令语料按原文记为不公开。全文按学习依赖展开，先讲任务与相关路线，再讲方法全景与组件计算，接着讲训练、实验条件、结果与反证，最后讲复现与收束。教学用的举例会明确标为例子，不添加无来源的数值。
同输入同目标的已有路线为何上不了这块芯片？
GRID 是标准的句子级唇读基准，句子由固定六词语法生成，例如命令词加颜色词加介词加字母加数字加副词。已有高精度唇读路线几乎都是纯视觉，典型做法是用 3 维时空卷积抽取唇动，再用双向循环或注意力建模长依赖，并用连接时序分类或注意力解码输出字符。论文回顾的基线在重叠说话人条件下做到 2% 到五左右的词错率，在未见说话人条件下做到 9% 到十一左右。这些结构隐含假设有图形处理器级别的算力。
AKD1000 只支持顺序 2 维卷积推理，不支持 3 维卷积、循环层与注意力，也不直接支持浮点推理，需要整数位宽。因此主流唇读模型不能直接编译部署。神经形态方向的动机是用稀疏事件驱动的二值脉冲把乘加变为累加，从而让能耗随发放活动缩放。已有 AKD1000 应用集中在图像分类、舰船检测、脑电与医学影像等轻量稀疏推理，特点是能效优势明显但单模型容量有限、空闲功耗占比高、结构原语受限。
音视融合的脉冲方案在文献中多依赖跨模态注意力或浮点融合，同样不符合该芯片的顺序卷积约束。NAVIR 的定位就是在这种约束下做完整多流时序任务，而不是把大模型蒸馏后勉强运行。理解这一点，才能明白后文为何把时间维度拆出来单独处理。
工业噪声把纯音频识别逼到了什么境地？
论文要解决的是工业环境人机交互问题。机械、通风与环境活动噪声会显著降低纯音频自动语音识别的性能，工人只好退回键盘、触屏或物理开关，既慢又可能影响需要双手空出的安全操作。人类感知用唇形外观补偿听觉脆弱性，音视识别正是利用这种冗余。问题可操作化为在噪声测试下比较纯音频、纯视频与融合的词错率。词错率定义为预测与参考之间的最小编辑距离除以参考长度，越低越好。
在工业指令语料上还报告句子级命令准确率，越高越好。举例来说，如果参考是移动蓝色方块进箱子，预测错一个词就会同时拉低词错率与命令准确率，这只是帮助理解指标方向的例子。论文用固定负 10 分贝作为噪声测试条件，用 UrbanSound8K 中空调、钻孔、引擎怠速与风镐等机械子集做训练增强。关键对照是训练时见过噪声与否、测试时是否为噪声、是否加入视觉。只有同时固定这三者，才能判断融合的增益来自视觉而非训练技巧。
沿一个样本走完全流程：从开窗到机械臂动作
先跟一个 3 秒左右的样本走一遍。视频侧用现成的 MediaPipe 人脸网格提取唇部区域，音频侧转为梅尔频率倒谱系数表示。原始视频与音频先用滑动窗切成重叠短片，视频窗长与步长独立设置，步长约为窗长的三分之一以保证相邻窗大幅重叠，避免词落在边界被漏掉。音频窗以谱图时间帧数独立设置，宽度一般不等于视频窗，但每个音频窗与对应视频窗中心对齐，中心都落在同一时刻，这样融合时视频嵌入与音频嵌入保持 1 对一时间对应。
接着视频支路把窗内每 1 帧单独送入基于 AkidaNet 的逐帧编码器得到紧凑嵌入，再把这些嵌入沿时间堆成时间乘特征的 2 维图，送入第二个兼容网络做时序卷积，得到单个视频短片嵌入。音频支路把对应谱图片段送入第三个 AkidaNet 编码器得到音频短片嵌入。两个嵌入拼接成联合表示，送入轻量多层感知预测头输出词表上的对数几率，经柔性最大化得到每窗每词分数。
推理时分数矩阵形状为窗数乘词表大小，用利用已知语法的受限束搜索聚合成整句，再派发给机械臂执行。 下面导读图一的管线全景，帮你把上述分支与汇合点对上号。
看图路径： 1. 先从左侧语音视频与谱图出发，沿对齐开窗箭头看到视频窗与音频窗如何分开；2. 再看上支路逐帧编码器到时序卷积如何把多帧压成一个视频嵌入；3. 最后看下支路音频嵌入与上支路在拼接点汇合再进入预测头输出词
论文图 1。原论文 Fig. 1:：“NAVIR audio-visual pipeline. Aligned video and audio windows are independently encoded by AkidaNet-based per-frame, temporal-video and spectrogram-audio encoders.”。
图一从左到右展示了对齐开窗、双编码器、拼接与预测头的完整路径。像素可见左侧上方为连续唇部帧堆叠，下方为长条谱图，中间经对齐开窗变为短片帧与短片谱图。上支路依次经过逐帧编码器、单帧嵌入序列、1 维时序卷积网络得到视频短片嵌入，下支路经谱图编码器得到音频短片嵌入，两者在拼接块汇合后进入预测头并输出词。上支路把空间与时间拆成两步是为避开 3 维卷积，下支路独立设置音频窗宽但中心对齐是为保留同步。所有模块标注为兼容 AKD1000，意味着无 3 维卷积、无循环、无注意力。
三个编码器与预测头各自算什么，如何拼出能量公式？
图像编码器与谱图编码器复用去掉分类头的 AkidaNet 主干，属于移动网络风格的卷积结构，包含全卷积块与可分离卷积块、批归一化与上限为 6 的有界修正线性单元，最后用全局平均池化加稠密投影得到嵌入。GRID 上两编码器宽度乘子取 0.5，NAVIR 上取 0.25，逐帧嵌入 128 维，谱图嵌入 512 维。时序视频编码器把形状为窗长、1、128 的张量当作 2 维图处理，宽度为 1 使 2 维卷积等效为 1 维时序卷积，经 3 层卷积加全局平均池化再投影到 GRID 的 256 维或 NAVIR 的 128 维。
预测头是小多层感知机，GRID 输入 768 维经 512 与 256 两层隐层输出词表对数几率，NAVIR 输入 640 维经单层 256 隐层输出。缺失模态时直接去掉对应输入维度。解码维护前 B 个前缀假设，每帧考虑发空白、重复上一词或推进到合法下一词，剪枝保留最优，并有回退到最近合法句的保证。
脉冲神经网络 × 累加操作： 脉冲神经网络负责用二值稀疏脉冲表示激活，只有发放的神经元参与计算，累加操作负责把传统乘加中的乘法省掉而只做加法，二者搭配的理由是芯片能耗随发放率缩放，组合意义是把能耗公式从 MACs 乘以 3.7pJ 变为 MACs 乘以发放率再乘以 0.9pJ。
逐帧视觉编码器 × 时序视频编码器： 逐帧视觉编码器负责把单张唇部裁剪图压成 128 维空间嵌入，不看时间，时序视频编码器负责把一窗多帧的嵌入堆成时间乘特征的 2 维图再做时序卷积，搭配理由是 AKD1000 不支持 3 维卷积与循环，必须把空间与时间拆成两个 2 维卷积阶段，组合意义是得到单窗视频嵌入而全程保持硬件兼容。
能量分析采用操作计数框架。先看传统网络的计费方式，符号 MACs 表示乘加次数，EMAC 为每次乘加能耗。
\[E_{\mathrm{ANN}}=\mathrm{MACs}\times E_{\mathrm{MAC}},\]该式把总能耗写成操作数乘以单价。再看脉冲形式的计费，符号 rbar 为跨脉冲层的平均发放率，EAC 为每次累加能耗。
\[E_{\mathrm{SNN}}=\mathrm{MACs}\times\bar{r}\times E_{\mathrm{AC}}.\]该式把二值稀疏性写成乘以发放率，且单价更低。两者相除得到理论增益。
\[\frac{E_{\mathrm{ANN}}}{E_{\mathrm{SNN}}}=\frac{E_{\mathrm{MAC}}}{E_{\mathrm{AC}}\times\bar{r}}=\frac{3.7}{0.9\times\bar{r}}.\]原文用 45 纳米工艺常数 3.7 皮焦与 0.9 皮焦代入，测得平均发放率 27.55% 即稀疏度约 72.45%，算得约 13.17 倍。需要强调这只是理论估计，不含访存、并行与实现差异，只能做可复现的跨结构基线。
训练如何组织，量化与解码约束在何时介入？
训练用连接时序分类损失，允许只有句子标注的弱监督，通过空白符对所有对齐求和。优化全程只用 L2 权重衰减，与原始 AkidaNet 配方一致，不做幅度剪枝与 L1 惩罚。数据增强包括水平翻转与时间抖动，音频侧以 0.8 比例混入 UrbanSound8K 机械噪声，信噪比在训练时从负 15、负 10、负 5、0 分贝中采样。GRID 分未见说话人与重叠说话人两种协议，NAVIR 用句子级八二划分以测试未见句子的泛化，语料仅 2 位说话人故不测未见说话人。
浮点训练后按混合位宽量化，再做量化感知训练挽回损失，GRID 未见说话人微调 15 轮，重叠 100 轮，NAVIR 因语料小用 200 轮。量化记为输入层权重位宽、其余层权重位宽、激活位宽三元组，处理原始输入的编码器用 8/4/4，处理中间嵌入的视频编码器与预测头用 4/4/4。推理时预测头输出的帧级分数由受限束搜索解码，转移只允许构成合法句子前缀，束宽剪枝并跟踪最优完整假设，若无完整假设则回退扩展为最近合法句。
连接时序分类 × 受限束搜索： 连接时序分类负责在只有句子级标注时对所有对齐路径求和并用空白符吸收重复与静默，解决弱监督训练问题，受限束搜索负责在推理时只允许构成合法句子前缀的词转移并保留前 B 个假设，搭配理由是训练时需要开放对齐而测试时词表语法已知，组合意义是训练学到帧级词分数，推理保证输出语法合法并缩小搜索空间。
量化感知训练 × 混合位宽： 混合位宽负责规定首层权重 8 比特、其余权重 4 比特、激活 4 比特，且处理原始像素与谱图的编码器用 8/4/4 而处理中间嵌入的视频编码器与预测头用 4/4/4，量化感知训练负责在量化后继续微调以挽回精度损失，搭配理由是 AKD1000 只支持整数推理而不同阶段输入分布不同，组合意义是量化后 GRID 与 NAVIR 多模态精度基本保持。
原文未报告梯度在量化阶段是否截断、解码束宽具体取值与重置时机等细节，这些缺项在复现时应如实记录为未知，不从模型名推定实现。
数据、划分与测量条件是否可比？
GRID 含 34 人各 1000 句，固定六词语法最多生成 64000 种不同句子，视频每秒 25 帧，附词级对齐。未见说话人协议测试对新人的泛化，重叠说话人协议训练与测试共享说话人但句子不交叠。NAVIR 为内部工业指令语料，183 种命令、约 39 词，分移动、抓取、放置、前往与旋转 5 类，物体含蓝黄绿方块、白球、鼠标与电池，位置含箱与筐，另有回家等位置目标，每命令有多同义表述，2 位说话人各录全集共 366 条，不公开。噪声评估固定负 10 分贝，训练噪声来自预定义第一折之外的折，第一折留作评估。
硬件测量在树莓派 5 演示平台用 USB 功率计连续调用预计算输入 5 分钟取平均，笔记本图形处理器侧用轮询工具只计量显卡自身并归 1 到 5 分钟窗口。树莓派侧为空闲约 390 毫瓦时每 5 分钟的整机功耗，显卡空闲 alone 即 1280 毫瓦时每 5 分钟。两种测量口径不同，比较时需注明树莓派为整机而显卡仅为显卡，且精度有限，这些偏向反而对显卡有利。操作计数理论能量与板载实测功率分开讨论，不把帧率当延迟。
噪声下融合相对纯音频赢了多少，代价是什么？
先看 GRID 未见说话人浮点结果，比较问题是同样测试噪声下训练模态与融合是否带来增益，指标为词错率越低越好。
| Training modalities | Clean audio | Noisy audio |
|---|---|---|
| Clean audio | 3.7 | 79.9 |
| Noisy audio | 4.4 | 21.0 |
| Video | 34.0 | 34.0 |
| Noisy audio + video | 7.7 | 16.6 |
| Clean audio + video | 3.6 | 78.6 |
表后解释需要同时看到收益与反例。噪声测试下纯干净音频训练崩溃到 79.9%，噪声音频训练降到 21.0%，再加视频进一步降到 16.6%，支持视觉在声学退化时起锚定作用。但干净测试下融合的 7.7% 并不优于纯音频的 3.7% 到 4.4%，说明融合不是全条件占优。纯视频 34.0% 不受音频噪声影响，但绝对值远高于主流基线的 10% 左右，这是架构受限的代价。 再看量化后是否保持，条件与上表一致。
| Training modalities | Clean audio | Noisy audio |
|---|---|---|
| Clean audio | 4.2 | 77.3 |
| Noisy audio | 5.2 | 22.5 |
| Video | 35.3 | 35.3 |
| Noisy audio + video | 5.3 | 14.0 |
| Clean audio + video | 3.2 | 77.8 |
量化后噪声下噪声音频加视频为 14.0%，优于纯噪声音频的 22.5%，且略优于浮点的 16.6%，但原文明确该量化反超幅度小且在各配置不一致，不能推广为量化总能提精度。干净音频训练在噪声下仍为 77% 以上，确认无视觉则无可靠路径。 下面导读图二的代价视图，横轴为对数计算量，纵轴为词错率。
看图路径： 1. 先确认横轴为对数刻度的 GFLOPs，纵轴为词错率，气泡面积为参数量；2. 再对比左下绿色本模型点与右侧大参数基线点的横向距离；3. 最后沿蓝色未见说话人与红色重叠说话人两条虚线看误差随计算量的变化
论文图 2。原论文 Fig. 2:：“Pareto view of GRID lip-reading models, computational cost (GFLOPs, log scale) versus word error rate, for both overlapped-speaker (red diamonds) and unseen-speaker (blue…”。
图 2 像素显示左侧绿色本模型点孤立在低计算量区，横轴约 2 到 3GFLOPs，纵轴未见说话人约 35% 而重叠约 6.7%。右侧蓝色与红色大泡为 LipNet 等地基线，计算量在 10 到 100GFLOPs，误差更低但参数更大。蓝色虚线与红色虚线分别为两种划分的帕累托前沿，本模型在低算力端独自成点，说明作者自称帕累托不可比：在牺牲未见说话人精度下换取一个数量级以上的计算量下降。 理论复杂度对照进一步量化这种交换。
| Model | WER (%) | Params | FLOPs | ANN energy |
|---|---|---|---|---|
| LipNet [28] | 11.4 | 4.57 M | 10.69 G | 19.78 mJ |
| Wu et al. [35] | 10.21 | 10.89 M | 84.62 G | 156.54 mJ |
| Ours (video-only) | 35.30 | 1.49 M | 2.24 G | 4.15 mJ |
该表显示本视频模型以 1.49M 参数与 2.24G 操作达到 4.15 毫焦的理论 ANN 能耗，低于 LipNet 的 19.78 毫焦与新基线的 156.54 毫焦。结合 27.55% 发放率，脉冲理论值降至 314.92 微焦，约为等效 ANN 的 13.17 倍增益。但这只是操作计数估计，不代表板载实测。
噪声增强训练 × 音视融合： 噪声增强训练负责把 UrbanSound8K 中机械类噪声按负 15 到 0 分贝混入干净音频，让音频编码器见过退化输入，音视融合负责把视频嵌入与音频嵌入拼接后送入多层感知预测头，搭配理由是单靠增强音频在负 10 分贝下仍有 20% 以上词错率，需要视觉锚定，组合意义是在噪声测试下融合词错率显著低于任一单模态。
为核对 NAVIR 小词表上的保持情况，整理下表为五列宽表，数值全部来自原文连续句而非自行计算。
| 模态与测试 | 指标 | 浮点值 | 量化值 | 准确率保持 |
|---|---|---|---|---|
| 纯视频 | 词错率 | 0.5% | 0.7% | 100% |
| 噪声音频加视频干净测 | 词错率 | 0.3% | 0.6% | 100% 到 98.6% |
| 噪声音频加视频噪声测 | 词错率 | 0.9% | 1.5% | 100% 到 98.6% |
| 纯干净音频噪声测 | 词错率 | 97.5% | 98.7% | 02.8% 到 00.0% |
表后解释显示视觉模态在该受控两说话人任务接近饱和，量化损失极小，而纯音频在噪声下彻底崩溃，量化前后分别为 97.5% 与 98.7%，支持无视觉即不可靠的判断。未胜出项是噪声音频单模态在 NAVIR 噪声下仍有 42.6% 浮点与 43.1% 量化词错率，远差于融合。
哪些对照说明增益来自视觉而非训练轮数？
重叠说话人协议是关键反证，因为说话人已见但句子未见，可以分离声学记忆与视觉贡献。比较问题固定为噪声测试下噪声音频、纯视频与融合三者的相对位置。
| Training modalities | Clean audio | Noisy audio |
|---|---|---|
| Clean audio | 2.0 | 78.7 |
| Noisy audio | 2.3 | 11.8 |
| Video | 6.7 | 6.7 |
| Noisy audio + video | 0.8 | 3.3 |
| Clean audio + video | 0.8 | 77.1 |
表后解读为浮点下融合噪声测试 2.8%，明显低于纯噪声音频 10.4% 与纯视频 9.1%，干净测试融合 0.7% 也低于单模态，支持融合增益在两种测试下成立。干净音频训练在噪声下仍为 77% 以上，而噪声训练把噪声测试从约 79% 拉到 10% 量级，说明噪声增强本身贡献近一个数量级，融合在此之上再降约 7 个百分点。量化后重叠结果趋势保留，融合噪声测试 3.3% 对纯音频 11.8%，纯视频量化反而从 9.1% 改善到 6.7%，但原文不主张量化普遍更优。
另一个失败条件是干净音频加视频在噪声下仍高达 77% 左右，说明若训练没见过噪声，即使有视觉也救不回，视觉不能替代噪声增强。未评测边界包括 GRID 未做真实工厂混响与多说话人重叠，NAVIR 未测未见说话人与更大词表，因此不能把当前数字推广到开放词汇。
芯片约束与映射行为带来了哪些明确限制？
第一是结构上限。AKD1000 不支持 3 维卷积、循环与注意力，而这些正是主流唇读精度的来源，因此 GRID 未见说话人纯视频 35.3% 反映的是预算差距而非分解思想的根本极限。第二是音视模型的硬件映射退化。结构相同的图像编码器在纯视频检查点映射为 75 个神经处理器单序列，在音视检查点却与谱图编码器同为 348 个神经处理器九序列，每多一个序列就多 1 次片上上下文切换，这是音视吞吐从 14.55 次每秒掉到 2.61 次每秒的主因。
根因是映射器的二进制搜索会读取实际权重非零连接数，不同检查点的稠密分布导致不同划分，而本工作只用 L2 衰减不产生精确零，因此非零计数居高不下。第三是语料局限。NAVIR 仅 366 条 2 位说话人，只能验证未见句子，不能验证未见说话人与更广噪声。第四是前端仍依赖树莓派中央处理器运行人脸网格提取唇区，不是全链路神经形态。讨论中提出的稀疏感知微调、幅度剪枝或 L1 惩罚、更大语料与 AKD1500 等均记为待验证方向，不能当作已证收益。
要复现先做什么，需要哪些超参数与测量基线？
复现应先按划分复现识别数字，再复现能量与功率。GRID 按原文窗口与谱参数配置，视频窗 GRID 取 15 帧重叠 10 帧，NAVIR 取 18 帧重叠 12 帧，谱窗均为 60，采样率 GRID 为 50000 赫兹而 NAVIR 为 32000 赫兹，快速傅里叶点数与跳长分别为 2048 与 512、1024 与 320，梅尔带 112，噪声混合比 0.8。批量 GRID 取 16 而 NAVIR 取 3，浮点与量化轮数按划分取 30 加 15 或 100 加 100，NAVIR 取 200 加 200。编码器宽度与预测头隐层按数据集区分，GRID 用 0.5 与 512 加 256，NAVIR 用 0.25 与单层 256。解码必须实现语法受限束搜索而非贪心，保证输出合法句。
功率复现需用同一 5 分钟预计算输入法，记录整机与显卡口径差异，并以树莓派空闲 390 与显卡空闲 1280 毫瓦时每 5 分钟为基线扣除。板载数字显示纯视频 AKD1000 为每推理 0.0165 毫瓦时，约为同模型中央处理器 Akida 后端 0.0810 的五分之一，约为笔记本显卡 1.6913 的 1% 以上。音视模型 AKD1000 为 0.0894，与中央处理器 0.0866 基本持平但吞吐更低，对显卡仍有约 37 倍优势。 下面导读图三的实物闭环，帮你核对复现所需的硬件连接。
看图路径： 1. 先看左侧输入区摄像头与键盘录制控制如何接入树莓派；2. 再看中间树莓派经 M.2 转接板与 AKD1000 协处理器的双向连接；3. 最后看顶部机械臂如何接收识别结果形成输出闭环
论文图 3。原论文 Fig. 3:：“NAVIR demonstration system. An Obsbot Meet SE webcam supplies frame and audio capture.”。
图 3 像素左侧为输入区，Obsbot Meet SE 摄像头负责帧加音频采集，下方键盘图标负责开始与停止录制。中间为树莓派 5 经 M.2 转接板双向连接 BrainChip AKD1000 协处理器，顶部白色六轴机械臂接收指令执行动作。虚线区分输入、处理与输出三区，箭头表明从采集到推理再到动作的闭环。该图证明系统为全嵌入式自包含，但前端唇区提取仍在中央处理器上，这是复现时不可漏掉的依赖。
何时值得尝试这条路线，还缺哪项验证？
当部署受限为无图形处理器、电池或散热敏感，且任务词表固定、语法已知、噪声以机械稳态为主时，这条分解加受限解码路线值得尝试，因为它用可编译的 2 维卷积换取了噪声下的可用性。GRID 量化融合在噪声下未见 14.0% 与重叠 3.3%，NAVIR 融合在噪声下 1.5% 词错率与 98.6% 命令准确率，是支持该判断的最强证据。但若目标是开放词汇、未见说话人高精度唇读，或需要低延迟逐帧输出，则当前 35.3% 的未见纯视频误差与音视 2.61 次每秒的吞吐表明还不适用。
复现优先级是先跑通对齐开窗与三编码器拼接，再加入噪声增强与语法束搜索，最后做混合量化微调与 5 分钟功率测量。还需补的验证包括未见说话人的工业命令测试、真实车间混响而非叠加城市噪声、前端唇区提取的神经形态化，以及稀疏感知微调能否把音视映射从九序列降回单序列。常见误解是把理论 13 倍增益当作整机省电倍数，实际上整机含空闲基底与多次片上传递，板载纯视频约 5 倍于最强中央处理器基线才是可比口径。
另一个误解是把量化后个别点的提升当规律，原文已明确其不一致，应按配置逐项核对。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses