神经网络架构

📄 Perforated Neural Networks for Keyword Spotting #关键词检测 #神经网络架构 #模型压缩 #边缘计算 📝 5/10 | 前60% | #关键词检测 | #神经网络架构 | #模型压缩 #边缘计算 | arxiv 学术质量 4/8 | 影响力 0.5/1 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Vishy Gopal（Purdue University） 通讯作者：未说明 作者列表：Vishy Gopal（Purdue University），Aris Ilias Goutis（Renesas Electronics），Ralph Crewe（Perforated AI），Erin Yanacek（Perforated AI），Rorry Brenner（Perforated AI） 💡 毒舌点评 亮点：将一种生物启发的训练框架（PB）应用于一个边界清晰、指标明确的边缘实用任务（KWS），并通过大规模超参数搜索在“精度-参数量”的帕累托图上展示了极具视觉说服力的优势。论文的工程价值和潜在应用吸引力显而易见。短板：这是一篇典型的“黑客松获奖报告”式论文，而非严谨的学术研究。其最核心的缺陷是实验对比的严重不足和科学严谨性的缺失：仅与一个陈旧的平台默认基线进行比较，完全回避与当前领域SOTA（如MobileNet、EfficientNet-Lite、高效剪枝/量化模型）的直接对决；核心声称（“普遍优势”）仅凭一次搜索的散点图支撑，没有任何统计显著性分析或消融实验来验证性能提升的确切来源。因此，其学术贡献大打折扣。 📌 核心摘要 要解决的问题：在边缘设备（如MCU、SoC）上部署关键词检测（KWS）模型时，面临着低内存、低算力和高精度不可兼得的矛盾。传统的模型压缩技术（如剪枝、量化）通常以牺牲精度来换取模型尺寸的减小。 方法核心：将穿孔反向传播（Perforated Backpropagation, PB）框架应用于Edge Impulse平台的KWS流程。PB在网络标准训练收敛后，为神经元添加“树突节点”。这些节点通过修改的级联相关规则（Equations 3 & 4）学习，其权重更新不通过主网络的反向传播梯度（Equation 2中对应项置零），从而在计算图中独立于主网络。 与已有方法相比新在哪里：PB被定位为一个“即插即用”的插件，而非全新的网络架构。它区别于传统压缩技术（如剪枝、量化），声称可以同时提高精度或减少参数。此前PB已在化学、金融、NLP、图像识别等领域有过验证，但本文是其首次在音频/边缘推理领域的系统性应用。 主要实验结果：在Edge Impulse KWS任务上进行了800次超参数搜索。结果显示，穿孔模型在帕累托前沿上全面超越传统模型。关键数据（来自Table 1）：最优树突模型（最小超过基线精度）参数量1,556，测试精度0.933（错误率0.067）；基线模型参数量3,859，测试精度0.921（错误率0.079）。与基线相比，最优模型在错误率降低16%的同时，参数量减少了60%。 实际意义：为边缘AI工程师提供了一种新的模型增强工具，通过增加少量计算复杂度（添加和训练树突节点）来换取在严格约束下的性能提升。 主要局限性：实验对比基线薄弱（仅为Edge Impulse平台默认模型），缺乏与当前轻量级SOTA模型（如MobileNet系列、EfficientNet-Lite、高效剪枝/量化模型）的对比；缺乏消融实验以验证树突节点机制本身相对于简单增加参数的有效性；实验结论基于一次超参搜索结果，缺乏统计显著性检验（如多次运行的均值、方差）；论文未提供数据集规模、具体损失函数、优化器、完整超参数配置及训练硬件等关键实现细节，严重妨碍可复现性。 🔗 开源详情 代码：https://github.com/perforated-ai/dendritic-impulse-block 模型权重：论文中未提供独立的模型权重下载链接。最佳模型的参数量和测试精度在文中给出（1,556参数，0.933准确率）。相关权重文件应包含在上述代码仓库中。 数据集：论文中未提供具体的数据集名称或独立的下载链接。实验使用了Edge Impulse平台标准关键词识别教程流水线中的数据。数据集原始来源及许可信息需参考Edge Impulse平台（未在论文中给出具体链接）。 Demo：论文中未提及。 复现材料：论文中未提供详细的训练配置文件或复现文档。但提供了Weights & Biases的超参扫描报告链接：https://wandb.ai/vishy-gopal/dendritic-kws/reports/KWS-sweep-report–Vmlldzo4OTcwMzU，其中包含了所有800次试验的详细配置和结果。 论文中引用的开源项目： Perforated AI GitHub 仓库：提供论文中所有模型代码。链接：https://github.com/perforated-ai/dendritic-impulse-block Edge Impulse：关键词识别实验的平台，但论文中未给出其具体项目链接。 Weights & Biases：用于进行大规模超参数扫描的工具。链接：https://wandb.ai/vishy-gopal/dendritic-kws/reports/KWS-sweep-report–Vmlldzo4OTcwMzU 🏗️ 方法概述和架构 整体流程概述：本文提出的方法是一个分阶段的训练框架，旨在将“树突计算”模块嵌入到现有的神经网络中。其核心流程为：首先，使用标准反向传播将一个基础的卷积神经网络（由Edge Impulse平台提供）训练至收敛；然后，交替进行“神经元阶段”和“树突阶段”的迭代优化，逐步添加并冻结“树突节点”，最终得到一个包含树突节点的增强模型用于部署。 ...

📄 Deep Learning with Learnable Product-Structured Activations #神经网络架构 #隐式神经表示 #深度学习理论 #信号处理 #可解释AI 🔥 8.0/10 | 前10% | #神经网络架构 | #神经网络架构 | #隐式神经表示 #深度学习理论 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Saanjali Maharaj（University of Toronto） 通讯作者：Prasanth B. Nair（University of Toronto） 作者列表：Saanjali Maharaj（University of Toronto）、Prasanth B. Nair（University of Toronto） 💡 毒舌点评 亮点在于LRNN架构将低秩函数分解思想巧妙地引入深度学习，其理论分析严谨（证明了通用逼近和维度诅咒缓解），并且实验设计得极为全面，从ImageNet图像到PDE求解，几乎“打穿”了隐式表示领域的主流基准。短板则是，尽管架构思想优美，但其每个“神经元”内部实际嵌套了一个小型MLP（用于参数化一元函数），这无疑显著增加了计算复杂度和训练时间，论文在性能与效率的权衡上讨论稍显不足，可能限制其在大规模实时应用中的部署。 🔗 开源详情 代码：论文明确提供了公开的代码仓库链接：https://github.com/dacelab/lrnn。 模型权重：论文中未提及公开预训练模型权重。 数据集：使用了公开的数据集（ImageNet, DIV2K, GTZAN, LibriSpeech等），但论文中未说明是否提供处理后的特定任务数据集。 Demo：论文中未提及在线演示。 复现材料：论文提供了极其详尽的复现信息，包括： 所有实验的具体超参数设置（学习率、调度器、模型尺寸等）。 架构的实现细节（如组件MLP的结构、LayerNorm的使用、方差控制缩放）。 各类消融研究的设计和结果。 训练硬件信息（单张RTX 4090 GPU）。 论文中引用的开源项目：论文依赖并对比了多个开源基准模型，包括SIREN、SPDER、WIRE、Gaussian Activated Networks等的官方实现。其实现基于PyTorch框架。 📌 核心摘要 问题：现代神经网络受限于固定激活函数，难以自适应地捕捉任务特定的高阶交互结构，且在表示高频信号时存在频谱偏差。 方法核心：提出“深度低秩分离神经网络”（LRNN）。其核心是每个神经元使用一个可学习的乘积结构激活函数，即多个可学习的一元变换的乘积，而非传统的固定标量激活。 新意：与传统MLP和固定激活的INR方法相比，LRNN的激活函数是高度灵活且数据依赖的，能自然地通过乘法合成丰富的频谱成分。该架构是标准MLP的推广，并建立了与低秩函数分解的理论联系。 主要实验结果：LRNN在多个任务上达到SOTA。在图像表示上，对1000张ImageNet图像达到40dB PSNR的成功率为100%，远超SIREN（1.8%）和SPDER（26.4%）。在音频表示上，MSE比基线低3-11倍。在PDE求解上，用SIREN 1/8的参数量实现同等或更低误差。在稀疏视图CT重建中，获得最高PSNR（29.13 dB）和SSIM（0.7455），且无伪影。 实际意义：提供了一种通用、表达能力强且理论清晰的神经网络构建模块，能显著提升信号表示、科学计算和成像任务的性能，有助于减少医疗CT的辐射剂量。 主要局限性：其反向传播需要存储中间乘积项，导致内存占用高于标准MLP；架构增加了每层的计算复杂度；虽然提供了消融实验，但对于如何在不同任务中最优地设置超参数（如分离秩r和投影宽度\(\bar{d}\)）的指导不够充分。 🏗️ 模型架构 LRNN（Low-Rank Separated Neural Network）是一种对多层感知机（MLP）的推广。其核心创新在于用可学习的乘积结构激活函数替代了固定激活函数。 ...

ICLR 2026 - 神经网络架构 共 1 篇论文 ← 返回 ICLR 2026 总览 排名 论文 评分 分档 🥇 Deep Learning with Learnable Product-Structured Activations 8.0分 前10% 📋 论文详情 🥇 Deep Learning with Learnable Product-Structured Activations 🔥 8.0/10 | 前10% | #神经网络架构 | #神经网络架构 | #隐式神经表示 #深度学习理论 👥 作者与机构 第一作者：Saanjali Maharaj（University of Toronto） 通讯作者：Prasanth B. Nair（University of Toronto） 作者列表：Saanjali Maharaj（University of Toronto）、Prasanth B. Nair（University of Toronto） 💡 毒舌点评 亮点在于LRNN架构将低秩函数分解思想巧妙地引入深度学习，其理论分析严谨（证明了通用逼近和维度诅咒缓解），并且实验设计得极为全面，从ImageNet图像到PDE求解，几乎“打穿”了隐式表示领域的主流基准。短板则是，尽管架构思想优美，但其每个“神经元”内部实际嵌套了一个小型MLP（用于参数化一元函数），这无疑显著增加了计算复杂度和训练时间，论文在性能与效率的权衡上讨论稍显不足，可能限制其在大规模实时应用中的部署。 🔗 开源详情 代码：论文明确提供了公开的代码仓库链接：https://github.com/dacelab/lrnn。 模型权重：论文中未提及公开预训练模型权重。 数据集：使用了公开的数据集（ImageNet, DIV2K, GTZAN, LibriSpeech等），但论文中未说明是否提供处理后的特定任务数据集。 Demo：论文中未提及在线演示。 复现材料：论文提供了极其详尽的复现信息，包括： 所有实验的具体超参数设置（学习率、调度器、模型尺寸等）。 架构的实现细节（如组件MLP的结构、LayerNorm的使用、方差控制缩放）。 各类消融研究的设计和结果。 训练硬件信息（单张RTX 4090 GPU）。 论文中引用的开源项目：论文依赖并对比了多个开源基准模型，包括SIREN、SPDER、WIRE、Gaussian Activated Networks等的官方实现。其实现基于PyTorch框架。 📌 核心摘要 ...