模型剪枝

📄 Efficient Text-to-Audio Generation via Pruning 标签：#音频生成 #模型剪枝 #扩散模型 #高效推理 #音频理解 7.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #模型剪枝 | #扩散模型 #高效推理 | arxiv 👥 作者与机构 第一作者：Arshdeep Singh（萨里大学） 通讯作者：未说明 作者列表：Arshdeep Singh（萨里大学）、Yi Yuan（萨里大学）、Yun Chen（萨里大学）、Wenwu Wang（萨里大学）、Mark D. Plumbley（萨里大学） 💡 毒舌点评 论文将成熟的模型剪枝技术系统性地应用于音频扩散模型，通过聚焦U-Net深层块实现了显著的压缩，并细致分析了剪枝对语义类别的影响，这一应用工作有一定价值。然而，其核心贡献存在明显短板：1）方法层面缺乏创新，使用的是最基础的、基于ℓ1范数的被动剪枝，未与当前先进的剪枝方法（如基于泰勒展开、梯度、结构化剪枝或自适应剪枝率等）进行任何对比，增量贡献有限；2）声称的“轻量级微调”实则需要1M步，其计算成本与训练小型模型相比未见优势；3）对其他模型的对比（如与AudioLDM2）在数据、配置公平性上存在疑问，且效率指标（MACs、推理速度）对比不完整。论文的实验洞察（如安全关键声音受影响）有价值，但解决方案（微调）过于常规。 📌 核心摘要 本文旨在解决基于扩散模型的文本到音频生成模型（如AudioLDM）计算成本高昂、难以部署的问题。核心方法是采用基于ℓ1范数的滤波器剪枝技术，针对模型中参数和计算最集中的U-Net深层卷积块（b3, b4）进行模型压缩，并辅以轻量级微调以恢复性能。实验结果表明，该方法能移除高达83%的U-Net参数和39%的乘加运算（MACs），经过微调后，模型的FAD和KL散度指标优于未剪枝的基线模型。此外，研究发现剪枝会影响模型生成某些声音事件（尤其是安全关键声音）的能力，但通过微调可大部分恢复。主要局限性包括：剪枝策略相对基础，缺乏与其它先进剪枝方法的对比；微调代价高昂（1M步）；效率评估维度（如不同硬件延迟）不足；与其他模型的对比存在公平性疑问。 ...

📄 Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization #模型剪枝 #可解释性 5.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.9/10 | 前50% | #模型剪枝 | #模型剪枝 | #可解释性 | arxiv 👥 作者与机构 第一作者：Zheng Fang（武汉大学） 通讯作者：Shenyi Zhang（武汉大学数学与人工智能研究所） 作者列表：Zheng Fang（武汉大学）、Xiaosen Wang（华中科技大学）、Shenyi Zhang（武汉大学数学与人工智能研究所）、Shaokang Wang（上海交通大学）、Zhijin Ge（西安电子科技大学） 💡 毒舌点评 本文以一个直观的梯度能量集中现象为切入点，提出稀疏token选择优化替代传统密集波形更新，想法简单，实验在三款主流ALM上也展示了不错的攻击成功率。但问题同样刺眼：整个方法深绑白盒威胁模型，离实际攻防场景太远；更致命的是无代码、无模型、无Demo，连复现的最小诚意都没有，让其宣称的“促进安全对齐研究”显得像个空口号。 📌 核心摘要 本文研究音频语言模型(ALM)的越狱攻击，质疑密集波形更新的必要性。通过分析token对齐的梯度能量，发现梯度高度集中在少数音频token上（例如Qwen3-Omni上前16% token占90%梯度能量）。据此提出Token-Aware Gradient Optimization (TAGO)，在每步迭代中仅保留梯度能量最高的top-k token对应的波形区域进行稀疏更新，并辅以模型兼容的前缀模板和早停(EOS)抑制。在Qwen3-Omni、Qwen2.5-Omni和LLaMA-Omni上，TAGO在token保留率0.25时仍能维持86%的LLM-Judge ASR（Qwen3-Omni），远超随机后剪枝的Post-hoc prune基线，且攻击扰动SNR均在20dB以上，不易察觉。结果表明密集波形更新存在大量冗余，稀疏token级优化足以实现高效越狱。不足之处在于仅适用于白盒设定，且完全未提供开源代码或模型权重。 ...