📄 Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization

#模型剪枝 #可解释性

5.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5

📝 5.9/10 | 前50% | #模型剪枝 | #模型剪枝 | #可解释性 | arxiv

👥 作者与机构

• 第一作者：Zheng Fang（武汉大学）
• 通讯作者：Shenyi Zhang（武汉大学数学与人工智能研究所）
• 作者列表：Zheng Fang（武汉大学）、Xiaosen Wang（华中科技大学）、Shenyi Zhang（武汉大学数学与人工智能研究所）、Shaokang Wang（上海交通大学）、Zhijin Ge（西安电子科技大学）

💡 毒舌点评

本文以一个直观的梯度能量集中现象为切入点，提出稀疏token选择优化替代传统密集波形更新，想法简单，实验在三款主流ALM上也展示了不错的攻击成功率。但问题同样刺眼：整个方法深绑白盒威胁模型，离实际攻防场景太远；更致命的是无代码、无模型、无Demo，连复现的最小诚意都没有，让其宣称的“促进安全对齐研究”显得像个空口号。

📌 核心摘要

本文研究音频语言模型(ALM)的越狱攻击，质疑密集波形更新的必要性。通过分析token对齐的梯度能量，发现梯度高度集中在少数音频token上（例如Qwen3-Omni上前16% token占90%梯度能量）。据此提出Token-Aware Gradient Optimization (TAGO)，在每步迭代中仅保留梯度能量最高的top-k token对应的波形区域进行稀疏更新，并辅以模型兼容的前缀模板和早停(EOS)抑制。在Qwen3-Omni、Qwen2.5-Omni和LLaMA-Omni上，TAGO在token保留率0.25时仍能维持86%的LLM-Judge ASR（Qwen3-Omni），远超随机后剪枝的Post-hoc prune基线，且攻击扰动SNR均在20dB以上，不易察觉。结果表明密集波形更新存在大量冗余，稀疏token级优化足以实现高效越狱。不足之处在于仅适用于白盒设定，且完全未提供开源代码或模型权重。

[图像补充] 图1为方法示意图，清晰展示了TAGO的整体流程：输入无害音频与文本提示，通过一个可微的音频编码器与LLM联合前向传播，利用梯度计算与token对齐，选择高能量token区域进行掩码更新，最终生成恶意音频扰动。

关键实验数据摘录（Qwen3-Omni 上 ASR）：

🔗 开源详情

• 代码：论文未提供代码链接。
• 模型权重：论文引用了Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B-Instruct和LLaMA-3.1-8B-Omni的开源HuggingFace地址，但未提供任何自己训练的权重。
• 数据集：使用AdvBench-50（源自Chao et al., 2025）和HarmBench（源自Mazeika et al., 2024），均为公开数据集，但论文作者未提供其经过处理的TTS音频版本的直接下载链接。
• Demo：未提及。
• 复现材料：附录提供了详细超参数、目标前缀模板及教师模型配置，但缺少最关键的、包含token-to-waveform映射逻辑的可执行代码。
• 引用的开源项目：如用于评估的SorryBench模型（ft-mistral-7b-instruct-v0.2-sorry-bench-202406）和用于合成语音的Google Cloud TTS服务，论文均未提供作者自研的任何开源资产。

🏗️ 方法概述和架构

TAGO是一种基于稀疏梯度优化的白盒音频越狱攻击方法，旨在以最少的波形更新实现高效的越狱。其核心洞察在于：在针对ALM的越狱优化过程中，音频token级别的梯度能量分布极不均匀，少数token承担了绝大多数优化信号。因此，密集地更新整个波形是低效且冗余的。TAGO的整体架构由以下四个核心模块构成，其算法流程如论文中的图2所示。

1. Token对齐的梯度能量计算： 为解决直接在音频波形上计算梯度不可控的问题，TAGO以音频编码器前端输出的预注意力音频token Φ(x) 为分析单元。首先计算损失函数关于波形扰动 δ 的梯度 ∇_δ L，随后根据每个音频token i 与波形样本点区间 R(i) 的感受野映射关系，将样本点的梯度能量按区间聚合，得到token级别的梯度能量 g̃_i(k) 。论文图3的热力图直观展示了这种梯度能量在音频token上的高度不均匀分布，证实了梯度集中的现象。

2. 稀疏token选择与波形掩码构建： 在每一次迭代 k 中，给定一个token保留率 ζ∈(0,1]，算法根据上一步计算出的token级梯度能量 g̃(k) 从高到低进行排序，动态地选择出能量最大的前 ⌈ζT⌉ 个音频token的索引集合 S(k)。随后，根据这个选定的token集合 S(k) 及其在波形上的感受野，构建一个二值波形掩码 M(k) ∈ {0,1}^L。掩码中，当波形样本点 s 属于任一选中token的感受野范围时值为1，否则为0。此步骤的目的是在优化前识别出对攻击目标贡献最大的音频区域，为后续的稀疏更新提供精确的位置指引。

3. 稀疏波形掩码及梯度更新： 此模块执行核心的稀疏优化。传统的密集更新会对整个波形应用梯度 ∇_δ L，而TAGO利用上一步构建的掩码 M(k)，通过哈达玛积 M(k) ⊙ ∇_δ L 仅保留选中区域的梯度，而将其他区域的梯度置零。最终的扰动更新公式为 δ(k+1) = Clip_{[-ϵ,ϵ]}( δ(k) – η (M(k) ⊙ ∇_δ L) )。该过程确保每次迭代的计算资源都集中在高信息量的音频区域。当 ζ=1 时，此稀疏更新策略退化为传统的密集更新。

4. 模型兼容的目标前缀与早停抑制： 为解决不同ALM回复风格差异导致攻击泛化性差的问题，TAGO首先从少量良性交互样本中提取出模型的原生回复风格，构造一个带占位符的模板 Prefix(q)，并动态填入恶意查询 q 生成优化目标前缀 r_{1:m}。损失函数采用前缀条件交叉熵。同时，为了压制模型在生成完目标前缀后就立刻输出 <|im_end|> 等结束符的拒绝捷径，TAGO引入了额外的早停惩罚项 λ_eos·L_eos，强制模型在匹配前缀后继续生成内容。优化过程还配备了一个基于前缀置信度的早停机制，当目标前缀的交叉熵损失低于预设阈值 τ(ρ) 时即停止迭代，以节省计算开销。

💡 核心创新点

1. 提出token对齐的梯度分析：首次从token级别对齐的角度，揭示了ALM越狱优化中梯度能量高度集中在少数音频token上的非均匀分布现象，为攻击优化提供了新的可解释性视角。
2. 提出稀疏token感知梯度优化(TAGO)：基于梯度能量集中的发现，提出了一种动态的稀疏优化方法，在每次迭代中仅更新梯度能量最高的top-k token对应波形区域，实现了与密集更新性能相当的越狱攻击，同时大幅减少了更新量。
3. 模型兼容的前缀模板与早停惩罚：设计了从良性交互中自动提取模型兼容回复模板的机制，并引入EOS抑制项，联合解决了跨模型风格适配和早停拒绝的难题，提升了攻击的稳定性和泛化性。

📊 实验结果

论文在AdvBench-50和HarmBench两个主流越狱评测基准的三个先进ALM上验证了TAGO的有效性。下表为AdvBench-50上的主要结果：

消融分析与关键发现：

• 稀疏有效性：在Qwen3-Omni上，TAGO在仅保留25% token（ζ=0.25）时，ASR_l仅从87%（ζ=1.0）下降至86%，ASR_r近乎无损，证明密集波形更新存在大量冗余。
• 稀疏 vs. 后剪枝：后剪枝基线方法在ζ=0.25时ASR_l仅1%，性能完全崩溃。这表明稀疏性必须在优化过程中动态实施，而非在优化完成后进行裁切。
• 跨模型泛化性：TAGO在三个不同的ALM上均表现最优。值得注意的是，安全对齐较强的Qwen系列模型从TAGO中的获益远大于对齐较弱的LLaMA-Omni。
• 跨数据集泛化性：在更大规模的HarmBench数据集上，TAGO依然表现出色。例如在Qwen3-Omni上，ζ=0.25时ASR_l仍可达70%。
• 输入多样性鲁棒性：当改变TTS合成时的说话人、音色或添加背景噪声时，TAGO的攻击成功率保持稳定，显示出对前端输入变化的鲁棒性。
• 攻击不可感知性：在ζ=0.25的设置下，TAGO生成的对抗性音频在所有模型上信噪比(SNR)均高于20dB，保证了听觉上的不易察觉。
• 敏感性分析：TAGO的性能对早停阈值ρ和token保留率ζ的变化表现稳健，在ζ=0.1的极端稀疏设置下仍能保持非平凡的攻击性能。

⚖️ 评分理由

• 创新性 (1.2/2)：问题洞察（梯度能量集中）直观且新颖，为理解音频越狱优化提供了新角度。但提出的TAGO方法本身属于经典梯度稀疏化思想的直接应用，模块设计（能量计算、top-k选择、掩码更新）组合痕迹明显，理论深度有限。
• 技术严谨性 (1.0/1.5)：对梯度分布的分析和假设有形式化定义和初步的收敛性证明，实验设计基本合理，消融实验覆盖了关键组件（稀疏率、早停、前缀模板）。但局限明显：原因分析仅限于现象展示，未深入探究为何梯度会在特定token处集中；收敛性分析基于强假设（局部光滑性与梯度能量下界），该假设在非凸的越狱对抗攻击场景下成立与否未经验证。
• 实验充分性 (1.2/1.5)：在三个ALM和两个基准数据集上进行了验证，并与几个基线方法进行了对比。同时，包含了对稀疏率、早停阈值、TTS说话人变化的敏感性分析，以及对后剪枝方法的消融实验。不足在于：基线方法较少，特别是缺少对其他可能的稀疏攻击策略（如随机稀疏、频率域稀疏）的对比；实验仅限白盒，未探讨其方法与黑盒/迁移攻击场景的任何联系。
• 清晰度 (0.8/1.0)：论文结构清晰，动机阐述和图表演示直观。但“Token-Aligned Gradient”的定义及其与最终“波形掩码”之间的映射关系对于音频领域研究者来说，其实现细节（特别是感受野的确定和聚合过程）描述仍不够直观和充分。
• 影响力 (0.6/1.0)：工作提出了一种新的视角来审视音频越狱攻击的优化过程，对后续开发更高效攻击或更鲁棒防御有启发意义。然而，严格的白盒假设极大地限制了其在真实世界威胁评估中的直接影响力。研究结论“密集更新冗余”虽正确但不够出乎意料，因为音频信号的冗余性在自监督学习中已被广泛认知。
• 开源 (0.0/1.0)：论文未提供代码、模型权重和完整的数据集复现链路。尽管引用了开源模型和数据集，但自身方法完全未开源，得分为零。
• 可复现性 (0.3/1.5)：尽管附录提供了超参数、前缀模板和早停阈值，但未提供代码，复现工作量和不确定性较大。尤其是涉及到复杂的token-to-waveform映射、音频编码器内部操作的适配，没有代码几乎不可能精确复现。
• 工程/实践价值 (0.8/1.0)：该方法为在计算资源受限条件下进行ALM的红队测试提供了更高效的备选方案，直接在波形层操作的工程实现门槛不高。然而，白盒前提是致命的工程限制，现实中几乎无法满足。

🚨 局限与问题

1. 威胁模型不切实际：这是最根本的缺陷。要求获取ALM完整参数和梯度的白盒假设，使得该方法在评估面向API提供商或端侧开源模型的真实攻击面时，价值极其有限。作者也承认了此点，但未能提供任何向灰盒/黑盒迁移的初步探索。
2. 机制分析浅尝辄止：论文止步于发现“梯度集中”这一现象，并作为“假设”直接应用。但并未深入回答更关键的科学问题：为什么梯度会集中在这些specific的token上？这些token对应了语音内容（如关键指令词）、模型注意力结构的偏好（如注意力汇聚效应），还是纯粹是优化动力学的偶然？缺乏此分析，使得文章的技术洞察力停留在现象级。
3. 对比基线薄弱：Post-hoc prune是一个较弱的对比基线。更严格的实验应加入“随机选择token进行稀疏优化”的基线，以证明梯度感知的选择机制确实有效，而非仅仅是“在优化中引入稀疏性”本身带来的收益。
4. 评估指标缺陷：虽然作者承认ASR_r可能被非有害但非拒绝的响应欺骗，但其所采用的LLM-Judge（ASR_l）方法本身也存在已知的误判率问题。特别是对于LLaMA-Omni，作者甚至因为原版Judge模型效果差而更换了另一套标准和更强的Judge模型，这种不一致的评判标准影响了不同模型间性能对比的公平性。
5. 优化资源分析的误导性：论文着重强调稀疏能保持性能，但图3显示，在ζ=0.25时，收敛所需迭代次数反高于密集更新（ζ=1.0）约26%。这说明梯度稀疏化可能导致了优化路径的曲折，此消彼长，其声称的“效率”优势并非总计算量上的碾压。

📷 论文图片

← 返回 ICML 2026 论文速递