📄 SARSteer: Safeguarding Large Audio Language Models via Safe-Ablated Refusal Steering

6.5/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.6/1 | 影响 0.7/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5

✅ 6.5/10 | 前50% | #测试时自适应 | arxiv

👥 作者与机构

• 第一作者：Weilin Lin（香港科技大学（广州））
• 通讯作者：Li Liu（香港科技大学（广州））
• 作者列表：Weilin Lin（香港科技大学（广州））、Jianze Li（中山大学理学院）、Hui Xiong（香港科技大学（广州））、Li Liu（香港科技大学（广州））

💡 毒舌点评

这篇论文精准抓住了LALM安全对齐中的一个真实痛点——音频模态为何让现有激活引导方法惨败，并用t-SNE和CKA双重视角给出了还算有说服力的解释。然而，方法本质上是"文本侧拒绝提示引导 + PCA投影去安全子空间"的组合，像一道精巧的工程菜，但缺乏任何让人眼前一亮的新调料。更致命的是：所有实验均在TTS合成的干净音频上进行，一到真实语音场景就靠附录里零星的探索来搪塞，审稿人完全有理由质疑其实际部署有效性。声称代码开源却缺乏文档，评估全靠有系统性保守偏差的LLM裁判，这些硬伤很难让顶会审稿人爽快放行。

📌 核心摘要

1. 解决问题：大型音频语言模型（LALM）面临严峻的音频输入安全隐患——语音输入相比文本更容易诱导模型输出有害内容，而直接迁移LLM/LVLM的安全对齐方法到LALM时遭遇两大失败：(1) 基于音频对比的激活引导因音频模态与文本模态的隐空间分布鸿沟而完全失效，反而恶化安全性能；(2) 提示型防御在语义相近的良性查询上引发显著的过度拒绝问题。
2. 方法核心：SARSteer是一个纯推理时安全防御框架，其两大组件分别是：(1) 文本派生拒绝引导——不对比音频激活，而是从追加的纯文本拒绝提示（默认"I cannot assist with that."）中提取激活差异向量，完全绕开不可引导的音频激活空间；(2) 分解安全空间消融——在安全样本激活上用PCA提取安全语义主成分子空间，将拒绝引导向量投影到该子空间的正交补上，确保引导信号只压制有害方向而不干扰良性输入。
3. 与已有方法的关键区别：不同于LLM中基于harmful-safe文本对或合规-拒绝对的激活引导（如MDSteer-h2s和MDSteer-c2r），SARSteer首次揭示了音频模态下harm-to-safe方向因分布完全分离而不可靠，转而从纯文本拒绝语义中提取模态无关的引导方向；同时引入PCA安全空间消融来显式解耦拒绝信号与安全语义，缓解了提示型防御和原生引导方法中严重的过度拒绝问题。
4. 主要实验结果：在Qwen2-Audio和Kimi-Audio两个主要模型上，SARSteer均取得了较好的安全-效用平衡。在Figstep-audio上，Qwen2-Audio的ASR从51.60%降至10.80%，BRR从70.20%升至79.95%；Kimi-Audio的ASR从15.60%降至10.00%，BRR从61.40%升至88.80%。消融实验证实了文本派生拒绝向量和PCA消融各自的必要性。

主要安全性能表

5. 实际意义：SARSteer首次为LALM提供了无需微调、纯推理时的轻量级安全防御方案，有望直接集成到现有语音助手、音频理解系统中，在保持良性交互能力的同时显著阻止有害语音查询，为语音AI的安全部署提供了新思路。
6. 主要局限性：(1) 论文明确承认只在TTS合成数据集上测试，对真实世界语音的鲁棒性尚未充分验证；(2) PCA子空间的提取依赖安全样本，在安全样本极度匮乏的零样本场景下适用性受限；(3) 引导系数α和主成分数k需手动调节，缺少自动化选择机制；(4) 所有实验均在离线batch模式下进行，未涉及实时流式推理的适配讨论。

🔗 开源详情

• 代码：https://github.com/linweiii/SARSteer
• 模型权重：论文未提供（使用现有LALM进行评测，无需额外模型权重）
• 数据集：作者构建的音频领域有害-安全配对数据集（Figstep-audio、AdvBench-audio、SORRY-Bench-audio、AJailBench等）随代码发布
• Demo：论文未提及
• 复现材料：核心算法流程在正文及附录A.5中给出，超参数和实现细节在正文及附录A.3、A.5中说明，代码仓库中将包含实验配置；无独立检查点或训练脚本提供
• 论文引用的开源项目：
  • Qwen2-Audio: https://github.com/QwenLM/Qwen2-Audio
  • Kimi-Audio: 未提供公开代码仓库（参考技术报告 arXiv:2504.18425）
  • OpenAI TTS-1-hd: https://platform.openai.com/docs/models/tts-1-hd
  • DeepSeek-R1: https://github.com/deepseek-ai/DeepSeek-R1
  • SORRY-Bench: https://github.com/Social-AI-Studio/SORRY-Bench
  • AdvBench (Zou et al. 2023): https://github.com/llm-attacks/llm-attacks
  • FigStep (Gong et al. 2025): AAAI 2025论文，未提供独立代码仓库
  • AJailBench (Song et al. 2025): https://github.com/op7586/AJailBench
  • AirBench (Yang et al. 2024b): https://github.com/OpenAIRLLM/AIR-Bench
  • AdaShield: https://github.com/AdaShield/AdaShield
  • FSD (FigStep defense): 与FigStep攻击论文相同，未提供独立防御代码仓库
  • LLM-as-judge (Mistral-7B fine-tuned): https://huggingface.co/sorry-bench/ft-mistral-7b-instruct-v0.2-sorry-bench-202406
  • Jailbreak-AudioBench (Cheng et al. 2025): https://github.com/hczhao328/Jailbreak-AudioBench
  • Qwen2.5-Omni, Qwen3-Omni, Voxtral-Mini: 未在正文中提供额外链接，可在HuggingFace或官方文档中检索

🏗️ 方法概述和架构

SARSteer是一个纯推理时的安全对齐框架，输入为音频信号与文本指令的联合查询 \(Q=(a,t)\)，输出为经过激活引导修正后的安全响应。整体算法在每一层Transformer的隐藏状态上独立操作，分为三个阶段：

阶段一：文本派生拒绝引导 论文的核心洞察是：音频模态下有害样本与安全样本的隐藏表示在所有层上几乎完全分离（t-SNE和CKA分析均证实），导致传统的harmful-safe对比引导向量（MDSteer-h2s）或合规-拒绝对比向量（MDSteer-c2r）实际上成为无意义的噪声扰动，反而恶化安全性能。SARSteer完全放弃从音频侧对比提取引导向量，转而利用纯文本侧的拒绝语义。具体做法：对给定查询 \(Q=(a,t)\)，构造其修改版本 \(Q'=(a,t+p)\)，其中 \(p\) 是一个简单拒绝提示文本（默认"I cannot assist with that."），追加在原文本指令之后。在 \(Q'\) 和 \(Q\) 上分别采集最后一token位置的各层隐藏状态 \(h(Q')\) 和 \(h(Q)\)，取两者的均值差异作为该层的拒绝引导向量 \(\hat{v} = \mu_{\text{harm-tr}} - \mu_{\text{harm}}\)。此引导向量捕捉的是模型在文本侧被要求拒绝时产生的语义偏移方向，与音频编码的具体内容无关，因此是模态无关的安全方向。

阶段二：分解安全空间消融 纯粹的文本派生拒绝引导向量 \(\hat{v}\) 虽然能提升有害查询的拒绝率，但会无差别地干扰所有输入，尤其是那些语义与有害查询接近但实际无害的"边界安全"样本，引发过度拒绝。SARSteer通过PCA来显式解决该问题：首先收集大量安全样本在各层的激活矩阵 \(H_{\text{safe}} \in \mathbb{R}^{D \times n}\)（\(D\)为隐藏维度，\(n\)为样本数），对 \(H_{\text{safe}}\) 做PCA提取前 \(k\) 个主成分 \(U \in \mathbb{R}^{D \times k}\)（\(k=10\)）。这些主成分张成的子空间 \(\text{span}(U)\) 被认为编码了"安全语义"的核心变化方向——即模型在处理良性输入时激活的主要模式。然后，将拒绝引导向量 \(\hat{v}\) 在安全子空间上的分量 \(\hat{v}_{\parallel} = UU^T\hat{v}\) 明确减去，仅保留正交分量 \(\hat{v}_{\perp} = (I - UU^T)\hat{v}\) 作为最终引导向量。该操作的实质是：拒绝信号中与安全处理共享的激活模式被剥离，留下纯粹针对有害语义的抑制方向，从而对安全输入几乎不产生扰动。附录A.4给出了基于局部线性化的数学直觉分析，解释了该方法如何分别满足有害拒绝、安全保留和边界安全不误拒三个目标。

阶段三：引导推理 对任意输入查询，在逐token生成过程中，将最终引导向量乘以缩放系数 \(\alpha = 0.1\) 加到对应层的隐藏状态上：\(h_i' = h_i + \alpha \hat{v}_{\perp}\)。整个过程无需任何微调或梯度计算，只需少量安全样本的激活统计信息。图3展示了SARSteer的三阶段流程：Step 1从追加拒绝提示的文本中提取引导向量；Step 2用PCA对安全样本激活建模并消融安全子空间分量；Step 3推理时将消融后的引导向量作用于隐藏状态。

💡 核心创新点

1. 揭示音频模态激活引导失效的深层原因：通过t-SNE可视化（显示音频有害/安全表示在所有层上完全分离）和CKA定量分析（Linear CKA: 音频harm-safe 0.063 vs 文本harm-safe 0.672），首次清晰地解释了为何LLM激活引导方法直接迁移到LALM会彻头彻尾失败——在Qwen2-Audio上MDSteer-h2s将ASR从51.6%恶化到84.0%，MDSteer-c2r甚至恶化到90.8%。这一发现为LALM安全研究提供了重要警示。

2. 文本派生拒绝引导的策略创新：改变从输入对（harmful vs safe）对比中提取引导向量的范式，转而从模型自身对文本拒绝提示的响应中提取安全方向，巧妙绕开了音频模态不可引导的难题。该方法只需追加一句拒绝文本即可生效，无需修改音频编码器或投影器。

3. PCA安全空间消融缓解过度拒绝：引入PCA对安全样本激活建模，将拒绝引导向量分解为安全子空间分量和正交分量，仅保留正交分量作为最终引导方向。这种显式解耦策略比提示型防御中粗糙的"回答或拒绝"指令更精细，在保持高有害拒绝率的同时显著降低了过度拒绝率。

4. 构建音频域有害-安全配对数据集：基于AdvBench、Figstep等文本基准，通过TTS合成和LLM净化构建了Figstep-audio和AdvBench-audio两套有害-安全配对音频数据集，并引入Balanced Refusal Rate (BRR)作为联合评估有害拒绝和良性保留的指标。

📊 实验结果

论文在Qwen2-Audio和Kimi-Audio两个主要模型上评估了SARSteer，覆盖4个有害基准（Figstep-audio, SORRY-Bench-audio, AJailBench, AdvBench-audio）和1个通用效用基准（AirBench）。详细的安全性能数据见核心摘要中的表格（基于论文Table 2）。

主要安全性能：SARSteer在两个主模型上均达到Top-2最低ASR和最高BRR。值得注意的是，基于提示的AdaShield在Kimi-Audio上取得了惊人的0.00% ASR（Figstep-audio），但其BRR大幅降至52.60%（NoDefense为61.40%），表明以牺牲大量良性功能为代价。而MDSteer-h2s和MDSteer-c2r这两个激活引导基线在多数情况下严重恶化性能，验证了音频侧对比引导路径的根本性缺陷。

通用效用：在AirBench上，SARSteer对平均得分影响极小（Qwen2-Audio: 7.53 vs NoDefense 7.43; Kimi-Audio: 7.10 vs NoDefense 7.20）。通用基准上的良性性能退化问题不明显，但论文明确指出这恰恰暴露了仅用通用基准评估的盲区——过度拒绝现象需要专门的配对数据集才能暴露。

消融实验（论文Figure 4，Figstep-audio）：

• V1（仅文本派生拒绝引导，无PCA消融）：Qwen2-Audio ASR约12%，BRR约70%，表明引导向量本身有效但存在明显过度拒绝；Kimi-Audio ASR约10%，BRR约78%。
• V2（用安全激活均值的投影消融替代PCA）：ASR显著升高（Qwen2-Audio约40%以上），证明简单的均值投影无法准确提取安全子空间。
• V3（完整SARSteer，PCA消融）：ASR和BRR均达到最优，验证了PCA在安全子空间提取中的必要性。

超参数敏感性（论文Figure 5，Figstep-audio）：采样数n从10到100对ASR/BRR几乎无影响（<3%波动）；引导系数α控制安全-效用trade-off，在0.05-0.15范围内性能稳定，更大的α进一步压制ASR但BRR也会下降；主成分数k从5到45性能平坦，k=5已可覆盖安全子空间的主要方差。

跨模型泛化（附录B.8，论文Table 14和Table 13）：在MiDashengLM上，SARSteer将Figstep-audio的ASR从12.80%降至0.00%；在Qwen2.5-Omni-7B上，ASR从42.0%降至31.2%，SafeRR仅0.8%；在Qwen3-Omni-30B (MoE)上，ASR从7.2%降至5.2%，SafeRR 1.6%；在Voxtral-Mini-3B上，ASR从34.0%降至30.0%，SafeRR 0.8%。与基线相比，SARSteer是唯一能在所有模型上同时降低ASR且保持SafeRR ≤1.6%的方法。

附录中的对抗鲁棒性（附录B.12，论文Table 17）：在Qwen2-Audio上，PGD攻击（ε=0.005）下ASR从24.4%降至6.0%，高斯噪声（σ=0.01）下从27.2%降至7.2%；在Kimi-Audio上，PAIR (audio)攻击下ASR从58.0%降至10.0%，GCG (audio)攻击下从14.0%降至6.0%。注意PGD和噪声导致NoDefense的ASR低于干净TTS下的51.60%，原因可能是扰动破坏了音频的可理解性。

人类评估（附录B.11）：在500样本的多样化评测中，LLM-as-judge与人类标注的总体一致性达90.8%，Cohen’s κ=0.811。发现系统性保守偏差（假阳性43例 vs 假阴性3例），意味着LLM判定的ASR实际是真实攻击成功率的上界，SARSteer的安全收益可能被保守估计。

文本模态泛化（附录B.4）：在Qwen2纯文本LLM上，SARSteer在SORRY-Bench和AdvBench上均降低了ASR，证明方法具有一定的跨模态适用性。

🔬 细节详述

• 训练数据：方法本身无需训练。引导向量和安全PCA子空间均从100个Figstep-audio配对样本中提取。文本有害查询经OpenAI TTS-1-hd合成音频，安全版本经DeepSeek-R1净化后TTS合成。
• 损失函数：不适用（无训练）。
• 训练策略：不适用。对齐实现仅需一次前向pass收集激活统计。
• 关键超参数：引导缩放系数α=0.1，PCA主成分数k=10，样本数n=100。引导应用在最后一token位置，所有Transformer层独立操作。
• 训练硬件：未提及。
• 推理细节：标准自回归解码，每个生成token的隐藏状态加 \(\alpha \hat{v}_{\perp}\)。
• 正则化：无。
• 数据集构建细节：有害音频查询由AdvBench/Figstep的文本有害查询经TTS合成，安全版本经LLM净化后TTS合成。提示型防御基线（AdaShield, FSD）的防御提示文本经人工改写为音频场景版本（“image”→“audio”）。Figstep-audio共350条，随机采样100条用于对齐实现，剩余250条用于评估。
• 评估协议：有害性评估使用Mistral-7B微调版LLM-as-judge判定ASR；拒绝率使用匹配型方法（23个拒绝关键词/短语列表）判定；BRR公式定义为 \(\text{BRR} = \frac{1}{2}[\text{RR}_{\text{harm}} + (1 - \text{RR}_{\text{safe}})] = \frac{1 + \text{RR}_{\text{harm}} - \text{RR}_{\text{safe}}}{2}\)。
• 模型架构示例（附录A.8）：Qwen2-Audio的音频编码器为Whisper-base堆栈（32层），投影器为2层MLP（1024→4096→4096），文本编码器为Qwen2的Transformer-decoder嵌入模块。

⚖️ 评分理由

• 创新性 (0.8/2)：论文的核心价值在于揭示并解释了音频模态下激活引导失效的原因（t-SNE+CKA），这有一定洞察力。但方法论层面本质上是"文本侧拒绝提示引导 + PCA投影去子空间"的工程组合，两项技术（激活引导、PCA）在各自领域均有大量先例。文本派生拒绝引导的概念在纯LLM领域已有类似思路，PCA消融在可解释性AI中更是常见手段。论文的贡献点在于将已知工具优雅地适配到了LALM安全这一新场景，但缺乏真正意义上的原创性方法贡献。

• 技术严谨性 (1.0/1.5)：方法推导清晰，附录A.4基于局部线性化假设的数学直觉分析有一定参考价值。CKA定量分析强化了动机的正确性。主要问题：(1) 局部线性化假设在深层Transformer中的保真度未被验证；(2) 所有层使用统一超参数α=0.1的理由不明，缺乏对层间差异的分析；(3) 附录B.11揭示的LLM-judge系统性保守偏差（假阳性比假阴性多14倍）是一个重要发现，但主实验表格中未对ASR值进行任何校正或标注，这可能让读者对报告的安全收益产生疑问。

• 实验充分性 (0.9/1.5)：实验覆盖了4个有害基准、1个通用基准、5个模型（含3个近期新模型）、5种基线（提示型+激活引导型+无防御），消融实验清晰（V1/V2/V3），超参数敏感性分析覆盖n/α/k三个维度，附录还补充了文本泛化、自然语音鲁棒性、对抗攻击、微调方法对比等。主要不足：(1) 所有主实验的音频数据均来自TTS合成，与真实世界的录音条件有显著差距——这是阻碍部署评估的根本性缺陷；(2) 附录中虽有多轮随机种子实验，但结果显示在部分指标上MDSteer基线（无防御）的方差超过6%(AJailBench)，且未对任何主表格数值报告方差或置信区间；(3) 仅用100个样本提取引导向量，虽声称有样本数量鲁棒性分析，但缺少对"样本选择偏差"的讨论。

• 清晰度 (0.6/1)：组织逻辑合理，算法伪代码（Algorithm 1）清晰。但多处不足：论文图1（性能对比）和部分表格因OCR/渲染问题导致数值辨识困难；对t-SNE图的解读不够深入，仅定性描述而未探讨"early separation"为何会导致引导失效的具体机制；术语"modality-agnostic direction"的定性过于宽泛，在保证跨模态泛化之前应更谨慎定义；部分数据引注（如引用附录表格编号）发生错乱。

• 影响力 (0.7/1.5)：LALM安全是语音/音频AI的新兴子方向，SARSteer作为首个推理时防御框架有明确的后续工作引导价值。然而，所有实验离真实场景（流式语音助手、开放域对话、多口音/环境噪声）仍有较大差距。作者团队并非该领域的传统强组，后续影响力待观察。

• 开源 (1.2/1.5)：论文声称代码和构建的数据集已在GitHub公开（https://github.com/linweiii/SARSteer），标注了使用的多个开源项目的链接。但未提供仓库的README描述、目录结构或安装说明，文档完整性和可直接运行性无法验证。

• 可复现性 (0.3/0.5)：超参数明确（α=0.1, k=10, n=100），算法伪代码完整。但关键细节缺失：(1) 引导向量应用在"最后一token位置的所有层"这一选择的实验依据或各层效果差异未讨论；(2) 安全PCA子空间的激活采集是否与引导向量计算使用相同数据集、相同层的细节不够明确；(3) 不同模型是否使用统一超参数还是各自调优，原文描述模糊；(4) 附录B.4的LLM泛化实验中，对SARSteer的适配方式未详细说明。

• 工程/实践价值 (1.0/1.5)：纯推理时、零训练的轻量级防御对工业界有天然吸引力——无需额外训练资源、可热插拔集成、不修改模型权重、计算开销低。但当前版本停留在离线batch评估层面，对实时流式推理、长音频处理、对话上下文等实际场景的适配讨论缺失，工程完整性仍有提升空间。

🚨 局限与问题

论文明确承认的局限：

1. 仅在TTS合成的离线数据集上测试，对真实世界语音的鲁棒性尚未充分验证（附录B.7有非常初步的探索）。
2. PCA安全子空间的构建依赖安全样本，零样本场景下受限。
3. 引导系数α和主成分数k需手动调节，无自动化机制。

审稿人发现的潜在问题：

1. 实验场景与真实部署存在重大鸿沟：这是最致命的问题。所有主实验均使用TTS合成的"干净"音频，而真实世界语音助手面临的是多样化的录音条件——环境噪声、混响、不同口音、采样率差异、语音情感变化等。附录B.7仅在AdvBench子集上测试了少量自然语音特性（口音、音量强调、情感），样本量小、覆盖不全，且未分析对SARSteer各组件的影响。
2. 对抗鲁棒性论证存在严重缺陷：附录B.12报告PAIR(audio)在Kimi-Audio上从58.0%降至10.0%，这一"惊人效果"仅基于50个样本的单一模型评测。更关键的是，音频化GCG后缀因TTS过程的声学失真已大幅削弱了原始攻击效力（NoDefense下ASR仅14.0%），不能作为"文本侧对抗攻击经音频通道仍有效"的有力证据。对真正狡猾的自适应攻击——如adversarial audio perturbation联合文本jailbreak的跨模态攻击——完全没有讨论。
3. 引导向量质量缺乏因果验证：论文没有进行阴性对照实验——如使用反向引导向量（安全→有害方向）或随机方向，观察是否反而恶化安全性能。这是验证"引导方向确实包含拒绝语义"的常规手段，但其在消融实验中缺席。
4. 层选择策略缺乏分析：方法声称"所有Transfomer层独立操作"，但从未讨论不同层中引导向量的有效性差异。在纯文本的激活引导研究中，通常中间层效果最好，此结论在音频-文本联合模型中是否成立？是否可以减少干预层数以降低计算开销？论文未做任何探索。
5. 基线不公平性问题：MDSteer-h2s/c2r的性能极差（ASR恶化到80%-90%），但这些方法在原文中的超参数（如层选择、α值）可能与SARSteer的设定不匹配。论文直接用SARSteer的超参数套用到所有基线，未对各基线进行公平的超参数搜索，可能夸大了SARSteer的相对优势。
6. 通用基准评估的冗余与误导：论文在AirBench上报告"所有方法几乎无损"，但同时承认这恰恰是因为基准中的良性查询离决策边界太远。那么AirBench对评估过度拒绝问题实际上是无效的，论文却没有给出替代方案或深入讨论这一指标选择的局限性。
7. BRR指标的对称性问题：\(\text{BRR} = \frac{1}{2}[\text{RR}_{\text{harm}} + (1 - \text{RR}_{\text{safe}})]\) 在极端情况下存在解释困难——例如，一个拒绝所有查询的方法（\(\text{RR}_{\text{harm}}=1.0\), \(\text{RR}_{\text{safe}}=1.0\)）BRR=0.5，而一个只拒绝有害查询的方法（\(\text{RR}_{\text{harm}}=0.6\), \(\text{RR}_{\text{safe}}=0.0\)）BRR=0.8。虽然这反映了安全-效用trade-off，但50%的"平衡"得分可能被误读为"中等性能"而非"完全无用"。

← 返回 ICML 2026 论文速递