英文题目：SoundBreak: A Systematic Study of Audio-Only Adversarial Attacks on Trimodal Models
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.1275
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#评测协议 #多模态模型 #对抗鲁棒性 #音视频 #音视频问答
评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Aafiya Shamshad Hussain：机构信息未能从会议 PDF 纯文本可靠映射
- Gaurav Srivastava：机构信息未能从会议 PDF 纯文本可靠映射
- Alvi Md Ishmam：机构信息未能从会议 PDF 纯文本可靠映射
- Zaber Ibn Abdul Hakim：机构信息未能从会议 PDF 纯文本可靠映射
- Chris Thomas：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
音视频问答以同步音频、视频与文本问题为输入，以答案文本为输出，难点在于攻击者仅能篡改音频却需破坏跨模态推理。SoundBreak先将共享加性扰动循环扩展至干净音频并做峰值归一化，再经梅尔滤波器组提取特征送入冻结的三模态模型。接着其针对编码器表示、跨模态注意力、隐状态与输出似然六类目标反向优化扰动，上一步输出的特征失配直接作为下一步梯度更新的依据。最后同一扰动被复用于新样本的音频通道，实现查询无关的复用攻击。与多通道协同篡改或目标化劫持不同，该机制以非目标化音频独扰方式系统压制正确率，揭示了编码器特征几何脆弱性的实际意义。在AVQA评测设置下，组合攻击的准确率为0.039，低于干净输入的0.956。其结论适用边界受限于白盒数字域与房间脉冲响应仿真条件，跨架构与跨声学域迁移显著失效构成失败条件。全部实验在英伟达图形处理器硬件上完成，训练成本约为2500个图形处理器小时，单次攻击训练约为20至25个图形处理器小时。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
为什么只改声音值得单独研究？
输入是 3 模态问答系统的 3 路信号：音频波形、视频帧序列和自然语言问题，目标是输出答案。论文要回答的问题是，如果视频和文本完全不动，只在音频上加一段人耳不易察觉或幅度受限的扰动，模型的多模态推理会不会系统性出错。必须保留的信息包括攻击者只能动音频、扰动是跨样本共享的、评价只统计原本答对后被翻错的比例，以及失真用对数梅尔谱上的感知距离与波形信噪比来约束。
初学者容易误以为声音只是辅助信息，视频还在就能保住答案，但 3 模态模型在编码器、注意力与解码阶段都把音频向量与视频向量拼接后联合推理，音频方向一偏，后续融合就可能跟着偏。另一个常见误解是把这种攻击等同于把音量调大盖住原声，论文恰恰要区分结构性小扰动与靠大幅失真硬破坏的做法，因此后文同时报告攻击成功率与感知失真。
输出是 1 篇可复述的方法解读：先讲威胁模型与相关路线，再走完一个样本从波形到答案的全链路，然后给出训练构造、实验条件、主结果与反证，最后说明复现要点与边界。
同输入同目标的已有路线差在哪里？
按同输入、同目标、同监督与同运行阶段对照，已有路线可分 4 类。第一类是视觉语言攻击，只动图像去破坏图文对齐或下游问答，输入不是 3 模态中的音频，目标多为跨任务泛化或越狱，与本文只动音频不同。第二类是纯语音攻击，针对语音识别或语音翻译做静默、重定向或条件操纵，输入是单模态语音，缺少视频与文本的交叉推理，因此不能说明 3 模态融合是否会被单通道带偏。
第 3 类是多通道同时攻击，需要同时改视频与音频或需要训练期投毒，运行阶段假设更强，部署难度更大，也更容易被发现。第 4 类是目标化攻击，要求模型输出指定的恶意句子，行为异常明显，容易被监控发现。论文的差异是同时满足 4 个条件：3 模态设置、只控音频、非目标翻错、共享扰动跨样本复用。论文还整理了这些差异的对照表，指出只有 SoundBreak 系统比较编码器空间、注意力与隐藏状态 3 类内部弱点，并检验跨模型与跨编码器迁移。
本文没有重新训练基础大模型，而是冻结模型做扰动优化，这与投毒类需要动训练数据的路线在监督来源与运行阶段上完全不同。
威胁模型把什么固定、把什么交给攻击者？
问题形式化把模型记为从音频、视频、问题到答案分布的映射，参数记为模型权重。攻击者是白盒加性攻击者，可以看到权重、输出与可微中间表示，可以对扰动求梯度，但只能改音频。视频与问题保持原样，攻击目标是非目标：只要把原本预测正确的答案改成不正确即可，不要求改成某个指定答案。扰动是固定长度的向量，对应 10 秒采样音频，不足整段输入时按循环方式扩展并截断到输入长度，再与干净音频逐点相加。
可行集是无穷范数球，预算记为允许的最大逐点幅度，每次更新后都要投影回该集合。评价时把扰动后的音频送入同一模型做黑盒复用，也可以把同一段扰动搬到别的模型上测迁移。需要强调的是，这不是每个样本单独优化一个噪声，而是在训练集上学一段所有样本共用的扰动，再到 held-out 样本上测翻错率。
非目标攻击 × 共享扰动： 非目标攻击的分工是只要求把原本答对的样本翻成答错，不指定翻成哪一个错误答案，共享扰动的分工是用一段固定长度的音频加性噪声循环拼接到所有样本上，二者搭配的理由是避免针对每个样本单独优化或预设恶意输出，更接近用扬声器或传输通道长期干扰的情形，组合意义是可以检验模型是否存在系统性弱点而不是某个样本的偶然错误。
六种损失如何覆盖从波形到答案的全链路？
方法全景是沿一个样本走完输入到输出。干净音频先与共享扰动相加并做幅度归一化，再经梅尔滤波器组变成特征，送入音频编码器得到音频向量；视频分支独立编码得到视频向量；两路向量与问题词元拼接后进入语言模型主干，经多层注意力与隐藏状态变换后输出答案分布。6 种损失分别卡在链路的不同位置：负语言建模损失卡在输出端，直接压低正确答案的对数概率。
编码器余弦损失卡在音频编码器输出端，让扰动后向量与干净向量方向正交；视觉注意力抑制损失卡在跨模态取用环节，减少分给视频词元的注意力总量；音频注意力放大损失反向操作，强迫模型多看被污染的音频词元；注意力随机化损失破坏注意力矩阵的结构，使其接近随机目标；隐藏状态余弦损失让每一层扰动后隐藏状态偏离干净方向。
组合损失把六者直接相加，不调权重，目的是同时破坏多个环节。 本小节导读图一的目的是建立单通道因果：只看音频分支被动了什么、视频分支是否原样、两路在哪里汇合、错误从哪里冒出来。
看图路径： 1. 先看左上音频波形与扰动的逐点相加符号，再看右上视频分支是否被修改；2. 再看音频编码器与视频编码器汇入语言模型主干的箭头走向；3. 最后对照左侧候选项与右侧错误输出，确认错误来自音频单通道
论文图 1。原论文 Figure 1：“Audio-only adversarial attacks on au- dio–video–language models.”。
图中左侧粉色框显示红色干净波形与黑色扰动做逐点相加，箭头向下进入黄色音频编码器；右侧视频帧原样进入黄色视频编码器；两路黑线汇入绿色语言模型主干，左侧输入问题与候选项，右侧输出错误答案并打叉。可见内容支持论文说法：视频与文本未被触碰，错误只能从音频扰动经编码与融合传播而来。这也解释了为什么后文要分别在编码器、注意力与输出端设损失，因为它们对应图中从上到下的 3 个可干预位置。
每个损失具体算什么、梯度流向哪里？
先讲约束与更新骨架。扰动受无穷范数预算约束，迭代式是梯度步加投影回可行集，步长为正，初始扰动来自自然铃声并裁剪到预算内，对应视频从训练中剔除以防泄漏。原文实现用 Adam 做投影梯度下降，整条音频预处理与梅尔特征提取保持可微，使梯度能从损失一路流回原始扰动波形。
\[bation δ ∈RT to produce ˜xa = xa + δ subject to C = {δ : ∥δ∥∞≤ε}\]负语言建模损失先算扰动音频下正确答案序列的交叉熵，再取负号，最小化它等价于最小化正确答案的对数概率，把概率质量推向别的答案。梯度路径经过解码器、融合层、音频编码器与特征提取回到扰动，需要标准答案做监督。
\[LnegLM = −LLM.\]编码器余弦损失计算干净与扰动音频经投影后各位置向量的余弦相似度并取平均，最小化它就是让两组向量正交。该目标不需要答案监督，只需要同一输入的干净与扰动前向结果，梯度主要落在音频编码器与投影层。视觉注意力抑制损失先把所有层、所有头、所有查询位置指向视频词元的注意力权重求和，最小化该和就是让模型少看视频。音频注意力放大损失对称地把指向音频词元的注意力求和后取负，最小化它就是让模型多看被污染的音频。
\[L(visionatt)(δ) = Sv(δ),\]隐藏状态损失对每一层每个位置比较干净与扰动隐藏状态的余弦相似度并平均，最小化它让全网络深度的表示都偏离原方向，需要 2 次前向。组合损失把上述六项直接相加，等权融合，梯度是 6 路梯度之和。
\[L(combined)(δ) = LnegLM + L(cos)(˜xa\]音频编码器 × 语言模型主干： 音频编码器的分工是把波形或滤波器组特征变成定长语义向量，语言模型主干的分工是把音频向量、视频向量和问题词元一起做推理并生成答案，二者搭配的理由是编码器决定音频信息以什么方向进入跨模态空间，组合意义是编码器的小方向偏移会被主干的注意力与解码逐层放大，从而只改声音也能改答案。
交叉模态注意力 × 隐藏状态： 交叉模态注意力的分工是决定每一层从音频词元和视频词元各取多少信息，隐藏状态的分工是保存各层融合后的推理内容，二者搭配的理由是注意力控制信息流量而隐藏状态记录流量造成的结果，组合意义是论文分别用注意力加权损失和隐藏状态余弦损失从流量与结果两个侧面施压，以定位哪一层更容易被音频带偏。
扰动是怎样学出来的，哪里算物理环境？
训练过程不是更新模型权重，而是冻结模型只更新共享扰动。外层循环遍历训练样本，对每个样本做预处理、前向、算损失、反向求扰动梯度、做 Adam 更新并裁剪回预算球，记录每个轮的平均损失并保留最优扰动；若连续多个轮无改善则早停。默认超参数包括学习率、Adam 动量系数、批量为 1、最大轮数与耐心轮数，扰动长度固定为 10 秒、采样率 16 千赫，初始化用自然铃声。学习率调度有两种：按平台衰减与带预热的余弦退火，预算分析实验用前者并训练到收敛。
物理环境通过房间脉冲响应增强实现：在训练时对扰动后音频做混响卷积，模拟房间几何、材料与麦克风造成的传播变形，再算损失与梯度，使学到的扰动对环境卷积更鲁棒。评估时区分数字直接叠加与经房间脉冲响应模拟的物理播放两种条件，对比同一扰动在两种条件下的成功率。论文未报告各损失单独的权重搜索，也未报告组合损失中某一路梯度占主导的定量分解，这是复现时需要留意的缺项。
房间脉冲响应 × 数字直接叠加： 数字直接叠加的分工是把扰动按采样点直接加到波形上并做限幅与归一化，房间脉冲响应的分工是模拟混响、传播衰减与麦克风接收造成的卷积变形，二者搭配的理由是数字攻击只证明梯度存在，而物理播放必须经过房间，二者组合的意义是论文在训练中加入混响变换来检验同一扰动经过环境后是否仍然有效。
数据、模型、指标与公平条件是什么？
数据覆盖 3 类多模态任务与一类纯语音任务。AVQA 是通用音视频问答，多为选择题，要求融合音频与视频才能答对，作为主训练与主评估集；Music-AVQA 是音乐表演短答问答，声学以乐器与合奏为主，与 AVQA 的环境声差异大，用于测跨声学域迁移；AVSD 是基于视频的对话与摘要生成，需要输出长文本，用大语言模型当裁判判断描述是否正确，用于测跨输出形态迁移；LibriSpeech 是朗读英语语音，只用于把扰动搬到 Whisper 上测纯语音识别的词错率。
模型以 VideoLLaMA2 为主，28 层，音频编码器与语言主干冻结做攻击；另用 Qwen2.5-Omni、Qwen3-Omni 与 video-SALMONN2 测跨架构黑盒迁移，用 Whisper Large-v2 测语音系统，用 PANNs 测跨编码器。指标方向要记清：攻击成功率越高表示破坏越强，只在干净答对样本中统计；LPIPS 越低表示感知越接近，SI-SNR 越高表示波形越干净；词错率增量越大表示语音识别被破坏越重。
AVSD 的裁判流程是分别对干净与扰动输出判正确与否，只有从正确翻成错误才计成功。计算资源为多种英伟达显卡，VideoLLaMA2 用全精度保梯度稳定，Qwen 用混合精度省显存，总量约 2500 卡时。
攻击成功率 × 感知失真： 攻击成功率的分工是只在干净输入答对的子集上统计被翻错的比例，感知失真的分工是用 LPIPS 与 SI-SNR 衡量扰动后音频与原音频的听感与波形接近程度，二者搭配的理由是只看成功率会鼓励用大噪声淹没语音，只看失真则看不出是否真的破坏推理，组合意义是论文要求同时报告两者，以区分结构性破坏与靠响亮噪声硬盖住原声的做法。
哪一路最有效，迁移与失真表现如何？
主结果围绕 3 个问题：哪一路损失最有效、换模型或换域还灵吗、小失真能否做到高成功。论文报告在 VideoLLaMA2 上用 AVQA 训练 150 轮后，编码器余弦损失达到 89.12% 攻击成功率，组合损失达到 96.03%，明显高于输出端与注意力单项损失；同一批扰动搬到 Music-AVQA 只剩 13.80%，搬到 AVSD 还有 59.48%，说明跨音乐域迁移弱、跨同域生成任务迁移相对好。用 Music-AVQA 训练则反向同样成立，源域 89.07% 但搬到 AVQA 只剩 2.30%。跨模型迁移更弱，在源模型上 10.27% 的负语言建模攻击搬到另 2 个模型只剩 4.61% 与 3.62%。
失真方面编码器与注意力类攻击能在低感知距离下保持强破坏，而负语言建模损失失真明显更大。语音识别系统则主要对失真幅度敏感，大失真对应高词错率增量。 本小节导读图四的目的是区分结构性攻击与靠大噪声淹没的做法：若成功只来自响亮噪声，则词错率增量应随失真单调走。
看图路径： 1. 先看上下面板横轴都是词错率增量，纵轴分别是 LPIPS 与 SI-SNR；2. 再定位右下角高词错率点对应哪两种损失的失真位置；3. 最后看左下角聚集的低失真点对应的攻击目标为何在语音识别上无效
论文图 4。原论文 Figure 4：“Re lationship between attack effectiveness on Whisper and perceptual distortion. Top: WER differ- ence vs LPIPS. Bottom: WER difference vs SI-SNR.”。
上板纵轴是 LPIPS，下板纵轴是 SI-SNR，横轴都是词错率增量。可见右下角负语言建模与编码器损失词错率增量接近 1，但前者 LPIPS 高、SI-SNR 低至负十多分贝，后者失真明显更小；左下角聚集的注意力与隐藏状态损失失真很小且词错率增量接近零。虚线趋势支持论文判断：Whisper 的破坏主要随失真幅度走，而不是随 3 模态内部目标走。 下面两张表分别给出序列置信度与干净准确率对照，目的是排除高成功率来自基线本来就差的解释。
表前比较问题是：攻击后答案变错，究竟是模型变不确定了，还是在同样自信下被带偏，公平条件是只统计成功攻击样本的平均序列置信度与干净准确率基线，指标方向是置信差越小越说明是内部错位而非不确定。
| Objective | AVQA Clean | AVQA Attack | ∆ | Music-AVQA Clean | Music-AVQA Attack | ∆ |
|---|---|---|---|---|---|---|
| 0.956 | 0.850 | 0.106 | 0.807 | 0.743 | 0.064 | |
| 0.956 | 0.110 | 0.846 | 0.807 | 0.747 | 0.060 | |
| 0.956 | 0.920 | 0.036 | 0.807 | 0.777 | 0.030 | |
| 0.956 | 0.410 | 0.546 | 0.807 | 0.769 | 0.038 | |
| 0.956 | 0.910 | 0.046 | 0.807 | 0.758 | 0.049 | |
| 0.956 | 0.795 | 0.161 | 0.807 | 0.766 | 0.041 | |
| 0.956 | 0.039 | 0.918 | 0.807 | 0.750 | 0.057 |
该表显示组合攻击在 AVQA 上干净与扰动置信度分别为 0.930 与 0.850，差仅 0.080，却对应 96.03% 成功率；多个单项攻击的置信差也很小甚至为负，支持论文所说的失败来自内部错位而非不确定性升高。表中未胜出项是视觉注意力抑制等弱攻击，其置信变化同样不大但成功率低，说明只看置信无法区分强弱攻击，必须结合成功率。
| Attack | Objective Mean | Max | Min Attack | Objective Mean | Max | Min |
|---|---|---|---|---|---|---|
| 9.55 | 17.77 | 4.83 | 14.94 | 34.64 | 6.12 | |
| 13.55 | 26.36 | 8.08 | 13.96 | 30.73 | 5.82 | |
| 14.03 | 26.47 | 8.57 | 13.49 | 29.88 | 5.30 | |
| 21.49 | 26.24 | 19.50 | 13.85 | 29.86 | 5.49 | |
| 10.51 | 20.91 | 3.36 | 14.65 | 34.81 | 5.96 | |
| 13.55 | 25.06 | 5.42 | 14.43 | 29.66 | 6.53 | |
| 29.23 | 30.34 | 25.96 | 13.30 | 28.34 | 5.23 |
该表显示 AVQA 干净准确率为 0.956，组合攻击后掉到 0.039，下降 0.918；编码器攻击后为 0.110，下降 0.846，而视觉注意力攻击仅下降 0.036。这证明高成功率确由扰动造成的大幅退化驱动，而非基线低。Music-AVQA 基线 0.807，跨域后各攻击下降都很小，与主结果的跨域弱迁移一致。未评测边界是长文本 AVSD 没有同样的准确率对照，只能依赖裁判翻转率。
多训久训、预算与层位置改变什么？
消融按优化与结构两条线组织。优化线先看数据量与迭代数的权衡，再看预算与收敛轮数的非单调关系；结构线看只扰动不同层子集时哪类损失还有效。论文报告小数据长优化反而超过大数据短优化，预算从 0.3 到 1.0 成功率上升但中间预算多花轮数却效果差，层消融显示音频类攻击靠前层最有效、视频注意力靠中层最有效、高层普遍弱、全层联合最强。物理增强对比显示数字与物理条件下不同损失升降不一，组合目标在物理下反而更高。 本小节导读图二的目的是检验成功来自数据多样性还是来自反复利用同一小批样本的一致弱点。
看图路径： 1. 先确认横轴是总训练迭代数、纵轴是攻击成功率、颜色是训练数据量；2. 再看小数据深色点随横轴右移是否爬升到高成功率区；3. 最后看右下角大数据浅色点是否反而停留在较低位置
论文图 2。原论文 Figure 2：“Relation between total training iterations and ASR for LnegLM.”。
图中每个点是一种训练配置，颜色表示训练数据量。可见左侧低迭代区成功率普遍低，右侧高迭代区深色小数据点爬到 80% 以上，而右下角浅色大数据点因迭代不足仍停留在低位，红色虚线只是趋势参考。这支持论文结论：总优化迭代比数据规模更关键。但这不等于每步都单调变好，也未报告不同随机种子的方差。 本小节导读图三的目的是说明预算不只是允许更大噪声，还会改变优化 landscape 与收敛速度。
看图路径： 1. 先看横轴三个预算取值与纵轴攻击成功率的折线走向；2. 再读每个点上方标注的成功率与下方标注的收敛轮数；3. 最后比较中间预算多花轮数但成功率几乎不涨的现象
论文图 3。原论文 Figure 3：“Attack budget vs ASR for L(cos) on VideoL- LAMA2. Each attack was trained until convergence.”。
横轴是攻击预算，纵轴是攻击成功率，三点分别为 49.2%、51.9% 与 73.5%，下方括号分别标注 213、265 与 209 轮收敛。可见预算 1.0 用更少轮数达到更高成功率，而预算 0.7 多花轮数却几乎不涨，说明约束与优化动力学以复杂方式交互。复现时不能只固定轮数比较预算，必须按论文做法训练到收敛再比。 下面一张表给出感知失真与词错率增量的数值对照，用于支撑语音系统的幅度敏感判断。表前比较问题是：在相同扰动预算下，哪种损失用更小失真换到更大 3 模态破坏，同时在语音识别上表现如何，公平条件是同一 VideoLLaMA2 扰动直接搬到 Whisper 与同一失真计算流程，指标方向是 LPIPS 越低越好、SI-SNR 越高越好、词错率增量越高表示语音破坏越大。
| Attack Objective | ∆WER | LPIPS SI-SNR (dB) |
|---|---|---|
| 0.972 | 0.22 | |
| 0.959 | 0.08 | |
| 0.100 | 0.07 |
该表数值显示负语言建模与编码器损失的词错率增量接近 0.97 与 0.96，但前者失真更大；注意力与隐藏状态损失失真小且词错率增量不足 0.1。结合主结果可得代价：3 模态最强的编码器攻击在语音上也强，但它仍比负语言建模更省失真；而 3 模态中有效的音频注意力攻击在语音上几乎无效，说明两类系统的弱点不重合。未胜出项恰是后者，提醒不能把 3 模态成功直接推广到语音识别。
哪些结论不能推广，缺了哪项验证？
论文明确列出三项局限。第一是只做白盒攻击，需要完整梯度与内部表示，黑盒迁移成功率低，实际部署仍需针对目标模型单独优化。第二是只在 4 个多模态模型与 3 个基准上评估，换了音频编码策略或融合机制的架构不能默认同样脆弱。第三是未评估任何防御，输入预处理、对抗训练与跨模态一致性检查的有效性与计算代价都未知。从证据看还有四点不能推广：跨编码器余弦相似度显示扰动利用编码器特有几何，换编码器即失效。
跨域从通用场景到音乐场景大幅下跌，说明声学分布一变就要重学；预算效应非单调，不能说预算越大一定越强；物理条件下部分损失从 80% 多掉到 20% 多，只有音频注意力、隐藏状态与组合目标保持或上升，说明环境鲁棒性与目标类型强相关。缺失的验证包括随机种子方差、人工听感评估、真实扬声器播放的端到端测试，以及防御下的成功率变化。
相关性不等于因果，例如注意力升高与成功率高同时出现，不能直接断定注意力升高就是唯一原因，因为组合损失同时改了编码器与隐藏状态。
要复现先固定什么，再跑哪条最小链路？
复现先固定信息条件与随机性。数据用作者提供的训练验证测试划分，AVQA 做主链路，Music-AVQA 与 AVSD 只做迁移评估；模型用论文注明的检查点名称，不要用同名不同版本替代；随机种子固定 NumPy 与 PyTorch 设置，因为成功率对初始化敏感；扰动初始化用同一段铃声并裁剪到预算，且对应视频从训练中剔除。
最小可运行链路建议只跑 VideoLLaMA2 上的编码器余弦损失与组合损失：实现循环扩展、逐点相加、幅度归一化与 128 维梅尔特征提取并保持可微，用 Adam 做投影梯度下降，批量为 1，记录每轮平均损失并保留最优，耐心轮无改善早停。评估时先算干净准确率基线，再算只在答对子集上的翻错率，同时算对数梅尔谱上的 LPIPS 与 SI-SNR，避免把大噪声误当结构性成功。AVSD 必须用同一裁判模型、同一提示模板与温度为零，否则翻转率不可比。
论文未声明代码与数据当前可用，本次也未发现经验证的公开资源，因此应按无公开代码处理，不要声称可直接下载运行。训练开销不小，单次攻击训练约二十多卡时，总量约 2500 卡时，复现前先申请足够显存并用全精度跑主模型。
何时值得尝试这种攻击思路，何时不值得？
值得尝试的情形是：已有一个冻结的 3 模态问答系统，怀疑音频编码器是短板，且允许白盒梯度与多轮优化，此时优先试编码器余弦损失，再试组合损失；若关心物理播放，再加入房间脉冲响应增强并同时测数字与物理两档。不值得的情形是：目标是跨模型通用扰动、跨音乐与环境声通用扰动，或只能黑盒访问，此时论文证据显示成功率会掉到个位数或 20% 左右，不如针对目标重学。
若目标是纯语音识别，则不应照搬 3 模态的注意力技巧，因为论文显示语音系统主要响应失真幅度，低失真结构扰动在 Whisper 上几乎无效。教学上最易误解的三点是：把共享扰动当成每样本单独优化，把高成功率当成基线差，把注意力曲线整体抬高当成每层都同样重要；原文层消融恰好说明前层与中层分工不同，全层联合才最强。
下一步最该补的验证是真实房间播放、人工听感与一致性防御下的成功率，只有补上这三项，才能判断单通道音频威胁在部署中到底有多现实。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses