📄 同一套秩一干预在多模态衍生模型里哪里还管用

英文题目:Where Is Rank-1 DiM Refusal Intervenable in Multimodal LM Derivatives?

评分:5.3/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.4/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

👥 作者与机构

  • Chansu Han:NICT
  • Seok-Hwan Choi:Yonsei University
  • Takeshi Takahashi:NICT

📌 核心摘要

开放权重生态中同一聊天底座会派生出微调、防护、思考、视觉语言、音频封装等变体,审计者难以判断残差流上的拒绝方向在何处仍然可用。本文把任务固定为有害请求到聊天文本回复的映射,难点在于多模态封装改变了可挂钩位置,而文本与感知路径的对比变量和池化方式也随挂钩点变化。先在文本解码器残差上对比有害与良性文本提示,提取有害减良性均值差并归一,输出文本方向向量。再在感知编码器、投影器与融合路径上固定文本探针,对比有害与良性感知输入,输出对应的非文本方向向量。最后把这两类输出的方向向量送入相同位置做秩一消除干预,并以同范数随机方向作对照,用攻击成功率检验因果提升。负责生成回复文字的文本解码器处干预在纯文本与混合输入下提升攻击成功率,而感知编码器、投影器与融合路径处同类干预没有提升。在VLGuard非安全提示200例混合输入评测设置下以Llama-Guard计分,文本解码器干预的攻击成功率为0.150,高于未干预基线的0.030,方向性保持但绝对值较小。结论只适用于该均值秩一提取即干预系列,不主张拒绝特征在感知路径不存在,也不主张位置效应完全隔离,生成式U-Net等另行覆盖尚未验证;原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

开放权重衍生模型多了,审计还只钩一个位点够吗

开放权重生态现在不只有官方指令检查点。同一基座会被继续微调、蒸馏、压缩、接上安全分类头、加上思考前缀、换成混合器,也会被包上视觉塔、音频塔或生成头,形成很长的衍生尾巴。对刚进入这个方向的研究生来说,关键背景是残差流审计的习惯做法:先在有害与良性提示上取平均激活差得到一个拒绝方向,再在残差上把该方向分量消去,看模型是否从拒绝翻转为顺从。

这个做法在单个聊天模型上已经被反复验证,但它默认钩的是文本解码器。当模型多了一个图像编码器、一个把图像对齐到文本空间的投影器、一段融合交叉注意力,或者多了一个音频塔,审计者自然会问,同一个配方是否也能钩在这些感知位点上。如果能,意味着多模态绕过可能从感知入口直接发生;如果不能,意味着至少在该配方下,风险仍要回到文本侧处理。

论文的任务正是把这个问题变成可比较的定位实验,而不是做本体分类。它不争论哪种微调在语义上属于哪一类,而是问架构变化是否破坏了同一套秩 1 残差协议的介入能力。输入是文本有害请求,或有害文本配上有害图像、有害文本配有良性图像、有害文本配有语音;输出是生成的聊天文本是否违规,或在另一带中生成的图像音频是否有害。必须保留的信息是提取与干预是否同位、随机对照是否贴底、生成是否塌缩。只有同时满足这些,攻击成功率的抬升才算数。

已有路线为何没有回答感知位点能否同法攻击

拒绝几何这条线一直在改进提取器。早期工作用单个差均值方向做消融或正交化,后续工作讨论多方向或仿射结构,也有人把有害性与拒绝分开,还有人把消融换成向负侧均值投影的补丁式干预。但这些工作大多停在同一个检查点或同一架构内,比较的是提取器本身是否更强。

迁移干预这条线问的是向量能否搬家。有的工作在同架构微调之间复用安全向量,有的工作学习跨模型映射,也有人研究稀疏自编码器桥接。它们关心的是防御或转向能否被带走,而不是每个衍生类别在已记录位点上是否仍可被同配方攻破。

多模态残差审计这条线更接近本文,但分工不同。有的在视觉语言模型解码器侧做推理时防御,有的用文本拒绝方向做多模态安全,有的在视觉标记上做归因但转向仍在文本解码器,有的校准模态带来的位移。按论文的协议坐标总结,这些工作的提取或归因可能用到多模态,但干预多半仍在文本解码器,非文本激活主要用于归因或条件,而不是作为同位攻击的差均值位点。本文恰好补上后者:把有害与良性感知输入的均值差也做成同位攻击,配上同样范数的随机对照,看它是否带来聊天攻击抬升。

论文把什么当作主要问题,什么只当作支撑覆盖

主要问题很具体:在同一套均值差加秩 1 残差消融协议下,聊天攻击抬升是集中在文本解码器,还是感知编码器、投影器、融合路径也能提供可比的绕过。论文反复强调这是一个关于该配方家族介入能力的判断,不是拒绝特征在感知侧不存在的判断,也不是位置完全孤立的因果判断,因为文本与非文本对照改变了对比变量和池化方式,位点变化与对照变化是绑在一起的。

支撑覆盖有三块。第一块是目录广度:把继续微调、守卫、思考、推测头、视觉语言模型、音频包装、混合器、智能体与数值格式等类别都放在同一门控下过一遍,记录哪里还能钩住。第二块是不经学习映射的基座到衍生跨体:残差宽度一致时直接装载供体方向,看攻击成功率能否从基线恢复到自身向量的一部分。第三块是生成 U-Net 带的概念差均值擦除,用单独的生成裁判评价,绝不与聊天攻击成功率混池。

这种主次划分对阅读很重要。后文凡是绝对值不大、套件受限、裁判不同的结果,都应回到这个划分理解:主要结论只依赖混合输入在文本位点有效而在感知位点无效的方向性,目录与跨体只是说明该协议在哪些叶子上仍然可钩。

共享的提取即干预流程是怎样跑通的

方法可以沿着一个样本理解。假设输入是一条有害文本配一张对抗图像,模型先把图像切块送入视觉编码器得到编码器标记,再经投影器对齐到文本空间,然后与文本标记一起进入文本解码器,最后生成一段文本。审计者要决定的只是钩子下在哪里,以及在该处平均什么、池化什么、消去什么。

论文要求提取与干预同位。先在某个位点钩住激活,按该位点的池化方式把一次输入压成一个向量,再在有害均值与良性均值之间做差并归一化得到单位方向,最后回到同一位点把激活沿该方向的分量按强度系数消去。强度为 1 时是清零该坐标,实际工作点常用大于 1 的过消融,例如 4 或 8。对照是同位同样范数的随机方向,以及空回复与塌缩回复率检查。

下面这张钩位示意图是理解全文分工的关键,读图时先看主链再看两类对照分别挂在哪一段。

看图路径: 1. 先沿从左到右的图像标记到编码器再到投影器最后到文本解码器的主链看信息走向;2. 再看非文本与文本两条对照各标注在链上哪一段以及共用的池化差均值同位消融字样;3. 注意文本代数在各聊天类别中被标注为相同,只是外围模板与路由不同

原论文 Figure 5:Hook sites on a Vision-style multimodal LM (Audio / Omni replace the left tower; the template is…

论文图 5。原论文 Figure 5::“Hook sites on a Vision-style multimodal LM (Audio / Omni replace the left tower; the template is unchanged).”。

这张图确实可见从左到右的四格主链,图像标记进入视觉编码器再进入投影器再进入文本解码器最后得到被评分输出,链下方标出非文本对照用有害与良性感知输入,文本对照用有害与良性文本,底部标出共用流程是池化后做差均值再在同位消融,并注明聊天类别共用文本代数。它帮助理解后文公式为何在文本侧都长得一样,变化的只是外围模板、适配器、路由或思考前缀,而非文本侧则要换池化与对照。没有训练的论文在这里没有拟合新权重,只是执行上述缓存、平均、归一与消融计算。

文本方向与感知方向各平均什么,在哪里消去

文本塔配方是全文的主要攻击。记文本解码器残差为解码器隐状态,池化常取最后文本位置。 harmful 文本集合与良性文本集合各取均值再相减归一,得到文本单位方向。干预时把同一文本位点的激活沿该方向消去。守卫标签任务与混合器的部分位点沿用同一文本对照家族,只是读出或块位置不同,不算新对照。

非文本配方是本文特意补上的对照组。记感知位点为编码器、投影器、融合交叉注意力、压缩器、查询变换器或解码器内的视觉音频跨度等,钩住的激活是感知输入与固定文本探针共同作用的结果。池化取非文本标记均值,融合层取图像或音频位置而不取末尾文本位置。对照是有害感知输入与格式匹配的良性感知输入,例如配对的良性图像或良性语音,文本探针保持固定。同样做差归一得到非文本单位方向,并在同一感知位点消去。

条件对照与概念对照各有分工。条件对照比较同提示下图文同时输入与纯文本输入的差异,用于防御或提取审计,不是有害与良性标签之差;概念对照比较概念提示与中性生成提示,用于扩散 U-Net 的擦除。随机对照、仅用有害均值、主成分与空白画布属于配方特异性检查。

下面这张类别乘位点总览不是攻击成功率图,它回答在同一门控下每类衍生模型的可干预残差位点在哪里,读图时注意宽度模板关系与空单元格的含义。

看图路径: 1. 先看上半两大块按轴划分的类别名与宽度模板关系,再看每行文本位点与非文本位点的有效无效色块;2. 再看下半按输入条件与输出类型划分的四种聊天输入与三种生成输出各自在哪些位点有效;3. 注意空单元格表示未断言,红色蓝色只在同一门控下比较,不跨裁判比较

原论文 Figure 1:Class\\timessite map under one extract=intervene protocol (taxonomy overview; not an ASR plot).

论文图 1。原论文 Figure 1::“Class\timessite map under one extract=intervene protocol (taxonomy overview; not an ASR plot).”。

这张图上半按轴列出各类别模型名与宽度模板关系,每行标出文本位点与存在时的非文本位点的有效无效色块,下半按 4 种聊天输入条件与 3 种生成输出条件列出各残差位点是否有效,并注明文本位点在所有聊天输入下成立而感知位点无效,U-Net 下块在所有生成条件下成立而中块不成立,裁判绝不跨带混池。它帮助把后文数字放回位置:文本系谱大面积有效只是支撑覆盖,主要定位结论仍看混合输入行。

TT × EE: TT 指文本解码器残差流,是自回归解码器每个块内的隐状态通路,负责把已编码信息变成下一个词;EE 指感知编码器输出侧的残差或特征位点,负责先把图像块或音频帧变成向量。二者搭配的意义是区分攻击到底改了理解图像的入口,还是改了决定是否拒绝的解码器本身,本文把同一套差均值配方分别作用在这两处来定位可干预位点。

Rtxt × Ru: Rtxt 是有害文本提示与良性文本提示在 TT 处的均值差对照,池化常取末尾文本位置,用于提取拒绝方向;Ru 是有害感知输入与格式匹配的良性感知输入在非文本位点的均值差对照,池化取非文本标记均值,文本探针固定。搭配理由是输入变量不同,Rtxt 改文本变量,Ru 改感知变量,组合后可以判断混合输入攻击究竟跟随哪一侧变量。

提取 × 干预: 提取指按有害均值减良性均值并归一化得到单位方向向量,干预指在同一位点把激活沿该方向的分量按强度系数消去。论文坚持提取即干预在同一位点执行,搭配后保证比较的是同一配方的介入能力,而不是用一套提取去另一处干预造成的错位。

自身向量 × 跨体向量: 自身向量指在被测模型自己身上提取的拒绝方向,跨体向量指把同家族指令基座或宽度匹配的供体方向不经学习映射直接装到受体上。搭配的意义是检验供应链复用,供体与受体残差宽度一致时才可直接装载,用受体子空间重叠做必要筛选,但重叠高不保证抬升幅度一定恢复。

聊天攻击成功率 × 生成擦除: 聊天攻击成功率指模型对有害请求生成出违规文本的比例,用文本裁判判定;生成擦除指让文生图或文生音频不再产出有害图像或音频,用裸露检测加图文一致性或音频语义一致性判定。二者输出类型和裁判完全不同,论文明确不混池,组合起来只是说明同一家族思想在解码器带和扩散 U-Net 带各有一处可钩位点。

核心干预都是下面这条秩 1 消融,符号含义是把钩住的激活沿单位方向的分量按强度消去,强度大于 1 时为过消融转向。

\[a\leftarrow a-\lambda\,(a^{\top}\hat{v})\,\hat{v}.\]

该式先计算激活与方向的内积得到标量分量,再乘以强度系数并沿方向回减,结果交回下一步解码或下一层。文本与感知两条路都用同一条式子,区别只在激活来自哪个位点、方向来自哪组均值差。论文还记录了一种补丁式变体,把清零换成补到负侧均值投影,但它被当作同位配方而不是新类别。

数据怎样划分,什么才算有效攻击

实验分 3 个互不混池的带。聊天带用文本套件与聊天裁判,条件带用混合输入但干预仍在文本位点,非文本位点带用同协议在编码器投影器融合处审计,生成带用单独的生成裁判。这样的分带是为了避免把图像质量、音频可懂度与文本违规率混成一个数。

划分上 AdvBench 取前 128 条做差均值提取,后 392 条做攻击评估,Alpaca 只提供良性对照,HarmBench320 条与 StrongREJECT313 条只做评估从不进入提取,HADES 与语音版 AdvBench 只出现在条件单元。生产级结论看 AdvBench392 加 HarmBench320 加 StrongREJECT313 的七裁判中位数加四分位距,机制与双位点与生成与上限单元常用更小的样本数。

下面这张表回答公平比较的前提是什么,各语料在提取与评估中分别承担什么角色,读表时注意提取与评估不重叠以及条件单元不进入聊天带提取池。

条件模态池总量提取数评估数角色
AdvBench 有害请求文本520128392有害请求,前 128 提取后 392 评估互不重叠
Alpaca 良性对照文本31k128—仅作文本差均值的良性侧
HarmBench文本320—320仅评估,不进入提取
StrongREJECT文本313—313仅评估,不进入提取
HADES 步骤 5图像750—500条件输入,不进入聊天带提取
AdvBench 语音版音频520—392条件输入,不进入聊天带提取

上表支撑的判断是提取与评估分离且条件单元独立,限制是后两行不是聊天带提取池,任何把条件样本拿回提取的做法都不在本文门控内。读者复现时应先对齐这组划分,再对照下文攻击成功率数字,否则跨表比较会把条件差异误读成方法差异。操作点在最终生成前冻结,七裁判中位数去掉关键词裁判,关键词单独成功率从不单独作为有效依据,还要同时满足随机对照贴底与非空非塌缩质量门。

混合输入的抬升为何集中在文本解码器

核心结果是方向性不对称。文本差均值在文本解码器处做秩 1 消融,能在纯文本与混合输入上同时抬升聊天攻击成功率,而同样均值配方在编码器投影器融合处的非文本差均值没有带来攻击抬升。跨条件对照显示攻击跟随有害文本而不是图像内容:有害文本配良性图像仍有效,有害图像配良性文本则无效,排版式上限任务也没有复现混合输入的胜利,因此 HADES 单元应理解为多模态输入下文本侧可干预性的压力测试,而不是最具诊断性的模态原生拒绝测试。

读下面机制图时先看样本云是否过中点,再看位移曲线与秩曲线的总体趋势,它把同一配方的强弱直接可视化。

看图路径: 1. 先看左图横轴拒绝轴与纵轴正交主成分下有害良性与两种干预后样本云的位置;2. 再看中图随文本解码器层数变化的位移曲线哪一条显著抬起;3. 再看右图三条文本位点曲线随层数变化的总体走向及其与顶部虚线和机会线的相对位置,注意图例仅含文本位点

原论文 Figure 2:Mechanism: intervenable lift concentrates at T under mean / rank-1 DiM (Vision-Instruct, HADES;…

论文图 2。原论文 Figure 2::“Mechanism: intervenable lift concentrates at T under mean / rank-1 DiM (Vision-Instruct, HADES; n=128).”。

这张图左图可见有害文本云偏右拒绝侧而良性文本云偏左绕过侧,文本干预把图像加有害输入整体搬到左侧绕过侧而投影器干预仍留在右侧拒绝侧;中图可见文本消融的位移曲线显著高于图像条件与感知干预曲线;右图标题为在文本位点提取方向是最强攻击方向,图例仅有文本位点不同强度的曲线,纵轴为攻击强度秩,顶部虚线为最强 50,机会线约 25.5,文本位点曲线在中段总体高于机会线。

感知位点接近机会的判断来自正文报告的秩 28 到 32 与杠杆不超过 0.26,而不是右图中的曲线。它支持的判断是被测均值秩 1 配方在文本位点是极值而在感知位点接近机会,但不排除其他特征家族成功的可能。

下面这张总览图回答各类别叶子在文本位点的旁路攻击成功率是否同时满足基线随机自身跨体四点比较,读图时注意菱形是七裁判中位数而细条是四分位距。

看图路径: 1. 先看顶部三列在同一文本套件下每叶基线随机自身跨体四种菱形加区间条的位置;2. 再看底部混合输入两列视觉与语音在文本位点的抬升是否复现顶部规律;3. 注意压缩与部分思考叶的区间条很宽或贴近基线,不要只看中点

原论文 Figure 3:Class-leaf bypass ASR under Text DiM @T (equation 3).

论文图 3。原论文 Figure 3::“Class-leaf bypass ASR under Text DiM @T (equation 3).”。

这张图顶部三列可见多数 Llama 系谱叶子的自身与跨体菱形明显高于基线与随机,压缩与部分思考叶区间很宽或贴底;底部两列可见视觉指令叶与社区视觉叶在 HADES 上以及音频叶在语音上仍在文本位点抬升。它支撑的判断是文本系谱大面积可钩,但具体幅度要看套件与工作点,不能把中点直接当作部署可得的提升。

视觉无害对照进一步限定了结论的强度。在论文视觉工作点第 10 层文本强度 4 加多模态强度 2 下,VLGuard 不安全提示 200 条用 Llama-Guard-3 单裁判计分,方向仍是文本大于投影器与编码器,但绝对值不大。下表把该对照的比较问题、公平条件与指标方向摆在一起,读表时注意裁判是生成文本裁判而非生成图像裁判,且质量门先行。

位点与池化评估集与裁判基线攻击成功率干预后攻击成功率抬升与对照
文本解码器均值配方VLGuard 不安全 200 条,Llama-Guard-30.0300.150抬升 +0.120,随机贴近基线
编码器均值配方同上基线同上基线加 0.035抬升 +0.035,远小于文本
编码器最大池化对照同上,同多模态强度 2基线同上抬升 -0.010均值抬升 +0.030,最大池化不增加
编码器放宽到强度 4同上,相干子集 200 条0.0350.232抬升 +0.197,塌缩率 11.5%,最大池化仍平坦 -0.005

上表支撑的判断是方向性在温和绝对值下成立,限制是强度 8 大多塌缩已被丢弃,强度 4 的编码器抬升伴随可观塌缩且只在均值池化相干子集上出现,不能推广为编码器在所有乘子下惰性。读者应把它与 HADES 大抬升对照看:前者防文本载荷假象,后者是主要攻击证据,二者裁判与样本包不同,不直接比大小。

位移秩与配方对照说明了什么,又没有说明什么

机制探针把同一样本缓存复用三次。先看位置:有害文本锚定在正 0.5 拒绝侧,良性锚定在负 0.5 绕过侧,中点为 0。在强度 4 下,投影器与编码器的非文本干预只把 13% 到 15% 的图像加有害提示搬过中点,未攻击时约 5% 过中点,而同强度文本消融搬过 100%。再看沿轴走多远:位移比是干预前后差向量与文本方向的内积除以有害良性间距,避免原始余弦膨胀。文本消融在干预层下游位移绝对值约 0.64,图像条件与感知干预只有 0.07 到 0.11,99% 自举带从不接近文本曲线。

第 3 个探针问该方向在同样范数随机中最强吗。在教师强制的拒绝与顺从延续安全边际上,沿攻击符号方向消融并与 50 个同样范数随机方向比较,秩 50 为最强,约 25.5 为机会。文本位点在中层秩 50 杠 50,杠杆约 6.0,而投影器编码器秩 28 到 32,杠杆不超过 0.26。最坏情形只在中层适度强度窗口成立,强度 8 的早期层随机也能造成相近边际下降。

下表把这组探针的比较问题摆在一起,公平条件是同一缓存同一强度同一范数随机,指标方向是位移越大越偏绕过,秩越大越强。

探针文本解码器感知投影器编码器条件与统计
窗口外反例强度 8 早期层随机可追平不适用说明最坏情形有窗口限制

上表支撑的判断是对被测配方而言感知扁平更像弱提取器而非下游重加拒绝的唯一解释,但它没有排除缺席与下游重加的另外两种读法,也没有穷举多方向或稀疏特征。读者应当把它与双位点消融对照看:文本加感知双消融的抬升约等于单独文本,双位点包与 HADES 测试 500 包不同,不能跨包比绝对值。

配方对照同样重要。视觉残差烘焙比较文本差均值与条件模态位移与防御式提取,防御式提取计为攻击时接近地板,说明它不是有用的攻击配方而不是图像降低了攻击。纯消融与补丁式变体的比较显示,补丁能抬起弱纯叶子如替代音频叶、薄智能体与音频叶,却会拉低已强的纯叶子,Hermes 纯中位数约 0.69 而补丁中位数约 0.10。供体筛选显示随机带内供体不迁移,带上供体才迁移,但高重叠不充分,Tulu 只恢复部分自身抬升。因此跨体是支撑坐标而非主要定位结论。

叶子与配方任务与裁判基线干预后限制
守卫标签任务文本协议有害转安全错判,关键词任务裁判0.030.88标签错判不等同聊天攻击成功率
强纯叶子补丁反例AdvBench392,七裁判中位数纯约 0.69补丁约 0.10补丁是同位变体,不立新类

上表支撑的判断是目录广度在各自的分工内成立,限制是守卫用标签单位、补丁有双向作用、思考类依赖分套件证据。读者应拿它与主结果对照:主结果回答哪里可钩,这张表回答在同一门控下还有哪些叶子可钩以及代价是什么。

结论在什么条件下成立,哪些还不能说

首要边界是配方范围。所有不对称结论都绑定在均值差加秩 1 同位消融及其补丁变体上,文本与非文本对照改变了对比变量与池化,比较不是完全孤立的位置效应。扁平的非文本单元有 3 种读法:拒绝相关轴缺席、均值秩 1 配方错过、找到但被下游文本重新拒绝。边际秩与杠杆探针加压的是第二种读法,但没有排除第一与第 3 种,也没有穷举其他转向家族。

其次是输入与裁判范围。HADES 把对抗图像与显式有害文本配对,攻击跟随有害文本,排版式上限任务没有复现胜利,因此它是文本侧可干预性在多模态输入下的压力测试,不是模态原生拒绝的诊断。VLGuard 保留方向性但绝对值温和,池化、尺度、阈值与等编辑预算诊断都在正文给出,任何把温和值念成大规模绕过的做法都超出证据。生成 U-Net 的下块擦除有效而中块无效,但裁判从不与聊天混池,不能把擦除率与攻击成功率直接比大小。

第三是目录与跨体的适用条件。跨体主要在 Llama-3.1-8B 指令系谱内验证,宽度不一致时需要线性映射,超 lineage 模型用宽度匹配的家族供体,个别供体在随机带内则不迁移。思考类是套件受限的有效,AdvBench 纯消融仍弱,补丁版未过随机门。压缩、注意力替换与扩散叶在共享门下关闭,含空回复塌缩的质量门失败,没有测量误判率延迟或成本就不能承诺这些会改善。未来工作应是换特征家族或非残差协议重探无效不可行与无钩位点,而不是在同一强度网格上继续扫参。

要复现第一步先对齐什么

先对齐划分与冻结工作点。AdvBench 前 128 条做提取后 392 条做评估,HarmBench 与 StrongREJECT 只做评估,HADES 与语音版只做条件单元。每叶的层与强度在最终生成前冻结,例如根指令叶文本 16 层强度 2,视觉指令叶文本 10 层强度 4,音频叶文本 16 层强度 2,混合器在指定混合位点多层强度 3,个别叶有预先声明的例外。贪婪解码,提取即干预同位,随机对照同样范数同位,空回复率先检查。

再对齐裁判与门。生产级用七裁判中位数加四分位距,关键词排除在中位数外,有效需要同时满足分类器组合高于基线、随机贴底、生成非空非塌缩。守卫看有害转安全错判,生成看裸露加一致性,互不混池。机制探针复用同一缓存的 128 条开发集,位移用间隙单位,秩用 50 个同样范数随机,报告自举带与窗口条件。

来源方面,论文正文说明随附材料中带有核心提取干预与同样范数随机脚本、冻结工作点配置与最小端到端示例,并说明该存档是关键词冒烟路径,生产级以组合裁判为准,完整实验脚本面板与扩展网格待接受后发布。这里三件事要分开:随附脚本存在不等于完整复现包已可下载,权重可得不等于系统可一键运行,单例能跑不等于全网格能在有限预算下跑完。没有收到可验证的公开链接时,不应写成代码模型数据已公开。

什么时候值得尝试,还缺哪项验证

当审计对象是 Llama 系谱的继续微调、适配器、思考、视觉或音频包装、薄智能体或混合器,且残差宽度与模板允许下钩时,值得先试文本解码器的差均值秩 1 协议,因为它在同一门控下覆盖最广且对照最全。第一步应是按上节对齐划分与冻结工作点,先跑自身向量与同样范数随机,若抬升成立再试宽度匹配的家族供体跨体,不要一开始就调强度或换池化。

当输入是图像加有害文本或语音加有害文本时,优先把干预放在文本解码器并配上良性图像或良性语音对照,验证攻击是否跟随文本。若只在感知位点做均值差而文本侧不动,按本文证据大概率看不到稳定抬升,此时应先怀疑配方家族不匹配而不是直接断言该位点无拒绝信息。生成头则应换到 U-Net 下块做概念差均值并用生成裁判独立评价。

还缺的验证是其他特征家族在无效不可行与无钩位点上的重探,以及等编辑预算下感知方向的系统比较。任何把本文方向性推广为拒绝不存在于感知侧,或把某一叶的中点抬升当作部署可得提升的做法,都超出了证据。正确的使用方式是把类别乘位点总账当作同一协议下哪里还能钩住的记录,而不是通用多模态绕过的排行榜。

📎 论文与评分元数据

排名:后50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-17 语音/音乐/音频论文速递