📄 冻结语音基座如何先学鲁棒再适配新任务
英文题目：Transferable Adversarial Robustness for Speech Foundation Models via Hierarchical Stabilization
标签：#音频分类 | #说话人识别 | #对抗训练 | #对抗鲁棒性
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Aref Mousavi：机构信息未在 arXiv HTML 中可靠披露
- Shahab Sherafat：机构信息未在 arXiv HTML 中可靠披露
- Kiarash Kiani Feriz：机构信息未在 arXiv HTML 中可靠披露
- Amirparsa Safari：机构信息未在 arXiv HTML 中可靠披露
- Raoof Zare Moayedi：机构信息未在 arXiv HTML 中可靠披露
- Mohammad Hossein Rohban：机构信息未在 arXiv HTML 中可靠披露
- Mohammad Sabokrou：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
冻结语音基础模型在使用时保持骨干不变，下游任务只学习各隐藏层表示的凸融合权重和一个线性分类器，输入是原始波形，输出是关键词、意图、说话人或情感的类别编号，难点是未来任务会选择哪几层、分类边界在哪里都未知，单做最后一层的稳健化无法覆盖所有可能的融合。第一阶段在任务未知时用无标注语音做对抗稳健化，对每一层计算攻击前后帧序列的层归一化距离，再用平滑最大值聚合各层不稳定性，同时用保持项把干净表示锚定在原始预训练模型附近，输出是稳健化后的骨干。第二阶段先用干净标签学出任务相关的融合权重和线性头并将其冻结，只更新分类器的权重和偏置，直接放大样本到最近决策边界的归一化几何距离，不用任何下游对抗样本。相对只稳定末端嵌入的FARE风格做法和只稳定最后一层的对照，跨层稳定的差异在于它对任意融合权重都给出移动上界。Wav2Vec2 Large、HuBERT Large和WavLM Large在4个任务上的平均结果显示，完整方法相对标准训练把鲁棒准确率提高50.4个百分点，干净准确率下降3.2个百分点，评测采用含自适应攻击的样本级并集。在单块RTX 4090上训练成本为第一阶段每骨干一次18.9 GPU小时，第二阶段每任务0.37 GPU小时，少于每任务10.7 GPU小时的全量对抗微调。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
冻结基座适配要解决什么效率问题
这篇论文研究的是语音基础模型的一种常用用法。输入是一段波形，输出是整句的类别，例如关键词是什么、意图是什么、说话人是谁、情绪是哪一类。基座是已经预训练好的大型变换器，例如 Wav2Vec2 Large、HuBERT Large 和 WavLM Large，论文不重新训练它，而是把它冻结。下游任务只学两样东西，一是对各隐藏层表示的加权融合，二是一个轻量线性分类头。这种做法在 SUPERB 风格的评测里很常见，好处是新任务来时计算量小，不用每个任务都回传整个大模型。
论文关心的矛盾是，对抗鲁棒通常靠对每个任务做对抗微调得到，也就是反复生成对抗样本并更新整个基座，这正好丢掉了冻结适配的效率。作者于是问，能否在还不知道未来任务时就把鲁棒性学好，让后面的任务直接复用。读者需要先记住这个信息条件，未知的是未来任务的融合权重和分类器，已知的是基座结构和无标注语音。后续所有设计都围绕这个未知展开，而不是针对某个固定分类任务做调参。
冻结带来的效率体现在基座参数 1 次固定、多次复用，下游只存融合向量和分类矩阵。若每个新任务都要重新生成对抗波形并更新全部变换器块，存储和计算都会随任务数线性增长。论文的目标就是把最贵的那部分提前到任务无关阶段做 1 次，后面每个任务只做干净适配和轻量调整。
已有路线为什么没有覆盖层融合未知的情况
在图像侧，Robust CLIP 中的 FARE 做法是稳定视觉编码器的末端输出，让已有下游系统直接复用鲁棒编码器而不用重训。论文明确比较了这一点，指出语音这里多了一层不确定性，未来任务不仅要学分类器，还要学各层的混合比例。如果只把最后一层做稳定，前面各层的扰动位移仍然不受约束，而未来任务很可能恰好选中前面层。
语音侧已有工作研究了下游任务、融合权重和分类器对攻击者未知时的攻击，研究了自监督语音模型之间的对抗迁移，也研究了针对鲁棒语音识别的任务内对抗微调。论文指出这些工作没有同时处理本文的组合，任务内融合与分类器在鲁棒化时未知，鲁棒化必须跨层稳定，下游还要在不用对抗样本的条件下调整决策几何。
还有一类更一般的工作说明鲁棒预训练表示可以把鲁棒性传给下游分类器，并研究适配过程中鲁棒性的变化，但同样没有给出匹配冻结层融合的跨层目标和边距调整。因此本文不是简单把图像方法搬到语音，而是把稳定对象从末端向量改成整个隐藏层级，并把第二步的调整对象从表示改成分类边界。比较时要注意输入、目标和运行阶段是否相同，末端稳定与跨层稳定在本文是同数据同威胁下的对照，而不是跨论文的胜负。
输入扰动如何变成融合表示的移动
论文把 1 次攻击的输入记为干净波形加扰动，扰动集合是信噪比受限的数字波形扰动，主结果用 30 分贝，灵敏度分析覆盖 24 到 36 分贝。基座每一层输出的是去掉填充后的帧序列，层数对应变换器块数。下游使用时先对每层做帧平均池化，再做中心化和归一化，得到每层向量，然后按非负加和为一的权重融合为一个向量，最后送入线性分类器。攻击引起的融合表示移动就是加扰动后的融合向量减去干净融合向量。
论文给出的充分条件很直观，只要这个移动的欧氏长度小于该样本到最近决策边界的欧氏距离，预测就不会改变。这个条件把鲁棒拆成两项，一项是移动，由基座和融合决定，另一项是边距，由分类器决定。它只是充分而非必要，所以作者把它当作方向性诊断，而不是直接预测鲁棒准确率的公式。理解这一点很重要，后面第一阶段只压移动，第二阶段只放宽边距，分工正好对应这个不等式的两边。
举例来说，可以把融合点想象成纸面上的一个点，攻击把它推走一小段，分类边界是纸面上的一条直线，只要推动距离小于点到直线的距离，点就不会越过直线。这里的例子只是帮助理解几何关系，不代表真实高维多类边界的形状。
两阶段流程如何分工又不互相破坏
整体流程分 3 段。第一阶段在任务未知时做层级鲁棒化，用无标注语音同时最小化跨层不稳定性和干净偏离，得到鲁棒基座。中间是干净适配，对每个任务用干净标签学融合权重和线性头，基座保持冻结。第二阶段固定基座和已学好的融合权重，只更新分类器的矩阵和偏置，用干净数据扩大归一化几何边距，全程不见对抗样本。固定融合是刻意为之，这样第二阶段只改变决策几何，不重新选择干净适配选中的表示，第一阶段对移动的上界在该融合权重下依然成立。下面先看总览图 3 个面板的分工，再看几何解释中谁压位移谁拉边界。
图 1 从左到右展示了鲁棒化、适配与边距调整的流水线，面板 a 区分可训练与冻结分支，面板 b 用虚线框标出共享冻结部分，面板 c 用 2 维示意标出位移与边距的长短比较，读图时注意颜色图例中冻结与可训练的含义。
看图路径： 1. 先看面板 a 中两条输入如何分别进入可训练与冻结基座并汇成两项损失；2. 再看面板 b 中冻结虚线框与可训练融合权重的分界位置；3. 最后看面板 c 左侧几何图中位移箭头与到边界虚线的长短关系
论文图 1。原论文 Figure 1:：“Overview of the proposed framework. Stage 1 robustifies representations across hidden layers before downstream tasks are known, while preserving clean representations.”。
图 1 面板 a 显示上方橙色可训练基座同时接受干净与加扰输入并输出各层序列，下方蓝色冻结原始基座只接受干净输入，两路汇成跨层聚合项与干净保持项。面板 b 显示每个任务重复的干净适配，虚线框内是共享冻结部分，框外是可学习的融合权重与分类头。面板 c 左侧是几何示意，融合点受扰动移动一小段，到边界的虚线距离是边距，右侧文字说明第一阶段压小位移、第二阶段增大边距，共同保证预测不变。
\[\|r_{\alpha}(x,\delta)\|_{2}层表示如何归一化到同一尺度下比较
不同深度的激活尺度差异很大，直接比原始欧氏距离没有意义。论文为每层固定一个尺度，是用原始预训练基座在与下游无关的保留干净语音上估计的平均能量，估计 1 次后固定。这样鲁棒化与下游适配用同一套尺度表达，任何方法都不能靠放大自己的归一化因子来虚假缩小距离。层漂移的度量是两段帧序列在每帧差平方和后再除以帧数、隐维度和该层尺度。
下游消费时同样除以该尺度，先池化减均值再除以尺度与维度的乘积，保证鲁棒化时最小化的量与下游实际用的量在同一坐标系。符号上，输入波形记为 x，层表示记为各层帧矩阵，池化记为对有效帧取平均，融合表示记为各层归一化向量的凸组合，分类器记为矩阵乘向量加偏置。这个归一化细节是后面跨层比较和上界推导的前提，如果跳过它，各层的漂移数值就不可比，加权也就失去意义。
层融合 × 线性分类器： 层融合指对各隐藏层池化后表示按凸权重加权求和得到一个任务表示，线性分类器指作用在这个融合表示上的矩阵加偏置。层融合决定用哪些深度信息，线性分类器决定在该表示空间中画分界面，二者组合后，下游任务只需学融合权重和一个小矩阵即可适配冻结基座。
\[m_{yj}(x)=\frac{(w_{y}-w_{j})^{\top}z_{\alpha_{0}}(x)+(b_{y}-b_{j})}{\|w_{y}-w_{j}\|_{2}}.\]上式是某真实类别与某个竞争类别之间的有符号欧氏距离，分子是两行权重差与融合表示的内积加偏置差，分母是权重差的二范数。除以范数的作用是消除缩放的影响，权重整体放大不会改变距离，这正是第二阶段要直接优化的对象，而不是交叉熵的对数差距。
跨层稳定为什么要用平滑最大值加干净锚
在任务未知时不能偏爱任何一层，所以论文先算每层的漂移，再用平滑最大值在深度上聚合。这个聚合夹在最大值与最大值减去一个与层数和参数有关的间隙之间，参数趋于零时退化为层平均。直观说，它重点惩罚漂移大的层，但仍给所有层梯度。只压漂移还不够，因为把激活压小也能让漂移变小，却会破坏预训练特征，所以再加一项干净保持，度量当前参数与原始基座在干净输入下各层距离的层平均。
内层最大化在信噪比集合内找最坏扰动，用投影梯度上升近似，外层最小化期望下的最坏聚合加干净保持权重。干净保持放在内层最大值之外，因为它与扰动无关。论文还给出跨层才行的理由，池化是帧平均，由詹森不等式可得池化后位移平方不超过帧级漂移，再由混合的凸性和平滑最大值的双边界，可得任何容许融合权重的移动都被最坏层漂移控制，进而被平滑最大值加一个常数控制。只稳定最后一层时，该界只对单独使用最后一层的混合成立。
表示漂移 × 干净保持： 表示漂移指对抗扰动前后同一层帧序列之间的归一化距离，干净保持指鲁棒化后模型在干净语音上与原始预训练模型的层表示距离。只压漂移会把特征压塌，所以二者搭配，一个负责在扰动下不动，一个负责在无扰动时不偏离原有语音特征。
表示移动量 × 决策边界边距： 表示移动量指融合表示在攻击前后的欧氏位移，决策边界边距指融合表示到最近分类边界的欧氏距离。前者由第一阶段跨层稳定来压小，后者由第二阶段只调分类器来放大，当移动量小于边距时预测一定不变，二者分工对应鲁棒充分条件的左右两边。
沿着一个样本看，干净波形与加扰波形分别经过可训练基座得到两套层序列，逐层算归一化距离得到漂移向量，取平滑最大值得到不稳定分数，同时干净输入经过当前模型与原始模型得到保持损失，两项相加决定基座更新方向。
干净适配选好融合后如何只调分类边界
干净适配把鲁棒基座冻结，只用干净标签最小化交叉熵，同时学融合权重和线性头，得到初始三元组。这一步固定了任务表示，之后不再动。交叉熵的问题是它没有显式控制几何距离，放大权重和偏置就能增大对数差距并降低损失，但边界位置不动。第二阶段于是冻结基座和融合，只更新权重矩阵和偏置，最小化交叉熵减去边距项。由于真实边距是对多个类别距离取最小，不可微，论文用软最小做下界近似，温度趋于零时回到真实最小。
优化的是该下界，温度、权重和检查点都只用干净训练和验证数据选择，并有预先声明的干净准确率约束，全程不用下游对抗样本。冻结融合保证边距优化只重塑决策几何，不重新选择表示，第一阶段的移动上界在该融合下继续成立。
\[m_{\tau}(x)=-\tau\log\!\left[\sum_{j\neq y}\exp\!\left(-\frac{m_{yj}(x)}{\tau}\right)\right],\]上式是软最近边界边距，对各竞争类别的距离取指数加权平均的对数再乘负温度，它夹在真实边距减去温度乘类别数对数与真实边距之间。温度越小越接近真实最小，但优化越不平滑，论文在主实验取固定值。
\[(W^{\star},b^{\star})=\arg\min_{W,b}\mathbb{E}_{(x,y)\sim\mathcal{D}_{t}}\!\left[\mathcal{L}_{\mathrm{CE}}-\lambda_{2}m_{\tau}(x)\right],\]上式是第二阶段目标，期望内是交叉熵减去边距权重乘软边距，只对分类参数求最小。注意监督全部来自干净标签，梯度只经过分类头，不回传基座和融合权重。
交叉熵 × 软最近边界边距： 交叉熵只关心对数概率差距，可通过放大权重虚增差距而不移动边界，软最近边界边距则是对各类别欧氏距离取软最小并除以权重差范数得到，对缩放不变。二者相减联合优化后，既保留分类监督，又直接把下尾边距推大。
可以把第二阶段理解为在保持分类正确的前提下，把离边界最近的那批样本往里推，交叉熵负责不把已分对的样本推错，边距项负责把下尾距离拉大。
鲁棒化与边距调整的实际训练如何执行
第一阶段用 100 小时 Common Voice 无标注语音做鲁棒化，训练 3 轮，干净保持权重取 0.2，内层用 10 步投影梯度下降在 30 分贝下找扰动，平滑最大值参数取 30，尺度在不相交保留集上标定。优化器用 Adam，10% 线性预热后线性衰减到零，峰值学习率第一阶段为 5 乘 10 的负 5 次方，第二阶段为 10 的负 3 次方。第二阶段在缓存的融合表示上训练 50 轮，边距权重取 2，温度取 0.1，只更新分类头。超参数选择只看干净数据，不用对抗验证或测试样本。
下游报告是对固定第一阶段检查点跑 3 个下游适配种子，变化量按种子配对再在四任务上平均。这种写法把 1 次基座成本与每个任务成本分开，第一阶段每个基座 1 次，第二阶段每个任务 1 次，与每个任务都要更新基座的完全对抗训练形成对照。训练时梯度路径很清晰，第一阶段梯度回传整个基座，第二阶段梯度只到分类头，融合权重和基座都不更新。
平滑最大值 × 最坏层： 最坏层指当前样本和扰动下漂移最大的那一层，平滑最大值指用对数求和指数对各层漂移做的可微近似。它在参数大时逼近最大值，在参数小时退化为层平均，组合后既能在训练中聚焦高漂移层，又保持梯度可传到所有层。
\[\theta_{r}=\arg\min_{\theta}\mathbb{E}_{x}\!\left[\Big(\max_{\delta\in\Delta_{S}(x)}\operatorname{LSE}_{\beta}(\mathbf{d})\Big)+\lambda_{1}\mathcal{L}_{\mathrm{pres.}}(x)\right],\]上式是第一阶段的完整目标，期望内是扰动集合上平滑最大值的最坏值加上干净保持项。实现上是交替的对抗训练，内层上升近似最大值，外层下降更新基座，干净项不依赖扰动所以不进内层。
基座任务威胁与评测条件如何保持一致
基座覆盖 Wav2Vec2 Large、HuBERT Large 和 WavLM Large，三者预训练目标和数据不同，论文以 Wav2Vec2 Large 为主做机制、攻击和灵敏度分析，三基座一起看迁移广度，比较只在同一基座内做，不跨预训练模型比高低。任务是同一冻结接口下的 4 个整句分类，关键词识别测内容、流式命令意图分类测语义、VoxCeleb1 说话人识别测说话人、4 类 IEMOCAP 情绪识别测副语言，互补地覆盖语音因素。
威胁是无目标、信噪比受限的数字波形扰动，主操作点 30 分贝与已有自监督语音识别攻击一致，主结果外还在主基座上扫 24 到 36 分贝，并加一个心理声学整形的语音感知攻击，因为全局信噪比不是感知保证。评测对每个模型跑全测试集，用 AutoPGD 交叉熵、最小化归一化边距、最大化融合位移两个防御感知攻击加心理声学攻击，各跑 50 步 2 重启，都满足 30 分贝约束并可微穿过预处理、池化、融合与分类器。
鲁棒准确率取每样本在攻击池中全部保持正确的比例，即按样本取并集，而不是各攻击平均后再取最小。机制诊断还报告平均融合移动的变化率和干净归一化边距第 10 百分位的变化，前者为负表示位移减小，后者为正表示下尾边距变大。对照包括标准加交叉熵、FARE 风格、末端层对照、2 阶段方法、下游对抗头训练和只在主基座报告的完全对抗训练预言，其中 FARE 风格用同样无标注数据和威胁但不分离鲁棒与保持，末端层对照保留干净保持只把聚合换成最后一层漂移。
跨层稳定与边距调整各带来多少增益
先看主结果的比较问题，在同一基座内，跨层稳定相对标准训练和只稳定末端层能否带来可迁移的鲁棒提升，指标是干净准确率与鲁棒准确率，方向都是越高越好，鲁棒准确率是在攻击池并集下保持正确的比例，比较条件是同基座同威胁同干净适配。
| 比较范围 | 对比对象 | 鲁棒准确率变化 | 干净准确率变化 | 说明 |
|---|---|---|---|---|
| 12 个基座任务组合平均 | 第一阶段加干净适配相对末端层对照 | 21.7 pp | 0.9 pp | 高鲁棒并略高干净 |
上表显示第一阶段加干净适配在全部 12 个基座任务组合上都提高鲁棒准确率，平均提高 46.4 个百分点，干净准确率平均代价 2.1 个百分点，而在同样的 12 对平均条件下比末端层对照高 21.7 个百分点鲁棒准确率并高 0.9 个百分点干净准确率。摘要的另一组同义表述是层级鲁棒化提高 46.4 个百分点，边距调整再加 4.0 个百分点对应 1.1 个百分点干净代价。完整方法的结论是相对标准加交叉熵平均提高 50.4 个百分点鲁棒准确率，干净代价 3.2 个百分点。限制是这些都是在受评数字波形攻击下的均值，没有给出每种攻击单独部署时的保证，也没有覆盖物理播放等威胁。
再看完整方法与任务内预言的比较，条件不再相同，预言允许每个任务更新基座或使用对抗样本，因此只能看上限，不能当作冻结复用时可直接拿到的提升。
| 适用条件 | 方法 | 平均鲁棒准确率绝对值 | 相对提升 | 干净准确率变化与代价 | 备注 |
|---|---|---|---|---|---|
| 主要基座四任务均值 | 本文完整方法 | 50.4% | — | 干净代价 3.2 pp | 可复用冻结基座 |
| 主要基座四任务均值 | 完全对抗训练预言 | 63.0% | — | 需任务内对抗样本 | 每个任务更新基座 |
| 主要基座四任务均值 | 软近似相对硬最小 | — | 2.5 pp | 更大下尾边距 | 边距目标选择 |
| 12 个基座任务组合平均 | 边距调整附加 | — | 4.0 pp | 干净代价 1.1 pp | 不用对抗样本 |
| 12 个基座任务组合平均 | 完整方法相对标准加交叉熵 | — | 50.4 pp | 干净代价 3.2 pp | 冻结复用 |
上表说明在主要基座四任务均值下软近似比硬最小高 2.5 个百分点鲁棒准确率并带来更大下尾边距，而完全对抗训练在主基座达到 63.0% 平均鲁棒准确率，高于完整方法的 50.4%，但它每个任务都要更新基座并使用对抗样本。在 12 对平均条件下边距调整附加 4.0 个百分点，完整方法相对标准加交叉熵提高 50.4 个百分点。预言数字是事后知道任务并允许大幅改动模型得到的结果，坚持冻结与干净适配部署时只能落在本文方法的区间，不能免费拿到预言的上限。
右图横轴是信噪比预算从 24 到 36 分贝，纵轴是鲁棒准确率百分比，3 条曲线分别对应末端层与 2 阶段方法，读图时先确认虚线处 30 分贝主操作点，再比较预算放宽时曲线的相对顺序。
看图路径： 1. 先看左图横轴层序号与纵轴归一化漂移下三条曲线的峰值位置；2. 再看右图横轴信噪比预算增大时三条鲁棒准确率曲线的相对顺序是否改变
论文图 2。原论文 Figure 2:：“Primary-backbone diagnostics on the IC task.”。
右图显示随预算放宽即扰动变小，3 条曲线都上升，但跨层稳定的两条始终高于末端层，且完整方法在各预算下保持最高，方法排序不随预算改变。左图显示层漂移随层序号的变化，末端层目标在最后一层最低但在多数前面层最高，跨层目标把峰值压得更低，这是只看末端会误判的原因。虚线标出的 30 分贝是主结果的操作点，左右两图都是在意图分类任务与主基座上的诊断。
拿掉跨层聚合或干净保持会发生什么
这一节回答机制问题，跨层聚合中的平均、最坏加权和干净锚各自起什么作用，比较都在主基座上用干净交叉熵适配且不用第二阶段，公平条件是同一鲁棒化数据和威胁。表前说明移动变化 ΔRα 统一相对标准加交叉熵，四任务平均，负值表示位移减小，相对完整第一阶段的干净代价和鲁棒下降另列标注，训练与部署成本分开记录。
| 比较基线 | 变体 | 相对标准加交叉熵的移动变化 ΔRα | 相对完整第一阶段的干净准确率代价 | 相对完整第一阶段的鲁棒准确率变化 | 训练成本 |
|---|---|---|---|---|---|
| 相对标准加交叉熵的四任务均值之差 | 第一阶段相对层平均 | — | — | 高 4.5 pp | — |
| 移动相对标准加交叉熵，代价相对完整第一阶段 | 去掉干净保持 | 移动减小 93.2% | 下降 18.7 pp | 下降 30.3 pp | — |
| 绝对实测每个基座 1 次 | 第一阶段 | — | — | — | 18.9 GPU-h |
| 绝对实测每个任务 | 第二阶段 | — | — | — | 0.37 GPU-h |
| 绝对实测每个任务 | 完全训练 | — | — | — | 10.7 GPU-h |
上表显示跨层第一阶段比层平均稳定高 4.5 个百分点鲁棒准确率。去掉干净保持时移动变化是相对标准加交叉熵减小 93.2%，而干净代价和鲁棒下降是相对完整第一阶段，分别为下降 18.7 个百分点干净准确率和下降 30.3 个百分点鲁棒准确率，两组基线和指标分开标注。这说明只看移动减小会误判，压塌特征后位移虽小，分类本身已坏，鲁棒准确率反而下降。
结合训练成本看，第一阶段在 RTX 4090 上每个基座 1 次 18.9 GPU 小时，第二阶段每个任务 0.37 GPU 小时，而完全对抗训练每个任务 10.7 GPU 小时，所以本文方法把大头成本摊到基座 1 次，后续任务只付小头。未胜出的项是去掉保持的变体，它在移动指标上最好，但在真正关心的鲁棒准确率上反而大跌，这正是论文用来提醒不要单看位移的原因。
结论在什么攻击与成本下才成立
证据支持的结论有明确边界。攻击侧只评了数字波形扰动，包括自适应边距、融合位移、AutoPGD 交叉熵和心理声学整形攻击，均为 50 步 2 重启并验证到该步数不再下降，没有评物理重放、环境混响或有目标攻击。扰动强度主操作点是 30 分贝，灵敏度只在 24 到 36 分贝内验证排序不变，超出该范围不能外推。任务侧只覆盖 4 个整句分类，层融合加线性头的接口固定，没有评序列识别或生成任务。基座侧只覆盖 3 个 Large 模型，比较只在同基座内有效。
统计侧是 3 个下游种子均值加减标准差，变化量按种子配对平均，没有报告显著性检验。成本侧只报告训练耗时，没有测量推理延迟、误判率之外的公平性或感知质量，所以不能承诺延迟会改善。容易误解的是充分条件，它只说移动小于边距则一定不变，反过来不成立，移动大不一定错，边距小也不一定错，因此移动和边距只是方向性诊断。另一个误解是去掉干净保持后移动最小就该最鲁棒，原文反例正好说明表示质量垮掉后鲁棒准确率反而大跌。
还有一个常见误读是把不同基座的绝对准确率直接排名，原文明确要求只在同基座内比较，因为预训练目标和数据本就不同。
复现第一步要固定哪些数据与超参数
复现先固定信息条件，鲁棒化只能用与任务无关的无标注语音，尺度用不相交保留集估计 1 次后冻结，下游只能用干净标签学融合与分类头，第二阶段选择只能看干净验证。数据上第一阶段用 100 小时 Common Voice，尺度标定用其不相交保留分支，下游用各自任务的官方划分。
超参数按原文抄，干净保持权重 0.2，平滑最大值参数 30，内层 10 步投影梯度下降在 30 分贝下，第二阶段边距权重 2、温度 0.1、在缓存融合表示上 50 轮，优化器均为 Adam 带 10% 线性预热后线性衰减，峰值学习率分别为 5 乘 10 的负 5 次方和 10 的负 3 次方。评测要复刻攻击池，4 种攻击各 50 步 2 重启，满足 30 分贝约束并可微穿过预处理到分类器，鲁棒准确率按样本取并集，不是各攻击准确率取最小。报告时固定第一阶段检查点跑 3 个下游种子，变化量按种子配对再平均。
关于来源，原文末尾写了代码与配置位于 github 链接，但本次没有收到完成 HTTPS 验证的作者资源绑定，按规则不能写已公开或可运行，只能说原文给出了该链接，是否可下载运行需读者自行确认。代码、权重可下载与系统可运行是三件不同的事，原文只给出一处链接信息，不能据此推断三者都已满足。
什么时候值得尝试还缺哪项验证
当你的场景符合三点时值得尝试，一是基座要冻结复用，新任务不断到来且每个任务都做对抗微调太贵，二是下游接口确实是层融合加线性头且未来融合未知，三是威胁主要是信噪比受限的数字扰动。此时先做 1 次跨层鲁棒化摊成本，后续任务只付干净适配加分类头边距调整的小成本。复现第一步是先把尺度估计与干净保持跑通，确认去掉保持后干净准确率大跌的反例能复现，再看跨层相对末端层的增益是否存在。
不建议把完全对抗训练的数字当作可部署提升，它是更新基座的任务内预言，只说明上限。还缺的验证包括物理链路、更大扰动或有目标攻击下的排序，序列任务上的迁移，以及推理延迟与感知质量的测量。总体上，跨层稳定解决了融合未知时的移动上界问题，干净边距调整在不碰表示的条件下扩大下尾边距，二者相加得到 50.4 个百分点的平均鲁棒提升，但 3.2 个百分点的干净代价和攻击范围限制需要一并记住。
对于刚入门的研究生，建议先复述移动小于边距的充分条件，再复述 2 阶段谁动谁不动，最后用 3 组数字讲清代价，跨层相对末端的增益、边距调整的附加增益与完整方法的总增益。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses