冻住大模型，只调八个向量：AnchorPrompt 用干净答案蒸馏自己

📄 冻住大模型，只调八个向量：AnchorPrompt 用干净答案蒸馏自己

英文题目：AnchorPrompt: Self-Distilled Soft Prompts for Robust Audio-Language Models

标签：#音频问答 | #提示学习 | #知识蒸馏 | #鲁棒性 | #幻觉与忠实度

评分：7.7/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Pooneh Mousavi：机构信息未在 arXiv HTML 中可靠披露
• Amir Ivry：机构信息未在 arXiv HTML 中可靠披露
• Mirco Ravanelli：机构信息未在 arXiv HTML 中可靠披露
• Cem Subakan：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

大型音频语言模型以录音加问题选项为输入并输出选项字母，在噪声、掩蔽与恶意注入下易偏离clean预测并在无证据时产生幻觉。首先冻结教师模型在干净录音上经贪婪解码产生伪目标，证据缺失时定为CANNOT DETERMINE以约束幻觉。然后学生在扰动音频输入的音频嵌入与问题嵌入之间插入8向量可学习软提示，用扰动输入复现上一步的教师伪目标。最后交叉熵损失只更新提示向量而保持解码器冻结，使一致性校正沉淀于提示中并在推理时独立运行。相比纯文本手写指令无法重对齐受损音频表示，该机制直接在嵌入空间提供可优化的校正层，且推理时无需扰动检测。在SAKURA基准全掩蔽条件下，AnchorPrompt的回答率指标为0.5%，低于Base的回答率指标59.1%。该结论限于三模型与三套多选题基准，未验证开放问答、流式与强自适应攻击，且重度损坏拒答多为训内条件，外推仍待检验。训练在单卡上耗时2.7小时至8.8小时，参数不足模型0.001%，推理仅增加8个向量长度。

🔗 开源与复现资源

• 代码相关资源：https://poonehmousavi.github.io/anchorprompt → https://poonehmousavi.github.io/anchorprompt/ — 链接可访问（HTTP 200）

• 演示资源：https://poonehmousavi.github.io/anchorprompt → https://poonehmousavi.github.io/anchorprompt/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么研究生要关心扰动？

本文的输入是一个三元组：一段录音、一道问题、若干选项。录音覆盖语音、环境声和音乐，问题是多项选择题，要求模型输出所选选项的字母。目标不是在干净录音上刷高分，而是在录音被加噪、被挖空、被混入误导人声，或者问题被注入误导句子之后，模型仍能保持与干净输入相同的判断，并在证据确实不足时明确拒答。输出只有两种合法形态：选项字母或固定短语拒答。

对刚进入语音音频方向的研究生来说，这个设定值得先建立直觉。音频语言大模型通常由音频编码器加语言模型解码器组成，编码器把波形变成嵌入序列，解码器再联合读入音频嵌入和文本嵌入。噪声和遮挡会直接改变音频嵌入的数值分布，注入文本会改变文本侧的先验强度。两类变化都会传导到解码器的注意力与输出分布，但手写提示词只存在于文本侧，无法把已经漂移的音频表征拉回来。这就是论文要解决的学习依赖：鲁棒性不仅是语言问题，更是音频表征错位问题。

本文当前可用与已公开的信息依据是资源状态。代码与音频示例链接本次状态为可用，演示链接本次状态为可用，因此可以写当前可用与已公开。复现时应先确认这两个链接仍可达，再下载示例与代码核对扰动做法，不要仅凭记忆复述超参数。

已有路线处理了什么，还缺哪一块？

第一条路线是通用音频评测。文中提到的评测覆盖通用音频任务、专家知识、多步推理和音频接地逻辑，但主要依赖干净录音和静态模板。这类工作回答了模型在理想条件下能做什么，没有系统回答在噪声、缺失和对抗操纵下会做什么。

第二条路线是文本大模型的提示优化。文本侧已发现拼写错误、改写和选项顺序都会影响模型，缓解办法包括提示优化。这条路线处理的是文本扰动，但音频语言模型多了一个音频模态，噪声、掩蔽和注入语音会改变送入解码器的音频嵌入，手写指令在文本侧操作，无法重新对齐受损的音频表示。论文报告手写指令在多样音频与文本扰动下不足以稳定行为，这正是需要可训练软提示的理由。

第 3 条路线是直接改模型或解码。包括微调模型参数、训练任务适配器、修改解码机制等。这些做法要动大量参数或改推理流程，成本高且往往依赖标准答案标签。本文选择另一条路线：冻结全部模型参数，只训练一小块软提示向量，并用自蒸馏代替标准答案监督。理解这 3 条路线的分工，就能明白本文不是要提出新模型结构，而是要提出一种参数极少、推理时无需检测扰动类型的适配方式。

模型在什么输入下会出错，什么算幻觉？

论文把扰动分成自然扰动与对抗扰动。自然扰动无恶意，包括背景噪声、随机遮挡成静音段、选项重排、混响等。对抗扰动有意误导，包括在文本问题前加一句断言错误选项的句子，以及在录音里混入说出错误选项的合成人声。两类扰动都会让性能下降，即使答案仍然可听，模型也可能被带偏。

论文对幻觉给了可操作的定义：在证据不足的音频上仍选一个选项，就计为基于无依据猜测的回答。具体对应两个极端条件：全部遮挡和极低信噪比噪声。前者按设计完全移除音频证据，任何选项都缺乏支撑；后者严重破坏音频线索，使正确回答极不可能。此时回答率越高，幻觉越重。

相反，在干净音频上拒答则计为过度拒答，属于另一类错误。评价时必须同时看这两端，否则只压低回答率会误伤干净输入。

对抗文本注入 × 对抗音频注入： 对抗文本注入负责在问题前加一句断言错误选项的句子，考验模型是否会被文本误导；对抗音频注入负责在录音里合成说出错误选项的人声，考验模型是否会被音频误导。二者搭配的原因是真实攻击可能来自任一模态，组合后新增的诊断意义是检验模型是否真正以可听证据为依据，而不是优先听从文本或混入的人声。

举一个教学例子帮助理解，但例子中的数值仅为示意而不代表论文数据：假设问题问录音中的动物是猫还是鸦，干净录音可听见猫叫，模型选猫。若在问题前注入上下文称录音被认为含有鸦，模型若改选鸦，就是被文本误导；若在录音中混入人声说鸦，模型若改选鸦，就是被音频误导。若把录音全部置零后模型仍选猫，就是证据不足下的幻觉，应该输出拒答短语。

AnchorPrompt 沿一个样本走完全流程

先沿一个样本走一遍。输入是干净录音加问题选项。教师分支是冻结的音频语言模型，直接用贪心解码对干净输入产生一个答案，这个答案就是该样本的干净行为目标，即使它与标准答案不同也照用，因为优化目标是一致性而非纠错。学生分支是同一个冻结模型，但在解码器输入的音频嵌入与问题嵌入之间插入一小块可学习的软提示向量，同时把输入换成扰动版本。如果扰动属于可答范围，学生的目标是复现教师的干净答案。

如果扰动属于两个拒答条件，即全部遮挡和极低信噪比噪声，学生的目标是固定拒答短语。训练只更新软提示，推理时只运行带软提示的学生分支，无需先判断扰动类型。

音频编码器 × 语言模型解码器： 音频编码器负责把录音变成一串音频嵌入；语言模型解码器负责把音频嵌入与问题选项嵌入联合读入并生成选项字母或拒答。二者搭配的原因是音频语言模型必须同时做听觉感知和文本推理，组合后新增的分工点是 AnchorPrompt 把软提示插在两者交界处，即音频嵌入之后、问题嵌入之前，使可调向量能直接影响解码器对受损音频表征的解释。

论文图注文字描述的框架与上述路径一致：扰动问题与扰动音频经词嵌入与音频编码器进入冻结解码器，软提示作为唯一可训练参数参与自蒸馏损失更新。由于本次没有收到该图像素，此处只依据图注与正文归因，不描述坐标轴、颜色或模块具体位置。需要核对时应打开可用代码页中的框架示意图，按输入到输出箭头确认教师与学生两条路径的汇合点。

软提示放在哪里，有多大，如何初始化？

软提示的安放位置是关键设计。它不是加在问题文本前后的一句话，而是一组连续向量，直接插入解码器输入嵌入序列中音频嵌入与问题嵌入之间，其余输入保持不变。每个模型只学一个软提示，跨所有音频扰动共享；评估多个模型时，每个模型训练并使用自己专属的软提示。

大小与初始化按原文交代：向量个数为 8 个，每个向量的维度与语言模型的词嵌入维度相同。每个向量用随机词表词元的嵌入初始化。参数量极小，文中报告的数量级在万级别，仅占每个模型总参数的极小比例，具体数字见训练成本表。这种小容量设计的含义是它不具备重写模型知识的能力，只能起到条件性调节作用，迫使学习集中在对齐受损音频表征与稳定输出行为上。

软提示 × 自蒸馏： 软提示负责提供可学习的可调输入向量，不改模型权重；自蒸馏负责提供监督信号，用同一冻结模型在干净输入上的教师答案作为学生目标。二者搭配的原因是音频扰动改变了送入解码器的音频表征，纯文本手写指令无法重新对齐，而可优化的软提示向量可以被扰动数据训练到对齐位置，组合后新增的作用是以极少参数让被扰动输入的输出锚定回干净行为。

对初学者要强调冻结与更新的边界：音频编码器、语言模型解码器全部冻结，梯度只流向软提示。教师答案在训练前 1 次性算好，训练中不再更新教师。这种安排使监督来源完全来自模型自身在干净输入上的行为，而不是标准答案标签，因此属于自蒸馏。标准答案仅用于评价和构造对抗注入所需的人声内容，不进入损失计算。

训练输入如何分组，目标与损失如何计算？

训练输入按目标分成 3 组。第一组是干净输入，目标为教师答案，作用是让软提示保留教师在干净输入下的行为，避免为鲁棒性牺牲干净表现。第二组是配干净答案目标的扰动，包括低于极端水平的噪声与遮挡、对抗音频注入和对抗文本注入，学生被训练成在这些扰动下仍与教师一致。第 3 组是配拒答目标的条件，包括全部遮挡和极低信噪比噪声，目标为固定短语，学生被训练成在两种条件下拒答。

干净答案一致性 × 拒答目标： 干净答案一致性负责在尚可回答的扰动下保持与干净输入相同的选项选择；拒答目标负责在证据被完全移除或严重破坏时输出 CANNOT DETERMINE。二者搭配的原因是只学一致会迫使模型在无证据时也猜答案而幻觉，只学拒答会造成过度拒答，组合后新增的作用是按证据是否充分切换行为：可答则锚定教师答案，不可答则宁可拒答。

优化目标是标准的软提示调优做法：把所有干净或扰动输入与对应目标组成训练对集合，最小化学生在目标词元上的交叉熵。只更新软提示，教师答案事先算好。检查点选择依据是在留出验证录音上与教师的一致性最高者，而非标准答案准确率最高者，这与一致性目标保持一致。原文未报告梯度裁剪、 warmup 或其他优化器细节，复现时应指出这些缺项，不要从模型名称推定实现。

需要特别区分的是教师目标与评价时的一致性参照。训练时的一致是相对教师干净答案，而评价时的一致是相对同一配置自身在干净输入下的选择。因为软提示可能改变干净答案，例如把基座模型拒答的干净题答出来，所以评价必须用自身干净行为做参照。任何在回答与拒答之间切换，或输出非法选项与拒答之外的文本，都计为不一致。

训练多长，需要多少资源，超参数如何选定？

本节承担训练与部署成本的教学任务，回答调多少参数、花多长时间、超参数依据是什么。下表把原文明确报告的参数量、时长、硬件与优化设置整理在一起，表前提出的问题是：在冻结大模型的前提下，软提示训练是否属于轻量适配，硬件预算如何规划。

下表整理训练成本与优化条件，数值越大不代表越好，公平条件是各模型均只训练软提示且解码贪心。

上表主要收益是参数量与时长都远小于全量微调，单卡即可完成，学习率与轮数在原文中有明确取值。代价是 Qwen3 规模更大因而训练更久，且检查点需按验证集上与教师的一致性挑选。反例是手写指令零训练但效果不足，说明省掉训练省不掉扰动数据的优化过程。原文未报告推理延迟与显存增量，复现时应单独测量带软提示的解码开销，不要把训练时长当成推理延迟。

超参数选择依据来自验证扫描：提示长度增加到 8 个向量后一致性与拒答趋于平稳，训练数据增多则持续改善，因此全量实验统一用 8 个向量与全部训练集。优化器为 AdamW，检查点选验证一致性最高者。未报告的缺项包括批量大小、学习率调度与初始化随机种子的影响，复现时应固定种子并记录验证曲线，否则无法判断平稳点是否可重复。

数据、划分、扰动与模型基线如何保证可比？

数据与划分是复述方法的第一步。论文使用 3 套基准，覆盖动物、情感、性别、语言等识别类问题，以及语音、声音、音乐上的推理类问题。划分按录音切分，避免同一录音同时出现在训练与测试。训练题量、验证比例与测试题量按原文交代，下表把可逐字核对的题量与划分比例整理在一起，表前提出的问题是：训练与测试是否来自不同录音，题量是否足以支撑扰动池化后的评价。

下表整理数据划分与题量，指标方向为题量越大抽样越稳，公平条件是 3 套基准共用同一划分原则。

上表主要说明划分是按录音而非按题切分，测试侧题量以 SAKURA 最多，训练总量为 1,200 题。代价是训练题量相对测试较小，论文靠扰动增广与多条件混合来扩充训练对。未胜出项是原文未报告验证集的具体题量分布与随机种子，复现时需按录音分层自行记录，否则划分不可完全重放。

扰动做法按原文交代。噪声为高斯白噪声，覆盖多个信噪比，报告时池化中等噪声条件，极端低信噪比作为拒答条件。遮挡把随机 100 毫秒块置零直到指定比例静音，报告时池化中等遮挡比例，全部遮挡作为拒答条件。对抗音频注入复用已有研究的合成人声录音，仅在识别类数据集上使用，避免在需要内容推理的数据集上改变题意。对抗文本注入用 7 个模板在问题前加断言错误选项的句子。零样本外推另设两种训练未见扰动：选项重排使无选项保留原位，以及 1 秒混响时间的房间混响。

模型与基线保证同条件比较。3 个模型各有专属软提示，解码均为贪心。基线包括冻结模型的原始提示，以及放在软提示相同位置的手写指令，手写指令要求基于可听证据回答，证据不足则输出拒答，否则只输出选项字母。评价指标包括准确率、干净答案一致性、干净过度拒答率与重度破坏下的回答率，拒答按错计入准确率。

主结果在哪些条件下变好，哪些条件没有赢？

主结果按问题组织：扰动下能否保持干净行为，干净准确率是否被拖累，幻觉是否减少。对抗注入是提升最大的部分，噪声与遮挡的变化更分散。论文报告干净准确率在 9 组模型与基准组合中有 6 组提升，其余 3 组仅小幅下降。下表把可逐字核对的总体结论与拒答行为汇总，表前提出的问题是：与基座模型和手写指令相比，AnchorPrompt 是否在保持干净表现的同时降低无证据回答，指标方向为准确率与一致性越高越好，回答率与过度拒答率越低越好。

下表汇总主结果与拒答行为，比较对象包括基座与手写指令，公平条件为同模型同测试划分与贪心解码。

准确率 × 干净答案一致性： 准确率负责衡量选对标准答案的比例，拒答按错计算；干净答案一致性负责衡量扰动输入是否保持了同一配置在干净输入下的选择，干净和扰动都拒答也算一致。二者搭配的原因是只看准确率会掩盖扰动是否改变了模型行为，只看一致性会掩盖一直答错或一直拒答的平庸一致，组合后新增的作用是必须同时报告才能判断鲁棒增益是否真实有用。

上表后需要解释收益与代价。收益集中在对抗文本与音频注入上，每个模型与基准组合的准确率与一致性均有提升，而手写指令在对抗注入下未能匹配，尤其在部分模型上因频繁拒答拉低准确率。噪声与遮挡上对部分模型提升明显，对已高度一致的模型变化较小，说明增益取决于基座本身的自然扰动鲁棒性。代价与反例同样明确：重度噪声下仍有百分之几的残余回答，混响外推中有两组一致性下降，准确率相对干净的变化也是好坏参半。因此总体趋势成立不等于每组都成立，引用时应按模型与基准逐组说明，不把平均改善推广为全条件胜利。

如果只用手写指令或只看一致性会误判什么？

论文的手写指令对照放在与软提示相同的解码器位置，内容要求基于可听证据回答、证据不足则拒答。这是一个公平的位置对照，排除了位置差异的解释。结果显示手写指令在对抗注入下增益不足，在部分模型上反而因过度拒答降低准确率，在干净音频上的过度拒答最高可达 30% 以上。这支持了一个判断：文本指令未经扰动数据优化，无法重新对齐受损音频表征。

另一个反证是只看一致性会误判。因为一直拒答的系统天然一致，一直答错的系统也可能一致，所以必须同时报告准确率。论文在定义中把拒答视为额外选项，把回答与拒答之间的切换计为不一致，并把非法输出也计为不一致，正是为了堵住这种漏洞。复述时要强调百分点与相对百分比不同，回答率下降几个点不等于幻觉比例同比例下降，因为分母与聚合对象不同。

失败条件的边界也需要讲清。重度破坏下的拒答结果是在训练内条件下测得，衡量的是对已学拒答目标的遵守，而非零样本发现缺失证据的能力。零样本部分另由选项重排与混响承担，其中混响既不加噪也不删除内容，而是把信号在时间上扩散，这与训练见过的噪声与遮挡机制不同，因此出现两组下降并不意外，反而说明外推能力与扰动机制距离有关。

哪些结论尚未被验证，哪些数字不能推广？

首先区分直接报告与有限解释。直接报告的是准确率、一致性、回答率与过度拒答率的变化区间与覆盖组数；有限解释是软提示重新对齐了受损音频表征，这一机制解释得到手写指令对照的支持，但论文未提供嵌入空间距离或注意力变化的直接测量，因此只能写支持而不能写证明。

其次明确未验证的推测。论文未测量误判率的细粒度分布、推理延迟、显存增量与实际部署成本，也未在医疗急救等安全关键场景做真实现场测试，因此不能承诺延迟改善或安全收益。训练资源与推理开销应分开讨论，单卡数小时是训练预算，不是每问延迟。

最后标注冲突与缺项。原文摘要中的剩余下降幅度写法存在排版粘连，应以结果节的 6 组提升与 3 组小幅下降为准，不自行四舍五入或重算差值。未报告批量大小、学习率调度、多种子方差与统计显著性，复现时应补多种子与置信区间。不同指标的差值不能混入模型列下比较，自动指标也不能当作人工评价。

要复现应先做什么，需要保留哪些信息条件？

复现的第一步是锁定数据与划分。按录音把每轨分成训练、验证、测试，记录录音标识与随机种子，保证同一录音不跨划分。训练总量、测试题量与划分比例按原文保留，扰动参数也要保留：噪声信噪比档位、遮挡块时长与比例档位、拒答条件的两档取值、文本注入模板数量、音频注入仅用于识别类数据集的限制，以及外推用的选项重排规则与 1 秒混响时间。

第二步是锁定训练流程。冻结全部模型权重，只初始化并训练 8 个向量，优化器与轮数按原文设置，用验证集上与教师的一致性选检查点。教师答案用贪心解码在干净输入上 1 次性算好，训练目标按 3 组分配：干净与可答扰动用教师答案，重度破坏用固定拒答短语。标准答案不进损失，只用于评价与构造注入内容。

第三步是锁定评价口径。准确率中拒答计错，一致性以同一配置自身的干净选择为参照，拒答视为额外选项，回答与拒答互转或非法输出计为不一致。同时报告干净过度拒答与重度破坏回答率，避免单指标误导。代码与示例当前可用，但权重下载与运行环境需另行确认，区分代码开源与系统可运行，不要把链接可达当成一键可跑。

何时值得尝试，何时不必照搬？

当你的音频语言模型已在干净数据上可用，但一加噪、遮挡或混入误导文本就改变答案，且你不能或不想微调大模型时，AnchorPrompt 值得尝试。它的适用条件很具体：有多项选择评价、可构造扰动增广、能接受在证据不足时拒答、推理时不希望先做扰动检测。此时用极少参数做自蒸馏，能在对抗注入上获得较稳的收益，并在重度破坏下减少无依据猜测，同时把干净过度拒答控制在极低水平。

当你的瓶颈是干净准确率本身很低、任务不是选择题、或必须对重度破坏也给出答案时，不必照搬。本文目标是一致性而非纠错，教师答错也会被学生模仿；拒答设计在必须作答的场景反而成为错误。此时应先提升基座能力或改任务形式，再考虑鲁棒适配。

对论文特有的误解需要 1 次澄清：软提示不是万能提示词，它的位置在音频与问题之间且经过扰动数据优化，这正是手写指令无法替代的原因；自蒸馏不是用标准答案蒸馏，而是用模型自身干净行为做锚，因此干净行为的偏置会被保留；零样本外推不是对所有未见扰动都提升，混响上的两组下降提醒你要按模型、基准与扰动机制逐组验证。补验证时至少补多种子方差、嵌入层面的对齐测量与延迟开销，才能把一致性增益讲成可部署的收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-02 语音/音乐/音频论文速递