📄 真话常在而假法常新：用共享真提示与扩张假专家做持续音频伪造检测
英文题目：Learning as Deepfakes Evolve: RF-Prompt for Continual Audio Deepfake Detection
标签：#音频深度伪造检测 | #提示学习 | #持续学习 | #语音
评分：8.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Yuankun Xie：机构信息未在 arXiv HTML 中可靠披露
- Xiaoxuan Guo：机构信息未在 arXiv HTML 中可靠披露
- Xiaopeng Wang：机构信息未在 arXiv HTML 中可靠披露
- Siqing Qin：机构信息未在 arXiv HTML 中可靠披露
- Shaole Li：机构信息未在 arXiv HTML 中可靠披露
- Kong Aik Lee：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
音频深度伪造检测的输入为待测语音波形，输出为真实或伪造二分类，难点在于生成机制持续涌现而历史训练音频不可复用。所提真实锚定机制增量协议先锁定跨库训练、开发与评测样本池，再以循环混合真实语音为背景按4类生成机制组织伪造增量任务。真实伪造提示学习方法冻结语音骨干，先以余弦锚定保护共享真实提示，再为新机制从历史伪造专家继承基座并学习正交残差，最后对全部专家做输入自适应加权融合成固定长度提示。与以往对称正则或蒸馏整体模型不同，该方法把共享容量留给真实知识，把扩展容量留给伪造机制，并用参数级约束替代历史回放与教师前向。在RAMI协议4任务序列评测下，RF-Prompt的平均等误率错误率为10.110%，低于RAWM的平均等误率错误率11.295%。该结论适用边界限于4步机制序列与已知真实域循环复用条件，真实域漂移、更长序列与完全未见生成器的外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
代码相关资源：https://github.com/xieyuankun/RF-Prompt — 链接可访问（HTTP 200）
模型相关资源：https://huggingface.co/facebook/wav2vec2-xls-r-300m — 暂时无法访问
模型相关资源：https://huggingface.co/microsoft/wavlm-large — 暂时无法访问
模型相关资源：https://huggingface.co/facebook/w2v-bert-2.0 — 暂时无法访问
模型相关资源：https://huggingface.co/facebook/wav2vec2-xls-r-1b — 暂时无法访问
模型相关资源：https://huggingface.co/facebook/wav2vec2-xls-r-2b — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
部署后的检测器要解决什么新问题？
输入是本文与官方原图像素，目标是让刚进入语音与音频方向的研究生能核对并复述方法，输出是 1 篇按学习依赖展开的中文技术解读。必须保留的信息包括任务组织方式、提示的冻结与更新规则、监督来源、检查点选择、指标定义与聚合口径，以及关键超参数与资源可达状态。本文研究的不是 1 次性在固定训练集上提高准确率，而是语音生成方法快速演进带来的持续更新问题：已部署的检测器要不断纳入新出现的伪造方法，同时不忘记已学过的真实与伪造知识。
白话先说持续学习：它指模型按任务序列学习，学新任务时不能再访问全部历史训练音频，学完后要在所有已见任务的评测集上都被考核。英文是 continual learning，后文简称持续学习。白话再说音频伪造检测：它指对一段语音判断是真实录制还是合成转换伪造，英文是 audio deepfake detection，后文简称 ADD。ADD 的输出类别始终是真实与伪造两类，变化的是每类内部的分布，新生成器到来时改变的是伪造语音的生成通路，而不是增加新类别。
持续学习 × 音频伪造检测： 持续学习负责在不重放全部历史音频的前提下按任务序列更新并保留旧知识，音频伪造检测负责把每段语音判为真实或伪造，二者搭配的原因是伪造生成器不断新增而输出类别始终不变，组合意义是把分布变化限制在类内，用保留旧机制检测能力来评价更新是否成功。
论文把挑战分成数据与方法两条已有路线。数据路线用 ASVspoof 2019、ASVspoof 5、ADD 挑战、CodecFake 与 AT-ADD 等扩大攻击与录音条件覆盖；方法路线用域泛化学习域不变表示，例如聚合真实表示而分离伪造表示。但固定训练集无法覆盖未来持续出现的伪造方法，增大预训练规模也不必然带来分布偏移下的稳健性增益，因此需要在泛化之外研究如何持续纳入新攻击并保留旧知识。
已有持续 ADD 工作包括 DFWF、RAWM、RWM 与 RegO 等，它们用知识蒸馏、真实嵌入对齐、自适应权重修改或参数区域重要性来保护旧知识，但论文指出仍有两个未回答清楚的问题：持续任务应该按什么组织才能反映新生成方法的到来，以及检测器如何在保留真实与伪造旧知识的同时学到新伪造知识。
同输入同目标的已有路线在比什么？
同输入同目标是指同样输入语音波形、同样输出真实或伪造二分类、同样在分布变化下评价检测。同监督是指同样只用 utterance 级二分类标签训练，同运行阶段是指同样在推理时不知道任务编号。按这个口径，已有工作可分成 3 组对照。
第一组是 ADD 数据集与泛化方法。ASVspoof 2019 覆盖逻辑访问的合成与转换攻击，ASVspoof 5 扩展到更新攻击与多样录音条件，ADD 挑战补充困难声学与局部篡改，CodecFake 聚焦神经编解码重建，AT-ADD 扩展到语音歌声音乐与环境声。这些资源的真实来源与伪造机制都不同。ASDG 与 W2V-ASDG 把多域真实表示聚合而把伪造表示分开，单类与多原型方法则利用真实紧凑而伪造多样的结构。这些发现支持对真实与伪造做非对称建模，但它们本身不解决按序列保留旧攻击能力的问题。
第二组是持续 ADD 与域自适应。DFWF 结合不遗忘学习与真实嵌入正对齐，RAWM 按真实伪造样本比调整权重修改方向并用旧模型输出正则当前模型，RWM 与 RegO 进一步考虑真实伪造差异与参数区域重要性。Oiso 等用提示微调做目标域自适应，但更关注目标域性能而非跨 successive 任务的保留。本文的对照口径是 successive 自适应与保留，而不是单次域自适应。
第 3 组是通用持续学习与提示自适应。EWC 惩罚对旧任务重要参数的变化，OWM 把更新投影到与旧输入子空间干扰更小的方向。L2P 学提示池并在推理时检索，DualPrompt 组合任务不变与任务专属提示，CODA-Prompt 用输入条件注意力组装分解提示，RainbowPrompt、KA-Prompt、SinglePrompt 与 SMoPE 分别研究多样性、对齐、共享与稀疏专家选择。RF-Prompt 与它们的差异在于把共享与扩张容量非对称地分配给真实与伪造知识，而不是对称地为每个任务分配同样结构。代码当前可用，地址为论文给出的开源仓库；4 个作为主干备选的预训练权重链接在本次未能确认可达，不作为已公开依据。
任务按什么划分才算问对了问题？
论文先把学习设置形式化。任务序列记为 D1 到 DT，每个样本是语音 x 与二分类标签 y，y 属于真实或伪造。学任务 t 时只能访问当前训练划分，不能访问历史训练音频；每学完 1 个任务，就在所有任务的评测划分上评价。训练时知道任务边界，推理时不知道任务编号。这个设置是后文所有保留与遗忘讨论的前提。
样本池是锁定的。来源包括 ASVspoof 2019 LA、ASVspoof 5 Track 1、CodecFake 与 AT-ADD Track 2 语音子集，AT-ADD 的音乐歌声与环境声子集被排除。先固定训练开发评测成员，再只改变任务分配。训练与开发各含 9600 条真实与 9600 条伪造，评测含 20000 条真实与 20000 条伪造，共 19200 训练、19200 开发、40000 评测。真实池中 4 个来源各占 2400 训练、2400 开发、5000 评测。
伪造训练池中 ASVspoof 2019 占 2500，ASVspoof 5 占 800，CodecFake 占 2400，AT-ADD 占 3900。5 个协议共享同样的 utterance、标签、音频路径与划分成员，只在任务分配上不同。
下图把 5 个协议放在同一锁定样本池下对照，列方向是真实到达方式，行方向是伪造组织方式，右下角是本文主协议，需要按行列分别读出每个格子的任务构成。
看图路径： 1. 先看顶部锁定的样本池包含哪四个来源，再看列方向三种真实到达策略的差异；2. 再按行比较伪造按数据集划分与按机制划分时任务 T1 至 T4 的内容；3. 定位右下角 RAMI 格，确认其真实为四域混合而伪造为 M1 至 M4
论文图 2。原论文 Figure 2:：“Five task organizations from identical train, development, and evaluation pools.”。
该图显示顶部是锁定的训练开发评测池，包含上述 4 个来源。第一列按数据集到达真实，第二列按源支撑匹配真实，第三列是四域混合真实。第一行伪造按数据集划分，第二行伪造按机制划分。协议 1 是双按数据集，协议 2 是真实按数据集而伪造按机制，协议 3 是伪造按机制而真实按其伪造的来源支撑匹配，协议 4 是四域混合真实加按数据集伪造，协议 5 即 RAMI 是四域混合真实加按机制伪造。RAMI 每个训练任务含每个域 600 条不重复真实与一个机制 2400 条伪造，评测每任务每域 1250 条真实与每机制 5000 条伪造。
机制增量 × 数据集增量： 机制增量按 M1 至 M4 四类生成通路划分伪造任务，负责对准新伪造原理的到来；数据集增量按 ASVspoof 2019、ASVspoof 5、CodecFake 与 AT-ADD 划分任务，负责同时改变真实来源与伪造构成；二者对比的原因是数据集边界会把真实域变化与伪造机制变化耦合在一起，组合比较可以检验任务组织方式如何影响持续学习结论。
伪造机制分成 4 组。M1 经典管线覆盖经典信号处理、传统参数声码器与语音单元拼接；M2 神经声学管线覆盖产生连续声学特征隐表示或波形的神经声学建模或声码器；M3 神经编解码管线指用神经编解码器编码重建已有语音；M4 语音语言模型管线指先生成新的语音标记序列再声学实现。
下游神经声码器不改变 M3 与 M4 归属，M1 与 M2 边界的混合系统按波形生成或增强阶段判定，例如 ASVspoof 2019 A07 用 WORLD 合成加 WaveCycleGAN2 神经后滤波被归入 M2。协议 1 至 3 不断引入真实与伪造分布，属于联合真实伪造持续学习；协议 4 与协议 5 从一开始就暴露全部 4 个真实域，聚焦新伪造机制的增量学习。
RF-Prompt 让真知识与假知识走哪两条路？
RF-Prompt 的英文全称是 real-fake prompt learning，后文简称 RF-Prompt。白话先说提示：它指在冻结主干每层输入前拼接的少量可学习标记，不改变主干参数，只通过这些标记调整表示。白话再说专家：它指为每个伪造机制保存的一组完整提示参数，任务越多保存越多，推理时按输入加权使用。
真实提示 × 伪造专家： 真实提示是跨任务共享的 5 个可学习标记，负责承载可复用的真实语音知识；伪造专家是每个新机制新增的一组任务专属标记，负责容纳不断分化的伪造模式；二者搭配是因为真实分布相对集中而伪造分布持续扩张，组合后每层固定注入 5 个真标记加 5 个融合假标记，既保护共享知识又允许容量随任务增长。
沿一个样本走完流程有助于建立全景。输入是一段 16 kHz、固定 64600 采样点的语音。冻结语音主干给出音频标记，默认是 24 层、宽度 1024 的 XLS-R 300M。在任务 t 的第 l 层，维护共享真实提示与从 1 到 t 的完整伪造专家，每组形状都是标记数乘宽度，默认每种 5 个标记。融合后的伪造提示与共享真实提示和音频标记拼接后送入该层编码器，只保留音频标记输出。
最后可训练的 AASIST 后端把最终音频表示映射为二分类 logits。共享真实提示与后端保持可训练，历史伪造专家冻结。真实与伪造只是容量分配的命名，不是类别专属监督：两类样本都参与交叉熵，两种提示都参与每次预测。
下图给出机制增量全景，上半是生成通路演进，下半是提示如何支撑持续检测，需要把生成侧的多样化与检测侧的共享加扩张对应起来。
看图路径： 1. 先从左侧真实语音框沿顶部箭头向右看 M1 到 M4 四个生成通路的输入与输出变化；2. 再看底部共享真实提示与四个伪造专家如何分别送入持续检测器；3. 核对 M1 至 M4 下方标注的训练开发评测生成器数量是否随机制变化
论文图 1。原论文 Figure 1:：“Overview of mechanism-incremental audio deepfake detection.”。
该图上半左侧是真实语音波形框，顶部弧线标注持续出现的新方法，右侧依次是 M1 经典管线、M2 神经声学管线、M3 神经编解码管线、M4 语音语言模型管线，每块内部画出从单元或波形到声码器、编解码器或语言模型的路径差异。下半虚线框内是共享真实提示与 M1 至 M4 伪造专家，多个专家经软混合得到固定长度融合伪造提示，再与共享真实提示一起送入持续检测器输出真实或伪造。M1 至 M4 下方数字分别表示训练开发评测中的生成器数量，M2 数量最多，M3 与 M4 来源更集中。
与通用提示持续学习相比，该全景的特殊点是容量不对称：真实侧不随任务增加新参数，只靠一个共享提示复用；伪造侧每来一个机制就增加一个完整专家，专家库随任务增长，但每次注入的融合长度固定为 10 个标记，不随库增大而变长。
共享与扩张的每一步在计算什么？
先解释符号与输入，再解释计算目标。记 Ht 的 l 减 1 次为上一层音频标记，Rt 为共享真实提示，融合伪造提示记为带波浪线的 Pf，El 为第 l 层编码器。目标是在不延长序列的前提下每层重新注入提示并只保留音频输出。
\[\mathbf{H}_{t}^{l}(x)=\operatorname{Audio}\!\left(\mathcal{E}_{l}\left([\mathbf{R}_{t}^{l};\widetilde{\mathbf{P}}_{f,t}^{l}(x);\mathbf{H}_{t}^{l-1}(x)]\right)\right),\]上式把真实提示、输入相关的融合伪造提示与音频标记拼接后送入编码器，再经 Audio 操作只保留音频位置。提示是每层新引入而不是在序列长度上累积。默认 L 等于 24，d 等于 1024，m 等于 5。路由权重跨层共享。
余弦锚定 × 残差正交： 余弦锚定作用在共享真实提示的参数方向上，负责把当前真标记拉向上一任务的分离参考；残差正交作用在新伪造专家的增量部分上，负责让新增方向与历史残差方向分离；二者搭配是因为一侧要稳定复用、一侧要补充新方向，组合意义是在不存历史音频也不做教师特征前向的条件下分别约束真与假的更新。
真实侧用参数级余弦锚定。任务 t 大于 1 时，把上一任务选出的真实提示做分离参考，对前 K 层每个标记计算一减余弦相似度并平均。默认 K 等于 L 即全 24 层，任务 1 时损失为零。该约束直接比较参数方向，不需要历史音频，也不需要用旧提示再做 1 次教师特征前向。
\[\mathcal{L}_{\mathrm{real}}=\frac{1}{Km}\sum_{l=1}^{K}\sum_{j=1}^{m}\left[1-\cos\left(\mathbf{R}_{t,j}^{l},\operatorname{sg}(\bar{\mathbf{R}}_{t-1,j}^{l})\right)\right].\]上式中 sg 表示停止梯度，Rt 减 1 上横线是上一任务真实提示的参考，j 是标记序号，l 是层序号。目标是稳定共享方向，允许复用但抑制被新任务覆盖。
伪造侧分 3 步。第一步选可迁移知识。记 q 为冻结自监督前端表示的时间均值并归一化，sk 为专家 k 跨层跨标记的平均签名并归一化。任务初始化时把当前任务伪造语音的查询平均为 qt 横线，选余弦最大的历史专家作为冻结基座 Bt。该选择在任务开始时做 1 次，最多用 512 条当前任务伪造训练样本，低资源时不意味着有 512 条不重复样本。
第二步学互补残差。新完整专家等于基座加残差，残差形状与专家相同。初始化时从随机归一化矩阵出发，减去其在历史完整提示空间上的投影，再对行做正交化，并按继承标记范数的 0.1 倍缩放后加到基座上。任务 1 用独立提示且基座为零。训练时基座固定，只优化残差。
\[\mathcal{L}_{\mathrm{orth}}=\frac{1}{L}\sum_{l=1}^{L}\frac{\|\mathbf{Q}_{\Delta,t}^{l}(\mathbf{Q}_{\Delta,第 3 步是输入自适应融合。对任意输入计算它与全部完整专家签名的余弦，经温度 tau 等于 0.1 的 softmax 得到权重，再按权重求和得到每层 5 个融合伪造标记。融合用完整专家，包括未被选为基座的专家，因此任务级父选择与样本级软路由是两种不同操作。
\[\alpha_{k}(x)=\frac{\exp(\cos(\mathbf{q}(x),\mathbf{s}_{k})/\tau)}{\sum_{r=1}^{t}\exp(\cos(\mathbf{q}(x),\mathbf{s}_{r})/\tau)},\qquad\widetilde{\mathbf{P}}_{f,t}^{l}(x)=\sum_{k=1}^{t}\alpha_{k}(x)\mathbf{P}_{f,k}^{l},\]上式给出权重与融合结果，tau 控制分布锐度。专家库增长但注入长度固定，这是与随库增大而变长的做法的关键区别。
下图把左右两条路径与任务 44 步放在一起，需要按冻结与可训练标记区分更新对象。
看图路径： 1. 先沿左侧波形经冻结特征到每层真实加伪造提示再到 AASIST 的主路径走一遍；2. 再看中间上半真实提示的余弦一致性链条与下半伪造专家的正交残差链条；3. 最后看右侧任务 4 四步选择残差构造与软融合如何得到固定长度伪造提示
论文图 3。原论文 Figure 3:：“Overview of our proposed RF-Prompt. Left: the overall audio deepfake detection pipeline.”。
该图左侧从底部波形经冻结自监督特征到 L1 至 L24 变换器层，每层都拼接真实提示、伪造提示与音频标记，顶部是可训练 AASIST，火焰表示可调、雪花表示冻结。中间上半是真实提示跨任务的余弦一致性链，中间下半是伪造专家随任务扩张并对新残差做正交分离。右侧以任务 4 为例依次做历史专家选择、残差分离、新专家构造与软混合，最后得到固定长度伪造提示。图中 MOE 即按输入加权的软混合，不是新增分类器。
为什么正交只加在残差而不是整个专家上？
这个问题来自附录的设计对照。真实侧比较参数级余弦锚定与特征级共享提示蒸馏 SPD，后者对齐用当前与上一真实提示产生的音频标记隐表示，需要 1 次参考前向；伪造侧比较完整提示正交与残差正交，前者直接分离新完整专家与历史完整专家，后者只分离新增残差与历史残差。
历史继承 × 输入自适应融合： 历史继承在任务开始时一次性选出最相似的旧完整专家作为新专家的基座，负责迁移相关伪造知识；输入自适应融合在推理时对每条语音按查询与专家签名的余弦相似度加权全部完整专家，负责按样本调用累积知识；二者分工是初始化管迁移、推理管调用，组合后新增知识有起点且不需要任务编号即可使用全部专家。
按证据解释选择理由。完整专家之间保留强重叠是因为它们共享继承知识，归一化层级子空间重叠在 0.817 至 0.951 之间；残差之间占据不同方向，重叠仅 0.010 至 0.030。PCA 前两成分解释方差不足 5%，2 维散点只是示意，定量结论来自子空间重叠。这些测量描述参数空间重叠，不直接度量功能或机制专属知识分离。
如果把正交加在完整专家上，也会推开有意通过基座继承的可复用结构；只对残差加正交则保留迁移来的基座，同时鼓励任务专属知识占据互补方向。实测上提示余弦相对 SPD 把混合 EER 从 11.180% 降到 10.370%，继承残差构造相对完整提示正交把混合 EER 从 12.355% 降到 10.370%。
还需要明确监督来源与冻结规则。两类样本都参与二分类交叉熵，真实一致性项直接作用于参数而与样本无关，尽管动机是保留真实知识。训练时冻结语音主干、冻结历史完整专家与继承基座，只更新共享真实提示、当前残差与检测后端。基座一旦选定即固定，即使后续某个专家在混合中权重更大也不会更换基座。
每个任务按什么顺序更新与挑选模型？
训练不是 1 次学完所有数据，而是按任务序列逐个进行。每任务训练 50 轮，批量 32，Adam 优化，beta 为 0.9 与 0.999，epsilon 为 1e-8，权重衰减 5e-4，学习率在每任务内按余弦从 1e-4 衰减到 1e-6。提示丢弃率为 0.1。真实余弦系数为 1.0，残差正交系数为 0.1，继承扰动规模为 0.1，路由温度为 0.1。随机种子为 2026，单种子观察，不暗示统计显著性。
任务目标把二分类损失与两项保留损失相加。
\[\mathcal{L}_{t}=\mathbb{E}_{(x,y)\sim\mathcal{D}_{t}}\mathcal{L}_{\mathrm{cls}}(x,y)+\lambda_{\mathrm{real}}\mathcal{L}_{\mathrm{real}}+\lambda_{\mathrm{orth}}\mathcal{L}_{\mathrm{orth}},\]上式期望取自当前任务分布，分类损失为二分类交叉熵，后两项系数如上。任务 1 时两项保留损失为零。
任务级流程按算法组织。任务 1 初始化真实提示与第一个伪造专家，基座为零且残差即专家本身。任务 t 大于 1 时先载入上一任务开发集最优检查点，把上一真实提示分离为余弦参考并冻结专家库，再平均当前任务伪造查询选最相似历史专家，把随机扰动投影到历史完整专家子空间之外后构造当前完整专家。
每小批量计算对库中全部完整专家的输入相关权重，融合成每层 5 个伪造标记并与 5 个共享真实标记注入，计算分类损失并在 t 大于 1 时加上两项保留损失，更新真实提示、当前残差与后端。每轮结束在当前任务开发集上按 EER 评测，选开发 EER 最低者，相同则按开发损失打破平局；被选模型而非最后一轮模型会被评测并传给下一任务。限数据时把选出的伪造子集重复采样到每轮 2400 训练行，保持类别平衡、优化步数与学习率计划不变，开发与评测集保持固定。
用什么条件比较才算公平可复述？
主实验用冻结 XLS-R 300M 加可训练 AASIST 后端，每任务开发集选检查点。基线在同一冻结主干训练框架内重新实现，而不是引用原论文分数，包括序列微调、EWC、OWM、RAWM、RWM、RegO，以及适配到持续 ADD 的 Oiso 提示、SinglePrompt、KA-Prompt 与 SMoPE。离线联合训练同时访问全部训练任务，只做参考，不参与最佳持续方法的评选，也不是数学上界。
指标需要按聚合口径区分。记 etj 为学完任务 t 后在任务 j 上的 EER。最终平均 EER 是对学完最后 1 个任务后各任务 EER 求平均；混合 EER 是把全部评测分数放在一起只做 1 次阈值扫描得到；平均遗忘 AF 是每个旧任务最终 EER 减去它在被学到之后各检查点上的最低 EER，再对旧任务平均。
跨协议比较时混合 EER 用同样的 40000 条评测，并把分数重组到相同的 4 个 RAMI 评测组计算公共平均；不同划分下的原生平均不能直接互换。EER 与 AF 都以百分比报告，越低越好。
扩展实验覆盖保护深度、限伪造数据与跨主干。保护深度每次只变前 K 层受约束的层数，另一约束保持全 24 层。限数据每任务保留 2400 条不重复真实，只把不重复伪造降到 100、500 或 1000，开发每任务仍含 2400 条伪造。跨主干在 WavLM-Large、W2V-BERT 2.0、XLS-R 1B 与 XLS-R 2B 上用同样四任务流程比较序列微调与 RF-Prompt，提示宽度与后端投影按主干适配。论文开源代码当前可用；所列 XLS-R 300M、WavLM-Large、W2V-BERT 2.0、XLS-R 1B 与 XLS-R 2B 权重链接本次未能确认可达，复现时需自行确认权重可达状态。
主结果在相同样本池下支持什么判断？
比较问题是：在 RAMI 下哪种持续方法保留旧机制最好且学新机制最充分，公平条件是同一冻结 XLS-R 300M、同一四任务样本池、同样用当前任务开发 EER 选检查点，指标方向是平均 EER、混合 EER 与遗忘越低越好。下图先看保留轨迹，再用数字表核对最终聚合。
看图路径： 1. 先确认行是学完每个任务后的检查点，列是已学到的 M1 至 M4 机制；2. 再逐行比较左侧序列微调与右侧 RF-Prompt 在 M1 与 M3 上的颜色与数值差异；3. 只读最后一行紫框的最终结果，不要把第一行未学全时的浅色当作最终性能
论文图 4。原论文 Figure 4:：“Acquired-task EER trajectories of Sequential and RF-Prompt on RAMI (Protocol 5).”。
该图左侧序列微调学完任务 4 后 M1 为 14.50%，M3 为 18.78%，右侧 RF-Prompt 对应为 10.40% 与 13.12%。RF-Prompt 的 M2 从学完 M3 后的 9.24% 恢复到学完 M4 后的 8.40%，接近刚学完任务 2 时的 8.24%。颜色越深 EER 越高，未学任务以横线省略，因为它们不度量保留。
下表报告 RAMI 最终结果，包含可运行的序列微调、通用持续学习、ADD 专用持续学习与适配提示基线，以及离线联合参考，指标为百分比。
| Method | M1 | M2 | M3 | M4 | Avg EER | Pool EER | AF |
|---|---|---|---|---|---|---|---|
| Sequential | 14.50 | 9.12 | 18.78 | 10.12 | 13.130 | 13.445 | 6.433 |
| EWC (Kirkpatrick and others, 2017) | 13.40 | 8.30 | 17.88 | 9.44 | 12.255 | 12.805 | 5.827 |
| OWM (Zeng et al., 2019) | 13.80 | 8.68 | 17.64 | 9.90 | 12.505 | 13.080 | 5.993 |
| RAWM (Zhang et al., 2023) | 10.22 | 8.02 | 14.96 | 11.98 | 11.295 | 11.730 | 5.753 |
| RWM (Zhang et al., 2024c) | 13.40 | 8.32 | 17.46 | 9.88 | 12.265 | 12.845 | 5.700 |
| RegO (Chen and others, 2025) | 14.46 | 8.22 | 17.72 | 9.64 | 12.510 | 13.000 | 6.060 |
| Oiso Prompt† (Oiso et al., 2024) | 7.34 | 13.46 | 25.92 | 30.10 | 19.205 | 20.350 | 1.067 |
| SinglePrompt† (Park et al., 2026) | 12.82 | 7.52 | 17.44 | 8.88 | 11.665 | 12.105 | 5.593 |
| KA-Prompt† (Xu et al., 2025) | 12.00 | 7.80 | 18.66 | 9.30 | 11.940 | 12.415 | 5.440 |
| SMoPE† (Le et al., 2026) | 13.38 | 8.34 | 20.40 | 10.80 | 13.230 | 13.615 | 6.533 |
| RF-Prompt (ours) | 10.40 | 8.40 | 13.12 | 8.52 | 10.110 | 10.370 | 4.560 |
| Joint (offline) | 7.20 | 7.56 | 11.52 | 10.60 | 9.220 | 9.420 | — |
该表显示 RF-Prompt 平均 10.110% 与混合 10.370% 为持续方法中最低，遗忘 4.560% 也低于序列微调的 6.433%。相对最强提示竞争者 SinglePrompt 分别低 1.555 与 1.735 个百分点，相对 EWC 分别低 2.145 与 2.435 个百分点并把遗忘从 5.827% 降到 4.560%，相对 RAWM 从 11.295% 与 11.730% 降到上述水平。代价与反例同样明确：改进不均匀，多个基线在 M2 上更低；Oiso 提示遗忘仅 1.067% 但 M3 与 M4 高达 25.92% 与 30.10%，低遗忘是因为没有学到新机制；离线联合仍更优，混合差距为 0.950%。因此结论是支持而非证明：该配置下 RF-Prompt 聚合最优，但不是每个机制都最优。
下表把同一 RF-Prompt 放在 5 个协议下比较，公共平均用相同 RAMI 评测组，混合用同样 40000 条评测，解决原生平均不可比的问题。
| Protocol | real arrival | fake organization | Common Avg EER | Pool EER |
|---|---|---|---|---|
| 1 | Dataset-wise | Dataset-wise | 16.400 | 16.430 |
| 2 | Dataset-wise | Mechanism-wise | 15.675 | 15.900 |
| 3 | Source-support-matched | Mechanism-wise | 13.230 | 13.110 |
| 4 | Four-domain mixture | Dataset-wise | 11.035 | 11.330 |
| 5 (RAMI) | Four-domain mixture | Mechanism-wise | 10.110 | 10.370 |
该表显示协议 1 公共平均 16.400% 与混合 16.430%，协议 2 改为机制伪造后降到 15.675% 与 15.900%，协议 3 匹配源支撑后进一步到 13.230% 与 13.110%，协议 4 在四域混合真实下为 11.035% 与 11.330%，RAMI 达到 10.110% 与 10.370%。于是 RF-Prompt 在 5 个组织中以 RAMI 聚合最低。但需同时说明分组改变了每任务大小与类别比例，比较刻画的是固定全局样本预算下的任务组织效应。协议 1 至 3 评价联合真实伪造持续学习，协议 4 与 5 评价已知混合真实背景下的伪造增量学习，RAMI 对应真实域可用而新伪造不断到来的实用更新场景。
拿掉哪部分会让误差回升多少？
消融问题是：在保持其余选中设置不变时，移除真实锚定、残差正交、自适应融合或正交初始化投影是否增加误差，指标方向仍是越低越好，且均为单种子对照而非独立可加效应估计。自适应对照把输入相关权重换成对全部完整专家的均匀平均，初始化对照保留历史选择与扰动规模但跳过在历史完整提示空间上的投影去除。
下表报告 RAMI 上的消融，完整模型为平均 10.110% 与混合 10.370%。
| real protection | fake construction | Avg | Pool | AF |
|---|---|---|---|---|
| None | None | 12.600 | 12.020 | 5.393 |
| None | Inherited residual | 10.755 | 11.365 | 5.293 |
| Shared Prompt Distillation (SPD) | Inherited residual | 10.910 | 11.180 | 5.467 |
| Prompt cosine | Full-Prompt orthogonality | 11.795 | 12.355 | 6.140 |
| Prompt cosine | Inherited residual | 10.110 | 10.370 | 4.560 |
该表显示移除任一组件都同时增加平均与混合 EER。移除残差正交时混合恶化 2.435% 最多，此时仍保留正交初始化，说明仅靠初始化不足。均匀融合增加混合 2.110%，支持按输入加权。移除真实锚定与初始化投影分别增加混合 0.995% 与 1.060%。未胜出项是这些对照本身：它们保留了其余机制仍更差，说明每部分都有贡献，但不能把差值理解为各部分独立贡献之和。
下表补充完整保留轨迹，检查每步变化而不仅看最终聚合，数值为百分比。
| Method | After Task 1 | After Task 2 | After Task 3 | After Task 4 | Final Avg | Final Pool |
|---|---|---|---|---|---|---|
| Sequential | 4.66 | 8.00/9.38 | 12.84/12.22/9.32 | 14.50/9.12/18.78/10.12 | 13.130 | 13.445 |
| RAWM | 4.66 | 6.18/5.10 | 8.54/6.62/6.18 | 10.22/8.02/14.96/11.98 | 11.295 | 11.730 |
| Oiso Prompt | 6.50 | 7.96/13.16 | 6.66/12.98/24.04 | 7.34/13.46/25.92/30.10 | 19.205 | 20.350 |
| SinglePrompt | 4.38 | 8.48/9.84 | 12.52/11.00/9.10 | 12.82/7.52/17.44/8.88 | 11.665 | 12.105 |
| RF-Prompt | 6.22 | 5.16/8.24 | 8.46/9.24/4.84 | 10.40/8.40/13.12/8.52 | 10.110 | 10.370 |
该表显示序列微调从任务 1 的 4.66% 逐步恶化，RF-Prompt 任务 1 为 6.22% 起点更高，但任务 2 为 5.16% 与 8.24%，任务 3 为 8.46% 与 9.24% 与 4.84%，任务 4 为 10.40% 与 8.40% 与 13.12% 与 8.52%。RAWM 任务 3 前保留较好但最终 M3 与 M4 偏高，SinglePrompt 与 KA-Prompt 最终 M3 仍在 17% 以上。轨迹支持的判断是 RF-Prompt 在 M3 最终值上低于全部持续基线且 M2 接近刚学到时的水平，限制是任务 1 起点不是最优，总体趋势不等于每步都最优。
另外两个特有细节按证据展开。保护深度在选中损失权重下把前 K 层从 4 扫到 24，两条曲线非单调且都在 K 等于 24 时取得混合最低 10.370%，因此选用全层约束。提示标记数把每种类型从 1、3、5、10 比较，选中每种 5 个即每层共 10 个时平均与混合最低，对应遗忘分别为 6.293%、7.340%、4.560% 与 6.073%。限数据每任务 100 条不重复伪造时 RF-Prompt 混合 12.375%，最强对照为 17.645%；500 与 1000 时分别为 9.865% 与 11.745%，仍为各预算最低。跨主干上 RF-Prompt 在 4 个备选主干的平均、混合与遗忘都优于同主干序列微调，混合分别为 12.920%、10.040%、9.570% 与 9.550%，但权重可达性本次未能确认，复现需先解决权重获取。
哪些边界本文没有测或不能推广？
首先是证据边界。全部结果是单种子 2026 的观察，不暗示统计显著性；不同指标差值不能混放，百分点与相对百分比不同，自动指标不能当人评。其次是任务边界。机制与来源没有完全交叉，训练中 M1、M3、M4 各主要来自一个来源而 M2 横跨 3 个来源。
M1 开发评测含 ASVspoof 5，M4 评测含 ASVspoof 5，因此开发 EER 包含源偏移下的检查点选择。结论只在锁定样本池与四任务序列下成立，更换真实域、更长任务序列与完全未见生成器仍是开放挑战。
其次是方法保证边界。正交只是软训练目标，不是在优化中反复精确投影；有限精度与 QR 秩亏会削弱数值解释，实现没有对任意长任务序列的秩自适应保证；参数方向独立不等于输出特征独立；子空间重叠只描述参数空间，不直接度量功能分离。
最后是成本边界。本文未测量误判率之外的延迟、算力与存储随专家库增长的完整成本，训练资源、推理开销与实际延迟需分别讨论，不能从聚合 EER 改善承诺这些量也改善。专家库随任务增长，融合长度固定但存储与路由计算仍随专家数变化，部署前需补测长序列下的开销。
要复现应先固定哪些信息条件？
先固定数据条件。按附录锁定训练开发评测成员，再按协议分配任务；不要合并拼写相同但来源不同的生成器编号；RAMI 每训练开发任务用每域 600 条不重复真实加一个机制 2400 条伪造，评测每任务每域 1250 条真实加每机制 5000 条伪造。生成器归属按主导通路，M3 是重建已有语音，M4 是生成新标记序列，下游声码器不改变归属，A07 类混合按波形生成或增强阶段判入 M2。
再固定训练与选择条件。冻结语音主干，只训练 AASIST 后端、共享真实提示与当前伪造专家；历史完整专家与继承基座分离；两类样本都参与交叉熵；每轮在当前任务开发集上按 EER 选最低者，平局按开发损失。
被选模型传给下一任务。超参数按选中配置：每种提示每层 5 个，丢弃 0.1，余弦系数 1.0，正交系数 0.1，扰动 0.1，温度 0.1，50 轮，批量 32，余弦学习率。基线必须在同一冻结主干框架内重跑，不直接引用原论文分数；离线联合单独报告。
最后固定资源状态。论文代码当前可用，可从给出仓库获取；XLS-R 300M 等 5 个权重链接本次未能确认可达，复现前先验证权重可达与版本一致，再跑主干适配的提示宽度与后端投影。还需补的验证包括多种子重复、显著性报告、长序列秩亏检查与推理成本实测，否则不能把单种子聚合最优推广为普遍最优。
何时值得尝试这个非对称提示方案？
当真实来源已知且可重复获得，而伪造机制按新原理不断到来时，值得尝试把任务按机制组织并用共享真实提示加扩张伪造专家更新。复述要点是：锁定样本池后比较组织方式，冻结主干只调提示与后端，真实侧用余弦锚定稳定共享方向，伪造侧选历史专家做基座再学正交残差，推理时按输入加权全部完整专家且注入长度固定，检查点按当前任务开发 EER 选择。
支持的判断是该组合在 RAMI 聚合上优于所测持续基线，且在限伪造数据与跨主干对照中保持优势；限制是离线联合仍更优、部分机制非最优、单种子无显著性、长序列与未见生成器未验证。常见误解是把低遗忘直接当作整体更优，Oiso 提示的反例说明没有学到新机制也会遗忘很低；另一个误解是把参数正交当作功能解耦，本文几何测量只支持参数空间分离。下一步应补多种子统计、开放生成器测试与存储计算开销，才能决定是否可部署。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses