带着参考学、丢掉参考用：RAT 把参考通道训练成不变性

英文题目：RAT: Reference-Augmented Training for ASV Anti-Spoofing

会议身份：conference:interspeech:2026:conference-paper-id:stanek26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#开源工具 #注意力机制 #数据增强 #语音 #语音伪造检测

评分：8.0/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Vojtěch Staněk：机构信息未能从会议 PDF 纯文本可靠映射
• Anton Firc：机构信息未能从会议 PDF 纯文本可靠映射
• Jakub Reš：机构信息未能从会议 PDF 纯文本可靠映射
• Kamil Malinka：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

自动说话人验证反欺骗（ASV Anti-Spoofing）需从单条测试语音输出真伪分数，难点在于文本转语音与语音转换攻击持续演进，且伴随多声学条件、编解码退化与Malafide、Malacopula对抗攻击。该工作用共享的300M参数XLS-R分别提取测试波形与同说话人真参考波形的24层特征，经参考信息块（Reference-Informed Block，RIB）融合，再对层维与时间维做均值池化并送入3层MLP输出真伪对数几率，取真类对数几率zbona为检测分数。RIB内测试自有MLP支路与以测试为查询、参考为键值的4头跨注意力支路并行，再与测试原始嵌入残差相加，使模型早期可借参考校正、后期自然退化为单语句检测器。与显式比对参考的孪生网络或SASV分数融合不同，该方法把参考仅作训练期条件而不要求推理期依赖。在ASVspoof 5评测集Track 1开放条件下，零向量参考推理取得2.57% EER和0.074 minDCF，优于同配方单语句基线的4.87%与0.141，也优于12模型融合冠军T43的2.59%与0.075。结论目前仅在ASVspoof 5与XLS-R前端下成立，XLS-R本身按官方规则不允许正式参赛，跨数据集与强对抗迁移尚未验证，原文未披露训练与推理成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/Security-FIT/RAT — 链接可访问（HTTP 200）
• 模型相关资源：https://github.com/Security-FIT/RAT — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要解决的反欺诈任务长什么样？

本文输入是待测语音波形，目标是判断它是真实说话还是语音合成与声音转换生成的伪造，输出是真伪二分类的分数。学习前必须保留 3 条信息：评估用 ASVspoof 5，包含多种攻击、声学条件、编解码退化和对抗攻击；指标用等错误率与最小检测代价函数，代价参数按原文取误接受代价 10、漏检代价 1、伪造先验 0.05；开源状态是代码与模型当前可用，地址在原文仓库。白话说，自动说话人验证就是门禁听声认人，欺诈对策就是门禁旁边再站一个验钞员，专门看声音是不是假钞。本文只做验钞员，不做认人。

自动说话人验证 × 欺诈对策： 自动说话人验证负责判断语音是不是目标说话人，欺诈对策负责判断语音是真人还是合成或转换伪造，二者分工不同但在部署中串联，搭配的原因是验证系统会被高质量伪造绕过，组合意义在于对策先拦截伪造再做身份比对，本文只研究对策部分。

传统对策只看待测一句，好处是部署简单，坏处是容易记住特定攻击的表面痕迹。作者原本想引入注册或验证时可得的说话人参考，做成双输入比对结构，这就是起点。研究生复述时要先说清任务边界：训练与评测都围绕伪造检测，不报告说话人确认准确率，不承诺身份识别提升。后续所有配对、增强与消融，都是为了让这个单句验钞员更稳，而不是把它改成验证系统。

已有路线如何用参考：为什么本文选择不同用法？

相关工作分两条线。第一条是单句对策，主流做法是用自监督语音模型做前端，再接图注意力、池化或分类器，例如 Wav2Vec2、WavLM 加 AASIST 框架，或结合多头注意力池化与 ECAPA 结构，也有直接融合多个模型提分的做法。这条线不依赖额外先验，部署代价小，但论文指出其数据驱动特征强，对未知攻击的泛化需要额外手段。第二条是参考基方法，常见于欺诈感知说话人验证，把验证分与对策分融合，假设伪造在分值分布上与目标真试次不同，近期也有用孪生网络或注意力显式比较待测与参考的做法，前提是伪造能模仿高层音色但复刻不了细粒度一致性。

欺诈感知说话人验证 × 单句分类器： 欺诈感知说话人验证负责联合完成身份确认与伪造检测，通常融合验证分与对策分，单句分类器只看待测一句做真伪二分类，二者分工在于是否使用注册语音，搭配比较的原因是本文借用了注册思想但最终仍落回单句推理，组合意义是澄清 RAT 不是验证系统而是训练期借参考的对策。

本文与第二条线的区别在于用法：训练时用参考，推理时允许不用参考。作者报告说，即使推理时把参考换成零向量或不匹配说话人，性能依然保持，这与以往必须有参考才能比对的假设不同。复述时不要把类别差异当成同条件胜负：融合大系统参数量与训练配方不同，不能直接说结构一定更强，只能在固定前端与配方的受控比较中谈收益。

核心矛盾是什么：加了参考为何反而可以不用参考？

作者最初想做参考条件化的对策结构，却观察到一个反直觉现象：带参考通道训练出的模型，在推理时几乎忽略参考。具体表现为把参考换成静音零向量、纯噪声或他人语音，判决分数变化很小，最终检测性能不降反稳。问题于是从如何用好参考比对，转变为参考增强训练为何能改善单句检测。论文把这种现象解释为训练诱导的不变性：参考在早期提供校正信号，帮助模型把注意力从说话人差异移向伪造痕迹，后期优化逐渐压低参考分支的贡献。

理解这个矛盾是全文钥匙：收益来自训练动力学，不是来自推理时的比对计算。若复述成参考比对越准越好，就偏离了原文的机制分析。教学例子：好比学骑车时扶着栏杆，学会后松手仍能骑，栏杆的作用在训练期，不在比赛期，这只是例子，不代表论文测量了骑车或迁移效果。

方法全景：一个样本如何走完输入到分数？

沿一个样本走一遍。输入是 1 对波形：待测语音与同说话人真参考，推理时参考可被零向量代替。两者共用同一个预训练 XLS-R 前端，提取 24 层、每帧 1024 维的表示。随后进入参考信息块，块内有两条并行支路加一条残差直连，输出再做层归一化。接着对 24 层与时间维做均值池化，得到单个 1024 维向量，送入 3 层感知机分类器，输出真与伪两个 logit，取真类 logit 作为对策分数。下面这张结构图把上述路径画全，值得对照文字细看。

看图路径： 1. 先沿左侧两路波形箭头找到共用的 XLS-R 300M 框，确认测试与参考共用前端；2. 再看虚线框内上路 MLP 与下路多头交叉注意力的汇合加号；3. 接着看汇合后经均值池化得到 1024 维向量再进 MLP 分类器的纵向路径；4. 注意查询与键值的标注方向，确认是谁查谁

论文图 1。原论文 Figure 1：“Proposed RAT architecture with the Reference-Informed Block (RIB), mean pooling, and a downstream MLP classifier.”。

从像素看，左右两侧波形分别标注测试与参考并汇入中间灰色前端框，虚线框内上方蓝色椭圆是只看测试的感知机支路，下方堆叠块是多头交叉注意力，测试做查询、参考做键与值，3 路在加号处汇合为块输出，再向右经均值池化与分类器得到分数。这种画法直接对应残差设计：当参考弱或为零时，测试通路仍能独立工作。记住这个主路径，后续组件节再拆开每一步的计算目标与实现细节。

组件与计算：参考信息块内部做了什么？

前端输出记为测试表示与参考表示，时间长度可不同，维度都是层数乘时间乘 1024。进入参考信息块前先做层归一化，这是原文明确的安排。块内第一路是轻量多层感知机，只处理测试嵌入，两层线性加激活，隐藏层扩展 4 倍，即 1024 到 4096 再回 1024，逐测试嵌入作用，目标是提炼单句特征。第二路是多头交叉注意力，测试嵌入做查询，参考嵌入做键和值，头数按预实验取 4，目标是让测试帧去检索参考中的可比信息。两路输出与原始测试嵌入残差相加，再做 1 次层归一化，得到块输出。

参考增强训练 × 参考信息块： 参考增强训练是训练策略，负责在训练时额外喂入同说话人真参考以改变优化轨迹，参考信息块是网络结构，负责用交叉注意力让测试帧查询参考帧并与测试支路相加，二者搭配的原因是策略需要一个可被逐渐绕过的通道，组合意义在于训练期利用参考做校正信号而推理期可断开。

池化与分类很简单：对层维与时间维取均值，压成一个 1024 维向量，送入 3 层带激活的感知机，输出 2 维向量，分别对应真与伪。评估用真类 logit。

交叉注意力分支 × 多层感知机分支： 交叉注意力分支负责从参考嵌入中提取可比对信息，以测试嵌入为查询、参考嵌入为键和值，多层感知机分支只处理测试嵌入，负责保留单句可判别特征，二者搭配的原因是残差相加保证参考缺失时仍有通路，组合意义在于优化过程可以连续调节对参考的依赖强度。

原文没有给出池化前加权或注意力池化的公式，也没有报告丢弃某支路后必然怎样，因此复述时只说残差保证了零参考时仍有通路，不推测拿掉感知机分支的定量后果。实现上小批量内按最长句零填充波形，除此之外不做截断或额外填充，以支持变长输入。

训练如何构造配对并分阶段优化？

配对构造是关键。数据加载器对每条待测语音，从同说话人的真语音集合中去掉自身后形成参考池，再均匀随机抽一条真参考，组成有序对。训练与评测默认都从各自子集内同子集采样，不跨训练、开发与评估子集混用。参考与测试都按原样使用，不截断。为防止模型依赖干净参考，训练时对两侧都做随机增强，每种增强以三成概率施加，包括时间掩蔽、μ 律编解码、RawBoost 变体、多种噪声与多种滤波。

监督来源是简单的交叉熵损失，优化器用 Adam，不用特殊学习率调度与权重衰减。2 阶段策略是：第一阶段冻结预训练前端，只训其余部件，学习率千分之一，批量 16，训 5 轮；第二阶段解冻前端联合微调，学习率百万分之一，批量 6，训 6 轮。用开发集上等错误率最低的模型做最终评估。上述冻结、批量、轮数与学习率都是原文明确报告的，可直接照抄复现。

梯度在注意力与感知机分支的细分配未单独报告，不从模型名推定。下表把训练配置整理成可核对清单，数字与原文写法一致。

训练没有报告权重衰减与调度器缺项，复述时应明确这是未报告而不是默认为零。

增强的随机种子与具体噪声信噪比组合也未完全列出，复现时先按原文仓库默认实现跑通，再做小范围对照。

实验条件：数据、划分、指标与基线如何保证可比？

数据用 ASVspoof 5，训练、开发与评估划分按攻击与说话人不相交，评估在第一轨伪造检测的开放条件下进行。作者说明使用了预训练 XLS-R 前端，按官方规则不算正式提交，但为了隔离参考增强训练的效果，固定了前端、训练协议与数据，并指出基线水平与允许模型报道的 WavLM 结果可比。指标方向是越低越好，等错误率看平衡点，最小检测代价函数按上述代价与先验计算，反映真多伪少但漏检代价高的部署假设。

基线包括外部文献单系统与挑战优胜者，以及作者按相同配方训练的受控基线：均值池化单句基线与测试自注意力对照，后者把交叉注意力退化为只看测试的自注意力，用于检验收益是否仅来自参数量。

等错误率 × 最小检测代价函数： 等错误率负责报告误接受与误拒绝相等时的错误水平，最小检测代价函数负责按先验和代价加权两种错误并取最小阈值，二者搭配的原因是前者直观可比、后者贴近部署中真多伪少且漏检代价高的假设，组合意义是同时看区分能力和代价敏感性。

统计方法上，主结果与消融都给出 1000 次自助法的 95% 置信区间，避免把小数点后差异过度解读。硬件预算原文只说明由学校项目与公共算力支持，未报告具体卡时与推理延迟，因此不能承诺延迟改善。复述比较时必须保留实际可运行策略：配对推理、零向量推理与测试自注意力都是可部署的，而事后选最优阈值或融合最优权重则要另行标注，不能代替可部署收益。

主结果：参考增强训练带来多大可运行收益？

要回答的核心问题是：在固定前端与配方下，加参考训练是否稳定优于单句基线，以及推理时能否去掉参考。公平条件是同一 XLS-R 前端、同一增强与训练轮数，指标越低越好。下表把原文评估集数字整理成五列，保留原文百分号与小数精度，不做四舍五入与差值计算。

表后解释必须同时谈收益与代价。收益是：受控基线从 4.87% 降到配对 2.63%、零参考 2.57%，最小代价从 0.141 降到 0.074，超过了参数量大一个数量级的 12 模型融合优胜者，且零参考略优于配对，说明训练期参考已内化为单句能力。

代价与反例是：测试自注意力对照做到 3.58%，说明加参数与注意力本身有帮助，但与 2.57% 仍有明显差距，证明收益不只来自结构变大；未胜出项是外部 WavLM 剪枝单系统 3.75% 与 SLIM 系统 5.56%，在不同前端下不能直接等同比较，只能说本文基线水平相当。限制是置信区间有重叠风险，且未测量误判分布与延迟，不能把平均提升推广到每种攻击都提升。

推理时折腾参考：加噪、截断、静音与错配会怎样？

第二个要回答的问题是：推理时参考被破坏，模型是否崩塌。作者在推理期固定待测不变，只替换参考，测试 6 种情况：无退化配对、10 与 20 分贝加性噪声、截到 1 秒与 3 秒、静音零向量、纯高斯噪声、他人真语音错配。公平条件是同一训练好的模型与同一评估集，指标越低越好。下表保留原文五列写法，数字裸值不擅自加单位，指标单位在表头与正文中交代。

为理解这种不变性如何形成，需要看训练动力学。左图是判决裕量变化与分支比值随轮数的曲线，右图是块输出与池化嵌入的激活变化，横轴都是轮数。

看图路径： 1. 先看左图横轴训练轮数与左右纵轴两个量的图例，区分零参考与噪声参考曲线；2. 再观察蓝色分支比值曲线在前三轮的快速下降位置；3. 再看右图绿色与紫色带状区域随轮数收窄的趋势，对比块输出与池化后嵌入的高度；4. 注意末轮两种替换下的残余幅值，判断是否归零

论文图 2。原论文 Figure 2：“Training dynamics under zero and noise reference substitutions.”。

从像素看，左图橙色零参考裕量在第 2 轮冲高后回落，第 5 到 6 轮又有隆起，末轮两种替换都压到低位，蓝色分支比值从约 0.05 单调衰到约 0.02；右图绿色块输出带始终高于紫色池化嵌入带，且噪声替换的虚线低于零替换的实线，随轮数整体下移。这支持原文判断：交叉注意力输出对参考最敏感，但经残差融合与池化后敏感性被大幅稀释，最终裕量只变不到 5%。未评测边界是参考与测试同为伪造或跨数据集错配，原文未报告，不能外推。

哪些还没证明：不变性的边界与缺失的测量是什么？

首先区分 3 类表述。直接报告的是：零参考与错配下性能稳定，分支比值衰减，激活敏感性逐级下降。有限解释是：参考在早期做校正信号，后期被优雅断开，这有曲线支持但未做因果干预，例如没有在固定轮数强制关闭某分支再看泛化变化。待验证的是：这种不变性是否对所有攻击类型与信道都成立，原文只在 ASVspoof 5 评估集上报告平均指标，未按攻击细分，也未测量人评相关性。

其次缺失的测量要明说：没有报告训练卡时、参数更新量、推理延迟与帧率，也没有报告不同参考时长分布下的系统性误差，因此不能承诺更快或更便宜。总体趋势不等于每轮都单调，左图第 5 到 6 轮的隆起就是反例，说明中期仍有波动。相关性不是因果：分支比值小与性能好同时出现，不能直接说压低分支就一定提分，还需补做分支冻结与梯度阻断的对照才能下因果判断。

复现先做什么：配对、增强与两阶段如何照抄？

复现顺序按学习依赖排。第一步准备 ASVspoof 5 划分，保持训练、开发与评估不相交，开发集只用于选最低等错误率模型。第二步实现配对采样：对每条待测，从同说话人真集合去掉自身后随机抽参考，同子集内采样，小批量内按最长句填充，不做额外截断。第三步搭模型：共用 XLS-R 300M 前端，参考信息块用层归一化、感知机支路与 4 头交叉注意力加残差，再做层归一化、均值池化与 3 层分类器，取真 logit 为分。

第四步训 2 个阶段：先冻前端训 5 轮，再解冻联合微调 6 轮，学习率与批量按上表，交叉熵加 Adam，无调度与衰减按原文不设。第五步评测：先跑配对推理，再跑零向量、噪声与错配 3 种可运行替换，计算等错误率与最小代价并做自助区间。资源状态是代码与模型当前可用，权重可下载，但这不等于开箱即达报告分数，仍需核对前端版本与增强实现。常见误解是以为推理必须有参考，原文恰好证明零向量即可，部署时可直接按单句系统上线，省去检索参考的链路。

何时值得尝试 RAT：收益、代价与下一步验证是什么？

当你已有单句对策基线，且训练集有说话人标识与同人真语音可配对时，值得尝试 RAT。它的收益是明确的：在固定配方下把强基线从 4.87% 推到 2.57%，且推理可退化为单句，无需维护参考库。代价也是明确的：需要实现配对采样与双侧增强，需要 2 阶段微调大前端，训练成本高于单句微调。适用条件要收紧：原文只在 ASVspoof 5 上验证，含特定编解码与对抗攻击分布，换数据集前应先在开发集上复现分支比值下降与零参考稳定性两条曲线，否则可能是增强或学习率不匹配。

下一步验证建议补三项：按攻击与信道细分的误差表，分支冻结与参考类型消融的因果对照，以及推理延迟与内存的实测。只有这三项补齐，才能把训练期不变性从现象变成可部署的保证。记住一句话：RAT 不是更复杂的比对器，而是用参考教会单句模型忽略说话人、盯住伪造痕迹的训练法。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总