从单向门控到双向调制：BiSASV 如何让说话人与伪造检测互相校准

英文题目：BiSASV: Bidirectional Feature Modulation with Dual-Granularity Fusion for Spoofing-Robust ASV

会议身份：conference:interspeech:2026:conference-paper-id:zhou26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型融合 #语音 #说话人验证 #语音伪造检测

评分：6.4/10 | 创新 1.4/2 | 技术严谨 1.3/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yiqun Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Kong Aik Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Ji Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Longbiao Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

防欺骗说话人验证（Spoofing-aware Speaker Verification，SASV）需同时拒绝零尝试冒充者并抵御语音合成与变换攻击，难点在于说话人验证（Automatic Speaker Verification，ASV）需抑制伪影而反欺骗（Countermeasure，CM）需捕捉伪影，二者特征需求冲突且欺骗伪影常与目标说话人声学耦合。该工作先由 ASV 分支汇总注册与测试嵌入的均值、标准差与余弦相似度构成全局统计，经特征线性调制（Feature-wise Linear Modulation，FiLM）注入 CM 分支实现说话人条件化，再将增强后 CM 特征映射为通道门控向量以细粒度重加权 ASV 交互特征，最后并行拼接融合全局相似度的粗粒度通路与通道门控的细粒度通路完成判决。相比仅用 CM 分数标量门控 ASV 嵌入的单向基线，该机制建立了 ASV 到 CM 再到 ASV 的闭环信息流，并以全局通路对冲细粒度过拟合。在 ASVspoof 2019 LA 评测集上，系统相对同前端 ATMM-SAGA 基线将 SASV 等错误率（Equal Error Rate，SASV-EER）从 2.18% 降至 0.73%，最小不可知检测代价（Minimum Agnostic Detection Cost Function，min a-DCF）从 0.0480 降至 0.0153。结论目前仅在该单数据集协议内成立，对跨语种、跨通道与未知生成攻击的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

要解决的到底是什么安全问题？

输入是这篇 Interspeech 2026 论文的正文证据与两张官方原图像素，目标是让刚进入语音领域的研究生能核对并复述 BiSASV 的方法与实验条件。本文必须保留的关键信息包括任务定义、前后端分工、双向调制与双粒度融合的具体计算安排、训练配置、数据集与指标口径，以及可运行基线上的关键数字。输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断。

自动说话人确认的白话含义是，系统先存下注册人的语音，再比较测试语音是不是同一个人说的话。英文是 Automatic Speaker Verification，缩写 ASV。反欺骗的白话含义是，判断一段语音是真人说的还是合成或转换生成的，英文是 Countermeasure，缩写 CM。伪造鲁棒的说话人确认的白话含义是，同时扛住冒充者与合成语音两种攻击，英文是 Spoofing-Robust ASV，缩写 SASV。

一个待验证样本走完的完整链路是这样的。注册语音与测试语音分别送入预训练说话人模型得到说话人嵌入，测试语音再送入预训练反欺骗模型得到反欺骗特征。然后说话人分支算出全局统计去调制反欺骗特征，调制后的反欺骗特征再生成门控向量去加权说话人交互特征。最后粗粒度整体特征与细粒度加权特征拼接成鲁棒嵌入，送入分类器得到是否接受的分数。论文报告的终点是在 ASVspoof 2019 LA 评估集上的联合错误率与代价指标，而不是只在某一子任务上好看。

已有三条路线各自卡在哪里？

论文把现有 SASV 研究归为 3 类。第一类是端到端网络，试图联合优化说话人确认与反欺骗 2 个任务。原文指出的安排理由是，两类任务对特征的要求存在冲突，说话人任务希望抑制环境与伪造痕迹，反欺骗任务希望抓住这些痕迹，高度耦合的网络难以平衡且可解释性受损。第二类是分数融合，过去挑战中广泛采用，只在决策层做浅层交互。原文的判断是它切断了深层特征空间的互补性。第 3 类是嵌入融合，继承独立预训练专家模型的判别力，例如用 ECAPA-TDNN 做说话人前端、用 AASIST 做反欺骗前端，再在高维表示层融合。

嵌入融合 × 分数融合： 嵌入融合指在高维表示层拼接或调制说话人与反欺骗嵌入再联合学习，分工是保留深层互补信息；分数融合指各自系统先输出判决分再在决策层加权，分工是实现简单且模块解耦。二者搭配比较的意义在于，论文显示浅层分数融合切断了特征空间互补，而朴素拼接又不能有效利用互补，因此需要设计有方向的调制与门控机制。

基线 ATMM-SAGA 属于嵌入融合中的单向门控做法。它用反欺骗模块的概率分数作为自适应注意力权重，对归一化说话人嵌入做标量乘法。当分数接近 0 时压制疑似伪造样本的特征，接近 1 时保留真实语音特征，并在联合优化阶段采用交替更新说话人与反欺骗分支的训练策略。论文认为这种不对称设计的缺失是，反欺骗分支看不到目标说话人身份，而合成语音的伪造痕迹在一定程度上受目标说话人属性影响。已有研究提示说话人全局身份上下文可以帮助反欺骗模型更好地校准决策边界，这就是转向双向设计的动机。

为什么单向门控不够用？

举一个教学用的例子帮助理解，不代表论文的数值。假设攻击者用目标说话人的声音合成了开锁指令，单纯的说话人系统可能因为音色相似而接受，单纯的反欺骗系统可能因为没见过这种合成器而漏检。如果反欺骗分数直接乘到整个说话人向量上，相当于一票否决，但没有告诉反欺骗模型当前在验谁。反过来，如果先告诉反欺骗模型当前注册与测试语音的均值、方差与相似度，它就有可能按当前说话人的声学分布调整自己的判断尺度。

论文要回答的具体问题是，能否在保留预训练专家模型的基础上，建立说话人与反欺骗分支之间的双向信息流，并用粗细两种粒度的融合防止细粒度调制过拟合到已知攻击。学习依赖上，必须先理解说话人嵌入的全局统计是什么，再理解它如何作为条件去变换反欺骗特征，最后理解变换后的反欺骗特征如何逐通道门控说话人特征。任何把门控方向说反的复述都会误解方法，例如把说话人门控反欺骗说成反欺骗门控说话人，都是与原文两步顺序不符的。

BiSASV 的全景动作是什么？

BiSASV 的全景可以按一个样本的动作顺序复述。第一步，前端保持与基线一致，用预训练 ECAPA-TDNN 提取 192 维说话人特征，用预训练 AASIST 提取 160 维反欺骗特征。第二步，说话人分支构造条件向量，再经两层感知机生成缩放与平移参数，对反欺骗特征做通道级仿射变换。第三步，变换后的反欺骗特征经后续网络得到增强表示，再映射为门控向量，对说话人交互特征做逐元素加权。第四步，系统并行走两条融合路径，一条是拼接增强反欺骗特征与余弦相似度的粗粒度路径，另一条是门控加权的细粒度路径，两路拼接得到最终鲁棒嵌入。

细粒度融合 × 粗粒度融合： 细粒度融合指门控向量对说话人交互特征每个通道独立加权，能保留精细判别线索但易对已知攻击过拟合；粗粒度融合指把增强反欺骗特征与说话人余弦相似度拼接后映射为 128 维整体特征，提供稳定的全局判决依据。二者搭配的原因是只用细粒度路径风险高，加入粗粒度路径可约束决策，组合后拼接成最终鲁棒嵌入再打分。

下图是基线与本文系统的整体结构对照，左侧为单向分数门控，右侧为双向调制加双粒度融合，重点看信息流方向与汇合点。

看图路径： 1. 先沿左侧注册语音与测试语音两条输入线，确认说话人分支与反欺骗分支的前端来源；2. 再看中间黄色虚线 FiLM 块如何把说话人统计送入反欺骗支路；3. 接着找到下方红色粗粒度融合模块与绿色细粒度门控点的汇合位置；4. 最后对比左图单向标量相乘与右图双向逐元素调制的箭头方向差异

论文图 1。原论文 Figure 1：“Overall architecture of the baseline ATMM-SAGA and the proposed BiSASV system.”。

从像素可见，左面板注册语音与测试语音分别进入预训练说话人与反欺骗系统，反欺骗分数经标量乘法作用于说话人表示后输出联合分数。右面板增加了由说话人统计驱动的 FiLM 操作块，右上角放大框显示条件经感知机生成缩放与平移参数后分别做乘与加。下方红色虚线框为粗粒度融合模块，把反欺骗特征与余弦相似度拼接后映射，绿色支路为细粒度门控点，两路在底部拼接后输出最终分数。原文强调本文结构不需要交替训练，而是在联合训练范式下实现决策鲁棒性，这一点在复现时不要沿用基线的交替更新逻辑。

条件向量与两步调制具体怎么算？

先讲条件向量的输入与符号。注册与测试说话人嵌入分别求均值与标准差，再加上二者的余弦相似度，拼接成条件向量。原文记为包含注册均值、注册标准差、测试均值、测试标准差与相似度的五部分向量。它的作用是显式刻画当前输入的统计属性与身份匹配程度，而不是只给一个标量分数。

接着是第一步调制。条件向量经两层感知机映射为缩放因子与平移参数，对反欺骗特征做通道级仿射变换。白话是按当前说话人对反欺骗的每个通道做拉伸与平移，使其自适应当前说话人的声学分布。实现上是特征级线性调制机制，英文是 Feature-wise Linear Modulation，缩写 FiLM。

然后是第二步门控。增强后的反欺骗特征经后续网络与门控映射网络投影，再经 Sigmoid 得到每维在 0 到 1 之间的门控向量，对处理后的说话人表示做逐元素乘法。白话是给每个说话人通道独立打分，伪造证据强的通道被压低，可信通道被保留。与基线的标量乘法不同，这里是维度级细粒度重校准。

自动说话人确认 × 反欺骗： 自动说话人确认负责判断测试语音与注册语音是否为同一人，关注身份可分性而抑制通道与伪造痕迹；反欺骗负责判断语音是真实还是合成，关注伪造痕迹而对身份不敏感。二者搭配的原因是伪造痕迹常与目标说话人声学特性耦合，单独做任一任务都会在另一类错误上失效，BiSASV 让二者互相提供条件与门控，使身份上下文校准伪造判决、伪造证据抑制不可信的身份特征。

说话人交互特征的构造也需要复述。系统把归一化注册嵌入、测试嵌入、二者逐元素绝对差与逐元素乘积拼接成 768 维原始交互向量，再经 Dropout 与多层感知机得到说话人交互特征。粗粒度路径把增强反欺骗特征与余弦相似度拼接，经全连接层与 LeakyReLU 映射为 128 维粗粒度特征。最终鲁棒嵌入是粗粒度特征与加权后细粒度特征的拼接。

特征调制 × 维度门控： 特征调制指用说话人全局统计经全连接网络生成缩放与平移参数，对反欺骗特征做通道级仿射变换，分工是注入说话人条件；维度门控指把增强后反欺骗特征映射为 0 到 1 之间的通道权重，对说话人交互特征做逐元素加权，分工是按伪造可信度重校准身份通道。二者搭配构成先条件化再门控的闭环，避免了只用反欺骗分数标量压制说话人向量的单向粗粒度做法。

训练时更新什么、用什么损失选模型？

后端融合网络用 PyTorch 实现，训练 20 个轮次，批量大小为 1024。优化器用 Adam，初始学习率为 0.0003，权重衰减为 0.001，调度策略是前 10 个轮次线性预热、之后逆时间衰减。这些是复现时需要原样保留的超参数，改变批量或预热长度可能影响收敛稳定性，但原文没有给出不同调度的对照。

监督来源是加权二值交叉熵损失，用于缓解真实与伪造语音样本的数据不平衡。原文给出的权重是真实类 0.9、伪造类 0.1。最终模型按开发集上最好的联合错误率选择，而不是按评估集回选。这一点对公平比较很重要，任何按评估集挑阈值或挑轮次的做法都会破坏可比性。

关于参数冻结与更新，原文明确前端与基线一致使用预训练 ECAPA-TDNN 与 AASIST 提取特征，后端做联合训练且不需要交替训练。但原文没有逐层说明前端是否冻结、梯度是否回传到前端、门控映射网络的具体层宽与初始化，也没有报告重置时机。复现时应明确指出这些缺项，不要从模型名称推定前端必然冻结或必然微调。损失的梯度路径在原文图中只显示到最终联合分数的二值交叉熵，未给出是否保留独立的反欺骗与说话人辅助损失，因此不应自行添加辅助损失。

数据、协议与指标口径是什么？

研究基于 ASVspoof 2019 逻辑接入数据集，英文是 Logical Access，缩写 LA，以保证与基线及先前工作的公平比较。评估集包含多种未见攻击类型，编号覆盖 A07 到 A19，开发集与评估集存在域偏移，这为检验泛化提供了条件。原文没有重新划分数据，也没有引入外部训练语音，因此复现时应使用官方划分。

指标需要区分 4 个口径。SV-EER 衡量区分目标说话人与零努力冒充者的能力，SPF-EER 衡量区分真实与伪造语音的能力，SASV-EER 是联合任务的等错误率，为主要评估指标，min a-DCF 是考虑不同错误类型代价差异的最小不可知检测代价函数。等错误率越低越好，代价越低越好。置信区间用自助法计算，重复 1000 次，给出 95% 置信水平。

前端维度与实现细节按原文交代，说话人特征 192 维，反欺骗特征 160 维。除端到端方法外，所有比较系统都用相同的预训练前端，这是判断公平条件的关键。若比较对象换了前端或用了额外数据，就不能直接与本文数字对比。硬件预算与训练时长在证据中未报告，推理开销与延迟也未测量，因此不能声称方法更轻或更快。

主结果在可运行基线上赢了多少？

下面整理主结果对比，先看朴素拼接与单向门控两条基线的联合错误率与代价，再看本文系统的对应数字，以明确收益与代价的比较口径。

表后解释需要同时给出收益与代价。相对朴素拼接基线，本文系统把联合错误率从 6.37% 降到 0.73%，论文据此认为朴素拼接未能利用跨子系统互补性。相对单向门控基线，联合错误率从 2.18% 降到 0.73%，相对降幅约 66.5%，代价从 0.0480 降到 0.0153。未胜出项也要保留，独立前端本身在子任务上仍有分工优势，例如独立说话人模型在纯说话人任务上、独立反欺骗模型在纯反欺骗任务上的数值仍是理解分工的参照，联合系统并没有在所有单项上同时压倒一切。原文还报告了所提系统与基线的 95% 置信区间，本文系统的联合错误率区间与代价区间均低于基线区间，支持改进不是单点抖动，但仍限于该数据集与该前端条件。

下图是独立反欺骗与本文系统在开发集与评估集上的伪造错误率检测误差权衡曲线，用于考察域偏移下的稳定性。

看图路径： 1. 先按图例区分红色独立反欺骗与绿色本文系统，再区分实线开发集与虚线评估集；2. 再确认横轴为误接受率纵轴为误拒绝率，对角虚线为等错误率工作线；3. 最后比较在评估集虚线上绿色曲线相对红色曲线在中低误接受区的位置高低

论文图 2。原论文 Figure 2：“SPF-EER DET curves of AASIST [15] and the pro- posed system on the Dev and Eval sets.”。

从像素可见，横轴为误接受率，纵轴为误拒绝率，均为对数刻度，对角虚线为等错误率线。红色为独立反欺骗，绿色为本文系统，实线为开发集，虚线为评估集。在开发集实线左下区域，绿色并不总是低于红色，说明本文系统在已知域上没有全面压制独立模型。在评估集虚线中段，绿色明显位于红色下方，评估集等错误率点更靠近左下，论文据此报告本文系统在评估集上伪造错误率更低，而独立模型在已知域拟合更好。像素不能精确读出的具体阈值不宜硬写，应以原文报告的评估集伪造错误率数字为准。

拿掉说话人条件与粗粒度路径会发生什么？

下面整理条件扰动与粗粒度缺失情形下的联合错误率对照，为后文反证讨论提供可核对的数值起点。

表后解释要结合反证。去除说话人到反欺骗的条件后，联合错误率从 0.73% 升到 1.33%，说明条件化有实质贡献。在批量内随机打乱条件向量，性能进一步恶化到 1.49%，论文解释为错误说话人上下文会破坏反欺骗特征分布。用批量级常量替代条件向量，效果与无条件基线相当，支持增益依赖正确说话人上下文，而不是仅靠增加参数。去除粗粒度模块后联合错误率升到 1.14%，说明粗粒度路径对鲁棒性不可或缺。

论文还按攻击类型报告了引入调制后每种攻击伪造错误率的相对变化。证据显示，没有粗粒度模块时调制在部分攻击上退化，例如某些攻击相对改善为负值；加入粗粒度模块后多数攻击改善并缓解了此前的回退，论文据此认为粗粒度融合防止了对已知攻击的过拟合。但也有个别攻击在加入后仍为负改善，例如 A17 与 A19 方向仍不理想，这就是必须保留的负结果。总体趋势不等于每种攻击都变好，复现时应逐攻击核对而不是只看平均值。

哪些边界本文没有测、不能承诺？

首先是数据边界。实验只在 ASVspoof 2019 LA 上报告，未来工作才计划做跨数据集评估与端到端扩展。因此不能把在该评估集上的增益推广到其他通道、语言或合成器上，也不能声称跨域泛化已经解决。开发集与评估集的曲线对比只支持在该划分下对域偏移更稳健的有限解释，相关性不是因果。

其次是成本边界。原文未报告训练资源、参数量、推理开销、输出帧率与实际延迟，也没有测量误判率之外的部署代价。即使联合错误率与代价下降，也不能承诺延迟更低或更适合端侧。加权交叉熵的权重、批量大小与学习率调度都按该数据调好，换数据后是否稳定待验证。

最后是证据冲突与缺项。资源状态证据显示未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开，只能说论文未提供可验证的公开链接。本次解读中表格数字来自正文连续原句的逐字引用，原表矩阵因无可用序号而未做直接选择，任何自行计算的差值百分比都已按原文相对降幅表述保留，不另行四舍五入。若发现表头单位或聚合口径冲突，应明确标注而不是编造划分来圆成一致。

要复现应先做什么、保留什么条件？

复现的第一步是准备数据与前端。下载 ASVspoof 2019 LA 官方划分，用预训练 ECAPA-TDNN 提取 192 维说话人嵌入，用预训练 AASIST 提取 160 维反欺骗特征，保持与基线一致。不要更换前端或混入额外数据，否则无法与 2.18% 到 0.73% 的对比挂钩。

第二步是实现后端。按样本走完条件向量拼接、两层感知机生成缩放与平移、通道仿射、增强表示映射为门控向量、说话人交互向量拼接与映射、粗粒度 128 维映射、两路拼接打分的顺序。训练用批量 1024、20 轮、Adam 初始学习率 0.0003、权重衰减 0.001、前 10 轮线性预热后逆时间衰减，加权二值交叉熵真实权重 0.9、伪造权重 0.1，按开发集联合错误率选模型。

第三步是验证。先复现无条件基线与打乱条件的退化，确认增益依赖正确上下文；再移除粗粒度模块确认联合错误率回升到 1.14% 量级；最后逐攻击核对 A07 到 A19 的相对变化，特别关注仍退化的攻击编号。还需补做的验证包括跨数据集测试、多次随机种子的方差、以及推理延迟与参数量的实测，这些在原文中缺失，复现报告应单独列出。

何时值得尝试这种双向思路？

当你的系统已经有可用的独立说话人与反欺骗专家模型，但分数融合遇到瓶颈，且怀疑伪造痕迹与说话人声学特性耦合时，值得尝试先用说话人全局统计条件化反欺骗特征，再用增强反欺骗特征逐通道门控说话人特征。关键超参数与信息条件是条件向量必须包含注册与测试的均值、标准差与余弦相似度，门控必须在 0 到 1 之间逐通道独立作用，粗粒度路径必须保留全局余弦相似度作为稳定器。

常见误解是把双向理解为同时互相加权。原文的顺序是固定的，先是说话人到反欺骗的仿射调制，后是反欺骗到说话人的维度门控，不是两路对称相加。另一个误解是把细粒度门控越细越好，消融显示没有粗粒度约束时细粒度调制会在部分攻击上过拟合。教学例子只是帮助建立直觉，真正的效果必须回到相同前端、相同划分与相同指标口径下核对。本文在该条件下报告的联合错误率 0.73% 与代价 0.0153 是直接证据，对未知数据与部署成本的推断则属于待验证部分。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总