看得见频率依据的伪造语音检测：分频带看破绽，门控融合补盲区

英文题目：Interpretable Frequency-Band Attention with Gated SSL Fusion for Audio Deepfake Detection

会议身份：conference:interspeech:2026:conference-paper-id:alhammad26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #自监督学习 #可解释性 #语音 #音频深度伪造检测

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.6/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Abeer Alhammad：机构信息未能从会议 PDF 纯文本可靠映射
• Abdullah Aldahlawi：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为变长语音波形，输出为整句真实或伪造判决，难点在于伪造痕迹在频域稀疏且随合成算法漂移，整体建模难以定位与泛化。该工作提出频带多示例学习BandMIL，先将重叠窗口切分为8个重叠频带图像并用共享编码器加手工特征提取带级表示，再经频带注意力Band Attention聚合为窗口级频域向量。同步用自监督学习Self-supervised Learning编码器WavLM-Large提取全局时序表示，经门控融合Gated Fusion按输入自适应加权后送分类器，最后以多示例学习Multiple Instance Learning聚合窗口分数为 utterance决策。与整体式自监督学习和后融合子带方法不同，该机制显式学习每输入的频带重要性与分支可信度，兼顾可审计性与互补建模。在ASVspoof 2019 LA评测集上完整系统取得1.28%等错误率Equal Error Rate和0.0331最小串联检测代价函数minimum tandem Detection Cost Function，优于同训练流程下自监督学习单分支的1.73%。结论仅在该旧基准的13种未知攻击上验证，对A18等转换攻击仍明显吃力且未验证跨数据集与野外泛化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

这篇解读的输入是论文原文提供的文字证据与两张官方原图像素，目标是让刚进入语音与音频方向的研究生能复述 BandMIL 的做法、训练与评价条件，并知道哪些结论有证据、哪些还缺验证。必须保留的信息包括数据划分与攻击编号、两条分支的具体计算安排、门控与多实例聚合在训练和推理的不同选择、主要超参数、评价指标方向与关键数字。

输出按学习依赖展开，先讲任务与已有路线，再走完一个样本从输入到判决的全程，然后讲训练、实验条件、结果与反例，最后讲复现步骤与适用边界。论文研究的任务是逻辑接入场景下的语音伪造检测，也就是判断一段语音是真实说话还是语音合成或语音转换生成的假语音。这里的假不是加噪或剪辑，而是用算法生成的能骗过自动说话人验证系统的语音。对初学者来说，白话理解是系统要给每句话打一个真假分，分数越偏向伪造就越应判假。

评价用等错误率和最小串联检测代价函数，前者是误拒真话与误收假话相等时的错误率，越低越好，后者是把反欺骗与验证系统串起来算的代价，同样越低越好。论文报告 full BandMIL 在评估集上达到较低的错误率，同时给出每个判决依赖哪个频带的注意力权重，这是全文希望兼顾的两件事，准确性与可解释性。

已有路线各解决了什么，又把什么困难留给了本文？

第一条路线是端到端波形建模，代表是直接吃原始波形的网络与其图注意力扩展。它的好处是不依赖手工前端，能从波形学到整体判别线索，在 2019 年逻辑接入数据上已有很强成绩。它的不足是把全频带信号当整体处理，不显式说出伪造痕迹在频谱的哪里，部署时需要审计或定位弱点就不够用。第二条路线是自监督前端加后端分类器，例如用语音预训练模型做特征再接分类网络。

它的好处是利用大规模预训练语音表示提升鲁棒性，论文中自监督单分支本身就是很强的基线。它的不足同样是单体结构，缺少对子频带相对重要性的显式建模。第 3 条路线是子频带分析，动机是许多合成算法会在特定频率留下局部残留。已有做法包括联合训练多个子带网络再拼接特征，或独立训练子带分类器再做非线性打分融合，还有利用复谱幅度与相位的做法。

论文指出这类方法的短板是融合多为拼接或事后打分融合，并且缺少对没有明显频率局部痕迹的攻击的互补表示。本文的定位是同时保留显式分频带分析与全局自监督表示，并让融合权重随输入自适应，再用多实例学习处理变长与时间稀疏性。教学上可以把 3 条路线记成整体波形派、预训练表示派、分频带派，本文是让分频带派与预训练派在门控下合作。

为什么全频带整体判断不够，还要显式分频带？

自动说话人验证怕的是假语音冒充真人，不同合成与转换算法的失真位置不一样，有的在高频有异常能量，有的在中频相位或谐波结构上有破绽。如果模型只看全频带整体，它可能学会一个平均有效的判别面，但在新攻击上不知道该信哪个频率，也说不清为什么判假。论文把这个问题拆成 3 个可操作的子问题。第一是如何把频率证据拆开看，即把频谱切成多个重叠频带并分别编码，再学出每个频带的可信度。

第二是如何在频带证据失效时还有退路，即保留一条不分频带的全局表示去捕捉时间或整体分布上的线索。第三是如何把变长语音的多个局部判断合成一句的判断，并且不靠截断丢掉信息。举一个教学用的例子而非论文数据，假设一句话被切成 5 个窗口，只有第二个窗口的高频出现合成器的振铃，理想系统应给第二个窗口高分并让整句判假，同时指出高频带的权重最高。这个例子只是帮助理解窗口与频带两个维度的选择，论文并未给出该例的具体数值。

理解这三件事后，再看方法全景就不会把注意力、门控、多实例 3 个机制混为一谈。

沿着一个样本走完全程：输入如何变成一句的真假判决？

先沿着一个变长语音样本走一遍。输入是一段采样后的语音波形，系统先把它切成重叠的 4 秒窗口，步长为 2 秒，不足或超长都用窗口序列表示而不做整句截断。每个窗口同时走两条分支，上路是频带分支，下路是自监督分支。频带分支先对窗口做短时傅里叶变换得到幅度谱并转成分贝尺度，再把 0 到 8 千赫切成 8 个重叠频带，每个频带画成固定尺寸的灰度谱图并用共享卷积编码器编码，同时拼接该频带的人工特征，最后用频带注意力加权成一个窗口级的频带向量。

自监督分支把同一窗口的原始波形送入预训练语音模型并做池化投影，得到同一维度的全局向量。两路向量进入门控融合，网络按当前输入算出逐元素门控值，决定更信任频带还是自监督表示，融合向量再进两层分类器得到该窗口的真假逻辑值。最后把一句话的全部窗口分数用多实例聚合变成句级分数，训练与推理用不同的聚合以兼顾可微与鲁棒性。

子带建模 × 门控融合： 子带建模指把 0 到 8 千赫频谱切成 8 个重叠子带并用共享编码器分别编码，它的分工是暴露频率局部化的合成或转换残留；门控融合的分工是在子带证据不可靠时转而依赖全局表示；二者搭配是因为早期子带方法多用拼接或打分融合而缺少互补表示，组合后子带分支提供可解释的频率线索，门控提供按输入自适应的取舍机制。

下面这张结构图把上述双分支与判决链画在了一起，读图时先分清蓝色频带分支、绿色自监督分支、黄色融合与灰色判决 4 类模块，再看箭头如何从窗口分叉又汇合。

看图路径： 1. 先从左端原始波形出发，沿上路短时傅里叶变换到频带分解再到共享编码器的箭头走一遍；2. 再从左端沿下路到自监督分支的均值池化与投影，确认两路在门控融合处汇合；3. 接着看窗口分类器到多实例聚合再到句级判决的主链，区分训练与推理的不同聚合；4. 最后找到虚线表示的辅助窗口级损失，确认它只在训练时起作用

论文图 1。原论文 Figure 1：“BandMIL architecture. Each utterance is split into overlapping 4 s windows (2 s hop).”。

从像素可见，图左是 4 秒窗口与 2 秒步长的标注，向上是短时傅里叶变换与频带分解，向下是原始波形直连自监督模型。上路明确标出 8 个频带与重叠比例、每个频带固定尺寸、共享卷积编码器、每频带人工特征维度以及线性投影到 256 维的标注。下路标出自监督模型最后若干层微调与均值池化加投影的标注。中部是频带注意力得到频带向量、门控融合的公式、两层窗口分类器、多实例聚合在训练与推理的不同选项，以及只在训练出现的辅助窗口损失虚线。这种画法的好处是把频率选择、分支取舍、时间聚合 3 个决策点放在了不同模块，复述时可以逐段核对维度与数据流向。

两条分支各算什么，频带权重与门控值从哪里来？

频带分支的计算分 4 步。第一步是对每个 4 秒窗口做 1024 点快速傅里叶变换、160 点跳步、汉宁窗的短时傅里叶变换，幅度谱转分贝尺度，0 到 8 千赫被分成 8 个有重叠的频带，重叠率为 25%，每个频带渲染成 64 乘 256 的灰度图，全局分贝归一化保留跨频带能量关系。第二步是用同一个单通道残差网络对 8 张谱图分别编码成 512 维向量，参数在频带间共享，目的是让不同频带的表示可比。

第三步是把每个频带的卷积向量与该频带的 24 维人工特征拼接，人工特征覆盖谱、能量、相位与时间特性，再经线性层、层归一化与激活函数投影到 256 维，得到 8 个频带嵌入。第 4 步是用可学习的注意力向量与每个嵌入做内积再做归一化，得到 8 个权重并加权求和成窗口级频带向量，权重即论文用来解释哪个频率更重要的依据。

自监督分支把同一窗口的原始波形送入大语音模型，只微调最后 12 层变换器，其余冻结，帧级隐状态做均值池化再经线性层、层归一化与激活函数投影到 256 维。门控融合把两个 256 维向量拼接后送入两层网络，经激活与逐元素逻辑函数得到同维门控，再按门控加权频带向量、按一减门控加权自监督向量，融合向量进两层分类器输出真假逻辑值，窗口分数为伪造逻辑值减真实逻辑值。

频带注意力 × 多实例学习： 频带注意力负责回答 8 个频带中哪一个更可疑，它对每个窗口的 8 个频带嵌入算权重并加权求和；多实例学习负责回答一句话的多个窗口中哪几个窗口决定整句标签，它在训练用平滑最大值聚合窗口分数、在推理用前五窗口均值聚合；二者搭配的原因是一个管频率维度的选择、一个管时间维度的选择，组合后模型既能说出可疑频率，又能处理变长语音而不截断。

门控融合 × 自监督学习表示： 自监督学习表示指 WavLM-Large 从原始波形学到的全局时序表示，它不显式分频带但能捕捉频谱上不集中的痕迹；门控融合指用一个两层网络从频带分支向量和自监督分支向量的拼接中产生逐元素权重 g，再按 g 加权频带分支、按 1 减 g 加权自监督分支；搭配理由是当某类攻击没有局部谱异常时需要压低频带分支、抬高自监督分支，组合意义是让每个输入自己决定更信任哪一路证据。

初学者容易把频带注意力与门控混淆，记住前者是在 8 个频带之间分配重要性，后者是在两条分支之间分配信任度。前者解释频率依据，后者决定当频率依据不可靠时是否转而相信全局表示。论文还报告平均门控在频带有效的攻击上偏向频带、在频带失效的攻击上偏向自监督，这与 2 分支互补的判断是一致的，但这仍是有限解释而非因果证明。

训练时优化什么，监督从哪里来，推理时换了什么？

训练目标是句级损失加窗口级辅助损失。句级部分把每个窗口分数用对数求和指数池化合成句级分数，温度为 1，该池化是最大值函数的平滑可微近似，让最可疑的窗口主导判决同时保留所有窗口的梯度。推理时不用该池化，改用分数最高的 5 个窗口取均值，既强调最可疑窗口又降低单个离群窗口的影响。窗口级辅助部分用聚焦损失，聚焦参数为 2，权重为 0.2，虚线表示它只在训练出现，目的是给每个窗口直接的真假监督，缓解只有句标签而无逐帧标签的问题。

优化器用权重衰减的自适应方法，学习率为十万分之一，权重衰减为千分之一，余弦退火带热重启，梯度裁剪最大范数为 1，混合精度与梯度累积做到等效批量为 8，共训练 60 轮，按开发集等错误率选最优检查点。数据增强包括频带丢弃、时频掩码、加性高斯噪声与增益扰动，频带丢弃概率为 0.15，高斯噪声标准差为 0.002，增益扰动为正负 2 分贝。

消融配置共享同样的优化器、调度、损失与训练预算，只在对应分支存在时才用分支特定的增强，以保证性能差距来自分支有无而非训练过程不同。论文未报告随机种子、多次重复的方差与显著性检验，这是复现时需要补记的缺项，不能从单次最优检查点推定稳定性。

窗口级分类器 × 多实例学习聚合： 窗口级分类器指对每个 4 秒窗口的融合向量输出真与假两个逻辑值并相减得到窗口分数，它的分工是给出局部判断；多实例学习聚合指把一句话的全部窗口分数用训练时的对数求和指数池化和推理时的前五均值合成句级判决，它的分工是处理伪造痕迹在时间上稀疏的问题；搭配原因是只训句标签而无逐帧标签时仍需保留对最可疑窗口的梯度，组合后训练保持可微、推理兼顾鲁棒性。

需要区分的是原始目标、近似与优化步骤。原始目标是整句判对，近似是用平滑最大值代替不可微的最大值，优化步骤是上述优化器与调度对参数的更新。原文未给出频带注意力与门控之外的额外梯度截断说明，因此不猜测停止梯度的位置，只按证据说辅助损失同时作用于窗口分类器及经融合反传到 2 个分支。

在什么数据与协议上测，与谁比才算公平？

实验用 2019 年逻辑接入划分，训练与开发集包含 6 种已知攻击，评估集包含 13 种从第七到第十九的攻击，重点考查对未见攻击的泛化。指标按官方协议报告等错误率与最小串联检测代价，代价模型中伪造先验为 0.05，误收代价为 10，漏检代价为 1，两个指标都是越低越好。逐攻击等错误率在评估集上报告，用于看哪类攻击靠频带、哪类靠自监督。

基线取已发表系统的原文结果，包括两种倒谱加混合高斯基线、端到端波形网络、图注意力网络、自监督加图网络的组合，论文未重新训练这些基线，因此比较时要注明是引用值而非同机复跑。可运行的受控消融有 3 组，分别是只有频带编码器加注意力与人工特征的频带单分支、只有大语音模型加投影头的自监督单分支、2 分支加门控融合的完整系统，3 组共享训练流程与预算。

复现时要核对数据集版本、评估脚本的代价参数、窗口切分与聚合在开发集和评估集是否一致，以及基线引用值对应的论文版本。原文未报告硬件型号、训练时长与推理延迟，也未报告多次运行的统计分布，这些是成本与稳定性判断的缺项。

主结果测了什么，完整系统比单分支多换来多少收益？

主结果要回答完整系统在评估集上的整体错误率与代价，以及它相对两个可运行单分支与已发表基线的改进。比较条件是同一评估划分与官方代价模型，指标方向是越低越好。论文报告完整系统优于自监督单分支，自监督单分支又远优于频带单分支，同时完整系统优于倒谱基线与端到端波形基线，但弱于引用值中最好的自监督加图网络组合。理解时不要把引用基线的数值当成同环境复跑，只能说在原文引用口径下相对位置如此。下表把整体比较问题收拢为同一数据集上的系统对照，数值写法保留原文精度与单位。

表后需要同时看到收益与代价。收益是门控融合把等错误率从自监督单分支的较高值降到完整系统的较低值，并把代价函数同步拉低，支持频带线索与自监督线索互补的判断。代价是频带单分支单独错误率接近 10%，说明只靠分频带不足以做整体检测。未胜出项也要保留，最好的引用组合在等错误率上仍低于完整系统，论文把完整系统的价值定位为在保持有竞争力的准确性同时增加频带可解释性，而不是在该划分上全面登顶。

部署含义是若场景需要审计频率依据，完整系统多出的频带分支与注意力是有用的，但若只追求最低错误率，引用值更好的组合仍是备选，这一点不能用可解释性直接折算成准确性优势。

哪些攻击靠频带，哪些必须靠自监督，融合何时失效？

逐攻击分析要回答三件事，频带在哪些攻击上几乎零错误，自监督在频带崩溃的攻击上挽回多少，融合在哪几类上反而不如单分支。论文报告频带单分支在多个攻击上接近零错误，说明这些算法留下频率局部化残留。自监督单分支在两类语音转换攻击上明显更好，说明检测线索存在于频带分析之外。完整系统通过门控在最难的两类上把错误率大幅压低，并在部分攻击上做到零错误，但在 3 类攻击上弱于两个单分支，提示单一全局门控有时难以判断该信哪一路。下表把逐攻击对照收拢为同一评估集上的可运行策略比较，攻击编号与数值保留原文写法。

读表时先看趋势再看例外。趋势是大多数攻击可被频带分支解决，极难的两类靠自监督与门控挽回。例外是第十、第十一与第十五类融合弱于两个单分支，这是论文明确承认的失败条件，未来方向是攻击感知的门控。另一类细节是平均门控在频带有效的攻击上偏向频带、在最难的两类上偏向自监督，这支持门控按输入取舍的解释，但论文未做因果干预实验，因此只能说支持而不能说证明。下面这张热力图把频带注意力的逐攻击分布画了出来，读图时先看行列含义再看颜色深浅。

看图路径： 1. 先确认横轴八个频带与纵轴十三个攻击的布局，再看最右侧高频列的颜色深浅；2. 对比第九行攻击在中间频带的数值与其他行最高频数值的相对大小；3. 观察第十六行和第十九行在最高频格的数值是否接近 1 并与其他格拉开差距；4. 结合底部色条判断深色对应高权重，再归纳高频主导与例外分布并存的规律

论文图 2。原论文 Figure 2：“Mean band attention weights αk per attack (spoof samples).”。

从像素可见，纵轴是第十三行攻击从第七到第十九排列，横轴是 8 个频带从低到高排列，每个格内写有 3 位小数的注意力权重，底部色条从 0 到 1 表示权重越大颜色越深。多数行的最右侧高频格最深，例如第七行在最高频格接近 0.953，第十六行与第十九行在最高频格超过 0.96，说明高频是多数攻击的主导线索。但第九行明显不同，它在第六频带达到约 0.386 而在最高频只有约 0.265，第十四与第十五行的能量更分散到第六到第八频带。

这种逐攻击偏移说明注意力不是固定先验而是随输入变化，与伪造痕迹因算法而异的先验知识一致。需要提醒的是热力图只显示伪造样本的平均权重，不能直接读成单句解释，也不能把高权重等同于该频带单独就能判对，仍需结合逐攻击错误率一起看。

证据的边界在哪里，哪些话现在还不能说？

先说论文直接报告的边界。融合不是处处有益，在 13 类评估攻击中有 3 类弱于两个单分支，论文把这归为单一全局门控难以决定信任哪一路，并提出攻击感知门控作为未来工作。频带单分支在两类语音转换攻击上错误率高达四成与 20% 以上，说明只要攻击输出谱连贯而少局部异常，纯频带方法就会失效。再说未验证的推测。

注意力权重高只能说模型更依赖该频带，不能说该频带在物理上必然是合成器的缺陷位置，也不能说把该频带单独拿出来就能复现同样的错误率，因为权重是在八带联合编码与自监督上下文中算出的。门控均值偏向某分支支持自适应取舍，但未做交换门控或强制固定门控的干预对比，因此不能当成因果证据。最后说未测量的量。论文只在 2019 年逻辑接入上报告主结果，未在 2021 年、第五版与野外数据上验证，对更新与更杂的攻击是否成立待验证。

训练资源、推理开销、输出帧率与实际延迟未报告，不能承诺该系统更省算力或更快。资源状态方面，本次未发现来源绑定且完成安全验证的资源，因此不得声称代码、模型或数据已公开，复现只能按论文文字重写流程。缺失这些证据不是技术错误，但在引用结论时要用报告显示、结果支持、可能待验证 3 层语气区分开。

要复现这套系统，先做什么才能对齐原文？

复现先做数据与切分对齐。按官方划分取训练、开发与评估集，核对已知攻击与未见攻击编号，窗口切成 4 秒长、2 秒步长，短时傅里叶变换用 1024 点、160 点跳步与汉宁窗，分贝范围与灰度映射保留跨频带能量关系，0 到 8 千赫切成 8 个重叠率为 25% 的频带并渲染成固定尺寸。再做分支与维度对齐。频带侧用单通道残差网络共享参数编码 8 张谱图并拼接 24 维人工特征，再投影到 256 维并做注意力池化。自监督侧用大语音模型并只微调最后 12 层，帧表示均值池化后投影到 256 维。

融合侧用两层网络产生逐元素门控并加权求和，分类器用两层网络加丢弃率为 0.4 的正则。训练侧用句级平滑最大值加权为 0.2 的窗口聚焦损失，学习率、权重衰减、余弦退火、梯度裁剪、等效批量与训练轮数按原文设置，增强包括频带丢弃、时频掩码、高斯噪声与增益扰动。评估侧在开发集选最优检查点，在评估集按官方代价参数算等错误率与最小串联检测代价，并输出逐攻击错误率、平均频带注意力与平均门控以便对照互补解释。

建议先跑通自监督单分支与频带单分支两个可运行基线，再接入门控融合，这样才能把整体改进归因到分支互补而非训练抖动。同时记录随机种子与多次运行分布，补上原文缺失的稳定性与成本记录。

何时值得尝试这种做法，又该如何向他人转述？

当任务同时需要句级准确性与频率可审计性时值得尝试，例如需要向评审或运维说明模型更依赖高频还是中频，或需要按攻击类型沉淀哪类合成器易在哪个频带露馅的经验。转述时可以用一句话概括，双分支分别看局部谱异常与全局时序线索，门控按输入决定信谁，多实例聚合按最可疑窗口定整句标签。

需要同时转述代价，多出的频带编码与注意力带来可解释性，但在 3 类攻击上融合反而不如单分支，且最难的转换攻击即使融合后仍有百分之几的错误，说明门控还不够聪明。对初学者的学习建议是先复述数据流向与维度变化，再复述训练与推理在聚合上的差异，最后用逐攻击表格讲清互补与反例，不要只背整体错误率。若要继续做下去，优先补三项验证，攻击感知或按频带自适应的门控、在更新数据集与野外数据上的泛化、以及多次运行的方差与推理成本。

只有补齐这些，才能把当前在单一划分上的有竞争力结果，推进为可部署的可靠结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总