以混合检索补压缩短板：XLSR-MamBo 如何用 Mamba 与注意力检出伪造语音

英文题目：XLSR-MamBo: Scaling the Hybrid Mamba-Attention Backbone for Audio Deepfake Detection

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.1573

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #状态空间模型 #语音 #音频深度伪造检测

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Kwok-Ho Ng：机构信息未能从会议 PDF 纯文本可靠映射
• Tingting Song：机构信息未能从会议 PDF 纯文本可靠映射
• Yongdong WU：机构信息未能从会议 PDF 纯文本可靠映射
• Zhihua Xia：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频深度伪造检测以原始波形为输入并输出真伪二分类，难点在于伪造痕迹兼具局部高频时序异常与全局频谱不一致，且压缩传输与未知生成器带来严重域偏移。该方法先由XLSR-300M前端将16kHz波形编码为高层帧序列，再经RMSNorm与线性下投影压缩至低维后送入混合主干，主干以Mamba类状态空间模型做高效时序压缩与隐式位置建模，并与多头自注意力交替或串联以实现基于内容的全局检索。最后由门控注意力池化将帧级特征聚合为话语级表示，再经线性层完成真伪判决，从而覆盖双重伪造痕迹。相较既有纯因果状态空间模型依赖启发式双分支拼接近似非因果感受野，Hydra以准可分矩阵实现原生双向建模，理论上表达力更强且避免结构冗余。在ASVspoof 2021 LA评测设置下，MamBo-3-Hydra-N3的EER为0.81%，低于XLSR-Mamba的0.93%。该结论适用边界受限于ASVspoof 2019 LA单源训练与英语为主评测，跨语言与大规模混合训练的外推尚未验证。实验硬件为一块RTX 4080 Super与两块RTX 3090，原文未系统报告训练成本与推理开销随深度扩展的变化。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

伪造语音检测到底在防什么？

输入是一段待判定的语音，目标是回答它是真实录制还是合成或转换伪造。论文面向的研究生读者需要先建立这个判断：随着零样本和少样本克隆只需要很短的社交媒体录音就能仿出音色，伪造语音已经能骗过人耳，也威胁声纹认证。早期方法靠手工特征找违背发声机理的痕迹，优点是可解释、计算轻，但遇到未见过的生成器容易失效。于是主流转向端到端结构，直接处理原始波形并完成特征提取与分类。

论文把任务拆成两个学习依赖：前端要给出跨信道、跨生成器都稳定的语音表示，后端要在完整话语上同时抓住局部高频细节和全局谱不一致。这个拆分决定了后文为什么用大规模预训练前端加混合后端，而不是只加深单一结构。需要保留的关键信息是评测一定是跨数据集的，因为训练时见过的攻击类型与部署时遇到的新型扩散或流匹配合成方法差异很大。

从手工特征到预训练加混合结构，路线如何收敛？

同输入同目标的路线可以分成 3 段。第一段是手工特征加分类器，依赖对合成器频域伪影的先验，跨生成器泛化弱。第二段是端到端加预训练前端，代表是交叉语言自监督模型 XLSR，它基于 Wav2Vec 2.0 在大规模多语言数据上预训练，论文引用已有比较称其在伪造检测上的泛化优于部分同类预训练模型，后接 Conformer 等注意力分类器曾在 2021 年评测上达到当时较好水平，后续变体继续打磨注意力。

第 3 段是状态空间模型进入该领域，早期工作用双向 Mamba 加卷积捕捉长短依赖，验证了线性复杂度替代注意力的效率收益，但普遍需要手工设计双分支来近似非因果感受野。论文的对照思路是同训练源、同评测集下比较纯状态空间、注意力增强与混合交替 3 类后端，而不是把类别差异当成同条件胜负。

教学例子是：把同一段含压缩失真的测试语音分别送给纯单向递推和双向混合结构，前者只能用历史信息判断当前帧，后者能同时参考未来帧的谱包络突变，这正是论文强调原生双向的动机。

纯因果递推为什么不够用？

问题来自归纳偏置的错位。状态空间模型擅长信息压缩与时序递推，能高效处理密集特征序列；注意力擅长按内容精确检索与联想召回，能通过诱导头机制全局关联特定频段的伪造痕迹。伪造信号具有二元性：一方面是细粒度的局部高频伪影，需要时序递推逐帧跟踪；另一方面是全局谱不一致，需要跨帧检索才能发现。

纯因果结构只能用历史信息做当前判断，难以同时看到整句的谱结构变化；手工双分支虽然拼出双向效果，但带来结构冗余，且不同变体的最优深度不一致。论文因此把研究问题定义为系统评估混合拓扑与扩展规律：在固定前端下，4 种组合方式与两种深度维度如何影响域内与跨域检测，以及加深能否缓解浅层模型的不稳定。未验证的推测是混合一定互补，论文用对照实验把这个推测转化为可核对的深度与变体比较。

XLSR-MamBo 让一段波形走完哪些步骤？

先沿一个样本走完全流程。输入是 16 千赫兹采样的原始波形，论文固定时长为 4.175 秒，不足或超出按统一长度处理。波形先经过数据增强，再送入预训练的 XLSR 提取高级语音表示，得到时间帧数乘 1024 维的特征矩阵，帧数与音频时长成正比。接着用归一化与线性投影把通道维从 1024 映射到隐维度，默认是 128 维，得到送入主干的特征。主干由多层 MamBo 层堆叠组成，默认层数为 5，保持时间维与特征维不变。

帧级特征再经门控注意力池化聚合成定长的整句表示，最后经单层线性映射输出真与假两类的打分，完成二分类。这个安排的理由在原文有交代：把状态空间块放在输入投影之后，利用递推结构自带的隐式位置编码，减少对显式位置编码的依赖，同时所有块采用前置归一化以稳定训练。

四种 MamBo 拓扑在图上如何区分？

理解 4 种拓扑是复述方法的前提，上半部分虚线框内从左到右展示了 4 种组合，下半部分是包含增强、前端、投影、主干、池化与预测的整机链路。第一种把标准 Transformer 中的多头自注意力替换为状态空间块，保留后接的前馈网络，用于隔离状态空间变体独立捕捉长依赖的能力。第二种在第一种基础上把前馈网络换成多头注意力，形成块内紧凑混合，让压缩与全局关联在同一块内先后发生。

第 3 种采用经典交替策略，逐层交替标准的状态空间层与 Transformer 层，把压缩与注意力精炼分到不同层。第 4 种进一步提高混合密度，交替状态空间层与第二种的混合层，探索更高浓度的交互是否有益。除拓扑外还引入单元内堆叠数 N，允许在一个单元内连续堆多个状态空间块，以便系统评估深度扩展的影响。

框架总览图的阅读与复述要点

这张总览图值得按箭头逐段核对，因为它同时交代了数据流与 4 种可替换主干，是后文所有对照的共用底座。底部链路从左到右依次是波形、增强、预训练表示、线性降维、混合主干、池化与预测，任何复现都应先保证这条主路径一致，再切换上半部分的 4 种块结构。上半部分的差异不在外部接口，而在块内部是用状态空间、注意力还是前馈完成序列混合与通道变换。

看图路径： 1. 先沿底部从波形经增强、前后端到池化预测的主链路走一遍，确认数据形状如何逐段变换；2. 再对比上半部分四个子图中小方块的堆叠顺序，找出注意力模块在何处替代或叠加前馈网络；3. 注意每个子图中标有乘 N 与外圈标有乘 L 的位置，区分单元内堆叠与整网层数两种深度；4. 观察残差回路的起点与汇合点，确认每个混合块都保留了跳连与归一化结构

论文图 1。原论文 Figure 1：“The overall proposed XLSR-MamBo framework.”。

从像素可见，4 个子图的残差回路与加号汇合方式一致，区别在于中间矩形块的标注与数量：前两个是单级块加残差，后两个是 2 级块级联后再残差，且每个状态空间块旁都标有连续堆叠数，整个虚线框外标有整网层数。这种画法对应正文的两个深度概念，复述时不要把单元内堆叠与整网层数混为一谈。浅色与暖色矩形分别对应不同计算角色，阅读时应以文字标注为准，而不是以颜色深浅推测功能。

状态空间与注意力各自算什么、如何配合？

组件按计算目标可以这样理解。基础状态空间模型是连续线性时不变系统，用状态转移矩阵、输入投影与输出投影把 1 维输入映射到隐状态再投到输出，处理离散序列时用可学习步长做零阶保持离散化，得到逐时刻的状态更新。Mamba 的改动是让步长与投影随输入动态变化，实现选择性记忆；Mamba2 进一步把状态矩阵约束为单位阵的标量倍，把更新改写为带衰减的线性注意力，可用分块并行加速。

Hydra 把前向与后向扫描参数化为拟可分矩阵，同时保留下三角与上三角结构，原生支持双向；门控增量网络在衰减门控上加入增量规则，用与当前键正交的投影擦除冲突旧记忆。注意力模块则负责内容检索，对应到伪造检测就是把分散的频域伪影全局关联起来。

状态空间模型 × 注意力机制： 状态空间模型负责以线性复杂度的递推压缩长时序，把局部高频伪造细节压进隐状态逐帧传递；注意力机制负责按内容做全局精确检索，把分散在不同时刻的频谱不一致关联起来。两者搭配的理由是伪造信号同时呈现局部时域异常和全局谱不一致，单一机制难以兼顾，组合后由状态空间模型先做高效时序编码，再由注意力做跨帧召回，从而扩大可检出的伪造痕迹范围。

选择性状态空间 × 状态空间对偶： 选择性状态空间指 Mamba 让步长、输入投影和输出投影随当前输入动态变化，以实现内容相关的记忆保留与遗忘；状态空间对偶指 Mamba2 把状态矩阵约束为单位阵的标量倍，从而把递推改写为带衰减的线性注意力形式。两者的分工是前者解决传统时不变系统不能按内容调整记忆的问题，后者解决动态参数化带来的计算效率问题，组合意义在于保留内容选择能力的同时可用分块并行矩阵乘法加速训练。

Hydra 双向建模 × 启发式双分支融合： Hydra 双向建模把前向与后向扫描参数化为一个拟可分矩阵，同时包含下三角的过去信息传递和上三角的未来信息传递；启发式双分支融合指以往工作用两个独立单向分支分别跑正序和逆序再拼接融合来近似非因果感受野。前者分工是原生地在一个混合矩阵中表达完整上下文，后者分工是用结构冗余拼出双向效果，搭配比较的意义在于 Hydra 不需要重复堆分支即可捕捉违反因果一致性的伪造痕迹，论文因此把它作为更高效的双向候选。

配合顺序是状态空间先做高效时序压缩，注意力再做精确全局召回，交替或块内级联的不同拓扑就是对这种配合密度的系统搜索。

训练时哪些参数更新、用什么监督与停止规则？

训练流程按原文交代复述。所有变体都在 2019 年逻辑访问训练集上训练，该集合包含两万多条训练、两万多条开发与七万多条评测话语，开发集用于选检查点。针对不同评测分别训练模型：面向电话信道评测的模型用线性和非线性卷积噪声加脉冲信号相关噪声增强，面向压缩评测的模型用平稳信号无关噪声增强，增强工具为 RawBoost。

优化器用 AdamW，学习率、动量系数与权重衰减按原文给定，调度是前 10% 线性预热加余弦衰减，混合精度训练，损失用焦点损失缓解类别不平衡，最多训练 20 轮、耐心为 7 轮的早停，批量为 32，保留验证损失最低的前 5 个检查点并报告最优与平均。投影维度、主干层数、状态维度与头维度均有明确默认值，实验在消费级显卡上完成并固定随机种子。

原文未报告梯度是否截断到前端某些层、前端是否全量微调的逐层冻结细节，复现时应把该项记为缺项，不要从模型名称推定前端一定全量更新。

跨数据集评测如何保证条件可比？

评测设计是跨数据集泛化检验。训练源固定为 2019 年数据，测试覆盖 2021 年逻辑访问、2021 年深度伪造、真实网络采集以及扩散与流匹配合成的新数据集，其中 2021 年引入信道与压缩变化，网络采集来自社交媒体真实场景，新数据集按生成器细分为多个扩散子集与流匹配子集。指标用等错误率与最小串联检测代价，前者越低越好，后者越低表示在代价约束下越稳健，两者结合可以区分平衡点改善与分数校准改善。聚合口径是保留前五检查点的最优与平均，避免只报单次最优。硬件与超参数在实现细节中统一交代，保证不同变体在同一训练源与同一增强策略下比较。

等错误率 × 最小串联检测代价： 等错误率指误接受率与误拒绝率相等时的错误率，越低表示真假二分类的平衡点越好；最小串联检测代价指考虑自动说话人验证与反欺骗串联代价的加权代价最小值，越低表示在实际代价约束下更稳健。两者搭配的原因是前者只看分类阈值的平衡点，后者引入先验与代价权重考察分数校准，组合后可以同时判断模型是找到了更好的决策边界还是给出了更可靠的分数分布。

复现时必须同时核对数据集、模型变体、实验阶段、指标、单位与聚合对象，数值相同不代表同一指标，例如同一等错误率数字若聚合对象不同就不能直接比较，百分点与相对百分比也不能混用。

主结果在三个公开评测上说明了什么？

主结果要回答混合结构是否在可比参数量下取得竞争力，以及代价是什么。论文从每个变体中挑选代表配置与已有单系统比较，包含未用预训练的轻量端到端模型和多个预训练加注意力或纯状态空间基线，所有基线同样在 2019 年数据上训练。比较问题是：在固定训练源下，混合主干能否同时处理信道、压缩与真实网络场景；公平条件是同训练源与同类评测划分；指标方向是等错误率越低越好。

表后解释需要同时给出收益与代价：收益是所选混合配置在逻辑访问与真实网络集上最低，平均错误率优于同系列另一混合配置，对强基线有 2 位数的相对改善；代价是不同场景的最优变体并不一致，且参数量仍在三百兆量级，没有实现轻量化。

表后需要强调限制：上述相对改善是论文报告的跨系统比较，原文未给出显著性检验与多次运行方差，且未胜出项依然存在，例如在压缩集上另一混合配置更低，说明没有单一配置在所有场景同时最优。

未评测边界包括非英语语音与大规模混合源训练，复现时不应把当前结论推广到这些场景。

堆叠数与主干层数如何改变稳定性？

消融按两个深度维度组织。第一个维度是单元内堆叠数，问题是不同状态空间变体是否偏好不同堆叠；条件是固定拓扑、只变堆叠数；指标仍是等错误率越低越好。论文报告在第一类纯状态空间拓扑中，不同变体在逻辑访问、压缩与网络集上的最优堆叠不一致，在新合成集的困难子集上还出现中间深度变差、两端较好的非单调现象。

第二类块内混合拓扑中，加深堆叠在网络集与困难子集上带来更一致的下降。第二个维度是主干层数，问题是加深整网能否缓解检查点间的高方差；条件是固定单元内堆叠、对比 5 层与 7 层。报告显示加深后多数变体在困难子集上的泛化与稳定性提升，但个别变体出现最优性能回落，提示过拟合与稳定性之间存在权衡。

看图路径： 1. 先确认四个子图分别对应哪种状态空间变体，横轴是按验证损失排序的前五检查点；2. 再比较同一子图内三条不同堆叠深度曲线的纵轴高度与起伏，判断哪条更低更平；3. 注意每个数据点旁标注的训练轮次括号值，区分早停检查点与训练充分检查点的差异；4. 重点观察纵轴量级在不同变体间是否一致，避免把跨子图的绝对高度直接比较

论文图 2。原论文 Figure 2：“Evaluation results of the MamBo-3 architec- ture utilizing four distinct SSM variants across varying stacking depths N on the DFADD-F2 subset.”。

从该图的像素可见，横轴是按验证损失排序的 5 个检查点，纵轴是困难子集上的等错误率，不同颜色曲线代表不同堆叠数，同一子图内曲线高低与波动差异明显，且标注的训练轮次普遍偏小，说明早停检查点的跨域表现并不单调。另一张图进一步把 5 层与 7 层上下对照，7 层整体波动更小，但不同变体的改善幅度不同。

看图路径： 1. 先确认上下两行分别对应主干层数为五层与七层，左右两列分别对应两个高难度子集；2. 再在同一行内比较四条变体曲线的分散程度，判断浅层配置下检查点间方差有多大；3. 对比上下两行同一变体的曲线走向，观察加深主干后波动是否收敛、整体高度是否下降；4. 注意横轴同样是按验证损失排序，排序第一并不保证在跨域子集上最优

论文图 3。原论文 Figure 3：“Evaluation results of the MamBo-4 archi- tecture integrating four distinct SSM variants on the DFADD-F1 and F2 subsets.”。

像素显示上行曲线分散、下行曲线收敛，验证了加深主干有助于检查点一致性，但不能保证每个变体都单调变好。

门控增量网络 × 堆叠深度： 门控增量网络指在 Mamba2 衰减门控基础上加入增量规则，用与当前键正交的投影主动擦除与新信息冲突的旧记忆，以扩大线性注意力的记忆容量；堆叠深度指在一个 MamBo 单元内连续堆叠 N 个同类状态空间块的数量。两者的分工是前者改进单块的记忆更新算子，后者增加同类算子的级联容量，组合意义在于检验更强的记忆擦写机制是否还需要更深堆叠才能稳定泛化，论文显示二者存在变体相关的深度偏好差异。

表后解释必须点出反例：门控增量变体在部分拓扑中保持浅层优势，加深并不总是带来最优；纯状态空间变体在个别配置下加深到 7 层后最优回落，尽管稳定性改善。未评测边界是堆叠数只做到三、主干只对比到七，更深是否继续改善未验证。

哪些结论还不能下、缺了什么验证？

论文明确列出三项限制，复述时应与结果分开。第一是单源训练，只用 2019 年数据，缺少大规模或混合源训练，无法判断性能瓶颈来自数据多样性还是架构容量，泛化上界尚未确定。第二是语言偏差，评测以英语为主，虽然前端有多语言预训练，但下游微调限于英语，对声调语言或不同音系结构的鲁棒性未验证。

第三是快速收敛现象，模型常在很少轮次内达到最小验证损失并触发早停，且验证损失最低的检查点不一定在未见场景上最好，早熟检查点反而可能泛化有竞争力，其优化动力学仍是开放问题。伦理部分提醒实际部署涉及隐私：不仅上传原始音频有风险，传输中间表示也可能被特征反演重构说话人身份与语言内容，未来应优先考虑端侧处理。此外，原文未测量误判率分解、延迟与推理成本，复现时不应承诺这些量得到改善，总体趋势也不等于每组每步都成立。

要复现这套方法，先后做什么？

复现按学习依赖排序。第一步准备数据与划分：获取 2019 年训练集做训练，用其开发集选检查点，4 个测试集只做评估，不要混入训练。第二步准备前端与音频格式：统一 16 千赫兹与固定时长，按评测类型配置对应的增强策略，投影维度与主干默认层数先按原文默认值搭建。第三步搭建主干：先实现第一种纯状态空间拓扑作为基线，再实现块内混合与两种交替混合，单元内堆叠数从一到三扫描，主干层数先五后七，每次只改一个深度维度。

第四步训练与选点：用原文优化器、调度、焦点损失与早停训练，保留验证损失最低的前五检查点，同时记录每个检查点的训练轮次，以便复现论文中按验证排序但跨域表现分散的现象。第五步评估：分别报告最优与平均，避免只报最优；同时核对数据集、基线、阶段、指标、单位与聚合对象。关于资源状态，本次收到的证据中没有完成超链接可达验证的开源声明依据，因此不能写代码或模型已公开，只能写复现需按论文描述自行实现，待验证链接可达后再补充。

何时值得尝试混合主干、何时先别用？

综合判断分 3 种情况。当任务是整句伪造检测、已有预训练语音表示、且测试含未知生成器或信道压缩时，值得尝试交替混合加原生双向变体的组合，因为它同时保留时序压缩与全局检索，论文在 3 组公开评测与新合成集上显示了竞争力。当计算预算只允许浅层小模型或需要严格实时保证时，应先谨慎，因为浅层检查点方差大、变体与堆叠选择敏感，论文显示加深才能缓解不稳定，而加深带来参数与训练成本。

当目标语言非英语、训练源单一或需要端侧隐私保证时，不应直接部署当前结论，需补做跨语言、多源训练与端侧推理验证。教学层面的误解澄清是：混合更好不是因为参数更多，而是因为两种算子分别负责压缩与检索；双向更好不是因为分支更多，而是因为原生矩阵同时表达过去与未来依赖；验证损失最低不等于跨域最好，因此选模型要同时看跨域平均与检查点一致性。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总