📄 What You Train Is What You Get: Gender Bias, Training Composition, and Post-Hoc Mitigation in Audio Deepfake Detection

标签：#语音伪造检测 #音频理解 #Transformer #模型评估

6.6/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.6/1.5

✅ 6.6/10 | 前50% | 文档类型：应用研究 | 评分置信度：高 | #语音伪造检测 | #音频理解 | #Transformer #模型评估 | arxiv

👥 作者与机构

• 第一作者：Aishwarya R. Fursule（Wichita State University, School of Computing）
• 通讯作者：Anderson R. Avila（Institut national de la recherche scientifique (INRS–EMT), Montreal, QC, Canada; INRS-UQO Mixed Research Unit on Cybersecurity, Gatineau, QC, Canada）
• 作者列表：Aishwarya R. Fursule, Vamshi Nallaguntla, Shruti Kshirsagar（均隶属于Wichita State University, School of Computing），Anderson R. Avila（隶属于INRS–EMT及INRS-UQO Mixed Research Unit on Cybersecurity）

💡 毒舌点评

本文通过大规模控制实验（384个模型）有力地证明了训练数据性别组成是决定音频深度伪造检测器性别偏差方向的直接原因，这一结论对公平性研究至关重要。然而，论文的核心发现——平衡训练对WavLM这类自监督表征的偏差改善有限，且所有后处理校准都无法缩小EER差距——虽然深刻，但也暗示了该方向在当前主流框架下可能面临难以逾越的瓶颈，降低了其实用性突破的预期。

📌 核心摘要

本文旨在解决音频深度伪造检测系统中存在的性别偏差问题，即整体高准确率可能掩盖了不同性别群体间的显著性能差异。核心方法是通过系统性地改变训练数据的性别组成（从纯女性到纯男性，共9种配置）作为控制变量，训练了384个基于ResNet18的攻击特定模型，并比较了LogSpectrogram和WavLM-Base+两种特征表示，同时评估了6种后处理阈值校准策略。研究发现，训练数据中的代表性不足性别在测试时表现更差（31/32攻击），平衡训练能大幅缩小LogSpectrogram的偏差（EER差距从0.635pp降至0.063pp），但对WavLM-Base+的改善有限（EER差距从1.917pp仅降至0.273pp），表明自监督预训练中嵌入的性别关联性难以通过微调消除。更重要的是，所有6种校准策略（包括使用测试集标签的Oracle校准）都无法改变1.317pp的EER差距。这些发现表明，公平性问题必须在训练阶段通过数据组成和表征选择来解决，后处理校准能力有限。主要局限包括仅使用ASVspoof5的二元性别标签、训练/测试集存在潜在说话人重叠、以及仅比较了两种特征表示。

🔗 开源详情

• 代码：论文中未提及代码链接
• 模型权重：论文中未提及具体的模型权重链接（如HuggingFace/ModelScope）。论文中使用的 WavLM-Base+ 模型权重信息需查阅其原始论文 [38]。
• 数据集：ASVspoof5。论文明确指出所有实验均使用此数据集。该数据集为 ASVspoof 挑战赛 的基准数据集，其获取链接或协议需访问 ASVspoof 官方网站（论文中未提供直接链接，但提及其在论文的补充材料中可以找到）。
• Demo：论文中未提及
• 复现材料：论文未提供打包的代码或检查点，但详细描述了实验配置，可用于复现：
  • 特征：LogSpectrogram 和 WavLM-Base+。
  • 分类器：ResNet18，二分类输出。
  • 训练参数：优化器 AdamW，学习率 \(3\times 10^{-5}\)，权重衰减 \(10^{-4}\)，最大100轮，早停（耐心15轮），学习率衰减策略。
  • 数据拆分：自定义的 70/10/20 分层拆分，具体性别构成配置见论文表III。
  • 统计验证：泊松自助法（1000次重采样）及Benjamini-Hochberg校正。
• 论文中引用的开源项目：论文引用了多个相关的开源项目、模型或数据集，但仅提供了引用编号，未在正文中列出直接链接。主要项目包括：
  • 模型/系统：RawNet2 [8]、AASIST [9]、WavLM [38]、HuBERT [23, 74]。
  • 数据集/资源：ASVspoof 挑战赛系列 [7, 34, 35, 36]、PhonemeDF 数据集 [25]、SCDF 数据集 [30]、NaturalSpeech [33]。
  • 工具/库：AdamW [42]、ReduceLROnPlateau [72]。
  • 具体链接需根据文末的参考文献列表查找对应论文。

🏗️ 方法概述和架构

本文并非提出一个新的端到端检测模型，而是构建了一个系统性的实验框架，旨在精确控制变量，以研究训练数据中的性别组成如何影响音频深度伪造（Audio Deepfake）检测系统的公平性。该框架的核心是通过改变训练数据的性别比例（从纯女性到纯男性，共9种配置），并对比两种不同的特征表示，来训练一系列攻击特定的二元分类器，进而评估其在分性别测试集上的性能与公平性差异，并检验多种后处理校准策略的有效性。

为了可视化整个实验框架，下图展示了用于性别公平评估和后处理缓解的系统架构。

下图清晰地描绘了从音频输入到公平模型输出的完整流程，包括特征提取、训练配置、ResNet18分类器、性能评估和公平性指标。

整个研究流程可以概括为一个从数据准备到结论分析的闭环实验系统，其完整链路如下： 原始音频输入 → 数据预处理与划分（构建9种性别比例配置） → 特征提取（分别生成LogSpectrogram和WavLM-Base+表征） → 模型训练（使用统一的ResNet18分类器后端，针对每种攻击和每种配置独立训练） → 模型评估（在分性别的评估子集上计算原始检测分数和性能指标） → 公平性分析与后处理校准（应用6种阈值校准策略，并重新评估公平性） → 结果统计与验证（使用Bootstrap和BH校正进行显著性检验）。该流程的设计旨在隔离并量化“训练数据性别组成”这一核心变量对系统公平性的影响。

• 功能：为实验提供可控的、分层划分的数据池，并构造核心实验变量——训练数据的性别组成配置。

• 内部结构/实现：

  • 基础数据：使用ASVspoof5数据集，其包含32种（A01-A32）跨越文本转语音（TTS）、语音转换（VC）和对抗性扰动（AT）的攻击类型，以及真实语音（Bonafide）。所有音频被重采样至16kHz。
  • 自定义划分：为精确控制性别比例，研究者弃用了官方划分，将全部32种攻击的所有样本汇集，针对每个（攻击，性别）对，按照70%/10%/20%的比例进行分层随机抽样，构建自定义的训练集、开发集和评估集。这种划分确保了每种攻击在三个子集中均有代表，并且允许独立控制不同性别的样本数量。
  • 构造性别配置：基于上述划分，构建了9种训练数据性别组成配置（详见论文表III）：
    • 基准配置（Baseline）：F（纯女性，使用100%女性样本，0%男性样本）、M（纯男性，0%女性，100%男性）、Combined（完全平衡，100%女性+100%男性）。
    • 性别混合配置（GenderMix）：以一方为主体，按比例加入另一方样本。例如，F+25%M 使用100%女性样本并加入25%的男性样本；M+50%F 使用100%男性样本并加入50%的女性样本。共6种配置，形成了从单一性别主导到趋向平衡的梯度。

• 输入：ASVspoof5原始音频文件及官方性别、攻击类型标签。

• 输出：9个（对于WavLM）或3个（对于LogSpectrogram）训练集、一个统一的开发集和一个统一的评估集，每个集合都明确标注了每条语音的攻击类型、真实类别（真/伪）和说话人性别。

• 功能：将原始波形转换为适合分类器输入的固定维度表征。研究选取了两种具有代表性的特征，以对比手工设计特征与自监督预训练特征在公平性上的差异。

• 内部结构/实现与输入输出：

  • LogSpectrogram (LogSpec)：
    • 功能：一种传统的手工时频特征，通过对幅度谱图取对数来突出语音合成和转换可能引入的频谱伪影。
    • 实现：首先将音频信号零填充或截断至固定长度4.0秒。然后使用参数为FFT大小800、帧移320个采样点、Hann窗的短时傅里叶变换（STFT）进行计算，最终得到一个形状为(1, 401, 201)的张量（单通道、401个频率bin、201个时间帧）。该张量被视作单通道图像输入分类器。
    • 输入：4.0秒的16kHz音频波形。
    • 输出：(1, 401, 201)的三维张量。
  • WavLM-Base+：
    • 功能：一个在94，000小时无标签语音上预训练的自监督学习（SSL）模型。它被认为能编码更丰富的说话人身份和人口统计信息（包括与性别强相关的声学线索）。
    • 实现：模型架构包括一个CNN特征编码器和12层Transformer。为了不破坏SSL特征的统计特性，音频被循环填充（而非零填充）至恰好64，600个采样点（约4.04秒）。特征提取自最后一层Transformer的输出，产生维度为(201, 768)的帧级嵌入（201帧，每帧768维）。所有WavLM特征在实验开始前离线预提取并保存，确保后续所有训练实验的差异仅源于训练数据的组成，而非特征提取过程中的随机性。
    • 输入：循环填充后的约4.04秒的16kHz音频波形。
    • 输出：(201, 768)的二维张量（可视为单通道，形状为(1, 201, 768)）。

• 关键设计动机：选择这两种特征旨在对比它们对训练数据性别组成变化的敏感性。LogSpec的偏差被认为与特定攻击引入的频谱伪影相关，可能通过平衡训练来缓解；而WavLM-Base+的性别偏差被认为源于预训练阶段编码的深层关联，这种偏差可能更顽固。

• 功能：接收前端提取的特征表征，进行二分类（真/伪）并输出原始置信度分数。

• 内部结构/实现：

  • 模型架构：对两种前端特征，均使用相同的ResNet18骨干网络。特征图作为单通道图像输入ResNet18的卷积层，之后接自适应平均池化层将空间维度聚合为1x1，最后通过一个线性层输出两个类别的logits。
  • 训练策略：
    • 优化器：AdamW，学习率 \(3\times 10^{-5}\)，权重衰减 \(10^{-4}\)。
    • 损失函数：为解决类间不平衡问题（真实语音与伪造语音数量不等），采用类加权的二元交叉熵损失。类别权重计算公式为 \(w_{c}=\frac{N}{C\cdot N_{c}}\)，其中N为训练集总样本数，C=2（类别数），\(N_{c}\)为类别c的样本数。
    • 训练循环：每个模型独立训练最多100个epoch。采用早停策略，当开发集上的损失连续15轮（耐心值）不下降时停止训练，并选用开发集损失最低的检查点。
    • 学习率调度：应用ReduceLROnPlateau调度器，当开发集损失连续5个epoch未改善时，将学习率减半。
    • 可复现性：通过固定随机种子s=42来确定数据划分，确保实验可复现。训练时对mini-batch进行逐epoch的随机打乱。

• 输入：由前端输出的特征张量（形状为(1, 401, 201) 或 (1, 201, 768)）。

• 输出：一个原始的二分类置信度分数（logit或经过sigmoid后的概率），用于后续与阈值比较以做出最终判断。

• 功能：量化模型在男性和女性子集上的检测性能及公平性表现。

• 内部结构/实现：

  • 评估协议：采用“攻击特定模型”策略，即为每种攻击（A01-A32）和每种数据配置独立训练一个模型。评估时，每个模型在相同攻击（训练和测试使用同一种攻击类型）和跨攻击（测试未见过的攻击类型）两种场景下进行评估。
  • 决策阈值设定：在开发集上，针对每个模型计算其全局（不考虑性别）的等错误率（EER）点，并将该点对应的分数作为全局阈值。此阈值在评估阶段固定不变，以确保观察到的性别性能差异源于分数分布，而非阈值选择。
  • 性能与公平性指标：
    • 核心检测性能指标：计算分性别的等错误率（EER），即假接受率（FAR）和假拒绝率（FRR）相等时的错误率。性能差距以 ΔEER = |EER_female - EER_male| 衡量。
    • 组公平性指标：计算6个指标，从不同维度衡量公平性：
      • SPD：人口统计平等，衡量正预测率（被判定为伪造的概率）的性别差异。
      • EOpD：均等机会差异，衡量在真实伪造样本中，检测率（真阳性率）的性别差异。
      • EOD：均等优势差异，综合考虑真阳性率和假阳性率的性别差异，是一个更严格的标准。
      • FPR_gap：假阳性率差距，衡量真实语音被误判为伪造的概率的性别差异。
      • PPD：预测平等差异，衡量预测为伪造的样本中，预测精度的性别差异。
      • TED：错误率差异，衡量假阳性数与假阴性数之比的性别差异。

• 输入：分类器输出的原始分数、开发集和评估集的标签（含性别和真实类别）。

• 输出：每个模型在每个评估子集（男/女）上的EER值，以及上述6个公平性指标的计算结果。

• 功能：探索在不重新训练模型的前提下，仅通过调整决策阈值来缓解公平性差距的可能性。

• 内部结构/实现：评估了6种在开发集上调整阈值的策略，每种策略旨在优化其对应的公平性准则：

  1. TC0（全局阈值）：基准策略，使用在开发集上确定的单一全局EER阈值。
  2. TC_EER（分性别EER校准）：为男性和女性分别在开发集上找到其各自的EER点作为阈值。
  3. TC_FPR（等化假阳性率）：调整分性别阈值，使得在开发集上男性和女性子集的假阳性率相等。
  4. TC_TPR（等化真阳性率）：调整分性别阈值，使得在开发集上男性和女性子集的真阳性率相等。
  5. TC_DP（人口统计均等）：调整分性别阈值，使得在开发集上总体正预测率在性别间相等。
  6. Oracle（神谕校准）：一种理论上限策略，直接使用评估集的标签来为男性和女性分别寻找最优阈值，以最小化特定指标（如EOD）。该策略不可部署，仅用于衡量阈值调整的理论极限。

• 输入：开发集上的模型分数和标签。

• 输出：一组分性别的决策阈值（对于TC0则为单一阈值），将这些阈值固定应用于评估集，重新计算公平性指标。

组件间形成了清晰的流水线关系：

1. 数据流：原始音频首先送入数据集模块，按预设的性别配置被分配到不同的训练池。在训练阶段，音频送入特征提取前端（LogSpec或WavLM），生成固定维度的特征张量。该张量作为输入，连同标签一起送入分类器后端（ResNet18），模型学习从特征到真假标签的映射，并输出原始分数。
2. 评估流：评估时，相同音频经过相同的特征提取流程，得到特征张量后送入已训练好的分类器，得到原始分数。这些分数与全局阈值（来自开发集）比较，产生最终的“真/伪”预测。随后，将预测结果与真实标签在男性和女性子集上分别计算，得到性能与公平性指标。
3. 校准流：后处理校准模块接收来自开发集的原始分数和标签，根据6种不同策略计算出一组优化的阈值。这组阈值随后被应用于评估集的原始分数，生成新的预测，进而重新计算公平性指标，以评估校准策略的效果。
4. 统计验证流：所有通过上述流程得到的公平性指标值，最后会送入统计验证模块，使用Poisson Bootstrap（N=1000次重采样）计算显著性，并使用Benjamini-Hochberg方法进行多重比较校正，以确保结论的统计可靠性。

• 自定义数据划分与性别配置：这是本研究的核心设计。通过打破官方划分并精细控制训练数据中男女样本的比例，研究者能够将“性别组成”作为一个纯粹的自变量进行操控，从而建立其与检测公平性之间的因果关系，这是使用官方固定划分无法实现的。
• 攻击特定模型训练：为32种攻击分别独立训练模型，而非训练一个通用模型。其动机是隔离攻击类型对公平性的独立影响。不同攻击引入的伪影不同，可能与性别的交互作用也不同。独立训练可以更清晰地观察每种攻击下的公平性模式，避免跨攻击泛化带来的混淆效应。
• 两种特征表示的对比：选择LogSpec（经典手工特征）和WavLM-Base+（前沿自监督特征）进行对比，旨在探究特征本身的属性如何与训练数据组成交互影响公平性。WavLM-Base+因其先前研究中表现出更显著的性别偏差而被重点关注，用于进行更细致的GenderMix实验。
• 预提取WavLM特征：所有WavLM特征在训练前一次性提取并保存。这一设计确保了在不同性别配置下训练的所有模型都使用完全相同的底层特征表征，从而将观测到的性能差异唯一归因于训练数据组成的变化，排除了特征提取过程随机性的干扰。
• 循环填充而非零填充（对于WavLM）：零填充会引入静音段，可能改变自监督模型特征的统计分布。采用循环填充可以在达到固定长度的同时，最大程度地保持原始语音的声学特性，使提取的特征更具可比性。
• Bootstrap与BH校正：鉴于实验模型数量庞大（384个），为避免由多重比较导致的假阳性结论，采用Bootstrap法估计指标的不确定性，并用BH法校正p值。这增强了研究结论的统计严谨性和可复现性。

💡 核心创新点

1. 首次将训练数据性别组成作为系统性控制变量：之前的研究观察到了不一致的性别偏差方向，但未控制训练数据的性别组成。本文首次通过9种精心设计的配置，证明了偏差方向与训练数据中性别的主导地位直接且可预测地相关，解决了文献中的矛盾。
2. 揭示特征表示与训练组成的交互作用：对比发现，平衡训练能几乎消除基于LogSpectrogram的偏差，但对WavLM-Base+的偏差改善有限。这表明WavLM在自监督预训练阶段学到的性别关联信息会持续到下游任务，是更根本的偏差来源。
3. 证明后处理校准在缩小EER差距上的根本局限性：通过包括Oracle校准在内的6种策略，实证表明所有基于阈值调整的后处理方法都无法改变检测器在EER上的性能差距，将EER差距定性为需要“重训而非重校准”的结构性问题。
4. 发现攻击类型与公平性度量之间的复杂关系：研究揭示了不同攻击类型（TTS， VC， AT）和不同公平性度量之间存在复杂的交互。例如，对抗性扰动攻击在相同攻击评估下EER差距最小，但在跨攻击评估下偏差最大；而度量选择（如TED vs. SPD）会完全改变攻击的“公平性排名”。这强调了在实际部署中需要根据具体场景选择匹配的度量。

📊 实验结果

论文进行了大规模实验（384个模型），主要结果如下：

实验结果以图表形式呈现，下图展示了不同训练配置和评估场景下的EER差距。

下图对比了相同攻击和跨攻击评估下，TTS、VC和AT攻击的EER差距，突出了训练数据性别组成对偏差的影响。

表IV：不同训练配置和特征在32种相同攻击评估上的平均EER

表VI：WavLM-Base+在9种配置下的平均公平性指标（相同攻击评估）

为了更直观地展示公平性指标的变化，下图提供了热图可视化。

下图热图显示了在相同攻击和跨攻击评估下，不同配置和攻击类型的公平性指标差异，颜色越深表示偏差越大。

表X：6种校准策略对公平性指标的平均影响（所有配置和攻击平均）

结果表明：1）EER差距对所有后处理校准免疫，稳定在1.317pp；2）每种校准策略只能优化其目标指标，并会损害其他指标（如TC_FPR使FPR_gap归零但TPR下降）；3）平衡训练对LogSpec特征效果显著，对WavLM特征效果有限。

🔬 细节详述

• 训练数据：ASVspoof5数据集。使用自定义70/10/20分层划分（按攻击和性别），构建了9种训练配置（见Table III）。
• 损失函数：类加权二元交叉熵损失，权重为 w_c = N / (C * N_c)，其中N为总样本数，C=2（类别数），N_c为类别c的样本数，以应对类别不平衡。
• 训练策略：
  • 优化器：AdamW
  • 学习率：\(3\times 10^{-5}\)
  • 权重衰减：\(10^{-4}\)
  • 最大训练轮次：100
  • 早停：在开发集损失上，耐心值=15轮
  • 学习率调度：ReduceLROnPlateau，当开发集损失5轮无改善时减半
  • 随机种子：s=42（用于数据划分）
  • Batch size：未说明
  • 硬件/训练时长：未说明
• 关键超参数：
  • LogSpec特征尺寸：401频率bin x 201时间帧
  • WavLM-Base+特征尺寸：201帧 x 768维
  • ResNet18后接自适应平均池化和线性层
  • WavLM使用最后一层Transformer输出
• 正则化/稳定训练：未提及Dropout等显式正则化方法；早停和学习率衰减是主要的稳定训练手段。
• 评估细节：阈值在开发集上按全局EER点确定。后处理校准时，在开发集上插值ROC曲线找到满足特定公平准则的阈值，然后固定应用于评估集。

论文使用了ASVspoof5数据集，并进行了自定义划分，如下图所示。

下图说明了数据集的官方协议和自定义的分层划分，确保了性别比例的控制，并支持后续的实验配置。

⚖️ 评分理由

• 创新性 (1.4/2)：本文首次系统地将训练数据性别组成作为控制变量，通过384个模型的大规模实验设计，建立了数据组成与检测公平性之间的因果关系，并揭示了自监督特征偏差的顽固性及后处理校准的根本局限，为公平性研究提供了新的方法论框架和深刻见解。

• 技术严谨性 (1.3/1.5)：实验框架设计严谨，变量控制得当，使用了Bootstrap和BH校正进行统计验证。承认了潜在说话人重叠的局限，并对TED指标的数值不稳定给出了合理解释。未发现方法论推导或系统逻辑存在错误。

• 实验充分性 (1.4/1.5)：实验规模庞大（384个模型），覆盖了9种训练配置、32种攻击、6种后处理校准策略，并采用了多种公平性度量。统计方法规范，结果清晰地支持了主要结论。虽仅在单一数据集上实验，但作为应用研究已充分。

• 清晰度 (0.8/1)：论文结构清晰，图表丰富，问题提出和结果呈现逻辑性强。但部分术语和公式（如TED）的解释可以更细致，且正文较长，部分段落略显冗长。

• 影响力 (0.8/1.5)：研究问题（检测系统的公平性）对音频安全领域的实际部署至关重要，结论（如平衡训练对WavLM无效、EER差距不可修复）对社区有重要警示和指导作用。但核心结论可能削弱了在当前框架下快速解决该问题的希望，且受众相对垂直。

• 开源 (0.0/1.5)：论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。

• 可复现性 (0.3/0.5)：论文提供了详细的模型架构（ResNet18）、特征提取参数、大部分训练超参数和评估协议。但缺失了关键信息如batch size、具体硬件环境、训练时长及用于复现自定义划分的脚本，使得精确复现存在障碍。

• 工程/实践价值 (0.6/1.5)：论文提出了具有实践意义的部署建议（报告多指标、记录数据组成、选择特定校准策略），实验框架本身对公平性研究有参考价值。但缺乏可直接复用的代码或工具，实用性主要体现在提供指导原则而非可落地的工程方案。

🚨 局限与问题

论文明确承认的局限：

1. 仅使用ASVspoof5提供的二元性别标签，未涵盖非二元或交叉身份。
2. 自定义数据划分导致无法与官方挑战赛成绩直接比较，且训练/测试集可能存在说话人重叠。
3. 仅比较了两种特征表示（LogSpec和WavLM-Base+），结论的普适性有待验证。
4. 后处理校准策略仅在同一攻击上评估，未研究跨攻击的校准泛化能力。
5. 仅研究了后处理缓解，未探索训练时干预（如公平性目标函数）。

审稿人发现的潜在问题：

1. 潜在的混淆变量：虽然控制了性别比例，但不同性别说话人在ASVspoof5中的原始语音时长、音质、说话风格可能存在固有差异，这些差异可能与训练组成效应交织。
2. 结论的边界：论文强调“平衡训练对WavLM无效”，但未深入探讨这是否意味着在当前SSL框架下性别公平性是一个难以逾越的障碍，还是存在其他未被尝试的训练时干预方法（如对抗性学习、表征正则化）。
3. “EER差距不可修复”的实践意义：EER差距被定性为结构性问题，但实际应用中，是否可以通过调整系统工作点（如牺牲一些整体性能）来换取更均衡的性别表现？论文对此的讨论不足。
4. 攻击层面分析的深度：虽然识别了最不公平的攻击（如A28），但对于这些攻击为何特别不公平的机理分析（例如，它们生成的语音中保留了何种与性别强相关的特征）可以更深入。

← 返回 2026-07-14 语音/音乐/音频论文速递