伪造痕迹不在整段语音里，而在背景、低频与混响中：音频深伪检测的成分拆解

英文题目：ON THE TRACES OF AUDIO DEEPFAKES: ANALYSIS OF AUDIO COMPONENTS FOR DETECTION

会议身份：conference:eusipco:2026:conference-paper-id:0000431

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#时频分析 #可解释性 #语音 #音频深度伪造检测

评分：6.0/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.7/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Schäfer, Karla：机构信息未能从会议 PDF 纯文本可靠映射
• Frick, Raphael Antonious：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频深度伪造检测输入为单说话人波形，输出为真实与伪造二分类，难点在于生成器迭代导致伪影漂移、跨数据集泛化失效且黑盒特征难以解释。本研究先将16 kHz音频转为频谱图、梅尔频谱图与梅尔频率倒谱系数，再并行执行四路成分剖析并分别独立训练测试：前景背景分离剥离语音主体与残留底噪，谐波打击乐分离区分长时 tonal结构与瞬态冲击，频率掩蔽定位有效子带，房间脉冲响应提取与去除检验混响线索。与以往直接使用整段录音或自监督语音表征的做法不同，该工作把可解释性前移到特征工程，通过受控成分消融判断伪影位置。在ASVspoof 2019 LA训练并以野外数据集测试时，加权预测误差去混响结合梅尔频率倒谱系数取得24.00%等效错误率，优于同设置下原始梅尔频率倒谱系数的69.08%。结论仅适用于短句单说话人及所测两分类器，在扩散语音等高质量伪造上仍接近失效，且未验证与大规模自监督前端的组合效果。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://mcdermottlab.mit.edu/Reverb/IR — 链接不可用（HTTP 404）
• 数据相关资源：https://keithito.com/ — 链接可访问（HTTP 200）
• 数据相关资源：https://elevenlabs.io/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

这篇解读的输入是论文原文证据给出的文字、表格数字与方法描述，以及本次实际收到的官方原图像素，本次没有收到任何图像像素，因此所有关于图的说明只转述图注与正文，不描述坐标轴与颜色。目标读者是刚进入语音与音频方向的研究生，需要能核对每一步、能用自己的话复述方法与实验条件。必须保留的信息包括训练集与测试集名称、特征参数、分类器与训练超参数、评价指标方向、关键等错误率数字及其适用条件。

输出按学习依赖展开，先讲检测任务与已有路线，再讲本文把音频拆成哪些成分，每种成分如何计算，随后讲训练与数据构造，再讲跨域实验条件，最后讲结果、反证与复现要点。全文只讲论文实际做的单人语音真伪二分类，不扩展到多人对话或音乐伪造，教学用的比喻会明确标为例子，不添加无来源的数值。

此前检测器为什么强调用整段录音与自监督特征？

音频深伪检测通常分为特征提取与分类两个阶段，要区分真实录音与语音转换或语音合成生成的假录音。近年主流路线是用自监督语音表示提升跨数据集泛化，例如融合韵律、发音与 Wav2Vec 维度的做法，在跨数据集评估上把野外数据集上的等错误率从只用 Wav2Vec 时的 43.81% 降到使用全部 3 种特征时的 36.84%。另一类路线沿用功率谱特征，包括梅尔频率倒谱系数、相位与频谱特征，以及对生成管线中声学模型与声码器做属性溯源。

与本文最接近的是把语音切成浊音段与清音段分别训练的工作，报告只用清音段比用整段音频提升 49%。本文的不同在于不只切浊清，而是系统比较前景与背景、谐波与打击、不同频率范围与房间脉冲响应。需要理解的是，自监督特征泛化好但难解释，本文选择可拆解的频谱成分，正是为了让每 1 次提升都能回指到具体信号部位，而比较都在同一训练测试划分下进行，以避免把数据差异误读为方法差异。

复述时可按特征是否可定位、比较是否同划分、评价是否看等错误率三点检查，跨数据集比较只在同一训练集下谈提升，单人语音条件不变，这样才能把背景与频率的作用讲清楚。

问题到底是泛化差，还是不知道该看录音的哪里？

论文要回答的问题是检测器究竟依赖录音中的哪一部分。当生成方法变化时，整段训练的检测器容易失效，而可解释性研究较少。作者假设生成录音难以模拟房间脉冲响应等空间与背景信息，因此把同一录音拆开分别训练与测试，观察哪一侧保留更多可判伪造的痕迹。任务仍是二分类，输出是真或假，评价用等错误率，等错误率越低越好。

举例来说，就像检查一份复印件，不只看正文笔画，还要看纸纹与复印底灰，本文就是把笔画、纸纹、底灰逐一遮住或留下，看哪种条件下判断更准，这里的比喻只是帮助理解流程，不改变二分类任务本身。关键约束是训练只用 ASVspoof 2019 逻辑接入训练集，测试同时看域内与域外，域外用野外数据集与扩散语音数据集，以检验结论是否随生成方法改变，全部录音均为单人说话场景，不涉及多人对话。

一个样本如何走完输入到输出？

沿一个样本走一遍有助于建立全局图。输入是一段单人语音，采样率统一为 16 kHz。第一步做时频表示，取窗长 400、帧移 160，频谱与梅尔频谱的傅里叶点数为 1024，梅尔滤波器组数为 128，梅尔频率倒谱系数取 20 维并拼接 1 阶差分与 2 阶差分。第二步做成分分离或提取，得到前景频谱、背景频谱、谐波频谱、打击频谱、不同频率掩蔽后的频谱，以及提取的房间脉冲响应与去除混响后的净化音频，其中频率掩蔽与前后景、谐波打击分离都作用在同一时频表示上，便于公平比较哪部分信息更有效。

第三步把选定成分送入二分类器，区分真实与伪造，训练用带类别权重的交叉熵。第四步在验证集上按等错误率选最优模型，再在域内与域外测试集上报告等错误率。整条链路中，表示决定信息粒度，成分决定看哪里，分类器决定如何划分边界，测试集决定结论能走多远，任何一步改变采样率或窗移都会影响可比性，因此复现时须保持参数一致。

学习时可按输入时长、窗移参数、成分选择、分类器与选模顺序复述，任一步不一致都会削弱表间可比性，因此先固定表示再谈成分贡献。

前景与背景是如何从同一张频谱中分开的？

前景与背景分离基于重复模式提取思想。做法是计算短时傅里叶变换帧之间的余弦相似矩阵，对每 1 帧找最相似的近邻帧，再用中值滤波与维纳软掩蔽把重复出现的背景成分与 1 次性的前景事件分开。直观例子是把持续的空调嗡鸣归为背景，把只出现 1 次的人声起伏归为前景，但这只是例子，实际划分由相似性决定。谐波与打击分离则利用方向性，谐波是频率恒定的横条纹，打击是宽带短时的竖条纹，分别沿时间与频率做中值滤波即可分离。频率掩蔽更直接，傅里叶点数为 1024 时频谱有 513 个频率格，作者按 0 到 2 千赫兹、2 到 4 千赫兹、4 到 8 千赫兹等范围保留或遮挡，以定位最有用的频段。

前景 × 背景： 前景指 1 次性的语音主体事件，背景指重复出现的伴随成分，二者用 REPET-SIM 按帧间相似性分离；搭配理由是生成器可能更难复刻录制环境的背景纹理，组合意义在于比较用整张频谱还是只用背景训练时等错误率是否下降，从而定位伪造痕迹更可能藏在哪一侧。

谐波 × 打击成分： 谐波分量是时间上延续的 tonal 横条纹，对应基频与共振峰的平稳部分，打击成分是短时宽带的竖条纹，对应瞬态；搭配理由是二者在中值滤波方向上正交可分，组合意义在于检验检测器更依赖平稳音色还是瞬态细节，原文显示域内偏谐波、跨域 DiffSSD 偏打击，但差异幅度小。

混响成分如何提取，又如何去除？

房间脉冲响应部分包含两个相反操作。提取用预训练的 DARE-Net，其结构为 U 型网络，在 LibriSpeech 叠加 MIT 房间脉冲响应调查数据集构造的数据上训练，作者选用其中房间脉冲响应提取效果最好的 IR 加并行注意力加时域模型。默认处理 2 秒 16 千赫兹录音，窗长 16383、帧移 2048、16 帧对应 32768 点，4 秒录音则参数加倍。去除用加权预测误差方法中的方差归一化延迟线性预测，属于语音增强常用去混响手段。需要注意的细节是短样本上该方法不稳定，作者删除了小于 10 千字节的样本，导致训练集删除 118 个文件、开发集删除 88 个文件。基线表示包括频谱、梅尔频谱与梅尔频率倒谱系数，分类器为 ResNet50 与 MesoNet。

梅尔频谱 × MFCC： 梅尔频谱是按听觉尺度压缩的能量表示，MFCC 是其进一步离散余弦变换加差分的倒谱表示；搭配理由是前者保留较多细节、后者更紧凑并强调包络变化，组合意义在于同一去混响操作下比较哪种表示更稳定，原文显示 ResNet50 下 NDLP 加 MFCC 在 3 个测试集上都取得该组最优。

房间脉冲响应提取 × 房间脉冲响应去除： 房间脉冲响应提取是用 DARE-Net 盲估计录制空间的混响成分并单独作为特征，去除是用 WPE 的方差归一化延迟线性预测把混响滤掉后保留净化语音；搭配理由是一个做加法检验混响本身是否可判真伪，一个做减法检验去掉混响是否更易暴露生成痕迹，组合意义在于原文发现单独用 RIR 几乎不可判，而去除后跨域提升明显。

分类器如何训练，哪些参数是冻结的？

训练是标准的真伪二分类监督训练。训练集为 ASVspoof 2019 逻辑接入训练集，该集正负样本高度不平衡，因此交叉熵损失使用 0.1 与 0.9 的类别权重。优化器为 Adam，学习率与权重衰减均为 0.0001，调度器为余弦退火热重启，批量大小为 24，最多训练 100 轮，若验证集等错误率（%）连续 20 轮不改善则提前停止，并用验证集最优模型做后续测试，测试时不再调整阈值选择逻辑。

论文未报告冻结某层或分阶段解冻，也未给出梯度截断与特殊停止梯度路径，因此解读中不推定任何冻结实现，只按证据说全模型参与监督更新。输入时长在频谱成分实验中明确为 4 秒。需要区分的是，DARE-Net 与去混响模块是调用既有模型与算法，不是本轮分类训练的对象，本轮训练的对象是 ResNet50 与 MesoNet 两个分类器，二者分别独立训练与选优，以便观察同一成分在不同容量模型下的表现是否一致。

复述执行顺序时记住先定 4 秒输入与窗移，再做加权交叉熵监督更新，再按验证集等错误率选优并固定选择逻辑，最后才看域内外测试，这种顺序保证了成分比较的公平性。

ResNet50 × MesoNet： ResNet50 是常用的深层残差分类器，MesoNet 是较紧凑的伪造检测网络；搭配理由是二者容量与归纳偏置不同，对噪声和特征维度的敏感度不同，组合意义在于同一成分输入下交叉验证结论是否与分类器无关，原文显示去混响对 ResNet50 改善更大，而高频在 MesoNet 的 ITW 上偶发例外。

数据划分与跨域条件是否公平？

域内测试用 ASVspoof 2019 逻辑接入评估集，与训练集同分布。域外测试用野外数据集与 DiffSSD 测试划分，DiffSSD 包含扩散生成方法如 DiffGAN 语音合成、UnitSpeech 与 ElevenLabs，真样本取自 LJSpeech 与 LibriSpeech，测试划分含 42,500 个假样本与 12,113 个真样本，其中 LibriSpeech 真样本 5,563 个、LJSpeech 真样本 6,550 个。作者解释不选 WaveFake 做训练的原因是其与 DiffSSD 在 LJSpeech 上有重叠，会造成训练见过测试。另一个必须记住的条件是 DARE-Net 本身在 LibriSpeech 上训练过，而 DiffSSD 真值也含 LibriSpeech，因此涉及房间脉冲响应的 DiffSSD 结果可能被该重叠抬高，解读该部分提升时须保留这一限定。

资源可用性方面，房间脉冲响应调查数据集链接当前不可用，LJSpeech 数据集与 ElevenLabs 链接当前可用。所有比较都在同一采样率与窗移参数下进行，但去混响实验删除了小文件，严格说样本量略有变化，复现时应保留该过滤步骤，并先核对训练集与开发集删除文件数再比较等错误率。比较时先看同分布评估集是否稳定，再看野外与扩散集是否一致，若房间脉冲响应相关结论在扩散集上更强，需同时复述 LibriSpeech 重叠这一限定，避免把数据重叠误读为去混响本身的效果。

基线与成分拆分的主结果是什么？

先提出比较问题，在相同训练与分类器下，只换输入成分时等错误率如何变化，等错误率越低越好。下表整理基线证据，梅尔频率倒谱系数在域内最强，但域外依然很差，说明整段表示的泛化瓶颈真实存在。

表后解释，基线中用 ResNet50 加梅尔频率倒谱系数在域内取得 15.02%，但在野外与 DiffSSD 上最优也只是 33.62% 与 41% 左右，基本接近不可用。

成分拆分显示 6 组设置中有 5 组用背景优于用整张频谱，域内背景在 MesoNet 上从 24.97% 降到 19.13%，支持伪造痕迹更多藏在背景而非语音主体的判断。谐波与打击在域内差异很小，整谱 22.89%、谐波 21.4%、打击 23% 左右，而域外 DiffSSD 上打击成分曾给出 32.75% 的当时最优，但仍远高于可用阈值。未胜出项是前景在多数设置下不如背景，说明只看语音主体并不能稳定提升。

换频段与动混响时，哪些对照支持或反驳结论？

频率掩蔽的比较问题是低频与高频谁保留更多可判信息。下表按原文证据整理低频优势与高频反例，公平条件是同一分类器与同一训练集，只改变保留频段。

表后解释，低频 0 到 4 千赫兹在 ResNet50 与 MesoNet 的域内与 DiffSSD 上多数优于全频谱，作者将 0 到 2 千赫兹归为基频与元音主体、2 到 4 千赫兹归为可懂度与辅音，4 千赫兹以上多为气息与空间细节，对检测帮助较小。

为检验是否依赖训练集，作者另在 DiffSSD 训练集上训练 ResNet50 再测 ASVspoof，发现 0 到 2 千赫兹最优，2 到 4 千赫兹次之，全频谱最差，支持低频结论。但反例同样明确，在野外集用 MesoNet 时 4 到 8 千赫兹反而优于全频谱，只是绝对值仍接近随机猜测，不能当作高频有用的证据。混响消融显示单独用房间脉冲响应几乎不可判，只有两组微弱改善，而去除混响后 ResNet50 加梅尔频率倒谱系数在 3 组测试上均为该组最优，这是全文最强的跨域改善。

哪些边界没有测，哪些数字不能直接推广？

首先是混响提取模型的训练重叠，DARE-Net 见过 LibriSpeech，而 DiffSSD 真值含 LibriSpeech，因此房间脉冲响应在 DiffSSD 上的小幅改善可能是数据重叠而非方法泛化，论文明确提醒查看时记住这一点。其次是去混响删除小文件的处理，训练与开发集样本量发生变化，若复现时不过滤或用不同阈值，结果可能偏移。第三是分类器依赖，去除混响对 ResNet50 改善远大于 MesoNet，说明对噪声敏感度不同，总体趋势不等于每个分类器每组都成立。

第四是未测量量，原文只报告等错误率，没有报告误判率分布、延迟、计算开销与帧率，因此不能承诺这些量得到改善。第五是任务边界，所有数据均为单人场景，未评估多人对话、音乐或强后处理下的表现。最后是高频反例与背景优势的幅度问题，部分提升只有一两个百分点，可能落在随机波动内，论文未报告统计显著性，因此应表述为支持而非证明因果。

要复现这套拆解，先做什么才能对齐条件？

复现第一步是固定数据与采样，下载 ASVspoof 2019 逻辑接入训练、开发与评估集，野外集与 DiffSSD 测试划分，全部重采样到 16 千赫兹，窗长 400、帧移 160，频谱与梅尔频谱傅里叶点数 1024，梅尔滤波器组 128，梅尔频率倒谱系数 20 维加 1 阶与 2 阶差分。第二步是实现 4 类成分，前背景用 REPET-SIM 计算帧间余弦相似并做中值与维纳掩蔽，谐波打击用方向中值滤波，频率掩蔽按 0 到 2、2 到 4、4 到 8 千赫兹切分，混响提取调用 DARE-Net 的 IR 加并行注意力加时域模型，去除调用方差归一化延迟线性预测并删除小于 10 千字节的样本。

第三步按类别权重 0.1 与 0.9、Adam 学习率 0.0001、批量 24、最多 100 轮与 20 轮早停训练 ResNet50 与 MesoNet，用验证集等错误率选模型。下表给出最关键的可运行对照，复现时应优先对齐这两组。

表后解释，去混响加梅尔频率倒谱系数在 ResNet50 上把野外集从 69.08% 降到 24%，代价是同一操作在 MesoNet 上反而从 33.62% 升到 40% 左右，说明收益与分类器绑定。

域内也有小幅改善，但幅度远小于跨域。复现时若只在 ResNet50 上看到提升而在 MesoNet 上看不到，不应视为复现失败，而应如实报告分类器差异。若缺少 DARE-Net 权重或 MIT 脉冲响应数据，应明确标注该分支未能复现，不用其他混响模型替代后仍声称同条件比较。

何时值得尝试这种成分拆解，还需补哪项验证？

当你的检测器在域内尚可但一到野外数据就失效，且怀疑问题出在背景或录制空间时，值得尝试本文的两步预处理，先按低频保留 0 到 4 千赫兹训练，再用去混响后的梅尔频率倒谱系数训练 ResNet50，并与原始全频谱基线同条件比较。预期是域内小幅改善、域外可能大幅改善，但绝对等错误率仍可能高于 20%，因此只能作为特征工程起点，不能直接部署。

还需补的验证包括显著性检验与多次随机种子、不同声码器与扩散方法的分方法报告、保留小文件时的敏感性分析，以及与自监督前端的融合实验，以检验可解释成分能否带来独立增益。常见误解是把背景更好误读为语音内容不重要，实际含义是在当前生成器下背景残留了更多可判痕迹，一旦生成器学会合成合理背景，结论可能反转。

另一个误解是把单独用房间脉冲响应不可判当作混响无用，实际是提取会丢失信息并引入伪影，而去除混响反而让分类器更稳定，二者方向相反。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总