英文题目：Audio Deepfake Detection Using Temporal Coherence Analysis
标签：#音频深度伪造检测 | #统计分析 | #语音 | #音乐
评分：7.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Justin D. Norman：机构信息未在 arXiv HTML 中可靠披露
- Sarah Barrington：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
输入为待判定真伪的语音或音乐波形，输出为二分类真伪标签，难点在于合成器快速迭代导致的训练与野外部署分布漂移，以及语音与音乐伪造痕迹方向不一致。方法链分为四步：先将音频切分为重叠短窗并用冻结的对比语言音频预训练 Contrastive Language-Audio Pretraining / CLAP 编码器提取分段语义向量，再计算段间两两余弦相似度得到刻画内部时间一致性 Temporal Coherence 的分布，接着从分布提炼多类统计量并按训练判别力筛选子集，最后送入梯度提升树与多专家加权集成或分位数自适应规则完成判定。与端到端波形或频谱神经检测器相比，该机制不学习生成器指纹而度量语义表征随时间的波动形态，因而更轻量且可解释。在 ASVspoof5 评测上五专家集成取得等错误率 Equal Error Rate / EER 为 17.7%，优于所列的 AASIST 与 RawNet2 基线，而在名人野外语音上仅取得曲线下面积 Area Under Curve / AUC 为 0.718。结论适用于有源域多数据集与目标批统计可得的场景，在全新合成器、单一样本判定或严重类别不平衡下尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/stbiadmin/audiodeepfake_public — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要保留哪些可核对信息？
本文的输入是一段待判别的音频文件，目标是输出它是真实录制还是人工智能合成。研究覆盖 3 类音频：单人语音、纯器乐音乐、带人声音乐。读者需要先建立学习依赖：只有先理解任务与已有路线的分工，才能理解为何作者选择分段与相似度分布这条路，再进入具体计算、训练与评估。本文解读严格依据原文证据，不引入外部评价。作者把所有音频统一转为 48 千赫单声道并做峰值归一化，这是后续比较公平性的前提。
方法全景是把每个文件切成 2 秒窗、1 秒跳的重叠段，每段用冻结的 CLAP 模型提取嵌入，再算段间两两余弦相似度得到分布，从分布提取 29 个统计特征，最后用 XGBoost 及其集成做二分类。必须保留的可核对信息包括分段参数、相似度公式、特征筛选规则、5 个语音专家的训练来源与权重、阈值、音乐自适应规则，以及各数据集上的 AUC、EER 与 F1。代码当前可用，已公开在原文给出的仓库链接，状态码为 200。本文不承诺延迟或误判率之外的改善，只讲原文实际测量的判别性能与失败条件。
已有路线做了什么，为何还要做时间一致性？
原文梳理的已有路线可分为 4 类。第一类是端到端神经模型，直接对原始波形或频谱图建模，代表是 RawNet2 与 AASIST，在受控集上很强但可解释性弱。第二类是自监督语音表示，如 WavLM 与 wav2vec 2.0，多限于语音域。第 3 类是频域线索、整段预训练嵌入或生成器指纹，多在整段级别给出一个向量或分数。第 4 类是语音特有的帧级时序差异，但不易搬到音乐。
视频伪造检测已有结合时间与空间的成功做法，音频中类似思想仍少见。本文的定位是域中立的可解释替代方案：不训练大神经网络，而是用通用的 CLAP 嵌入衡量同一文件内部语义表示随时间的变化。作者还做了预备对照，在 ASVspoof5 现代语音合成基准上用单特征比较 MS-CLAP 与语音专用的 WavLM，最优单特征 AUC 为 0.949 对 0.633，支持选用跨域基础模型。教学例子是把整段嵌入比作只看一本书的封面简介，而时间一致性是翻开每两页比较行文是否连贯，前者易被局部仿真蒙混，后者要求全文自洽。
要解决的判别问题如何形式化？
设一个音频文件经切分得到 N 个有效段，N 小于 3 的文件被剔除以保证分布估计可靠。每段经 CLAP 得到 1024 维向量，记为段嵌入。问题是基于这些向量的内部两两相似度判断文件级真伪标签。训练时每个专家只见某一来源的真伪混合数据，测试时面对生成器、说话人、信道与音乐风格都不同的跨域数据。评价用 AUC、EER 与 F1，AUC 越大越好，EER 越小越好，F1 兼顾查准与查全。
难点有二：一是绝对特征值会随域漂移，二是特征与标签的对应方向本身可能反转。若只在训练域选最强特征，到野外部署可能恰好用反。原文的两个经验发现正是对此的刻画：一是 21 个特征在训练与野外部署间判别方向反转，二是熵在语音与音乐上判别方向相反。理解这两个反转是读懂后文集成与自适应设计的钥匙。
方法全景：一个样本如何走完输入到输出？
沿一个 10 秒文件走一遍。输入波形先重采样为 48 千赫单声道并峰值归一化。接着以 2 秒窗、1 秒跳切分，10 秒约得 9 段，相邻段重叠 50%。每段送入冻结的 MS-CLAP 提取一个嵌入向量。然后计算所有无序段对的余弦相似度，9 段得到 36 个值，形成该文件的相似度分布。
再从分布算 29 个统计量，包括均值、标准差、极值、偏度、峰度、分位数、四分位距、熵、基尼系数、变异系数、方差均值比等及正态性检验量。接着按训练集上单特征 AUC 排序保留前 8 个，送入对应专家 XGBoost 得到伪造概率。语音走 5 专家加权平均并与阈值 0.30 比较输出标签，音乐跨域走批内中位数自适应规则输出标签。全程只有 XGBoost 是新训练的，CLAP 编码器冻结，训练可在中央处理器上数秒完成，瓶颈是嵌入提取而非相似度点积。
分段与嵌入：表示从哪里来？
分段的作用是把文件级判断转化为段集合的内部一致性问题。2 秒窗保证每段有足够语义，1 秒跳在增加样本量的同时保留连续性，不足 3 段的文件直接舍去。嵌入的作用是提供跨语音、乐器与人声可比的语义坐标，作者选用非语音专用的 CLAP 正是因为它在人类活动、自然声与音效上预训练，域偏置较小。
CLAP 嵌入 × 时间一致性： CLAP 嵌入负责把每段 2 秒音频映射为跨语音与音乐可比的语义向量，时间一致性负责度量同一文件内这些向量随时间漂移的程度，二者搭配是因为单段嵌入只描述内容而段间相似度分布才暴露合成音频过稳或异常跳变，组合后得到可解释的分布特征而非黑盒整段判分。
具体操作是逐段前向得到向量后做归一化内积，符号含义是先明确输入为两个段嵌入向量，再说明计算目标为它们夹角余弦，值越接近 1 表示两段时间内容越相似。原文实现即为两两余弦公式。
\[s_{ij}=\frac{\mathbf{e}_{i}\cdot\mathbf{e}_{j}}{\|\mathbf{e}_{i}\|\|\mathbf{e}_{j}\|}\]该公式对每个无序对计算 1 次，得到分布后才进入统计层。需要补的缺项是 CLAP 具体检查点与预处理细节在正文中只给出 MS-CLAP 与 2023 检查点的指向，完整复现需看公开代码，不能从模型名推定采样或归一化实现。
相似度分布到 29 维：统计量如何构造？
相似度分布是本文的核心中间表示。对 N 段得到 N 乘 N 减 1 除以 2 个值，10 秒文件约 36 个值，长文件可达数百个。分布的形状携带伪造痕迹：合成语音可能过于平稳而分布集中，合成音乐可能引入异常起伏而分布分散。29 个特征覆盖基本统计、形状、分位数、信息论与正态性 4 组。基本统计含均值、标准差、方差、最小值、最大值与峰峰值。
形状含偏度、峰度与双峰系数。分位数含 5、10、25、50、75、90、95 分位及四分位距。信息论含熵、基尼系数与变异系数。另有方差均值比、峰度方差比等导出比及夏皮罗与达戈斯蒂诺正态检验量。
成对余弦相似度 × 统计特征： 成对余弦相似度负责把 N 个段嵌入展开为 N 乘 N 减 1 除以 2 个无序对的相似值集合，统计特征负责把该集合压缩为均值、分位数、熵、峰度等 29 个数，二者搭配是因为相似度集合长度随文件时长变化而分类器需要定长输入，组合后实现变长音频到定长可判别向量的转换。
特征用稳健缩放器归一化以抵抗离群相似值。筛选时按训练集单特征 AUC 取前 8，典型入选有低分位、中位数、均值、截尾均值、变异系数与基尼系数。原文消融显示该简单取前 8 在跨域上优于贪心前向选择，后者易过拟合训练生成器的特有痕迹。
分类器如何训练、选择与集成？
每个语音专家是一个 XGBoost 二分类器，用逻辑损失训练，正则参数伽马为 0.1、拉姆达为 1.0，采用 5 折分层交叉验证与耐心为 10 轮的早停。输入是 8 维精选特征，输出是伪造概率。5 个专家分工明确：DeepSpeak 专家见现代商业克隆，单语音专家见 ASVspoof 逻辑访问经典合成，联合专家见两者混合，MLAAD 专家见 84 种合成模型的多样性，AUDETER 专家见 2024 至 2025 现代合成加野外真实。
XGBoost × 多专家集成： XGBoost 负责在 8 维精选特征上学习非线性真伪边界，多专家集成负责把在 DeepSpeak、ASVspoof、MLAAD 和 AUDETER 上训练的 5 个专家按权重 0.30、0.10、0.20、0.10、0.30 加权平均，二者搭配是因为单一训练源的伪造痕迹单一而野外生成器多样，组合后用互补偏置换取更稳的跨域召回。
集成公式是加权平均再阈值化，符号含义是先明确输入为 5 个专家概率与权重向量，再说明计算目标为文件级伪造概率与二值标签。
\[p_{\text{fake}}=\sum_{i=1}^{5}w_{i}\cdot p_{i},\quad\hat{y}=\mathbf{1}[p_{\text{fake}}>\tau]\]权重经 20% 留出验证集网格搜索得到 0.30、0.10、0.20、0.10、0.30，阈值为 0.30。音乐分支另设自适应策略：不学固定阈值，而以测试批内均值相似度的 50% 分位为界，低于批中位数判伪。
均值相似度 × 分位自适应分类器： 均值相似度负责概括整首音乐内部段间的一致性水平，分位自适应分类器负责以测试批内该均值的中位数为界把低于中位数的判为伪造，二者搭配是因为音乐跨域时绝对阈值漂移但真伪相对排序保持，组合后无需目标标签即可在 SONICS 与 FMA 上恢复判别。
该策略不需目标标签，只需一批无标注目标数据算分位。
数据、划分与指标如何保证比较可复述？
训练语音真伪混合来自 LibriSpeech 单人声、ASVspoof2019 逻辑访问子集、DeepSpeak 第二版克隆、多说话人 MLAAD 与 AUDETER 现代合成，量级从上千到数万不等。训练音乐真实来自 MUSDB18 的 1008 个分轨，伪造来自 FakeMusicCaps 的 5521 首。评估语音用名人野外集 12394 条、FakeAVCeleb 与 100,000 条的 ASVspoof5，评估音乐用 FMA 真实 1000 首与 SONICS 合成 1000 首。所有音频经相同重采样与峰值归一化，但作者也承认音乐高分可能残留语料级录制或母带差异，不能全归因于合成痕迹。指标方向是 AUC 越高越好，EER 越低越好，F1 越高越好，比较时需同时核对数据集、阶段与聚合对象。
语音集成权重与阈值在野外集留出部分上调优，因此野外结果不代表对全新场景的零样本泛化。音乐自适应需目标批统计，属无监督域适应而非完全单样本部署。计算上相似度为平方级但文件级可忽略，嵌入提取约每秒 1.1 至 1.3 个文件，XGBoost 训练在中央处理器上即可完成。
哪些特征在训练域最强，跨域通用性如何？
先看训练域内单特征判别力与跨 3 类音频的通用性。问题是哪些统计量在单语音、纯器乐与带人声音乐上都保持 AUC 大于 0.60，公平条件是同为训练分布内按特征单独算 AUC，指标方向是均值 AUC 越大且最小 AUC 越高越通用。表中熵均值最高但语音与音乐方向相反，低分位与均值类特征更稳。
| Feature | Mean AUC | Min AUC | Speech | Instr. | Vocals |
|---|---|---|---|---|---|
| entropy | 0.871 | 0.787 | 0.787 | 0.923 | 0.904 |
| min | 0.839 | 0.686 | 0.686 | 0.933 | 0.899 |
| mean | 0.836 | 0.732 | 0.732 | 0.923 | 0.853 |
| trimmed_mean | 0.833 | 0.735 | 0.735 | 0.919 | 0.844 |
| peak_to_peak | 0.829 | 0.645 | 0.645 | 0.932 | 0.910 |
| q5 | 0.825 | 0.666 | 0.666 | 0.927 | 0.882 |
| q50 (median) | 0.820 | 0.749 | 0.749 | 0.904 | 0.806 |
| q10 | 0.818 | 0.651 | 0.651 | 0.927 | 0.877 |
| q25 | 0.809 | 0.657 | 0.657 | 0.914 | 0.856 |
| q75 | 0.796 | 0.740 | 0.781 | 0.869 | 0.740 |
| q90 | 0.769 | 0.683 | 0.793 | 0.832 | 0.683 |
表后解释是熵以均值 0.871 居首，但其最小值 0.787 暴露跨域脆弱，后文野外与跨音乐评估中熵恰好崩塌，而均值、截尾均值与分位数在训练 AUC 略低时反而在新域保持排序。代价是高训练 AUC 不能直接当部署依据，未胜出项如高分位在语音强而在带人声音乐弱，说明必须区分域内最优与跨域稳健两套标准。该表同时揭示语音与音乐熵方向反转：真实语音熵更高而合成音乐熵更高，这是后文需分别建模的依据。
语音主结果：集成相对单专家与外部基线如何？
先看各专家在分布内表现，问题是单一来源训练能否各自拟合，条件是同为分布内测试，指标是 F1 与 AUC 越高越好。5 个专家分布内 F1 在 0.807 至 0.894 之间，AUC 在 0.886 至 0.970 之间，说明拟合本身不难，难在跨域。
| Expert | Training Data | F1 | AUC |
|---|---|---|---|
| ds_msclap | DeepSpeak v2 | 0.842 | 0.911 |
| sv_msclap | ASVspoof LA | 0.844 | 0.935 |
| sv_ds_msclap | ASVspoof + DeepSpeak | 0.807 | 0.886 |
| mlaad_msclap | MLAAD (84 TTS) | 0.839 | 0.970 |
| audeter_msclap | AUDETER | 0.894 | 0.958 |
表后解释是分布内最强为 AUDETER 专家，但其野外偏置极端偏向真实类，不能单看分布内选模型。接着看 5 专家集成在 3 个评估集上的跨域表现，问题是加权集成能否在不同信道与生成器下保持收益，条件是同一组权重与阈值 0.30，指标方向同上。
| Dataset | AUC | EER | F1 |
|---|---|---|---|
| In-the-Wild | 0.7175 | 0.3485 | 0.6791 |
| FakeAVCeleb | 0.4951 | 0.4919 | 0.9220 |
| ASVspoof5 | 0.8786 | 0.1768 | 0.7441 |
表后解释是 ASVspoof5 上 AUC 为 0.8786、EER 为 17.7%，优于基线 AASIST 的 29.1% 与 RawNet2 的 36.0%，但低于顶级自监督挑战提交。野外集 AUC 为 0.7175、EER 为 0.3485、F1 为 0.6791，FakeAVCeleb 因 500 真对 10617 伪的极端不平衡出现 F1 为 0.9220 但 AUC 仅 0.4951，证实 F1 在不平衡下会虚高，必须以 AUC 判断真判别力。未胜出项是 FakeAVCeleb 上的近随机 AUC，构成明确的失败边界。
专家偏置与音乐跨域：互补性与自适应带来什么？
先拆解野外集上各专家的互补偏置，问题是不同训练源学到何种真伪倾向，公平条件是同一野外 12394 条与同一阈值体系，指标除 F1 与 AUC 外还看伪造检出与真实检出。
| Model | F1 | AUC | Fake Det. | Real Det. | Bias |
|---|---|---|---|---|---|
| ds_msclap | 0.654 | 0.668 | 73.1% | 52.9% | Fake |
| sv_msclap | 0.523 | 0.604 | 45.2% | 74.5% | Real |
| sv_ds_msclap | 0.624 | 0.680 | 62.8% | 64.0% | Balanced |
| mlaad_msclap | 0.596 | 0.395 | 82.4% | 12.3% | Extreme fake |
| audeter_msclap | 0.301 | 0.673 | 18.7% | 94.5% | Extreme real |
| 5-Expert Ensemble | 0.679 | 0.718 | 87.4% | 34.9% | – |
表后解释是 MLAAD 专家伪造检出 82.4% 但真实检出仅 12.3%，AUDETER 专家相反为 18.7% 对 94.5%，单语音与 DeepSpeak 分别偏真实与偏伪造，集成后伪造检出 87.4% 但真实检出仅 34.9%，F1 从单模型 0.654 提到 0.679，说明集成用牺牲真实类换取伪造召回，代价是误报高。甲骨文选最优专家每样本可达 0.948，提示按样本路由仍有空间，但那是不可部署的事后最优。再看音乐分支，问题是固定模型跨生成器是否失效及批中位数能否挽回，条件是同一训练源到 SONICS 与 FMA 的跨域，指标同上。
| Model | Evaluation Dataset | F1 | AUC |
|---|---|---|---|
| mi_msclap | MUSDB18/FakeMusicCaps (in-dist.) | 0.995 | 1.000 |
| mv_msclap | MUSDB18/FakeMusicCaps (in-dist.) | 0.994 | 1.000 |
| mi_msclap | SONICS/FMA (cross-domain) | 0.667 | 0.537 |
| mi_adaptive | SONICS/FMA (cross-domain) | 0.938 | 0.976 |
表后解释是分布内 F1 近 0.995、AUC 为 1.000，但原模型跨域跌至 F1 为 0.667、AUC 为 0.537，自适应后回升至 F1 为 0.938、AUC 为 0.976，且无需目标标签。反例是熵在训练 AUC 为 0.923 而跨域 AUC 仅 0.496，均值训练略低却跨域达 0.976，支持相对排序比绝对阈值更可靠的判断。
阈值、集成规模与域对齐为何这样取舍？
比较外部基线时问题是轻量统计加 XGBoost 能否接近端到端神经网络，条件是同为野外名人集，指标是 EER 越低越好。
| Method | EER | AUC | Architecture |
|---|---|---|---|
| AASIST [10] | 43.0% | – | Spectro-temporal graph |
| RawGAT-ST [21] | 37.2% | – | Graph attention |
| RawNet2 [22] | 33.9% | – | End-to-end CNN |
| Our 5-Expert Ensemble | 34.9% | 0.718 | Self-similarity + XGBoost |
表后解释是 5 专家集成为 34.9%，略差于 RawNet2 的 33.9%，优于图注意力与频谱时间图方法，架构却简单得多且可解释，这是支持轻量可解释路线的证据，但限制是权重阈值已见过野外留出部分。消融上集成规模从 1 到 5 的 F1 为 0.654、0.665、0.671、0.672 到 0.679，3 个专家后增益递减，连野外单模型 F1 仅 0.301 的 AUDETER 专家也因互补偏置带来提升。阈值从默认 0.50 降至 0.30 时 F1 升 1.3 个百分点，精度换召回，反映训练与评估域漂移。
特征标签反转 × 域自适应： 特征标签反转指 21 个特征在训练集与 In-the-Wild 上真伪均值差符号相反，域自适应指 CORAL 与目标归一化这类对齐源域与目标域分布的方法，二者搭配失败的原因是自适应只搬运分布位置却保留了已反转的特征到标签映射，组合意义在于说明此处不能直接做分布对齐而需重标定阈值或重选排序保持的特征。
传统 CORAL 与目标归一化反而使 F1 从 0.654 降至 0.648 与 0.623，只有阈值标定升至 0.667，特征选择上取前 8 的野外 F1 与 AUC 最优，贪心前向与全 29 维都更差，支持简单排序比复杂搜索更抗过拟合。
哪些边界未被验证，不能推广到哪里？
第一，多专家依赖多源训练数据，若只有单一合成来源则互补性无从谈起。第二，21 个特征的标签方向反转意味着生成器演进后需重标定，不能把当前阈值当长期固定值，原文也提出未来需在部署时无监督检测反转并自动重校准。第二，音乐自适应需一批目标域无标注数据算中位数，不能当单文件即到即判，且音乐训练存在 144 首真实对应 1008 分轨对 5521 伪造的类别不平衡，虽用类别加权缓解但仍需扩充真实样本。
第四，音乐分布内 AUC 为 1.000 可能混入语料级频谱或母带差异，标准化预处理只消除了采样与峰值等基础差异。第五，静态整段基线在匹配声学条件下随机森林 EER 为 25.9% 对时间方法的 17.7%，相对改善 31.7%，但作者声明该比较是初步的，未做全面分析。最后，FakeAVCeleb 的近随机 AUC 与集成的低真实检出率表明该方法在名人视频音频与强不平衡场景下不可直接部署。
复现先做什么，需要哪些信息条件？
先按原文链接获取公开代码，确认当前可用，再固定 CLAP 检查点与分段参数为 2 秒窗、1 秒跳、不足 3 段剔除，复跑嵌入提取与两两余弦得到分布。接着实现 29 特征抽取并用稳健缩放器归一化，按训练单特征 AUC 取前 8 训练 XGBoost，参数用伽马 0.1、拉姆达 1.0、5 折分层与早停耐心 10 轮。语音复现 5 个专家后用权重 0.30、0.10、0.20、0.10、0.30 与阈值 0.30 加权，音乐跨域实现批内均值中位数规则。验证时先看分布内 F1 是否接近语音 0.8 以上与音乐 0.99，再看 ASVspoof5 的 EER 与 AUC、野外集的 F1 与 AUC、SONICS 与 FMA 的自适应前后对比是否复现方向。
还需补的验证是换全新生成器与录制设备、记录嵌入提取耗时与中央处理器训练时间、报告不同批大小下中位数阈值的波动。区分代码开源与系统可运行：有代码不等于有权重与环境一致，需锁定依赖与随机种子才能 claims 可运行。
何时值得尝试这条路，记住哪两个反转？
当需要在语音与音乐间共用一套可解释基线、且只有中央处理器训练预算时，这条分段相似度加统计加 XGBoost 的路线值得尝试。它把变长音频变为定长分布特征，用集成换跨域召回，用批中位数换音乐跨域排序，代价是真实类精度与单文件即时性。记住两个反转：一是训练与野外间 21 个特征方向反转，决定了不能盲做分布对齐而要重选排序稳健特征并重标定阈值；二是语音与音乐间熵方向反转，决定了不能共用同一符号规则而要分域建模。
对初学者而言，可复述的方法链是切分、嵌入、两两余弦、分布统计、取前 8、专家加权或批中位数判定，核对点是分段数、公式、权重阈值与跨域指标方向。未来工作应补按样本路由、反转自动检测与更大规模真实音乐集，任何新生成器出现后都应先验方向再谈部署。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses