混叠录音里检测器到底在听谁：语音还是背景声

📄 混叠录音里检测器到底在听谁：语音还是背景声

英文题目：What Do Deepfake Audio Detectors Hear? From Self-Supervised Models to Audio LLMs

标签：#音频深度伪造检测 | #统计分析 | #LoRA | #环境声 | #语音

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

👥 作者与机构

• Wanying Ge：机构信息未在 arXiv HTML 中可靠披露
• Xin Wang：机构信息未在 arXiv HTML 中可靠披露
• Junichi Yamagishi：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

现实录音常把语音与背景环境声混在一起且两者都可能为合成，检测器依据语音还是背景声判真伪并不清楚，线索落在哪个频段也不清楚。论文在CompSpoof V2上比较XLS-R加分类头、Whisper加分类头及基于Qwen2-Audio-7B-Instruct的生成式与判别式两类对策，后两者均以Whisper编码器抽取音频嵌入并用低秩适配微调。原始波形先经编码器抽取帧级隐状态并时间平均为定长嵌入，标准对策把该嵌入送入线性分类头输出真伪概率，音频大语言模型对策先经线性投影对齐维度再插入任务提示的音频槽位送入大语言模型，生成式从真伪词元logits经二元softmax计分、判别式从替换的二分类头直接读出判决。在CompSpoof V2测试集上把全真混合分别与仅事件为假、仅语音为假配对计算等错误率，四个对策检出伪造事件的等错误率均低于检出伪造语音，如Whisper对策分别为8.29%与23.15%。在CompSpoof V2测试集按伪造语音来源分解等错误率，已见的MLAAD与ASVspoof 5来源明显低于未见过的SoulX-Podcast来源，前者仅2.86%-9.56%而后者高达36.70%-49.52%，差距主要来自域外泛化失败。在CompSpoof V2测试集仅事件为假条件下推理时逐个抑制0-8 kHz内六个子带而不重训练，抑制7.2-8 kHz后等错误率相对无滤波升高，四者分别从9.50%、8.29%、13.38%与12.91%升至26.15%、27.23%、19.47%与20.71%，表明前端编码器决定频率证据位置。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/nii-yamagishilab/AntiDeepfake-AudioLLM — 暂时无法访问

• 模型相关资源：https://github.com/nii-yamagishilab/AntiDeepfake-AudioLLM — 暂时无法访问

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

真实录音为什么不是干净语音

论文面对的输入是包含人声和环境背景声的混合录音，目标是判断整段录音是否为伪造，并进一步搞清判断依据来自语音还是背景声。实际部署中必须保留的信息是两路成分各自的真假状态，因为任一路为假整段就应判假，输出是每段录音的真假分数。已有最强检测器在纯语音库上接近满分，但只要叠加一小段非语音就会明显退化，甚至接近随机猜测。原因在于训练数据大多是孤立语音，模型默认只听人声，而真实录音很少是干净语音。

论文把背景声不再只当干扰，而是当作本身也可能被合成、因而自带痕迹的第二路证据来源，这就引出了后面要分离两路敏感度和频段的实验设计。

从专用语音检测到通用音频理解

已有路线大致分两支。第一支是专用语音检测器做法：用语音预训练的编码器抽表征，再接一个二分类头，输入、目标和监督都围绕语音合成痕迹，运行阶段只对波形打分。第二支是音频大语言模型做法：用音频编码器加投影层把声音接入大语言模型，再用固定文本提示要求模型按发音自然度和韵律连贯性做分类。两支的输入都是原始波形加真假标签监督，但第二支多了文本指令和语言模型主干。

论文没有把两支放在同一数据集上比谁分数更高就宣称胜负，而是用同一套混合数据和同一评价流程，比较它们在假语音与假背景声条件下的行为差异和频段依赖，这与只报总体等错误率的常规比较不同。

论文要回答的两个具体问题

第一个问题是成分敏感度：当语音和背景事件混在一起，哪一路为假更容易被抓住。第二个问题是子频带依赖：频谱上哪一段承载了检测证据。论文把全真混合作为目标类，把只假背景声、只假语音、两路全假分别作为非目标类，每次只拿全真对其中一类算等错误率，等错误率越低表示该假条件的分离越可靠。为排除混合操作本身带来的捷径，训练时去掉了未混合的原始类。为定位频段，推理时每次只滤除一个子带而不重训练，直接观察等错误率的变化。这种把检出能力拆成按成分和按频段两次测量的做法，是全文所有表格的组织依据。

两类检测器如何把波形变成真假分数

标准检测器的流程是波形先进编码器得到逐帧向量，再在时间上做平均池化得到定长向量，最后经线性分类头得到真假两个逻辑值并转成概率。音频大语言模型检测器的流程是波形先进音频编码器再经投影层对齐到语言模型维度，同时任务提示经词嵌入层变成文本向量，两路拼接后送入语言模型。生成式读数在首个回复位置取出 real 和 fake 两个词的逻辑值做二元归一化，判别式读数则把语言模型头换成二分类头直接读逻辑值。下面这张结构图展示了 3 条路径的输入输出关系，读图时重点看分数从哪个头读出。

前端编码器 × 分类头： 前端编码器负责把原始波形变成逐帧的表征序列，它决定了保留哪些声学细节；分类头只负责把池化后的定长向量映射到真或假两个分数。两者搭配时，编码器提供可供判别的线索空间，分类头学习在该空间里画分界面，因此更换编码器会改变检测器能看到的伪造痕迹类型。

下图对比了标准结构与两种音频大语言模型结构的模块连接，读完可以复述每个箭头的起点和终点。

看图路径： 1. 先看三条纵向主路径：波形从底部进入编码器再向上得到分数；2. 比较左图池化加分类头与中右图投影层加语言模型的汇合位置；3. 注意中图顶端是语言模型头输出词，右图顶端是二分类头输出

论文图 1。原论文 Fig. 1:：“Comparison between different CM architectures.”。

图中左侧是编码器加池化加分类头的纵向链路，中间是提示与波形双输入经投影层汇入语言模型再经语言模型头输出词的链路，右侧是同样双输入但经二分类头输出的链路。三者共用波形输入，但文本提示只出现在后两者，且分数出口不同，这决定了后面训练损失的计算位置也不同。

编码器选择为什么是刻意的

论文用了两种前端编码器。XLS-R 是自监督跨语种语音编码器，训练时只接触语音表示；Whisper 编码器是用弱监督按语音识别目标训练的，见过更多样录音条件而不只是纯语音表示学习。标准检测器分别搭配这两种编码器各做一个系统，音频大语言模型则统一用 Whisper 编码器抽音频嵌入。这种安排让编码器成为可控变量：若行为差异跟着编码器走，就说明证据位置更多由前端决定而非后端分类器。理解这一点才能看懂后文为什么说只有语音原生的 XLS-R 把语音伪造证据完全放在低频人声带。

XLS-R × Whisper 编码器： XLS-R 是以多语种语音做自监督预训练的语音原生编码器，更贴近音素和音质层面的表示；Whisper 编码器是用带弱监督的语音识别任务训练的，输入也是含多种录音条件的音频，更偏向可识别性。论文刻意并列二者，是为了检验预训练目标不同是否导致检测器依赖的频段不同。

提示词和两种读数方式如何分工

音频大语言模型的文本提示固定写成系统角色加用户指令的形式，系统消息把模型设定为语音取证专家并点出韵律、发音、音质和说话人一致性，用户指令要求听录音并按声音自然度分类。执行时原始波形先经音频编码器抽取嵌入序列，再经线性投影层映射到与语言模型嵌入相同的维度；文本提示经嵌入层分词编码后，投影后的音频嵌入以特殊标记位置插入序列，再一同送入变换器主干联合处理，这样声学表征、维度对齐和指令约束各有分工。

生成式与判别式的区别前面已述，前者监督只算在目标回复位置的全词表交叉熵，后者监督算在二分类头输出与二元标签之间。论文对两种读数都用 Qwen2-Audio-7B-Instruct 加秩为 16 的低秩适配，只适配音频编码器和变换器主干，其中所插音频嵌入来自 Whisper 编码器，这为后面比较同主干不同出口的行为差异提供了公平基础。

音频大语言模型 × 投影层： 音频大语言模型指把音频表征和文本提示一起送入变换器语言模型做联合处理的结构；投影层是把音频编码器输出维度映射到语言模型词嵌入维度的线性层。投影层解决模态对齐问题，让音频帧可以像词一样插进提示序列，语言模型则负责结合任务指令给出真假判断。

生成式在助手提示后第一个回复位置取出 real 与 fake 两个词的逻辑值再做二元归一化打分，判别式直接从二分类头读逻辑值打分，两者在推理时都不需要额外解码整句；判别式还需与低秩参数联合训练池化隐状态上的线性分类头，执行顺序与生成式共用同一提示序列。

生成式判读 × 判别式判读： 生成式判读沿用语言模型的词表输出头，在首个回复位置比较 real 和 fake 两个词的逻辑值再做二元归一化；判别式判读把语言模型输出头换成二分类头，直接读二分类逻辑值。两者输入序列相同，区别只在分数从哪里读出，论文用此对照检验输出方式是否改变检测行为。

训练数据划分与优化过程

训练把全真混合标为真类，把含任一假成分的 3 种混合都标为假类，采用类别均衡采样以平衡数量差异。所有系统处理 16 kHz 音频，用交叉熵加 AdamW 优化，峰值学习率为 4×10−5，200 步热身，批量为 8，每 200 步验证 1 次，最多 30000 步或至多 5 轮，按验证损失最低选检查点，并在单个 H100 上跑 3 个随机种子取平均。非大语言模型的两个系统端到端微调整个参数，大语言模型系统用低秩适配训练，判别式还联合训练池化隐状态上的线性分类头。需要说明的是论文训练的是这 4 个检测器本身，没有训练语音或事件合成器，合成成分来自 CompSpoof V2 已有的数据划分。

混合类别的构成与文件数量

要复述实验必须先搞清 4 类混合的定义。下表说明训练时每类的语音真假、事件真假、训练标签和文件数，它是后面所有按成分算等错误率的前提，比较时训练标签划分完全相同，差别只在评测时取哪一类做非目标。

从表中可见全真类 25189 段，真语音假事件类 50361 段，假语音真事件类 21759 段，双假类 29413 段。数量最多的是真语音假事件，这意味着训练时假事件样本更充足，而评测阶段的结论是否受此不平衡影响，需要结合后面按合成源拆分的结果一起看，不能只看总体等错误率就断定假事件本质上更容易。

评测时如何配对算等错误率

评测时同一训练好的模型不重训练，分别对 3 种非目标条件各算 1 次等错误率，目标类恒为全真混合。下表给出每种条件的目标与非目标类名及测试文件数，指标方向是等错误率越低分离越可靠，比较公平性来自模型、目标分数分布和阈值扫描方式都相同，只是非目标换了一路。

目标类均为 3635 段，非目标分别为真语音假事件 7672 段、假语音真事件 2987 段、双假 5894 段。因为目标分数分布在 3 次计算中是同一批全真分数，差异只来自非目标分数分布，所以假事件与假语音等错误率的差距可以直接解读为模型对两路伪造痕迹的敏感度差异，但仍需排除未见过合成源的影响。

假事件与假语音哪一路更好检

主结果比较同一模型在只假事件与只假语音下的等错误率，模型、训练和目标类都相同，指标方向一致。下表是 4 个检测器的三列等错误率，均值加括号内标准差，数值越低越好，它回答了第一个研究问题在总体层面成立的范围。

表中每行最低都在假事件列：XLS-R 为 9.50%，Whisper 为 8.29%，判别式大语言模型为 13.38%，生成式为 12.91%；每行最高都在假语音列，分别为 21.21%、23.15%、23.74% 和 23.25%。双假列居中，约为 13.89% 到 17.28%，比只假语音更容易而非更难。论文提出 3 种假设：偏向假事件痕迹、真事件掩蔽语音痕迹、假语音本身更难。若只看此表会误以为假事件本质上更简单，但下一节按语音合成源拆分后显示结论条件更窄。

差距是本质难度还是未见过的新音色

为检验上述 3 种假设，论文把假语音按合成源拆成 SoulX-Podcast、MLAAD 和 ASVspoof 5 分别算等错误率。已在训练中见过的 MLAAD 和 ASVspoof 5 在假语音与双假之间只差几个百分点，例如 XLS-R 在 MLAAD 上假语音 4.61% 而双假 4.85%，Whisper 在 ASV5 上 2.86% 而双假 3.68%，说明真假事件的切换基本不改变对语音痕迹的利用，既不支持掩蔽假设，也不支持检测器必然偏向事件痕迹。未见过的 SoulX-Podcast 则完全不同，假语音列高达 36.70% 到 49.52%，双假列回落到 16.34% 到 20.42%，叠加假事件反而带来额外易检线索。

结合训练测试划分中 SoulX 只出现在测试的事实，论文判断总体差距主要由对这一个未见域的泛化失败驱动，而非假语音普遍更难。这个判断的成立条件是训练集中性以中性朗读语音为主，对富有表现力的播客风格合成泛化不足，未胜出的细节是即使双假有改善，SoulX 的双假等错误率仍远高于已见源的 4% 到 9% 水平。

每次滤除一个频带后性能如何变化

子带探测把 0 到 8 kHz 分成 0-0.8、0.8-2.4、2.4-4、4-5.6、5.6-7.2 和 7.2-8 kHz 6 段，每次用 8 阶零相位巴特沃斯滤除一段，推理时直接用同一模型重算等错误率，不重训练。下表展示假事件条件下原始与 6 种滤除的等错误率，比较问题是证据集中在哪个频带，公平条件是模型与数据划分不变，指标仍是越低越好。

表中假事件条件下滤除 7.2-8 kHz 是最具破坏性的操作：XLS-R 从 9.50% 升到 26.15%，Whisper 从 8.29% 升到 27.23%，判别式从 13.38% 升到 19.47%，生成式从 12.91% 升到 20.71%。Whisper 分类器还有次敏感带 0.8-2.4 kHz，滤除后达 25.34%，而同样用 Whisper 编码器的两个大语言模型在滤除中间四带时等错误率反而低于原始值，说明这些中频带对它们更像轻微干扰。假语音条件下论文报告只有 XLS-R 完全依赖 0-0.8 kHz，从 21.21% 升到 32.53%，Whisper 分类器仍最怕滤除顶带升到 28.43%，两个大语言模型滤除顶带后反而从约 23.5% 降到约 21.3%，顶带此时像误导线索。限制是该探测 1 次只滤一段，不能说明多带联合作用，且滤波本身会改变音质。

等错误率 × 带阻探测： 等错误率是把真假两类分数放在同一阈值下使误接受与误拒绝相等时的错误率，越低表示两类越可分；带阻探测是每次在输入波形上滤除一个子频带再重新算等错误率的方法。若滤除某带后等错误率大幅上升，说明该带承载了重要证据，两者组合就把频段重要性变成了可测量的性能变化。

分数分布如何解释顶带的两面作用

为理解顶带为何在假事件是关键证据而在假语音是误导线索，论文画出生成式大语言模型在不过滤与滤除 7.2-8 kHz 后的真假分数分布。读图说明是：每幅小图横轴是模型给出的真类分数，纵轴是密度，蓝色为全真混合的分数分布，红色为对应假条件的分数分布，第一列是原始波形，第二列是滤除顶带，上一行是非目标为假事件，下一行为假语音，图内标注了各自等错误率。

看图路径： 1. 先看每幅小图的横轴真值分数与纵轴密度，区分蓝线真类与红线假类；2. 比较第一列不过滤与第二列滤除 7.2-8 kHz 后两端高置信峰的变化；3. 对照上一行假背景声与下一行假语音在右端错误高峰上的不同走向

论文图 2。原论文 Fig. 2:：“Score distributions of the Qwen2-Audio (gen) system under no filtering (first column) and with 7.2–8 kHz muted (second column).”。

图中可见假事件行滤除顶带后两侧高置信峰都塌下去，真假都变得不确定，对应等错误率从 12.91% 升到 20.71%；假语音行真类同样变不确定，但假类的右侧高度自信的错误尾巴明显收缩，左侧正确高峰只轻微减少，对应等错误率从 23.25% 降到 21.32%。这支持顶带主要携带事件线索的解释：当事件为假它提供正确证据，当语音为假而事件为真它反而把模型往错误的高置信方向推。该分析只展示了生成式系统和顶带一个频带的分布，不能推广到所有模型和所有频带。

结论在什么条件下才成立

论文的适用边界需要讲清。数据边界是 CompSpoof V2 的混合方式和 16 kHz 上限，顶带指 7.2-8 kHz 是可表示谱的上边缘，换采样率或换混合增益结论可能变化。模型边界是 4 个为可控比较而设计的较简单结构，编码器加单层头或加低秩适配的大语言模型，不代表更复杂结构也有相同频段偏好。评价边界是每次只对一类非目标算等错误率，且只报告 3 次种子的均值与标准差，没有报告延迟、算力和误判代价。

特别是生成式与判别式在等错误率上几乎不可分，但词级分析显示生成式最高逻辑词是 Real、Fake 及其中文对应等任务相关词，判别式还伴随 The、It、Sleep 等无关词，说明分数相近不等于内部表示同样语义连贯。把相关当因果、把总体差距当本质难度，都是本篇容易产生的误解。

复现第一步要准备什么

复现应从数据和检查点入手。按论文描述需获取 CompSpoof V2 并保持 4 类划分与训练标签不变，去掉未混合原始类以避免学到混合操作捷径，评测配对按目标全真对 3 类非目标分别计算。训练侧关键超参数是交叉熵加 AdamW、峰值学习率 4×10−5、200 步热身、批量 8、每 200 步验证、最多 30000 步、类别均衡采样，大语言模型侧是 Qwen2-Audio-7B-Instruct 加秩 16 与系数 32 的低秩适配。子带探测侧需实现 6 段划分与 8 阶零相位巴特沃斯带阻，只在推理滤波不重训练。

关于代码与权重可获得性，论文正文给出了仓库链接，但本次未能确认该链接当前可达，因此是否已公开、权重能否下载、系统能否直接运行三件事都应以实际可访问时为准，不能仅凭文中一句话认定。尚需补的验证包括更多未见语音源、音乐等更难背景，以及多带联合滤除的影响。

什么时候值得借鉴这篇工作

当待检录音明确是语音加背景声的混合，且背景声本身也可能被合成时，这篇工作的拆分思路值得尝试：先按成分分别测等错误率，再按合成源拆分以区分本质难度与域外泛化失败，最后用带阻探测定位频段并检查前端编码器是否与目标证据对齐。若目标是纯语音反欺骗或背景是音乐等未评测类型，则不能直接套用顶带即事件证据的结论。第一步建议复现 4 类划分与 3 次配对评测，保证指标方向和文件数一致。

还需补的验证是跨数据集的泛化、不同滤波器实现的影响，以及更复杂主干是否仍由编码器主导频段。论文的价值不在于给出更低的总体错误率，而在于说明部署前必须同时解决未见假语音的泛化短板和编码器与证据频段的匹配问题。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递