英文题目：ToolDF: Tool-Integrated Reasoning for Mixed-Authenticity Audio Deepfake Detection
标签：#音频伪造检测 | #多模态模型 | #语音伪造检测 | #参数高效微调
评分：7.9/10 | 创新 1.5/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Taewoo Kim：Multi-Modal Research Center, KETI, South Korea；Department of Artificial Intelligence, Korea University, South Korea
- Young Han Lee：Multi-Modal Research Center, KETI, South Korea
- Nam In Park：机构信息未在 arXiv HTML 中可靠披露
- Chanwoo Kim：Department of Artificial Intelligence, Korea University, South Korea
📌 核心摘要
针对一段音频里同时含真实与伪造、跨时间与跨声源的混合真实性检测，ToolDF 用音频大模型做编排器按结构调用分离与四个领域专家并执行早失败汇总，在复合类型上取得最高的 C-Avg. 81.89，代价是依赖外部工具的可靠性。
🔗 开源与复现资源
代码相关资源：https://github.com/rlataewoo/tooldf — 链接可访问（HTTP 200）
第三方资源：https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Captioner — 暂时无法访问
第三方资源：https://github.com/wiseman/py-webrtcvad — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，想改变什么，必须保留什么
输入是一段可能同时包含说话、唱歌、音乐和环境声的音频，其中一部分成分真实、另一部分合成。例如前半段是真实说话，后半段转为合成唱歌，同时全程垫着真实背景音乐。想改变的是传统做法把整段只给一个 real 或 fake 标签、且假设整段属于单一领域的做法，这种做法会漏掉局部伪造，也无法指出证据在哪里。必须保留的是可核对的判定依据：指出哪个时间段、哪个声源被判为伪造，以及用了哪个专家的输出。输出因此是两层：片段级标签加成分级证据描述。
教学示例：8.5 秒音频中 0.63 秒到 2.34 秒为女声说话，2.43 秒到 8.37 秒为男声唱歌，全程有电子蜂鸣背景，系统需分别取证再汇总，这只是帮助理解执行顺序的示例。
已有路线在哪里卡住，ToolDF 站在哪个位置
语音伪造检测长期依赖 ASVspoof 等单领域数据与 AASIST 等端到端分类器，近期扩展到唱歌、音乐和环境声，但仍假设每个输入属于单一主导声学域并输出单一标签。复合音频方向尝试用源分离先拆分再检测，例如对所有输入固定做分离，或自适应触发分离但下游只判语音域。直接把音频大模型当整体二分类器的做法则不调用专用检测器，也不揭示证据。ToolDF 的位置是工具集成推理：音频大模型不直接分类，而是做编排器，分析结构、选择性调用分离与领域专家、再聚合证据。
是否接收相同输入、是否改变相同对象是区分关键：整体分类器接收整段混合并改变整段标签，ToolDF 接收同样的混合但先改变表示为成分集合再分别取证。
混合真实性任务如何形式化
论文把输入音频记为 x，假设其包含多个异构成分的集合。每个成分 ck 关联内容类型 tk、支撑区域 ρk 和成分级标签 yk。内容类型取自 speech、singing、music、sound 4 种。对于时间可定位成分，支撑区域用起止时间表示，否则表示混合中的声源级区域。片段级标签遵循早失败规则：只要存在一个成分为 fake，整段即为 fake。
标准单域检测是特例，即成分数量为 1 且铺满全段。在混合真实性下，系统既要预测片段标签，也要给出支持判决的成分级证据。这种定义把时间转场与声学重叠统一到同一套符号下，为后续按区域调用工具提供了接口。
四阶段流水线如何走完一个样本
给定一段音频与文本指令 Is this audio real or fake，编排器依次经历音频理解、工具使用规划、局部工具执行和证据聚合。第一步输出结构化的理解块，列出成分与区域；第二步在规划块中写出条件序列，若人声与背景时间重叠则优先调用源分离器，再按内容类型映射到对应专家；第三步发出结构化工具调用，指定分析哪个时间段或哪条分离流，工具返回成分级预测与 0 到 1 之间的归一化置信度；第四步在描述块中汇总各工具证据，再按早失败规则在答案标签中输出 real 或 fake。部署阶段与训练阶段走同一顺序，区别在于训练时工具观测来自真值标签构造，推理时来自真实外部工具返回。
为什么现在看这张总览图：文字已给出 4 阶段名称，但只有图能同时看到输入波形形态、分支条件与证据汇总的对应关系，需要在进入公式前把数据流固定下来。
看图路径： 1. 从左侧 Input Audio Clip 的四种波形示例出发，确认 C1 为先后拼接、C2 为上下叠加、C3 为两者兼有；2. 沿中间 1-2-3-4 四列箭头，依次核对理解、规划、执行、聚合的输入输出；3. 在 Planning Logic 处确认重叠才触发源分离器的条件分支；4. 在 Evidence Summary 处确认早失败规则如何把任一 fake 变成最终 Fake
论文图 1。原论文 Figure 1:：“Overview of the ToolDF framework for mixed-authenticity audio deepfake detection.”。
这张图左侧用 4 组波形区分了 C1 时间拼接、C2 声源叠加与 C3 两者混合，中间四列分别对应理解、规划、执行与聚合，最右侧给出最终 Fake 与可读证据描述。关键可核对点是规划逻辑中重叠才走源分离器的分支，以及证据汇总中任一成分为 fake 则最终为 fake 的规则框。图中示例把语音判为 Real 0.7、唱歌判为 Real 0.8、音乐判为 Fake 0.1，从而整体为 Fake。这些数值是图中报告的 realness，音乐的 0.1 不是 fake 类别的置信度；需要把数值方向与返回标签一起阅读。
成分、区域与早失败判定如何计算
先把成分集合的表示固定下来。输入 x 的声学组成被写成成分集合，每个成分有类型与区域，理解块的任务就是恢复这个集合。
\[\mathcal{C}(x)=\{c_{1},c_{2},\ldots,c_{K}\}.\]该式中 C(x) 是成分集合，K 是成分个数，后续规划与调用都围绕这 K 个元素展开。接着是片段标签的折叠规则。
\[y=\texttt{fake}\Longleftrightarrow\exists c_{k}\in\mathcal{C}(x)\;\;\text{s.t.}\;\;y_{k}=\texttt{fake}.\]该式说明 y 为 fake 当且仅当存在 ck 使其 yk 为 fake，否则为 real。实现上编排器并不自己估计 yk，而是等待专家工具返回预测值再应用该规则。
混合真实性 × 早失败规则： 混合真实性指一个输入 x 里同时存在多个成分 ck，各自有内容类型 tk、支撑区域 ρk 和真伪 yk；早失败规则负责把成分级证据折成片段级结论，只要存在一个 yk 为 fake 则整体 y 为 fake。二者必须搭配，因为没有早失败规则，多成分描述无法导出可评测的二分类答案，而没有混合真实性的成分划分，早失败规则就退化为普通整段分类。
以图 2 的 rollout 为例，语音段 0.63 秒到 2.34 秒送语音专家得 real 0.99，唱歌段 2.43 秒到 8.37 秒送唱歌专家得 fake 0.29，背景声送环境声专家得 real 0.95，描述块逐条列出后答案为 fake。这一走法把定位与分类绑定：没有区域就无法做局部调用，没有早失败规则就无法统一输出。
理解、规划、分离与专家如何分工
音频理解只做结构刻画，不做真伪判断，输出成分类型与支撑区域，为下游选择检测器提供依据。规划根据是否出现人声与背景重叠决定是否调用 Demucs v4 分离出人声与非人声流，再把各成分映射到语音、唱歌、音乐、环境声 4 类 XLSR-AASIST 专家。工具执行阶段每次调用明确指定起止时间或分离文件路径，专家返回二分类预测与置信度，阈值按各自开发集等错误率确定。为处理分离伪影，还训练了分离感知变体。证据聚合把工具观测写成描述块，再执行早失败规则。
音频理解 × 工具调用规划： 音频理解负责输出结构化的<audio_understanding>块，列出有哪些 speech、singing、music、sound 成分及其时间或声源区域；工具调用规划负责根据该结构在<plan>块里决定是否先做源分离、每个成分送哪个专家。搭配的原因是规划不能凭空猜，先有成分清单才能做条件路由，组合后比直接调工具多解决了按需分离与按类型分发的问题。
源分离 × 领域专家检测器： 源分离负责在人声与背景时间重叠时把混合拆成 vocal 流和 background 流；领域专家检测器负责对指定片段或指定流给出 real 或 fake 及置信度。二者搭配是因为重叠时直接把混合送给单一专家会引入域外干扰，而分离本身也可能引入伪影，所以只在重叠结构下先分离再检测，组合后同时处理了时间转场与声学重叠。
这种分工的安排理由在原文有明确对照：固定对所有输入做分离会在无需分离的单源信号上引入伪影，而只判语音域则漏掉唱歌、音乐与环境背景中的合成成分，因此需要按结构自适应分离并覆盖多域。
监督轨迹如何构造，哪些参数在更新
训练目标是让编排器自回归生成结构化轨迹，轨迹记为理解 u、规划 p、工具调用与观测序列、证据摘要 d 和最终 verdict y 的元组。构造时使用真值成分标注集合，其中每个元素包含区域、类型与标签，用于生成理解块、规划块与局部调用。工具观测在构造阶段用真值成分标签填充，并作为后续生成的条件上下文，证据摘要与最终 verdict 按早失败规则由这些观测构造。优化时只在编排器产生的 token 上计算损失，工具返回的观测 token 不计入。
\[\mathcal{L}_{\mathrm{SFT}}=-\sum_{m\in\mathcal{M}}\log P_{\theta}\left(o_{m}\mid o_{\lt m},x,q\right).\]该式中 M 是属于 u、p、调用、d 和 y 的 token 位置集合，排除了观测序列，P 是音频大模型的下 1 token 分布，x 为输入音频，q 为文本指令。
监督轨迹学习 × 编排器： 编排器指音频大模型本身不直接做二分类，而是生成理解、规划、调用、汇总的完整轨迹；监督轨迹学习负责用真值成分标注构造 u、p、工具调用、d 和 y 并只在编排器生成的 token 上做自回归训练。搭配后，模型学到的是结构分析与证据聚合的中间监督，而不只是最终标签，组合后新增的含义是可解析、可定位的推理路径。
具体实现上骨干为 Qwen2.5-Omni-3B，基座冻结，仅用 LoRA 适配器更新，插入所有线性层。这种冻结基座、更新适配器的安排使更新信号完全来自轨迹 token 的对数似然，而不直接来自音频分类交叉熵。
数据如何合成，评测与基线如何对齐
基准由公开单域语料组合而成，包括语音、唱歌、环境声与音乐的真伪子集。单类型设置保留各语料官方划分与孤立片段评测。复合类型分三档：C1 为语音与唱歌的时间先后拼接，含两种顺序与真真、真假、假真、假假组合；C2 为前景人声与背景音乐或环境声的声学叠加，前景保留局部支撑区域，背景视为全程活动；C3 为先做 C1 式转场再叠加背景，是结构最复杂的混合。
片段标签一律按早失败规则标注，因此复合池天然偏向 fake 较多。 下表要回答的问题是基准规模与划分是否足以支撑复合评测，统一条件是训练、开发与评测的样本计数。表头单位为样本数，单元格为裸计数，保留原文写法。
| 设置 | 训练样本数 | 开发样本数 | 评测样本数 | 说明 |
|---|---|---|---|---|
| 全部配置合计 | 428,648 | 203,597 | 341,404 | 含单类型与复合类型 |
这张表分别列出训练、开发与评测 3 个划分，三者合计构成 973,649 个样例的完整基准，其中 379,900 个是跨全部划分统计的复合样例；这两个总量不等于训练样本数。428,648 是实际用于微调的样本量，最大序列长度 4096，全局批量 128。可访问的 MusicCaps/FakeMusicCaps 样本另按 6:2:2 随机划分，不完全沿用其他单域语料的官方划分。音乐真样本因部分原始文件缺失，少量真样本无法取回，其对应伪造对仅放入测试集以防泄漏。
C3 评测中真实比例偏高源于按 basename 重划分以防背景轨泄漏。指标统一用宏平均 F1，对 real 与 fake 两类分别算 F1 再等权平均，避免多数类主导。基线分整体式与组件式两类，整体式包括 XLSR-AASIST、XLSR-Conformer、WPT-XLSR-AASIST 与 ALLM4ADD，组件式为固定管线。
训练预算与工具配置如何复现
微调使用 8 卡 NVIDIA A40，每卡批量 4，梯度累积 4 步，全局批量 128，训练 3 轮，优化器 AdamW，bfloat16 精度，梯度检查点与 DeepSpeed ZeRO-2。LoRA 秩与缩放因子、学习率与权重衰减是复现的关键超参数。工具侧分离用 Demucs v4 得到人声与非人声流，检测用 4 类 XLSR-AASIST 专家，各自在对应单域数据上训练，并有分离感知变体以处理分离输入。推理时编排器按生成的规划路由目标片段或分离源，专家阈值按开发集等错误率确定。 下表整理可运行的训练配置，数值保留原文写法，表头注明单位，单元格为裸值。
| 配置项 | 数值 | 单位或说明 | 运行阶段 | 备注 |
|---|---|---|---|---|
| LoRA 秩 | 64 | 秩 | 微调 | 插入所有线性层 |
| 缩放因子 | 16 | 缩放 | 微调 | 与秩配合 |
| 学习率 | 1×10−5 | 学习率 | 微调 | AdamW |
| 权重衰减 | 0.1 | 权重衰减 | 微调 | 保持原文权重衰减设置 |
| 全局批量 | 128 | 样本数 | 训练 | 8 卡累积得到 |
表后补充：基座冻结是参数状态事实，不能由此推定推理成本低，因为推理还需调用分离与多个专家，实际延迟取决于工具链。最大序列长度 4096 限制了轨迹长度，解析率接近 100% 是在该长度与系统提示约束下测得。系统提示要求必须用工具判断、不得自行决定或编造工具结果，这是保证可解析性的显式约束。
只用单类型训练能否泛化到混合输入
这个问题检验孤立域上的强性能是否自动迁移到复合场景。统一条件是所有模型只在单类型数据上训练，再分别测单类型平均与复合类型平均，指标方向为宏平均 F1 越高越好。
| 评测 | XLSR-AASIST 单类型平均 | XLSR-AASIST 复合平均 | 现象 | 方向 |
|---|---|---|---|---|
| 单类型到复合 | 86.57 | 57.83 | 大幅下降 | F1 越高越好 |
| 重叠场景 | ALLM4ADD 在 C2、C3 相对较好 | 仍远低于其单类型 | 未真正解决 | F1 越高越好 |
表后解释：在该条件下 XLSR-AASIST 单类型平均最高但复合平均跌至 57.83，说明单域判别特征不足以处理多时间区域与多声源推理。ALLM4ADD 在重叠上相对占优是一个部分反例，但其复合性能仍远低于单类型，因此不能推出大模型整体分类已解决混合问题。这张表不能推出联合训练后的排序，需要下一节的联合训练对照。它的作用是确立动机：必须显式分解声学场景。
联合训练下谁在复合类型上真正占优
本节问题是在单类型与复合类型联合训练后，比较整体式模型、固定管线与 ToolDF 的复合平均与分项。统一条件是相同混合基准、相同宏平均 F1、片段级评测。
| 方法 | 复合平均 | C1 时间转场 | C3 混合 | C2 重叠对照 | 单位 |
|---|---|---|---|---|---|
| ToolDF | 81.89 | 91.21 | 76.81 | 77.66 | 宏平均 F1 |
| XLSR-AASIST | 78.17 | 89.79 | 71.57 | 73.16 | 宏平均 F1 |
| 固定管线 | 67.50 | 55.57 | 68.39 | 78.55 | 宏平均 F1 |
表后分 3 段展开。最公平的净收益是 ToolDF 复合平均 81.89，比 XLSR-AASIST 高 3.72 个百分点，比固定管线高 14.39 个百分点，且在 C1 的 91.21 与 C3 的 76.81 上最强，说明对时间分段与混合推理的增益。失败项是 C2 重叠：固定管线以 78.55 略高于 ToolDF，因其强制分离恰好命中重叠结构，但在 C1 与 C3 上明显更低。C1 只有时间转场，可避免不必要的分离；C3 本身仍有背景重叠，需要分离并结合前景的时间分段与领域路由，不能把 C3 低分解释成它无需分离。
原文并未通过独立消融把固定管线在 C3 的损失唯一归因到某一步。不能推出的结论是 ToolDF 在单类型上全面最优，原文报告其单类型平均 86.54，而 ALLM4ADD 在语音单项上更高；也不能把 Oracle 差距 0.96 理解为已达上限，因为 Oracle 依赖真值路由，不可部署，仅说明编排器接近理想路由。
拿掉哪一段轨迹最伤性能，定位能力如何
消融按去掉理解、规划、工具调用与描述 4 种变体分别重新训练评测，另用解析率区分格式合规与真正判错。完整 ToolDF 解析率接近 100%，而去掉规划导致严格 F1 下降最大，去掉理解也大幅下降，去掉描述则在 C2 上解析率跌至 23.69 左右，说明结构化证据聚合对重叠环境下的稳定推理很关键。去掉工具调用后模型退为无外部证据的直接 verdict，性能回落但解析率仍高，说明格式合规不等于证据充分。
定位方面按 DCASE 标准报告段级与事件级 F1，单域宏平均在 93.64 到 99.97 之间，复合 C1 事件级宏平均 94.24，C3 为 87.62，表明除片段标签外还能定位时间区域与声源。未胜出项是 C3 事件级仍低于 C1，混合越复杂定位越难。不能由此推出消融数值可跨条件直接相减为因果效应，因为每次消融都重新训练，改变了优化路径，只能作为支持结构必要性的证据。
边界、误差传播与未评测项
误差传播是首要边界：分离错误或专家误分类会直接传到最终判决，整体性能受限于底层工具的可靠性与覆盖度。数据边界是基准由现有公开数据按规则合成，时域拼接与声学叠加的组合规则可能比真实或对抗编辑更简单，无法完全反映编辑伪影、源交互与分布复杂性。未评测边界是常规部分伪造基准如 PartialSpoof 未纳入，该基准聚焦单句语音内的局部篡改，原文明确把接入部分伪造语音专家作为未来工作。此外，复合池因早失败标注天然 fake 偏多，类别不平衡下的宏平均虽已等权处理，但在部署先验不同时仍需重估阈值。这些限制意味着当前结论成立于受控合成与给定工具链条件下。
复现先做哪三步，常见误解如何避开
第一步先复现数据管线：按附录规则生成 C1、C2、C3 并保留成分级区域与标签，再检查早失败标注是否正确，避免把复合标签当成单域标签训练。第二步复现工具链：先独立训练 4 类 XLSR-AASIST 专家并按开发集等错误率定阈值，再接入 Demucs v4 并训练分离感知变体，最后才训练编排器，否则无法区分是路由错误还是专家错误。第三步复现轨迹格式：使用原文系统提示强制先写理解与规划、再调用工具、最后写描述与答案，并在训练损失中屏蔽观测 token。
常见误解一是把开源代码与可下载权重、可运行系统混为一谈，论文只报告代码与数据集公开，需按实际仓库核对权重与环境。误解二是把解析率高当成准确率高，解析率只表示格式合规，严格 F1 才计入不可解析为错。误解三是把固定分离当成总是最优，原文显示它只在重叠占优，在转场上会引入伪影。
什么条件下值得尝试，一句话收束
当输入明确可能含时间转场或声源重叠，且已有可用的语音、唱歌、音乐与环境声专家时，值得尝试按需分离加按类型路由的编排方案；若输入确为单源单域，整体式模型更简单且单项可能更高。复现优先级是成分标注与阈值标定，最需要补的验证是真实编辑音频与部分伪造语音上的测试，以及分离失败时的回退策略。总体上，ToolDF 报告的复合平均 81.89 与对固定管线 14.39 的增益支持工具集成推理在混合真实性下的价值，但该价值依附于工具可靠性与合成评测条件，不宜直接外推为开放部署性能。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses