英文题目：Zero-Shot Temporal Localisation of Audio Deepfakes in Multi-Speaker Conversations
标签：#音频深度伪造检测 | #信号处理 | #零样本 | #基准设计 | #语音
评分：7.6/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Soumyadeep Roy：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
输入为约60秒多说话人会话波形，其中仅一至两句为克隆语音手术式注入，输出为伪造区间的起止时间戳集合，难点在于单文件同时含真假两类致使话语级等错误率与最小检测代价不适定，且窗口分数在边界处剧烈抖动易碎裂。方法为训练无关五阶段流水线：滑动窗口切分冻结二值检测器打分，其输出重叠相加插值为连续时间线后送入中值与高斯平滑抑制毛刺，再由双阈值迟滞有限状态机将抖动吸收为连贯区间，最后删除短区间并合并近间隔后输出。平滑后时间线直接作为迟滞解码器输入，解码器输出再作为后处理输入，形成分数到区间的前向链条。相对需帧级标签训练的部分伪造检测，该工作仅需窗口级分数即可复用任意冻结检测器，具有即插即用意义。在相同协议重建基准实例条件下，训练局部器的t-IoU为0.909，高于DF Arena 1B零样本的0.871。真实会议对话验证显示虚警仍可控，但域外短时高保真克隆注入下定位接近失效，其适用边界受限于已见伪造分布的拼接会话。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/sami42200/tdlmc-audio-deepfake-localization — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要输出什么，为什么必须保留时间信息？
本文的输入是一段约 60 秒的多说话人对话波形，采样率为 16 kHz，名义样本数为 960000 点，内容由 4 段不同说话人的真实或合成话语拼接而成，并经过编解码退化。目标不是给出整段对话一个真或假标签，而是输出伪造语音在时间轴上占据的区间集合，即每个注入片段的开始与结束秒数。必须保留的信息包括构造协议中的 4 种模式、滑窗与解码器的全部常数、校准与测试划分，以及每个指标的聚合对象，因为缺少其中任何一项都无法复述定位结果。
对于刚进入语音领域的读者，可以把任务理解为在会议录音里找被替换的那句话。传统话语级检测器相当于听完 1 分钟只回答有假或全真，遇到大部分为真、中间夹一句克隆语音的手术式攻击就会失效。论文指出在这种混合内容文件上沿用话语级等错误率与最小检测代价是病态的，朴素套用接近随机水平，因此需要定义在秒或帧级别的时序指标。本文输出是一套训练无关的 5 阶段流水线加可复用评测基准，代码当前可用，已公开在官方仓库链接。
已有部分伪造定位与本文零样本定位有何不同？
同输入同目标的已有路线主要包括部分伪造检测、窗口分类器训练和长语音微调 3 类。部分伪造检测处理单说话人片段，用密集帧标签训练模型，直接学习边界。窗口级时序定位学习器从片段标签训练窗口分类器，长语音方案在生成式长音频上用帧监督微调自监督检测器。这些方法的共同点是需要时序标注来训练定位器，运行阶段也依赖学到的定位头。
本文的不同在于监督条件与运行阶段。监督上不使用任何时序标签，不训练检测器主体，只在 held-out 校准集上选择解码器阈值与平滑常数。输入上明确面向多说话人拼接对话而非单说话人片段，并用真实会议对话做虚警验证。运行阶段是包裹冻结二分类器，只要求骨干能对 2 秒窗输出分数，原则上可换骨干。同运行阶段的对照因此不是谁的等错误率更低，而是在同一解码器下比较不同冻结骨干的时序交并比，以及与有监督阈值和全训练定位器的差距。
手术式注入长什么样，为什么单标签不够用？
手术式注入指整通电话大部分为真，只在关键时刻插入一小段合成语音，例如把授权支付那句话换成克隆声音。从文件级别看，真与假同时存在于一个文件内，单标签被迫把混合内容压缩成一个判决，既不能报告伪造在哪，也无法表达漏检与虚警随阈值变化的权衡。论文把这种情况形式化为多说话人对话中的时序伪造定位，简称 TDLMC。
下面这张威胁模型示意图把上述矛盾画了出来，横轴是时间，纵轴是波形幅度，中间红色小段是插入的克隆语音。
看图路径： 1. 先看横轴波形颜色：绿色为真实语音段，红色为中间插入的短克隆段；2. 再看红色箭头标注的文字内容，理解决定性语句被替换的威胁含义；3. 最后对比整段只有一个标签与需要给出起止时间的差异
论文图 1。原论文 Fig. 1:：“Surgical-injection threat model. A 60 s call is mostly genuine; a short synthetic segment is inserted at the decisive moment.”。
从像素可见，左右两段绿色波形标注为真实语音，中间约 3 秒红色波形标注为克隆段，上方红色箭头标出示例文本。请转账。整图只有一个插入点，前后都是真实对话，直观说明话语级检测器即使判对有假，也无法定位红色区间的位置与长度。这正是后文引入秒级交并比、检测率、虚警率与边界位移的原因。
话语级检测 × 时序定位： 话语级检测负责对整段音频给出一个真或假标签，分工是片段级真伪判断；时序定位负责输出伪造区间在时间轴上的起止位置，分工是边界估计。两者搭配的原因是手术式攻击只替换一两句话，单标签无法表达混合内容，组合后冻结的话语级分数被重采样为时间函数，再由解码器转成区间，新增作用是让已有检测器不经重训练就具备定位能力。
时序交并比 × 多说话人代价函数： 时序交并比负责度量预测伪造并集与真实伪造并集的重叠程度，分工是定位准确性；多说话人代价函数负责按漏检与虚警的秒级比例加权计算检测代价，分工是反映欺诈场景中漏掉注入代价更高的取舍。搭配原因是单一重叠指标会掩盖区间合并与虚警，组合意义是从重叠和代价两个角度评价混合内容文件。
五阶段流水线如何把一句话的分数变成一段时间？
流水线全景可以沿一个 60 秒样本走一遍。第一步按 2.0 秒窗、1.0 秒步长滑窗，名义得到 59 个窗口，实际因拼接间隙上下浮动 1 个。第二步每个窗口送入冻结骨干得到伪造分数，不更新任何网络参数。第三步把窗口分数按重叠相加映射到 10 帧每秒的时间线，得到函数 p(t)。第四步做中值滤波与高斯平滑，第五步用双阈值迟滞有限状态机输出伪造区间，再删除短于 2.0 秒的区间并合并间隔小于 1.5 秒的间隙。
关键约束是分辨率。0.1 秒网格只是插值便利，真正可独立分辨的步长受限于 1 秒跳步，边界模糊范围约为 2 秒窗支撑。因此后文约 3.5 秒的边界位移不是实现失误，而是窗结构决定的固有限制。解码器常数与分数归一化范围只在校准集上拟合，测试集与真实对话验证时锁定不变，这是零样本主张成立的前提。
滑窗与时间线重建的计算过程是什么？
以名义 60 秒、16 kHz 波形为例，总样本数 960000，窗长 32000 样本，步长 16000 样本。窗口数计算为窗总数等于总长减窗长除以步长再加 1，结果为 59。每个窗口经冻结骨干得到一个分数，分数序列再按窗口在时间轴上的覆盖关系做重叠相加，得到每 0.1 秒一个值的置信度曲线 p(t)。平滑阶段先用长度为 21 的中值滤波去除脉冲噪声，再用标准差为 1 的高斯滤波平滑曲线。
下面这张重建时间线示例展示了上述计算的结果，样本为 RFFR 模式的对话，真值伪造区为中间大段。
看图路径： 1. 先沿横轴时间从 0 秒看到 55 秒，确认蓝色曲线由低到高再回落的主峰位置；2. 再看两条黑色虚线对应的高低阈值，观察曲线穿越阈值的前后关系；3. 最后对比棕色真值区与浅红预测区的左右边界错位量
论文图 2。原论文 Fig. 2:：“Reconstructed timeline p(t) on an RFFR conversation.”。
从像素可见，蓝色阶梯状曲线从 10 秒附近开始爬升，在 15 秒附近越过下方虚线，在 16 秒附近越过上方虚线，随后长期维持在 1.0 附近，到 40 秒后逐步下降，在 43 秒附近跌回阈值之下。棕色底纹为真值伪造区，浅红窄条为预测与真值的边界差异，两条黑色虚线分别对应进入阈值 0.55 与退出阈值 0.35。曲线呈阶梯状正是因为底层是 1 秒步长的窗分数插值而来。
滑窗评分 × 重叠相加时间线： 滑窗评分负责用 2.0 秒窗以 1.0 秒步长截取波形并调用冻结骨干给出每个窗的伪造分数，分工是局部证据提取；重叠相加时间线负责把离散窗分数映射到 10 帧每秒的均匀时间轴上，分工是连续置信度重建。搭配理由是窗之间重叠且分辨率受窗长和步长限制，需要插值得到可解码曲线，组合意义是得到可平滑和迟滞判决的函数 p(t)。
\[K=\Big\lfloor\frac{N-W}{H}\Big\rfloor+1=\Big\lfloor\frac{960000-32000}{16000}\Big\rfloor+1=59\]该公式先定义符号，N 为总样本数，W 为窗长，H 为步长，K 为窗口数，计算目标是名义窗口个数。实现上直接按秒等价为 60 减 2 除以 1 再加 1，实际对话因间隙略长于 60 秒而浮动。
迟滞解码与代价函数如何把曲线变成区间？
单阈值解码在边界附近会因分数抖动产生碎片化翻转。迟滞解码维护真与假两个状态，只有当 p(t) 达到 0.55 才进入伪造状态，只有当 p(t) 低于 0.35 才返回真实状态，中间 0.35 到 0.55 的死区吸收振荡，使每个区域保持为一个连贯区间。后处理再删除过短区间并合并过小间隙，得到最终预测并集。校准阶段以时序交并比减去二分之一虚警率为目标选择阈值与平滑参数，对应欺诈场景中漏检代价高于虚警的 2 比 1 取舍。
评价侧用秒级统计定义代价。预测伪造并集与真实伪造并集的重叠除以并集得到时序交并比，伪造秒中被召回的比例为检测率，真实秒中被误标的比例为虚警率，匹配区间对的起止平均绝对误差为边界位移。
迟滞解码器 × 施密特触发器： 迟滞解码器负责维护真与假两个状态并用高低双阈值决定状态切换，分工是抑制边界抖动；施密特触发器是电路中用回差抵抗噪声的思想来源，分工是提供死区设计的类比。搭配原因是单阈值在边界附近会反复翻转，组合后进入伪造需分数达到 0.55 而回到真实需低于 0.35，新增作用是把振荡吸收为连贯区间。
\[\mathrm{MS\text{-}DCF}=\min\!\Big(1,\;\frac{C_{\mathrm{miss}}P_{\mathrm{miss}}+C_{\mathrm{fa}}P_{\mathrm{fa}}}{c_{\mathrm{triv}}}\Big),\]该公式先解释符号，Cmiss 与 Cfa 为漏检与虚警代价，Pmiss 与 Pfa 为伪造秒与真实秒中标错的比例，分母为平凡系统代价，计算目标是归一化后的最小检测代价，取 1 为上界。
\[c_{\mathrm{triv}}=\min\!\big(C_{\mathrm{miss}}P_{\mathrm{fake}},\,C_{\mathrm{fa}}P_{\mathrm{real}}\big),\]该公式定义分母，平凡代价取漏检代价乘伪造先验与虚警代价乘真实先验中的较小者，先验为池化秒级统计。当全真或全假模式导致某一先验为零时分母为零，对应模式的该指标记为不适用，只报告全局值。
没有训练阶段时，真正被拟合的是什么？
本研究没有训练神经网络的阶段，3 个骨干全部冻结，包括主骨干 DF Arena 1B、wav2vec2-XLSR 和 AASIST。没有梯度更新，没有帧级标签反传，不存在优化器、学习率与参数重置问题。把无训练等同于确定性求解是误解，系统输出仍受滑窗划分、平滑与阈值选择影响，只是影响来自固定规则而非学习参数。
实际发生的计算是搜索与拟合解码器常数。在 54 段校准对话上，以时序交并比减去二分之一虚警率为目标搜索高阈值、低阈值、中值窗长与高斯宽度的组合，选中 0.55、0.35、21、1，并用 1 分位与 99 分位拟合每个骨干的分数归一化范围。测试阶段不再调整。为界定不做监督的代价，论文另设两个参照，一个是在校准帧上按同样代价拟合单全局阈值的轻监督解码器，另一个是在校准集上训练轻量帧分类头的全训练定位器，二者都经过相同流水线解码与评分。
校准集 × 测试集： 校准集负责选择解码器阈值与平滑参数以及分数归一化范围，分工是固定超参数；测试集负责报告最终定位指标，分工是无偏评价。搭配原因是零样本主张要求不接触帧级标签调优检测器，组合后所有常数锁定在 54 段校准对话上再冻结用于 126 段测试与真实对话验证，新增作用是保证结果不是在测试集上挑选阈值得到的。
对话如何构造，指标与划分如何保证可比？
构造基于 ASVspoof 5 开发集离线拼接。每段对话取 4 个不同说话人的话语，每段归一化到 12 到 18 秒均匀分布与负 23 响度单位，段间用 50 毫秒升余弦交叉淡化连接，再施加 7 种编解码之一退化，包括 MP3、OGG、Opus、AAC、G.711 A 律、G.711 mu 律与 GSM。时间戳以样本为单位存入 JSON 清单。4 种模式各 45 段，共 180 段，RRRR 为全真虚警基线，FFFF 为全假检测上限，RFFR 模拟中间注入，RFRF 考验快速切换。划分是 54 段校准与 126 段测试，另有说话人不相交子集用于稳定性检查。
指标方向是时序交并比、检测率与片段 F1 越高越好，虚警率、边界位移、多说话人代价与帧等错误率越低越好。帧级等错误率与最小代价在混合文件上仍有定义，但话语级单操作点没有意义。真实对话验证用 AMI 会议语料，每种条件每骨干 40 段，解码器与归一化范围锁定自构造集的校准结果，不在 AMI 上重拟合。注入条件用 F5-TTS 为说话人本人克隆约 3 秒并替换其原话，保持说话人一致，使唯一异常为真假差异。
主结果在相同解码器下比较了什么，强骨干赢在哪？
要回答的核心问题是同一解码器下不同冻结骨干的定位能力是否一致，比较条件是解码器常数与归一化范围完全相同，只更换窗分数来源。指标方向是交并比越高越好，虚警率越低越好。下表是多骨干对比，包含主骨干与两个对照骨干，保留了实际可运行的零样本策略。
| Backbone | t-IoU | TDR | TFAR | frame-EER |
|---|---|---|---|---|
| DF Arena 1B | 0.904 | 0.949 | 0.284 | 0.042 |
| wav2vec2-XLSR | 0.639 | 0.940 | 0.513 | 0.129 |
| AASIST | 0.488 | 0.971 | 0.968 | 0.393 |
表后解释需要同时看到收益与代价。DF Arena 1B 交并比最高而虚警率最低，wav2vec2-XLSR 检测率仍高但虚警率明显上升，AASIST 因固定输入长度需对 2 秒窗做平铺而饱和，虚警率接近 1，表现为退化解码。因此解码器可迁移但性能受骨干质量约束，论文只称设计上检测器无关并在 3 个骨干上演示，不主张普适无关。主骨干按模式看呈优雅退化，全假最高，注入与快速切换依次下降，全真模式虚警为零，含真实语音模式的平均虚警约 0.053，而全局虚警被全假边界帧抬高。
有监督参照进一步界定差距。在独立重建的同协议实例上比较 4 个系统，条件是同一流水线解码与评分，只改变分数来源或是否训练定位头。下表保留了 3 个零样本骨干与一个全训练定位器，均为实际可运行策略。
| System | t-IoU | TDR | TFAR | MS-DCF | frame-EER |
|---|---|---|---|---|---|
| DF Arena 1B (zero-shot) | 0.871 | 0.963 | 0.285 | 0.220 | 0.051 |
| wav2vec2-XLSR (zero-shot) | 0.607 | 0.973 | 0.539 | 0.882 | 0.162 |
| AASIST (zero-shot) | 0.486 | 0.952 | 0.921 | 1.000 | 0.397 |
| WavLM localiser (trained) | 0.909 | 0.948 | 0.268 | 0.280 | 0.101 |
表后看新对照，全训练定位器交并比略高约 0.04，虚警相近，但主骨干在多说话人代价与帧等错误率上更低。轻监督单阈值参照与迟滞解码在统计上无区分，说明迟滞结构没有把已见标签的阈值优势丢掉。训练系统的优势集中在区间连贯性而非窗级可分性。
解码器每一步与真实对话验证分别说明什么？
第一个问题是解码器组件是否每步都必要，比较条件是主骨干与手设阈值配置下逐项叠加，指标方向仍是交并比越高越好、虚警率越低越好。下表是消融结果，包含单阈值基线与完整流水线，均为可运行策略。
| Configuration | t-IoU | TFAR |
|---|---|---|
| single-threshold | 0.877 | 0.272 |
| + median | 0.904 | 0.281 |
| + Gaussian | 0.897 | 0.289 |
| + hysteresis | 0.886 | 0.290 |
| + refine (full) | 0.893 | 0.286 |
表后解释是中值平滑带来最大单步增益，高斯与迟滞小幅损失交并比但换来区间连贯，边界精修收回大部分损失，各变体虚警率基本持平，说明虚警不由这些阶段决定。阈值附近小步扫描交并比只在有限范围内波动，结果不是刀锋敏感。
第二个问题是虚警行为能否迁移到真实对话，比较条件是解码器与归一化范围锁定自构造集，不在 AMI 上重拟合。下表是真实对话验证，包含无合成的纯真条件与单段短克隆注入条件。
| Condition | Backbone | t-IoU | TDR | TFAR |
|---|---|---|---|---|
| Real-only | DF Arena 1B | N/A | N/A | 0.017 [.000,.043] |
| Real-only | wav2vec2-XLSR | N/A | N/A | 0.004 [.000,.011] |
| Injected (F5-TTS) | DF Arena 1B | 0.033 | 0.093 | 0.023 |
| Injected (F5-TTS) | wav2vec2-XLSR | 0.041 | 0.207 | 0.126 |
| Constructed (Table I) | DF Arena 1B | 0.904 | 0.949 | 0.284 |
表后必须同时讲正反两面。纯真条件下两个有效骨干虚警均低于 2%，且低于构造集含真模式的虚警，跨骨干一致支持系统不 routinely 误标真实对话。但注入条件下检测率很低且呈双峰分布，多数片段完全漏检，少数检出的片段召回率超过一半，交并比随之很低。这与 F5-TTS 超出骨干训练分布有关，流水线在声学特征偶然接近已知伪造时能定位，否则完全不触发，因此短时域外注入仍受骨干域差距限制。
哪些数字是已命名的局限，不能当成部署承诺？
论文明确命名的局限包括三项。第一是边界精度，匹配区间对的平均位移约 3.53 秒，相对 12 到 18 秒的片段仍然偏大，且片段 F1 随交并比阈值提高从 0.50 跌至 0.31，说明并集交并比掩盖了边界不准。第二是全局虚警约 0.28，但需区分聚合对象，含真实语音模式的虚警低于 6%，纯真会议对话低于 2%，全局值被全假边界帧的标注产物抬高。第三是构造对话为拼接而非自然轮替，结论刻画的是已知条件下的定位机制，不是野外欺诈性能。
归因分析用神谕分数诊断虚警来源。骨干在干净真实窗上等错误率约 0.04，接近完美可分，但输入理想窗分数后虚警仍约 0.27，与真实 0.28 基本相同，说明虚警来自窗口与边界结构及伪造邻接真实段上的骨干行为，而非迟滞解码器本身。未验证的推测应使用可能表达，例如更强域内检测器可能改善短注入检出，但原文未测量延迟与算力成本，不能承诺实时性或成本下降。
复现应先锁定什么，再跑什么？
复现先做信息条件锁定。按原文取 ASVspoof 5 开发集，用固定模式、时长分布、响度标准、交叉淡化与 7 种编解码构造对话，并保存样本级时间戳清单。划分保持 54 段校准与 126 段测试，注意原文指出跨执行环境因文件枚举顺序导致说话人抽样无法逐字节复现，但模式与退化分布保持一致，因此应报告分布一致而非逐字节一致。
再跑流水线。滑窗取 2.0 秒窗与 1.0 秒步长，重叠相加到 10 帧每秒，平滑取中值 21 与高斯 1，迟滞阈值取 0.55 与 0.35，后处理删除短于 2.0 秒区间并合并小于 1.5 秒间隙。归一化用校准集 1 分位与 99 分位拟合，测试与 AMI 验证时冻结。评价按秒池化计算交并比、检测率、虚警率、边界位移与多说话人代价，全真与全假模式的相应指标记为不适用。代码当前可用，官方仓库已公开，可直接获取构造清单与评测脚本。权重下载与运行环境需按仓库说明另行确认。
何时值得尝试这种包裹冻结检测器的方法？
当已有话语级检测器可用但缺乏帧级标注，且任务是找出长对话中可疑句子的位置而非只给整段标签时，这种方法值得作为第一基线尝试。它的价值在于零重训练即可输出时间戳，并在相同解码器下横向比较骨干，为后续微调提供参照。若骨干在目标生成器上域差距大，例如真实对话中短时现代克隆注入，则定位呈全有或全无，仍需域内数据或微调检测器并加长注入 span 才能改善。
还需补的验证包括完整复现窗口级与长语音定位器的同条件对比，以及在更多真实对话与编解码条件下的稳定性统计。教学上应记住的核心判断是交并比高不等于边界准，虚警低不等于处处低，聚合对象与先验大小会改变代价含义。复述方法时坚持先走样本全程再谈公式，先讲冻结与搜索的边界再谈性能，才能避免把零样本误读为无需校准。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses