📄 部分伪造语音里的时间锚点与编辑敏感性：一项受控诊断

英文题目：Temporal Anchors and Editing Sensitivity in Partial Speech Spoofing: A Controlled Study

标签：#伪造片段定位 | #评测协议 | #数据增强 | #语音 | #鲁棒性

评分：5.7/10 | 创新 1/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

👥 作者与机构

  • Xiaosu Su：机构信息未在 arXiv HTML 中可靠披露
  • Yun Cao：机构信息未在 arXiv HTML 中可靠披露
  • Yiping Ni：机构信息未在 arXiv HTML 中可靠披露
  • Xiaowei Yi：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

部分伪造语音检测的输入是包含少量合成插入的整句语音，输出是每20ms单元是否为合成内容的判定与事件边界，难点是拼接不连续既可能来自良性剪辑也可能来自合成插入。论文冻结WavLM Large编码器，只训练轻量时序头，编码输出先经层归一化与128维投影，再送入残差时序卷积与线性sigmoid头得到帧级合成概率。帧目标对比硬标签与软占据率，音素与词单元在对齐区间内池化特征并按持续时间加权学习占据率，再按重叠积分投影回20ms单元，并以固定80ms网格与打乱音素宽度对照分离语言边界作用。另一条线在相同拼接增强数据上比较只增强与增强加边界外一致性损失，掩膜排除边界附近60ms并在掩膜外约束原始与平滑预测一致，用真真拼接度量误报、真伪拼接核心区度量漏检。在第6层特征上，音素单元在PS eval的帧等错误率（frame equal error rate，EER）为11.18%，差于软帧模型的9.59%。补充对照在开发集等错误率阈值下显示帧增强把纯真拼接误报从25.63%降到5.48%，而合成核心漏检从8.98%升到22.31%。原文未披露训练、推理或部署成本，结论限于测试的编码器层、头结构、对齐与插入方式。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

部分伪造要解决什么输入输出问题

输入是一段语音波形，输出是逐时间判断哪里是合成内容。难点在于部分伪造只替换很短的片段，周围仍是真实语音，检测器既要定位出合成插入，又要接受正常的剪辑和拼接。论文把拼接不连续看作模糊线索，因为它既可能来自良性编辑，也可能伴随合成材料。如果只看有没有断点，就会把良性拼接误报为伪造，或者把平滑处理过的合成漏掉。评价因此分为两类错误，一类是把真实拼接判成伪造的误报，另一类是把合成核心漏掉的漏检。

帧层面用等错误率衡量排序，事件层面用匹配后的精确率召回率衡量定位，固定阈值下的误报率和漏检率衡量部署行为。三者方向都是越低越好，但排序好不等于阈值固定后也好，这是后文反复检验的要点。

已有语料和路线把任务分成哪几块

论文沿用的语料包括部分伪造语料、中文部分伪造语料和面向生成式虚假信息的多编辑流程语料，它们在生成方式、语言和编辑条件上不同，使域内定位和跨域迁移成为两个不同要求。方法路线上，一边是帧检测加候选精修等多分辨率对策，另一边是自监督语音编码器加轻量时序头的探测路线。论文把自己放在诊断位置，不提出新编码器，也不声称所测的锚点或一致性设计普遍无效。

它与说话人验证和通用伪造基准放在一起讨论，是为了说明域内等错误率与域外可用性可能不一致。相关工作的比较保持输入目标一致，即都是在波形或自监督特征上做真假定位，而不是把类别不同的说话人验证胜负直接搬过来。

论文提出的三个诊断问题是什么

第一个问题是时间锚点能否在不牺牲短事件定位的前提下改善检测，锚点指音素或词这样的语言区间，先把区间内特征池化再预测。第二个问题是固定增强样本族之后，额外的一致性损失是否改变良性编辑误报与合成漏检之间的平衡。第 3 个问题是源内选出的分数和阈值能否迁移到其他语料和其他工作点。3 个问题环环相扣，因为锚点改变时间分辨率，增强改变样本暴露，一致性改变边界外约束，而跨语料和跨阈值决定这些改变在部署时是否还成立。

论文强调增强带来的改善不能直接归因于一致性，必须设置只增强不加一致性的对照。同样，拼接对照本身不分离某种唯一的因果伪影，只能暴露两类错误各自的变化。

整体流程如何从波形走到分数

流程从波形进入冻结的大规模自监督编码器开始，编码器输出 20 毫秒步长的特征。特征经过层归一化和投影到 128 维，再经过 3 个残差时序卷积，核大小为 5，空洞率为 1、2 和 4，最后线性层加激活输出伪造概率。单流时序头只有约 37 万可训练参数，编码器本身不更新。训练时有帧分支和单元分支两种预测方式，帧分支直接对每帧监督，单元分支先池化再预测区间占据率，最后再把区间概率按重叠积分投影回评价帧。

评价时用开发集选出的阈值把概率二值化，连续阳性帧组成预测事件，再与参考事件匹配。整个流程的输入处理代价主要在冻结编码器的前向计算，头的参数量和训练轮数都很小，目的是做受控比较而非追求最强精度。

帧目标与软占据率如何定义

论文区分官方硬帧目标和软占据目标。硬目标是每帧非 0 即 1，软目标是该时间单元内合成内容的时间占比。对评价单元取其覆盖时间上的合成指示函数的平均，就得到该单元的占据率。软帧目标由官方 10 毫秒标签转成伪造为正后平均得到，开发集评价仍用官方硬标签。预测分数的插值按物理中心对齐，首中心 12.5 毫秒、步长 20 毫秒，边缘做常数延拓，而不是按序列长度缩放。

这种写法保证时间对齐不因重采样漂移。软目标的作用是让短伪造在帧边界处以比例形式保留，而不是被硬判决吞掉。

\[q_{k}=\frac{1}{|C_{k}|}\int_{C_{k}}y(t)\,dt.\]

帧预测 × 单元预测： 帧预测指每 20 毫秒输出一个伪造概率，时间分辨率高但易抖动；单元预测指先在音素或词区间内池化特征再输出一个占据率，时间分辨率被区间平均抹平。二者搭配的理由是想用语言区间抑制偶发抖动，组合后帧路径保留定位细节，单元路径提供区间平滑，但也带来了短伪造被区间稀释的代价。

音素词单元与非语言对照如何计算

对齐区间由语音识别转写加强制对齐得到音素和词边界，未覆盖的空隙被切成不超过 80 毫秒的小段，缺失对齐时用 80 毫秒网格补齐并保留全部试验。单元模型把区间内声学特征池化后预测占据率，目标是该区间内合成指示函数的平均，训练用时长加权的二元交叉熵，使长区间在损失中占更大权重。单元概率通过与评价单元的重叠面积加权投影回帧，因此一个单元可以是部分伪造。

论文还做了两类对照，一类是把音素池化上下文拼到帧特征上，并与固定 80 毫秒上下文和复制帧对照比较，另一类是直接预测单元分数，再与固定 80 毫秒区间和随机打乱音素宽度但保留宽度集合的对照比较。打乱对照保留长度分布但移动边界与标签的对应关系，用来检验语言信息本身是否起作用。

\[\mathcal{L}_{\mathrm{unit}}=\frac{\sum_{j}|U_{j}|\,\mathrm{BCE}(p_{j},q_{j})}{\sum_{j}|U_{j}|}.\]\[s_{k}=\frac{1}{|C_{k}|}\sum_{j}|C_{k}\cap U_{j}|p_{j}.\]

真真拼接 × 真假拼接： 真真拼接指用真实宿主加真实施主构造拼接，只含编辑痕迹不含合成内容，用于测量良性编辑误报；真假拼接指用真实宿主加合成施主构造拼接，核心是合成内容，用于测量合成漏检。二者配对使用才能把拼接不连续这一模糊线索拆成两种错误方向，避免把误报下降直接当成检测变好。

配对拼接与一致性训练如何组织

训练把两种表示与 3 种训练条件交叉，帧和音素两种表示，分别对应原始数据、增强数据、增强加一致性 3 种条件。增强用真实宿主加真实施主构造真真拼接，用真实宿主加合成施主构造真假拼接，原始拼接还有平滑变体。训练用 5 毫秒和 20 毫秒平滑，评价额外用 50 毫秒做强度诊断。所有宿主和施主都来自训练划分，施主长度为 400 毫秒。

一致性条件在原始和增强监督损失之外，增加核心区域上原始与平滑版本输出分布的差异项，用分布差异度量，掩膜排除边界附近固定的 60 毫秒邻域，混合占据率监督增强边界，核心比较不变目标。增强与一致性模型见到相同的干预族，平滑不假设能去除全部编辑痕迹，核心掩膜也不保证编码器特征不受影响。

\[\mathcal{L}=\mathcal{L}_{o}+\lambda_{a}\mathcal{L}_{a}+\frac{\lambda_{c}}{|M|}\sum_{k\in M}\mathrm{JS}\!\left(\mathrm{Ber}(s_{k}),\mathrm{Ber}(s^{\prime}_{k})\right),\]

数据增强 × 一致性损失： 数据增强指把原始训练数据与同族拼接和平滑样本一起做监督训练，模型见到了更多编辑例子；一致性损失指在远离边界的核心区域要求原始与平滑版本输出分布接近。二者分工是前者提供样本暴露，后者提供边界外不变性约束，固定增强族后比较才能区分暴露效应与一致性约束本身的作用。

数据划分阈值与重复如何固定

部分伪造语料提供训练开发和已校验评价集，外部测试用全部中文测试语音和两个生成式部分伪造档案，档案代号只是档案划分，不是新的训练划分。探测实验用 3 个随机种子、8 轮、批量 32 和固定学习率的优化器，检查点和工作阈值都在开发集上选择，外部结果不重选轮数、不重校准阈值、不反转分数极性。时间锚点比较用在开发集上为硬帧选出的中间层，单元宽度对照和配对干预模型用最终层特征，因此绝对数值不能跨表直接比较。

另一中间层只作为表示比较报告。变异性报告的是跨种子的样本标准差，不是置信区间。补充对照用 48 个评价说话人的 500 个新案例共 4500 个波形，与训练开发不重叠，构造规则和开发集误报率网格在打分前冻结。由于此前已看过评价结果，评价被视为对冻结预测的回顾性验证，不是前瞻性未见基准。

时间锚点是否改善定位

在中间层特征上，音素单元的评价帧等错误率高于软帧，论文报告为 11.18% 对 9.59%，事件 F1 和短事件召回也更低。上下文拼接没有一致增益，加音素上下文、复制帧和固定 80 毫秒上下文的帧等错误率彼此接近。最终层同损失下，音素、打乱宽度和固定网格的评价等错误率分别为 11.237%、11.977% 和 11.189% 左右，音素优于打乱但不优于固定网格，因此不能分离出语言信息。短于 100 毫秒的事件在完整开发集上，软帧、音素和词模型的召回率分别约为 51.15%、12.81% 和 9.05%。200 毫秒有界端点修正的诊断显示音素与 80 毫秒网格接近，说明结构本身限制了短事件恢复。这意味着区间平均提高了部分事件精确率，但以大幅丢失短事件为代价。

同一中间层下，软帧与音素单元的评价帧等错误率列在一起，阈值与特征层都相同，可以看出锚点有没有改善排序。

条件指标基线本方法比较对象
中间层评价帧等错误率软帧 9.59%音素单元 11.18%音素高于软帧

音素单元等错误率更高，说明区间池化没有带来排序增益。结合短事件召回大幅下降，可以判断锚点以牺牲短事件为代价，而且固定网格对照并不差，因此不能把结果解读为语言先验有效，这个结论只适用于所测的对齐、头结构和层选择。

帧等错误率 × 事件定位： 帧等错误率指把所有 20 毫秒单元 pooled 后计算的分类阈值无关指标，反映排序好坏；事件定位指把连续阳性帧组成事件再与参考事件按交并比匹配，计算精确率召回率与短事件召回率。二者搭配是因为排序变好不等于边界变准，论文用固定阈值下的事件指标来检验分类增益是否真正转化为定位增益。

增强与一致性如何改变两类编辑错误

补充对照在开发集等错误率阈值下，帧模型的真实拼接误报从 25.63% 降到 5.48%，而合成核心漏检从 8.98% 升到 22.31%，配对变化约为负 20.15 个百分点和正 13.33 个百分点。音素模型方向相同。校准到开发集 5% 误报率时，增强使合成核心漏检上升，帧约 13.31 个百分点，音素约 16.48 个百分点；在开发集 1% 误报率时，变化约为 1.11 和 1.85 个百分点，区间跨过零，既不能确认增加也不能确认等价。200 例的外部跟进保留了误报下降，但漏检增加的区间包含零。

一致性相对增强没有统一改善，在等错误率阈值下帧的误报上升而音素的误报下降，漏检方向相反。构造案例的排序指标可以变好而固定阈值漏检变多，说明排序与部署行为可能分离。

下面展示补充对照在原始阈值下的完整结果，比较对象是实际可运行的原始、增强和增强加一致性策略，基线为原始模型。

这张大表列出帧与音素在原始、增强和增强加一致性 3 种训练下的未编辑误报、真实拼接误报和合成核心漏检，阈值都固定为开发集等错误率阈值，同层特征同构造规则。

UnitTrainingGGGGFGF50
FrameOriginal2.8925.638.987.18
FrameAugment2.385.4822.3120.72
Frame+Consistency3.236.4120.5219.60
PhoneOriginal2.3727.8013.1214.76
PhoneAugment1.974.3329.9529.61
Phone+Consistency1.993.4731.6631.83

增强大幅降低真实拼接误报，但合成核心漏检明显上升，一致性在帧和音素上方向不一致，没有统一增益。50 毫秒平滑下的漏检同样上升，说明平滑诊断没有消除该代价，原始模型在漏检上反而更低，这个结论依赖所选阈值。

这张小表只摘出开发集等错误率阈值下帧增强相对原始的一行对照，误报从 25.63% 降到 5.48%，漏检从 8.98% 升到 22.31%，同层同阈值下比较。

工作点模型误报变化漏检变化适用条件
开发集等错误率阈值帧增强相对原始真实拼接误报 25.63% 降到 5.48%合成核心漏检 8.98% 升到 22.31%同层同阈值

在开发集等错误率阈值这一行，增强降低了真实拼接误报，同时合成核心漏检明显上升。外部小样本跟进中漏检区间跨零，说明语料和样本量会改变结论的确定性，不能把这一单工作点下的上升推广到所有部署点。

源内选择 × 源锁定评测： 源内选择指只用部分伪造开发集选层、选检查点和定阈值；源锁定评测指把这些选择冻结后直接搬到外部语料上，不用外部标签重选或重校准。二者组合的意义是模拟部署时阈值和模型已固定的情况，用来检验开发集上的排序在跨语料和跨工作点下是否还成立。

源内排序能否决定跨语料行为

中间层在开发集上最好，但在评价集和两个外部档案上另一中间层更好，而前者在中文测试集上等错误率高达 56.582%。这就是排序反转。在保存的开发集阈值下，3 层的误报漏检对在不同语料上差异很大，非匹配的复现模型在中文集上等错误率更低但在其他档案上并非一致最优。论文保留源锁定结果，不用外部标签重选层。结论是源域排序不能决定跨语料行为，阈值迁移后目标域误报率并不固定。

三层特征在固定开发集阈值下的跨语料误报漏检对列在一起，源选择锁定且不重校准，可以看出排序有没有迁移。

语料指标最终层中间层 6中间层 12
中文测试集固定阈值误报漏检对63.92/13.8080.96/20.8563.86/11.03%
外部档案 A 与 B固定阈值误报漏检对28.26/56.00 与 39.07/38.1044.16/39.06 与 57.77/24.4224.14/55.62% 与 35.64/35.77%

开发集最优层在外部不再最优，而且不同语料的最优层不同，说明层排序随语料变化。固定阈值导致外部误报偏高，跨语料差异混合了语言合成和编辑多种偏移，不能归因于单一因素，开发集最优在中文集上明显变差。

分类增益能否保证边界变好

论文用带偏移头的诊断检验分类与定位的关系。中间层音素偏移损失使评价等错误率从 11.18% 降到 10.69%，但用同一检查点修正后事件 F1 从 50.47% 降到 46.41%，每个种子都下降，边界误差变差，开发集比较也从 68.03% 降到 62.23%。这说明分类分数排序的改善不等于边界定位的改善。另一失败条件是事件精确率上升常伴随召回下降，词单元事件精确率高于帧但召回和短召回更低。尚未评测的范围包括连续参考下的区间等错误率和候选精修阶段，论文明确未审计复现模型的精修部分。因此不能用等错误率下降直接宣称定位变好，必须同时报告固定阈值下的事件指标。

结论在什么条件下才成立

结论只适用于所测的编码器、层、对齐、头结构和编辑构造。对齐误差会混淆池化效果，跨语料偏移混合语言合成和编辑差异，非语音和对齐失败试验仍包含在内。3 个种子只覆盖训练变异，供体复用、400 毫秒插入长度和逐点区间限制推断强度。网格标签事件省略连续参考的区间等错误率，复现模型的候选和耗时未审计。评价是回顾性的，因为此前已看过评价结果，冻结预测后不再改阈值和检查点。

容易误解的是把排序指标改善当成部署改善，论文用固定阈值漏检上升和事件 F1 下降证明二者可分离。另一误解是把真真与真假对照当成找到唯一因果伪影，原文明确它们只对照两类错误，不分离唯一因果。

复现第一步做什么与资源状态

复现从固定列表、标签、检查点、预测、指标代码和事件匹配的哈希开始，保持随机种子和确定性计算，音频用 16 千赫单声道、20 毫秒中心和浮点头，不做测试时增强。论文提供的发布包包含入口但不含原始数据、权重、凭证或私有路径。第三方链接当前可达并返回成功状态，但它只证明论文提到该链接，不证明作者已开源，因此这里不写作者资源已公开。复现时先跑开发集选阈值，再冻结阈值跑评价和外部集，不要用外部标签重选。

关键超参数是 8 轮、批量 32、固定学习率和权重衰减，以及 5 毫秒和 20 毫秒训练平滑、60 毫秒核心掩膜和 80 毫秒网格。信息条件是阈值和检查点必须来自源内开发集，跨语料时保持锁定。

什么时候值得尝试还需补哪项验证

当应用中良性剪辑误报是主要痛点且能接受在常用阈值下复核合成漏检时，值得尝试同族拼接增强；当短伪造占比高或边界精度关键时，不宜直接采用音素词区间平均。一致性约束在当前设计下没有统一增益，是否采用要看具体表示和阈值。复现第一步是重跑开发集阈值选择和补充对照的误报漏检对，确认误报下降与漏检上升是否同现。还需补的验证包括更多说话人和更长插入、连续参考下的定位指标、以及在新语料上预先锁定阈值的前瞻性测试。只有补齐这些，才能判断增强的代价在目标工作点和目标语料下是否可接受。

📎 论文与评分元数据

排名：前50% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递