📄 已知来源不均衡下的音视频伪造检测：共享与私有分流如何分工
评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Qiwu Wen：机构信息未能在本次解析中与作者逐人可靠绑定
- Jahangir Alam：Luqia Technologies；405 Ogilvy Ave., Suite 101；Montréal, Québec H3N 1M3, Canada
📌 核心摘要
读者需要理解的对象是同时包含声音与人脸视频的输入，输出是对整段视频为真或为假的二分类，假的定义是音频流、视觉流或两者任一被篡改。困难在于两个来源的伪造线索分布不同，FakeAVCeleb偏重按模态划分的伪造类型，LAV-DF偏重局部时间语义篡改与同步异常，训练样本量不均衡时单一共享路径容易偏向多数源。音频先提取26维对数滤波器组特征并按四帧堆叠成104维后经线性层映射为256维词元，视频经WTConv/Res2Net-CBAM前端编码为256维词元，两类词元对齐到相同序列长度并各自拼接可学习的[CLS]词元。对齐后的音视频词元在进入首个多尺度跨模态变换器编码器（MSCT）区块前按来源标识路由，一路进入跨源共享流，一路进入对应来源的私有流，两条流各自保留多尺度自注意力、差分跨模态注意力和前馈运算做跨模态差异建模。共享流输出的[CLS]级共享表示与所选私有流的[CLS]级私有表示送入门控残差融合模块，共享的门控网络结合有界来源调制系数控制注入强度，将私有证据以残差形式注入共享表示并由融合分支给出主预测。相对已有方法MSCT的关键差异是差异建模发生在路由之后的两条独立路径，而不是所有样本共用同一差分注意力算子。在FakeAVCeleb与LAV-DF构成的1:9采样协议下，融合分支的宏平均AUC（两个来源AUC的算术平均）为0.9664，高于MSCT基线的0.9342，来源间差距也有所缩小。结论只适用于来源标识已知且仅有两个来源的受控组合，推理依赖正确来源标识，原文未说明训练设备型号与时长及推理部署代价。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
音视频伪造检测要判断什么，输入和输出是什么
这篇论文做的是二分类：给定一段视频的音频输入和视觉输入，判断整段视频是真还是假。只要音频流、视觉流或两者中任意一处被篡改，就判为假。输入侧，音频是 16 kHz 单声道波形转成的对数滤波器组特征，按 4 帧堆叠成 104 维帧特征；视觉是人脸帧序列，经前端编码成 token 序列。两路 token 会对齐到相同长度，并在开头各加一个可学习的分类 token，也就是文中所说的[CLS] token，后续分类只看这两个位置的最终表示。
理解任务要抓住必须保留的信息：脸部动态、语音内容与音色、以及音画在时间上的对应关系。真实攻击可能只改声音、只换脸，也可能同时改并破坏同步，所以检测器需要同时利用模态内痕迹和跨模态不一致。评价时用 AUC 衡量把假样本排在真样本前面的能力，用准确率衡量在 0.5 阈值下的判定对错。论文把重点放在多来源训练上，这就引出下一个问题：不同数据集的伪造线索分布不同，混合训练会发生什么。
FakeAVCeleb × LAV-DF： FakeAVCeleb 按模态定义篡改类别，强调假音频、假视频和联合篡改的模态级模式，LAV-DF 聚焦短时局部内容篡改，强调语义改变和时间同步不一致，二者搭配构成异质多来源，组合后能检验模型是否同时处理模态级伪造和局部时间不一致。
已有方法为何多用统一通路，本文与它们比什么
已有音视频伪造检测路线大致有 3 类。第一类是联合建模音频和视觉流，捕捉互补的篡改线索；第二类显式建模跨模态差异，例如 MRDF 对模态内和跨模态表示做正则以保留差异，AVFF 研究特征融合，上下文跨模态注意力捕捉局部不一致；第 3 类是 MSCT，用多尺度自注意力加差分跨模态注意力强化差异建模。原文把 MSCT 作为骨干，并保持其内部的多尺度自注意力、差分跨模态注意力和前馈操作不变。
这些方法一般让所有样本走同一条统一通路。在单一或均衡数据上这是合理的，但在来源异质且不均衡时，同一组注意力参数要同时拟合可迁移的伪造证据和来源特有的同步、采集或压缩痕迹，容易互相纠缠。另一条相关路线是共享与私有表示学习，例如域分离网络把表示拆成共享和私有部分，本文借用这种分解思想，但实现点不同：它在第一个 MSCT 块之前就分流，让两条流各自做差异建模，并在特征层做门控残差融合，而不是压制来源特有信息。
比较时要注意条件对齐：本文的基线是 MRDF 的交叉熵版本和间隔版本以及 MSCT，都用相同的固定数据清单和相同的评测划分，检查点都按验证集宏平均 AUC 选择。MRDF 用 AV-HuBERT 风格前后端，MSCT 与本文方法共享线性音频编码器和 WTConv 加 Res2Net-CBAM 视觉前端，因此前端差异本身也是比较条件的一部分。
不均衡多来源已知来源设定具体难在哪里
论文把问题形式化为已知来源的不均衡多来源检测。训练集是多个来源数据集的集合，每个样本记为音频、视频、二值标签和来源标识。来源标识在训练和已知来源推理时都由外部直接给定，模型自己不推断来源。目标是在来源异质且数量不均衡时仍保持稳健，未知来源或未见域推理不在本文范围内。
难处来自两方面。第一是异质：FakeAVCeleb 按模态组织篡改类别，线索偏向身份替换、合成语音、声音转换或音画失配；LAV-DF 是局部时间内容篡改，短的音频、视觉或联合片段被改以改变语义，线索偏向局部语义和同步不一致。第二是不均衡：当一个来源样本远多于另一个来源，单一共享检测器容易偏向占优来源的特有模式，少数来源的线索被欠表示。
举例说明，设想多数样本来自以整体音画失配为主的来源，模型可能学会依赖全局同步偏差做判断；当少数来源的伪造只出现在很短的时间片段且全局同步大致正常时，这种依赖就会漏检。论文要解决的正是如何决定哪些不一致模式应跨来源共享，哪些应作为来源相关残差单独保留。
整体流程如何让一个样本走完三条分支
沿一个样本走一遍流程会更清楚。音频波形先变成堆叠后的 104 维特征，经线性层投影到 256 维；视频帧经视觉前端编码成 256 维 token；两路再对齐到共同长度 T 并各自在开头拼接[CLS]，得到形状为(T+1)×256 的音频序列和视觉序列。这是进入共享与私有分流之前的公共起点。
接着是 Pre-MSCT 分流，也就是在第一个 MSCT 块之前、即多尺度自注意力和差分跨模态注意力之前做路由。同一份[CLS] 增强后的 token 被送入三处：一是共享适配器加共享 MSCT 堆叠，二是按来源标识选中的私有适配器加私有 MSCT 专家，三者都保留完整的注意力与前馈结构，只是参数是否跨来源共享不同。共享流输出拼接后的共享[CLS] 表示，私有流输出对应来源的私有[CLS] 表示。
最后是汇合与输出。门控残差融合模块把选中的私有表示经投影后，按特征维度的门控加到共享表示上，得到融合表示。模型同时有 3 个分类头：共享分类器看共享表示，私有分类器看私有表示，融合分类器看融合表示。融合分支是主预测分支，共享和私有分支只作为诊断输出，用来分析各自的作用。
共享流和私有流各自处理什么，如何隔离梯度
共享流的目标是建模跨来源可复用的证据。它对音频和视觉 token 各用一个残差适配器做轻量调整，再送入共享 MSCT 堆叠。适配器形式是原 token 加上缩放后的上投影与下投影变换，共享 MSCT 内部仍是多尺度自注意力、差分跨模态注意力和前馈层。最终把音频侧和视觉侧的[CLS] 输出拼接起来，得到共享表示。这个表示同时接受共享分类监督，是后续融合的基准。
私有流为每个来源维护专用的私有适配器、私有 MSCT 专家和私有分类器，目标是保留来源相关残差变化，例如同步模式、采集特性或数据集特有痕迹。论文明确不假设私有表示对应纯语义伪造因素。为避免私有目标的梯度污染共享通路，私有适配器的输入是经过停止梯度的原始 token，即前向数值不变但反向不把梯度传回公共起点。选中的私有专家同样是完整的 MSCT 堆叠，但参数不跨来源共享。
共享表示的构造方式可写成音频与视觉[CLS] 输出的拼接。
\[h_{s}=[H_{a}^{s,[\mathrm{CLS}]};H_{v}^{s,[\mathrm{CLS}]}].\]共享流 × 私有流： 共享流处理跨来源可复用的音视频不一致证据，私有流保留同步方式、采集压缩和篡改痕迹等来源相关残差，二者搭配是为了不让占优来源的特有模式污染可迁移证据，组合后由融合分支在共享表示上叠加受控的私有修正。
这种设计的代价是参数量和实现复杂度随来源数增长，尽管每个样本推理时只激活一条私有路径。好处是两条流在不同的特征空间各自做差异建模，而不是挤在同一组差分注意力参数里。
门控残差融合如何决定注入多少私有证据
融合发生在[CLS] 特征层，而不是在 logit 层投票。先为每个来源学一个标量系数，经 Sigmoid 压缩再乘以上界得到有界调制系数，初始值设为 0.1，上界为 1.0。这个系数控制该来源总体上允许注入多少私有修正，避免对来源特有修正的过度依赖。
\[\beta_{d}=\beta_{\max}\cdot\mathrm{sigmoid}(\gamma_{d}),\]然后计算特征维度的门。门控多层感知机本身跨所有来源共享，它的输入是停止梯度的共享表示与选中的私有表示的拼接，输出经 Sigmoid 后再乘以全局门缩放和来源系数。也就是说，来源身份不改变门网络的参数，只通过输入的私有特征和该来源的系数影响门的取值。
\[g_{d}=\alpha_{g}\beta_{d}\cdot\mathrm{sigmoid}\left(\mathrm{MLP}([\mathrm{sg}(h_{s});h_{p}^{d}])\right),\]训练时的融合特征等于停止梯度的共享表示，加上门与私有投影的逐元素乘积；推理时用未截断的共享表示，前向数值相同，只是训练时隔离了融合目标对共享残差路径的梯度。
\[h_{\mathrm{fused}}^{\mathrm{train}}=\mathrm{sg}(h_{s})+g_{d}\odot(W_{p}h_{p}^{d}+b_{p}),\]多尺度自注意力 × 差分跨模态注意力： 多尺度自注意力在各自模态内捕捉不同时间尺度的依赖，差分跨模态注意力用模态内注意力减去跨模态查询条件化的注意力来突出模态间不一致，二者同处一个 MSCT 块内分工，前者建模上下文，后者提炼伪造线索，组合后形成跨模态差异建模。
这种写法把共享门控的灵活性与来源系数的约束结合起来：门能按特征维度精细选择，系数则从来源层面限幅。论文还用系数平方和正则 discouraging 过大的来源修正，用方差下限正则防止私有表示坍缩，用正交正则鼓励共享与私有不冗余，但原文也说明这些正则不保证完全解耦。
三个预测头和来源分类器各自受什么监督
3 个预测头分工明确。共享分类器只看共享表示，私有分类器只看选中来源的私有表示，融合分类器只看融合表示，各自输出实值 logit 再经 Sigmoid 得到概率。推理时的主预测是融合 logit 经 Sigmoid 后的概率，共享和私有输出只用于诊断分析，都取自按融合分支选出的同一检查点，因此诊断比较不会因选了不同早停点而失真。
训练时 3 个分支各有一个二值交叉熵损失，分别监督共享、融合和私有分支，使诊断分支本身也保持判别力。另有 4 个正则项：共享与私有表示的正交项、私有表示的方差下限项、来源系数的平方和项，以及用域分类器预测来源标识的交叉熵域损失。域损失的作用是让私有表示保留来源相关信息，而不是被迫与共享表示相同。
来源标识 × 门控残差融合： 来源标识在训练和推理时都由外部给定，用于选择私有适配器、私有专家、私有分类器和调制系数，门控残差融合用共享门控网络加有界的来源系数决定注入多少私有特征，二者搭配使门控形状跨来源共享而强度来源相关，组合后实现可控的特征级修正。
需要提醒初学者：私有分支弱不代表它无用。论文的预期是私有流做残差修正而非独立检测器，分支诊断正是为了验证这一点，而不是把私有分支当成可部署的单模型。
训练目标如何组合，预热和梯度隔离做了什么
总体目标是预测损失加正则损失。预测损失包括共享损失、加权的融合损失和加权的私有损失，正则损失包括正交、方差、系数和域损失的加权和。原文给出的损失权重依次为 0.5、0.1、0.001、0.001、0.001、0.1，分别对应融合、私有、正交、方差、系数和域项。MSCT 基线保留其多模态、单模态和对齐目标，而本文方法关闭了这些辅助单模态和对齐损失，因此两者的监督并不完全相同。
\[\mathcal{L}=\mathcal{L}_{\mathrm{pred}}+\mathcal{L}_{\mathrm{reg}},\]优化过程有一个一轮的共享流预热：此阶段关闭私有计算，融合损失、私有损失和私有正则都置零，只优化共享分支。预热后打开全部配置项，但停止梯度继续把共享通路与私有目标和融合目标的梯度隔离开。换句话说，共享表示的前向值参与融合，但融合和私有的反向梯度不直接更新共享路径之外的公共起点，这种设计是为了先稳定可复用证据再学残差修正。
训练用 Adam，批量为 1 并累积 4 步，16 位混合精度，最多 30 轮，早停耐心为 10，权重衰减为 1e-4。MRDF 学习率为 2e-4，MSCT 与本文方法为 1e-4。采样是放回加权采样，来源比例在每轮期望意义上成立，不保证每个小批量都精确满足比例。
数据划分、采样比例和指标如何定义
实验用 FakeAVCeleb 和 LAV-DF 两个来源。验证集来自来源域内数据用于选检查点，最终评测用 LAV-DF 官方测试集和 FakeAVCeleb 的留出类别均衡划分，每个篡改类别 100 个样本。所有方法用相同的固定数据清单，但模型前端不同：MSCT 与本文方法共享低层前端，MRDF 用复现的 AV-HuBERT 风格前后端。
为检验不均衡下的稳健性，论文构造了两种受控来源采样协议。比例在每轮样本数上按期望执行，类别平衡开启时还在每个来源内按期望平衡真假样本。两种协议不仅比例不同，LAV-DF 池大小和每轮样本数也不同，因此只能在同一协议内比较方法，不能跨协议直接比绝对值。
下表是两种采样协议的构成，比例指 FakeAVCeleb 与 LAV-DF 每轮样本数的期望比例。表前说明比较问题：它只交代训练时两来源的配比与规模，不代表测试分布，指标方向见后续结果表。
| Setting | Pool (FAC/LAV-DF) | Samples/epoch | Ratio |
|---|---|---|---|
| R13 | 320 / 960 | 1,280 | 1:3 |
| R19 | 320 / 2,880 | 3,200 | 1:9 |
指标方面，AUC 衡量跨阈值的排序能力，宏平均 AUC 是两来源 AUC 的平均，是主要排序指标，因其不受来源样本量主导；最差来源 AUC 取较小者，衡量短板；AUC 差值的绝对值衡量两来源均衡程度，越小越均衡；宏平均准确率在 0.5 固定阈值下计算。聚合指标先用未舍入值计算再取整显示。
两种不均衡配比下主结果支持什么结论
主结果要回答的问题是：在同一采样协议和相同评测划分下，共享与私有分流加门控融合是否比统一通路的 MSCT 和 MRDF 更均衡。公平条件是相同数据清单、各自复现配置下的检查点选择都按验证集宏平均 AUC，本文方法的主输出取融合分支。指标方向是 AUC 和准确率越高越好，来源 AUC 差值越小越好。
| 配比 | 方法 | FakeAVCeleb AUC | LAV-DF AUC | 宏平均 AUC | 宏平均准确率 | 最差 AUC | AUC 差值 |
|---|---|---|---|---|---|---|---|
| 1:3 | MSCT | 0.9028 | 0.9564 | 0.9296 | 0.8503 | 0.9028 | 0.0537 |
| 1:3 | 本文融合分支 | 0.9565 | 0.9557 | 0.9561 | 0.9047 | 0.9557 | 0.0008 |
| 1:9 | MSCT | 0.8911 | 0.9773 | 0.9342 | 0.8586 | 0.8911 | 0.0863 |
| 1:9 | 本文融合分支 | 0.9486 | 0.9843 | 0.9664 | 0.9174 | 0.9486 | 0.0358 |
上表整理了原文报告的核心数字，MRDF 两版本在两配比下宏平均 AUC 约在 0.59 至 0.67 之间且 LAV-DF 接近 0.5，明显弱于 MSCT 与本文方法，故此处聚焦与更强的 MSCT 对照。在 1:3 下本文方法把宏平均 AUC 从 0.9296 提高到 0.9561，来源差值从 0.0537 降到 0.0008；在 1:9 下宏平均 AUC 从 0.9342 提高到 0.9664，差值从 0.0863 降到 0.0358。1:3 下 FakeAVCeleb 从 0.9028 升到 0.9565 而 LAV-DF 基本持平，1:9 下两来源都有提升，因此宏平均提升不是以牺牲 LAV-DF 为代价。
宏平均 AUC × 最差来源 AUC： 宏平均 AUC 是两个来源 AUC 的算术平均，衡量整体排序能力且不受样本量主导，最差来源 AUC 是两个来源中的较小值，衡量短板是否被拖累，二者搭配是为了同时看平均提升和均衡性，组合后能判断提升是否以牺牲少数来源为代价。
限制也要讲清：结论只在两来源、已知来源标识、受控采样协议和本文评测划分下成立。MRDF 结果差可能部分来自前后端与目标配置不同，不能简单理解为融合思想本身无效。未胜出项是 LAV-DF 在 1:3 下本文方法与 MSCT 基本相当，说明提升主要来自少数来源的恢复而非所有条件全面碾压。
分支诊断和消融如何说明私有流只是残差修正
分支诊断要回答：共享、私有、融合 3 条分支各自能做什么。它们都取自同一个按融合分支选出的检查点，因此比较的是同一组参数下的不同输出头。原文的判断是共享分支本身已有较强判别力，私有分支单独较弱，尤其在 1:3 下，融合分支在两配比下都取得最好的宏平均和最差来源 AUC。这支持把私有流理解为残差修正而非独立检测器。
消融在另一个 R19 批次上进行，该批次完整模型宏平均 AUC 为 0.9641，与主结果的 0.9664 略有不同，因此只能在该批次内比较变体。去掉域损失后宏平均从 0.9641 降到 0.9542、最差从 0.9456 降到 0.9390，说明显式来源监督有助于私有流保留有用的来源相关信息；去掉预热后降到 0.9566 和 0.9363，说明先稳定共享流有益；去掉门控融合后降到 0.9595，支持特征级注入的价值；去掉正交正则只轻微下降到 0.9613，说明它是温和的辅助正则。
| 条件 | 宏平均 AUC | 最差 AUC | AUC 差值 | 训练与优化条件 |
|---|---|---|---|---|
| 完整模型 R19 批次 | 0.9641 | 0.9456 | 0.0370 | 1 轮共享预热，Adam，批量 1 累积 4 步 |
| 去掉域损失 | 0.9542 | 0.9390 | 0.0304 | 其余相同，私有来源监督关闭 |
| 去掉门控融合 | 0.9595 | 0.9440 | 0.0310 | 其余相同，无私有残差注入 |
| 去掉预热 | 0.9566 | 0.9363 | 0.0407 | 其余相同，直接联合优化 |
上表把消融数字与训练条件放在一起，是为了强调消融比较依赖相同批次和相同优化预算。未评测的范围包括门缩放、系数上界和适配器维度的敏感性，以及私有表示是否混入压缩或预处理捷径，原文指出需要域探针、门统计和误差分析进一步验证。
哪些条件下结论不成立，还有什么没有验证
第一个限制是来源标识的依赖。融合和私有推理都需要正确的来源标识来选择私有适配器、专家、分类器和系数，自动或软路由以及仅用共享分支的回退方案都还是未来工作。如果部署时来源未知或标识给错，本文报告的融合性能不能直接套用。
第二个限制是私有表示的语义不清。私有流可能同时编码伪造线索与采集、压缩、预处理或篡改偏差，正交、方差和域损失只鼓励互补，不能保证完全解耦，也不能消除数据集特有捷径。论文明确需要进一步的域探针、门统计和误差分析，这意味着不能把私有流的提升解读为学到了纯净的语义伪造因素。
第 3 个限制是评测范围。实验只在 2 个数据集和两种采样协议下进行，需要更多来源和更广泛的多来源基线。私有专家数量随来源数增长，虽然每次只激活一个，但在大规模多来源下的参数与维护成本仍未测量。推理延迟、显存占用和输出帧率等部署成本原文没有报告，也不能从 AUC 提升中推断。
要复现应从哪一步做起，需要哪些关键设置
复现第一步是固定数据清单与划分：拿到 FakeAVCeleb 的类别均衡留出集和 LAV-DF 官方测试集，用来源域内验证集按主输出的验证宏平均 AUC 选检查点，并按期望比例做放回加权采样。采样比例要按每轮样本数实现，而不是强求每个小批量精确满足比例，类别平衡也按期望在每个来源内平衡真假。
模型侧先复现 MSCT 骨干：音频线性投影到 256 维，视觉 WTConv 加 Res2Net-CBAM 前端到 256 维，对齐到共同长度并加[CLS]，堆叠多尺度自注意力、差分跨模态注意力和前馈层。本文方法的改动在第一个 MSCT 块之前加共享与私有适配器与专家，融合用共享门控加有界来源系数，损失权重按 0.5、0.1、0.001、0.001、0.001、0.1 设置，系数上界 1.0、初值 0.1，先做一轮共享预热。
| 项目 | MRDF | MSCT 与本文方法 | 来源说明 |
|---|---|---|---|
| 优化器与早停 | Adam，最多 30 轮，耐心 10 | Adam，最多 30 轮，耐心 10 | 原文训练配置句 |
| 学习率与衰减 | 2e-4，衰减 1e-4 | 1e-4，衰减 1e-4 | 原文训练配置句 |
| 批量与精度 | 批量 1 累积 4 步，16 位混合精度 | 批量 1 累积 4 步，16 位混合精度 | 原文训练配置句 |
| 预热 | 无 | 本文方法 1 轮共享预热，关闭私有与融合损失 | 原文预热描述句 |
上表把优化与预热条件集中对照，是为了让复现时先对齐预算再比方法。关于资源可用性，本次没有发现经 HTTPS 验证的作者代码、模型或数据资源，因此不能声称代码或权重已公开，只能按论文文字复现。还需要补的验证是更多随机种子下的波动、门值分布与误差案例，以及来源标识噪声下的鲁棒性。
什么时候值得尝试这个思路，如何一句话记住它
当训练数据来自少数几个已知来源、来源间篡改类型或采集处理差异明显、且某个来源样本远少于其他来源时，这个思路值得尝试。它的核心是用共享流保住可迁移的音画不一致证据，用私有流吸收来源特有残差，再用受控的门控残差把后者小幅注入前者。诊断分支的读法也要记住：共享强、私有弱、融合最强，恰好说明私有是修正项。
不适合的情况同样明确：来源未知、来源数量很大、私有专家维护成本敏感，或需要严格解耦与可解释保证时，不应直接照搬本文结论。此时可以先只用共享分支做回退基线，再评估是否需要私有修正。
一句话总结：已知来源标识下，在 MSCT 之前分出共享与私有两条差异建模通路并做有界门控融合，能在本文的两来源不均衡协议下提高宏平均和最差来源 AUC，但结论依赖正确来源标识且只在已评测的划分与协议内成立。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses