短伪造易被全局平均淹没：MS-GNN 用窗口图与双向多尺度保留局部证据

英文题目：MS-GNN: Multi-Scale Graph Neural Network for Detecting Local Audio-Visual Forgery Traces

会议身份：conference:interspeech:2026:conference-paper-id:wang26g_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#图神经网络 #多任务学习 #音视频 #音频深度伪造检测

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jianrong Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Hengyang Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Jie Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Ju Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Qi Li：机构信息未能从会议 PDF 纯文本可靠映射
• Ying Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Jing Zhao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为音视频流，输出为视频级真伪判决与窗口级可疑证据，难点在于短时局部篡改极易被全局池化稀释为背景噪声。所提多尺度图神经网络（Multi-Scale Graph Neural Network，MS-GNN）先将流切分为400毫秒非重叠窗口并用TimeSformer与WavLM编码音视频特征，再经3层堆叠图层完成窗口交互与层级精炼，最后经注意力池化得到视频表示。该链条中窗口交互负责时序与跨模态对齐，自底向上聚合负责构造8窗片段语义，自顶向下精炼负责回注上下文以增强局部证据。与全局融合基线相比，关键差异在于显式保留窗口分辨率并用双向层级传递替代一次性池化。在LAV-DF上MS-GNN取得98.12%准确率与99.81%曲线下面积，超越DiMoDif、Referee等5种基线；在FakeAVCeleb上准确率93.20%低于MRDF的94.05%，但曲线下面积96.75%为最高。该结论更适用于含短时局部伪造的视频，在以全局伪造为主的数据上准确率优势消失。端到端延迟主要由特征提取主导，轻量图聚合模块本身仅需0.123G浮点运算量。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文研究的输入是一段同时包含画面与声音的说话人视频，输出是整段视频为真还是伪造的二分类判决，外加每个短窗口的可疑分数。窗口分数用来指示哪几百毫秒可能被改过，支持后续取证分析。

对刚入门的同学，关键是理解局部伪造的含义。攻击者不重生成整段视频，只替换一两个词的发音与口型，例如把肯定句改成否定句，大部分内容仍是真实的。此时如果模型先把全片特征平均再判决，短伪造对应的异常帧只占很小比例，平均后就会被真实上下文淹没。

原文用信号与噪声的比喻说明这一点。把短时篡改看作目标信号，把真实上下文看作背景噪声，全局池化降低了有效信噪比。因此方法必须保留两类信息，一是细粒度的局部不一致证据，二是足以判断该不一致是否异常的上下文参照。

论文的输出设计也围绕这两点，既要视频级准确率，也要窗口级证据。资源状态方面，本次收到的证据中未发现完成验证的代码与数据链接，原文只写源代码将公开，因此不能说代码当前可用，复现时只能依据论文文字重建流程。

已有路线为什么在短伪造上会失手？

早期检测器多为单模态，只看人脸伪影或只听音频异常，缺少跨模态印证，泛化较差。多模态路线开始显式建模音画一致性，例如测量跨模态差异、做对比对齐或直接特征融合。这类方法在整段伪造上有效，但多数在全局池化后做 1 次判决，没有显式的时序层次。

另一类高层语义路线利用话语内容差异或外部参考片段查身份不一致，需要语义可分或额外参考数据。在无参考且伪造痕迹非语义、很细微时，这类方法可能漏检。正则化路线通过全局池化隐式处理时间尺度，也没有为不同持续时间的篡改设计显式层级。

教学上可以这样区分。同输入都是音视频，同目标都是判真伪，但监督与运行阶段不同，有的依赖外部参考，有的只用视频级标签。MS-GNN 的定位是无须外部参考的结构感知设计，用显式的窗口到片段到视频的层级，在参考无关的设置下同时保留局部证据与全局上下文。

局部改一句话如何改变整段含义？

论文用一个真假对比说明任务难度。左侧为真实视频，右侧为部分伪造视频，红色区域标记被改动的语音与唇动片段，文字含义因个别词替换而反转，但其余画面与音频保持真实。对初学者，这是一个很好的例子：篡改在时间上是稀疏的，在语义上却是关键的。

检测器若只看全局相似度，会因为大部分帧都对齐而给出偏真的分数。若要复述任务，应强调三点：篡改对象是时间轴上的短区间，判据是音画在该区间的细微不一致，难点是真实上下文占比大导致的稀释。下面先看原图确认这种稀疏性，再进入方法。

为理解稀释问题，请先看这张真假对比图，它把稀疏篡改画成了可直接对照的颜色与波形差异，是后文多尺度设计的动机。

看图路径： 1. 先对比左右两列人脸缩略图边框颜色，确认哪几段被标为伪造；2. 再看下方波形颜色与文字转录，确认被改的是哪两个词；3. 最后估算红色段占全长的比例，思考平均后会被稀释多少

论文图 1。原论文 Figure 1：“Comparison of a real video (left) and a partially forged video (right), where localized speech and lip movements alter the conveyed message in specific segments (red regions).”。

这张图左侧全部为绿色边框与绿色波形，对应转录保持原意。右侧中间 2 到 3 个人脸框与对应波形段变为红色，对应个别词被替换，像素上可以直接看到伪造只占全长的少部分。

若把整段波形能量或特征平均，红色段的贡献会被绿色段压住。这解释了为什么论文把问题定义为提高局部证据的信噪比，而不是单纯提高全局分类器容量。后文的窗口切分、图传播与双任务监督，都是为了让这小段红色证据在最终判决中仍有话语权。

MS-GNN 让一个样本走完哪条流水线？

沿一个样本走一遍最清楚。输入视频先按 400 ms 非重叠窗口切分，每个窗口提取视觉特征与音频特征，分别来自 TimeSformer 与 WavLM，维度均为 768 维。再拼接由时间戳导出的时间编码，经模态特定编码器得到初始特征矩阵。

接着构造异构图，节点就是音频窗口与视频窗口，边分两类。模态内时序邻边连接时间相邻的同模态窗口，数量由超参数 K 控制。跨模态同步边连接时间对齐的音视频窗口，数量由 L 控制。

然后堆叠 3 层 MS-GNN 层，每层依次做窗口级交互、自下而上聚成片段、自上而下回注窗口。最后把精炼后的窗口特征融合成每个窗口的统一表示，经注意力池化得到全局视频表示，分别输出视频级与窗口级伪造概率。

白话说，窗口负责不漏掉短异常，片段负责提供上下文标尺，注意力池化负责让可疑窗口在最终投票中权重更大。

全局池化 × 注意力池化： 全局池化指对所有帧或窗口特征做平均或最大后判决，分工简单但会把短伪造信号当噪声平均掉；注意力池化指对最终窗口特征学习权重再加权求和得到全局表示，分工是让可疑窗口占更大比重。搭配比较说明 MS-GNN 不用无差别平均，而是先做多尺度精炼再做加权聚合，从而提高有效信噪比。

下面看架构总览图，把上述 4 段对应到图的 4 个大框，有助于记住数据形状如何变化。

看图路径： 1. 从左到右沿输入表示到建图再到 MS-GNN 层最后到聚合输出跟踪主箭头；2. 观察建图部分 K 与 L 分别控制哪类边，TE 放在哪里拼接；3. 观察聚合部分窗口表示如何先融合成 W 再池化成 G 并分两路输出

论文图 2。原论文 Figure 2：“The MS-GNN architecture. The framework processes audio-visual inputs via graph construction, multi-scale refinement, and attention pooling to produce both window- and video-level…”。

从像素看，总图从左到右分为输入表示、建图、MS-GNN 层、聚合与输出。输入框显示视频帧与音频波形按 win1 到 win_n 切分，视频编码器与音频编码器并列，时间戳经多层感知机变成时间嵌入。

建图框显示上下两排节点与 K、L 标记的边，粉色竖带高亮某个窗口的邻域。中间 MS-GNN 层框显示上下两个 Transformer 分别处理视频与音频窗口，再经交叉融合得到片段表示 S，最后经多层感知机发回每个窗口。右侧聚合框显示每窗口的音视频先融合成 W，再经纵向注意力池化成 G，分别送入视频分类器与窗口分类器。

窗口级交互如何兼顾时序邻近与内容相关？

第一阶段是窗口级交互，包含模态内动态与跨模态融合。模态内部分采用时间感知注意力：对窗口 i 与其时序邻居 j，先经线性投影得到查询、键、值，再在注意力分数上乘一个高斯时间衰减项。时间距离越远衰减越大，衰减尺度由可学习参数控制。

公式含义是内容分数决定邻居是否相关，时间高斯作为软先验压住远距离噪声传播，但不做硬截断。更新时用加权值求和加残差并做丢弃，音频与视频两条流各自如此。跨模态部分采用双向交叉图注意力加融合门，以视觉查音频为例，在原视觉特征上加一个可学习标量乘以交叉注意力输出。

该标量初始化为 0，避免未训练的跨模态噪声污染预训练单模态特征。论文报告一个训练好的模型中该门控在 3 层分别为负 0.045、0.058 与 0.012，说明只是残差级微调，而非大幅改写。白话就是先让各模态内部理顺时序，再让两个模态小步对照口型与声音是否对得上。

窗口 × 片段： 窗口是把音视频流按 400 ms 非重叠切分得到的基本判断单元，分工是保留短时唇音不一致等局部证据；片段是把多个窗口按段大小 8 且 50% 重叠分组后聚合得到的高层上下文，分工是提供真伪对比所需的真实参照。两者搭配的原因是只看窗口会缺少参照，只看全局会稀释局部，组合后片段上下文回注窗口，既放大局部异常又不丢失视频级判别力。

模态内交互 × 跨模态融合： 模态内交互指在视频到视频、音频到音频的时序邻居之间做带时间先验的注意力传播，分工是建模单模态的局部时序动态；跨模态融合指用 DualGAT 让视觉查音频、音频查视觉并用可学习门控做残差修正，分工是捕捉唇动与语音不同步。搭配理由是单模态异常可能是压缩或噪声，只有双模态不一致才更指向伪造，组合后先净化单模态再做跨模态对照，减少误报。

这一段的复述要点是区分两种边的分工。模态内边管时间平滑，跨模态边管不一致检测，时间先验与零初始化门控分别是它们的稳定器。缺少其中之一，模型要么被远距离噪声带偏，要么在训练早期被跨模态噪声冲坏预训练特征。

片段聚合与回注如何构成双向多尺度？

第二阶段自下而上聚合把窗口组成有重叠的时间片段，默认段大小为 8 且 50% 重叠。对每个片段，用带分类标记的 Transformer 分别聚合其中窗口的视频特征与音频特征，得到模态特定的片段表示。再经跨注意力融合成统一片段表示。

第三阶段自上而下精炼把片段语义送回窗口。对每个窗口，把包含它的所有片段表示做平均得到上下文向量，再把该向量与窗口特征拼接后经融合多层感知机做残差加回。直观理解是片段提供了 3.2 秒左右的感受野，足以同时看到伪造段与周围真实内容。

论文还解释了参数选择的物理依据。400 ms 接近一个单词时长，对应 LAV-DF 中词级篡改。段大小 8 对应 3.2 秒，能覆盖平均 0.65 秒、最长 1.6 秒的伪造段并留出真实参照。过小的片段缺少参照，过大的片段会把伪造稀释到真实背景中。

自下而上聚合 × 自上而下精炼： 自下而上聚合是把窗口特征用带 CLS token 的 Transformer 聚成片段表示再经跨注意力融合成统一片段语义，分工是把分散证据升维为上下文；自上而下精炼是把包含该窗口的所有片段表示平均成上下文向量再经 MLP 残差加回窗口，分工是用全局语义校准局部判断。搭配形成双向多尺度闭环，避免局部证据在单向池化中被平均掉。

复述时要强调重叠的作用。50% 重叠使每个窗口属于多个片段，平均后上下文更平滑，也为窗口级定位提供了多视角投票。这种设计是后文段大小消融出现峰值的结构原因。

两个损失如何分工，优化过程实际做什么？

训练目标是视频级主损失加窗口级辅助损失的加权和，都用 Focal Loss，权重分别为 0.9 与 0.1。视频级分支对注意力池化后的全局表示做分类，窗口级分支对每个融合窗口表示做分类。辅助任务的作用是给局部证据直接梯度，避免只有视频标签时梯度被池化稀释。

优化器用 AdamW，学习率 1 乘 10 的负 4 次方，批量 256，余弦退火调度加早停，最多训练 30 轮。论文未报告梯度是否在某处截断，也未说明编码器 TimeSformer 与 WavLM 是否冻结或微调，只说明用它们提取 768 维特征并用 400 ms 窗口。

因此复述时不能断言骨干是否更新，这是一个具体缺项。推理时模型同时输出视频级分数与窗口级分数，视频级用于判决，窗口级用于指示可疑区间，支持取证分析。

消融显示去掉窗口监督仍能达到 98.01% 准确率，说明多尺度结构本身已能捕捉局部不一致。加上窗口监督只是小幅提升并带来可解释的定位证据。

视频级损失 × 窗口级损失： 视频级损失是主任务，对注意力池化后的全局表示做 Focal Loss 分类，分工是保证整段视频判别正确；窗口级损失是辅助任务，对每个融合窗口表示做 Focal Loss 监督，分工是迫使模型对短伪造段给出高分而不偷懒依赖全局。搭配理由是只有视频标签时局部梯度稀疏，加上窗口标签后局部证据得到直接梯度，组合后兼顾定位可解释性与视频级精度。

对初学者，记住损失权重的含义。0.9 保证主任务不偏，0.1 让辅助任务只起引导作用，避免窗口噪声主导训练。若把窗口权重设得过大，短标注噪声可能反噬视频级精度，但原文未做该敏感性实验，此处只能指出待验证。

在哪些数据与条件下测，指标方向是什么？

评估用 2 个数据集，分工不同。LAV-DF 含有大量部分伪造样本，用于检验对局部不一致的敏感性。FakeAVCeleb 以全局伪造为主，采用与先前工作相同的五折交叉验证设置，用于检验在全局篡改上的保持能力。

特征固定为 TimeSformer 视频特征与 WavLM 音频特征，窗口 400 ms 非重叠，MS-GNN 为 3 层，隐藏维度 512、256、64，段大小 8 且 50% 重叠。指标为准确率与曲线下面积，都是越高越好，其中 AUC 反映排序能力，对阈值选择更稳健。

效率评估在单张 A800 上进行，对 2.8 秒片段、批量为 1、包含特征提取的端到端延迟做 10 次热身后测量。并注明不同方法支持的最大输入时长不同，为公平统一裁剪到 2.8 秒。

论文明确指出 MS-GNN 与 DiMoDif 为 2 阶段流水线，端到端延迟主要由重型骨干决定。而 MS-GNN 自身的聚合与精炼模块仅 0.123G 浮点运算，说明瓶颈在特征提取而非图模块。这一条件交代对理解后文准确率与 AUC 分化很关键。

主结果测什么，与谁比，条件是否一致？

主结果回答两个问题：在局部伪造为主的数据上能否超过全局池化基线，在全局伪造为主的数据上是否仍具竞争力。在 LAV-DF 上，比较对象包括基于音画不一致、联合检测、时序定位与话语差异等方法。在 FakeAVCeleb 上，比较对象包括对比学习、联合学习、集成与正则化等方法。

论文以准确率与 AUC 同时报告，避免单一阈值下的偶然性。下面两张表分别整理两组关键数字，表前说明比较问题与指标方向，表后解释收益与代价。

第一张表聚焦局部伪造场景，问题是多尺度显式层级是否比全局策略更能保留短证据，公平条件是同数据集划分下比较已报告的基线，指标越高越好。

上表显示 MS-GNN 在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC，超过表中基线。代价是该结果依赖重型特征与窗口标注辅助，论文未同时报告误判率与延迟改善，因此不能把准确率提升直接等同于部署成本下降。未胜出项的讨论放在下一表，全局场景下准确率并非最高。

第二张表聚焦全局伪造场景，问题是为局部优化的模型在全局数据上是否退化，指标同样越高越好。

上表显示 MS-GNN 在 FakeAVCeleb 上准确率为 93.20%，低于 MRDF 的 94.05%，但 AUC 为 96.75%，为表中最高。论文解释为该场景缺少孤立局部异常，更利于全局比较方法，而 AUC 最高说明样本排序依然有效。这是一个重要的反例：准确率与 AUC 分化，说明阈值选择与排序能力是两回事，复述时必须同时保留两者。

为看清单个窗口的分数差异，请先聚焦这张案例图，左边有高低起伏，右边是一条平线，这种形状差异本身就是证据。

看图路径： 1. 先看左图 W10 到 W13 的柱高与颜色，确认与红色真值带的重合度；2. 再看右图基线所有窗口同为 0.45 的平坦分布，理解判错原因；3. 对比两图视频级分数 0.64 与 0.45，确认阈值 0.5 两侧的判决差异

论文图 4。原论文 Figure 3：“Case study on clip 001251.”。

像素细节支持论文的解释：左图中真实区窗口分数多在 0.29 到 0.51 之间，伪造区 W10 到 W13 分别约为 0.78、0.88、0.89、0.84，视频级分数为 0.64，超过 0.5 阈值而判对。右图中所有窗口复制视频级分数 0.45，呈平坦灰色分布，视频级同样为 0.45 而判错。

由此可见基线的窗口分数没有定位能力，只是全局判决的复制，而 MS-GNN 的窗口分支给出了粗粒度的时序证据。但需注意这只是单样本展示，不能推广为所有视频都有如此清晰的分离，原文也只称其提供粗证据而非精确边界。

拿掉哪个部件会掉多少，段大小为何取 8？

消融在 LAV-DF 上验证窗口交互、层级融合、时间编码、注意力聚合与窗口监督的贡献。基线准确率为 91.80%，单独加窗口交互或层级融合均有提升，其中基于分类标记的聚合优于平均池化。两者结合带来 4.76 个百分点的提升，全量模型达到 98.12%，比基线高 6.32 个百分点。

关键反证是去掉窗口监督仍达 98.01%，说明结构本身已能捕捉局部不一致，窗口监督只带来小幅增益与可解释性。段大小实验进一步显示性能在 8 处达到峰值，两侧下降，论文归因于上下文充分性与稀释的权衡。下面先看段结构与性能曲线，再整理消融数字。

要理解段大小如何改变层级，先看这张上为结构示意下为性能曲线的图，它把感受野与准确率的关系画在了一起。

看图路径： 1. 先看上半部分 Ssize 为 4 与 16 时窗口汇聚到片段的扇形密度差异；2. 再看下半部分柱状加折线在 Segment Size 为 8 处的峰值位置；3. 注意两侧下降不对称，思考上下文不足与过度平滑两种机制

论文图 3。原论文 Figure 4：“(a) Different segment sizes result in distinct aggrega- tion hierarchies. (b) Impact of Segment Size on performance.”。

上半部分显示段大小为 4 时每个片段只覆盖少数窗口，需要很多片段才能覆盖长视频，而段大小为 16 时每个片段覆盖大量窗口，层级更扁平。下半部分横轴为段大小 4 到 32，纵轴为性能百分比，曲线在 8 处达到约 99.48 后下降，到 12 回落到 97.90 附近。

像素上峰值清晰但两侧并非单调，说明不是脆弱的单点调参，而是上下文不足与过度平滑两种力量共同作用的结果。两侧下降不对称也支持充分性权衡，而非单一过拟合解释。

第三张表整理消融与配置的关键数字，问题是各部件是否都有增益，条件是同数据集同特征下逐步添加，指标越高越好。

上表需注意百分点与相对百分比的区别：6.32 个百分点是准确率差值，不是相对提升 6.32%。未胜出项是平均池化版本不如分类标记版本，说明聚合方式的选择有实质影响。未评测边界包括窗口时长只固定 400 ms、未搜索自适应切分，段大小只在离散点上测试，因此不能断言 8 在所有数据上最优。

哪些结论不能下，哪些边界尚未评测？

论文直接报告的是 2 个数据集上的视频级准确率与 AUC，以及窗口分数在个例上的定位能力，这些可以用报告或显示来表述。有限解释是多尺度结构提高了信噪比，这有消融与案例支持，但仍是机制解释而非因果证明。

未验证推测包括自适应切分会更好、换轻量骨干能保持精度，这些只能用可能或待验证来表达。明确缺项有三：一是未说明骨干是否冻结，无法复现梯度路径。二是未测量误判率、实际延迟与输出帧率的联合影响，不能承诺误报或实时性改善。

三是效率对比统一裁剪到 2.8 秒，不同方法最大时长不同，结论只在该裁剪条件下成立。相关性不等于因果：AUC 高不代表每类伪造都好，全局准确率略低就是反例。总体趋势也不等于每步成立：段大小曲线在 16 处的小回升说明单调性假设不成立。

阅读时应把定量增益与适用条件绑定，即局部伪造密集时收益大，全局伪造为主时主要保留排序优势。

复现先做什么，需要保留哪些超参数？

若要重现方法，先按固定流程搭建流水线。按 400 ms 非重叠切分音视频，用 TimeSformer 提取 768 维视觉特征、用 WavLM 提取 768 维音频特征，拼接时间戳编码后经模态特定编码器映射。按 K 控制模态内时序邻居数、按 L 控制跨模态同步邻居数建异构图。

堆叠 3 层，每层按窗口交互到底部聚合再到顶部回注的顺序实现，隐藏维度依次为 512、256、64。片段大小 8 且 50% 重叠。最后注意力池化并用两个 Focal Loss 按 0.9 与 0.1 加权训练，优化器 AdamW、学习率 1 乘 10 的负 4 次方、批量 256、余弦退火加早停、最多 30 轮。

先跑通 LAV-DF 的视频级与窗口级双输出，检查伪造段窗口分数是否高于真实段，再在 FakeAVCeleb 五折设置下检查 AUC 是否保持。何时值得尝试：如果任务中伪造为短时局部且需要定位证据，多尺度加窗口辅助值得优先试。如果全片皆假且只关心阈值准确率，传统全局方法可能更直接。

信息条件上，当前无可用代码链接，只能依据文字重建，不应声称系统可一键运行。还需补做骨干冻结方式、K 与 L 具体取值、阈值选择与统计显著性等验证。

一句话收束：何时用它，还差哪项验证？

综合来看，MS-GNN 把短伪造检测转化为如何在强真实背景下保留弱局部信号的问题，用窗口图保留证据、用片段上下文提供参照、用回注与注意力池化放大可疑部分。并用轻量窗口监督换取可解释的定位能力。

最强证据是在局部伪造为主的 LAV-DF 上同时取得高准确率与高 AUC，且在去掉窗口监督后仍保持高精度，支持结构本身有效。主要代价与限制是依赖重型特征导致端到端延迟瓶颈，以及在全局伪造数据上准确率并非最高。

常见误解是把 AUC 最高等同于所有阈值下都最准，实际上准确率与 AUC 分化提示阈值敏感性仍需校准。另一个误解是把窗口分数当作精确边界，原文只承诺粗粒度证据。下一步最值得补的验证是公开代码与划分细节、明确骨干更新策略，并在更多时长分布与自适应切分下检验段大小的稳定性。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总