📄 让调查员学会派活、让检查员学会看活:WeVisForensics 如何查 AI 视频

英文题目:WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection

评分:6.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Yipeng Du:机构信息未能在本次解析中与作者逐人可靠绑定
  • Yuxi Li:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ying Zhang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Chong Sun:机构信息未能在本次解析中与作者逐人可靠绑定
  • Chen Li:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jing Lyu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ying Tai:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

待判断对象是一段可能由生成模型合成的视频,输出是真或假的判定以及指向具体时空位置的证据链。难点在于伪影可能只出现在短暂区间或小区域,单次通读容易漏检,固定流程会让无关检查淹没关键证据。系统先由负责规划的主体浏览约 1 帧每秒的全局概览,形成假设并选定要检查的分工与时间窗。被选中的检查器只在指定范围内按自身分工输出带置信度的结构化报告,报告返回后追加到历史,主智能体据此决定继续检查或终止并给出结论。训练采用快慢两种节奏协同进化,主智能体每批都用结果奖励与调用级反馈更新,检查器则在多批中积累与标注区间重合的调用,再用特权教师蒸馏与规则卡修订来改进。相对单次推理与冻结专家方案,差异在于检查范围可变且提供检查的模型本身也会从被调用的样本中学习。为训练与评测配套构建了按角色分解标注的数据与按伪影类别分组的基准。在包含域内、域外与智能体基准的平均准确率上达到 95.2%,超过此前最强检测器 9.0 个百分点。结论适用于所覆盖的生成器与伪影类型,对未见生成方式仍需验证。原文提到完整联合训练约需一天,未说明具体硬件型号与数量,也未披露推理延迟与部署开销。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

要判的是什么视频,输出又是什么

这篇论文处理的是 AI 生成视频检测。输入是一段视频,有时长、有画面序列,有时还带音轨,目标是判断它是真实拍摄还是生成伪造,并给出能定位到时间与区域的证据链。

与只输出一个分数的二分类器不同,这里要求证据可核查。也就是说,不能只说假,而要说哪一段、哪类伪影支持为假,例如脸部纹理在某几秒异常平滑,或某处文字在放大后笔画融合断裂,或声音里的人与画面里的人对不上。读者可以把任务理解成带取证过程的判断:先看全局,再决定细查哪里、请哪位专家看,最后综合矛盾与无异常的发现下结论。

已有路线大致分两类。一类用多模态大语言模型一次性看全片并写出推理,优点是简单直接,缺点是短暂或小区域的伪影容易被淹没,推理中的每句话也难以单独监督。另一类用固定多专家流程,先让几个观察者各说一遍再由裁判汇总,或只训练调度者而不训练专家。前者的问题是无关报告可能压过真正发现伪影的那份报告,后者的问题是调度再好也受限于专家本身看不看得出来。本文要解决的正是这两个瓶颈:既要按需取证,也要让专家本身从被调用的经历中变强。

一次看全片和固定派活为什么不够

论文把困难归纳为两个具体现象。第一个是整体单遍推理的覆盖问题。生成伪影常常只出现在几秒或画面一角,例如包装盒上某个字母的结构畸变,或手部边缘在开场手势时的短暂模糊。如果模型只做一次全局判断,它可能根本没有放大看过那个位置,却用一句看似合理的风格解释把异常带过。原文用手写文字变形的例子说明,基于长推理的检测器把扭曲字形说成手绘风格,没有真正检查字形。

第二个是静态工作流与只练调度者的问题。固定流程每次请同样的专家,即使视频明显没有文字或没有声音,也可能产生无关报告。只训练裁判或调度者而不更新专家,则专家漏检就无法通过更好的加权挽回。原文用固定流程的例子说明,纹理、光照、运动三份报告压过了真正检测到文字变形的报告,最终汇总仍可能出错。

因此论文提出两个互补设计。第一是自适应取证:由主调查员决定查哪个角色、查哪个时间范围、证据够不够下结论。第二是调查员与检查员共同演化:调度策略在每次 rollout 后更新,检查员在较慢的节奏上从调查员实际发出的调用中学习。本文后续的方法、数据与训练都是围绕这两点展开的。

两层分工如何组织一次调查

整个系统分成上下两层。上层是主调查员,负责规划,下层是取证检查员库,负责感知。调查从全局概览开始:按约 1 帧每秒在全片取至多 16 帧,每帧带绝对时间戳,同时记录时长与是否有音轨。然后调查员逐轮发出结构化消息,每轮包含推理与动作,动作要么调用一个检查员并给出时间参数,要么以真或假收尾。

下图是全文总览,先看调查循环与训练双时间线的对应关系,再看底部在 4 个评测上的位置,有助于理解后文为什么既要讲调度又要讲检查员本身的变化。

看图路径: 1. 先看左侧输入视频与全局概览,再看上方调查员的三问循环;2. 对照右侧检查员库中可演化与固定的成员颜色与锁形标记;3. 再看下方快慢两条训练线与底部四组准确率条形的相对位置

原论文 Figure 2:Overview of WeVisForensics.

论文图 1。原论文 Figure 2::“Overview of WeVisForensics. Top: the investigator \pi_\theta repeatedly calls an inspector s_t on a temporal scope u_t, reads its report z_t, and issues a verdict with the…”。

上图顶部显示调查员反复调用检查员并读回报告的过程,中部显示快过程每批更新调查员、慢过程每隔若干步刷新检查员,底部显示该方法在 4 个评测上相对其他检测器的准确率条形。可见调查不是一次前向,而是有条件分支的多轮取证。

主调查员 × 取证检查员库: 主调查员负责想查什么、在哪个时间窗查以及何时收尾,取证检查员库负责在给定输入上判断自己分管的那类伪影是否存在;前者解决调度问题,后者解决感知问题,两者搭配后调查可以按视频难度展开,证据也可以按角色单独核查。

这种分离带来 3 个好处。规划可以随视频复杂度伸缩,简单视频一次调用即可,复杂视频可以补查。感知保持分角色可验证,每份报告只回答自己分管的问题。演化部分只针对随生成器快速变化的视觉检查员,而测量性质的音频工具与文字检测器保持固定,作为稳定的参照。

六个检查员各看什么,输入又是什么

检查员库覆盖 6 个视角。外观、物理一致性、常识合理性、屏幕文字各 1 位视觉检查员,另有语音画像与语音识别分析 2 位音频工具。前 4 位共享主模型的结构但参数独立,各自带适配器,后 2 位是固定服务。每个视觉报告包含结论、置信度高或中或低、以及引用检查窗内时间戳的解释。

外观主要看运动中的纹理稳定性、头发手指牙齿与小物体的细部完整性、边界融合、鬼影重影、光影反射的时间与几何一致性。物理主要看身体与刚体运动、结构完整性、遮挡后物体是否持续存在、接触抓握、流体与可变形物的动态。常识主要看因果、角色与场景是否相容、功能可供性与事件顺序,例如动物做人类任务或结果违背日常知识时才重点调用。调查员通常在多数视频上调用外观与物理,只在概览提示语义反常时才加调常识。

窗口型视觉检查员的输入是所选时间窗内按 2 帧每秒采样的帧集合,每帧标注绝对时间戳。调查员的调用与检查员的返回可以用 1 对采样关系表示,前者依历史选动作,后者依窗内输入与角色指令加技能卡产生报告。

\[a_{t}\sim\pi_{\theta}(\cdot\mid h_{t}),\qquad z_{t}\sim p_{\phi_{s_{t}}}(\cdot\mid v(x,u_{t}),q_{s_{t}}),\]

上式前半是调查员策略依历史分布选检查员与时间窗,后半是被选检查员依窗内视频输入与自身指令产生报告。理解这一步很关键:调查员决定检查员见到什么分布,检查员的报告又决定调查员下一步能学到什么,这正是后文快慢双过程要解耦的原因。

外观检查 × 物理一致性检查: 外观检查看纹理稳定性、手指头发牙齿等细部完整性、鬼影和光影几何是否连续,物理一致性检查看运动是否符合身体与刚体结构、遮挡后物体是否还在、接触抓握与流体是否合理;前者抓渲染痕迹,后者抓运动与接触矛盾,两者都看同一时间窗但回答不同问题。

报告的使用规则也很具体。视觉报告的结论分有问题、无问题或无法判断,无法判断被当作中等程度的证据,记录的是信息不足,而不是偏向真或假。无文字、工具失败或纯描述性音频画像若无具体矛盾,只能当作中性信息。某一窗内无问题不足以证明整片为真,最终结论必须综合多次调用。

调用预算、时间窗与文字细查如何执行

为防止无限制调用,协议规定最多 4 次工具调用,不许重复调用同一组合,时间窗必须在视频时长内,无音轨视频不得调用音频工具。回答动作至少在一次成功调用后才允许,因此一次调查至多 5 轮。轨迹有效且结论正确才得 1 分,否则得 0 分,格式错误与违规调用都算错。

\[R(\tau)=\mathbb{1}[\tau\text{ is valid}]\cdot\mathbb{1}[\hat{y}=y],\]

上式把有效性与正确性相乘,说明过程合规本身就是奖励的一部分。调查员被要求用最小充分集合而非用满预算,明显且局部化的伪影常常一次调用即可,只有存在独立不确定性或互补证据时才追加。超过 30 秒的长视频要求聚焦局部事件,通常在 15 秒窗内,而不是动辄查全片。时间窗保持在同一连续镜头内。

屏幕文字检查是 3 阶段流水线,值得单独走一遍。第一步用 PaddleOCR 检测并识别候选文本行,得到归一化框与检测识别置信度,若无框则直接返回无文字。第二步看全帧加候选列表,只判断是否真有文字,并至多选 6 个值得放大的区域,包括字幕、招牌、包装、标签、车牌、界面与背景文字,若全是误检则返回无文字。

第三步对每个选中区域按 15% 外扩裁剪并用更高像素预算细看,逐个判断字形是规整、扭曲、生成退化、过糊、风格化还是无法判断,只有当至少一个裁剪块属于扭曲或生成退化时,才允许把初步的文字可疑升级为正式的文字可疑,否则回退为无法判断。这样文字指控一定落在可见的字形上,而不是识别字符串的语义奇怪。

音频侧的两个工具看整条音轨。语音画像做说话人分离,估计每位说话人的年龄、女性或男性或儿童概率、唤醒度支配度效价值,报告本身是描述性的,强年龄性别冲突只在有清晰可见说话脸时才算佐证,配音旁白多人要打折。语音识别分析转录带词级时间戳,再让冻结语言模型只看具体转录与时间异常,例如机器人式等间隔分段对照自然停顿呼吸。

OCR 一致性检查 × 语音画像与语音识别分析: OCR 一致性检查只看画面文字的字形结构与时间稳定性,语音画像与语音识别分析只看音轨说话人属性与转录时间异常;前者是视觉文字通道,后者是音频通道,两者都是独立于外观与物理的佐证,调查员只在有文字或有声音时才调用。

先用监督学习教会流程与格式

训练分 2 个阶段。第 1 阶段是有监督初始化,所有模型共享同一个 Qwen3.5-4B 主干,主调查员与 4 位视觉检查员各训一个 64 秩适配器,主干视觉编码器与投影冻结,只调语言侧的取证推理。损失是对模型生成 token 的掩码负对数似然平均,只在推理、动作与最终结论或结构化报告上算损失,指令、概览帧、检查员报告与工具输出不算。

调查员用 33,896 条交互轨迹训练,每条包含已执行的调用、返回的报告、每步动机与最终结论,打包成至多 32,768 token 的多轮样本。检查员用 117,552 条按角色拆分的记录训练,每条是窗内输入配结论、置信度与引用窗内时间戳的解释,真假视频在每个角色都保留,避免检查员默认报问题。文字检查员输入是单帧,长度上限 16,384。学习率与余弦退火等细节按原文设置,关键是这 1 阶段只教会协议与格式,不解决调度与感知随生成器漂移的问题。

这 1 阶段的结果是单主干加 5 个小适配器,便于存储与 serving,也为第二阶段提供相同的起点。后文所有消融都从这套起点开始,保证比较的是训练策略而非初始化差异。

快慢双节奏如何让派活与看活互相成就

如果每批同时更新调查员与检查员,双方互为移动靶。做法是快过程只更新调查员,慢过程积累多批交互再对齐检查员,更新后的检查员库再供后续 rollout 使用。训练时用视频标签与标注区间,推理时参数固定。

下图把快慢两条线画在一起,建议按 rollout、奖励、交互池、教师蒸馏、技能卡的顺序看一遍,再回头理解为什么检查员刷新不能太勤。

看图路径: 1. 先看左侧多轨迹 rollout 与右侧快慢两条时间线;2. 再看中间交互池按角色排队与保留或剪枝的分支;3. 最后看下方教师到学生再到技能卡的蒸馏与发布回路

原论文 Figure 3:WeVisForensics and its training strategy, DTPO.

论文图 2。原论文 Figure 3::“WeVisForensics and its training strategy, DTPO.”。

上图左侧是分组轨迹与固定快照,中间是结果奖励与调用级反馈的合并,右侧是慢过程的特权蒸馏与技能卡修订。可以看到调查员的调用进入按角色排队的交互池,只有与标注区间有交叠的调用才保留,真视频用全片作为区间,生成视频上无交叠的调用直接丢弃,因为在该角色无关的位置没发现问题不算该角色的错。

快过程每输入采 4 条轨迹,用分组相对优势归一化结果奖励。终端奖励只说整条调查是否成功,不说哪次检查立功,因此引入调用级效用。它用冻结参考模型在某次调用前后对正确答案支持度变化来打分,支持度用对数概率表示,正分表示该报告把参考模型推向正确答案,负分表示带偏。因为参考模型与调查员、教师都不同,分数衡量的是证据本身的信息量,而非调查员自己的信念。

\[c_{j}=\operatorname{clip}\!\left(\log\frac{-\ell_{j}^{-}+\epsilon}{-\ell_{j}^{+}+\epsilon},-b,b\right),\]

上式分子分母是调用前后负对数概率加平滑后的比值,取对数并截断。组内再对同一次调用序号做中心化,得到每条轨迹每个动作的附加优势,与结果优势按权重相加后用于裁剪策略目标。最终回答 token 只用结果优势,观察与填充不计入损失。另有工具覆盖率奖励,用该视频标注的相关角色集合与实际调用集合的 F1 在组内中心化后加入,权重 0.3,只在结果相同时排先后,不推翻正确性。

\[\widehat{A}_{g,t}=\begin{cases}A_{g}+\lambda\tilde{c}_{g,j},&t\in\mathcal{I}_{g,j},\\ A_{g},&t\in\mathcal{M}_{g}\setminus\mathcal{I}_{g},\\ 0,&t\notin\mathcal{M}_{g},\end{cases}\]

上式说明动作 token 获得结果优势加调用反馈,回答 token 只获得结果优势,非主智能体输出为零。这样调查员能学到哪次取证真正提供了证据。

慢过程先把保留调用按 verdict 与标签分成命中、漏检、误报与正确,再用调用级效用把正确但低效用且结论为无法判断或非高置信的回答重标为含糊。误报、漏检与含糊是需要改判的样本,其余保留以防遗忘。每角色攒够一批后做均衡采样,真假各半。

\[\mathcal{D}_{\mathrm{OPD}}=\biguplus_{x}\biguplus_{s\in\mathcal{S}}\big\{\,j_{x,s}\mid u_{j}\cap I_{x,s}\neq\varnothing\,\big\}.\]

上式是保留条件:调用窗与该角色标注区间有交叠才进入候选池。随后每样本给教师特权上下文,真视频给标签,生成视频给交叠区间并指示在帧中找对应异常,学生仍只看推理时输入。教师是学生参数的指数滑动平均,蒸馏目标是 token 分布的 KL 加权平均,决策位置权重更大,再加只对比两个对立结论词的标签校正,不压制无法判断选项。文字检查员还用复核过的正常文字区域做接地,防止把伪造视频里的正常文字也当成伪造证据。

若特权教师在原回答前缀下仍最支持学生原来的错误结论,则只做标签校正而不蒸馏。每 20 步同步一次,学生学习率随调查员进度线性衰减,技能卡由冻结反思模型提议增删,只有在留出近期调用上正确数增加且不丢任何原正确时才接受。

GRPO 分组奖励 × CLUE 调用级效用: GRPO 分组奖励只看整条调查轨迹最终判对判错,用于给整组采样排序,CLUE 调用级效用看某一次检查前后冻结参考模型对正确答案支持度的变化,用于给产生证据的那次调用加分;前者定方向,后者定位是哪次取证起了作用,两者相加后调查员既学结论也学派活。

特权蒸馏 × 技能卡: 特权蒸馏用能看到标注区间的教师分布去带只能看到原始输入的学生,改的是参数里的感知能力,技能卡是用报告规则与忽略规则写成的显式提示,改的是判据里的文字规则;前者让模型能看见,后者让模型知道什么不算错,两者一起刷新检查员库。

数据从哪来,评测又测什么

ForenCue-30K 强调按角色拆分监督。每段视频先按 6 个角色分别标注伪影维度与时间区间,标注要求只写画面可见的证据,无异常的角色在生成视频上也记无问题,避免强行归因。再转成检查员记录与执行过的交互轨迹,轨迹规划器只根据概览与训练用角色证据决定查什么,每次调用都真实执行并把报告作为下一步推理条件,学生侧消息去掉训练元信息。配套强化学习池用于双时间尺度训练。

下图左侧扇形给出各部分规模,中间给出 5 类伪影示例,右侧给出从筛选到组装到基准的流程,读图时把数量与示例对应起来。

看图路径: 1. 先看左侧扇形中各角色记录数与轨迹数的占比;2. 再看中间五类伪影示例的时间窗与文字说明;3. 最后看右侧从筛选到组装轨迹再到基准构建的流程

原论文 Figure 4:Overview of ForenCue-30K.

论文图 3。原论文 Figure 4::“Overview of ForenCue-30K. Curated videos are annotated with role-specific artifact evidence and converted into sub-agent records and interaction trajectories, and an RL pool…”。

上图左侧扇形显示各角色记录数与轨迹数的占比,中间 5 组胶片示例分别标注时间窗与一句话说明,右侧流程框显示生成视频与真实视频经高质量片段筛选、指南与真值引导、审核提炼、工具组装与人工反馈形成智能体轨迹,另一路经相似度筛选保留与标注检查形成评测基准。右侧流程框内未列出具体生成器名称,也未标注开源与商用划分及专项伪造类型,生成器覆盖的划分依据以正文文字为准。

正文文字另行列出训练视频的来源分布与评测面向的新版本及专项伪造,因此评测包含对未见生成器的外推要求。中间示例分别对应透明度边缘变化、甘油未入杯而水花翻腾、女子变猫、霓虹字形畸变、老妇配年轻男声等,说明每个角色的输入与判断对象不同。

ForenCue-30K × AgenticCue: ForenCue-30K 是按角色拆分的训练监督,包含检查员记录、交互轨迹和强化学习池,解决学什么与怎么调度的问题,AgenticCue 是按伪影类别分组的评测基准,同时测准确率与是否调对了专家,解决怎么评价调度是否合理的问题;前者供训练,后者验调度。

下表比较的是训练数据的监督规模问题:在同样视频量下,谁提供了按角色记录、时间区间、调用轨迹与面向调度的评测。该表比较的是监督完整性而非视频数量,指标方向是具备该能力为优。

组成部分数量
策划视频30,000
按角色记录117,552
交互轨迹33,896
强化学习池7,500

上表支撑的判断是该数据集同时提供检查员学习与调度学习所需的监督,这是后文能分别训练两层的前提。该表只回答规模构成,不回答标注质量,质量需看原文 340 例审计与 100 条轨迹审计,以及 AgenticCue 上是否真能调对专家。

AgenticCue 的设计是既看判对又看调对。5 个类别各 500 段生成视频并共享 500 段真实视频,每类 1,000 段平衡评测,170 段生成视频跨多类。准确率把无效或缺失输出计为错。调用精度指调过某工具的生成视频中确实需要该角色的比例,分母是调过该工具的集合,分子是交集,基准率是全调该工具时的精度。角色是否值得查由两个跨系列标注器独立标记再由不知标签的裁判裁决,音频用类别归属。这种双指标要求精度必须与准确率一起读,跳过相关检查可能精度虚高但准确率会掉。

在已知与未知生成器上能判多准

主结果按 4 个部分平均:GenBuster 内域、GenBuster++ 外域、MintVid 六生成器均值、Agentic 5 类别均值。原文报告最终平均 95.2%,高于最强已有检测器 9.0 个百分点。内域上达到 97.7%,超过 VideoVeritas 3.4 个百分点、超过 ARGUS 11.3 个百分点。外域 GenBuster++ 上为 97.5%,MintVid 六生成器均值为 88.0%,且在每个生成器类别上都高于监督初始化后的智能体。Agentic 5 类别保持在 97.0% 至 98.8% 之间,在音频上领先 VideoVeritas 27.7 个百分点,平均领先 20.9 个百分点。对监督初始化智能体的提升在外观上为 4.9 个百分点、在文字上为 4.4 个百分点。

这些数字成立的条件要讲清。内域与训练分布接近,外域与 Agentic 包含训练时未见的新商用模型与专项伪造,因此外推能力是结论的一部分。比较的基线包含二分类器、通用大模型与多模态伪造检测器,原文称按各自原始设置在相同数据上训练,任务都是二分类准确率,但输入条件与是否输出证据不同,严格说只有准确率可比,证据质量需另看后文的角色级 F1 与人工评审。

下图以手写文字扭曲为例,说明同样判假或判真时证据是否落地。建议先看时间轴,再对比三栏的理由是否指向同一位置。

看图路径: 1. 先看顶部胶片中手写文字从清晰到变形的时序变化;2. 比较左侧旧方法与中间冻结检查员给出的结论与理由;3. 再看右侧演化后检查员在相同时刻给出的字形异常定位

原论文 Figure 6:Qualitative comparison on a generated video with warping handwritten text.

论文图 5。原论文 Figure 6::“Qualitative comparison on a generated video with warping handwritten text.”。

上图顶部胶片显示手写文字从清晰到变形的时序变化,左侧旧方法把扭曲文字说成风格而判真,或用固定报告淹没文字变形,中间冻结检查员在 6.0 秒处判无问题,右侧演化后检查员在 4 至 7 秒与 7.0 秒处指出字形突变与合并,只有把 OCR 调用移到 7 秒变形最明显处的主调查员才转成判假。可以看到判对与证据对是两件事,调度与感知必须同时演化。

调用效率方面,演化后平均调用从 2.50 次降到 2.19 次,下降约 12.4%,但 5 个 Agentic 类别准确率全部上升。物理、文字、常识、音频的调用精度达到 94.3% 至 99.7%,是各自基准率的 1.2 至 4.4 倍,其中物理提升 0.6 个百分点、文字与常识各提升 22.6 个百分点。这说明精度提升不是靠多调,而是调得更准。未胜出的情况也要保留:通用大模型在常识类上可达 94.5% 左右,但在音频上只有 54.1% 左右,说明单靠常识推理无法覆盖细粒度视听不一致。

调度与检查员各自贡献多少,刷新节奏有何代价

消融要回答 3 个问题:只练调度能走多远,检查员演化是否带来外推,调用级反馈何时有效。下表先看只换一层与两层全换的差距,比较问题是相同起点与相同强化学习池下 4 种组合的平均准确率,指标方向是越高越好。

主调查员 \ 检查员库SFT 检查员DTPO 演化后检查员
SFT 调查员91.3%92.0%
DTPO 调查员93.2%95.2%

上表支撑的判断是两层互补:只演化检查员库从 91.3% 到 92.0%,只训练调查员到 93.2%,两者一起到 95.2%,总增益 3.9 个百分点超过两单项之和 1.3 个百分点。该结论只在相同起点与相同数据下成立,不能推广到其他主干或预算。

更细的拆分是:分组强化学习在冻结库上比监督初始化在内域涨 2.9 与 2.8 个百分点,但在 MintVid 只涨 1.3、在 Agentic 只涨 0.4;加调用级反馈后平均只动 0.5 个百分点,说明静态检查员是瓶颈。打开慢过程后比分组强化平均涨 1.6,在 MintVid 涨 2.3、在 Agentic 涨 2.7。调用级反馈配上可演化库后在 MintVid 再加 1.4,最终平均 95.2%,比监督初始化高 3.9、比分组强化高 2.0。

下表看证据本身是否变好,而非调查员是否更会用证据。比较问题是同一批调用下冻结库与演化库的角色级 F1,调用只在角色被标注且窗口与区间交叠时计入。

评估维度数值
物理在 GB 上冻结 F166.5%
物理在 GB 上演化后 F197.8%
物理在 GB 上不确定率冻结26.9%
物理在 GB 上不确定率演化后0.3%
物理全基准提升范围9.1–31.3%
外观在 MintVid 上 F1 提升7.0%
物理在 MintVid 上 F1 提升19.2%
文字在 GB++ 上最大提升11.8%

上表支撑的判断是演化减少了含糊:物理不确定率在 4 个基准上从 2 位数降到 1% 上下,F1 在未见过的 MintVid 上仍有 7.0% 与 19.2% 的提升,文字在各基准上都有提升。限制是文字存在路由步骤,表中已排除存在性判断,只看字形部分。人工配对评审也一致:200 对中演化后更优 65 对、原版更优 20 对,有缺陷比例从 30.5% 降到 8.0%,漏报从 28.6% 降到 2.5%。

下表看刷新节奏的代价。比较问题是每 20 步刷新、每批都刷新、先演化后冻结 3 种排期在未见过的 6 个生成器上的准确率,条件是同起点同步骤。

评估维度数值
每批刷新在 Hailuo 上下降4.8%
每批刷新在 Kling 上下降2.6%
每批刷新在 Sora2 上下降2.3%
每批刷新在六生成器均值下降2.0%
双时间尺度对分阶段在均值领先2.4%
分阶段假召回70.2%
每步刷新假召回71.3%
双时间尺度假召回74.8%
真视频召回100%

上表支撑的判断是稳定节奏更利于外推:每批都刷新在 6 个未见生成器上全降,均值降 2.0;分阶段先练库再冻结也落后 2.4。机制上双时间尺度把未见生成器的假召回从 70.2% 与 71.3% 提到 74.8%,同时保持真视频召回 100%。代价是训练更复杂,需要异步 rollout、双引擎 serving 与双 lane 刷新,全量排期在原文集群上约 1 天,推理时每次调查至多 4 次检查,视频输入按 2 帧每秒展开,成本高于单遍分类器。

哪些情况还不可靠,结论边界在哪里

先说适用边界。所有准确率都是在给定配比下的二分类准确率,每类 Agentic 评测是 500 生成对 500 真实,MintVid 按官方重复引用加权。生成器覆盖以原文列出的开源、早期商用与新商用版本为准,未测的生成器与未标注的伪影类型不在结论内。音频结论依赖有音轨且说话脸可见,配音、旁白、多人不计为矛盾的规则本身就限制了音频的适用范围。

再说未测与可能的高估。原文没有报告推理延迟、帧率与显存随视频时长的变化,也没有系统测量误判率随阈值或预算的变化,因此不能承诺更快或更省。文字细查依赖 PaddleOCR 的检出框,若检出漏掉小字,放大步骤无从谈起。常识检查只在概览提示语义反常时调用,若概览帧恰好错过关键事件,调度可能根本不查该角色。技能卡的接受测试只看留出近期调用,若生成器分布突变,规则可能需要重新挖掘。

人工评审的范围也要讲清。340 例标注审计中至少部分 supported 的比例为 99.1%,100 条轨迹中工具选择恰当的为 96.0%,200 对演化前后对比中演化后更优 65 对、原版更优 20 对。这些支持证据质量在改善,但评审人看的是同一检查窗内的回答,不能证明系统在开放环境下不会产生新的幻觉解释。最终结论应读作:在所测分布与平衡评测下,自适应调度加可演化检查员同时提高了判对率与证据定位能力,但部署到新分布仍需先验证调用精度与角色级 F1,而不只看总体准确率。

要复现与试用,第一步做什么

复现的第一步是按角色准备监督,而不是只准备真假标签。需要为每段视频按外观、物理、常识、文字分别写结论、置信度、解释与时间区间,真视频每个角色也要有记录,否则检查员会默认报问题。交互轨迹必须执行后组装,每次调用真实运行并把返回报告作为下一步条件,不能用想象的观察训练调度。

模型侧共用同一主干加 5 个适配器,主干与视觉部分冻结。先做监督初始化教会格式,再跑双时间尺度训练:快过程每批 32 视频、每视频 4 轨迹、至多 4 次调用,调用级反馈权重 0.2、工具覆盖权重 0.3、含糊阈值负 0.05;慢过程每 20 步按交叠条件选调用、均衡采样 32 例、教师滑动平均率 0.001、决策 token 加权 5、标签校正权重 1。音频工具与文字检测器保持固定。

关于资源可用性,本次只依据论文正文与本次收到的官方原图,未发现归属明确且完成可达验证的作者资源,因此不能写代码、模型或数据已公开,需要补哪项验证也与此有关:若要对外宣称可运行,需另行确认代码、权重与数据的可达状态。本篇未报告完整训练与推理的硬件预算细节,复现时应先在小规模强化学习池上验证快慢节奏是否稳定,再扩大到全量。

何时值得尝试,还缺哪项验证

当任务要求既给结论又给可定位证据,且伪影分散在外观、物理、文字、音频多个通道时,这种两层调查值得尝试。特别是文字与声音错配这类单遍模型易漏的线索,按需放大的检查员更有针对性。当视频都很短且伪影全局明显时,单遍模型的性价比可能更高,不必引入多轮调用。

行动顺序建议:先用监督初始化的调查员加检查员跑通调用预算与报告格式,再引入分组强化与调用级反馈,最后才打开慢过程的蒸馏与技能卡。每一步都同时看总体准确率与调用精度、角色级 F1,避免只看准确率掩盖调度 shortcut。长视频先验证 15 秒窗与单镜头约束是否满足业务需求,有声视频先验证说话脸可见性规则。

还缺的验证有三项。一是未见生成器上的角色级 F1 与调用精度是否与准确率同向变化,防止判对但调错。二是不同调用预算与帧采样下的性能与成本曲线,明确多花的推理换来了多少证据增益。三是文字检出失败与多人多语音频下的失败模式统计。只有补齐这些,才能把本文在平衡评测上的提升转化为部署条件下的可靠预期。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-17 语音/音乐/音频论文速递