📄 生成式产品视频广告如何审改:六个问题、两类评审与定向修复

英文题目:Multimodal Judges Flag, Humans Decide: A Review-and-Edit Framework for AI-Generated Product Video Ads

评分:5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Anoubhav Agarwaal:机构信息未能在本次解析中与作者逐人可靠绑定
  • Sukesh Perla:机构信息未能在本次解析中与作者逐人可靠绑定
  • Karthikeyan Mohanraj:机构信息未能在本次解析中与作者逐人可靠绑定
  • Susmita Ghose:Anoki Inc.

📌 核心摘要

待处理的对象是面向电商目录中每个商品自动生成的短视频广告,输入是商品的listing文本、规格、目录图、脚本、合成旁白、生成画面、字幕和片尾,输出是对每条广告可用与否的判定以及可执行的局部修改。难点在于缺陷细碎且依附于具体商品,生成模型会编造多余部件、错位轮子、读错品牌或虚构功效,人工容易漏检,单一整体打分又无法定位到场景和台词。方法让人工与评审模型共用同一套六问评审,先由评审模型把发现挂到对应场景、台词或字幕上并输出带位置的待确认发现,再由人工逐条接受或拒绝并补充遗漏,最后每条确认问题打开与其种类匹配的修复工具,只改最小单元并送回重审。与只做整体质量打分的做法不同,该框架把问题种类、位置和修复动作绑定,评审问题不随生成模型更换而改变。在同60条广告280个场景上,以产品标错场景占比为指标,看到评审模型提示的多数意见为58%,高于隐藏提示后评审者的平均26%。结论适用于英文旁白和有限品类下的自有管线,跨语言、跨管线和完整修复闭环的效果尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文要解决的广告审改任务是什么

输入是一条由产品数据生成的 15 秒广告,产品数据包括商品列表、规格事实和目录照片,输出是一条可投放的成片,中间要回答它哪里可用、哪里要改。广告由 4 到 5 个生成场景、每场景上的旁白台词、叠加字幕和片尾卡组成,必须保留的信息是商品本身的样子、标签文字和文案声称与来源一致。

已有做法要么给整条片打一个好坏分,要么按点击率优化,都不指出第几秒、哪句台词、哪张字幕出了什么问题,评审人也容易漏掉某个产品细节,比如裤子多出一个口袋、行李箱轮子位置不对、文案把耐磨写成坚不可摧。论文把可用性拆成可定位、可修复的小判定,让每条判定直接对应改哪个单元。

场景 × 台词 × 字幕: 场景指四到五个生成片段之一,是画面改动的定位单位;台词指覆盖在某个场景上的旁白,是发音和脚本的定位单位;字幕指画面上的叠加文字,是遮挡和传达信息的定位单位,三者把整条广告切成可分别判定和可分别修复的小块。

与已有生成内容评审路线有何不同

生成图像和视频评审已有大量用多模态模型打分的工作,论文提到它们多评整个片段,产品保真常用嵌入相似度或感知相似度衡量。生成式广告已有按点击训练奖励模型或检查缺陷再生成的做法,视频广告理解也有基准和剪辑质量研究。

本文的不同在于检查对象是目录中每个产品的广告,依据是该产品自己的列表和照片,粒度到场景、台词和字幕,评审与修复共用同一套问题语言。人工与自动检查的关系也不同于内容审核中二选一的思路,这里是同一份问卷上两类评审并存,模型负责指出位置和证据,人负责逐条接受或否决并补充遗漏。

为什么只给整条广告打分不够用

一个例子是某条护肤广告 5 个场景都被标产品错,但原因各不相同,有徽标画错、标签乱码、借用纸箱图案等,旁白还有两句声称不在来源里,另有两个字幕位置不当。如果只给整条打分,这条会被丢掉,但实际上换掉第三个场景并移动字幕就可能救回来。

问题还在于缺陷很局部且种类多,同一场景标签糊而下一场景正常,旁白品牌名读错,字幕压住人脸。评审必须能说清是哪个单元、哪一类问题,否则无法路由到对应的修复工具。论文因此把审改定义为先定位再定种类的任务,而不是整体质量排序。

六个问题如何组织一次评审

评审围绕 6 个轴展开,产品看商品本身对不对目录照片,场景质量看除产品外的画面是否值得保留,发音看某个词是否读对,脚本看每句声称是否有来源依据,声音看整条混音的嗓音和音乐,字幕分位置和内容相关性两问。每问的答案指向固定单元,场景问指向场景,台词问指向台词行,字幕问指向字幕,声音问指向整条广告。

评审流程是先完整看一遍,可反复回放,多数判定只需看本单元,但重复场景、跨场景布景跳变和结尾无力需要连起来看,声音也按整体听。无模型提示时只见问题、目录照片、产品事实和选择器,有模型提示时被标的轴会显示自动标记和按场景分组的发现,每条发现带场景、种类和证据,评审人点赞写入答案,点踩记录否决。

产品 × 场景质量: 产品只问商品本身是否与目录照片一致,场景质量只问除产品之外的画面是否可用,二者分开是因为修复方式不同,产品文字糊掉常可原地重绘,场景重复或穿帮则常需借用、重生或换掉整个场景。

法官看到什么证据并把发现放在哪里

每个轴的法官拿评审人会看的证据。产品法官用视觉语言模型看视频片段并对照全部目录照片和一张机器生成的产品说明卡,给出时间、位置和照片依据。场景质量用 2 个模型,一个按顺序看片段,一个看每场景 4 帧。发音先用语音转写保留误读,再用文本模型比对脚本。脚本用语言模型逐条核对列表和列表照片文字并引用原文。

声音用一个音频模型给整条混音一个结论。字幕法官在评审轮之后看成片,生成时另有模型把字幕放在避开人脸和徽标的位置,并测量杂乱和对比度。

下面这张原表说明 6 个轴的单元、答案与法官所见,是理解分工的关键,行名即问题,列名即定位单元和证据。

AxisUnitAnswer and secondary optionsJudge: what it sees
Productsceneright / wrong; wrong product; shape, color, logo or markings wrong; AI issue on the product; product text not intact (garbled; low: readable, high: gibberish)a vision-language model watches the clip with all catalog photos and an AI-made product sheet, citing time, place and photo
Scene qualitysceneeverything in the scene but the product: keep / swap / no opinion; AI issue; repetitive, dull or crowded; world or continuity breaks; impossible motion; weak endingtwo models: one watches the clips in order, the other sees four frames per scene
Pronunciationlinesounds right / mispronounced, with the worda speech-to-text model transcribes the line’s narration, keeping mispronunciations; a text model checks each mismatch against the script
Soundadright / issues: the voice, the musicone audio-model verdict on the whole mix, with no scene or time

从表中可见产品与场景质量同为场景级但证据和修复分流,发音与脚本同为行级但一个听读音一个查依据,声音是唯一的整条级,字幕是唯一的叠加层级。这种一一对应让法官发现、人工标记和修复工具说同一种语言。

借用场景 × 重新生成场景 × 原地修复: 借用场景指从同产品的另一条广告拿未被标出的片段补位,不调用生成模型;重新生成场景指用同样的参考重新生成该槽位;原地修复指用视频放大模型按原提示和参考重绘同一片段,三者都是只改出问题的最小单元,保持其余片段、台词时长和字幕不动。

评审结论如何变成批准、修改或拒绝

每条答案和多数次级选项映射到问题类别和严重程度,发音和声音共用一类。规则是任一场景产品错即拒绝,两类问题或两个待换场景也拒绝,一类问题或一个待换场景送修改,无问题则批准。这些阈值是策略选择,人工可推翻,例如把有产品缺陷的送去修改。按多数标记,仅产品规则就会在 120 条中拒绝 117 条,队列把问题最少最轻的排前面,以便先拿到少量可用广告。

法官发现 × 人工标记: 法官发现是模型给出的一条带位置和种类的提示,人工标记是评审人对某个问题回答有问题并圈定位置,前者负责扩大可见范围,后者负责最终确认,点赞即把发现写入答案,点踩即否决,评审人还可补充法官漏掉的问题。

决定板列出已确认问题所属轴和场景、支持者以及修复入口,每个确认问题打开对应轴和种类在对应单元上的工具,未被接受的发现不打开任何入口。广告以分离的片段、台词、徽标和音乐存储,修复只改出问题的最小单元并保持原时长,其余台词字节不变,最终只重编码改过的场景,改后作为新广告重新评审。

确认的问题对应哪种最小改法

文字糊掉走原地修复,用生成式放大按原提示和参考以更高分辨率重绘本场景。其他产品或场景质量问题可借用同产品另一条广告的未标场景,按适配排序并经法官过滤,或用参考到视频重新生成,或做视频编辑。误读词只重拼该词并只重配该行,因为重配整条会沿用旧语音而保留错误。脚本声称不符则改词或重生该行,声音嗓音问题重配整条并保持时序,音乐换可编辑提示的音乐床,字幕在视频上方的叠加层移动或改样式,相关性问题改写、删除或换徽标。

论文在轮外小试验中报告,原地修复在 26 个已评分的糊文字场景中完全修好 18 个、部分修好 8 个且都保持原场景,脚本在生成时只重写被引用的行,410 条早期广告中被标的 134 个脚本经法官重读通过 129 个,2 名标注人看其中 129 个有 78% 干净,裁决后仍有 7 个留有法官漏掉的缺陷。这些数字只在各自小样本和各自判定标准下成立,不能推广为整轮修复率。

这项研究训练了什么,又实际执行了什么计算

论文没有训练新的神经网络,没有报告梯度、参数更新或冻结细节,各法官和修复都调用已有闭源或外部模型。实际执行的计算是按轴检索证据并生成带位置的发现,评审人用门户逐题作答并对每条发现点赞或点踩,规则把答案折算成批准、修改或拒绝,修复按轴和种类调用对应工具改最小单元。

标注过程本身也是计算的一部分,盲标指标注时没见过法官输出,辅助标指在有法官提示下作答且点赞会写入答案。理解这一点才能读懂后文数字,盲标用来衡量法官,辅助标用来衡量有提示时人工标出多少,二者分母和条件不同,不能直接比高低。

120 条广告的评审轮和 60 条的无提示对照如何安排

评审轮用自家管线生成的 120 条 15 秒广告,共 562 个场景,覆盖 20 个产品,5 名内部评审人在门户上看得到法官提示作答,每问必填,其中 78 条有 3 次评审,2 条有 2 次,40 条有 1 次,多数指超过半数的评审人,在只有 1 次评审的广告上即该评审人。

另有 60 条同轮广告在隐藏全部法官后重审,1 位没见过广告的新评审人和 1 位两周前见过的轮内评审人各审 60 条,问题、规则和结果沿用轮内,预先写下分析计划并在分析前哈希。为衡量法官另有 120 个来自其他广告的盲标场景,标注者在法官出现前按片段判定,另有 208 行旁白先只听音频盲标,再看脚本和法官输出复核。

下面这张原表列出各标注集的大小、标注者和是否盲标,能帮读者分清每个数字的分母来自哪一次标注。

Label setSizeBlind?Used for
Annotator product labels on production clips120 decided scenes of 146 labeled, 29 defectiveyesproduct judge and baselines (Tab. 4, Tab. S3)
Pronunciation corpus208 narrated lines, earlier narration enginefirst pass yes, second pass after revealrecall and precision on the first pass (Tab. 2); speech-to-text model and recheck on the second (Tab. S4)
Caption marks, 120-ad round530 captionsyes, no caption judge showncaption judges, run after the round; the placement prompt was chosen on these marks (Tabs. 4 and 2)
120-ad review round562 scenes, 278 reviewsassistedsplit, time, agreement (Sec. 4)

读结果时要先看分母是场景、台词行还是字幕,是盲标还是辅助标,是多数还是任一评审人,跨表比较前必须对齐这些条件。

有法官提示时评审人标出什么

在 120 条的轮内,多数把 60% 的 562 个场景标产品错,脚本问题占 6% 的台词行,字幕位置和相关性分别占 530 张字幕的 7% 和 2%。在任一评审人标产品错的场景中,产品法官标过 91%,但它共标了 70% 的场景,随机按同样标出率也能覆盖 70%,场景质量和发音法官也覆盖了多数被标条目。点赞会把发现写入标记,所以这些占比说明标记来源,不说明法官准确率,评审人共否决了发音法官 187 条中的 153 条,脚本多数是评审人自己找到的。

下图把任一评审人标出的条目拆成法官已标的蓝色和人工补充的橙色,黑色短线是按法官标出率随机覆盖的比例,读图时注意蓝色长不等于法官准。

看图路径: 1. 先看横轴是被标出条目中的占比,蓝色是法官已标、橙色是人工补充;2. 再看产品行蓝色占比是否明显长于脚本行;3. 最后看黑色短竖线,判断法官标出率是否高于随机

原论文 Figure 4:Each bar splits the items (scenes, lines or captions) any reviewer marked on its axis into those…

论文图 3。原论文 Figure 4::“Each bar splits the items (scenes, lines or captions) any reviewer marked on its axis into those a judge had flagged (blue) and those reviewers added (orange), in the 120-ad round.”。

该图确实可见产品行蓝色很长而脚本行橙色占大头,字幕两行总量小,黑色短线随法官标出率移动。这支持论文的判断,法官扩大了可见范围,但脚本和部分字幕仍靠人工补充,不能只看蓝色长度就说某法官更准。

召回 × 精确率: 召回是有缺陷的条目中被法官标出的比例,精确率是法官标出的条目中真正有缺陷的比例,论文把产品法官调向高召回,宁可误报干净场景也不漏掉缺陷,再靠人工逐条否决误报来平衡。

同样的 60 条广告隐藏法官后标出多少

在 60 条重叠广告的 280 个场景上,有提示时轮内多数把 58% 标产品错,无提示时 2 名评审人平均只标 26%,差距 31 个百分点,95% 区间 24 到 39。在轮内有 3 次评审的 39 条上差距仍在,61% 对 29%。同一人两周后重看同样场景,有提示时标 57%,无提示时标 19%,后一次见过提示,若有记忆应缩小差距而非放大。只在产品轴出现这种差距,其他轴见补充表。无提示时未见过广告的新评审人标出其中 38%,产品法官覆盖其中 96%。

下图左为同 60 条下有提示的多数与无提示的平均,右为同一评审人按提交顺序前中后各 20 条的变化及单篇用时,读图时把比例变化与用时变化放在一起看。

看图路径: 1. 先看左图有法官与无判断下产品标错场景比例的两根柱子;2. 再看右图同一评审人两次 pass 的两条折线随提交顺序的变化;3. 注意右图下方无判断时单篇用时是否同步下降

原论文 Figure 5:Product marks with judge findings on screen and with judges hidden, same 60 ads.

论文图 4。原论文 Figure 5::“Product marks with judge findings on screen and with judges hidden, same 60 ads.”。

左图确实可见有提示柱远高于无提示柱,右图可见无提示时该评审人从 25% 经 21% 降到 12%,中位用时从 4.4 降到 1.9 再到 1.5 分钟,有提示时则在 61%、50%、59% 间平稳。论文把后者写成探索性分析,意思是注意力下降的解释还需更大规模的交叉验证,不能当作定论。

代价方面,同 60 条上单次评审中位用时有提示 4.1 分钟、无提示 2.9 分钟,按每小时 20 美元约 1.40 对 1.00 美元。耗时探索显示,无提示下用时达到 4.1 分钟以上的评审仍只标 35%,同广告有提示的多数为 65%,说明单纯加时没有补上差距,但这也是探索性比较,评审人不同且样本小。

产品法官的设计选择与通用分数相比如何

在 120 个盲标场景的 29 个缺陷上,看片段并对照全部目录照片的产品法官给出 0 到 100 分,曲线下面积 AUC 为 0.84,通用视频质量和照片相似度在 0.48 到 0.57 之间接近随机,最好的开放视觉语言模型为 0.73。论文强调法官设计在这些标签上选定且基线未调优,所以领先幅度偏乐观,但每对配对差距的 95% 区间都不含零。看 8 帧的同一法官为 0.80,与看片段差距区间含零,不能说运动信息一定有帮助。

读表前先明确比较问题,同样 120 个盲标场景、同样以越像缺陷分数越高、阈值未调,指标是 AUC 越大越好,配对差距是片段法官减基线。

ScoreInputAUC95% interval
Clip judge (deployed)clip, catalog photos0.84[0.73, 0.94]
DINOv2 similarity3 frames, photos0.51[0.39, 0.65]
CLIP similarity3 frames, photos0.57[0.41, 0.72]
DOVER (overall)clip, no photos0.48[0.34, 0.63]
VideoScore2 (mean of 3 scores)clip, text prompt0.57[0.44, 0.69]

表中可见通用分都在 0.5 附近,开放模型 thinking 开关和输入帧数变化带来 0.1 量级波动,单行仍有运行噪声。限制是盲标排除了 26 个分歧场景,可能去掉难例,法官提示词把任何确认差异都算错,比标注人更严,标签噪声会双向拉动分数。

下图把带照片的法官与通用分放在同一 AUC 轴上,线条为 95% 自助区间,读图时只看区间是否整体在 0.5 之上。

看图路径: 1. 先看纵轴各行是带目录照片的法官还是通用相似度和质量分;2. 再看横轴 AUC 与 0.5 chance 线的相对位置及区间是否跨过 0.5;3. 比较最上方产品法官与下方通用分的区间是否分离

原论文 Figure 7:AI judges given the catalog photos against generic scores on 120 scenes labeled blind.

论文图 6。原论文 Figure 7::“AI judges given the catalog photos against generic scores on 120 scenes labeled blind.”。

图中确实可见只有带照片的法官区间整体在 0.5 之上,通用分区间都跨过 0.5。这支持在该盲标集上通用质量分无法代替对照目录照片的判断,但不能推广到其他产品、语言或管线。

哪些结论还不能推广,哪些容易被误读

结果来自一轮 120 条、20 个产品、同一市场英语旁白和闭源模型上的运行,更多长尾产品、其他语言和更弱的语音引擎下发音和声音可能更重要。编辑侧只有原地修复和脚本重写有人评,完整闭环到二次评审和交付率尚未试验。隐藏法官的对照只有 2 名评审人,无法分离提示帮助发现与跟随提示的过度信任。

下面这张原表给出评审问卷的原措辞,能看清每个问题答案和次级选项的边界,避免把不同选项混为一谈。

QuestionAnswersA problem answer points toSecondary options
The productProduct looks right; Product wrongevery scene where it happensWrong product; Shape, color, logo or markings wrong; AI issue; Product text not intact, graded Low (“still readable”) or High (“gibberish”); a comment per scene
Scene qualityNo opinion; Keep; Swap outeach rateable scene, which gets its own answerAI issue; Repetitive, dull or crowded scene; World or continuity breaks; Something moves impossibly; Weak ending (last scene only); free-text boxes for another reason and for why
Script qualityGood; Badevery spoken line where it happensFactually incorrect (an unsupported claim); Awkward or unnatural phrasing; an optional note

从表中可见产品错打开按场景圈定并细分错因,场景质量按可评分场景逐个给保留或换掉,发音只问是否读错并可填词,脚本分事实错和别扭两种,声音只问整条,字幕分位置和相关性两问。评审一致性也与此有关,3 次评审下产品和换哪些场景的一致性较高,脚本和字幕位置较低,同看法官提示可能抬高一致性。

常见误读是把接受率高当作法官精确率高。轮内产品发现被多数接受 75%,而盲标上精确率约一半,两者条件不同,轮内缺陷更多且法官标出率更高,接受还包含跟随提示的成分。另一误读是把高召回当作可单独决策,产品法官在盲标上 29 个缺陷中抓住 26 个,但 56 条标出中有 30 条是干净场景,必须人工逐条否决。

要复现这套评审第一步做什么

第一步是搭出同样的六问门户,另一管线至少需要场景和台词的时间戳,若要用文中的编辑工具,还需把广告存成可分别改写的片段、台词、字幕和音乐。评审时准备好目录照片、列表事实和品牌素材,问题、圈定器和次级选项按原措辞呈现,法官发现带场景、种类和证据分组显示,每条可点赞或点踩,提交前要求播完大部、答完必填、处理完每条发现。

论文正文写道提供单文件模板和 120 条广告的 562 个场景的评审与发现记录,以及 120 个盲标场景和基线分数,存放位置见原文链接。本文不声称这些链接当前可用,复现前需自行核验可达性。复现评审轮时注意区分盲标与辅助标,法官分数的阈值、提示词和模型版本要固定记录,因为提供方更新别名模型会导致重跑变化。

什么时候值得尝试,还缺哪项验证

当广告量大到人工逐条细看跟不上,且主要风险是商品画错、标签乱码和声称无依据时,这套把定位、定种类和定向修复绑在一起的做法值得尝试。它的代价是单篇评审时间变长、产品法官误报多带来逐条否决的工作量,以及门户和存储改造。6 个问题不依赖生成模型,换管线时可沿用,但法官提示词和阈值要在自家盲标上重调,不能直接搬数字。

还缺的验证是更大规模的交叉对照,用更多评审人轮换有无提示的顺序,分离发现效应与跟随效应并测量过度信任;完整闭环试验,报告从发现到改后重审的交付率和残留缺陷;以及在更多产品、语言和生成模型上的重复。只有补上这些,才能说清该框架在自家目录上的真实收益和成本。

📎 论文与评分元数据

排名:前50% | 文档类型:应用研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-12 语音/音乐/音频论文速递