📄 AdSpark：面向保住产品细节的多镜头广告视频数据集与评测
英文题目：AdSpark: A Large-Scale Dataset and Benchmark for Product-Centric Advertisement Video Generation
标签：#音视频生成 | #数据集构建 | #数据集 | #基准测试
评分：6.0/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.3/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Zhifei Yang：机构信息未在 arXiv HTML 中可靠披露
- Zhao Jiang：机构信息未在 arXiv HTML 中可靠披露
- Keyang Lu：机构信息未在 arXiv HTML 中可靠披露
- Honghe Zhu：机构信息未在 arXiv HTML 中可靠披露
- Zheng Zhang：机构信息未在 arXiv HTML 中可靠披露
- Jingjing Lv：机构信息未在 arXiv HTML 中可靠披露
- Changping Peng：机构信息未在 arXiv HTML 中可靠披露
- Ching Law：机构信息未在 arXiv HTML 中可靠披露
- Zhen Xiao：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
以产品为中心的广告视频生成输入产品参考图和结构化广告说明，输出保留细粒度外观并讲清卖点的多镜头有声视频，难点是运动中外观漂移、跨镜头不一致及抽象卖点难用画面证明。数据构建先按10至1000秒时长与24或25帧率筛选电商广告，得到可处理的商品与视频对，为后续跟踪提供输入。接着用透明底参考图的掩膜初始化SAM2.1-Hiera-Large逐帧传播产品掩膜，按面积占比与相邻帧变化剔除异常帧，将连续有效帧切为5至20秒候选片段并经视觉语言模型质量过滤，输出高质量候选片段。这些候选片段连同合成广告一起送入GPT-5.5，由卖点生成含一至五个镜头的创意计划与镜头对齐音频脚本，再经Gemini-3.1-Pro-Preview复核产品身份与卖点一致性，形成约30万组三元组，其中真实子集约10万条、合成子集约20万条。AdSpark-Bench用220个与训练集无重叠商品的测试用例，从视觉质量、产品保真、指令遵循、时间连贯、音频对齐和广告效果六个维度做镜头感知评测。在AdSpark-Bench评测集上，用AdSpark-300K微调LTX-2得到的LTX-AdSpark相对基线LTX-2，在跨镜头产品一致性指标上从33.30提高到93.59，在镜头结构对齐指标上从46.29提高到77.53。在同一AdSpark-Bench评测集上，该微调模型相对同一基线LTX-2，在叙事连贯性指标上从33.77提高到89.89。结论适用于电商类实物产品竖屏短广告，对长尾品类和跨平台风格尚未验证，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
广告视频生成要解决什么输入输出问题
这篇论文研究的是以产品为中心的广告视频生成，英文简称 PC-AVG。输入是三样东西：一张透明底的产品参考图，一段结构化的广告提示，里面写清产品身份、卖点、场景风格与分镜头设计，以及按镜头对齐的音频脚本。输出是一段竖屏广告视频，最好自带旁白与背景声。目标有两个硬约束：一是细粒度产品身份不能变，包括形状比例、颜色材质、包装版式、标志与包装文字；二是卖点要用画面演示出来，通过多镜头叙事讲清功能与商业吸引力，而不是只靠旁白口播。
通用视频生成通常只考核画面好看、语义对齐与时间连贯，而广告还要考核切镜后产品是否走样、镜头数与运镜是否按计划执行、卖点是否可视化。论文指出已有模型在复杂运动中容易出现动态模糊、形状扭曲与外观漂移，这正是本任务的难点。
下图是数据集与评测的总览，先看数量构成与 6 维评测框架，再进入细节。
看图路径： 1. 先看左上 100K 真实与 200K 合成的数量分块；2. 再看右下六维评测条带中产品保真与广告效果的位置；3. 最后看左下类目环确认覆盖的广度
论文图 1。原论文 Figure 1:：“Overview of AdSpark-300K and AdSpark-Bench.”。
左上写清 10 万真实广告与 20 万合成广告的构成，以及 40 个大类、3000 多个子类与 651 小时总时长；中间是多品类拼图；右上是每样本包含参考图、产品身份、卖点、创意计划与音频文本的结构化标注；右下展示视觉质量、产品保真、指令遵循、时间连贯、音频对齐与广告效果六大维度；底部把每个维度的子指标展开，说明评测不只看好看，还看是否按计划拍广告。
已有数据集与评测为什么不够用
论文把已有工作分成两类来比。第一类是训练数据：开放域文本到视频数据集如 WebVid-10M、Panda-70M、InternVid，多镜头电影数据集如 Cine250K，以主体一致为目标的数据集如 OpenS2V-5M 等。它们的输入多是通用文本或参考主体，监督是弱对齐的图文对，缺少卖点、创意计划与音频脚本这类广告专用标注。第二类是评测：VBench 系列、EvalCrafter 等主要评视觉质量、语义对齐与时间连贯，加入主体一致或多镜头控制的评测也仍停留在通用层面，没有系统评包装文字可读性、关键区域相似度、卖点可视化与广告吸引力。
因此论文的定位不是再做一个通用大库，而是在相同参考到视频的输入条件下，补上广告场景的监督与诊断工具。比较的前提是任务目标不同：通用路线优化好看与连贯，本文路线额外要求保住产品细节并讲清卖点，不能把类别差异直接说成同条件胜负。
什么算一次合格的广告生成
1 次合格的生成需要同时满足四件事。第一，产品外观稳定：整段视频里产品与参考图对得上，标志与包装文字可辨认。第二，镜头结构可控：计划两镜就生成两镜，切点落在容差内。第三，内容可执行：每镜的景别运镜、场景风格与卖点演示按计划实现。第四，视听与叙事完整：背景声与旁白跟画面对齐，多镜头之间有递进而不是碎片拼接。
论文把卖点条目写成 3 段式：卖点本身、可视化做法、可观察的成功标准。比如防水手表不是只念防水，而是要拍到入水、水花与表盘仍可辨认。这种写法让生成有章可循，也让评测能按图索骥。
产品身份 × 卖点： 产品身份指类别、品牌、外观颜色材质形状、关键区域与包装文字等必须在视频中保持不变的细粒度信息；卖点指商家希望传达的商业特性。两者分工不同：前者约束长什么样不能变，后者约束要演示什么功能。组合后模型既要保住外观，又要把功能演出来，而不是只念旁白。
数据集两条流水线如何分工
AdSpark-300K 统一存成参考图、广告视频与结构化标注的三元组，但来源分两条流水线。真实分支从电商平台已授权的商品详情页拿配对素材，负责保留真实外观与真实广告节奏；合成分支从高质量单品库出发先规划再生成，负责补足镜头设计与旁白对齐的覆盖度。两支最后都归一到同一标注模式，包含产品身份、卖点、创意计划、对齐音频脚本与可执行的生成提示。
下图展示两条流水线的阶段划分，理解分工后再看每步的输入处理。
看图路径： 1. 沿上排看真实分支从分割跟踪到镜头切分的箭头；2. 沿下排看合成支从三步过滤到多模型生成的箭头；3. 对比两支最后都汇入统一标注与人工检查
论文图 2。原论文 Figure 2:：“Overview of the AdSpark-300K construction pipeline, comprising real-world advertisement curation and synthetic advertisement construction, each involving tailored stages for…”。
上排真实分支从广告视频、参考图与参考掩膜进入，经 SAM2 分割跟踪、几何与时间过滤、质量检查、TransNetV2 镜头切分，最后用视觉语言模型与语音转写做标注并人工复核；下排合成支从商品库经质量、适用性与类目 3 步过滤，再经大模型生成标注、独立评审、多模型生成视频与人工检查。两支都强调人工把关，而不是全自动放行。
创意计划 × 音频脚本： 创意计划指场景、风格与分镜头设计，规定每段时间的景别、运镜与意图；音频脚本指按镜头对齐的旁白与背景声。两者按镜头时间轴对齐：画面讲故事节奏，声音讲商业信息，组合后支持视听联合生成与细粒度的视听一致性检查。
真实广告如何被清洗与标注
真实分支先用参考图的透明通道得到的前景掩膜初始化，再用 SAM2 在全片传播产品掩膜。接着做帧级几何与时间过滤：产品框或掩膜面积过小、过大、贴边、相邻帧面积比突变或中心点位移过大都会被剔除，连续有效帧组成 5~20 秒候选片段。然后用 Qwen3-VL-235B 看最多 10 帧代表帧，检查是否跟参考图同款、是否完整可见、有无大面积浮字遮挡，产品自带印刷文字不算遮挡。
通过的片段用 TransNetV2 切成有序镜头，再用同一视觉语言模型从代表帧、参考图与商品元数据反推产品身份、卖点与场景风格和分镜，用 Whisper-Large-v3-Turbo 转写原音频并按时间戳对齐到镜头。最后 20 名有经验的标注员每样本 1 人复核，修正描述与边界并剔除低质样本，只有通过的才入库。这个过程的代价是人工复核量大，但好处是保留了真实光照、真实使用场景与真实口播节奏。
产品保真如何从整到零地量
评测先用 GroundingDINO 定位产品再用 SAM2 精修掩膜，然后用 DINOv3 提特征做比较，避免整图比对时背景干扰。整体外观用主体一致性度量，即参考产品特征与各采样帧产品特征余弦相似度的平均。
\[S_{\mathrm{subj}}=\frac{1}{N}\sum_{i=1}^{N}\cos(z_{r},z_{i}).\]其中 zr 是参考产品区域特征，zi 是第 i 帧生成产品特征，N 为采样帧数。关键区域相似度进一步看标志、品牌印记与包装细节等标注区域，包装文字保真用 RapidOCR 识别后再算最小编辑距离的相似度。
\[S_{\mathrm{text}}=1-\frac{d_{\mathrm{edit}}(y,\hat{y})}{|y|},\]其中 y 是标注真值文本，y 帽是识别文本，dedit 为 Levenshtein 编辑距离。跨镜头一致性则看切点前后产品特征的相似度，捕捉平均值掩盖的突变。
主体一致性 × 跨镜头产品一致性： 主体一致性指视频各帧中产品与参考图整体外观的特征相似度；跨镜头产品一致性指切镜前后产品特征的相似度。前者是全片平均，容易掩盖突变；后者专门捕捉切镜带来的身份跳变。两者搭配才能同时看到平均保真与切换稳定性。
镜头结构与执行如何分开打分
多镜头直接全片打分会把有意切镜误判成闪烁，因此先用 TransNetV2 在生成视频上盲检切点，不用真值边界，再用时间交并比把生成镜头与计划镜头贪心配对。结构对齐看数量准确率与边界准确率，数量项为最大截断的相对误差形式。
\[S_{\mathrm{count}}=\max\left(0,1-\frac{|N_{g}-N_{p}|}{N_{p}}\right).\]其中 Ng 为检出镜头数，Np 为计划镜头数；边界项要求计划切点在 0.5 s 容差内有检出切点。执行对齐则对配对镜头做时间序列拼图并附光流运动线索，再让 GPT-5.5 判断景别与运镜是否符合计划。内容对齐用代表帧评场景风格，用更密采样评卖点是否在任意时刻被清楚演示，并另报全局图文对齐的 GmeScore。
镜头结构对齐 × 镜头执行对齐： 镜头结构对齐检查生成视频的镜头数量与切分位置是否跟计划一致；镜头执行对齐检查每个配对镜头内部的景别与运镜是否做对。结构管切几刀、在哪切，执行管每一段怎么拍，两者结合才能区分多镜头叙事失败是切错了还是拍错了。
时间连贯与音频对齐看什么信号
时间连贯分三块。镜内运动质量看光流幅度的均值与变异系数，以及产品掩膜中心、面积与相邻掩膜交并比构成的稳定性；转场自然度先做像素级坏帧检查，再让多模态裁判看亮度与风格连续性；边界局部一致性看切点邻域的帧差与结构相似度，正常转场只应有 1 次大变化。音频只对有有效非静音轨的视频打分：背景声一致性用 LAION-CLAP 算生成音频与计划声音描述的语义相似度，旁白一致性用 Whisper 转写后算与参考脚本的字符错误率的互补相似度。
广告效果则让 GPT-5.5 扮演潜在顾客，从吸引力、创意质量与叙事连贯三方面打分，单镜头只看是否自洽完整，多镜头还要看递进与节奏。
场景对齐 × 风格对齐： 场景对齐指环境、道具与空间关系是否符合计划；风格对齐指光照、色调、对比与商业质感是否符合计划。场景管在哪里拍，风格管拍成什么气质，组合后内容对齐才能判断广告是否既放对地方又拍出应有的高级感。
数据规模分布与合成规划如何构成训练条件
训练数据共约 300,000 条，真实 10 万加合成 200,000，覆盖 40 大类、3000 多子类与 651 小时。论文统计超 85% 样本为多镜头，以 2 镜头占 47.3% 与 3 镜头占 23.6% 为主。音频密度定义为每秒口播词数，分布显示不同旁白节奏；MUSIQ 分布显示整体视觉质量较高。镜头层面跟踪运镜与前推运镜为主，演示镜头、主角镜头与微距细节镜头占比较高，多数产品关联 2 到 3 个卖点，提示词长度峰值在 500 字符左右。
合成规划用 GPT-5.5 按参考图与商品属性生成身份、卖点可视化、场景风格与 15 个镜头的时序设计，再用 Gemini-3.1-Pro-Preview 做独立评审，最多 5 轮改写，不通过则丢弃该单品。视频用 Seedance 2.0 为主，辅以 Happy Horse 与 Kling 以减少单模型偏置，生成竖屏 720p、515 秒并带旁白与音效，禁止字幕与水印等非产品文字。人工按保真、合理性、运动、卖点实现与音频对齐五方面一票否决。
下图是时长、音频密度、镜头数与帧质量的分布，先建立对训练输入的直观认识。
看图路径： 1. 看时长环中 5~8s 占比最大的那一块；2. 看镜头数条形中 2 镜头与 3 镜头的比例；3. 看音频密度与图像质量分布的峰形与拖尾
论文图 3。原论文 Figure 3:：“Statistics of AdSpark-300K, including (a) video duration distribution, (b) audio density distribution, (c) shot count distribution, and (d) video frame quality distribution via…”。
可见多数视频落在 5~8 秒区间，多镜头为主，音频密度呈多峰，图像质量分数集中在中高段。这意味着模型训练时见到的主要是短平快的多镜头广告，而不是长叙事。
评测集与基线在什么条件下比较
AdSpark-Bench 是严格与训练集单品不重叠的 220 个用例，覆盖全部 40 大类与 220 个不同子类，含 45 个单镜头、131 个双镜头与 44 个三镜头，共 175 个多镜头用例。每个用例给参考图与结构化广告条件。部分指标用条件子集：文字保真需 72 个有充足可读包装文字的样本，标志与关键区域需 172 个样本，产品演示需 20 个含功能演示的样本，多镜头相关指标只在多镜头子集上算，无目标样本不打零分而是排除，但计划多镜头却只检出单镜头时跨镜头项记零。
基线含 7 个闭源与 11 个开源参考到视频模型，以及在 AdSpark-300K 上用 LoRA 微调的 LTX-2，记为 LTX-AdSpark。闭源走官方接口，开源用官方权重与推荐推理设置，同一参考图与广告提示，无音频能力的模型音频项记为不可用而不打零分。微调在 8 卡 B200 上跑 30,000 步，LoRA 作用于注意力投影，秩与 alpha 均为 64，推理生成 704×1280、121 帧约 5 秒。 下图展示评测参考图的品类广度，理解保真压力从何而来。
看图路径： 1. 逐行浏览家电、服饰、食品、日化等参考图；2. 注意透明底产品图保留包装文字与标志细节；3. 体会细粒度保真评测为何需要这些样本
论文图 6。原论文 Figure 6:：“Representative reference images from AdSpark-Bench.”。
从家电、相机、服饰、家具到食品、日化与五金，透明底参考图保留了大量细小标志与包装文字，这解释了为何整体好看但文字与标志仍易错。
主结果显示哪些能力涨了哪些没涨
比较问题是：在相同参考图与广告提示下，现有模型能否同时做到好看、保住产品、按镜头计划执行并讲好卖点。指标方向均为越高越好，音频缺失不计分。总体看，闭源模型在动态与视觉吸引力上占优，但复杂运动中主体一致性、关键区域与文字保真仍掉分；开源模型在多镜头结构与叙事上更弱，跨镜头一致性与时间连贯偏低。
下表整理数据集体量，说明训练基础的规模条件。
| 数据组成 | 参考图-提示-视频三元组 | 真实子集 | 合成子集 | 大类与总时长 |
|---|---|---|---|---|
| AdSpark-300K | 约 300K 三元组 | 100K 条 | 200K 条 | 40 大类与 651 小时 |
该表说明数据不是小规模拼凑，真实与合成互补是后续消融的前提，但规模本身不保证细粒度保真，还需看评测集上的实际得分。
下表整理评测集构成，说明多镜头诊断的适用范围。
| 评测集 | 用例总数 | 单镜头 | 双镜头与三镜头 | 多镜头小计 |
|---|---|---|---|---|
| AdSpark-Bench | 220 例 | 45 例 | 131 例与 44 例 | 175 例 |
该表说明跨镜头、转场与叙事指标有足够的诊断样本，但单镜头用例只考核基础保真，不能推广到多镜头结论。
下表给出关键的可运行策略对比，基线为原始 LTX-2，改进为同起点微调后的 LTX-AdSpark。
| 对比条件 | 跨镜头产品一致性 | 镜头结构对齐 | 叙事连贯性 | 说明 |
|---|---|---|---|---|
| LTX-2 个基线 | 33.30 | 46.29 | 33.77 | 未经广告数据微调 |
| LTX-AdSpark | 93.59 | 77.53 | 89.89 | AdSpark-300K 微调后 |
表后解释：三项都是 100 分制下提升数十个点，跨镜头一致性从 33.30 到 93.59，结构对齐从 46.29 到 77.53，叙事连贯从 33.77 到 89.89，支持数据集对多镜头广告生成的有效性。但限制同样明确：这是在 5 秒左右、固定分辨率与种子下的结果，且文字保真等细粒度项绝对值仍不高，不能理解为产品完全不走样。未胜出项是 VACE、SkyReels 等多款开源模型在跨镜头与转场上接近零分，说明通用模型直接搬到广告任务会系统性失败。
真实与合成数据各自带来什么增益
消融问题是：在相同 LTX-2 起点与相同优化设置下，真实与合成子集的贡献是否互补，扩大合成规模是否有益。比较固定 10 万量级：真实 100K 在主体一致性上为 64.73，高于合成 100K 的 58.17，说明真实外观监督更强；合成 100K 在结构、转场与旁白上分别为 71.79、80.09 与 81.38，高于真实的 70.68、72.76 与 78.26，与其来自显式分镜与对齐旁白的构造方式一致。合成从 100K 扩到 200K 各项继续上涨，完整 30 万在主体一致性上进一步到 65.01 且其余项最高，说明增益既来自规模也来自互补。
下表整理上述消融数字，保留基线与可运行变体。
| 训练数据 | 主体一致性 | 镜头结构对齐 | 转场自然度 | 旁白一致性 | 创意质量 |
|---|---|---|---|---|---|
| LTX-2 个基线 | 50.39 | 46.29 | 33.66 | 74.71 | 56.05 |
| 真实 100K | 64.73 | 70.68 | 72.76 | 78.26 | 57.61 |
| 合成 100K | 58.17 | 71.79 | 80.09 | 81.38 | 57.12 |
| 合成 200K | 61.59 | 76.23 | 87.26 | 82.62 | 58.47 |
| 完整 300K | 65.01 | 77.53 | 88.09 | 84.41 | 59.29 |
表后解释：主要收益是真实补保真、合成补结构，合在一起最好；代价是仍需 10 万真实人工清洗与 20 万合成生成加人工检查，训练与筛选成本不低。反例是创意质量绝对提升较小，从 56.05 到 59.29，说明数据主要改善按计划执行，多谈不上自动变成高创意广告。尚未评测的是更长时长与更多镜头数的泛化，以及不同基座模型是否都有同等增益。
结论在什么边界内成立
论文的结论依赖 3 个边界。第一，数据来自单一大型电商平台并按点击排序选品，长尾小众品类覆盖有限，跨平台与跨市场风格是否成立待验证。第二，GPT 辅助的执行、内容、转场与效果指标与人工排序的 Spearman 相关在 0.719~0.861 之间，客观项更高、主观的吸引力与创意项较低，说明自动分能反映趋势但不等于人工评价。第三，音频只在有有效音轨时评测，无音频能力不罚分，因此音频排名只适用于支持音频生成的子集。
此外，镜头检测本身可能出错，检错会传导到结构与跨镜头分；合成视频由特定三款生成器构成，可能带有生成偏置。论文也明确数据集当前聚焦电商场景，未来需扩展来源与长尾分布。这些不是技术缺陷，而是复用结论时必须守住的适用条件。
复现第一步要准备什么
复现评测的第一步是按论文的输入契约准备用例：每例一张高质量透明底参考图、完整的产品身份与卖点标注、1~5 个有序非重叠镜头的创意计划，以及按镜头对齐的旁白与背景声描述，并保证与训练单品不重叠。生成时用同一参考图与同一广告提示跑所有模型，保留官方推理设置；评测时先用 TransNetV2 盲检镜头再配对，不要代入真值边界。
微调复现可参考 LTX-AdSpark 的设置：LoRA 秩 64、学习率 2×10-4、批量 4、30,000 步、bfloat16 与梯度检查点，推理固定 704×1280、121 帧、30 步与固定种子。关键是保留产品掩膜提取、OCR 目标与卖点成功标准的字段，否则保真与卖点项无法对齐。论文未公开代码、模型与数据的可下载状态，来源清单也显示无可用作者资源，因此目前只能按描述复刻流程，不能直接下载运行。
什么时候值得尝试还缺什么验证
当任务是短竖屏产品广告、需要多镜头演示功能且有参考图约束时，这套数据与评测值得尝试：它把切几镜、在哪切、每镜怎么运镜、卖点何时出现都写成了可执行、可打分的契约，微调后多镜头连贯性提升明显。反之，若追求长叙事、强创意发散或无参考的纯文本生成，则不应期待同等增益。
还缺的验证有三项：一是跨基座的可迁移性，只验证了 LTX-2；二是跨平台与长尾品类的泛化；三是人工购买意愿与线上投放效果的外部效度，现有广告效果仍是模型扮演顾客的打分。补上这些，才能从评测高分走到真实投放可用。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses