📄 视频生成背后：Kling 如何把多模态理解变成可控生成
英文题目：Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling
评分：5.6/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Kling Team：机构信息未能在本次解析中与作者逐人可靠绑定
- Dong Chen：机构信息未能在本次解析中与作者逐人可靠绑定
- Jialu Chen：机构信息未能在本次解析中与作者逐人可靠绑定
- Xinlong Chen：机构信息未能在本次解析中与作者逐人可靠绑定
- Yifan Dai：机构信息未能在本次解析中与作者逐人可靠绑定
- Haotian Dong：机构信息未能在本次解析中与作者逐人可靠绑定
- Binzong Geng：机构信息未能在本次解析中与作者逐人可靠绑定
- Yushuo Guan：机构信息未能在本次解析中与作者逐人可靠绑定
- Minghui Guo：机构信息未能在本次解析中与作者逐人可靠绑定
- Guanlin He：机构信息未能在本次解析中与作者逐人可靠绑定
- Guanxiao He：机构信息未能在本次解析中与作者逐人可靠绑定
- Jingyun Hua：机构信息未能在本次解析中与作者逐人可靠绑定
- Yanwei Huang：机构信息未能在本次解析中与作者逐人可靠绑定
- Yiyan Ji：机构信息未能在本次解析中与作者逐人可靠绑定
- Xueping Jia：机构信息未能在本次解析中与作者逐人可靠绑定
- Yizhuo Jia：机构信息未能在本次解析中与作者逐人可靠绑定
- Bozhou Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Jiaze Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Min Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Shihao Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Shujie Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Shengyi Liao：机构信息未能在本次解析中与作者逐人可靠绑定
- Weihong Lin：机构信息未能在本次解析中与作者逐人可靠绑定
- Shiyuan Liu：机构信息未能在本次解析中与作者逐人可靠绑定
- Xinyu Liu：机构信息未能在本次解析中与作者逐人可靠绑定
- Siyang Mao：机构信息未能在本次解析中与作者逐人可靠绑定
- Xiaoru Qu：机构信息未能在本次解析中与作者逐人可靠绑定
- Dianmo Sheng：机构信息未能在本次解析中与作者逐人可靠绑定
- Yang Shi：机构信息未能在本次解析中与作者逐人可靠绑定
- Jiafu Tang：机构信息未能在本次解析中与作者逐人可靠绑定
- Longxiang Tang：机构信息未能在本次解析中与作者逐人可靠绑定
- Yuqi Tang：机构信息未能在本次解析中与作者逐人可靠绑定
- Chengzhuo Tong：机构信息未能在本次解析中与作者逐人可靠绑定
- Kuo Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Qixun Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Rui Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Tianduo Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Yuran Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Zekun Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Zihao Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Boyang Xia：机构信息未能在本次解析中与作者逐人可靠绑定
- Yifan Xu：机构信息未能在本次解析中与作者逐人可靠绑定
- Liu Yang：机构信息未能在本次解析中与作者逐人可靠绑定
- Zhenlong Yuan：机构信息未能在本次解析中与作者逐人可靠绑定
- Bohan Zeng：机构信息未能在本次解析中与作者逐人可靠绑定
- Mujin Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
- Yuanxing Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
- Zhicheng Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
- Zhuoran Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
- Yuanhong Zheng：机构信息未能在本次解析中与作者逐人可靠绑定
- Kun Gai：机构信息未能在本次解析中与作者逐人可靠绑定
- Chengru Song：机构信息未能在本次解析中与作者逐人可靠绑定
- Pengfei Wan：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
视频生成要解决的输入是混杂的文字要求、人物肖像、源视频和声音，输出是多镜头连贯且声画对齐的短片，难点是局部正确不等于整体可用，错误会随时间累积并在镜头之间传递。论文先用 Kling-MLLM 统一处理图像、视频、音频、同步音视频和交错输入，为各模块提供共享感知基础。接着用稠密的生成导向字幕和带引用绑定的字幕把视频事实写成训练监督，再用提示词增强把用户请求翻译回这种字幕分布。文本编码器负责把文字转成扩散模型可用的连续条件，奖励模型提供可解释的定位 critique 和快速多维打分，任务专用的自动评测负责暴露走捷径的打分并回溯故障来源。与直接复用现成编码器或通用改写器的做法相比，关键差异是强调描述密度、感知适配和多层条件稳定，并把大量增益放在进入生成器之前的文本层面解决。在内部累计消融中，提示词增强从随机来源基线到加入检索的完整流程，StoryEval 从 65.42 提高到 77.72，MultiRef-Compass 从 4.6137 提高到 4.7158，决策奖励模型在内部成对偏好上达到 77.86% 的宏平均准确率。结论适用于以稠密字幕训练的扩散视频模型，对长视频时空一致性和开放域泛化仍未充分验证，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇报告要解决什么：从好看片段到可用成片
论文讨论的输入是文字提示加上可选的人物图、物品图、场景图、声音或前置视频，目标是生成多镜头连贯、人物一致、对白与音乐同步的短片。必须保留的信息包括谁在场、动作如何分阶段完成、相机怎么动、镜头何时切换、屏幕文字是什么、声音何时出现。输出是视频加音频序列，评测要看动作是否做完、身份是否稳定、音画是否对齐。
作者的核心判断是瓶颈已从渲染转向语义控制：单帧好看不等于事件做对、方向不错乱、剪辑不跳跃。报告把生成质量看作多模态理解沿数据、条件、对齐、评测整条链的投影，任何一环丢信息都会在成片里表现为同一种失败，因此要逐环检查。
与通用多模态评测路线有什么不同
通用问答分数高不代表能理解左右关系、构图、光线、镜头边界、身份绑定或密集时序变化，而这些恰恰决定生成结果是否可控可改。论文因此不追求在通用榜单上再涨分，而是问哪些语义以什么表示到达生成器，又有什么下游证据。
在方法路线上，报告提到 HunyuanVideo 已有学习式改写，RAPO 证明检索能把提示拉回训练分布，VidCapBench 与 CapRiCorn-1K 把标注评价从句子相似转向可验证事实。本文的差异是把这些点连成链：标注定语言，改写管输入翻译，编码器管条件落地，奖励模型管优化方向，评测按任务拆分防走捷径。
为什么同一失败不能只怪生成器
一个动作缺失可能来自四处：标注漏写了该监督，条件表示丢了时序结构，奖励模型偏爱静止平滑视频，或评测根本没测该事件。只看一个总分无法定位。论文提出 4 个主张：描述密度决定数据效率；成熟生成器有自己的方言甜点；提示改写要分两层；评测要按任务分解。
对初学者关键的一点是扩散变换器见过的训练样本远少于语言模型，靠放大规模补数据不现实。每段训练视频必须携带尽可能多的监督，单位时长的文本描述密度成为数据效率的中心量。这解释了后面为何反复强调密集标注和绑定显式化。
整条链如何分工：一个样本走完全程
以一段带两张人物肖像和一条声音的请求为例。先由共享基础模型派生的标注器写出目标视频的密集描述；若有参考，则写出谁的脸来自哪张图、声音来自哪段音频、各自管到哪 1 秒。用户请求先经智能体层理顺情节并检索精彩示例，再经基础改写转成标注方言。文本编码器把这段文字变成连续条件，生成器据此采样。奖励模型对多个候选按视觉质量、运动质量、一致性和文本对齐打分，自动评测再按任务查缺。
各环共享同一套术语和分类：标注的字段就是改写的目标分布，也是编码器要保留的结构，更是奖励与评测的打分维度。这样失败可以向上游追溯，而不是停留在好看不好看。
共享底座如何同时吃进图像视频音频
Kling-MLLM 有 27B 稠密版和 35B-A3B、397B-A17B 两种混合专家版，视觉与语言骨干源自 Qwen3.5 至 Qwen3.8 系列检查点，再加规模相关的音频塔。输入界面把每种流映射成同一大语言模型可读的连续序列，用边界标记分隔片段，用物理时间戳锚定位置，文本与媒体可交错出现。
视觉通路是 ViT 加空间池化加视觉对齐器，图像按保持长宽比的动态分辨率处理，视频按时长和上下文预算动态选帧率与帧数，每帧带自己的时间戳。音频小模型与大模型采用不同每秒 token 数，并每 5 秒插入绝对时间锚点。同步音视频按时间遍历视频帧，在每块视觉 token 前插入此前区间的所有音频 token，同时间戳时音频在前。 下面先看架构图的观察任务，再对照正文理解序列化方式。
看图路径： 1. 先看底部三种原始输入如何进入视觉与音频两条通路；2. 再看中部时间戳与边界标记如何把不同模态排成一个序列；3. 最后看同步音视频行中音频与视频块的交错顺序
论文图 2。原论文 Figure 2:：“Kling-MLLM architecture. Multimodal inputs are encoded by visual and audio paths into aligned continuous tokens, delimited by modality boundary markers, anchored with physical…”。
该图可见底部 3 类原始输入分别进入视觉与音频编码器，中部时间戳与边界标记把视频块、音频块和文本块排成一条序列，同步行中音频与视频按物理时间交错。它的作用是说明多模态不是拼成离散码本，而是带着可比较时钟的连续 token 流，这为后面的跨模态对齐和时间定位提供了表示基础。
Kling-MLLM × 标注器： Kling-MLLM 是统一处理图像、视频、音频、同步音视频和交错输入的共享基础模型，负责提供视觉、时间和声音的感知基础；标注器是由它经任务后训练分化出的专家，只负责把视频证据写成密集文本。两者搭配的意义是复用同一感知底座，再让不同下游选择各自的精度与延迟工作点。
密集标注要写什么：内容与写法约定
论文把标注看作训练监督的语义接口，漏写迫使生成器猜先验，写错则注入矛盾信号。内容上要求主体与动作、空间构图、摄影与光线、时间与分镜、可见可听文本、材质质感 6 类信息，缺一类对应一类生成失败，例如左右颠倒、运镜不可复现、硬切变闪切、文字乱码、音画错位。
写法上有 4 条工程约定：用稳定名词短语并跨句复用，避免他或另一个人；镜头时间戳单调可验证；可见文字按原样转录不改写；只在检查过音频后才写声音字段，且写在发生的叙事位置。粒度也要分开，短标注做检索，密集标注做生成，混用会扰乱训练分布。
下图用同一段 17.7 秒片段对比两种标注，读图时先看时间轴再看两栏正误标记。
看图路径： 1. 对比左右两栏对同一 17.7 秒片段的不同写法；2. 注意时间轴上硬切、标题淡入与画外音的位置；3. 看镜像反字等可见文本在哪一栏被如实转录
论文图 3。原论文 Figure 3:：“Two captions of a 17.7 s clip from Meridian.”。
图中可见上部 4 帧与中部时间轴标出 7 个事实，下部左右两栏分别标出遗漏、部分正确与矛盾之处。它的教学价值是说明词重叠指标会放过监督错误，只有按原子事实核对才能暴露训练价值差异，这也引出后文的原子评测与下游验证。
参考关联标注如何把绑定写死
当请求带参考时，标注还要回答谁用哪张图、管哪个属性、管到哪 1 秒。论文把结果拆成显式指针、补充描述和保留或修改记录三部分。肖像只管脸不管姿势，源视频管背景几何但不指定改动，音频管音色不管画面动作。难点不在参考数量，而在可分性：相似主体易混，局部状态变化需从大量不变量中隔离。
语义约定有 3 条且必须同时成立：作用域绑定保证指针指到实体属性事件与区间；残余充分性要求参考给不了的目标事实全部写出；权限一致性要求文字不再与参考争夺已委托的属性。违反任一条都会产生虚假相关或相互打架的条件。
标准标注 × 参考关联标注： 标准标注描述目标视频本身的内容，解决训练监督缺什么的问题；参考关联标注额外说明参考图、参考视频或参考音频各自管哪个实体、哪个属性和哪个时间段，解决多参考时身份混淆和属性泄漏的问题。统一表示让两者共享术语和格式，标准数据提供广度，参考数据专攻绑定。
下图是 22.5 秒片段在两张肖像加一条声音下的写法，观察任务是看每个指针是否带作用域，残余事实是否补全。
看图路径： 1. 看左侧两个人物肖像与声音参考如何编号；2. 看中间时间轴上人物在场与说话区间如何分开；3. 对照右侧三条语义约定的正反写法差异
论文图 4。原论文 Figure 4:：“Reference-grounded captioning on a 22.5 s clip from Meridian, given two portraits (IMG_1, IMG_2) and a voice track (AUD_1).”。
图中可见人物身份与声音分别绑定到对应肖像与音频，并标出在场与说话区间，右侧列出 3 条约定的正反示例。它说明正确写法不是同义改写，而是可执行的控制图：绑定委托证据，残余补齐上下文，一致性避免跨模态覆盖。
提示改写与编码奖励如何衔接
生成器是在密集标注上训练的，推理时用户话术往往口语化或由其他模型代写，长度、槽位顺序、术语和句式都对不上。论文要求格式、词表、句式三层对齐。最可靠的办法是倒着造数据：从精彩视频的标注出发，让教师模型反写可能的用户请求，再学从请求到标注的映射。源标注只选本身精彩的视频，否则改写学到的是平庸构图与无事件动作。
基础提示改写 × 智能体提示改写： 基础提示改写只负责把用户文字翻译成生成器训练时的标注方言，不改参考媒体；智能体提示改写在它之前负责想清楚写什么，包括修复情节矛盾和检索精彩示例。分工让忠实与合理、鲜活不再压在同一个模型上，改写方言得以保持稳定。
基础改写分 3 阶段训练：先用通过忠实合理鲜活检验的对做有监督微调，再用文本奖励优化，最后连冻结编码器与生成器做端到端强化。智能体层在推理时先做故事修复与前五检索，基础改写再决定借用哪些细节，训练时用严格拒绝采样防幻觉导入。
条件接口可抽象为编码器把提示变成条件序列，生成器只通过该序列看到提示。若编码器没解析的视觉时序语义，后面再也到不了生成器。论文用最小对比描述直接筛序列表示，在 Kling-MLLM 上再做密集描述与时空感知适配，聚合多层特征并稳定融合权重。
\[\mathbf{H}_{\mathrm{cond}}=\Phi_{\theta}(c),\qquad\widehat{v}=G_{\phi}\!\left(\mathbf{H}_{\mathrm{cond}},\bm{\epsilon}\right),\]该式说明条件序列是编码器输出，生成视频是该序列与采样噪声的函数。它要计算的是提示到可执行条件的映射，符号中 c 是提示文本，H 是条件序列，v 是生成视频。理解它只需记住损耗位置：H 丢掉的，生成器看不见。
奖励侧用 2 模型分工，分类体系一致，分别保证据与速度。
文本编码器 × 扩散变换器： 文本编码器把提示文本读成连续条件序列，扩散变换器只通过这个序列看到提示。编码器若丢掉空间、时序细节，生成器再强也补不回来。论文因此把编码器看作理解到生成的最后一公里，用感知适配和多层融合让细节真正到达生成器。
通用奖励模型 × 决策奖励模型： 通用奖励模型负责给出可解释的、带时间区间和边框的缺陷定位，用于离线分析和数据筛选；决策奖励模型负责在一次前向中回答多个维度的选择题，用于在线强化学习和快速打分。两者共享同一缺陷分类体系，前者保证证据，后者保证速度。
下面两式是评测侧防捷径的乘法设计，读懂它们才能理解为何直接复制参考或完全不改也能得高分。
\[\mathrm{EF}_{\mathrm{final}}=\mathrm{EF}_{\mathrm{base}}P_{\mathrm{paste}},\]该式把最终编辑保真分乘以防粘贴系数，复制参考越多系数越小，用于惩罚直接贴图的高保真假象。
\[\mathrm{EI}^{(c)}_{M}=\mathrm{IF}^{(c)}_{M}\mathrm{FP}^{(c)}_{M},\]该式把每模态的编辑意图分定义为指令遵循与保真保持的乘积，不改或全改都拿不到高分，用于同时卡住无响应与推倒重来两条捷径。
四阶段课程与三阶段奖励训练如何组织
基础模型训练分 4 段：先只训音频塔做声学初始化，冻结视觉与语言；再解冻三者短序列联合训练，重音频与同步音视频以建声语对齐；转长序列提升细粒度时间感知，加入分镜理解与伪影定位；最后冻结两塔只更新语言模型做长上下文整合。作者还发现融合第一与第 4 阶段检查点更好。
标注管线是多专家串行再蒸馏为单步学生：按内容时长与音频可用性路由，保留下采样与语音文字证据，通用与专用专家分别提主体与相机空间光线分镜，整合层解冲突并统一实体名，联合门控卡准确覆盖多样与一致，不合格进错题池。
奖励训练同样分 3 段，下图给出全览，先读阶段划分再看文字。
看图路径： 1. 看三阶段从视觉适配到可解释评价再到快速打分的顺序；2. 注意每一阶段冻结与可训练部分的变化；3. 看底部两种应用分别由哪个模型承担
论文图 7。原论文 Figure 7:：“Three-stage training pipeline for our RMs, starting from Kling-MLLM-27B.”。
图中可见从基础模型出发，阶段一冻结语言模型只适配视觉编码器，阶段二先冷启动有监督再用可验证奖励做强化，阶段三从通用模型初始化决策模型并做决策头预热、逐点逐对联合训练与对称校准。它的作用是说明感知先行、解释与决策分离：看不见的缺陷靠推理补不回来，漏报要罚，决策要在前缀一次读完以避免自回归串扰。
评测在什么条件下比：任务、指标与方向
基础模型评测覆盖音频、同步音视频、交错、图像、视频 5 类输入，用 LMMs-Eval 框架与默认提示，箭头标明越大或越小越好。开源模型多列出自测值与官方报告值，LATBench 用竖线分隔中英文，VidCapBench 用竖线分隔准确与覆盖。
下游评测按任务拆：标注看原子关键点与下游生成增益；文生视频看指令遵循、感知质量与物理常识；参考条件看身份细节绑定与自然融合，并用防粘贴系数；关键帧看存在、保真、顺序、位置、持续与唯一性；编辑看原子清单、响应门控与源目标跟踪。每个性质路由到最简单的可靠工具，帧率分辨率与 token 预算属于协议而非实现细节，去掉或打乱时间证据后仍不变的时序指标不可信。
交错输入与奖励模型在哪些条件下领先
交错与音视频理解的比较问题是同一模型能否把分散在多段媒体中的证据组合起来，指标方向是分数越高越好，比较对象是同期开源与闭源模型在相同榜单上的报告值。
| 条件 | 指标 | 本方法 | 与最优的差距 |
|---|---|---|---|
| 交错输入 IV-Bench | 得分 | 61.05 | 0.36 |
| 交错输入 MVU-Eval | 得分 | 63.16 | 0.55 |
上表说明 Kling 最大规模版本在这两项上接近最优，差距不到 1 分，但并未拉开断层领先。限制是该结论只在原文所用提示与评测配置下成立，换裁判或换隐藏提示后名次可能变化，且语音识别与部分图像指标上仍是混合结果。
音频 token 组织的比较问题是不同规模塔如何以统一接口进入语言模型，关键是每秒 token 数与时间锚点是否可比。
| 条件 | 指标 | 小规模塔 | 大规模塔 | 时间锚点 |
|---|---|---|---|---|
| 音频输入 | 每秒 token 数 | 13 audio tokens per second | 25 audio tokens per second | every five seconds |
上表说明两种塔暴露相同的嵌入接口，只是时间网格不同，大塔用更密的每秒 25 个 token 保留细节，并用每 5 秒锚点减少语言模型推算绝对时间的负担。该设计的作用是让同步音视频共用一条带物理时钟的序列，而不是把结论推广到任意采样率都最优。
奖励模型的比较问题是在内部成对偏好榜上谁的缺陷判断更准，维度覆盖 9 个 2 级维度，指标是成对准确率方向越高越好。
| 条件 | 指标 | 通用奖励模型增量 | 决策奖励模型增量 |
|---|---|---|---|
| 内部成对榜 | 准确率提升 | 3.1 points | single-prefill inference cost |
上表说明通用模型已超同期强基线，决策模型再涨约 3.1 points 且只需单次前向。同一裁判经内部 API 网关访问时宏准确率跨网关最高可波动 1.8 points。限制是内部榜不含图像清晰度维度，多镜头提示遵循仍是短板，公开榜上三项领先也不能读成所有视频缺陷都已解决。
训练组织每一步解决什么损耗
奖励训练组织的比较问题是感知、解释与快速打分 3 段各自补什么，指标是缺陷检出与打分延迟，条件是冻结与可训练部分按阶段切换。
| 条件 | 监督 | 学习率配比 | 回放 | 采样 |
|---|---|---|---|---|
| 视觉适配与可验证强化 | verifiable reward | 1:10 vision-to-LLM learning-rate ratio | 20% Stage 1 replay | G=8 rollouts per video |
上表说明第一阶段用重放保留低层视觉判别力，冷启动后每视频采 8 个 rollout 做可验证强化，视觉语言学习率取 1 比 10 以防冲掉感知。该组织的代价是多专家标注延迟高需蒸馏，端到端改写每提示要渲染多视频，智能体工具调用更会加延迟，原文未量化各步算力，部署取舍只能定性讨论。
提示改写逐行累加的趋势是精彩源主要涨鲜活，校验同时涨忠实合理鲜活，文本强化继续涨三者，端到端强化把严重失败压下去但峰值鲜活回落，表现为保底升天花板降。故事修复主要涨合理，检索主要涨鲜活。编码器对照固定同一生成器与数据步数，感知适配、多层聚合与稳定融合逐级叠加，且总体与美学增益大于指令遵循。该结论只在密集标注训练与同基线比较下成立，换稀疏标注或换解码器可能不同。
哪些结论还站不稳：捷径、带宽与成本
只优化准确会学省略，只优化覆盖会学幻觉，只优化多样会学碎片同义，只优化一致会学僵硬模板，四者必须联合验收。奖励侧同样有三难：感知带宽不够时加长推理补不上漏检的伪影；维度纠缠与失败者中心标注会污染负样本；可解释与快速决策难以兼得。
只罚伪影会奖励静止，慢或冻结视频缺陷少但运动幅度分低，因此运动幅度必须单列为制衡。自动评测的捷径包括不编辑得保真分、贴参考得保真分、不测事件得对齐分，论文用乘法与门控堵住，但隐藏提示与定期人工复核仍必要，否则榜单会被针对性优化。
成本侧未完全量化：多专家标注管线延迟高需蒸馏，端到端改写每提示渲染多视频，智能体工具调用与预览都会加延迟。原文未报告各步的延迟与算力，部署取舍只能定性讨论。
复现第一步做什么：数据、表示与核验清单
若要复用这条链，先按原文 4 阶段准备数据：公开数据走检索、转换、改写回流，内部数据补世界知识、文字识别计数姿态与编辑对，智能体数据补工具与多模态动作。表示上统一用边界标记加物理时间戳的交错序列，音频按塔的 token 率实例化，同步时按帧插入音频。
核验清单包括固定裁判模型、提示、解码与预处理版本，按长度控制覆盖度，按难度切片报告，保留失败的评测标准、证据、工具输出与疑似上游来源。作者资源当前未确认可用，第三方链接只证明论文提到该地址，不代表已开源，因此不要把链接当作可下载权重。
关键设置按原文保留：音频每秒 token 数、5 秒锚点、奖励每视频 8 个 rollout、冷启动视觉语言学习率配比与 20% 第一阶段回放。缺的是蒸馏学生与教师的容量配比、检索索引规模与延迟、端到端采样的提示数，复现时需先补测。
什么时候值得试、还缺哪项验证
当失败集中在方向反、身份串、相机不可控、音画错位，且通用问答分已不低时，值得按此链排查：先看标注是否漏写该维度，再看改写是否掉出方言，再看编码器序列表示是否保留，最后看奖励是否偏爱静止。短片多镜头与参考编辑任务最可能受益，纯文生单镜头提升较小。
还缺的验证是下游因果：标注分涨是否在冻结生成器的小步微调中转化为对应能力的指令遵循涨幅；改写的天花板回落能否用保留鲜活奖励或贴近文本强化检查点的正则找回；奖励的对称校准在低裕度对上的单次前向准确率。补上这些，才能把相关性读成可部署的改进。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses