让智能体写代码做视频:VibeVideoBench 考什么、怎么判
VibeVideoBench 要求智能体在一小时内只用代码渲染画面并合成声音来交付 239 个中英文成品视频,用程序检查加约 1.3 万条任务细则加五维质量分三层打分,最强的 GPT-6 Astra 与 Claude Opus 5.5 也只在约四分之三任务上通过全部核心要求,而交不出片会显著改变排名且多因收尾渲染太晚。
VibeVideoBench 要求智能体在一小时内只用代码渲染画面并合成声音来交付 239 个中英文成品视频,用程序检查加约 1.3 万条任务细则加五维质量分三层打分,最强的 GPT-6 Astra 与 Claude Opus 5.5 也只在约四分之三任务上通过全部核心要求,而交不出片会显著改变排名且多因收尾渲染太晚。
论文要解决跨数十到上百小时视频的细粒度时空推理问题,用与问题无关的持久记忆加按需检索和三类技能的 4DMemory Harness 把任务时长与模型原生窗口解耦,在 5214 题上最高联合成功率 77.79% 但分布式计数等仍是短板。
AdShot 用 823 对 30 秒到 15 秒的真实广告考多模态大模型选镜头,最强 F1 仅 0.676 且时长误差常超 5 秒,架构与音频比参数规模更关键并伴随重信息轻行动的内容偏好。
针对长视频中稀疏、跨模态的局部篡改,AV-FABLE 用双时间线基准暴露单时间线评测的遮蔽问题,NFSR 通过冻结 AV-LLM 特征的分轨读出实现定位,并在域内与三种域外条件下取得最高的 AV-mAP,但视觉覆盖与解释仍是短板。
论文提出中文金融多说话人语音基准 DecisionTraceBench,要求从原始音频恢复决策关键事件链并用 DCIST 打分,最强系统在真人录音上仅得 21.35%,证明只看转写错误率或末态数值会掩盖过程恢复失败。
DRAMA-Eval 用结构化剧本同时考指令执行、说话人一致和整场连贯,发现单句做得好不等于整场戏成立,而全局场景信息能明显提升沉浸感。
论文针对固定双人、无混响突变噪声的评测与重型因果模型难以部署的问题,构建同时变化人数、远近场、混响和噪声并配真实录音的 RealSSA 基准,并提出单次编解码完成多尺度时频建模的 Falcon,其编码器空间对比损失在推理零代价下抑制近场泄漏,在多集上达到最优分离质量并大幅降低参数与延迟。
RASE 针对雷达隔玻璃测振动恢复语音的任务,提供配对雷达与干净语音数据、统一基线与保密评测,用直接振膜和二次表面两种条件加四个客观指标综合排名,首名综合分最高但可懂度绝对值仍低,说明方向可行但远未解决。
论文研究大音频语言模型把熟悉的声音能力重组成没见过任务形式的问题,用指令逐词元生成 LoRA 适配器的超网络 T2L-ICAG 来应对,在两种骨干上组合任务平均相对性能最高,但复杂组合仍有明显差距且依赖受控评测条件。
针对自由描述覆盖不一致、缺省无法区分缺席与证据不足的问题,SURE-Tagger 用专科模型提供证据再由语言模型整合成显式属性加补充描述的半结构表示,在 Tag-Bench 上标注得分最高,并用条件聚类指导一小时微调使 Qwen3-ASR-1.7B 整体误差相对下降 14.3%,代价是需要多模型流水线和候选池打标与评测开销。
该文用预先声明唤醒度与效价方向的日英冲突基准,定位规划到合成链路的断点,并证明固定合成器时监督与学习式情感控制接口能部分恢复反字面表达,但效果随语言和声学轴而异。
论文提出用一句话指出音频与文本在事件和时间关系上的具体出入,并用系统合成的 AT-DIFFER 数据微调 Qwen3-Omni,先判断有无差异再分类最后写句子,联合学习在合成分布上明显改善描述质量,但结论只在至多两个事件和模板文本范围内成立。
论文针对昆曲演唱与念白缺少音节级时间边界和音韵属性关联的问题,建成 281 段录音共 482164 个音节标注的 KunSet 语料库,并用 251 段微调的对齐模型把总体边界误差降到 194.83 ms、用传统韵部监督把同韵检索 P@10 做到 17.16%,代价是昆曲唱段对齐误差仍明显高于念白且检索绝对精度仍然偏低。
论文把换说话内容看成音频与嘴部运动的局部配合问题,用 SyncSpeech 控制说话人是否相同来建库,用 C-MIND 做帧级对齐比较,在库内达到 95.813% 场景平均准确率和 0.9943 AUC,但换到未见过的 Video-Retalking 生成器时掉到 82.775%。
MOSAIC 用 923 个跨文本图像视频音频的多会话问题和冻结读者与预算的配对干预,定位证据在表示压缩、检索缺失、打包丢弃和阅读整合哪一段丢失,最强证据是空间结构不可被文本替代,代价是合成历史与视频小样本下的结论仍受限。
论文针对全模态大模型在长时多语多说话人视频中说不清谁何时说了什么的问题,构建 297 条六语种平行音视频基准并评测 9 个模型,发现文字转写尚可但时间定位与说话人区分仍是主要瓶颈且视觉不总是有帮助。
StreamEval 用 300 个定时交互用例考查边生成边响应能力,发现好看和像本人不等于听指令,最高请求执行分也只有 36.90、25.93 和 15.00,而完整编辑还要同时付出保源和保时的代价。
论文用 0.95 小时合成混说语音做监督微调实现到 15.45 小时真实播客的主要迁移,再用序列级策略优化做 173 句级别的小幅边界修正,同时发现脚本奖励在已收敛编码器-解码器上无额外增益,且单语能力基本保持。
TRIAD 用 327 个查询和 86 个场景组检验只有文本图像音频三者齐备才能唯一确定答案的互相消歧能力,最强模型在单题上接近人类但在整组一致性和开放作答上大幅落后,且缺模态时仍能靠捷径作答。
针对设备与年份变化导致呼吸音分布漂移且历史数据不能回放的问题,APRIL 冻结 BEATs 主干并为每个域保留独立的 LoRA 专家,再用多层原型取出两个候选并结合路由后验与分类置信做选择,在 ICBHI 与 SPRSound 正反序上取得最高的最终会话平均 Score 且平均遗忘低于 1.0 个百分点,代价是专家库随域数增长且每次推理需评估两个专家。