📄 DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation

#音视频生成 #扩散模型 #多模态模型 #说话人验证 #多任务学习

8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5

🔥 8/10 | 前25% | #音视频生成 | #扩散模型 | #多模态模型 #说话人验证 | arxiv

👥 作者与机构

• 第一作者：Xu Guo（清华大学）
• 通讯作者：Xiangwang Hou（清华大学）、Songtao Zhao（字节跳动）
• 作者列表：Xu Guo（清华大学）、Fulong Ye（字节跳动）、Qichao Sun（字节跳动）、Liyang Chen（清华大学）、Bingchuan Li（字节跳动）、Pengze Zhang（字节跳动）、Jiawei Liu（字节跳动）、Songtao Zhao（字节跳动）、Qian He（字节跳动）、Xiangwang Hou（清华大学）

💡 毒舌点评

这篇文章的工程野心令人印象深刻——硬生生把三个各自为战的音视频生成任务塞进一个框架，双边对称注入、多阶段课程学习、双层级解耦，把身份绑定和任务冲突这些硬骨头啃了一遍。但读完之后如鲠在喉：Syn-RoPE本质上是RoPE的Margin分区技巧，结构化字幕是MLLM提示工程的产物，三阶段训练是课程学习的实例化——这些精巧的“组合创新”固然有效，却掩盖不了方法层面未见根本性突破的事实。更要命的是，一个号称“统一框架”的顶会投稿，代码和模型权重双双缺失，数据集获取方式也语焉不详，这严重削弱了其学术可信度和传播潜力。论文把“统一”的故事讲得挺好，但开源精神上显然还没“统一”过来。

📌 核心摘要

本文旨在解决可控人像音视频生成领域三个核心任务——基于参考的身份-音频生成（R2AV）、视频编辑（RV2AV）和音频驱动视频动画（RA2V）——彼此孤立、缺乏统一框架的问题。DreamID-Omni构建在一个双流扩散变换器架构上，核心思想是将三个任务归约到同一个条件概率模型下：通过选择性提供文本、参考图像、参考音频、源视频和驱动音频五种条件，模型可在任务间无缝切换。针对多人物场景下致命的身份-音色绑定失败与说话人混淆，论文引入了“双层级解耦”策略：在信号层，利用同步旋转位置嵌入（Syn-RoPE）将不同身份投射到互不重叠的RoPE Margin区间，强制注意力空间内的刚性隔离；在语义层，用结构化字幕（Structured Caption）为每个身份分配专属锚点标记<sub_k>，显式建立属性-主体的映射关系。训练采用三阶段渐进课程：In-pair重建→Cross-pair解耦→全任务微调（R2AV:RV2AV:RA2V=4:3:3），让弱约束生成任务上学到的先验去正则化强约束的编辑和动画任务。自建IDBench-Omni基准（200条多场景样本）上的实验表明，多人物场景下说话人混淆率降至0.08，显著优于Wan2.6的0.38。该工作的工业价值在于首次提供了面向可控人像音视频生成的统一工业化方案，但主要局限是视频长度受限于10秒、推理需三次CFG前向导致效率偏低，且未开源核心资产。

🔗 开源详情

• 代码：未提及。论文未提供GitHub或其他代码仓库链接。
• 模型权重：未提及。未提供HuggingFace、ModelScope等模型托管平台的链接或下载方式。
• 数据集：论文提出了 IDBench-Omni 基准（包含 200 个高质量数据实例），但未提供获取链接或下载方式；训练数据构建基于 Li et al. 2024 的 OpenHumanVid 以及 Phantom-Data 管道，但未提供这些数据集的具体统计信息或下载链接；数据构建流程的系统提示词（附录图8、图9）已在论文中公开，属于部分可复现资料。
• Demo：未提及。
• 复现材料：论文在第4.1节和附录Sec. A.2给出了核心训练配置（学习率、batch size、Margin值、三阶段步数等）和数据构建管道的组件说明，但未提供完整的训练脚本、配置文件或模型检查点。部分MLLM提示词已公开。
• 论文中引用的开源项目及链接：
  • Ovi (https://github.com/NVIDIA/ovi)
  • LTX-2 (https://github.com/Lightricks/LTX-Video)
  • Wan2.6 (https://github.com/Wan-Video/Wan2.6)
  • CosyVoice (https://github.com/FunAudioLLM/CosyVoice)
  • ClearerVoice (https://github.com/modelscope/ClearerVoice-Studio)
  • Whisper (https://github.com/openai/whisper)
  • WavLM (https://github.com/microsoft/unilm/tree/master/wavlm)
  • CLAP (https://github.com/microsoft/CLAP)
  • VBench (https://github.com/Vchitect/VBench)
  • DWPose (https://github.com/IDEA-Research/DWPose)
  • ArcFace (https://github.com/deepinsight/insightface)
  • OpenHumanVid (https://openhumanvid.github.io/)
  • Phantom, Humo, HunyuanCustom, VACE, Qwen-Image 等论文中引用的商业或闭源模型未提供开源链接。

🏗️ 方法概述和架构

DreamID-Omni构建在一个双流扩散变换器（DiT）架构上，视频流和音频流通过双向交叉注意力层实现细粒度的跨模态同步与语义对齐。其核心设计可分解为三个相互依存的子系统。

对称条件注入（Symmetric Conditional DiT）：这是实现任务统一的关键结构。对于视频流，输入序列被构造为 [z_v; E_v(I)] + [E_v(V_src); 0]；对于音频流则为 [z_a; E_a(A)] + [E_a(A_dri); 0]，其中 z_v, z_a 为目标视频和音频的带噪潜变量，E_v, E_a 为VAE编码器，0 表示与对应张量形状相同的零张量。参考图像和音频特征通过序列维度的拼接注入DiT块，让模型自主提取高层身份与音色先验；而源视频和驱动音频这类强结构约束则通过逐元素加法注入，相当于把结构画布直接叠加到噪声潜变量上。这种“拼接-加法”双轨设计的关键优势在于：当某类条件（如V_src或A_dri）不存在时，对应的加性项自动归零，无需改变网络结构即可在R2AV、RV2AV和RA2V三个任务间无缝切换。

同步旋转位置嵌入（Syn-RoPE）：这是解决多人物混淆最核心的信号层方案。传统RoPE在视频中按空间位置编码，但R2AV任务里人物位置是模型动态合成的，无法预设空间锚点。Syn-RoPE将绝对时间位置索引空间切分成互不重叠的“RoPE Margin”：目标音视频潜变量占据 [0, L-1] 区段，每个参考身份 k 则独占 [k·M, (k+1)·M-1] 区段，其中 M 是一个远大于 L 的固定Margin（M=150）。借助RoPE的周期性质，不同身份的特征被投射到完全不相交的旋转子空间里，天然地抑制了跨身份的注意力得分。更巧妙的是，同一个身份 k 的图像特征和音频特征被分配到完全相同的索引区段，这在信号层隐式地完成了跨模态的身份绑定。为了对齐视频和音频的时间尺度，音频序列的RoPE频率按缩放因子 γ = L_v/L_a 进行调整。该设计提供了两个根本优势：(i) 身份间解耦，(ii) 身份内跨模态同步。

结构化字幕（Structured Caption）：语义层的解耦依赖于MLLM生成的细粒度“剧本”。系统通过MLLM提示工程（论文附录图9给出了完整系统提示）生成结构化的多字段描述，每个参考身份被分配独特的锚点标记 <sub_k>。具体包含四个字段：Ref Image Caption为每张参考图生成属性描述以初始化锚点；Target Video Caption以 <sub_k> 为主体描述整体环境、人物外观和动作；Target Audio Caption给出非语音音效和情绪语调描述；Target Joint Caption则用特殊标记 `<S>`...`<E>` 精确标注每个主体的对话内容。这种多字段结构化格式迫使模型建立了从视觉属性、动作到语言内容的显式映射，从根本上避免了单段全局字幕中“谁在做什么、说了什么”的语义歧义。

多任务渐进训练（Multi-Task Progressive Training）：三个阶段构建了从易到难的课程体系。第一阶段（In-pair Reconstruction, 10k步）：模型只用R2AV任务训练，参考身份和音色从训练样本自身提取，引入掩码损失——对参考特征对应的时空区域外的预测误差进行惩罚，迫使模型真正的条件合成而非简单拷贝。第二阶段（Cross-pair Disentanglement, 20k步）：身份和音色从一个不同的视频片段抽取，掩码被取消（M_v=0, M_a=0），计算全序列损失，强制模型基于抽象的身份和音色概念完成合成，实现真正的解耦表征。第三阶段（Omni-Task Fine-tuning, 20k步）：将R2AV、RV2AV和RA2V样本按4:3:3比例混合微调，让在弱约束R2AV任务上建立起来的多样性生成先验去正则化强约束的编辑和动画任务，避免模型在强约束任务上走捷径导致过拟合。

推理管道：采用多条件无分类器引导（CFG）的链式策略。核心公式为 ϵ̂_final = ϵ̂_θ(z_t,∅,∅) + w_T · (ϵ̂_θ(z_t,T,∅) − ϵ̂_θ(z_t,∅,∅)) + w_S · (ϵ̂_θ(z_t,T,S) − ϵ̂_θ(z_t,T,∅))，其中视频流的条件 S = I（参考身份），音频流的条件 S = A（参考音频），w_T 和 w_S 分别为文本和任务条件的引导尺度。这种解耦的引导方式确保身份和音色引导在文本对齐的基础上生效，避免了不同模态条件在推理时的相互干扰。

💡 核心创新点

1. 三任务统一概率框架：通过将R2AV、RV2AV和RA2V统一到同一个条件概率模型 P(Y|T,I,A,V_src,A_dri) 下，打破了此前各任务独立建模的壁垒。核心洞察在于这些任务本质上都是将“静态身份锚点（图像+音频）”映射到“动态时空画布（文本/源视频/驱动音频）”，仅条件模态不同。这一统一消除了部署多套模型的操作开销，使模型能从任意条件子集中灵活切换。

2. Syn-RoPE信号层身份绑定：针对多人物生成中注意力机制的身份模糊性问题，提出将时间位置索引空间按固定Margin分区分配给不同身份。利用RoPE旋转周期性质实现无需额外参数的刚性身份解耦，并通过将同身份的音视频特征映射到相同索引区段，隐式完成跨模态身份同步。消融实验中移除Syn-RoPE导致音色相似度（T-Sim.）从0.402骤降至0.211，说话人混淆率从0.08升至0.12。

3. 结构化字幕语义层解耦：将传统单一文本提示拆分为多字段、锚点标记化的精细化描述体系，每个主体通过专属锚点 <sub_k> 与对话内容 `<S>`...`<E>` 显式绑定，从语义层面切断了属性错配的信息路径。消融实验表明去掉结构化字幕（w/o SC）后，ViCLIP文本跟随分数从13.613降至11.381，说话人混淆率从0.08升至0.26。

4. 弱约束先验正则化强约束任务：三阶段渐进课程设计解决了多任务联合训练中强弱约束任务间的目标冲突。先让模型在R2AV的In-pair和Cross-pair阶段建立稳健的生成先验，再引入强约束编辑和动画任务进行微调。直接进行朴素多任务训练（MT w/o OFT）会导致ViCLIP分数从14.573暴跌至9.518，验证了渐进策略的有效性。

📊 实验结果

论文在自建的IDBench-Omni基准上进行评估，包含100个R2AV样本、50个RV2AV样本和50个RA2V样本，覆盖多人对话、野外录音等复杂场景。

R2AV任务对比

DreamID-Omni在多人物身份相似度、音色相似度和说话人混淆率上均达到最佳。说话人混淆率仅为0.08，远低于Wan2.6的0.38和Qwen-Image+Ovi级联管道的0.38。但视频美学质量（AES 0.618）略低于Wan2.6的0.632。

RV2AV任务对比

VACE和HunyuanCustom不支持音频生成，因而无WER、T-Sim.、Sync-C等音频相关指标。Ours在所有视频指标上均领先，并具备完整的音频生成能力。

RA2V任务对比

Ours在视频质量和文本跟随上显著领先（ViCLIP 16.618 vs Humo 14.859），唇音同步指标与Humo相当。值得注意的是，在多人物场景下，Humo和HunyuanCustom常出现说话人归因错误，而Ours能通过结构化字幕正确定位目标人物。

关键消融实验（R2AV多人物场景）

双层级解耦的消融清晰展示了各组件的分工：结构化字幕（SC）主要负责文本跟随和说话人归属（去除后ViCLIP骤降，Spk-Conf.从0.08升至0.26），Syn-RoPE主要负责音色绑定和唇音同步（去除后T-Sim.从0.402降至0.211，Sync-D从8.027恶化至10.411）。

消融实验（训练策略）

OnlyIR仅用In-pair重建导致严重的复制-粘贴问题（高ID-Sim.但极低ViCLIP），OnlyCD仅用Cross-pair解耦则身份保持不足（低ID-Sim. 0.543），MT(w/oOFT)直接联合训练三任务导致全面劣化（ViCLIP仅9.518）。完整三阶段策略在所有指标上取得最佳平衡。

用户研究： 30名专业视频创作者的7维度1-5分盲评显示，Ours在Text-Video Alignment、ID-Sim.、Video Quality、Text-Audio Alignment、Timbre-Sim.、Audio Quality和Lip-sync上分别得到3.86、3.95、3.68、4.75、3.50、4.23、4.50，全面领先。

🔬 细节详述

• 训练数据：构建了约100万高质量音视频对，分为In-pair数据和Cross-pair数据。In-pair数据从单视频内部抽取参考身份（通过DWPose检测裁剪人脸）和参考音色（通过DiariZen说话人日志）；Cross-pair数据通过DiariZen+Gemini进行说话人标注，CosyVoice克隆声音，ClearerVoice去噪生成纯净参考音色，参考身份则通过Phantom-Data管道构建。
• 损失函数：采用流匹配的标准均方误差损失，视频和音频流分别计算后加权求和（加权系数λ_v和λ_a，具体数值未在论文中给出）。In-pair阶段使用掩码损失 M_v, M_a，仅惩罚参考区域之外的预测误差，防止模型直接拷贝；Cross-pair阶段掩码取消（M_v=0, M_a=0），计算全序列损失。
• 训练策略：三阶段课程——Stage 1: In-pair Reconstruction 10k步 → Stage 2: Cross-pair Disentanglement 20k步 → Stage 3: Omni-Task Fine-tuning 20k步（R2AV:RV2AV:RA2V=4:3:3）。
• 关键超参数：学习率 1.0 × 10^{-5}，全局batch size 32，RoPE Margin M=150。基础模型从Ovi权重初始化。音频流RoPE频率按 γ = L_v/L_a 缩放。
• 训练硬件：约128 H20 GPU-days。
• 推理细节：多条件CFG，视频流条件 S=I，音频流条件 S=A，w_T 和 w_S 分别为文本和条件的引导尺度（具体数值未报道）。视频最长支持10秒（潜变量长度不超过Margin M=150）。推理采用序列并行和CFG并行进行加速。
• 评估细节：视频质量（AES美学评分、ViCLIP文本-视频相似度、ArcFace身份相似度ID-Sim.）、音频质量（PQ音频质量分、CLAP语义一致性、WER词错误率、WavLM音色相似度T-Sim.）、音视频一致性（SyncNet Sync-C置信度/Sync-D距离、Gemini-2.5-Pro判断的Spk-Conf说话人混淆率）。IDBench-Omni包含200条多场景测试样本（100 R2AV + 50 RV2AV + 50 RA2V）。说话人混淆检测使用MLLM专用系统提示（见附录图8）。

⚖️ 评分理由

• 创新性 (1.5/2)：将三个独立任务统一到一个框架的抽象——“静态身份锚点到动态画布映射”——确实有价值，洞察力值得肯定。双层级解耦将信号层和语义层分治的思路清晰，Syn-RoPE的Margin分区利用RoPE周期性质实现身份隔离是一个巧妙的工程技巧，结构化字幕的锚点绑定方案也直击多人物混乱的要害。但必须承认，核心组件基本是现有技术的重新组装：对称条件DiT是对Ovi的扩展，Syn-RoPE是RoPE在身份维度的应用实例，三阶段训练是标准课程学习的具体化。好在消融实验充分证明了这些“组合”带来的实质性收益——特别是在多人物场景下说话人混淆率的显著降低——这在以往工作中未见系统解决。总体而言，这是有洞察的集成创新而非范式创新，1.5分是公允评价。

• 技术严谨性 (1.2/1.5)：对称条件注入的公式表述清晰，潜变量拼接和加性注入的双轨设计逻辑自洽。Syn-RoPE的设计原理——利用旋转子空间的正交性做身份隔离——理论基础扎实，频率缩放同步策略合理。三阶段训练中掩码损失和全序列损失的切换逻辑明确，强弱约束正则化的论证经验性强但自洽。但存在几个不可忽视的瑕疵：(1) Margin M=150作为对模型行为有重大影响的硬编码超参数，缺乏理论推导或灵敏度分析，工程“试出来”的味道较浓；(2) 多条件CFG的链式叠加中w_T和w_S的具体数值未报道，消融也未覆盖CFG引导尺度的选择；(3) λ_v和λ_a的加权系数值未在正文中披露；(4) 未能讨论Syn-RoPE Margin大小对模型容量和长序列可扩展性的理论约束。

• 实验充分性 (1.1/1.5)：自建IDBench-Omni覆盖三个任务200条样本，场景设计合理（包含多人对话、野外录音等复杂情况）。R2AV对比了6个强基线（包括商业模型Wan2.6和两个级联管道），覆盖面较全。双层级解耦消融和训练策略消融在定量和定性两个层面都提供了有力证据。但存在明显不足：(1) 未进行统计显著性检验；(2) 实验仅在自建基准上验证，没有在更广泛的公开基准上的跨域泛化实验；(3) 用户研究只有30人，对主观评测来说样本量偏小，且只覆盖R2AV任务；(4) 缺少关于Margin M、数据混合比4:3:3、CFG引导尺度的超参数灵敏度实验；(5) RV2AV和RA2V的对比方法各只有两个，覆盖面不够；(6) 未对长时间视频生成和推理延迟进行量化对比。

• 清晰度 (0.9/1)：整体结构清晰，问题-挑战-方法的叙事线索明确。Figure 2的架构图信息密度高，较好地展示了数据流和Syn-RoPE分区逻辑。Figure 8的说话人混淆检测系统提示、Figure 9的结构化字幕系统提示均提供了可操作的具体信息。但Figure 1作为首图虽然展示了任务多样性，多张类似大小的子图显得拥挤，对理解核心方法帮助有限。关键术语“弱约束/强约束任务”在首次出现时缺乏形式化定义。部分实验表格的指标缩写（如PQ, AQ）在表格首次出现时才给出全称，正文中未提前解释。Syn-RoPE Margin M的物理含义和选择依据在正文中一笔带过，需要读者自行推断。

• 影响力 (1.1/1.5)：将音视频生成从单任务推进到统一可控范式，对工业界有明显的方向性指引——尤其是字节跳动这类有大量人像音视频生成需求的公司。说话人混淆问题的明确定义和有效解决打开了一个此前被忽视但实际价值高的研究空间，自建IDBench-Omni基准也为该领域提供了评估工具。但影响力受到三重制约：(1) 只在自建基准上验证，社区范围内尚无第三方独立复现和验证；(2) 基础模型和训练数据的私有性可能限制方法的普及推广；(3) 代码和模型权重未开源，严重削弱了学术传播力和社区跟进的可能性。总体而言，这是一个工业影响力突出但学术传播力待证明的工作。

• 开源 (0.5/1.5)：论文提出了IDBench-Omni基准数据集，但未提供下载链接或获取方式。训练数据构建管道的描述和部分MLLM提示词（图8、图9）已在附录中公开，但核心资产——代码仓库、模型权重、预训练检查点——均未提及。论文引用了Ovi、LTX-2、Wan2.6、CosyVoice、ClearerVoice等开源项目的链接，但自身未提供任何开源资源。在2026年顶会标准下，仅公开部分数据管道描述而完全不释放代码和模型，是显著的减分项。

• 可复现性 (0.4/0.5)：三阶段训练步数（10k/20k/20k）、学习率（1.0 × 10^{-5}）、batch size（32）、Margin值（150）、数据混合比（4:3:3）等关键超参数全部给出。损失函数公式和CFG推理公式明确。附录的数据构建管道和MLLM提示词提供了可操作的复现指引。但以下细节未披露：λ_v和λ_a的具体值、CFG引导尺度w_T和w_S的具体值、音频和视频VAE的具体选择及配置、从Ovi初始化的具体层选择策略、训练数据中多人/单人比例、语言分布等数据统计信息。总体而言，在有充足计算资源的前提下，有经验的团队大致可以复现，但部分关键配置需要自行摸索。

• 工程/实践价值 (1.3/1.5)：这是本文最扎实的维度。从百万级数据管道（DiariZen+CosyVoice+ClearerVoice+PhantomData+Gemini的完整串联）到对称条件注入的三任务统一接口，再到Syn-RoPE的无额外参数解耦方案，处处体现了工业化部署的考量。128 H20 GPU-days训练一个三合一模型替代三个单任务模型，是明确的经济账。多条件CFG的链式叠加、序列并行和CFG并行的推理优化也展示了工程落地意识。但推理效率是最大隐患——三次CFG前向导致的延迟问题在实时或准实时应用场景中可能是致命的，作者仅在局限部分提及未来用蒸馏手段解决，当前未给出任何优化前后的延迟对比数据，这是一个重要的实用缺口。

🚨 局限与问题

论文明确承认的局限：

1. 视频长度受限于10秒，潜变量长度不能超过Syn-RoPE Margin M=150。作者表示未来将探索流式架构和动态RoPE以支撑分钟级生成。
2. 多条件CFG需三次前向，推理开销大。当前采用序列并行和CFG并行做缓解，计划未来通过DMD式蒸馏将多条件CFG压缩为单次前向。

审稿人发现的潜在问题：

1. Margin设置的任意性与可扩展性隐患：M=150作为硬编码超参数完全缺乏理论推导或灵敏度分析。该值直接决定身份绑定效果和支持的最大视频长度——M太小导致身份混叠，M太大会浪费位置编码空间影响模型容量。一旦需要更长视频，Margin的重新设计与验证成本未知，这对方法在长视频应用中的可扩展性构成了根本限制。
2. 说话人混淆评估的单点失效风险：仅用Gemini-2.5-Pro单一MLLM模型判断Speaker Confusion，没有与专业说话人验证（ASV）系统（如文中使用的WavLM）或多人标注结果进行交叉验证。MLLM在多人物复杂对话场景下自身也存在归因错误风险，用MLLM评测由MLLM引导生成的结构化字幕系统可能产生循环偏差。图6混淆矩阵图虽直观展示了错误模式，但未给出判断一致性的定量报告（如与人工标注的Cohen’s Kappa系数）。
3. 未见对极端姿态、遮挡和复杂背景的鲁棒性讨论：人像生成中常见的大角度侧脸、严重遮挡、复杂背景等情况在消融和定性图例中均未被涉及，方法的鲁棒性边界完全不明。从应用落地角度看，这是不可忽视的缺失。
4. 未见对语音内容与唇形不对齐的精细分析：SyncNet的置信度和距离是整段视频的粗粒度指标，可能掩盖局部音节级别的对齐失败。对生成式方法而言，特定音素（如爆破音t、p）或快语速段落的唇形精准度往往是实际体验的瓶颈，论文未做任何层级更细的评估。
5. 超参数灵敏度实验空白：除了Margin M，CFG引导尺度w_T和w_S、数据混合比4:3:3、音频视频损失加权λ_v和λ_a等对工程实践至关重要的超参数均依赖单一设定，没有任何灵敏度分析或调参过程的报告。这使得方法在迁移到不同数据分布或应用场景时的调参成本完全未知。
6. 训练数据不可知带来的泛化疑虑：约100万私有音视频数据的构成（语言分布、场景多样性、多人比例、对话时长分布等）完全未披露。虽然附录给出了数据构建管道的流程图和组件说明，但并未披露最终数据集的任何统计信息。研究者无法评估在差异化的数据领域上模型是否仍能保持声称的性能。
7. 缺乏与纯文本驱动的多智能体方案的对比：如果能证明即使有结构化字幕，没有双层级解耦的图像/音频条件也会导致系统崩坏，会更有力地支撑Syn-RoPE和Structured Caption的必要性主张。当前消融只展示了组件移除后的退化，但缺少一个完整的“纯文本+标准字幕”基线说明这套条件系统的不可替代价值。
8. RV2AV和RA2V消融不足：所有消融实验都集中在R2AV任务上。对于论文声称的统一框架，RV2AV和RA2V任务上的组件贡献完全未被验证。例如，结构化字幕在编辑任务中的相对重要性、Syn-RoPE在动画任务中的贡献，读者无从得知。

← 返回 ICML 2026 论文速递