单图加文本加音频做分钟级视频：Soul 用关键帧锚定与阈值码本抑制长时漂移

英文题目：Soul: Breathe Life into Digital Human for High-fidelity Long-term Multimodal Animation

会议身份：conference:cvpr:2026:conference-paper-id:Zhang_Soul_Breathe_Life_into_Digital_Human_for_High-fidelity_Long-term_Multimodal_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #数据集 #扩散模型 #多模态学习 #音视频生成

评分：7.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Jiangning Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Junwei Zhu：机构信息未能从会议 PDF 纯文本可靠映射
• Zhenye Gan：机构信息未能从会议 PDF 纯文本可靠映射
• Donghao Luo：机构信息未能从会议 PDF 纯文本可靠映射
• Chuming Lin：机构信息未能从会议 PDF 纯文本可靠映射
• FeiFan Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Xu Peng：机构信息未能从会议 PDF 纯文本可靠映射
• Jianlong Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Yuansen Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Yijia Hong：机构信息未能从会议 PDF 纯文本可靠映射
• Weijian Cao：机构信息未能从会议 PDF 纯文本可靠映射
• Han Feng：机构信息未能从会议 PDF 纯文本可靠映射
• Xu Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Chencan Fu：机构信息未能从会议 PDF 纯文本可靠映射
• Keke He：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaobin Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Chengjie Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务以单帧人像、文本提示与语音为输入生成长时高清数字人视频，输出需同时满足口唇同步、表情生动、文本语义跟随与身份保持，难点在于长时自回归易漂移且语音与文本控制易耦合。首先以自动化管线构建含肖像、上半身、全身等多场景的Soul-1M并在Wan2.2-5B基座上进行多模态训练，为模型提供身份与场景先验。接着在DiT块中新增由文本注意力初始化的Audio-Attention注入Whisper语音特征，使上一步学到的生成能力解耦为语音管口型表情、文本管动作场景。然后利用片段间隐特征重叠与阈值感知码本替换将前序隐特征拉回训练分布，以支撑长时推理一致性，最后经步数与无分类器引导联合蒸馏及轻量VAE解码器压缩推理。与短片段训练加直接外推不同，该工作显式约束推理态隐特征偏移而非放任误差累积。在Soul-Bench基准下，Soul的Video-Text Consistence指标为4.85，高于HunyuanVideo-Avatar的Video-Text Consistence指标4.82。该结论适用边界受限于已覆盖的人像与动漫动物分布，高度复杂全身大动作仍可能出现伪影尚未验证外推。训练成本为在64卡上全量微调多阶段高分辨率视频，默认129×1088×1920单卡端到端延迟从1019.2秒降至89.4秒实现11.4倍加速。

🔗 开源与复现资源

• 代码相关资源：https://zhangzjn.github.io/projects/Soul/ — 链接可访问（HTTP 200）
• 第三方资源：https://app.heygen.com/ — 暂时无法访问
• 第三方资源：https://lumalabs.ai/ray — 暂时无法访问
• 第三方资源：https://klingai.com/cn/ → https://klingai.com/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

Soul 要解决的输入是三部分。第一是一张单帧人物图，它提供人物身份、背景与整体风格。第二是文本提示，它指定任务行为、手势、场景细节、景别与镜头运动，还可以指定单人或多人。第三是音频，它包括说话与唱歌等发声类型，要求嘴型与表情与声音对齐。

输出是一段动态人体视频，动作与场景要与文本语义一致，唇动与表情要与音频匹配，同时身份不能漂移。初学者容易把任务理解成声音驱动嘴型加成。论文强调三者要同时成立，而且要做长时间与高分辨率生成。也就是说，模型不能只在短片段里把嘴对准，还要在几分钟内保持同一个人与同一背景风格，并且按文字让人物走动、交互或换场景。

文中把挑战归纳为数据覆盖不足、长时推理的身份漂移与语义退化，以及高分辨率与效率冲突。理解后续方法时要回到 3 个输入与 3 个输出要求，检查每个组件到底在保哪一条。例如关键帧表示保身份，重叠保段间衔接，码本保长时分布，音频注入保唇同步，文本控制保动作语义，蒸馏与轻量解码器保速度。官方项目页当前可用，论文给出代码链接为项目主页。另有两个第三方链接本次未能确认可达，一个商用平台链接当前可用，但它们只是背景举例，不是本文方法的证据来源。

已有路线在同输入同目标下卡在哪里？

视频生成基础模型路线先把图像扩散扩展到视频，再用变换器结构做时空建模。论文提到多套开闭源模型持续改进质量，并明确选择 Wan2.2-5B 作为基座，理由是保真度与通用场景生成能力较强，且下采样因子较大，可直接生成 1080P 分辨率，效率高于文中提到的另两个开源备选。

音频驱动人物生成路线早期多用 3 维人脸参数模型加生成对抗网络做脸部动作，唇同步精度与表情生动性有限。近期扩散模型成为主流，动画对象从脸扩展到半身、全身乃至多人，也有人加入姿态序列或关键点以获得更精细的身体控制，但论文指出这会降低适用广度。另有工作引入身份参考网络、情绪控制、3 维高斯、混合专家或自回归范式。

Soul 与这些工作的同输入对照点是单图加音频，同目标对照点是身份保持与音唇同步，同监督对照点是是否需要额外姿态输入。Soul 的选择是不依赖姿态序列，只用单图加文本加音频，以保留更广的适用性。高效部署路线包括免训练的注意力替换、步数与引导蒸馏、轻量解码器设计等。论文同时做了后两类，并报告整体加速。凡是需要额外姿态或多帧驱动的方法，就不能与 Soul 在完全同条件下比较易用性，只能比较生成质量与同步指标。

为什么长视频会越生成越糊、人物会变？

可以用一个例子走完全程来理解问题，这只是教学例子。假设输入是一张穿皮衣持吉他站在巷子里的全身图，文本要求人物边对镜头说话边向前走，音频是一段说话声。模型训练时只见过短片段，例如像素空间一个片段对应潜空间几十帧。推理要做几分钟，就必须一段一段连续生成。

第一段还比较准，因为条件是真实参考图。第二段的条件包含了第一段生成出来的末尾帧，这些特征本身已有小误差。第三段再用第二段的生成结果做条件，误差继续累积。论文把这种现象称为潜在特征偏移，也就是推理时前段生成特征与训练时真实潜特征分布不一致。只靠参考图不能纠正，因为人物已经走动，段尾与初始关键帧差异很大。只靠段间重叠也不能纠正，因为重叠只是把有偏特征复制过去，偏置本身还在。

时间越长，颜色偏移、细节丢失与背景不一致越明显，严重时视频不可用。另一个问题是数据偏差。如果训练量级偏小且偏向肖像，模型就学不会走路这种全身大幅运动。图注指出两个近期方法都未能有效让人物走起来。第 3 个问题是高分辨率与速度冲突，直接生成 1080P 的解码器与多步去噪都很耗时。因此问题定义不是单帧质量，而是长时、多条件、高分辨率下的联合保持。

Soul 的全景流水线如何把三路输入变成长视频？

Soul 的全景可以按一个样本的数据流来复述。左侧是两路视觉输入，一路是待生成的视频帧，另一路是单帧参考图，它们分别经过 3 维编码器进入潜空间。中间是变换器堆叠，包含层归一化、自注意力、文本注意力、音频注意力与前馈网络。文本提示经文本编码器进入文本注意力，音频经语音特征提取器进入新增的音频注意力。

右侧是长时调度，文本对应整段描述，音频波形按时间切分到多个片段，片段之间通过关键帧表示与重叠连接，并用码本对前段特征做阈值约束，最后经 3 维解码器得到像素视频。训练时从原视频随机抽 1 帧做参考帧以增强泛化，该参考只做条件，不计入损失。推理时把第 1 帧当作关键表示，复制为每个片段的第 1 帧，提供身份、背景与风格锚点。

音频特征用语音特征提取器预提取，音频注意力层从原文本注意力权重复制初始化以加速收敛。基座冻结与更新细节原文没有逐层交代，只说明在多卡上全量微调，因此复述时不应脑补哪层冻结。下面的方法总览图把 3 路汇合与长时循环画在一起，适合对照文字再看一遍。

先看总览图再往下拆组件

这张总览图值得停留的原因是它同时回答了条件从哪里进、长视频如何续、分布如何约束 3 个问题。左侧两条视觉支路汇入同一潜空间，中间文本与音频分别进入不同注意力层，右侧用片段调度与聚类码本处理长时问题。如果只看文字容易把重叠与码本混为一件事，看图能分清重叠是帧的复制，码本是对复制过来的特征再做修正。图中还标注了复制初始化与冻结符号，说明新增音频层与原有文本层的继承关系。

看图路径： 1. 先沿左侧参考图与视频帧到三维编码器再到中间变换器堆叠看主路径；2. 再看文本编码器与音频编码器分别进入哪一层注意力并注意复制初始化标注；3. 最后看右侧多片段调度与码本聚类部分，区分参考特征与偏移特征

论文图 2。原论文 Figure 2：“Overview of Soul for semantic-consistent and long-term multimodal-driven human video animation.”。

看完图后可以形成可复述的顺序。第一步编码参考图与视频帧，第二步在变换器中分别注入文本与音频，第三步按片段自回归生成，第四步用码本把每一步的条件拉回训练分布，第五步解码为高分辨率视频。后续组件节分别展开音频注入、长时三件套与加速两轴，每节只解决总览中的一块，不要提前把加速结论放到长时一致性里。

音频与文本如何分工注入变换器？

白话说，文本管做什么动作，音频管嘴怎么动。英文对应文本注意力与音频注意力。文本注意力的输入是提示词编码，控制任务行为、手势、场景细节、景别与镜头运动。音频注意力的输入是预提取的语音特征，控制唇同步与面部表情。论文在变换器块中新增一层音频注意力，并从原文本注意力权重复制初始化，目的是让新层起点接近已训练好的条件注入方式，从而加速收敛。

文本注意力 × 音频注意力： 文本注意力负责控制行为、手势、景别与镜头等语义，音频注意力负责把语音时序特征对齐到嘴型与表情，二者搭配的原因是同一视频既要按文字运动又要按声音张嘴，组合后新增的作用是在 DiT 块内分别注入两种条件，使大幅身体运动与精细唇动可以同时被驱动。

训练时还有混合模态策略。一定概率混入无音频的通用视频，包括卡通、动物、自然风景与城市建筑，这些样本的音频通道置零，目的是保持多样场景能力。另用负提示合成人相关的失败案例加入训练，论文报告这进一步增强了时间一致性。需要提醒的是，原文没有给出音频与文本权重的具体数值或门控公式，也没有报告去掉音频层后的定量下降，因此只能说论文采用了该结构，不能推定某一层的贡献大小。复述时要固定简称，避免把语音编码器与注意力层混为一谈。

关键帧、重叠与码本三件套如何压住漂移？

白话说，关键帧是每段的定盘星，重叠是段与段的搭接，码本是防止搭接把误差越带越偏的刹车。英文可记为关键表示、段内重叠与阈值感知码本替换。关键表示默认把第 1 帧复制为每个片段的第 1 帧，提供身份、背景与风格参考。段间重叠默认把上一段末尾少量帧在潜空间复制到下一段开头，显著改善语义连贯。训练时该重叠策略以一定概率应用。

关键帧表示 × 段间重叠： 关键帧表示负责给每个短片段提供同一身份、背景与风格的锚点，段间重叠负责把上一段末尾潜特征复制到下一段开头以维持动作衔接，二者搭配的原因是只靠单图无法约束文本或镜头运动带来的段尾偏离，组合后新增的作用是把长视频切成可训练短片段序列同时让相邻片段有可传递上下文。

码本的构造是用全部样本预提取潜特征，做聚类形成更贴近训练分布的码本。替换规则是对前段每个特征找最近簇中心，若距离小于阈值则保留，若超过阈值则向中心移动并截断偏移，使到中心的距离恰等于阈值。这样既把特征拉回训练分布附近，又避免整体替换带来的突变。论文把长时退化的原因明确归因于潜在特征偏移，并展示不用码本时随时间出现颜色偏移与细节丢失。

潜在特征偏移 × 阈值感知码本替换： 潜在特征偏移指训练只见真实短片段而推理要用生成的前段特征做条件，因而分布不一致导致越生成越糊，阈值感知码本替换负责把偏离训练分布的前段特征拉回聚类中心附近，二者搭配的原因是重叠只能传递上下文但不能纠正分布漂移，组合后新增的作用是在保留运动细节前提下截断过大偏移。

阈值本身的数值与距离度量原文未报告，这是具体缺项，复现时需要自己扫参并记录。论文显示三者联合可生成长达 4 分钟的视频并保持身份与背景，但没有给出三者逐项消融的完整数字表，因此只能说报告显示联合有效，不能断言拿掉其中一项必然崩溃的幅度。

蒸馏与轻量解码器如何分摊加速？

白话说，去噪步数太多是慢的主因，解码器太大是高分辨率下慢的次因。英文对应步数与无分类器引导蒸馏，以及高效变分自编码器。默认去噪用几十步以内。论文受分布匹配蒸馏启发，同时做步数与引导蒸馏并去掉对抗损失，大幅提升运行速度，报告相对前一配置整体达到多倍提升。

步数蒸馏 × 轻量解码器： 步数蒸馏负责减少去噪步数与无分类器引导重复计算以降低 DiT 主体耗时，轻量解码器负责压缩参数量很大的原始解码器以降低高分辨率重建耗时，二者搭配的原因是加速瓶颈同时存在于迭代采样与像素解码两处，组合后新增的作用是两轴互补并达到论文报告的整体加速。

解码器方面，观察到基座解码器参数与时延占蒸馏后模型的较大比例，于是设计轻量编解码变体。论文报告解码器参数与计算量大幅下降，重建质量在可接受范围内。两轴互补后最终达到 10 倍以上加速且质量损失可忽略。训练资源、推理开销与输出帧率要分开讨论。训练用多卡全量微调属于训练成本，蒸馏与轻量解码器属于推理成本，输出规格属于分辨率与片段长度。总体加速不等于每段都同等加速，也不能从加速推定唇同步或文本一致性同步提升，质量侧需要看评测表。

Soul-1M 如何过滤、切分与标注？

Soul-1M 的训练职责是覆盖肖像、上半身、全身与多人，并给出细粒度多模态标注。数据来源包括公开的名人、通用素材与访谈类肖像集，以及自采的室内上半身、通用场景全身与多人视频，还加入手动标注的特定手势动作数据以增强文本可控的表达力。过滤流水线是自动化的，先按短边保留高清源，再用场景切分与特征模型检测切分，用人脸检测去掉无脸或低置信度片段，用质量模型评估美学，用文字识别去掉重字幕片段，最后用多模态大模型综合标记低质与残留字幕。

人物关键点检测与跟踪用于从全身视频裁剪满足分辨率的上半身样本，扩充上半身池，并加入部分动画与宠物视频。音画对齐是对最大人脸跟踪后用同步网络评估，持续失配则丢掉音频模态但保留视频与标题。标注用开源多模态大模型做底座，先按有无人与场景变化确定事件区间并切成数秒子片段，再用多类专用提示覆盖场景、景别、人体动作、手势、运动方向、镜头运动、风格与光照，最后做 2 次一致性检查，删掉标注与内容矛盾的样本。

Soul-1M × Soul-Bench： Soul-1M 负责提供覆盖肖像、上半身、全身与多人的大规模训练样本与细粒度标注以提升泛化，Soul-Bench 负责提供经人工核验的评测样本与多维指标以公平比较音频与文本驱动方法，二者搭配的原因是训练偏向单一场景会导致走路等多动作失效而评测也需覆盖同样维度，组合后新增的作用是让训练分布与评测维度对齐。

下面这张表把训练集的规模分布整理成可核对的形式，阅读时注意肖像与上半身是主体，全身相对较少，这解释了为什么全身大动作仍是难点。比较问题是训练集是否同时覆盖人物数量、声音类型与分辨率，还是只偏向肖像说话。公平条件是都看同一训练集的统计口径，指标方向是数量越多代表该场景监督越充分。

表后解释需要同时说收益与代价。主要收益是大规模多场景覆盖使模型能处理单人多人、说话唱歌与卡通动物等泛化场景，论文在应用展示中报告了这些能力。具体代价是全身与唱歌样本相对较少，长尾大动作监督不足，这与结论中复杂全身运动可能出现伪影的局限直接对应。未胜出项是极端分辨率样本较少，高分辨率评测时要警惕分布外退化。复现时应先复刻过滤与切分口径，再检查自己数据的全身占比是否更低。

评测如何保证可比，指标方向如何读？

Soul-Bench 的构造目标是公平评测音频与文本引导的人体动画。流程是先用大模型生成图像提示并用图像模型产图，再生成说话文本并用语音合成产音频，加上场景文本，用第二个大模型做自动合理性过滤，迭代到数 100 条自动样本，再经人工核验图像保真、音频质量与场景合理性，只保留高质量样本，最后手动补充现实歌唱案例，最终得到两百余个测试样本，覆盖肖像、上半身、全身、动画与动物，涵盖不同时长、风格、性别、年龄、配饰、环境与交互物。

评估用多个基础模型从互补视角打分。人脸识别模型测源图与生成主体的身份一致性，视觉特征模型评估人体区域的结构对齐，视频质量模型给感知质量分，多模态大模型评估文本遵循能力，同步网络评估音画同步。方向上文本一致性、唇同步置信度、身份一致性、视频质量与音视频对齐越高越好，唇同步误差距离越低越好。论文还给出参考上限，超过阈值的差异缺乏显著可分性，读表时不能把超过参考线的小数差距当成胜负。

训练实现上先在低分辨率训多轮，再在高分辨率微调，优化器与学习率按原文交代，单次推理默认生成固定长度片段并用长时调度续接。比较问题是不同加速与调度设置是否在同分辨率同卡上比较，公平条件是固定单卡与输出规格，指标方向是延迟越低越好而质量越高越好。

表后解释要说明这些条件对复现的约束。片段长度与重叠帧决定了长视频的续接粒度，改动它们会同时改变显存与一致性，不能只调大重叠就期待更好。无音频混合是保持通用场景的关键，去掉后卡通与动物泛化可能下降。分辨率课程意味着直接用最高分辨率从零训练既贵又不必要，复现应先低分辨率训稳再高分辨率微调。人评部分每模型生成 100 条量级并请多名专业评分员在自然度、身份一致性、文本一致性与音画同步 4 维打分，这与自动指标是两套体系，不能混放一列比较。

主结果在哪些指标上领先，哪些没拉开？

要回答的核心问题是同输入下谁的语义更准、身份更稳、嘴更同步。定性对比按 30 秒平均生成时长给出耗时与分辨率标注，本方法在全身唱歌、卡通角色说话、2 次元唱歌与上半身跳舞多行中被标注为动态场景或动态身体，而多个基线被标注为静态、低质或伪影。特别是在文本要求向前走的全身例子中，本方法保留了行走位移，其他方法多为静态场景。自动指标方面论文报告本方法在视频文本一致性、身份一致性与视频质量上综合最优，唇同步与音视频对齐也具竞争力，但要结合参考线理解，超过训练集与真实视频阈值后不再显著可分。

下面的商用系统人评表是可直接核对的定量主结果，包含可运行的商业基线与本方法。比较问题是同输入下商用系统的 4 维表现，公平条件是同输入各生成 100 条量级并由多名专业评分员打分，指标方向是越高越好。

表后解释主要收益与代价。本方法在整体自然度、身份一致性与文本一致性上高于两个商用基线，音画同步与其中一个基线持平。未胜出项是音画同步没有拉开差距，且另一个基线在身份一致性上并非不可用。限制是人评样本与评分员规模有限，不能推广到所有口音、唱歌与多人场景。结合自动指标看，本方法的优势更集中在文本执行与长时身份保持，而非把唇同步做到无限高。

这张对比图的可执行观察是先看红色人脸框的清晰度，再看黄色框对应的走路位移是否出现，最后看分辨率与耗时标签。但耗时受硬件与实现影响，复述时应说明这是论文报告的相对效率，不是所有机器上的绝对延迟。

看图路径： 1. 先看左上参考图与右上本方法的人脸放大框，对比清晰度与身份保持；2. 再看底部文本中行走要求与各列人物位移，判断谁真正执行了走路；3. 最后看每列标注的分辨率与耗时标签，确认效率与清晰度的对应关系

论文图 1。原论文 Figure 1：“Soul produces clearer results (red box), achieves stronger text consistency (walking shown in yellow box), and is faster (30s 1080P in 2-Hours) over recent Wan-S2V [27] and…”。

从像素看，本方法在高分辨率下报告数小时量级耗时，另两方法在更低分辨率下耗时更长或质量更低。红色框放大人脸可核对清晰度，黄色框对应吉他琴头附近的位移可核对走路是否执行。读图时不要把单帧清晰直接等同于全程一致，还要结合长时曲线与人评表一起判断。

去掉码本会发生什么，长时曲线如何证明？

消融要回答的问题是长时退化是否真的由分布偏移引起，码本是否必要。论文用对比图做直观反证。不用阈值码本时，随时间出现颜色偏移与细节丢失。用码本时同一时间点的衣服纹理与肤色更稳定。这支持码本缓解潜在特征偏移的判断，但属于定性证据，没有给出逐时间点的数值差。长时身份曲线用平均人脸相似度随时间的变化来补充，本方法曲线在长时尾部保持相对平稳，多个基线随时间下降更明显。

看图路径： 1. 先对比左右两组在 0 秒与 24 秒的人脸与衣服细节变化；2. 再观察不用码本一组是否出现颜色偏移与细节丢失；3. 最后确认使用码本一组在同一时间点的稳定性

论文图 7。原论文 Figure 7：“Over time, the approach without using the threshold- aware codebook is prone to color deviation and loss of details.”。

从像素细节看，重点不是单帧美丑，而是起始到二十余秒的变化幅度。不用码本的一组在后期出现整体偏暖与手部细节糊化，用码本的一组变化较小。这说明码本的作用更像约束漂移而非提升单帧上限，复现时应对比同一身份的长时间差值，而不是只看首帧分数。读曲线时要先确认纵轴是原始相似度而非改善量，横轴是时间推进。曲线向下代表相似度降低，但不能把小幅抖动直接写成性能崩溃。未评测边界是极长多场景切换下的逐段误差，以及阈值取极大或极小会退化为不约束或硬替换，原文未报告阈值扫描，因此复现时需要补这一项验证。

哪些情况仍会失败，论文自己承认了什么？

论文在结论中明确承认高度复杂的全身运动仍可能产生伪影，这是当前领域的共性难题。结合数据分布看，全身样本与唱歌样本相对较少，长尾动作监督不足是直接原因。未来工作提出扩大训练集中稀有动作占比、加入跨语言音频样本以提升鲁棒性，并研究引入 3 维几何先验以增强全身运动的自然度与空间一致性。这些属于计划而非已验证结论，复述时要用可能或待验证的语气。

另一个局限是效率数字的适用条件。10 倍以上加速是相对基线在特定分辨率与单卡设置下的整体加速，包含蒸馏与轻量解码器两部分，不能理解为所有分辨率与所有硬件上的固定加速。质量侧的无损也是在报告的指标范围内可忽略，不能推广到所有主观偏好。评测局限包括自动指标与人评各有盲区。自动指标超过参考线后缺乏显著可分性，人评样本与评分员规模有限。复现或选型时，若应用是多人大动作舞蹈或跨语言唱歌，应先补对应场景的测试集，再看身份、文本与同步 3 维是否同时达标，不要只看平均分。

复现先做什么，需要哪些信息条件？

复现的第一步是固定信息条件。输入必须同时准备单帧参考图、文本提示与音频，缺音频时按论文做法将音频通道置零，但此时只能期待通用场景能力，不能期待唇同步。文本要写清行为、手势、景别与镜头，单人多人也要在提示中说明，否则无法复现走路与交互效果。

第二步是数据与基座。基座是视频生成基座，音频特征用语音识别模型预提取，音频注意力从文本注意力复制初始化。训练按分辨率课程先低后高，优化器为解耦权重衰减优化器，学习率按原文交代，在多卡上全量微调。第三步是长时调度。单片段默认像素空间长度对应潜空间长度，关键帧取第 1 帧，段间重叠默认少量帧，训练时重叠与混合无音频视频各按固定概率应用，码本默认数万簇并做阈值截断。阈值数值、距离度量与聚类细节是缺项，需要自己记录与扫描。

第四步是评测。测试用两百余条思路自建小集合，覆盖肖像、上半身、全身、动画与动物，指标同时看文本一致性、身份相似度、视频质量与音画同步，并用人评补充自然度。代码层面论文给出项目主页且当前可用，但权重下载与完整可运行状态需要以实际页面为准，不能把代码开源等同于开箱可运行。硬件预算方面原文只报告训练卡数与单卡分辨率设置，没有给出完整时长与峰值显存，复现时要先小规模试跑再放大。

何时值得尝试这套方案？

当任务同时需要文本控制动作与音频控制嘴型，且输出要达到分钟级与高分辨率时，这套方案值得尝试。典型场景是虚拟主播与影片制作中的单人说话、唱歌与走动，以及需要换场景但保持同一身份的长视频。它的可复述要点是 3 路分工明确，长时用三件套约束分布，速度用两轴分摊加速。

如果应用只需要短肖像说话且不需要文本控制大动作，更轻的专用说话人模型可能更划算，不必引入全身数据与码本。如果应用是复杂全身舞蹈、多人强交互或跨语言唱歌，则要在论文局限的基础上补数据与评测，并考虑 3 维先验等后续方向。学习上建议按依赖顺序复述。先说输入输出与 3 条保持要求，再说基座与双条件注入，接着说关键帧、重叠与码本如何续接长视频，再说蒸馏与轻量解码器如何加速，最后说训练集与评测集如何支撑训练与公平比较。

每次重提结果都要加新条件，例如人评领先但音画同步持平，长时平稳但阈值未扫描，这样才能把论文的直接报告、有限解释与未验证推测分开，避免把相关性当成因果，也避免承诺未测量的延迟与成本必然最优。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 4 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总