在嘴型与动作抢注意力时，如何让化身在正确时间做正确动作

英文题目：ActAvatar: Temporally-Aware Precise Action Control for Talking Avatars

会议身份：conference:cvpr:2026:conference-paper-id:Peng_ActAvatar_Temporally-Aware_Precise_Action_Control_for_Talking_Avatars_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #流匹配 #音视频 #语音 #音视频生成

评分：6.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ziqiao Peng：机构信息未能从会议 PDF 纯文本可靠映射
• Yi Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Yifeng Ma：机构信息未能从会议 PDF 纯文本可靠映射
• Guozhen Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhiyao Sun：机构信息未能从会议 PDF 纯文本可靠映射
• Zixiang Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Youliang Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhengguang Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Zhaoxin Fan：机构信息未能从会议 PDF 纯文本可靠映射
• Hongyan Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Yuan Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Qinglin Lu：机构信息未能从会议 PDF 纯文本可靠映射
• Jun He：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务以单张参考图、语音音频与结构化动作文本为输入，输出口型同步且动作在指定时间窗出现的说话人视频，难点在于文本动作语义与音频口型易相互干扰且全局提示缺乏时间结构导致注意力在时间上均匀扩散。为此方法先由多模态大语言模型依据图像与运动筛选生成含全局基块与带时间锚相位块的分层提示，为后续帧级对齐提供时间结构。接着相位感知交叉注意力用可学习相位嵌入增强词元，使归一化时间落入对应区间的帧集中关注相应相位词元，实现相位级语义对齐。然后渐进式音频视觉对齐按Transformer深度以幂函数放大音频影响，让浅层文本主导动作生成而深层音频精修口型，并经两阶段训练先冻结主干学口型再学动作控制。相比依赖全局提示扩散与仅做表情时间线的方法，该相位条件注意力与深度解耦对齐实现了无额外控制信号的精确时间动作控制并保持口型质量。在Action Bench基准下，ActAvatar的Sync-C指标为6.893，高于OmniAvatar的Sync-C指标6.765。其结论适用边界受限于5秒、704×1280、25FPS近身说话场景，长时连贯与开放域泛化尚未验证，而训练成本为40张H20显卡上训练，主干为5B参数，单卡生成5秒视频的推理开销约16分钟。

🔗 开源与复现资源

• 演示资源：https://ziqiaopeng.github.io/ActAvatar/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文研究的输入是三部分。第一是一张参考图像，它决定人物身份与外观起点。第二是一段语音，它决定嘴型与说话节奏。第三是一段动作提示，它用文字说明要做什么动作以及在哪个时间段做。输出是一段约 5 秒的说话人视频，要求人物保持身份一致，嘴型与音频对齐，同时在规定时间窗内做出规定动作。

对刚进入语音与视觉交叉方向的研究生，先要建立信息守恒的直觉。参考图像提供空间外观，音频提供时间节奏，文本提供语义动作，三者缺一就会出现典型失败。缺文本，模型只能做通用摆动与眨眼。缺音频约束，嘴型容易漂移。缺时间锚点，动作可能出现在任意时刻，与语义相关的语音段错开。论文把问题定义为在不引入姿态骨架等额外控制信号的前提下，只靠文字实现做什么与何时做的精确控制，同时不破坏口型同步。

从官方演示页当前可用状态看，作者提供了展示入口，可用于直观理解多场景多身份下的动作切换。本文解读以论文正文证据为准，演示页仅作为背景示意，不把网页中的外观例子当作定量证据。后续各节按学习依赖展开，先讲已有路线为何不够，再讲整体框架如何组织 3 个输入，然后拆开每个组件的计算与训练，最后讲实验条件与可复现细节。

已有路线在同输入同目标下卡在哪里？

先看文本到视频生成路线。这类工作把图像扩散扩展到时间维度，引入时空注意力或基于变换器的主干，目标是提升视觉质量与运动连贯性。它们与本文同属视频生成，但目标不同，更多解决通用运动合理性，而不是说话人唇音同步与相位级动作时间。

再看说话化身生成路线。早期工作引入音频交叉注意力做唇同步，后续加入视觉参考与多模态条件。部分工作为提升可控性引入骨架序列等显式姿态引导，代价是管线更复杂，需要额外标注，且难以用自然语言生成新动作。另一些工作依赖强视频基座获得不错的整体动作，但仍对全局提示做扩散，动作描述与场景描述在注意力中竞争，动作容易被稀释。还有工作尝试时间线但只生成面部表情，未解决身体与手部动作的相位精度。

对照本文的输入与运行阶段可以发现，关键缺口有三处。第一是文本跟随能力不足，模型把整段提示均匀处理，动作词元得不到聚焦。第二是时间对齐缺失，标准条件机制缺乏显式时间结构，注意力沿时间均匀扩散，导致动作漂移。第三是模态干扰，文本驱动的动作与音频驱动的唇动同时强作用时互相拉扯，常出现动作质量或口型其一受损。理解这三点，才能理解后文为何要同时改提示组织、注意力缩放与训练分工。

为什么均匀处理提示会导致动作错位？

设想一个样本。基础描述是穿商务装的女性在专业地说话，第一阶段 0 到 2 秒要求张开手掌向外示意，第二阶段 2 到 4 秒要求向下指以强调细节。如果把整段文字编码成一个扁平序列送入交叉注意力，视频每 1 帧看到的键值大致相同，模型没有理由让前半段更关注张开手掌而后半段更关注向下指。结果是动作语义被均匀分摊，生成可能只做模糊摆手或把两个动作混在一起。

再看时间维度。视频潜特征按帧展开，帧索引对应归一化视频时间。如果文本词元没有相位身份，交叉注意力只能学到平均偏好，无法形成随时间切换焦点的动力学。论文把这称为语义扩散与时间漂移。举例来说，即使模型学会了两个手势，也可能在错误时刻出现，与语音中强调细节的语段错开。

第 3 个矛盾是模态竞争。浅层网络更适合定全局结构，深层更适合修局部高频细节。如果文本与音频在所有层都同等强势，文本想拉动手臂，音频想拉动嘴唇，优化与采样时就会互相干扰。论文因此提出分层错峰的直觉。先让文本定动作框架，再让音频修口型，而不是全程拔河。这个问题定义直接导出后文 3 个设计，缺一都会回到上述失败之一。

沿一个样本走完输入到输出的主路径

以一张参考图、一段语音与一段结构化提示为起点，先看整体数据流。参考图像经 3 维变分自编码器编码为潜表示并加噪，形成扩散变换器的输入起点。音频经语音编码器得到帧对齐的语音表征，再经音频适配器映射为可参与注意力的词元。结构化提示经文本编码器得到词元序列，并带有相位身份。变换器块内依次有自注意力、相位感知文本交叉注意力、音频交叉注意力与前馈网络，最后经解码器还原为视频帧。 下图是全文的组织总览，建议先抓住 3 条支路的汇合点再看细节。

看图路径： 1. 先看左上角单图、音频与动作提示三个输入图标如何汇入中间生成框；2. 再看右侧多身份多场景拼图中人物手部与唇部是否同时保持自然；3. 对比同一人物不同小格的姿态变化，判断动作是否随时间推进而变化；4. 注意整体版式是输入在左、输出在右的示意，不读取具体数值

论文图 1。原论文 Figure 1：“ActAvatar generates talking avatars with precise, temporally-aligned actions across diverse scenarios and identities.”。

上图展示输入三元组与多场景输出的关系。左侧图标表明单图加音频加动作提示共同决定带动作的说话化身，右侧多格拼图表明不同身份与场景下手部动作与面部表情可以同时存在。它的教学价值是建立目标直觉，即身份保持、口型自然与动作切换三者并存，而不是只看嘴在动。

再看可执行的架构总览，下图把训练阶段、冻结关系与渐进调制画在同一张图中。

看图路径： 1. 沿参考图像经三维变分自编码器加噪进入多块变换器再解码的主路径观察；2. 比较上方音频经语音编码器与音频适配器进入音频交叉注意力的支路；3. 查看下方结构化提示经文本编码器进入相位感知交叉注意力的支路；4. 注意右上渐进式对齐示意中浅层与深层文本音频条块长度的变化方向

论文图 2。原论文 Figure 2：“Overview of ActAvatar. Given an audio input and reference image, ActAvatar generates temporally-controlled action videos guided by structured prompts automatically generated from…”。

上图的核心是分工。语音编码器与文本编码器在图中标为冻结，音频适配器标为可训练，变换器块内部不同注意力在 2 阶段中有不同更新范围。右上小框显示浅层文本条更长而音频条较短，深层则反转，直观对应渐进式音视频对齐。多模态大语言模型在图中出现 2 次，1 次根据图像与音频生成结构化提示，1 次根据分段视频与分段音频生成下一段提示，说明长视频可按段推进。沿这个样本走完后，下一节再拆每个组件的具体计算。

提示如何分块，注意力如何随相位切换？

先讲白话。基础块是全局说明书，写人物、环境、情绪与风格等不随时间变化的内容。相位块是分段施工单，每个写一个时间窗内的局部动作，并带有归一化起止时间。相位感知交叉注意力是按施工单发料的机制，让对应时间窗的帧更多关注对应相位块的词元。

具体组织是提示集合包含一个基础块与多个相位块，每个相位块配一个时间区间。例子是基础为商务装女性专业说话，第一阶段 0 到 2 秒向外张手，第二阶段 2 到 4 秒向下指。文本编码器采用预训练文本编码器得到词元序列。对属于第 k 个相位的每个词元，加上一个可学习的相位嵌入，零初始化以保证训练起点等同于无偏置行为。这种加性偏置提供归纳偏置，鼓励注意力区分基础词元与相位词元。

结构化提示 × 相位感知交叉注意力： 结构化提示负责把做什么与何时做写成基础块加相位块加时间锚点的文本组织，相位感知交叉注意力负责在生成时让对应帧更关注对应相位词元，二者搭配的原因是仅有文本结构而无注意力偏置则时间信息易被平均，只有注意力而无结构则无可指向的相位身份，组合后形成可学习的时间语义对齐。

在计算上，视频潜特征作为查询，加入相位嵌入后的文本词元作为键与值，执行标准缩放点积交叉注意力。模型在带时间标注的数据上训练后，当帧的归一化时间落入某相位区间，就更集中关注该相位相关词元。论文报告注意力可视化支持这一点，浅层已有粗略相位意识，深层分离更锐利，这与变换器由粗到细的特征学习一致。

基础块 × 相位块： 基础块负责编码身份、环境、情感与风格等时间不变的场景语义，相位块负责描述指定归一化时间窗内的局部动作，二者搭配的原因是全局描述需要稳定上下文而动作需要时间特异性，组合后使模型既保持场景一致又能在对应窗口切换动作。

需要提醒的是，相位嵌入与时间锚点是两种互补信号。时间锚点是文本层面的显式区间写法，相位嵌入是向量层面的可学习身份。二者共同作用才形成可学习的时间语义对应，而不是仅靠文字中的数字就能自动对齐。

文本与音频如何在不同深度错峰发力？

先讲白话。渐进式音视频对齐是按深度调节音量的方法。浅层把文本调大、音频调小，先定动作大结构。深层把音频逐渐调大，精修唇动。目的是让两类信号在互补区间工作，避免全程竞争。

实现上，对第 l 个变换器块的音频交叉注意力残差乘一个深度相关缩放函数。该函数形式为层索引与总层数之比的幂，幂指数大于 1。论文实现取总块数为 30，指数取 1.5。层数越小缩放越小，越深缩放越大。直觉是早期层捕捉全局结构与布局，适合文本建立姿态、手轨迹与手势类型，此时音频影响最小。后期高频细节涌现，再增强音频以细化唇部与面部发音，此时动作框架已定，不易被拉偏。

文本条件 × 音频条件： 文本条件负责建立身体姿态与手势轨迹等动作结构，音频条件负责细化唇部与面部发音细节，二者搭配的原因是同时强作用会互相干扰，组合意义是按网络深度错开主导区间，使文本在浅层定框架而音频在深层修口型，形成互补而非竞争。

这个设计与相位注意力是正交分工。相位注意力解决文本内部哪个相位在何时生效，渐进缩放解决文本整体与音频整体在何处生效。前者是时间选择，后者是深度选择。复现时要保留这种分离，不要把音频缩放误写成时间门控，也不要把相位嵌入误加到音频分支。原文未报告音频缩放是否作用于自注意力或文本分支，因此只按证据实现为音频交叉注意力残差的缩放，不做额外推广。

两阶段如何分工冻结与更新？

第一阶段的目标是建立稳健的音频视觉对应。训练数据是来自大规模说话头视频的 50 万多样样本，覆盖不同说话人、情绪与风格。训练范式是流匹配。给定数据潜表示与纯噪声，按线性插值构造中间状态，模型预测从数据指向噪声的速度场。文本条件此时是简短描述，例如女性在说话，音频嵌入来自语音编码器。

关键是冻结基座文本到视频主干，只训练音频适配器，包括音频投影与音频交叉注意力层。这样先保住基座的文本跟随能力，再获得唇同步能力。

第二阶段的目标是注入时间动作控制。数据构造分两步，先用人体姿态估计计算运动幅度并筛选大幅运动视频，再用多模态大语言模型生成带基础块与相位描述的分层提示，得到 10 万带相位级时间标注的样本。模型起点是图像到视频基座加上第一阶段预训练的音频适配器，训练目标仍是流匹配形式，但文本条件换成分层结构化编码。此时采用全量微调，同时优化基座、音频与相位相关参数，使语音同步与动作控制联合优化。

第一阶段训练 × 第二阶段训练： 第一阶段训练负责在大规模说话头视频上建立稳健的音频视觉对应并只更新音频适配器，第二阶段训练负责在结构化标注上注入时间动作控制并做全量微调，二者搭配的原因是一步同时学两类能力易遗忘原有文本跟随能力，组合后把动作控制当作已有能力的组合扩展而非破坏性覆盖。

复现时必须保留冻结与更新边界。第一阶段若解冻基座，容易破坏原有文本能力。第二阶段若冻结过多，则动作控制学不进去。论文未报告梯度裁剪、学习率调度细节与相位嵌入重置时机等缺项，复现时应如实记录采用的默认值并做对照，不从模型名称推定未写明的实现。

数据、协议与指标如何对应复现条件？

实现细节按原文交代。主干是 5,000,000,000 参数规模的图像到视频模型，含 30 个扩散变换器块。音频编码器为语音自监督编码器，文本编码器为大规模多语文本编码器。训练在 40 张图形处理器上进行，第一阶段 20,000 步，第二阶段 14,000 步，批量 40，学习率 5 乘 10 的负 6 次方，优化器为 AdamW。推理生成 125 帧，即 25 帧每秒下的 5 秒视频，分辨率 704 乘 1280，流匹配采样 40 步，文本与音频分类器无关引导尺度均为 5.0。

评估用两套数据。第一是高质量说话头测试集，含 100 段各 5 秒视频，聚焦唇同步质量，且主要为上半身无手部动作。第二是自建动作基准，含 200 个样本，每个含参考图、语音合成语音与带动作标注的结构化提示，提示经多模态大语言模型生成并经人工核验。指标分 3 类。唇同步用同步网络的置信与距离，前者越高越好，后者越低越好。

视觉质量用图像与视频分布距离越低越好，以及视频质量与美学评分越高越好。动作控制用基于大模型的评估框架，包括动作是否出现、动作准确度、时间正确性、动作质量与手部清晰度，以及按相位统计的命中率。每个视频跑 5 次取平均。

用户研究有 45 名参与者，每人看 30 段随机排序视频，在动作与提示对齐、动作质量、手部清晰、唇同步与整体质量 5 个维度打 0 到 5 分。复现时要注意聚合对象不同，自动指标是对视频分布或单视频打分，用户研究是对人均值，数值相同也不代表同一含义。百分点与相对百分比也需区分，不把命中率提升的绝对差值说成相对提升。

主结果在什么条件下同时保住口型与动作？

比较的问题是，在相同生成任务下，本方法是否在不牺牲唇同步的前提下提升动作控制与视觉质量。公平条件是同为单图加音频加文本驱动的说话化身生成，指标方向按上节约定理解，分布距离越低越好，质量与同步置信越高越好，同步距离越低越好。

上表数字来自论文连续原句的逐字证据整理，单位与精度保留原文写法，不做四舍五入与单位拆分。表后解释如下。论文报告在说话头测试集上本方法视觉质量最优，同时唇同步保持竞争水平。在动作基准上相位命中率最高，且动作准确度、时间正确性、动作质量与手部清晰度一致领先，同时唇同步置信也是最好，支持相位注意力在不牺牲音视频对齐下实现精确动作控制的判断。代价是模型仍为 5,000,000,000 参数且需 2 阶段训练，推理在单卡上生成 5 秒视频约 16 分钟，多卡可降至约 2 分钟。轻量基线更快但质量与同步明显下降，大参数基线更慢而质量未胜出。

口型同步 × 动作准确性： 口型同步负责衡量唇动与音频的一致性，动作准确性负责衡量生成动作与文本描述的符合程度，二者搭配评估的原因是只看其一会掩盖模态干扰，组合意义是检验渐进式对齐是否同时保住两类目标而非以一方换另一方。

未胜出项也要说明。在说话头测试集的唇同步置信上，本方法并非第一，有基线更高，说明在纯上半身无手场景下本方法的优势主要在视觉质量而非同步绝对值。动作基准上部分基线在某单项接近，但没有在全部动作维度同时领先，这正是多维评估的价值。下图是定性对比的导读。

看图路径： 1. 先读顶部两组相位文字规定的时间窗与关键动作，再逐行看对应帧；2. 对比本方法行在前后两段中手臂与茶壶或手势方向是否发生切换；3. 观察基线行是否停留在擦拭或静止姿态而缺少阶段性变化；4. 注意手部清晰度与伪影差异，只做可见形态比较不推断指标数值

论文图 3。原论文 Figure 3：“Qualitative comparison with state-of-the-art methods.”。

上图左右各一组两相位例子。左侧是茶壶场景下先双手举壶再单手画圈，右侧是花园场景下先向外扫动指示再收手下指。可见内容是本方法行在前后段发生明显姿态切换，而部分基线行几乎只动嘴或姿态重复，手部伪影与模糊在基线中更常见。这支持定量表中动作命中与时间正确性领先的结论，但定性图不能替代指标，仍需以双基准的数字为准。

拿掉相位结构与渐进缩放会发生什么变化？

消融要回答每个模块是否必要，以及收益来自哪里。比较基线是全局提示的基座，逐步加入相位感知交叉注意力、渐进式对齐与完整 2 阶段训练，在动作基准上看同步置信、命中率、准确度、时间正确性、动作质量与手部清晰度的变化。下表直接整理原文报告的消融数值，表头单位与裸值写法保留原文，不逐格追加符号。

上表同样基于连续原句证据整理，箭头表示论文报告的阶段间变化方向，不自行计算相对百分比。论文报告加入相位模块后命中率从 0.725 到 0.829，准确度从 3.91 到 5.78，时间正确性从 6.47 到 7.48，支持相位条件注意力是动作控制的主要来源。加入深度感知的音频缩放后同步置信从 6.39 到 6.57 而命中率（%）保持在 0.831，支持模态错峰在保动作的同时改善口型。完整 2 阶段训练后同步置信到 6.89，命中率到 0.854，准确度与时间正确性到 5.97 与 7.35，支持分阶段解耦对同时保持两类能力的必要性。代价是全量微调成本更高，且消融未单独报告只去 2 阶段而保留其他的最细粒度对照，因此不能把全部增益唯一归因于某一步。

为讲清术语分工，下表再整理 3 个模块的组合原因，该表不引入新数字，只做机制归纳。

该分工表是对上文机制段的归纳，不复述新数值。相位模块解决何时做何动作，渐进对齐解决口型与动作抢注意力，2 阶段解决新能力覆盖旧能力，三者按先结构后细节再保能力的顺序组合。缺少任一环节都会在上表中对应出行变化，但不能跨表混用数字做 2 次计算。

下图是注意力随深度变化的直接证据导读，上下两幅分别为浅层与深层的逐帧相位焦点对照。

看图路径： 1. 先确认横轴为视频时间、纵轴为两个相位、颜色深浅为注意力集中程度；2. 比较上图浅层在分界附近是否存在重叠与波动；3. 观察下图深层在前后段是否形成更干净的上下切换；4. 结合中间虚线附近的变化判断时间对齐是否随深度变得更锐利

论文图 4。原论文 Figure 4：“Cross-attention phase focus at layer 5 (top) and layer 20 (bottom). Deeper layers show sharper phase separation.”。

上图上下两幅分别为浅层与深层的逐帧相位焦点，横轴为时间，纵轴为两个相位，颜色越亮表示越集中。可见内容是浅层在分界附近仍有重叠，深层在前后段形成更干净的切换，中间虚线附近的变化更锐利。这与由粗到细的学习层级一致，也解释了时间正确性得分较高的机制。但像素不能精确读出每帧数值，解读只到分离趋势为止，不硬写具体注意力值。

哪些边界尚未被测量，不能直接推广？

首先是数据边界。第一阶段依赖大规模说话头视频，第二阶段依赖姿态筛选加多模态大语言模型生成的结构化标注。筛选偏向大幅运动，可能低估小幅手势与遮挡手的难度。动作基准的提示经模型生成加人工核验，但核验标准与一致性未详细报告，复现时应保留原始提示与核验记录，否则跨基准比较会有偏差。

其次是指标边界。动作评估依赖大模型打分并跑 5 次平均，提示词与温度等细节未在正文给出，不同版本的大模型可能给出不同分数。自动视觉指标与人工评分方向一致时支持结论，但不能把自动指标当成人评。用户研究样本为 45 人每人 30 段，随机排序，报告的是均值，未报告方差与显著性，因此均值领先支持感知优势，但可能一词代表的不确定性仍待验证。

第三是成本与部署边界。训练需数十卡数万步，推理单卡 16 分钟生成 5 秒视频，多卡可加速。论文未测量误判率、端到端延迟分布与不同分辨率下的稳定性，也未报告失败条件下的恢复行为。总体趋势是动作与同步可兼得，但不等于每组提示与每一步采样都成立。长视频按段推进时段间一致性也需额外验证，不能从单段 5 秒结果直接推广到无限时长。

复现先做什么，需要保留哪些超参数与信息条件？

第一步复现数据管线。按原文先准备大规模说话头视频用于第一阶段，再用人体姿态估计算运动幅度并筛选大幅运动片段，然后用多模态大语言模型按基础块加相位块加时间锚点的格式生成提示，并保留人工核验版本。不要跳过筛选阈值与提示模板的记录，否则第二阶段的输入分布无法对齐。

第二步复现模型分工。冻结语音与文本编码器，第一阶段只训练音频适配器。主干块数 30，渐进缩放指数 1.5，学习率 5 乘 10 的负 6 次方，批量 40。推理用 125 帧、704 乘 1280、采样 40 步、双引导尺度 5.0。先跑通全局提示基座，再加入相位嵌入与深度缩放，最后做全量微调，每步记录同步与动作两类指标，避免只看一类。

第三步复现评估。说话头测试集看分布距离、质量美学与同步置信距离，动作基准看命中率、准确度、时间正确性、动作质量与手部清晰度。每个视频跑多次取平均，并固定大模型版本与用户研究顺序。资源状态方面，论文给出演示页且当前可用，可用于外观核对，但代码与权重可运行性需以本次实际可达为准，不把页面可用等同于一键可运行。

何时值得尝试这种分层文本控制？

当任务同时需要嘴型可信与动作可指定，且不希望引入骨架等额外信号时，这种分层文本控制值得尝试。它的适用条件是能提供带时间锚点的结构化提示，以及能承担 2 阶段训练与多步采样的成本。如果只有全局描述而无时间分段，收益会大打折扣，此时应先补标注管线而非直接调大模型。

对初学者，记住三句可操作的话。提示先分块，基础管场景，相位管时间。网络按深度错峰，浅层定动作，深层修口型。训练先分后合，先学同步再学动作，避免一步破坏已有能力。常见误解是把注意力热图当成性能证明，热图只说明焦点切换趋势，真正的证据仍是双基准上的同步与动作数字，以及消融中逐步加入模块的变化。

未来还需补的验证包括小幅与遮挡手势的专项基准、大模型评分的稳定性分析、段间一致性的长视频测试，以及不同采样步数与分辨率下的成本曲线。只有补齐这些，才能把 5 秒单段的精确控制推广为可部署的说话化身系统。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

区域 6 · 查看论文原页

另有 11 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总