边听边说还不能卡：用因果扩散迫使头像实时接住用户

英文题目：Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation

会议身份：conference:cvpr:2026:conference-paper-id:Ki_Avatar_Forcing_Real-Time_Interactive_Head_Avatar_Generation_for_Natural_Conversation_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #偏好优化 #实时处理 #音视频 #音视频交互

评分：6.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Taekyung Ki：机构信息未能从会议 PDF 纯文本可靠映射
• Sangwon Jang：机构信息未能从会议 PDF 纯文本可靠映射
• Jaehyeong Jo：机构信息未能从会议 PDF 纯文本可靠映射
• Jaehong Yoon：机构信息未能从会议 PDF 纯文本可靠映射
• Sung Ju Hwang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文任务是以单张参考人像为身份源，持续接收用户音频与用户头部运动并结合化身音频，逐段因果生成可实时交互的头部化身视频，难点在于因果约束下的低延迟响应与用户反应多对一模糊导致的表情呆板被动。方法首先复用运动潜空间自编码器将图像解耦为身份潜码与运动潜码，为后续运动生成提供紧凑表征并保留身份外观。接着双运动编码器先对齐用户音画线索再融合化身音频，形成统一条件向量并送入生成器实现视听联合驱动。然后块级因果扩散强迫变换器在潜空间按块去噪预测下一运动块并解码成像，再以真值潜码为正、丢弃用户信号的弱模型输出为负做直接偏好优化以增强反应丰富度。与需等待全序列上下文的INFP双向DiT不同，本文采用块内双向、块间因果掩码并辅以2帧前视与滚动键值缓存，从而无需等待未来音频即可逐步生成并保持时序平滑。在RealTalk基准下，Avatar Forcing的延迟指标Latency为0.5s，低于INFP*的延迟指标Latency 3.4s。适用边界为正脸双人短片段的受控裁剪与声源分离流程，多人遮挡与长时漂移尚未验证，推理开销上单卡H100以10步欧拉采样实现约500ms延迟以支撑实时交互。

🔗 开源与复现资源

• 演示资源：https://taekyungki.github.io/AvatarForcing → https://taekyungki.github.io/AvatarForcing/ — 链接可访问（HTTP 200）
• 第三方资源：https://www.synthesia.io/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息不能丢？

这篇论文研究的不是单张照片配一段语音就生成说话视频，而是双人实时对话。输入有四样：静态头像图、头像要说的话对应的头像音频、实时进来的用户音频、实时进来的用户动作。输出是连续生成的头像视频，要求头像在说话的同时能听懂对方的点头、微笑、笑声并给出反应。必须保留的信息包括用户动作这个视觉条件、因果约束即不能偷看未来帧、以及延迟预算。原文把目标写成用户微笑时头像也自然微笑的镜像式互动，图 1 正是这种设定。

先看整体互动回路再理解实时二字：用户在上排出现表情与声音，中间的 Avatar Forcing 方框同时收两路音频与一路动作，下排即时吐出头像视频。右侧标注的延迟约 500 ms 与主动倾听字样说明系统被要求在半秒量级内反应，而不是等整句话说完再生成。

看图路径： 1. 先看上排用户视频与下排生成头像视频的左右对应关系；2. 再看中间 Avatar Forcing 方框汇入的用户音频、头像音频两条波形箭头；3. 最后观察右侧用户微笑与头像跟随微笑的白框对应时刻

论文图 1。原论文 Figure 1：“Overview of Avatar Forcing. It can generate a real-time interactive avatar video conditioned on user motion and audio, as well as avatar audio.”。

图 1 的像素显示上排用户从平静到微笑，下排卡通头像在相近时刻也张开笑容，白框标出两者表情的对应。左侧半透明的历史帧表示已生成上下文，中间粗箭头表示当前块的因果驱动。这种图不是证明口型多准，而是定义任务：评价必须同时看语言同步与非语言跟随，丢掉用户动作就退化为单向播报。

已有路线各解决了什么，为什么还不够自然？

初学者容易把所有头像工作混为一谈，论文把它们分成 3 条线。第一条是说话头像，从早期只做口型到后来做节奏性头动、眨眼与张合，再到用稳定扩散或流匹配提升写真感，目标是把给定音频说准说好看。第二条是倾听头像，专门学生成点头、注视等倾听动作，难点是 1 对多即同一种说话可以对应多种合理倾听，且线索弱、依赖上下文。第 3 条是双人对话头像，同时建模两个人的言语与非言语交换。

说话头像生成 × 倾听头像生成： 说话头像生成的分工是把头像音频转成口型同步与头部运动，保证信息被准确说出来；倾听头像生成的分工是根据对方说话产生点头、注视等反应。两者搭配的理由是真实对话中说话与倾听角色持续互换，组合意义在于 Avatar Forcing 把两者统一为同一个条件生成问题，不再用人工切换说话与倾听两个空间。

对照同输入同目标才能看清差距。DIM 把言语与非言语量化成两个离散空间，但需要人工切换说话与倾听信号，导致状态跳转不连续。INFP 用言语与非言语记忆库统一生成，但其双向变换器需要整段对话上下文，必须等未来帧，延迟高。ARIG 生成隐式 3 维关键点，侧重表情但时间一致性弱、头动不完整。论文的判断是这些工作要么缺实时因果，要么缺整体头动，证据是后续延迟对比与反应性指标，而不是类别名称本身。

两个真挑战：实时因果与生动反应难在哪？

第一个挑战是实时处理多模态用户输入。交互系统必须持续收语音、头动与表情，且推理快、等待短。若模型像 INFP 那样需要超过 3 秒的完整上下文，就要先攒一段音频再生成，交互必然慢半拍。论文用图 4 对比双向结构与块因果结构的差异，核心是未来信息是否可用。第二个挑战是生动且多样的反应难以定义与标注。与口型和音频近乎一一对应不同，对用户微笑可以回笑、点头或注视，合理答案很多，模型容易学到平均化的僵硬动作。

论文用 ViCo 数据集上说话者与倾听者表情变化的方差分布说明数据偏置：倾听样本大多方差小、姿态僵硬。横轴是表情范数的时序方差，方差越大表示越生动，纵轴是密度。蓝色倾听者集中在零附近，黄色说话者拖出长尾，图中还贴出僵硬静态与生动说话的示例帧。

看图路径： 1. 先确认横轴为表情变化方差、纵轴为密度及蓝色为倾听者黄色为说话者；2. 再比较倾听者直方在接近零处的高柱与说话者更分散的分布；3. 最后看图中僵硬静态示例与生动示例分别落在分布的哪一侧

论文图 5。原论文 Figure 5：“Variance visualization of the L2-norm of 3DMM ex- pressions [13] for the speaker and listener on ViCo [62] dataset. Higher variance indicates higher expressiveness.”。

该分布图的教学价值在于把难以言说的生动变成可比较的统计：若训练集倾听动作本身就不丰富，直接拟合只会复刻被动行为。这也解释了为什么论文后续不用人工标注表情等级，而是用构造偏好对的方法逼模型离开平均解。需要注意分布差异是相关性证据，不是因果证明，不能直接推出某种结构必然解决僵硬。

跟着一个样本走完输入到输出的全景

假设当前要生成第 i 个块。输入是用户这一小段的音频与动作、头像这一小段的音频，以及一张头像参考图。第一步用动作隐编码器把用户视频帧变成动作隐向量，用音频编码器提用户与头像音频特征。第二步双运动编码器把三者融合成统一条件。第三步因果运动生成器拿噪声块、过去已生成的干净块与参考动作为输入，在该条件下 1 次去噪出当前头像动作块。第四步把动作块与身份向量相加再解码成像素视频，并把当前块的键值存入缓存供下一块使用。

动作隐空间 × 身份与动作解耦： 动作隐空间的分工是把图像映射为低维向量以便快速扩散；身份与动作解耦的分工是把该向量拆成管外貌的身份隐向量与管表情头动的动作隐向量。搭配理由是交互建模只需要改变动作而保持身份，组合后生成器只预测动作块，再与参考身份相加解码成视频。

原文沿用前作的隐自编码器，把输入图像映射为隐向量并拆成身份与动作两部分，动作用于捕捉表情与头动。生成器只在动作空间做扩散，身份保持不变，这是保证换表情不换脸的关键。图 2 把上述路径画成从左到右的流水线，左侧蓝色为用户，红色为头像音频，中间两个蓝色大框为编码器与生成器，右侧红色框为解码出的头像视频。

看图路径： 1. 从左侧用户动作与用户音频方块进入双运动编码器的路径看起；2. 再看头像音频与参考动作进入因果生成器的位置；3. 最后跟踪已生成块加参考动作后解码为右侧头像视频的箭头

论文图 2。原论文 Figure 2：“Overall architecture of Avatar Forcing.”。

看图 2 时不要只记模块名字，要看到因果：下方过去干净块与当前噪声块同时进入生成器，但注意力不允许当前块看未来块。参考动作只提供起点姿态，真正决定笑不笑、何时点头的是统一条件。这种设计把实时性放在结构里，而不是靠推理加速补救。

编码器与生成器各自算什么，为何这样搭配？

双运动编码器的计算分两层交叉注意力。第一层把用户动作与用户音频对齐，得到整体用户状态；第二层把该状态与头像音频融合，学习用户与头像之间的因果关系，输出统一条件。原文在消融中验证拿掉用户动作后反应性与丰富度都下降，说明视觉分支不可被音频替代。生成器采用扩散强迫变换器，按块划分隐帧，块内共享噪声时刻、块内可双向，块间严格因果。为缓解块边界抖动，引入前视因果掩码，允许每块多看有限个未来帧，同时整体仍保持因果。

扩散强迫 × 因果块生成： 扩散强迫的分工是对序列中每个时刻加不同噪声并回归向量场，允许用已去噪的过去指导当前噪声块；因果块生成的分工是把隐帧切块、块内双向、块间只看过去并复用键值缓存。搭配理由是前者给出训练与采样机制，后者给出实时约束下的注意力结构，组合后新增的作用是无需等待未来整段对话即可逐块输出动作。

双运动编码器 × 统一用户-头像条件： 双运动编码器的分工是先用交叉注意力对齐用户动作与用户音频，再用另一层交叉注意力融入头像音频；统一用户-头像条件的分工是把三元组压缩成生成器每一步都能用的条件向量。搭配理由是视觉非语言线索与语音必须先对齐再与头像说话意图关联，组合后生成器只需关注 1 个条件即可同时考虑说什么与如何反应。

生成器还用滑动窗口注意力平滑条件，窗口大小与前视帧数相关。直观例子是用户开始微笑的那几帧，当前块若完全看不到下 1 帧的嘴角变化，生成动作容易在边界处跳变；允许看 2 帧未来相当于给过渡留出缓冲，但等待成本只增加几帧而非整段对话。原文称简单块因果会出现逐帧抖动，补充视频展示了加前视后的改善，论文正文未给出抖动的数值指标，这一点在复现时只能靠主观与方差观察。

两阶段学什么：先拟合动作场，再拉开偏好差距

第一阶段是扩散强迫训练，目标是回归从噪声到真实动作隐向量的向量场。每帧有独立噪声时刻，模型以用户-头像条件为输入预测该时刻的场方向。实现细节是训练帧数、块数与前视帧数固定，优化器与批量按原文设置，隐维度与注意力头数也给定。第二阶段是偏好微调，总损失为扩散损失加权偏好损失。正样本取真实视频的动作隐向量，负样本用只以头像音频为条件的已有说话模型生成，二者除互动生动性外口型与语音驱动部分尽量一致，从而把梯度集中在反应性与丰富度上。

直接偏好优化 × 合成的欠表达负样本： 直接偏好优化的分工是不训练奖励模型而直接拉开正负样本的似然差距；合成的欠表达负样本的分工是用只看头像音频的已有说话模型生成僵硬动作，作为不希望出现的对照。搭配理由是真实互动的生动程度难以人工打分，组合意义是用丢掉用户信号自然构造出偏好对，实现无人工标注的对齐。

偏好构造的关键动作是丢用户信号：负样本生成时看不到用户动作与用户音频，自然偏向欠表达。原文强调无需额外人工标注，这是针对标注难的方法选择。需要如实说明未报告项：平衡系数取何值、负样本生成模型是否冻结、偏好微调训练多少步，原文正文未给出具体数值，不能从模型名推定。复现时应先按扩散阶段跑通因果生成，再小规模试验偏好权重，避免一步把口型带偏。

训练与推理的计算账本：帧块、步数与缓存

这一节把可复现的数字放在一张表里，方便按原配置先跑通。训练按固定长度切帧分块，前视帧数很小，采样步数固定，优化器与批量给定。推理按块自回归展开，每块采样噪声、解常微分方程去噪、解码返回，再把当前块的键值与条件键值追加到滚动缓存，缓存满时丢最旧块。这种滚动缓存是实时性的另一半：过去信息复用避免重复计算。

表后补充优化器与模型尺寸：优化器用特定自适应方法、学习率与批量按原文设置，注意力头数与隐维度给定，音频用多尺度特征。代价是块越小延迟越低但边界越多，前视越大越平滑但等待越长，原文选的是两者折中。未报告训练时长与显存占用，推理开销只报告运动生成时间，不含检测、编码与解码，部署时需另测端到端。

数据、预处理与评价口径如何对齐？

训练与主评用双人对话数据集 RealTalk 与 ViCo。流程是先用场景检测切分镜头，再检测跟踪人脸并裁剪缩放到固定尺寸，接着用视觉引导的语音分离把说话人与倾听者音频分开，最后统一视频帧率与音频采样率。另从说话头像数据集 HDTF 随机抽 50 段评说话能力。实现上音频用多尺度特征，运动采样用欧拉求解器与无分类器引导，实验在单张特定图形处理器上完成。评价分五方面：延迟、反应性、动作丰富度、视觉质量、口型同步。

反应性用用户与头像在表情与头部位姿上的残差相关，越低表示跟随越好；丰富度用多样性指数与方差，越高越好；画质用常见生成指标与身份相似度；口型用同步误差距离与置信度。

比较的公平条件需要讲清：对照是复现的 INFP 星号版，因官方实现未公开，只能按论文复现；另放不看用户信号的说话模型作参考，灰色显示。延迟测的是已提好音频特征后的运动生成时间，采样步数固定，这意味着延迟对比不含特征提取与解码波动，实际端到端会略高。

数据处理与人工评测的执行细节

数据表的目的是让别人能重放同一预处理，而不是只记数据集名字。人脸统一裁剪尺寸、视频帧率与音频采样率是硬条件，HDTF 抽样数与人工评测人数是可核对点。人工评测招募数十人评十余组视频，从反应性、丰富度、言语对齐、非言语对齐与总体偏好 5 维打分，总体偏好超 80% 是论文最强的外部证据。

表后必须讲限制：人脸检测跟踪失败的片段如何丢弃原文未细说，语音分离误差会污染用户与头像音频的归属，人工评测的视频选择与顺序效应在正文未公开，补充材料才有细节。自动指标方面残差相关低不等于语义正确，多样性高不等于不抖动，需要结合视频主观检查。不同指标差值不能混放一列比较，自动分与人工分也要分开陈述。

主结果测什么：延迟、反应与丰富度能否同时成立？

主问题是交互头像能否在低延迟下更 reactive 且更多样，同时不丢画质与口型。表前需要明确比较问题与方向：延迟越低越好，残差相关越低越好，多样性与方差越高越好，人工偏好比例越高越好。基线保留实际可运行的复现 INFP 与本方法，另有非交互说话模型作参照。原文报告本方法延迟约半秒，对照数秒量级，加速倍数与人工偏好是核心证据。

表后解释要同时给收益与代价。本方法把延迟从数秒压到半秒量级，相对加速与人工偏好支持其实时与生动优势；但视觉质量与口型同步原文表述为与对照可比，而非全面最佳，个别指标对照仍有数值优势。图 6 的定性例子显示用户微笑与笑声时刻，本方法出现跟随微笑与更大表情变化，而对照行变化较小。未胜出项必须指出：若只看纯说话画质与口型，本方法不是每项第一，不能把交互偏好推广为说话任务全胜。

看图路径： 1. 先对照顶部黑色用户音频与蓝色头像音频波形的时间轴；2. 再比较同一列用户真实表情与 INFP 星号行和本方法行的头像表情；3. 最后定位红色箭头标记的跟随微笑与红框标记的表情丰富段

论文图 6。原论文 Figure 6：“Qualitative comparison of interactive head avatar generation models on the RealTalk [14] dataset.”。

该图的像素细节值得逐列核对：同一时间列下用户真实帧已露笑，对照头像帧嘴角几乎不动，本方法头像帧嘴角上扬并伴随头部变化；下方用户大笑段红框内本方法张口幅度更大。这种单样本展示支持反应性判断，但不能代替全集统计，复现时应同时看残差相关与多样性数值。

拿掉用户动作与偏好优化会发生什么？

消融回答两个操作问题：用户动作是否必要，偏好微调是否必要。第一个对照是不输入用户动作，只留音频条件；第二个对照是保留用户动作但不做偏好微调。指标方向与主结果一致，反应性越低越好，丰富度越高越好。原文的定性描述是无用户动作时即使用户微笑而音频静默，头像仍保持静态。

有用户动作后头像在用户笑后跟笑，并在用户开始说话时转入专注表情。无偏好优化时表情与头动多样性下降、对用户微笑反应弱；加偏好优化后出现更自然的头动与更开的笑容。

这两个反证共同说明生动不是单靠更大模型容量，而是靠信息条件与目标函数：缺视觉条件则看不见非语言线索，缺偏好目标则学到平均化的被动倾听。复现时应注意原文未报告去掉前视掩码或改变块大小的完整数值，只在附录提及，消融的因果结论限于用户动作与偏好两项。失败条件也应记录：若用户音频与动作不同步或分离错误，条件本身带噪，跟随可能出错，但原文未量化该鲁棒性。

哪些结论有边界，哪些验证还没做？

直接报告的是延迟量级、加速倍数、人工偏好方向与反应性丰富度指标的改善。有限解释的是生动来自用户条件与偏好构造，消融支持该解释但未排除其他超参数的影响。未验证推测包括长时对话的稳定性、多人遮挡、极端侧脸与强噪声下的跟随质量，以及端到端延迟含采集编码解码后的表现。原文把伦理、局限与未来工作放在附录，正文未展开水印、误用与身份授权问题，教学时应明确这是缺项而非已解决。资源状态方面，项目页当前可用，第三方演示站当前可用，但这只代表链接可达，不代表权重与训练代码可运行。复现前应先确认开源的是推理代码还是完整训练管线。

复现先做什么，后做什么，如何判成功？

第一步复现数据管线：按原尺寸帧率采样率处理，检查人脸跟踪与语音分离的输出是否对齐，先用少量双人片段可视化用户动作与音频波形。第二步复现隐自编码器或直接用原文对应的已训权重，保证换动作不换身份。第三步按帧块与前视配置训练因果生成器，先关闭偏好优化，用残差相关与方差看是否学会跟随。第四步构造只看头像音频的负样本，小权重开启偏好微调，观察丰富度上升而口型不明显变差。

判成功的标准是延迟进入半秒量级、人工盲测偏好方向一致、消融中去用户动作后果然变静态。若口型先变差，应优先降偏好权重而非加采样步数，因为问题更可能在目标权重而非采样精度。

何时值得尝试这个方案，记住哪几条？

当任务是实时双人对话且用户有可见非语言信号时，这个方案值得尝试：因果块生成解决等未来的等待，统一条件解决看不见表情的问题，合成负样本的偏好优化解决标注难的问题。若任务只是离线把一段语音说准，或用户只有电话音频而无视频，那么用户动作分支的收益会大幅缩水，不必照搬全套。记住 3 条可核对的事实：延迟进入半秒量级而对照为数秒量级，人工总体偏好超过 80%，视觉与口型为可比而非全胜。

记住两个操作：块与前视是延迟与平滑的 trade-off，偏好权重是生动与口型的 trade-off。最后把相关性与因果分开：方差分布解释了数据偏置，消融支持了机制解释，但长尾鲁棒性与端到端成本仍待验证。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 20 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总