绕开姿态瓶颈：用音频直驱三维高斯粒子的全身说话人

英文题目：AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars

会议身份：conference:cvpr:2026:conference-paper-id:Lee_AudioAvatar_Personalized_Audio-driven_Whole-body_Talking_Avatars_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #知识蒸馏 #语音 #音视频生成

评分：6.4/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Seungeun Lee：机构信息未能从会议 PDF 纯文本可靠映射
• SeungJun Moon：机构信息未能从会议 PDF 纯文本可靠映射
• Hah Min Lew：机构信息未能从会议 PDF 纯文本可靠映射
• Ji-Su Kang：机构信息未能从会议 PDF 纯文本可靠映射
• Gyeong-Moon Park：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

给定单张全身参考图 \(I_0\) 和驱动语音序列，任务是合成身份一致、唇手体协同的全身会话视频 \(V=\{I_t\}_{t=0}^{T}\)，难点在于单图下先经由参数化姿态再渲染的管线会累积量化、重定向与跟踪误差，并抹掉毫秒级微动作。本文构建端到端音频直驱的三维高斯泼溅（3D Gaussian Splatting）化身，先由音频与粒子运动嵌入对齐语义，再经扩散Transformer（Diffusion Transformer）生成全身粒子运动并精修脸手细节，最后经高斯解码与可微光栅化渲染成像。与姿态驱动基线相比，该链路消除了音频到姿态到渲染的有损交接，使序列渲染损失的梯度直达形变场。为弥补单图监督不足，合成身份语音视频与视频分数蒸馏提供弱对齐先验。在30个未见说话人的自建测试集上，本文方法相对最强视频基线HunyuanVideo-Avatar将频域视频距离（FVD）从320降至240，相对降低25.0%，同步置信（SyncC）从6.90升至7.20。适用边界限于正面全身会话、每段5秒至10秒短片段及受控背景，跨视角、大位移与长时身份漂移尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://labs.google/flow/ → https://flow.google.com/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，哪些信息必须保留？

这篇论文研究的输入很具体：一张全身参考图加一段驱动语音，目标是输出同一身份的全身说话视频。必须保留的信息有 3 层，第一是身份与纹理，衣服条纹、脸型发型在长序列中不能漂移；第二是时间精度，毫秒级的双唇闭合、舌唇接触、眨眼与重音手势要与音频对齐；第三是全身连贯，脸、手、身体不是各自抖动，而是协同的会话动作。初学者容易把任务理解成先从声音猜骨骼再渲染，但论文的起点恰恰是反对这条两段路。

传统做法是声音到参数化姿态，再用姿态驱动神经渲染器，中间要经过量化、重定向与逐帧跟踪，任何一步的误差都会累积，尤其在只有一张图可用于个性化时，规范姿态恢复本身就是病态问题。论文把要解决的矛盾写得很直白：大视频扩散模型能直接从图加音频生成说话视频，却没有显式 3 维表示，推理要反复去噪且长序列身份易漂；3 维化身方法有显式表示与高效渲染，却依赖姿态中转而丢失微表情。

图前导读如下：下面这张动机图用同一参考人与同一句话，对比姿态驱动与音频直驱在关键词时刻的渲染差异，重点看口型开合与手势幅度是否跟得上语音，理解为何作者要取消中间姿态。

看图路径： 1. 先看最左侧参考图的人物衣着与站姿，记住身份锚点；2. 再横向对比中间姿态驱动三帧的嘴型与手势变化幅度；3. 最后对比右侧音频直驱三帧在相同关键词时刻的口型张合与手臂展开

论文图 2。原论文 Figure 2：“Motivation. When animating a talking avatar with conversational motion from audio, state-of-the-art pose-driven deformation approach degrades facial expressions, yields less…”。

图中左侧是穿深色上衣的参考人，中间 3 帧是姿态驱动结果，动作幅度小、嘴型变化弱、手部多收拢在身前；右侧 3 帧是本文音频直驱结果，在相同文本位置嘴型张开更明显、手臂外展与手掌朝向变化更大。像素上可以直接看到右侧帧间差异大于中间组，说明同一音频下直接控制带来了更强的运动响应。作者用这个对比引出全篇方法：从单图重建规范空间的高斯化身，用音频特征直接调制每个粒子的轨迹，再经可微泼溅渲染成像，训练时让光度与时间目标穿过渲染器回传到变形场，使渲染与动力学共同适配同步。

两条已有路线各解决了什么，又在哪里卡住？

第一条路线是可动全身化身。早期依赖多视角采集与手工绑定蒙皮，或低维主成分模板模型，能跨人迁移但专家成本高；后来连续隐式表示与神经辐射场带来照片级自由视角，但训练推理慢且需要额外结构做驱动重定向；多分辨率哈希与 3 维高斯泼溅把渲染加速到实时且纹理保真，但多数仍要多视角或单目动捕信号，而不是普通单图输入。也有工作用视频扩散从单图得到可动化身，外观一致性好，但动作控制仍绕不开姿态模板。

第二条路线是人体视频扩散。姿态引导的图像到视频能保证时间连贯，但只做粗身体动画且需要音频到动作的转换；近期音频驱动的大扩散模型能从单图加音频直接生成说话视频，唇动与手势逼真，但多限于头或上半身，手与脸细节弱、分辨率受限、身份保持差。论文的对照逻辑是同输入同目标下的能力缺口：要同时做到单图个性化与音频直驱全身会话，前者要求从极少输入恢复可变形规范化身，后者要求脸手身体的高时间精度对齐，两条路线单独都不完整。

因此作者选择混合控制：隐式运动变形保留表达力，粒子变形层保留脸手高频，再兼容高效神经渲染，把头驱动的精细度扩展到全关节化身。

为什么单图加音频的全身会话特别难？

难在 3 个耦合约束同时成立。举一个教学例子而非论文数据：假设输入是一张站立全身照，驱动句包含爆破音与重读音节，理想输出应在爆破瞬间出现双唇闭合，在重读词上出现点头或节拍手势，且衣服纹理全程不变。这要求模型同时解出身份几何、语音到微动作的映射、长时韵律到身体的映射，而监督只有配对音视频。例子中若用姿态中转，爆破闭合可能被关节点量化抹平，重读手势可能因逐帧跟踪平滑而滞后，这正是论文所说的有损瓶颈。

单图又加剧了病态：背面纹理、手指初始形状、口腔内部都不可见，模型必须靠先验补全，同时还要保证补全出的部位能被音频驱动。论文因此把问题设定为学习音频到粒子运动的嵌入与生成，再用合成数据与蒸馏补先验，而不是在测试时做繁重优化。需要明确的是，论文没有承诺解决任意视角与遮挡下的完美重建，它聚焦的是正面会话场景下的同步、细节与身份保持。

端到端链路如何从一张图和一段声走到视频？

沿一个样本走完全程有助于建立坐标系。输入是参考图与长度为时间的音频序列，输出是同长度的全身视频帧。第一步是从单图重建规范空间的身份化身，并实例化 3 维高斯粒子，表达性区域密、其余区域稀疏以兼顾效率。第二步是把音频序列与高斯变形序列映射到统一隐流形，得到对齐的音频特征与粒子运动特征。

第 3 步是以对齐音频为条件，用扩散变换器先生成全身粒子运动，再对脸手子集精修，然后经前馈解码器解码为每时刻的高斯属性，最后经高斯泼溅渲染成帧。训练的巧妙处在于序列级渲染损失允许梯度穿过时间流向变形场，使变形与渲染共同适配语音韵律，而不是依赖逐帧姿态跟踪。推理时不再需要大扩散的迭代去噪，而是直接前向预测粒子运动并光栅化，因此同一身份可高效重复渲染。

论文强调的 3 个贡献对应这条链：取消音频到姿态再到渲染的交接以减少漂移；粒子表示实现局部高频与全局连贯兼得；特征对齐加合成片段的蒸馏在极少个性化数据下补同步与自然度。

嵌入与生成两个模块各自算什么？

先讲音频与粒子运动嵌入。该模块输入是音频特征序列与粒子运动序列，输出是共享语义流形中的成对表示。计算上用类似图文对比的思路：粒子运动编码器把高斯变形映射为隐运动特征，最小化同一时刻音频与运动的余弦距离，同时对比错配对；再用滑动时间窗把相邻帧平均池化为短时补丁，计算补丁级余弦相似度，学习短时连贯对齐。帧级管瞬时对应，补丁级管平滑轨迹，层级对齐后的流形支撑后续生成。

3 维高斯泼溅 × 粒子变形场： 3 维高斯泼溅负责把规范空间里的一组高斯基元快速光栅化成照片级图像，承担外观与身份保持的分工；粒子变形场负责为每个高斯基元输出随时间变化的位移轨迹，承担运动表达的分工。二者搭配的理由是变形只改粒子属性而不重建外观，因此同一身份可重复渲染；组合后音频特征直接调制粒子轨迹，再经可微渲染成像，新增作用是省去参数化姿态中转并让梯度穿过时间回传到运动。

再讲音频驱动的粒子运动生成。模型输入是加噪粒子运动与对齐音频特征的拼接，加上扩散时间步经特征调制层注入，逆过程直接预测干净粒子运动；形式上可理解为以音频与步数为条件的去噪映射。先产生包含身体脸手的全身运动，再用不依赖扩散步数、而依赖真实时间索引的变换器精修脸手，保证时间一致的细粒度修正。最后全部粒子运动经多层感知机解码为高斯属性并渲染。图前导读如下：下面嵌入管线图展示了左右两个编码器与中间两层相似度连线，读图时注意帧与补丁两条路径在哪里分叉又在哪里汇合，这决定了模型同时学瞬时与短时对应的方式。

看图路径： 1. 从左到右跟随音频经编码器到音频特征再到音频补丁的箭头；2. 从右到左跟随高斯变形经编码器到粒子运动再到运动补丁的箭头；3. 观察上下两条余弦相似度连线分别连接帧级与补丁级

论文图 3。原论文 Figure 3：“Overview of the audio–particle motion embedding pipeline, Sec.”。

图中左侧波形经编码器变为绿色音频特征块，右侧高斯变形经编码器变为灰色粒子运动块，中间紫色块是各自的短时补丁，橙色长箭头连帧级余弦，紫色短箭头连补丁级余弦。这种画法对应正文的层级对齐：底层帧对齐保证发音时刻可区分，上层补丁对齐保证协同发音与手势不跳变。

音频粒子运动嵌入 × 对比学习： 音频粒子运动嵌入负责把音频序列与高斯变形解码出的粒子运动映射到同一低维流形，承担跨模态对齐的分工；对比学习负责拉近同一语音内容的音频帧与运动帧、推远错配对，承担训练目标的分工。二者搭配的理由是语音与动作在语义上对应但在信号上异构，需要度量空间约束；组合后帧级与短窗补丁级两层对齐同时生效，新增作用是为后续生成模块提供已对齐的音频条件，使预测的运动更易与韵律同步。

整体上嵌入解决条件是否可比，生成解决运动是否可算，二者经共享流形衔接。

扩散变换器生成 × 面手精修模块： 扩散变换器生成负责先产生全身粒子运动的粗粒度轨迹，承担全局连贯身体与头部运动的分工；面手精修模块负责只对脸与手子集做 2 次变换器精修，承担高频局部口型与指节细节的分工。二者搭配的理由是脸手需要更高自由度而全身需要稳定骨架，1 次生成难以兼顾；组合后先全局后局部的层级流程新增作用是在保持身体节拍手势连贯的同时，恢复双唇闭合与手指细微变化。

监督从哪里来，梯度流向哪里？

训练数据来自混合合成管线，因为公开对话音视频少。流程是先用属性字典组合性别年龄体型发型服装写提示，经文本生图得到多身份全身像；另用 curated 文本语料经文本转语音得到配对音频；再用音频驱动的大人体视频扩散模型生成时间同步的说话视频，作为伪真值监督高斯变形学习。

两类基础模型的分工在正文有明确安排理由：大规模多模态视频基础模型提供外观多样与视觉质量，音频驱动 talking 模型提供与音频同步的协同语音动作，二者互补才能同时保证好看与对齐。得到合成视频后，用可变形高斯泼溅拟合出高斯变形序列，作为嵌入与生成的监督。

图前导读如下：下面的合成管线图把上支身份生成与下支语音生成画成两条独立链路，最终在右下汇成 talking 数据集，读图时重点核对属性到图像、文本到音频、图加音频到视频的 3 次转换是否都有显式模块承担。

看图路径： 1. 先看左上属性字典如何组合性别年龄体型发型服装生成提示；2. 再看左下文本语料经文本转语音变为音频语料的纵向链路；3. 最后看右下同一身份多帧如何构成 talking 视频数据集

论文图 6。原论文 Figure 6：“Overview of video data synthesis pipeline used for video diffusion distillation.”。

图中左上属性字典列出性别年龄体型等候选项，经提示模板生成右上多身份全身阵列；左下文本语料经文本转语音变为中部音频波形阵列；二者经中间的音频驱动大视频扩散块变为右下同一身份多帧视频。可以看到每个身份都有多帧连续动作，这正是后续拟合变形所需要的时序监督。

视频分数蒸馏 × 轨迹对齐损失： 视频分数蒸馏负责把大规模音频驱动视频扩散教师的序列级先验迁移到渲染图像上，承担外观真实感与协同发音合理性的分工；轨迹对齐损失负责约束每个高斯渲染中心在 2 维像素轨迹上与参考轨迹一致，承担时间稳定性的分工。二者搭配的理由是前者管分布层面的合理、后者管逐点层面的跟随，单用其一易出现好看但漂移或跟随但生硬；组合后渲染分支同时受分数梯度与重投影误差塑造，新增作用是在单图数据不足时仍保持同步且减少抖动漂移。

损失侧有 4 类：渲染帧与扩散生成图像的像素重建、高斯近邻的等距先验与简单去噪目标、视频分数蒸馏、轨迹对齐。其中分数蒸馏把教师分数网络对渲染加噪图像的预测与真噪声的差，经可学习参数的雅可比回传，促使渲染序列落在教师的音频条件视频流形上；轨迹对齐则对每个高斯累计其渲染中心与目标像素位置的偏差，迫使高斯沿观测轨迹走以减少漂移。

混合 talking 视频合成 × 伪真值监督： 混合 talking 视频合成负责用文本生图得到多身份全身像、文本转语音得到配对音频，再用音频驱动视频扩散生成同步说话视频，承担扩充监督数据的分工；伪真值监督负责用可变形高斯泼溅拟合这些合成视频得到高斯变形序列，承担为嵌入与生成提供可学习目标的分工。二者搭配的理由是真实对话音视频公开数据有限，直接训练易欠拟合；组合后合成视频的同步性被转写为显式变形监督，新增作用是以弱监督形式多样化运动同时保持与同一音频的同步。

需要指出的缺项是原文未完整报告优化器超参数表与冻结更新细节，不能从模型名推定哪些教师参数被冻结；复现时应以官方实现为准，不自行假设梯度是否截断。

在什么数据与指标上测，与谁比才公平？

数据方面，论文说明公开对话音视频有限，因此聚合多源并自采自生成，测试用训练未见动作的共计 30 个被试，每个序列 5 到 10 秒，单人自然对话且音画时间对齐，包含公开的因果对话与无缝交互数据集成分。指标覆盖 4 类方向：视觉美学用基于问答对齐的质量与美学分，越高越好；唇音同步用同步置信与距离，一个越高越好、一个越低越好；身份用参考图与生成帧人脸特征余弦，越高越好；手部用关键点置信与方差，分别反映可靠与多样。

低层保真用峰值信噪比与结构相似，越高越好；生成多样与连贯用弗雷歇图像距离与视频距离，越低越好。比较对象分两类：单图可动高斯化身的公开方法与本文同比渲染质量，为公平起见，因基线不能直接由音频驱动，统一用最先进全身动作转换器先把音频转姿态再驱动基线；另一类是音频驱动视频扩散模型，直接同输入对比视频质量与同步。

资源状态方面，本次收到的第三方链接状态为可用，地址指向大型生成式视频基础工具的官方页面，可作为理解合成管线中基础模型角色的背景资料，但复现仍以论文数据构造描述为准。

主结果在哪些指标上占优，代价是什么？

论文报告在自定测试集上全面优于基线，叙述中给出相对单图化身方法的感知质量、同步与低层保真提升，以及相对最强视频扩散基线的视频真实感与时间连贯大幅下降。定性上，图 7 对比显示本文在相同驱动下脸部更锐利、唇同步更好、手势更细且跨时更平滑；图 8 对比扩散基线显示本文伪影更少、身份保持更强，尤其在手部细节与长序列一致性上。图前导读如下：下面这组全身对比包含男女两个身份与两句驱动文本，每组左侧为参考图，右侧 3 组分别为两种基线与本文，读图时先固定同一句话的同一时刻，再比较三者的手臂姿态与躯干朝向是否出现可解释的韵律差异。

看图路径： 1. 对比上下两行不同身份下三组方法的全身渲染清晰度；2. 观察标红关键词对应时刻的手部抬起高度与手指可见度；3. 检查长时间跨帧时服装条纹与面部身份是否保持一致

论文图 7。原论文 Figure 7：“Qualitative comparison with state-of-the-art animatable Gaussian Splatting-based avatar models.”。

像素可见的是本文组的手部抬起与张开程度随关键词变化更明显，而基线组多保持收拢；下行女性身份的灰裤褶皱与黑色高领的边缘在本文组跨帧更稳定，说明高斯表示对纹理的保持作用。但也要看到代价：本文需要合成数据拟合与蒸馏，训练链路比单步扩散更长；且评测是自定测试集而非公开统一基准，跨论文可比性受限。表前比较问题如下：消融表中哪几行对应可运行的完整或缺失策略？

公平条件是同一测试集与同一音频驱动，指标方向是同步置信越高越好、同步距离越低越好，手部置信越高越好，视频距离越低越好，表中数值变化是否支持每个模块的必要性？

表后解释如下：完整模型在所有列上占优，但每种缺失的代价不同，去嵌入主要伤同步，去精修主要伤手部，去合成伤同步与美学，去蒸馏最伤视频连贯，去轨迹最伤同步距离且是全部消融中最差的同步。

这支持轨迹对齐与分数蒸馏分别管跟随与平滑的判断，同时也给出反例：没有任何单模块能独立撑起全部指标，说明 3 组设计互补而非冗余。未胜出项是部分行的身份余弦在去补丁策略时反而略高，提示身份保持与运动表达之间存在权衡，不能只看单一指标下结论。

拿掉每个部件会发生什么，哪个最关键？

消融按 3 组组织：个性化模块、音频驱动变形、扩散目标项。表前比较问题如下：若只允许保留一个部件，应优先保同步还是保连贯？公平条件仍是同数据同驱动，观察去掉某项后同步距离与视频距离谁恶化最多，就能判断该项的不可替代性。

表后解释如下：数值上轨迹对齐缺失导致同步距离从低到高跳变最大，是同步的最关键约束；分数蒸馏缺失导致视频距离上升最多，是连贯的最关键约束。

补丁对齐缺失则表现为重建保真与视频真实感同时下降，说明短时上下文对空间一致性有独立贡献。论文的可视化消融也显示，去蒸馏易模糊，去轨迹易错位，去合成易平淡，去补丁易出现大幅异常手势。限制是这些数字来自合成监督主导的训练，真实口音、方言与快速连读下的泛化未在消融中单独分解，待验证。

哪些结论有边界，什么还没有被证明？

直接报告的是在 30 人自定测试集上的多指标占优与各模块消融下降，这是论文显示的范围。有限解释是粒子表示与蒸馏带来了同步与细节提升，数据支持但因果链仍受合成数据质量影响：如果教师扩散本身在某些音素上手部失真，伪真值会把误差传给学生。未验证推测包括实时帧率、实际延迟与训练成本，原文未给出硬件预算与推理开销的完整表格，不能承诺更快或更省；总体趋势不等于每组每步都成立，个别身份余弦的波动就是反例。

相关性不等于因果，同步指标好不代表可懂度与自然度的人评一定好，自动指标不能当人评使用。不同指标差值不能混放比较，百分点与相对百分比也不同，引用提升幅度时应保留原文写法而不自行换算。此外，单图背侧不可见区域的补全质量、在野光照与遮挡下的稳定性，都属于未评测边界，不宜推广到任意场景。

要复述与复现，先做什么，需要补哪些验证？

复述时先固定一条样本链：单图经重建得到规范高斯，音频经编码得到对齐特征，扩散先出全身再精修脸手，解码渲染成帧，合成视频拟合出伪变形，分数与轨迹两损失共同塑形。复现先做三件事：按原文构造属性字典与提示模板生成多身份全身图，用同一文本语料转语音保证音频可比，再用相同的音频驱动视频扩散生成同步视频并用可变形高斯拟合出变形序列；这 3 步的随机种子与版本号必须记录，否则合成分布漂移会导致结果不可比。

接着实现帧级加补丁级对比嵌入，验证同步置信是否随嵌入加入而上升；再加入脸手精修，验证手部置信是否回升；最后加入分数蒸馏与轨迹对齐，分别检查视频距离与同步距离是否下降。还需补的验证是公开集上的交叉测试、不同口音语速下的分层统计、以及推理延迟与显存的实测，因为原文未充分报告这些量。代码与权重方面，原文未在本证据中给出可用链接状态，只能以正文开源声明为准，不从第三方工具页推定本项目代码已公开。

何时值得尝试这种音频直驱路线？

当任务同时满足单图个性化、全文身体可见、需要唇手协同这 3 条时，值得尝试取消姿态中转的直驱：它把本会被量化抹掉的微动作留在了粒子轨迹里，又用渲染器保住身份。当只有头部特写或已有高质量动捕时，传统姿态驱动可能更稳，不必引入合成与蒸馏的复杂链路。教学上的关键记忆是分工：嵌入管可比，生成管可算，合成管数据，蒸馏管合理，轨迹管跟随，渲染管外观。

任何一步缺失都会在特定指标上暴露，去嵌入伤同步，去精修伤手，去合成伤多样，去蒸馏伤连贯，去轨迹伤跟随。未来验证应补足人评可懂度、长序列身份漂移曲线、以及真实噪声音频下的鲁棒性，才能把自动指标上的占优转化为可部署的收益。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 13 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总