EmoTaG: Emotion-Aware Talking Head Synthesis on Gaussian Splatting with Few-Shot Personalization

英文题目：EmoTaG: Emotion-Aware Talking Head Synthesis on Gaussian Splatting with Few-Shot Personalization

会议身份：conference:cvpr:2026:conference-paper-id:Xu_EmoTaG_Emotion-Aware_Talking_Head_Synthesis_on_Gaussian_Splatting_with_Few-Shot_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#生成模型 #少样本 #语音 #音视频生成

评分：7.1/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Haolan Xu：机构信息未能从会议 PDF 纯文本可靠映射
Keli Cheng：机构信息未能从会议 PDF 纯文本可靠映射
Lei Wang：机构信息未能从会议 PDF 纯文本可靠映射
Ning Bi：机构信息未能从会议 PDF 纯文本可靠映射
Xiaoming Liu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频驱动3D说话头合成需从语音生成同步且情感一致的头部几何与外观，而情感语音的口型涨落与上半脸运动显著强于中性语音，少样本下无约束3D高斯变形极易出现几何撕裂与情感失配。该工作先以Wav2Vec 2.0音频特征与OpenFace动作单元特征为输入，经身份调制的编码器得到统一运动表征，再由三分支解码器分别预测中性发音基运动、情感残差运动与帧级融合门控。融合后的FLAME表情与下颌姿态驱动绑定的3D高斯场做刚性跟随变形，口内高斯再叠加精细残差位移，同时DeepFace蒸馏的类别分布与强度分数分别约束残差潜变量与门控输出。相比直接变形高斯或仅建模音素映射的InsTaG与MimicTalk，该显式几何先验加语音韵律与情感强度解耦的设计兼顾了稳定性与表现力。在情感自重建评测中该方法PSNR达到29.95，明显高于InsTaG的27.82与TalkingGaussian的27.84，且在高强度表情下优势更大。但结论主要限于5秒适应的正面裁剪视频与给定姿态表情辅助帧条件，未验证大姿态、遮挡与无辅助线索下的外推能力。原文披露单卡RTX A6000上预训练250K迭代而新身份适配20K迭代约11分钟，推理约76.4 FPS。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，哪些信息必须保留？

这篇解读的输入是论文原文给出的任务定义、模型结构、训练与评测条件，目标是让刚进入语音与音频领域的研究生能复述 EmoTaG 的做法并知道其适用边界。必须保留的信息包括只用 5 秒新身份视频做适配、在 FLAME 参数空间预测运动、用门控残差分离音素与情绪、用 DeepFace 做无标注情绪蒸馏，以及中性集与情绪集上的对比条件。输出是一段可核对的方法复述，而不是效果断言。

任务是音频驱动的 3 维说话头合成。输入是一段新语音，外加少量姿态与上脸表情辅助帧，输出是与语音同步且带情绪变化的 3 维人脸视频。学习依赖是先在大规模多身份语料上学通用音频到运动映射，再到新身份上快速适配。实验条件优先于修辞，因此后文所有数字都会交代数据集、基线、指标方向与适配时长，不把单点提升当成普遍保证。

已有路线在情绪语音上卡在哪里？

已有路线可按训练代价区分。逐身份从零训练的方法为每个身份训练一个模型，保真度高但需要分钟级视频，难以快速部署。单样本方法只用一张参考图初始化，身份信息有限，结果个性化不足且不稳定。少样本预训练与适配方法先学通用运动先验再用几秒视频适配，效率与真实感较好，代表是 InsTaG 与 FIAG，但原文指出它们主要面向中性语音，缺乏显式情绪建模，且直接变形 3 维高斯时几何约束弱，在多样夸张表情下不稳定。

情绪说话头另有两条线。2 维生成方法表情生动但缺少显式 3 维结构先验，大姿态与强表情下几何一致性难保证。3 维域的 EMOTE 与 EmoVOCA 依赖带人工情绪标注的 3 维人脸数据集，受离散类别与标注主观性限制，难以从音频直接学细粒度情绪动态。EmoTalk3D 用 3 维高斯达到高保真，但依赖逐人优化，限制快速个性化。原文的判断是此前没有方法同时实现少样本适配、3 维一致性与从音频出发的情绪感知建模，EmoTaG 正好补这一空位。

为什么情绪语音不能只学音素映射？

核心矛盾是情绪语音的关节运动比中性语音复杂得多。论文用唇部关键点测水平与垂直口张开轨迹随时间的变化，发现情绪音频的波动更剧烈，标准差明显更大，说明除音素外还有情绪韵律在驱动脸部运动。若只学音素到口型的映射，上脸眉眼与情绪起伏就会被抹平，出现口型对了但表情僵硬或情绪错位的问题。

下面这张对比图把这种复杂度差异画了出来，左为水平口张开，右为垂直口张开，横轴是帧，纵轴是口张开像素值，蓝色为中性，橙色为情绪，阅读时先看整体波动再核对标注的方差。

看图路径： 1. 先对比左右两幅子图横纵坐标与图例，确认蓝色为中性、橙色为情绪；2. 再沿帧轴观察橙色曲线的起伏幅度与蓝色平坦段的差异；3. 最后读右下角标注的标准差数值，验证情绪方差更大的结论

论文图 2。原论文 Figure 2：“Neutral vs emotional articulation complexity.”。

从像素可见，橙色情绪曲线上下跳动剧烈，甚至出现深谷与高峰，而蓝色中性曲线相对平坦。右下角标注的数值显示情绪标准差显著高于中性，这支持了论文的动机：需要把情绪相关运动单独建模，而不是指望单一音频映射同时管好口型与情绪。教学例子是同样一句话用平静与愤怒两种语气说，口型序列相似但眉眼与张合力度不同，这正是后续基础与残差分流的依据。

EmoTaG 让一个新身份走完哪条流水线？

先沿一个样本走完全程。假设拿到一段 5 秒的新身份视频与一段新语音，系统先用 FLAME 跟踪器得到形状、非下颌头姿与相机参数，并用均匀采样初始化绑定在 FLAME 网格上的 3 维高斯。预训练好的门控残差运动网络接收新语音编码、上脸表情线索与身份特征，预测 FLAME 表情与下颌参数，再经绑定映射驱动高斯变形并渲染成像。适配阶段只调身份调制参数，推理阶段用新语音驱动并辅以姿态表情帧补足音频缺失的上脸与头姿信息。

下图是全文总览，左侧为多身份语料上的预训练，中间为专家运动解码器的 3 个分支，右侧为 5 秒适配与推理，阅读时先沿主箭头看数据流向，再看情绪蒸馏从何处注入。

看图路径： 1. 先沿左侧多身份语料到渲染图像的主路径确认预训练闭环；2. 再看身份条件编码器中身份特征如何经调制汇入音频与表情特征；3. 最后对比右侧适配与推理两列输入差异与冻结与微调标注

论文图 3。原论文 Figure 3：“Overview of EmoTaG. For pretraining, our Gated Residual Motion Network learns a universal motion prior from a multi-identity corpus.”。

图中可见左侧身份条件编码器把表情、身份、音频 3 路特征汇合，右侧专家解码器分出基础、残差、门控 3 路，DeepFace 教师从上方向下给出两条蒸馏监督。右侧适配列显示只调调制部分，推理列显示新语音加姿态表情帧共同驱动个性化运动网络。这种安排把几何稳定性交给 FLAME 与高斯绑定，把表现力交给门控残差，把个性化成本压到只调少量参数。

编码器与三分支解码器各自管什么？

身份条件编码器融合 3 路表示。音频特征先经预训练 Wav2Vec 2.0 提帧级语音嵌入，再经 1 维时序卷积与多层变换器编码器增强长时韵律。表情特征来自 OpenFace 计算的动作单元参数再经多层感知机压缩，补充眉抬与眼挤等上脸信息。身份特征是取 DeepFace 打分靠前的 50 帧中性帧平均其 AdaFace 特征得到，再经多层感知机预测缩放与偏置去调制音频与表情特征，这就是基于自适应实例归一化的个性化注入。

FLAME 参数空间 × 3 维高斯泼溅： FLAME 参数空间负责给出低维可解释的脸网格运动，固定身份形状只回归表情与下颌参数以约束几何；3 维高斯泼溅负责把网格变形后的外观实时渲染出来，每个高斯绑定到三角面片随面片刚性变换。两者搭配的理由是直接变形高斯点云在夸张表情下容易失稳，而先预测结构参数再驱动高斯能在情绪变化时保持表面一致，组合后新增的作用是稳定且可精修的口内细节运动。

专家运动解码器有 3 个协作分支。基础分支学身份无关的中性语音关节，输出全局脸部与口内基线变形。残差分支由情绪编码器解码器组成，把融合特征映成情绪隐变量再解成运动残差，侧重情绪偏离。门控分支逐帧预测 0 到 1 之间的标量，按加权和融合基线与残差，情绪强时多加残差，情绪弱时保持中性，从而防止过度夸张并保持结构稳定。口内高斯另加网络预测的位置旋转缩放偏移以刻画牙齿舌头细节，而不透明度与球谐颜色保持静态。

基础分支 × 残差分支： 基础分支分工是学习跨身份共享的中性音素到口部运动映射，输出全局表情与口内基线变形；残差分支分工是建模情绪与身份相关的偏离量，输入融合后音频与上脸表情特征并输出附加变形。搭配理由是情绪语音的关节运动波动更大，若混在一起学习会互相干扰，组合意义是通过门控按帧融合两者，得到既对齐音素又保留情绪起伏的运动。

语义情绪引导是教师学生蒸馏。教师 DeepFace 对每帧给出 7 类基本情绪的归一化分布与标量情绪强度，强度定义为 1 减去中性概率。残差分支用分布对齐学情绪类型，门控分支用标量回归学情绪强度。下图把两条监督画得很清楚，左侧是学生门控与残差，右侧是教师分布与强度，阅读时注意箭头指向。

看图路径： 1. 先区分左侧学生模型与右侧教师模型的输入输出边界；2. 再看教师给出的情绪分布直方图与情绪强度数值如何引出两条监督箭头；3. 最后确认门控与残差各自接受哪一条损失约束

论文图 4。原论文 Figure 4：“Overview of Semantic Emotion Guidance. DeepFace provides both a categorical emotion distribution and a scalar emo- tion score to guide GRMN’s residual and gate branches.”。

从像素可见教师侧有两个示例帧，一个接近中性给出 0.12 的低强度，一个情绪明显给出 0.92 的高强度，下方条形图为类别分布。学生侧门控输出受强度损失约束，残差隐变量受分布对齐约束。这种设计让模型无需人工标注就能感知情绪类型与强度，是全文情绪感知能力的监督来源。

动作单元线索 × 韵律感知音频特征： 韵律感知音频特征分工是经 Wav2Vec 2.0 与时序卷积和变换器编码捕捉音素内容与长时韵律节奏；动作单元线索分工是用 OpenFace 提取的上脸动作单元编码补充音频中缺失的眉眼与头部姿态信息。搭配原因是音频几乎不携带上脸表情与头姿，组合意义是让残差分支同时看到听说两路情绪信号，从而增强对情绪相关上脸运动的响应。

门控分支 × 语义情绪引导： 门控分支分工是逐帧预测标量权重，调节情绪残差的加入强度以防过度夸张；语义情绪引导分工是提供无需人工标注的情绪监督，用 DeepFace 教师的情绪分布与情绪强度分别约束残差隐变量与门控预测。搭配原因是门控需要知道当前帧有多情绪化才能开合，组合意义是让门控值与情绪强度对齐，使强情绪多补偿、弱情绪保持中性稳定。

预训练学什么，适配时冻结什么、更新什么？

训练分 2 个阶段。预训练在 HDTF 数据集 70 个身份、每人 90 到 240 秒视频上学习身份无关的音频到运动先验。适配时冻结预训练好的门控残差运动网络主体，只微调自适应实例归一化调制参数，从而用 5 秒视频捕捉身份特定动态。推理时用已适配的个性化运动网络，以新语音为驱动信号，以姿态表情帧提供互补条件。

预训练与适配范式 × 自适应实例归一化调制： 预训练与适配范式分工是先在多身份语料上学通用音频到运动先验，再用 5 秒新身份视频做个性化；自适应实例归一化调制分工是把身份特征转成缩放与偏置参数去调制音频与表情特征。搭配理由是全参数微调在极少数据下易过拟合且跨身份纠缠，组合意义是适配时只调调制参数即可注入个人运动风格，实现高效且稳定的少样本个性化。

优化目标组合了渲染、情绪与几何监督。渲染损失含像素 L1 与结构相似性项以保颜色与感知结构。情绪蒸馏含残差分支的分布对齐与门控分支的强度回归。几何损失只在适配阶段使用，把渲染图的深度与法线图与 Sapiens 伪真值对比，以在有限视觉监督下缓解过拟合并保持跨帧几何一致。原文还给出课程安排：每个身份前 1000 步只优化静态外观，之后联合优化高斯参数与运动网络。

预训练与适配分别进行 250K 与 20K 步，优化器为 AdamW，学习率分别为 5×10−3 与 5×10−4，损失权重中结构相似性权重为 2×10−1，深度权重为 1×10−2，法线权重为 1×10−3，高斯场初始化为从 FLAME 网格均匀采样 60K 个高斯。音频编码每序列约 25 毫秒，每帧运动推理约 6 毫秒，渲染约 7 毫秒。资源状态方面，本次未发现来源绑定且完成验证的开源资源，因此不得声称代码模型或数据已公开，复现需按论文描述自行实现跟踪、编码与渲染链路。

在什么数据、基线与指标下比较才算公平？

数据分训练与评测。训练用 HDTF 的 70 段视频学通用先验。评测自建两套：中性集含 10 个身份的公开视频，情绪集来自 MEAD 覆盖高兴、悲伤、惊讶、愤怒、恐惧 5 类情绪，每类 2 个身份、3 档强度。所有视频裁剪对齐人脸并缩放到 512×512、25 帧每秒。比较设置分 3 种：自重建是在同一情绪同一身份的另一片段上测渲染质量、运动精度与唇同步。

情绪强度是适配在中等强度上再测弱与强两档以看强度敏感性；分布外音频驱动是身份固定、音频换成不同说话人或不同语言，各采 3 段音频，以测泛化。姿态表情线索在自重建与强度测试中取自测试片段，在分布外测试中取自适配片段。

基线覆盖不同训练代价以保证可比。从零训练有 ER-NeRF 与 TalkingGaussian，需逐身份重训。单样本有 Real3DPortrait。少样本有 GeneFace++、MimicTalk 与 InsTaG，均用官方实现复现，并统一用 Wav2Vec 2.0 做音频特征。指标方向要记牢：峰值信噪比与结构相似性越高越好，感知距离越低越好，地标距离与上下脸动作单元误差越低越好，同步置信度越高越好、同步误差越低越好，训练时间越短越好、推理帧率越高越好。实验在一张英伟达 RTX A6000 上进行。

自重建与跨域泛化测出了什么？

比较问题是：在同样只给 5 秒训练视频时，谁的渲染保真、运动精度与同步更好，代价是训练与推理开销多大。公平条件是统一音频编码器与 5 秒适配时长，指标方向如上节所述。下表整理自重建的中性与情绪两套结果，保留可运行的代表基线与本方法，数值保留原文写法与精度。

评测集合	方法	峰值信噪比	地标距离	同步置信度	训练耗时	推理帧率
中性集	Real3DPortrait	25.41	3.415	6.719	未报告	8.9
中性集	InsTaG	28.92	3.145	5.329	13 min	82.5
中性集	EmoTaG	30.02	2.221	6.212	11 min	76.4
情绪集	Real3DPortrait	25.16	3.642	6.583	未报告	8.9
情绪集	InsTaG	27.82	3.428	4.828	13 min	82.5
情绪集	EmoTaG	29.95	2.456	6.147	11 min	76.4

表中可见 EmoTaG 在两套集合上峰值信噪比最高、地标距离最低，原文报告其结构相似性最高、感知距离最低、上下脸动作单元误差最低，显示外观保真与几何稳定性占优。同步置信度上它接近大规模预训练的 Real3DPortrait 与 MimicTalk，但在其余指标上明显更好，说明没有为同步牺牲表情与几何。代价是推理帧率略低于 InsTaG，但仍达实时，且适配约 11 分钟短于多数基线。未胜出项是同步置信度并非第一，这与大模型预训练的同步优势有关，不宜只看单一指标下结论。

下面这组定性对比把失真位置标了出来，每行一种方法，每列 1 帧，右下小框放大口部，红色虚线框标出基线失真区，阅读时先看行标签再对比同列唇形。

看图路径： 1. 先按行确认真值与四种基线及本方法的排列顺序；2. 再看每格右下角口部放大框对比唇形开合与牙齿舌头细节；3. 最后注意红色虚线框标出的上脸与眼部失真位置在各方法间的差异

论文图 5。原论文 Figure 5：“Qualitative comparison on self-reconstruction.”。

从像素可见基线在眼部与口部出现过平滑或错位，而本方法行没有红色框，唇形放大框与真值更接近，上脸自然度更好。原文还报告情绪强度测试中本方法在弱与强两档均保持最低地标与动作单元误差，且在高强度下相对 InsTaG 优势更大，分布外跨人与跨语测试中同步误差最低、同步置信度最高，显示对未见说话人与语言的泛化更好。但总体趋势不等于每帧都成立，强情绪下的单帧仍需看补充视频核对时序稳定性。

拿掉情绪监督与各分支会发生什么？

反证问题是：情绪引导与门控残差的每一部分是否必要，去掉后损失的是同步还是表现力。公平条件是在情绪测试集上做 5 秒自重建，只动被消融模块。原文用定量消融与定性对比共同回答，定量显示去掉任一模块都会在质量与同步上下降，定性显示去掉语义情绪引导后上脸表现力与音画情绪一致性变弱。

用户研究从感知侧提供了另一组证据。20 名参与者对自重建情绪结果的匿名视频按 1 到 5 分评价表情丰富度、唇同步与视觉真实感，分数越高越好。下表保留 4 个可运行方法的评分，数值保留原文 2 位小数。

评价维度	Real3DPortrait	MimicTalk	InsTaG	EmoTaG
表情丰富度	2.20	3.50	3.80	4.50
唇同步	3.50	4.10	3.90	4.70
视觉真实感	3.20	3.70	4.20	4.60

表后解释需要同时看到收益与边界。EmoTaG 三项均为最高，尤其表情丰富度领先，支持情绪感知运动学习带来了更连贯的面部运动。但自动指标不能当成人评，人评样本仅 20 人且只覆盖自重建情绪场景，未评测跨语与长时对话，因此不能推广到所有部署场景。原文的模块消融进一步指出：去掉强度回归主要伤同步稳定性，去掉分布对齐更伤情绪变形模式，去掉门控引入时序不稳，去掉残差导致过平滑，去掉身份调制下降最大，说明个性化调制是稳定预训练的关键。但这些是论文直接报告的相对排序，未给出每项的统计显著性，复现时应补多次随机种子的方差。

哪些边界原文没有测，不能承诺？

首先是信息条件边界。推理依赖姿态与上脸表情辅助帧，因为音频本身几乎不带上脸与头姿信息。若部署时拿不到合适的辅助帧，论文未报告纯音频驱动的性能，不能承诺同样表现。其次是数据边界。情绪集只覆盖 5 类基本情绪与有限身份，真实对话中的混合情绪、微表情与长时间韵律未评测，相关性不等于因果，不能把类别内提升推广到开放情绪。

其次是成本与风险边界。训练资源、推理开销、输出帧率与实际延迟要分开讨论，76.4 帧每秒是论文条件下的渲染与推理吞吐，不是端到端系统延迟，也未测量误判率与失败恢复成本。几何损失依赖 Sapiens 伪真值深度与法线，其本身误差会传导到适配，不能视为物理真值监督。最后是开源状态，本次未能确认可达的公开链接，因此不能写当前可用或已公开，复现需自行搭建 FLAME 跟踪、Wav2Vec 编码、OpenFace 动作单元与高斯渲染全链路，并注意人脸数据的授权与隐私合规。

要复现应先搭什么，再调什么？

复现先做数据与跟踪。按原文把视频中心裁剪到 512×512、25 帧每秒，用 VHAP 做 FLAME 跟踪得到形状、非下颌姿态与相机参数，从 FLAME 网格均匀采样 60K 高斯并按重心坐标绑定，对口内区按唇关键点提升与区域生长选出口内高斯子集。再搭编码器：Wav2Vec 2.0 加时序卷积与 4 层变换器做音频支路，OpenFace 动作单元加多层感知机做表情支路，取 50 帧中性帧平均 AdaFace 特征做身份支路并经多层感知机生成调制参数。

再搭解码与损失。实现基础、残差、门控 3 分支与 0 到 1 门控融合，残差内含情绪编码器解码器。用 DeepFace 教师每帧输出 7 类分布与 1 减中性概率的强度，分别约束残差隐变量与门控预测。先按课程训练静态外观 1000 步，再联合优化，预训练 250K 步、适配 20K 步，AdamW 学习率分别取 5×10−3 与 5×10−4，权重按原文设置。适配时冻结主体只调调制参数。还需补的验证是多次种子下的指标方差、纯音频无辅助帧的退化幅度，以及跨语长语音的时序稳定性，这些是判断可部署收益的关键。

何时值得尝试这种分离式设计？

当任务同时要求少样本快速适配、3 维几何稳定与情绪表现力时，这种先结构后外观、再把中性与情绪分流建模的思路值得尝试。它的可迁移点是把难学的情绪起伏交给残差与门控，把易纠缠的身份差异交给轻量调制，从而在 5 秒数据下保持稳定。若应用只有中性播报且已有充足逐人数据，分离式情绪建模的收益可能有限，不必引入教师蒸馏与上脸线索的复杂度。

收束时回到可核对的事实：在论文给出的中性与情绪自重建、强度泛化、跨人与跨语条件下，EmoTaG 在图像质量与运动误差上占优，人评三项最高，适配约 11 分钟、推理实时，但同步单项并非全部第一且依赖辅助帧与伪几何监督。后续若要用于真实产品，还需补开放情绪、长时稳定性与端到端延迟的测量，才能把论文报告的趋势转为可部署的保证。