把口型习惯和情绪拆开控制：PC-Talk 用隐式关键点变形做可控说话人脸

英文题目：PC-Talk: Precise Facial Animation Control for Audio-Driven Talking Face Generation

会议身份：conference:cvpr:2026:conference-paper-id:Wang_PC-Talk_Precise_Facial_Animation_Control_for_Audio-Driven_Talking_Face_Generation_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#自回归模型 #音视频 #语音 #音视频生成

评分：6.3/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0.2/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Baiqin Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Xiangyu Zhu：机构信息未能从会议 PDF 纯文本可靠映射
• Fan Shen：机构信息未能从会议 PDF 纯文本可靠映射
• Hao Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Zhen Lei：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音频驱动说话人脸需由语音生成口型同步且身份一致的视频，难点在于说话风格单一、唇动幅度不可调与情感标签粗糙难以表达强度和复合表情。该方法以隐式关键点增量为中间表示，先由唇音对齐控制模块结合音频与风格码预测唇同步形变，再由情感控制模块以同音频下情感与中性组合预测相减分离纯情感形变，然后将两路形变相加驱动warping与解码器成像。唇音分支将参考视频表情形变或独热预设码映射到统一风格空间，以风格条件自回归Transformer预测表情，并支持唇动幅度缩放与特定音素投影编辑。情感分支按面部区域独立生成情感表达后融合，实现强度调节与跨区域复合表情。与仅预测下半脸或标签级情感的方法不同，该框架把风格、幅度、强度与区域复合统一为关键点形变的可加可缩放操作。在HDTF图像输入评测设置下，PC-Talk的LSE-C指标为9.37，高于Sonic的LSE-C指标为8.64。该结论适用边界受限于HDTF与MEAD受控评测与短clip推理，跨语言、大姿态与强噪声音频下的外推尚未验证，原文披露训练成本为单块RTX4090硬件上LAC两天与EMC一天且推理吞吐达每秒30帧。

🔗 开源与复现资源

• 演示资源：https://bq-wang0511.github.io/PC-Talk/ — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/mseitzer/pytorch-fid — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文研究的输入是语音音频加上单张参考图或一段参考视频，目标是生成一张脸在说话的视频，要求嘴型与音频同步，同时允许用户控制说话习惯与情绪。输出是连续视频帧，分辨率按论文交代为 512×512，帧率与训练视频处理都与 25 fps 相关。必须保留的信息包括身份外观、头部姿态、音频对应的发音时序，以及用户指定的风格或情绪条件。身份外观来自参考图，姿态在视频输入时来自视频本身，图像输入时则需要模型保持姿态稳定。

音频提供发音内容与响度线索，风格条件提供张口大小与口宽习惯，情绪条件提供表情类别与强度。 如果只做唇同步，模型容易生成平均化的嘴型，所有人说同一句话都长得一样。论文把可控性拆成两类，一类是唇音频对齐控制，解决不同人咬字习惯不同带来的口型差异，另一类是情绪控制，解决真实表情往往是混合情绪且强度可变的问题。前者举例说 duck 的张口、bee 的口宽、too 的撅嘴在不同风格下明显不同，后者举例说微笑的嘴配悲伤的眉是分区复合情绪。

这种拆分决定了后文方法必须有两条可独立调节的变形路径，而不是用一个黑盒直接从音频到像素。 下图是全文控制目标的总览，左侧列出输入类型，中间展示风格与情绪的输出效果，右侧展示幅度与编辑能力，初学者可以先建立输入到输出的映射再进入模块细节。

看图路径： 1. 先看左上音频加说话风格输入如何指向中间三种预设与模仿分支；2. 再看右上音量与 duck、too、bee 三种口型编辑的对应关系；3. 最后看下半部分情绪类别、强度滑杆与分区复合表情三块的输出差异

论文图 1。原论文 Figure 1：“PC-Talk separates talking face control into two categories: Lip-Audio Alignment Control (LAC) for adapting and editing diverse speaking styles to simulate different talking…”。

从像素上看，该图上半部分围绕说话风格组织，同一参考图在预设风格 1、预设风格 2 与模仿参考视频习惯下产生不同的嘴型，右上进一步用音量图标与 3 组口型说明幅度缩放与特定发音编辑。下半部分围绕情绪组织，同一身份在高兴、悲伤、生气、惊讶下呈现不同表情，中间用纵向滑杆表示强度连续变化，右下用两段英文文本与配图表示分区复合情绪。读图时不要把表情符号当成模型内部标签，它只是示意情绪类别，真正的控制来源在方法部分另有说明。

同输入同目标的已有路线差在哪里？

在同为音频驱动、单图或视频输入、输出同步说话视频的路线上，论文对比了 3 类工作。第一类是直接生成唇同步帧的单阶段方法，例如用唇同步判别器提升对齐的 Wav2Lip，以及用扩散模型做全图生成的 EchoMimic、Hallo-v2、Sonic 等。原文指出这类方法视觉流畅但计算开销大，且对面部动态缺乏细粒度控制。第二类是先预测中间表示再渲染的多阶段方法，例如用隐式关键点做情绪说话人脸的 EAT、用扩散变换器生成唇同步运动的 VASA，以及同样用隐式关键点的 Ditto。

原文认为它们没有充分挖掘运动空间的可控性，或需要额外精修，或唇同步不稳定。第 3 类是可控说话人脸，已有说话风格控制多从参考源提取风格码，但只支持单一风格来源，缺少对特定唇形的幅度与形状调节；情绪控制多用标签或参考图，但难以调节强度与复合状态。 这种对照的教学意义在于区分输入输出相同但监督与运行阶段不同的设计。单阶段方法把控制压力放在像素生成器上，多阶段方法把控制压力放在中间运动表示上。

PC-Talk 选择后者，并明确中间表示是隐式关键点，控制手段是对关键点变形的加减与缩放。理解这一点后，才能明白为什么后文要冻结渲染器、只训练两个控制模块，以及为什么情绪需要用相减来解耦。 需要提醒的边界是，论文没有把类别差异当成同条件胜负的唯一依据，而是在实验中分别比较视频输入方法、单图输入方法与情绪说话人脸方法。

不同类别的输入信息量不同，例如视频输入自带姿态来源，单图输入没有，因此跨类别比较时要结合输入条件理解，不能只看分数高低。

要解决的具体问题与学习依赖是什么？

具体问题有两个。第一个是说话风格下的唇同步问题：同一音素在不同说话习惯下唇形不同，模型既要对齐音频，又要能从参考视频提取风格或从预设选项中选择风格，还要支持整体唇动幅度缩放与针对特定发音的精细编辑。第二个是情绪表达问题：在保持唇同步的同时生成鲜明情绪，支持强度连续变化，并支持不同面部区域表达不同情绪的复合表情。两个问题的共同约束是不能破坏身份与时序一致性。

学习依赖按顺序是：先理解隐式关键点如何从参考图提取，再理解唇同步变形与情绪变形如何相加得到驱动关键点，再理解风格嵌入与情绪嵌入如何条件化预测器，最后理解训练时用了哪些损失与冻结策略。如果跳过中间表示直接看损失，会误以为同步损失直接优化像素，实际上同步损失、关键点损失、正则损失、速度损失与风格判别损失共同约束的是变形预测，再经由固定的扭曲与解码器变成图像。

举例来说，假设输入是一张中性脸与一句包含 bee 的音频，理想输出不是唯一的。风格 A 可能嘴张得更大更宽，风格 B 可能更收敛；情绪为高兴时嘴角上扬但发 bee 时的口宽仍需与音频对应。论文的方法就是让风格分支决定 bee 对应的口宽基线，让情绪分支决定嘴角上扬的附加位移，两者相加后再渲染。这个例子是教学虚构，不代表论文报告过该句的具体数值，只是帮助区分两条分支的分工。

PC-Talk 如何走完从参考图到说话视频的一次前向？

沿一个样本走完全流程有助于定位每个公式与模块。输入为参考图与音频，另加情绪输入与风格输入。第一步用运动提取器从参考图得到原始隐式关键点，提取器内部包含姿态估计、表情变形估计与典型关键点检测，分别给出旋转、平移、缩放、表情变形与典型点，再合成为原始关键点。第二步由唇音频对齐控制模块估计唇同步变形，由情绪控制模块估计情绪变形。

第三步将两者与原始关键点相加得到驱动关键点，再用扭曲模块估计原始与驱动关键点之间的流场，对身份编码器提取的外观特征做扭曲，最后经解码器生成结果帧。视频输入时对每 1 帧重复该过程，姿态来源取自视频本身。

隐式关键点 × 表情变形： 隐式关键点是中间表示，负责把人脸位置、姿态和表情变化编码为可驱动渲染的关键点坐标；表情变形是叠加在原始关键点上的位移量，负责表达唇动或情绪变化。二者搭配的理由是直接生成像素难以精细控制，而先预测位移再渲染可以把控制问题转化为对位移来源的控制，组合意义是唇同步变形与情绪变形可以分别预测再相加得到驱动关键点。

下图是框架总览，顶部为主链路，左下为唇音频对齐控制细节，右下为情绪控制细节，初学者应先看主链路再看分支。

看图路径： 1. 沿顶部从参考图与音频到原始关键点、两种变形相加再到渲染的完整主链路；2. 对比左下风格编码器与音频视觉编码器汇入风格感知预测器的位置；3. 观察右下情绪分支中两个共享的组合预测器如何相减得到纯情绪变形

论文图 2。原论文 Figure 2：“Our framework PC-Talk is designed for precise control in talking face generation.”。

从像素上看，顶部从左到右依次是情绪输入、参考图与音频进入运动提取器，中间出现原始关键点人脸示意，两种条形变形汇入加法符号得到驱动关键点，再经扭曲与解码输出胶片式视频。左下显示参考视频或独热风格码经风格编码器得到风格嵌入，音频经音频视觉编码器进入包含自注意力、交叉注意力与精修多层感知机的风格感知预测器，再经编辑模块得到唇同步变形。

右下显示情绪标签、音频、文本提示与视频参考作为可选情绪来源，两个共享的组合预测器分别处理情绪条件与中性条件，相减得到纯情绪变形。图右下角图例区分可训练参数与固定参数，以及加法与减法符号，读图时应以该图例为准。

唇音频对齐控制 × 情绪控制： 唇音频对齐控制负责保证不同说话风格下口型仍与音频同步，并支持唇动幅度缩放与特定发音编辑；情绪控制负责在保持口型同步的同时生成有强度和分区差异的表情。搭配理由是前者解决怎么说的问题，后者解决什么表情说的问题，二者都输出关键点位移，组合意义是两者相加即可同时得到可控口型与可控情绪的驱动关键点。

需要强调的参数状态是，在训练唇音频对齐控制与情绪控制模块时，其他组件参数保持固定，隐式关键点作为人脸表示。这意味着渲染质量主要由预训练好的提取、扭曲与解码部分保证，两个控制模块只学习如何预测合理的位移。这种冻结设计降低了训练成本，也让控制效果更容易归因到变形预测，而不是渲染器的变化。

风格分支如何实现多来源输入与精细编辑？

风格分支的核心是把不同形式的风格输入映射到同一风格空间。数据集中的每种说话风格先用独热码表示，作为预设选项；参考视频则提取其表情变形，再用变换器编码器编码到同一风格空间，独热码则经多层感知机投影到该空间。训练时随机交替使用预设码与参考视频风格，这种混合训练使推理时两种输入都能被模型接受。风格嵌入与位置嵌入一起加入模型输入，使自回归变换器按风格条件生成。

说话风格 × 风格嵌入： 说话风格指同一个人或不同人在发同一音素时张口大小、口宽和撅嘴程度等习惯差异；风格嵌入是把这种习惯压缩成的向量，负责条件化表情预测器。搭配理由是参考视频和预设编号是两种不同输入形式，必须映射到同一向量空间才能共用同一个生成器，组合意义是推理时既可以模仿参考视频习惯，也可以从预设选项中选择。

音频侧不用预训练语音识别模型，而是将在 2 维音视同步任务上预训练的音频编码器作为音频嵌入来源，目的是让音频特征与唇动更好地对齐。模型先用自注意力融合风格与运动特征，再用交叉注意力与音频特征交互，最后用精修多层感知机直接在隐式关键点上调整输出，以缓解隐式表示中的残余纠缠。自回归性质有助于时序一致，推理时再用重叠窗口进一步保证连续性。 幅度与编辑是该分支的精细控制手段。

唇动幅度缩放是将唇同步变形乘以基于音频幅度的缩放因子，用来模拟音量变化对嘴动大小的影响。特定发音编辑是先得到特定唇动作的隐式关键点变形向量，例如撅嘴与张宽，再将生成的变形投影到目标动作向量上并施加缩放因子，从而动态调整唇形。原文用 duck、too、bee 示意不同动作类型，教学上可以理解为把整体位移分解到几个可解释方向上再分别加权。

自回归变换器 × 音频视觉编码器： 音频视觉编码器负责把音频映射为与唇动对齐的声学特征，论文明确不用预训练语音识别模型而是在 2 维音视同步任务上预训练；自回归变换器负责融合风格、历史运动与当前音频来预测表情。搭配理由是声学特征必须先与视觉唇动对齐，否则时序条件会错位，组合意义是自注意力融合风格与运动、交叉注意力引入音频，从而实现风格条件下的时序一致生成。

原文还提到风格判别损失用于增强风格适应能力，速度损失用于时序一致，正则损失用于约束过大变形，关键点损失用 L1 约束隐式关键点，同步损失改编自 Wav2Lip 以提升对齐。这些损失的具体权重与完整形式在正文未完全展开，细节指向补充材料，因此复现时不能自行假设权重数值，只能按已报告的损失种类搭建，再通过补充材料或开源实现核对。

情绪分支如何分离纯情绪并支持多来源与分区组合？

情绪分支的难点是情绪视频中唇部同时包含发音位移与情绪位移，直接预测会纠缠。论文采用相减分解：用同一音频分别预测情绪条件与中性条件下的组合变形，再用前者减去后者得到纯情绪变形。因为 2 次预测的音频相同，唇同步部分被认为一致，相减后剩下的主要是情绪部分。再将纯情绪变形与唇同步变形相加，即可得到既同步又有情绪的驱动关键点。组合预测器沿用唇音频对齐模块中表情预测器的同类结构，从而把幅度与风格控制能力扩展到情绪表达。

组合表情预测器 × 纯情绪变形： 组合表情预测器负责在给定音频和情绪条件下同时预测唇动加情绪的混合位移；纯情绪变形负责只保留情绪带来的位移，剔除唇动部分。搭配理由是情绪视频中的嘴部同时受发音和情绪影响，直接预测无法解耦，组合意义是用同一音频分别预测情绪条件与中性条件的混合位移再相减，从而分离出可与唇同步变形叠加的纯情绪分量。

多来源控制分为直接控制与间接推断。对于图像等直接来源，用目标图像提取的表情替换原始表情，实现情绪迁移；对于音频或文本等复杂来源，用预训练情绪分类网络从中导出情绪嵌入。原文还提到支持显式类别标签、音频语调与文本语义，完整实现细节在补充材料中，正文没有给出分类网络结构与训练数据，因此不能从名称推定其实现。 分区复合情绪利用隐式关键点与面部区域的语义对应。

方法为每个面部区域独立生成情绪表情，再无缝合成为能表达复杂情绪的说话人脸，例如嘴微笑而眼睛悲伤。强度控制则通过缩放纯情绪变形实现，论文用插值实验展示从高兴到悲伤的渐变，以及风格嵌入之间的唇形连续变化，说明控制量是连续可调的，而不只是类别切换。 该分支训练时只用关键点损失、正则损失与速度损失，不用同步损失与风格损失。

教学上可以这样记忆：情绪分支不直接优化同步，而是依赖相减时保留的同步一致性与唇分支提供的同步变形来保证口型，因此它的损失更关注表情准确、变形稳定与时序平滑。

训练时更新谁、冻结谁，用什么监督？

训练分为两个模块分别进行。唇音频对齐控制模块使用同步损失、关键点损失、正则损失、速度损失与风格损失，情绪控制模块只用关键点损失、正则损失与速度损失。在两个模块训练期间，其他组件参数保持固定。优化器为 Adam，学习率为 1e-4，唇音频对齐模块训练 2 天，情绪模块训练 1 天，硬件为 RTX 4090。数据处理为视频转 25 fps、音频采样 16 kHz。

输出分辨率为 512×512，框架运行速度为每秒 30 帧，支持实时生成。推理时对自回归模型采用重叠窗口保证时序一致，并可调节缩放因子等超参数。 下表把可直接复现的训练与运行条件集中呈现，便于核对数据处理、优化与部署 3 类信息是否齐备。表前的问题是：复现时哪些条件是论文明确给出的，哪些还需要补充材料？公平性上只比较原文明确报告的条件，不把未报告的权重与网络细节当成已知。

指标方向上分辨率越高细节越丰富，帧率越高实时性越好，但二者都会增加计算负担。

表后需要说明主要收益与代价。

收益是训练分工清晰，渲染器固定使两个控制模块可以独立调试，数据处理与优化条件明确，输出规格与运行帧率直接可核对。代价是损失权重与网络层数等关键超参数未在正文给出，风格判别损失与同步损失的具体形式只给出思想与来源，情绪多来源中分类网络的细节缺失。未胜出项是训练成本虽然只有数天单卡，但仍依赖预训练好的运动提取与渲染部分，若该部分不可用则无法独立复现。

此外，每秒 30 帧是生成速度报告，不是端到端延迟测量，不能直接承诺交互延迟同样满足实时要求。 需要明确指出的缺项是梯度路径与重置时机。正文没有说明风格编码器与音频视觉编码器在主训练阶段是否联合更新，也没有说明自回归历史状态在每个 batch 如何重置。未报告时只能指出缺项，不能从模型名称推定为端到端联合训练，也不能把固定渲染器推定为整个系统输出确定。复现时应先按固定渲染器搭建，再通过开源实现核对可训练范围。

在什么数据、基线与指标下比较？

数据集为 HDTF 与 MEAD。HDTF 包含 16 小时高分辨率视频与 300 以上被试，MEAD 包含 40 以上身份与 8 种情绪类型。唇音频对齐模块在 HDTF 与 MEAD 中性片段上训练，情绪模块在 MEAD 情绪内容上训练。训练与测试集无重叠，测试集包含 10 秒音频片段用于跨身份推理。比较基线覆盖视频输入方法、单图输入方法与情绪说话人脸方法，确保不同场景都被评估。

实现上所有比较使用相同配置，不加额外控制来调整最终结果。 指标分 4 类。唇同步用 SyncNet 的 LSE-C 与 LSE-D，前者越高越好，后者越低越好。图像质量用 FID 作为全参考指标与 NIQE 作为无参考评估，前者越低越好，后者越低越好。时序一致用 FVD，越低越好。

情绪表达用 Accemo 做分类准确率与 E-FID 做表情距离，前者越高越好，后者越低越好。由于 HDTF 只有中性脸，Accemo 只在 HDTF 上部分报告，而 MEAD 上同时使用两项情绪指标。原文明确 FID 实现引用了 pytorch-fid，项目页当前可用，状态码为 200，地址为官方演示页，因此结果可追溯到同一实现。 用户研究评估 4 个维度：唇同步、图像质量、时序一致与情绪表达，另加总体真实感。每个方法用 10 个超过 5 秒的视频片段，问卷遵循平均意见分协议，参与者超过 20 人，评分为 1 到 5 分，越高越好。

该设计把自动指标与人评分离，不能把自动指标的高低直接当成人评结论，论文也分别报告了两类结果，这是值得学习的地方。

主结果测了什么，谁在什么条件下更好？

主结果围绕两个问题组织。第一个问题是唇同步与图像质量是否在保持可控的同时达到先进水平。与之比较的是视频输入与单图输入两类基线，条件一致性要求同数据集、同输入模态、同分辨率下比较，指标方向为 LSE-C 越高越好。论文报告在 HDTF 上视频输入与图像输入分别达到高分，并指出超过了专为唇同步设计的基线。图像质量方面，论文将高排名归因于训练良好的隐式关键点渲染器，时序一致归因于自回归模型与推理重叠窗口。

第二个问题是情绪说话人脸是否在同步、质量与情绪准确率上同时占优。与之比较的是 EAMM、EAT、ED-Talk 等情绪方法，指标方向为 Accemo 越高越好，E-FID 越低越好。 下图是定性对比，左侧为唇同步多帧，右侧为情绪单帧，初学者应先看真实唇形再看各方法偏差。

看图路径： 1. 对照左侧每行顶部的真实唇形小图与下方各方法的嘴部差异；2. 注意彩色框标出的口型错位与牙齿模糊位置；3. 比较右侧悲伤、惊讶、生气、高兴四组中情绪表达的眼睛与嘴部变化

论文图 3。原论文 Figure 3：“Comparison with other baselines. We highlight flaws of other methods using colorful bounding boxes, including blurry teeth, inaccurate lip shapes, and incorrect emotional…”。

从像素上看，左侧每组顶部有一排真实唇形小图作为参照，下方各方法在对应帧出现黄色或绿色框标出的偏差，包括嘴型错位与牙齿模糊，而 PC-Talk 行在视频输入与图像输入两组中更接近参照。右侧 4 组分别对应悲伤、惊讶、生气、高兴，每组三列为 EAT、ED-Talk 与 PC-Talk，最右列给出参考图与表情符号，蓝色框标出基线在眼睛与嘴部的情绪错误，例如愤怒中混入悲伤或眼睛形态不符。读图时应注意这只是单样本可视化，不能把 1 帧的优劣推广为全数据集结论，定量结论需结合下表。

下表聚焦论文用完整原句报告的关键唇同步数字，保留可运行的本方法策略与需对照的基线类型。表前的问题是：在 HDTF 上不同输入模态的同步分数如何，同时输出规格是什么？公平条件是同数据集 HDTF、同自动同步指标 LSE-C，指标方向为越高越好。

表后解释主要收益与代价。

收益是两种输入模态都在 HDTF 上报告了高 LSE-C，且输出分辨率明确可复现，支持可控模块没有明显拖累同步的判断。代价是该表只呈现本方法的关键数字，未同时列出每个基线的逐字数字，因此不能从本表计算相对提升百分比；完整多指标对比需回到原文大表。未胜出项在原文大表中存在，例如某些图像质量指标上本方法并非全部第一，教学上应承认这一点，而不是只记最高分。 下表聚焦情绪准确率，问题是：在保持同步的同时情绪分类准确率是否提升？

公平条件是同为情绪说话人脸任务，指标方向为 Accemo 越高越好。

表后解释是，2 个数据集上的情绪准确率同时报告高值，支持情绪分解有效性的判断，且原文还报告 MEAD 上的 E-FID 更低，进一步支持表情距离更小的结论。限制是 HDTF 只有中性脸，情绪评估的分布与 MEAD 不同，跨数据集比较时不能直接对比 46.19 与 72.32 的大小来判断哪个数据集更难，只能分别在各自数据集内与基线比较。

相关性不等于因果，高准确率支持方法有效，但不能证明相减分解是唯一原因，还需结合消融理解。

拿掉关键设计后哪里变差，控制量多大时失效？

消融围绕唇音频对齐与情绪分解两个问题。唇音频对齐方面，论文比较音频视觉编码器、同步损失与关键点损失的作用。报告显示用常规 Whisper 替换自有音频视觉编码器时同步明显下降，引入同步损失带来 LSE-C 的显著提升，再加入关键点损失进一步提升。这支持音频特征与视觉对齐的预训练是有益的，且同步损失与关键点损失分别从对齐与几何两方面约束变形。

情绪分解方面，对比有无分解的可视化显示，无分解时表情不自然，例如嘴过度闭合，而有分解时能更有效捕捉情绪，支持相减分离纯情绪的判断。 控制量的边界通过缩放实验给出。论文报告唇动幅度最优在 0.8 附近，风格编辑在 0.8 到 1.2 之间保持稳定，超出该范围明显退化。不同动作中张口受缩放影响较小，撅嘴与口宽更敏感。

情绪与风格插值显示从高兴到悲伤的渐变以及风格嵌入之间的唇形连续变化，说明控制是连续的，但插值只是定性展示，没有给出每一步的定量分数，因此不能把中间帧的质量推广为全程同样稳定。 下图是唇动幅度与 3 种编辑程度的同步分数曲线，横轴为缩放系数，纵轴为同步分数，初学者应先看整体趋势再看分支差异。

看图路径： 1. 先确认横轴为缩放系数、纵轴为 LSE-C 同步分数；2. 比较蓝色整体唇动幅度曲线与粉色张口度曲线的平坦程度；3. 观察橙色口宽与绿色撅嘴曲线在偏离 1.0 时下降更快的区间

论文图 5。原论文 Figure 5：“Lip-sync performance with different lip movement scales and speaking style editing across each lip articulation.”。

从像素上看，蓝色整体唇动曲线在 0.8 附近达到峰值后缓慢下降，粉色张口度曲线在 1.0 到 1.2 区间最平坦且高于其他曲线，绿色撅嘴与橙色口宽曲线在小于 0.6 时下降更快，在大于 1.2 后也明显走低。4 条曲线在 1.0 附近交汇，说明默认尺度下各编辑方向差异最小。读图时不要把纵轴的上下直接等同于图像质量好坏，它只是同步分数，像素不能精确辨别的中间数值不应硬写具体分值，结论应保留为趋势判断。

下表把原文明确给出的控制边界与运行规格集中呈现，便于复现时设置搜索范围。表前的问题是：调节幅度时哪个区间是论文验证过相对安全的？公平条件是同一同步指标下的尺度扫描，指标方向为 LSE-C 越高越好。

表后解释是，主要收益为给出了可直接复用的搜索区间，复现时可先在 0.8 到 1.2 内调节，再向外探索。代价是过大或过小的缩放会损害同步，且不同动作敏感度不同，不能用同一缩放系数处理所有口型。

未胜出项是该表没有包含每个尺度点的完整数字与方差，因此不能判断差异是否统计显著，还需补充重复实验与统计方法才能下更强结论。

哪些结论还不能下，缺了哪项验证？

首先，论文直接报告的是自动指标与小规模人评的优势，人评为每个方法 10 个片段、超过 20 人、1 到 5 分，样本量有限且未报告统计显著性与误判率，因此只能说报告显示本方法得分最高，不能承诺在更大规模或跨人群评估中必然保持同样差距。其次，训练资源与推理开销需要分别讨论，训练为单卡数天，推理为每秒 30 帧，但未测量端到端延迟、显存峰值与不同分辨率下的成本，因此不能把帧率直接等同于交互延迟改善。

第三，情绪多来源中音频与文本分支依赖预训练情绪分类网络，正文未给出其数据与性能，若该分类器有偏，则情绪控制效果可能受其限制，这属于未验证的传递假设。 其次，总体趋势不等于每组都成立。例如幅度缩放的最优在 0.8 附近，但这是在特定数据集与指标下的平均趋势，不能保证每个身份、每句话、每种口型都以 0.8 为最优。风格插值的平滑变化是定性展示，没有逐点分数，不能推广为全程无退化。

图像质量的高排名依赖固定的渲染器，若更换身份分布或极端姿态，结论可能变化，而论文的跨身份测试虽然用了 10 秒音频，但未展开极端姿态与遮挡的失败条件。 最后，原文表头、图注与算术之间没有发现需要调和的重大冲突，但部分表格的表头在提取时为空，教学上应以正文连续原句中的数字为准，不自行补表头或聚合口径。缺失证据不是技术错误，例如损失权重与分类网络细节缺失只是复现缺项，不应反向指责方法无效。

正确做法是先复现已明确的部分，再通过补充材料与开源实现补齐缺项，并补做方差、延迟与失败案例三项验证。

要复现先做什么，需要哪些信息条件？

复现的第一步是准备数据与环境。按原文将视频转为 25 fps、音频采样为 16 kHz，划分保证训练与测试无重叠，并准备 HDTF 与 MEAD 中性片段用于唇分支、MEAD 情绪内容用于情绪分支。硬件按 RTX 4090 单卡为参考，优化器用 Adam、学习率 1e-4 为起点，但损失权重需查补充材料或开源实现，不可自行假设。第二步是搭建冻结部分，包括运动提取、身份编码、扭曲与解码，先保证能从原始关键点重建出合理人脸，再接入两个可训练分支。

第三步是分别训练唇分支与情绪分支，前者需同步损失、关键点损失、正则、速度与风格损失，后者只需关键点、正则与速度损失，训练周期分别参考 2 天与 1 天。 推理时先沿单样本走通，再扩展到视频。对图像输入保持姿态稳定，对视频输入从视频取姿态来源，并打开重叠窗口保证时序一致。风格控制先试预设码，再试参考视频，幅度先在 0.8 到 1.2 内调节，情绪强度从小到大扫描，复合情绪先做单区域再做多区域组合。每一步都记录 LSE-C、FID、FVD 与 Accemo 的变化，避免只看主观效果。

信息条件上，论文给出项目页当前可用，演示页可访问，FID 实现指向第三方开源库，状态均为可用。但这只代表演示与指标实现可获取，不代表训练代码与权重已公开。区分代码开源、权重下载与系统可运行三者：若只有演示而无权重，则只能验证思想而不能直接部署；若有权重但无训练脚本，则可以运行但难以调参。复现前应先确认这三项分别处于何种状态，再决定是完整复训还是只做推理验证。

何时值得尝试这个方案，还需补哪项验证？

当任务既要求口型准确又要求可解释的控制时，这个方案值得尝试。例如需要为同一句话生成不同说话习惯的版本，或需要调节情绪强度与分区复合表情，且希望控制量连续可调而非只能切换类别，基于关键点位移相加的方案比直接改像素更易调试。反之，如果只需要单一中性风格的同步视频，或计算预算只允许端到端像素模型，则分开训练两个分支的收益可能不明显。 复现与选型时应记住 3 个特有细节。

一是风格统一空间依赖混合训练，推理时才能同时接受参考视频与预设码，只训一种输入会导致另一种失效。二是情绪纯变形依赖同一音频下的情绪与中性 2 次预测，相减的前提是 2 次的唇同步部分一致，若音频不同则不能直接相减。三是精修多层感知机直接作用在隐式关键点上，而不是只改表情变形，这是为了缓解残余纠缠，消融时不应随意去掉。 还需补充的验证包括统计显著性、延迟与显存测量，以及极端姿态、遮挡与跨语言音频下的失败分析。

只有补齐这些，才能把论文报告的优势从特定数据集与特定配置推广为更一般的部署结论。对于刚进入语音与音频领域的研究生，建议把本文当作中间表示控制的范例来读，重点不是记住分数，而是理解如何把一个生成问题拆成可加的位移来源，并为每个来源设计独立的监督与调节手段。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 6 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总