不微调也能说话：用预训练扩散模型拼出口型、身份与时间一致

英文题目：IP-Adapter Is All You Need: Towards Fine-Tuning-Free Diffusion-Based Talking Face Generation

会议身份：conference:cvpr:2026:conference-paper-id:Wu_IP-Adapter_Is_All_You_Need_Towards_Fine-Tuning-Free_Diffusion-Based_Talking_Face_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #少样本 #音视频 #音视频生成

评分：5.9/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.4/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Hao Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Xiangyang Luo：机构信息未能从会议 PDF 纯文本可靠映射
• Hao Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jiawei Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Yi Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Jinwei Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理少样本说话脸视频生成，输入为身份参考帧与唇形参考序列，输出为保持身份且唇动同步的连续人脸视频，难点在于免微调条件下从预训练扩散知识中挖掘唇语义并抑制身份漂移与时域抖动。冻结的图像修复Stable Diffusion与IP-Adapter-FaceID构成去噪骨干，将遮罩帧、身份嵌入与结构嵌入共同注入生成，其隐式唇控能力为后续精化的起点。基于三维人脸形态模型的结构师解耦唇形形状与外观纹理并重组渲染为结构帧，经CLIP图像编码得到结构嵌入后送入控制器。准单调自适应结构控制器依据相邻帧唇距变化趋势外推或回拉嵌入以校正细微开合，精化嵌入再经高斯先验噪声传感器检测光流抖动并做空间自适应平滑后解码为连续帧。与需数十万步视听微调的扩散基线不同，该范式零可训练参数且无需视听训练集，直接复用大规模预训练视觉语义实现可控唇同步。在CREMA评测设置下，LatentSync的CSLD指标为0.762，高于MuseTalk的CSLD指标0.668。该结论适用边界受限于512分辨率短片段与唇形参考驱动，尚未验证音频直接驱动与长时大姿态外推能力。训练成本上该方法零可训练参数且无需专用视听训练与微调硬件，推理开销主要为冻结扩散去噪与光流平滑的计算量。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文从哪里取事实？

本文解读的对象是说话脸生成，也就是给定一个目标身份的外观参考和一段目标口型运动参考，生成一段保持该身份、口型与参考一致的高清视频。初学者容易把这个任务理解成把音频直接丢给模型就出视频，但原文实际研究的链路是视频到视频的驱动：用唇部参考帧序列提供每 1 帧要张成什么样，用身份参考帧提供这个人长什么样，模型负责把两者拼成连续帧。白话说，身份管长相，唇形管动作，时间一致性管看起来不抖。输出是连续说话帧，不是单张图。

本解读默认从原文独立写作，事实只取本次收到的论文正文证据与官方原图像素，不继承其他解读的评价。凡是涉及结构、数字与条件的地方，都回到正文核对。资源状态方面，本次未发现来源绑定且完成安全验证的资源，因此不得声称代码、模型或数据已公开或当前可用，只能按原文讨论方法与实验。对于刚入门的读者，建议先建立一个可复述的样本走查：拿一段身份视频与一段唇部视频，想象每 1 帧都要回答用谁的脸、张多大的嘴、上 1 帧到这 1 帧允许多大变化这 3 个问题，后文所有组件都围绕这 3 个问题展开。

已有路线在解决什么，代价留在了哪里？

早期方法主要用生成对抗网络与自回归网络做说话脸，例如用同步判别器约束音画对齐、用关键点或稠密运动场做中间表示。原文提到这类方法在口型同步上有进展，但受模型容量限制，常出现模糊帧与粗糙唇部细节， vividness 与自然度不足。这条路线输入多为音频加单图，目标是驱动嘴动，监督常来自同步网络或重建损失，运行阶段多为前向推理加后处理。

扩散模型兴起后，出现了结合 3 维网格预测与扩散渲染、引入长时运动模块、做自适应音频调制与高分辨率动画等工作。原文列举的代表包括结合 3 维网格的肖像动画、强调长时依赖的模型、强调潜空间修复同步的模型，以及多模态条件与分辨率更高的家族模型。这些工作把生成质量与可控性推高，但共同代价是需要在大规模音视频数据上对数十亿参数做任务微调，动辄多卡数万到十几万步。原文用一张成本对照说明这种负担，并指出这限制了研究社区的可扩展性与可及性。

按同输入、同目标、同监督、同运行阶段来对照，本文与上述扩散路线同目标都是高质量同步说话视频，但输入不同：本文用唇部视频帧加身份帧做驱动，而不是以音频为主要驱动；监督与训练也不同：本文不做任务微调，只调用冻结的预训练权重加无可训练参数的计算。因此不能把类别差异直接当成同条件胜负，只能说在本文选定的视频驱动、少样本范式下，免微调链路是否达到可比的同步与清晰度。

免微调要回答的三个具体困难是什么？

第一个困难是如何从预训练扩散模型的广博知识中挖出口型相关语义并加以控制。预训练模型见过大量人脸，但默认不知道哪 1 帧该张多大嘴。如果直接把唇部参考图喂给图像条件分支，会把肤色、纹理、光照等无关外观也带进来，造成身份漂移与外观失真。第二个困难是如何捕捉细微唇部运动。即使大方向对了，相邻帧之间是张开还是闭合、幅度差一点，都会影响同步观感，需要按参考运动趋势对控制向量做精修。第 3 个困难是时间不稳定，生成嘴区常出现闪烁与抖动，逐帧独立生成越清晰，跨帧越容易看出跳变。

举一个教学例子而非原文数值例子：假设身份参考是戴眼镜的中年人在书房，唇部参考是另一个人在绿幕前从闭嘴到大张再到半闭，理想输出应是前者的脸做出后者的开合节奏，且眼镜、背景、肤色不被后者污染。若输出的脸变瘦了或肤色跟随唇部参考走了，就是身份漂移；若开合方向反了或幅度跟不上，就是同步误差；若嘴角逐帧来回跳，就是时间噪声。本文的 3 个模块分别对应这三件事。

整体链路如何让一个样本走完输入到输出？

先沿一个样本走完主路径。输入有两路：身份参考帧堆叠与唇部参考帧序列，另有当前待生成的遮罩帧。遮罩帧经变分自编码器编码，与缩放后的掩码、随机噪声隐变量拼接后送入去噪网络。去噪网络是图像修复版的稳定扩散，文本分支输入空提示以避免语义干扰，图像条件分支由图像适配器的人脸身份版本提供。身份参考走人脸识别模型得身份嵌入，唇部参考先经结构师转成结构帧，再经图像编码器得结构嵌入并经结构控制器修正，两路嵌入经投影块融合后注入去噪网络各层，最后由解码器得到连续帧，再经噪声传感器做时域平滑。

稳定扩散 × 图像适配器： 稳定扩散负责冻结的生成能力与图像修复去噪主路径，图像适配器负责把唇部参考和身份参考转成结构嵌入与身份嵌入再注入到每一层；二者搭配的理由是前者已有大规模图像先验但缺口型控制入口，后者提供不改主干的图像提示入口，组合后新增的作用是免微调即可把嘴部动作条件化。

该链路的关键选择是少样本范式与冻结权重。原文明确两处冻结含义：稳定扩散与图像适配器都是大规模预训练模型，3 个新模块均无可训练参数、无需微调，可直接用于生成。这意味着本研究没有训练阶段的梯度更新、优化器步骤与监督损失，真实计算是推理时编码、去噪采样与后滤波。理解这一点才能正确评估成本：省掉的是训练算力，付出的仍是逐帧扩散采样与多分支编码的推理开销。

下图为原文提出的整体管线，左侧是主生成路径，右侧是 3 个模块的展开，阅读时先分清哪条线管外观、哪条线管口型、哪一步发生在去噪前、哪一步发生在解码后，避免把后滤波当成去噪内部操作。

看图路径： 1. 先从左下遮罩帧、噪声隐变量与掩码汇合进入去噪网络的主路径看起；2. 再看左上身份参考与唇部参考如何分别走身份分支与结构分支进入适配器；3. 最后看右侧三个虚线框如何对应结构帧构造、嵌入修正与输出后滤波

论文图 3。原论文 Figure 3：“The pipeline of the proposed method.”。

从像素可见，主图分为左右两大栏。左上虚线框内身份参考与唇部参考分别进入不同编码器再汇入图像适配器，左下实线框内遮罩、掩码与噪声汇合进入黄色去噪网络再经解码器输出。右栏自上而下 3 个虚线框分别展示结构师的形状纹理分离与渲染、结构控制器的锚点与单调性调整、噪声传感器的光流与自适应滤波。这种布局支持前文样本走查：外观与口型在进入去噪网络前已分离，时间平滑发生在解码后，从而把身份保持、口型控制与稳定性的职责解耦。

结构师如何拆开嘴型与长相再拼回去？

结构师要解决的是条件冗余。白话说，唇部参考图里既有嘴张多大，也有那个人肤色纹理，直接拿来当条件就会串味。英文名可记为基于 3 维人脸模型的解耦模块。做法是先用 3 维人脸模型把人脸投影到形状空间与纹理空间，得到描述几何结构与外观属性的低维参数。形状参数捕捉唇部运动动态，纹理参数保留颜色与细节外观。

然后取目标身份参考的纹理参数与唇部参考的形状参数组合，再用渲染器映射回图像域，得到结构帧。结构帧长着目标人的样子、做着参考人的嘴型，再送入图像适配器的图像编码器作为口型条件。

3 维人脸模型 × 结构帧： 3 维人脸模型负责把唇部参考与身份参考分别投影到形状系数与纹理系数空间，结构帧负责把身份纹理加唇部形状再渲染回图像域；二者搭配是因为直接喂原图会带入颜色纹理造成身份漂移，而参数空间可显式拆分，组合后新增的作用是保留目标外观的同时只传递目标口型。

动机可视化显示，直接喂唇部参考会导致输出出现肤色与下颌线偏差，红色箭头指向的正是串入的外观，而结构师的输出在保持目标身份的同时保留了目标开合。消融描述也报告，去掉结构师会出现纹理颜色泄漏与身份漂移，加入后结果与真实身份更一致，且因纹理携带表情信息，还能更好保留嘴部表情。需要指出的是，原文未报告 3 维重建失败、侧脸或遮挡等边界下的行为，这部分属于未评测边界，不能默认同样稳健。

结构控制器如何按张合趋势修正控制向量？

结构控制器要解决的是细微运动跟不上。白话说，即使结构帧大方向对了，相邻帧之间多张一点还是多闭一点仍可能差一口气。英文可记为基于准单调性的自适应修正。原文先分析结构嵌入空间的两个性质。连续性指同一身份的嵌入形成稠密平滑簇，可视为连续流形。准单调性指唇张开距离沿嵌入空间特定方向近似单调变化，降维可视化中颜色按唇距呈现方向性渐变，插值在区间内单调，外推到区间外会出现过张或过闭。

结构嵌入 × 准单调性： 结构嵌入是唇部结构帧经图像编码器得到的控制向量，准单调性是论文观察到的嵌入空间性质即沿特定方向唇张开距离近似单调变化；二者搭配是因为小幅口型差异在原始嵌入中不易区分，而知道方向就可以按参考张合趋势外推或回拉，组合后新增的作用是对当前帧嵌入做自适应修正以补偿同步误差。

具体操作是选唇张开最小的结构帧为锚点，记当前与上一唇部参考的唇距度量，据此计算一个系数调整当前嵌入：当参考在张开时系数大于 1，令嵌入向更张方向外推；当参考在闭合时系数小于 1，把嵌入拉回锚点方向。这样生成唇形沿参考运动趋势被进一步校正，补偿生成与参考之间的形状偏差。原文的消融报告去掉该控制器会导致生成与参考唇形偏差变大，加入后几何误差下降、唇距序列的余弦相似与皮尔逊相关提升，可视化也显示生成嘴更贴近真实唇形。但这仍是有限解释：单调性是观察到的近似性质，不是严格证明，跨身份或大幅表情下是否成立属于待验证。

噪声传感器如何把抖动变成可滤掉的量？

噪声传感器要解决的是嘴区闪烁与抖动。白话说，逐帧生成各自为政，嘴角与牙齿边缘容易来回跳。英文可记为基于高斯先验的时域感知器。做法分 3 步。先做建模假设：把相邻帧间每个像素的光流向量建模为 2 维高斯分布，均值代表期望运动，协方差描述两方向相关，并用检验方法在唇区光流序列上验证该假设的合理性。

再形式化噪声：在该假设下推导生成视频相对真实视频的光流方差关系，方差越大表示抖动闪烁越重，由此定义逐像素噪声强度为两方向噪声方差之和。最后做空域自适应时域滤波：以该强度为 1 维高斯核的标准差，在时间窗内加权平滑，噪声强处平滑强，真实运动处尽量保留。

光流 × 高斯先验： 光流负责度量相邻帧唇区每个像素的运动向量，生成视频中常出现杂乱振荡，高斯先验负责把真实与生成光流都建模为 2 维高斯分布以便做假设检验；二者搭配是因为仅看像素差无法区分真实运动与闪烁抖动，而分布方差差异可以形式化噪声强度，组合后新增的作用是逐像素估计噪声图并指导空域自适应时域平滑。

身份嵌入 × 人脸识别模型： 人脸识别模型负责从身份参考抽取与姿态表情相对解耦的身份特征，身份嵌入负责把该特征送入图像适配器的人脸身份版本分支；二者搭配是因为结构分支只管口型而缺身份约束，组合后新增的作用是在嘴部重绘时维持下颌线与肤色等身份一致性。

原文报告去掉噪声传感器会导致时域平滑指标变差，加入后明显下降，可视化显示嘴区闪烁抖动被抑制、动态更平滑。身份分支方面，去掉人脸识别模型会使适配器退化为基础版本，生成嘴区出现颜色与下颌线偏差，加入后更贴近真实脸，说明身份嵌入承担了身份保持职责。核尺寸分析显示更大核降低噪声度量但也降低清晰度，出现模糊与重影，折中取 5。初学者应分清：身份嵌入管像谁，结构嵌入管嘴怎么做，噪声图管哪里该多磨皮，三者不可互相替代。

没有训练阶段时真实计算是什么？

本研究没有神经网络训练阶段，这是需要明确写出的一节。原文称可训练参数为零、不需要训练集、不需要微调用卡与训练步数，3 个模块也均无可训练参数。因此不存在梯度路径、损失函数、优化器更新、学习率调度与参数重置时机等训练要素，未报告即缺项，不从模型名称推定实现。

真实计算全部在推理与构造侧。构造侧包括 3 维人脸模型拟合得到形状与纹理系数、组合渲染得到结构帧、计算唇距与锚点系数修正嵌入、估计光流并按定理计算噪声图。推理侧包括变分自编码器编码遮罩帧、去噪网络在调度器下多步采样、解码器重建帧、时域高斯滤波后处理。原文给出的可复现细节是采用图像修复版稳定扩散 1.5 与人脸身份版图像适配器，采用高效采样器 20 步，时域滤波核尺寸为 5，文本提示置空。

这些是复现时必须保留的信息条件，不能替换为其他采样步数或非空提示去声称同等效果。无训练不等同于输出确定，冻结参数下随机噪声隐变量与采样器仍会带来随机性，不能从冻结推定每次输出完全一致。

在什么数据与协议下测，与谁比，看什么方向？

评估用两个广泛使用的数据集：绿幕背景的情感多模态演员数据集与高清实拍人脸视频数据集。所有片段统一为 512 乘 512 分辨率、25 帧每秒、16 千赫音频采样率。对比覆盖 10 个代表性方法，包括生成对抗、自回归与近期扩散方法，涵盖单样本与少样本范式。原文用符号区分单样本与少样本、扩散与非扩散，少样本因保留未遮罩区域通常视觉质量占优，本文属于少样本扩散。

指标分两组。口型同步看几何一致性与动态一致性：普氏距离经刚性对齐后比较 3 维唇部关键点，越小越好；唇距序列的余弦相似与皮尔逊相关衡量开合节奏的一致与相关，越大越好。视觉质量看分布距离、感知相似与清晰度：弗雷歇距离与感知距离越小越好，清晰度越大越好。时域方面还用视频距离与噪声图均值衡量平滑，越小越好。比较公平性上需注意输入范式不同：音频驱动与视频驱动的难易与信息量不同，单样本与少样本的身份信息量也不同，因此只能在原文给定协议下理解排序，不能推广为所有条件下的绝对胜负。

主结果在同步与清晰度上显示了什么，代价是什么？

先提出比较问题：在统一分辨率与帧率下，免微调链路相对 10 个基线，能否同时做到口型几何更准、开合节奏更一致、画面分布更接近真实且更清晰？公平条件是同数据集、同分辨率帧率、同指标方向，指标方向为几何与分布距离越小越好、相似相关与清晰度越大越好。下图先看端到端效果：同一唇部驱动下换身份是否保持身份而跟随口型，以及唇距曲线是否同起同落。

看图路径： 1. 先看左侧唇部参考带与身份参考堆叠如何组合成加号输入；2. 再横向对比中间两条生成带的人脸身份是否保持而口型跟随上带变化；3. 最后看右侧三组唇间距随帧变化的条形与折线是否同起同落

论文图 1。原论文 Figure 1：“Visualization of videos generated by the proposed fine-tuning-free diffusion-based framework, FreeTalkDiff.”。

该图左侧为唇部参考带与两组身份参考，中间为对应生成的两条视频带，右侧为 3 组唇间距随帧变化的条形加折线。从可见内容看，生成带的人脸身份与左侧身份堆叠一致，而嘴部开合节奏跟随上带唇部参考变化，右侧生成曲线的峰谷位置与参考曲线基本对齐，支持口型可控的直观判断。但条形高度的精确数值在像素中无法精确辨别，具体幅度仍以正文数字为准。

再看生成帧的逐方法对比，蓝色为正确趋势、橙色为微弱趋势、红色为相反趋势，重点观察本方法行是否持续为蓝而基线行是否出现橙红交替。

看图路径： 1. 先按图注确认蓝框为正确趋势、橙框为微弱趋势、红框为相反趋势；2. 再纵向对比同一列中本方法行与各基线行相对首行真实唇形行的开合；3. 最后横向比较左侧绿幕数据与右侧实拍数据下蓝框分布的差异

论文图 6。原论文 Figure 6：“Visualization of generated frames. Blue, orange, and red boxes denote correct, weak, and opposite lip-motion trends relative to the ground-truth reference frames, respectively.”。

从像素可见，本方法行在绿幕与实拍两侧多列中保持蓝色框，而多个基线行出现橙色微弱或红色相反，尤其在开合方向切换处差异明显。这支持原文关于基线常出现趋势微弱或相反、而本方法更贴近真实参考的报告。但这仍是定性抽帧，不能替代序列级指标。

下表整理原文连续正文句中实际出现的本方法数字与相对增益，保留数据集、阶段、指标与单位口径，不混入表格矩阵中无法逐字验证的基线格。

表后解释需要同时讲收益与代价反例。主要收益是同步三项与视觉三项在 2 数据集上均为最优，且增益幅度在原文中量化为口型相关至少 0.16、分布距离至少 0.7。代价一是未胜出项的缺席：因原文连续句未逐字给出每个基线的完整数字，本表未列基线行，完整排序需回原文大表核对，不能把本表当成已证明全面超越每一基线的独立证据。代价二是范式红利：少样本保留未遮罩区域天然利于视觉分，嘴区真实感的提升才归功于结构师与噪声传感器。限制是自动指标不等于人评，清晰度高不代表身份主观偏好一定高，误判率与延迟也未在此表中体现。

拿掉每个部件会发生什么，核尺寸如何折中？

消融按部件组织：测什么、去掉谁、条件是否一致、指标如何变、支持什么判断。首先是结构师，去掉后结构帧的冗余纹理颜色泄漏到输出，导致身份漂移与外观失真，加入后与真实身份更一致，支持其解耦作用。其次是结构控制器，去掉后生成与参考唇形偏差变大，加入后几何误差下降、动态相似与相关提升，可视化显示生成唇更贴近真实唇，支持其按运动趋势修正的价值。

再次是噪声传感器，去掉后视频距离与噪声均值更高，加入后显著下降，可视化显示嘴区闪烁抖动被抑制，支持其时域平滑作用。最后是身份嵌入，去掉人脸识别模型会退化为基础适配器，嘴区出现颜色与下颌线偏差，加入后更贴近真实脸，支持其身份保持作用。

下排嵌入可视化用于理解控制器的前提假设，上排散点颜色是否沿同一方向渐变决定了按方向修正是否合理，下排插值序列用于确认区间内外推的行为边界。

看图路径： 1. 先看上排三组二维散点的颜色是否沿同一方向从深红渐变为黄蓝；2. 再看左下角小身份图确认每组散点属于同一人从而排除跨身份干扰；3. 最后看下排随插值系数变化的人脸序列确认超出区间会出现过张或过闭

论文图 4。原论文 Figure 4：“Visualization for Structure Controller.”。

从像素可见，上排 3 组散点均呈现从深红到黄蓝的方向性渐变且同身份成簇，支持连续与准单调的直观印象；下排随系数变化的人脸序列在中间区间开合渐变，两端出现过闭或过张。这支持在区间内插值修正的合理性，也提示超出区间外推可能失真，实际系数应受参考张合幅度约束。

推理与后处理配置决定复现基线，下表只用原文连续句中出现的规格与统计数字，不擅自添加延迟或帧率承诺。

表后解释需讲清折中与未评测边界。核尺寸分析显示更大核降低噪声度量但也降低清晰度，出现模糊重影，因此核 5 是原文报告的最佳折中，不是越大越好。未评测边界包括极端侧脸、遮挡、3 维拟合失败时的结构帧质量，以及长视频下的误差累积，这些在现有证据中未量化，不能默认同样成立。总体趋势不等于每帧都成立，个别帧仍可能出现弱同步，抽帧全蓝不代表全序列无瑕。

哪些结论有直接证据，哪些只是可能？

直接报告的是在 2 数据集给定协议下，本方法在口型几何、动态相关、分布距离、感知距离与清晰度上取得最优数字，以及去掉任一模块后对应指标变差。这些有原文数字与可视化支持，可用报告或显示来表达。有限解释的是增益来源归因：自适应修正带来对齐、解耦带来身份保持、后滤波带来平滑，这些有消融对照支持，可用支持来表达，但因输入范式与少样本红利混杂，不能说成唯一因果。

可能或待验证的是跨数据集泛化机制。原文提到依托大规模预训练的稳健泛化，这属于推测，因为并未控制预训练数据构成做因果验证，只能说在 2 数据集上观察到一致最优，机制解释待补实验。缺失证据不是技术错误，但需明确：未测量推理延迟、显存占用、输出帧率与实际部署成本，未做人评的自然度与表情丰富度系统评估，未报告 3 维拟合失败率与长时漂移。因此不能承诺更快更便宜或更自然，只能说省掉了任务微调的训练资源，推理开销仍需单独测量。

原文表头与图注若与正文算术出现冲突，应标注冲突而不是编造口径圆场，本次所用数字均保留原精度与单位，不做四舍五入与单位拆分。

要复现应先做什么，先保留哪些条件？

复现先做最小可运行链路，而不是先调参。第一步准备冻结权重：图像修复版稳定扩散 1.5 与人脸身份版图像适配器，保持冻结不微调；准备人脸识别模型、3 维人脸模型与渲染器、图像与文本编码器、变分自编码器与高效采样器。第二步固定信息条件：身份参考帧、唇部参考帧、遮罩帧与掩码的生成方式，文本提示置空，分辨率 512 乘 512、帧率 25、音频采样率 16 千赫只用于数据对齐。第 3 步按顺序跑通结构帧构造、嵌入修正、20 步采样解码、核尺寸 5 的后滤波，分别保存中间产物以便定位是身份漂移、同步偏差还是抖动。

何时值得尝试这种免微调路线：当没有大规模音视频数据与多卡训练预算，但有可用的预训练扩散与人脸先验，且任务允许视频驱动而非纯音频驱动时，可以优先尝试。若必须纯音频驱动或单图驱动，则本文链路不直接适用，需另找音频到口型的映射。还需补的验证包括同一协议下重跑基线的随机种子方差、人工评价的同步与自然度、不同核尺寸与采样步数下的延迟清晰度曲线，以及 3 维拟合失败样本的鲁棒性统计。资源方面，本次无可用性验证，不得声称代码已公开，复现应以论文文字与自备实现为准。

一句话收束：免微调成立的条件与下一步缺口

综合来看，本文把说话脸生成拆成用冻结生成器保质量、用参数空间解耦保身份、用运动趋势修正保同步、用分布建模滤波保稳定的 4 步流水线，在给定 2 数据集与视频驱动少样本协议下报告了同步与质量的最优数字。成立条件很具体：有可靠的身份与唇部视频参考，有可用的 3 维与身份先验，接受逐帧扩散采样的推理成本与后滤波的轻微平滑代价。

下一步缺口不在继续堆生成质量，而是补上人评、延迟成本、失败样本分析，以及把音频、情感与语义线索以同样免微调的方式接入，形成更完整的多模态数字人链路。对初学者而言，可复述的方法应是先讲清谁管长相谁管嘴型，再讲清修正方向从哪里来、噪声强度如何算出来，最后用数字与反例说明哪里还不能承诺。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 7 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总