先对齐多帧运动、再用声音补嘴部细节：GAVN 的时域与身份互补修复

英文题目：Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning

会议身份：conference:aaai:2026:conference-paper-id:37254

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #RNN #音视频 #语音 #音视频生成

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yuqin Cao：机构信息未能从会议 PDF 纯文本可靠映射
• Yixuan Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Wei Sun：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaohong Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Yulun Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Xiongkuo Min：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理带伴音人脸视频的多种退化复原，输入为连续低质量人脸帧Xt±(N+2)与对应语音段At±m，输出为逼近真值Yt±N的高质量帧，难点在于相机与头部运动导致的跨帧错位、低质下地标检测失效以及嘴部视听同步难以兼顾。帧间时间模块在低分辨率空间用可变形卷积做前后向相邻与跳帧对齐并融合多帧运动特征以粗复原并节约计算量，其输出的时间特征进入重建。帧内身份模块在高分辨率空间融合单帧图像特征、预训练地标特征与语音经Bi-LSTM提取的音频特征得到身份特征，语音同时辅助地标检测以精修眼嘴细节。重建模块将两类特征逐级调制融合并残差叠加至输入帧以同时输出多帧高清结果，优化时先训练时间模块再微调整体。与仅做压缩伪影去除或仅在低分辨率建模的DAVD-Net等方法不同，该链路保留高频身份信息并以语音约束口型，具有视听互补的实际意义。在VoxCeleb2压缩伪影去除任务下，GAVN的PSNR为28.9780，高于DAVD-Net的28.7269。结论适用边界受限于正面裁剪至224×224的合成压缩、模糊与低分辨率退化及已知语种分布，尚未验证大姿态、遮挡与多说话人混叠下的外推，训练成本涉及单块NVIDIA A100 GPU硬件上的两阶段优化。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，哪些信息必须保留？

这篇论文处理的是带声音的人脸说话视频。输入是连续的低质量人脸帧序列，每帧裁剪并缩放到 224 乘 224，同时输入与当前帧时间对应的音频段。输出是与输入帧数对应的高质量人脸帧，要求接近同时刻的干净真值帧。对于超分辨率任务，低质量帧先经过双 3 次插值放大到与真值相同分辨率，再进入网络。必须保留的信息有两类，一是说话人的长相结构，不能把眼睛开合、牙齿舌位修成别人的样子，二是声音与嘴动的对应关系，修复后的嘴形要与音频同步。

论文把任务拆成 3 类退化分别验证，压缩伪影去除、去模糊和超分辨率。压缩用 FFmpeg 加 x264 编码器在恒定质量因子 45 下生成，模糊用核尺寸 15 到 25 的高斯滤波器生成，低分辨率用 2 到 8 倍随机下采样再插值回来模拟。评价既看整脸的像素与感知质量，也看唇音同步，因此后续表格同时列出图像指标与同步指标。资源状态方面，本次收到的证据中未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码、模型或数据已公开。

已有路线做了什么，为什么声音很少被用？

视频修复主流路线分为滑动窗口法和循环法。滑动窗口法 1 次取一小段帧预测中间帧，循环法用已重建的高质量帧或特征递推后续帧，例如双向循环再扩展到网格传播。另一条线是时域对齐与融合，因为相机与头部运动导致相邻帧错位，常用可变形卷积在特征层把支撑帧对齐到参考帧，并有多尺度由粗到精的扩展。人脸修复还有一条用人脸先验的路线，例如用人脸关键点保持身份信息，但常规关键点检测器在高质量图上训练，在低质量图上容易失效。

音频辅助的压缩人脸视频修复已有少数工作，例如 DAVD-Net，但原文指出它们只做压缩伪影去除，没有验证去模糊与超分辨率。也就是说，声音与唇动高度相关这个线索没有被通用化。论文的定位是做一个通用音频辅助网络，同时覆盖 3 类退化，并把低分辨率时域处理省算力与高分辨率身份处理保细节结合起来。

压缩伪影去除 × 超分辨率： 压缩伪影去除处理的是 x264 编码引入的块效应与细节丢失，分工是恢复编码损失；超分辨率处理的是下采样丢失的高频，分工是放大并补高频。两者搭配在同一网络中验证的原因是论文要证明音频辅助不只对压缩有效，组合意义是用同一套时域加身份结构处理 3 类退化，超分辨率输入先经双 3 次插值统一到目标分辨率再走相同流程。

理解这组关系后，再看方法就清楚它不是简单把音频拼进网络，而是为 3 类退化复用同一套互补结构。

问题难在哪里，一个样本要经历什么？

难点有 3 个。第一，帧间有运动错位，直接融合会重影，需要对齐。第二，单帧在低分辨率空间处理会丢掉眼睛高光、牙齿缝隙这类细节，而人脸对身份敏感，修错会被察觉。第三，嘴部区域退化后仅靠图像难以确定应有的开合，声音恰好携带发音线索，但需要与图像在合适位置融合。沿一个样本走一遍更直观。

取以时刻 t 为中心的连续 7 帧低质量图像，加上 t 时刻前后的音频段作为输入。先在低分辨率空间做预去模糊下采样，得到 3 层金字塔特征，再做前向相邻、前向间隔、后向相邻、后向间隔 4 路对齐与融合，得到 t 时刻的时域特征。同时把 t 时刻单帧保持高分辨率，提取图像特征、经音频辅助重训检测器得到的关键点特征、经双向长短期记忆网络加全连接层得到的音频特征，三者在注意力加权下融合成身份特征。

最后重建模块把时域特征的运动信息与身份特征的空间细节融合，通道降到 3 后与输入低质量帧相加，得到预测的高质量帧。目标是让预测帧同时在像素误差上接近真值，在感知与同步上也接近真值。

三模块如何分工，数据流向哪里？

网络由帧间时域模块、帧内身份模块和重建模块组成。帧间时域模块输入 2N 加 5 帧连续低质量帧，输出 2N 加 1 帧对应的时域特征，公式含义是把一段时间窗映射为运动表征。帧内身份模块输入当前单帧与对应音频段，输出该帧的身份特征，公式含义是把声音加结构先验注入单帧表征。重建模块输入两类特征，输出残差并与低质量帧相加得到高质量帧，公式含义是残差学习，只学需要补偿的部分。训练时先用帧间重建损失只优化时域模块做粗修复，再用帧内重建损失优化整体做精修。超分辨率任务的区别仅在入口处先做双 3 次插值统一尺寸，后续流程相同。

帧间时域特征 × 帧内身份特征： 帧间时域特征负责从连续多帧中聚合运动信息、平滑帧间抖动，分工是粗修复与对齐；帧内身份特征负责从当前单帧中恢复人脸结构与细节，分工是精修。两者搭配的原因是低分辨率时域处理省算力但丢细节，高分辨率单帧处理保细节但缺运动上下文，组合后由重建模块先融运动再叠细节，形成互补。

下面这张总览图把两条路径与两处监督画在了一起，先看主路径再看汇合点。

看图路径： 1. 沿顶部从连续低质量帧经预去模糊、对齐到时域特征的主路径走一遍；2. 看中部每帧的低质量图像加音频段如何进入帧内模块得到身份特征；3. 确认时域特征与身份特征在右侧重建模块汇合后再与输入帧相加；4. 对比上下两条监督分支分别对应帧间粗修复损失与帧内精修损失

论文图 2。原论文 Figure 2：“The framework of the proposed GAVN, which consists of three modules: (a) Inter-Frame Temporal Module: extract temporal features from the multiple consecutive frames.”。

从像素上看，顶部一排是连续帧进入预去模糊、对齐与时域融合得到时域特征，中部三行是每帧的图像与音频进入帧内模块得到身份特征，右侧是每个时刻的两种特征进入各自的重建模块再与输入相加。灰色区域标出帧间粗修复损失只看时域分支的输出，右侧帧内精修损失看最终融合输出与真值的差距。这种画法对应了 2 阶段训练的逻辑，先让时域分支稳定，再联合调优。

时域分支怎样对齐，身份分支怎样用声音？

时域分支为省算力在低分辨率空间操作。输入帧先经带步长的卷积下采样得到每帧 3 层金字塔特征。然后用可变形卷积做 4 类对齐，以 7 帧为例，前向相邻、后向相邻、前向间隔、后向间隔分别按递推方式把邻帧特征对齐到参考帧，并由粗到精进行。对齐后不是简单平均，而是计算对齐特征与原特征之间的注意力图，更相似的对齐结果获得更大权重，再经卷积融合成该帧的时域特征。身份分支则不做下采样，在高分辨率空间操作。

先用退化帧加音频段重训 PFLD 关键点检测器，以干净帧的检测结果为真值，从而在退化输入下也能得到相对准确的关键点。接着 3 个子模块分别提取两层图像特征、关键点特征和音频特征。融合时先用图像特征与音频特征拼接待卷积加 Sigmoid 得到空间注意力，对音频特征加权，对关键点特征做同样操作，再与图像特征拼接经卷积得到两层身份特征。

音频特征 × 嘴部运动： 音频特征由 Bi-LSTM 加全连接层从对应语音段提取，分工是提供发音时序线索；嘴部运动是唇形开合与牙齿舌位的变化，分工是图像上需要恢复的目标。搭配理由是生理上发音由唇部肌肉塑形控制，声音与唇动高度同步，因此音频可以指示嘴部区域应有的形状，组合意义是用声音约束嘴部重建并改善同步指标。

人脸关键点 × 身份特征： 人脸关键点负责给出眼睛、嘴、轮廓的结构位置，分工是空间先验；身份特征负责携带可用于去退化的外观细节，分工是重建依据。搭配原因是退化图像上直接检测关键点不可靠，论文先用退化帧加音频重训 PFLD 检测器，再把关键点特征与图像特征融合，组合意义是让身份特征保持原有长相而不漂移到平均脸。

可变形卷积对齐 × 时域融合： 可变形卷积对齐负责把相邻帧和间隔帧的特征 warp 到参考帧，分工是消除相机与头部运动造成的错位；时域融合负责按与原特征的相似度加权合并多路对齐结果，分工是挑选更可信的时空信息。搭配原因是不同方向和跨度的帧携带互补信息，组合后得到更完整的时间特征再送入重建。

细节结构可对照下面这张左右分栏图，左半是时域对齐与融合，右半是身份提取与注意力融合。

看图路径： 1. 在左图区分相邻帧对齐与间隔帧对齐的两组箭头方向；2. 在左中部找到由卷积加 Sigmoid 构成的注意力加权再做融合卷积的步骤；3. 在右图追踪图像分支、关键点分支与音频分支在何处做注意力融合

论文图 3。原论文 Figure 3：“Details of the inter-frame temporal module and the intra-frame identity module.”。

左图中预去模糊后的特征分别走相邻对齐与间隔对齐，箭头方向区分前向与后向，中部经卷积、相乘与 Sigmoid 得到加权，再经融合卷积输出时域特征。右图中当前帧走图像特征提取，音频段走关键点检测与双向长短期记忆网络两条路，分别得到关键点图与音频向量，再各自经特征提取后在两个注意力融合块中与图像特征汇合，输出两层身份特征。重建模块的顺序是先把与时域特征同尺寸的第二层身份特征做乘加融合再上采样 1 倍，然后与第一层身份特征做同样操作，最后降通道并与低质量帧相加。

两阶段训练各更新谁，损失与优化器是什么？

训练分两步，都使用 Charbonnier 惩罚函数作为损失函数。第一步只优化帧间时域模块，只用时域特征预测修复帧，训练 20 轮，学习率设为 0.0004。第二步优化整个模型，采用预热策略，先用第一步预训练好的时域模块提取时域特征，前 5 轮只训练帧内身份模块与重建模块，学习率为 0.0004，后 15 轮以 0.0002 的学习率微调整个模型，包括时域模块、身份模块与重建模块。优化器为 Adam，贝塔 1 为 0.9，贝塔 2 为 0.999。实现基于 PyTorch，在一块英伟达 A100 上训练。

需要指出的缺项是原文没有报告批量大小、总时长、显存占用与推理帧率，也没有给出 Charbonnier 函数中可调常数的取值，因此复现时只能先按常用默认搭建，再以验证集调参。关键点检测器的预训练是独立步骤，用退化帧加音频为输入、干净帧检测结果为监督，训练好后固定用于身份分支，原文未说明该检测器在第二阶段是否继续微调，复现时应先冻结以保证对照清晰。

数据、退化等级与指标如何设定才可比？

实验覆盖多说话人与单说话人两种场景。多说话人用 VoxCeleb2，含超过 1,000,000 段来自 6112 位名人的语音，受算力限制随机选取 200 位共 4860 个视频训练、5 位共 297 个视频验证、20 位共 894 个视频测试，说话人无重叠。单说话人用 Obama 数据集，含 180 个白宫官网每周讲话视频，时长 1 到 6 分钟，150 个训练、5 个验证、其余 25 个测试。所有帧裁剪人脸区域并缩放到 224 乘 224。退化按前述方式合成，压缩恒定质量因子 45，模糊核 15 到 25，低分辨率下采样因子 2 到 8。

对比方法包括 DBPN、EDVR、BasicVSR++、DAVD-Net 和 VRT，统一用相同数据重训 3 类任务以保证公平，输入帧数分别为 1、5、15、5、16，GAVN 为 7。图像质量指标用峰值信噪比、结构相似性、多尺度结构相似性与学习感知距离，前三者越大越好，最后者越小越好。唇音同步用 SyncNet 的置信分数与距离，置信越大越好、距离越小越好。真实世界视频收集 10 段来自 YouTube 的不同性别肤色发色视频，因无干净真值，只用无参考自然度与同步指标评价。

主结果在什么条件下成立，提升点在哪里？

要回答的比较问题是，在相同数据与重训条件下，通用音频辅助结构是否在 3 类任务与两类说话人场景下同时优于现有可运行方法。公平条件是所有基线用同一划分重训各自任务，指标方向按上节所述判断。先看压缩伪影去除在 VoxCeleb2 上的表现，完整模型的峰值信噪比与同步指标同时领先，说明嘴部恢复受益于音频。下面整理为 5 列宽表以便核对，数值保留原文精度与裸值写法。

表后解释需要同时讲收益与代价。收益是完整模型在压缩、去模糊、超分辨率 3 类任务上均取得最优，尤其同步置信与距离改善明显，原文报告在 VoxCeleb2 上去模糊达到 39.3441 的峰值信噪比，超分辨率达到 36.1462，均高于 EDVR 与 DAVD-Net。在 Obama 单人数据上压缩任务达到 30.0221，也高于同表基线。

代价是输入需要 7 帧加音频段，多模块与 2 阶段训练增加实现复杂度，且在更大更多样的 VoxCeleb2 上提升更显著，说明对数据多样性有依赖。未胜出项方面，个别感知与同步次优值出现在 DAVD-Net 或 BasicVSR++ 上，例如压缩任务中 DAVD-Net 的同步置信接近但仍低于完整模型，提示音频建模方式不同会带来差距。不同退化等级的测试显示压缩因子 35 到 45、模糊核 17 到 25、下采样 2 到 8 下完整模型均保持领先，支持其在不同退化程度下的稳定性，但这仍是合成退化，不能直接推广到真实压缩码率波动。

看图路径： 1. 按行确认压缩、去模糊、超分辨率三类退化的输入退化形态；2. 横向比较各方法在嘴部与眼睛放大块中的牙齿缝隙与眼睑轮廓；3. 把每行最右侧真值作为基准判断完整模型更接近哪一侧

论文图 5。原论文 Figure 5：“Qualitative results on VoxCeleb2 dataset. Distortion types from top to bottom: compression, blur, and low resolution.”。

这张 VoxCeleb2 定性图按行排列压缩、模糊与低分辨率，列为输入、各基线、完整模型与真值。可见像素是每行人物脸部与右下角嘴眼放大块。完整模型在嘴唇牙齿缝隙、上眼睑轮廓与瞳孔高光上更接近最右侧真值，而其他方法在眼睛开合状态上偶发误判。这与表格中同步指标的提升相互印证，但视觉判断不能替代指标，放大块只是单样本举例。

拿掉身份与音频后，哪里变差哪里保留？

消融要验证的是身份特征与音频特征各自是否必要。比较条件是同一 VoxCeleb2 划分与 3 类任务，只改变是否使用身份分支或音频输入。完整模型保留两者，去身份变体退化为常规视频修复，去音频变体保留身份但去掉声音。下面整理为 5 列宽表，数值保留原文写法。

表后解释先讲主要变化。

去掉身份后性能回落到接近 BasicVSR++ 的水平，说明仅有时域信息不足以恢复细节。去掉音频后图像质量与唇音一致性均下降，压缩任务同步置信从 4.8463 降到 4.8340，同步距离从 9.2228 升到 9.2663，支持音频对嘴部与同步的贡献。反例是去音频变体在部分指标上仍高于去身份变体，说明结构先验本身也有独立价值，不能把全部增益归于声音。未评测边界是原文没有单独去掉关键点而保留音频的对照，也没有报告只用音频不用图像的极端对照，因此无法拆分关键点与声音各自的精确占比。

看图路径： 1. 从左到右对比输入、不含身份、不含音频与完整模型的四列；2. 放大观察下排左眼与嘴部牙齿舌头两处裁剪块的清晰度差异

论文图 1。原论文 Figure 1：“Restoration results of our proposed GAVN with and without identity features and audio signals.”。

这张消融可视化从左到右为输入、去身份、去音频与完整模型，下排为眼睛与嘴部放大。可见像素显示去身份列左眼较模糊，去音频列舌头区域较模糊，完整模型两处更清晰。这与表格中去身份损失更大、去音频影响同步的趋势一致，但仍是单帧举例，推广需结合整表均值。

真实视频与边界条件暴露了什么限制？

在 10 段真实退化视频上，因无真值只用无参考自然度与同步指标评价，完整模型取得自然度 6.1549、同步置信 1.7895、同步距离 7.1253，均优于 EDVR、BasicVSR++、DAVD-Net 与 VRT，报告显示它能处理复杂真实退化。但这只是有限证据，样本仅 10 段且未公开来源划分，不能推断对所有肤色、光照与编码器的泛化。另一限制是训练与推理成本未报告，7 帧输入加双分支与上采样重建必然高于单帧 DBPN，原文未给延迟与显存，部署前需补测。

退化合成方式固定，压缩只用 x264 恒定质量因子，模糊只用高斯核，真实场景的运动模糊与网络丢包未覆盖。同步指标依赖 SyncNet 本身，其误差未被讨论，不能把同步分数等同于人评。此外，身份保持主要靠关键点约束，没有报告人脸识别一致性或误判率，不宜声称身份识别性能得到改善。

要复现先做什么，哪些参数必须照抄？

复现先做数据管线。按原文划分准备 VoxCeleb2 子集与 Obama 划分，统一裁剪人脸到 224 乘 224，按压缩恒定质量因子 45、高斯核 15 到 25、下采样 2 到 8 合成 3 类退化，超分辨率入口加双 3 次插值。模型按三模块搭建，时域分支含预去模糊下采样、3 层金字塔与 4 路可变形卷积对齐加注意力融合，身份分支含重训的 PFLD 检测器、两层图像与关键点特征提取、双向长短期记忆网络加全连接音频分支与两层注意力融合，重建按先融第二层再上采样融第一层的顺序实现残差相加。

训练照抄 2 阶段学习率与轮数，第一阶段 20 轮 0.0004 只训时域，第二阶段前 5 轮 0.0004 只训身份与重建、后 15 轮 0.0002 微调全部，优化器 Adam 贝塔取 0.9 与 0.999，损失用 Charbonnier。先跑压缩任务的 VoxCeleb2 子集验证峰值信噪比能否接近 28.9780，再扩展到去模糊与超分辨率。缺项需自行记录批量大小、随机种子与预处理插值实现，因为原文未给出。不得声称代码已公开，本次证据不支持该判断。

何时值得尝试，还需补哪项验证？

当任务是带同步音频的人脸说话视频，且退化集中在压缩、模糊或低分辨率，同时嘴部与眼睛细节影响观感时，值得尝试这种时域加身份的互补结构。尤其在多说话人数据上，音频对嘴形的约束更明显。若只有单人少量数据，仍可尝试但预期增益可能小于多说话人大数据的结果。不值得盲目尝试的情形是无音频输入、音频与视频未对齐、或退化以运动模糊与遮挡为主，因为论文没有验证这些条件。

还需补的验证包括推理延迟与显存、不同编码器与真实码率下的压缩表现、去掉关键点只留音频的对照，以及用人评或人脸识别一致性补充同步分数。只有补齐这些，才能把合成集上的最优转化为可部署的收益判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总