音视频生成

ActAvatar 针对说话化身中文本动作控制粗糙与时间错位问题，采用分阶段提示与分层音视频调制，在保持口型同步的同时实现相位级动作控制，最强证据是动作基准上命中率与时间正确性领先，但深层调制与两阶段训练带来实现与数据构造代价。

Archon 针对文本音频动作视觉碎片化问题，用统一离散词表加自回归语言模型统一七种模态，以语义视频实现约 4 倍 token 压缩并用语义驱动扩散恢复高清视频，最强证据是语音驱动视频与图条件语音任务上与专用模型相当或更优，代价是两阶段训练与推理链更长且本次未能确认代码模型公开。

AVI-Edit 以 Wan2.2 为视频骨干，用精度因子引导的掩膜精修器管空间边界、用分离生成混音返工的音频智能体管时间对齐，在 AVISET 与 AvED-Bench 上报告了质量与同步优势，代价是多实例只能串行逐个处理。

针对单图全身会话化身中音频到姿态再到渲染的误差累积与口手细节丢失问题，论文用音频直接调制三维高斯粒子变形场并蒸馏大视频扩散先验，消融显示轨迹对齐与分数蒸馏分别控制同步与平滑，但自建评测与合成监督带来泛化边界。

AutoCut 针对广告视频制作中多模态松散耦合与剪辑不可控问题，用残差向量量化把视频与音频变成与文本共享的离散词元并经两阶段训练统一推理，在 364 个样本的同一评测上取得排序准确率 0.10714 与脚本质量 84.6255 等最佳结果，代价是依赖已有素材库检索而不能从零生成像素。

该研究比较声学氛围驱动与歌词语义驱动的背景视频选择，提出在约 14000 个音乐视频上对比学习音乐视频联合嵌入并用束搜索做全局非重叠选段，最强证据是主观评价中声学方法在整体不自然感和转场连续性上显著优于歌词方法，代价是剪辑节奏与歌词具体指涉仍存在错位。

针对手势数据缺描述文本导致的语义先验缺口与音频加描述难以协调控制的问题，CoordSpeaker 先用动作语言模型离线生成多粒度手势字幕，再用统一表示的潜在扩散加分层去噪器实现语音节奏与字幕语义的联合生成，最强证据是推理耗时大幅下降与文本对齐指标领先，代价是部分重建指标未占优且长序列时序感知仍有限。

针对说话人视频中情绪编辑受限于离散标签和参考图像的问题，C-MET 用语音与表情空间的情绪语义向量差做跨模态回归，在 MEAD 上把情绪准确率做到最高，同时保留唇动与身份，且能处理训练未见的扩展情绪。

该研究用古筝、二胡、唢呐、堂鼓四种乐器的自录样本做前 8 个泛音的分轨重组与心电驱动的视听交互，在百余人次的非正式展览观察中看到熟悉又陌生的文化联想，代价是只有定性观察而无可控评估与生理推断力。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

针对有情绪语音下少样本说话头几何不稳定与音画情绪错位问题，EmoTaG 选择在 FLAME 参数空间预测运动并用门控残差分离音素与情绪，证据是在 5 秒适配的自重建与跨人跨语评测中取得更优的图像质量与运动误差，代价是适配仍需约 11 分钟与上脸辅助输入。

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对联合扩散中双路噪声导致的对齐漂移，Harmony 用音频驱动与视频驱动辅助任务提供干净锚点，并以全局局部解耦交互与同步增强引导提升细粒度同步，主结果报告 Sync-C 为 5.61、Sync-D 为 7.53，代价是三阶段训练与双分支推理开销。

针对长时长音频驱动全身动画的身份漂移与手部畸变问题，论文采用先生成低分辨率同步视频再用姿态引导精炼器恢复高分辨率的由粗到精路线，在全身集上报告图像距离 60.71 与手部置信度 0.90 等结果，代价是两阶段训练与大规模单人数据依赖。

论文研究无任务微调的说话脸生成，用冻结的稳定扩散加图像适配器做骨干并配三个无可训练参数的模块，在 CREMA 和 HDTF 上报告了最低的口型几何误差和最高的口型相关性，代价是依赖外部人脸先验与逐帧重绘加后滤波的推理链路。

针对具身对话需要因果、低延迟且富有表现力的手势问题，MIBURI 直接复用 Moshi 语音文本模型的内部 token 流，用身体分区残差码本与时间加运动学双变换器逐帧生成手势，并以 36 ms 每帧的在线演示和多说话人评测支撑其因果实时主张，但仍未达到真值自然度且未建模用户身体。

问题是从音乐生成对拍对风的舞蹈视频，方法选择是冻结预训练文本到视频扩散模型并只在精选层注入零初始化音频交叉注意力，最强证据是舞蹈质量与视频质量上超过从零训练的音视频基线，代价是依赖有限舞蹈数据混合与单卡约 20 小时的适配训练。

针对音频驱动说话人脸只求口型对齐而说话风格单一、情绪不可控的问题，PC-Talk 用隐式关键点上的唇同步变形与纯情绪变形分别建模，在 HDTF 上以视频输入 9.03 与图像输入 9.37 的 LSE-C 显示口型优势，并以情绪分类准确率 46.19 与 72.32 显示情绪优势，代价是需要分开训练两个控制模块并固定渲染器参数。

针对语音驱动说话人像需要同时满足实时流式、高保真和大范围躯干动态的问题，该工作用参考图引导的因果视频 VAE 把压缩率做到 768 并用块自回归整流流 Transformer 生成潜变量，在单卡实现 512×512 下 42 FPS，代价是强依赖参考图质量与训练数据分布且本次未能确认代码模型可达。

论文提出从单图生成可导航三维视觉加空间声场的新任务，并用免训练的全景重建加语义接地加高保真立体声编码链路实现，在 68 段实录上的方向误差降低 47% 等报告提升下仍保留运动声源等明确边界。