音视频生成

Soul 针对单帧人物图加文本加音频的人体动画任务，在 Wan2.2-5B 上新增音频注意力并用关键帧表示、段间重叠与阈值码本维持长时一致，再用步数蒸馏与轻量 VAE 加速，在 Soul-Bench 的开源对比与商用人评中取得优势，代价是复杂全身大动作仍可能出现伪影。

论文把问题定为地理上下文的声音景到景观生成，用声景加可选场景词生成街景级图像，以 SounDiT 三模块注入地理条件，在自建两套大数据集上以通用指标和三层地点相似度验证，代价是依赖预训练编码器与场景标注并需较多算力训练。

SyncDreamer 针对只有离散情绪标签和依赖姿态中间表示导致动作僵硬的问题，用视觉适配器保身份、音频动态编码器抓节奏能量、跨模态提示增强器把文本变成动作指令，在 HDTF、AVSpeech 人像和 EMTD 半身基准上报告了最优的真实感与同步指标，代价是两阶段扩散训练与更长的提示构造链路。

该研究用一路混合音频同时生成同处一室的双人 3D 表情、头姿、位移和眼球注视，以共享权重的双流扩散加跨说话人注意力解耦轮流，用两阶段数据策略兼顾交互与口型，并在用户研究中获得约 73 至 78% 的偏好，但推理依赖声纹分离出的说话概率与首帧空间条件。

U-Mind 针对语音动作与语言推理难以同步且联合训练易损伤推理的问题，采用离散统一表示加分段对齐与排练式预训练加文本先行解码，原文报告在指令跟随上 FGD 为 5.12 并在消融中显示去文本先行后相关性降至 1.24，代价是动作细粒度受限于离散词表且数据配比依赖经验。

针对以人为中心联合生成中唇同步偏差与语义情绪脱节，UniAVGen 采用对称双分支加不对称跨模态交互、面部感知调制与模态感知引导实现单模型多任务生成，论文报告在更少联合样本下取得音色与情绪一致性优势，同时存在主体一致性未胜出与大模型打分客观性不足等边界。

针对带同步音频的视频生成缺乏联合评测的问题，VABench 用文本到声画、图像到声画与立体声三类任务和专家加多模态大模型的十五维评估组织测试，报告显示端到端音视频模型在对齐与细粒度问答上占优而语义同步真实感难以兼得，且立体声空间分离均不可靠。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对随语音生成全身动作时末端抖动与误差沿骨骼链放大的问题，论文把扩散建模搬到全局旋转空间并用关节、骨骼、时序三层约束补回结构，消融表显示完整约束取得最低分布距离，但节奏对齐仍有基线未被全面超越的代价。

论文针对多人对话音视频生成中身份漂移与轮转混乱难以被感知质量指标发现的问题，构建覆盖四层九维度的失败诊断问答基准，用 12 个全模态模型的诊断得分与三类生成器的人评成功率显示交互层是主要瓶颈，但诊断高度依赖音频输入与提示对齐条件。

AniTales 针对文本互动故事缺少稳定多模态呈现的问题，用大语言模型生成带说话人与情绪标签的结构化剧本，再以同一标签驱动立绘表情与语音韵律，在 10 名普通用户与 5 名专家的十幕故事试用中获得可用性 84 分与角色对话匹配 4.2 分，但语音适配在两组均为 3.6 分成为最弱环节。

针对带声音的人脸视频在压缩、模糊和低分辨率下的退化，GAVN 用低分辨率空间的帧间时域特征做粗修复、用高分辨率空间的音频加关键点身份特征补细节，在 VoxCeleb2 和 Obama 两种说话人场景下取得最优的图像质量与唇音同步分数，但代价是两阶段训练与多模块推理成本。

ConsistTalk 针对音频驱动说话头视频的闪烁、身份漂移与音画失同步，用面部光流时间模块解耦运动、用音频到强度蒸馏建模帧级运动幅度、用强度引导的噪声束搜索做推理初始化，在 HDTF 上报告 FVD 171.7 与更低闪烁，但推理束搜索带来约 B 倍的计算代价。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

该文把语音驱动的人脸运动看作情绪条件下的运动隐空间分布，用正交运动字典加情绪子空间保留发音与情感耦合，再用逐层跨注意力融合音频与情绪去调制流匹配速度场，在 MEAD 上取得 82.05% 情绪准确率与 22.58 dB PSNR 并以十步采样实现实时推理，代价是仅覆盖英语与七类基本情绪且对大角度头部转动验证不足。

针对音频驱动人像动画中动作自然度、唇同步、视觉质量互相冲突的问题，该工作用 Talking-Critic 学三维奖励并自动构建 410K 偏好对，再用 TLPO 分专家独立优化后做时步-层自适应融合，报告显示主指标和用户评分全面提升，代价是两阶段训练与多专家推理融合的额外复杂度。

针对文本、参考图像与音频难以协同且三元完备数据稀缺的问题，HuMo 用非完备互补数据加两阶段渐进训练实现统一控制，在主体保持与音画同步子任务上报告了超越专用基线的分数，代价是仍需两阶段 40k 步训练与分段推理引导配置。

针对自然混合音频直接生成图像会丢失多源语义的问题，MACS 采用先用 UNet 分离再用解耦交叉注意力生成图像的两阶段路线，在 LLP-multi 等多任务上报告了多项指标领先，但分离数固定与文本标签依赖仍是主要代价与边界。

针对长序列视频叙事中辅助能力弱、视觉质量差和表达单调的问题，MAViS 用分阶段多智能体与 3E 迭代和剧本写作约束组织生成，最强证据是用户研究约 69.44% 平均投票份额与关键帧 CLIP 34.22，主要代价是双 H100 上平均 13.63 小时的生成耗时。