扩散模型

针对唇到语音中视觉到声学一对多映射难保留细节的问题，SLD-L2S 用层次子空间潜流匹配直写预训练音频编解码器连续潜向量并辅以语义与语音语言模型损失，在 LRS3 上以 10 步函数求值取得 UTMOS 4.2096 等质量领先，代价是可懂度仍受视觉信息瓶颈与辅助损失权衡约束。

该文把随语音手势生成改成随音频推进的滚动扩散窗口，用逐帧递增的噪声排布和一次性解码多帧的梯子加速，在 ZEGGS 与 BEAT 上提升连贯性与多样性，代价是梯子步长增大时在表现力强的数据上会出现平滑与抖动问题。

针对整序列扩散在超长语音上泛化下降与延迟随长度增长的问题，该文用固定窗口历史运动加当前音频生成动态条件，再用单层扩散头逐帧去噪，在 BIWI 长序列与消融对照上显示出同步与稳定优势，但短序列口型开合仍有可比基线。

该工作以 Wan2.1 为基座，先用 LoRA 适配长视频，再只更新音频交叉注意力并用自动构造的 DPO 偏好对提升口型与表情，最后在推理侧用空间掩码加权的 Mask-CFG 实现三人以上多人音频驱动，最强证据是 HDTF 与 CelebV-HQ 上的 FID 与 FVD 领先，代价是三阶段大算力训练与推理时多路条件前向的额外开销。

针对中文唇读辅以手编码的视频到语音任务，UniCUE 用姿态感知的识别通路提供细粒度视觉语义并经适配器条件化潜在扩散语音生成，在统一听障语料上报告了识别与生成的词错率下降，但训练只用健听者数据且推理开销未量化。

该文把单通道分离写成已知加性混合的逆问题，只用单源扩散先验加迭代重建引导完成分离，并用混合加噪初始化、三重注意力骨干与混合引导强度解决梯度冲突，代价是 200 步迭代采样的计算开销与同质语音的排列不确定性。

针对视频配乐中视频细节刻画不全与转场对拍不准的问题，VeM 用分层视频解析作指挥家组织多模态条件，以故事板引导交叉注意力和转场节拍对齐适配器生成波形音乐，在 TB-Match 上报告了语义与节奏指标的提升，但强转场对拍假设与评测阈值限制了其适用边界。

针对 Stable Audio Open 的 VAE 潜空间可解码音高类别这一可验证性质，论文用冻结的微型卷积探针在去噪后 40% 窗口内以 RMS 归一化梯度轻推潜变量，在 27 次配对试验中将旋律一致性从 0.112 提升至 0.274 且未报告音质代价。

论文研究文本到音频视频联合生成中的语义泄漏与声源归属错误，提出只在推理时对文本-视频、文本-音频、音频-视频三条交叉注意力边加偏置的转向方法，在 100 个挑战提示上把 Qwen 声源归属分从 0.1216 提高到 0.1349，代价是约 2.5 倍推理开销。

语音合成 | 8.2/10

音视频生成 | 7.2/10

扩散模型 | 5.9/10

音频生成 | 6.6/10

音乐转录 | 8.2/10

音乐生成 | 7.1/10

空间音频 | 7.5/10

语音合成 | 7.6/10

语音增强 | 7.6/10

音视频生成 | 7.8/10

音视频生成 | 8.0/10