音视频生成

AV-FlowEdit 针对已有音视频片段的提示词编辑问题，用冻结联合模型的源-目标流差异同时更新视频和音频，并用事件感知的多尺度低频校正抑制非目标漂移，代价是大幅语义改动会拉低与源视频的视觉相似度。

论文针对音频条件视觉预测中去掉音频就下结论的问题，提出把解释与干预、留出任务比较和端点对照绑定的 CIViC 四门诊断，并在演员不重叠的人脸光栅、合成特征混合与来源视频不重叠的 SpeakerVid 代理任务上给出通过与失败并存的证据。

论文要解决声源运动时左右声道空间线索不跟着画面走的问题，用运动轨迹同时约束视频和立体声音频的 StereoBind 在 StereoWorldBench 上取得更好的空间一致性，同时保持整体视听质量，结论只在该合成监督与评测条件下成立。

该文研究把多步扩散与流模型压缩到 4 次函数求值的问题，提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架，在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现，但结论依赖同网格评测与原文报告的基线配置。

论文针对联合音画生成中多目标对齐需要大量模型评估的问题，提出先做方差引导的自适应粒子搜索再做短链局部修正的两阶段推理对齐方法，在匹配计算量下提升七个对齐指标并用图像实验验证分配策略的通用性，代价是需要维护在线调度参数和两阶段奖励设置。

该论文针对以产品为中心的广告视频生成，构建了 30 万条参考图-提示-视频三元组与六维评测体系，并用微调实验证明数据能改善多镜头连贯性与卖点呈现，但细粒度保真仍有代价与局限。

针对音乐生成多人协调舞蹈时固定人数与身份混淆问题，ChainDance 把联合生成改写为沿舞者的条件链，用冻结单人扩散主干加两个轻量编码器与推理时噪声优化，在 AIOZ-GDance 三人组上报告 GMR 为 11.63 与 GMC 为 83.74，代价是全局优化把推理从 0:06 拉长到 0:15。

论文要解决无成对电影声画编辑数据时如何执行组合指令，方法是把合成音频编辑与自监督声画掩码重建加入微调，在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限，且保留了原有单模态编辑能力。

DMAD 针对少步学生需要拟合自身演化分布的高成本问题，用两个判别器头的对数密度比分类代替辅助分数拟合，在 ImageNet 单步 1.04、COCO 四步 14.47、Wan14B 四步 85.15 上取得对照内最优，但每步一次判别器更新与缓存教师样本等条件不可去掉。

论文要解决文本生成 5 秒有声视频时的语义与时间对齐问题，采用视频流加音频流的双流扩散结构加联合训练，在语音质量与同步指标上给出证据，代价是两阶段蒸馏与超分带来的额外训练和推理开销。

MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成，用共享潜变量样本加各模态独立解码器保持联合一致，并用更丰富观测的自蒸馏从不完整样本中学习，在三个基准上主要提升一对多与无条件联合一致性，单目标质量保持可比。

Prism 针对 2K 联合生成中全注意力二次代价与冗余稀释问题，用宏区自适应块形状与混合块选择实现 2.5 倍训练加速并在 2K 评测上提升质量，但结论依赖自建 2K 数据与特定骨干和阈值。

Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题，先用加噪历史做表示自监督训出因果教师，再让生成器与两个分数模型共用同一因果前缀做分布匹配，在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%，再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。

SepGen 要解决的是联合音频视频生成只有一条混合声、无法逐声源定位与重渲染的问题，它用受保护的混合声通道加两条分轨通道实现生成与分离两种模式，最强证据是真实录音与跨生成器场景上的分离与听感对比，代价是固定两条分轨与额外的去噪与引导计算。

论文针对语音驱动三维人脸动画中口型到位但过渡太平的问题，提出经过辅音途经点的唇部路径比度量，在四个方法上发现相对真实语音的整形缺失，并用受控阻尼校准与感知试验说明削弱是可感知的。

针对联合音视频扩散后训练中跨模态作用位置与多奖励冲突随训练漂移的问题，该工作用双向跨注意力预门响应做 token 与层级路由，并用分支内冲突系数对先验权重做残差修正，在 LTX-2 与 LTX-2.3 上以更均衡的多奖励轨迹提升质量、对齐与同步，但统一奖励与跨架构泛化仍未解决。

针对多模态情绪冲突、缺显式表达指导与文本误差向后传播问题，EmAvatar 用多视角并行感知加多轮问答裁决做情绪识别，再用合成脚本加迭代精修指导音视频合成，在 AvaMERG 四任务上报告了可核对的提升，代价是情绪识别阶段约十秒级额外推理开销。

针对联合音视频模型只输出单条混音而难以分源控制的问题，Soundwich 在冻结流匹配模型上并行生成多条音频干声并共享一条视频轨，主基准上窗口成功率达 93.1% 且窗外活动降至 1.7%，代价是多干声带来显存与耗时增长且复杂重叠场景仍易受干扰。

论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写，用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致，32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈，但语音区分度与聚合口径限制了细粒度排序。

OmniDream 把静音单目视频先扩成全景视频与三维几何，再为每个发声对象生成干声并用光线追踪仿真脉冲响应来渲染一阶 Ambisonics，在自建集与 YT360 上报告了空间对齐提升，但全景扩展耗时约 1680 秒是主要代价。