音视频生成

共分析 146 篇语音/AI 论文

该论文针对以产品为中心的广告视频生成，构建了 30 万条参考图-提示-视频三元组与六维评测体系，并用微调实验证明数据能改善多镜头连贯性与卖点呈现，但细粒度保真仍有代价与局限。

针对音乐生成多人协调舞蹈时固定人数与身份混淆问题，ChainDance 把联合生成改写为沿舞者的条件链，用冻结单人扩散主干加两个轻量编码器与推理时噪声优化，在 AIOZ-GDance 三人组上报告 GMR 为 11.63 与 GMC 为 83.74，代价是全局优化把推理从 0:06 拉长到 0:15。

论文要解决无成对电影声画编辑数据时如何执行组合指令，方法是把合成音频编辑与自监督声画掩码重建加入微调，在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限，且保留了原有单模态编辑能力。

DMAD 针对少步学生需要拟合自身演化分布的高成本问题，用两个判别器头的对数密度比分类代替辅助分数拟合，在 ImageNet 单步 1.04、COCO 四步 14.47、Wan14B 四步 85.15 上取得对照内最优，但每步一次判别器更新与缓存教师样本等条件不可去掉。

论文要解决文本生成 5 秒有声视频时的语义与时间对齐问题，采用视频流加音频流的双流扩散结构加联合训练，在语音质量与同步指标上给出证据，代价是两阶段蒸馏与超分带来的额外训练和推理开销。

MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成，用共享潜变量样本加各模态独立解码器保持联合一致，并用更丰富观测的自蒸馏从不完整样本中学习，在三个基准上主要提升一对多与无条件联合一致性，单目标质量保持可比。

Prism 针对 2K 联合生成中全注意力二次代价与冗余稀释问题，用宏区自适应块形状与混合块选择实现 2.5 倍训练加速并在 2K 评测上提升质量，但结论依赖自建 2K 数据与特定骨干和阈值。

Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题，先用加噪历史做表示自监督训出因果教师，再让生成器与两个分数模型共用同一因果前缀做分布匹配，在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%，再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。

SepGen 要解决的是联合音频视频生成只有一条混合声、无法逐声源定位与重渲染的问题，它用受保护的混合声通道加两条分轨通道实现生成与分离两种模式，最强证据是真实录音与跨生成器场景上的分离与听感对比，代价是固定两条分轨与额外的去噪与引导计算。

论文针对语音驱动三维人脸动画中口型到位但过渡太平的问题，提出经过辅音途经点的唇部路径比度量，在四个方法上发现相对真实语音的整形缺失，并用受控阻尼校准与感知试验说明削弱是可感知的。

针对联合音视频扩散后训练中跨模态作用位置与多奖励冲突随训练漂移的问题，该工作用双向跨注意力预门响应做 token 与层级路由，并用分支内冲突系数对先验权重做残差修正，在 LTX-2 与 LTX-2.3 上以更均衡的多奖励轨迹提升质量、对齐与同步，但统一奖励与跨架构泛化仍未解决。

针对多模态情绪冲突、缺显式表达指导与文本误差向后传播问题，EmAvatar 用多视角并行感知加多轮问答裁决做情绪识别，再用合成脚本加迭代精修指导音视频合成，在 AvaMERG 四任务上报告了可核对的提升，代价是情绪识别阶段约十秒级额外推理开销。

针对联合音视频模型只输出单条混音而难以分源控制的问题，Soundwich 在冻结流匹配模型上并行生成多条音频干声并共享一条视频轨，主基准上窗口成功率达 93.1% 且窗外活动降至 1.7%，代价是多干声带来显存与耗时增长且复杂重叠场景仍易受干扰。

论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写，用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致，32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈，但语音区分度与聚合口径限制了细粒度排序。

OmniDream 把静音单目视频先扩成全景视频与三维几何，再为每个发声对象生成干声并用光线追踪仿真脉冲响应来渲染一阶 Ambisonics，在自建集与 YT360 上报告了空间对齐提升，但全景扩展耗时约 1680 秒是主要代价。

该综述把联合生成、跨模态生成与联合编辑统一为同一视听联合分布上的三个问题，用五轴设计分类比较文献，并指出对应关系与单流质量需同时保持，而空缺的离散联合建模与音频到视频方向是主要代价与缺口。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音到 3D 人脸跨模态映射难与级联误差大的问题，ES-3DF 用几何纹理解耦加双分支对齐与多槽记忆对比学习直接重建带纹理 3D 脸，在地标与身份特征指标上优于 CMP 与 VoiceStyle，代价是唇部等动态部位推断仍不适定且依赖受限数据集。

针对声音到人脸一对多映射导致口型不一致的问题，该文把可见发音拆成张开、展圆、前突三个方向，先用语音发音记忆检索方向运动再用网格拓扑组合成表面一致的顶点运动，在保持整体重建的同时改善了唇部距离与速度误差，代价是两阶段训练且不建模上半脸随机动态与口内结构。