音视频生成

针对扩散说话头推理慢与长视频接缝断裂问题，READ 用 32×32×8 时空压缩加 SpeechAE 对齐音频与 A2V-DiT 生成，并在 HDTF 上以 4.421 骨干耗时取得 Sync-C 8.658 的竞争精度，代价是需 8 步采样与 Split-CFG 增加约 50% 耗时。

该文把随语音手势生成改成随音频推进的滚动扩散窗口，用逐帧递增的噪声排布和一次性解码多帧的梯子加速，在 ZEGGS 与 BEAT 上提升连贯性与多样性，代价是梯子步长增大时在表现力强的数据上会出现平滑与抖动问题。

针对整序列扩散在超长语音上泛化下降与延迟随长度增长的问题，该文用固定窗口历史运动加当前音频生成动态条件，再用单层扩散头逐帧去噪，在 BIWI 长序列与消融对照上显示出同步与稳定优势，但短序列口型开合仍有可比基线。

该工作以 Wan2.1 为基座，先用 LoRA 适配长视频，再只更新音频交叉注意力并用自动构造的 DPO 偏好对提升口型与表情，最后在推理侧用空间掩码加权的 Mask-CFG 实现三人以上多人音频驱动，最强证据是 HDTF 与 CelebV-HQ 上的 FID 与 FVD 领先，代价是三阶段大算力训练与推理时多路条件前向的额外开销。

针对音乐舞蹈需同时逼真、对拍、多样、物理合理且可编辑的问题，论文以文本到动作掩码模型为先验并外挂音乐塔与姿态塔，在 FineDance 上把运动质量与多样性推高并实现快速推理，但节拍对齐并未登顶且依赖渐进训练与推理优化协同。

CutCraft 把多镜头音画生成从感知连贯拉回到可核验的剪辑执行，用 295 条结构化提示与分层混合评估在 13 个主流模型上检验镜头结构、转场与蒙太奇的指令遵从，并以规划-分镜合成-后期合成的智能体基线揭示离散剪辑控制可提升而高阶蒙太奇仍难的代价边界。

在仅双路音频输入的整段对话生成任务中，ECHO 以确定性锚点建立语音主导的稳定基线、再以残差流匹配与语义组缩放补充一对多的倾听变化，在约 120 小时对话基准上同时改善说话保真与倾听真实感与多样性，代价是时序稳定性与单样本实时因子未全面领先且依赖弱条件窗口的提纯。

针对全曲音乐视频需要把歌曲语义与音乐结构转成连贯视觉发展的难题，MVWeaver 用层次化规划把总概念逐级展开为可渲染镜头，并用从真实歌曲-MV 对中学习到的歌曲到视觉桥接来条件化规划，证据显示其在歌曲贴合与长程连贯上优于同条件基线，但增益依赖桥接监督与层次资产复用。

AVENUE 用 1291 个源片段和 7957 条指令把音频、视频与音视频耦合编辑分开考核，并用样本级四维评测揭示现有三类范式在保持未编辑模态上普遍失效，且反演式音频模型在保真与可编辑性间最均衡。

针对长时同步音视频生成中视频连贯、音频连贯与跨模态同步三重耦合难题，Encore 以重叠运动帧迭代与参考锚点分工配合可学习的自适应信号路由实现无限长度生成，并在扩展的 VerseBench 上以更低的时序漂移与更高的身份与同步指标验证效果，同时保留高分辨率与语音能力。

针对文生音视频评估重视频轻音频的问题，PRISM-Bench 以语音/音乐/音效与 On-screen/Off-screen 交叉分层与四维度 35 条细粒度标准组织 900 条人工校验样本，并用盲式并排、以真值为锚的 MLLM-as-a-Judge 两阶段打分实现超过 70% 的人类一致性，揭示前沿闭源模型在可感保真度上已超真值但在可见声源同步与精细声音控 …

论文研究文本到音频视频联合生成中的语义泄漏与声源归属错误，提出只在推理时对文本-视频、文本-音频、音频-视频三条交叉注意力边加偏置的转向方法，在 100 个挑战提示上把 Qwen 声源归属分从 0.1216 提高到 0.1349，代价是约 2.5 倍推理开销。

音视频生成 | 7.5/10

音视频生成 | 7.2/10

音乐生成 | 7.1/10

音视频生成 | 7.3/10

空间音频 | 6.9/10

音视频生成 | 10.0/10

音视频生成 | 8.9/10

音视频生成 | 8.3/10