视频到声音生成

针对无声视频生成音频时语义错位与时间错位并存的问题，论文用音视频时间对齐加图文语义引导的流匹配扩散变换器做基座，再用 ImageBind 与 Synchformer 自动排序的偏好优化做对齐微调，在 VGGSound 测试集上以 151M 参数取得分布与同步指标的领先，但高帧率编码与多轮偏好迭代仍带来额外开销与过优化风险。

该工作针对统一视频文本到音频生成中音频歧义导致的数据语义冲突与跨任务和任务内竞争，用高对齐的 SoundAtlas 数据做语义桥并以三阶段渐进训练解耦竞争，在 VGGSound-Omni 上实现三任务统一最优，但强依赖数据流水线质量与分阶段训练成本。

针对视频配音只做可见环境声、做不了语音与画外声共存的问题，OmniSonic 用视频加文本联合条件的流匹配扩散与三路交叉注意力加门控融合，在自建的三场景基准上同时生成语音与环境声，主观与客观指标报告全面领先，但时间同步仍弱于带细粒度同步视觉特征的基线。

Orbis 要解决如何把人工细胞中 Min 波的反应扩散动力学变成可作曲的光声运动，方法是按设定化学配比合成人工细胞并用图像跟踪把波位置转为环形声光定位，已在展览系统中实现三条件与三序列的对应呈现，代价是当前依赖预录视频且复现需要专门生物实验条件。

针对视频生音频只学外观关联而忽视撞击轻重的问题，PAVAS 用估计出的物体质量与速度去调制潜在扩散模型，在 VGGSound 与 VGG-Impact 上同时报告了分布、感知与物理一致性证据，但依赖多组冻结视觉模块且未验证延迟与成本。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

针对已有视频音轨需随画面增删替换音效的问题，AV-Edit 先用细粒度对比掩码预训练学到音画对齐表示，再用相关门控加多模态扩散重生成，在 VGG-Edit 三类编辑与 VGGSound 生成上报告最优距离与质量，代价是原文承认不能无失真保留原音。

针对通用视频背景音乐在时间对齐与多视角特征融合上的困难，Diff-V2M 用节奏预测器从视频估计低分辨率起音检测函数并以情感先行、语义与节奏并行融合的分层交叉注意力约束音频潜在扩散，在域内混合测试与域外 V2M-Bench 上取得更优的客观指标与主观偏好，代价是依赖场景切分与帧差等粗粒度视觉动态且缺乏显式风格控制。

Sonic4D 针对 4D 生成只有画面没有空间音频的问题，用单目视频生成动态场景与单声道音频、再定位声源三维轨迹并做房间脉冲响应卷积，在 STARSS23 子集上方位误差降到 18.6 度、用户偏好达 89.03%，代价是依赖多个预训练专家模型与室外场景近似为室内混响。

针对视频语言数据只写画面而把音乐当弱关联的问题，VMChill 以预告片为源做场景切分与视听分路标注，并在视频理解、视频生成与音乐生成上报告可复述的对照结果，其代价是自动合并标注仍需人工修正且分布偏向影视娱乐类预告片。