视频到声音生成

论文针对视频条件下的符号音乐生成中扩散模型内部表示质量不足的问题，提出用高噪声下浅层表示向低噪声下深层表示对齐的 U-SRA 方法，在 BGM909 上以检索精度和接近真实数据的音高节奏指标超过 Diff-BGM，代价是需要额外的教师分支与对齐投影计算。

WorldSonus 针对无声世界模型，用 100 ms 因果分块的自回归扩散同时解决实时跟播、中途改提示词和视角对齐立体声问题，在只看过去与当前帧的条件下取得可比双向模型的音质与更强的左右一致性，代价是单块 41.2 ms 计算与对高质量立体声数据的依赖。

PLACE 面向文本、视频、可选音频任意组合到双耳波形的生成问题，选择冻结 AudioX 与 SAO 解码器并外挂空间对齐与低秩潜适配器，在 MRSAudio 上小规模微调并用解码音频的 ILD 与 ITD 监督方向，在 FAIR-Play 多数客观指标上优于 ViSAGe 且在 BEWO-1M 上保持部分竞争力，代价是在部分文本到音频指标与分布内主观评分上 …

该综述把联合生成、跨模态生成与联合编辑统一为同一视听联合分布上的三个问题，用五轴设计分类比较文献，并指出对应关系与单流质量需同时保持，而空缺的离散联合建模与音频到视频方向是主要代价与缺口。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对 SNES 游戏视频到音乐生成问题，论文用 217.6 小时视频配 485 小时干净配乐构造数据集，对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器，其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL，代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。

针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题，FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据，在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力，代价是更复杂的训练配比与推理条件构造。

针对无声视角视频直接生成一阶 Ambisonics 时内容与几何纠缠的问题，该文用第一阶段生成单声道 W 保语义、第二阶段残差空间化生成 XYZ 保方向的选择，在 YT-AmbiSem 上同时取得最优语义与空间指标，但强空间化仍受能量预算约束且复杂声场景泛化待验证。

针对无声视频需要分轨可编辑和空间可控配音的问题，VisionSFX 用视觉语言模型拆事件、每个事件独立调用预训练音频模型生成、再用光流加深度做免训练双耳渲染，代价是本研究未报告客观音质与定位精度指标且依赖现场演示条件。

针对综艺节目非写实、强喜剧与强同步音效需求，ARCHES 用规划-生成-检查-分派精修的多智能体循环结合检索增强与经验记忆，在 VSSE-Bench 上把 LSD 降到 0.77 dB、起音误差降到 0.048 秒，代价是依赖大模型判断与多轮迭代开销。

Passing 把一段多摩单轨车窗连续录像堆成时空体并沿非线性截面重采样出无尽画面，再用去掉视觉语义分支、只留时间对齐与车内环境声语义锚定的 SpecMaskFoley 实时生成同步声，代价是最终展览声景没有可复算的客观正确性指标，只能靠现场稳定性和艺术协商来收敛。

论文在事件决定声音、外观只影响视频的结构因果模型下证明并验证共享隐变量仍学颜色等视觉捷径，而对 nuisance 做反事实不变干预才能恢复因果预测，代价是需要已知且可增强的 nuisance 并在分布内付出小额误差。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

论文提出只变一个物理因素的时间对齐视频对与单视频模式测试来审计视频生音频模型，用方向一致性与敲击对齐度量揭示文本提升语义却损害同步、像素物理推理普遍偏弱的代价。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

针对只用 8 秒短片段训练却要在数十秒到 5 分钟长视频上生成对齐音频的问题，论文用非因果 Mamba-2 替换位置编码依赖并以分层压缩加时间与多模态路由做对齐，在 UnAV100 与 LongVale 长测上取得分布与同步优势，代价是阈值与压缩结构需要仔细选择。

针对视频文本到音频中视觉压倒文本且缺少事件级可控定义的问题，论文提出事件中心分层控制任务、EchoFoley-6k 基准与免训练智能体 EchoVidia，最强证据是时间 0.72、音色 0.78、音量 0.75 可控性与人评指令遵循 3.80 同时领先基线，代价是依赖外部视频大模型与生成模块且需两速推理。

针对无声电影片段生成与画面帧级对齐的立体声拟音问题，FoleyDesigner 选择先分解为分层拟音脚本再用视觉轨迹条件扩散逐事件生成并做多智能体混音，最强证据是时空对齐表上 IoU 达 32.2 与 GCC 最低 48.79，代价是密集重叠并发事件仍会出现定位误差且依赖仿真数据与多阶段流水线。

针对视频生音频中多事件时间不可控与画面线索不足的问题，FoleyDirector 用 1 秒一段的结构化时间脚本加适配器做细粒度时间控制，在 DirectorBench 上把总体 F1 从 0.2451 提升到 0.4819，代价是需要逐段脚本标注与双路推理。

针对多声源视频中只生成文本指定声音的选择性视频到音频任务，SELVA 用文本调制的视频编码器加两阶段自监督混合训练实现目标声源分离生成，在 VGG-MONOAUDIO 上同时改善语义与时间对齐，但仍受训练数据噪声与细粒度文本理解限制。