视频到声音生成

论文解决多分钟用户生成视频的内嵌式音频描述问题，用 36 小时盲聋共创标注和 TTS 渲染加判分模型的端到端评测证明加时间约束提示可大幅减少压话但叙事节奏仍落后于人工。

共分析 47 篇语音/AI 论文

UniAVC 先在单模态数据上练好视频和音频各自的生成与编辑能力再冻结主干、只用少量配对数据训练跨模态桥，并用两条不对称噪声轨迹加干净分支子任务支持联合生成、跨模态生成与指令编辑，最强证据来自联合编辑与跨模态基准上的可比结果，代价是两阶段大算量与双流全轨迹推理开销。

针对视频中发声线索细小且分散的问题，SCR-V2A 先定位与声音事件判别相关的图像区域再做双路视觉条件去控制音频扩散模型，在 VGGSound 上分布匹配最好、在 CountixAV 上保持泛化，但跨模态对齐并非全面最优且依赖定位质量。

共分析 25 篇语音/AI 论文

论文针对视频条件下的符号音乐生成中扩散模型内部表示质量不足的问题，提出用高噪声下浅层表示向低噪声下深层表示对齐的 U-SRA 方法，在 BGM909 上以检索精度和接近真实数据的音高节奏指标超过 Diff-BGM，代价是需要额外的教师分支与对齐投影计算。

WorldSonus 针对无声世界模型，用 100 ms 因果分块的自回归扩散同时解决实时跟播、中途改提示词和视角对齐立体声问题，在只看过去与当前帧的条件下取得可比双向模型的音质与更强的左右一致性，代价是单块 41.2 ms 计算与对高质量立体声数据的依赖。

PLACE 面向文本、视频、可选音频任意组合到双耳波形的生成问题，选择冻结 AudioX 与 SAO 解码器并外挂空间对齐与低秩潜适配器，在 MRSAudio 上小规模微调并用解码音频的 ILD 与 ITD 监督方向，在 FAIR-Play 多数客观指标上优于 ViSAGe 且在 BEWO-1M 上保持部分竞争力，代价是在部分文本到音频指标与分布内主观评分上 …

该综述把联合生成、跨模态生成与联合编辑统一为同一视听联合分布上的三个问题，用五轴设计分类比较文献，并指出对应关系与单流质量需同时保持，而空缺的离散联合建模与音频到视频方向是主要代价与缺口。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对 SNES 游戏视频到音乐生成问题，论文用 217.6 小时视频配 485 小时干净配乐构造数据集，对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器，其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL，代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。

针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题，FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据，在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力，代价是更复杂的训练配比与推理条件构造。

针对无声视角视频直接生成一阶 Ambisonics 时内容与几何纠缠的问题，该文用第一阶段生成单声道 W 保语义、第二阶段残差空间化生成 XYZ 保方向的选择，在 YT-AmbiSem 上同时取得最优语义与空间指标，但强空间化仍受能量预算约束且复杂声场景泛化待验证。

针对无声视频需要分轨可编辑和空间可控配音的问题，VisionSFX 用视觉语言模型拆事件、每个事件独立调用预训练音频模型生成、再用光流加深度做免训练双耳渲染，代价是本研究未报告客观音质与定位精度指标且依赖现场演示条件。

针对综艺节目非写实、强喜剧与强同步音效需求，ARCHES 用规划-生成-检查-分派精修的多智能体循环结合检索增强与经验记忆，在 VSSE-Bench 上把 LSD 降到 0.77 dB、起音误差降到 0.048 秒，代价是依赖大模型判断与多轮迭代开销。

Passing 把一段多摩单轨车窗连续录像堆成时空体并沿非线性截面重采样出无尽画面，再用去掉视觉语义分支、只留时间对齐与车内环境声语义锚定的 SpecMaskFoley 实时生成同步声，代价是最终展览声景没有可复算的客观正确性指标，只能靠现场稳定性和艺术协商来收敛。

论文在事件决定声音、外观只影响视频的结构因果模型下证明并验证共享隐变量仍学颜色等视觉捷径，而对 nuisance 做反事实不变干预才能恢复因果预测，代价是需要已知且可增强的 nuisance 并在分布内付出小额误差。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

论文提出只变一个物理因素的时间对齐视频对与单视频模式测试来审计视频生音频模型，用方向一致性与敲击对齐度量揭示文本提升语义却损害同步、像素物理推理普遍偏弱的代价。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读