音视频生成

📄 Lights, Camera, Carbon: Architectural Scaling Laws for Video Generation Energy Consumption #音视频生成 #扩散模型 6.9/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 0.4/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.9/10 | 前50% | #音视频生成 | #扩散模型 | arxiv 👥 作者与机构 第一作者：Nidhal Jegham（University of Rhode Island, Sustainable AI Group） 通讯作者：未说明 作者列表：Nidhal Jegham（University of Rhode Island, Sustainable AI Group）、Boris Gamazaychikov（Sustainable AI Group, Paris, France）、Sasha Luccioni（Sustainable AI Group, Montreal, Canada） 💡 毒舌点评 该论文从架构第一性原理出发推导了一套视频生成能耗缩放律，在多模型、多GPU上实现了低于3% MAPE的预测精度，工程框架设计扎实。然而，其核心贡献完全面向视频生成领域，与语音、音乐、音频社区的关联极弱——即便涉及音视频联合生成，分析也仅将音频视为CFG引入的额外视频前向pass开销，未探讨音频模态本身的任何特性。对音频领域读者而言，其直接价值微乎其微。 ...

📄 DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation #音视频生成 #扩散模型 #多模态模型 #说话人验证 #多任务学习 8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 🔥 8/10 | 前25% | #音视频生成 | #扩散模型 | #多模态模型 #说话人验证 | arxiv 👥 作者与机构 第一作者：Xu Guo（清华大学） 通讯作者：Xiangwang Hou（清华大学）、Songtao Zhao（字节跳动） 作者列表：Xu Guo（清华大学）、Fulong Ye（字节跳动）、Qichao Sun（字节跳动）、Liyang Chen（清华大学）、Bingchuan Li（字节跳动）、Pengze Zhang（字节跳动）、Jiawei Liu（字节跳动）、Songtao Zhao（字节跳动）、Qian He（字节跳动）、Xiangwang Hou（清华大学） 💡 毒舌点评 这篇文章的工程野心令人印象深刻——硬生生把三个各自为战的音视频生成任务塞进一个框架，双边对称注入、多阶段课程学习、双层级解耦，把身份绑定和任务冲突这些硬骨头啃了一遍。但读完之后如鲠在喉：Syn-RoPE本质上是RoPE的Margin分区技巧，结构化字幕是MLLM提示工程的产物，三阶段训练是课程学习的实例化——这些精巧的“组合创新”固然有效，却掩盖不了方法层面未见根本性突破的事实。更要命的是，一个号称“统一框架”的顶会投稿，代码和模型权重双双缺失，数据集获取方式也语焉不详，这严重削弱了其学术可信度和传播潜力。论文把“统一”的故事讲得挺好，但开源精神上显然还没“统一”过来。 ...

📄 REST: Diffusion-based Real-time End-to-end Streaming Talking Head Generation via ID-Context Caching and Asynchronous Streaming Distillation #音视频生成 #扩散模型 #知识蒸馏 7.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.7/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.3/10 | 前50% | #音视频生成 | #扩散模型 | #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Haotian Wang（中国科学技术大学） 共同第一作者：Yuzhe Weng（中国科学技术大学） 通讯作者：Jun Du（中国科学技术大学） 作者列表：Haotian Wang (中国科学技术大学), Yuzhe Weng (中国科学技术大学), Jun Du (中国科学技术大学), Haoran Xu (iFLYTEK), Xiaoyan Wu (iFLYTEK), Shan He (iFLYTEK), Bing Yin (iFLYTEK), Cong Liu (iFLYTEK), Qingfeng Liu (中国科学技术大学/iFLYTEK，机构标注为双隶属） 💡 毒舌点评 这篇论文是diffusion-based talking head领域一次扎实的系统工程突破，首次在单卡上实现了端到端扩散模型的实时流式生成。ID-Context Cache将KV缓存思想优雅地适配到扩散Transformer的半自回归场景中，而异步流式蒸馏（ASD）策略通过信息论对比和运动平滑约束，有效缓解了流式生成固有的误差累积问题，实验效果确实亮眼。然而，冷静审视后不难发现，其对语音/音频领域本身的贡献相当有限——SpeechAE基本承袭READ架构，核心驱动力来自Whisper特征，并未在声学建模或音频表征层面提出新见解。净输入/输出的思维来看，论文解决的核心问题（实时性、流式）和采用的关键技术（Cache、蒸馏、高压缩VAE）均是视频生成和多模态社区的经典思想，其对语音/音频研究者的方法论启发远小于对视觉生成社区的工程示范。此外，完全不开源、不提供模型权重或在线demo，在当前顶会语境下显得诚意不足，39页附录中的细节虽多，但仍不足以弥补复现门槛极高的缺陷。 ...

📄 SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos #音视频生成 #流匹配 #扩散模型 #对比学习 #长音频处理 7.6/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | #音视频生成 | #流匹配 | #扩散模型 #对比学习 | arxiv 👥 作者与机构 第一作者：Amir Dellali（ETH Zurich） 通讯作者：Amir Dellali（ETH Zurich）、Luca A. Lanzendörfer（ETH Zurich）、Florian Grötschla（ETH Zurich）、Roger Wattenhofer（ETH Zurich） 作者列表：Amir Dellali（ETH Zurich）、Luca A. Lanzendörfer（ETH Zurich）、Florian Grötschla（ETH Zurich）、Roger Wattenhofer（ETH Zurich） 💡 毒舌点评 该工作将 Shortcut 模型和掩码流匹配巧妙地嫁接到视频到音频生成，实现了少步采样和长音频扩展，实验中同步指标和人类偏好均有明显优势，实用性较强。但核心方法多为已有技术的组合，对比学习同步模型与 Shortcut 损失的创新增量有限，且未开源代码与模型，削弱了其学术推动力。 ...

📄 Self-Supervised Flow Matching for Scalable Multi-Modal Synthesis #音视频生成 #流匹配 #自监督学习 #多模态模型 #扩散模型 7.2/10 | 创新 1.5/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | #音视频生成 | #流匹配 | #自监督学习 #多模态模型 | arxiv 👥 作者与机构 第一作者：Hila Chefer (Black Forest Labs) 与 Patrick Esser (Black Forest Labs)（并列第一作者） 通讯作者：Hila Chefer hila@blackforestlabs.ai, Patrick Esser patrick@blackforestlabs.ai 作者列表：Hila Chefer（Black Forest Labs），Patrick Esser（Black Forest Labs），Dominik Lorenz（Black Forest Labs），Dustin Podell（Black Forest Labs），Vikash Raja（Black Forest Labs），Vinh Tong（Black Forest Labs），Antonio Torralba（MIT, Black Forest Labs），Robin Rombach（Black Forest Labs） 💡 毒舌点评 这篇工作用一个巧妙的双时间步噪声调度在流匹配中灌入了自监督表征学习，彻底摆脱了对冻住外部编码器的依赖，多模态齐头并进的效果让人眼前一亮。然而，音频实验更像顺带的点缀，真正的音频领域读者难以从中获得实质推动力，且没有任何开源承诺，工业界光鲜的“self-flow”目前还止于纸上。 ...

📄 STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits #音视频生成 #语音合成 #扩散模型 #自回归模型 #多模态模型 6.8/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.8/10 | 前50% | #音视频生成 | #扩散模型 | #语音合成 #自回归模型 | arxiv 👥 作者与机构 第一作者：Foivos Paraperas Papantoniou（Imperial College London, UK） 通讯作者：Foivos Paraperas Papantoniou（Imperial College London, UK） 作者列表：Foivos Paraperas Papantoniou（Imperial College London, UK）、Stathis Galanakis（Imperial College London, UK）、Rolandos Alexandros Potamias（Imperial College London, UK）、Bernhard Kainz（Imperial College London, UK; FAU Erlangen–Nürnberg, Germany）、Stefanos Zafeiriou（Imperial College London, UK） 💡 毒舌点评 这篇论文把一个音频驱动说话人脸生成和一个新视角合成任务塞进了同一个框架，工程整合能力值得肯定，自强迫训练策略和纯ID驱动生成确实让动画没那么“僵尸”了。但本质上，它就是拿Arc2Face当骨架，套上AnimateDiff的时间层，加个ReferenceNet，再用自强迫和唇读损失微调一下——每个组件都是现成的，论文没在理论或架构上给出让人眼前一亮的新洞见。最致命的还是不提供代码和模型，在如今“没有开源就别想拿高分”的顶会气氛下，这种做法无异于自断一臂，尤其是实验结果里那些微小的LSE-C领先，没给置信区间，完全是给人留质疑的把柄。 ...

📄 T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation #基准测试 #多模态模型 #音视频生成 7.9/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.7/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.9/10 | 前25% | #音视频生成 | #多模态模型 | #基准测试 | arxiv 👥 作者与机构 第一作者：Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang（并列一作，均标注为南京大学） 通讯作者：Jiaheng Liu（南京大学） 其他作者：Yuanxing Zhang（快手科技 Kling Team）、Jiahao Wang（南京大学）、Jialu Chen（快手科技 Kling Team）、Miao Deng（南京大学）、Chenxi Liao（南京大学）、Yize Zhang（南京大学）、Yubin Guo（南京大学）、Zhaoxiang Zhang（中国科学院自动化研究所） 💡 毒舌点评 这篇论文在 T2AV 评估领域迈出了扎实的一步：500条高复杂度prompt配合同一框架下的双层级评估，确实暴露了SOTA模型在“音频真实感”和“长时叙述”上的系统性瓶颈，诊断价值明确。但MLLM-as-a-Judge的可靠性验证仅覆盖50个样本且音频Realism一致性较弱（L1高达1.420），若不能规模化解决judge bias，这套框架的权威性就只能停留在“参考级”而非“标准级”。 ...

📄 Towards Streaming Synchronized Spatial Audio Generation via Autoregressive Diffusion Transformer #空间音频 #音视频生成 #扩散模型 #流式处理 #自回归模型 #对比学习 6.6/10 | 创新 1.3/2 | 严谨 0.9/1.5 | 实验 0.7/1.5 | 清晰 0.7/1 | 影响 0.9/1.5 | 开源 0.8/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 ✅ 6.6/10 | 前50% | #音视频生成 | #扩散模型 | #空间音频 #流式处理 | arxiv 👥 作者与机构 第一作者（共同一作）：Ke Lei（浙江大学） 共同一作：Yu Zhang（字节跳动） 共同一作：Changhao Pan（浙江大学） 作者列表：Xueyi Pu（浙江大学）、Wenxiang Guo（浙江大学）、Ruiqi Li（字节跳动）、Zhou Zhao（浙江大学，通讯作者） 💡 毒舌点评 这篇文章在流式空间音频生成上做出了明确的架构贡献——自回归做全局规划、扩散做局部渲染的思路干净利落，SVAC的空间负样本设计也很有物理感知能力。但整体evaluation偏弱，尤其是缺少与最近强基线（如MovieGen-Audio、Frieren）的直接对比，且ablation中只展示了去掉某组件的退化程度，缺少为什么这套组合设计优于其他可能组合（如AR-only或Diffusion-only变体）的深度分析。另外，伪FOA预训练策略的随意性以及对总生成时长的回避讨论，让人觉得像一份扎实的工程系统报告而非有深刻洞察的顶会文章。 ...

📄 MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation #基准测试 #模型评估 #音视频生成 #多模态模型 #评测协议 🔥 8.1/10 | 前25% | #基准测试 | #模型评估 | #音视频生成 #多模态模型 | arxiv 学术质量 5.5/7 | 影响力 1.5/2 | 可复现性 1.1/2 | 置信度 高 👥 作者与机构 第一作者：Yujie Wei（复旦大学） 通讯作者：Hongming Shan（复旦大学），Xihui Liu（香港大学） 作者列表：Yujie Wei（复旦大学），Yujin Han（香港大学），Zhekai Chen（香港大学），Yongming Li（复旦大学），Kaixun Jiang（复旦大学），Zhihang Liu（阿里巴巴通义实验室），Quanhao Li（复旦大学），Zhiwu Qing（阿里巴巴通义实验室），Xiang Wang（阿里巴巴通义实验室），Zhen Xing（阿里巴巴通义实验室），Ruihang Chu（阿里巴巴通义实验室），Lingyi Hong（复旦大学），Yefei He（浙江大学），Junjie Zhou（阿里巴巴通义实验室），Junqiu Yu（复旦大学），Yang Shi（北京大学），Difan Zou（香港大学），Kai Zhu（阿里巴巴通义实验室），Shiwei Zhang（阿里巴巴通义实验室），Yingya Zhang（阿里巴巴通义实验室），Yu Liu（阿里巴巴通义实验室），Xihui Liu（香港大学），Hongming Shan（复旦大学） 💡 毒舌点评 这篇工作精准切入了多镜头音视频（MSAV）生成这一前沿任务的核心评估痛点——现有工具链在范围、多样性和评估流程上的全面缺失。其贡献在于首次构建了覆盖四维数据（视频、音频、镜头、参考条件）的系统基准，并设计了一套旨在提升鲁棒性的自适应混合评估框架，成果扎实。然而，其本质是为一个新兴领域制定“考试大纲”和“评分标准”，而非提出新的“解题思路”或“知识”，在推动生成模型核心架构创新上作用间接。更关键的是，整套评估体系严重依赖多个强大的商业/闭源基础模型（如GPT-5.4, Qwen3.5, Gemini）作为裁判或工具，这不仅抬高了使用门槛，更引入了难以量化和复现的系统性偏差风险，其评估的“元可靠性”值得商榷。 ...

📄 OmniNFT: Modality-wise Omni Diffusion Reinforcement for Joint Audio-Video Generation #音视频生成 #强化学习 #流匹配 #多模态模型 ✅ 6.9/10 | 前25% | #音视频生成 | #强化学习 #流匹配 | #强化学习 #流匹配 | arxiv 学术质量 5.5/8 | 影响力 1.5/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 通讯作者：Feng Zhao（中国科学技术大学） 项目负责人：Lin Song（京东探索研究院） 作者列表：Guohui Zhang（中国科学技术大学）、Xiaoxiao Ma（中国科学技术大学）、Jie Huang（中国科学技术大学）、Hang Xu（中国科学技术大学）、Hu Yu（中国科学技术大学）、Siming Fu（京东探索研究院）、Yuming Li（北京大学）、Zeyue Xue（京东探索研究院）、Lin Song（京东探索研究院）、Haoyang Huang（京东探索研究院）、Nan Duan（京东探索研究院）、Feng Zhao（中国科学技术大学） 💡 毒舌点评 亮点：论文对联合音视频生成中应用强化学习（RL）时出现的“优化不匹配”问题（优势值不一致、梯度不平衡、信用分配均匀）进行了系统且令人信服的分析，提出的三个针对性解决方案（模态路由、梯度手术、区域重加权）逻辑自洽且有实验验证。 短板：本质上是将多个启发式技术组合到现有的流匹配扩散模型RL微调框架（DiffusionNFT）上，虽然有效，但创新性更偏向于工程优化和问题诊断，缺乏一个统一的理论视角或更根本的算法突破，使其听起来更像是一个“针对特定问题的实用补丁合集”。 📌 核心摘要 要解决什么问题：在使用强化学习（RL）对联合音视频生成模型进行后训练时，直接应用vanilla RL（如GRPO）会导致性能不佳。论文深入分析并指出了三大核心障碍：(i) 多目标优势值不一致（视频和音频的质量评价不总是相关）；(ii) 多模态梯度不平衡（视频分支梯度会干扰音频分支的浅层生成）；(iii) 均匀信用分配（忽略了音视频同步等关键区域的重要性差异）。 方法核心是什么：提出了OmniNFT框架，通过三个协同设计来解决上述问题：(1) 模态级优势路由：分别为视频质量、音频质量和音视频同步计算独立的优势值，并路由到对应的模型分支；(2) 层级梯度手术：在音频分支的浅层Transformer块中，有选择地切断（detach）来自视频分支的梯度，以保护其模态内生成功能；(3) 区域级损失重加权：利用音频分支中V2A交叉注意力图作为关键区域的代理，对损失进行空间上的重新加权，以强化重要区域的优化。 与已有方法相比新在哪里：据作者所知，这是首次系统性地探索将RL应用于联合音视频生成任务，并诊断了其特有的优化不匹配问题。相比于之前单模态（文本到图像/视频）的RL微调方法，OmniNFT的三个组件是专门针对多模态联合生成中的跨模态交互、梯度流和精细对齐问题而设计的。 主要实验结果如何：在JavisBench和VBench上，以LTX-2（19B参数）为骨干模型进行验证。 主实验（表1）：与基础LTX-2相比，OmniNFT在视觉质量（VQ: 2.038 -> 3.326, +63.2%）、音频质量（AQ: 5.197 -> 5.715, +10.0%）和音视频同步（DeSync: 0.569 -> 0.269, -52.7%）上均取得显著提升，整体表现优于同规模的LTX-2+GDPO基线。 消融实验（表3）：逐步添加三个组件，每个组件都带来了性能增益，特别是梯度手术显著提升了音频质量（AQ: 5.523 -> 5.917），区域重加权进一步优化了同步和一致性。 实际意义是什么：该方法为提升联合音视频生成模型的实用性能（高保真、强对齐、细同步）提供了一套有效的后训练方案，可能推动音视频生成技术在内容创作等领域的实际应用。 主要局限性是什么：方法依赖于预训练的双流扩散模型骨干（如LTX-2）和特定的多奖励模型；实验主要在单一骨干和两个基准上进行，泛化性有待进一步验证；部分设计（如层级分离阈值L、重加权系数λ）仍为经验性选择。 🔗 开源详情 代码：论文中未提及代码链接（论文仅提供了项目主页 https://zghhui.github.io/OmniNFT/，未提供代码仓库的GitHub等链接）。 模型权重：论文中未提及（论文提到使用LTX-2作为骨干网络进行实验，但未提供其预训练权重的具体下载链接；论文中提到的奖励模型如VideoAlign、HPSv3、Audiobox Aesthetics、CLAP等也未提供权重链接）。 数据集：论文中未提及（论文在实验中使用了JavisBench和VBench进行评估，但未提供这两个数据集的具体获取链接或开源协议）。 Demo：论文中未提及。 复现材料：论文中未提及（论文提供了一些默认超参数设置，如层边界 L=10，分离比率 αs=0.1，区域重加权强度 λ=1.50，采样组大小 G=8，但未提供完整的训练配置文件、检查点或详细附录）。 论文中引用的开源项目：论文中提及了以下开源项目或工具，但未在文中提供其具体链接。 LTX-Video (文中称 LTX-2)：用于联合音视频生成的骨干模型。 Wan：用于视频生成的项目。 DiffusionNFT：本文方法所基于的微调范式。 UniVerse-1：一种联合音视频生成方法。 JavisBench：用于评估联合音视频生成的基准测试集。 VBench：用于评估视频生成质量的基准测试集。 VideoAlign：用于视频质量评估的奖励模型。 HPSv3：用于视频质量评估的奖励模型。 Audiobox Aesthetics：用于音频质量评估的奖励模型。 CLAP：用于音视频-文本对齐评估的模型。 ImageBind (IB)：用于跨模态对齐评估的模型。 CLIP：用于文本-视频对齐评估的模型。 🏗️ 方法概述和架构 OmniNFT是一个针对联合音视频生成任务的模态感知在线扩散强化学习微调框架。它在预训练的双流扩散模型（如LTX-2）基础上进行优化，整体流程遵循标准的RL微调范式：采样生成、奖励评估、优势计算、策略优化。 ...