音视频生成

📄 Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections 标签：#音视频生成 #Adapter #数据集 #音乐生成 #基准测试 7.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 0.8/1.5 ✅ 7.1/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：中 | #音视频生成 | #Adapter | #数据集 #音乐生成 | arxiv 👥 作者与机构 第一作者：Haven Kim（具体机构未逐作者标注；论文仅列 1 University of California San Diego、2 University of Michigan） 通讯作者：未说明 作者列表：Haven Kim、Zachary Novack、Julian McAuley（原文作者名单拼作 “Juian McAuley”，疑为 Julian McAuley 的笔误）、Hao-Wen Dong；机构信息仅列两个单位，未逐作者映射 💡 毒舌点评 这篇论文用一个 246.4 小时的自托管公共领域电影数据集，直击视频配乐领域“链接腐烂 + 爬取限速”的真实痛点，工程贡献清楚。但对话感知模块本质上是 FiLM 加位置编码的轻量改装，且 GVMGen 在 in-domain 上出现 CLAP 0.43→0.39、KL 0.72→0.73 的倒退，作者仅以“OOD 提升/正则化”解释，缺乏组件级消融和主观听感证据，却仍宣称“improvement over the state-of-the-art baselines”，结论偏强。 ...

📄 UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos 标签：#音视频生成 #扩散模型 #知识蒸馏 #参数高效微调 7.8/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.8/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #扩散模型 | #知识蒸馏 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Yuxuan Zhang（The Chinese University of Hong Kong；Qwen Applications Business Group of Alibaba） 通讯作者：Liwei Wang（The Chinese University of Hong Kong） 作者列表：Yuxuan Zhang（The Chinese University of Hong Kong；Qwen Applications Business Group of Alibaba）、Haozhong Xiong（Qwen Applications Business Group of Alibaba）、Jiayi Song（Qwen Applications Business Group of Alibaba）、Jinpeng Yu（Qwen Applications Business Group of Alibaba）、Yang Shi（Qwen Applications Business Group of Alibaba）、Jiaming Liu（Qwen Applications Business Group of Alibaba）、Ruihua Huang（Qwen Applications Business Group of Alibaba）、Liwei Wang（The Chinese University of Hong Kong） 💡 毒舌点评 这项工作把换脸、语音转换、流式扩散蒸馏和 RoPE 缓存管理拼成了一个工程上相当完整的统一框架，长视频一致性消融也做得比多数 demo 论文扎实。但核心贡献更接近系统集成而非方法突破，且 Stage 3 蒸馏后在音画同步、视频美学和图像质量上反而低于 Stage 1/Stage 2；作者更多强调身份与语音质量改善，对蒸馏带来的同步和视觉质量回退解释不足。代码仓库仅通过项目主页提供，权重、训练数据和数据合成管线未公开，让“首个联合替换框架”的复现与检验仍受限。 ...

📄 Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence 标签：#音视频生成 #多模态模型 #语音合成 #扩散模型 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频生成 | #多模态模型 | #语音合成 #扩散模型 | arxiv 👥 作者与机构 第一作者：Haoyu Zhang（The Chinese University of Hong Kong, Shenzhen；脚注说明工作完成于 LIGHTSPEED 实习期间） 通讯作者：Tianshu Yu（The Chinese University of Hong Kong, Shenzhen）、Yiwen Guo（Independent Researcher） 作者列表：Haoyu Zhang（The Chinese University of Hong Kong, Shenzhen）、Zhipeng Li（LIGHTSPEED）、Xiaoying Tang（The Chinese University of Hong Kong, Shenzhen）、Tianshu Yu（The Chinese University of Hong Kong, Shenzhen）、Yiwen Guo（Independent Researcher） 💡 毒舌点评 VTP+多码本语音单元+Prefix Streaming 的组合在系统层面确实打通了“对话→语音→视频”的完整链路，工程完整度明显高于同类工作，这是值得肯定的。但审稿人最想追问的是：所有关键视频条件都是自动标注或教师模型生成的，VTP first-frame grounding 只有 43%，你如何保证这个“视觉规划”不是模型自圆其说的幻觉？E2E RTF 1.293、首个视频块 3.14 秒后才出，恐怕只能叫“增量生成”而非“实时交互”，这个表达上的克制是聪明的，但离真正的交互体验还很远。 ...

📄 PD-GS: Phoneme-Driven 3DGS for Audio-Driven Talking Heads 标签：#音视频生成 #多模态模型 #端到端 #高效推理 #可解释性 5.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 📝 5.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频生成 | #多模态模型 | #端到端 #高效推理 | arxiv 👥 作者与机构 Ao Fu（ORCID: 0009-0006-9933-9240，邮箱：220232248@seu.edu.cn）：东南大学计算机科学与工程学院；新一代人工智能技术及其跨学科应用教育部重点实验室，南京，中国。 Yi Zhou（ORCID: 0000-0003-3021-3229，邮箱：yizhou.szcn@gmail.com）：东南大学计算机科学与工程学院；新一代人工智能技术及其跨学科应用教育部重点实验室，南京，中国。 论文发表于 Proceedings of the 34th ACM International Conference on Multimedia（MM ‘26），2026年11月10–14日，巴西里约热内卢。DOI: 10.1145/3767308.3835096。 💡 毒舌点评 把音素级离散语言信息和连续音频特征用门控融合注入 3DGS 说话头，确实打中了“漏嘴”（leaky mouth）和嘴部过平滑这一真实痛点；LFM 的可视化也让融合过程有了初步可解释性。但整体仍是对 per-person 说话头框架的组件级改进，而非范式级突破：所谓音素来自离线 ASR+强制对齐，且仅 2 个受试者的消融与跨数据集实验支撑一个高达 40 音素的词汇表，证据链偏单薄；代码权重一概未公开，可复现性近于零。把“phoneme-driven”的普适性说到太满之前，至少应给出多身份、多语言、对 ASR 噪音的鲁棒性分析。 ...

📄 Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming 标签：#音视频生成 #后训练 #扩散模型 #流式处理 #音频理解 7.4/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.4/1.5 ✅ 7.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #后训练 | #扩散模型 #流式处理 | arxiv 👥 作者与机构 共同第一作者：Menglin Han（Vorch Team；同济大学）、Yang Ding（Vorch Team），均标注 * 通讯作者：Zhangkai Ni（同济大学）、Lin Ma（机构未说明）、Yaohui Wang（Vorch Team），均标注 † 作者列表：Menglin Han（Vorch Team；同济大学）、Yang Ding（Vorch Team）、Yulei Lu（Vorch Team）、Haoran Yu（Vorch Team；哈尔滨工业大学(深圳)）、Xin Ma（Vorch Team）、Junyi Chen（Vorch Team；上海交通大学）、Zhangkai Ni（同济大学）、Lin Ma（机构未说明）、Yaohui Wang（Vorch Team） 💡 毒舌点评 亮点是把双向 LTX2.3 的短片段生成能力拆成“因果块 + 稳定前缀窗口 + 显式 LLM 语音规划”，在两分钟 T2AV 上做到 27.12 FPS 并维持较低 WER，工程完成度很高。短板是训练语料和分布蒸馏教师都来自同一双向 LTX2.3，存在明显自举闭环；对比的流式基线只能跑到 30 秒，且论文没有提供代码、权重或数据，验证可信度被削弱 ...

📄 OmniVR: Joint Video-Audio Conditional Generation for Restoring Degraded Historical Films 标签：#音视频生成 #流匹配 #音频理解 #Transformer #模型评估 7.7/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #流匹配 | #音频理解 #Transformer | arxiv 👥 作者与机构 作者：Xin Lu†、Zihao Fan†、Mingchen Zhong、Jie Huang‡、Xueyang Fu、Zheng-Jun Zha †表示共同一作；‡表示项目负责人 通讯作者为 Xueyang Fu 机构：1. 中国科学技术大学（University of Science and Technology of China）；2. JD Explore Academy（京东探索研究院） 💡 毒舌点评 这是那种“口号很满、源码欠奉”的典型顶会式论文：标题里“首个联合音视频生成式修复”和“22B 模型”都很唬人，但实际训练参数只有约 396M，也就是 22B 的约 1.8%。视觉修复确实强，六项无参考指标全部碾压；可一到全参考音频指标就露馅，STOI 和 SI-SDR 被简单的 VoiceFixer 反杀，作者只能用“生成式重合成所以不保相位对齐”来解释。OmniVRBench 是自己造的 benchmark，Controlled track 还全是 talking-face，却直接冠以“历史电影修复”的大名。不过实验设计、消融、统计检验和附录透明度都算厚道，说明作者清楚自己的软肋。问题在于：代码、权重、数据目前都只有“will be released”，可复现性约等于画饼。 ...

📄 Visual Representation Matters: Exploiting Temporal Differences in Video-to-Audio Generation 标签：#音视频生成 #扩散模型 #音频生成 #课程学习 #音频理解 6.8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #扩散模型 | #音频生成 #课程学习 | arxiv 👥 作者与机构 共同第一作者：Zehua Chen（论文脚注标注 “Equal contribution”，邮箱 zhc23thuml@tsinghua.edu.cn；正文未列出机构） 共同第一作者：Junyou Wang（脚注标注 “Equal contribution”，邮箱 ackokomi0222@gmail.com） 通讯作者：Jun Zhu（论文脚注标注 “Corresponding author” 及邮箱 dcszj@tsinghua.edu.cn，按作者列表位置推断） 其他作者：Yuxuan Jiang、Zhenying Fang、Yusheng Dai、Jianfei Chen、Ziwei Liu（文献信息均未披露所属机构） 说明：论文正文与附录均未给出明确机构列表；邮箱域名仅作为线索，不作为机构确认依据。作者姓名后的数字 1/2/3/4 可能标注不同的单位，但对应单位列表未在论文中披露。 💡 毒舌点评 这篇论文想要解决的问题是真实的，视频生成音频确实绕不开时间同步；它的方案也很"简洁"——把相邻帧做差送给 CLIP 再拼回去。问题是，整篇论文的卖点几乎全部压在"时间差异（TD）“这一个概念上，而"把两帧相减"这样一个操作能否撑起一整篇顶会论文，值得打一个大大的问号。审稿人看完全文最想追问的一个问题或许是：FTD 本质上是否只是在用相邻帧的高频残差作为一种隐式的运动正则？如果是这样，TD 的"表示学习"含量并没有标题暗示的那么高。更让人遗憾的是，论文已经用了 massive 的预训练资源——AudioSet（5800 小时）、FreeSound（6246 小时）、MSD（7333 小时）、VGGSound（550 小时），最后却只在 VGGSound 一个测试集上做客观评测，主观评测更是只抽了 20 个样本、15 个被试，统计功效极其有限。与 Diff-Foley 相比，你的 AA 指标并没有全面超越，论文自己在正文里也承认只是"comparable”。此外，ATDG 引导需要在线执行三次 DiT 前向（无条件、帧条件、帧+TD 条件），虽然在 NFE 口径下与 CFG 对齐，但实际内存和延迟开销并未讨论。最后，最致命的是，代码、模型权重、数据集全部没有开源，唯一的结果来源是"自我报告"。对于一篇声称"surpassing dedicated V2A representations like CAVP"的论文来说，这样的可复现性现状是完全不合格的。结论：适合作为一项技术报告被公开，但作为顶会论文，其核心贡献的深度、评测的广度与开源诚意都有明显短板。 ...

📄 AcoustiTrace: When Plausible Sound Violates Physics 标签：#音视频生成 #多模态模型 #音视频理解 #基准测试 #扩散模型 6.9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：高 | #音视频生成 | #多模态模型 | #音视频理解 #基准测试 | arxiv 👥 作者与机构 第一作者：Shiyang Li (中科院的机构1和2) 通讯作者：Changqing Zou (中科院的机构1和6) 作者列表：Shiyang Li (机构1,2), Yuewen Cao (机构2), Yihao Liu (机构2), Yuandong Pu (机构3), Baochang Zhang (机构4), Xiaofei Li (机构5), Changqing Zou (机构1,6) 机构说明：论文未明确给出机构全称，仅以数字标记了6个不同机构。 💡 毒舌点评 AcoustiTrace以其声学物理过程的三阶段八维度拆解，为现有音视频生成评估中“听着真但物理假”的棘手问题，提供了一套迄今最具结构感的诊断工具箱。它细致、体面、有洞见。然而，当这个基准的全部数据、验证过的评估器以及精心设计的提示套件都被作者们揣在兜里，拒绝开源时，它就从社区的公共基础设施退化成了一场自娱自乐的内部演习。再精巧的“手术刀”，若只允许少数人使用，其价值也大打折扣。 ...

📄 CultureVidBench: Benchmarking Cultural Understanding in Text-to-Video Generation 标签：#音视频生成 #多模态模型 #基准测试 #数据集 #模型评估 7.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1.5/1.5 ✅ 7.2/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：高 | #音视频生成 | #多模态模型 | #基准测试 #数据集 | arxiv 👥 作者与机构 第一作者：Xianjing Han（Nanyang Technological University） 通讯作者：Bin Zhu（Singapore Management University, binzhu@smu.edu.sg） 作者列表：Xianjing Han（Nanyang Technological University）、Yuhan Su（Centrale Supélec）、Yang Deng（Singapore Management University）、Dong Ma（University of Cambridge）、Wee Peng Tay（Nanyang Technological University）、Bin Zhu（Singapore Management University, 通讯作者） 💡 毒舌点评 本文准确命中了当前T2V评估的一个盲区：文化理解，并构建了一个多维度、覆盖12国的文化视频基准。论文的设计思路清晰，问题定义精准。然而，作为一个纯粹的CV/多模态生成评测工作，它对语音/音乐/音频社区的直接贡献微乎其微，音频评估仅作为极小附属部分存在。此外，评估的可靠性高度依赖MLLM与少数标注者，缺乏对MLLM自身文化偏见的反思，导致基准和评估工具的权威性都需打上问号。 ...

📄 LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation 标签：#音视频生成 #知识蒸馏 #流式处理 #实时处理 #音频理解 6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频生成 | #知识蒸馏 | #流式处理 #实时处理 | arxiv 👥 作者与机构 第一作者：Rongxiang Zhang（机构标注为1,2，具体单位未说明） 通讯作者：Songhua Liu（机构标注为1，具体单位未说明，标注为corresponding author） 作者列表：Rongxiang Zhang（1,2）、Songhua Liu（1） 💡 毒舌点评 用布朗桥替代噪声起始，身份漂移的缓解效果在实验中一目了然，SNR对齐的时间变换也把流匹配教师和桥式学生的跨范式蒸馏推到了新高度。但“开源”只有一个空壳项目主页，代码和模型权重一概欠奉，让“200FPS实时生成”的豪言成了薛定谔的承诺——无法复现验证的工程奇迹，在顶会审稿人眼里终究是空中楼阁。此外，对极端姿态、严重遮挡和超长时（>10分钟）场景的稳定性仍是一笔带过，工业落地前的最后一道坎还远未迈过。 📌 核心摘要 本文针对音频驱动说话人头生成中长期存在的延迟与质量权衡问题，提出了一种名为LeapTalk的框架。其核心思路是摒弃传统的“噪声→数据”扩散范式，转而将生成过程重新定义为一个以参考图像为起始锚点的布朗桥数据到数据传输过程（Bridge Forcing），从根本上抑制流式自回归生成中的身份漂移和误差累积。为实现单步实时推理，论文设计了一套异构分布匹配蒸馏（DMD）方案：通过一个基于信噪比对齐的闭式时间变换函数\(\Phi(\tau)=1/(1+\sqrt{(1-\tau)/\tau})\)，将流匹配教师的多步知识稳定转移至布朗桥单步学生模型，并引入音频驱动的分类器自由引导（Audio-Driven CFG）以在极端步数压缩下维持唇动细节和运动多样性。主要实验表明，在HDTF和CelebV-HQ上，LeapTalk仅用1步推理（NFE=1）就取得了21/197的FID/FVD（HDTF），唇音同步指标Sync-C达到8.38，同时Lite版本达到200FPS（H200，512×512），Pro版本55FPS，性能显著优于多步扩散基线和现有自回归方法，并在DINOv2身份一致性时序曲线上保持平坦，证实了长期生成的稳定性。实际意义在于为实时、无限长度的数字人驱动提供了兼顾效率与稳定性的新范式。主要局限是开源不完整（缺少代码与模型权重），且对极端参考姿态、大面积遮挡或超长时生成的鲁棒性尚未充分量化。 ...