音视频生成

📄 DynaForcing: Overcoming Dynamic Collapse in Self-Forcing Distillation for Streaming Avatar Generation 标签：#音视频生成 #生成模型 #扩散模型 #强化学习 #实时处理 8.0/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 🔥 8.0/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音视频生成 | #扩散模型 | #生成模型 #强化学习 | arxiv 👥 作者与机构 第一作者：Yubo Huang（中国科学技术大学）；通讯作者：Enhong Chen。 合作者来自中国科学技术大学、南京大学、合肥工业大学和清华大学。 💡 毒舌点评 DynaForcing 把“看起来清晰”与“真的在动”这两个目标拆开，是 talking avatar 领域很实用的诊断。它的三件套并不神秘：给 rollout 一个真实动态锚点、给损失补 motion reward、给参考图加扰动；真正的贡献在于把这三层作用和 collapse 的反馈回路对上。遗憾是训练仍依赖 14B WanS2V 和八张 H100，普通团队复现门槛不低。补充两点边界：评测全部集中在 talking-head avatar 上，其他视频生成任务是否同样受益未知；结果绑定 WanS2V 14B 与特定训练配方，动态奖励权重和 p_data 对说话人风格的敏感性消融也不成体系。加上未公开代码模型，复现门槛实际相当高。 ...

📄 Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer 标签：#语音克隆 #扩散模型 #音视频生成 6.4/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音克隆 | #扩散模型 | #音视频生成 | arxiv 👥 作者与机构 第一作者：Ivan Mikheev（Kandinsky Lab, Moscow, Russia） 通讯作者：Ivan Mikheev（Kandinsky Lab, Moscow, Russia）、Viacheslav Vasilev（Kandinsky Lab, Moscow, Russia） 作者列表：Ivan Mikheev（Kandinsky Lab, Moscow, Russia）、Viacheslav Vasilev（Kandinsky Lab, Moscow, Russia）、Anna Dmitrienko（Kandinsky Lab, Moscow, Russia）、Alexey Letunovskiy（Kandinsky Lab, Moscow, Russia）、Ivan Kirillov（Kandinsky Lab, Moscow, Russia）、Kirill Chernyshev（Kandinsky Lab, Moscow, Russia）、Denis Dimitrov（Kandinsky Lab, Moscow, Russia） 💡 毒舌点评 这项工作用“prepend 参考 latents + 单个零初始化 FiLM 层”这种轻量改造，在 5B T2AV 模型上把说话人相似度做到三个验证网络全榜第一，证明了大模型先验对声音克隆的价值；但论文的 WER/CER 明显高于专用 TTS（如 k6a_5b WER 5.76% vs. Qwen3-TTS 0.6B 的 0.81%），而且没有放出代码、权重或可下载模型，开源与复现贡献几乎为零。 ...

📄 CineDub: Scaling End-to-End Video Dubbing to Multi-Speaker Dialogues with Coherent Sound Effects 标签：#音视频语音合成 #扩散模型 #音视频生成 #课程学习 #基准测试 7.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.3/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频语音合成 | #扩散模型 | #音视频生成 #课程学习 | arxiv 👥 作者与机构 第一作者：Yusheng Dai（Monash University）与 Kangdi Wang（University of Chinese Academy of Sciences，并列第一） 通讯作者：未说明 作者列表：Yusheng Dai（Monash University）、Kangdi Wang（University of Chinese Academy of Sciences）、Baolong Gao（Tsinghua University）、Yuxuan Jiang（Tsinghua University）、Weiqiang Wang（Monash University）、Qiuhong Ke（Monash University）、Jianfei Cai（Monash University） 💡 毒舌点评 亮点是用 SynchFormer 的 holistic 视觉特征配合 semantic-bundled transcription，在不做脸裁剪、不显式 diarization 的情况下把多说话人 cpWER 从最强基线的 43.47% 压到 13.93%，说服力较强。短板是开源与复现链条几乎断裂：无代码、无权重、无数据集下载细节，且 CineDub-Multi 仅 139 条样本，GRID 上零样本 CineDub* 反而优于非零样本 CineDub，协议一致性需要解释。 ...

📄 SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning 标签：#音视频生成 #流匹配 #扩散模型 #零样本 6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 6.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #流匹配 | #扩散模型 #零样本 | arxiv 👥 作者与机构 第一作者：Tao Feng（实习期间在 Kling Team, Kuaishou Technology 完成本工作） 通讯作者：Xu Li（未说明）、Wei Xue（未说明） 作者列表：Tao Feng、Xu Li、Xiangyang Luo、Ming Wen、Huadai Liu、Chen Zhang、Wei Xue 文中未给出各作者的正式机构归属；仅注明 Tao Feng 的致谢与实习经历。 💡 毒舌点评 作者把"可见人物是否拥有 vocal"从隐式假设提升为显式语义角色，用 source/listener 的共享语音通路统一了说话、聆听、纯跳舞和唱跳四种行为，这是本文最有价值的设计判断。可惜，唱跳主实验的舞蹈端到端基线仅有 MusicInfuser 和 Wan-S2V 两个，后者更偏 speech-driven human animation，并未直面 OmniDance、Wan-Dancer 等更直接的 music-conditioned RGB 舞蹈系统；评测样本量也偏小，SingDance-50 只有 50 个 case，且未报告置信区间或方差。listener 角色方面的证据几乎完全依赖自动唇同步指标的"低值"，缺少数目可观的人类评估来确认"嘴不唱但人还自然"。工程化细节和训练数据均未公开，复现基本靠想象。 ...

📄 Xemo-Talker: Unlock Emotions Explicitly for Audio-Driven Talking Portrait Synthesis 标签：#音视频生成 #扩散模型 #对比学习 #Adapter #高效推理 6.2/10 | 创新 1.3/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #扩散模型 | #对比学习 #Adapter | arxiv 👥 作者与机构 第一作者：Chaolong Yang（论文中标注单位 1、2、3） 通讯作者：Jie Sun（单位 2）、Kaizhu Huang（单位 3） 作者列表：Chaolong Yang（1,2,3）、Yinuo Guo（4）、Kai Yao（5）、Yuyao Yan（2）、Jie Sun（2）、Guangliang Cheng（1）、Shibin Wu（6）、Bin Dong（7）、Kaizhu Huang（3） 机构信息：论文仅以数字上标标注作者单位，未在文本中给出上标对应的机构名称，因此具体大学、实验室或公司均未说明。 💡 毒舌点评 这项工作最有趣的地方是把情绪监督压到 PCA 低方差尾部，确实比一刀切全空间监督更聪明，也换来了接近真实视频的情绪分类准确率。但它只在 MEAD 四个测试说话人上证明自己，LSE-C 和 FID 明显输给部分基线，而且所谓开源还停留在“will be publicly available”；更麻烦的是，低主成分投影到底该作用于干净运动还是预测噪声，论文的公式和动机对不齐，审稿人很难为可复现性和跨域泛化买账。 ...

📄 Avatar-Forever: Decoupled Parallel Training for High-Quality Real-Time Infinite Avatars 标签：#音视频生成 #流匹配 #知识蒸馏 #LoRA 6.6/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 6.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #流匹配 | #知识蒸馏 #LoRA | arxiv 👥 作者与机构 第一作者：Ruibin Li（The Hong Kong Polytechnic University；论文标注工作于 ByteDance 实习期间完成） 通讯作者：Lei Zhang（The Hong Kong Polytechnic University，邮箱 cslzhang@comp.polyu.edu.hk） 作者列表：Ruibin Li（The Hong Kong Polytechnic University / ByteDance 实习）、Tao Yang（ByteDance）、Zhiyuan Ma（The Hong Kong Polytechnic University）、Fangzhou Ai（AMD）、Shilei Wen（ByteDance）、Lei Zhang（The Hong Kong Polytechnic University） 💡 毒舌点评 这篇论文最值得称道的地方在于把“少步生成效率”与“长时域自回归稳定性”拆成两条并行分支训练，再用 LoRA 合并部署，避免了顺序蒸馏中多阶段错误传播和诊断困难的老问题；RRT 的 rollout 级恢复监督也确实比 Helios 式局部损坏重建更接近真实推理时的累积误差模式。不过，ForeverCache 跨去噪步复用历史特征在本质上引入了注意力近似，论文既未给出误差边界或与标准推理的一致性证明，也没有对缓存导致的长期累积漂移做量化分析；LLM judge 虽与自动指标和用户研究互补，但缺少多次评分的统计显著性检验，其稳定性和可复现性仍存疑。此外，训练数据规模、合成过滤比例与最终保留数量均未说明，权重开放情况也不明确，社区独立验证存在明显障碍。 ...

📄 Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Visual Avatar Generation 标签：#音视频生成 #知识蒸馏 #自回归模型 #扩散模型 #实时处理 7.7/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #知识蒸馏 | #自回归模型 #扩散模型 | arxiv 👥 作者与机构 第一作者：Lunjie Zhu（未说明） 通讯作者：Jun Zhang（未说明） 作者列表：Lunjie Zhu（未说明）、Xingtong Ge（未说明）、Fangyu Lin（未说明）、Yi Zhang（未说明）、Zhening Liu（未说明）、Mengfei Li（未说明）、Yumeng Zhang（未说明）、Guanglu Song（未说明）、Yu Liu（未说明）、Jun Zhang（未说明） 💡 毒舌点评 亮点在于作者抓住了关键病理：DMD 蒸馏会改变逐点去噪轨迹，因此用 few-step teacher 重新生成 ODE 对来初始化 causal student，这一 insight 比单纯叠加音频 sink token 或奖励模型更有解释力。短板也很明显：实验完全建立在内部 35K prompt 上，模型权重与推理 delay 均未公开；所谓“实时”只给了 FPS 吞吐，并未给出端到端延迟或播放帧率假设。60 秒下部分消融增益较小，尤其是 async LTM 与同步 LTM 的 Sync-C 差距仅 0.15，且无方差或多次运行报告。整体上，这是一篇有明确训练洞察、但可复现性与实时边界仍未闭合的工作。 ...

📄 Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections 标签：#音视频生成 #Adapter #数据集 #音乐生成 #基准测试 7.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 0.8/1.5 ✅ 7.1/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：中 | #音视频生成 | #Adapter | #数据集 #音乐生成 | arxiv 👥 作者与机构 第一作者：Haven Kim（具体机构未逐作者标注；论文仅列 1 University of California San Diego、2 University of Michigan） 通讯作者：未说明 作者列表：Haven Kim、Zachary Novack、Julian McAuley（原文作者名单拼作 “Juian McAuley”，疑为 Julian McAuley 的笔误）、Hao-Wen Dong；机构信息仅列两个单位，未逐作者映射 💡 毒舌点评 这篇论文用一个 246.4 小时的自托管公共领域电影数据集，直击视频配乐领域“链接腐烂 + 爬取限速”的真实痛点，工程贡献清楚。但对话感知模块本质上是 FiLM 加位置编码的轻量改装，且 GVMGen 在 in-domain 上出现 CLAP 0.43→0.39、KL 0.72→0.73 的倒退，作者仅以“OOD 提升/正则化”解释，缺乏组件级消融和主观听感证据，却仍宣称“improvement over the state-of-the-art baselines”，结论偏强。 ...

📄 UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos 标签：#音视频生成 #扩散模型 #知识蒸馏 #参数高效微调 7.8/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.8/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #扩散模型 | #知识蒸馏 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Yuxuan Zhang（The Chinese University of Hong Kong；Qwen Applications Business Group of Alibaba） 通讯作者：Liwei Wang（The Chinese University of Hong Kong） 作者列表：Yuxuan Zhang（The Chinese University of Hong Kong；Qwen Applications Business Group of Alibaba）、Haozhong Xiong（Qwen Applications Business Group of Alibaba）、Jiayi Song（Qwen Applications Business Group of Alibaba）、Jinpeng Yu（Qwen Applications Business Group of Alibaba）、Yang Shi（Qwen Applications Business Group of Alibaba）、Jiaming Liu（Qwen Applications Business Group of Alibaba）、Ruihua Huang（Qwen Applications Business Group of Alibaba）、Liwei Wang（The Chinese University of Hong Kong） 💡 毒舌点评 这项工作把换脸、语音转换、流式扩散蒸馏和 RoPE 缓存管理拼成了一个工程上相当完整的统一框架，长视频一致性消融也做得比多数 demo 论文扎实。但核心贡献更接近系统集成而非方法突破，且 Stage 3 蒸馏后在音画同步、视频美学和图像质量上反而低于 Stage 1/Stage 2；作者更多强调身份与语音质量改善，对蒸馏带来的同步和视觉质量回退解释不足。代码仓库仅通过项目主页提供，权重、训练数据和数据合成管线未公开，让“首个联合替换框架”的复现与检验仍受限。 ...

📄 Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence 标签：#音视频生成 #多模态模型 #语音合成 #扩散模型 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频生成 | #多模态模型 | #语音合成 #扩散模型 | arxiv 👥 作者与机构 第一作者：Haoyu Zhang（The Chinese University of Hong Kong, Shenzhen；脚注说明工作完成于 LIGHTSPEED 实习期间） 通讯作者：Tianshu Yu（The Chinese University of Hong Kong, Shenzhen）、Yiwen Guo（Independent Researcher） 作者列表：Haoyu Zhang（The Chinese University of Hong Kong, Shenzhen）、Zhipeng Li（LIGHTSPEED）、Xiaoying Tang（The Chinese University of Hong Kong, Shenzhen）、Tianshu Yu（The Chinese University of Hong Kong, Shenzhen）、Yiwen Guo（Independent Researcher） 💡 毒舌点评 VTP+多码本语音单元+Prefix Streaming 的组合在系统层面确实打通了“对话→语音→视频”的完整链路，工程完整度明显高于同类工作，这是值得肯定的。但审稿人最想追问的是：所有关键视频条件都是自动标注或教师模型生成的，VTP first-frame grounding 只有 43%，你如何保证这个“视觉规划”不是模型自圆其说的幻觉？E2E RTF 1.293、首个视频块 3.14 秒后才出，恐怕只能叫“增量生成”而非“实时交互”，这个表达上的克制是聪明的，但离真正的交互体验还很远。 ...