扩散模型

📄 VMSP: Video-to-Music Generation with Two-Stage Alignment and Synthesis #音乐生成 #扩散模型 #多模态模型 #跨模态 ✅ 7.0/10 | 前25% | #音乐生成 | #扩散模型 | #多模态模型 #跨模态 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Xin Gu（中国传媒大学信息与通信工程学院） 通讯作者：Wei Jiang*（中国传媒大学信息与通信工程学院） 作者列表：Xin Gu（中国传媒大学信息与通信工程学院）、Wei Jiang*（中国传媒大学信息与通信工程学院）、Yujian Jiang（中国传媒大学信息与通信工程学院）、Zhibin Su（中国传媒大学信息与通信工程学院）、Ming Yan（中国传媒大学信息与通信工程学院） 💡 毒舌点评 论文的亮点在于其清晰的“先对齐中间表示，再生成”的两阶段框架设计，这有效缓解了端到端模型常忽略音乐结构的问题，逻辑自洽。但短板也明显：它严重依赖特定的、可能闭源的MLLM（Qwen2.5-VL, Qwen2-Audio）来生成感知描述，这增加了复现成本和不可控性，且论文未开源任何资源，让后续研究者“只能看，不能练”。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开的模型权重。 数据集：使用了公开数据集MVED， MuVi-Sync， V2M-bench，但论文未说明其自身的数据预处理脚本或额外数据是否公开。 Demo：未提供在线演示。 复现材料：给出了部分训练细节（优化器、学习率调度、训练轮数、硬件）和模型架构参数（Transformer层数、维度），但关键组件的完整训练配置（如VAE-GAN）、MLLM的详细使用方式（Prompt、是否微调）、以及评估脚本未提供。 论文中引用的开源项目：引用并依赖了MetaClip、CLAP、Qwen2.5-VL、Qwen2-Audio等模型/工具。 开源计划：论文中未提及开源计划。 📌 核心摘要 问题：现有的视频生成音乐（V2M）方法大多直接将视频特征映射到声学标记或波形，跳过了对音乐中间表示（如语义、结构）的建模，导致生成的音乐结构连贯性差、和声不丰富。 方法核心：提出VMSP，一个基于分层条件映射的两阶段生成框架。第一阶段（跨模态映射）通过Transformer学习视频与音乐语义特征的段级对齐，并利用多模态大语言模型（MLLM）确保视频与音乐在感知层面的一致性。第二阶段（音乐生成）使用扩散Transformer（DiT），将上述对齐后的语义特征和感知信息作为分层条件，指导音乐波形的生成。 与已有方法的新颖性：相比于直接映射或依赖文本中间描述的方法，VMSP显式地建模了音乐的“中间表示”（语义和感知），并设计了分层条件注入机制（全局感知条件+局部语义条件），旨在同时保证全局氛围一致和局部时间对齐。 主要实验结果：在MVED和MuVi-Sync数据集上训练，在V2M-bench数据集上评估。定量对比显示VMSP在KL、FAD、Density和Coverage指标上均优于CMT、Video2Music、M2UGen和VidMuse等基线模型。消融实验表明两阶段框架和双重条件（语义+感知）缺一不可。用户研究也显示VMSP在音频质量、音乐性、对齐度和感知和谐度上具有优势。 模型/方法 KL↓ FAD↓ Density↑ Coverage↑ GT 0.000 0.000 1.167 1.000 CMT[7] 1.220 8.637 0.080 0.070 Video2Music[9] 1.782 18.722 0.103 0.023 M2UGen[18] 0.997 5.104 0.608 0.433 VidMuse[6] 0.734 2.459 1.250 0.730 VMSP 0.607 2.580 1.280 0.870 表1: 客观定量对比结果（来自论文） ...

📄 VT-Heads: Voice Cloning and Talking Head Generation from Text Based on V-DiT #语音克隆 #视频生成 #多模态模型 #扩散模型 ✅ 6.5/10 | 前50% | #视频生成 | #扩散模型 | #语音克隆 #多模态模型 学术质量 5.5/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Yali Cai（国防科技大学计算机学院） 通讯作者：Peng Qiao, Dongsheng Li（国防科技大学计算机学院，并行与分布式计算国家重点实验室） 作者列表：Yali Cai, Peng Qiao, Dongsheng Li（国防科技大学计算机学院，并行与分布式计算国家重点实验室） 💡 毒舌点评 亮点：论文将语音克隆、多模态融合和视频扩散模型（V-DiT）整合成一个端到端框架，并创新性地为T2S模块引入帧级时间锚点以改善音视频同步，整体技术路线清晰。 短板：T2S模块中“动态节奏控制”的具体机制（公式f(S, Θ)）描述过于模糊，核心创新点之一缺乏技术细节支撑；实验部分的对比方法（如表3）更新不够及时，且部分指标（如多样性Diver）在所有方法中几乎无差异，难以证明其优越性。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开数据集HDTF[16]和40个YouTube视频。未说明YouTube视频的具体来源或获取方式。 Demo：未提及。 复现材料：给出了部分训练超参数（优化器、学习率、EMA衰减率、T2S模块的batch size和epoch数）和数据集信息。未提供模型架构图的详细尺寸、损失函数、完整的数据预处理流程等。 论文中引用的开源项目：引用了FastSpeech 2 [13]、FREEVC [22]、VITS2 [23]等作为对比或基础。 论文中未提及明确的开源计划。 📌 核心摘要 这篇论文旨在解决文本驱动会说话头部生成（THG）中存在的唇部同步不准确和面部表情多样性有限的问题。方法核心是提出一个多模态融合框架VT-Heads，它包含三个关键部分：1）一个带有帧级时间锚点和动态节奏控制的T2S模块，用于生成与视频帧节奏同步的语音；2）一个基于注意力的多模态融合模块，用于细粒度融合文本和语音特征；3）一个以条件V-DiT为骨干的扩散模型，将视频生成建模为时序迭代去噪过程。与现有两阶段方法（先T2S再驱动视频）不同，VT-Heads通过多模态融合增强了文本语义与视觉生成的关联。实验表明，在HDTF数据集和YouTube视频上，VT-Heads在图像质量（FID↓10.12）、唇形同步（Sync↑5.99/6.21）等指标上优于部分基线。其实际意义在于为文本驱动的数字人内容生成提供了一种更同步、更自然的方案。主要局限性在于T2S模块的技术细节不够透明，且与最新SOTA方法的对比有待加强。 ...

📄 Wave-Trainer-Fit: Neural Vocoder With Trainable Prior And Fixed-Point Iteration Towards High-Quality Speech Generation From SSL Features #语音合成 #生成模型 #自监督学习 #扩散模型 #鲁棒性 ✅ 7.0/10 | 前25% | #语音合成 | #生成模型 | #自监督学习 #扩散模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Hien Ohnaka（Nara Institute of Science and Technology） 通讯作者：未说明 作者列表： Hien Ohnaka（Nara Institute of Science and Technology） Yuma Shirahata（LY Corporation, Tokyo, Japan） Masaya Kawamura（LY Corporation, Tokyo, Japan） 💡 毒舌点评 亮点：该工作敏锐地抓住了将基于梅尔谱设计的声码器（WaveFit）迁移到SSL特征时遇到的两个核心痛点（初始噪声和增益调整），并提出了优雅的解决方案。在说话人相似度指标（S-MOS）上取得了显著且一致的提升，尤其是使用Whisper特征时，这证明了方法的有效性。短板：方法在自然度（N-MOS）上的表现并不稳定，甚至在使用某些SSL特征时被基线反超，这暗示了“可训练先验”可能引入了新的不稳定性或对超参数过于敏感，论文对此的讨论和验证尚不充分。 ...

📄 Wavenext 2: Convnext-Based Fast Neural Vocoders with Residual Denoising and Sub-Modeling for Gan And Diffusion Models #语音合成 #卷积神经网络 #扩散模型 #对抗生成网络 🔥 9.0/10 | 前25% | #语音合成 | #卷积神经网络 | #扩散模型 #对抗生成网络 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Wangzixi Zhou（奈良先端科学技术大学院大学 & 日本信息通信研究机构） 通讯作者：未说明 作者列表：Wangzixi Zhou（奈良先端科学技术大学院大学 & 日本信息通信研究机构）、Takuma Okamoto（日本信息通信研究机构）、Yamato Ohtani（日本信息通信研究机构）、Sakriani Sakti（奈良先端科学技术大学院大学）、Hisashi Kawai（日本信息通信研究机构） 💡 毒舌点评 该论文的最大亮点在于其“统一框架”的野心和务实的工程优化，用一个基于ConvNeXt的模块巧妙兼容了GAN与扩散两条技术路线，特别是将扩散模型声码器的训练时间压缩到32小时，对资源敏感场景极具吸引力。然而，其创新更多是架构整合与效率优化，而非底层原理突破，且随着迭代次数增加，模型大小线性膨胀（从15M到75M）的短板在资源严格受限的边缘设备上可能会抵消其部分速度优势。 🔗 开源详情 代码：论文中提供了演示页面链接 (https://37integer.github.io/WAVENEXT-2)，但未提及WaveNeXt 2代码仓库链接。论文中引用了多个开源项目作为基线实现。 模型权重：未提及是否公开预训练模型权重。 数据集：使用的是公开的LibriTTS-R数据集。 Demo：提供在线演示页面。 复现材料：提供了部分复现信息，包括训练硬件（A100 40GB）、训练时长、关键超参数（如梅尔谱维度、跳步大小、噪声调度等），但未提供完整的训练脚本、配置文件或检查点。 论文中引用的开源项目：ParallelWaveGAN（用于HiFi-GAN实现）、wavefit-pytorch、FastDiff官方实现、Vocos官方实现、BDDM（用于噪声调度预测）。 📌 核心摘要 要解决什么问题：现有神经声码器大多局限于GAN或扩散模型中的一种，难以统一；且原始的ConvNeXt声码器（如WaveNeXt）在多说话人场景下性能有限。 方法核心是什么：提出WaveNeXt 2，一个统一的ConvNeXt生成器框架，其核心是残差去噪子模型设计。生成器预测的是每一步的噪声分量，而非直接预测波形，从而使同一架构可适配GAN（采用固定点���代）和扩散模型（采用分阶段子模型训练）两种训练范式。 与已有方法相比新在哪里：首次将ConvNeXt架构同时应用于GAN和扩散声码器；通过子模型训练策略改进了原始WaveNeXt在多说话人上的不足；简化了WaveFit的训练流程（移除了不必要的初始噪声和增益调整）。 主要实验结果如何：在多说话人数据集LibriTTS-R上进行验证，结果如下表所示。GAN-WaveNeXt 2在推理速度上显著优于WaveFit和HiFi-GAN，同时保持质量相当；Diff-WaveNeXt 2在训练效率（仅需32小时）和CPU推理速度上远超FastDiff，并取得竞争性的质量。 模型 RTF (CPU) ↓ UTMOS ↑ NISQA ↑ 训练时间 (GPU) GAN-WaveNeXt 2 (4 iter) 0.20 4.04 ± 0.09 4.01 ± 0.20 410 小时 WaveFit (5 iter) 5.36 4.04 ± 0.09 4.02 ± 0.19 410 小时 HiFi-GAN V1 0.80 4.05 ± 0.11 3.99 ± 0.22 270 小时 Diff-WaveNeXt 2 0.16 3.87 ± 0.05 3.81 ± 0.19 32 小时 FastDiff w/ sub-modeling 0.80 3.78 ± 0.06 3.67 ± 0.20 96 小时 实际意义是什么：为声码器选择提供了灵活方案：GAN-WaveNeXt 2适用于对合成质量要求极高的场景，而Diff-WaveNeXt 2则以其极快的训练速度和优秀的CPU推理能力，非常适合资源受限或需要快速迭代的应用。 主要局限性是什么：采用子模型策略后，模型总体参数量随子模型数量线性增长（如Diff-WaveNeXt 2达57.68M），增加了存储和部分计算负担。论文中未明确讨论其在流式处理中的应用。 🏗️ 模型架构 WaveNeXt 2 的整体架构旨在成为一个兼容GAN与扩散模型的统一生成器。 ...

📄 CineAGI: Character-Consistent Movie Creation through LLM-Orchestrated Multi-Modal Generation and Cross-Scene Integration #跨模态 #多模态模型 #角色一致性 #大语言模型 #扩散模型 🔥 8.0/10 | 前25% | #跨模态 | #多模态模型 | #角色一致性 #大语言模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Tianyidan Xie（南京大学，具体院系未说明） 通讯作者：Zili Yi（南京大学，具体院系未说明） 作者列表：Tianyidan Xie（南京大学）、Mingjie Wang（未说明）、Qiang Tang（未说明）、Feixuan Liu（未说明）、Rui Ma（未说明）、Lanjun Wang（未说明）、Zili Yi（南京大学） 💡 毒舌点评 这篇论文最亮眼的地方在于它没有试图发明一个从零开始的端到端“电影生成大模型”，而是务实地将当下最强的几种单点技术（LLM、扩散模型、换脸、语音驱动）通过精心设计的多智能体流程“胶水”集成起来，形成一个可用的系统，展现了强大的工程整合能力和清晰的解决问题思路。但其核心短板也十分明显：它本身几乎没有底层算法或模型的创新，更像是一个前沿技术的应用系统集成报告，且所有组件均依赖现有开源模型或商用API，使得其“新颖性”和“可复现性”大打折扣。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及公开框架权重。其依赖的组件（RealVisXL 3.0, ChatTTS, HunyuanVideo-13B, SimSwap, Wav2Lip, MusicGen）均为外部项目。 数据集：论文中构建了包含100个故事提示的基准测试集，但未说明是否公开及如何获取。 Demo：论文中未提及在线演示。 复现材料：论文提供了一些组件的技术细节（如SimSwap的人脸替换分析、ChatTTS的嵌入一致性分析）于附录中，但缺乏整合整个框架所需的训练/推理配置、多智能体协议等详细复现信息。 论文中引用的开源项目：Grounded-SAM2, SimSwap, Wav2Lip, MusicGen, ChatTTS。此外还提及了作为基线或生成器的CogVideoX, VideoCrafter, HunyuanVideo, RealVisXL 3.0。 开源计划：论文中未提及开源计划。 📌 核心摘要 本文旨在解决自动化电影生成中的三大核心挑战：跨场景角色身份不一致、视觉风格/转场不连贯以及音视频（对口型、表情、音乐）跨模态不同步。其方法核心是提出了一个名为CineAGI的分层多智能体框架，该框架通过三个主要模块（叙事合成、角色生成、电影合成）将复杂的电影生成任务分解并交由专门的LLM智能体（如角色设计师、编剧）和专用生成模型（如HunyuanVideo、SimSwap、Wav2Lip）协作完成。与已有方法相比，其创新点在于通过系统化的“分层解耦”而非端到端生成来处理长序列和多角色问题。主要实验结果显示，在总体一致性（OC）上较最强基线（Hunyuan）提升40%，在主题一致性（SC）上提升4.4%，美学质量（AQ）提升5.4%，在人物一致性（CC）的人工评估上提升28.7%，证明了该系统框架的有效性。其实际意义在于为自动化、模块化的AI电影生产提供了一种可行的架构思路。主要局限性在于整个框架依赖大量现有的第三方模型，未讨论各模块联合训练或优化的可能性，且推理成本较高（每个场景约11.3分钟），限制了其实际部署和大规模应用。 ...

📄 Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation #音视频 #扩散模型 #知识蒸馏 #流式处理 #实时处理 🔥 8.5/10 | 前25% | #音视频 | #扩散模型 | #知识蒸馏 #流式处理 | arxiv 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Chunyu Li（上海创新研究院， 复旦大学） ， Jiaye Li（复旦大学） *并列第一 通讯作者：Siyu Zhu（复旦大学） 作者列表： Chunyu Li（上海创新研究院， 复旦大学） Jiaye Li（复旦大学） Ruiqiao Mei（复旦大学） Haoyuan Xia（复旦大学， 中国科学技术大学） Hao Zhu（南京大学） Jingdong Wang（百度） Siyu Zhu（复旦大学） 💡 毒舌点评 亮点：论文精准瞄准了当前音视频数字人模型“慢”和“蒸馏后变糊”的两大痛点，用“未来扩展注意力”这个巧妙设计让模型“偷看”未来几帧音频来预判唇形，同时用多模态奖励加权的蒸馏方法“择优录取”，最终在H200上跑出了20 FPS、延迟不足1秒的惊人速度，且质量损失可控。短板：尽管速度飞起，但在同步性（Sync-C）和语音识别准确率（WER）等绝对指标上，依然能看到与教师模型Ovi的明显差距，而且论文并未与另一个强劲的实时竞争者OmniForcing进行正面比较，说服力稍打折扣。 ...

📄 Scaling Properties of Continuous Diffusion Spoken Language Models #语音大模型 #预训练 #扩散模型 #多语言 🔥 8.0/10 | 前25% | #语音生成 | #扩散模型 | #语音大模型 #预训练 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Jason Ramapuram（†工作完成于Apple） 通讯作者：Jason Ramapuram (jason@ramapuram.net)；Eeshan Gunesh Dhekane (eeshan@apple.com)；Amitis Shidani (amitis_shidani@apple.com)；Tatiana Likhomanenko (antares@apple.com) （论文未明确指定单一通讯作者，以上四位均列出） 作者列表： Jason Ramapuram† Eeshan Gunesh Dhekane* Amitis Shidani* Dan Busbridge Bogdan Mazoure† Zijin Gu Russ Webb Tatiana Likhomanenko⋆ Navdeep Jaitly†⋆ 所属机构：全部隶属于 Apple。⋆和†符号分别表示核心建议者和工作在Apple完成，但作者单位均标注为Apple。 💡 毒舌点评 本文严谨地证明了连续扩散语音模型同样遵循缩放定律，且在高计算预算下展现出比自回归模型更优的“效率前沿”，为语音生成范式之争提供了坚实的数据支撑。然而，最精妙的16B模型实验仍未能攻克长篇连贯性的终极难题，无情地揭示了当前范式与文本模型之间的能力鸿沟，可能预示着语音原生生成道路的艰辛。 ...

📄 Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling #语音合成 #音视频 #自回归模型 #扩散模型 #流匹配 ✅ 7.5/10 | 前25% | #语音合成 | #自回归模型 | #音视频 #扩散模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhen Ye（根据作者列表顺序推断，论文中未明确标注“第一作者”） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, Peiwen Sun, Yiming Li, Chi-Min Chan, Wei Ye, Shikun Zhang, Wei Xue（所有作者所属机构均未在论文正文中明确说明，仅提供了个人姓名。机构信息可能在论文PDF的其他部分或补充材料中，但未在所提供的全文文本中提及。） 💡 毒舌点评 亮点： 论文提出的“解耦”设计哲学很聪明——把高层次的跨模态语义对齐（自回归骨干网络负责）和低层次的信号渲染（独立的扩散头负责）分开，不仅逻辑清晰，而且实验证明在同步性和质量上都优于全流程纠缠的Dual-DiT方案，同时用一个模型统一了三种任务。短板： 视频生成质量的天花板明显受限于所选的LIA-X运动自编码器，论文也坦承了这一点；此外，自回归模型在长序列上误差累积的问题可能导致生成超长语音时质量下降，这在实际应用中是个潜在痛点。 🔗 开源详情 代码： 论文明确承诺提供代码仓库链接：https://github.com/zhenye234/Talker-T2AV。 模型权重： 论文明确承诺提供预训练模型权重。 数据集： 提到了构建的约100万条说话头数据（来源公开）和使用的Emilia TTS数据集，但未说明是否公开其构建的数据集。 Demo： 提供了在线演示链接：https://talker-t2av.github.io/。 复现材料： 论文详细提供了训练细节（优化器、学习率、batch size、步数）、模型配置（各组件层数、维度、补丁大小）、损失函数权重、推理参数（采样步数、温度、CFG尺度）等。附录详细说明了两个自编码器（LIA-X， WhisperX-VAE）的选择理由和架构。 论文中引用的开源项目： 论文中提及并依赖了以下开源项目/模型：Qwen3-0.6B（骨干初始化）、LIA-X（视频运动自编码器）、Whisper Large-v3（音频自编码器中的语义特征提取器）、Descript Audio Codec (DAC)（音频自编码器架构基础）、Emilia数据集（TTS训练数据）。 📌 核心摘要 要解决什么问题： 现有联合音视频生成模型（如Dual-DiT）在整个去噪过程中通过密集的跨模态注意力耦合音频和视频，将高层语义和底层信号细节混为一体，导致建模效率低下。同时，这些模型通常输出固定长度，无法适应文本长度和说话节奏的变化。 方法核心是什么： 提出Talker-T2AV，一个两阶段的自回归扩散框架。第一阶段（跨模态建模）：将音频和视频编码为时间对齐的潜在序列（25Hz），通过元素级求和融合后，输入到一个共享的自回归语言模型骨干网络中，以补丁级进行自回归生成，捕捉高层跨模态时序结构。第二阶段（模态特定渲染）：使用两个独立的轻量级扩散Transformer头，分别将共享的隐状态解码为音频和视频的潜在补丁。 与已有方法相比新在哪里： ① 架构解耦： 首次将联合生成解耦为“高层语义对齐”与“底层信号渲染”两个明确阶段，避免了不必要的全过程跨模态纠缠。② 灵活性： 通过元素级求和设计，一个模型无需修改即可支持文本到音视频、音频到视频（说话头生成）、视频到音频（配音）三种任务。③ 可变长度输出： 基于自回归范式和停止预测器，支持生成任意长度的输出。 主要实验结果如何： 联合生成 (T2AV)： 在中英文测试集上，与5个Dual-DiT基线（MoVA, Ovi, LTX-2, UniVerse-1, UniAVGen）相比，本文方法在语音可懂度（CER/WER最低）、视频保真度（FVD最佳）和唇音同步（SyncNet C最高， D最低）上均取得最佳或并列最佳结果。 音频驱动 (A2V)： 在中英文测试集上，与5个专用方法（FLOAT, EchoMimic, Sonic, Ditto, AniPortrait）相比，本文方法在视频质量和同步性上综合表现最优（例如，英文Sync-C为5.85，最高）。 视频配音 (V2A)： 在Chem数据集上，与5个专用配音系统相比，本文方法在情感相似度（EMO-SIM）、语音可懂度（WER）和自然度（UTMOS）三项指标上均达到最佳，时长对齐（DD）接近最佳。 消融实验： 验证了“元素级求和”融合方式在同步性和效率上优于“交错”或“延迟”排列。 （详细结果表格见“详细分析”部分） 实际意义是什么： 该工作推动了更自然、同步且灵活的虚拟人交互技术的发展。统一的框架降低了构建和部署多模态生成系统的复杂度，为实时对话、虚拟主播、多模态翻译等应用提供了新的技术路径。 主要局限性是什么： ① 自回归骨干在连续潜在空间上的预测误差会随序列增长而累积，影响长音频生成质量。② 视频的最终保真度受限于所采用的LIA-X运动自编码器的表达能力。③ 论文未提及训练所使用的具体硬件和时长，硬件消耗未知。 🏗️ 模型架构 论文整体架构如图1所示，采用“自回归扩散”的两阶段解耦设计。 ...

📄 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions #音频生成 #流匹配 #扩散模型 #统一音频模型 #语音合成 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chunyu Qiang（天津大学， 快手科技） 通讯作者：Longbiao Wang（天津大学）， Jianwu Dang（天津大学） 作者列表：Chunyu Qiang（天津大学， 快手科技）、Xiaopeng Wang（快手科技）、Kang Yin（快手科技）、Yuzhe Liang（快手科技）、Yuxin Guo（快手科技， 中国科学院自动化研究所）、Teng Ma（快手科技）、Ziyu Zhang（快手科技）、Tianrui Wang（天津大学）、Cheng Gong（天津大学）、Yushen Chen（快手科技）、Ruibo Fu（中国科学院自动化研究所）、Chen Zhang（快手科技）、Longbiao Wang（天津大学）、Jianwu Dang（天津大学） 💡 毒舌点评 亮点：论文真正实现了语音、音乐、音效的“三合一”生成，且通过精巧的“动态token注入”和“课程学习”让这个庞然大物不仅能跑，还在语音和音乐的主流评测中刷出了新SOTA，证明了“团结就是力量”。 短板：在音效生成这个“混沌领域”，这个统一模型还是打不过那些专精于此的专门模型（如GenAU-L），并且论文未开源代码和模型，让其优秀的实验结论暂时停留在了“可看不可摸”的阶段。 ...

📄 Video-Robin: Autoregressive Diffusion Planning for Intent-Grounded Video-to-Music Generation #音乐生成 #扩散模型 #自回归模型 #音视频 #基准测试 ✅ 7.0/10 | 前25% | #音乐生成 | #扩散模型 #自回归模型 | #扩散模型 #自回归模型 | arxiv 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Vaibhavi Lokegaonkar（University of Maryland College Park, USA） 通讯作者：Vaibhavi Lokegaonkar, Aryan Vijay Bhosale（论文中标注为Corresponding authors，邮箱为{vlokegao,aryanvib}@umd.edu） 作者列表： Vaibhavi Lokegaonkar（University of Maryland College Park, USA） Aryan Vijay Bhosale（University of Maryland College Park, USA） Vishnu Raj（University of Maryland College Park, USA） Gouthaman KV（University of Maryland College Park, USA） Ramani Duraiswami（University of Maryland College Park, USA） Lie Lu（Dolby Laboratories, USA） Sreyan Ghosh（NVIDIA, USA） Dinesh Manocha（University of Maryland College Park, USA） 💡 毒舌点评 亮点：该工作将语音合成领域已验证有效的“自回归规划+扩散细化”混合范式，成功迁移到视频音乐生成任务，并通过引入文本条件控制解决了该领域长期存在的“创作者意图表达”短板，工程实现和实验验证都做得非常扎实。短板：其核心架构思想并非首创（如DiTAR），且评估主要集中在10秒短片段，对于真正考验音乐结构连贯性的长视频配乐场景缺乏验证，使得其“里程碑”成色稍显不足。 ...