扩散模型

📄 Emotion-Aligned Generation in Diffusion Text to Speech Models Via Preference-Guided Optimization #语音合成 #扩散模型 #强化学习 #语音情感识别 🔥 8.0/10 | 前25% | #语音合成 | #扩散模型 #强化学习 | #扩散模型 #强化学习 学术质量 6.2/7 | 选题价值 1.6/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Jiacheng Shi（College of William & Mary） 通讯作者：未明确说明（论文未明确指定通讯作者，但根据邮箱{jshi12, hdu02, ygao18}@wm.edu 推断，作者可能来自同一实验室） 作者列表：Jiacheng Shi（College of William & Mary）、Hongfei Du（College of William & Mary）、Yangfan He（University of Minnesota - Twin Cities）、Y. Alicia Hong（George Mason University）、Ye Gao（College of William & Mary） 💡 毒舌点评 本文最亮眼的地方在于其核心洞察：在扩散模型中，直接将终点偏好传播到中间步骤是“有缺陷的假设”，并为此设计了优雅的“逐步对齐”框架（EASPO），这确实为情感等需要时序精细控制的任务提供了新的思路。然而，其提出的EASPM评分模型重度依赖CLEP在特定情感数据集上的微调，其泛化能力，尤其是在不同说话人、语言和更复杂情感维度上的表现，是最大的潜在短板，且实验仅在英语数据集上验证。 ...

📄 FAC-FACodec: Controllable Zero-Shot Foreign Accent Conversion with Factorized Speech Codec #语音转换 #扩散模型 #零样本 #语音编解码器 🔥 8.0/10 | 前25% | #语音转换 | #扩散模型 | #零样本 #语音编解码器 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Yurii Halychanskyi（University of Illinois Urbana-Champaign, The Grainger College of Engineering, Siebel School of Computing and Data Science） 通讯作者：未说明 作者列表：Yurii Halychanskyi（UIUC）、Cameron Churchwell（UIUC）、Yutong Wen（UIUC）、Volodymyr Kindratenko（UIUC） 💡 毒舌点评 亮点在于巧妙地将扩散模型的噪声控制机制转化为口音强度的“旋钮”，首次实现了在口音转换中对“转多少”的显式、平滑控制，这对实际应用非常友好。短板是训练数据“作弊”——只用了美式英语单说话人（LJSpeech），这好比只学会了标准答案却没练习过如何修改各地“方言”作业，其面对真正多样化非母语口音时的泛化能力和适应性存疑，而论文对此缺乏深入验证。 📌 核心摘要 问题：现有的口音转换方法缺乏对转换强度的显式控制，难以在“更地道”和“更像本人”之间灵活权衡。 方法核心：提出FAC-FACodec框架，利用FACodec将语音解耦，仅对内容（发音）潜变量zc1进行建模。在训练时，模型学习从加噪的zc1中恢复出美式英语的先验分布。在推理时，通过选择初始加噪的时间步t_start来控制转换强度：t_start越大，表示从越“混乱”的状态开始去噪，结果越偏向先验（美式发音），但可能丢失更多原始特征。 创新点：这是首个提供用户可控参数来调节口音转换强度的框架；仅需目标口音（美式英语）的语音和转录文本进行训练，实现零样本转换；专注于发音层面的修改，严格保留说话人的韵律和音色。 主要实验结果：在L2-Arctic数据集（6种非母语口音）上测试，随着t_start从25增至100，美式口音分类器得分（Acc）从72.22平均提升至89.86，而说话人相似度（SS）从0.97降至0.88，词错误率（WER）从0.07升至0.15，证明了转换强度与身份保留之间的可控权衡。与基线系统相比，在 t_start=100时，本方法在说话人相似度和WER上持平或更优，但在口音得分上通常低于同时重构韵律的系统。 关键数据表（节选）： ...

📄 Feedback-Driven Retrieval-Augmented Audio Generation with Large Audio Language Models #音频生成 #检索增强 #大型音频模型 #扩散模型 ✅ 6.5/10 | 前25% | #音频生成 | #检索增强 | #大型音频模型 #扩散模型 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Junqi Zhao（University of Surrey， CVSSP；Tencent AI Lab， Beijing） 通讯作者：Wenwu Wang（University of Surrey， CVSSP） 作者列表： Junqi Zhao（University of Surrey， CVSSP；Tencent AI Lab， Beijing） Chenxing Li（Tencent AI Lab， Beijing） Jinzheng Zhao（University of Surrey， CVSSP；Tencent AI Lab， Beijing） Rilin Chen（Tencent AI Lab， Beijing） Dong Yu（Tencent AI Lab， Seattle） Mark D. Plumbley（University of Surrey， CVSSP） Wenwu Wang（University of Surrey， CVSSP） （通讯作者） 💡 毒舌点评 亮点在于其“反馈驱动”的框架设计很巧妙，让一个大型音频模型（LALM）去检查另一个生成模型（TTA）的作业，找出了“漏写的声音”，然后去资料库（检索数据库）里找参考答案补上，实现了一种通用且低成本的性能增强。短板是这套流程的“下限”严重依赖那个外部资料库（音频数据库）的全面性和质量，论文中并未充分探讨当数据库里没有合适参考或LALM“找错题”时的容错机制，且评估指标虽然全面，但未能揭示在极端复杂音频场景下的具体失效模式。 ...

📄 FODGE : High-Fidelity Dance Generation via Full-Body Optimization #音频生成 #扩散模型 #全身优化 ✅ 6.5/10 | 前50% | #音频生成 | #扩散模型 | #全身优化 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Xiaoying Huang（中国传媒大学信息与通信工程学院） 通讯作者：Long Ye（中国传媒大学数据科学与媒体智能学院， 媒体融合与传播国家重点实验室） 作者列表：Xiaoying Huang（中国传媒大学信息与通信工程学院）、Sanyi Zhang（中国传媒大学数据科学与媒体智能学院， 媒体音视频教育部重点实验室）、Qin Zhang（媒体音视频教育部重点实验室）、Xiaoxuan Guo（中国传媒大学信息与通信工程学院）、Long Ye（中国传媒大学数据科学与媒体智能学院， 媒体融合与传播国家重点实验室） 💡 毒舌点评 论文的亮点在于清晰地指出了现有方法将“滑步”一律视为错误的问题，并通过设计优雅的FRB模块来区分和保留艺术性滑步，同时将约束从脚部拓展至全身，实验效果显著。短板在于其核心生成架构（两阶段Transformer扩散网络）几乎是LODGE的复用，创新更多体现在“约束”和“后处理”上，属于针对特定问题的工程优化而非范式突破，且完全未开源。 📌 核心摘要 要解决什么问题：现有音乐驱动的舞蹈生成方法在追求物理真实性时（如消除滑步），会错误地抑制舞蹈中固有的艺术性滑步（如太空步），同时忽视了手臂穿透等局部不自然问题，损害了生成舞蹈的艺术表现力。 方法核心是什么：提出FODGE框架，包含两部分：(1) Full-body Refinement Block (FRB)：在扩散模型训练时引入，通过学习脚部滑动与手臂运动的相关性作为优化线索，联合约束四肢动作，以消除手臂穿透等伪影并保留艺术滑步。(2) Full-body Optimization Post-processing module (FOP)：一个免训练的后处理模块，在推理后对整个序列进行校正，包括修正段落衔接不连续、基于物理先验调整全局根轨迹以缓解滑步，以及约束头部旋转至生理合理范围。 与已有方法相比新在哪里：a) 理念更新：不再将所有滑步视为需消除的伪影，而是通过学习相关性来区分并保留艺术表达性的滑步。b) 优化范围扩展：从仅优化脚部（如LODGE的Foot Refine Block）扩展到同时优化手臂和脚部，进行全身联合约束。c) 引入免训练后处理：FOP模块作为一个独立、确定性的后处理步骤，从序列整体角度进一步提升连贯性和合理性。 主要实验结果如何：在FineDance数据集上，FODGE在运动质量指标上显著优于Bailando、EDGE和LODGE。具体关键数据如下表所示。FODGE取得了最佳的FIDk (38.21) 和 FIDg (27.46)，表明生成的舞蹈姿态最接近真实分布。其脚部滑动率 (FSR) 降至2.38%，比LODGE (2.76%) 进一步降低。同时，它在音乐-舞蹈对齐分数 (BAS) 上达到最高的0.2509，说明在保证真实性的前提下，更好地平衡了与音乐的契合度。消融实验显示，移除FRB会导致FIDk和FSR大幅恶化，证明其对生成合理性至关重要。 ...

📄 Gdiffuse: Diffusion-Based Speech Enhancement with Noise Model Guidance #语音增强 #扩散模型 #领域适应 #鲁棒性 ✅ 7.0/10 | 前25% | #语音增强 | #扩散模型 | #领域适应 #鲁棒性 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Efrayim Yanir（特拉维夫大学） 通讯作者：未说明 作者列表：Efrayim Yanir（特拉维夫大学）、David Burshtein（特拉维夫大学）、Sharon Gannot（巴伊兰大学） 💡 毒舌点评 论文巧妙地将一个庞大的语音生成扩散模型“冻结”起来，仅用一个172参数的噪声模型通过测试时训练进行“遥控”，实现了对新噪声的灵活适应，这个“四两拨千斤”的思路确实新颖。然而，论文声称“噪声统计在训练和推理间保持稳定”是核心假设，但仅用20秒噪声片段训练就断言其统计特性稳定可靠，这个前提在复杂多变的现实声学环境中显得有些理想化，可能成为其实用性的阿喀琉斯之踵。 📌 核心摘要 问题：传统判别式语音增强模型在匹配条件下表现好，但面对未见过的噪声类型时泛化能力差，易产生伪影。现有的生成式（特别是基于扩散的）语音增强方法虽然性能优越，但往往需要为每种预期噪声专门训练庞大的模型，适应性差且成本高。 方法核心：提出GDiffuSE，一个基于去噪扩散概率模型（DDPM）的语音增强框架。其核心是利用一个极轻量（172参数）的噪声模型，在测试时通过少量目标噪声样本进行快速训练。在扩散模型的反向生成过程中，利用该噪声模型的似然函数梯度作为“指导信号”，引导一个预训练的、冻结的语音生成扩散模型（DiffWave）生成干净语音。 新意：与现有方法（如直接条件扩散或需重训大模型）不同，GDiffuSE首次将DDPM引导机制与测试时训练相结合，并专门针对语音增强设计了噪声模型指导策略。它解耦了通用语音先验学习和特定噪声适应，使系统能快速适应新噪声。 实验：在LibriSpeech干净语音与BBC音效库噪声混合的数据上进行评估。结果表明，在失配噪声条件下（特别是高频噪声），GDiffuSE在PESQ和SI-SDR指标上持续优于基线方法SGMSE（在WSJ0和TIMIT上训练）和CDiffuSE。例如，在5dB SNR下针对高频噪声，GDiffuSE的SI-SDR为11.25±3.21，而sgmseWSJ0为9.43±2.64，CDiffuSE为3.66±3.23。频谱图也显示其抑制噪声更有效。 实际意义：提供了一种快速、低成本地将强大语音生成模型适应到新噪声环境的可能方案，降低了先进语音增强技术的部署门槛。 主要局限性：核心假设——训练噪声样本与推理时噪声统计一致——在现实中可能不总是成立；实验对比基线相对有限；未充分探讨当噪声统计发生显著变化时模型的失效模式；训练噪声片段（20秒）的充分性有待更全面验证。 🏗️ 模型架构 GDiffuSE系统包含两个主要组件，在训练和推理阶段协同工作，如图1所示。 组件一：预训练的扩散模型（DiffWave，参数θ） 功能：作为语音先验的“生成引擎”，在干净语音上训练，学习从高斯噪声逐步去噪生成语音的逆过程。 内部结构：论文采用UnDiff项目中预训练的无条件DiffWave模型，具有200个扩散步骤，在VCTK和LJ-Speech数据集上训练。它是一个基于WaveNet的去噪网络εθ(xt, t)，用于预测每一步的噪声。 状态：在整个GDiffuSE流程中，该模型的参数保持冻结，不更新。 组件二：噪声模型（参数ϕt） 功能：学习特定噪声类型的统计模型，在扩散过程中提供指导信号。 内部结构：一个极其轻量级的因果卷积神经网络（CNN）。它由4层因果卷积层组成，采用残差连接和权重归一化。每层使用tanh-sigmoid门控机制（WaveNet风格）。网络最终输出高斯分布的均值μt,i和方差σ²t,i。每个扩散步t有独立的噪声模型ϕt。 内部结构（细节）：内核大小为9，通道数为2，膨胀率设置为[1, 2, 4, 8]。总参数量仅172个。 数据流与交互（推理阶段 - Algorithm 2）： ...

📄 Generalizability of Predictive and Generative Speech Enhancement Models to Pathological Speakers #语音增强 #迁移学习 #扩散模型 #鲁棒性 #数据集 ✅ 7.0/10 | 前50% | #语音增强 | #迁移学习 | #扩散模型 #鲁棒性 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Mingchi Hou（Idiap Research Institute, Switzerland; École Polytechnique Fédérale de Lausanne, Switzerland） 通讯作者：未说明 作者列表：Mingchi Hou（Idiap Research Institute, Switzerland; École Polytechnique Fédérale de Lausanne, Switzerland）、Ante Jukić（NVIDIA, USA）、Ina Kodrasi（Idiap Research Institute, Switzerland） 💡 毒舌点评 这篇论文填补了SOTA语音增强模型在病理语音上性能评估的关键空白，是领域内一个��实且必要的“体检报告”。但其短板在于结论的深度略显不足——在发现“病理语音特性导致性能下降”和“迁移微调优于其他方案”这些相对符合直觉的结论后，未能进一步挖掘病理类型的异质性或提出更针对性的适配机制，更像是一份扎实的基准测试报告而非一篇有深度的方法论文。 ...

📄 Generating Moving 3d Soundscapes with Latent Diffusion Models #空间音频 #扩散模型 #音频生成 #数据增强 #多通道 ✅ 7.5/10 | 前25% | #空间音频 | #扩散模型 | #音频生成 #数据增强 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Christian Templin (Stevens Institute of Technology, Hoboken, NJ, USA) 通讯作者：未说明 作者列表：Christian Templin（Stevens Institute of Technology）、Yanda Zhu（Hunan Normal University, Changsha, China）、Hao Wang（Stevens Institute of Technology） 💡 毒舌点评 亮点：首次将潜在扩散模型用于生成带动态声源轨迹控制的一阶Ambisonics音频，并构建了首个大规模带标注的动态空间音频数据集，填补了明确的空白。短板：虽然引入了参数化模型以提高空间精度，但对“动态”这一核心特性的评估主要停留在起止点的角度误差上，对声源在运动过程中轨迹的平滑度、连续性以及听感上的真实性缺乏更细致的量化分析和主观评估。 📌 核心摘要 问题：现有文本到音频生成模型大多局限于单声道或立体声，无法生成完整的三维空间音频。少数能生成一阶Ambisonics（FOA）音频的模型仅支持静态声源，无法处理用户指定的动态声源轨迹，且缺乏相关训练数据集。 方法核心：提出SonicMotion框架，这是一个端到端的潜在扩散模型，专为生成FOA音频设计。其核心创新在于引入了两种条件化方式：1）描述式模型，仅使用文本提示；2）参数式模型，额外使用一个“状态矩阵”作为条件，该矩阵显式编码了声源在时间上的方位角和仰角轨迹。 新意：这是首个能够生成带有用户可控运动轨迹的FOA音频的潜在扩散模型。同时，为解决数据匮乏问题，作者构建了一个超过100万对模拟的FOA-文本数据对的新数据集，包含静态和动态声源及详细运动元数据。 主要结果：实验表明，SonicMotion在语义对齐（CLAP分数）和感知质量（FD， FAD）上与领先的文本到音频模型（如AudioLDM 2）相当。在空间精度上，参数式模型（SM-P）显著优于描述式模型（SM-D），其方位角误差降至13.17°，仰角误差降至4.01°，空间总角度误差降至14.32°，相比SM-D有约51%的整体性能提升。自编码器的重建保真度极高，空间角度误差仅为3.72°。 实际意义：为VR/AR、电影和音乐制作提供了自动化创建沉浸式动态声景的新工具，有望降低专业空间音频内容的制作门槛和成本。 主要局限性：模型基于模拟数据训练和评估，其在真实录音或复杂声学场景下的泛化能力有待验证。评估指标主要关注声源起止点的定位精度，对整个运动轨迹的保真度评估不足。此外，仅支持一阶Ambisonics，更高阶的空间分辨率有待探索。 🏗️ 模型架构 SonicMotion是一个端到端的框架，整体流程分为数据准备、自编码器训练和扩散模型生成三个主要阶段。 ...

📄 Generative Audio Extension and Morphing #音频生成 #扩散模型 #数据集 #音频编辑 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #数据集 #音频编辑 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：未说明（论文注明Prem Seetharaman⋆, Oriol Nieto⋆为同等贡献） 通讯作者：未说明 作者列表：Prem Seetharaman（Adobe Research, San Francisco, CA, USA）、Oriol Nieto（Adobe Research, San Francisco, CA, USA）、Justin Salamon���Adobe Research, San Francisco, CA, USA） 💡 毒舌点评 论文的亮点在于将技术问题（音频生成）与特定用户群体（音效设计师）的需求紧密结合，并针对性地设计了“噪声底数据集”来解决生成静态声音时的幻觉问题，展现了工程上的巧思。短板则在于，它本质上是将音频修复/填充任务包装成了一个“生成”任务，且缺乏与当前最先进文本到音频模型（如AudioLDM 2, VampNet等）在通用生成能力上的直接对比，其技术壁垒和普适性有待商榷。 📌 核心摘要 要解决什么问题：音效设计师在创作中常需要将现有音频片段进行扩展（向前或向后）或在两个不同音频间进行无缝变形（morphing），传统方法耗时且易产生伪影。 方法核心是什么：使用基于扩散Transformer（DiT）的模型，在音频的潜在空间进行操作。核心是提出了一种音频提示指导（Audio Prompt Guidance, APG） 技术，通过在扩散过程中对已知（被掩码的）音频潜在表示和未知（噪声）部分应用一种变体的分类器自由引导（CFG），使生成结果更好地贴合原始音频提示。此外，为了克服在生成持续/静态声音（如环境音）时模型易产生无关噪声的“幻觉”问题，提出了使用合成的噪声底数据集（Noise Floor Dataset） 对模型进行微调。 与已有方法相比新在哪里：1) 提出APG，首次将CFG变体直接应用于音频模态本身以增强生成音频与输入提示的保真度。2) 设计了专门针对音效设计师需求（处理48kHz立体声、特效/环境声）的端到端扩展/变形框架。3) 创新性地构建大规模合成数据集（1.3M小时）并用于微调，以缓解特定数据分布导致的生成幻觉问题。 主要实验结果如何： 客观质量（FAD↓）：生成变形（GenMorph）的FAD为0.432，与原始音频（0.426）几乎持平，显著优于白噪声（1.358）和卷积噪声匹配（0.599）等基线。 方法 FAD ↓ GenExtend 0.520 GenMorph 0.432 Convolutional Noise Matching 0.599 White Noise 1.358 Noise Floor 0.586 Original Audio (上界) 0.426 - 主观测试（MOS 1-5分）：15名参与者（含专业人士）对音频扩展结果的平滑度、一致性和质量平均评分为3.5，3.8，3.5。中位数评分均为4分（对应“相当无缝”、“相当相关”、“良好”）。 - APG消融：指导强度γ从0增加到5时，FAD持续改善；在γ=5时，变形任务的FAD略有上升，故选定γ=5。 实际意义是什么：为音效设计师提供了一个高效、高质量的音频片段扩展与变形工具，有望减少重复性手动操作，提升创作效率。其提出的APG和数据集微调策略也可能对其他条件音频生成任务有参考价值。 主要局限性是什么：1) 应用范围限定在音效和环境声，明确排除了语音和音乐。2) 未与当前最强的通用音频生成模型（如基于大规模网络文本-音频对训练的模型）进行对比，其生成质量的天花板尚不明确。3) 训练数据（110万样本）和噪声底数据集（合成）的具体内容和质量未详细公开，可复现性依赖于作者未共享的资源。 🏗️ 模型架构 模型整体架构是一个在音频潜在空间进行操作的扩散流程，主要包含编码器、扩散Transformer（DiT）、解码器以及核心的APG和掩码机制。 ...

📄 GLA-GRAD++: An Improved Griffin-Lim Guided Diffusion Model for Speech Synthesis #语音合成 #扩散模型 #领域适应 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | #领域适应 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Teysir Baoueb（LTCI, T´el´ecom Paris, Institut polytechnique de Paris, France） 通讯作者：未说明 作者列表：Teysir Baoueb（LTCI, T´el´ecom Paris, Institut polytechnique de Paris, France）、Xiaoyu Bie（同上）、Mathieu Fontaine（同上）、Ga¨el Richard（同上） 💡 毒舌点评 这篇论文的亮点在于将经典的信号处理算法（Griffin-Lim）与前沿的生成模型（扩散模型）结合得干净利落，通过一个“简单但关键”的修改（在预测y0项上进行一次性校正）同时解决了速度和鲁棒性两个痛点，在out-of-domain测试集上的提升相当亮眼。短板在于实验对比的基线不够丰富（未与同期的一些快速扩散声码器如FreGrad、SWave等直接对比），且未开源代码和模型权重，对于宣称“零样本”的方法，其实用价值评估需要等待社区验证。 📌 核心摘要 本文旨在解决基于扩散模型的声码器在条件梅尔频谱图与训练分布不匹配时性能下降且计算成本高的问题。其核心方法GLA-Grad++通过在扩散反向过程的早期，将神经网络预测的“干净语音”（预测y0）替换为从条件梅尔频谱图中通过一次Griffin-Lim算法（GLA）恢复的音频信号（˜x），来引导生成过程。与先前工作GLA-Grad（在多个扩散步骤中重复应用GLA）相比，本方法仅在扩散开始前应用一次GLA，显著加速了生成。实验表明，GLA-Grad++在感知语音质量（PESQ）和短时客观可懂度（STOI）上持续优于WaveGrad和GLA-Grad基线，尤其在未见过的说话人（VCTK数据集）场景下优势明显。例如，在VCTK上，GLA-Grad++的PESQ得分（3.772）相比WaveGrad（3.453）提升了约9.2%。该工作的实际意义在于为扩散声码器提供了一种无需重新训练、即插即用的增强方案，能有效提升合成语音在跨领域场景下的稳定性和质量。其主要局限性是方法性能（尤其是阶段切换点）对单个音频文件可能存在依赖性，论文建议未来可自适应选择最佳切换点。 🏗️ 模型架构 GLA-Grad++是一个针对扩散声码器（如WaveGrad）的推理阶段增强框架，而非一个独立的端到端模型。其整体架构可分为两个串联的阶段： 图1：GLA-Grad++ 总体框架图。Stage 1：校正步骤（上部）：在开始扩散过程之前，从条件梅尔频谱图出发，首先应用梅尔滤波器组伪逆得到幅度谱，然后通过Griffin-Lim算法（GLA）进行相位恢复，最后通过iSTFT得到一个估计的时域音频信号˜x。Stage 2：“经典”扩散步骤（下部）：从随机噪声开始执行标准的扩散反向过程。关键修改在于，在Stage 2的早期扩散步骤（步骤1至n）中，更新公式（公式9）中的第一项（预测y0项）被替换为Stage 1生成的˜x；当扩散过程进行到后续步骤（步骤n+1至T）时，则切换回标准的WaveGrad更新公式（公式5/8）。 ...

📄 GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Constrative and Generative Pretraining #音视频 #对比学习 #扩散模型 #音频生成 #多尺度模型 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #音视频 #对比学习 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文作者列表为“Shentong Mo1,2,3, Zehua Chen3, Jun Zhu3”，未明确标注第一作者） 通讯作者：未说明 作者列表：Shentong Mo（卡内基梅隆大学，MBZUAI，清华大学），Zehua Chen（清华大学），Jun Zhu（清华大学） 💡 毒舌点评 亮点在于将多尺度对比学习和多尺度扩散生成统一在一个框架内，为音视频预训练提供了新范式，实验结果在多个指标上刷新了SOTA；短板是论文对于模型具体架构细节（如扩散模型中噪声预测网络的具体设计）、训练硬件和完整超参数列表描述不足，且未提及开源计划，这使得严格的复现存在挑战。 📌 核心摘要 本文旨在解决现有对比音视频预训练方法在捕捉细粒度、多层次跨模态对应关系以及直接支持生成任务方面的不足。方法核心是提出GMS-CAVP框架，它统一了多尺度视频-音频对齐（MSA）的对比学习目标与多尺度空间-时间扩散（MSD）的生成预训练目标。与之前仅使用单尺度全局对比学习的方法相比，GMS-CAVP能捕获从细到粗的时空依赖关系，并直接建模模态间的转换映射。主要实验结果表明，在VGGSound等数据集上，GMS-CAVP在视频到音频生成任务（KLD: 1.63, FAD: 0.75, Align Acc: 95.87）和检索任务（如视频到音频R@1: 28.90）上均大幅超越了现有方法。其实际意义是为音视频理解与生成提供了更强大、统一的预训练基础。主要局限性可能包括模型复杂度增加带来的计算开销，以及对扩散模型采样速度的潜在影响（论文未深入讨论）。 关键实验数据对比： 方法 KLD ↓ FAD ↓ Align Acc ↑ SpecVQGAN 3.78 6.63 48.79 Im2Wav 2.54 6.32 74.31 Diff-Foley 3.15 6.40 82.47 FoleyGen 2.89 2.59 73.83 V2A-Mapper 2.78 0.99 74.37 Seeing & Hearing 2.62 2.63 78.95 MaskVAT 2.65 1.51 63.87 VAB 2.58 2.69 76.83 VATT 2.25 2.35 82.81 GMS-CAVP (ours) 1.63 0.75 95.87 🏗️ 模型架构 GMS-CAVP是一个统一的判别-生成预训练框架，旨在学习鲁棒的音视频对应表示。 ...