📄 FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control, Temporal Alignment, and Semantic Precision

#语音合成 #多模态模型 #扩散模型 #数据增强

7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5

✅ 7/10 | 前50% | #语音合成 | #数据增强 | #多模态模型 #扩散模型 | arxiv

👥 作者与机构

作者：Shiyao Wang, Xijuan Zeng, Hui Wang, Shiwan Zhao, Feng Deng, Chen Zhang, Yong Qin。机构：南开大学先进交叉科学研究院，快手科技。论文注明工作于王诗瑶在快手科技实习期间完成。

💡 毒舌点评

这篇工作像一个精心打磨的“集大成者”，把MMDiT的同步能力和参考音频条件控制缝合到一起，试图包揽所有可控VTA任务。动机很清晰，指出了现有方法要么同步好但控制弱，要么控制好但同步差的trade-off。技术上有三个明确的创新点，尤其是副词数据增强，虽然思路直接，但确实能解决一个实际痛点。实验做得很全，几乎把VTA能想到的任务变体都跑了一遍，表格数据详实。然而，这也暴露了它的“缝合”本质——核心架构是MMAudio的，条件注入借鉴了其他工作的思路，数据增强是基于简单规则。论文最大的弱点在于“统一”的声明和“音频编辑”能力的论证都比较弱，编辑功能没有独立的定量评估，说服力不足。此外，作为一篇强调“统一”的工作，在最大的挑战集Greatest Hits上，与针对该数据训练的CondFoleyGen对比时，只强调了自己是“零样本”，这并不公平。分数给7.0，是一篇扎实但缺乏颠覆性创新的工作，属于“好学生”而非“开创者”。

📌 核心摘要

FoleyGenEx是一个统一的视频到音频生成框架，旨在同时实现强时间同步性、灵活的多模态控制（文本、视频、参考音频）以及细粒度的语义精度（特别是对副词的控制）。其核心贡献在于三个设计：1）条件注入机制：通过InputEmbedding层将参考音频条件注入音频流，支持AC-VTA和Foley扩展任务。2）多模态动态掩码：在训练时对音频、视频语义和视频同步特征进行同步掩码，确保训练目标（上下文+掩码）与推理工作流（参考音频+生成音频）一致，防止模型产生对齐捷径。3）副词数据增强：利用信号处理和LLM自动构建了一个包含速度、距离、音量等维度变化的副词增强数据集，以增强模型对细粒度文本语义的响应能力。实验表明，FoleyGenEx在多个基准测试上，相较于MMAudio和MultiFoley等基线方法，在分布匹配、语义对齐、时间同步和风格迁移等方面取得了具有竞争力或更优的表现。

🔗 开源详情

  • 代码：论文中未提及FoleyGenEx自身的独立代码仓库链接。论文指出其架构和训练实现基于MMAudio框架，引用的MMAudio代码链接为：https://github.com/hkchengrex/MMAudio
  • 模型权重：论文中未提及任何模型权重的托管链接。
  • 数据集：论文使用了以下公开数据集，但未提供专门的获取链接：
    • VGGSound（VTA任务训练）
    • AudioCaps（TTA任务训练）
    • WavCaps（TTA任务训练）
    • Greatest Hits（AC-VTA任务评估） 此外，论文提及并开源了一个自建的副词增强数据集（AA），包含88,370个样本。论文在项目主页提供了数据生成提示的详细信息，但未直接提供数据集下载链接。项目主页为：https://foleygenex.github.io/FoleyGenEx
  • Demo：在线演示链接为：https://foleygenex.github.io/FoleyGenEx
  • 复现材料：论文中提及了部分训练配置细节（学习率、调度器、批次大小256、A100 GPU、训练步数300k/330k等），并说明配置基于MMAudio。但未提供完整的训练配置文件、环境文件或模型检查点下载链接。
  • 论文中引用的开源项目：
    1. MMAudio：https://github.com/hkchengrex/MMAudio （核心实现基础）
    2. FoleyCrafter：https://github.com/open-mmlab/FoleyCrafter
    3. VTA-LDM：https://github.com/ariesssxu/vta-ldm
    4. av-benchmark：https://github.com/hkchengrex/av-benchmark （评估工具包）
    5. MultiFoley：https://ificl.github.io/MultiFoley/ （评估基准）
    6. CondFoleyGen：https://github.com/XYPB/CondFoleyGen/tree/main （评估协议与代码）
    7. Resemblyzer：https://github.com/resemble-ai/Resemblyzer （风格相似度评估工具）
    8. DAC-VAE：https://github.com/descriptinc/descript-audio-codec
    9. Synchformer：https://github.com/facebookresearch/synchformer
    10. OpenAI Sora：在引言中提及，未提供链接。
    11. 其他提及的通用工具（如FFmpeg, SoX, Pyroomacoustics）和模型（CLIP, CLAP, ImageBind等）。

🏗️ 方法概述和架构

FoleyGenEx的框架建立在MMAudio之上，采用MMDiT作为多模态融合骨干，结合单模态DiT进行流匹配（Flow Matching）音频生成。其核心架构改进体现在音频、视觉和文本三个模态的处理流程，以及一个专门的条件注入机制上。

  1. 音频模态与条件注入机制：

    • 音频潜变量由预训练的DAC-VAE提取。训练时，采用随机掩码策略，遮盖70-100%的音频潜变量。这一设计的关键在于使训练目标与推理时的参考音频条件注入过程对齐。
    • 条件注入通过一个InputEmbedding层实现。训练时，该层处理被掩盖的音频潜变量（或以30%概率零化，以适应无参考音频任务）与中间状态 \(X_t\) 的拼接，注入条件信息。特征随后通过ConvPositionEmbedding模块进行位置编码，并投影到MMDiT输入空间。
    • 在推理时，对于AC-VTA和FE任务，参考音频潜变量通过InputEmbedding层注入，并与初始噪声相加。这确保了参考音频段在生成过程中保持不变，与训练时的掩码区域行为一致。

  2. 视频模态与多模态掩码策略：

    • 视频特征分为两部分：语义特征（CLIP视觉编码器）和时间同步特征（Synchformer）。
    • 为了抑制推理时引入的代理参考视频（surrogate reference video）带来的影响，并维持训练-推理一致性，论文提出了多模态动态掩码策略。
    • 具体而言，视频语义特征经过双线性映射（bilinear mapping-based masking），其掩码模式与音频潜变量的掩码模式精确镜像。同步特征则先进行投影和上采样以对齐时间维度，同样经过相同的掩码处理，然后与经过平均池化和MLP投影的语义特征结合。
    • 这种设计确保了在参考片段（可能未同步）存在时，模型仍能专注于目标视频与生成音频之间的对齐，防止未同步的参考信息干扰主生成过程。

  3. 文本模态：

    • 文本语义特征由CLIP文本编码器提取。由于文本描述与音频之间不存在严格的帧级时间对齐，因此不对文本特征应用掩码。

  4. 条件融合与损失函数：

    • 多模态融合通过将投影后的视频和文本语义特征与音频潜变量拼接后送入MMDiT实现。同时，这些语义特征被平均池化并通过MLP生成一个全局条件向量。该向量与视觉同步特征结合，形成帧对齐条件。
    • 上述两种条件通过adaLN机制注入MMDiT模块，其中帧对齐条件还进一步引导单模态DiT。
    • 损失函数采用掩码均方误差（Masked MSE），仅计算被掩码帧上的损失，从而优先优化对齐区域，提升时间同步性。

  5. 任务适配：

    • 通过控制不同模态输入的有无或置零（如视频语义特征、文本特征、参考音频特征），该框架能灵活适配TTA、VTA、TC-VTA、AC-VTA、FE等多种任务。此外，利用DiT的潜在反转（latent inversion）特性，还支持在潜在空间进行音频编辑。

图1

图2

💡 核心创新点

  1. 统一的可控VTA框架：首次尝试在单一框架内同时支持TTA、VTA、TC-VTA、AC-VTA、FE以及音频编辑等六种任务，旨在弥合同步性、控制灵活性和语义精度之间的鸿沟。
  2. 条件注入与多模态掩码策略：提出了基于InputEmbedding的条件注入机制，使模型能有效利用参考音频信息进行风格迁移。同时，设计了跨音频、视频语义和视频同步流的多模态动态掩码，确保了训练与推理条件的一致性，防止模型在参考模态与目标模态间建立错误的“对齐捷径”。
  3. 副词数据增强算法：提出了一种自动化的四阶段数据增强流程（数据挖掘、音频增强、标题生成、文本增强），构建了专注于速度、距离、音量等物理属性的副词增强数据集，显著增强了模型对细粒度文本语义的响应能力，填补了现有数据集中副词描述稀缺的空白。

📊 实验结果

实验在AudioCaps（TTA）、VGGSound（VTA）和Greatest Hits（AC-VTA）三个数据集上进行，评估维度涵盖分布匹配、音频质量、语义对齐和时间对齐。

  1. TTA与VTA性能 (表1，表2) 在AudioCaps测试集上，FoleyGenEx在语义对齐（CLAPT）上优于MMAudio，分布匹配（FDVGG）更优，音频质量（IS）略低。加入AA数据后，CLAPT和IS进一步提升。 在VGGSound测试集（完整集和过滤集）上，FoleyGenEx在FDVGG上显著优于MMAudio和MultiFoley，在IB-score（语义对齐）和DeSync（时间对齐）上表现具有竞争力，尤其在过滤集上表现优异。加入AA数据后，指标普遍进一步提升。

  2. TC-VTA：语义-同步解耦 (表3) 在文本与视频语义不匹配的TC-VTA任务上，FoleyGenEx在CLAPT和DeSync上均显著优于MultiFoley，证明其能更好地区分并独立处理语义和同步信息。

  3. AC-VTA：风格迁移与零样本泛化 (表4) 在Greatest Hits数据集上，与多种MMAudio变体及CondFoleyGen对比。FoleyGenEx在时间对齐（OnsetSyncAP）、分布匹配（FDVGG）、风格相似度（Resemblyzer）上均表现最优或极具竞争力。尽管CLAPA略低于在域内训练的CondFoleyGen，但作为零样本泛化方法，其表现强劲。消融实验（表7）显示，多模态掩码（M-2）和条件注入（M-3）对性能至关重要。

  4. FE：风格与时间连续性 (表5) 遵循MultiFoley的协议进行评估。FoleyGenEx在所有配置下，在语义对齐（CA）和时间对齐（DS）上均大幅超越MultiFoley。MMAudio因缺乏参考音频注入路径和多模态掩码，风格连续性差。消融显示，InputEmbedding模块（M-3）进一步提升了风格延续性。

  5. 副词增强分析 (表6) 将AA数据加入训练集后，在TTA任务上，MMAudio和FoleyGenEx的各项指标（FDVGG, KLPANNS, KLPASST, CLAPT）均得到一致提升。主观评估中，经AA数据重训练的MMAudio在响应副词描述的一致性上以3.965分（G:S:B = 386:66:48）显著优于原始基线。

  6. 消融实验 (表7) 对比了三种掩码策略：M-1（仅音频掩码）、M-2（多模态掩码）、M-3（音频掩码+InputEmbedding）。在AC-VTA任务上，M-2在时间同步（OnsetSyncAP）上优于M-1，M-3在语义相关性（CLAPA）上表现最佳。完整的FoleyGenEx（M-3+求和操作）取得最优综合性能。

图3

图4

⚖️ 评分理由

  • 创新性 (1.5/2)：问题定义清晰，针对现有VTA方法的权衡提出了一个统一的解决方案。三个核心创新点（条件注入、多模态掩码、副词增强）各自解决一个具体问题，组合起来具有一定的新颖性。但整体更像是对已有模块（MMDiT、条件注入）的针对性整合与改进，而非基础性原理突破。
  • 技术严谨性 (1.2/1.5)：方法设计有明确动机，消融实验充分验证了各组件（掩码策略、条件注入）的有效性。公式描述清晰（如Masked MSE loss）。主要不足在于对“音频编辑”能力的论证薄弱，仅提及原理和定性结果，缺乏定量评估和与专用音频编辑方法的对比。
  • 实验充分性 (1.2/1.5)：实验非常全面，覆盖了框架声称支持的所有任务类型（TTA, VTA, TC-VTA, AC-VTA, FE），并提供了丰富的消融研究。定量指标多样，涵盖了分布、质量、语义和同步四个维度。不足在于，在AC-VTA任务上，与之对比的CondFoleyGen是在目标数据集上监督训练的，而本文方法是零样本的，这一对比的公平性需谨慎解读。
  • 清晰度 (1.2/1.5)：论文结构清晰，图表（架构图、掩码示意图、频谱图）有效辅助了理解。方法描述部分较详细。但部分技术细节（如双线性映射掩码的具体实现、代理视频构建策略的更多细节）可以进一步阐明。
  • 影响力 (1.0/1.5)：工作在可控音频生成领域具有实用价值，提出的统一框架和副词增强数据集对社区有一定贡献。然而，其核心方法建立在MMAudio之上，独立的影响力受到一定限制。对下游任务（如影视配音、游戏音效）的潜在影响有待进一步验证。
  • 开源 (0.0/1.0)：论文明确指出未提供FoleyGenEx自身的独立代码或模型权重。虽基于MMAudio，但复现其完整工作需要额外实现多个模块和数据处理流程。
  • 可复现性 (0.5/1.5)：尽管论文提供了较多的实现细节（基于MMAudio、超��数、数据集构成），但由于核心代码和训练好的模型未开源，独立复现的难度较高。依赖于对MMAudio框架的理解和对大量细节的正确实现。
  • 工程/实践价值 (0.6/1.0)：该框架具有明确的工程应用潜力，特别是在需要多种可控音频生成模式的场景中。副词增强数据集的构建方法也具有实践参考价值。但缺乏开源实现，降低了其直接可用的工程价值。

🚨 局限与问题

  1. “统一”声明的强度与评估：论文声称统一了六种任务，但第六种“音频编辑”能力仅基于原理描述和定性结果展示，缺乏独立的定量评估（如编辑准确度、编辑前后一致性等），也未与现有的专用音频编辑模型进行比较。这使得“统一”的完整性论证不足。
  2. 对比的公平性质疑：在AC-VTA任务（Greatest Hits数据集）中，与FoleyGenEx进行对比的CondFoleyGen是在该数据集上进行过监督训练的，而FoleyGenEx是零样本推理。虽然论文指出了这一区别，但直接对比其CLAPA分数（0.7216 vs 0.7385）可能并不能完全反映模型在有监督场景下的潜力。论文将略低的分数归因于零样本特性，这一解释合理，但削弱了“显著优势”的 claim。
  3. 副词增强的局限性：数据增强算法集中在速度、距离、音量三个正交维度，虽然实用，但覆盖面有限。现实中的细粒度语义远不止这些。此外，增强过程依赖LLM生成标题，其准确性和多样性受限于LLM的能力和提示设计。
  4. 模型复杂度与效率：论文未讨论模型的计算开销（如参数量、推理速度）。MMDiT架构本身计算成本较高，加上多模态处理流程，在实际部署中可能面临效率挑战。
  5. 评估指标的局限：使用的FD、IS等指标主要评估分布和质量，但对“可控性”和“细粒度语义精度”的直接衡量仍显间接。虽然有CLAPT/CLAPA和副词主观评估，但建立更全面的可控性评估基准是未来方向。

📷 论文图片

图5

← 返回 2026-06-15 语音/音乐/音频论文速递