免训练方法

📄 TAG: Structured Temporal Audio Generation via LLM-Guided Manual Scription and Control #音频生成 #大语言模型 #扩散模型 #免训练方法 #注意力机制 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #大语言模型 #免训练方法 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hanwen Zhang（USC，美国） 通讯作者：Shuhui Wang（ICT, CAS，中国）；Wei Yang（HUST，中国） 作者列表： Hanwen Zhang（USC，美国） Jinshen Zhang（HUST，中国） Cong Zhang（UCAS，中国） Shuhui Wang（ICT, CAS，中国） Wei Yang（HUST，中国） 💡 毒舌点评 亮点：该工作最大的价值在于提出了一个“即插即用”的免训练框架，通过操纵已有音频生成模型的注意力图来实现精确的时间控制，巧妙地将语言理解的复杂性与生成模型的控制分离。短板：其性能高度依赖于作为“大脑”的LLM的指令遵循能力和基础生成模型的预训练质量，论文未能充分分析这种依赖性带来的边界情况或失效模式。 📌 核心摘要 本文针对现有文本到音频生成方法在生成具有复杂时间结构的音频时面临的挑战，提出了一种名为TAG的两阶段框架。问题：现有方法独立构建结构化信息，缺乏灵活性，且现有时间控制方法计算成本高或适应性有限。方法核心：第一阶段利用大语言模型作为推理器和规划器，将复杂文本提示解析为结构化的“音频生成手册”；第二阶段是一个免训练的生成框架，通过对扩散模型的交叉注意力图进行动态、自适应的调制，实现精确的时间控制。新意：相比独立于模型构建结构或需要重新训练的方法，TAG将LLM的语义规划能力与对现有模型注意力的无损操作相结合，且可轻松集成到各种基于注意力的扩散模型中（如UNet和DiT架构）。实验结果：在Audiocaps数据集上，TAG在保持或提升音频质量（FAD, CLAP）的同时，显著提升了文本-音频对齐度。在AudioCondition数据集上的时间控制评估表明，TAG在事件基指标（Eb）和宏观F1（At）上大幅超越了基线模型和先前的SOTA方法，例如，Stable Audio Open + TAG在Eb上达到47.21（基线8.13），At达到74.77（基线56.96）。实际意义：为可定制、时间结构精确的音频生成提供了一个高效、通用且易于部署的解决方案。局限性：方法的上限受限于基础生成模型的能力和LLM对复杂指令的解析精度；免训练的控制方式可能在某些极端场景下对原始生成分布造成干扰。 ...