📄 Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
标签：#音频生成 #指令微调 #音频大模型 #音频理解 #Transformer
7.2/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5
✅ 7.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #指令微调 | #音频大模型 #音频理解 | arxiv
👥 作者与机构
- 第一作者：Chun-Yi Kuan（台湾大学）
- 通讯作者：Chun-Yi Kuan（论文中标注了联系邮箱）
- 作者列表：Chun-Yi Kuan（台湾大学、亚马逊实习期间完成）、Siwon Kim（亚马逊）、Byeonggeun Kim（亚马逊）、Suyoun Kim（亚马逊）、Bo-Ru Lu（亚马逊）、Qingming Tang（亚马逊）、Ankur Gandhe（亚马逊）、Hung-yi Lee（台湾大学）、Chieh-Chi Kao（亚马逊）、Chao Wang（亚马逊）
💡 毒舌点评
论文直击了当前文本到音频生成模型在遵循复杂多事件时序指令时“力不从心”的痛点，利用ALLM作为细粒度裁判来构建偏好数据的思路清晰且实验效果显著，为改善指令遵循能力提供了一条有潜力的新路径。然而，整个框架的成败高度悬于所选ALLM裁判的准确性与推理成本，使其在追求极致可控性的工业场景中“看起来很美”但“用起来肉疼”。论文未能提出一种低成本的替代验证或蒸馏方案来缓解对庞大ALLM的依赖，这极大地限制了其方法的实际可扩展性和落地前景。此外，对时序关系的评估仅限于事件起始顺序的简单排序，回避了对重叠、持续时间等更复杂时序关系的探讨，使得其“时序正确性”的声明在更广泛的意义上略显单薄。
📌 核心摘要
本文针对文本到音频（TTA）生成模型在遵循包含多个声音事件及其时序关系的复杂指令时表现不佳的问题，提出了一种名为“ALLM裁判的偏好优化”（AJPO）的新框架。该方法创新性地利用音频感知大语言模型（ALLM）作为细粒度裁判，评估生成的音频是否包含目标事件以及事件时序是否正确，并基于此构建偏好对用于直接偏好优化（DPO）训练。与主要依赖全局相似度分数（如CLAP）的现有方法相比，本方法的核心在于将评估和反馈直接锚定在“事件完整性”和“时序正确性”这两个指令遵循的关键维度上。实验在多个基准（包括新提出的叙事性多事件基准S3Bench）上表明，该方法显著提升了事件完整性和时序准确性，同时未损害音频质量。其主要局限在于框架性能受限于所选ALLM的判断能力与计算成本，且时序评估模型较为简化。
关键实验结果（以AudioCaps-test为例）：
| 模型 | 事件存在EM(%) | 时序存在EM(%) | 联合准确率(%) | FAD | CLAP |
|---|---|---|---|---|---|
| TangoFlux-base (基线) | 84.8 | 85.2 | 67.1 | 3.37 | 0.365 |
| TangoFlux-CRPO | 87.4 | 85.7 | 67.4 | 2.34 | 0.397 |
| 本文方法 (Ours) | 87.4 | 89.1 | 71.0 | 3.31 | 0.375 |
🔗 开源详情
- 代码： 论文中提及“A project page provides additional qualitative examples…”，但未给出该主页的具体URL，也未提供直接的代码仓库（如GitHub）链接。
- 模型权重： 论文中未提及本文训练后的模型权重发布链接。
- 数据集： 论文中未提及本文所提数据集（如S3Bench、MultiEvent-Temporal系列）的公开下载链接或具体开源协议。论文使用了以下第三方数据集，但并未为本文工作提供新的数据集开源地址：
- AudioCaps (用于训练数据构建和部分评估)
- ESC-50 (用于构建训练模板和MultiEvent-Temporal评估集)
- CompA (用于评估ALLM能力)
- AudioTime (用于评估ALLM能力)
- Demo： 论文中提及项目页面将包含演示，但未提供在线演示的直接地址。
- 复现材料： 论文中未提供检查点、配置文件或附录的公开链接。
- 论文中引用的开源项目： 关键引用包括：
- AudioCaps, ESC-50, CompA, AudioTime (数据集/基准)
- AudioLDM2, EzAudio-XL, Stable-Audio-Open, Tango2 / Audio-Alpaca, TangoFlux-base / TangoFlux-CRPO (基线模型)
- Qwen2.5-Omni, Audio Flamingo 3 (ALLM裁判)
- Baton (偏好数据) (注：以上为本文实验中涉及的模型与数据集名称，论文未提供本文工作的统一项目页或代码仓库链接。开源承诺有待后续项目页面落实。)
🏗️ 方法概述和架构
本文提出的“ALLM裁判的偏好优化”（AJPO）框架是一个多阶段训练流程，旨在通过结构化的指令级反馈来提升文本到音频（TTA）模型的指令遵循能力。其整体流程为：输入一个描述多个声音事件及其时序的文本指令，TTA模型生成多个候选音频，由一个音频感知大语言模型（ALLM）作为裁判进行细粒度评估，基于评估结果构建偏好对，最后使用直接偏好优化（DPO）对TTA模型进行训练。
下图展示了本文提出的ALLM裁判的偏好优化（AJPO）框架的整体流程。
图中清晰地呈现了文本指令输入、候选音频生成、ALLM裁判对事件存在性和时序的评估、偏好对构建以及通过DPO优化模型的关键步骤。
核心组件及详解如下：
- 音频感知大语言模型裁判：这是框架的核心评判组件，而非生成组件。其功能是评估给定音频是否符合文本指令。具体实现中，论文评估并采用了Qwen2.5-Omni系列模型（3B和7B版本）以及Audio Flamingo 3。该组件接收音频和文本指令作为输入，输出两个维度的结构化判断：对于声音事件存在性，它对指令中指定的每个目标事件进行二元判断（存在/不存在），并计算一个平均存在分数 \(s_{\text{exist}}(a,t)\)。对于时序关系，它预测事件发生的相对顺序，并与指令指定的顺序计算Kendall‘s τ相关系数作为时序分数 \(s_{\text{order}}(a,t)\)。论文在AudioCaps-test、CompA、AudioTime以及自行构建的合成数据集MultiEvent-Temporal-2/3/4上验证了这些ALLM裁判的评估能力。选择ALLM而非CLAP作为裁判，是因为CLAP等全局相似度分数无法有效捕捉事件存在性和时序关系。
- 偏好对构建模块：此模块负责将ALLM裁判的连续评分转化为用于DPO训练的二元偏好对。对于每条指令，从当前TTA模型采样K个候选音频，并分别计算其存在分数和时序分数。一个样本被选为“优选”样本 \(a^+\)，必须同时满足事件存在分数为1.0（所有事件齐全）且时序分数为1.0（顺序完全正确）。而“拒绝”样本 \(a^-\) 则分为两类：一类是事件齐全但时序错误（存在分数=1.0，时序分数<1.0）；另一类是事件不全（存在分数<1.0）。这种设计将失败模式解耦，提供了更精细的监督信号。
- 直接偏好优化训练：采用DPO算法，利用上述构建的偏好对（优选音频， 拒绝音频）来优化TTA模型。DPO的目标是让模型增加生成优选音频的概率，同时降低生成拒绝音频的概率。论文还将该方法扩展为在线DPO，即每轮训练后使用更新后的模型重新采样和构建偏好数据，进行多轮迭代训练（论文中展示了5轮迭代的效果）。
- 训练数据构造：使用AudioCaps训练集中的多事件描述文本（60k样本），并结合基于ESC-50标签构建的时序模板（如“It starts with e1, shifts to e2, and ends with e3”），生成多样化的训练指令。这些模板仅用于训练，与评估基准的模板不同。
组件间的数据流是单向的：文本指令 -> TTA模型生成音频 -> ALLM裁判评估 -> 偏好对构建 -> DPO损失计算 -> 更新TTA模型。在在线DPO设置下，更新后的TTA模型又回到第一步生成新的候选音频，形成一个迭代循环。
💡 核心创新点
- 将ALLM作为TTA生成的细粒度裁判与训练信号：论文首次系统性地验证并利用音频感知大语言模型来评估TTA输出的指令遵循度（事件存在性与时序），并将其反馈直接转化为DPO训练的偏好数据。这超越了以往仅用ALLM做事后评估或仅用CLAP分数做奖励的局限，建立了从“理解”到“生成”的反馈闭环。
- 提出针对指令遵循的细粒度评估与偏好构建框架：论文明确将指令遵循解构为“事件完整性”和“时序正确性”两个可评估的维度，并设计了基于这两个维度的评分和偏好对构建策略。这比使用单一全局分数（如CLAPScore）进行偏好排序提供了更诊断化和定向化的监督信号，能更精准地针对模型的具体失败模式进行优化。
- 引入叙事性多事件时序基准S3Bench：为弥补现有基准多为简单事件描述的不足，论文构建了S3Bench，包含更长、更复杂的叙事性指令，涉及多个事件和多种时序模式（包括顺序和重叠）。这为评估和推动复杂指令遵循研究提供了新的测试平台。
📊 实验结果
本节报告论文的主要实验结果。首先，论文验证了所选音频感知大语言模型（ALLM）作为裁判的可靠性。随后，在多个基准上评估了采用ALLM裁判的偏好优化（AJPO）方法训练的文本到音频（TTA）模型（称为“Ours”或“ALLM-DPO”）的指令遵循性能，并与多种基线模型和训练方法进行了对比。实验结果表明，所提方法在事件存在性和时序排序的指令遵循指标上取得了显著提升，同时保持了竞争力的音频质量。
在采用在线DPO进行多轮迭代训练后，模型性能的动态提升情况如下图所示。
图中可见，随着训练迭代次数的增加，模型在多个基准上的事件存在准确性、联合准确率和时序相关性（Kendall‘s τ）均呈现持续上升趋势，表明了该在线训练策略的有效性。
论文在多个数据集上评估了ALLM的判断能力（Table 1），并进行了人类验证研究（Table 2），以确保其作为裁判的可行性。结果表明，Qwen2.5-Omni-7B在事件存在性和时序判断上均表现最佳，且其判断与人类判断具有高度一致性（事件存在性一致率89.8%，时序Kendall‘s τ为0.93）。
论文在AudioCaps-test（Table 3）以及更具挑战性的多事件时序基准（Table 4）上比较了不同TTA模型的性能。
Table 3: 在AudioCaps-test上的评估结果（百分比）。
| 模型 | 事件存在EM | 事件存在Micro | 时序EM | 时序成对 | 时序τ | 联合准确率 | FAD | FD | KL | IS | CLAP |
|---|---|---|---|---|---|---|---|---|---|---|---|
| AudioLDM2 | 52.8 | 74.7 | 56.8 | 63.0 | 0.26 | 20.6 | 2.08 | 34.28 | 1.69 | 7.34 | 0.264 |
| EzAudio | 84.3 | 93.3 | 72.5 | 81.4 | 0.63 | 51.8 | 3.27 | 15.40 | 1.23 | 11.02 | 0.414 |
| Stable-Audio | 42.8 | 69.8 | 55.9 | 61.8 | 0.24 | 15.3 | 4.83 | 41.56 | 2.25 | 9.62 | 0.255 |
| Tango2 | 83.9 | 93.3 | 77.4 | 83.9 | 0.68 | 56.3 | 2.71 | 21.01 | 1.16 | 8.76 | 0.373 |
| TangoFlux-base | 84.8 | 93.5 | 85.2 | 92.6 | 0.89 | 67.1 | 3.37 | 19.92 | 1.16 | 11.42 | 0.365 |
| TangoFlux-CRPO | 87.4 | 94.7 | 85.7 | 90.7 | 0.81 | 67.4 | 2.34 | 20.23 | 1.16 | 11.96 | 0.397 |
| Ours | 87.4 | 94.7 | 89.1 | 92.8 | 0.86 | 71.0 | 3.31 | 20.07 | 1.16 | 11.54 | 0.375 |
Table 4: 在多事件时序基准上的指令级评估结果（百分比）。
| 模型 | 事件存在EM | 事件存在Micro | 时序EM | 时序成对 | 时序τ | 联合准确率 |
|---|---|---|---|---|---|---|
| MultiEvent-Temporal-2 | ||||||
| AudioLDM2 | 21.0 | 54.4 | 55.7 | 55.7 | 0.11 | 11.7 |
| EzAudio | 63.8 | 81.3 | 72.0 | 72.0 | 0.44 | 46.0 |
| Stable-Audio | 27.0 | 62.0 | 57.6 | 57.6 | 0.15 | 15.5 |
| Tango2 | 67.5 | 83.1 | 68.6 | 68.6 | 0.37 | 46.0 |
| TangoFlux-base | 77.9 | 88.9 | 92.4 | 92.4 | 0.85 | 72.0 |
| TangoFlux-CRPO | 85.9 | 92.9 | 94.3 | 94.3 | 0.89 | 81.0 |
| Ours | 89.0 | 94.5 | 96.1 | 96.1 | 0.92 | 85.5 |
| MultiEvent-Temporal-3 | ||||||
| AudioLDM2 | 3.5 | 40.0 | 5.7 | 49.5 | -0.01 | 0.2 |
| EzAudio | 35.2 | 72.0 | 30.7 | 66.5 | 0.33 | 10.8 |
| Stable-Audio | 8.2 | 49.8 | 20.7 | 53.7 | 0.07 | 1.7 |
| Tango2 | 40.2 | 75.2 | 27.3 | 63.4 | 0.27 | 11.0 |
| TangoFlux-base | 48.3 | 80.4 | 67.9 | 88.4 | 0.77 | 32.8 |
| TangoFlux-CRPO | 61.4 | 85.8 | 65.2 | 88.0 | 0.76 | 40.0 |
| Ours | 69.1 | 88.7 | 79.6 | 92.9 | 0.86 | 55.0 |
| MultiEvent-Temporal-4 | ||||||
| AudioLDM2 | 2.3 | 37.0 | 0.0 | 39.9 | -0.20 | 0.0 |
| EzAudio | 19.0 | 67.3 | 9.5 | 63.7 | 0.27 | 1.8 |
| Stable-Audio | 3.0 | 44.1 | 6.7 | 52.8 | 0.06 | 0.2 |
| Tango2 | 22.2 | 69.6 | 10.8 | 62.4 | 0.25 | 2.4 |
| TangoFlux-base | 24.0 | 72.8 | 31.7 | 81.9 | 0.64 | 7.6 |
| TangoFlux-CRPO | 33.2 | 78.6 | 34.9 | 83.8 | 0.68 | 11.6 |
| Ours | 41.3 | 81.4 | 44.6 | 87.3 | 0.75 | 18.4 |
| Sound Scene Story Bench | ||||||
| AudioLDM2 | 4.4 | 36.3 | 41.5 | 50.0 | 0.00 | 1.7 |
| EzAudio | 27.8 | 65.5 | 54.2 | 68.0 | 0.36 | 14.5 |
| Stable-Audio | 11.8 | 48.8 | 41.6 | 54.5 | 0.09 | 4.6 |
| Tango2 | 36.1 | 70.9 | 49.3 | 66.7 | 0.34 | 17.0 |
| TangoFlux-base | 43.7 | 75.3 | 82.3 | 91.9 | 0.84 | 35.3 |
| TangoFlux-CRPO | 57.0 | 82.2 | 80.6 | 92.3 | 0.85 | 45.4 |
| Ours | 59.2 | 83.2 | 85.1 | 94.4 | 0.89 | 49.9 |
论文进行了消融研究，以分析不同反馈源和训练目标的影响。Table 5 和 Table 6 分别报告了在AudioCaps-test和多事件时序基准上的结果。
Table 5: 在AudioCaps-test上的消融研究（百分比）。
| 方法 | 事件存在EM | 事件存在Micro | 时序EM | 时序成对 | 时序τ | 联合准确率 | FAD | FD | KL | IS | CLAP | REL | OVL |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| TangoFlux Base | 84.8 | 93.5 | 85.2 | 92.6 | 0.89 | 67.1 | 3.37 | 19.92 | 1.16 | 11.42 | 0.365 | 3.39 | 3.38 |
| Audio Alpaca | 86.9 | 94.6 | 88.6 | 93.0 | 0.86 | 68.8 | 3.47 | 21.53 | 1.17 | 11.77 | 0.377 | 论文未给出具体数值 | 论文未给出具体数值 |
| Baton | 85.2 | 94.5 | 89.5 | 93.4 | 0.87 | 69.1 | 3.38 | 20.17 | 1.16 | 11.36 | 0.367 | 论文未给出具体数值 | 论文未给出具体数值 |
| CLAP-DPO | 86.0 | 93.8 | 87.9 | 91.8 | 0.84 | 68.3 | 3.35 | 20.52 | 1.17 | 11.61 | 0.379 | 3.55 | 3.32 |
| ALLM-CAP | 85.7 | 94.8 | 89.5 | 92.5 | 0.85 | 68.0 | 3.28 | 20.48 | 1.17 | 11.45 | 0.373 | 论文未给出具体数值 | 论文未给出具体数值 |
| ALLM-SFT | 85.3 | 93.4 | 88.6 | 93.1 | 0.86 | 67.1 | 32.43 | 26.45 | 1.31 | 10.51 | 0.359 | 论文未给出具体数值 | 论文未给出具体数值 |
| ALLM-DPO | 87.4 | 94.7 | 89.1 | 92.8 | 0.86 | 71.0 | 3.31 | 20.07 | 1.16 | 11.54 | 0.375 | 4.28 | 3.39 |
| 注：ALLM-SFT的FAD和FD指标异常，论文指出这表明SFT导致生成分布偏移。 |
Table 6: 在多事件时序基准上的消融研究（百分比）。
| 方法 | 事件存在EM | 事件存在Micro | 时序EM | 时序成对 | 时序τ | 联合准确率 |
|---|---|---|---|---|---|---|
| MultiEvent-Temporal-2 | ||||||
| TangoFlux-base | 77.9 | 88.9 | 92.4 | 92.4 | 0.85 | 72.0 |
| Audio Alpaca | 82.1 | 91.0 | 95.6 | 95.6 | 0.91 | 78.5 |
| Baton | 77.4 | 88.5 | 93.9 | 93.9 | 0.88 | 72.7 |
| CLAP-DPO | 82.1 | 91.0 | 93.4 | 93.4 | 0.87 | 76.7 |
| ALLM-CAP | 78.7 | 89.2 | 94.8 | 94.8 | 0.90 | 74.6 |
| ALLM-SFT | 82.2 | 90.8 | 96.0 | 96.0 | 0.92 | 78.9 |
| ALLM-DPO | 89.0 | 94.5 | 96.1 | 96.1 | 0.92 | 85.5 |
| MultiEvent-Temporal-3 | ||||||
| TangoFlux-base | 48.3 | 80.4 | 67.9 | 88.4 | 0.77 | 32.8 |
| Audio Alpaca | 57.2 | 83.9 | 71.5 | 90.0 | 0.80 | 40.9 |
| Baton | 49.8 | 80.9 | 69.3 | 89.3 | 0.79 | 34.5 |
| CLAP-DPO | 54.4 | 83.1 | 68.6 | 88.9 | 0.78 | 37.3 |
| ALLM-CAP | 53.6 | 82.6 | 70.7 | 89.7 | 0.79 | 37.9 |
| ALLM-SFT | 51.5 | 81.1 | 72.0 | 90.4 | 0.81 | 37.1 |
| ALLM-DPO | 69.1 | 88.7 | 79.6 | 92.9 | 0.86 | 55.0 |
| MultiEvent-Temporal-4 | ||||||
| TangoFlux-base | 24.0 | 72.8 | 31.7 | 81.9 | 0.64 | 7.6 |
| Audio Alpaca | 29.3 | 75.6 | 39.9 | 85.6 | 0.71 | 11.7 |
| Baton | 24.2 | 73.1 | 34.3 | 82.6 | 0.65 | 8.3 |
| CLAP-DPO | 31.0 | 76.4 | 32.9 | 84.0 | 0.68 | 10.2 |
| ALLM-CAP | 26.5 | 74.6 | 35.9 | 83.6 | 0.67 | 9.5 |
| ALLM-SFT | 24.4 | 72.7 | 41.4 | 86.3 | 0.73 | 10.1 |
| ALLM-DPO | 41.3 | 81.4 | 44.6 | 87.3 | 0.75 | 18.4 |
| Sound Scene Story Bench | ||||||
| TangoFlux-base | 43.7 | 75.3 | 82.3 | 91.9 | 0.84 | 35.3 |
| Audio Alpaca | 53.2 | 79.9 | 83.9 | 93.7 | 0.87 | 44.1 |
| Baton | 43.6 | 75.8 | 82.9 | 92.1 | 0.84 | 35.5 |
| CLAP-DPO | 51.7 | 79.6 | 81.2 | 92.0 | 0.84 | 41.3 |
| ALLM-CAP | 49.4 | 79.6 | 83.6 | 93.3 | 0.87 | 40.8 |
| ALLM-SFT | 50.9 | 78.9 | 85.8 | 94.8 | 0.90 | 43.2 |
| ALLM-DPO | 59.2 | 83.2 | 85.1 | 94.4 | 0.89 | 49.9 |
论文展示了将ALLM-DPO扩展为在线迭代训练的效果。结果显示，进行5轮迭代在线训练后，联合准确率、时序正确性等指标持续提升。与重用静态偏好数据的变体相比，在线重建偏好对能有效避免性能退化。
在50个音频样本上进行的人类评估表明，经ALLM-DPO训练的模型在文本相关性（REL）上获得最高分（4.28/5），显著优于CLAP-DPO（3.55）和基线模型。其整体质量（OVL）得分（3.39）也略高于基线（3.38），表明指令遵循能力的提升并未损害音频的主观质量。
关键结论： 实验结果表明，本文提出的ALLM-Judged Preference Optimization (AJPO) 方法通过利用细粒度的ALLM反馈构建偏好数据，能够有效提升文本到音频模型遵循复杂指令的能力。具体而言，该方法在标准基准AudioCaps-test上实现了最高的指令联合准确率（71.0%），在事件存在性和时序排序的多个指标上均达到或接近最优。在更具挑战性的多事件时序基准（MultiEvent-Temporal）和叙事性基准（S3Bench）上，其优势更为明显，联合准确率提升显著（例如在MultiEvent-Temporal-4上从7.6%提升至18.4%）。消融研究证实，基于ALLM的细粒度验证比基于CLAP的全局相似度排序更有效，而直接偏好优化（DPO）的训练目标优于监督微调（SFT），后者会导致音频质量指标异常。人类评估进一步验证了该方法在提升生成音频与文本指令相关性的同时，保持了整体质量。
🔬 细节详述
- 训练数据：使用AudioCaps训练集中的多事件描述文本，结合基于ESC-50标签构建的时序模板，共生成60,000条训练样本。模板与评估基准模板无重叠。
- 损失函数：采用标准的直接偏好优化（DPO）损失，未提及额外损失权重或正则化项。
- 训练策略：学习率\(1 \times 10^{-4}\)，全局批次大小128，线性学习率调度器配500步预热，单次迭代（除在线DPO实验外）。在线DPO进行5轮迭代。优化器未明确说明。
- 关键超参数：未详细说明ALLM和TTA模型的内部架构细节（如层数、隐藏维度）。DPO中的温度参数β未提及。
- 训练硬件：8块NVIDIA A100 GPU，但未说明训练总时长。
- 推理细节：遵循各基线模型的原始配置，包括classifier-free guidance scale和去噪步数。
- 评估协议：时序指标仅在事件存在完全匹配（Existence EM=1.0）的样本上计算，这是合理的条件评估。
⚖️ 评分理由
创新性 (1.3/2)：论文核心创新点在于系统性验证并利用音频感知大语言模型（ALLM）作为细粒度裁判，为TTA生成提供指令级（事件存在性、时序）反馈并转化为DPO训练信号（[A_SUMMARY]、[A_METHOD]），超越了仅用CLAP等全局相似度或事后评估的局限。引入了新的评估基准S3Bench（[A_SUMMARY]）。
技术严谨性 (1.2/1.5)：方法设计逻辑清晰，流程完整：ALLM裁判验证（Table 1, 2）-> 指令级评判 -> 偏好对构建（解耦事件与时序失败模式）-> DPO优化（[A_METHOD]）。对ALLM可靠性进行了人类验证（Table 2）。承认了对ALLM性能的依赖和计算成本高的局限（[A_LIMITS]）。
实验充分性 (1.3/1.5)：实验充分：验证了ALLM裁判能力（多个基准，Table 1）；在AudioCaps-test和多个自建时序基准（MultiEvent-Temporal-2/3/4, S3Bench）上进行了全面的主模型对比（Table 3, 4），包含多种基线；进行了详细的消融研究（Table 5, 6）；开展了人类评估（50样本）（[A_RESULTS]）。
清晰度 (0.9/1)：论文结构清晰，摘要、方法、实验各部分逻辑连贯。图表（Figure 1， Table 1-6）有效辅助理解。方法描述中公式和流程说明明确。但部分实验细节（如在线DPO的迭代细节）和某些符号的连续性可更详细。
影响力 (1.2/1.5)：直接针对文本到音频（TTA）生成中遵循复杂多事件时序指令这一核心痛点，提出了有潜力的解决框架，并在多个基准上证明了有效性（[A_SUMMARY]）。为利用ALLM改善生成模型可控性提供了新范式，对音频生成社区有较高影响力。
开源 (0.0/1.5)：论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。
可复现性 (0.3/0.5)：论文提供了训练数据构建、损失函数、学习率、批次大小和硬件等关键信息（[A_METHOD]细节详述）。但缺少部分关键超参数细节（如DPO中的β），以及ALLM和TTA模型的完整架构配置细节，对精确复现构成一定障碍。
工程/实践价值 (1.0/1.5)：AJPO框架将ALLM评判与DPO训练结合，是解决指令遵循问题的系统性工程方案。然而，框架高度依赖庞大ALLM进行多次推理（评估K个候选），计算成本高昂，限制了其在大规模快速迭代场景中的可扩展性（[A_LIMITS]）。
🚨 局限与问题
- 论文明确承认的局限：作者指出，ALLM裁判的性能并非完美，在真实世界重叠、嘈杂的音频上表现会下降。此外，S3Bench的指令是通过LLM生成的，虽经控制，但仍可能存在与自然语言分布的差异。
- 审稿人发现的潜在问题：
- 对ALLM裁判的强依赖与错误传播：框架的性能上限受限于所选ALLM的判断准确性。如果ALLM对某些事件或时序关系判断有误，这些错误会被系统性地注入训练信号，可能导致TTA模型学习到错误的偏好。论文缺乏对ALLM错误率与最终TTA模型性能关系的分析，也未提出任何纠错或校准机制。
- 计算成本与可扩展性：训练过程需要大量的ALLM推理来评估每个指令的K个候选音频，这比使用简单的CLAP分数计算要昂贵得多。在线DPO的多轮迭代进一步放大了成本。这严重限制了该方法在超大规模数据和快速迭代场景中的应用。
- 时序评估的简化：论文中的时序评估基于事件发生的起始顺序（通过预测秩次并计算Kendall‘s τ）。这忽略了更丰富的时序关系，如事件重叠、部分同步、持续时间差异以及嵌套关系。因此，其声称的“时序正确性”改进是有限的。
- 人类评估规模有限：人类评估仅在50个样本上进行，虽然方向一致，但统计力度可能不足以支撑非常强的结论，尤其是在OVL（整体质量）提升不明显的情况下。