📄 ACE-Cap: Active Evidence Acquisition via Agentic Co-Evolution for Long-Paragraph Fine-Grained Audio Captioning
标签：#音频字幕生成 #强化学习 #音频大模型 #后训练
7.5/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5
✅ 7.5/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频字幕生成 | #强化学习 | #音频大模型 #后训练 | arxiv
👥 作者与机构
- 第一作者：Fengji Ma（Kling Team 实习，具体机构未说明）
- 通讯作者：Li Liu（具体机构未说明）
- 作者列表：Fengji Ma（Kling Team 实习）、Yan Rong（具体机构未说明）、Xu Li（Project Leader，具体机构未说明）、Xuenan Xu（具体机构未说明）、Chen Zhang（具体机构未说明）、Li Liu（通讯作者，具体机构未说明）
💡 毒舌点评
本文把音频字幕从"一次性写完"改造成一个会追问、会停止、会综合证据的 agent，LOOP-GRPO 的多轮信用分配思路确实比只看最终分数的 GRPO 更细腻。但整套评估高度依赖固定 Gold-MCQ 和冻结 judge，且当前没有代码、模型或数据开源，evidence preservation 是否能在自然长段落字幕中稳定泛化仍要打问号。
📌 核心摘要
本文解决长段落细粒度音频字幕生成中的被动单轮生成问题：模型一旦漏掉某个声学事实，无法主动诊断缺失、重新查询音频并决定何时停止。作者提出 ACE-Cap 框架，将其形式化为主动证据获取问题，由 Composer 提问、Instruct 模型基于音频回答，并将问答对累积为 Accumulated Evidence，最后合成最终字幕。ACE-Cap 的核心训练机制是 LOOP-GRPO，它用 leave-one-out 贡献分配提问信用，用质量-成本效用训练停止，用证据保持效用训练最终合成。奖励来自离线构造的 Gold-MCQ 和冻结的仅看文本的 judge，形成统一 G2P reward。实验显示 ACE-Cap 在 MMAU、MMAR、MMSU 上分别达到 73.0%、64.1%、70.4%，在 Omni-Cloze 上达到 64.4%，在所有评估方法中取得最高分，超过全部专有基线（对 Gemini 3.1 Pro 的 Omni-Cloze 优势为 0.3 点）；在 MMAU、MMAR、MMSU 上领先最强开源基线 5.1、8.8、2.2 个百分点。消融显示，从 all-SFT 到完整交替共演化，MMAR 总准确率从 58.6% 提升到 64.1%。该方法将音频字幕从被动生成推向自适应证据获取，但当前仍受限于音频-only 输入和固定 caption-as-evidence 评估协议。
🔗 开源详情
- 代码：论文中未提及代码链接；未提供 GitHub、HuggingFace、ModelScope 等代码仓库或项目主页地址。
- 模型权重：论文中未提及 ACE-Cap 自身模型权重的下载链接。方法初始化所用主干为 Qwen2.5-Omni-7B（Captioner 和 Instruct）和 Qwen3-8B（Composer），但论文未给出这些权重的获取地址；唯一明确给出的第三方模型卡链接为 Gemini 3.1 Pro 模型卡：https://deepmind.google/models/model-cards/gemini-3-1-pro/
- 数据集：训练数据为从 ASID-1M 中抽取的 50,000 条音频片段；论文中未提及 ASID-1M 的下载链接或开源协议，也未单独发布该 50k 子集。评估基准包括 Omni-Cloze、MMAR、MMAU、MMSU；相关工作还提及 AudioCaps、Clotho、WavCaps；这些数据集/基准在论文中均未提供直接获取链接。
- Demo：论文中未提及。
- 复现材料：论文正文与附录给出部分复现设置：使用 Gemini 3.1 Pro-Preview 生成 gold captions，并从 3,000 对样本子集生成 Gold-MCQs；Captioner 和 Instruct 初始化自 Qwen2.5-Omni-7B，Composer 初始化自 Qwen3-8B；评估使用冻结 Qwen3.6-27B 文本判断器。数据构造与实现细节在附录 A，基线与评估协议在附录 B，单/混合模态结果在附录 C.1，完整标注提示在附录 D。未提供训练代码、配置文件或检查点下载。
- 论文中引用的开源项目：论文中明确给出链接的为 Gemini 3.1 Pro 模型卡：https://deepmind.google/models/model-cards/gemini-3-1-pro/ 。论文提及但未提供链接的开源/第三方项目包括：ASID-1M、AudioCaps、Clotho、WavCaps、Pengi、Audio Flamingo、Audio Flamingo 2、FusionAudio、Omni-Captioner/Audio-Captioner-7B、Audio-Flamingo 3-7B、SALMONN-13B、MiDashengLM-7B、Kimi-Audio-7B、Step-Audio-2-mini-8B、Qwen2-Audio-7B、Qwen2.5-Omni-7B、Qwen3-8B、Qwen3.6-27B、Qwen3-Omni-30B-A3B-Instruct、Qwen3-Omni-30B-A3B-Captioner 等。
🏗️ 方法概述和架构
ACE-Cap 是一个多角色、多阶段的 agentic 训练与推理框架，整体流程为：输入音频先经过 Captioner 生成初始字幕，随后文本-only Composer 根据当前文本历史决定是继续提问还是停止，若提问则由 audio-conditioned Instruct 模型产生答案；所有问答对累积为 Accumulated Evidence，最终由 Composer 生成最终字幕。整个过程可以看作一个带反馈回路的条件生成系统，而不是标准单轮 encoder-decoder。
下图展示了ACE-Cap的主动证据获取框架。
图中对比了被动单次字幕和主动证据获取的差异，突出了Composer提问、Instruct回答并累积证据的流程。
整体流程与模块。 框架包含三个主要策略角色：Captioner \(f_\phi\)、Composer \(\pi_\theta\) 和 Instruct 模型 \(p_\psi\)。Captioner 仅基于音频 \(x\) 生成初始描述 \(c_0 = f_\phi(x)\)。Composer 只接收文本历史 \(h_{g,t} = (c_0, (q_{g,s}, a_{g,s})_{s=1}^{t-1})\)，不接收音频；它输出两种动作之一：\(\text{ASK}(q_t)\) 或 \(\text{READY}\)。若为 ASK，Instruct 模型基于音频、历史和问题采样生成答案 \(a_{g,t} \sim p_\psi(\cdot | x, h_{g,t}, q_{g,t})\)；该答案为 loss-masked 的环境观测，不直接参与 Composer 的梯度更新。若为 READY，则交互结束；如果达到最大预算 \(K\) 仍未 READY，调度器强制 finalization，且不创建策略 stop token。交互结束后得到 Accumulated Evidence \(E_g = (c_0, (q_{g,t}, a_{g,t})_{t=1}^{T_g})\)，Composer 再从该状态以 \(\text{FINALIZE}\) 为条件生成最终字幕 \(c_g^F \sim \pi_\theta(\cdot | E_g, \text{FINALIZE})\)。
统一奖励 G2P。 为了训练所有文本状态，论文离线构造 Gold-MCQ。每个 audio-gold caption 对通过固定流程生成一组问题 \(m_j\) 和五个选项，其中 \(o_j^* \in \{A,B,C,D\}\) 是正确项，E 永远是 Not Given 且永远不会是 gold answer。给定候选文本 \(y\)，冻结 judge \(\mathcal{J}\) 仅根据候选文本和问题预测选项 \(\hat{o}_j(y) = \mathcal{J}(y, m_j)\)。分项得分 \(s_j(y)\) 设定为：预测正确为 \(1\)，预测 Not Given（E）为 \(-0.5\)，预测其他错误项为 \(-1\)。总奖励 \(R_G(y) = \frac{1}{L}\sum_{j=1}^{L} s_j(y)\)。这样，被字幕支持的、被遗漏的和相互冲突的事实会得到不同分数。该 reward 只评估固定 MCQ 覆盖的事实，无法惩罚未覆盖的无据陈述。judge 输入 \(\mathrm{ser}(E_g)\) 由 \(c_0\) 和所有完整问答对按交互顺序、以角色分隔符确定性拼接而成；问题被标记为非断言性内容，因此只有 \(c_0\) 和答案被视为证据。
下图展示了Gold-MCQ的构建和G2P评分过程。
图中显示了问题过滤、音频grounding和judge LLM评分的流程，说明了奖励计算如何基于文本证据。
LOOP-GRPO。 这是 Composer 的核心训练目标。标准 GRPO 把 completion-level advantage 广播到所有 token；LOOP-GRPO 则分别对提问、停止和最终字幕三种动作跨度赋予不同 advantage。对每个已提出的问题 \(t\)，构造 leave-one-out 证据状态 \(E_g^{-t} = (c_0, (q_{g,s}, a_{g,s})_{1 \leq s \leq T_g, s \neq t})\)，即从最终证据中删除该问答对。问题效用为
\[u_{g,t}^Q = r_g^E - r_{g,-t}^E - c_Q,\]其中 \(r_g^E = R_G(\mathrm{ser}(E_g))\)，\(r_{g,-t}^E = R_G(\mathrm{ser}(E_g^{-t}))\)，\(c_Q \geq 0\) 是单次提问成本。这里不用相邻轮次差分，因为相邻差分依赖顺序特定的历史、容易赋予先问者先手优势，且在分数部分饱和后会低估后续更精确的问题。对停止和最终合成，定义 evidence-preserving base utility：
\[b_g = (r_g^F - r^0) + \lambda [\min(r_g^E, r_g^F) - r^0], \quad \lambda \geq 0,\]其中 \(r^0 = R_G(c_0)\)、\(r_g^F = R_G(c_g^F)\)。这个 bottleneck 项要求收集到的证据必须同时被最终字幕保留，才能获得高分。READY 动作效用为 \(u_g^S = b_g - c_S T_g\)，其中 \(c_S \geq 0\) 控制轨迹长度代价；最终字幕效用为 \(u_g^F = b_g\)。对于预算截断的情况，Eq. (15)（停止效用）被省略，只有提问和最终合成仍然通过 Eqs. (12) 和 (16) 训练。
跨度对齐优势估计。 对同一音频的 \(G\) 条 rollout，按动作类型 \(\tau \in \{Q, S, F\}\) 分组归一化，得到每个动作实例的 advantage：
\[A(\xi) = \frac{u(\xi) - \mu_\tau}{\sigma_\tau + \varepsilon_{\mathrm{norm}}},\]其中 \(\mu_\tau\) 和 \(\sigma_\tau\) 是 \(\Xi_\tau\) 内的均值和标准差，防止不同动作类型之间的尺度差异。然后把 advantage 分配到 Composer token span：提问 token 获得对应问题 advantage，READY token 获得停止 advantage，最终字幕 token 获得 synthesis advantage，其他 token（如 Instruct 答案、prompt、用户消息、调度器 token、padding）全部 mask 掉（对于强制 finalization，\(\mathcal{I}_g^S = \varnothing\)）。Composer 损失保留 GRPO 的 clipped ratio 形式，但用 span-aligned \(A^{\mathrm{tok}}\) 替换原广播 advantage，并加入 masked token-average KL penalty：
\[\mathcal{L}_{\mathrm{LOOP}}(\theta) = -\frac{\sum_{g,k} M_{g,k} \min(\rho_{g,k} A_{g,k}^{\mathrm{tok}}, \bar{\rho}_{g,k} A_{g,k}^{\mathrm{tok}})}{\sum_{g,k} M_{g,k}} + \beta \overline{D}_{\mathrm{KL}}(\pi_\theta \| \pi_{\mathrm{ref}}).\]其中 \(\rho_{g,k}(\theta) = \frac{\pi_\theta(y_{g,k} | \mathcal{H}_{g,k})}{\pi_{\theta_{\mathrm{old}}}(y_{g,k} | \mathcal{H}_{g,k})}\)，\(\bar{\rho}_{g,k}(\theta) = \mathrm{clip}(\rho_{g,k}, 1-\varepsilon_{\mathrm{clip}}, 1+\varepsilon_{\mathrm{clip}})\)。
角色预热与交替共演化。 训练先对三个角色分别 SFT。然后 Captioner 用 \(u^{\mathrm{Cap}} = R_G(c_0)\) 做单策略 GRPO warm-up；Instruct 用逐 QA 的增量奖励 \(u_{g,t}^I = R_G(y_{g,t}^+) - R_G(y_t^-)\) 做 warm-up，其中 \(y_{g,t}^+\) 为包含采样答案 \(a_{g,t}\) 的上下文，\(y_t^-\) 为答案前的证据状态，仅答案 token 获得 advantage；Composer 在固定 Instruct 下用 LOOP-GRPO warm-up。之后 Captioner 永久冻结，交替优化：Instruct 阶段冻结 Composer，harvest prompts 更新 \(\psi\)；Composer 阶段冻结 Instruct，rollout 并更新 \(\theta\)。这样每个更新步骤都是单策略问题，避免两个交互策略同时变化带来的非平稳性。
推理行为。 推理时三个角色均冻结，Composer 持续提问直到 READY 或达到预算 \(K\)；此时不使用 gold caption、Gold-MCQ 和 judge。整个过程通过文本-only Composer 与 audio-conditioned Instruct 之间的多轮交互实现证据补充，最终输出长段落细粒度字幕。
💡 核心创新点
- 主动证据获取的音频字幕框架：将长段落细粒度音频字幕从单轮被动生成重构为"初始字幕—提问—音频回答—停止—合成"的闭环。相比一次性 captioner，模型可以显式诊断缺失声学维度并重新查询音频，而不是在已有表征上直接生成完整描述。
- LOOP-GRPO 多轮信用分配：不同于 GRPO 广播 completion-level advantage，也不同于相邻差分奖励，LOOP-GRPO 对每个提问使用 leave-one-out evidence state 的贡献来赋值，并为停止和最终合成分别设计质量-成本与证据保持效用，缓解了先问者占优和分数饱和带来的信用分配偏差。该设计遵循 cooperative RL 中的 counterfactual credit assignment 思想。
- G2P 统一奖励：通过离线构造 Gold-MCQ 和冻结 caption-only judge，将初始字幕、累积证据和最终字幕统一到同一个可比较的奖励空间中；正确、遗漏、冲突事实分别获得 1、-0.5、-1，区分了 supported、omitted、conflicting 三种事实状态。E 选项固定为 Not Given 且永不作为 gold answer。
- evidence-preserving 合成目标：最终字幕奖励中引入 \(\min(r_g^E, r_g^F)\) 瓶颈项，显式要求最终 caption 必须保留已收集证据，否则 evidence acquisition 成功但 synthesis 丢失信息也无法得高分。
- warm-started 共演化策略：三个角色先各自 SFT 和单策略 GRPO 预热，再交替优化 Composer 与 Instruct，同时冻结 Captioner，使非平稳多智能体更新变成清楚定义的单策略问题，降低交互角色共同训练的不稳定性。
📊 实验结果
论文在音频问答下游任务上评估 caption 作为 evidence 的能力，使用统一的 Qwen3.6-27B 仅看 caption 的 judge 协议。主要结果如下：
表中保留主方法、部分代表性基线与关键对比项（完整 18 个基线见原文 Table 1，表中仅保留专有模型中最强 3 个与开源模型中最强 4 个，以及 ACE-Cap 自身）。
| 方法 | MMAU ↑ | MMAR ↑ | MMSU ↑ |
|---|---|---|---|
| Gemini 2.5 Pro | 70.0 | 64.1 | 71.8 |
| Gemini 3.1 Pro | 71.3 | 65.7 | 69.5 |
| Qwen3.5-Omni-Plus | 71.6 | 62.6 | 69.8 |
| MiDashengLM-7B | 67.6 | 51.7 | 62.2 |
| Qwen2.5-Omni-7B | 65.2 | 51.8 | 60.6 |
| Qwen3-Omni-30B-A3B-Instruct | 67.9 | 54.5 | 67.4 |
| Qwen3-Omni-30B-A3B-Captioner | 66.4 | 55.3 | 68.2 |
| ACE-Cap (ours) | 73.0 | 64.1 | 70.4 |
ACE-Cap 在 MMAU、MMAR、MMSU 上分别领先最强开源基线 5.1、8.8、2.2 个百分点。与专有模型相比，在 18 个比较中获得 15 个更高、1 个持平、2 个较低；比 Gemini 2.5 Pro 领先 MMAU 3.0 点、MMAR 持平、MMSU 落后 1.4 点；比 Gemini 3.1 Pro 在 MMAU 和 MMSU 上高 1.7 和 0.9 点，但在 MMAR 上低 1.6 点。
Omni-Cloze 音频 subset 上，ACE-Cap 达到 64.4%，在所有评估方法中取得最高分。具体而言：比最强开源模型 Qwen3-Omni-30B-A3B-Captioner（57.5%）高 6.9 点；比 GPT-4o Audio（35.8%）高 28.6 点；比 Gemini 2.5 Pro（48.0%）高 16.4 点；比 Qwen3.5-Omni-Plus（57.6%）高 6.8 点；比 Gemini 3.1 Pro（64.1%）高 0.3 点。对 Gemini 3.1 Pro 的优势只有 0.3 点，论文也将其解释为最佳点估计而非大幅拉开。
关键消融为训练阶段累积效果（MMAR 全测试集）：
| 训练阶段 | MMAR 总准确率 (%) | 相对上一阶段变化 |
|---|---|---|
| S1 all-SFT | 58.6 | — |
| S2 + Captioner GRPO | 59.1 | +0.5 |
| S3 + Instruct GRPO | 61.6 | +2.5 |
| S4 + Composer LOOP-GRPO warm-up | 62.7 | +1.1 |
| S5 + alternating co-evolution | 64.1 | +1.4 |
其中 Instruct GRPO 贡献最大（+2.5 点），共演化阶段继续带来 1.4 点提升。从 S1 到 S5，Perception、Semantic、Cultural 准确率分别提升 5.44、5.09、8.51 点；Signal 层准确率不太稳定，在 S4 达到峰值后在 S5 回落到 S1 水平，论文将其部分归因于该子集样本量极小（\(n=43\)）。消融采用有序增量评估方式：每个变体保留之前所有训练阶段，因此相邻比较量化的是新引入阶段的增量效应，而非孤立组件移除效应。
文中另有 query-budget 分析：未训练 LOOP-GRPO 的 Qwen3.6-27B Composer 在预算 \(K=6,8\) 时 evidence-retention gap 增大到 1.83 和 1.49 个百分点；ACE-Cap 的 Qwen3-8B Composer 维持 0.25–0.45 点差距，且 \(K=2\)–4 是较好的 accuracy–cost 折中。论文明确指出该比较中两个策略在 backbone 和训练上均不同，无法分离 LOOP-GRPO 的因果效应，因此将 retention gap 视为诊断指标而非受控训练消融。Composer 提问类型中，Raw Composer 偏好 sound events（EV，36.2%）且多数提问集中在第一轮；ACE-Cap Composer 更聚焦 speech/transcription（SP，48.1%），并将时序、说话人和语境问题放在较后轮次。
🔬 细节详述
- 训练数据：使用 ASID-1M 中采样的 50,000 条音频。论文称使用 Gemini 3.1 Pro-Preview（后文简称 Gemini 3.1 Pro）为全部 clip 生成 gold captions，并从 3,000 个 audio-caption pair 构造 Gold-MCQ。数据预处理、音频时长分布、采样策略、数据增强方式的详细说明指向附录 A，正文未展开。
- 奖励函数：G2P reward 由 Gold-MCQ 和冻结 judge 计算。每个问题五个选项，E 固定为 Not Given 且永不作为 gold answer。打分规则：正确 \(1\)，Not Given（E）\(-0.5\)，其他错误 \(-1\)。单个候选文本奖励为所有题目得分均值：\(R_G(y) = \frac{1}{L}\sum_{j=1}^{L} s_j(y)\)。LOOP-GRPO 中定义提问效用 \(u_{g,t}^Q = r_g^E - r_{g,-t}^E - c_Q\)，停止效用 \(u_g^S = b_g - c_S T_g\)，最终合成效用 \(u_g^F = b_g\)，其中 \(b_g = (r_g^F - r^0) + \lambda [\min(r_g^E, r_g^F) - r^0]\)。\(\mathrm{ser}(E_g)\) 为 \(c_0\) 与所有完整问答对按交互顺序、以角色分隔符确定性拼接；问题被标记为非断言性，只有 \(c_0\) 和答案被视为证据。
- 训练策略：采用 SFT + GRPO warm-up + alternating co-evolution。三个角色先各自 SFT，再做单策略 GRPO 预热；之后 Captioner 永久冻结，Composer 与 Instruct 交替训练。算法伪代码（Algorithm 1）给出了完整阶段顺序。具体学习率、warmup 步数、batch size、优化器、训练步数/轮数、调度策略的详细配置指向附录 A，正文未给出。
- 关键超参数：模型主干明确：Captioner 和 Instruct 初始化自 Qwen2.5-Omni-7B，Composer 初始化自 Qwen3-8B，评估 judge 为 Qwen3.6-27B。Gold caption 和 Gold-MCQ 生成使用 Gemini 3.1 Pro-Preview。\(G\)（rollout 组大小）、\(K\)（最大提问预算）、\(\lambda\)（evidence-preserving 权重）、\(c_Q\)（单次提问成本）、\(c_S\)（轨迹长度成本）、\(\varepsilon_{\mathrm{norm}}\)（advantage 归一化常数）、\(\varepsilon_{\mathrm{clip}}\)（策略 clip 常数）、\(\beta\)（KL 系数）的数值正文未给出。
- 训练硬件：GPU/TPU 型号、数量、训练时长未提及。
- 推理细节：推理时所有角色冻结，Composer 交互直到 READY 或预算 \(K\)。解码策略、温度、beam size、采样参数等均未提及。
- 正则化或稳定训练技巧：使用 masked token-average KL penalty、clipped ratio、advantage normalization、span-aligned mask，以及 \(c_Q\)、\(c_S\) 成本项控制过度提问。具体权重值正文未给出。
⚖️ 评分理由
创新性 (1.6/2)：[A_SUMMARY][A_METHOD] 将音频字幕重构为主动证据获取，提出 LOOP-GRPO 的 leave-one-out 多轮信用分配和 G2P 统一奖励，并设计 Composer/Instruct 交替共演化，这些组件级方法创新明确。
技术严谨性 (1.2/1.5)：[A_METHOD][A_LIMITS] 给出 LOOP-GRPO 完整目标、跨度对齐优势估计和交替优化流程，公式与训练阶段清晰；但 leave-one-out 不是严格 counterfactual，依赖最终证据状态的顺序和 judge 行为，存在 residual order sensitivity，属于方法近似局限。
实验充分性 (1.2/1.5)：[A_RESULTS][A_LIMITS] 在 MMAU、MMAR、MMSU 和 Omni-Cloze 上比较 18 个基线并提供 S1-S5 消融和 query-budget 分析，跨数据集证据较充分；但 G2P reward 只覆盖固定 MCQ 事实、无法检测无据陈述，评估协议单一且依赖冻结 Qwen3.6-27B judge，Gold-MCQ 与 gold captions 由 Gemini 生成且未分析标注噪声或泄漏风险，缺少自然 caption 人类质量评估，Signal 层 n=43 信噪比不足。
清晰度 (0.8/1)：[A_SUMMARY][A_METHOD] 框架流程、模块角色、训练阶段和 G2P、LOOP-GRPO、交替优化等内容表述结构化，实验表与消融阶段清楚，整体可读性较好。
影响力 (1.3/1.5)：[A_SUMMARY][A_RESULTS] 在音频字幕下游问答基准上领先最强开源基线 5.1/8.8/2.2 个百分点，Omni-Cloze 取得所有方法最高分，且核心贡献直接面向音频理解与长段落细粒度字幕场景，领域相关性高。
开源 (0.0/1.5)：[A_OPEN] 论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。
可复现性 (0.1/0.5)：[A_METHOD][A_OPEN] 尽管架构、训练阶段和主干预训练信息已有描述，但 G、K、λ、c_Q、c_S、ε_norm、ε_clip、β 等关键超参数数值正文未给出，训练硬件、学习率、batch size 等详细配置指向附录，复现配置大量缺失。
工程/实践价值 (1.3/1.5)：[A_METHOD][A_RESULTS] 推理阶段不需要 gold caption、Gold-MCQ 或 judge，Composer 可自主停止并合成最终字幕；query-budget 分析表明 K=2–4 提供较好的 accuracy–cost 折中，但未披露训练成本和推理延迟，部署性价比评估仍受限。
🚨 局限与问题
论文明确承认的局限：
论文明确说明当前研究仅限 audio-only 输入，并使用固定的 caption-as-evidence 评估协议；未来工作将考虑 audio-visual evidence、更广泛的评估和 adaptive interaction budgets。此外，论文承认 G2P reward 只评估固定 MCQ 中已表示的事实，不能检测 MCQ 之外的无据陈述，也承认 leave-one-out serialization 可能存在 residual order sensitivity。审稿人发现的潜在问题：
- 评估协议单一且高度依赖 Qwen3.6-27B 作为 judge，模型可能在优化过程中隐性过拟合该 judge 的偏好，尽管 judge 是冻结的。
- Gold-MCQ 由 Gemini 3.1 Pro 构造，gold captions 也由其生成，存在标注噪声、模型偏差和数据泄漏风险，论文没有分析这些风险对 reward 和 final performance 的影响。
- LOOP-GRPO 的 leave-one-out 效用仍依赖于最终 \(E_g\) 的序列化顺序和 judge 的上下文行为，因此"每次提问的独立贡献"并非严格的 counterfactual，只是一个近似。
- 论文没有提供自然 caption 的人类质量评估，如语法、事实忠实度、信息冗余等；自动 MCQ 得分高不一定等价于自然长段落字幕质量高。
- 未说明训练成本、推理延迟和预算 \(K\) 的默认取值，难以评估该方法在实际交互式场景中的性价比。
- 没有对 \(c_Q\)、\(c_S\)、\(\lambda\) 等关键奖励系数做敏感性分析，因此无法判断训练对不同信用分配超参数是否鲁棒。
- Signal 层在消融中从 S4 到 S5 回落到 S1 水平，论文归因于子集极小（\(n=43\)），这反映出部分能力层的评估信噪比不足，结论在该层上不可靠。
- query-budget 分析中两个对比 Composer 在 backbone 和训练上均不同，论文自己也承认该比较不能隔离 LOOP-GRPO 的因果效应；作为诊断指标可以接受，但不应被读者过度解读为消融证据。