📄 AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward

标签：#音频字幕生成 #强化学习 #音视频理解 #基准测试 #数据集

8.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

🔥 8.4/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频字幕生成 | #强化学习 | #音视频理解 #基准测试 | arxiv

👥 作者与机构

• 第一作者：Mingyang Wu（MMLab, CUHK）
• 通讯作者：原文标注Corresponding author，但未指明具体人物
• 作者列表：Mingyang Wu（MMLab, CUHK）、Kaituo Feng（MMLab, CUHK）、Bohao Li（MMLab, CUHK）、Kaixiong Gong（MMLab, CUHK）、Zihao Yin（Peking University）、Xiangyu Yue（MMLab, CUHK）

💡 毒舌点评

亮点在于打通了"数据标注—奖励设计—评测"三位一体的闭环：AVCap-100K提供高密度原子级标注，Da-GRPO将奖励细化为原子事实级QA验证，AVCap-Score用同一套探针逻辑做评测。训练与评估在同一粒度的原子事实上对齐，是领域内少见的完整工程实践。7B模型仅靠SFT数据就能在Video-SALMONN-2上从41.7降到36.8（低于此前开源SOTA AVoCaDO的37.3），说明数据质量确实有实质贡献。

短板也非常明显：Da-GRPO的奖励信号和AVCap-Score的评测信号都依赖同一类judge模型自问自答，存在"用模型验证模型"的自证循环风险。Table 2中Gemini-2.5-Pro的Visual-Score和Audio-Score恰好完全相同（49.70/49.70），概率极低，令人怀疑评测Pipeline对某些输出的区分度或API解析存在异常。AVCap-100K的标注质量上限完全由Qwen3-Omni-Thinking的感知能力决定，自动过滤后的人工审计只覆盖1000条训练样本和100条探针对，对10万规模数据集来说仍是有限验证。

📌 核心摘要

AVCap旨在解决音频-视频联合字幕生成中三个结构性缺陷：高质量细粒度音视频联合字幕数据稀缺、强化学习奖励信号粗糙、缺乏原子级评测基准。方法上构建AVCap-100K数据集（10万条视频-字幕对），采用"动态分段—单模态解耦提取—联合推理与时间集成—评分过滤"四阶段标注管道，将视觉、人声、BGM三个模态先独立提取再合成，保证长视频中的时间连贯性。训练上提出Da-GRPO（Detail-Aware GRPO），将奖励从整体标量分数替换为基于ground-truth生成的N个原子级视觉/音频/联合问题的密集回答验证分数，实现细粒度事实层面的策略优化。评测上提出AVCap-Bench与AVCap-Score，用20个QA探针对视觉、音频、联合三个维度分别打分。实验显示AVCap-30B在AVCap-Bench上达56.94，UGC-VideoCap平均分85.1，Video-SALMONN-2总分32.7（越低越好），在若干评测上与Gemini-2.5-Pro相当或超过。消融表明Da-GRPO相比Holistic Reward在AVCap-Score上提升3.26分。该工作的实际意义在于为音视频联合字幕生成提供从数据到训练再到评测的一体化基础设施；主要局限在于数据集标注质量和评测客观性都高度依赖Qwen3-Omni-Thinking和Qwen3-30B-A3B这一模型家族。

🔗 开源详情

• 代码：论文统一通过 HuggingFace Collection 发布代码、模型和数据集：https://huggingface.co/collections/Apryle/avcap ；论文中未单独给出 GitHub 链接。
• 模型权重：AVCap-7B-SFT、AVCap-7B、AVCap-30B 等模型权重通过上述 HuggingFace Collection 发布：https://huggingface.co/collections/Apryle/avcap
• 数据集：AVCap-100K（100K 条视频-字幕对，由 12 个开源视频仓库聚合而成），通过同一 HuggingFace Collection 获取：https://huggingface.co/collections/Apryle/avcap ；论文中未明确说明其开源协议。
• Demo：论文中未提及。
• 复现材料：论文提供了详细训练配置和超参数（附录A）。主要配置包括：Stage I 全参数 SFT，1 epoch，global batch size 128，学习率 1e-5，cosine decay，MoE 并行 TP=2/PP=2/EP=4/CP=2；Stage II 使用 Da-GRPO 训练 200 步，LoRA rank=128，alpha=256，G=8，N=20，global batch size 512，学习率 5e-5，β=0.01，并使用 vLLM 做 rollout。另包含 AVCap-Bench 与 AVCap-Score 评测细节、评分模板、数据标注规范等附录材料。
• 论文中引用的开源项目：论文正文未直接给出第三方项目的具体 URL；提及的相关开源模型/工具/基准包括：Qwen3-Omni-30B-Instruct、Qwen2.5-Omni-7B、Qwen3-30B-A3B-Instruct、vLLM、LoRA、Qwen2.5-VL、InternVL3.5、AVoCaDO、HumanOmniV2、UGC-VideoCaptioner、ARC-Hunyuan-Video、MiniCPM-o-2.6、Video-SALMONN-2、DailyOmni、WorldSense 等，但论文中未列出这些第三方项目的链接。

🏗️ 方法概述和架构

AVCap是一个由数据构建、策略训练、评测基准三部分组成的完整体系。整体流程为：先通过AVCap-100K标注管道生成高质量音视频联合字幕作为训练数据，再利用Da-GRPO在SFT基座上做强化学习，最后用AVCap-Bench与AVCap-Score对模型进行原子级事实评估。该框架属于"数据—训练—评测"闭环的多阶段系统架构，而非端到端单模型方案。

AVCap-100K标注管道包含四个阶段。第一阶段为动态视频分段：视频被切分为60秒为单位的片段，尾部短于10秒的片段合并到前一段，避免固定窗口切断连续事件并防止低上下文片段产生碎片化字幕。第二阶段为细粒度单模态解耦提取，使用Qwen3-Omni-Thinking作为标注模型。视觉分支将视频静音后输入模型，强制模型仅依赖视觉线索生成密集视觉描述，避免视觉模型凭经验臆测声音。音频分支先通过Demucs将原声带分离为vocal与BGM两轨；vocal轨经过高保真ASR得到逐字转写，再将音频、视频帧与转写联合输入模型生成包含说话人音色、情绪、性别等属性的Vocal Caption；BGM轨则按15秒窗口分段生成BGM Caption，以更高时间分辨率捕捉音乐与音效的快速动态变化。标注阶段的具体配置见原文附录B.7：ASR温度0.0，Vocal Captioning温度0.3、Top-p 0.9，BGM Analysis温度0.3、Top-p 0.9。第三阶段为音频-视觉联合推理与时间集成：将视觉描述、ASR文本、Vocal Caption、BGM Caption与原始音视频一并输入Qwen3-Omni-Thinking，生成同时在时间上与内容上对齐视觉事件与听觉线索的Joint Caption；对超过60秒的视频，再用Temporal Integration模块将各段输出无损合成为连贯长叙事。第四阶段为评分过滤：从视觉准确性、音频保真度、对齐精度三个维度由Qwen3-Omni-Thinking打分，过滤时温度0.0以确保确定性，仅保留高置信度样本；另对1000个样本做了人工验证。

AVCap-100K的标注管道包含四个阶段，流程如下图所示。

下图展示了动态分割、视觉分支与层次化音频分支的单模态解耦提取、联合推理与时间集成，最后通过评分过滤生成最终字幕。

Da-GRPO训练机制是AVCap方法的核心。Da-GRPO将奖励信号从标量重构为密集信息验证过程，遵循Raise-Answer-Check范式。训练前，Judge Model基于ground-truth字幕生成N个原子级问题，分为视觉、音频、音视频联合三类，并用ground-truth字幕作为唯一上下文生成标准答案，构成探针集 \(\mathcal{Q}\)。训练时，对每个候选生成字幕 \(\hat{C}_i\)，三步计算奖励：（1）Answer——将 \(\hat{C}_i\) 作为唯一上下文回答每个探针问题，得到预测答案 \(\hat{a}_{i,k}\)，这一步检验该原子事实是否能从生成字幕中恢复；（2）Check——Judge Model对 \(\hat{a}_{i,k}\) 与ground-truth答案 \(a^{\text{gt}}_k\) 打0-5语义相似度分 \(s_{i,k}\)；（3）Aggregate——将N个问题的分数聚合得到奖励 \(r_i\)。随后在GRPO框架内，对同一视频采样的 \(G=8\) 条候选字幕计算advantage \(A_i = (r_i - \text{mean}) / \text{std}\)，通过最大化带KL惩罚的策略比率目标更新策略。奖励公式为 \(r_i = \frac{1}{N \times S_{\max}} \sum_{k=1}^{N} s_{i,k}\)，其中 \(S_{\max}=5\)。该奖励机制的核心创新在于将稠密的事实级反馈（每个问题对应一个原子事实）替代了此前工作的事件级或整体语义级反馈，使策略梯度能区分"哪个具体事实被遗漏或凭空捏造"。

Da-GRPO的奖励计算遵循Raise-Answer-Check范式，如下图所示。

下图显示从ground-truth生成原子问题、用候选字幕作为上下文回答，再到语义验证计算密集奖励的完整流程，实现细粒度事实级反馈。

AVCap-Bench与AVCap-Score评测管道与训练奖励同源。AVCap-Bench包含1000个来自独立hold-out split的视频，由5人标注团队逐条核查，无未解决的事实冲突样本被保留。AVCap-Score的评测流程为：从人工验证的ground-truth字幕由Judge Model（Qwen3-30B-A3B-Instruct）生成20个原子问题，并从ground-truth得到标准答案；再将待评模型生成的候选字幕作为唯一上下文回答同样问题；最后由judge对预测答案与标准答案进行0-5语义相似度评分。子分数归一化公式为 \(S_{\text{Type}} = \frac{100}{|\mathcal{Q}_{\text{Type}}| \times 5} \sum_{k \in \mathcal{Q}_{\text{Type}}} s_k\)，其中 \(\text{Type} \in \{v, a, av\}\)；总分为 \(\text{AVCap-Score} = \sum_{k=1}^{|\mathcal{Q}|} s_k\)，满分100。这套评测将字幕评估从n-gram表面词重叠转移到原子事实的信息可恢复性上，是AVCap-Score区别于CIDEr、BLEU等传统指标的核心差异。问题生成遵循三条原则：答案必须是确定性的、可从上下文推断的、聚焦于音视频细粒度的。

AVCap-Score的评测管道与训练奖励同源，具体流程见下图。

下图展示了从人工检查的ground-truth生成QA对、用候选字幕作为唯一上下文回答，再到Judge模型验证计算分数的过程，确保评测与训练目标对齐。

关键设计选择及动机：其一，单模态解耦标注是为了根治跨模态幻觉（视觉模型猜声音、音频模型猜画面）；其二，音频分支采用Demucs源分离是为了解决ASR在音乐/噪声混叠下的退化问题；其三，奖励和评测统一采用基于探针的QA验证是为了让优化目标与评估目标同构。局限性在于这种设计对judge模型的提问质量和感知能力高度敏感。

💡 核心创新点

1. AVCap-100K数据集的解耦式标注管道。此前视频字幕数据集多为视觉主导或粗粒度事件标注；AVCap-100K通过"视觉分支（静音视频）+ 层次化音频分支（Demucs分离、ASR、Vocal/BGM独立标注）+ 联合推理"的方式，先解耦再合成，同时依靠动态分段与时间集成保持长视频叙事连续性。该管道使7B模型仅靠SFT即在Video-SALMONN-2 Total上从Qwen2.5-Omni的57.1降至36.8（越低越好），并超过此前开源SOTA AVoCaDO（37.3），验证了数据质量对模型上限的决定性作用。

2. Da-GRPO的原子级密集奖励。此前强化学习视频字幕工作使用事件级checklist（如AVoCaDO）或整体语义分数，无法定位到具体事实的错误。Da-GRPO将奖励分解为N个原子问题的QA验证平均分，使策略能够感知"某个具体视觉对象颜色漏了"或"某句台词说错"这类细粒度错误。消融结果显示在AVCap-30B基座上，Da-GRPO相比Holistic Reward在AVCap-Score上提升3.26分，在Video-SALMONN-2 Total上降低1.8；相比N-gram Reward提升2.66分。

3. AVCap-Score的原子级事实评测协议。传统n-gram指标对同义改写和事实性错误不敏感；AVCap-Score用20个确定性QA探针将评估分解为可核查的原子事实，在视觉/音频/联合三个维度分别给分。该评测与训练目标同构，减少了"训练优化A指标、评测B指标"的mismatch问题。原文附录C.3给出的完整示例进一步展示：单个模型可在音频细粒度上表现优异（如逐字转录、口音、语速），同时在视觉品牌细节上出错（如把"Red Bull Rampage logo"混淆为"Red Bull flag"），这种诊断粒度是传统指标无法达到的。

4. 模型规模与架构的泛化性验证。AVCap不仅在Qwen2.5-Omni-7B这一密集架构上验证了数据与RL的有效性（AVCap-Score从34.14提升至51.59），也在Qwen3-Omni-30B-A3B这一MoE架构上复现了一致增益（AVCap-Score从53.03到56.94），证明了数据管道和奖励机制不依赖于特定backbone。

5. 开放的全套资源。代码、模型、数据集、评测脚本、完整训练配置全部通过HuggingFace Collection公开，且评测基准包含人工审计，对后续研究者复用门槛较低。

📊 实验结果

表1按通用基准保留最强闭源基线（Gemini-2.5-Pro）、此前开源SOTA（AVoCaDO）、Qwen3-Omni-Captioner以及本文两个代表模型。表2按AVCap-Score保留闭源最强基线、最强开源基线和本文关键消融项。所有数值均取自原文表1、表2、表3、表4。

表1：通用音视频字幕基准对比（节选）

AVCap-7B-SFT 在 Video-SALMONN-2 Total 上为 36.8，低于（越低越好）此前开源 SOTA AVoCaDO 的 37.3；在 UGC-VideoCap 上为 75.2，高于 AVoCaDO 的 73.2。AVCap-30B 在 UGC-VideoCap（85.1 vs 72.6）和 WorldSense（34.3 vs 33.8）上超过 Gemini-2.5-Pro，在 Video-SALMONN-2 Total（32.7 vs 31.3）上也更低；但在 DailyOmni 上为 52.1，低于 Gemini-2.5-Pro 的 60.2。因此“超过 Gemini-2.5-Pro”只适用于前三项中的相应指标，DailyOmni 仍有差距。

表2：AVCap-Score细粒度评测与Da-GRPO消融（节选）

Da-GRPO相对SFT的增益为+3.91，其中Joint维度提升最显著（+4.83），说明原子级联合对齐奖励对声画同步关系有明确改善。奖励机制消融（原文表4）：w/Holistic Reward为53.68，w/N-gram Reward为54.28，均低于Da-GRPO的56.94，验证了密集原子奖励优于粗粒度语义奖励。探针数量敏感性实验（原文图6）显示N=20附近收益饱和。受表格列数限制，表中未展示Video-SALMONN-2的Miss/Hall子项、UGC-VideoCap的Audio/Visual/Detail子项及原文表4的Miss/Hall列；这些子项上Da-GRPO相对SFT均一致更优（如Hall.从10.4降至10.3，UGC Audio从82.3升至84.1）。

消融实验探究了探针问题数量N对性能的影响，如下图所示。

下图显示AVCap-Score、Video-SALMONN-2 Total和UGC-VideoCap Avg随N增加而改善，并在N=20附近收益饱和，验证了探针数量的选择。

原文还提供了受控归因分析（表3）：AVCap-7B-SFT相比AVoCaDO（两者同为Qwen2.5-Omni-7B backbone，差别仅在AVCap-100K训练数据）在Video-SALMONN-2 Total上从37.3降至36.8，UGC-VideoCap从73.2升至75.2，AVCap-Score从46.05升至49.76；AVCap-7B再加Da-GRPO后进一步降至35.9/升至78.0/51.59。人工评估（附录B.5，100个样本，5名标注员）显示AVCap-30B得分84.34，显著高于AVoCaDO的77.20。原文未提供推理延迟、吞吐等系统指标，也未提供7B backbone上Da-GRPO与两种替代奖励的单独消融。

🔬 细节详述

• 训练数据：AVCap-100K共100K视频-字幕对，来源为AVE、VGG-Sound、Condensed Movies、AVQA、Trailer30K、MPII-MVAD与YouTube等12个来源；其中VGGSound、MovieClips与YouTubeMovies三类合计占82%以上。SFT阶段使用其中60K视频，Da-GRPO阶段数据同样来自AVCap-100K。视频按60秒动态分段，尾部不足10秒并入前段；BGM描述按15秒窗口。字幕平均长度416.01词，中位数390词，标准差134.18（附录B.2）。数据先经Qwen3-Omni-Instruct做质量过滤与语义分类，再由Qwen3-Omni-Thinking完成解耦标注与三维度评分过滤。人工审计结果（附录B.3）：ASR转写50条音频样本WER 4.7%；judge答案100对错误率1%；训练字幕1000条幻觉率<4%；生成探针100对无浅层或无关塌缩；字幕冗长度100条中仅2%被标记为过度冗长。
• 损失函数：SFT阶段为交叉熵；Da-GRPO阶段为GRPO策略梯度损失，带KL散度惩罚，\(\beta=0.01\)，奖励为N个原子问题的归一化语义相似度均值。
• 训练策略（SFT）：Qwen3-Omni-30B-A3B-Instruct主干，全参数微调，global batch size 128，micro batch size 2，学习率1e-5，min LR 1e-6，cosine+warmup（warmup ratio 0.05），AdamW，bf16，max seq len 32768，1 epoch，weight decay 0.1，grad clip 1.0。MoE并行TP=2、PP=2、EP=4、CP=2，Sequence Parallel与Distributed Optimizer开启，MoE aux loss系数1e-3，容量因子2.0，Top-K=2。视觉编码器冻结。视频最多64帧，视频token上限2048，图像token上限4096，视频总像素上限约20M，单帧像素上限802,816，音视频交错输入开启。
• 训练策略（Da-GRPO）：LoRA Rank=128、α=256，global batch size 512，micro batch size 4，学习率5e-5，温度1.2，\(G=8\)，\(N=20\)，max completion 1024，KL \(\beta=0.01\)，importance sampling为sequence-level，epsilon 3e-4/4e-4，overlong filter开启，loss type为GRPO，max seq len 16384。并行TP=2、PP=2、EP=2、CP=2，offload model与optimizer均开启，padding free开启，recompute granularity为selective。RL阶段视频帧上限16，视频token上限384，视频像素上限67,584，图像token上限1024。
• 训练拓扑：四个节点各8 GPU。两个训练节点（共16 ranks）运行Megatron GRPO分布式优化；一个rollout节点运行vLLM（TP=8，GPU mem 0.85，max model len 16384，max num seqs 256，RL阶段rollout的视频帧上限12，视频token上限256）；一个reward节点运行Qwen3-14B作为奖励模型（TP=8，GPU mem 0.90，thinking关闭，max num batched tokens 32768）。
• 评测设置：AVCap-Score的Judge Model为Qwen3-30B-A3B-Instruct，温度0；打分模型为Qwen3-14B（reward node）；caption生成温度0、max tokens 4096；QA答案生成温度0、max tokens 100；打分温度0、max tokens 5。所有评测prompt固定且在模型间共享。附录C.3给出了一个20问题完整评分示例，最终得分为87.0/100，展示了对视觉品牌细节（logo混淆）与音频细节（逐字转录）的区分诊断能力。
• 训练硬件与效率：SFT阶段32×80GiB GPU四节点，约5小时；Da-GRPO阶段200步约23小时，rollout均时178s/步，reward推理55.4s/步，reward计算占总时长13.06%。
• 推理细节：评测时temperature=0，beam search未说明，vLLM serving。
• 训练数据chat模板：系统提示定义Qwen persona，用户输入包含 <video> token与任务指令，目标输出为ground-truth字幕（附录A.1）。数据标注各阶段温度设置见附录B.7：ASR为0.0/0.5，其余生成类模块为0.3/0.9，过滤类模块为0.0/0.9。

⚖️ 评分理由

• 创新性 (1.5/2)：AVCap-100K以动态分段、单模态解耦与时间集成构建高密度音视频字幕数据；Da-GRPO将标量奖励替换为原子级QA验证的密集奖励；AVCap-Score用同一探针逻辑做原子级评测，形成数据-训练-评测闭环。引用[A_METHOD][A_SUMMARY]

• 技术严谨性 (1.0/1.5)：训练奖励与AVCap-Score评测均由Qwen3-30B-A3B类judge自问自答，存在用模型验证模型的自证循环；附录A9换judge后AVCap-30B分数从56.94降至51.39，且表2中Gemini两子分完全相同未被解释，评测逻辑稳健性不足。引用[A_LIMITS]

• 实验充分性 (1.2/1.5)：原文缺少7B backbone上Da-GRPO与两种替代奖励的单独消融，也未分析RL阶段16帧/384 token输入与SFT阶段64帧/2048 token输入的差异对奖励可靠性的影响；10万级数据仅靠1000条训练样本和100条探针人工审计，验证力度有限。引用[A_RESULTS][A_LIMITS]

• 清晰度 (0.8/1)：方法、训练配置和附录示例较完整，但摘要与结论中’matches or surpasses proprietary models’未限定范围；在Video-SALMONN-2 Total（32.7 vs 31.3）和DailyOmni（52.1 vs 60.2）实际落后，需更明确区分哪些评测超越、哪些仍有差距。引用[A_SUMMARY][A_LIMITS]

• 影响力 (1.0/1.5)：面向音频-视频联合字幕这一音频社区关注任务，AVCap-7B-SFT在Video-SALMONN-2 Total达36.8，超过AVoCaDO的37.3；AVCap-30B在UGC-VideoCap达85.1、WorldSense达34.3，逼近或超过Gemini-2.5-Pro，提供可用于后续研究和生成任务的高密度数据与原子级评测协议。引用[A_RESULTS][A_SUMMARY]

• 开源 (1.2/1.5)：代码、AVCap-7B/30B模型权重与AVCap-100K数据集均通过HuggingFace Collection公开，核心产物完整；但论文未说明开源协议，文档完整性不足，按固定锚点给1.2。引用[A_OPEN]

• 可复现性 (0.5/0.5)：原文披露SFT与Da-GRPO的完整超参（学习率、global batch、LoRA rank/alpha、G=8/N=20/KL=0.01）、四节点GPU拓扑、vLLM rollout配置以及评测温度和prompt模板，足以复现主结果。引用[A_METHOD][A_OPEN]

• 工程/实践价值 (1.2/1.5)：标注管道以动态分段、单模态解耦、联合推理和评分过滤四阶段落地；训练拓扑将训练、rollout、reward节点分离，并给出SFT约5小时、Da-GRPO约23小时的成本数据，工程系统可直接支撑更大规模数据与模型迭代。引用[A_METHOD][SCORING_SOURCE_11/45][SCORING_SOURCE_17/45]

🚨 局限与问题

论文明确承认的局限：

1. 数据管道依赖自动过滤加人工抽检，自动过滤的评分标准本身存在噪声；人工验证规模为1000条训练样本（幻觉率<4%）、100条探针对（无浅层塌缩）、50条ASR样本（WER 4.7%）和100个生成字幕（2%冗长），对于10万规模数据集属于有限审计。
2. Da-GRPO的探针问题数量N=20是基于约15秒视频片段的信息容量选定的，对更长视频（如数分钟持续内容）需要重新标定。
3. RL训练成本高，200步Da-GRPO在16训练GPU+16推理GPU的配置下仍需约23小时，其中reward计算占总时长13.06%；论文未报告N-gram和Holistic Reward基线训练的精确成本对比。
4. 评测中Gemini系列为API调用，存在版本更新导致结果波动的风险。
5. 数据集中VGGSound、MovieClips与YouTubeMovies合计超过82%，剩余来源占比很小，不同来源的标注难度差异未做逐来源质量分析。

审稿人发现的潜在问题：

1. 评测自洽性风险：AVCap-Score的question generation、answer extraction、grading全部由Qwen3-30B-A3B完成，Da-GRPO的训练奖励也由同一类judge模型产生。如果judge模型偏好某种风格的表述（如长句式、特定措辞），AVCap模型的分数可能因"训练评测同源"而虚高。附录表A9中替代judge（Gemini-3.1-Pro）下AVCap-30B得分51.39，与默认judge下的56.94差异显著，而GPT-5.4下为57.7，说明分数对judge选择敏感，主表分数存在judge特定偏差。
2. 表2中Gemini-2.5-Pro的Visual-Score与Audio-Score完全一致（49.70/49.70），概率极低，可能是评测脚本对特定输出的异常处理（如judge连续给出相同分数）或API解析问题，论文未解释。
3. 数据标注使用Qwen3-Omni-Thinking，模型自身的视觉/音频感知错误会渗透到ground-truth中。人工幻觉率<4%仅在1/100样本上验证，若幻觉分布不均，AVCap-Bench测试集也可能受污染。
4. 摘要与结论中"matches or surpasses proprietary models on several evaluations"表述整体有节制，但"surpass"仅在WorldSense（34.3 vs 33.8）和UGC-VideoCap（85.1 vs 72.6）上成立；在Video-SALMONN-2 Total（32.7 vs 31.3）和DailyOmni（52.1 vs 60.2）上均落后。结论部分需更明确地区分"哪些评测超越、哪些仍有差距"。
5. RL阶段视频输入被压缩到16帧、384 video tokens、总像素1,003,520，而SFT阶段为64帧、2048 tokens、总像素约20M；训练与评测的输入分布存在差异（评测阶段依目标模型自身配置，论文未明示帧数上限），论文未分析这种压缩对reward计算可靠性的影响。
6. 附录表A9中的"Gemini-3.1-Pro"与"GPT-5.4"无法在公开API体系中验证，且与正文Gemini-2.5-Pro的版本关系未说明；读者无法判断这是否为评测时的实际模型版本，影响该附录结果的可引用性。

← 返回 2026-08-11 语音/音乐/音频论文速递