英文题目：AURORA: Augmented Understanding via Structured Reasoning and Reinforcement Learning for Reference Audio-Visual Segmentation
会议身份：
conference:aaai:2026:conference-paper-id:37714
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#知识蒸馏 #强化学习 #音视频 #音视频理解
评分：8.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前25% | 文档类型：方法研究
👥 作者与机构
- Ziyang Luo：机构信息未能从会议 PDF 纯文本可靠映射
- Nian Liu：机构信息未能从会议 PDF 纯文本可靠映射
- Fahad Shahbaz Khan：机构信息未能从会议 PDF 纯文本可靠映射
- Junwei Han：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
参考音频视觉分割（Reference Audio-Visual Segmentation，Ref-AVS）要求同时整合视频、音频与文本指代，定位并像素级分割发声目标，难点在于跨模态指代消解不清与联合训练推理和分割互相损伤。方法分三阶段推进：先用四步结构化思维链（Chain-of-Thought，CoT）做有监督微调（Supervised Fine-Tuning，SFT），强制模型依次做视频描述、音频描述、指代分析与最终答案，最终句式固定为 the target is {class name} 后接 It is [SEG]；同步用分割特征蒸馏约束学生 [SEG] 嵌入逼近纯分割教师并冻结掩膜解码器，隔离推理梯度；再将失败样本改写为错误路径加触发语加修正路径的反射样本做校准，最后用组相对策略优化（Group Relative Policy Optimization，GRPO）做强化，奖励为格式奖励加交并比（Intersection over Union，IoU）奖励加类别奖励。与依赖辅助文本编码器融合或简单模板事后解释的基线相比，关键差异是把推理学习与像素保真显式解耦并引入自我纠错信号。在 Ref-AVS 测试集上该框架可见划分达到 63.2 的 Jaccard 指数（J）和 72.8 的 F 分数（F），未见划分达到 69.7 的 J 和 76.4 的 F，混合平均为 66.5 的 J 和 74.6 的 F，明显超越次优基线并在未见类保持优势。结论仅在短视频二分类指代分割与通用发声目标迁移上验证，长时、多目标、空指代与同义词外推尚未证明。原文未披露训练时长、推理延迟与部署成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/Sssssuperior/AURORA — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么：要读懂这篇论文先要抓住什么任务？
这篇解读的输入是论文原文证据与 3 张官方原图像素，目标是让刚进入语音音乐音频领域的研究生能核对并复述 AURORA 的方法，必须保留的关键信息包括任务定义、3 阶段训练安排、损失与奖励设计、实验条件与主结果数字，输出是 1 篇按学习依赖展开的中文技术解读。本文只讲论文实际研究的引用音频视觉分割任务，教学举例会明确标为例子。
引用音频视觉分割的白话意思是：给你一段视频、一段同步音频，再加一句文本引用，例如第一个发出声音的物体，你要把符合这句话的发声物体在像素级抠出来。英文是 Reference Audio-Visual Segmentation，缩写为 Ref-AVS。与只有声音加画面的音频视觉分割不同，这里文本引用是消歧器：同一画面可能同时出现人与吉他、女人与狗、左侧鼓与右侧弦乐器，光听声音或光看画面都可能选错，必须把三者对齐。
论文指出已有融合方法多用辅助文本编码器加自注意力融合，黑盒程度高，不清楚模型是真懂引用还是记住语言偏置。另一条路线是用大语言模型做推理，但用固定模板做监督微调，容易变成事后合理化：先猜答案再编理由。第二个矛盾是联合训练推理与分割可能损伤像素精度。AURORA 就是为这两个矛盾设计的：先用结构化推理把依据写清楚，再用蒸馏与 2 阶段精炼保住分割并纠正推理。代码当前可用，官方仓库地址为论文给出的开源链接，本次资源状态显示可用。
已有路线走到哪里：融合、模板推理与本工作的分界？
按同输入、同目标、同监督来对照，才能看清分界。第一类是音频视觉分割与引用扩展。早期音频视觉分割关注给发声体生成像素掩码，缺少显式指引，在复杂场景难以锁定感兴趣物体。Ref-AVS 引入基于引用的持续分割指引，通过多模态线索聚合做声视文融合。后续 SAM2-LOVE 引入 SAM2 加多模态融合与 token 传播累积，TSAM 给 SAM 加时间建模并用数据驱动提示替代交互提示。
这些工作把文本当辅助模态，论文认为它们可能没有充分理解引用语义。第二类是音频视觉场景中的多模态大语言模型。Qwen-Omni 与 VideoLLaMA2 整合音频视觉文本以做场景理解，MEERKAT 构建细粒度指令数据以获得时空定位能力，CRAB 尝试在统一框架内做理解与分割。但 CRAB 依赖预定义推理模板的监督微调，论文认为这容易导致浅层模式记忆而非系统推理。
AURORA 的分界在于三点：用 VideoLLaMA2 加 SAM 做推理引导分割，用 4 步结构化思维链分解引用而非事后解释，用分割特征蒸馏把推理学习与分割保真解耦，之后再加反思纠错与分组奖励策略优化。理解这条分界后，后面看消融才有意义：拿掉大语言模型、拿掉思维链、拿掉蒸馏、拿掉反思、拿掉奖励，每一步对应一条已有路线的退化版本。
问题到底难在哪里：举一个样本走完全流程？
先沿一个样本走完输入到输出，再谈公式。举例为教学例子：视频中有女人与狗，音频中有女人说话声与狗叫声，引用是最短声音时长的物体。理想流程是：第一步看视频，确认可见物体是女人与狗及其空间关系；第二步听音频，确认有两类声音且狗叫更短；第 3 步分析引用，确认引用要求的是时长更短者。
第 4 步得出目标是狗，并触发分割。输出是狗的掩码序列。难点有三。第一，跨模态对齐难：时长比较发生在音频域，物体确认发生在视频域，引用约束是语言域，三者时间粒度不同。第二，知识与感知偏差难：模型可能听错乐器音量大小，例如混淆小提琴与大提琴，或看错动作阶段，例如把正要弹吉他当成正在弹。
第三，优化冲突难：推理损失是语言 token 似然，分割损失是像素重叠，二者共享参数时语言梯度可能主导，把用于提示分割的特征带偏。论文把第三点明确为假设：联合目标可能损害分割模型的像素精度，特别是语言推理损失主导优化动态时，会劣化[SEG] 标记的表示。后面所有设计都是为这 3 个难点服务的：4 步链解决对齐，反思解决感知知识偏差，蒸馏与冻结解码器解决优化冲突，强化学习解决难例鲁棒性。
再确认一次任务假设：为什么说联合训练会挤占分割？
这里重提不是重复摘要，而是补一个机制对照。论文的假设是语言推理损失主导优化动态时会劣化[SEG] 表示，进而影响掩码。证据链有三环：无蒸馏时分数低于有蒸馏，冻结教师解码器后推理能力上升而分割不掉，未见划分上蒸馏保持增益。若只是语言模型更大，无法解释为何加一个均方误差模仿就能在分割指标上回升。因此适用条件是：当你用同一隐状态既做长文本生成又做分割提示时，就要考虑解耦。
若你的提示与推理完全分头，则此假设不适用。教学例子标为例子：若把触发语改成开放式答案框，格式奖励将失效，交并比奖励仍有效但类别抽取需重写，这说明格式约束与任务接口是绑定的，不能随意换模板。
全景如何串起三阶段：先看训练流水线图再记顺序？
AURORA 的方法全景是 3 阶段流水线，模型主体是 VideoLLaMA2 加 SAM。第 1 阶段是用思维链路径做监督微调并加分割特征蒸馏，第二阶段是纠错反思风格训练，第 3 阶段是用分组奖励策略优化做强化学习。记住这个顺序很重要，因为每 1 阶段的输入都依赖上 1 阶段的输出：第 1 阶段定格式与基础推理，第二阶段专修第 1 阶段在难例上的错，第 3 阶段在第二阶段基础上做组内探索。 下面这段是图前导读，请按从左到右、从输入到输出的顺序看三栏分工，并注意每栏下方的小字标注了数据来源与训练对象，下一段再对照解释每个箭头的真实含义。
看图路径： 1. 先从顶部用户文本、音频波形与视频胶片三路输入看起，确认任务是三模态共同决定目标；2. 再看绿色思维链框内第一步到第四步的递进，核对每步只做一类分析；3. 接着看黄色框中错误推理经触发语接到修正推理的拼接位置；4. 最后看蓝色框中同一模型产出多个答案再按奖励排序回传优势信号的闭环
论文图 1。原论文 Figure 1：“Overall training pipeline of our proposed model.”。
这张图报告了三栏结构。左栏是思维链，顶部是用户文本、音频与视频 3 路输入，下方是第一步分析图像、第二步分析音频、第 3 步分析引用、第 4 步得出答案，输出记为思维链目标序列。像素可见左栏示例讨论了男人在 1 秒处弹吉他的状态，为后续纠错埋下伏笔。中栏是纠错反思风格训练，顶部是修改思维链路径，可见红色标出的正要弹与男人说话等修正词，底部是生成反思路径，可见错误推理、触发语与正确推理的拼接再送入 AURORA 训练。
右栏是强化学习，可见 AURORA 产出 3 个答案与对应掩码，下方是 3 个奖励与优势上升箭头，表示按相对质量更新。整体箭头是从左栏模型输出流入中栏筛选修正，再流入右栏探索优化，不存在跳过中间直接强化分支。
推理与分割如何各司其职：四步链、特殊标记与蒸馏怎么配合？
这一节承担组件分工教学：谁理解、谁分割、用什么接口连接。输入是四元组，包含指令、引用、视频与音频。VideoLLaMA2 是多模态大语言模型，白话是能同时读视频、听音频、读文本的大模型，负责推理。SAM 是分割一切模型，白话是给定视觉特征与提示就能抠出高质量掩码的分割基础模型，负责像素。接口是特殊标记[SEG]，白话是一个约定好的触发记号。
做法沿 LISA 框架：在思维链推理后追加 It is [SEG]，取该标记的隐状态特征作为给 SAM 解码器的视觉提示。思维链本身是 4 步：第一步视频描述，抽取关键动作物体与空间关系；第二步音频描述，抽取声音类别与时间特性；第 3 步引用分析，找多模态信息与引用的对应；第 4 步最终答案，写成 the target is 加类别名的固定句式。
结构化思维链 × 分割特征蒸馏损失： 结构化思维链负责把引用拆成视频描述、音频描述、引用分析与最终答案 4 步，逐步显式化多模态依据，分割特征蒸馏损失负责让学生的[SEG] 特征去模仿只做分割的教师模型的[SEG] 特征，二者搭配的原因是联合训练时语言损失容易挤占分割表示，组合意义是在学会推理的同时保住触发高质量掩码的提示特征。
监督微调的目标是最大化给定输入下目标思维链序列的似然，符号含义是输入查询与目标序列在微调数据集上的期望，计算目标是让模型学会格式与基本推理。原文实现细节在方法部分给出。
\[LSF T = −E(q,y)∼D\]蒸馏部分要单独理解。教师模型是纯分割专家，只用简单提示 It is [SEG] 训练，且训练步数更多，因此它的[SEG] 特征是高度优化且未被推理任务污染的理想表示。学生模型一面学思维链目标，一面被迫让自己的[SEG] 特征去逼近教师特征，用均方误差度量。更关键的是学生训练时直接复用教师的 SAM 解码器并冻结其参数，目的是不让复杂推理的冲突梯度改动核心分割模块。
\[Ldis = MSE(ft, fs).\]多模态大语言模型 × 分割一切模型： 多模态大语言模型以 VideoLLaMA2 承担音频、视频与文本引用的理解与推理并输出[SEG] 隐状态，分割一切模型以视觉骨干与掩码解码器承担像素级掩码生成，二者搭配的原因是前者长于语义分解、后者长于边界精度，组合意义是推理引导分割：语言端决定目标是什么，分割端决定像素在哪里。
下面这段是图前导读，请先区分左右两路与中间灰色蒸馏虚线，再看右侧三奖励示例框，下一段解释冻结与可训练参数的划分。
看图路径： 1. 先沿左侧视频加音频加引用箭头，区分上方进视觉骨干与下方进多模态大语言模型两条路；2. 再看中间学生推理输出的[SEG] 与下方教师简单提示的[SEG] 之间蒸馏箭头；3. 最后看右侧绿框内格式奖励、交并比奖励与类别奖励三个并列判据的取值示例
论文图 2。原论文 Figure 2：“Overall framework of our proposed model.”。
这张图显示了组件连接。左侧视频加音频加引用分两路：上路进 SAM 视觉骨干，下路进 VideoLLaMA2，像素可见视觉骨干标雪花表示冻结、多模态大语言模型标火焰表示可训练。中间学生分支输出分析推理加 It is [SEG]，下方教师分支只输出 It is [SEG]，二者之间有蒸馏损失虚线。右侧是组答案三奖励：格式奖励检查是否以 It is [SEG] 结尾示例给 1.0，交并比奖励对比预测与真值掩码示例给 0.1，类别奖励检查 the target is 后是否为 MAN 示例给 1.0。掩码解码器标火焰但按正文在学生训练时实际复用教师并冻结，此处图标需以正文冻结说明为准，不能只看图标推定可训练。
两阶段精炼做什么：反思路径如何构造，奖励如何排序？
这一节承担训练构造教学：数据从哪里来、什么被冻结、梯度走哪条路。第 1 阶段冷启动已讲完，第二阶段是纠错反思风格训练。白话是：不只给正确答案，还把常见错与纠正过程一起给模型看。构造操作分 3 步。第一步找难例：只选训练集中交并比低于 0.6 且推理也错的样本，确保纠的是推理与分割双错的明确失败。
第二步请更强的多模态大语言模型 Gemini 做专家标注，按最小修改原则改第 1 阶段模型的错，例如修正结论或补上浅层音频分析，得到错误版与正确版。第 3 步拼接反思路径：错误推理加触发语加正确推理，触发语从预定义集合随机采样，例如等一下让我重新评估。用第二阶段权重做起点，把标准目标序列换成反思路径再微调。论文明确第二阶段用 1505 条反思样本混入 3500 条标准思维链样本以防灾难性遗忘。
纠错反思风格训练 × 分组奖励策略优化： 纠错反思风格训练负责把第 1 阶段模型的错误推理与触发语和修正后推理拼接成反思路径以校准感知与知识偏差，分组奖励策略优化负责对同一输入采样一组候选并按相对优势更新策略以增强鲁棒性，二者搭配的原因是前者先补基础错误、后者再做探索优化，组合意义是把离线纠错知识转化为可泛化的在线推理策略。
反思路径的符号含义是错误序列、触发语与正确序列的拼接，计算目标是直接注入反思行为而非抽象自省。原文实现如下。
\[yreflective = ywrong ⊕xtrigger ⊕ycorrect\]第 3 阶段是强化学习，采用分组奖励策略优化，英文 Group Reward Policy Optimization，缩写 GRPO。白话是：对同一输入采样一组候选，按规则奖励算组内相对优势再更新。给定输入查询，从当前策略采样一组候选回答，规则奖励模型给出标量奖励，再标准化为优势。系数细节是原文去掉与参考策略的散度项以简化。
\[ˆAi = Ri −mean({Ri}G i=1) i=1)\]优化目标是在保持接近旧策略的裁剪目标下提升质量，符号包含新旧策略比值、裁剪阈值与优势。原文实现如下。
\[LGRPO(θ) = E(q,a)∼D,{oi}G i=1∼πθold\]奖励是三元混合且系数都为 1。格式奖励检查推理最后一句是否为 It is [SEG]，是给 1 否则 0，目的是保证触发分割的固定短语且不引入基模型词表外的多余标记。交并比奖励算预测掩码与真值掩码的重叠，范围 0 到 1，直接监督分割质量。类别奖励抽取第 4 步中 the target is 后的类别名与真类比较，一致给 1 否则 0，为简单起见不考虑同义词。
交并比奖励 × 类别奖励： 交并比奖励负责直接度量预测掩码与真值掩码的重叠质量以监督分割结果，类别奖励负责检查第 4 步中 the target is 后类别名与真值类别是否一致以监督推理结论，二者搭配的原因是纯文本奖励看不到掩码、纯掩码奖励看不到推理对错，组合意义是同时把像素正确性与语义正确性压入同一组内排序信号。
原文未报告三奖励之外的可学习奖励模型细节，也未报告采样温度与裁剪阈值的具体数值，这些是复现时的缺项，不从模型名推定。
训练细节补遗：冻结、梯度与重置时机如何交代？
这一节补训练的操作细节，只按证据讲参数冻结与监督来源。第 1 阶段教师训练是纯分割，用简单提示训练更多步，得到理想[SEG] 特征；学生训练时用思维链目标加蒸馏，SAM 解码器来自教师并冻结，梯度不改核心分割模块，只更新推理侧与提示特征。第二阶段起点是第 1 阶段权重，监督来源换成反思路径，含错误、触发语与 Gemini 修正，混合标准样本防遗忘。第 3 阶段起点是第二阶段反思模型，监督来源是规则奖励而非人工标注，组内标准化优势驱动更新，并去掉散度项。
原文未报告学习率、优化器类型与调度、蒸馏权重相对语言损失的系数、触发语集合大小，这些是具体缺项，复现时需以仓库配置为准，不从模型名推定。重置时机方面，每阶段都是接着上 1 阶段权重继续，而非从零重训，教师只训 1 次并冻结复用。
实验条件是什么：在什么数据、什么划分与指标下比较？
这一节承担条件核对：数据量、划分、指标方向与训练预算。数据集是 Ref-AVS 基准，报告包含 4000 段视频与人工像素标注及表述，划分为训练集 2908 段、验证集 276 段、测试集 818 段，测试集再分已见划分、未见划分与空划分。已见与未见的白话是：测试目标类别是否在训练出现过，未见更考验泛化。评价指标是杰卡德指数、F 分数与二者平均，英文为 Jaccard index、F-score 与 J&F，越高越好。训练分 3 段：初始监督微调、纠错微调与强化学习，硬件为两块 A40 显卡。
比较对象包括音频分割、视觉分割、多模态与基础模型方法，论文强调与 EEMC、SAM-LAVS、TSAM 与 CRAB 的可运行策略对比。 下面这段是表前说明，请带着训练预算是否一致、数据混合是否防遗忘、采样数是否足够支撑组内比较的问题去读表，指标方向是步数与样本数越大通常成本越高，下一段解释这些配置对复现的真实代价。
| 阶段 | 步数 | 样本构造 | 组内采样与优化 | 硬件与批量 |
|---|---|---|---|---|
| 第 1 阶段监督微调 | 720 steps | Qwen-Omni 生成思维链 | 似然加蒸馏，冻结教师解码器 | two A40 GPUs，batch size 2 |
| 第二阶段纠错微调 | 300-step | 1505 reflective-style 加 3500 standard CoT | 反思路径替换标准目标 | two A40 GPUs，1 sample per device |
| 第 3 阶段强化学习 | 500 steps | 难例组内探索 | 3 candidate responses per input，gradient accumulation steps of 4 | two A40 GPUs，preference alignment |
下面这段是表后解释，字数满足对配置的完整交代。第 1 个阶段 720 步建立格式与基础推理，成本主要在 Qwen-Omni 生成多样路径而非人工标注。
第二阶段用 1505 条反思加 3500 条标准样本混合，代价是需调用 Gemini 2.5-Pro 做最小修改，且只针对交并比低于 0.6 且推理错的双错样本，这种严格筛选支持纠错聚焦，但也意味着反思数据不覆盖单错样本，这是未评测边界。第 3 阶段每输入采 3 个候选，组数偏小，优势估计方差可能较大，这是以省算力换探索的代价。批量为 2、每设备 1 样本加 4 步梯度累积，说明在 2 卡条件下靠累积维持等效批量，复现时不可只抄批量数而忽略累积与设备数。
主结果支持什么判断：已见与未见划分各赢在哪里？
这一节按问题组织：测什么、与谁比、条件是否一致、关键数字与限制。测的是在 Ref-AVS 测试集已见、未见与混合划分上的分割质量，与 3 类音频、视觉、多模态方法及 CRAB 对比，指标方向都是越高越好。论文报告 AURORA 全面领先，且在未见划分优势更大，支持泛化能力更强的判断，但需注意这仍是同一数据集内的划分泛化，不是跨数据集部署保证。
引用音频视觉分割 × 无引用音频视觉分割： 引用音频视觉分割负责在给定文本引用的条件下定位并发声目标，要求消歧同场景多声源，无引用音频视觉分割负责在只有通用提示如发声物体时找出显著发声目标，二者搭配验证的原因是前者检验引用理解、后者检验表示迁移，组合意义是说明 AURORA 学到的不只是记住引用模板，而是可迁移的声视对应能力。
下面这段是表前说明，请带着是否保留原文可运行基线、是否混放不同指标、聚合对象是否为同一划分的问题去读表，3 个 J&F 列方向都是越高越好，下一段解释最大收益与未胜出项。
| 方法 | 已见 J | 已见 F | 已见 J&F | 未见 J&F | 混合 J&F |
|---|---|---|---|---|---|
| EEMC | 34.2 | 51.3 | 42.8 | 57.2 | 50.0 |
| SAM-LAVS | 43.5 | 51.9 | 47.7 | 69.4 | 58.5 |
| TSAM | 43.4 | 56.8 | 50.1 | 60.5 | 55.3 |
| CRAB | 40.5 | 58.0 | 49.3 | 54.3 | 46.2 |
| AURORA | 63.2 | 72.8 | 68.0 | 73.0 | 70.1 |
下面这段是表后解释，需同时说明收益、代价与反例。AURORA 在已见 J&F 达 68.0，未见 J&F 达 73.0，混合 J&F 达 70.1，相对第二优方法拉开约十几个点，论文将其归因于大语言模型深语义推理加预训练分割基础模型的组合，而非从零训练分割或简单模态融合。
未见划分反而高于已见的现象值得注意，可能与划分难度或类别分布有关，不能直接读成模型在所有未知场景都更强。未胜出项方面，跨任务迁移到无引用分割时 F 分数为 86.7 对比 CRAB 的 86.8，并未胜出，说明在边界精细度上仍有持平而非超越，这是重要反例。跨任务实验只微调 3 轮且未生成新思维链与反思路径，J 分数 77.3 对比 CRAB 的 73.3 支持表示可迁移，但 prompt 换成通用发声物体，条件已变，不能与主表直接比大小。
下面这段是图前导读，请先确认每组视频帧数、音频波形与引用句，再对比绿框推理与两行掩码的对应关系，下一段解释推理多样性与分割正确性的关系。
看图路径： 1. 先看每组上方七帧原视频与音频波形，确认场景中有两个以上候选发声体；2. 再读中间绿框内模型给出的引用复述与声音时长或操控关系比较句；3. 对比下方两行预测掩码，观察 AURORA 只覆盖目标而对比方法出现多人或多乐器误覆盖的位置
论文图 3。原论文 Figure 3：“The visualization results of the referred objects in the Ref-AVS compared with EEMC (Wang et al.”。
这张图报告了两组可视化。上组引用是最短声音时长物体，推理框明确比较女人说话更长、狗叫更短并得出目标是狗，AURORA 预测行只覆盖狗，而 EEMC 行同时覆盖女人与狗，说明引用中的时长比较是关键消歧信号。下组引用是被左侧人演奏发声的物体，推理框先写鼓后经自我纠正改成塔布拉鼓并以 It is [SEG] 结尾，AURORA 行只覆盖左侧鼓，EEMC 行误覆盖右侧弦乐器。图注明确推理步骤顺序可变以支持强化探索，但 4 步始终齐全，因此不能把顺序差异当成缺步。像素不能精确读出交并比数值，质量判断以掩码覆盖位置为准，红色字为模型自我修正痕迹，是反思训练在测试时的外显表现，可能待验证是否为真正因果。
拿掉哪块会掉点：思维链、蒸馏、反思与奖励各自贡献多少？
这一节承担反证教学：每个组件是否必要，代价是什么。论文做了 4 组消融，分别对应监督微调有无思维链、蒸馏有无、反思有无、奖励组合。先看基础：非大语言模型基线用 ImageBind 文本编码器加 SAM，在已见与未见上明显低于全模型，支持强大多模态主干的价值。无思维链变体相对有思维链掉点，支持分步推理对多模态对齐的贡献。蒸馏的对比显示有蒸馏在已见与未见都略高，且未见提升更明显，支持蒸馏在保分割的同时不伤推理。
反思的对比显示只给正确答案的纠正训练不如反思路径，支持显式呈现错误加修正更能纠偏。奖励的对比显示先加交并比奖励再加类别奖励逐步提升，支持像素与语义双监督的必要性。所有消融都在同一基准与指标下比较，聚合对象为已见与未见划分的 J、F 与平均。 下面这段是表前说明，请带着基线是否可运行、阶段是否对齐、指标是否同口径的问题去读表，数字越大越好，下一段解释收益与未测边界。
| 配置 | 已见 J | 已见 J&F | 未见 J | 未见 J&F | 备注 |
|---|---|---|---|---|---|
| 无大语言模型 | 39.2 | 44.0 | 34.0 | 40.2 | ImageBind 加 SAM |
| 无思维链 | 54.1 | 59.1 | 64.2 | 68.1 | 同主干去推理 |
| 有思维链 | 61.4 | 66.0 | 67.1 | 70.3 | 第 1 阶段全量 |
| 无蒸馏 | 60.2 | 65.2 | 65.7 | 69.1 | 去分割蒸馏 |
| 有蒸馏 | 61.4 | 70.6 | 67.1 | 70.3 | 含均方误差 |
下面这段是表后解释，覆盖代价与负结果。最大单项收益来自引入大语言模型与思维链，从无大语言模型的 40.2 量级提升到 70.3 量级，但代价是推理链更长、训练需额外生成与冻结管理。蒸馏的收益幅度较小但稳定，且在未见上保持，代价是需先训一个纯分割教师并冻结解码器，多一段训练流水线。
未胜出与未测边界方面，反思与奖励的完整数字在原文表格中呈现，但本表为控制宽度只放前两组，完整 3 阶段组合的最优值在正文另述为已见 68.0 与未见 73.0，不能把本表的第 1 阶段值当最终值。原文未报告去掉格式奖励后能否稳定输出触发语，也未报告同义词放宽后类别奖励的变化，这些是待验证项。
边界在哪里：哪些结论不能从现有证据推出？
这一节承担限制教学：区分报告、支持与推测。论文直接报告的是在 Ref-AVS 上的已见未见分数、在无引用数据上微调 3 轮后的 J 与 F、以及各消融的相对排序，这些是报告。支持的是结构化推理加蒸馏能在保分割下提升引用理解，反思路径比只给正确答案更有效，双奖励能进一步提升难例，这些有对照支撑。可能与待验证的是：把未见划分优势直接推广为开放世界泛化，把可视化中自我纠正语句当成模型真正内省的证据，把总体趋势当成每组每步都成立。
缺失证据不是技术错误，但不能承诺未测量的量：原文未测量误判率、延迟、推理开销与输出帧率，因此不能说方法更快更省；训练资源只报告 2 卡与步数批量，未报告总时长与显存峰值，推理开销需单独测。类别奖励为简单起见不考虑同义词，可能低估语义正确但用词不同的回答，这是明确的方法边界。反思数据依赖 Gemini 2.5-Pro 的修正质量，若专家标注本身有偏，反思可能继承偏置，原文未做标注者一致性分析。
强化阶段每输入仅 3 候选，组内排序的统计稳定性有限，外推到更大组数需重测。
复现先做什么：按什么顺序准备数据、模型与检查点？
这一节承担可重放教学：先做什么、保留什么超参数、区分什么可用性。第一步准备数据与划分：按 Ref-AVS 的 2908 段训练、276 段验证、818 段测试组织，测试时区分已见、未见与空划分，指标用 J、F 与平均，方向越高越好。第二步准备基座：VideoLLaMA2 做推理，SAM 做分割，Qwen-Omni 生成初始思维链，Gemini 做难例修正，4 个模型的版本与提示必须与原文一致，不能用同名不同版替代。第 3 步按 3 阶段顺序执行：先 720 步监督微调学 4 步格式并加蒸馏，此时复用教师 SAM 解码器并冻结。
再用 1505 条反思混 3500 条标准样本做 300 步纠错微调，难例标准是交并比低于 0.6 且推理错；最后做 500 步强化，每输入采 3 候选，三奖励系数都为 1，批量 2、每设备 1 样本、累积 4 步，在两块 A40 上运行。检查点建议每阶段保存并先验格式：最后一句是否为 It is [SEG]，第 4 步类别名能否抽取，掩码交并比是否同步上升。代码当前可用，仓库为论文给出的地址，但权重下载与系统可运行需按仓库实际说明核对，不能把代码可用等同于一键可运行。
若要迁到无引用任务，按原文只换通用提示为发声物体并微调 3 轮，不重新生成思维链与反思路径，再对比 J 与 F，不可跨任务比大小。
何时值得尝试：给新手的三条行动建议？
收束时回答何时试、如何试、还缺什么验证。何时值得尝试：当你的任务同时有多声源、多物体与一句易混淆引用，且你观察到模型常选错物体而非抠不准边界时，优先试 4 步思维链加类别奖励，因为这是语义消歧问题；当你发现加推理后边界变差时，再引入分割特征蒸馏并冻结解码器，因为这是优化冲突问题；当基础错误集中在听错声音或看错动作阶段时，用小量反思数据针对双错样本纠偏，而非全量重训。
复现先做格式与接口：固定 4 步句式与 It is [SEG] 触发语，固定 the target is 加类别名的抽取规则，确认[SEG] 特征能送入 SAM 解码器，再谈奖励。还需补的验证：同义词与开放词表下的类别判定、更大候选组数下的优势稳定性、跨数据集与实时延迟测量，以及教师质量对蒸馏上限的影响。记住论文特有的易误解点：反思不是让模型学会哲学自省，而是用错误加修正的拼接数据校准感知与知识；强化不是只优化语言流畅度，而是用交并比把像素正确性直接压入排序。
顺序可变的推理步骤仍须 4 步齐全，缺步即算格式错。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses