📄 推理越多越好吗：指向性音视频分割的预决策推理预算
英文题目：To Think or Not to Think: Pre-Decisional Reasoning Budgets for Referring Audio-Visual Segmentation
评分：6.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Haojie Hu：Tongji University
- Senda Chen：Tongji University
- Ying Shen：Tongji University
- Lin Zhang：IEIT SYSTEMS (Beijing) Co., Ltd.；Tongji University
📌 核心摘要
指代表达音视频分割输入未剪辑视频、同步音频和自然语言指代表达，输出发声目标的时空二值掩膜，语言歧义、多个相似声源和视听对齐误差都会干扰定位。论文对每个样本分别运行零推理、短推理和长推理三种预算并经同一检测加分割栈评分，再按容差选最低成本预算作为反事实标签。接着复用冻结多模态大模型在首个推理词元之前的末输入位置隐状态作为生成起始表示，用线性探针和两层感知机预测是否需要推理，该标签直接作为路由器监督信号。选定预算的查询被送入GroundingDINO得到框，再由SAM2得到掩膜，决策在生成开始前一次前向完成。在RefAVSBench测试可见集上，自适应控制器取得0.528的区域相似度与轮廓准确度平均值（\(\mathcal{J}\&\mathcal{F}\)），低于固定长推理的0.549，但推理词元从275降至110。长推理在简单查询上会引起措辞与定位漂移而损害分割，只在真正歧义查询上有益。该权衡只在评测管线内成立，源到改写指代表达的迁移取得0.458而未超过固定长推理的0.474，仅体现成本效率，完整标注仍需目标掩码和多次管线运行，原研究共计约85 GPU小时，延迟在单卡A100上测得，跨主干原生最优预算尚未单独校准。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
指代性音视频分割要从什么输入得到什么输出
指代性音视频分割的输入是三部分放在一起的查询：一段未剪辑的视频、与之同步的音频，以及一句自然语言指代，例如墙边持续演奏的说话者或演奏时间最长的乐器。模型要输出的是发声目标在时间和空间上的二值掩码，判断每 1 帧的每个像素是否属于被指代的物体。评价沿用区域相似度和轮廓准确度及其平均，也就是 J&F，得分越高表示掩码与人工标注越接近。对于刚进入语音音乐或音频领域的读者，可以把这个任务理解成听觉加视觉的指代表达理解：音频帮助判断谁在发声，视频提供位置和外观，文本说明要找哪一个，三者缺一都可能找错。
论文沿用的系统把语义推理和感知执行分开。推理部分由多模态大模型负责，感知部分固定使用 GroundingDINO 做文本引导的检测框预测，再用 SAM2 把框转成精细掩码。这样做的好处是比较公平：不同推理预算最终只是交给同一检测器和分割器的接地短语不同，掩码得分的差异就可以归因于推理策略，而不是检测器换了。例如直接把原指代句送给检测器是一种策略，先让大模型做一步简短推理再提炼短语是另一种策略，做完整的多步思维链后再提炼是第 3 种策略。
指代性音视频分割 × 思维链推理 × 接地短语： 指代性音视频分割指根据自然语言指代和声音线索在视频中分割出目标物体的时空掩码，思维链推理指多模态大模型在给出答案前生成的中间语言推理，接地短语指推理后交给检测器做定位的文本描述，三者分工是推理负责消歧，接地短语负责把语义转成交给 GroundingDINO 和 SAM2 可执行的定位输入，组合后推理质量直接决定掩码质量。
已有路线为什么默认推理越长越好
在指代分割和音视频分割方向上，早期工作更关注感知本身，例如更强的音频查询融合、开放词汇检测、可提示分割、时序传播和实例级扩展，另一条线用反事实学习缓解音频与视觉的虚假关联。近期指代性音视频分割开始加入较重的推理，例如结构化的思考定位分割链、用反思训练的方法，以及按指代难度分发的多智能体推理。原文提到其中一个多智能体方法已经观察到反思步数从两步加到三步反而变差，但没有在样本层面系统比较不同预算的配对结果。
在自适应计算方向上，更早有自适应计算时间、早退网络、条件专家路由，以及基于置信度的早退和推测解码，近期大模型工作则用确定性估计、难度分数或控制器策略调整推理长度。这些方法多数需要逐步评估置信度、依赖外部难度标准，或从表层特征路由。本文的不同点按原文表述是把预算选择提前到第一个推理词元之前，用融合后的预生成状态做一次路由，而不是在生成过程中再判断。本文只在相同输入目标和运行阶段下与文本路由、均值池化路由、置信度路由和先生短再决定是否升级的流水线比较，不把感知结构完全不同的分割模型的分数直接当成同条件胜负。
简单样本为什么会被长推理带偏
论文要解决的具体问题是固定长推理对所有样本一视同仁带来的浪费和损伤。当画面已经很明确，例如画面中只有一件乐器或说话者清晰可见，直接定位就能做好，这时强制模型写很长的推理反而可能加入不支持的细节，使描述偏离视觉证据，最终掩码变差。相反，当需要比较多个乐器谁演奏时间最长，或从多人中分辨发声者时，简短描述信息不足，仍需要多步推理做消歧。也就是说推理的价值不是模型本身的属性，而是具体输入与模型交互的属性。
为了量化这种异质性，论文让每个样本都实际走完零、短、长 3 种预算并比较掩码结果。结论是没有一种固定预算对所有样本最好，而按样本选便宜且达标预算的事后参考明显高于常长策略。需要强调的是需要零预算的比例只表示直接接地已在容差内接近最好结果，不等于长推理在每个这类样本上都有害，真正有害的子集是另外抽样审计的。教学例子：可以想象老师问墙边的说话者，若模型在长推理里脑补成墙边的钢琴，就会把框画到乐器上，这就是后文审计关心的短语漂移加定位漂移。
整体流程如何做到推理前就分配预算
整体流程可以沿着一个样本走一遍。视频、音频和文本先经过各自冻结的编码器得到特征，再送入冻结的多模态大模型做融合编码。在即将生成第一个推理词元的那一刻，取出最后一个输入词元对应的最后一层隐状态，论文称之为生成起始表示。这个状态已经看过全部多模态证据，但还没有包含任何生成的推理文本，因此被称为预决策的。
下面的读图说明帮助理解 3 条路线的区别：左侧常长流水线每个查询都要经过完整思维链，中间文本路由器只能看到冻结文本特征，右侧本方法复用已算好的起始状态做路由。
看图路径： 1. 先看左侧常长流水线与右侧本方法的输入是否相同；2. 再看文本路由器只用文本特征而本方法用编码器后的融合状态；3. 最后看零、短、长三档在路由后才分叉的决策位置
论文图 1。原论文 Figure 1:：“Overview of pre-decisional reasoning budgets for Ref-AVS.”。
从图中可见，常长路线把视频音频文本一起送入模型再做完整思维链后才接地，文本路由器在融合之前就用文本特征决定预算，而本方法在模型编码器之后引出起始状态和预决策预算信号，再由轻量路由器在零、短、长之间选择。雪花标记表示冻结模块，路由器是主要可训练部分。这种设计复用编码时已经算好的状态，路由本身不再需要额外的大模型前向。
第二张图把感知部分展开，读图时先看特征提取、起始状态提取、自适应控制器、检测和分割 5 个编号框的连接关系。
看图路径： 1. 沿着特征提取到起始状态提取再到控制器的主路径看一遍；2. 注意控制器是唯一可训练模块其余模块标注为冻结；3. 看路由后的查询如何依次经过检测框预测和掩码生成
论文图 2。原论文 Figure 2:：“Pipeline of pre-decisional budget routing for Ref-AVS.”。
图中从左到右依次是视频帧序列经视觉编码器、波形经音频编码器、指代句经文本编码器，然后一起进入指代音视频多模态大模型取出起始状态，再由两层感知机输出三档预算，选定的查询引导检测器产生框，框再提示分割模型产生掩码。图中还画出手写信号分支，但主控制器结果只用起始状态，手写信号只用于对比分析。
生成起始表示里有什么可读信号
生成起始表示首次出现时需要解释实际作用：它是冻结大模型在读完提示、视觉上下文、听觉上下文和文本查询之后、生成第一个推理词元之前留下的融合记忆向量。论文假设相对的预算效用可以从这个向量预测，也就是预决策预算信号假设。检验方法是训练一个线性分类器直接从该向量预测反事实标注的预算标签，二分类时把标签合并为需要零预算还是需要推理。
生成起始表示 × 预决策预算信号 × 线性探针： 生成起始表示指模型读完视频、音频和文本但尚未生成第一个推理词元时的最后一层隐状态，预决策预算信号指从该状态中可读出的是否需要继续推理的信息，线性探针指用单层线性分类器检验这种信息是否线性可解码，三者搭配的意义是用最弱的读出器验证信号在推理开始前已经存在，而不是由生成的文本带来。
为了说明手写启发式是否足够，论文还构造了 4 个可解释的代理信号：文本到视觉的跨模态注意力熵、文本到音频的注意力熵、加入指代文本前后上下文状态变化的模长，以及首个生成位置前五词元概率分布的熵。前两者衡量注意力是否分散，后者衡量查询带来的状态偏移和解码起点的不确定性。比较时把 4 个信号拼成 4 维向量训练同样的分类器，再与完整起始状态的读出比较，差距被解释为这些已评估摘要未能恢复的预测信息，而不是所有紧凑特征都不行。
跨模态注意力熵的计算按原文是对所有层、所有头、所有指代词元位置求平均香农熵，视觉和音频分别在各自词元子集内重归一化后计算，其数学形式如下。
\[E_{vt}(s)=(LH|\mathcal{R}|)^{-1}\sum_{\ell=1}^{L}\sum_{h=1}^{H}\sum_{i\in\mathcal{R}}\mathcal{H}\big(\bar{a}^{(\ell,h)}_{i\to V}\big),\]该公式中符号含义是样本、层数、头数和指代词元集合上的平均，注意力权重先限制在视觉词元并重归一化，再求熵。原文明确给出的是实现方式，目标是刻画模态接地是否弥散，优化步骤和梯度路径属于探针训练部分，不在此公式内猜测。
投影去除实验想说明什么又不说明什么
线性可读只能说明相关，论文进一步做投影去除来检验读出的预算方向对外部路由是否有用。具体做法是在训练折上估计二分类探针的预算预测方向，对训练和 held-out 的起始特征都减去该方向上的投影，再在投影后的训练特征上重新训练一个新的探针并在对应 held-out 上评估。这个操作只改供给外部读出器的特征，不改冻结大模型生成时的激活，因此不能证明模型自身在生成中使用了该方向做自我评估。
如果去掉的是随机方向，探针准确率和路由质量几乎不变，而去掉预算方向后两者明显下降，就支持该方向对外部读出和路由有用。原文报告了配对自助采样的置信区间，随机方向的路由质量变化接近零，而预算方向带来约 0.048 的质量下降。初学者容易误以为这证明了因果机制，实际上它只是外部管线层面的有用性证据，生成过程中的因果链仍是开放问题。
没有训练大模型时标签和控制器如何得到
本研究没有训练或微调作为骨干的多模态大模型、检测器和分割器，它们都是冻结的，唯一可训练的是读取起始状态的轻量控制器和用于分析的探针。监督来自反事实预算标注：对每个样本实际运行零、短、长 3 种策略得到 J&F 分数，记最高分为该样本可达最好成绩，再选满足不低于最高分减去容差的所有预算中最便宜的一个作为标签，容差取 0.02。若 3 种预算得分全零，则按最低成本平局规则标为零，这类全失败样本在原始监督中被排除但保留在所有下游评测中。
\[m(s)=\Phi^{*}(s)-\max_{b\neq b^{*}(s)}\Phi(s,b),\]该公式中符号含义是样本的最优质量与除标注预算外其他预算中的最高质量之差，用于刻画不同预算结果的分离程度，差为零表示便宜的容差内选择不是严格最优。控制器本身是一个从 4096 维映射到 256 维再到 3 类的两层感知机，用带类别平衡权重的交叉熵训练，优化器为 Adam，学习率千分之一，批量三十二，最多 50 轮并按训练折内验证损失早停。所有估计采用五折外折方式，每个样本由未见过它的读出器预测，验证只在训练折内划分，R2 上的源迁移则不做目标标签拟合。
数据划分指标方向与比较条件是什么
主评测使用 RefAVSBench 的测试可见集 2287 个样本和测试不可见集 1646 个样本，源迁移到 R2-AVSBench 测试可见集 219 个样本，后者是对同一视频重写指代，因此考的是指代表述变化而不是视频不相交的迁移。质量指标 J&F 越高越好，代价指标平均推理词元越少越好。RefAVSBench 上的读出和路由指标是基准人群内的五折外折估计，不是把辅助控制器放在官方训练集训练再到未触碰测试集上评估，所有下游质量和词元指标都保留完整原始人群包括全失败样本。
反事实预算标注 × 容差 × oracle： 反事实预算标注指让同一样本分别走零、短、长三种推理并比较掩码得分，容差指允许更便宜的预算只要与最高分差距在 0.02 以内就选便宜者，oracle 指按此规则每样本选最便宜达标预算的事后参考，它不是可部署策略，而是用来监督探针和控制器的标签来源以及衡量自适应上限。
比较的基线包括固定零、固定短、固定长，以及文本路由器、多模态均值池化预词元路由器、基于检测器首框分数的置信度路由器，和先生成短推理再决定是否升级到长的流水线。词元列只报告分布内代价，分布外只报告质量。延迟测量在单张 A100 上批量为一、固定权重提示和贪心解码下进行，区分决策时刻和模型输出完成时刻，但不包括检测分割的下游时间。附录还区分了有前缀缓存复用的敏感性，以及离线标注成本的摊销口径。
区域相似度 × 轮廓准确度 × 平均推理词元： 区域相似度指预测掩码与真值的重叠程度，轮廓准确度指边界吻合程度，二者平均为 J&F 作为主质量指标，平均推理词元指自回归生成的推理文本长度作为代价指标，组合后每种路由策略都同时报告质量与代价，才能判断省词元是否以可接受的质量损失为条件。
预算异质性与过度思考的审计结果
先看预算分布与事后参考的比较问题：在相同感知栈和相同容差下，不同预算是否各有大量最优样本，以及按样本选便宜达标预算能比常长高多少。3 种预算共享检测分割，指标方向是 J&F 越高越好。下表整理审计子集上的短语与定位变化，比较对象是同一批有害长推理样本的零预算直接接地与长推理生成短语，样本来自随机抽取的 200 个需零例子。
| 审计对象 | 短语变长幅度 | 不支持添加占比 | 框交并比变化 | 分割指标变化 |
|---|---|---|---|---|
| 需零且长明显更差的审计子集 | 245% | 41.5% | 0.72 到 0.58 | 下降 16.5 points |
在被选出的有害长推理子集上，长思维链把平均接地短语拉长 245%，其中约 41.5% 包含不支持的添加，检测器首框交并比从 0.72 降到 0.58，目标 J&F 下降 16.5 points。这组配对观察刻画了有害子集的样子。限制是这批例子满足零比长高出容差，属于结果选择后的审计，只能说明有害子集内部的短语漂移与定位漂移，不能推广为全部需零样本的患病率，也没有分离出因果中介路径。
起始状态能否在生成前预测是否需要推理
这一节回答的核心问题是融合后的起始状态是否比纯文本特征更能预测推理需求。比较条件是同一五折划分，二分类把标签折叠为需零对需推理，三分类保留零、短、长三档，准确率越高越好。下表整理探针与基线的准确率，输入条件与任务目标都相同，多数基线来自同一标签分布。
| 读出输入 | 二分类准确率 | 三分类准确率 | 显著性对照 | 备注 |
|---|---|---|---|---|
| 线性起始状态 | 0.701 | 0.503 | <10^-30 | 二分类最强 |
| 纯文本特征 | 0.581 | 0.431 | 0.68 | 与多数基线接近 |
| 起始状态两层感知机 | 0.689 | 0.546 | <10^-25 | 三分类更强 |
| 最佳层第十九层线性 | 0.745 | 0.538 | — | 非末层峰值 |
单层线性在起始状态上达到 0.701 二分类准确率，明显高于 0.577 多数基线和 0.581 纯文本特征。已部署的三分类路由器折叠到二分类后为 0.665 准确率与 0.663 平衡准确率，与单独训练的 0.689 二分类感知机是不同的预测器，二分类线性探针的平衡准确率为 0.700，需零与需推理召回分别为 0.692 与 0.708。限制是线性在二分类最强而感知机在三分类更强，最佳层在第十九层而非最后一层，降维后仍保留可观性能但不能据此断言编码必然高维。跨骨干实验把主流水线标签迁移到其他架构，测的是一致性而非各骨干自身最优预算准确率。
层扫描与降维实验描述的是外部读出器在所评估投影程序下的表现，不能把可预测性解释为冻结模型在生成时必然使用同一方向进行自我评估。原文的移除实验支持所选方向对外部读出与路由有用，研究结论仍限于该评测流程。
自适应路由省了多少词元又损失多少质量
这里比较的是实际可运行的路由策略在质量与代价上的权衡。公平条件是同一检测分割栈和完整原始人群，指标方向是 J&F 越高越好、平均词元越少越好。下表把原文连续句中的关键数字整理为可比的操作点，条件、指标和代价列分开，迁移条件是不做目标拟合的源迁移。
| 策略 | 质量与代价 | 相对常长与对照 | 迁移质量 | 决策特点 | 适用限制 |
|---|---|---|---|---|---|
| 起始状态路由 | 保留 about 96% ，节省 60% | 40.0% 未在引文单列 | 0.458 低于 0.474 | 预词元一次决策 | 分布外好处是成本效率 |
| 先短后决定对照 | 低 0.007 ，少 39.6% | 置信度路由高 0.061 | 迁移非精度超越 | 需生成短推理后再决策 | 不意味质量压过对照 |
表前已说明比较问题是预词元一次决策能否接近需生成短推理后再决策的效果。表中可见起始状态路由保留 about 96% 常长质量并减少 60% 自回归词元消耗，相对先短后决定减少 39.6% 词元而质量低 0.007，相对置信度路由高 0.061 且不需要检测器预检。限制是源迁移到重写指代上质量为 0.458，低于常长的 0.474，因此分布外好处是成本效率而非精度超越。原文的延迟配对测量显示起始路由的决策和模型时延更低，但这不意味着质量上压过先短后决定的基线。
原文 Figure 6 的图注把这些点定义为质量与成本的操作点：预生成控制器以常长推理 40% 的词元代价保留约 96% 的 J&F。结果知情的 CBL 是考虑成本的策略参照，并非严格的最大质量上界。R2 表示不使用目标标签拟合的迁移；该条件下路由器 J&F 为 0.458，仍低于常长的 0.474。这些是原文说明的比较条件，不能据此声称迁移精度超过常长。
手写信号与投影去除支持什么解释
这一节同时检验两个问题：已评估的手写信号能否替代起始状态，以及预算方向对外部路由是否有用。比较条件是同样五折、类别平衡的多层感知机协议，指标是二分类准确率。下表整理原文报告的代理信号与投影实验数字，差距相对起始状态感知机计算。
| 对比对象 | 评价指标 | 起始状态读出 | 代理信号读出 | 差距与变化 |
|---|---|---|---|---|
| 四信号联合 | 二分类准确率 | 0.689 | 0.541 | 差距 14.8 |
| 增强代理组合 | 二分类准确率 | 0.689 | 组合收窄到 10.3 | 差距从 14.8 到 10.3 |
| 去预算方向 | 准确率与质量 | 70.1% 到 61.2% | 0.528 到 0.480 | 下降明显 |
| 去随机方向对照 | 路由质量 | 0.528 到 0.480 的对照 | 变化约 0.00 几 | 基本不变 |
4 个原始信号联合仅为 0.541，单个信号的曲线下面积接近随机，加入首词元间隔和逐层熵轮廓后增强组合与起始状态感知机的 0.689 差距从 14.8 收窄到 10.3，仍未补齐，支持的结论仅限于已评估代理未能完全恢复预测信息。投影去除中重训探针准确率从 70.1% 下降到 61.2%，路由质量从 0.528 降到 0.480，而随机方向几乎不变，说明所选方向对外部管线有用，但因只改读出特征而不改生成激活，不能建立模型内部因果自评。
过度思考陷阱 × 短语漂移 × 定位漂移： 过度思考陷阱指在简单样本上强制长推理反而降低分割质量的现象，短语漂移指长推理生成的描述加入视频不支持的属性或对象，定位漂移指错误的描述导致检测框和掩码偏离目标，短语漂移是可观察的文本变化，定位漂移是其下游后果，二者共同解释为何跳过不必要的推理能保住质量。
结论在什么条件下才成立
首先，反事实标注依赖目标掩码和特定流水线的实际运行结果，骨干、提示或输入分布发生实质变化后需要重新标定，离线成本必须摊销到足够多的重复查询上，原文给出的摊销区间是会计口径不同造成的括号而非部署保证。其次，动作集只有零、短、长三档，是可审计的离散化而非最优，附录的五档七档和完整阶段退出显示更细粒度能带来额外头部，但那属于已评估语义家族内的可扩展性，不代表任意词元级或层级早退。
第三，读出、代理比较和投影去除都针对供给外部路由器的表示，没有触及生成过程中的因果机制，也没有证明模型自身计算了推理需求。第四，R2 结果是重写指代的源迁移，没有目标拟合，质量低于常长，只能谈成本质量权衡，组不相交的本地适应是另外的监督实验。最后，基准比较中部分行直接沿用已有对照表的数值，并非都在同一外折协议下重跑，混合分数也不应按样本数加权平均去反推。
复现第一步做什么与资源如何估计
复现应从固定感知栈和 3 种提示开始：零预算直接把原指代送给检测器，短预算要求一步内给出紧凑接地短语，长预算用完整的对象感知思考定位分割提示，三者共享停止词模板但指令不同，实际词元按生成结果统计而非硬截断。接着对每个样本跑 3 种预算得到 J&F，用容差 0.02 选最便宜达标者作为标签，全失败样本保留在评测但按原文排除在原始监督外。起始状态取最后一个输入词元的最后一层隐状态，位置索引需按音频视频上下文末端和指代文本末端手动校验。探针和控制器按五折外折训练，早停只用训练折内验证，随机种子四十二，贪心解码。
资源上原文记录主特征提取探针训练和路由约在单张八十吉显存 A100 上，原研究总量约 85 GPU 小时和十 CPU 小时，后续扩展的完整搭建另行计量。单次路由开销远小于 1 毫秒，但离线需要为每个标定样本生成反事实轨迹并跑检测分割，全量与 1/4 标定的搭建比约 0.256，折匹配的盈亏查询数在源域从约八千九降到约两千三。需要补的验证包括更换提示措辞后的标定稳定性、更换检测分割栈后的迁移曲线，以及在新音频分布下本地标定的最小比例。按本文证据，没有来源绑定且完成验证的资源不得声称代码模型或数据已公开，本版不主张可下载运行。
什么时候值得尝试以及还缺哪项验证
当你的指代性音视频分割系统已经出现简单样本被长推理带偏，或推理词元占主导成本，且流水线相对固定、查询量足够摊销标定时，值得尝试这种预决策路由：复用编码时已算好的起始状态训练一个轻量三分类器，在清晰时跳过推理、在模糊时保留长推理。预期是在分布内以约六成词元节省换取保留九成六左右的常长质量，而不是精度超越常长，在重写指代表述的迁移上同样只预期成本效率。
还缺的验证是提示不变性之外的任意早退、跨任务迁移，以及生成内部的因果定位。初学者复述时记住三句话：异质性来自配对运行的比较，信号来自生成前融合状态的线性读出，收益来自一次前向的路由而非更强的分割器。不要把事后 oracle 当成可部署提升，也不要把相关读出当成模型会自我评估的证明。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses