📄 每个问题都要看视频吗：按查询选择模态的推理省钱法
英文题目：Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection
评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.4/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Shuqi Liu：机构信息未能在本次解析中与作者逐人可靠绑定
- Yuzhou Cao：机构信息未能在本次解析中与作者逐人可靠绑定
- Luke Ong：College of Computing and Data Science, Nanyang Technological University
📌 核心摘要
全模态大语言模型能同时读入文本、音频和视频，回答时信息更全，但每个查询都传入长视频会带来很高的输入长度、时延和计费。论文研究的对象是固定的问答模型，输入为包含文本、音频、视频的查询，输出为选项字母，难点在于视频对不同查询的价值差异很大，有时无用甚至干扰，而推理前并不知道加入视频能否答对。方法保留底层模型不动，增加一个选择器决定本次用文本加音频还是再加视频，选择器只看文本嵌入。训练时先在训练集上实测两种配置的对错和代价，按效用差距加权学习一个线性分类器，测试时只用文本得到分数并取高分配置送入大模型。相对固定全模态和先用便宜配置再升级的级联做法，该做法一次选定配置，避免重复调用大模型。在WorldSense上以Qwen2.5-Omni为固定底层模型、按平均每查询输入token计，代价敏感选择器达到固定全模态配置48.00%准确率时用量为16877，相比固定全模态配置的41050减少58.89%。结论适用于视频代价远高于文本加音频的问答设置，文本信息不足或表示变化时的效果尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全模态问答的输入是什么，要省掉哪部分开销
本文面对的是全模态问答任务。输入是一个包含文本、音频、视频的问题样本，文本是问题题干加 4 个选项，音频是视频自带的声音，视频是图像帧序列，输出是从选项中选一个字母。底层全模态大模型是固定不变的，本文用的是 Qwen2.5-Omni-7B 和 Qwen3-Omni-30B-A3B，实验在 WorldSense 这个全模态问答基准上做，每个问题同时有文本、音频和视频。
必须保留的信息是能答对问题所需的证据，输出是选项字母。开销来自把长音频和长视频转成大量输入 token 再送进大模型。论文举例说，在 WorldSense 上 Qwen2.5-Omni 只用文本加音频时平均每问约 3000 个输入 token，加入视频后平均约 40000 个，增长超过 13 倍。也就是说视频是主要的成本来源。
已有省钱思路多是在已经加入视频后压缩 token，仍然要先处理视频。本文换了一个更直接的角度：如果某个问题本来就不需要视频，干脆在调用大模型前就不提供视频，从而完全省掉这部分处理。下面的表格先把这种数量级差异摆出来，后文的选择器就是围绕要不要付这笔视频费用展开的。
比较的问题是便宜配置与全模态配置的输入规模差距有多大，指标是平均每问输入 token 数，数值越大表示开销越大。
| 配置 | 平均输入规模 | 来源说明 |
|---|---|---|
| 文本加音频 | 约 3000 token 每问 | 不含视频的便宜配置 |
| 文本加音频加视频 | 约 40000 token 每问 | 加入视频后超过 13 倍增长 |
上表说明视频是成本放大的关键，省视频就等于省掉了主要的输入规模，这也是本文只研究加不加视频这个二选一的原因。对于刚接触音频视频推理的读者，可以把视频理解为一次性加入的数万 token 大包，文本加音频则只是数千 token 小包，选择器的工作就是判断何时值得拆开大包。
已有压缩、选择和模型路由各管什么
第一条路线是 token 压缩。视觉 token 很多，所以有大量剪枝和重分配工作，全模态场景还要考虑音频和视觉的信息分布不同以及跨模态对应。这类方法的共同点是默认所有模态都已提供，只是在提供之后减少 token 数，不能省掉处理长音频视频本身的开销。
第二条路线是模态选择。有的工作在整个数据集上选一个固定子集，有的按输入动态开关视频流，还有的从系统负载和请求级精度时延要求出发选配置。另一类相关工作是用智能体编排模态和推理路径来提高鲁棒性。本文与它们的区别是明确面向推理代价，在模型固定时按查询决定是否提供视频。
第 3 条路线是大模型路由与级联。不同大模型能力和价格不同，路由是一次选一个模型，级联是先用便宜模型试答，置信度低再升级到贵模型。本文把这种思想搬到模态维度：便宜配置对应文本加音频，昂贵配置对应文本加音频加视频。
路由 × 级联： 路由指在调用大模型前一次决定用哪种模态配置；级联指先用便宜配置跑一遍，再根据置信度决定是否追加跑昂贵配置，二者分工不同在于路由只付一次大模型费用，级联升级的样本要付两次累加费用，本文同时比较了这两条路线。
理解这 3 条路线后就能定位本文：不训练新的大模型，不压缩已加入的视频 token，而是学习一个外部小选择器来决定本次是否值得加入视频。3 类工作的输入目标和运行阶段并不相同，因此本文只是借用路由级联的思想来构造可比的基线，而不是在同一模型选择任务上直接比较优劣。
为什么每个问题需要的模态不一样
论文首先回答一个基础问题：是不是每个问题都需要全模态才能答对。答案是否定的。图 1 给的两个 WorldSense 例子很直观：一个问题只听音频就够了，加入视频反而把 Qwen2.5-Omni 从答对带偏到答错；另一个问门的颜色，没有视觉信息根本无法回答。也就是说视频的效用随问题变化很大，有时多余甚至有害，有时必不可少。
文本加音频 × 文本加音频加视频： 文本加音频是便宜的默认配置，只给问题文本和音频；文本加音频加视频是昂贵的全模态配置，额外加入视频，二者是本文二选一的候选集合，选择的意义在于视频有时必需、有时无用甚至有害，所以不必每次都用全量。
准确率 × 推理代价： 准确率指在测试集上答对的比例；推理代价指平均输入 token 数、时延或按模态定价折算的费用，二者是本文优化的一对矛盾目标，选择器要用尽量小的代价维持尽量高的准确率，评价时看的是两者构成的曲线而不是单点。
形式上，论文把目标写成在平均代价预算下最大化期望准确率，选择器对每个查询输出一个模态子集。预算不同对应不同的工作点，固定用文本加音频是低成本低精度点，固定用全模态是高成本较高精度点，按查询挑选则希望花小钱办大事。
\[\displaystyle\max_{r}\quad\mathbb{E}_{p(\bm{q},y)}[\text{Acc}_{r(\bm{h}(\bm{q}))}^{f}(\bm{q})]\quad\text{s.t.}\quad\mathbb{E}_{p(\bm{q})}[\text{Cost}_{r(\bm{h}(\bm{q}))}^{f}(\bm{q})]\leq B.\]这个公式的含义是：对所有查询和答案的分布求平均，分子是选择器选定配置后的答对情况，分母侧是平均代价不超过预算。其中选择依据只能用选择时刻已有的表示，不能偷看大模型跑完的结果和正确答案。预算越紧，选择器就越倾向于把更多问题留给便宜配置。
选择器放在哪里，只用哪些信息做决定
整体流程分两步。第一步是选择，第二步是答题。给定一个新问题，先用决策表示做出二选一判断，再把对应模态的输入送给固定的全模态大模型得到选项字母。本文简化为二选一：给定文本和音频，要不要额外提供视频。
全模态大模型 × 模态选择器： 全模态大模型指固定不变的底层问答模型，负责读入选定的模态并给出答案；模态选择器指在调用大模型之前决定本次用文本加音频还是文本加音频加视频的小模块，二者分工是选择器管省钱决策，大模型管答题，搭配后只有被选中的模态才会被大模型处理。
关键限制是信息条件：选择器不能看视频和音频内容，也不能先跑大模型。本文实现的选择器只用文本输入的 BGE-M3 嵌入，这是一个 1024 维并做归一化的向量，由冻结的编码器一次编码得到。也就是说判断依据是问题长什么样，而不是视频里有什么，这保证了选择本身很轻。
为了把精度和代价放在一个目标里，论文用拉格朗日松弛把预算约束转成带权重的无约束风险，权重记为拉姆达。拉姆达越大表示越在乎省钱，越小表示越在乎答对，扫不同的拉姆达就得到不同的精度代价工作点。
\[\displaystyle R_{\lambda}(r)=\mathbb{E}_{p(\bm{q},y)}\left[\mathds{1}[f(\widetilde{\bm{q}}_{r(\bm{h}(\bm{q}))})\neq y]+\lambda\sum_{j\in r(\bm{h}(\bm{q}))}c_{f}(z_{j})\right]\]这个风险由两项组成：答错指示加代价乘以拉姆达。对每个查询，最优决策就是让准确率减去加权代价最大的那个子集，这为后文构造训练标签提供了直接依据。实际执行时先离线算好每个训练样本在两种配置下的正确性和代价，再在线只用文本向量做前向判断。
最优规则长什么样，训练时如何加权
在给定决策表示的条件下，最优点可以逐查询求解。对当前查询分别算用文本加音频和用全模态各自的答对情况减去加权代价，选大的那个。这就是贝叶斯最优规则，它不偏向大集合也不偏向小集合，只看本问的收益和代价。
\[r^{*}(\bm{h}(\bm{q}))=\mathop{\text{argmax}}\limits_{S\subseteq\mathcal{M}}\bigl\{\text{Acc}_{S}^{f}(\bm{q})-\lambda\,\text{Cost}_{S}^{f}(\bm{q})\bigr\},\]测试时答对情况和代价都是未知的，所以要学习一个路由器来模仿这个规则。做法是先在训练集上实际跑两种配置，记录每种配置是否答对以及花费了多少 token、时延和费用，然后按上面的效用公式算出每个训练问题的最优标签。
代价敏感学习 × 先估计再预测： 先估计再预测是分别学习每种配置的准确率和代价再相减做决策；代价敏感学习是直接学习最优配置标签，并按选错造成的效用差距加权，分工在于前者把预测和决策分开，后者把代价差异折进训练权重，组合比较说明直接优化决策差距在本文数据上更有效。
权重是本文的关键细节。对每个训练问题，权重定义为最优配置的效用减去次优配置的效用，也就是选错会损失多少。如果两个配置效用接近，选错也无所谓，权重就小；如果差距大，选错代价高，权重就大。训练时用加权交叉熵，让模型更关注那些选错后果严重的样本。
测试时不再需要跑大模型，只把文本嵌入送进学到的线性层，取分数最高的配置。改变拉姆达会同时改变标签和权重，因此整条曲线来自一系列不同权重的分类器，而不是同一个分类器换阈值。
选择器本身如何训练，参数如何设置
需要先说明，本文不训练全模态大模型，两个 Qwen 骨干都是冻结的，解码用贪心方式，直接输出选项字母。真正训练的只是一个单层线性选择器，输入是文本嵌入，输出是两个配置的分数。
训练数据来自 70 比 30 的训练测试划分，所有方法在同一测试集上比较。训练标签和权重都依赖于拉姆达，因此扫 100 个拉姆达值就能得到一条精度代价曲线。优化器用 AdamW，学习率 1e-4，权重衰减 3e-3，批量 64，训练 100 轮。视频帧率和帧预算保持各模型处理器默认，不强行对齐，音频重采样到 16 千赫。
监督信号来自在训练集上实际观测到的两种配置的正确性和代价，不是人工标注的是否需要视频。损失是加权交叉熵，权重已按效用差距归一化。这种做法把代价敏感的分类问题转成了加权分类，实现简单且只增加文本编码和线性层的开销。训练阶段需要两次全量推理来收集标签，但部署后每次查询只需一次文本编码加一次所选配置的推理。
在什么数据和代价口径下比较
数据是 WorldSense，包含 26 种细粒度任务类型，可归为识别、理解、推理 3 个域。模型是 Qwen2.5-Omni-7B 和 Qwen3-Omni-30B-A3B，都在单张 H200 上测时延。比较只在文本加音频和全模态之间进行，固定配置作为曲线的两个端点。
评价指标是测试集上的平均准确率和平均代价。代价有 3 种口径：直接测得的输入 token 数、推理时延，以及按模态定价折算的费用。费用按阿里云 Qwen3.5-Omni-Plus 国际定价，文本、音频、视频每 token 单价不同，其中音频单价明显更高，因此省视频省下的费用比例与省 token 比例并不相同。
为了汇总整条曲线，论文定义了归一化曲线下面积，在从文本加音频到全模态的公共代价区间上积分，越大表示用更低代价拿到更大精度增益。另一个实用指标是在达到全模态精度的前提下能省多少代价，记为相对减少比例。比较的基线包括随机路由、外部大模型当裁判、学习式的先估计再预测，以及两种级联：口头置信度和基于首 token 选项 logit 的置信度。级联升级的样本要累加两次调用的代价。所有方法扫各自阈值得到工作点后再取帕累托前沿，保证比较的是前沿包络而非单点偶然差异。
精度代价曲线显示了什么取舍
在 2 个模型和 3 种代价下，代价敏感学习的帕累托前沿在大部分工作区间都处于更高的精度和更低的代价一侧。先估计再预测也普遍优于级联基线。大模型当裁判能给出有竞争力的单点，但整体效率不如学习式路由。级联中基于 logit 的置信度有中等增益，口头让模型自报置信度则接近甚至不如随机路由。
一个值得注意的现象是选择器有时能超过全模态精度。原因是部分问题加视频反而有害，正确地跳过视频既省钱又避免了误导。这说明固定全模态并非精度上限，按查询删减模态有可能同时提升两项。论文摘要也强调这种超越全模态的可能，但它只出现在特定工作点，不是所有预算下都能同时更准更省。
但曲线结论依赖于扫阈值得到的前沿，不是单个阈值在所有预算下都最优。实际部署必须先定预算或拉姆达，再取对应点，不能把整条前沿的包络当成一个模型的单点性能。级联的额外代价也需要提醒：它对升级样本付了两次推理费，因此即使判断准确率相近，前沿位置也天然偏贵。
曲线下面积和省钱比例各是多少
先看汇总整条曲线的面积指标。该指标衡量在公共代价区间内相对固定端点的增益，越大越好。比较的问题是在相同起点和终点之间哪条前沿更早爬升，条件是同一模型同一代价口径，指标方向是面积越大 tradeoff 越好。
| 模型 | 输入 token 面积 | 时延面积 | 费用面积 |
|---|---|---|---|
| Qwen2.5-Omni 代价敏感学习 | 0.9265 | 0.9125 | 0.9878 |
| Qwen3-Omni 代价敏感学习 | 0.8670 | 0.8587 | 0.9422 |
上表数字说明代价敏感学习在 6 种模型与代价组合下都是最高，Qwen2.5 上第 2 名是先估计再预测，Qwen3 上 token 和时延的第 2 名是基于 logit 的级联，费用上第 2 名仍是先估计再预测。随机路由面积约 0.5，口头置信度级联在多数情况下低于 0.5。这意味着学习式路由用更低代价拿到了更大的精度增益，而口头置信度的升级信号基本无效。
再看更直观的省钱口径：在保持全模态精度的前提下能省多少。比较的问题是达到全模态精度所需的平均代价，条件是帕累托前沿上与全模态精度相等的点，全模态精度在 Qwen2.5 上为 48.00%，Qwen3 上为 51.79%，指标方向是相对减少比例越大越省。
| 模型 | 省输入 token | 省时延 | 省费用 |
|---|---|---|---|
| Qwen2.5-Omni 代价敏感 | 58.89% | 61.07% | 38.94% |
| Qwen3-Omni 代价敏感 | 34.72% | 34.56% | 24.85% |
上表说明省钱幅度与模型有关，Qwen2.5 上接近六成 token 和时延，Qwen3 上约 30%。费用节省小于 token 节省，因为音频 token 单价高而视频单价与文本相同。口头置信度级联在该精度下反而比全模态更贵，相对减少为负，说明其升级判断不可靠加上两次调用的累加代价。先估计再预测和基于 logit 的级联也有正节省，但幅度小于代价敏感学习。
上限有多高，简单规则能走多远
论文用知道正确答案的甲骨文选择器估计潜力。比较的问题是如果每次都选对配置，精度和代价能到哪里，条件是允许使用正确答案和实际跑分结果，因此它不是可部署方法，只能看任务本身的空间。
| 条件 | 精度 | 平均代价 | 相对全模态 |
|---|---|---|---|
| 全模态参考 | 48.00% | 41050 token 每问 | 基准 |
上表中的甲骨文不是可部署方法，因为它在选择时偷看了正确答案和实际结果，只能用来说明任务本身存在大量只需便宜配置或全模态有害的样本。把它当成可获得的提升是误解。学到的选择器只利用了其中一部分，说明文本信号与真实最优决策之间还有差距。
另一个对照是只用任务类型元数据的简单路由。把 26 种任务按全模态相对便宜配置的经验增益排序，取前 k 类用全模态，其余用便宜配置，扫 k 得到曲线。即使这么简单的规则也能带来可见的改进，说明不同任务对视频的需求确实不均。但它需要任务标签，且不能区分同一任务内的不同问题，因此精度上限不如文本嵌入学习到的选择器。这个对照也提示，若问题文本没有透露视觉需求，纯文本路由可能失效，需要更丰富的轻量跨模态信号。
哪些情况还不能推广
首先是候选集合很小。本文只比较文本加音频与全模态，没有涉及只用文本、只用音频、只用视频或丢掉音频等更多子集，结论不能直接推广到任意子集选择。
其次是决策信息很窄。选择器只看文本嵌入，没有用音频、视频的轻量特征或跨模态信号，也没有融合表示。如果问题文本本身没有透露是否需要视觉，纯文本判断就会失效。
最后是模型与数据范围。实验只在 WorldSense 和两个 Qwen 全模态模型上完成，视频帧数、解码预算、硬件和定价都按原文设置。换数据集、换模型、换定价或改帧采样后，省钱比例和曲线形状都可能变化。论文也明确把联合优化选哪个模型和选哪些模态留作未来工作。对研究生而言，这意味着论文证明的是在该基准和该二选一下存在可观节省，而不是证明任何音频视频问答都可以省掉视频。
复现第一步要准备什么
复现时先固定底层模型和解码方式：Qwen2.5-Omni-7B 用 bfloat16，Qwen3-Omni-30B-A3B 用自动精度，贪心解码，最多 32 个新 token，提示头中写明本次提供的是音频还是视频加音频。音频统一重采样到 16 千赫，视频保持各自处理器默认，不要强行对齐帧数。
接着为训练集每个问题实际跑两种配置，记录是否答对和 3 种代价。文本问题与选项拼接后用冻结的 BGE-M3 编码成归一化向量，作为选择器的唯一输入。然后按选定的拉姆达算最优标签和效用差距权重，训练单层线性层。扫拉姆达得到曲线时，训练测试划分、测试集和随机种子要与基线一致，否则曲线不可比。
关于资源可用性，本文提供的证据中没有发现完成链接校验的作者代码、模型或数据资源，因此不能声称代码或权重已公开。复现需要自己实现选择器训练和 3 种代价统计，特别是费用要按原文的模态单价公式计算，不能直接用 token 数代替。时延要在同一 GPU 环境下实测，不能用 token 数线性折算。
什么时候值得试，还缺什么验证
当推理中视频 token 占主导、且问题难度不均时值得尝试这种方法。如果线上问题里有不少只听音频就能回答的，或者加视频偶尔会引入干扰，那么在调用大模型前加一个轻量文本选择器可能同时省钱并保持精度。反之，如果几乎每题都问颜色、位置、手势等视觉细节，选择器大多会选全模态，节省就很有限。
容易产生的误解有 3 个。一是把甲骨文上限当成实际收益，它需要正确答案，不可部署。二是把整条前沿当成一个模型的效果，实际只能取曲线上与预算对应的一个点。三是把省 token 比例直接当成省钱比例，音频单价更高，费用节省要按模态单价重新计算。百分点提升和相对百分比节省也是两回事，不能混用。
还缺的验证包括更多模态子集、利用音频或视频轻量信号的表示、跨数据集和跨模型的泛化，以及选择器本身的误判率与额外时延。补上这些才能判断该方法在自己的音频或视频问答场景里是否划算。下一步最实际的动作是先在自己的数据上离线跑两种配置，估计视频的增益分布，再决定是否值得训练这样一个文本门控。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses