📄 OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs

标签：#音视频问答 #模型压缩 #音视频理解 #高效推理 #多模态模型

7.0/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5

✅ 7.0/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频问答 | #模型压缩 | #音视频理解 #高效推理 | arxiv

👥 作者与机构

• 第一作者：Haoyang Huang (浙江大学, 阿里巴巴通义应用)
• 通讯作者：Jun Zhang (阿里巴巴通义应用), Xinyi Hu (阿里巴巴通义应用), Meng Zhang (浙江大学)
• 作者列表：Haoyang Huang (浙江大学, 阿里巴巴通义应用), Wenjie Huang (浙江大学, 阿里巴巴通义应用), Tianqi Xu (卡内基梅隆大学, 阿里巴巴通义应用), Hongyaoxing Gu (中国科学院大学, 阿里巴巴通义应用), Kang Tan (浙江大学), Yikai Fu (浙江大学), Yuhao Shen (浙江大学, 阿里巴巴通义应用), Tianyu Liu (中国科学技术大学), Baolin Zhang (阿里巴巴通义应用), Jun Zhang (阿里巴巴通义应用), Xinyi Hu (阿里巴巴通义应用), Jun Dai (阿里巴巴通义应用), Shuang Ge (阿里巴巴通义应用), Lei Chen (阿里巴巴通义应用), Yue Li (阿里巴巴通义应用), Mingchen Wang (阿里巴巴通义应用), Meng Zhang (浙江大学)

💡 毒舌点评

作者用一个精心设计的诊断实验漂亮地揭露了OmniLLM压缩社区集体忽视的前置问题——预算分配先于token选择，动机部分堪称范本。然而，当读者期待一个纯粹训练无关（training-free）的优雅方案时，作者默默掏出了GPT-5.5-xhigh来完成技能池构建、查询分类和诊断标注，这相当于用F1赛车跑完了"自行车拉力赛"的第一段。整套方案完全闭源，技能池JSON不公布，所有声称的Pareto前沿推进都无法被独立验证——对于一篇声称建立新基线的论文来说，这是硬伤。此外，OmniDelta相比OmniZip的1个百分点平均提升，在缺乏置信区间的情况下，到底是真信号还是统计噪声，只有作者自己清楚。

📌 核心摘要

这篇论文旨在解决全能多模态大语言模型（OmniLLMs）同时处理视频、音频和文本时的推理成本问题，特别聚焦于token压缩中一个被长期忽视的前置问题：预算分配应先于token选择。现有压缩方法在固定预算下关注"选择哪些token"，而本文通过受控诊断实验揭示：直接查询到模态token的余弦相似度路由并不可靠（准确率仅60.8%，接近随机），均匀的模态内预算分配即使配合最优token选择也无法达到异构预算的效果，从而确立了预算分配作为独立研究问题的正当性。

为此，作者提出OmniDelta，一个训练无关（training-free）的分层预算分配框架。其核心创新在于三阶段分配：第一，构建音频和视频的技能池，通过查询与技能词的文本嵌入余弦相似度来动态调整模态间预算；第二，在模态内部根据局部复杂度（token多样性）和帧间冗余度进行时间粒度的预算重分配；第三，将分配的局部预算交给下游token剪枝策略执行（默认复用OmniZip的剪枝规则）。整框架作为预处理器插入编码器-投影器之后、LLM主干网络之前，不修改模型权重。

实验在Qwen2.5-Omni-7B和3B两个模型上运行，覆盖WorldSense、AVUT、VideoMME和DailyOmni四个基准。在7B模型25% token保留率下，OmniDelta相比全token推理降低了22.0% GPU显存，实现了1.64倍的端到端加速，并在WorldSense上以44.2%准确率（全量46.8%）推进了精度-效率Pareto前沿。

实际意义在于为OmniLLMs部署提供了即插即用的效率提升方案，主要局限性在于技能池构建依赖昂贵的外部模型GPT-5.5-xhigh，削弱了"training-free"主张的纯粹性，且仅在Qwen系列模型上验证了兼容性，代码和技能池完全闭源。

🔗 开源详情

• 代码：论文中未提及代码链接，未提供代码仓库
• 模型权重：论文使用Qwen2.5-Omni-7B和Qwen2.5-Omni-3B预训练权重，但未提供权重下载链接
• 数据集：论文使用了WorldSense (hong2026worldsense)、AVUT (yang2025avut)、VideoMME (fu2024videomme)、DailyOmni (zhou2025dailyomni)等测评基准，但未提供具体下载链接或数据获取方式说明
• Demo：论文中未提及
• 复现材料：论文附录提供了Algorithm 1伪代码、所有超参数值、技能池构建的完整prompt（Appendix E）和诊断实验协议（Appendix D），但技能池完整JSON文件未公开，GPT-5.5-xhigh处理脚本未提供
• 论文中引用的开源项目（均为引用，未提供直接链接）：
  • Qwen2.5-Omni (qwen2025qwen25omni)：未提供直接链接
  • OmniZip (tao2025omnizip)：未提供直接链接
  • DyCoke (tao2025dycoke)：未提供直接链接
  • OmniSIFT (ding2026omnisift)：未提供直接链接
  • EchoingPixels (gong2025echoingpixels)：未提供直接链接
  • OmniRefine (deng2026omnirefine)：未提供直接链接
  • OmniFit (wang2026omnifit)：未提供直接链接
  • FastAV (jung2026fastav)：未提供直接链接
  • AccKV (jiang2026acckv)：未提供直接链接
  • DASH (li2026dash)：未提供直接链接
  • OmniSelect (yang2026omniselect)：未提供直接链接
  • AudioCLIP (guzhov2021audioclip)：未提供直接链接
  • VITA (fu2024vita)：未提供直接链接
  • VideoLLaMA (cheng2024videollama2)：未提供直接链接
  • FrameFusion (fu2025framefusion)：未提供直接链接
  • ToMe (bolya2022tome)：未提供直接链接
  • FastV (chen2024fastv)：未提供直接链接 注：上述项目均为论文引用的方法或工具，但论文正文及附录中均未给出任何项目的具体URL。

🏗️ 方法概述和架构

OmniDelta是一个训练无关的分层预算分配器，作为预处理器插入到OmniLLM的标准推理流水线中，位于编码器-投影器之后、LLM主干网络之前。给定一段视频及其对应音频，系统首先通过编码器-投影器获得视觉token \(V \in \mathbb{R}^{N_v \times d}\) 和音频token \(A \in \mathbb{R}^{N_a \times d}\)，然后固定全局保留token总数 \(K = \text{round}(r(N_a+N_v))\)，分三阶段进行预算分配。

下图展示了OmniDelta的整体框架，它作为预处理器插入到标准推理流水线中。

图中清晰呈现了系统的三阶段分配流程：首先通过查询与技能词库的匹配进行模态间预算分配，然后在音频片段和视频帧内根据复杂度和冗余度进行模态内预算重分配，最后将分配好的局部预算交由下游的token剪枝模块执行。

组件一：意图感知的模态间预算分配 该组件解决"查询更需要音频还是视频证据"的问题。由于直接查询到音频/视频token的余弦相似度路由被诊断实验证明不可靠（准确率仅60.8%），作者转向基于task prototype的匹配机制。具体而言，离线使用GPT-5.5-xhigh从WorldSense数据中识别音频导向任务类型（语音对话、说话人识别、音乐节奏、声音事件理解等）和视频导向任务类型（目标场景识别、外观空间关系、OCR、动作运动理解等），提取代表性关键词并扩展语义相关词，构建音频技能池 \(\mathcal{S}_a\) 和视频技能池 \(\mathcal{S}_v\)（音频90条、视频122条，包含紧凑关键词和任务短语）。推理时，将查询文本 \(q\) 与所有技能词通过Thinker输入嵌入层映射为 \(\ell_2\) 归一化向量，计算余弦相似度并取Top-k（k=3）平均，得到音频得分 \(r_a(q)\) 和视频得分 \(r_v(q)\)。通过Softmax归一化为概率并取差值 \(m_q = p_v - p_a\)，该有符号模态偏向信号控制预算转移量 \(\Delta_q = \lambda_q K m_q\)，从低相关模态扣减并加至高相关模态，确保总预算守恒。转移后经过ProjectExact操作进行范围投影和整数修正。

组件二：内容感知的模态内预算分配 在获得音频总预算 \(K_a\) 和视频总预算 \(K_v\) 后，该组件进一步在每个模态内部进行时间粒度的预算重分配。基本分配单元为：音频以1秒片段为单位，视频以单帧为单位。对每个单元 \(u_i\) 计算两个信号：(1) 内部复杂度 \(C_i^m\)——用单元内token与均值向量的余弦相异性衡量，高复杂度意味着信息量大，应多保留token；(2) 单元间冗余度 \(R_i^m\)——用当前单元与前一相邻单元对齐位置token的余弦相似度（经单位长度重采样后）衡量，高冗余意味着可压缩更多。两者经min-max归一化后组合为中心化得分 \(z_i^m = (R_i^m - C_i^m) - \text{mean}(R^m - C^m)\)，正值偏向冗余、负值偏向复杂。基于 \(z_i^m\) 构建每个单元的可行预算区间：冗余单元下移上界（\(h_i^m = k_i^{0,m} - \lambda_m [z_i^m]_+ L_i\)），复杂单元上移下界（\(h_i^m = k_i^{0,m} + \lambda_m [-z_i^m]_+ L_i\)）。最终采用"下界保障+优先级加权分配剩余预算"策略：所有单元先分配至下界 \(\ell_i^m\)，再将剩余预算按优先级 \(w_i^m = (1-z_i^m)/2\) 加权分配，经LargestRemainder整数修正后确保每单元最终预算 \(k_i^m\) 满足区间约束且求和等于模态总预算。Appendix B对该分配过程的单调性、有界性、方向性和整数守恒性提供了形式化证明。

组件三：预算约束下的Token剪枝 前两阶段输出每个音频片段和视频帧的保留token数 \(k_i^m\)。剪枝阶段复用OmniZip的规则：对音频，利用音频编码器最后一层自注意力权重 \(\alpha_i\) 作为token重要性分数，在每个片段内保留得分最高的 \(k_i^a\) 个token；对视频，将音频的块级（2秒）保留率作为先验指导对应时间窗口（4帧）的视频剪枝，在窗口内交替应用时间剪枝（去除相邻帧相似token）和空间剪枝（DPC-KNN保留代表性token），即ISTC策略。OmniDelta本身不修改剪枝逻辑，只改变各单元的预算数量。

💡 核心创新点

1. 将预算分配从token选择中解耦：首次在OmniLLM推理中明确区分"分配多少预算"和"选择哪些token"两个子问题，并通过受控诊断实验（视频/音频的Oracle对比，Figure 3-4）证明均匀预算分配即使配合最优token选择也无法达到异构预算的效果，从而确立了预算分配作为独立研究问题的正当性。
2. 技能驱动的模态间路由：针对直接查询-模态token余弦相似度路由不可靠（准确率仅60.8%）的发现，提出基于文本嵌入空间的技能池匹配机制，用task prototype而非样本内容来路由预算，将路由准确率提升至86.3%，且无需训练。该机制的核心洞察是：查询编码任务意图，而模态token编码样本内容，两者的直接相似度不能反映任务所需的证据模态。
3. 复杂度-冗余联合驱动的模态内分配：提出用内部复杂度（token多样性）和帧间冗余度（相邻帧相似性）两维信号联合决定局部预算分配，通过区间约束和优先级加权分配保证边界受控，避免了纯粹基于单一启发式的分配偏差。
4. 兼容现有剪枝策略的训练无关框架：OmniDelta作为独立的分配层，与下游token选择策略解耦，可与OmniZip、DyCoke等现有方法组合，且无需任何训练或微调，即插即用的设计具有明确的部署实用价值。模态间转移和模态内重分配的理论性质（单调性、有界性、整数守恒）在Appendix B中给出了完整的形式化证明。

📊 实验结果

论文在四个音视频问答基准上进行了全面评估，使用Qwen2.5-Omni-7B和3B两个预训练模型，比较了全token推理、随机剪枝、DyCoke（视频+音频独立压缩）、OmniZip等训练无关基线。

WorldSense结果（Table 1）：

在25%保留率下，OmniDelta在7B模型上平均准确率44.2%（全量46.8%），超过OmniZip的43.2%一个百分点，八个子类中六个取得最优或并列最优。在20%保留率下，OmniDelta为43.0%，同样超过OmniZip的42.7%。

针对直接查询-模态相似度路由不可靠的问题，论文通过技能池匹配机制提升了路由准确率，具体对比见下表。

表格数据表明，基于技能池的匹配方法在所有查询和池化策略上均显著优于直接相似度路由，最高将路由准确率从60.8%提升至87.5%，为后续的预算分配提供了更可靠的意图信号。

AVUT、VideoMME、DailyOmni结果（Table 2）：

在AVUT上，7B模型25%保留率下OmniDelta取得61.1%（OmniZip 60.7%），3B模型上略低于OmniZip（58.8%对58.9%）。VideoMME上，7B模型25%保留率下OmniDelta平均66.4%（OmniZip 66.3%），长视频子集与OmniZip持平（56.0%）。DailyOmni是OmniDelta表现最突出的基准，7B模型25%保留率下58.5%（OmniZip 57.1%，+1.4%），所有五个子任务全部最优。

消融实验（Table 3）：

三级分配逐级叠加带来累积增益：仅模态间分配（A/V）平均+0.1%（在AVUT和VideoMME上反而分别下降0.4%和0.5%），叠加音频内分配（+A）平均+0.3%，叠加视频内分配（+V）平均+0.5%，三者全用平均+0.7%，验证了各组件互补且视频内分配贡献最大。

效率评估（Table 4）： 在Qwen2.5-Omni-7B上，25%保留率的OmniDelta将GPU显存从30.0G降至23.4G（-22.0%），TTFT从3006ms降至1776ms（1.69×加速），端到端延迟从3.15s降至1.92s（1.64×加速）。3B模型同样获得最大加速，TTFT加速1.42×，端到端加速1.41×。所有压缩方法中OmniDelta同时实现最高准确率和最低延迟。

为了更直观地展示OmniDelta的预算分配效果，下图对比了它与基线方法OmniZip在模态间和模态内分配上的具体差异。

可视化结果表明，OmniDelta能够自适应地将预算重新分配给信息更丰富的音频片段和视频帧，例如在视频中某些动作关键帧上分配了更高的保留率，而OmniZip的分配则相对均匀。

超参数敏感性： 在WorldSense上对三个转移系数进行网格搜索（\(\lambda_q \in \{0.05, 0.10, 0.15\}\), \(\lambda_a \in \{0.10, 0.15, 0.20\}\), \(\lambda_v \in \{0.20, 0.30, 0.40\}\)，共27组配置），整体准确率波动范围43.28%–44.29%。其中\(\lambda_q\)（模态间转移）最敏感，\(\lambda_a\)和\(\lambda_v\)相对稳定。

🔬 细节详述

• 训练数据：未涉及训练，为训练无关方法。诊断实验和技能池构建使用了WorldSense数据子集，由GPT-5.5-xhigh辅助进行查询分类、关键词标注、语义扩展词生成和答案评分。
• 损失函数：未涉及。
• 训练策略：无训练过程。
• 关键超参数：(1) 全局保留率\(r\)设为25%或20%；(2) 模态间转移系数\(\lambda_q\)：7B模型0.05，3B模型0.15；(3) 音频内转移系数\(\lambda_a\)：7B模型0.20，3B模型0.10；(4) 视频内转移系数\(\lambda_v\)：7B模型0.30，3B模型0.40；(5) 技能路由Top-k=3；(6) 音频片段粒度1秒，视频帧粒度1帧，音频块对应2秒窗口覆盖4个视频帧；(7) 初始先验预算来自OmniZip的50%音频保留率、20%视频保留率配置。
• 训练硬件：推理在NVIDIA H20 GPU上运行，未提及训练硬件。
• 推理细节：Qwen2.5-Omni-7B和3B预训练权重，VideoMME最大512帧，其他基准128帧；每音频秒25个音频token，每视频帧72个视觉token。
• 正则化或稳定训练技巧：不适用。
• 模型：基于Qwen2.5-Omni-7B和Qwen2.5-Omni-3B预训练权重进行推理实验，不涉及模型训练或微调。

⚖️ 评分理由

• 创新性 (1.5/2)：首次在OmniLLM推理中明确区分预算分配与token选择两个子问题，并通过诊断实验确立预算分配的独立研究价值；提出技能驱动的模态间路由和复杂度-冗余联合驱动的模态内分配框架，三层分配逻辑清晰且有形式化理论分析，思路新颖。

• 技术严谨性 (1.0/1.5)：模态间分配和模态内分配的整数守恒、有界性给出了形式化证明，算法框架自洽；但技能池构建依赖GPT-5.5-xhigh外部分类与扩展，削弱了论文“training-free”主张的纯粹性，且模态内分配的复杂度/冗余度仅为信息损失的启发式代理而非可证明的最优信号，方法纯度受一定影响。

• 实验充分性 (1.0/1.5)：在四个音视频问答基准上评估了两个模型规模，包含随机、DyCoke、OmniZip等训练无关基线，提供了消融实验、效率分析和超参数网格搜索；但未进行统计显著性检验，未评估生成质量与压缩引入的幻觉风险，未直接对比同样使用查询-模态相似度的OmniSelect，也未测试长视频流式或跨架构的通用性，实验论证的严谨性和覆盖面仍有不足。

• 清晰度 (0.8/1)：论文结构清晰，提供了算法伪代码、公式推导以及附录中的诊断协议与技能池构建prompt，关键设计均可追溯；少数公式符号和窗口对齐细节依赖对Qwen2.5-Omni的预设知识，但不影响整体理解。

• 影响力 (1.2/1.5)：针对OmniLLM的推理成本问题提出预算分配新范式，在WorldSense、DailyOmni等多个基准上推进了精度-效率Pareto前沿，音频与视频模态平等参与核心设计，对多模态高效推理方向有较直接的推动作用；但方法在架构和超参数上深度耦合于Qwen系列，向其他OmniLLM的推广存在额外适配成本，短期内跨架构影响受限。

• 开源 (0.0/1.5)：论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。

• 可复现性 (0.3/0.5)：正文和附录公开了算法伪代码、完整超参数配置、技能池构建prompt和诊断实验协议，提供了部分复现依据；但核心技能池JSON和GPT-5.5-xhigh自动化构建脚本均未发布，使离线构建阶段的复现存在较大不确定性。

• 工程/实践价值 (1.2/1.5)：在Qwen2.5-Omni-7B上实现1.64倍端到端加速和22%显存降低，作为预处理层无需训练或模型修改，可直接组合现有剪枝策略，工程部署价值突出；但技能池离线构建依赖昂贵的外部模型调用，且仅在Qwen架构上验证了效率收益，跨模型即插即用性尚未充分证实。

🚨 局限与问题

论文明确承认的局限

1. 诊断实验中的模态分类、技能池构建依赖GPT-5.5-xhigh，方法纯度受影响（Section 2.1, Appendix D, E明确提及）。
2. 模态内分配的复杂度/冗余度信号是信息损失边际增益的启发式代理，而非推导出的最优信号（Appendix B.4明确声明"OmniDelta uses local complexity and temporal redundancy as training-free proxies for their marginal gains…This proposition motivates non-uniform allocation but does not assume that the proposed signals recover the unknown optimal loss functions exactly"）。
3. 当前仅在Qwen2.5-Omni系列模型上验证，兼容其他OmniLLM架构需要调整先验预算配置和模态对应关系（论文正文末段暗示）。

审稿人发现的潜在问题

1. 通用性存疑：框架的多个组件（如用音频注意力指导视频剪枝、1秒-2秒-4帧的窗口对齐、ISTC剪枝策略）深度耦合于Qwen2.5-Omni的特定架构和token化方案。迁移到VITA、VideoLLaMA等不同设计范式的OmniLLM时，不仅需要调整超参数，可能需要重新设计模态对应关系和剪枝后端，远非"即插即用"。
2. “训练无关"主张被严重削弱：技能池构建虽然离线，但本质上使用了GPT-5.5-xhigh的推理能力进行知识蒸馏，将世界知识和任务分类能力浓缩进技能词表。这引入了三重问题：(a) 标注成本高（GPT-5.5-xhigh API调用WorldSense全量数据进行分类和扩展）；(b) 跨语言、跨领域的零样本扩展能力未经测试——中文或专业领域（医疗、工业）的音视频问答可能需要完全不同的技能池；(c) 方法对基础LLM（Qwen2.5-Omni Thinker）的文本嵌入空间有隐含依赖，技能池编码的质量随模型版本可能漂移。
3. 性能提升的统计显著性缺失：WorldSense上44.2% vs 43.2%的1个百分点提升，在3,172个测试样本上若不做bootstrap或统计检验，无法排除随机波动。更令人担忧的是，AVUT上7B模型A/V only配置相比OmniZip下降了0.4%（60.3% vs 60.7%），VideoMME上下降了0.5%（65.8% vs 66.3%），说明单纯的模态间预算转移可能引入新误差，最终的净增益来自音频内和视频内分配的补偿。论文未对各基准进行显著性检验或多次运行取平均。
4. 缺乏动态稀疏度处理：OmniDelta的预算分配是针对固定token保留率\(r\)的静态分配。在长视频流式推理或交互式对话场景中，输入长度不断增长，\(r \times N\)的总预算随之增大。一个关键但未讨论的问题是：早期帧积累的预算是否会挤占后续关键证据的空间？流式场景下预算分配策略是否需要滑动窗口或衰减机制？
5. 仅评估最终答案准确率，未评估中间生成质量：论文仅报告多项选择准确率，未对生成式输出的质量（如BLEU、ROUGE、人工评估）进行评估，也无法判断压缩是否引入事实性错误或安全风险。对于OmniLLM这类部署系统，压缩后的完整行为特性（包括幻觉率和有害内容过滤能力）同样重要。
6. 技能池的时效性和维护问题：技能池是基于WorldSense数据离线构建的静态词表。随着新的音视频任务类型出现（如AI生成内容检测、深度伪造识别），技能池需要重新扩展，但论文未讨论增量更新或自动扩展机制。
7. 对比基线不完整：OmniSelect（yang2026omniselect）同样采用查询到模态的相似度路由（通过AudioCLIP模块），虽然被论文作为反例引用，但未在实验表中直接对比。若能提供与OmniSelect的端到端对比，可以更直接地验证技能池路由相对于直接相似度路由的实际增益。

← 返回 2026-07-29 语音/音乐/音频论文速递