📄 OmniFit: Bridging Modalities via Layer-Adaptive Token Compression for Omnimodal Large Language Models

#音视频理解 #模型压缩 #多模态模型 #高效推理

6.3/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0.1/1.5 | 复现 0.1/0.5 | 工程 1.1/1.5

✅ 6.3/10 | 前50% | #音视频理解 | #模型压缩 | #多模态模型 #高效推理 | arxiv

👥 作者与机构

• 第一作者：Zining Wang（北京航空航天大学计算机科学与工程学院，复杂与关键软件环境国家重点实验室）
• 通讯作者：Xianglong Liu（北京航空航天大学计算机科学与工程学院，复杂与关键软件环境国家重点实验室）
• 其他作者：Zhihang Yuan（北京大学）、Yingjie Zhai（华为技术有限公司）、Wenshuo Li（华为技术有限公司）、Han Shu（华为技术有限公司）、Ruihao Gong（复杂与关键软件环境国家重点实验室）、Jinyang Guo（北京航空航天大学计算机科学与工程学院/人工智能学院，复杂与关键软件环境国家重点实验室）

💡 毒舌点评

这篇论文的动机分析（层间异质性和跨模态锚点驱动）是一次漂亮的现象学观察，作者花了大力气证明“为什么”需要层自适应和跨模态对齐。但坦白说，方法论上更像一个“证件照”：SVD、DPC-KNN、余弦相似度这套组合拳看起来体面，深究下去却没有真正的新算法原理。核心卖点“training-free”既是铠甲也是软肋——轻量化部署确实友好，但也意味着它永远只能做“事后诸葛亮”，无法改变模型自身对冗余信息的处理逻辑。实验覆盖面广是优点，但依然缺少对深层why的拷问：为什么基于静态编码器输出的余弦相似度，能成为深层复杂语义交互的良好代理？这篇工作给了一个“够用”的解释，但离“令人信服”还有距离。

📌 核心摘要

1. 要解决的问题：全模态大语言模型（OmniLLMs）同时处理视频、音频和文本，输入序列极长，自注意力机制的计算和存储消耗呈平方增长，严重制约实时部署。现有token压缩方法依赖静态的模态优先级（如音频主导）或统一保留策略，忽视了跨层异质性和跨模态对齐的关键作用。
2. 方法核心：OmniFit是一个无需额外训练的离线校准、在线推理框架。离线阶段通过Layer-Adaptive Heterogeneity Profiling (LAHP) 对每层Transformer块进行SVD，量化信息密度（有效秩）和模态偏好（注意力分布），确立逐层递减的token保留预算，并为非均匀压缩引入闭式解的惩罚因子\(\xi\)以保证计算总量不超限。在线阶段通过Alignment-Rectified Token Selection (ARTS)，利用编码器输出后即用DPC-KNN算法从输入token中提取跨模态紧凑“全局锚点”，计算token与对立模态锚点的最大余弦相似度，融合L2范数作为重要性评分，以O(Nd)线性开销选取跨模态对齐的关键token。
3. 与已有方法的新颖之处：区别于OmniZip等预设音频主导或统一保留的静态策略，LAHP实现了数据驱动的层自适应预算分配，且首次从理论（柯西-施瓦茨不等式）上保证了非均匀分配的总计算量不比均匀分配差。ARTS以轻量级代理指标替代EchoingPixels中昂贵的跨模态密集注意力，将选择开销从二次降为线性，但需注意其重要性得分仅在编码器后计算一次、为全部层复用。
4. 主要实验结果：在Qwen2.5-Omni-3B/7B、OmniVinci、Qwen3-Omni-30B-A3B-Instruct等3个模型系列、10个基准上进行评估。OmniFit在仅保留20% token时，保持Qwen2.5-Omni-3B原模型98.68%的平均性能，优于OmniZip 4.27个百分点。在Qwen2.5-Omni-7B上获得2.20×预填充加速和1.20×解码加速，30B MoE模型上实现2.31×预填充加速，VRAM节省至2.5×。

   方法 (Retain 20% Tokens)	VideoMME	WorldSense	Daily-Omni	MVBench	MLVU	平均性能保留(%)
   Full Tokens	62.8	46.0	59.8	68.7	68.9	100.00
   RandomDrop	50.1	20.9	40.9	59.4	55.7	68.37
   FastVid	60.1	35.2	45.3	65.4	64.4	83.56
   DyCoke	58.8	35.9	44.5	61.2	64.9	82.95
   OmniZip	60.5	41.6	57.5	-	-	94.41
   EchoingPixels	60.7	45.0	60.6	-	68.3	98.74
   OmniFit	62.0	45.1	59.8	68.0	67.2	98.68

5. 实际意义：为OmniLLMs在资源受限设备上的实时交互部署提供了高性价比的纯后处理优化方案，无需昂贵重训练，校准极快，具有良好的学术与实践参考价值。
6. 主要局限性：作者承认依赖离线校准，若模型架构或训练数据分布发生显著变化需重新校准；方法基于启发式代理指标，无法保证压缩后的信息损失理论上界。此外，跨模态得分完全基于编码器输出的静态余弦相似度，对于深层Transformer才涌现的跨模态语义关系可能遗漏关键信息；反复实验中使用的EchoingPixels基线因代码未开源，仅引用了原文结果，对比公平性略打折扣。

🔗 开源详情

• 代码：论文中未提及代码链接，未承诺开源。
• 模型权重：论文中未提及。
• 数据集：论文中未提及。
• Demo：论文中未提及。
• 复现材料：论文中未提及。
• 论文中引用的开源项目：lmms-eval (https://github.com/EvolvingLMMs-Lab/lmms-eval)。其他工具如FlashAttention、DPC-KNN算法本身未提供实现链接。

🏗️ 方法概述和架构

OmniFit是一个“离线剖析、在线执行”的token压缩框架，在不重新训练模型的前提下，针对全模态大语言模型的逐层异质性和跨模态对齐需求，动态分配token保留预算并精准选取关键token。

整体流程分为两个阶段：

阶段一：离线校准——Layer-Adaptive Heterogeneity Profiling (LAHP)

该阶段通过少量校准数据，为模型中每个Transformer层生成全局保留率\(r(l)\)和模态偏好分\(\rho(l)\)两个配置。具体包含：

1. Token冗余度剖析（Token Redundancy Profiling）：对于第\(l\)层的输出隐藏态矩阵\(X^{(l)} \in \mathbb{R}^{N \times d}\)（\(N\)为序列长度，\(d\)为隐藏维度），进行奇异值分解(SVD)。根据Eckart-Young-Mirsky定理，计算“有效秩”\(k_{eff}\)，即保留累积能量比\(\delta\)（默认0.9）所需的最小维度数。有效秩越低，特征空间坍缩越严重，token冗余度越高，可更激进压缩。基于此，定义未缩放保留率\(\Psi(l) = \prod_{i=1}^l (k_{eff}^{(i)} / d)\)。该累乘设计强制保留预算随网络深度单调递减，对应浅层感知需高密度、深层抽象可高度稀疏的观察。 为补偿非均匀压缩在注意力平方复杂度下引入的额外开销（由柯西-施瓦茨不等式证明：任何非均匀分配严格增加总计算量），本文引入惩罚因子\(\xi\)。将层计算成本建模为\(C(n) = c_1 n + c_2 n^2\)，在约束总计算量不超均匀压缩基线的前提下，推导出\(\xi\)的闭式解（公式5），确保\(r(l) = \xi \cdot \mu \cdot \Psi(l) / (\frac{1}{L}\sum \Psi(j))\)在计算约束下最大化信息密度。
2. 模态偏好度剖析（Modality Preference Profiling）：在第\(l\)层，对于每个模态\(m\)（视觉、音频），计算其平均注意力密度\(\rho_m(l)\)，定义为该模态所有token从整个上下文接收到的平均注意力概率，再以token数归一化消除序列长度偏置。鉴于文本token信息密度高且数量少，设计文本保留率恒为1。剩余预算\(K_{res} = K(l) - N_t\)按\(\rho_v\)和\(\rho_a\)线性分配到视觉和音频，即\(r_m(l) = \rho_m(l) \cdot K_{res} / (\rho_v N_v + \rho_a N_a)\)，确保注意力更偏向某模态的层保留更多该模态token。

阶段二：在线推理——Alignment-Rectified Token Selection (ARTS)

该阶段在推理时确定具体保留哪些token。核心机制如下：

1. 全局锚点提取：在编码器输出后，立即利用DPC-KNN算法，通过局部密度\(\rho_i\)（K近邻平均距离的指数变换）和最小距离\(\delta_i\)（到更高密度点的距离）两标量，将各模态的初始token聚类成少量紧凑的“全局锚点”\(A_m\)。这些锚点简洁地代表各模态核心语义，作为评估跨模态对齐的轻量参考，且存储后供全部层复用。
2. 重要性评分计算：对于视觉模态中的token \(x_i\)，其重要性得分\(S_i\)由两项融合：(1) \(S_{intra} = \|x_i\|_2\)，即L2范数，捕捉token的结构显著性；(2) \(S_{cross} = \max_{a_k \in A_{audio}} (x_i \cdot a_k) / \|a_k\|_2\)，即与所有音频锚点的最大余弦相似度，衡量该视觉token与音频语义的关联度。该交叉项会乘以当前层音频模态的偏好度分数\(\rho_{audio}(l)\)作为动态权重。最终得分\(S_i = S_{intra} + \lambda \cdot \rho_{\neg m}(l) \cdot \text{ReLU}(S_{cross})\)。\(\lambda\)是控制跨模态对齐重要性的超参数（默认1.5）。
3. 层间执行：每一层根据预先算好的\(S_i\)分数进行Top-K选取，保留得分最高的token；丢弃的token不直接丢掉，而是按余弦相似度分配给最近的保留锚点（即“软合并”，Sum-aggregation），以在极低压缩率下保留更多上下文。该方法将每层重复计算注意力的开销从\(O(L \cdot N^2)\)降低到线性的\(O(Nd)\)，选择开销仅为\(O(Nd + L \cdot N)\)。

💡 核心创新点

1. 全模态LLM的层间异质性系统性建模：首次系统揭示并量化OmniLLMs中token冗余度和模态偏好的深度依赖特性，辅以Qwen2.5-Omni和OmniVinci多模型的逐层剪枝实验（Observation i）和注意力分布可视化（Observation ii）。LAHP基于此将预算分配数据驱动化，替代了OmniZip和EchoingPixels的统一或静态压缩策略。
2. 将跨模态对齐从“计算密集型”转为“代理密集型”：指出全模态语义价值的核心是token的跨模态对齐程度，提出ARTS以DPC-KNN锚点和余弦相似度构建跨模态关联代理，将EchoingPixels中的密集跨注意力\(O(N^2)\)开销压缩为线性\(O(Nd)\)，实现了最高42倍的计算加速，同时保持了token选择质量。
3. 训练无关且理论自约束的端到端框架：OmniFlow流程无需反向传播、微调或模型结构修改，通过惩罚因子\(\xi\)的凸优化闭式解，在柯西-施瓦茨不等式保证的非均匀分配计算代价上建立了理论边界，确保了压缩在总计算量层面的数学不劣性。
4. 选择频率的灵活折中：设计上允许重要性得分在编码器后仅计算一次并全层复用，以极致降低在线开销（消融实验证明这种“静态”变体仅比逐层动态选择损失0.4%准确度，但获得15.1%额外速度提升），为实际部署提供了灵活的精度-效率权衡空间。

📊 实验结果

论文在3个模型系列、共涵盖10个benchmark上进行全面评估，涵盖音视频任务（AVUTBench, VideoMME, WorldSense, Daily-Omni, Video-Holmes, UNO-Bench, OmniBench）和纯视频任务（MVBench, EgoSchema, MLVU）。

主要对比实验（Qwen2.5-Omni-3B，保留20% Tokens）：

OmniFit平均性能保留98.68%，比全量模型下降仅1.32%。显著优于OmniZip(94.41%)、FastVid(83.56%)、DyCoke(82.95%)和RandomDrop(68.37%)。在训练无关的条件下，OmniFit性能与训练依赖方法EchoingPixels(98.74%)几乎持平。

极端压缩实验(Retain 5%-10% Tokens)与跨模型泛化实验(Retain 20% Tokens)：

在仅保留5% tokens的极端设置下，OmniFit在VideoMME、WorldSense、Daily-Omni上分别取得55.9、41.1、54.1，均优于EchoingPixels（55.7, 40.9, 52.8），证明LAHP精细的层预算分配策略比粗暴丢弃的优势。 在跨模型泛化方面，在Qwen2.5-Omni-7B上，OmniFit保留97.28%性能（OmniZip 93.66%）；在结构不同的OmniVinci上，保留95.87%性能（OmniZip 93.29%）；在MoE架构的Qwen3-Omni-30B-A3B-Instruct上，保留93.46%性能（OmniZip 90.28%），证明了出色的架构泛化能力。

效率实验：

OmniFit的校准时间极短（Qwen2.5-Omni-7B在8×H800上不到半小时，30B MoE约1小时）。在线token选择开销仅占原注意力计算开销的2.4%3.6%（27.842.0倍加速）。端到端测试中，在Qwen2.5-Omni-7B上以同精度水平带来2.20×预填充和1.20×解码加速；在30B MoE模型上带来2.31×预填充和1.39×解码加速，并将30B模型的VRAM占用从OOM降至70.2GB，得以在单张H800-80G GPU上运行。

消融实验：

• 组件贡献（20% Retain, Qwen2.5-Omni-3B）：LAHP+ARTS组合将VideoMME从50.1（RandomDrop）提升至62.0，Daily-Omni从40.9提升至59.8。TRP在低保留率（20%）下尤为关键，ARTS中的跨模态项贡献明确。
• 层调度策略：数据驱动的累积乘积策略在VideoMME(62.0)和MLVU(67.2)上明显优于线性衰减(59.8/64.3)和余弦衰减(60.5/65.1)。
• ARTS超参数鲁棒性：DPC-KNN中K在[3,10]及M在[8,64]范围内、\(\lambda\)在[1.0,2.0]范围内，性能波动小于1.0%。校准数据仅需256样本即可收敛，数据源改变（VideoMME vs WorldSense vs OmniBench）影响极小。

🔬 细节详述

• 校准数据：1024个随机样本，取自AVQA和Ola数据集。消融证明使用不同数据集校准结果稳定（Daily-Omni方差 < 0.5）。
• 损失函数：无（训练无关框架）。
• 训练策略：无需训练，仅需一次正向传播进行离线统计（SVD和注意力聚合）。
• 关键超参数：(1) SVD能量阈值\(\delta = 0.9\)；(2) 跨模态平衡因子\(\lambda = 1.5\)；(3) DPC-KNN中设定\(K=5\)，锚点数\(M=32\)；(4) 校准样本数\(N_{calib} = 1024\)（实验显示256样本即可收敛）。
• 模型大小：评估模型包括Qwen2.5-Omni-3B/7B、OmniVinci、Qwen3-Omni-30B-A3B-Instruct。
• 校准硬件：8×H800 GPU；推理效率测试：单张H800 GPU。
• 推理细节：重要性得分\(S_i\)仅编码器后计算一次；逐层Top-K选取保留，丢弃token与最近锚点软合并（Sum-aggregation）。
• 正则化技巧：通过惩罚因子\(\xi\)的闭式解确保非均匀压缩总计算量不超限。

⚖️ 评分理由

• 创新性 (1.3/2)：论文对全模态LLM中“层间异质性”和“跨模态锚点驱动”两个现象的实证观察较为深刻，并据此设计了layer-adaptive和alignment-rectified两大模块。但是，具体实现工具（SVD有效秩、DPC-KNN、余弦相似度）均为经典技术，组合集成思路清晰却缺乏新的算法原理。相较于OmniZip的静态先验和EchoingPixels的训练依赖，offline profiling + online proxy selection在流程上有明确新颖性，但技术深度不足。

• 技术严谨性 (1.1/1.5)：方法推导相对完整。对于非均匀压缩的额外开销，利用柯西-施瓦茨不等式和凸优化给出了惩罚因子\(\xi\)的闭式解，在成本控制上建立了合理理论约束。然而，SVD有效秩作为冗余度代理指标的合理性仅由Eckart-Young-Mirsky定理支持线性重构误差，其对Transformer非线性语义信息损失的紧致性并未严格证明。公式8中ReLU的使用略显突兀，缺乏充分的几何或统计解释。ARTS的静态重要性得分与层间动态变化的模态偏好（Observation i）之间存在理论与实践的不完全自洽，尽管消融实验表明工程上是可接受的。

• 实验充分性 (1.1/1.5)：实验覆盖面广，包含3个模型系列、10个benchmark，多个保留率（5%40%）及模型规模（3B30B MoE）。跨模态校准物和锚点参数的敏感性分析较全面，校准数据鲁棒性实验也较为完善。主要不足在于：缺乏对压缩前后注意力分布变化的深度可视化分析；仅提供了一例定性错误案例分析，不足以支撑对方法失效模式的系统性理解；EchoingPixels基线因代码未开源仅引用了原文结果，其实际性能的可复现性存疑；缺乏与KV Cache压缩等正交加速技术的组合实验。

• 清晰度 (0.8/1)：论文结构清晰，动机（Motivation）的铺陈通过Observation (i)-(iii)配合实验图表较为直观有说服力。公式表述和算法伪代码规范。但对ARTS中“全局锚点存储与复用”的具体实现细节（附录部分）在主文中着墨偏少，效率测试部分的软件栈和环境未完整呈现。

• 影响力 (0.7/1.5)：作为音视频多模态理解领域的效率优化工作，OmniFit对推动OmniLLM实时化交互应用具有明确参考价值和潜在工程影响力。但其纯后处理性质决定了影响力上限，它是对现有模型的补丁式增强而非下一代模型的设计哲学，无法从根本上启发模型结构或训练目标的革新。对纯粹音频或语音领域读者的直接价值有限，核心价值集中在多模态交互场景。

• 开源 (0.1/1.5)：论文中未提及任何代码、模型权重或数据集的公开链接，亦未承诺后续开源。仅引用了开源评估框架lmms-eval。

• 可复现性 (0.1/0.5)：文章提供了关键的算法伪代码、公式和主要超参数。但由于LAHP核心实现细节（如跨层SVD的批处理、\(\xi\)的数值求解）、DPC-KNN锚点提取的完整流程、以及Token Merging（软合并）的聚合策略未完全通过伪代码或链接明确，且源代码完全未提供，严格复现有一定风险。

• 工程/实践价值 (1.1/1.5)：OmniFit的设计贴合工程实践：纯后处理、免训练、对多框架及模型架构兼容性好、校准开销极低、有可量化的显存节省和延迟收益。惩罚因子\(\xi\)的成本约束闭环体现了对直接部署效率与可控性的深入考虑。但整体仍为作用于推理阶段的插件，并非一套端到端的工业级生产系统。

🚨 局限与问题

论文明确承认的局限：

1. 方法基于离线校准，若模型架构或数据分布发生显著变化，需重新校准。
2. ARTS使用代理指标近似跨模态重要性，无法完全等同于真实注意力机制。
3. 文本token默认全保留，未探讨其在极端场景的压缩可能。

审稿人发现的潜在问题：

1. 静态代理与动态需求的矛盾：ARTS在编码器后仅计算一次全局重要性得分并全层复用，而LAHP明确揭示了层间存在动态变化的模态偏好和冗余度。这种“静态得分匹配动态层”的策略在理论上不自洽，尽管消融实验显示静态变体仅损失0.4%准确度，但这更像是一种工程妥协而非根本解决方案，其上限可能受此制约。
2. 跨模态代理的深层有效性缺失论证：\(S_{cross}\)完全基于编码器输出的静态余弦相似度。对于深层Transformer中通过多步非线性交互才涌现的跨模态语义关系，这种一次性线性评估的可靠性缺乏理论或深度实验支撑。
3. SVD校准的实际成本与频率：LAHP对每个校准样本的每一层执行完整矩阵SVD（\(O(Nd^2)\)），对于7B/30B等大模型，尽管论文宣称在8×H800上半小时到一小时内完成，但未给出分阶段耗时分析以证实SVD是瓶颈还是已被充分分摊。对于极低频校准场景或许可接受，但若需频繁适应数据分布偏移，成本将不可忽略。
4. 基线对比的不完全公平：与EchoingPixels的对比因后者代码未开源，仅引用原文结果，其精度缺乏在同一评测管线下的独立验证，削弱了“性能与训练依赖方法持平”这一结论的说服力。未与其他加速范式（如KV Cache压缩、Speculative Decoding）进行组合或对比研究。

← 返回 ICML 2026 论文速递