📄 Keep What Audio Cannot Say: Context-Preserving Token Pruning for Omni-LLMs

#音视频 #高效推理 #多模态模型 #跨模态

✅ 7.0/10 | 前25% | #音视频 | #高效推理 | #多模态模型 #跨模态 | arxiv

学术质量 6.5/8 | 影响力 0.5/2 | 可复现性 0.5/1 | 置信度 高

👥 作者与机构

• 第一作者：Chaeyoung Jung（Korea Advanced Institute of Science and Technology (KAIST)）
• 通讯作者：未明确说明（论文中列出的通讯作者地址为“Equal contribution”，与第一作者相同）
• 作者列表：Chaeyoung Jung（KAIST）、Kyeongha Rho（KAIST）、Joon Son Chung（KAIST）

💡 毒舌点评

这篇论文的“移除音频已知，保留音频未知”的剪枝思想确实新颖且直观，实验结果也非常亮眼，尤其是在Qwen2.5-Omni 7B上能以55%的压缩率保持甚至超越全token性能。但尴尬的是，方法最核心的“保留空间细节”分支（图2中标注2⃝）依赖于一个固定的全局空间保留比例ρspa，这在处理如球员球衣号码、面部表情等高度局部化、信息量集中的细节时显得非常脆弱，论文的失败案例也明确证实了这一点。一个自适应的、可能依赖内容或查询的空间预算分配机制，才是该方法从“有效”迈向“鲁棒”的关键下一步。此外，将所有实验仅限于短视频片段，其结论在长视频场景下的普适性存疑。

📌 核心摘要

1. 要解决什么问题：全模态大语言模型（Omni-LLMs）在处理音视频输入时，会产生大量token，导致计算开销巨大，阻碍了实际部署。现有的token剪枝方法要么针对特定任务训练，要么过度依赖音频-视觉的强对齐信号，可能丢弃理解宽泛上下文所需的证据。
2. 方法核心是什么：论文提出了一个名为ContextGuard的推理时token剪枝框架。其核心思想是将token压缩从“选择重要token”重新定义为“移除跨模态冗余，同时保留音频无法表达的视觉上下文”。具体实现包含三个主要步骤：a) 音频引导的语义剪枝：使用一个轻量级的音频到视觉语义预测器（A2V Predictor）从音频预测粗糙视觉语义，移除与预测语义高度相似（即可被音频解释）的视频token；b) 空间细节保留：通过网格采样和局部空间变化度量，额外保留一部分token以覆盖图像空间，保存颜色、姿态等音频无法指定的局部细节；c) 基于深度分数的时间合并：对时间上相似的chunk进行分段和合并，进一步压缩冗余帧。
3. 与已有方法相比新在哪里：与现有训练基础的（如EchoingPixels, OmniSIFT）或基于对齐的（如OmniZip）方法不同，ContextGuard不追求为当前查询选择最相关的token，而是致力于去除被音频流冗余表达的视觉信息，并主动保留那些与音频不匹配的视觉证据（如场景文字、背景物体），以维护更广泛的上下文信息。
4. 主要实验结果如何：在Qwen2.5-Omni（7B/3B）和Video-SALMONN2+（7B/3B）两个模型及六个音视频基准测试上，ContextGuard显著优于基线方法。关键结果如表1所示：

   Method	Comp.↑ (%)	World.↑	Daily.↑	Video-MME↑	OmniVid.↑	AVQA↑	video-SAL2.↓	Avg.↑ (%)
   Qwen2.5-Omni 7B
   Full Token	0	47.4	57.1	78.8	48.2	87.6	48.1	100.0
   Random	50	45.7	52.4	78.4	43.4	86.7	50.4	95.4
   FastV	50	45.6	56.6	77.9	47.6	87.0	49.8	98.1
   OmniZip	54	46.8	56.6	77.1	47.0	87.0	52.8	97.3
   ContextGuard	55	47.7	57.2	78.8	48.2	87.1	48.1	100.0
   Qwen2.5-Omni 3B
   Full Token	0	47.7	57.7	75.8	44.0	87.6	53.5	100.0
   Random	50	44.1	53.1	74.0	42.8	87.1	56.1	95.7
   FastV	50	46.7	55.6	74.0	44.0	87.2	54.6	98.2
   OmniZip	54	47.1	55.8	74.9	42.8	87.3	52.4	98.9
   ContextGuard	61	47.7	56.6	75.8	45.2	87.3	52.3	100.5
   Video-SALMONN2+ 7B
   Full Token	0	50.7	56.3	79.2	43.4	67.8	18.9	100.0
   Random	50	47.3	51.6	76.2	39.5	66.8	25.7	90.7
   FastV	50	46.3	51.8	79.2	42.2	66.1	24.0	92.8
   OmniZip	49	47.8	53.8	79.2	42.8	68.8	22.4	95.7
   ContextGuard	55	50.6	55.5	81.4	47.0	66.9	19.9	100.5
   Video-SALMONN2+ 3B
   Full Token	0	48.1	57.7	76.2	45.8	81.6	22.7	100.0
   Random	50	44.3	51.6	73.2	42.0	81.2	30.3	90.6
   FastV	50	45.6	53.2	71.0	36.1	81.0	27.4	90.2
   OmniZip	49	45.6	54.7	73.2	41.6	81.3	26.3	93.7
   ContextGuard	56	47.1	55.5	73.6	44.6	81.4	24.2	96.9
   特别是在Qwen2.5-Omni 7B上，剪枝55%的token后，在6个基准中的5个上达到了全token性能。

5. 实际意义是什么：该方法为部署高效的全模态大模型提供了有力的工具，通过一个无需微调下游LLM、仅需一个独立训练的轻量预测器的推理时框架，大幅降低了音视频理解的计算成本和内存占用，对实时交互应用具有重要价值。
6. 主要局限性是什么：方法依赖于固定的精细粒度空间保留比例（ρspa），这可能导致在需要非常具体局部细节的任务（如识别球衣号码、细微表情）上表现不佳，正如其失败案例所示。此外，所有评估均基于短于1分钟的视频片段，限制了结论对长视频场景的适用性。A2V预测器的鲁棒性在不同内容类型（如音乐视频）上未被充分讨论。

🔗 开源详情

• 代码：论文中未提及代码链接。
• 模型权重：论文中未提及模型权重链接。
• 数据集：
  • WorldSense: 论文中未提供链接。
  • Daily-Omni: 论文中未提供链接。
  • Video-MME: 论文中未提供链接。
  • AVQA: 论文中未提供链接。
  • OmniVideoBench: 论文中未提供链接。
  • video-SALMONN2 test set: https://huggingface.co/datasets/videoSALMONN2/video-SALMONN_2_testset
  • AudioSet: 论文中提及，未提供具体链接。
  • VGGSound: 论文中提及，未提供具体链接。
• Demo：论文中未提及。
• 复现材料：论文提供了详细的附录，包括 A2V 预测器的架构、训练目标、训练数据（AudioSet 和 VGGSound）、超参数设置、以及各项分析实验的细节（如语义保留比例、空间细节保留策略、时序合并实现等）。未提及训练检查点或代码库。
• 论文中引用的开源项目：
  • Qwen2.5-Omni: 论文中作为基线模型使用，未提供代码或权重仓库链接。
  • Video-SALMONN2+: 论文中作为基线模型使用，未提供代码或权重仓库链接。
  • OmniZip: 论文中作为对比方法，未提供代码或仓库链接。
  • FastV: 论文中作为对比方法，未提供代码或仓库链接。

🏗️ 方法概述和架构

整体流程概述：ContextGuard是一个在LLM解码器之前运行的、多阶段的音视频token剪枝框架。其输入为交替的音视频token序列，输出为压缩后的视觉token序列和完整的音频token序列。该框架并非端到端系统，而是由一个独立训练的轻量级A2V预测器和一个基于启发式规则的剪枝-合并流水线组成。

主要组件/模块详解：

1. 音频到视觉语义预测器（A2V Predictor）：
   • 功能：从给定的音频块特征中，预测一组能代表该音频所蕴含的粗糙视觉语义的嵌入向量。其作用是为后续的语义冗余评分提供一个“音频视角下的视觉语义”基准。
   • 内部结构/实现：这是一个轻量级模块，由两个交叉注意力层和128个可学习的查询（Query）构成。它以音频token特征为键（Key）和值（Value），可学习查询为查询（Query），通过交叉注意力机制输出预测的视觉语义嵌入。训练目标是让预测的全局语义（查询输出的均值池化）与真实视频chunk的全局语义（视觉token的均值池化）在余弦相似度上对齐，并使用对比学习损失（以同批次内其他视频的视觉语义为负样本，但排除同视频的其他chunk）增强区分性。总损失为 ℒ_sem = λ_cosℒ_cos + ℒ_ctr，其中 ℒ_cos 为余弦对齐损失，ℒ_ctr 为对比学习损失（温度τ=0.07），λ_cos=5.0。
   • 输入输出：输入为单个音频块的特征序列 h^a ∈ ℝ^T×L×d；输出为预测的视觉语义嵌入 ĥ^v ∈ ℝ^Q×d，经均值池化后得到块级表示 ĥ̄^v ∈ ℝ^d。
2. 音频引导的语义剪枝：
   • 功能：计算每个视觉token与A2V预测语义的相似度，以评估其“音频可解释性”，并保留相似度低的token。
   • 内部结构/实现：对每个视觉token h^v_t,j，计算其与预测语义 ĥ̄^v_t 的余弦相似度 u_t,j = sim(h^v_t,j, ĥ̄^v_t)。相似度越高，表示该视觉信息越可能被音频表达，即越冗余。因此，保留相似度最低的ρ_sem比例的token（例如，50%）。
   • 输入输出：输入为视觉token特征 h^v 和预测语义 ĥ̄^v；输出为被选中的视觉token索引集合 𝒫_sem^(t)。
3. 空间细节保留：
   • 功能：在语义剪枝的基础上，补充保留一部分具有广泛空间覆盖性的token，以保存音频无法指定的局部视觉细节（如颜色、纹理、姿态）。
   • 内部结构/实现：首先将视觉token在时间维度上平均，得到单帧的空间特征图（H×W）。然后，采用网格采样策略：根据目标空间保留比例ρ_spa计算目标数量N_spa=⌊ρ_spaHW⌋，设置网格大小g=⌊√N_spa⌋，并使用步长Δ_H=⌊H/g⌋，Δ_W=⌊W/g⌋将特征图划分为近似网格。在每个网格单元内，选择具有最高局部空间变化（与相邻token的L2范数差之和）的token，从而确保空间上的分散覆盖。这些空间索引会扩展到chunk的所有帧。
   • 输入输出：输入为视觉token特征 h^v；输出为被选中的空间索引集合 𝒫_spa^(t)。
4. Token选择与时间合并：
   • 功能：合并前两个步骤的选中集合，并对时间上冗余的chunk进行合并。
   • 内部结构/实现：首先通过集合并集运算 𝒫_sel^(t) = 𝒫_sem^(t) ∪ 𝒫_spa^(t) 得到每个chunk的最终保留索引。然后进行时间压缩：a) 计算相邻chunk在视频和音频上的相似度，使用深度分数（depth score）在相似度曲线中检测“谷底”作为时间分段的边界。深度分数 d^m_t = max_i<ts^m_i + max_i>ts^m_i - 2s^m_t，其中m∈{v,a}。边界检测阈值为0.5。b) 在每个时间分段内，对所有chunk的语义评分向量u_t进行平均，得到段级表示ū^(k)，并复用该段第一个chunk的空间索引𝒫_spa^(t_k)。使用ū^(k)统一进行语义剪枝，并与复用的空间索引合并，形成段内统一的保留索引 𝒫_sel^(k)。c) 在段内，对视觉相似度超过阈值 τ_merge（如0.98）的相邻chunk进行贪心合并（对其保留token的嵌入进行平均）。
   • 输入输出：输入为各chunk的保留索引集合；输出为最终压缩后的视频token序列 Z。

组件间的数据流与交互：数据流是单向的、顺序的。对于每个音视频块：原始音频特征 → A2V预测器 → 预测语义。同时，原始视频特征分别输入给语义剪枝模块（与预测语义交互）和空间保留模块。两个模块的输出（索引集合）合并后，送入时间合并模块。时间合并模块利用所有块的视觉和音频特征计算时间相似性与深度分数，对整个序列进行分段，并在段内应用统一的剪枝策略和相似chunk合并，最终输出压缩后的视觉token。

关键设计选择及动机：

• 从“选择”到“移除冗余”的范式转变：动机在于现有方法（如为当前查询选择token）可能丢失对不同查询或宽泛上下文有用的证据。通过保留“音频无法说明”的信息，旨在获得更鲁棒的上下文表示，这由公式(1)和(2)的信息论视角提供指导。
• 使用音频引导剪枝视频而非反向：因为视频token数量远多于音频token（结构不对称），剪枝视频能带来最大的压缩收益。
• 结合语义剪枝和空间保留：语义剪枝专注于去除音频可解释的内容（遵循补足性视角），但可能丢失局部细节；空间保留作为补充约束（遵循充分性视角），确保关键视觉区域不被完全忽略。两者是互补关系。论文分析显示，两个分支选择的token集合重叠度较低（IoU为12.6%）。
• 无需微调下游LLM：保持框架的通用性和易用性，仅通过一个独立的、轻量的预测器实现。
• 基于深度分数的时间合并：利用深度分数检测语义变化点来分段，比固定分段更能适应内容变化，从而在段内进行稳定的合并。

架构图/流程图： （图2：ContextGuard概览） 此图清晰展示了方法流程。输入为交错的音视频块序列（V⁽¹⁾, A⁽¹⁾, V⁽²⁾, A⁽²⁾, …）。对于每个块，A2V预测器从音频A⁽ᵗ⁾预测视觉语义。然后，基于该预测进行两部分选择：①语义剪枝，保留与预测语义相似度低的token（图中粉色高亮区域，如文字“Saturday”）；②空间保留，以网格形式分散保留token（图中蓝色点状标记）。两部分选择的结果合并（𝒫_sel），形成一个稀疏的视觉token子集。之后，根据视觉相似性对这些保留的chunk进行分组和合并（图中“Depth Score-based Temporal Merging”模块），最终得到压缩后的视觉token序列与完整的音频序列一起送入LLM。

💡 核心创新点

1. 重新定义Omni-LLM Token压缩目标：从传统的“为任务选择重要token”转变为“移除音频可解释的跨模态冗余，同时保留音频无法表达的视觉上下文”。这是一��概念上的创新，提供了新的设计视角。
2. 提出ContextGuard推理时剪枝框架：该框架通过音频引导的语义剪枝、空间细节保留和基于深度分数的时间合并三个互补模块，实例化了上述原则。它是一个无需微调LLM、仅依赖一个独立轻量预测器的即插即用解决方案。
3. 将空间覆盖约束作为语义冗余移除的补充：认识到单纯基于语义相似度的剪枝可能丢失关键的局部视觉属性，创新性地引入了基于网格采样和局部变化度量的空间保留分支，作为对音频-语义冗余移除的补偿，增强了上下文的完整性。

📊 实验结果

主要基准测试与性能：论文在Qwen2.5-Omni（7B/3B）和Video-SALMONN2+（7B/3B）两个模型，以及六个音视频基准测试（WorldSense, Daily-Omni, Video-MME, OmniVideoBench, AVQA, video-SALMONN2 test set）上进行了评估。主要指标为准确率（越高越好）和captioning错误率（越低越好）。压缩率（Comp.）也是关键指标。

与SOTA基线对比：与最强的推理时剪枝基线OmniZip相比，ContextGuard在所有24个设置中的21个上取得更优或相当的性能，同时实现了更高的压缩率。具体关键数据见上文“核心摘要”中的表1。在Qwen2.5-Omni 7B上，以55%的压缩率（OmniZip为54%）实现了全token性能的100%归一化平均分（OmniZip为97.3%）。

关键消融实验：

• 组件消融（表3）：在Qwen2.5-Omni 7B上，单独的语义剪枝（46%压缩）已很强；加入空间细节保留（40%压缩）提升了Daily.上的性能；加入深度合并后达到52%压缩且性能保持最佳。在Video-SALMONN2+ 7B上，三个组件的累积效果同样支持此结论。证明了三个组件的累积贡献。
• 语义选择策略消融（表4）：对比随机、保留高相似度（High）和保留低相似度（Low）token。保留低相似度token（即本文方法）在两个模型和任务上均显著优于随机和高相似度选择，并且输出分布与全token的KL散度更小，证实了核心假设。
• 时间压缩策略消融（表5）：对比固定分段、深度剪枝（只保留段内第一个chunk）和本文的深度合并。深度合并策略在压缩率和性能上达到最佳平衡。

不同设置下的结果：

• 在线友好变体（表7）：仅依赖局部chunk相似度的在线变体，在约50%压缩率下，性能接近离线主方法（例如，在World.上，离线：47.7， 在线：47.1），表明了该原则的潜在泛化能力。
• 效率分析（表6）：在Qwen2.5-Omni 7B上，ContextGuard（54%压缩）将内存从27.1GB降至24.6GB，延迟从6.7s降至4.5s，且准确率（60.8%）与全token一致，优于OmniZip（59.4%）。在Video-SALMONN2+ 7B上，类似优势。
• A2V预测器分析（表2）：A2V预测器相比原始音频嵌入（orig），在VGGSound音频-视频检索任务上显著提升了R@1/5并降低了MedR。在下游任务中，使用orig进行剪枝的性能低于使用A2V预测器，证明了预测器的有效性。
• Daily-Omni类别分解（表12）：在Daily-Omni基准上，ContextGuard在需要广泛上下文理解的推理、推断、上下文理解和比较类问题上相比OmniZip有显著提升，而在AV事件对齐类上略逊，这与其设计原则一致。

图表分析： （图1：Qwen2.5-Omni 7B上的主结果） 此图直观展示了ContextGuard在压缩率与平均性能（Avg.）上显著优于FastV和OmniZip，达到了更优的性能-效率权衡。 （图3：主定性结果） 此例展示了ContextGuard的优势。问题需要理解叙述中提到“incredibly intuitive and…”的片段，并识别旁边的视觉对象。FastV和OmniZip丢失了非音频强对齐的视觉证据（如旁边的书堆）或关键语音片段，而ContextGuard两者都保留，从而得出正确答案。 （图7：超参数分析） 图表显示了ρ_sem， ρ_spa， τ_merge对性能的影响。选择ρ_sem=0.5， ρ_spa=0.1， τ_merge=0.98是在压缩与性能间的合理折衷，且该设置在所有实验中保持固定，展示了方法的鲁棒性。

🔬 细节详述

• 训练数据：A2V预测器在AudioSet和VGGSound训练集的混合数据上训练。具体规模未说明。
• 损失函数：A2V预测器使用联合损失 ℒ_sem = λ_cosℒ_cos + ℒ_ctr，其中ℒ_cos为余弦对齐损失，ℒ_ctr为对比学习损失（温度τ=0.07），λ_cos=5.0。
• 训练策略：预测器使用batch size为8，梯度累积2步，在4块GPU上训练，通常在10k-15k步内收敛。
• 关键超参数：主要超参数为ρ_sem=0.5， ρ_spa=0.1， τ_merge=0.98，在所有实验中固定。A2V预测器使用128个可学习查询和2层交叉注意力。
• 训练硬件：论文未明确提及训练预测器使用的GPU型号。推理实验在NVIDIA A6000 48GB GPU上进行。
• 推理细节：剪枝发生在LLM解码之前。时间合并使用固定阈值τ_merge=0.98进行贪心合并。深度分数的边界检测使用固定阈值0.5。
• 正则化/稳定训练技巧：对比学习损失中，排除同视频的不同chunk作为负样本，避免误判。
• 评估限制：对于WorldSense, Video-MME和OmniVideoBench，仅评估源视频短于1分钟的样本，因为全token评估完整基准超出GPU内存限制。

⚖️ 评分理由

创新性：2.5/3 论文提出了一个清晰且有洞察力的新范式：将全模态token剪枝从“选择重要信息”重构为“移除音频冗余，保留上下文”。这超越了简单的增量改进。ContextGuard框架通过结合语义冗余移除、空间保底和时间合并，有效地实例化了这一思想。与SOTA OmniZip在原理上有显著区别，且实验上展现出明显优势，创新性成立。

技术严谨性：1.5/2 方法有信息论公式（Eq.1, Eq.2）作为动机指引，尽管未直接优化，但逻辑清晰。A2V预测器的训练目标（全局语义对齐）合理，且消融实验验证了其优于原始音频嵌入。主要方法模块（语义剪枝、空间保留、时间合并）的设计均有其技术合理性。潜在问题在于：1) 空间保留的网格划分和“局部空间变化”度量可能较为粗糙，缺乏更理论化的依据；2) 时间合并的阈值τ_merge等固定，其敏感性和普适性未充分讨论。但整体算法流程无逻辑漏洞。

实验充分性：1.5/2 实验非常充分。覆盖了两个主流Omni-LLM架构（Qwen和SALMONN）及其3B/7B变体，六个多样的音视频基准测试。与包括OmniZip在内的多个基线进行了公平比较。消融实验完整（组件、选择策略、时间压缩、超参数、在线变体、预测器分析），定量与定性结果丰富。局限是仅评估了短于1分钟的视频片段（因GPU内存限制），这在一定程度上限制了结论对长视频场景的适用性。结果显著支撑其核心结论。

清晰度：1/1 论文写作极为清晰。结构（摘要-引言-方法-实验-附录）标准，逻辑连贯。图表（如图2概览、图3定性、图7超参分析）信息量大且直观。公式定义清晰，符号使用一致。附录提供了详尽的实现细节、消融和额外分析。读者无需代码即可充分理解方法。

影响力：0.5/1 该工作直接针对全模态大模型部署的痛点——推理效率，提出的“保留音频无法表达之上下文”的剪枝原则具有启发性。其推理时、无需微调LLM的框架设计增加了实用价值。成功应用于两个不同的开源模型，证明了方法的泛化潜力。后续工作可从更自适应的保留策略、结合音频侧剪枝、或与模型量化/蒸馏结合等方向推进。

可复现性：0/1 论文提供了A2V预测器的详细架构、训练数据、损失函数、超参数以及推理时的所有主要超参数设置。消融实验的设置也描述清楚。然而，论文中未提及代码开源计划，也未提供模型权重。对于预测器训练，硬件（GPU型号）和确切的训练步数未给出。尽管细节较多，但缺乏开源代码和权重，完全复现仍存在重大障碍，可复现性得分应为0。

总分：7.0/10

🚨 局限与问题

1. 论文明确承认的局限：作者在结论和D.2节指出，方法添加了A2V预测器和时间合并，会引入一定的预填充开销（尽管被token减少所抵消）。固定的精细粒度空间保留预算（ρ_spa）可能无法在所有情况下捕获微妙的局部证据，如球员球衣号码或面部表情。论文的失败案例（图11，图12）也直接证实了这一点。
2. 审稿人发现的潜在问题：
   • 对短视频的依赖性：所有评估均基于1分钟以内的短视频。对于真正的长视频（如几分钟到几十分钟），其时间合并策略和整体压缩效率是否依然有效且高效，尚未可知。
   • 空间保留策略的脆弱性：如失败案例所示，固定比例的全局空间采样可能遗漏关键但微小的视觉信息。一个能根据内容复杂度或问题需求动态调整ρ_spa的机制会是重要的改进方向。
   • 对A2V预测器性能的依赖：整个框架的有效性高度依赖于预测器能否准确估计“音频可解释的视觉语义”。如果预测器在某些领域（如音乐视频、音画不同步的内容）失效，剪枝策略可能错误地移除关键视觉信息。论文虽然分析了预测器在VGGSound上的检索性能，但未讨论其在不同音视频内容类型上的鲁棒性。
   • 音频保留的假设：方法基于“视频token是冗余的主要来源”这一假设，因此只剪枝视频。这在多数情况下合理，但在某些音频冗余度极高或视频信息极度稀疏的场景下（例如，静态画面配长篇叙述），可能不是最优策略。
   • 缺乏显著性检验：主实验结果（表1）未提供标准差或误差范围，难以判断在性能接近的设置（如某些87.x%的AVQA分数）中，改进是否统计显著。
   • 基线选择的公平性：论文未包含EchoingPixels和OmniSIFT作为对比，理由是它们未公开实现或权重。虽然可以理解，但这使得与最前沿训练类方法的直接比较缺失。

← 返回 2026-05-14 论文速递