📄 Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs

#模型评估 #音频问答 #跨模态 #基准测试 #多模态模型

🔥 8.0/10 | 前50% | #模型评估 | #基准测试 | #音频问答 #跨模态 | arxiv

学术质量 6.5/8 | 影响力 1.3/2 | 可复现性 0.9/1 | 置信度 高

👥 作者与机构

• 第一作者：Nguyen Quang Trung（南洋理工大学，LMMs-Lab）
• 通讯作者：未说明
• 作者列表：Nguyen Quang Trung（南洋理工大学，LMMs-Lab），Yiming Gao（南洋理工大学，LMMs-Lab），Fanyi Pu（南洋理工大学，LMMs-Lab），Kaichen Zhang（南洋理工大学，LMMs-Lab），Shuo Sun（约翰霍普金斯大学），Ziwei Liu（南洋理工大学，LMMs-Lab）

💡 毒舌点评

这篇论文精准地定义并量化了全模态LLM中一个核心但被忽视的“感知-行动鸿沟”问题，其IMAVB基准测试的2×2设计堪称教科书式的诊断工具；然而，作为“干预”的PGLA本质上是一个依赖于同一数据集训练探针的诊断性调整，其在真实、开放世界场景中的泛化能力和实际部署价值被高估了，诊断本身很彻底，但治疗方案可能只是止痛药。

📌 核心摘要

1. 要解决什么问题：当全模态大语言模型（LLM）遇到与其自身感官输入（视觉、音频）相矛盾的文本前提时，其失败究竟是源于感知层面（未能检测到矛盾）还是行动层面（检测到了但未能在输出中拒绝）？现有的协同性基准测试无法揭示这种失败模式。
2. 方法核心是什么：论文提出了IMAVB（一个500个电影片段的2×2设计基准测试），通过保持视频和音频不变，仅交换问题文本中的一个前提细节来创建“标准”和“误导性”问题。结合线性探针（分析隐藏状态）和引导对数调整（PGLA，一种推理时干预方法），来诊断模型内部表示与外部行为之间的脱节。
3. 与已有方法相比新在哪里：与现有的跨模态基准测试（如AVHBench）相比，IMAVB使用隐含的虚假前提（而非明确验证提示）、长视频（1-5分钟），并保留所有模态同时竞争注意力。这是首次系统性地将“内部-外部脱节”现象从纯文本LLM扩展到跨模态感知领域，并量化了其模态不对称性（音频接地弱于视觉）。
4. 主要实验结果如何：在8个开源全模态LLM和Gemini 3.1 Pro上，论文发现了显著的“表示-行动鸿沟”：线性探针可以从隐藏状态中以高达86%的准确率解码出误导性前提，但模型的实际拒绝率极低（多数开源模型在音频误导性检测上为0%）。PGLA通过将内部信号反馈至输出，在所有8个开源模型上平均提升了15.0个百分点的平衡准确率。

   模型	基线平衡准确率 (%)	PGLA后平衡准确率 (%)	提升 (pp)
   Uni-MoE-2.0-Omni	38.2	57.0	+18.8
   MiniCPM-o 2.6	31.6	49.2	+17.6
   OLA	37.4	54.9	+17.5
   Video-SALMONN-2	38.2	55.1	+16.9
   Qwen2.5-Omni	37.5	53.4	+15.9
   OmniVinci	38.4	53.0	+14.6
   Qwen3-Omni	45.9	57.7	+11.8
   Baichuan-Omni-1.5	36.8	43.5	+6.7
   平均	38.0	53.0	+15.0

5. 实际意义是什么：研究结果表明，提升全模态LLM的感知接地能力，瓶颈可能不在于更大的编码器或更丰富的表示，而在于训练目标未能将内部检测到的矛盾信号与最终输出对齐。这为未来针对“诚实”或“接地”的训练改进指明了方向。
6. 主要局限性是什么：基准测试局限于电影领域，可能无法推广到所有视频类型；误导性前提是单次细节交换；PGLA的干预是基于同一基准测试数据训练的，其跨域泛化能力未经验证；对商用模型（Gemini）的分析仅限于行为层面，缺乏表示分析。

🔗 开源详情

• 代码：论文中未提供明确的代码仓库链接。论文中提及“all code will be publicly released”以及“code is included in the supplementary material”，但未给出具体的GitHub等仓库地址。
• 模型权重：论文中未提及提供预训练或微调的模型权重链接。
• 数据集：IMAVB数据集。论文中提及一个匿名访问链接：https://huggingface.co/datasets/anonymousneurips/IMAVB。论文还承诺在接收后将与lmms-eval集成并公开发布。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文中提供了详细的实验设置、评估协议和实现细节，主要包含在附录中（如Appendix J, L, G）。评估使用了开源框架lmms-eval（链接：https://github.com/EvolvingLMMs-Org/lmms-eval）。所有实验使用温度0、top-p和top-k为1的设置，并报告95%的bootstrap置信区间。开放源代码模型的评估在8块NVIDIA H100 80GB GPU上进行。
• 论文中引用的开源项目：
  • lmms-eval：开源多模态评估框架。论文中引用为lmms-eval，链接：https://github.com/EvolvingLMMs-Org/lmms-eval。
  • 评估的开源全模态LLM（论文中未提供其官方权重或代码链接，仅列出名称）：OLA, OmniVinci, Qwen2.5-Omni, MiniCPM-o 2.6, Uni-MoE-2.0-Omni, Baichuan-Omni-1.5, Video-SALMONN-2, Qwen3-Omni。
  • 商业模型：Gemini 3.1 Pro（通过API评估，未开源）。
  • 数据生成与标注中使用的模型：Qwen3.5-27B, Qwen3-Omni-30B-A3B-Captioner, Qwen3-Omni-30B-A3B-Thinking, GPT-4o（论文中未提供这些模型的具体链接）。
  • 其他方法（论文中提及但未提供实现链接）：Inference-Time Intervention (ITI), Representation Engineering (RepE), Visual Contrastive Decoding (VCD), Instruction Contrastive Decoding (ICD), AVCD, Fork-Merge Decoding, OPERA, Self-Introspective Decoding, DoLa。

🏗️ 方法概述和架构

本文的核心方法框架是一个用于诊断和量化全模态LLM中“表示-行动鸿沟”的系统流程，包含基准测试构建、多维度分析与诊断干预三个主要阶段。

1. 整体流程概述 整个流程始于IMAVB基准测试的构建（输入），该测试生成具有挑战性的多选题，用以评估模型对视听输入与文本前提矛盾情况的检测能力。模型（如OLA， Qwen2.5-Omni等）接收视频和音频作为输入，并回答这些问题。随后，论文通过行为评估（输出准确率）和表示分析（分析模型内部隐藏状态）来揭示鸿沟。最后，提出PGLA诊断性干预，将分析得到的内部信号重新注入解码过程，以验证该信号的可操作性。

2. 主要组件/模块详解

• 组件一：IMAVB基准测试构建

  • 功能：创建一个能分离感知与行动失败的评估环境。基准测试设计需满足五个核心属性：所有模态保持完整、虚假前提隐含存在、模态定位具有手术级精度、刺激随时间延续、存在对称的标准对照。IMAVB是首个同时满足所有这些条件的全模态基准。
  • 内部结构/实现：
    • 数据源：精选500个电影片段（1-5分钟，总时长20.7小时），来源于三个YouTube频道。电影因其音视频内容经过精心设计且信息互补，是测试跨模态接地的理想领域。
    • 三轮标注流水线：
      1. 原始描述生成：将每个片段分割为10秒的段。对于每个段，分别使用GPT-4o（视觉）、Qwen3-Omni-30B-A3B-Captioner（音频）和Qwen3-Omni-30B-A3B-Thinking（全模态）生成三个独立的描述流。
      2. 细节增强：使用Qwen3.5-27B将三个描述流融合为一个统一的、增强后的段描述。遵循严格的信任层级解决冲突：全模态描述 > 视觉描述 > 音频描述。这确保了音频描述中可能存在的视觉推断错误不会传播到最终叙事中。
      3. 连续叙事统一：使用Qwen3.5-27B将所有段增强描述一次性合并为一个去重的、带时间戳的连续叙述文本，解决段间不一致。
    • 问题生成：从统一叙述中，使用Qwen3.5-27B为每个视频生成四个问题变体，形成2×2设计（模态×前提条件）。标准问题（Q_std_v, Q_std_a）的前提正确，答案为A-D中的一个。误导性问题（Q_mis_v, Q_mis_a）则精确交换前提中的一个细节（如颜色、声音类型），保持查询部分一字不差，此时正确答案变为选项E（“视觉细节不正确”）或F（“音频细节不正确”）。每个问题记录一个10秒的地面真值答案时间戳。
    • 人工质量验证：所有500个视频的2000个项目由作者使用定制标注工具手动验证，对问题清晰度、答案正确性、时间戳正确性和误导性前提有效性进行1-4分评级。质量指标很高（清晰度3.92/4，答案正确性3.91/4）。
  • 输入输出：输入是原始的电影片段。输出是每个片段对应的四个标准/误导性问答对，以及用于后续分析的时间戳等元数据。

• 组件二：多维度分析（行为+表示）

  • 功能：从外部表现和内部状态两个层面诊断模型失败。
  • 内部结构/实现：
    • 行为评估：在标准选项顺序和随机打乱选项顺序（K=3）下，计算模型在四个分割（标准视觉、标准音频、误导视觉、误导音频）上的准确率。使用lmms-eval框架，设置temperature=0，top-p=top-k=1。
    • 线性探针分析：在模型的每个Transformer层l的最后令牌位置提取隐藏状态h_l。训练一个逻辑回归探针（公式：P(y=mis| h_l) = σ(w_l^T h_l + b_l)），用于预测输入问题是标准还是误导性。探针通过4折分层组交叉验证（按视频分组）训练，并选择表现最好的层l*。为隔离多模态信号，进一步通过岭回归投影去除文本预测特征（使用Sentence-BERT嵌入）后得到残差化探针准确率。
    • Logit Lens分析：将各层的隐藏状态通过模型的最终归一化层（RMSNorm）和解码矩阵投影到词表空间（公式：z_l = W_unembed RMSNorm(h_l)），并计算正确答案token的概率P_l(correct)。这用于追踪内部信号如何向最终输出传播，并区分“翻译瓶颈”和“解码矩阵错位”两种失败模式。

• 组件三：引导对数调整（PGLA）

  • 功能：作为一个诊断性干预，测试内部信号是否足以改变模型输出行为。
  • 内部结构/实现：
    • 探针：对于每个模型，在预填充阶段从其最佳探针层l*提取隐藏状态。使用一个两层MLP（256个隐藏单元，ReLU）在25%的数据（500样本）上训练，以预测输入为误导性的概率P_mis。
    • 置信度门控调整：利用探针置信度g = P_mis^p（p控制锐度）和模型对数差距Δ（内容选项A-D的最大对数与拒绝选项E/F的最大对数之差）来调整输出对数。调整公式（公式5-6）为：L'_E = L_E + σ(γ(g-α))·(s·Δ+δ) - β/2，L'_F = L_F + σ(γ(g-α))·(s·Δ+δ) + β/2。其中σ是sigmoid函数，用于创建置信度门控；γ, α, s, δ是可调超参数；β是用于校正E/F选项位置偏置的项（从标准样本中估计）。该干预在一次前向传播中完成，无需输入扰动或双次推理。
    • 验证：通过5折交叉验证（在75%评估集上调参和测试）评估PGLA效果。

3. 组件间的数据流与交互 数据流是线性的：电影片段 → IMAVB构建（生成问题） → 模型推理（产生隐藏状态和输出对数） → 并行进行行为评估和表示分析（线性探针、logit lens）。分析结果（如探针层l*）反馈至PGLA模块，用于指导干预超参数的选择和验证。PGLA通过修改输出对数，最终影响模型的行为输出（平衡准确率）。

4. 关键设计选择及动机

• IMAVB设计：选择电影作为数据源是因为其音视频内容是精心设计且互补的。采用隐含的虚假前提（作为问题背景的一部分）而非明确的验证提示，是为了测试模型在“默认信任文本”假设下的自然反应，这更贴近真实部署中可能遇到的对抗性或误导性文本。
• 2×2设计：允许分离视觉和音频接地能力的评估，揭示模态不对称性。
• 分析与干预组合：线性探针证明“信号存在”，logit lens展示“信号传播路径”，PGLA作为“充分性测试”——如果信号存在且足以改变行为，那么直接注入应该能改善输出。这种组合提供了比单一方法更强的因果证据。

5. 多阶段展开 论文的方法主要分为两个阶段：诊断阶段（构建IMAVB、进行行为评估和表示分析）和干预验证阶段（应用PGLA）。在诊断阶段，又细分为基准测试构建（三轮流水线、人工验证）、行为评估（不同提示/选项顺序）、表示分析（线性探针、残差化、logit lens）等多个子步骤。

6. 架构图/流程图 论文中提供了IMAVB样本示意图和整体概念图。 图2：一个IMAVB样本的2×2设计示例。行代表目标模态（视觉和音频），列代表前提条件（标准或误导性）。同一行的视频和音频刺激是相同的。红色文字标注了误导性问题中被精确交换的细节（如“maroon”→“blue”）。这清晰地展示了基准测试如何通过控制变量来隔离感知任务。

图1：表示-行动鸿沟在IMAVB上的概念概览。图中左侧展示了模型内部隐藏状态（经过探针分析）能够可靠地区分标准和误导性输入（高探针准确率），而右侧展示了模型的外部行为输出却极少选择拒绝选项E/F（低行为拒绝率），形象化地定义了论文研究的核心现象。

7. 专业术语解释

• 全模态大语言模型：能够同时处理视觉、音频和文本输入的多模态LLM。
• 表示-行动鸿沟：指模型内部表示（隐藏状态）中编码的信息与模型最终输出行为之间存在的显著脱节。
• 线性探针：一种简单的线性分类器（如逻辑回归），用于测试在模型特定层的隐藏状态中，某种信息（如“输入是否误导性”）是否可以被线性解码。
• Logit Lens：一种分析技术，将模型中间层的隐藏状态投影回词表空间，以查看模型在生成过程中早期“想”说什么。
• 引导对数调整：一种推理时干预技术，利用从隐藏状态训练得到的探针信号，直接调整模型输出层的对数（logits），从而影响其最终预测。

💡 核心创新点

1. 提出IMAVB基准测试：设计了一个独特的2×2全模态评估框架，通过隐含虚假前提和长视频，系统性地量化模型在视听输入与文本前提矛盾时的失败，这是首个能同时满足保持模态完整、隐含前提、精准定位、长时间跨度和对称控制这五个属性的全模态基准。
   • 局限：之前的跨模态基准要么移除模态、假设合作前提、或使用显式验证提示。
   • 如何起作用：控制单一变量（一个前提细节），迫使模型在所有模态竞争下判断文本真实性。
   • 收益：首次揭示了全模态LLM中存在普遍且严重的接地失败，尤其是音频接地。
2. 实证发现并特征化“表示-行动鸿沟”：通过线性探针和logit lens分析，证明八个主流全模态LLM的隐藏状态线性可解码出前提-感知不匹配的信号，但该信号几乎不传播到输出分布。将此现象特征化为两种机制（翻译瓶颈和解码矩阵错位）和模态不对称性（视觉探测准确率高于音频），并证实其跨架构普遍存在（包括商用Gemini）。
   • 局限：之前对VLM的研究表明存在内部-外部脱节，但未扩展到包含音频的全模态设置，并量化其模态不对称性。
   • 如何起作用：揭示了当前全模态LLM的失败瓶颈可能在于“行动”（解码与对齐），而非“感知”（表示学习）。
   • 收益：为改进方向（如训练目标改革）提供了关键诊断依据，而非盲目扩大编码器。
3. 揭示并量化模态不对称性：系统性地展示了在所有被评估模型中，对音频误导性前提的检测能力（行为拒绝率和探针准确率）显著弱于视觉，定义了全模态接地的一个关键特征。
   • 局限：论文未深入探讨导致此不对称性的根本原因（如训练数据、架构差异）。
   • 如何起作用：通过在视觉和音频两个分支上平行设置标准/误导条件进行对比测量。
   • 收益：指明了音频理解是全模态LLM的一个薄弱环节，需要针对性改进。
4. 提出PGLA作为诊断性干预：设计了一种轻量的、基于探针的推理时对数调整方法。其在所有模型上一致提升平衡准确率的结果，提供了内部信号具有可操作性的因果证据，而不仅仅是相关性。
   • 局限：PGLA依赖于在IMAVB上训练探针，其在不同分布数据上的泛化性未经测试。
   • 如何起作用：利用训练好的探针输出概率，自适应地增强模型输出中拒绝选项的对数。
   • 收益：验证了鸿沟中“行动”侧的瓶颈性质——信号存在但未被正确利用，且可以通过外部调整部分修复。

📊 实验结果

1. 基线性能（表1）

关键结论：大多数开源模型在标准问题上表现尚可（std_v/std_a ~60-75%），但在误导性问题上拒绝率极低（mis_v ≤16.2%, mis_a ≤6.6%）。Qwen3-Omni和Gemini 3.1 Pro属于“过度拒绝”模式，以牺牲标准准确率为代价提高拒绝率，但其内部信号解释更忠实。选项打乱对误导性检测改善有限，证实失败是系统性的。

2. 跨模态干扰（表2）

关键结论：移除干扰模态（如从视听输入中移除音频）对提升误导性检测的效果因模型而异，无普遍规律。这表明跨模态干扰是导致失败的因素之一，但非唯一原因。

3. 表示-行动鸿沟（表3）

关键结论：所有模型的线性探针（HS Probe）都能以高准确率（>75%）从隐藏状态解码出误导性信号，远高于其行为拒绝率。残差化探针（去除文本特征）准确率仍显著高于文本基线（SBERT: 66.8%/57.3%），证明信号是真正多模态的。Logit Lens显示两种模式：OLA等模型在标准问题上P(correct)高，误导问题上骤降（翻译瓶颈）；MiniCPM等模型在所有情况下P(correct)都极低（解码矩阵错位）。

4. PGLA干预结果（表4）

关键结论：PGLA在所有8个开源模型上均实现平衡准确率提升（均值+15.0pp），其中7个模型通过牺牲标准准确率换取误导检测提升，只有Qwen3-Omni因同时提升两者而改善，表明干预能自适应不同失败模式。这证明内部信号是可操作的。

图5：按视频时长（短/中/长）分箱的准确率。标准问题准确率随视频时长增加而下降，但误导性检测准确率保持平坦。这表明误导性检测失败主要不是由长时依赖或记忆衰减引起的。

图6：按答案证据在视频中出现位置的比例（早/中/晚）分组的准确率。误导性检测准确率与证据位置无关，进一步排除了时间定位困难作为主要失败原因。

🔬 细节详述

• 训练数据：IMAVB基准测试本身不是训练数据，而是评估集。它由500个电影片段（总时长20.7小时）组成，来源为三个YouTube频道。QA生成和标注流水线使用了预训练的GPT-4o、Qwen3-Omni-30B-A3B、Qwen3.5-27B模型。模型本身（被评估的全模态LLM）的训练数据未在本论文中说明。
• 损失函数：论文是评估和分析工作，不涉及训练新的模型。线性探针使用逻辑回归（最大似然估计），PGLA中的MLP探针训练损失未明确说明（通常为交叉熵）。
• 训练策略：
  • 线性探针：使用4折分层组交叉验证（按视频分组），逻辑回归优化器为lbfgs，最大迭代1000次。
  • 残差化探针：嵌套4折分层组CV。在每折内，先用岭回归（α=1.0）拟合隐藏状态到文本嵌入的映射，再通过SVD投影去除文本预测子空间，最后在残差上训练逻辑回归。
  • PGLA探针：使用一个两层MLP（输入→256隐藏单元→ReLU→输出），在固定25%训练集（500样本）上训练，使用Adam优化器（学习率0.001），训练100个epoch，数据用StandardScaler标准化。
  • PGLA干预：在5折交叉验证中，通过网格搜索（162种配置）在四个训练折上寻找最大化平衡准确率的超参数组合（γ, p, α, s, δ），然后在第五个验证折上评估。
• 关键超参数：
  • 被评估模型：8个开源全模态LLM（OLA, OmniVinci, Qwen2.5-Omni, MiniCPM-o 2.6, Uni-MoE-2.0-Omni, Baichuan-Omni-1.5, Video-SALMONN-2, Qwen3-Omni）和1个商用模型（Gemini 3.1 Pro）。
  • PGLA超参数网格：γ ∈ {0.5,1.0,2.0}, p ∈ {1.0,2.0}, α ∈ {0.3,0.5,1.0}, s ∈ {0.75,1.0,1.5}, δ ∈ {5,8,12}。
• 训练硬件：所有开源模型的实验在8块NVIDIA H100 80GB GPU上运行。训练/评估总时长未提及。
• 推理细节：所有行为评估和隐藏状态提取均使用温度=0，top-p=top-k=1（贪心解码）。随机打乱评估使用MD5种子保证可复现性，每个样本进行K=3次独立打乱。
• 正则化或稳定训练技巧：未提及。

⚖️ 评分理由

创新性：2.5/3 论文提出了一个非常新颖且重要的问题——全模态LLM中感知与行动的脱节，并为此设计了首个针对性的基准测试IMAVB（隐含虚假前提、长视频、模态隔离）。与已有工作（如AVHBench的显式验证、或纯文本VLM的内部-外部脱节研究）相比，IMAVB的设计是本质上的突破。发现“表示-行动鸿沟”和“模态不对称性”是深刻的洞察，指出了模型改进的新方向。PGLA作为诊断工具也具有方法创新。扣分点在于：1）PGLA是基于同一数据集的诊断性调整，创新幅度有限；2）对模态不对称性的根本原因探索不足。

技术严谨性：1.8/2 论文方法设计全面且严谨。IMAVB构建的多轮流水线和人工验证保证了基准质量。表示分析组合（线性探针 + 残差化控制文本混淆 + logit lens）提供了互补且坚实的证据链。PGLA的干预设计考虑了置信度门控、偏置校正和gap自适应，并通过交叉验证控制过拟合。不足在于：1）PGLA的探针训练集与评估集来自同一分布，其泛化性未验证，这削弱了“诊断”工具的外部有效性；2）对Baichuan-Omni-1.5在层2就达到近乎完美的探针准确率但行为失败的现象，技术解释不够深入（可能是原始模态编码器输出直接暴露）。

实验充分性：1.4/2 实验覆盖了9个模型、多种提示变体（7种）、选项顺序控制、时间衰减分析、跨模态干扰消融，较为充分。然而，关键缺陷在于：1）PGLA的验证完全基于IMAVB自身，缺乏在其他对抗性或开放世界场景下的泛化测试，这是作为“诊断”方法的重大局限；2）对Qwen3-Omni的“家族重叠”问题（生成QA用的也是Qwen家族模型）虽被提及但未做控制实验（如使用不同家族的模型生成QA再评估Qwen3-Omni）；3）商用模型Gemini 3.1 Pro只做了行为评估，未进行任何表示分析，使得跨架构的鸿沟比较不完整。

清晰度：0.9/1 论文写作清晰，结构合理。摘要、引言和结论准确地传达了核心思想。方法部分（包括基准构建、实验设置、表示分析）描述详细，附录提供了大量支撑细节。图表直观有效。主要扣分点在于部分复杂分析（如残差化探针的SVD投影、PGLA的置信度门控公式）需要读者具备一定背景知识才能完全理解。

影响力：0.7/1 论文的潜在影响力较高，可能引发对多模态LLM“模态懒惰”或“过度文本信任”问题的更广泛研究。IMAVB基准测试有望成为评估模型鲁棒性和接地能力的标准工具。扣分点在于：1）PGLA作为解决方案尚不成熟，其效用被其自身实验设计所限制（牺牲标准准确率）；2）具体应用场景（如需要严格视听接地的安全关键系统）可能较窄，且解决方案（PGLA）尚处于诊断阶段。

可复现性：0.9/1 论文在可复现性方面做得很好。承诺开源所有代码、基准数据集和评测工具（匿名数据集链接已提供）。附录详细说明了评估框架（lmms-eval）、输入配置、隐藏状态提取方法、所有超参数（包括PGLA的网格搜索范围）、计算资源（8xH100）。提供了所有评估提示模板。唯一的小缺憾是：最终的开源仓库尚未发布（论文接受后），目前只能通过匿名链接访问数据集。

🚨 局限与问题

1. 论文明确承认的局限：

• 基准测试IMAVB使用电影片段，可能无法推广到所有视频领域（如监控、讲座、用户生成内容）。
• 误导性前提是单次细节交换，更复杂的多步对抗性构造可能有不同表现。
• 自动化QA流水线引入了文本分布线索，文本分类器能达到一定准确率，尽管残差化探针证明了多模态信号的存在。
• 存在生成-评估家族重叠问题：生成QA的模型（Qwen3-Omni-30B, Qwen3.5-27B）与部分被评估模型（Qwen2.5-Omni, Qwen3-Omni）同属一家族，Qwen3-Omni的异常高拒绝率可能与此有关（尽管LLM-as-Judge分析提供了部分反证）。
• 代表分析（探针、PGLA）受限于开源模型，无法对商用模型（Gemini）进行。
• PGLA是在同一基准测试上训练和验证的，未测试其跨域迁移能力。
• PGLA是一种诊断工具，在大多数模型上以牺牲标准准确率为代价提升拒绝率，并非部署就绪的解决方案。

2. 审稿人发现的潜在问题：

• 对模态不对称性根源的解释不足：论文发现音频接地普遍弱于视觉，但对此的解释停留在“观察现象”层面。缺乏对不同模型架构（如端到端 vs. 连接器式）、训练数据（视听内容比例）或预训练目标如何导致此不对称的深入分析��
• “翻译瓶颈”机制模糊：论文将失败主要归因于“行动”侧（从内部信号到输出），但具体是什么机制导致了这种失败？是RLHF/对齐训练抑制了模型输出“拒绝”？是解码过程中上下文注意力的衰减？论文未提供更机械的解释。
• PGLA的实际效用存疑：虽然PGLA提升了平衡准确率，但其提升模式（多数模型牺牲标准准确率）意味着它更像是一个“强制拒绝”的开关，而非真正的“增强接地”。它在真实场景中的效用（如面对非对抗性但含糊的前提）需要谨慎评估。更重要的是，它的验证完全依赖于IMAVB，无法证明其在开放世界的有效性。
• LLM-as-Judge的可靠性：附录F使用Qwen3.5-27B作为法官评估解释忠实度，但该法官本身可能存在的偏见（如对自家模型Qwen3-Omni更宽容）未被讨论。
• 部分消融实验的结论强度：例如，跨模态干扰实验（表2）中，效应值在部分模型上很小（如OmniVinci），但论文仍将其归为一类讨论，可能模糊了主要矛盾。
• 结论的普适性存疑：论文基于电影片段得出的结论，是否适用于所有多模态交互场景？例如，监控视频、会议记录、体育赛事等场景下的感知-行动关系可能不同。

← 返回 2026-05-14 论文速递