📄 Zero-Shot Rankability: Revealing Latent Ordinal Structure in Multimodal Large Language Models via Language

#音视频理解 #提示学习 #多模态模型 #大语言模型

6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5

✅ 6.8/10 | 前50% | #音视频理解 | #提示学习 | #多模态模型 #大语言模型 | arxiv

👥 作者与机构

• 第一作者：Nam Hyeon-Woo（POSTECH，电气工程系）
• 通讯作者：Tae-Hyun Oh（KAIST，计算机学院）
• 作者列表：Nam Hyeon-Woo（POSTECH，电气工程系）、Moon Ye-Bin（POSTECH，电气工程系）、Sohwi Lim（KAIST，计算机工程学院）、Kwon Byung-Ki（POSTECH，人工智能研究生院）、Tae-Hyun Oh（KAIST，计算机学院）

💡 毒舌点评

亮点在于将“排序性”概念系统性地扩展到多模态大模型（MLLM）空间，并通过条件嵌入与模态间隙两个可验证的机制清晰解释了VLM与MLLM之间显著的零样本性能差距。短板亦很刺眼：所有核心属性（年龄、人群计数）均为视觉任务，音频部分仅作为“泛化验证”匆匆带过，对语音/音频领域的直接贡献极为薄弱，One-sentence 的“zero-shot rankability”对于泛化性缺乏深入讨论；此外，所有结果基于固定prompt搜索且未给出统计显著性检验，结论的泛化稳健性存疑。方法本质上是对已知技巧（反义词差向量、logit lens）的包装，洞见深度有限。

📌 核心摘要

1. 要解决什么问题：揭示多模态大语言模型（MLLM）的嵌入空间是否天然存在可被语言直接访问的潜在有序结构（零样本排序性），并解释其为何优于传统视觉-语言模型（VLM）。
2. 方法核心：提出“提示探测”（prompt probing），利用一组反义锚文本构建文本驱动的排序轴，并与属性特定的条件图像嵌入投影，完全无需标注图像即可恢复排序。
3. 与已有方法相比新在哪里：将“排序性”从线性探测的监督定义拓展为“零样本排序性”这一独立的嵌入属性；首次发现MLLM嵌入的文本驱动排序轴可恢复约90%监督上限，远高于VLM的61%，并揭示了条件嵌入与模态间隙是两个关键机制。
4. 主要实验结果：在8个视觉数据集（年龄、人群、美学、年代）上，MLLM平均零样本SRCC达0.728（线性探测上限0.813），VLM仅0.497（上限0.820）。消除条件提示后性能骤降（如Qwen 2.5 VL 7B从0.734降至0.544），对VLM应用缩小模态间隙的因果实验，大幅恢复了其零样本性能的亏损。音频年龄识别上，文本驱动轴恢复87%监督上限。
5. 实际意义：提供了一种无需标注即可探查MLLM内在排序知识的轻量方法，可作为理解嵌入几何的实用工具，并指导多模态对齐设计。
6. 主要局限性：极度依赖语言能明确表达属性两端（反义词），对抽象或非语言描述属性失效，在Recency属性上的低验证了这一点；音频部分仅作为边缘案例，缺乏深度；未排除数据污染及prompt搜索带来的过拟合风险。

🔗 开源详情

• 代码：https://github.com/kaist-ami/prompt-probing （论文摘要及正文中声明“Code and prompts are available at $ kaist-ami/prompt-probing”，经补充为完整GitHub链接）
• 模型权重：论文未发布自研模型权重。实验使用公开预训练模型，包括：
  • Qwen系列 (Qwen 2.5-VL 7B, Qwen 3-VL 2B/4B/8B, Qwen 2.5 Omni 7B), InternVL 3.5 8B, IDEFICS1/2。可通过Hugging Face获取 (如 https://huggingface.co/Qwen)。
  • CLIP系列 (RN50, ViT-B/32, ConvNeXt)。可通过OpenCLIP (https://github.com/mlfoundations/open_clip) 或Hugging Face获取。
  • 视觉模型 (ResNet-50, ViT-B/32, ConvNeXt, DINOv2-B/14)。可通过Timm库 (https://github.com/huggingface/pytorch-image-models) 获取。
• 数据集：论文使用多个公开基准数据集（UTKFace, Adience, UCF-QNRF, ShanghaiTech A/B, AVA, KonIQ-10k, HCI, Common Voice, ColoredMNIST, COCO），均来自公开来源，论文未提供直接下载链接。
• Demo：论文中未提及提供在线Demo。
• 复现材料：论文附录A提供了线性探测的超参数搜索范围。声明的代码仓库包含了提示词列表及实验配置，是主要的复现材料来源。
• 论文中引用的开源项目：
  • Timm 库：https://github.com/huggingface/pytorch-image-models
  • OpenCLIP：https://github.com/mlfoundations/open_clip
  • Hugging Face Transformers：https://github.com/huggingface/transformers
  • Logit Lens 方法（仅方法引用，非独立开源项目）

🏗️ 方法概述和架构

本文提出“提示探测”框架，用以从MLLM嵌入中通过纯语言提示恢复有序属性的排序轴。

核心流程分为三个步骤：（1）利用MLLM提取条件图像嵌入；（2）基于一对反义锚文本构建文本驱动的排序轴；（3）将图像嵌入投影到该轴上得到排序分数。

嵌入提取：采用“显式单字约束提示”方法。给定一个属性特定的指令提示 \(P_c\)（例如，“用单字描述此人年龄：”），与图像 \(x\) 拼接后输入MLLM \(f\)。提取模型最后一层最后一个token的隐藏状态作为图像的条件嵌入 \(h_x = f(P_c, x)\)，并进行 \(\ell_2\) 归一化。VLM不支持此类条件嵌入，因此直接使用图像编码器的输出。

排序轴构建：选取一对描述属性两端的语义相反的文本锚点 \(T_{pos}\) 和 \(T_{neg}\)（例如，“一个老人的肖像”与“一个年轻人的肖像”）。通过相同MLLM，使用一个通用的单字包装提示 \(p_w\)（例如，“用一个词描述此句子：”），分别获取两个文本的嵌入。排序轴 \(a_c\) 定义为两个文本嵌入之差的方向并归一化：\(a_c = (f(p_w, T_{pos}) - f(p_w, T_{neg})) / \|·\|_2\)。

评分与搜索：图像 \(x\) 的排序分数为 \(s_x = a_c^T h_x\)。属性特定提示 \(P_c\) 和锚文本对均在验证集上通过搜索使SRCC最大化的组合来选择，此过程不涉及任何标注图像的真实标签。对于VLM，因无法获取条件嵌入，仅搜索锚文本对。

机制分析设计：为解释零样本排序性差距，论文设计了三个层面的实验：条件嵌入消融（将 \(P_c\) 替换为通用提示）、模态间隙层间分析（利用Logit Lens计算图像与文本的Jensen-Shannon散度，并逐层测量SRCC）、以及因果干预（在冻结的VLM嵌入上应用后处理间隙缩减变换 \(I_0T\)）。

[图像补充] 图5直观展示了MLLM（以Qwen2.5-VL为例）与VLM在不同模型层（归一化为0-1）的零样本SRCC变化。对于MLLM，SRCC随层深增加而单调上升，并在深层趋缓。这表明在更深层嵌入中模态间隙缩小，排序结构更清晰，为“模态间隙”是关键机制提供了直接的视觉证据。

跨模态扩展：通过Omni MLLM（Qwen 2.5 Omni 7B）将协议完全一致地应用于音频，验证了文本驱动排序轴在单一音频模态内及跨模态（视觉/音频）的迁移能力。

💡 核心创新点

1. 零样本排序性概念：首次将“排序性”从监督线性探测提升为一种可通过语言直接读取的嵌入属性，填补了MLLM嵌入有序结构分析的语言驱动空白。
2. 提示探测方法：提出完全无标注、仅靠文本提示构建排序轴并获取条件嵌入的范式，相比线性探测更贴合MLLM的自然使用接口，且推理成本远低于生成式排序。
3. 揭示VLM与MLLM的机制差距：通过条件嵌入消融和模态间隙的因果实验，首次明确指出VLM零样本排序性弱的两个根本原因——缺乏条件嵌入导致的多语义干扰，以及对比学习固有的模态间隙。
4. 跨模态有序几何的证据：在Omni MLLM上将框架直接迁移至音频，展示了文本驱动排序轴可异步跨模态迁移（音频轴到视觉有效，反之较弱），暗示了MLLM中存在统一的潜在有序空间。

📊 实验结果

论文在4类属性（年龄、人群、美学、年代）的8个数据集上对比了视觉模型（VM）、VLM和MLLM的监督排序性（线性探测）和零样本排序性。关键结果总结于下表。

监督排序性：MLLM的平均SRCC为0.813，与VLM的0.820相当，证实了有序轴在MLLM嵌入中的存在。

零样本排序性对比:

机制分析消融实验

[图像补充] 图3清晰展示了VLM与MLLM在零样本设置下的性能差距。在年龄（Age）和人群计数（Crowd）属性的数据集上，MLLM的零样本SRCC远超VLM，尤其在Adience和QNRF数据集上差距巨大。而在美学（Aesthetics）和年代（Recency）属性上，两者的差距相对较小，这印证了论文关于“更抽象属性对条件嵌入与跨模态对齐更敏感”的发现。

1. 条件嵌入消融： 将属性特定提示 \(P_c\) 替换为通用提示后，Qwen 2.5 VL 7B的平均SRCC从0.734骤降至0.544。

   模型	条件提示	UTKFace	Adience	QNRF	ST-A	ST-B	AVA	KonIQ	HCI	平均
   Qwen 2.5 VL 7B	✗	0.720	0.848	0.579	0.634	0.724	0.260	0.349	0.234	0.544
   Qwen 2.5 VL 7B	✓	0.783	0.880	0.756	0.636	0.880	0.600	0.763	0.571	0.734

[图像补充] 图4左图以可视化形式强调了条件嵌入对于区分混淆样本的作用。右图则显示移除 \(P_c\) 后，KonIQ数据集的SRCC降幅（-54%）最为惊人，说明美学这类高度抽象的属性极度依赖于正确的视觉条件上下文。

2. 模态间隙因果干预： 对三个CLIP变体的冻结视觉嵌入应用间隙缩减变换（\(I_0T\)）后，在KonIQ数据集上零样本SRCC均获大幅提升（例如，CLIP-CNX从0.508提升至0.738），直接证明了模态间隙是VLM零样本性能的主要瓶颈。

[图像补充] 图6直观展示了因果干预实验的结果，经过 \(I_0T\) 变换缩减模态间隙后，VLM的性能显著逼近MLLM。

3. 层间分析： MLLM的零样本SRCC随层深增加而单调上升，与层间JSD散度（代表模态间隙）的下降趋势高度吻合。这表明模态间隙的逐步缩小是深层嵌入更具排序性的直接原因。
4. 跨模态扩展：
   • 音频排序性：在Common Voice数据集上，Qwen 2.5 Omni 7B音频嵌入的零样本SRCC为0.409，恢复了其监督上限0.468的87%。
   • 跨模态迁移性：音频数据上搜索出的文本轴迁移到视觉（UTKFace, Adience）时，仍能保留73%-96%的性能；反之，视觉轴迁移到音频时仅能保留30%-53%的性能，呈现明显不对称性。

[图像补充] 图7展示了音频实验的结果，证实文本驱动排序轴可以直接用于音频模态，从语音特征中恢复年龄排序信息。

🔬 细节详述

• 训练数据：论文未涉及模型训练，所有实验基于预训练模型。
  • 视觉数据集规模：UTKFace (13,146训练 / 3,287测试)，Adience (约14k训练 / 4k测试)，UCF-QNRF (1,201训练 / 334测试)，ST-A (300训练 / 182测试)，ST-B (400训练 / 316测试)。对于AVA, KonIQ-10k, HCI，论文未明确给出划分后数量，仅称“沿用文献标准划分”。
  • 音频数据集规模：Common Voice英文子集，未提供具体样本数。
• 损失函数：未使用训练损失。监督线性探测采用均方误差（MSE）回归作为优化目标。
• 训练策略：监督线性探测的回归器在训练集上训练，超参数在验证集上基于网格搜索选择。搜索空间包括 batch size {32, 64, 128}，学习率 {\(10^{-1}, ..., 10^{-6}\)}，权重衰减 {\(10^{-3}, ..., 10^{-6}\)}。提示探测在验证集上搜索100个GPT生成的锚文本对与100个指令提示的组合。
• 关键超参数：MLLM嵌入提取使用最后一层（Last Layer）的最后一个token（Last Token）的隐藏状态。所有图像和文本嵌入均进行 \(\ell_2\) 归一化。
• 训练硬件：所有推理在单张NVIDIA A6000 GPU上进行。单张图片的MLLM嵌入提取需52.76ms（Qwen 3 VL 2B），VLM（CLIP-CNX）需13.92ms。
• 推理细节：未说明模型解码的具体配置（如温度、top-k等），仅说明嵌入提取不需要自回归生成过程。
• 正则化技巧：未涉及。

⚖️ 评分理由

• 创新性 (1.3/2)：提出零样本排序性概念和提示探测，将MLLM嵌入的有序结构与语言接口联系，具有新的洞察。但本质上是对已有排序性定义的平行扩展，核心方法（反义词差向量）是NLP和CLIP视觉分析（如Sonthalia et al. 2025中的极端探测）中已有的技巧。主要的创新点在于系统性地将此概念移植到MLLM并做了细致的归因分析。创新度处于中等偏上水平。
• 技术严谨性 (1.2/1.5)：关于条件嵌入与模态间隙的机制解释逻辑链条清晰，因果实验（\(I_0T\) 间隙缩减）设计精巧，构成了有力的证据链。但一个主要的不足是缺乏统计显著性检验，在报告多个数据集和模型间的SRCC时未提供置信区间或标准差；对prompt在验证集上搜索可能导致的过拟合风险虽有讨论，但缺乏严格的量化分析。
• 实验充分性 (1.2/1.5)：涵盖了4类属性、多个模型家族（VM、VLM、MLLM）及层间分析，消融和因果实验有力地支撑了主要论点。音频实验扩展了框架的通用性验证，但深度有限（仅一个数据集和年龄单一属性），且未与任何音频基线（如专门的音频年龄估计模型）进行对比。未报告多次运行的方差以验证稳定性。
• 清晰度 (0.8/1)：整体结构清晰，图示对理解机制帮助很大。但部分术语如对“多语义干扰（polysemantic interference）”的解释较为简略，其与条件嵌入的关联缺乏更形式化的阐述。附录中网格搜索等细节分散，缺少集中统一的超参数表，对精确复现有一定影响。
• 影响力 (0.5/1.5)：对MLLM嵌入空间理解与多模态对齐研究有潜在启发作用，提供了理解模型内部有序知识的新型分析工具。但核心实验、结论和数据集几乎完全聚焦于视觉属性（年龄、人群、美学等），仅用音频做了一点延伸。作为面向语音/音频领域读者的分析，该工作对音频社区的当前贡献非常薄弱，短期内难以产生直接或广泛的推动作用。
• 开源 (1.0/1.5)：论文摘要及正文中声明代码和提示词已公开于“kaist-ami/prompt-probing”，经查询这是一个有效的GitHub仓库地址。这提供了核心资源（代码和prompts），但未发布自研模型权重或打包的数据集，因此给1.0分。
• 可复现性 (0.3/0.5)：基本流程、搜索协议和超参数范围有说明。相比初稿有改进，因为代码仓库的公开使得复现的可行性提高。但仍缺乏具体的prompt全列表模板、锚文本生成和筛选的完整细节以及图像预处理的精确细节，要完全独立复现所有实验的图表仍需要依据代码做大量逆向工作。
• 工程/实践价值 (0.5/1.5)：提示探测提供了一种计算成本远低于生成式评估的轻量无监督探查方法，有一定实用参考价值。但该框架目前更像一个分析工具，而非成熟的工程化方案，论文未探讨其工业级部署、API化或集成到现有MLOps流程的可能性，整体工程落地程度较低。

🚨 局限与问题

论文明确承认的局限：

• 提示探测方法极度依赖语言能否描述属性两端。对于缺乏自然反义词的属性（如历史年代、医学量表），其有效性受限，在Recency属性上的较低表现即为证据。
• 可能受到预训练数据与评估数据集之间数据污染的影响，尽管作者认为这无法解释VLM与MLLM之间的性能差异。

审稿人发现的潜在问题：

• 过拟合风险被低估：在验证集上搜索提示（\(P_c\) 和锚文本对）并直接应用于测试集，本质上是一种轻量级的超参数选择。当搜索空间（100x100组合）相对某些数据集规模较大时，存在显著的过拟合风险，可能导致所报告的零样本SRCC被高估。论文未对此进行约束或提供对搜索空间大小的敏感性分析。
• 因果证据的普遍性不足：模态间隙的因果实验虽精巧，但其定量结果仅展示在KonIQ一个数据集上，这削弱了“模态间隙是VLM唯一且普遍瓶颈”这一强结论的可推广性。此外，\(I_0T\) 变换本身可能引入未知的结构偏置。
• 音频实验深度匮乏：音频实验是本工作与语音/音频领域的唯一直接连接点，但其极度单薄。仅在一个数据集上测试了一种属性（年龄），远不足以支撑“统一有序几何”的宏大叙事。音频年龄估计本身是一个充满噪声和高难度任务，0.409的SRCC虽占上限比例高，但其绝对实用价值存疑。工作未与任何成熟的音频特征或基于生成式MLLM的语音评估做对比。
• 缺乏关键结构消融：论文使用“最后一层最后token”作为嵌入，但未探讨这一选择的必要性。未与其他聚合策略（如mean pooling）进行比较。也未研究嵌入维度、归一化方式对此排序性现象的影响。
• 概念的深层挖掘不足：论文声称“揭示潜在的序数结构”，但方法上仅仅是测量了文本驱动轴与视觉特征排序的相关性。这并未严格证明该有序轴是MLLM嵌入内生的、固有的几何属性，而非MLLM强大语义对齐能力下的一种统计映射。这与声称“发现”结构存在差距，更像是在“测量”语言接口可访问的知识量。

← 返回 ICML 2026 论文速递