PIVOTSBench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models
📄 PIVOTSBench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models #基准测试 6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.8/10 | 前50% | #基准测试 | #基准测试 | arxiv 👥 作者与机构 作者：Shuxiang Zhang (中山大学), Yiting Yin (密歇根大学), Wenxuan Song (清华大学), Yuhang Wu† (清华大学), Miao Liu† (清华大学)。通讯作者为Yuhang Wu和Miao Liu。 💡 毒舌点评 这篇论文的定位很明确——在通用的多模态大模型评估领域“圈地”，提出了一个看似“填补空白”的社交推理基准。其核心动机（现有评估不够细粒度）是合理的，但实际执行和深度存在明显短板。最大的问题是“雷声大雨点小”：声称是“首个”基准，但数据集规模（191个视频）在当今大模型时代显得过于迷你，难以支撑具有统计显著性的结论。消融实验设计得颇为花哨，涵盖了模态、预测设置和提示策略，但分析深度不足，很多结论停留在现象描述（如“在YouTube上变差”），缺乏对模型内部机制（如为何联合预测对深度场景无效）的挖掘。实验对比部分，与开源模型的差距被过分强调，而与当前最强闭源模型（如GPT-4o）的细致对比和差距分析缺失。论文最大的亮点在于其心理学框架的引入，但这更像一个“理论包装”，实际评估任务的设计（如关键帧识别）是否能真正衡量“推理”能力值得怀疑。总体而言，这是一篇在选题上讨巧，但在贡献的坚实性、实验的深度和结论的普适性上都亟待提升的工作。 📌 核心摘要 本文针对多模态大语言模型（MLLMs）在细粒度人际关系推理能力评估的空白，提出了PIVOTSBench基准。该基准基于心理学理论定义了六维双向人际关系评分框架，并设计了三项层次化任务（评分、关键帧识别、因果分析）来系统性评估模型能力。数据集融合了Social-IQ 2.0的显式社交场景和YouTube的隐式深度互动场景。实验表明，以GPT-5为代表的专有模型在所有任务上显著优于Qwen3系列开源模型。消融研究揭示，视觉模态和显式社会角色信息在不同场景下的贡献存在差异，而联合/成对预测策略及启发式提示的效果高度依赖于场景的显性程度。论文指出，当前MLLMs在理解隐式社交线索方面仍存在明显局限，且单一的建模策略无法应对复杂多变的真实社交动态。 ...