数数为何最难统一：跨图像文本音频的三级计数基准

英文题目：UNICBench: UNIfied Counting Benchmark for MLLM

会议身份：conference:cvpr:2026:conference-paper-id:Rong_UNICBench_UNIfied_Counting_Benchmark_for_MLLM_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #基准设计 #模型评估 #音频问答

评分：6.7/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Chenggang Rong：机构信息未能从会议 PDF 纯文本可靠映射
• Tao Han：机构信息未能从会议 PDF 纯文本可靠映射
• Zhiyuan Zhao：机构信息未能从会议 PDF 纯文本可靠映射
• Yaowu Fan：机构信息未能从会议 PDF 纯文本可靠映射
• Jia Wan：机构信息未能从会议 PDF 纯文本可靠映射
• Song Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Yuan Yuan：机构信息未能从会议 PDF 纯文本可靠映射
• Junyu Gao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为图像场景、长文档与音频片段叠加自然语言计数问题，输出为纯数字计数并附点坐标、字符跨度与时间戳证据，难点在于高密度遮挡、跨段重复去重、时序事件重叠与算术权重推理。构建先按实体集合操作形式化模式层、语义层与推理层三级能力，并用密度、遮挡、重叠与重复率阈值映射简单、中等与困难难度，其分层标签直接决定后续采样配额。接着聚合多源图像、文本与音频并做去重、切分与字符时间对齐，形成统一计数加证据问答对，该语料进入固定提示、确定性数字解析与匹配规则的评测套件。套件输出按模态、能力层与难度层分层报告命中率、成功率与误差指标，使长尾误差可归因到表征缺失或校准偏差。相对单模态密度估计、文档问答与声音事件检测，差异在于统一问答图式、证据优先真值与跨模态分层报告，其实质意义是把计数从各模态子任务提升为可比较的通用行为探针。在音频计数任务下，Qwen2.5-Omni-7B的MAE指标为29.2，低于Voxtral-mini的MAE指标29.5。结论的适用边界受限于收录类别与统一提示条件，向开放词汇视频计数与交互式定位的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文解读的输入是会议论文的开放获取版本正文与本次收到的官方原图像素，目标是让刚进入语音音乐音频领域的研究生能独立复述统一计数基准的构造与评测方法。必须保留的信息包括 3 模态样本与问答规模、3 级能力与 3 级难度的划分规则、证据优先的真值形态、固定提示与数字解析流程，以及按难度与能力分层的报告方式。输出是 1 篇可核对的方法复述，不做营销式判断，不继承其他解读的评价。

计数在这里指估计事件实体或结构元素的个数，覆盖图像中的人车与物体实例、文本中的词频引用与段落结构、音频中的环境事件与说话轮次。论文强调 3 个互补侧面：感知定位是否找全，跨区间聚合与去重是否重复计数，规则引导的推理是否按约束过滤。学习依赖上，先理解任务与评价为何难以统一，再看基准全景与流水线，然后进入组件计算与数据构造，接着是实验条件与结果反证，最后收束到复现步骤。

以一个样本走完全程有助于建立直觉。例如一张密集人群图配问题图中可见多少人，模型需输出一个数字；若问题改为穿红衣的人有多少，则需先定位再按颜色过滤；若问题涉及截图中指定路径下修改日期为某年文件夹有多少，则还需解析规则与结构。同样，一段长文档可能要求统计去重后引用数，一段音频可能要求统计提问总数。例子仅用于教学，不附加原文之外的数值或效果断言。

已有路线在相同输入与目标上做到哪一步，还缺什么？

图像计数传统路线集中在拥挤场景车辆与通用物体计数，常用密度估计、先检测后计数、点监督与分割聚类等方法。密度回归在超密集人群上有效但对未见场景稳健性不足，检测流水线在可分离实例上有效但在遮挡下吃力。这些数据集多用密度图点标注或框标注，强调高密度与重遮挡，但标注格式不统一，难度分层不一致，很少直接写成适合多模态大模型的问答形式。

文本计数散见于信息抽取文档理解与科学计量，从词频句段统计到去重引用与图表元素计数，常作为文档问答的子问题出现。已有文档问答基准提供丰富的结构阅读测试，但多不聚焦语义去重或跨段聚合，标注多为区间或索引，未与模型问答输出对齐。音频方面以声音事件检测与分类集合为主，计数受时间重叠、事件短时与标注粒度差异影响，难以直接做跨模态统一评测。

多模态大模型基准覆盖视觉理解、文本识别、结构推理与音视频对齐，多度量问答准确率或检索指标，但未把计数当作横跨图像文本音频的独立能力来系统考察。已有用提示与思维链激发计数证据或用检测器加语言模型做去重聚合的尝试，虽在零样本与少样本下灵活，但存在中间证据不可验证、数值置信度校准差与跨模态对齐失败等问题。本文的缺口定位正在于此：需要一个问答输出统一、证据报告统一、评测协议统一的跨模态计数基准。

要解决的评测问题如何形式化，难在哪里？

论文把评测问题定义为给定多模态输入与计数问句，要求模型输出可解析的数字预测，再与真值计数比较。关键在于问句所需的操作不同。能力层按对实体集合的操作严格划分：感知层直接观察即得总数，语义层施加属性过滤或身份聚合，推理层施加显式规则或时空结构约束。难度层另行标注为容易中等困难，用可测属性量化，以便做分层分析。

4 个挑战决定了基准设计。第一是模态与任务覆盖缺口，音频事件、图文对齐计数与长文档结构元素计数缺乏现成公开数据，需要在许可与隐私约束下采集与人工核验。第二是标注异构且无模型就绪的问答标准，点框密度时间戳与文本区间混杂，实例纳入规则模糊，需要典范目标定义并转成统一问答模板。第三是评测协议不一致，划分提示解码设置匹配规则与随机性各异，影响可比性与可复现性。第四是模型可用性与评测成本不平衡，开源模型模态覆盖不均，闭源接口有费用限流与长上下文开销，公平比较困难。

理解这一形式化对后文至关重要：能力层回答错在哪里，难度层回答错得多离谱，证据形态回答凭什么说对，协议固定回答比较是否公平。缺少任一环节，跨模态数字都无法放在同一标尺下解释。

基准全景如何把三模态装进同一条流水线？

基准全景的思路是先标准化多模态数据集，再定义统一的问答与证据模式并附带难度与能力标签，最后用端到端框架评测图像文本音频上的计数能力。输入侧按模态组织提问，模型侧按模态调用对应大模型，性能侧按模态汇总误差与命中情况。这种 3 段式安排的理由是保持提问语义可比，同时允许模态特定的匹配与解析规则。

下图左侧为 3 层任务金字塔与代表性问答，右侧为模态覆盖与类别分布，阅读时先区分层次再核对覆盖广度，避免把某一模态的特性推广到全部计数。

看图路径： 1. 先沿左侧金字塔自下而上确认感知语义推理三层的提问差异；2. 再看每层右侧问答示例中真值与模型输出的偏离方式；3. 最后对照右侧环形图确认图像文本音频三轨的类别覆盖

论文图 1。原论文 Figure 1：“Illustration of the benchmark’s task taxonomy and dataset coverage.”。

该图显示底层的感知层对应直接计数，中间的语义层需要属性过滤，顶层的推理层需要规则约束，右侧环形图则展示图像文本音频各自的细分类别。结合正文可知，基准不是简单拼盘，而是用同一套能力难度标签与证据要求把异构来源装进同一问答接口，后续所有统计都基于成功解析的结果展开，这也解释了为何成功率与精度需要分开报告。

能力层与难度层如何判定，问答如何写才一致？

能力判定依据问句对实体集合的操作。感知层记为总数，无语义过滤与规则应用；语义层记为满足谓词的子集计数或去重后唯一实体计数；推理层记为带算术逻辑权重或时空结构约束的组合计数。难度则按可测属性映射到阈值，图像看密度与遮挡，文本看长度重复与去重负担，音频看重叠与时长，计数真值分布的偏态与长尾是设定阈值与分层报告的直接动机。

感知计数 × 语义计数： 感知计数负责直接观察实例或事件并给出总数，不做属性过滤；语义计数负责在同一实体集合上施加颜色类型等原子过滤或去重聚合，只计满足谓词的子集。二者搭配的原因是真实问题常先定位再筛选，若混为一谈就无法区分是看不见还是筛不对，组合意义在于把误差归因到定位缺失还是过滤聚合错误。

推理计数 × 难度分层： 推理计数负责执行规则加权与结构约束下的组合计算，例如按时间路径或修改日期区间再计数；难度分层负责用密度遮挡重叠与跨段重复等可测属性标定容易中等困难。三者搭配的原因是规则复杂度与信号拥挤是两种正交困难源，组合后才能解释为何真值很小的推理题仍可能很难。

问答编写遵循 4 条规则以保证跨模态一致。等级指派严格按上述分类，模糊情形由主要标注者裁决；难度量化后存入每样本的数据卡；每条真值同时包含计数值与结构化证据，图像为点或框，文本为区间，音频为时间戳；感知任务用确定性模板以减少语言方差，语义与推理任务则用更自由的表述但必须显式写出过滤规则或聚合约束。

先沿一个样本走完输入到输出：输入为原信号加问句，表示为模型内部多模态表征，组件按能力层执行定位过滤或规则计算，目标为真值计数加证据，输出为待解析的数字文本。这种走通有助于理解后文为何解析优先级与容差命中率必须事先固定。

本研究训练了什么，没有训练的部分如何计算？

本研究没有训练新的计数模型，也未报告梯度路径参数冻结或优化器设置，该节的职责由数据构造与推理评测流程承担。真实计算过程分为采集预处理、质量控制与统一评测 3 段。图像样本来自已有多目标与人群计数集合并补充人工标注类别，文本样本自采自代码法律学术与文学等语料，音频样本利用环境声与会议对话集合。预处理分别做去重质量过滤与格式统一，图像保留分辨率多样性，文本做分段与字符区间标注，音频做降噪切分与亚秒级时间戳对齐。

下图为多模态输入到模型再到性能的端到端框架，阅读时重点看提问模板与评估闭环，而非把图标当作具体模型结构。

看图路径： 1. 先沿左侧多模态输入到中间模型再到右侧性能的三段箭头看主路径；2. 再分别确认图像文本音频三行的提问模板有何不同；3. 最后看右侧散点横轴参数量与纵轴误差是否单调下降

论文图 4。原论文 Figure 4：“Overview of the UNICBench pipeline. We standardize multi-modal datasets and define a unified QA-evidence schema with difficulty and capability labels.”。

该图左侧三行分别给出图像文本音频的提问范式，中间为待测模型集合，右侧为按参数量展开的误差散点，说明评测是调用既有模型做推理而非训练新权重。质量控制采用双人独立标注加仲裁，论文报告达到完全一致并做随机抽检；伦理与许可方面遵循原数据许可并做匿名化。需要指出的缺项是原文未给出标注者一致性的可复算细节与仲裁比例，也未报告构造阶段的算力开销，因此不能从流程描述推定系统输出确定或成本可忽略。

证据优先真值 × 统一问答模板： 证据优先真值负责同时保存计数值与点框时间戳或字符区间等结构化依据；统一问答模板负责把异构标注转成模型可答的计数问句。前者分工是可核查，后者分工是可比较，搭配理由是只有问法统一且答案可回溯到证据，才能在跨模态下公平比较数字解析结果。

评测条件如何固定，指标方向如何理解？

评测分三轨进行，模型集合按模态划分，图像约 21 个模型，文本约 22 个模型，音频约 13 个模型。通用运行配置固定最大生成长度超时与温度，系统提示要求只输出数字且不得拒答，解析优先级为先取答案标签内数字，否则取末尾独立数字，再回退到首个可解析数字。只有成功解析的预测才进入后续误差统计，不可解析仅计入成功率。这种安排的理由是兼顾思考标签与厂商包装的兼容性，同时把格式鲁棒性与数值精度解耦。

成功率 × 命中率： 成功率负责度量输出可解析为数字的比例，只看格式鲁棒性不看对错；命中率负责度量相对误差在容差内的比例，看数值精度。二者搭配的原因是音频等场景下拒答会同时推高缺失与虚低平均误差，组合报告才能避免把拒答多误读为算得准。

平均绝对误差 × 均方误差： 平均绝对误差负责度量误差绝对值的平均，对极端大数相对稳健；均方误差负责对误差平方再平均，对离群大错更敏感。搭配原因是计数分布长尾明显，单看平均绝对误差会低估崩溃样本的影响，两项并列才能同时看到典型偏差与尾部风险。

指标方向为成功率与命中率越高越好，平均绝对误差与均方误差越低越好，并报告不同容差下的命中率与按难度能力分层的误差。图像轨统一推理参数并对部分推理模型降低推理强度，文本轨对少数模型采用官方推荐温度并对比思考与非思考模式，音频轨沿用相同基础协议。比较公平性的关键是划分提示种子与模态特定匹配规则固定，但原文也承认部分模型不暴露温度而用默认温度，闭源模型的推理强度设置并不完全一致，阅读结果时需保留这一条件差异。

下表提出第一个比较问题：在相同能力难度标签下，3 模态的样本与问答规模是否可比，指标聚合对象是什么，表中数字单位如何保留原样。

该表整理自原文连续句中的规模描述，收益是看清样本级覆盖与问题级覆盖并不相同，文本靠单样本多探针扩充问答，图像更接近一景一问。代价是若只看样本占比会误判评测权重，聚合时必须以问答为单位并分层报告，未胜出项是长文档与高密度图像的极端计数，它们数量少但主导均方误差。

主结果显示哪里尚可，哪里随难度单调变差？

图像轨的主要判断是输出数字不难，算准难。多数模型成功率接近完全可解析，但放宽容差后命中率仍偏低，仅少数模型在 20% 误差阈值下命中率过半。误差随容易到中等再到困难单调上升，顶层闭源模型在困难集上相对误差膨胀较小，部分开源模型在密集场景仍具竞争力。按能力看，推理任务数值误差较小很大程度上与其真值较小有关，而感知与语义任务在密集堆叠或遮挡下更难。原文把高密度类别与大尺度变化视作极端误差的主要来源，提高分辨率有帮助但在超密集下收益有限。

下图为图像模态预测误差分布，阅读时先确认零线再看箱体与离群，避免用中位数小误判尾部风险。

看图路径： 1. 先确认纵轴为带符号的对数误差且红色虚线为完美预测；2. 再比较各模型箱体的中位数偏向零上还是零下；3. 最后观察须线长度与顶部离群点判断极端高估是否推高均值误差

论文图 6。原论文 Figure 6：“Distribution of prediction error on image modality.”。

该图纵轴为带符号对数误差，箱体窄且离群少者更稳健，前沿闭源与大开源模型四分位距更窄，轻量模型离散更宽且尾部更重。符号误差中位数常为负，偶发大幅高估会显著推高平均与平方误差，原文将其归因于指令跟随优化缺乏实例级监督、图像块下采样压缩小目标，以及解码偏好舍入与预训练对高密度遮挡覆盖不足。这些属于有限解释而非因果证明，仍待验证。

文本轨成功率高但精度分化大，误差同样随难度单调上升，闭源模型在困难集上更稳健，部分大开源模型亦强。按能力看语义任务误差最小，说明过滤与聚合相对成熟，严格模板匹配的感知任务更易错，推理仍是主要瓶颈与模型间方差来源。音频轨仅 2 个模型达到完全解析成功，部分模型成功率约六成但已解析样本的数值误差反而偏低，呈现拒答越多则平均误差虚低的权衡，音视频专用模型数值精度较好。下表把可核对的信号多样性与结果要点并置，阅读时注意单位与聚合对象不同。

该表收益是同时看到跨度、分布与结论的对应关系，代价是三行指标口径并不相同，不能跨行比大小。未胜出项包括轻量模型在图像上的重尾误差、部分模型在文本长尾上的异常偏置，以及音频开源模型的高成功率伴随系统性高估，这些反例说明总体趋势不等于每组都成立。

思考模式与拒答行为带来什么可分离的影响？

论文用对照分离两种机制。文本轨对比同一系列的思考与非思考模式，多数样本表现相近，差异集中在右上极高计数区域，思考变体误差更小，从而把总体平均误差从高位拉低，尽管中位数相近。这支持长尾大数改进可搬动聚合误差的判断，但也说明增益并非全程均匀，不能推广为每步都更好。音频轨分析拒答与误差的关系，成功率接近完全的模型必须对最难样本也给出数字，因而总体均值被少数极端高计数推高，而成功率低的模型因拒答困难项而平均误差偏小，但已在成功率上受罚。

下图为思考与非思考在文本计数上的预测散点对比，阅读时聚焦绿框而非整体云团。

看图路径： 1. 先确认横轴为真值纵轴为预测值且对角虚线为完全正确；2. 再对比左右两图左上角相关系数框的数值差异；3. 最后聚焦右上绿框内极高计数样本的贴合程度差异

论文图 7。原论文 Figure 7：“Prediction vs. ground truth scatter. Each point is one sample.”。

该图左右分别为思考与非思考版本，横纵均为对数尺度，对角虚线为完美预测，左上角相关系数框显示思考版本更高，右上绿框内极高计数样本更贴近对角线。这支持思考行为在长尾大数上的价值，但原文未测量延迟与成本，因此不能承诺思考同时改善效率，未验证部分应表述为待验证。

下表提出对照问题：在可实际运行的策略中，思考模式相对非思考基线的收益是什么，音频中高成功率策略的代价是什么，指标方向是否一致。

该表收益是把可部署的基线与策略并列，避免用事后最优代替实际收益，代价是思考与全答都可能增加计算或尾部风险。负结果是部分大参数音频模型并未同时获得高成功率与低误差，说明参数量与计数精度并非单调关系，复现时应优先固定解析与容差再谈模型大小。

哪些边界未被评测，哪些推断不能做？

论文明确的局限包括数据集偏差与工具演进的影响，类别与来源不可能覆盖全部真实分布，难度阈值与匹配规则的选择会影响结论。未评测边界包括超高分辨率下的表示瓶颈细节、长文档去重中语言与格式的全部变体，以及音频重叠事件的细粒度分离能力，这些在原文中只有趋势描述而无充分消融。相关性不等于因果，例如思考模式与长尾误差下降并存，但未控制计算量与解码长度，不能断言思考必然带来精度提升。

缺失证据不是技术错误，但需要明确标注。原文未报告误判率延迟与 monetary 成本的系统测量，因此不能承诺这些量得到改善；训练资源推理开销与实际延迟应分别讨论，总体趋势不等于每组每步都成立。百分点与相对百分比含义不同，不同指标的差值不能混入同一模型列下比较，自动解析指标也不能当作人工核查。阅读表格数字时需同时核对数据集模型基线实验阶段指标单位与聚合对象，数值相同不代表同一指标。

另一个特有误解是把成功率高当作计数好。音频结果显示拒答行为会扭曲平均误差，成功率与精度必须联合阅读；图像结果显示中位数小不代表尾部安全，均方误差对崩溃样本更敏感。若忽略这两点，容易把格式鲁棒性误读为数值能力，或把少数极端样本的改进误读为全程胜利。

复现先做什么，需要保留哪些信息条件？

复现应先重建统一问答与证据模式，再固定协议，最后接入模型。第一步按模态整理输入与真值：图像保留点或框坐标与分辨率信息，文本保留字符区间与文档分段，音频保留事件时间戳与采样信息，并为每样本写入能力与难度标签。第二步固定系统提示与解析优先级，要求只输出数字并兼容思考标签与厂商包装，先取标签内数字再取末尾独立数字，最后回退首个可解析数字，仅成功解析进入误差统计。第三步固定划分提示种子超时与温度等运行配置，分模态调用对应模型并按难度能力分层汇总成功率命中率与两类误差。

关键超参数与信息条件包括最大生成长度超时秒数与温度设置，以及部分推理模型的推理强度降级安排。原文对温度与推理强度的记录并不完全一致，复现时应如实记录实际使用的默认值与降级项，不从模型名称推定实现。若遇到不可解析输出，应计入成功率分母而不纳入误差均值，避免用过滤后的均值掩盖拒答问题。

资源状态是正文开源声明的唯一依据。本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码模型或数据已公开，只能按原文描述重建流程并报告具体缺项。若需补验证，建议优先补长尾大数的独立复测、音频拒答与误差的联合曲线，以及不同分辨率与温度下的敏感性分析，这些最能检验主要结论的稳健性。

何时值得尝试这套基准，还需补哪项验证？

当研究目标是比较多模态大模型的通用计数能力而非单一密集人群计数时，这套基准值得尝试，因为它把感知语义推理 3 层与容易中等困难三档放在同一问答接口下，并用证据优先真值支撑可核查。当目标是优化某一模态的极致精度时，可将其作为分层诊断而非唯一目标，因为模态专用检测与分割方法在超密集或重叠场景下仍有结构优势，混合检测器与大模型的流水线可能是更实际的路径。

复现后的判断应分三句表述。论文报告显示基础计数尚可但推理与最难划分差距显著；分层证据支持长尾误差与拒答权衡是主要风险来源；混合证据与难度分层报告的建议属于方向性提议，其延迟成本与跨模态对齐效果仍待验证。教学上应记住：先走通单样本的输入表示组件目标输出，再展开公式与聚合；先确认指标方向与聚合对象，再比较数字大小。

未来工作按原文指向跨模态对齐、检测器集成与自动校准的改进，但这些尚未在本研究中验证。研究生可从复现固定协议与分层报告做起，保留全部运行条件与解析细节，再针对推理层与困难集设计受控对照，这样既能利用基准的可比性，又不把相关性误作因果，也不承诺未测量的效率与成本收益。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 11 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总