📄 全局平均精度：让跨查询相似度可比的表征学习损失
标签：#音频检索 | #对比学习 | #多模态学习 | #零样本
评分：6.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Bill Psomas：机构信息未在 arXiv HTML 中可靠披露
- Mohammad Mahdi：机构信息未在 arXiv HTML 中可靠披露
- Michalis Thomas：机构信息未在 arXiv HTML 中可靠披露
- Danda Pani Paudel：机构信息未在 arXiv HTML 中可靠披露
- Giorgos Tolias：机构信息未在 arXiv HTML 中可靠披露
- Giorgos Kordopatis-Zilos：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
检索系统常为每个查询独立排序，平均精度均值对每个查询分别计算后再平均，无法要求不同查询的相似度处于同一尺度，而需要单一阈值判定的场景会因此失效。全局平均精度把所有查询-候选对放入同一列表只计算一次平均精度，同时考核排序质量与跨查询一致性。论文提出其平滑代理gSAP，输入与已有损失相同，即相似度矩阵与标记正例对的二值矩阵，输出为平滑全局平均精度的互补损失。它先为批次内每个正例与全部候选相似度建立成对比较，再把这些比较经低温平滑计数汇成全局精度-召回估计，使低温下仍保留梯度，最后丢弃最小的负相似度以降低比较开销，所得损失回传更新编码器。在Stanford Online Products测试集上以召回率、平均精度均值和全局平均精度为评测指标且微调DINOv3不丢弃负例的度量学习对比中，gSAP的gAP为58.9%，高于同表逐查询排序代理mSAP的57.0%，两者mAP持平同为72.9%。结论适用于需要统一阈值的检索与存在干扰查询的任务，在细粒度迁移与直接使用相似度的最近邻评测中增益更大，极端丢弃会使性能下降。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://github.com/mlfoundations/open_clip — 链接可访问（HTTP 200）
第三方资源：https://github.com/LAION-AI/CLAP — 链接可访问（HTTP 200）
第三方资源：https://github.com/LAION-AI/CLIP_benchmark — 链接可访问（HTTP 200）
第三方资源：https://github.com/Spijkervet/CLMR — 链接可访问（HTTP 200）
第三方资源：https://github.com/yashvarpatel/RecallatK_surrogate — 链接可访问（HTTP 200）
第三方资源：https://github.com/facebookresearch/sscd-copy-detection — 链接可访问（HTTP 200）
第三方资源：https://github.com/nikosips/met — 链接可访问（HTTP 200）
第三方资源：https://github.com/ilias-vrg/ilias — 链接可访问（HTTP 200）
第三方资源：https://github.com/WildlifeDatasets/wildlife-tools — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
表征学习要解决的检索输入与输出是什么
刚进入语音、音乐或音频领域的读者可以先把任务想成检索。输入是一批查询和一批候选，例如一段文字查图片、一段音频查文本、一张商品图查同款图。编码器把每个输入变成长度归一化的向量，两两点积得到相似度矩阵，行是查询，列是候选。还有一个同样形状的二值相关矩阵，标出哪些对是正样本，例如同类、同语义、配对的图文或同一录音的两种增强视图。目标是学到向量，使得正样本相似度高于负样本。
评价时既看每个查询内部是否排对，也看不同查询之间分数能否用同一个阈值比较。后者在拷贝检测、实例识别和动物重识别中特别关键，因为系统必须先判断是否有匹配，再决定返回什么。论文的工作就是把这种跨查询可比性放进训练损失，而不是只在评价时才关心。
已有损失按耦合范围如何分工
已有损失可以按 1 次看多少相似度来理解。逐对损失每次只看一个元素，例如带绝对间隔的对比损失。逐查询损失按锚点组织，例如三元组、多相似度和以行为单位做 softmax 的 InfoNCE。代理损失把样本与类代理比较。排序代理损失直接近似每个查询的平均精度或召回率。
论文指出，这些逐查询目标只依赖行内顺序，不约束行与行之间的尺度。附录进一步限定，逐查询平均精度代理的纯排序不变性是在温度趋零极限下成立，而每个方向的 InfoNCE 只对该方向逐查询加常数偏置不变，不能扩大为任意行内单调变换都不变。为了得到可比分数，以往做法是加辅助正则或事后做逐查询分数归一化。论文的动机正是去掉这类额外步骤，用一个直接对全局排序计分的损失同时管排序和尺度。
InfoNCE × gSAP： InfoNCE 指按行做 softmax 归一化的对比损失，原文只声明每个方向的损失对该方向逐查询加常数偏置不变；gSAP 指对全局排序做平滑平均精度的排序损失，它耦合全批所有对。两者分工在于逐查询归一化与全局排序，搭配说明了前者为何留下跨查询尺度不受约束，组合后多出用一个损失同时约束排序和尺度的选择。
平均精度与全局平均精度各在算什么
平均精度先把一个列表按相似度从大到小排好，对每个正样本看它所在位置的精确率，再对正样本平均。精确率的计数本质是比较目标相似度与列表中其他相似度的大小，用阶跃函数计数有多少在它之前。逐查询平均精度就是对每行各算 1 次再平均，行与行之间没有交互。即使某一行所有正样本分数都低于另一行所有负样本，只要各自内部顺序全对，两行都可以得满分。全局平均精度则先把整个矩阵按行展平成一个长向量，只算 1 次平均精度。
它要求不管来自哪个查询，所有正样本都要排在所有负样本之前，因此对跨查询分布不一致很敏感。论文强调这正是单阈值系统需要的性质。
\[\mathrm{mAP}(S,Y)=\frac{1}{M}\sum_{i=1}^{M}\mathrm{AP}(S_{i},Y_{i}).\]\[\text{\text{gAP} }(S,Y)=\mathrm{AP}(\operatorname{vec}(S),\operatorname{vec}(Y)),\]mAP × gAP： mAP 指先对每个查询单独算平均精度再在查询间平均，它只关心行内排序；gAP 指把相似度矩阵展平成一个全局列表只算一次平均精度，它同时关心行内排序和行间尺度是否一致。两者搭配才能区分排序好但阈值不通用与排序好且阈值通用这两种情况，组合后多出对跨查询一致性的评价作用。
方法总流程如何把矩阵变成一个损失
方法的输入与现有损失完全相同，就是一个批内的相似度矩阵和二值相关矩阵，因此可以作为即插即用替换。单模态时一批是图像，相关矩阵标同类为正，对角自匹配要去掉。多模态时一批是图文对，相关矩阵通常是单位阵，表示对角配对为正。自监督时正样本是同一图像或同一音频的两种增强视图。流程是先用编码器得到归一化向量并算出全部两两相似度，再把矩阵展平为全局列表，用平滑后的计数函数估计全局平均精度，最后用一减该估计作为损失。
监督来源不同，但矩阵和标签的接口不变，所以与编码器、模态和监督来源无关。论文用同一套做法替换了监督度量学习、图文与音频文本对齐以及动量对比自监督中的原损失，其他增强、优化器和结构基本不动。
平滑近似如何让全局排序可微
阶跃函数不可微，无法直接做梯度优化。论文沿用平滑平均精度的做法，用 sigmoid 近似阶跃函数。记差值为正样本与另一相似度之差，温度越小曲线越陡，越接近真实计数，但越容易饱和。逐查询代理把该近似用在每行内部，全局代理把该近似用在展平后的全局列表。形式上只是把平均精度的输入从每行换成全局向量，但比较次数从每行约一千量级变成全批约一百万量级。
正是比较总数变大，使得低温下仍有足够多未饱和比较，梯度不至于消失。这是论文解释低温可用性的核心机制。
\[\tilde{h}(\Delta s)=\sigma(\Delta s/\tau)=\frac{1}{1+e^{-\Delta s/\tau}},\]\[\mathcal{L}_{\text{\text{gSAP} }}=1-\tilde{\text{\text{gAP} }}(S,Y)=1-\tilde{\text{AP}}(\operatorname{vec}(S),\operatorname{vec}(Y)).\]mSAP × gSAP： mSAP 指对每个查询行分别做平滑平均精度再平均的损失，mSAP 只比较同行内的正负相对顺序；gSAP 指把整个矩阵展平后做一次平滑平均精度的损失，gSAP 让每个正样本与全批所有相似度比较。两者分工在于局部排序与全局排序，搭配说明了为何 gSAP 比较次数多三个数量级并在低温下仍有梯度，组合后多出跨查询可比性的直接优化。
负相似度丢弃省了什么又保留了什么
全局损失的代价随批内相似度对数 2 次增长，其中绝大多数是负样本。很小的负相似度早已排在正样本之后，对全局精确率召回曲线的高精确段几乎没有影响。论文的做法是丢掉最小的一部分负相似度及其标签，只保留正样本和相对较大的负样本。丢弃率在零到 100% 之间调节，用内存换对完整损失的保真度。训练后曲线整体抬高，丢掉较多小负样本只改变低精确尾部。
实践中较大的丢弃率只带来很小性能损失，但在固定显存下允许把批做大，反而可能提高全局精度。丢弃到只剩极少数负样本时性能才会明显下降，说明仍需保留最少数目的难负样本。
负相似度丢弃 × 批大小： 负相似度丢弃指训练时去掉全局列表中最小的一部分负相似度及其标签，只保留正样本和较难的负样本；批大小指一批中样本数决定的相似度对数。两者分工在于用保真度换内存，前者降低参与排序的负样本数，后者决定全局比较的丰富度，组合后多出在同一显存下放更大批并保持全局精度的实际训练策略。
单批过拟合实验说明了温度与梯度的关系
为了看清代理保真度与梯度流动的折中，论文固定一个训练批做过拟合，同一初始化和同一批比较不同温度下的逐查询代理和全局代理。温度从 0.1 到万分之一共四档。高温时两者都是差的近似，优化噪声大，最终指标都偏低。温度降到 1% 以下时，全局代理下的逐查询精度和全局精度一起上升，而逐查询代理下的全局精度明显落后，且温度越低差距越大。
原因是初始化时未饱和比较的比例相近，都随温度成比例下降，但每个正样本参与的比较总数差 3 个数量级。万分之一温度下逐查询代理每个正样本平均不到一个未饱和比较，很多正样本收不到梯度，训练停滞。全局代理每个正样本仍有 150 个以上未饱和比较，每个正样本都有梯度，最终在各温度下达到相近的高精度。这支持了低温近似更准但逐查询代理会饱和，而全局比较多则能兼顾准确近似与梯度可用的判断。
实验在哪些任务和条件下替换损失
论文的比较策略是只换损失，其他配方不动。跨模态部分从公开的图文预训练模型出发，在概念性字幕数据上再训练 5 个周期，比较原图文对比损失、sigmoid 损失和全局代理，评零样本图文双向检索和零样本分类。视频检索把单帧编码结果用于文本到视频和视频到文本。音频语言部分从音频文本预训练模型出发，在音频字幕数据上微调，评音频文本检索和声音事件分类。
自监督部分沿用动量对比配方，把查询键相似度矩阵上的对比损失换成全局代理，训练视觉小模型和基本模型，冻结主干后用线性探测和近邻投票评价分布内、分布外、迁移和噪声鲁棒性。度量学习在商品和物种数据集上微调视觉主干，比较成对、代理和排序损失。干扰查询任务包括拷贝检测、艺术品实例识别、大规模实例检索和动物重识别，这些任务本身就用全局精度评价，且查询中大量在库中无正样本。
超参数用验证集调学习率和温度，最终在全训练集上训练并在测试集上评价，多次随机种子取平均。
跨模态与自监督中全局精度有何提升
跨模态实验要回答换损失是否在双向检索和零样本分类上同时有效。论文报告在 3 个图像检索集和 3 个视频检索集上全局代理的全局精度、逐查询平均精度和召回率都超过对比损失和 sigmoid 损失，分类的 7 个图像视频集也是每个指标最好。音频上同样在音频文本检索和声音事件分类上超过两者。自监督部分要回答不用标签时是否仍有效，冻结主干后线性探测和近邻投票的结果是小模型 4 组都领先，基本模型仅分布内线性探测略低。
增益在近邻投票下更大，迁移增益主要来自细粒度数据集，那里难负样本紧贴正样本，更需要统一阈值。线性探测会再学一个线性映射，可以吸收逐查询尺度差异，近邻投票直接用余弦相似度投票，对尺度更敏感，因此评价表示时应同时看近邻这类直接用相似度的方法。
干扰查询 × 分数归一化： 干扰查询指在库中没有任何正样本的查询，它的负样本只能靠全局阈值正确压低；分数归一化指用背景集近邻均值对每个查询的相似度做事后平移的事后校正。两者分工在于训练时学一致尺度与测试后校正尺度，搭配说明了事后校正只能部分恢复全局精度，组合后多出判断何时必须训练时优化全局目标的依据。
干扰查询下全局精度与下降幅度如何
下面比较要回答有大量干扰查询时谁掉得最少。表前说明比较问题与公平条件：同一任务同一主干只换损失，指标为含干扰的全局精度、去掉干扰后的全局精度和相对下降，下降越小越好，数值越大越好只适用于前两列。
| 方法 | 拷贝检测全局精度 | 艺术品全局精度 | 实例检索全局精度 | 实例检索去干扰全局精度 | 动物重识别全局精度 |
|---|---|---|---|---|---|
| 基线 | 51.6 | 30.4 | 3.5 | 17.1 | 69.5 |
| 对比损失 | 50.2 | 56.2 | 7.4 | 22.0 | 77.1 |
| 逐查询代理 | 54.5 | 58.3 | 5.6 | 19.6 | 80.2 |
| 全局代理 | 55.9 | 62.8 | 8.7 | 22.7 | 80.9 |
表后解释主要收益与限制：全局代理在 4 个干扰任务上全局精度最好，且在归一化前下降最小。在艺术品数据上去掉干扰后两者相同，加入干扰后全局代理领先 4.5 个点，说明增益主要来自跨查询。实例检索列需要按该列自身计算相对下降，全局代理无干扰 22.7、有干扰 8.7，相对下降为 61.7%，逐查询代理无干扰 19.6、有干扰 5.6，相对下降为 71.4%，14.0% 与 20.1% 是艺术品识别列的数字，不能混入该列。
单阈值与去干扰条件的补充对照是什么
下面补充拷贝检测与艺术品识别的对照，说明单阈值收益与跨查询来源。表前说明比较问题：同一配方下比较逐查询代理与全局代理，指标方向为全局精度越高越好、下降越低越好。
| 方法 | 拷贝检测去干扰全局精度 | 拷贝检测下降 | 艺术品去干扰全局精度 | 艺术品下降 | 动物重识别去干扰全局精度 |
|---|---|---|---|---|---|
| 基线 | 64.6 | 20.1 | 52.9 | 42.5 | 73.9 |
| 对比损失 | 66.0 | 23.9 | 72.2 | 22.2 | 80.0 |
| 逐查询代理 | 68.2 | 20.1 | 73.0 | 20.1 | 82.8 |
| 全局代理 | 69.0 | 19.0 | 73.0 | 14.0 | 83.2 |
表后解释结果支持的判断：每个查询用各自最优阈值时 3 类排序损失相近，换成共用阈值后全局代理在商品和物种数据上都最好，在物种数据上把精度 0.90 时的召回从 0.7 提高到 3.0，约为 4 倍。阈值分布也显示全局代理的逐查询最优阈值更集中在共用阈值附近。这说明差距不是来自行内排序，而是来自一个阈值能否同时适合更多查询，但即使全局代理也只实现了理论上限的一部分。
丢弃率与批大小的消融支持什么范围
先看官方原图的读图说明。该图是单批精确率召回曲线，左右分别为训练前和训练后，横轴召回率纵轴精确率，图例为不同丢弃率及其对应的全局代理损失，训练前各曲线在高召回段迅速下跌，训练后曲线整体抬高。
看图路径： 1. 先看左右两面板分别对应训练前与训练后，横轴为召回率纵轴为精确率；2. 再看图例中不同丢弃率曲线在低精确尾部的分叉位置；3. 最后比较训练后高召回段曲线是否仍贴近顶部
论文图 1。原论文 Figure 2:：“Analysis of negative dropping. Precision–Recall curve computed on a single training batch using DINOv3 before (left) and after (right) training with varying percentages of lowest…”。
图后解释可见内容与消融含义：丢弃少量最小负样本只改变低精确尾部，去掉最多 90% 仍与完整损失接近。温度消融显示温度大于 0.1 时性能很低，降到 0.01 以下后达到峰值并进入平台。下面两张表把不同丢弃配置分开，避免把大批的好处算到更激进的丢弃上。表前说明比较问题：同一商品检索任务同一主干，只变丢弃率与批大小，指标为全局精度、逐查询平均精度和首位召回，方向越大越好。
| 丢弃率 | 批大小 | 剩余负相似度数 | 全局精度 | 逐查询平均精度 | 首位召回 |
|---|---|---|---|---|---|
| 0% | 1,000 | 1M | 58.9 | 72.9 | 86.8 |
| 90% | 1,000 | 100k | 58.9 | 72.9 | 86.7 |
| 99% | 1,000 | 10k | 59.0 | 72.8 | 86.6 |
| 99.9% | 1,000 | 1k | 58.0 | 71.9 | 86.1 |
表后解释第一组结论：去掉最多 99.9% 的负样本、把负样本数降低 3 个数量级，影响很小，批 1000 且丢弃 99.9% 时全局精度为 58.0。性能只在剩余负样本极少时才明显下降，说明仍需保留最少数目的难负样本。
| 丢弃率 | 批大小 | 剩余负相似度数 | 全局精度 | 逐查询平均精度 | 首位召回 |
|---|---|---|---|---|---|
| 99.99% | 1,000 | 100 | 48.0 | 62.5 | 81.0 |
| 99% | 7,000 | 500k | 60.0 | 72.8 | 87.1 |
| 99.999% | 1,000 | 10 | 40.4 | 56.1 | 77.5 |
| 99.9999% | 1,000 | 1 | 27.5 | 45.2 | 69.7 |
表后解释第二组结论与限制：48.0 对应的是 99.99% 丢弃，不是 99.9% 后的结果。批 7000 且全局精度 60.0 时对应的是 99% 丢弃，不能暗示 7000 来自同一 99.9% 配置。把省下的内存用于增大批还能进一步提高，跨模态小批下优势更大，但最优温度与丢弃率仍需按验证集重调，不能直接照搬。
哪些结论还受主干与事后校正的限制
论文的分解把全局精度写成上限与效率的乘积，差分可分成排序项与一致性项，有助于区分排序变好还是尺度变好。
\[\Delta\text{gAP}\;=\;\underbrace{\overline{\mathrm{eff}}\,\Delta C}_{\text{ranking}}\;+\;\underbrace{\overline{C}\,\Delta\mathrm{eff}}_{\text{consistency}},\]但该上限允许对每行做独立单调变换，包含非对称矩阵，而归一化向量做不到任意非对称，因此是上界而非可达值。不同主干上的结论也有边界。在实例检索的 3 个主干重复实验中，事后分数归一化只在其中两个主干上提高去掉干扰后的全局精度，而在有干扰的全局精度上对任何损失和任何主干都不提高。也就是说事后校正只在无干扰时有帮助，不能作为所有任务的通用解法。
论文也承认全局损失的 2 次代价仍需丢弃缓解，且已实现的一致性仍远低于理论上限，留给可学习的归一化等互补方法。此外，完整基准上有少数数据集微调本身收益很小，预训练模型仍有竞争力，结构化小任务接近随机水平，这些未胜出项说明全局损失不是在所有识别指标上都占优。
复现第一步应准备什么输入与代码
复现时先不要改编码器，只把损失换成全局代理。第一步是准备批相似度矩阵和二值标签矩阵。图文对齐中用全局批的图文相似度，对角为正。单模态度量学习中用图像两两相似度并去掉对角，同类为正。自监督中用同一批两种增强视图的查询键相似度，对角为正。
实现上用 sigmoid 近似阶跃，温度可从千分之一附近起调，图文与自监督原文分别用了千分之一、0.2 和 0.05 等不同取值，需按验证集选择。批内要用分布式收集得到全局批相似度。大批时先按最小负相似度丢弃九成到 99% 起步，保留全部正样本，再把省下的内存用于增大批。评价要同时报告逐查询平均精度和全局精度，以及单阈值下的分数和精度 0.9 时的召回，否则看不到跨查询收益。
资源方面，原文图文微调用 2 卡训练 5 个周期，度量学习在单卡上用 4000 批和 95% 丢弃，主干和数据不同时显存与时间都要重估。
什么时候值得尝试还缺哪项验证
当系统必须用一个阈值同时服务所有查询时值得尝试，例如拷贝检测、实例识别、动物重识别和跨模态检索的全局工作点。当只有逐查询排序指标且下游会再学分类头时，收益可能被线性映射吸收，应同时用近邻投票检验。还需要补的验证是新模态和新批条件下的温度与丢弃率网格，以及干扰比例变化时全局精度的曲线，因为原文主要在固定划分和固定干扰构成下报告。
容易产生的误解是把逐查询平均精度高当成阈值通用，这是不对的，逐查询指标对每行单独单调变换不变，原文对逐查询代理的不变性是在温度趋零极限下成立，对比损失也只是对本方向逐查询偏置不变，不能扩大成任意变换都不变。另一个误解是丢弃越多越好，实际上丢到只剩极少数负样本后性能会明显下降。
论文没有提供新的开源仓库陈述，实验基于公开的图文、音频和度量学习代码库实现，是否可运行要按各任务仓库和数据许可分别确认，不能把提到第三方链接当成作者已开源。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses