📄 听者觉得是同一个人,模型也这么觉得吗:VIPBench 解读
英文题目:VIPBench: A Human-Aligned Benchmark for Voice Identity Perception in the Age of Voice Cloning
评分:8.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Xudong Tang:Department of Computer Science;Northwestern University
- Matthew Groh:Management and Organizations;Kellogg School of Management, Northwestern University
📌 核心摘要
说话人验证按录音元数据判定是否同一人,但听众感知并不完全服从元数据,尤其同人克隆常被听成异人,直接影响认证和防伪判断。论文先为一百位公众人物固定参考录音并配对同一录音不同片段、同人不同次录音、同人克隆、异人真实录音、异人克隆与双人混合语音得到九千八百个语音对,再交由一千二百九十位听众逐对判断是否同一人,输出每对判为相同的比例\(P(\mathrm{same})\)与多数票标签,共十二万四千八百七十六次判断。最后提取两段语音嵌入并输出其余弦相似度\(c\),再送入四个任务检验对\(P(\mathrm{same})\)的预测、对多数票的区分与校准、说话人对距离排序的一致性及真实录音拟合直线向合成语音的迁移。与用说话人编号或真假标签的说话人验证基准相比,VIPBench以感知比例为目标,并同时覆盖真实录音、克隆与八千一百个混合语音。在全部9800个语音对的连续预测任务中以Pearson相关系数\(r\)为指标时,有监督说话人模型resemblyzer对\(P(\mathrm{same})\)预测为0.656,高于自监督模型最高的0.510和弱监督Whisper的0.226,对应\(R^{2}\)为0.430,约为噪声上限的61%。在经说话人交叉验证选择阈值后于8884个无平票对的多数票任务中以多数票一致准确率为指标时,resemblyzer为0.790,高于自监督HuBERT的0.718。结论适用于美国英语公众人物访谈类录音,混合语音和跨合成器泛化尚未充分验证;原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源:https://huggingface.co/datasets/sendfuze/vipbench — 链接可访问(HTTP 200)
数据相关资源:https://huggingface.co/datasets/sendfuze/vipbench — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/datasets/sendfuze/vipbench/tree/main/samples — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
为什么说话人识别准还不够
银行声纹、手机助手和司法鉴定都在用自动说话人验证,目标是根据录音判断是不是本人。这类系统长期用元数据标签训练,也就是录音在客观上是谁 produced 的。
但人耳听到的身份并不等于客观来源。同一个人的不同录音可能被听成两个人,稍改基频等细节也会改变感知身份。克隆语音把这个问题放大:合成系统只用很短的参考音就能生成高保真克隆,它在元数据上属于被模仿者,可听者可能觉得那是另一个人。
如果银行系统只按元数据训练,它会放行那些听者明明觉得不像本人的克隆。一个与感知对齐的模型可以把这类克隆挑出来,作为元数据验证之外的第二层防线。本文要解决的正是如何大规模度量这种对齐。
术语小结与易误解点
P(same) 是听者投相同的比例,不是真相。元数据标签是客观来源,克隆按被模仿者算同人。余弦相似度是模型侧分数,越高表示嵌入越近。噪声上限是听者间一致决定的可解释方差上限,任务 1 最好为其 61% 意味着仍有约四成可解释方差未被抓住。
常见误解是把真伪检测当成身份感知。克隆可以被检测为合成,同时听起来不像目标人;也可以听起来像目标人而难以检测。本文只评价后者。另一个误解是把元数据等错误率低等同于更像人,本文显示组内排序两者分叉,resemblyzer 元数据差但感知最好。
元数据标签 × P(same): 元数据标签指按录音实际是谁制作的来定同人或不同人,克隆语音按被模仿者算同人;P(same) 指对同一对语音判断为相同的听者比例,是集体感知的度量。两者分工不同,前者回答客观来源是否相同,后者回答听起来是否像同一人,本文的核心矛盾正是克隆让两者经常不一致。
已有基准测的是什么
说话人验证基准如 VoxCeleb 系列有几十万到上千万条语音,按说话人身份评价等错误率和检测代价函数,但没有人类感知标签。深伪检测基准如 ASVspoof、WaveFake 等给每条语音标注真实或合成,用于训练真伪分类器,很少做成对比较,也不问听起来像谁。
感知音频方面最接近的是语音转换挑战赛,用众包的相似度打分评价转换系统,规模是几 1000 到 30000 条判断、8 到 12 个说话人。VoiceMorph 做了 21 人的自语音与克隆和连续变形研究,但没有可比的元数据标签。图像领域已有大规模人类判断来评价表征与感知的对齐,语音领域此前缺少同等规模的身份感知基准。
VIPBench 的定位是把成对身份判断框架保留下来,但把目标从元数据换成人类多数感知,并同时覆盖真实、克隆和混合 3 种刺激。
听者与元数据分歧有多大
论文招募 1290 名英语听者,对 9800 对语音给出 124876 次相同或不同的二选一判断。每对有一个固定参照录音和一个比较录音,比较录音分 6 类,细节见后文刺激表。目标量 P(same) 是判断为相同的人数占比,它不是谁 produced 的真相,而是集体听感。
在同人对中 29% 的回答是不同,在不同人对中 26% 的回答是相同。分歧最大的是同人克隆,41% 的回答是不同。按对计数,同人克隆中有 26% 的对多数人投了不同,另有 16% 打平。这说明克隆即使技术上逼真,也常常过不了人耳的身份关。
要读懂这种分歧,先看刺激分布与违背标签比例的对照。左侧看 P(same) 如何跨越元数据虚线,右侧看哪类柱子最高。
看图路径: 1. 先看左侧小提琴的纵轴是人类 P(same),对比虚线标出的元数据标签位置;2. 再看右侧柱状图中哪一类违背标签的比例最高并注意误差线;3. 对照左右两图看同人克隆的分布为何最宽
论文图 1。原论文 Figure 1::“Left. Distribution of P(same) for each stimulus type over all 1,290 listeners.”。
左图小提琴显示同录音不同片段集中在 0.9 附近,同人不同录音和同人克隆则从 0 到 1 铺开,不同人两类集中在低端,混合语音铺满全程。右图柱状显示同人克隆违背标签达 0.41,明显高于同人不同录音的 0.31 和两类不同人的 0.26 与 0.27。这张图帮助理解后文为什么模型在合成语音上更难迁移。
数据集如何构造出可比的六类语音对
100 位当代名人说话人按 5 个社会语音分组、2 个性别、2 个年龄段分成 20 格,每格 5 人。真实录音取自访谈播客,平均长 11.6 秒。每人一条固定参照录音,配 98 条比较录音。不同人比较只在同格内选,以控制口音和年龄相近带来的混淆。
克隆用 Cartesia Sonic 3 生成,克隆源就是对应真实对的比较录音。混合用同一系统的声音混合功能,把参照人与同格另 1 人的克隆声按权重 s 混合,s 是参照人占比。每对参照与他人组合随机抽 10 个 s 值,两条源录音共用,共 81 个混合,加 1 个锚点。另有 10 位新说话人、60 对、CosyVoice 2 生成的扩展子集用于稳健性检查。
说话人表征 × 余弦相似度: 说话人表征指从一段语音提取的定长嵌入向量,用来概括这段声音像谁;余弦相似度指两个向量夹角余弦,用来度量两段语音在嵌入空间有多接近。本文把余弦相似度直接当作模型的同人分数,再与听者给出相同判断的比例比较,因此表征负责刻画声音,余弦负责把两个表征变成可比较的成对分数。
下表说明 6 类比较录音各自测什么、规模和平均 P(same),它是后文 4 个任务的共同输入划分。
| Type | Pairs | Judgments | Mean P(same)P(\mathrm{same}) | Reliability |
|---|---|---|---|---|
| 1 | 100 | 3,676 | 0.91 | 0.59 |
| 2 | 400 | 15,988 | 0.69 | 0.87 |
| 3 | 400 | 4,024 | 0.59 | 0.58 |
| 4 | 400 | 15,675 | 0.26 | 0.85 |
| 5 | 400 | 4,027 | 0.27 | 0.52 |
| 6 | 8,100 | 81,486 | 0.38 | 0.66 |
表中可见真实对每对约有 39 个判断,克隆和混合约 10 个。类型 1 是同一录音不同片段,平均 P(same) 为 0.91,可视为相同回答的上限。类型 3 同人克隆平均只有 0.59,类型 4 和 5 不同人平均 0.26 和 0.27,类型 6 混合平均 0.38 且可靠性 0.66。这种不均衡决定了后文按说话人划分和重采样的必要性。
模型分数与人类分数如何变成可比较的量
每个模型对参照和比较录音各输出一个嵌入向量,成对分数是两向量的余弦相似度 c。听者侧分数是 P(same)。4 个任务都围绕 c 与 P(same) 的关系展开,但角度不同。
任务 1 看连续预测,用 Pearson 相关 r 和决定系数衡量 c 能解释多少 P(same) 方差,并除以噪声上限得到可解释方差占比。任务 2 看二值多数判决,用 ROC 曲线下面积评价排序,并用逻辑回归把 c 变成概率。任务 3 看说话人对的远近排序是否一致,任务 4 看在真实对上拟合的直线能否搬到合成对上。
Platt 校准 × 期望校准误差: Platt 校准指在余弦分数上再拟合一条逻辑回归,把分数映射成预测多数人回答相同的概率;期望校准误差指把预测概率分箱后比较平均预测与实际多数比例的加权差距。校准负责把排序分数变成可用概率,误差负责检验这个概率是否可信,两者组合才能判断模型既能排序又能量化把握。
概率映射用下式完成,其中 c 是余弦,alpha 和 beta 在训练折上拟合,sigma 是逻辑函数。
\[\hat{p}=\sigma(\alpha\cdot c+\beta),\qquad\sigma(z)=\frac{1}{1+e^{-z}},\]校准误差把预测概率分 10 个等量箱,比较每箱平均预测与实际多数为同的比例。
\[\mathrm{ECE}_{\mathrm{cal}}=\sum_{b=1}^{10}\frac{n_{b}}{N}\left|\bar{p}_{b}-\bar{y}_{b}\right|,\]其中 nb 是箱内对数,N 是总数,横线项分别是箱内平均预测和平均标签。原文还报告不做回归、直接拿 c 与 P(same) 比较的原始误差,用来说明 7 个模型原始余弦整体偏高的问题。
混合权重 s × 表征相异矩阵: 混合权重 s 指混合语音中参照说话人声音所占的比例,s 为 0 是另一人声音,为 1 是参照人声音;表征相异矩阵指对参照人与同组每个他人之间,用 1 减去平均 P(same) 或平均余弦得到的方向性距离表。前者提供连续可控的感知目标,后者检验模型与人是否在说话人对的远近排序上一致。
本研究训练了什么,又固定了什么
本文没有训练新的神经网络,11 个公开模型都不微调,直接提取嵌入。6 个是有监督说话人模型,用元数据说话人标签训练,包括 x-vector、ECAPA-TDNN、RawNet3、TitaNet、resemblyzer 和 WeSpeaker。4 个是自监督模型,包括 wav2vec 2.0、HuBERT、WavLM、XLS-R,一个是弱监督语音识别模型 Whisper。
需要拟合的只有评价过程中的少量参数:任务 2 的逻辑回归系数、自监督模型选哪一层、任务 4 的直线斜率和截距。拟合都用按说话人划分的 10 折交叉验证,每折留出 5 男 5 女共 10 位参照人,在九折上选参、在留出一折上打分,避免同一参照录音同时出现在训练和测试。
噪声上限 × 交叉验证: 噪声上限指用一半听者预测另一半听者所能达到的最好拟合,由听者间分歧决定,模型不可能系统性超过它;交叉验证指按说话人划分折数,在九折上选层或拟合参数再在留出的一折上评价。两者搭配的意义是先用上限说明人类自身的一致性,再用按人划分的验证保证模型分数不是记住特定说话人。
自监督模型每层取时间平均作为嵌入,逐层试与 P(same) 的相关再选最好层。Whisper 把每条录音补到 30 秒,其余模型用 16 kHz 单声道输入。扩展子集上不做任何拟合,直接用主集选出的层,以检验跨合成系统的泛化。
评价的四项任务与统计规则
任务 1 在全部 9800 对上算 r 和 R2,用 1000 次按对自助法给置信区间,两两比较用 2000 次自助并做错误发现率校正。任务 2 把 P(same) 大于 0.5 定为 1,否则为 0,在 8884 对非打平对上算 ROC 曲线下面积,校准误差在 9800 对上分 10 箱计算,打平对标签记为 0。
任务 3 只用不同人真实与克隆对,对每个有序对算听者相异度 1 减平均 P(same) 和模型相异度 1 减平均余弦,共 400 个方向性条目,再算 Spearman 相关并用 5000 次置换检验。任务 4 在 900 对真实对上拟合直线,搬到 8900 对合成对上算迁移 R2,并与只在合成对上拟合的上限比较,斜率比大于 1 说明合成高分段听者给分更保守,区间来自 2000 次按参照人重采样。
听者基线对至少做 10 次的 806 人算每人与其余人多数的一致率,模型则选阈值后算与全部人多数的一致率。公平性按性别和 5 个社会语音分组比较 r,组只有 20 人故不做显著性检验。下表列出 11 个模型的训练范式、目标、数据和维度,是理解后文分组比较的前提。
| Model | Type | Training objective | Training data | Dim |
|---|---|---|---|---|
| x-vector [25] | Supervised | Softmax | VoxCeleb 1 and 2 | 512 |
| ECAPA-TDNN [26] | Supervised | AAM-Softmax | VoxCeleb 1 and 2 | 192 |
| RawNet3 [27] | Supervised | AAM-Softmax | VoxCeleb 1 and 2 | 192 |
| TitaNet [28] | Supervised | AAM-Softmax | VoxCeleb 1 and 2, Fisher, Switchboard, LibriSpeech, NIST SRE | 192 |
| resemblyzer [29] | Supervised | GE2E | LibriSpeech, VoxCeleb 1 and 2 | 256 |
| WeSpeaker [30] | Supervised | AAM-Softmax | VoxCeleb 2 | 256 |
| wav2vec 2.0 [31] | SSL | Contrastive | LibriSpeech (960 hours) | 768 |
| HuBERT [32] | SSL | Masked prediction | LibriSpeech (960 hours) | 768 |
| WavLM [33] | SSL | Masked prediction, denoising | Libri-Light, GigaSpeech, VoxPopuli (94k hours) | 768 |
| XLS-R [34] | SSL | Contrastive | 436k hours in 128 languages | 1024 |
| Whisper [35] | Weakly supervised | Multitask speech recognition | 680k hours of web audio | 512 |
表中可见有监督模型多在 VoxCeleb 上用分类或度量损失训练,自监督用对比或掩码预测,Whisper 用多任务识别。维度从 192 到 1024 不等,但后文分数只用余弦,不直接比较维度大小。26 位说话人按名字也出现在 VoxCeleb,原文用组外 5580 对做了排除检查。
模型与人的整体对齐:谁更接近听者
任务 1 中 resemblyzer 最高 r 为 0.656,对应可解释方差的 61%,其他有监督在 0.597 到 0.646 之间,自监督在 0.458 到 0.510 之间,Whisper 只有 0.226。按参照人重采样时,有监督整体高于自监督、自监督高于 Whisper 的顺序在 1000 次中不变,但组内前 3 名之间差异不显著。 先看层选择如何影响自监督的结论,再看整体条形与组间差距。
看图路径: 1. 看横轴归一化层索引从 0 到 1 的变化方向;2. 比较四条自监督曲线最高点都在最左侧的事实;3. 对照顶部虚线看自监督最好层与有监督最好的差距
论文图 5。原论文 Figure 5::“Pearson r between the cosine similarity at a layer and P(same) for the four SSL models.”。
该图横轴是归一化层索引,纵轴是该层余弦与人类 P(same) 的相关。4 条曲线都在第 0 或 1 层最高,越往后越低,XLS-R 在最后一层掉到 0.03 附近。这说明默认用最后一层会严重低估自监督的说话人信息,后文都用交叉验证选出的浅层。
看图路径: 1. 按颜色区分有监督、自监督和弱监督三组条形高度;2. 注意误差线是否让组间差距消失;3. 找出组内排序与元数据等错误率排序不一致的例子
论文图 6。原论文 Figure 6::“Pearson r between the cosine similarity of each model and P(same) on all pairs, with 95% bootstrap confidence intervals (1,000 resamples of the pairs).”。
条形图显示蓝色有监督明显高于橙色自监督,紫色 Whisper 最低,误差线不改变分组顺序。但组内差距小,且元数据等错误率低于 2% 的前 4 名在感知上并不拉开,与等错误率 12% 的 resemblyzer 相当。这是感知目标与元数据目标排序在组内分叉的第一个证据。
下表用可运行的余弦基线给出关键数字,保留组间差距与组内范围。
| 模型类型 | 代表模型 | 与 P(same) 的 r | 多数判决 AUC |
|---|---|---|---|
| 有监督 | resemblyzer | 0.656 | 0.872 |
| 有监督 | ECAPA-TDNN | 0.646 | 0.862 |
| 自监督 | WavLM | 0.510 | 0.790 |
| 弱监督 | Whisper | 0.226 | 0.651 |
表中 r 越大表示连续预测越准,AUC 越大表示区分多数同与不同越好,方向都是越高越好。resemblyzer 同时是两列最高,但有监督内部 r 只差 0.06,而与自监督最好差约 0.15。Whisper 两项都垫底,说明识别训练的表征不保留身份感知。结论只在主集 9800 对和当前拟合方式下成立,换等权重或只看真实对时排序略有波动。
校准与说话人对排序:多数判决能否变成概率
任务 2 中,有监督 AUC 为 0.851 到 0.872,自监督为 0.765 到 0.790。原始余弦有 7 个模型系统性偏高,原始期望校准误差超过 0.27。经逻辑回归后除 x-vector 为 0.136 外其余都不超过 0.061,可靠性图基本贴着对角线,x-vector 明显偏离。
这意味着只要做 1 次简单的单变量校准,余弦就能变成可用的同人概率,不需要重新训练嵌入。但 x-vector 的形状与其他模型不同,校准后仍不可信,使用时要单独检查。
任务 3 的方向性矩阵上所有模型 Spearman 相关都显著大于 0。resemblyzer 为 0.542,x-vector 为 0.479,其余四有监督与四自监督都在 0.339 到 0.392 之间,有监督不再整体高于自监督,任务 1 第二的 ECAPA-TDNN 在这里最低。对称化后每模型最多升 0.07,排序几乎不变。
下表展示这种任务间排序变化,只选每类代表以避免冗长。
| Model | Directional | Symmetrized |
|---|---|---|
| resemblyzer | 0.542 | 0.615 |
| ECAPA-TDNN | 0.339 | 0.350 |
| WavLM | 0.392 | 0.436 |
| Whisper | 0.127 | 0.158 |
表中方向性列是 400 条目的原始结果,对称列是平均双向后的 200 条目结果。可见 resemblyzer 两列都最高,x-vector 第二,而 ECAPA-TDNN 从任务 1 前列掉到末尾。这提示连续值拟合好不等于说话人对远近排序好,评价时必须同时报告任务 1 和任务 3。
人类基线与扩展子集:模型超过了多少听者
806 名至少做 10 次的听者平均与他人多数一致率为 0.73。resemblyzer 用阈值后与全部人多数一致率为 0.79,超过 72.5% 的听者,其他有监督超过 64% 到 70% 的听者,自监督超过 33% 到 39%,Whisper 超过约 19%。模型与听者分歧的相关最多 0.34,说明模型还不能很好预知哪些对人类自己也犹豫。
稳健性方面,只用不熟悉说话人的判断重算,任务 1 排序不变,最好仍达噪声上限的 63%。去掉最活跃的 10 或 20 名听者排序也不变。CosyVoice 2 扩展子集上主集与子集排序的秩相关为 0.73,但子集只有 60 对 10 人,区间很宽,每有监督高于每自监督高于 Whisper 只在约半数重采样中同时成立。
这些检查支持主结论不是由熟悉度或少数多产听者驱动,但扩展子集太小,只能看大差异,不能用于细排名。
从真实到合成的迁移为何系统性失效
任务 4 把真实对上拟合的直线搬到合成对上,所有模型的迁移 R2 都低于只在合成对上拟合的上限,差距在有监督为 0.07 到 0.17。斜率比全部大于 1,校正后依然显著,说明合成对中余弦很高时,听者给相同判断的比例低于真实直线预测。
换句话说,模型觉得很像的合成语音,人耳会打折扣。这种打折在弱监督最严重,Whisper 迁移 R2 为负,自监督三家区间包含 0,只有 WavLM 勉强为正。有监督中 resemblyzer 迁移 0.297 仍是最高,但也只达到其上限 0.379 的约 80%。
下表给出代表模型的迁移与上限差距及斜率比,区间来自按参照人重采样。
| Model | Roracle2−Rtransfer2R^{2}{\mathrm{oracle}}-R^{2}{\mathrm{transfer}} | β1real−β1synth\beta_{1}^{\mathrm{real}}-\beta_{1}^{\mathrm{synth}} |
|---|---|---|
| resemblyzer | 0.082 [0.056, 0.116] | 0.56 [0.43, 0.69] |
| x-vector | 0.171 [0.127, 0.230] | 4.14 [3.40, 4.85] |
| WavLM | 0.092 [0.057, 0.144] | 0.63 [0.49, 0.78] |
| Whisper | 0.191 [0.147, 0.318] | 12.00 [1.76, 26.20] |
表中第一数字列是真实直线搬到合成上的解释方差,第二列是合成上重拟合的上限,第三列是真实斜率除以合成斜率。斜率比大于 1 且区间不含 1,支持合成需要更陡或更保守的映射。代价是该结论主集克隆都来自同一商业系统,幅度可能随系统而变,60 对的 CosyVoice 2 子集只能确认方向不能定量。
结论在什么条件下才成立
说话人只有 100 位当代美国英语名人,录音来自访谈播客,不覆盖其他语言、口音和录音条件,也无法比较名人与普通人的感知差异。主集克隆和混合都来自单一商业系统,任务 4 斜率比的具体数值可能随系统变化。
每对约 10 到 40 个判断,没有同一听者重复判断同一对,无法估计个体重测信度,只能用不同源录音的同权重混合做近似。公平性按组比较时每组 20 人,原文明确不做差异检验,只能说最高与最低组差 0.11 到 0.17 且 10 个模型最低组相同。
元数据重叠方面 26 人也在 VoxCeleb,排除后有监督平均仍高于自监督 0.166,说明分组差距不是单纯记住训练说话人。但这不等于部署保证,真实银行场景还有信道、年龄和欺诈适配问题未测。
复现第一步做什么,需要哪些文件
作者资源当前可用,数据集在 Hugging Face 的 sendfuze/vipbench,含音频、个体判断、11 个模型的嵌入和每层嵌入,还有数据表和可运行分析笔记本。样本含 5 人 6 类约 290 MB,提取脚本和复现脚本在同一仓库,分析在 released 嵌入上约 10 分钟可跑完。
复现时先按说话人名单用固定种子划分 10 折,再对自监督选层、对任务 2 拟合逻辑回归、对任务 4 拟合直线,全部在训练折上做。不要默认用最后一层,也不要在全集上选阈值再报准确率。报告时同时给出任务 1 到任务 4,真实与合成拆开,并给出按参照人重采样的区间。
本解读中结果数字来自论文正文与附录表格,复现应以仓库中刺激表、判断表和嵌入文件为准,音频最短有 0.09 秒的极端,需检查极短比较录音的处理。
什么时候值得尝试,还缺哪项验证
当你的系统需要预测人耳是否觉得克隆像本人,而不只是判断真伪或比对元数据身份时,值得用 VIPBench 检验。特别是银行验证、名人声音授权等场景,可以先拿有监督嵌入加 Platt 校准做基线,再看合成段是否需要单独校准。
直接用本文余弦加阈值时,记得真实上定的阈值会高估合成的相同概率,需要在合成上重定。做自监督研究时务必交叉验证选浅层,最后一层在 XLS-R 上几乎无相关。
还缺的验证是用听者判断直接训练说话人模型,看能否突破 61% 的上限;以及在更多合成系统、更多语言和普通人声音上重复任务 4,确认斜率比的普适幅度。在此之前,不要把元数据等错误率低于 2% 当成感知对齐的保证,也不要把单次校准后的概率当成不确定性的完整度量。
📎 论文与评分元数据
排名:前25% | 文档类型:数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses


