📄 输入没说清时,不确定性从哪里来:规格、残余与模型的三项分解
英文题目:Specification-Aware Predictive Uncertainty Decomposition
评分:6.2/10 | 创新 1.5/2 | 技术严谨 1.3/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5
👥 作者与机构
- Roman Vashurin:MBZUAI
- Mikhail Seleznyov:AXXX;S-NLP
- Assel Yermekova:Huawei Technologies Ltd.
- Fedor Chernogorskii:MBZUAI
- Danila Zykov:HSE
- Elena Tutubalina:HSE
- Alexander Panchenko:AXXX;S-NLP
- Preslav Nakov:MBZUAI
- Nikita Kotelevskii:MBZUAI
- Maxim Panov:MBZUAI
📌 核心摘要
读者面对的是观测输入 x 只部分描述用户真实意图的问题,输出是答案的概率分布,难点在于原有偶然与认知二分无法判断补充信息能否降低风险。论文设定未观测意图 z 与答案 y 的联合过程,用期望损失度量风险,把贝叶斯风险再拆成澄清带来的期望下降与澄清后剩余风险,加上模型与真分布差距的超额风险。估计时用意图生成模型提供可能的 z 样本,用集成成员代表参数后验样本,经跨打分与语义聚类得到三个分量。相对已有澄清集成工作,新分解保留了意图已知时结果仍随机的剩余风险,并把认知项单独保留。文本问答错误检测中剩余项在 Gemma E2B 上达到 AUROC 0.7285,超过规格项 0.5627;视觉问答欠明确检测中规格项在 VQS 上达到 0.6614,超过总量 0.5486。结论适用于输出空间在澄清前后不变、且 x 在给定 z 后不再提供额外信息的任务,意图生成器偏差与集成成本是主要限制。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
大模型为什么要在回答前判断输入是否说清了
这篇论文研究的是问答和视觉问答这类生成任务。输入是用户给出的提示、段落加问题、被遮挡的图像或被静音的语音,输出是模型给出的答案。读者需要先理解,这里的不确定性不是模型输出的一个装饰分数,而是对期望损失的度量:如果预期在当前输入上损失很大,就说预测不确定。
大模型与传统分类器的一个区别是用户可以不重新训练就补充信息。例如问谁赢了比赛,模型可以直接猜,也可以先问是哪场比赛。第一种做法把含糊一起猜了,第二种做法先把输入补完整。论文要解决的就是如何量化补完整输入到底能带来多少收益,并把它与其他原因的不确定性分开,否则实践者不知道该追问、该改进模型还是该直接弃答。
已有分解为什么没有回答澄清有没有用
经典的信息论分解把预测不确定性分成偶然不确定性和认知不确定性。偶然部分是在给定输入表示下不可约的,常用给定参数时预测的期望熵估计;认知部分是模型参数未知带来的,可用预测与参数的互信息估计。对自回归生成也有 token 级和序列级的推广,但输入表示都是固定的。
另有一些工作用澄清后的预测差异度量含糊,例如输入澄清集成和基于 Bregman 信息的推广。它们把跨澄清的变化当作偶然不确定性,把澄清后剩下的熵当作认知不确定性。论文指出这种命名在只有单个固定模型时容易误导:即使模型和澄清分布都完美,只要给定完整意图后答案仍随机,剩下的熵也不是认知不确定性。正确的做法是承认单点后验表达不了参数不确定性,而不是把残余风险改称为认知。
观测输入与不可见意图如何构成预测问题
论文用 x 表示观测到的不完整输入,用 z 星表示用户心中真实但不可见的完整意图。给定同一个 x,可能对应多个 z,例如同一个谁赢了比赛可以指不同赛事,同一张被遮挡的桌子照片可以补出杯子或花瓶。条件分布描述了 z 星可能取哪些值。
为使澄清前后风险可比,论文做了 3 个建模假设:澄清不改变输出空间,例如分类类别集合不变;一旦知道 z,x 不再提供关于答案的额外信息;真实过程可以写成先从意图分布抽 z,再从给定 z 的答案分布抽答案。下面这张示意图把 1 对多的关系画得很直观,上半是文本,下半是图像,左侧是观测,右侧是可能的完整意图。
观测输入 × 意图: 观测输入是用户实际给出的不完整表示,意图是用户心中完整但不可见的目标输入,二者通过条件分布联系;观测输入决定当前能做的最优预测,意图决定澄清后能做的最优预测,比较两者风险才能算出澄清的期望收益。
读图时先确认左侧到右侧是 1 对多,再体会预测困难来自不知道右侧哪一个才是真实意图。
看图路径: 1. 先看左侧观测输入框,再看右侧多个意图框,确认一对多的对应关系;2. 对比文本行与图像行,理解缺失信息在不同模态的表现;3. 注意意图编号,思考预测前不知道真实编号带来的风险
论文图 1。原论文 Figure 1::“Examples of observed inputs x (the ones provided by users) and possible values of the unobserved intent z.”。
这张图确实可见左侧一个观测框对应右侧多个意图框,文本侧有 3 个具体问题,图像侧有两个补全结果。它帮助理解后文为什么要对意图求期望:因为在回答时刻只能看到左侧,不能看到右侧的真实选择。
三项分解的整体思路是什么
论文把在 x 层面用最优预测能达到的最小风险称为贝叶斯风险,把当前预测器与它的差距称为超额风险。前者对应偶然,后者对应认知。关键创新是把贝叶斯风险再拆成两块:一块是知道意图后期望能减少的风险,称为规格不确定性;另一块是知道意图后仍然剩下的平均风险,称为残余偶然不确定性。
这样总风险就有三项:残余偶然加规格加认知。如果 x 已经完全决定意图,规格项为零,分解退化为原来的两项分解。在对数损失下,这正好对应把标准分解中的偶然项继续拆开,所以标准分解的总量不变,只是原来混在一起的偶然部分被打开了。
规格不确定性 × 残余偶然不确定性: 两者共同组成原来在观测输入层面定义的贝叶斯风险,规格不确定性是揭示意图后期望减少的那部分风险,对应是否值得追问,残余偶然不确定性是揭示意图后仍然剩下的平均风险,对应即使问清也只能弃答的风险,分开后行动含义才不混淆。
从行动看,三项各有对应动作:澄清减少规格项,改进模型减少认知项,残余项两种动作都减不掉,只能弃答。这就是论文反复强调的分工。
风险、贝叶斯风险与意图上的拆分如何计算
论文用恰当评分规则度量预测质量,这类损失的特点是用真实分布预测时期望损失最小。先定义预测器在真实分布下的期望损失为风险,再把它写成贝叶斯风险与超额风险之和。在凸函数表示下,贝叶斯风险是负的凸函数值,超额风险是对应的 Bregman 散度。
真实过程满足给定意图后观测与答案条件独立,因此观测层面的预测分布是各意图分布的平均。把贝叶斯风险在这个平均分布上展开,就得到残余项与规格项之和,规格项恰好是意图分布与平均分布之间的平均散度,也就是澄清前后期望贝叶斯风险之差。
\[p(y,z\mid x)=p(y\mid z)\,p(z\mid x).\]该式说明真实过程被假设为意图分布与给定意图答案分布的乘积,这是后文对意图求期望的概率基础。
\[R(p,q)=R_{b}(p)+R_{\mathrm{exc}}(p~\|~q)=-G(p)+D_{G}(p~\|~q),\]该式把总风险写成贝叶斯风险与超额风险之和,分别对应偶然与认知的来源。
\[R(p,q)=\overbrace{\underbrace{\mathbb{E}_{Z\sim p(z\mid x)}[-G(p_{Z})]}_{\text{residual aleatoric}}+\underbrace{\mathbb{E}_{Z\sim p(z\mid x)}[D_{G}(p_{Z}~\|~p)]}_{\text{specification}}}^{-G(p)}+\underbrace{D_{G}(p~\|~q)}_{\text{epistemic}}.\]该式是核心的三项分解,贝叶斯风险被进一步打开为残余偶然与规格两项,认知项保持为预测器与真实分布的差距。
贝叶斯风险 × 超额风险: 贝叶斯风险是用真实分布预测时的最小期望损失,不随模型改进而改变,属于偶然部分;超额风险是当前预测器与最优预测的差距,可通过改进模型减小,属于认知部分;论文先做这一层拆分,再把贝叶斯风险继续按意图拆成两项。
理解这组公式时,先分清哪个量依赖真实过程、哪个量依赖当前预测器,再看期望是对意图还是对参数求的,就不会把规格项误当成模型分歧。
贝叶斯近似把未知分布换成什么可算量
真实的意图分布和答案分布都未知,论文用贝叶斯模型近似。模型以参数和意图为潜变量,联合后验描述它们的不确定性。把真实分布换成每个参数样本对应的候选过程,把预测器换成后验预测分布,再对参数求平均,就得到三项的估计。
在对数损失下,估计变成熵与互信息的链式法则:总熵等于给定意图和参数的条件熵,加上给定参数时答案与意图的互信息,再加上答案与参数的互信息。三项依次命名为残余、规格和认知,总和记为总不确定性。论文还讨论了其他近似方式和 Brier 分数、零一损失下的形式,但正文实验主要用对数损失下的语义熵版本。
\[-G(q)=\underbrace{-\mathbb{E}_{Z,\Theta}[G(q_{Z,\Theta})]}_{\text{residual aleatoric}}+\underbrace{\mathbb{E}_{Z,\Theta}[D_{G}(q_{Z,\Theta}~\|~q_{\Theta})]}_{\text{specification}}+\underbrace{\mathbb{E}_{\Theta}[D_{G}(q_{\Theta}~\|~q)]}_{\text{epistemic}}.\]该式给出三项的贝叶斯估计形式,期望同时对意图样本和参数样本求平均,实际计算时用澄清样本和集成成员代替。
论文特别说明,若固定单个模型,分解退化为前人澄清集成的形式,但前人把残余项称为认知是不准确的。只有当答案是意图的确定性函数时,残余项才为零,此时前人的命名才成立。
没有训练新大模型时实际计算了什么
这篇论文没有从零训练大语言模型,训练只出现在文本问答的集成构造上。作者在 AmbigQA 上用正交微调对 Gemma E2B 和 E4B 各微调 5 个模型,只用无歧义和已澄清的问题作监督,块大小、学习率和优化器设置在附录给出。视觉和音频实验直接用现成的多模态和分类集成,不做任务微调。
澄清 × 集成: 澄清是外部生成模型对缺失意图的多种假设,用于近似意图分布;集成是多个回答模型对参数后验的样本,用于近似认知不确定性;前者提供横向的输入变化轴,后者提供纵向的模型变化轴,两轴交叉才能同时估计三项。
实际估计过程分为澄清采样和集成打分两路。澄清路由外部生成模型产生,例如文本用大语言模型改写问题,图像用修复模型补全遮挡,音频用生成模型补全静音段;集成路由多个回答模型对同一组澄清分别采样答案,再交叉打分形成共享候选池。语义熵先用自然语言推理模型把同义答案聚类,再在类级别算熵,避免字面差异虚增不确定性。
实验用什么数据和指标比较三项的分工
文本用 CoQAR-U 和 AmbigQA。CoQAR-U 把段落中关键句删掉构造欠规格输入,原文作对照,每种输入采样 5 个澄清;AmbigQA 把多解释问题当欠规格,单解释当良规格。视觉用 VQS 和 ImageNet 构造的问答,遮挡 10% 与 30% 作欠规格对比,每种遮挡生成 5 个修复。音频把 CoQAR-U 转成语音,同样比较规格项的作用。
语义熵 × BALD: 语义熵把字面不同但含义相同的答案先聚类再算熵,避免同义改写虚增不确定性,是本文实验的主要不确定性估计器;BALD 是标准的信息论分解,把总熵拆成期望熵与互信息,本文用它作对照,说明不拆出规格项时总量会掩盖澄清信号。
评价分两类任务:欠规格检测把更缺信息的输入当正类,看哪个不确定性分数更能挑出来;分布内错误检测把集成答错的样本当正类,看哪个分数更能预警错误。指标都是 AUROC,越大表示排序能力越强。附录还有图像分类和作曲家分类的补充实验,用于检验认知项在分布外检测中的作用,但主结论仍来自问答实验。
文本问答中哪一项能发现输入没说清
先看欠规格检测问题:在相同模型和估计器下,规格、残余、认知和总量谁更能区分损坏与完整输入。下表比较文本问答在语义熵下的欠规格检测 AUROC,CoQAR-U 用 1000 对损坏与未损坏配对、以损坏为正类,AmbigQA 用 1141 个含糊问题为正类、830 个无歧义问题为负类,共 1971 个问题。
| Gemma E2B | Gemma E2B | Gemma E4B | Gemma E4B | Heterogeneous | Heterogeneous | |
|---|---|---|---|---|---|---|
| Method | CoQAR-U | AmbigQA | CoQAR-U | AmbigQA | CoQAR-U | AmbigQA |
| SEAres | 0.5373 | 0.5102 | 0.5760 | 0.5071 | 0.5404 | 0.5350 |
| SEAepi | 0.5213 | 0.5442 | 0.5303 | 0.5461 | 0.5232 | 0.4396 |
| SEAspec | 0.7807 | 0.6575 | 0.7709 | 0.6678 | 0.7873 | 0.6017 |
| SEAtotal | 0.7365 | 0.5169 | 0.7614 | 0.5164 | 0.6593 | 0.5250 |
| BALD (without clarifications) | ||||||
| BALDalea | 0.7356 | 0.5011 | 0.7607 | 0.4858 | 0.7706 | 0.5073 |
| BALDepi | 0.6002 | 0.5442 | 0.6081 | 0.5348 | 0.7109 | 0.4535 |
| BALDtotal | 0.7340 | 0.5015 | 0.7608 | 0.4865 | 0.7804 | 0.5003 |
| BALD (clarification posterior) | ||||||
| BALDalea | 0.7413 | 0.5169 | 0.7627 | 0.5162 | 0.6721 | 0.5383 |
| BALDepi | 0.5213 | 0.5442 | 0.5303 | 0.5461 | 0.5232 | 0.4396 |
| BALDtotal | 0.7365 | 0.5169 | 0.7614 | 0.5164 | 0.6593 | 0.5250 |
本表比较的是同一语义熵估计下三项分量与总量对欠规格输入的区分能力。实验按先构造输入、再生成澄清、最后用集成打分的顺序执行:CoQAR-U 从段落中机械删除与答案依据重叠的整句得到损坏段落,原段落为完整对照;AmbigQA 按单解释与多解释划分完整与含糊;每个输入用 GPT-5.6 Luna 抽取 5 个澄清,同一组澄清被集成内所有成员共享打分,从而把跨澄清分歧与跨模型分歧分开。
结果呈现明确分工:规格项在 3 个集成上都是欠规格检测最强,例如异构集成在 CoQAR-U 上达到 0.7873 左右,而总量和其他两项明显更低;在 AmbigQA 上规格项也在 0.60 附近领先,但绝对值低于 CoQAR-U,说明开放域歧义比机械删句更难刻画。总量在 CoQAR-U 上也不低,是因为残余项量级大把它抬高了,不能据此说总量理解了澄清收益。残余与认知两项在两数据集上大多接近 0.50 附近,基本不提供请求澄清的信号。
限制是损坏标记只记录构造操作,不保证删后真的不可答,生成器假设的意图分布也可能与真实分布有偏;澄清质量依赖外部生成器,若生成器多样性不足会低估规格项,若给出不合理澄清又会高估它。
文本问答中哪一项更能预警答错
再看分布内错误检测问题:固定用原始输入的集成答案是否错误作标签,比较各分数的预警能力。下表只用未损坏的 CoQAR-U 和无歧义的 AmbigQA,避免把欠规格和答错混在一起。
| Gemma E2B | Gemma E2B | Gemma E4B | Gemma E4B | Heterogeneous | Heterogeneous | |
|---|---|---|---|---|---|---|
| Method | CoQAR-U | AmbigQA | CoQAR-U | AmbigQA | CoQAR-U | AmbigQA |
| SEAres | 0.7285 | 0.8103 | 0.7535 | 0.7739 | 0.7077 | 0.7197 |
| SEAepi | 0.6573 | 0.6827 | 0.6145 | 0.6797 | 0.6730 | 0.5431 |
| SEAspec | 0.5627 | 0.5279 | 0.6600 | 0.5544 | 0.5456 | 0.7234 |
| SEAtotal | 0.7561 | 0.8062 | 0.7974 | 0.7710 | 0.7323 | 0.7412 |
| BALD (without clarifications) | ||||||
| BALDalea | 0.7665 | 0.8439 | 0.7800 | 0.8364 | 0.7438 | 0.7513 |
| BALDepi | 0.6628 | 0.6334 | 0.5326 | 0.6967 | 0.7214 | 0.5775 |
| BALDtotal | 0.7689 | 0.8435 | 0.7813 | 0.8364 | 0.7515 | 0.7692 |
| BALD (clarification posterior) | ||||||
| BALDalea | 0.7536 | 0.8062 | 0.7957 | 0.7709 | 0.7308 | 0.7267 |
| BALDepi | 0.6573 | 0.6827 | 0.6145 | 0.6797 | 0.6730 | 0.5431 |
| BALDtotal | 0.7561 | 0.8062 | 0.7974 | 0.7710 | 0.7323 | 0.7412 |
表后解释要指出角色互换。此时残余项在多数列上是三项中最强,例如 Gemma E2B 在 AmbigQA 无歧义子集上残余项约 0.8103,而规格项接近 0.53,几乎没有预警能力。这符合理论预期:输入已说清时错误主要来自答案本身的随机性,而不是缺失信息。总量表现好是因为它包含了残余项,不是规格项的功劳。尚未评测的是欠规格输入上的错误预警,论文没有把两类标签交叉报告,不能推广到损坏输入上。
视觉问答和遮挡比例如何验证规格项的语义
视觉部分同时回答两个问题:30% 遮挡相对 10% 是否更欠规格,以及在每种遮挡下谁更能预警答错。下表是异构集成在 VQS 和 ImageNet 上的结果,欠规格检测以 30% 为正类,错误检测以集成答错为正类。
| Underspecification | Underspecification | ID error | ID error | ID error | ID error | |
|---|---|---|---|---|---|---|
| VQS | ImageNet | VQS | VQS | ImageNet | ImageNet | |
| Method | 30% vs 10% | 30% vs 10% | 10% | 30% | 10% | 30% |
| SEAresidual | 0.5422 | 0.5289 | 0.8217 | 0.7850 | 0.7448 | 0.7715 |
| SEAepi | 0.5073 | 0.4907 | 0.7830 | 0.7521 | 0.7275 | 0.7334 |
| SEAspec | 0.6614 | 0.6903 | 0.7256 | 0.7006 | 0.5992 | 0.7172 |
| SEAtotal | 0.5486 | 0.5452 | 0.8289 | 0.7900 | 0.7458 | 0.7756 |
| BALD (without clarifications) | ||||||
| BALDalea | 0.5363 | 0.5768 | 0.8194 | 0.8087 | 0.7151 | 0.7653 |
| BALDepi | 0.5223 | 0.5704 | 0.7968 | 0.7440 | 0.7193 | 0.7264 |
| BALDtotal | 0.5332 | 0.5806 | 0.8311 | 0.8019 | 0.7263 | 0.7742 |
| BALD (clarification posterior) | ||||||
| BALDalea | 0.5618 | 0.5578 | 0.8268 | 0.7871 | 0.7393 | 0.7753 |
| BALDepi | 0.5073 | 0.4907 | 0.7830 | 0.7521 | 0.7275 | 0.7334 |
| BALDtotal | 0.5486 | 0.5452 | 0.8289 | 0.7900 | 0.7458 | 0.7756 |
表后解释要分开 2 个任务。欠规格检测中规格项在两个数据集上都领先,约 0.66 和 0.69,而残余和认知接近 0.5,说明只有规格项捕捉到遮挡增加;错误检测中总量和残余项领先,规格项明显落后,角色再次互换。限制是随机方块遮挡只是缺失信息的代理,不保证遮住答案相关区域,所以欠规格 AUROC 整体低于文本删句实验。
遮挡比例的单调性由下图进一步说明。读图前先明确任务是看 SEA 实线中规格份额是否随遮挡增加而增加,而不是看总量绝对值或 BALD 虚线的走向。
看图路径: 1. 先看左图每组三根柱子的堆叠构成,找出红色规格段的变化;2. 再看柱顶红色百分比随遮挡比例的走向;3. 最后看右图 SEA 实线三行份额变化,确认只有规格实线单调上升
论文图 2。原论文 Figure 2::“Uncertainty decomposition of the heterogeneous ensemble on ImageNet with the semantic entropy estimator.”。
左图可见每组三根柱子中只有 SEA 的红色段随 10% 到 50% 明显变高,顶部红色标注从 4.7% 升到 16.0%;右图按 SEA 实线看,只有规格份额随遮挡面积单调上升,SEA 的残余与认知份额下降或持平,BALD 虚线的变化与此不同,不能把该结论扩大到虚线。这支持规格项吸收了新增不确定性的解释,但它依赖修复模型和语义熵估计,不能直接读成真实风险的精确数值。
音频问答是否复现同样的分工
音频实验把 CoQAR-U 转成语音,保留文本问题,检验规格项是否仍是欠规格最强信号。下表比较规格、总量、偶然和认知在有无澄清后验下的表现。
| SEA | BALD (without clarification) | BALD (clarification posterior) | |
|---|---|---|---|
| Total | 0.5926 | 0.7427 | 0.5926 |
| Aleatoric | 0.5170 | 0.7229 | 0.5851 |
| Epistemic | 0.4937 | 0.6108 | 0.4937 |
| Specification | 0.7739 | – | – |
表后解释要说明对照的意义。规格项约 0.7739,是欠规格检测最强,超过不用澄清的总量约 0.7427;而澄清后验的总量回落到约 0.5926,说明把澄清平均掉的总量会掩盖欠规格信号,必须单独取出规格项才能看到。限制是样本和生成链路与文本不完全一致,数字不能与前表直接比大小,只能看同一表内的排序。单模型消融在附录也显示规格项领先,但此时认知项为零,说明省掉集成仍能做欠规格检测,只是拿不到认知估计。
估计质量在什么条件下才成立
第一个限制是意图分布的近似。观测对只能确定平均分布,不能确定它的风险如何拆成两项,任何拆分都需要额外的意图模型。本文用大生成模型产生假设,若生成器多样性不足会低估规格项,若产生不合理假设会高估。论文用文本改写、直接修复等不同管线都得到规格项领先,才敢说信号不是某个生成器的偶然偏好,但这仍是经验稳健性,不是理论保证。
第二个限制是认知项的代价。它不能从单个预测分布算出,需要集成或辅助模型,集成把训练和推理成本乘以成员数,对大模型尤其重。单模型时认知估计为零,不代表模型没有认知不确定性,只是表达不出来。若只关心是否追问,可以只用单模型加澄清算规格项;若还要做分布外检测,就需要保留集成。
复现第一步要准备什么
复现先固定意图假设的来源和版本。文本需要冻结澄清生成器的提示、温度和 5 个澄清的采样,视觉需要冻结遮挡比例、修复模型版本和推理步数,音频需要冻结静音区间和补全模型,否则规格项的数值无法对比。论文称会公开自定义数据集和澄清样本,但当前证据未发现可验证的公开链接,不能写成已公开,只能按论文描述的管线重新生成。
其次固定集成和打分。文本异构集成用 4 个多模态模型,微调集成用 Gemma 系列;每个成员每个澄清采样 10 个答案,交叉打分形成共享池,再用双向蕴含聚类算语义熵。正确性判断用大模型作裁判,温度设为零,模板区分是否提供原文段落。附录的超参数和掩码构造细节是复现时必须照抄的部分,不要用自己的默认采样数替代。
什么时候值得尝试这种分解
当系统允许追问且追问成本低于答错成本时,值得先算规格项再决定是否直接回答。规格高意味着补信息期望收益大,应追问;残余高意味着问清也可能错,应考虑弃答或给出多候选;认知高意味着模型知识不足,应改进模型或转人工。把三者混成一个总分,就无法区分这 3 种动作。
还需要补的验证是追问的实际收益。当前实验只证明规格分数能排序欠规格输入,残余分数能排序分布内错误,没有证明按规格阈值追问后端到端正确率提升多少,也没有测量追问轮数、延迟和生成成本。下一步应在固定澄清预算下比较阈值策略与直接回答的得失,并报告不同生成器下的波动,才能把排序能力转成可部署的决策规则。
📎 论文与评分元数据
排名:前50% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses
