📄 EvalRx：从发现失败到可审计修复的智能体诊断流程
英文题目：EvalRx: Agentic Diagnosis and Verified Repair of Foundation Models
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Jiaqi Liu：机构信息未能在本次解析中与作者逐人可靠绑定
- Ruinan Jin：机构信息未能在本次解析中与作者逐人可靠绑定
- Yitong Tang：机构信息未能在本次解析中与作者逐人可靠绑定
- Beidi Zhao：机构信息未能在本次解析中与作者逐人可靠绑定
- Gexin Huang：机构信息未能在本次解析中与作者逐人可靠绑定
- Qiong Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
- Xiaoxiao Li：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者需要理解的对象是已经能作答的基础模型在特定条件下反复出错的行为，困难在于平均分只能提示存在失败，不能指出哪类样本集中出错、对应什么可操作的机制，以及改动是否真正泛化。处理过程是把固定评测集的逐样本对错变成可检验的诊断，再把得到支持的诊断变成限定层级的修复，并用未改动模型作对照决定是否保留修复。探测阶段把文本、图像、音频输入连同模型回答转成逐样本信号表，探索分析阶段检验信号与失败的关联并做多重性校正，诊断阶段把观察写成包含切片谓词、预期方向和检验方法的冻结合同，验证阶段按合同执行并区分支持、反驳与无法定论，修复阶段从侵入性最小的层级开始搜索并在密封确认集上做配对比较。相对已有工作，本文的差异在于不把发现的模式直接当作结论，也不把候选修复直接当作进步，而是要求诊断与修复各自通过预先冻结的统计门控，并保留版本谱系与停止原因。在语言轨道上使用 Claude Code 加 Opus-5 作编排智能体时，16 个模型与任务组合中有 14 个准确率提高，平均提高 4.7 个百分点。原文未披露训练、推理或部署成本。结论适用于文内冻结的评测集、服务配置与非参数修复上限，跨分布泛化与持续多轮累积改进尚未验证。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决什么部署问题
论文处理的对象是已经能跑的基础模型系统，包括大语言模型、视觉语言模型和音频语言模型。输入是带参考答案的有标签评测集，文本、图像、音频或多模态组合都可以作为输入的一部分，输出是模型回答是否正确的逐题记录。
作者区分了两类失败。第一类是模型本身能力不够，第二类是能力具备但在特定条件下没有稳定表现出来，例如对提示改写敏感、对某种视觉关系判断不稳、对长尾声音事件利用不足。本文只处理第二类可观察、可诊断、有时可修复的操作性失败模式。
部署中的关键缺口是，总分只能说模型失败了，不能说失败集中在哪里、背后机制是什么、某个修复是否在新样本上仍然成立。人工逐题看成本高，智能体直接看日志又容易给出流畅但缺乏统计支持的结论。论文的目标就是把从发现失败到验证修复的过程变成有证据门控的常规健康检查。
已有路线各停在哪一步
要理解本文的位置，需要把输入、产出和缺失环节放在同一维度上比较。下面这张原表把 3 类已有路线和 EvalRx 并列，比较问题是它们从什么出发、交付什么、还有哪一步留在体系之外。
| System family & examples | Starts with | What it delivers | What remains external |
|---|---|---|---|
| Auditing & slice discovery EvalTree, ErrorMap | Evaluation failures | Failure patterns or error slices | Held-out validation, repair, and post-repair audit |
| Propose-and-verify D3, VibeCheck, HypoGeniC | Candidate hypotheses | Tested hypotheses | Repair and version-level audit |
审计与切片发现路线从评测失败出发，交付失败模式或错误切片，但留出验证、修复和修复后审计还在外部。提议并验证路线从候选假设出发，交付经过检验的假设，但修复和版本级审计不在其中。提示优化、编辑与重训练路线从给定目标或奖励出发，交付候选修复，但失败诊断和统一验证规则不在其中。
EvalRx 的起点是有标签评测集，交付的是验证过的修复或明确的不确定结论，并且把晋升后重新审计和递归也包含进来。论文强调该表只是代表性例子，不是穷举，目的是说明已有工具多是自动化其中一段，而本文用同一决策规则把各段连起来。
为什么要冻结假设再检验
论文指出的结构性风险是，如果允许在同一批数据上反复找切片和解释，总能找到事后看起来很合理的模式。这类模式在预先登记的检验和多重性控制下往往站不住，修复也可能在未见样本上不成立。
因此作者把流程分成探索、确证诊断和干预 3 个阶段。探索阶段允许开放地看信号和失败结构，确证阶段必须按冻结的契约执行，干预阶段只针对获得支持的机制展开，并且修复要在与未改动模型的配对比较中证明收益和回归都在界内。
这种分离的代价是流程更重，需要预先声明检验族、效应阈值和回归容忍，也需要保留足够的留出样本。好处是 4 种不同的失败原因可以区分开：模式本身不泛化、机制不受支持、修复无效、修复破坏原来正确的样本。
EvalRx 整体如何组织成闭环
EvalRx 的输入是一个目标模型加一批冻结样本，输出是一张健康卡。健康卡不是只有一个分数，而是记录基线与失败切片、冻结假设契约、留出证据、修复及其副作用，以及晋升或停止决策的可审计记录。
先看版本演化的门控思想。下图展示了核心规则：候选修复只有在留出数据上确认改进后才成为下一个模型版本，否则当前模型保持不变，诊断修复循环继续。
看图路径： 1. 先看中间自动研究框到右侧门控的蓝色主箭头，确认只有通过才进入新版本；2. 再看下方红色虚线回路，确认未通过时模型保持不变并回到修订；3. 对照左右两侧模型圆圈的颜色与标注，区分健康信号输入与已验证更新
论文图 1。原论文 Figure 1:：“Verification-gated model evolution. A candidate repair is promoted to the next model version only after its improvement is confirmed on held-out data.”。
该图确实可见左侧模型圆圈输出健康信号，经过中间自动研究的探测与解释到干预，再经过右侧门控。只有标为通过的路径进入右侧新模型，红色虚线表示修订且不更新。这说明迭代改进在本文中是一个协议，而不是反复优化的同义词。
5 个阶段的分工是 M1 探测、M2 探索、M3 诊断、M4 验证、M5 修复。M1 把原始行为变成逐样本诊断信号，M2 分析信号与失败的关联并做多重性控制，M3 把观察变成 1 到 3 个可证伪假设并冻结，M4 执行冻结检验，M5 对受支持机制做分级修复并与未改动基线配对验证。
输入如何变成可审计的样本表
下面这张总览图把数据划分和 5 个阶段画在同一条流水线上，读图时可以沿着从左到右的箭头跟踪一个样本经历了什么。本小节先讲最左侧的输入与划分，后续小节再展开中间各模块。
看图路径： 1. 从左向右沿输入、探索发现、修复、输出的列看主路径；2. 重点看 M2 的效应区间示意与 M3 冻结契约框，理解描述与承诺的边界；3. 看最右侧健康卡的四条记录与晋升门控，确认审计需要保留什么
论文图 2。原论文 Figure 2:：“Overview of EvalRx. EvalRx organizes model diagnosis and repair into five stages: M1 (Probe) discovers failures and gathers diagnostic evidence.”。
该图确实可见左侧目标模型与冻结样本包分为探索、留出与确认 3 层，中间 M1 到 M5 依次推进，M3 有冻结契约锁标记，M5 只允许冻结候选进入确认数据，最右侧是健康卡与配对晋升门控。这帮助理解信息隔离：探索数据用于发现和搜索，确认数据用于最终配对评价。
形式上，给定模型与有标签评测集，论文先在固定推理配置下执行模型得到基线行为。每个样本记录模型回答和任务相关的正确与否指示，形成冻结基线样本表。
\[\mathcal{D}_{0}=\{(x_{i},y_{i},m_{i})\}_{i=1}^{N},\]\[\mathcal{D}=\{(x_{i},y_{i},\hat{y}_{i},z_{i},m_{i})\}_{i=1}^{N}.\]上述两式分别表示原始评测集与加入模型回答和正确性标记后的基线表，其中下标表示第几个样本，符号区分输入、参考答案、模型回答、正确性与允许的样本元数据。在此之前，样本按标识确定性划分为探索划分、可选密封验证划分和确认划分，划分种子、样本标识和分层变量写入运行清单，保证后续每个决策都能追溯到具体数据分区。
M1 怎样把成败变成诊断信号
M1 处理的对象不是总准确率，而是每个成功和失败样本。它按输入模态和模型能力选择分析器，覆盖黑盒行为、白盒信号和多模态失败，必要时可由编码智能体合成诊断程序并在隔离沙箱中校验语法后执行。
比较问题是不同访问条件和模态下能测什么信号。下表列出代表性分析器族，说明在什么条件下可以得到哪类逐样本信号。
| Access and modality | Per-case diagnostic signals |
|---|---|
| Black-box, all modalities | Calibration, consistency under prompt or input contrasts, uncertainty, termination, response-format violations, and counterfactual outcome changes. |
| White-box language models | Token entropy, logits, attention, representation similarity, and logit-lens-style readouts. |
黑盒分析器适用于所有模态，包括校准、提示或输入对照下的一致性、不确定性、终止行为、格式违规和反事实结果变化。语言模型的白盒信号包括词元熵、logits、注意力、表征相似性和类似 logit lens 的读出。视觉语言和音频语言模型还有接地、幻觉、非文本词元上的注意力或归因、模态消融、局部掩膜与时空扰动。智能体轨迹则看循环检测、忽略观察、首次错误定位、工具使用轨迹和反事实轨迹检验。
这些信号组成类型化的逐样本信号矩阵，并在进入 M2 前审计覆盖率和缺失情况。缺失不静默填充，而是显式保留原因，保证后文的统计分析知道哪些测量不可用。
探索划分 × 确认划分： 探索划分是允许做失败发现、统计筛选和修复搜索的数据子集，确认划分是锁定候选后才用于配对比较的未见数据；两者分工是把提出想法和检验想法用的证据分开，组合后可以防止在同一批数据上既挑选又评价带来的适应性过拟合。
M2 和 M3 怎样从关联走到可证伪预测
M2 把 M1 的测量变成一组统计分析。根据测量和任务类型，可能使用信号与标签关联检验、配对 McNemar 比较与 e 值、自助效应比较、基于秩的检验或单率检验。每次分析记录统计量、效应估计、适用时的置信区间和推断证据。当 1 次运行检查多个信号或候选模式时，对声明的检验族使用 BH 或 e-BH 校正。
可视化如信号分布、热图和森林图只用于理解，是否可靠由统计检验决定。这一步回答的是每个诊断信号与模型失败的关联程度，而不是直接断言因果。
M3 把选定的探索性观察变成 1 到 3 个可证伪假设契约，其结构为包含机制主张、目标切片谓词、预期关联与方向、分析器与检验与最小效应、证据等级的五元组。
\[h_{k}=(c_{k},p_{k},a_{k},t_{k},q_{k}),\]该式中每个分量分别对应具体机制主张、可执行切片定义、预期关联方向、所用分析器与检验与阈值、所需证据等级。举例说，模型未充分利用短时声音事件只有在写清哪些样本需要短事件、用哪种受控扰动改变回答、预期方向和检验方法后，才算诊断，否则只是描述性标签。
冻结假设契约 × M4 验证： 冻结假设契约是 M3 事先写死的机制主张、目标切片谓词、预期方向、统计检验与最小效应和证据等级，M4 验证是按该契约原样执行的锁定运行；前者负责把解释变成可证伪的预测，后者负责按规则判为支持、反驳或不确定，组合后事后改口不再被算作诊断成立。
M4 和 M5 怎样决定支持与晋升
M4 在探索划分或可选密封验证划分上执行冻结契约。它调用 M1 中预先指定的分析器、M2 中预先指定的统计检验和 M3 中预期的方向。只有效应方向符合预期、达到声明最小效应、通过指定多重性程序并符合任务协议时，假设才判为支持。证据与预测矛盾判为反驳，否则为不确定。
论文还区分观察性证据与干预级证据。自然出现信号与错误的关联是观察性的，配对策略对照、受控扰动或针对性机制检验可以提供更强的干预级证据。
M5 把受支持机制变成干预。比较问题是在成本和是否改变参数上如何选择干预空间。下表展示修复梯，成本从 L1 到 L4 依次升高。
| Tier | Evolution path | Space | Candidate treatment |
|---|---|---|---|
| L1 | Non-parametric | Input | Prompt rewrites, explicit constraints, output formats, and evidence-use instructions. |
| L2 | Non-parametric | Scaffold | Deterministic multi-call workflows, preprocessing, external tools, conditional execution, and output aggregation around the unchanged model. |
L1 改输入，如提示改写、显式约束、输出格式与证据使用指令。L2 改支架，即围绕未改动模型的多调用工作流、预处理、外部工具、条件执行与输出聚合。L3 在不持久更新权重的前提下读取 logits 或注意力或做已审计的推理时干预。L4 改参数，通过数据构造与微调或适配器生成新检查点，需要人工执行或批准。框架从能处理该机制的最低层开始，低成本无效再升级。
晋升需要同时满足四项：假设通过验证、目标配对收益超过最小阈值、非目标回归在容忍内、层级不超过批准上限。
\[A_{t}=\mathbf{1}[\operatorname{Verify}(h_{t})]\mathbf{1}[\Delta_{\mathrm{target}}(r_{t};v_{t})>\delta_{\min}]\mathbf{1}[R_{\mathrm{non\mbox{-}target}}(r_{t};v_{t},v_{0})\leq\rho_{\max}]\mathbf{1}[\operatorname{tier}(r_{t})\leq L_{\max}].\]该式中 4 个指示函数分别对应验证通过、目标提升、回归受控和层级合规，其中根版本不可变，最小收益与最大回归容忍都是预先声明的。版本转移是保守的，未通过则保持原版本，已接受干预与其诊断、层级和配对证据一起存为可验证修复配方。
非参数演化 × 参数演化： 非参数演化指 L1 到 L3 的输入改写、支架流程和推理时干预，检查点权重保持冻结，参数演化指 L4 通过微调或适配器生成新检查点；前者负责低成本先试，后者负责更深的改动，两者共用同一假设验证、配对收益与回归门控，L4 额外需要人工批准。
目标收益 × 非目标回归： 目标收益是修复在目标行为切片上相对未改动基线的配对提升，非目标回归是相对父版本和根版本在其他行为上的下降；前者回答修好了多少，后者回答是否把原来对的改错了，组合后只有提升足够大且回归在预先容忍内才允许晋升版本。
没有模型训练时系统实际执行什么计算
本研究没有训练新的基础模型，也没有报告梯度更新、优化器或神经网络拟合过程。training 在这里应理解为智能体流水线的实际执行与构造过程，需要讲清调用、搜索、标注与配对计算。
实际计算包括：按固定解码与服务配置运行目标模型得到基线回答；按模态路由分析器逐样本计算行为与内部信号；统计智能体编写并执行关联与配对检验；M3 生成并冻结假设契约；M4 在锁定运行器中执行检验；M5 在探索数据上搜索候选修复，冻结最优候选与其成功规则，再在确认数据上与未改动基线做相同样本的配对评价。
参数冻结与更新的边界是明确的。L1 到 L3 保持检查点权重冻结，只改变输入、支架或推理时计算。L4 会产生新适配器或检查点并单独版本化，且需要人工批准。本文实验主要在非参数路径内搜索，参数冻结不意味着系统输出确定，解码、工具调用与智能体搜索仍可能带来变异，论文用固定配置与运行清单来约束可复现性。
在哪些模型与数据集上检验通用性
实验要回答的问题是同一证据到修复协议能否跨 3 种输入模态迁移。比较的公平条件是每个赛道预先声明数据集与固定模型名单，数据集版本、评分规则、划分种子与服务参数在诊断开始前冻结在运行清单中。
下表列出 3 个赛道的模型名单与作用，说明跨尺度和跨家族比较的设计。
| Task | Models | Role |
|---|---|---|
| LLM | Gemini-2.5-Flash-Lite, Qwen3.5 2B, Gemma E2B, Nemotron-3-Nano-4B | Four text datasets, cross-scale and cross-family comparison. |
| VLM | Gemini-2.5-Flash-Lite, Qwen3.5 2B, Gemma E2B; Nemotron-3-Nano-Omni-30B-A3B-Reasoning-FP8 | Three visual datasets, cross-scale and cross-family comparison. |
语言赛道用 4 个文本数据集，覆盖算法执行、因果判断、数学推理和多跳问答，模型包括 Gemini-2.5-Flash-Lite、Qwen3.5 2B、Gemma E2B 和 Nemotron-3-Nano-4B。视觉赛道用 ChartQA、Spatial457 和 Chair，考察接地与幻觉问题，另有 Nemotron 的 Omni 推理版本参与。音频赛道用 MMAU 和 AudioCaps，覆盖环境声理解、通用音频推理与音乐理解及幻觉检测。
诊断或编码智能体只是流水线辅助组件，不是比较中的模型。论文记录每个辅助智能体、评分器、分析器、提示、解码设置与服务配置的身份与版本，使健康卡结论的单位明确为特定模型版本在特定服务配置与特定数据集上的表现。初始编排分别用 Claude Code 加 Opus-5 和 Antigravity 加 Gemini-3.1-Pro，以检验系统对不同智能体底座的适应性。
语言与视觉赛道改进了多少
先看语言赛道的面板比较。下图比较基线与修复后准确率，标签为百分点变化，注意各面板横轴刻度不同。
看图路径： 1. 按四个语言任务面板分别比较空心圆与蓝色菱形的左右位置；2. 注意每面板横轴刻度不同，不要跨面板直接比较点的位置高低；3. 读每个模型旁的增量标签，区分大幅提升与接近零的情形
论文图 7。原论文 Figure 7:：“Verified repairs across the LLM benchmark track. Each panel compares baseline and post-repair performance; labels report the panel-specific change in percentage points.”。
该图确实可见 BBH 词排序、因果判断、GSM8K 和 HotpotQA 4 个面板中多数蓝色菱形位于空心圆右侧，其中 Gemini 在词排序的大跨度线段和 GSM8K 的提升较为突出，个别模型任务组合变化很小。这提示改进不是均匀的，需要结合基线与任务看条件。
视觉赛道的面板比较同样需要按任务分别阅读。下图使用 Claude Opus-5 为底座，比较修复前后准确率。
看图路径： 1. 分别看 ChartQA、Spatial457 和 Chair 三个面板的改进幅度差异；2. 观察 Gemma 在 ChartQA 的大跨度线段与在 Spatial457 的零改进点；3. 结合横轴准确率刻度，判断起点高低与提升空间的关系
论文图 8。原论文 Figure 8:：“Verified repairs across the VLM benchmark track. The figure compares baseline and post-repair performance using Claude Opus-5 as the base agent.”。
该图确实可见 ChartQA 和 Chair 多数线段向右延伸较长，而 Spatial457 整体线段较短，Gemma 在 ChartQA 跨度大但在 Spatial457 为零改进。这与原文按任务汇总的平均值一致，说明视觉关系类任务更难通过当前修复获得提升。
下表把原文报告的关键计数与平均变化整理为可核对的数字，比较对象是同一模型任务组合的修复前后，指标方向为准确率越高越好，单位为百分点或百分比。
| 条件 | 指标 | 基线比较方式 |
|---|---|---|
| 语言赛道 16 组模型任务 | 准确率 | 同组基线 |
| 视觉赛道 12 组模型任务 | 准确率 | 同组基线 |
该表数字来自原文连续结果句，百分点与相对百分比按原文写法保留，不把不同量纲相减。语言赛道 14/16 提高、视觉 10/12 提高、音频 6/8 提高是理解结论成立条件的第一步：改进是多数情形而非全部，且幅度高度依赖任务。
机制验证的修复 × 经验性修复： 机制验证的修复指假设已获支持且修复针对该机制并通过留出配对检验，经验性修复指留出准确率确实提高但机制假设未获支持；前者可以同时给出诊断证据和修复证据，后者只保留可用的干预和待查的推测，不把准确率提升包装成因果解释成立。
音频与跨尺度结果说明什么边界
音频结果的要点是模型特异性。原文报告 Gemma 在 MMAU 通用音频理解上提升明显，但在音频幻觉检测上没有提升，Nemotron 则在 MMAU 只有小幅提升而在 AudioCaps 上提升较大。这种互补模式支持的判断是系统处理的是不同模型各自的失败模式，而不是对音频语言理解的均匀提升。
跨尺度实验用 Gemma-4 的 2B、4B 和 12B 在视觉、文本和音频各 2 个数据集上检验流程是否只绑定某个检查点。原文报告 3 个尺度平均提升分别为 7.9、16.5 和 14.1 个百分点，多数模型数据集组合提高，3 个组合保持不变，多模态基准上最高达到 26.0 个百分点。GSM8K 提升较小的原因可能是基线已高、剩余空间有限。
第二个智能体底座实验用 Antigravity 重复语言比较，16 组中有 12 组提高，平均 +5.1 百分点，Gemma 和 Nemotron 在词排序以及 Qwen 在 GSM8K 上有较大单项提升。这支持的判断是修复能力不只依赖某一种编排智能体，但具体哪几组提高仍随底座变化。
3 个案例的证据地位不同。ChartQA 和 BBH 词排序是机制验证的修复，假设在冻结检验下获得支持，分别用 L2 转录再细化支架和 L1 严格复制约束提示，在留出样本上从 49.2% 到 79.7% 和从 12.0% 到 25.6%，同时报告修好与修坏的样本数。MMAU 则是经验性修复，两个假设不确定、语言先验假设被反驳，L2 验证后提交支架仍把留出准确率从 43.0% 提高到 60.2%，但不作为机制确认的闭环呈现。
修复层级与验证设计如何影响结论
论文没有传统意义上逐模块消融，但提供了两类可作为对照的细节。第一是修复从最低可用层开始并保留最简有效候选，因此 ChartQA 选 L2、BBH 词排序选 L1 本身就是成本对照：能用提示约束解决就不升级到多调用支架，更不进入参数更新。
第二是验证集取舍的讨论。更干净的设计应对 M4 假设验证和 M5 候选选择使用不同留出划分，但本实验没有引入额外留出划分。原因是每个发现失败切片的验证样本较少，真正效应难以达到预设证据阈值，试点中留出验证已限制可用于指导修复的支持机制数量。如果再用同一小验证集排序候选，候选排序会被抽样波动主导。
因此作者用探索数据选择修复候选，保留未见测试样本做最终确认。这提高了选择功效，但可能偏向贴合已诊断样本的干预。原文明确指出，有更大验证集时，留出修复选择更可取，因为能更强地防止适应性过拟合。这个说明限定了当前提升数字的解释：它们是探索选择加未见确认下的结果，不是双重留出下的选择。
哪些结论不能从现有证据推出
当前研究每轮每个模型任务设置至多评估一个晋升修复，连续多代修复能否累积、平台期何时出现、是否干扰 earlier 已修复行为，仍是未验证的经验问题。论文把递归改进写成算法与未来工作，而不是已证明的结论。
作者列出的限制包括：并非所有失败模式都可修复，受支持关联不等于完整因果解释；公开基准污染、探针覆盖有限、自由文本评分不完美、服务栈依赖、对模型内部访问不完整都会限制结论；多数据集设计提供回归面板，但不能替代全面安全评估或部署评估。
还有测量缺口。论文未声称误判率、延迟或成本必然改善，没有测量这些就不能承诺。L1 到 L3 会增加调用与推理开销，L4 涉及微调成本，总体趋势不能推广到每一组结果或每一步。健康卡是技术评审与监测证据，本身不是安全认证或合规声明。
复现第一步要固定什么
复现的第一步不是直接跑修复，而是固定评价契约。需要拿到目标模型版本与服务配置、有标签评测集版本与评分规则、划分种子与样本标识、提示与配置哈希，然后按标识复现探索、密封验证与确认划分。
第二步是复现诊断证据链。包括 M1 分析器轨迹、逐样本信号矩阵与缺失记录，M2 统计量、效应估计、置信区间与 BH 或 e-BH 校正的检验族，M3 冻结假设契约原文，以及 M4 锁定运行的判决与协议一致性检查。只有契约在验证前冻结，判决才可比。
第三步是复现修复比较。在相同确认样本上比较冻结候选与未改动基线，报告目标配对提升与修好修坏数，同时相对父版本与根版本检查回归，并记录层级是否超过批准上限。
关于资源可用性，本次可核查的信息是没有发现来源绑定且完成 HTTPS 状态验证的资源，因此不能声称代码、模型或数据已公开或当前可用。论文正文提到代码与产物地址，但这只证明论文提到该链接，不证明作者已开源或可运行，复现前需要自行确认可达性。
什么时候值得尝试还缺哪项验证
当问题表现为局部系统性失败，且有可复用的有标签评测集与可配对比较的确认样本时，EvalRx 值得尝试。它把低分当作调查起点，适合需要审计轨迹的模型健康检查、失败切片定位和低成本非参数修复优先的场景。如果失败是全局能力缺失、没有足够留出样本，或不能接受多调用支架的推理成本，则不应期待同样效果。
还需要补的验证包括：更大验证集下的双重留出选择，以更好防止适应性过拟合；多轮 M1 到 M5 在晋升版本上的重复，检验收益累积、平台与干扰；诊断引导搜索与直接修复搜索在相同智能体与算力预算下的对照，以确定显式诊断何时提高质量或效率；修复配方跨任务与跨版本的迁移检验，每次迁移仍需新鲜评估才能接受。
一句话总结是，EvalRx 提供了一条从失败发现到验证修复的可审计路径，在多数但非全部模型任务组合上带来留出改进，而每个改进的可信度取决于冻结假设是否受支持、配对比较是否在未见样本上完成、回归与层级门控是否通过。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses