📄 冻结骨干、只改技能库:HyperSkill 如何做全模态问答

英文题目:HyperSkill: Training-Free Omnimodal GRPO via Hypergraph-Indexed Skill-Library Evolution

评分:6.4/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.4/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Haoran Luo:机构信息未能在本次解析中与作者逐人可靠绑定
  • Shangkai Lin:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jinyang Wu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Xinliang Zhou:机构信息未能在本次解析中与作者逐人可靠绑定
  • Luu Anh Tuan:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

任务是让冻结主干大模型完成文本、图像网页证据、长文档与音视频问答推理,难点是参数更新昂贵易遗忘且难审计,而已有免训练技能库多做轨迹级相关收录,缺少单步定位与质量信号。HyperSkill把策略放在外部超图索引技能库中,技能节点带优势值、多技能组合成超边,只改写库而不更新主干参数。样本以问题、参考答案与模态标记三元组连同图像、文档块或关键帧加音频进入带检索的冻结主干,输出写在<answer>标签中的短答案并以词级F1计分。先由技能蒸馏提取同题成功与失败轨迹的步骤分歧并输出反事实探针多数赞成的技能与协议技能送入库,再由门控超图检索按优势加权排序并经相似度下限与容量上限过滤后输出技能提示送入冻结主干,最后由执行协议固定工具标签、预算与作答格式并在需要时投票作答。与轨迹级经验池和平面技能表相比,关键差异是步骤级反事实准入、每技能优势值与多技能超边组合均参与排序与进化。在11个数据集全集均值上,HyperSkill以词级F1 42.0%超过最强基线XSkill的29.0%,绝对提升13.0个百分点,单库训练平均花费0.51美元而全集一次推理花费2.34美元。三数据集实测每题平均延迟为AIME2024上14.98秒对11.75秒、FVQA上12.78秒对14.56秒、DocBench上3.56秒对3.66秒,最多增加约3秒;结论限于同一冻结主干与同一工具栈下单次评测均值,其中5个小差距配对自助置信区间包含零按并列计,跨主干与长期在线进化尚未验证。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

全模态问答的输入输出是什么,必须保留什么信息

这篇论文做的不是语音合成或音乐生成,而是跨模态的问答。每个样本可以写成问题、标准答案和模态标记三元组,模态覆盖文本、图像、文档、视频和音频。文本推理如数学题只有文字,网页视觉问答给一张图再问需要查实体证据的长尾问题,长文档问答给一个多页文档并要求定位到少数几页,视频音频问答给一段视频加音轨,要求按时间线融合画面和声音作答。

对刚接触音频的读者,关键是这里的音频不是单独检索对象,而是和视频关键帧在同一时间轴上对齐的证据。世界感知类问题把 32 张均匀关键帧和整段音轨一次送入模型,视频问答类问题送 8 张关键帧,模型要判断事件发生在开头、中间还是结尾,并在选项之间权衡画面与音频的支持。输出统一要求把最终答案放在应答标签里,数学题只放整数,多选题只放选项字母,其余按数据集要求给短语或句子。

评价用词级别 F1,做法是把预测和标准答案都转小写、去标点和冠词后切词,对中文按字切分,再算交集的 2 倍除以长度之和,表头单位为 %,越大越好。同一骨干、同一工具和同一评分规则下比较,奖励就是这个 F1。理解这一点很重要,后面所有优势、排序和提升都是在这个分数上算的,不是人工打分,也不是准确率。

已有两条路线各卡在哪里,为什么要换优化对象

第一条是主流的参数空间做法,用分组相对策略优化一类方法直接更新骨干,在数学、搜索和工具智能体上很强,但在大模型尺度下每来一个新领域都要付一次梯度代价,还会带来灾难性遗忘,改进藏在不透明的权重增量里,无法审计模型到底内化了哪条经验。

第二条是增长中的免训练路线,冻结骨干,在多轮采样外再长一个外部文本经验库,测试时检索注入。已有的经验池、技能文件夹前沿集、工具代码缓存、交互卡片、记忆路由和双流经验加技能等方法,大多比较整条轨迹,按与成功共现来收录,库是字典或等质列表,没有单条质量信号,也表达不了多条技能必须联用。超图检索本来能连多个实体,但过去面向静态事实库,不是面向自我演化的技能库。

要看清这些免训练方法之间的差别,需要把库的组织形式与检索更新方式放在同一维度下比较,下表依据封存全文逐字引文归纳 7 种方法的库结构与检索更新机制,最后一行为本文方法,形式化符号省略仅保留可安全显示的文本摘要。

MethodSkill OrganisationRetrieval & Update
TrainingFreeGRPOExperiential token-prior pool from rollouts.LLM CRUD via group-relative semantic adv.
EvoSkillPareto frontier of structured skill folders.Failure-driven propose, holdout-validate.
SkillCraftAuto-composed tool-Skill code cache.Cache-hit reuse, no quality signal.
AutoSkillStandardised cards from interaction traces.Dynamic injection, self-evolving lifelong.
Memento-SkillsMarkdown skills as stateful memory.Read/write reflective skill router.
XSkillDual experience and skill streams.Vision-grounded retrieve + cross-critique.
HyperSkill (Ours)Weighted hypergraph with hyperedges.Counterfactual admit + 0-skill fallback.

上表显示前 6 种方法或用扁平池、前沿集、代码缓存、卡片与记忆路由,或用双流结构,检索多按余弦相似度,更新靠复用或人工规则,没有每条技能的质量先验与多技能组合边。本文用带权超图加反事实准入与门控排序,把质量信号与组合结构同时写入库,这是后面三部分要展开的替换点。本表数值与单位依据论文 PDF。

论文具体要修的三个缺陷是什么

第一个缺陷是轨迹级比较。成功轨迹里也有噪声步骤,失败轨迹里也有正确开头,如果把整条轨迹融成一条经验,就会把无关步骤一起收进来。第二个缺陷是按共现收录。只要某句话常出现在成功轨迹里就入库,它可能只是搭车,并不能修复失败。第 3 个缺陷是扁平存放。技能之间没有组合边,也没有每个技能的质量分,检索只能按相似度,无法让高效用但字面稍远的技能反超。

下面这张图把左侧旧做法与右侧新做法逐行对齐,读的时候注意每行解决哪一个缺陷,不要把三行的箭头混在一起。

看图路径: 1. 对比第一行整轨迹变一课与只抽分歧步骤的原子技能卡;2. 对比第二行共现即入库与反事实测试问能否修复失败;3. 对比第三行无质量无组合的扁平卡与带优势和门限的加权组合

原论文 Figure 2:Three failure modes (i)–(iii) of training-free libraries (trajectory-level, correlation-based,…

论文图 2。原论文 Figure 2::“Three failure modes (i)–(iii) of training-free libraries (trajectory-level, correlation-based, flat skills) vs.”。

这张图确实可见 3 组对照。第一行左侧整条成功与失败轨迹被压成一课,右侧只放大分歧步骤并产出带名称和描述的原子技能卡。第二行左侧有用与伪技能都因共现进入同一库,右侧失败案例先过反事实测试,回答能修复才进库。第三行左侧是无排序的扁平卡,右侧是带优势值和相似度门限的加权结构,最多注入少量技能,否则回退到零技能。底部还画出冻结骨干到检索、反馈、优势更新与修剪的闭环。

参数空间 GRPO × 免训练 GRPO: 参数空间 GRPO 指用梯度直接改骨干参数的做法,贵、易忘且改动不透明;免训练 GRPO 指冻结骨干、把归一化奖励优势转到外部技能库上的做法,优化对象从参数变为可读的库编辑;HyperSkill 属于后者,用库的增删和优势更新代替反向传播,因此每一步改进都可以追到具体技能。

把三处缺陷合起来看,论文的分工是训练时蒸馏管前两个,解决定位与收录,门控检索管第 3 个,解决质量与组合,执行协议管冻结骨干按格式交卷。后面介绍每个部分时,可以回到这张图确认它到底在修哪一行。

HyperSkill 的整体流程是怎样的,三部分如何分工

整体上骨干从不更新。每个问题先由检索器从超图里挑少量技能,连同协议提示一起放进提示词,再让冻结的全模态骨干生成多条轨迹。训练时用这些轨迹的奖励来蒸馏新技能并更新优势与超边,测试时库冻结,只做检索与执行。用一个可审计的库增量代替梯度步骤,是全文的核心替换。

先看这张总览图,确认冻结与演化的位置,再看公式要优化什么。左侧多模态任务图标经冻结骨干,右侧是带正负优势的技能库与 3 个组件,中间蓝色大箭头写着冻结并演化技能。

看图路径: 1. 先看左右两栏,左侧可训练骨干加增量,下侧贵遗忘不透明,右侧冻结骨干加技能库演化;2. 再看右侧紫框中超边连接的椭圆,绿色为正优势,浅红为负优势;3. 最后看右下角三行,确认蒸馏、门控检索、执行三部分的分工

原论文 Figure 1:Parameter-space GRPO is costly, forgetful and opaque; HyperSkill instead keeps the backbone…

论文图 1。原论文 Figure 1::“Parameter-space GRPO is costly, forgetful and opaque; HyperSkill instead keeps the backbone frozen and evolves a hypergraph-indexed skill library.”。

这张图确实可见左侧文本图像文档视频音频 5 种输入都指向中间标着冻结的骨干,右侧紫框内 6 个椭圆标着大于零或小于零的优势并被斜线连起来,下方三行分别标出蒸馏、门控检索和执行。它帮助理解优化对象已经从权重变成了库,颜色相同不代表同一技能,优势正负才是质量信号。底部图例还区分冻结参数、可审计技能、超边组合与全模态任务。

下面这个公式是全文的目标,它把要最大化的东西从参数换成了库与检索器。

\[\bigl(\mathcal{H}^{\star},\,\mathcal{R}^{\star}\bigr)\;=\;\arg\!\max_{\mathcal{H},\,\mathcal{R}}\;\mathbb{E}_{(q,a^{*},m)\sim\mathcal{D}}\!\Bigl[\,r\bigl(\,\pi_{\theta}(\cdot\!\mid\!q,m,\mathcal{R}(q,m,\mathcal{H}))\,;\,a^{*}\,\bigr)\,\Bigr]\,,\quad\mathcal{H}_{t+1}\!=\!\mathcal{U}(\mathcal{H}_{t};\mathcal{B}_{t})\,,\]

这个公式要计算的是在任务分布上,用检索增强后的策略得到奖励的期望,奖励就是相对标准答案的词级别 F1。符号里期望是对问题、答案和模态求平均,竖线后是给定问题、模态和检索到的技能集合时冻结策略的输出,右端是每批训练后用更新算子把旧库变成新库。下标为轮次,批次为本批训练题,优化变量是库与检索器而不是参数,这正是免训练的含义。

C1 怎样从成功与失败的对比中提炼技能

C1 只在训练时工作。对同一问题先采 2 条技能增强轨迹,按 0.5 的 F1 切成成功桶和失败桶。再用零大模型成本的正则切分器把每条轨迹切成步骤序列,然后用同一个冻结骨干做对齐,找出处理同一子目标时两桶分歧的点,只收成功有而失败缺的原子技能。对齐器还可能给出多个原子技能在成功中联用、在失败中同缺的配方,至少有两个成员被收录时它会成为超边。

步骤级对比 × 反事实验证: 步骤级对比指把成功与失败轨迹切成步骤后对齐,只收成功有而失败缺的分歧原子技能;反事实验证指对每个候选追问如果失败时知道它能否翻盘,只有严格多数失败探针回答 YES 才准入;前者定位到分歧点避免整轨迹噪声,后者剔除只与成功共现的伪技能,二者串起来才进库。

只做到对齐还不够,因为共现的伪技能也会被抽出来。所以每个候选都要配本问题的至多 2 个失败探针,问同一个冻结骨干如果当时知道这条技能,这条失败轨迹能否产出标准答案。只有严格多数探针回答 YES 才准入,再用名称的哈希去重,避免同名重复入库。下面公式就是这道多数表决门。

\[\mathcal{V}_{t}^{\mathrm{new}}\;=\;\Bigl\{\;\widetilde{v}\!\in\!\widetilde{\mathcal{V}}_{q}\;:\;\frac{1}{|\mathcal{P}_{q}|}\!\sum_{o^{-}\in\mathcal{P}_{q}}\!\mathbf{1}\!\bigl[\,\pi_{\theta}\!\bigl(\,\cdot\!\mid\!\widetilde{v},\,q,\,a^{*},\,o^{-}\bigr)\!=\!\mathrm{YES}\,\bigr]\;>\;\tfrac{1}{2}\;\;\Bigr\}\,,\qquad|\mathcal{P}_{q}|\!\leq\!K\!=\!2.\]

这个公式要约束的是本轮新技能集合。它先对每个候选在失败探针上求指示函数的平均,指示函数在模型输出 YES 时为 1,否则为 0,分母是探针数,上限为 2。大于二分之一才保留,等于二分之一不保留。下标为本问题,波浪号表示候选,集合为探针集合。去重不在式子里,但正文说明用名称哈希对照当前库跳过重复。

除原子技能外,C1 还从训练失败里学一条协议技能。凡是无答案结尾的轨迹都按 4 类计数,工具标签写错、超预算、明明无工具却硬调工具、无应答标签,任一工具相关类型出现至少 2 次就加固定指令行,再加一条按数据集定的答案格式行。协议技能不是超图节点,测试时符合条件就整段注入,与检索门限无关。

C2 怎样给每个技能记分并长出组合关系

通过 C1 入库的技能先被冻结文本编码器向量化,存入键值与向量双索引,初始优势设为 0.3。之后每批训练把该问题的多条轨迹平均奖励做批内归一,再用指数滑动平均更新被它检索到的技能的优势,奖励高则往上拉,低则往下拉,不调用大模型。公式里的双曲正切把标准化差压到负 1 到 1 之间,滑动率固定为 0.1,裁剪保证不越界。

下面这张方法图把库的演化画得很细,重点看右上紫框中超边虚线圈、优势标签和删除图标,理解分数与结构是两条线。读图时先沿主路径看输入输出,再看左下分支与右下闭环。

看图路径: 1. 沿左上多模态查询到冻结骨干再到多条轨迹的主路径看输入输出;2. 看左下成功与失败按 0.5 切分后经候选再经严格多数表决的入库分支;3. 看右上节点优势、超边增长、删除线修剪与右下检索门限到注入或回退的闭环

原论文 Figure 3:Methodology of HyperSkill: a frozen backbone consults a weighted skill hypergraph built by C1…

论文图 3。原论文 Figure 3::“Methodology of HyperSkill: a frozen backbone consults a weighted skill hypergraph built by C1 (panels B–C) and evolved and retrieved by C2 (panels D–E); C3 (§3.3) governs execution.”。

这张图确实可见左上 5 种模态进入冻结全模态骨干并产出多条轨迹,左下按 0.5 切分后经对比得到候选,中间问能否挽救失败,右上多个技能节点带正负优势并被超边圈住,右下经排序和门限后注入或回退。虚线表示超边增长与修剪,箭头表示检索反馈回到库更新。它把训练与测试的流向分开,训练的反馈只改库,测试的检索只读库,面板字母与正文小节对应。

技能节点 × 超边: 技能节点指库中一条原子技能,带有名称、描述和优势值,优势值在负 1 到 1 之间表示长期效用;超边指把至少两个必须联用的节点绑成一个联合组合,记录共现权重;节点给出单点质量信号,超边表达多技能必须协同的结构,检索时可以把组合整体带回。

下面公式是优势更新的具体算子,先形成批归一化优势,再按滑动平均写回被检索集合。

\[\hat{A}_{q}\;=\;\tanh\!\Bigl(\,\tfrac{\bar{r}_{q}\,-\,\bar{r}_{\mathcal{B}_{t}}}{\sigma_{r,\mathcal{B}_{t}}\,+\,\epsilon}\,\Bigr)\,,\quad u_{i}\;\leftarrow\;\mathrm{clip}_{[-1,1]}\!\bigl(\,(1\!-\!\eta)\,u_{i}\,+\,\eta\,\hat{A}_{q}\,\bigr)\;\;\forall\,v_{i}\!\in\!\mathcal{S}_{q}\,,\]

这个公式要计算的是每个问题的批归一化优势并用它更新优势值。横线为本问题多条轨迹的平均奖励,批均值与标准差来自整批所有轨迹,小量防止除零,双曲正切把偏离压成有界信号。对被检索到的每个技能,用一减滑动率保留旧值再加滑动率乘新信号,并裁到负 1 到 1。训练与测试的检索有三处不同,训练用零优势地板使转负不再被强化,图文题用问题加图像的平均向量查库,每次工具返回后刷新技能但不给信用。

C2 怎样在提问时挑技能,什么时候一个都不给

测试时库冻结。查询同样被编码,先取余弦最近的 100 个节点做候选池,再把匹配该问题的超边成员并进来,这样库大于池子时与已选技能组合过的成员也不会丢。随后按优势加权的倒数排名融合打分,相似度门限滤掉弱匹配,容量上限只留前 3 个。若为空则不注入任何检索技能,只剩协议技能或直接裸问,这就是零技能回退。被选中的技能经两到三句策略提示合成,强调如何组合而不是罗列,或在关闭合成时用名称加描述的简表直接注入。

优势加权排序 × 相似度门限 × 零技能回退: 优势加权排序指在倒数排名融合分数上乘以由优势值决定的先验,让高效用但相似度稍低的技能反超;相似度门限指只保留与问题余弦不低于阈值的候选,容量上限只留前 3 个;零技能回退指门限后为空则不注入任何技能,直接退回无技能提示,因此小库或不相关问题不会被硬塞提示。

下面两个公式分别管排序与门控,先看排序如何让高效用技能反超,再看门限与上限如何截断。

\[\mathrm{score}(v_{i};q)\;=\;\frac{1\,+\,\tfrac{1}{2}(u_{i}\!+\!1)}{k_{\mathrm{rrf}}\,+\,\mathrm{rank}_{f}(v_{i};q)}\,,\qquad\mathcal{S}_{q}^{\mathrm{pool}}\;=\;\mathrm{Top}\text{-}k_{\cos}(\mathcal{V})\,\cup\,\mathrm{expand}_{q}(\mathcal{E})\,,\]

这个公式要计算的是每个候选的检索分与候选池的构成。分子是一加二分之一乘优势加一,优势在负 1 到 1 之间时先验在 1 到 2 之间,分母是融合常数 60 加余弦排名,排名越小分母越小。池子是前 100 近邻并上超边展开,展开的成员按超边余弦的 0.8 倍计分。扁平字典没有这个先验,只能按相似度排。

\[\mathcal{S}_{q}\;=\;\mathrm{Top}\text{-}N_{\max}\!\Bigl(\,\mathrm{score}(\,\cdot\,;q)\,,\;\;\bigl\{\,v_{i}\!\in\!\mathcal{S}_{q}^{\mathrm{pool}}\,:\,\langle f(q),f(v_{i})\rangle\!\geq\!\tau\,\bigr\}\,\Bigr)\,,\qquad N_{\max}\!=\!3\,,\]

这个公式要约束的是最终注入集合。它先在池子里只留余弦不低于门限的成员,再按上式分数取前 3 个。门限按数据集定,0.2 在该编码器下几乎全留,9 则一个不留。集合为空时策略退化为无技能版本,门限决定零技能率,成熟库该率为零,冷启动库该率主导,改进空间随非空比例变化。

C3 怎样让冻结的模型正确调用工具并交卷

C3 从不改库,只决定冻结骨干如何执行一轮。它把注入上下文、具体工具标签、问题、后缀与证据拼成输入,工具标签用真实标签而不是占位符,并兼容把占位符写成真实调用的宽松解析。每轮只允许一个工具调用,按领域给 3 轮文本、5 轮图文或 8 轮全模态的上限与 2 次工具上限。若轨迹结束仍无闭合应答标签,再补一次交卷回合追问答案。数学后缀要求只给整数且不用盒子命令,多选后缀要求只给选项字母。

技能库 × 执行协议: 技能库指训练时蒸馏并用优势持续更新的外部知识,测试时冻结只读;执行协议指冻结骨干如何正确调用工具标签、如何补交答案、如何补充证据和投票,与库内容无关;前者解决教什么,后者解决按格式做出来并交卷,二者分开,换工具或题型时协议可单独调。

证据侧按数据集开关 4 种外挂。问题预搜把原问题先查一次文本搜索且不计入预算,定位页把题目点名的页与本问档内按 BM25 搜到的页文本拼入,时间定位给出视频总长与关键帧时刻并提示开头中间结尾的三分法,选项检查要求对每个选项写一行有无证据再选。自洽投票在需要的数据集上采 5 个 0.7 温度样本,取众数,平局或无答案时回退到贪心。训练与测试的轮数、预算、提示长度与令牌上限都按数据集配好,5 个数据集的训练轨迹也在同样协议下产生,使学到的库与服务时的协议一致。

没有梯度时,训练一轮到底在算什么

没有训练在这里特指不更新任何骨干参数,不是没有计算。每批 4 道题,每题先按训练期检索设置拿到技能集合,再在冻结参数下生成 2 条轨迹并打 F1。无答案轨迹先计失败类型,成功失败共存时调一次对齐蒸馏得到候选,再对每个候选做至多 2 次验证调用。奖励只用于算批归一化优势并更新被检索技能的优势,高奖励且至少检索到两个技能时把该集合记成超边或更新其权重,周期性删掉优势低于负 0.5 的节点,被删成员在展开时跳过。

单题的大模型调用上限可以数出来。推理侧是提示合成一次加每条轨迹至多轮数加一次交卷,蒸馏一次,验证是候选数乘探针数,在候选至多 3 条、探针为 2 时至多 6 次探针调用,因此轨迹生成仍是主成本,验证取代了标准梯度中的反向传播,且提示可缓存。默认超参数为采样数 2、探针 2、滑动率 0.1、融合常数 60、上限 3、阈值 0.5、下限负 0.5,协议阈值 2。

3 个库版本都在同一 128 题上跑一轮,区别在温度、早停、训练期门限与探针数。R1 用较高温度、早停、训练门限 0.2、单失败上投两票须全过,R2 用 0.4 温度、无早停、提示合成参与训练、有效探针取失败数与上限的较小值、训练门限 0.55,R3 同 R2 但训练门限 0.2。每个数据集在留出的一部分训练题上选版本、门限与执行选项,再在全部 128 题上重训得到最终库。

实验在什么数据工具和评分规则下比较

评测集叫 HyperSkill-Bench,由 11 个公开集按主导模态分成 4 组,文本推理含两套数学与一套开放网页问答,网页视觉含 4 个配图实体问答,文档含两个多页文档问答,全模态含视频时间定位与视频加音频融合问答。不引入新数据,只统一成含问题、答案、模态与资源路径的记录。训练每集 128 题按文本去重,评测数学每集 30 题、其余每集 64 题,共 636 题,每格是全集均值的一次运行。

所有方法共享冻结的原生视觉音频骨干与同一查询技能编码器,走开放路由调用。文本与网页视觉走文本搜索,文档只查本题档的 BM25 索引,图像型文档先经本地识别再索引,全模态按 8 帧或 32 帧加音轨送入。每题至多 3 轮文本、5 轮图文或 8 轮全模态与 2 次工具调用,贪心解码温度为 0,基线取 1024 新词,多选题与长音频适当放宽。主表用中日韩按字切分的 F1,奖励用空白切分的 F1,含选项字母、短实体包含与通用 F1 的分支,最后一标签缺失时取全文,提供方错误记 0 分。

基线是裸问答加 6 个免训练技能方法,各自用同一 128 题按发表流程重实现并同样用骨干调用建库,检索都按余弦且无门限,也不给执行协议。消融复用已训好的库在评测期去掉对应部分,不重训也不为消融重调。差异用按题自助 10,000 次重采样的配对区间看,附录还报告重训一次平均变化 0.08 与单集最大 3.2 的波动。

11 个数据集上的主结果在什么条件下成立

比较问题是同一骨干、同一工具与同一评分下,谁的平均词级别 F1 更高,方向是越大越好。下表是 11 个数据集全集均值的一次运行,表头单位为 %,数据格为裸数值,下标为相对无技能基线的变化,条件与主表一致。

下表汇总 11 个数据集的完整对比,表头已注明 token-level F1 % 与 CJK-aware 评分条件,所有列共享冻结骨干与相同工具,比较条件一致,可直接对照平均与逐数据集表现。

ModalityDatasetZero-shotT.F.GRPOSkillCraftAutoSkillEvoSkillM.-SkillsXSkillHyperSkill
TextAIME202410.010.0 ± 0.013.3+3.313.3+3.310.0 ± 0.013.3+3.36.7−3.340.0+30.0
TextAIME202533.326.7−6.630.0−3.333.3 ± 0.033.3 ± 0.026.7−6.630.0−3.353.3+20.0
TextWebWalkerQA20.716.9−3.816.5−4.220.7 ± 0.018.6−2.116.3−4.414.8−5.923.3+2.6
VL-WebFVQA21.127.0+5.917.8−3.331.3+10.223.9+2.819.5−1.626.6+5.541.7+20.6
VL-WebInfoSeek22.827.4+4.615.2−7.622.3−0.516.8−6.022.7−0.133.4+10.644.8+22.0
VL-WebSimpleVQA26.519.3−7.219.8−6.727.7+1.233.7+7.228.6+2.133.8+7.337.4+10.9
VL-WebLiveVQA55.056.3+1.359.9+4.964.4+9.459.4+4.458.5+3.559.6+4.665.7+10.7
VL-DocDocBench32.826.1−6.716.0−16.832.9+0.132.8 ± 0.035.1+2.333.1+0.339.2+6.4
VL-DocMMLongB.19.422.6+3.29.8−9.612.4−7.015.4−4.010.1−9.323.0+3.632.1+12.7
OmniOmniVideoB.16.06.4−9.614.9−1.112.2−3.816.0 ± 0.05.1−10.917.2+1.231.5+15.5
OmniWorldSense43.847.5+3.743.8 ± 0.043.8 ± 0.043.8 ± 0.049.1+5.340.6−3.253.1+9.3
Avg.Avg.27.426.0−1.423.4−4.028.6+1.227.6+0.225.9−1.529.0+1.642.0+14.6

上表显示平均层面完整方法从最强基线的 29.0 升到 42.0,绝对增量为 13.0,相对增量为 44.9%,相对无技能基线的 27.4 增量为 14.6。原文同时报告 6 个基线落在 23.4 到 29.0 之间,相对无技能在负 4.0 到正 1.6 之间,且每个基线至少在 3 个数据集上低于无技能,而完整方法在每行都不低于无技能。逐数据集看,对次优列的领先在数学与视频上最大,信息检索与文档次之,另有 5 个数据集领先 1.3 到 4.1,但配对区间包含零,论文保守计为持平而非胜出。本表数值与单位依据论文 PDF。

按机制分组的平均领先是文本 16.4、全模态 9.2、网页视觉 6.7、文档 6.6,每个机制都超过 6 个点,文本领先最大。这个结论依赖冻结骨干、共享工具与统一评分,换骨干、换搜索源或换指标都需重测,不能直接推广到其他分布或人工评价。

三个部分各自贡献多少,拿掉会怎样

要回答每个部分是否有效,看同一已训库在评测期分别去掉的效果。去掉蒸馏时检索到的技能被通用协议行替代,去掉传递时连协议也不注,去掉执行时把工具提示、交卷、后缀、解析、投票与证据全部回到默认,其余设置不变。下面先看平均柱状图的含义,柱高是 11 集平均,柱内白字是相对完整方法的下降。

看图路径: 1. 比较五根柱子的高度,确认完整方法最高;2. 读柱内白色数字,确认去掉三部分分别下降的幅度;3. 看左侧灰色无技能基线虚线,确认所有变体仍在其上

原论文 Figure 4:Average F1 over the 11 datasets; white numbers: change vs. HyperSkill.

论文图 4。原论文 Figure 4::“Average F1 over the 11 datasets; white numbers: change vs. HyperSkill.”。

这张图确实可见五根柱子从左到右依次为无技能、去蒸馏、去传递、去执行与完整方法,完整方法最高为 42.0,去执行最低为 31.6,虚线是无技能均值。白色数字标出三处下降,说明执行影响最大,传递次之,蒸馏最小,但每根变体柱仍明显高于无技能。它只给平均,不展示单集分布,单集反例与波动要看正文区间。

数字上去掉三部分平均分别降到 39.5、37.8 和 31.6,降幅为 2.5、4.2 和 10.4,每个消融都降低平均,因此三部分都有效。阶段也不同,蒸馏在训练时提供经验与协议,传递在测试时把经验送到题面,执行保证工具与交卷格式正确。只有三者齐备才到最优,且每个变体仍超过全部基线的 23.4 到 29.0 区间,说明领先不依赖单一组件。仍不能回答的是去掉后单集是否都降,原文只给平均,单集需查附录配置。

技能库是变精还是变大,门限与成本如何取舍

反事实是否有用,先看库大小与精度。11 库合计完整方法收 154 条,无探针时收 407 条,前者是后者的 38%,说明探针让库更紧凑。在三集抽查里,无探针时 140 个候选中 25 个翻盘,精度为 0.179,加一次低温度投票后 pooled 精度到 0.273,视频集从 0.185 到 0.417,更大票数仍高于无探针基线,因此库用一票或在单失败上投两票。相对无蒸馏的通用协议行,完整方法在 8 个有差异的数据集里 6 个获益,平均加 3.4,另三集配置相同。

超图随检索反馈的演化可用一次带记录的重训说明。数学集 32 轮每轮 4 题,库从 0 到第 5 轮 2 条、第 23 轮 4 条并保持到第 32 轮,超边从 0 到 1 再到第 27 轮 4 条,库按技能加超边图计为 8 节点 10 边,最终 4 条与主表该集库大小一致。优势均值从 0.30 到 0.19 再到 0.019,全程为正。11 库 pooled 看先入库一半中位约 0,后入库一半约 0.143,差距约 0.15,随更新次数被拉向批归一化优势。

门限敏感性是测试集上的事后分析,不改变冻结配置与主结果。在图文与视频两集上,冻结门限附近 F1 稳定,零技能率在冻结处为 0,调大后升到 0.63 与 0.55,平均每题注入 0.70 与 0.78 条。上限 3 在两集最优或接近最优,全库在门控下最高,比 75% 子集高 4.1 与 3.1,全尺寸时门控与无门控在视频集注入相同、图文集仅差 0.18,任一集都不降低。

代价上单库训练为 0.12 到 0.88 美元,平均 0.51 美元,总 5.56 美元中 2.48 美元是知识搜索,库平均 14.0 条、超边至多 58 条,一次全量测试 2.34 美元。延迟在三集上与无技能接近,数学为 14.98 vs 11.75 s,图文为 12.78 vs 14.56 s,文档为 3.56 vs 3.66 s,至多多约 3 s,主因是接口与工具时间主导,提示只多了短指令。无训练不等于无成本,探针与搜索仍是训练期主要开销。

哪些结论还不能下,统计与范围的边界在哪里

统计上每格是一次全集均值,不是多次平均。5 个小领先的配对区间包含零,论文计为持平,这是严谨的。重训一次平均变化 0.08,区间为负 1.38 到正 1.54,单集最大波动 3.2,说明平均稳定但单集仍有噪声。门限敏感性是测试集上的事后单变量扫描,不能当部署提升,也不能推广到未测的门限与上限组合。

范围上所有实验共享同一个冻结骨干与同一编码器,没有配轻量参数更新,没有跨数据集拼库,也没有扩展到代码执行或界面操作。八个数据集的门限取 9,意味着检索注入关闭,领先靠协议与执行撑起,这在换领域时是否成立未知。文档只查本题档,网页只走固定搜索源,视频帧数固定,换源或换帧数都需重估。

还有 3 类未测。误判率、偏见传播与隐私公平没有测量,不能承诺改善。库是纯文本加优势,错技能在服务时可能扩散,部署前应人工审库。来源未确认不是技术缺陷,链接可达也不等于作者维护,复现应以附录提示词与伪代码为准。

要复现,第一步做什么,需要哪些配置

第一步按附录准备数据与调用面。每集准备 128 题训练与固定评测题,数学与网页问答走文本搜索,文档建本题档索引,全模态按 8 帧或 32 帧加音轨送入。骨干、编码器与搜索源与原文一致,解码贪心温度为 0,自洽样本温度为 0.7,批大小为 4,每题 2 条轨迹,随机种子固定。论文首页脚注给出代码链接,这里只说明论文提到该链接,不做可用性断言,复现以附录为准。

第二步按每集配置跑库。先在留出训练子集上选库版本、门限、注入形式、协议类型与执行开关,再在全部 128 题上重训。下表是原文按数据集列出的冻结配置,包含库版本、门限、注入、协议、执行与令牌上限。

DatasetRunFloorInjectionProtocolC3Tok.
AIME2024R3τ=9–AAS8192
AIME2025R3τ=9–offAS, V58192
WebWalkerQAR1τ=9–offFT, LP, QP4096
FVQAR3τ=9–BCT, FT, LP1024
InfoSeekR1τ~=−0.02P7 + answer-formM, B, A–1024
SimpleVQAR3τ=0.2P7 + schemaM, B, AV5r1024
LiveVQAR1τ=9–M, A–1024
DocBenchR1τ=9–M, B, A (data)–1024
MMLongBench-DocR3τ=9–offCT, FT, LP, PG41024
OmniVideoBenchR2τ=0.55terseA (data)CT, FT, AS4096
WorldSenseR1τ=9–T, ATG, OC4096

上表显示门限在三集取有效值,其余取 9 关闭注入,注入用策略提示或简表,协议按失败类型开关,执行按需开具体标签、交卷、后缀、解析、预搜、定位页、时间定位、选项检查与 5 样本投票,令牌上限按集取 1024 到 8192。训练期优势地板、图文平均向量与 5 样本投票的拒答不计票三处差异要照做,否则学到的库与服务时的协议不一致。

第三步冻结库评测。测试时只读库,经 100 近邻加超边展开、优势加权排序、门限与上限 3 得到注入或回退,再走执行协议交卷,用同一中日韩切分 F1 计分。关键超参数记为采样 2、探针 2、滑动率 0.1、融合常数 60、上限 3、阈值 0.5、下限负 0.5,初始优势 0.3,协议阈值 2。预算上单库平均 0.51 美元,全量测试 2.34 美元,延迟与无技能同量级。

什么时候值得试,还缺哪项验证

当骨干不能动但任务需要跨文本图像文档视频音频的经验沉淀时值得试,尤其是工具调用格式常错、答案格式不稳、失败可归因到少数步骤的问答。库可读可删,适合要审计与人工改的场景。若已有强检索或提示工程,先加执行协议与协议技能往往更省,因为消融里执行贡献最大,门限在多数集上关闭注入仍领先。

复现第一步是把一个数据集的 128 题、工具与评分跑通无技能基线,再开执行协议看格式错误是否消失,然后再开蒸馏与门控。信息条件要齐,问题文本、图像或文档页、视频帧与音轨、工具返回与预算、答案形状都要给全,缺证据时应答缺席行才有意义。超参数先用默认,只调门限与执行开关。

还缺三项验证。换骨干与换编码器后优势与门限是否稳定,跨数据集拼库再用滑动平均重加权是否保持,以及更大票数与更大库下精度与延迟的曲线。常见误解是冻结等于确定性,实际上采样温度与工具返回仍带来波动;无梯度不等于无成本,探针与搜索是主要花费;门限不是越大越好,过大则零技能率飙升。

优势不是相似度,高相似低优势仍会被滤掉。补上这些,才能把平均 42.0 的结论用在自己的分布上。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-13 语音/音乐/音频论文速递