📄 不改推理核，只加执行层：用技能与资产图把通用智能体变成全模态包工头
标签：#音频生成 | #工具增强与约束解码 | #音频理解 | #软件工具
评分：6.1/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Yanlin Li：National University of Singapore University of Oxford
- Mingyang Hao：National University of Singapore University of Oxford
- Shengqiong Wu：National University of Singapore University of Oxford
- Hao Fei：National University of Singapore University of Oxford
- Mong-Li Lee：National University of Singapore University of Oxford
- Wynne Hsu：National University of Singapore University of Oxford
📌 核心摘要
该工作处理输入输出跨文本、图像、音频、视频、文档、三维模型与代码的多产物生产任务，难点是多交付物共享事实与风格、异构工具协同、中间资产跨任务与跨轮复用。首先技能入口按场景、专家、原子三级选择技能并递归展开为可执行任务，输出的任务清单进入声明执行图。然后声明执行图显式表达控制与数据依赖并经引用校验与无环校验后分波并发调度，就绪节点经模型上下文协议工具服务选路并由提供方配置层绑定工具模型凭证默认参数与回退策略后执行。最后资产注册表以全局标识持久化成功产物并向下游与跨轮引用提供可解析路径，使修订时仅重执行变更节点。与统一自回归或混合离散连续的本体模型路线不同，该机制把统一放在任务执行与资产流层面，宿主推理核无需重训即可替换后端。在UniM-90基准下，Agent + Omni-IO Skills在GPT-5.6 Sol上的相对语义质量耦合分数为74.94，高于Base Agent的相对语义质量耦合分数26.99。该结论仅在90例受控子集与两类闭源宿主上验证，未覆盖开放域长程修订、并发冲突与后端失效外推，原文未披露训练与部署成本。该适用边界尚未验证开放域并发冲突，且原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/any2any-mllm/Omni-IO-Skill — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，读完要能复述什么？
这篇解读的输入是论文正文给出的系统描述、技能清单、执行流程与 UniM-90 实验数字，目标是让刚进入语音音乐音频方向的研究生能复述研究者做了什么、按什么顺序做、实验条件如何限定结论。需要保留的关键信息包括技能的 3 级划分与数量、7 种产物模态、4 层架构、声明式执行图的验证与波次调度、资产注册的持久化方式，以及两个宿主智能体在支持率与语义质量分上的前后对比。输出是 1 篇按学习依赖展开的技术讲解，不做营销式判断，凡是教学举例会明确标注为例子。
先说任务直觉。现实中的制作任务很少停在单一模态，论文以在线课程为例，起点可能是讲座录音与参考文档，中间要做内容分析与视觉设计，终点要交出幻灯片、插图、旁白与讲解视频，这些产物共享事实、风格、时间线与制作约束。也就是说系统既要能收能发交错组合的文本、图像、音频、视频、文档、3 维资产与代码，还要在整个工作流里保持语义与资产的连续性。通用智能体已有较强的指令跟随、长程规划、代码执行与工作区操作，但其端到端生产面仍偏向软件与知识工作，音频视频 3 维与专业文档仍需外部能力与显式编排。
沿一个样本走完全程有助于建立坐标。假设用户给出几张产品图并说要推广该产品，希望得到海报、有声宣传视频与落地网页。系统先选出事件物料场景技能，再经海报设计与复杂视频制作两个专家技能展开为图像理解、图像生成、视频生成、音效生成与代码生成等原子操作，这些操作被组织成有依赖的执行图并分波执行，产物写入工作区后注册为带编号资产供下游与下一轮复用。
若下一轮用户只说换一下落地页风格，系统把已注册的产品分析与宣传素材作为已完成源节点直接引用，只重跑落地页生成。这条路径覆盖了本文后续要拆解的全部机制：技能如何选与展开、图如何建与调度、工具如何路由、资产如何流转。
已有路线各解决了什么，还缺哪一块拼图？
第一条路线是全模态基础模型。论文把它们归为统一自回归与混合离散连续两类，前者把异构模态离散化后做统一的下一词元预测，天然支持交错内容，但要承受分词、序列长度与感知细节压力，后者保留自回归语义推理同时用连续表示与扩散或流目标加模态专用解码器保真，需要协调多编码器适配器与多目标。两类都在模型内部扩展能力，其支持的模态与输出仍耦合于训练数据、架构与更新周期。
第二条路线是智能体框架与技能。基础模型提供推理决策策略，框架提供动作循环、工具访问、上下文状态管理、执行控制、校验与恢复，典型例子包括交错推理行动观察的循环与标准化工具暴露协议。多模态智能体已会用主智能体调度视觉等专家，但多被评估在取证、问答、跨模态推理与回答整合上。技能层则把何时适用、需要什么输入、如何调用组合工具、应产出什么记录下来，形成可复用的过程知识，已有工作覆盖专家任务、电脑操作与视觉决策。
缺的拼图是论文提出的 Omni 智能体框架层，也就是位于智能体推理与异构执行后端之间的一层。它要解决选择哪个能力、表达控制与数据依赖、在工具间搬运中间产物、隔离局部失败、恢复历史输出供下一轮使用。论文的判断是模型协调与技能这两个要素单独都不构成 Omni 工作流，必须加上依赖感知执行与持久资产状态，才能把零散模型工具过程变成可选、可组合、可执行、可追溯的能力。
论文到底要回答哪个可验证的问题？
中心问题写得很直接：能否用一个即插即用的框架让已有的通用智能体变成原生支持全模态，而不改动其推理与规划核心。验证方式是把同一宿主分别跑不加载框架与加载框架两种配置，保持内置技能工具提示与执行预算不变，只比较同一宿主内的增益，不把不同宿主之间的分数差解读为模型能力排名。
任务范围被限定为应用可见的请求，其源材料中间资产与交付物横跨多种媒体类型。论文用四大家族组织能力面：跨模态理解把异构源材料变成宿主可检查复用的结构化证据，可直接回答或为生成提供需求与引用；跨模态生成覆盖直接变换、单资产创建与多产物协同生产；跨模态推理用抽取证据加用户约束产出决策计划或修改后产物，例如调试流程可同时返回解释与修改后代码；跨模态检索连接本地任务上下文与文档或网络信息，返回文本可直接交付或作为另一技能的接地源材料。
为避免把类别差异当成同条件胜负，需要记住论文的对照口径。基准是两个通用智能体的默认环境，保留系统自带技能工具但排除额外第三方扩展，加载框架的配置只多出技能与相关工具服务。评测集是固定抽取的 90 例，抽取独立于被测智能体的原生模态能力，指标同时报告绝对分与相对分，相对分等于支持率乘以绝对分，以反映全量测试集上的表现。对例子要做标注：下文提到的产品推广四波执行是论文给出的示意性执行，不是可直接复用的性能承诺。
方法全景：四层各管什么，请求如何穿过它们？
论文把系统放在宿主智能体与外部多模态工具之间，采用 4 层架构。技能入口层向宿主暴露统一任务接口，按粒度组织可复用过程知识，并把选出的工作流表达为声明式执行图。工具服务层把语义任务规格变成标准化可执行操作，区分理解生成与工具 3 组。提供方与配置层把能力与具体工具厂商模型凭证默认参数与回退策略绑定。资产注册层把中间与最终输出规范化记录，使其可被独立于物理路径引用与复用。4 层分离了任务知识、工具接口、服务实现与持久输出，应用工作流不再耦合到特定服务商或工作区路径。
宿主智能体 × Agent Harness： 宿主智能体负责理解请求、做规划推理和写代码等原生动作，Agent Harness 负责把这些意图变成可执行的跨模态步骤；二者搭配的原因是通用智能体缺音频视频三维与专业文档的生成后端，Harness 新增的作用是提供技能选择、工具路由与资产传递，使推理核不必重训也能产出完整交付物。
运行时是控制流与资产流的联合组织。控制流从技能选择与执行图构建出发，经过验证与依赖感知调度，以每个节点的最终状态结束。资产流从用户提供、历史与新生成产物出发，每个产物被规范化为注册资产，其本地路径可被解析并传给下游节点。论文强调调度依据声明依赖而非模态：图像与音频生成若互不消费对方即可并发，图像条件视频节点则必须等参考图完成。
下面先看总体意象图，它把任意输入、多模态舞台、中央指挥、4 类任务与底部三件套放在同一剧场式画面中，有助于记住全模态不是单个大模型包办，而是编排加资产复用的结果。
看图路径： 1. 先看左侧任意输入带与下方任意输出带如何汇聚到中央指挥者；2. 再看底部技能、执行图、资产注册三块之间橙色连线的走向；3. 最后对照右侧理解生成推理检索四任务与中央产物的紫色回路
论文图 1。原论文 Figure 1:：“Overview of Omni-IO Skills. Hierarchical Skills orchestrate multimodal understanding and generation, while generated assets are registered for downstream and cross-turn reuse.”。
这张总览图的教学价值在于建立 3 段对应。左侧与下方的输入输出缎带对应 7 种产物类型，右侧 4 个小舞台对应理解生成推理检索四大家族，底部三块铭牌对应技能、执行图与资产注册。中央人物同时托起输入输出光带，隐喻框架在推理核之外承担指挥。读图时不要把卡通人物的大小当成性能强弱，只确认对象与连接关系：技能产生执行图，执行图驱动后端调用，调用产物进入注册表再被下游与跨轮引用。
再看 4 层架构的工程视图，它把抽象分层落到具体模块与箭头上，是复述实现时最值得对照的一张。
看图路径： 1. 从左到右追踪用户请求经宿主智能体到四层架构的蓝色箭头；2. 观察技能入口如何由文档加技能变为执行图；3. 核对资产注册栏中图片视频音频三维的编号与路径卡片
论文图 3。原论文 Figure 3:：“Architecture overview of Omni-IO Skills, which presents the four-layer architecture.”。
该架构图的阅读顺序是从左到右。最左是用户问句与宿主智能体，接着技能入口把文档加技能变为执行图，然后工具服务把任务技能参数映射到理解生成与工具 3 类服务器接口，再经提供方配置绑定到具体厂商模型，最后资产注册为每类产物生成编号与路径卡片并支持注册复用。像素层面可执行观察是核对每层标题颜色块、蓝色推进箭头、服务商列表与右侧 4 张资产卡片的图标，这些元素与正文 4 层描述一一对应。
技能如何分级，展开时信息丢在哪里补回来？
技能入口按任务粒度与组合范围而非模态划分 3 级。原子技能是单步独立可调用操作，专家技能面向单个最终交付物并组织多原子操作成完整工作流，场景技能面向明确应用上下文，先定交付物范围再协调所需专家或原子技能。论文举例说生成图像是原子操作，做海报需要专家技能协调资产生成与版式组装，做社交媒体物料可能需要场景技能同时协调文案与视觉资产。
Atomic Skill × Expert Skill： Atomic Skill 分工是封装单步可执行原语如图像理解或语音合成，Expert Skill 分工是为单个专业交付物组织需求分析、资产生成、组装与质检；搭配理由是避免每个海报或视频都重写流程，组合意义是上层只需选 Expert，Expert 再展开为已有 Atomic，复用已验证中间资产并只重做不合格部件。
声明式表示是 3 级共用的契约。论文把技能写成包含适用条件、所需输入、执行过程、期望输出与技能间关系的五元组，其中适用条件界定任务意图与边界，输入输出用语义描述而不绑定具体服务商，过程记录直接可执行操作或调用其他技能的工作流，关系字段指明可展开的下级能力。选择逻辑是先看请求要什么交付物：支持的应用上下文激活对应场景技能，单个专业产物可直接选专家技能，自包含单步可绕过上层直接调原子。
展开是递归替换：场景被其交付物所需的专家与原子替换，专家被其原子生产与检查步骤替换，共享输入与中间结果只表示 1 次，终端任务成为执行图节点，包括由宿主原生执行的任务。
\[s=\langle c_{s},I_{s},P_{s},O_{s},H_{s}\rangle,\]上式中符号含义按论文界定：适用条件描述何时考虑该技能，输入输出描述语义产物而非物理路径，过程是直接操作或调用下级的工作流，关系指向可展开的下级能力。计算目标不是数值优化，而是让宿主在不加载全部服务实现细节的情况下完成检查选择与组合。原文未给出该表示的梯度路径或训练监督，它只是运行时的声明契约，这一点要在复述时明确。
下图把 3 级技能的实例摆在一起，适合核对当前实现到底有哪些技能，避免把代表性任务当成穷举实现。
看图路径： 1. 先数左侧场景技能六宫格对应的应用情境；2. 再看中间专家技能两项与右侧原子技能三组如何对应；3. 注意原子栏中理解生成与搜索浏览图标的分组方式
论文图 4。原论文 Figure 4:：“Hierarchical organization of Omni-IO Skills.”。
该图左侧六宫格是场景技能，从社交帖子、办公文档、求职、教育分享、活动物料到游戏资产，中间两格是海报设计与复杂视频制作两个专家技能，右侧 3 组是原子的理解生成与搜索浏览。观察动作是数清场景六项、专家两项，核对原子栏图标与 7 种产物的对应，并记住专家到原子的调用在正文表格中有代表性映射。论文同时声明技能编号与模态组合是代表性配置而非穷举实现，复述时不应承诺未列出的组合必然可用。
下表把当前实现的数量关系固定下来，便于核对技能规模与任务覆盖，避免把 27 与 38 两个数字混用。
| 条件 | 指标 | 基线含义 | 本方法规模 | 比较对象 |
|---|---|---|---|---|
| 当前实现 | 技能总数 | 无框架时无此组织 | 27 个技能 | 19 原子加 2 专家加 6 场景 |
| 任务覆盖 | 代表性任务数 | 同上 | 38 个任务 | 理解生成推理检索四大家族 |
| 产物面 | 模态数 | 同上 | 7 种产物 | 文本图像视频音频文档 3 维代码 |
表前问题是当前系统到底有多大、覆盖哪几维，公平条件是只统计论文声明的已实现技能而非未来可扩展数，指标方向是数量越多覆盖越广但不直接等于质量更高。表后解释是 27 拆为 19 加 2 加 6 的结构支持了 38 个代表性任务，横跨 7 种产物与四大家族；代价是这只是代表性覆盖，附录映射表未在本次证据中展开，复现时需以仓库技能文档为准。未胜出或未评测边界是检索与推理类任务在主结果中未单独拆分报告，不能从总数推定每类任务同等成熟。
执行图与资产库如何让多产物协作可重跑？
执行图记为节点与边构成的有向图，每个可执行节点包含编号、所需能力类型、自包含提示、参数与依赖声明，每条边既是控制依赖也是潜在数据依赖，下游不能早于上游启动，若消费上游输出则同时是数据依赖。历史资产用资产源节点表示，只含资产引用，引用解析后即视为完成，不发生成调用。构建时共享中间结果只表示 1 次并被多消费者引用。
\[v=\langle\texttt{id},\texttt{type},\texttt{prompt},\texttt{params},\texttt{depends\_on}\rangle.\]上式符号按论文界定：编号唯一标识节点，类型指定所需能力，提示是自包含操作描述，参数特化本次执行，依赖记录上游节点或资产引用。计算目标是生成可验证可调度的任务图，原文未涉及可微优化或梯度，验证失败被视为规划错误而重建而非提交非法图。实现上每个外部节点经统一契约提交，含任务类型、自包含提示、可选参数与依赖解析后的资产输入，服务按任务类型选工具接口而不把服务商细节暴露给技能定义。
验证、波次与失败处理是可复述的操作序列。执行前检查每个依赖引用能否解析到节点或注册资产，并检查诱导图无环。有效图的待办节点中前驱全部完成的进入下一波，同波节点互独立可并发，无未解前驱的进最早波，其余进其直接前驱全部完成后的第一波。节点失败时其待办后代因缺输入被取消，独立分支继续，系统记录每节点最终状态且不对已完成输出回滚。
运行时参数是提供方默认、节点覆盖与前驱输出注入三者合并，上游路径解析后按任务关系传入，例如图到视频作为初始视觉条件，图到 3 维作为参考图，下游提示无需内嵌路径。宿主原生执行的代码与文档任务绕过外部生成服务但保留同样输入解析状态与输出注册契约。
资产表示是另一半关键，它让产物可被独立引用与跨轮复用。
\[a=\langle\texttt{asset\_id},\texttt{type},\texttt{subtype},\texttt{path},\texttt{description},\texttt{params},\texttt{turn\_id},\texttt{source\_asset\_id}\rangle.\]上式中资产编号是独立于物理路径的全局稳定引用，类型区分大类而子类型区分细类，描述与有效参数保留生成上下文，轮次编号关联交互轮，源资产编号记录修订或派生血缘。计算目标是规范化与持久化，注册只在输出成功写入后发生，写入原子化并用文件锁串行化，使并行节点或会话不互相覆盖，记录追加而非就地更新以保留多版本可追溯。工具输出自动注册，宿主原生写出的文件显式注册，轮内下游经编号解析本地文件消费，跨轮用户经引用物化为已完成源节点直接可用。
Declare Execution Graph × Wave 调度： Declare Execution Graph 分工是显式声明节点与控制加数据依赖，Wave 调度分工是按依赖把无前驱节点放进最早可并发的一波；搭配原因是多产物间有先后如先分析产品图再做海报素材，组合意义是同波内图像与音频可并行、跨波按依赖串行，失败时只取消下游而独立分支继续。
MCP Tool Service × Provider and Configuration： MCP Tool Service 分工是提供统一的理解生成与工具调用契约，隐藏各家接口差异，Provider and Configuration 分工是绑定具体厂商模型凭证默认参数与回退策略；搭配原因是技能应引用语义能力而非写死端点，组合意义是换模型或服务商时只改下层绑定，技能描述与执行图结构保持不变。
Asset Registry × asset_source 节点： Asset Registry 分工是用全局资产编号持久化中间与最终产物及其来源版本，asset_source 节点分工是在新一轮执行图中把历史资产物化为已完成源节点；搭配原因是跨轮修改不应重跑全流程，组合意义是用户说换落地页风格时只需重跑该节点，上游产品分析与宣传素材直接复用并保留血缘。
下图用产品推广请求把上述链路具体化，是理解波次与单节点循环的最佳材料。
看图路径： 1. 沿上方从技能选择到层级展开再到执行图校验的主链路走一遍；2. 对照右下波次调度中第 0 波到第 3 波的方框依赖箭头；3. 观察左下资产注册与跨轮复用如何回流到运行时循环
论文图 5。原论文 Figure 5:：“Runtime workflow of Omni-IO Skills, illustrated with a product promotion request.”。
该图上半从用户问句经场景选择、层级展开到执行图构建校验，下半右为第 0 波产品图分析、第 1 波海报素材与视频音效并行、第 2 波宣传视频与海报合成、第 3 波落地页生成，左下为资产注册与跨轮复用，中部为单节点路由、服务商解析、注入与执行 4 步循环。像素观察确认第 1 波确有两个并行方框、第 2 波与第 3 波为串行汇聚，以及单节点循环下方成功输出的胶片与海报缩略图，这些都与正文四波文字描述一致。
下表固定 7 种产物类型，帮助核对输入输出图标在任务描述中的含义，避免把图标位置读反。
| 条件 | 指标 | 输入侧含义 | 输出侧含义 | 比较对象 |
|---|---|---|---|---|
| 任务描述 | 文本图像视频音频 | 箭头左侧图标为输入 | 箭头右侧图标为输出 | 文档 3 维代码亦同 |
| 多图标 | 多源多产物 | 左侧多图标为消费多类 | 右侧多图标为产出多类 | 代表性组合非穷举 |
表前问题是图标左右各代表什么、多个图标如何读，公平条件是统一按论文视觉词表解读，指标方向是能正确追溯请求到模态流即算读懂。表后解释是该词表让读者可从应用域追到模态流，高层技能可选多叶子并共享中间资产组装交付物；代价是括号内图标只是代表性配置，不能当成该任务仅支持此组合。未评测边界是论文未给出每种模态组合的单独成功率。
下表把跨轮复用的操作语义固定为可执行描述，便于复现时对照实现。
| 条件 | 指标 | 基线行为 | 本方法行为 | 比较对象 |
|---|---|---|---|---|
| 同轮 | 下游消费 | 需手写路径 | 经编号解析本地文件 | 上游输出 |
| 跨轮 | 历史引用 | 需重跑全流程 | 物化为已完成源节点直接可用 | 注册记录 |
| 修订 | 版本管理 | 就地覆盖难追溯 | 新记录保留源引用追加保存 | 血缘字段 |
表前问题是在不重跑全流程的前提下如何改某一交付物，公平条件是注册写入已成功且原子串行化，指标方向是复用越多重算越少且血缘越完整越好。表后解释是换落地页风格时只需重跑该节点，上游分析与素材直接复用；代价是依赖注册表文件锁与路径可解析性，若工作区被移动或清理则引用失效。论文未报告锁竞争下的延迟，这是部署时需补测的边界。
有没有训练阶段，真实计算发生在哪里？
本研究没有报告任何神经网络训练阶段，也就没有需要冻结或更新的参数、梯度路径、损失监督与重置时机的描述。不能把无训练等同于确定性求解，也不能从调用外部模型推定输出确定。真实计算发生在推理与编排侧：宿主智能体做技能选择与执行图构建，工具服务层做任务类型到工具的路由，提供方配置层解析厂商模型凭证与默认参数，执行后端完成多模态理解与生成，资产注册层做规范化记录与持久化。
需要明确的缺项是论文未给出各后端模型的参数规模、训练数据、超参数与训练预算，因为它们是可替换的外部服务而非本研究的训练对象。复现时应把计算分为 3 类分别记录：宿主推理的提示与执行预算、外部生成的调用参数与返回、注册表的文件写入与锁行为。若把外部生成质量波动误读为框架本身的随机性，会错误归因实验方差。教学例子标注：把产品图变成海报素材的步骤只是流程例子，其生成质量取决于当时绑定的图像后端，不能当成框架的固定效果。
用什么数据、基线与指标来限定结论？
评测集是 UniM-90，即从 UniM 固定选取的 90 例子集，覆盖文本图像音频视频文档代码与 3 维及其代表性交错组合，选取独立于被测智能体的原生模态能力，详细抽取协议指向附录。宿主是两个不同的通用智能体，在各自默认环境下跑两种配置：基础智能体保留系统自带技能工具但排除额外第三方扩展与任务定制，加载框架的配置在同一环境中多加载技能与相关工具服务，其他内置技能工具配置提示与执行预算保持不变。论文明确只关注同一宿主内的增益，不把跨宿主分数差当作模型能力排名。
指标沿用 UniM 评测套件。输入支持率记为所有输入模态能被完整接收处理的实例占比。语义质量耦合分联合评估语义正确性与生成质量，交错一致性分评估交错多模态回答的整体连贯，严格结构分衡量严格输出结构一致性，宽松结构分衡量模态级覆盖。每个指标报告绝对分与相对分，绝对分在支持子集上度量，相对分等于支持率乘以绝对分以反映全量测试集表现。对于能处理输入但不能生成要求输出模态或不能完成目标输出的实例，其失败仍计入指标计算。所有指标方向均为越高越好。
资源状态是复现声明的唯一依据。本次收到的资源状态显示代码仓库链接本次未能确认可达，文档完整性为部分且仅覆盖安装与推理。因此解读中不能写代码当前可用或已公开，只能写本次未能确认可达，复现步骤需以论文正文与将来可达的仓库文档为准。
加载框架后哪些数字变了，代价与反例是什么？
主结果的核心判断是同一宿主内支持率与全量质量同时提升，且绝对质量在更广覆盖下仍有改善。两个基础智能体的输入支持率从 40.00% 与 38.89% 分别升到 100%，相对语义质量分从 26.99 与 27.82 升到 74.94 与 77.78，相对交错一致性分从 34.61 与 32.00 升到 93.98 与 83.28。绝对语义质量分从 67.49 与 71.53 升到 74.94 与 77.78，说明不仅是覆盖变广，在可比输出上的语义正确性与生成质量也有提升。结构分提升最显著，加载后一个宿主严格与宽松均到 100.00，另一个到 99.78 与 100.00。论文还报告加载后的全量绝对分 74.94 与 77.78 超过了基础智能体仅在其较窄支持子集上的 67.49 与 71.53。
下表把必须同时出现的基线与可运行策略固定下来，数据与配置表不能替代它。
| 条件 | 指标 | GPT 基线 | GPT 加框架 | Claude 加框架 |
|---|---|---|---|---|
| 全量 90 例 | 输入支持率 | 40.00% | 100% | 100% |
| 全量 90 例 | 相对语义质量分 | 26.99 | 74.94 | 77.78 |
| 全量 90 例 | 相对交错一致性分 | 34.61 | 93.98 | 83.28 |
| 支持子集 | 绝对语义质量分 | 67.49 | 74.94 | 77.78 |
| 全量 90 例 | 严格结构分 | 19.14 | 100.00 | 99.78 |
表前比较问题是加载框架是否在同一宿主与同一 90 例上同时扩大覆盖并提高质量，公平条件是宿主默认环境与执行预算不变、失败实例计入分母、相对分按支持率折算，指标方向均为越高越好。表后解释是主要收益来自把异构输入输出接到可替换专家后端并用执行图与资产组织保证结构完整，严格结构分接近满分支持这一机制解释；具体代价是质量仍依赖后端能力与提示参数，论文未测量延迟成本与误判率，不能承诺这些量同步改善。未胜出项是第二个宿主的严格结构分为 99.78 而非 100.00，说明仍有极少数结构不一致案例，复述时应保留这一反例而非只讲满分。
定性案例进一步展示端到端行为。艺术教程生成调用教育分享场景技能规划教程并协调工作流，用视频理解抽取绘画步骤，用音频理解恢复讲解与工序，再用图像生成产出 11 图教程。产品推广用图像理解抽取产品属性，用海报设计做海报，用复杂视频制作做宣传视频，再用代码生成建落地页。论文报告两个宿主均产出全部请求输出，并在教程步骤产品身份与交付物间保持一致，显示跨宿主的稳定性。但这属于定性展示，未给出每类任务的单独通过率，不能推广为所有 38 任务同等可靠。
如果拿掉某一机制，会发生什么，论文测了什么没测什么？
论文没有提供逐模块消融表，因此不能补写拿掉执行图验证或资产注册后必然掉多少分的因果断言。能复述的有限解释是机制与结果的对应：支持率提升对应把缺失模态接到外部理解生成后端，结构分接近满分对应执行图的依赖声明、验证与资产组织，绝对质量提升对应专家技能中的组装质检与局部重做而非全量重来。这些是支持性解释而非消融证明，表达上用支持而不用证明。
可用的反证来自失败处理与边界规则。验证要求每个依赖引用可解析且图无环，否则视为规划错误重建而不提交非法图；节点失败时待办后代取消而独立分支继续，且不回滚已完成输出。这意味着局部失败的隔离是显式的，但下游缺输入必然取消也是代价。若用户请求欠定，场景技能按上下文惯例补全，边界仍模糊时向用户澄清，这说明系统并非对所有模糊请求都能自主确定范围。
未验证的推测需要单独标注。换后端不改技能描述的可替换性在架构上成立，但论文未报告替换不同厂商后端后的分数变化，因此可能保持稳定仍待验证。跨轮复用减少重算在例子中成立，但未报告注册表增大后的检索开销与锁竞争，总体趋势不等于每轮每节点都更快。复现时若要补消融，应固定宿主与 90 例，分别关闭验证、波次并发、资产复用与专家质检，观察支持率、相对分与结构分的变化，并记录外部调用次数与耗时。
结论的边界在哪里，哪些量不能承诺？
第一个边界是证据范围。90 例是受控子集，覆盖 7 种产物及其代表性交错组合，但不等于真实部署中的任意组合分布，论文也声明技能编号与模态组合是代表性配置而非穷举实现。第二个边界是指标口径。相对分等于支持率乘以绝对分，支持率从约四成到满分的跳变会放大相对增益，解读增益时应同时看绝对分从 67.49 与 71.53 到 74.94 与 77.78 的变化，避免把百分点增益误读为相对百分比。不同指标的差值不能混放，自动指标也不能当成人评。
第三个边界是成本与风险未测量。论文未报告训练资源因为无训练，但也未报告推理开销、外部调用费用、输出帧率与实际延迟，总体质量趋势不等于每组每步都成立。外部后端波动、凭证与配额、文件锁与工作区清理都会影响可重跑性。第 4 个边界是可达性。本次资源状态为暂时不可达且文档部分，因此不能断言代码已公开可运行，复现前需先确认仓库可达并核对技能文档与工具配置。缺失证据不是技术错误，但在此之前不应承诺部署收益。
要复现，先做什么，需要保留哪些信息条件？
先固定评测条件。取同一 90 例子集与同一评测套件，选定一个宿主并记录其默认环境的内置技能工具提示与执行预算，再在同一环境中只增加框架技能与工具服务跑第二遍。分别计算支持率、绝对与相对的语义质量分、交错一致性分、严格与宽松结构分，核对数据集、基线、阶段、指标、单位与聚合对象是否一致。数值相同不等于同一指标，要按表头与公式口径核对。
再固定执行条件。记录每个执行图节点的类型、自包含提示、参数与依赖，记录工具路由选了哪个接口、提供方配置解析到哪个厂商模型与默认参数、节点覆盖改了什么、前驱输出以何种任务关系注入。产物写入成功后再核对注册记录的编号类型子类型路径描述参数轮次与源引用，确认跨轮引用物化为已完成源节点且修订为追加新记录。验证失败、节点失败取消后代、独立分支继续等行为应保留日志。
关键信息条件包括宿主名称与版本、90 例标识与划分、指标绝对相对口径、外部后端厂商模型与参数、注册表文件位置与锁行为。本次代码链接未能确认可达，文档仅部分覆盖安装与推理，因此复现起点是按论文正文重建 4 层与技能契约，而不是假设可一键运行。若仓库恢复可达，再对照其技能文档补全附录中的任务到技能映射。
何时值得尝试，还需补哪项验证？
当任务已有明确交付物清单且产物间有依赖，例如从产品图同时出海报视频与落地页，或从讲座音视频出教程图文，此时值得尝试用技能加执行图加资产注册的组合，因为它把选择、依赖、传递、隔离与复用 1 次表达清楚。当任务只是单轮单模态问答，或后端完全不可用时，不必引入该框架，直接用宿主或单专家模型更经济。
还需补的验证按优先级是替换后端后的稳定性、消融每个机制的贡献、延迟与费用开销、注册表规模增大后的复用成功率。论文的直接报告是支持率到 100% 与相对语义质量分到 74.94 与 77.78，严格结构分到 100.00 与 99.78；有限解释是结构收益来自执行图与资产组织；未验证推测是换后端与跨域迁移仍保持同样增益，应用时用可能或待验证表达。记住核心判断：推理核不变，能力增长来自可演进的系统层组合，而组合的可靠性取决于声明依赖是否写全、验证是否通过、资产是否可解析复用。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses