📄 手机智能体被无关信息带偏时，FocusGUI 如何每一步重新聚焦
评分：6.7/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.4/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Fuyao Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
- Wenwen He：机构信息未能在本次解析中与作者逐人可靠绑定
- Jiaming Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
- Yurong Hao：机构信息未能在本次解析中与作者逐人可靠绑定
- Xuan Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Guowei Guan：机构信息未能在本次解析中与作者逐人可靠绑定
- Che Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Longtao Huang：机构信息未能在本次解析中与作者逐人可靠绑定
- Wei Yang Bryan Lim：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
智能体在第t步收到用户目标、当前界面截图、视频流、音频、交互历史和设备状态，需输出规定为词元序列的下一个可执行动作及其参数，难点在于决定动作的证据在不同步骤间瞬变且在单步内稀疏分散，已执行动作又会重新进入后续观测，使单步误读累积为不可逆的轨迹偏离。FocusGUI先把同一观测展开为多个感知通道，再以每步重新计算的完整观测综合表示为决策参考，对各通道打分并加权汇合，压缩为64维聚焦隐向量，最后在动作边界前4个提示位置以零初始化残差注入冻结解码器，使解码器在不删减观测下被引导关注当前关键证据。训练只用动作序列的负对数似然且损失仅落在动作词元上，不标注哪个模态重要，不更新主干、解码器与词头，梯度经冻结解码器传回适配器参数。相对直接裁剪屏幕的增强方法，该方法保留全部观测并改变解码器读取方式，因而动作选择与参数接地所需的空间细节不被裁剪丢弃，可同时处理音频、视频与历史线索。在4个全模态主干平均上，相对冻结主干，Type Match从31.0%提高到64.2%，Exact Match从11.2%提高到33.5%，即平均增加33.2个百分点Type Match和22.3个百分点Exact Match，约为3.0倍Exact Match。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/fyzhang1/FocusGUI — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
手机智能体每一步要读什么、输出什么
这篇论文研究的任务是手机上的多步操作智能体。输入不是单张截图，而是一份随时间流动的全模态观测：用户给的文字目标、当前要执行的屏幕、同步的视频流、同步的音频、已经执行过的动作历史、设备状态。输出是下一步可执行动作，被写成一段词元序列，既要说明动作原语是什么，也要给出执行它所需的参数。
动作空间在论文附录里是固定的，一共 13 类原语：3 种带一个坐标的指针动作，上下左右 4 个带起点和终点的滑动，带字符串的文本输入，不带参数的返回、主页、任务完成、任务不可能，以及表示只观察不动作的等待。坐标被归一化到 0 到 1000 并用文本形式经由冻结的语言模型头生成，模型每次返回一个 JSON 对象。评价时先看原语是否选对，再看坐标和文本是否落到实处。
对刚入门的读者，关键是理解必须保留的信息。屏幕给出在哪里点，视频和音频给出何时点，历史和设备状态给出此前做了什么、现在处于什么上下文。论文的起点是：现有做法每一步都把全部观测原样交给解码器，让解码器自己从完整上下文里重新发现重点。背景里提到的流式感知能力只说明模型能收到什么，没有解决每一步该如何组织这些证据。
已有路线为什么只改屏幕是不够的
论文把相关工作分成两条线。第一条是多模态手机智能体和评测的发展：从单步截图操作扩展到长时间交互，再到要求理解动态视觉内容的时间基准，以及把屏幕、视频、音频和历史交织在一起的 OmniGUI。第二条是感知与定位：用大规模定位数据加强表示，用屏幕解析把界面结构暴露给通用模型，或者在推理时对屏幕做候选区域搜索、结构化解析、注视区域放大。
这些方法的共同控制轴是空间：选当前屏幕的哪一块仔细看。论文指出这与本文问题的错位有两点。第一，决定性信号可能在任何时刻出现在音频、视频或设备状态里，这些通道不在空间裁剪的范围内。第二，即使信号在屏幕上，粗暴裁掉的背景里往往包含定位坐标和文本参数所需的上下文。实验部分也印证了这一点：3 类屏幕精修方法在动作类型上接近中性，但在需要坐标和文本的指标上明显下降。
另一条可比的路线是同样冻结主干但学习动作头的 GUI-Actor。它与 FocusGUI 接受同样的观测和解码流程，区别在于它没有按步骤重排证据。论文用它来分离两种解释：仅仅增加了可训练参数，与增加了步骤自适应组织，两者带来的增益是不同的。
相关性为什么是步骤的属性，错一步会发生什么
论文用消融实验说明相关性是暂态且稀疏的。做法是把某个模态从 Qwen2.5-Omni 的输入中拿掉，看真值动作的对数似然如何变化：拿掉后似然下降说明该模态有用，拿掉后似然上升说明该模态在干扰，下降最多的就是主导模态。这个定义只针对当前步骤的决策，不是给模态贴全局标签。
下面这张图就是上述消融的汇总，先按任务类别看切换比例和干扰比例，再看目标面积与视频变化量的分布，它是理解后文序列干扰的直接依据。
看图路径： 1. 先看左图三条线随任务类别的变化，确认主导模态切换是否普遍；2. 再看中图有用与干扰两段条形的相对长度；3. 最后看右图目标面积与视频变化量的中位数与均值
论文图 1。原论文 Figure 1:：“Relevance is transient across steps and sparse within them.”。
从图中可见三点。左图显示相邻步骤间主导模态切换的比例在总体上达到 45.3%，94.0% 的回合至少出现一次切换。原文逐步消融统计显示 90.1% 的步骤至少包含一个干扰模态。右图显示目标元素面积中位数仅占屏幕 0.87%，单步内视频内容变化中位数仅 7.41%。也就是说，一步的决定信号可能很少，且下一步就换到别的通道。
论文把闭环中的放大称为序列干扰。单步看错本身只影响当前预测，但执行后的动作会改变环境，并作为历史进入下一步的观测。如果每一步都要从完整观测中重新发现重点，又没有显式的变化信号，误差就会一步步累积成不可恢复的轨迹偏离。这也是后文按交互深度看差距拉大的原因。
序列干扰 × 聚焦感知： 序列干扰指单步看错导致执行错误动作，错误动作又进入历史和下一屏观测，使误差随步数放大；聚焦感知是论文提出的应对要求，即表示要随步骤变化、对当前动作充分、且不破坏原观测。干扰解释为什么需要每步重排，聚焦感知规定重排必须满足的三个性质。
FocusGUI 的总体流程：不动输入，只改变读法
FocusGUI 的设计承诺是保留观测、改变读法。冻结主干的原始通路完全不动，输入也不裁剪不扩写；另一条轻量通路从同一份观测中抽出提示信号，再以残差形式加到解码器开始生成动作之前的位置上。这样解码器读的还是完整上下文，但注意力会被重新分配。
下面这张结构图展示了两条通路的起点、打分、压缩和拼接位置，读图时重点看原始观测如何分叉又在动作边界前汇合。
看图路径： 1. 沿左上指令到手机屏再到下方的打分条，确认输入没有被裁剪；2. 比较上方冻结通路与下方聚焦通路在动作边界前的汇合点；3. 观察右下角紧凑表示到残差槽位的展开方向
论文图 2。原论文 Figure 2:：“FocusGUI. The frozen backbone’s original pathway is left intact (top).”。
上图左侧是任务指令和手机屏示例，中间上方是冻结的全模态大模型通路，下方是步骤自适应排序和紧凑聚焦分支，右侧是自回归解码器和语言模型头。下方分支先把文本、屏幕、音频、视频、状态等通道暴露出来并打分，再经压缩得到紧凑表示，最后展开成残差槽位拼接到解码器输入中。监督只来自最终动作，没有模态相关性标注。
这种分工带来一个重要性质：辅助通路不需要重建观测，也不需要独立编码坐标和文本，因为所有像素、坐标和文本仍可通过未改动的原始通路到达解码器。辅助表示可以做得很小，它的角色是调节读法而不是搬运证据。论文附录进一步从理论上区分了两条影响路径：一条直接改变某个位置读出的内容，足以切换动作原语；另一条只重新分配对已有证据位置的注意力，是修正坐标和文本参数的唯一通道。
整体的前向关系可以用原式表示：把残差放到指定位置集合上，再把相加后的嵌入送入冻结解码器得到动作分布。
\[\widetilde{E}_{t}=E_{t}+\mathcal{S}_{J_{t}}(\gamma R_{t}),\qquad p_{\Theta_{0},\phi}(y_{t}\mid O_{t})=p_{\Theta_{0}}(y_{t}\mid\widetilde{E}_{t}),\]其中 E 是送入解码器的嵌入序列，J 是动作边界前的位置集合，R 是由聚焦隐向量映射出的残差，γ 是残差尺度。训练只更新生成残差的参数，主干参数保持冻结。
观测如何拆成可比较的感知通道
第一步是把融合表示重新拆开。论文把观测写成感知通道集合，每个通道对应一个信息来源，包括主干的综合隐状态和空间屏幕通道，以及各个单独模态。每个通道先经过各自的投影器映射到同一个 128 维共享空间。投影器分开是为了适应不同来源的统计特性，映射到同一维度是为了让它们可以比较。
全模态观测 × 感知通道： 全模态观测指当前步骤智能体能拿到的全部原始输入，包括目标、当前屏幕、视频、音频、交互历史和设备状态；感知通道是把同一份观测按来源拆开后的可比较表示。观测解决给什么，通道解决怎么分开看，拆开后才能对不同来源分别打分和加权。
沿一个样本走一遍：当前屏、视频帧、音频片段、历史文本和设备状态先由冻结编码器得到各自的原始特征，再各自投影成等长向量。此时还没有决定谁重要，只是把不同量纲的东西放到同一把尺子上。后文的打分和加权都在这个共享空间里进行，原始观测本身不被删除。
这一步对应消融中的通道分解。没有它就只有单一融合通道，后文的优先级也就无从谈起。论文强调这里的优先级只是辅助通路内部的组织方式，不是对冻结主干如何使用各模态的完整解释。
每一步如何算出该信谁：决策参考与优先级
有了可比较的通道，还需要一个随任务状态变化的评判基准。论文从完整观测的综合表示中再投影出一个决策参考，它总结了当前观测的联合语义上下文。然后对每个通道计算它与该参考的相容分数，再经温度为 1.0 的 softmax 归一化成步骤优先级，加权求和得到优先表示。
决策参考 × 步骤自适应优先级： 决策参考是对完整观测的整体语义总结，用来说明当前处于什么任务状态；步骤自适应优先级是每个通道与这个参考的相容程度，每一步都重新算一次。参考提供评判基准，优先级给出取舍结果，组合后实现随步骤变化的证据排序。
具体计算是先把通道向量加上学到的通道身份嵌入，再与决策参考分别经线性变换后相加过双曲正切，最后与向量内积得到标量分数。因为通道和联合语义上下文每一步都重新计算，信息来源之间的相对强调会随任务演变。论文明确指出优先级不跨步骤携带状态，单步的污染在单步去除，就能阻止累积。
从实现角度看，温度控制分布的尖锐程度，可训练参数包括通道投影、参考投影、身份嵌入和打分矩阵。训练初期残差为零，模型从原始冻结输入起步，再逐渐学出与观测相关的偏移。推理时同样是每步重算参考和优先级，不追加文本提示，也不给模态提示。
压缩与残差注入：小向量如何引导冻结解码器
加权后的优先表示仍在完整的共享通道空间里。下一步把它压缩成更低维的紧凑聚焦隐向量，默认维度是 64，明显小于共享维度 128。这次投影限制的是辅助调节信号的容量，而不是主干可用的信息量。因为完整观测仍在原始通路中，紧凑向量不需要记住每个视觉细节和坐标。
紧凑聚焦隐向量 × 残差对齐： 紧凑聚焦隐向量是把加权后的通道表示再压缩成的低维总结，只负责指明该看重哪里；残差对齐是把它映射到解码器原生嵌入空间并加到动作边界前的位置上。压缩控制容量和代价，对齐解决如何让冻结解码器读懂这份提示而不改动原输入。
然后把这个小向量展开成残差。记动作生成开始位置为边界，取其前 K 个已有的提示嵌入位置，默认 K 为 4，把小向量经零初始化的线性层映射并变形为对应形状，再按尺度加到这些位置的原嵌入上。注入点紧邻动作生成之前，因此聚焦信号对后续每个动作词元都可见，又不需要新增预测头或改词汇表。
加法形式同样重要：它保留原嵌入，只把聚焦表示作为附加条件。零初始化保证训练开始时残差为零，输入等同于原始冻结输入。位置集合是已有的提示位置，既不追加文本，也不删除多模态输入。
\[R_{t}=\operatorname{Reshape}(W_{p}z_{t}+b_{p})\in\mathbb{R}^{K\times d_{\mathrm{model}}},\qquad\widetilde{E}_{t,J_{t}}=E_{t,J_{t}}+\gamma R_{t}.\]其中 W 和偏置零初始化，Reshape 把向量变成 K 乘解码器维度的残差块，γ 默认取 1.0。论文的理论分析指出必须用加法而非替换：替换会用低维内容覆盖掉最近且最受关注的上下文位置，破坏它们作为证据的价值，而加法保留证据内容，只做查询侧的引导和注意力重分配。
只用下一步动作监督如何训练
FocusGUI 不需要标注哪个通道重要。所有组件都用下一步可执行动作的监督联合学习。设可训练参数为通道投影、优先级、压缩和对齐模块的参数，优化目标是动作词元的平均负对数似然，只在动作词元上算损失，系统和用户词元都被掩掉。
训练时用教师强制：把真值动作序列化为紧凑 JSON 字符串作为助手目标，例如包含动作类型和坐标的单行对象。梯度穿过冻结解码器传到适配器参数，全模态编码器、解码器和语言模型头都不更新。推理时用同样的构造流程生成残差，再由原始冻结解码器和语言模型头以贪心解码逐词元生成动作，束宽为 1。
\[\mathcal{L}_{\mathrm{act}}(\phi)=-\frac{1}{|\mathcal{D}_{\mathrm{tr}}|}\sum_{t\in\mathcal{D}_{\mathrm{tr}}}\frac{1}{L_{t}}\sum_{k=1}^{L_{t}}\log p_{\Theta_{0},\phi}\left(y_{t,k}\mid y_{t,在什么数据、什么主干和什么对手上比较
评测用 OmniGUI，共 708 个回合、2572 个动作步骤，覆盖 29 个应用。每一步配有截图加同步音频、视频和动作历史，因此决定信号可能来自 4 条流中的任意一条。数据按回合不重叠划分为训练 1807 步、验证 257 步、测试 508 步，特征变换只在训练集上拟合，验证集只做选点，测试集在选定后跑一次。
主干是 4 个开源全模态模型：Qwen2.5-Omni、VITA-1.5、MiniCPM-o 4.5 和 Baichuan-Omni-1.5。它们都支持文本、视觉、听觉和时间输入，但在架构和多模态表示上不同，用来检验方法是否跨主干通用。每个主干的基座权重冻结，训练只更新轻量头和动作预测器，且 4 个主干用同样的回合划分。
对手包括 3 类屏幕精修方法和一个可训练动作头。DRS-GUI、OmniParser、RegionFocus 分别做候选区域搜索、屏幕结构化解析、注视区域放大，都在推理时精修视觉输入且不改权重。GUI-Actor 在主干视觉词元上学习动作头，用与 FocusGUI 同样的标注和划分训练，主干同样冻结。所有方法接受同样的观测和解码流程，只在动作生成前如何组织观测上不同。指标方向都是越高越好：动作类型匹配看原语，精确匹配再看坐标与文本，目标进展是按回合平均的正确步占比。
四个主干上的总体提升有多大
要回答的核心问题是：在相同冻结权重下，加一个轻量聚焦适配器是否稳定优于直接推理和现有增强。表前先说明比较条件：同一 OmniGUI 划分、同一提示与解码、同一动作空间，指标越高越好，重点看动作类型、精确匹配和目标进展。
| 条件 | 指标 | 冻结主干平均 | FocusGUI 平均 | 说明 |
|---|---|---|---|---|
| 四主干平均 | 动作类型匹配 | 31.0% | 64.2% | 原文报告的平均值 |
| 四主干平均 | 精确匹配 | 11.2% | 33.5% | 原文报告的平均值 |
| 四主干平均 | 相对最强增强 | 1.9 倍动作类型匹配 | FocusGUI 达到 | 原文报告的倍数关系 |
平均而言 FocusGUI 在动作类型上增加 33.2 个百分点，在精确匹配上达到约 3.0 倍，在目标进展上也有 6.6 个百分点的提升；相对每个主干上的最强基线，平均高出 30.1 个百分点的动作类型匹配。论文还报告在全部 24 个主干与任务类别组合中，FocusGUI 都保持每列最优。按类别看，时间类增益最大，当前屏信息最充分的即时类增益最小，精确匹配的顺序与此一致。跨主干的动作类型离散从 35.6 个百分点收窄到 13.0，说明选原语对主干的依赖降低，而精确匹配仍受各主干自身 grounding 能力限制。
动作类型匹配 × 精确匹配 × 目标进展： 动作类型匹配只看预测的动作原语是否与真值一致，精确匹配进一步要求坐标落在目标框内且输入文本一致，目标进展是每个回合中正确步骤占比再按回合平均。三者分工是选对动作、把参数落到实处、看长轨迹是否走完，组合起来才能区分选型正确但 grounding 失败的情况。
需要同时看到限制。上述平均值只在 OmniGUI 的手机任务、给定划分和贪心解码下成立，没有测量延迟、算力之外的部署成本，也没有超出 5 类任务和 4 个主干的证据。屏幕精修基线在精确匹配和目标进展上反而下降，恰好说明只改屏幕不能恢复来自音频或视频的决策依据。
差距为什么随轨迹变长而拉大
如果干扰会累积，那么抑制干扰的方法应该在深步处与基线的差距更大，而均匀更强的预测器应保持恒定差距。论文把每个评测步骤按其在回合中的索引分桶，3+ 表示第四步及以后，并给出 90% 按回合聚类的自助区间。以下曲线按步骤索引展示每步准确率，读图时先看基线是否下行，再看 FocusGUI 是否保持，最后看深步处区间是否分离。
看图路径： 1. 对比每张小图中两条曲线随步骤索引的变化趋势；2. 注意深色带表示的 90% 区间是否在深步处分离；3. 重点看时间推理类在 3+ 步处两条线的分叉
论文图 3。原论文 Figure 3:：“FocusGUI holds accuracy as trajectories lengthen.”。
图中可见 Qwen2.5-Omni 从首步 64.79 的动作类型匹配跌到第三步之后 32.79，只保留约一半，而 FocusGUI 在同一范围保留 86.8%。精确匹配上 FocusGUI 从 38.73 不降反升到 46.72，增益随深度单调扩大。时间推理类最极端，基线在深步处精确匹配为 0.00，FocusGUI 达到 39.39。即时响应任务构成反例：在前两步历史很少时两者统计不可区分，到深步历史累积后才拉开差距，这符合针对累积而非均匀增强的预期。
下表把深度效应的关键数字放在一起，比较条件是同一 Qwen 主干、同一分桶规则，指标越高越好。
| 条件 | 指标 | 首步 | 深步 3+ | 变化含义 |
|---|---|---|---|---|
| 冻结 Qwen | 动作类型匹配 | 64.79 | 32.79 | 原文报告的基线减半 |
| FocusGUI | 动作类型保持率 | 86.8% | 同范围 | 原文报告的保持比例 |
| FocusGUI | 精确匹配 | 38.73 | 46.72 | 原文报告的不降反升 |
深步增益不是因为深步本身更容易，而是基线已在深步丢失准确率，FocusGUI 在基线丢失处挽回更多。附录在另外 3 个主干上重复了同样的分桶，最弱的 VITA-1.5 也出现随深度拉大的差距，说明衰减是交互机制的属性而非单个模型的偶然。但分桶后每桶样本变少，区间变宽，解读时应以区间是否包含零为依据，而不是只看单点高低。
四个组件各自管什么，拿掉后哪里先坏
消融每次从完整模型去掉一个组件，在 Qwen2.5-Omni 上看总体与分任务的变化。表前说明比较问题：通道分解、步骤自适应优先级、紧凑投影、残差对齐是否都必要，公平条件是同一训练与评测设置，指标越高越好，重点看总体动作类型与目标进展的相对损失。
| 去掉的组件 | 总体动作类型下降 | 总体目标进展下降 | 原文强调的含义 |
|---|---|---|---|
| 紧凑投影 | 0.51 | 1.38 | 单步影响小 |
| 残差对齐 | 1.20 | 5.38 | 替换破坏 grounding |
| 步骤优先级 | 4.27 | 5.93 | 决定信谁 |
| 通道分解 | 5.39 | 5.29 | 无分解则无从加权 |
表后解释超过 25 个汉字的独立段落：每个组件对目标进展的相对价值都是对动作类型的 4 到 5 倍，最多达到目标进展 33.9% 而动作类型仅 7.5%。也就是说组件主要防止轨迹散开，而不是单步选原语。把加法残差换成提示嵌入替换时，精确匹配掉 5.30、目标进展掉 5.38，而动作类型只掉 1.20，说明保留原提示嵌入对把已选原语落到正确坐标和文本最关键。不加优先级只做通道分解时动作类型仅涨 1.12、精确匹配涨 2.78，优先级把更丰富的通道访问转化为回合级稳定。
学到的优先级如何随阶段重排，可看下图。读图前先明确任务：左图是各通道在不同阶段的平均优先级，均匀分配应为 14.3%，右图是相对各自全步均值的偏移，训练时没有模态相关性监督。
看图路径： 1. 先读左图每行每列的具体百分比，找出首步最高的通道；2. 再读右图相对均值的偏移，确认哪些通道随阶段上升或下降；3. 对照均匀分配 14.3% 的基准理解屏幕通道的位置
论文图 4。原论文 Figure 4:：“Learned channel priorities reorder across interaction phases.”。
图中可见交互状态在首阶段占 30.9%，是均匀份额的 2 倍多，到末阶段跌到 7.7%，从最高掉到最低；音频从 13.4% 升到 18.8%，视频从 11.3% 升到 18.3%。屏幕始终在 10.9% 到 12.8% 之间，低于均匀值，空间屏幕通道从未超过 9.1%。这正是论文想表达的：固定权重无法同时复现两端的排序，只有每步重算才能做到，而既有精修方法恰好只动屏幕这两个通道。
参数敏感性方面，原文固定 K 为 4、紧凑维度为 64。表前说明比较问题：在 Qwen 上扫边界窗口和紧凑维度，默认在所有主干通用不调参，指标越高越好。
| 扫描维度 | 总体动作类型跨度 | 总体精确匹配跨度 | 总体目标进展跨度 |
|---|---|---|---|
| 边界窗口 16 倍范围 | 2.6 | 2.4 | 3.0 |
| 紧凑维度过小 32 | 下降约 6.9 精确匹配 | 下降约 6.5 目标进展 | 容量瓶颈 |
窗口变化只是把同一份压缩表示摊到更多位置，不增加信息量，因此没有趋势；容量由紧凑维度决定，32 时装不下动作所需信息，从 64 起稳定，默认点落在平坦区而非峰值。参数量对照也支持增益不是单纯靠参数：与同预算的固定拼接对照相比，动态优先级在精确匹配上多 3.54、目标进展上多 3.44，而动作类型只多 0.98。
结论在什么边界内成立，还有哪些没测
先说适用边界。所有主结果都在 OmniGUI 的 708 回合内，训练、验证、测试按回合不重叠，指标是离线单步预测加按回合平均的进展。论文没有在线真机部署，没有跨应用商店或跨操作系统的证据，也没有报告推理延迟、显存占用随步数增长的曲线。4 个主干都支持图文音时间输入，结论是否适用于只有截图加文本的智能体，需要另做验证。
再说方法本身的限制。优先级只根据当前观测计算，没有对未来哪条通道会变重要的前瞻。作者在结论中也把引入前瞻性信号作为未来工作。理论分析假设了解码器是冻结的预归一化残差结构，分析的是残差如何经注意力重分配影响词元，具体数值依赖冻结权重，不能搬到其他架构上直接套用。
最后是容易误解的三点。第一，优先级数值是辅助通路内部的组织方式，不是冻结主干内部注意力如何使用模态的完整解释。第二，屏幕通道权重低不等于屏幕不重要，因为坐标和文本仍需从原始屏幕证据中读出，低权重只说明辅助提示不需要重复搬运屏幕。第三，目标进展受最弱一步限制，单步精确匹配提升不一定等比转化为整回合走完，需要看深步的保持情况。
复现第一步做什么，需要哪些条件
复现从数据与代码对应关系开始。论文给出 OmniGUI 的划分数量和四主干各自训练适配器的做法，作者资源当前可用，地址为公开仓库，可做安装与推理，文档完整性为部分。需要区分三件事：代码可用不等于权重可下载，更不等于系统开箱可运行，复现时应分别核对仓库说明、主干权重来源和动作空间配置。
第一步是固定提示与动作空间。系统提示、步骤模板、动作词汇和贪心解码束宽为 1 在所有方法和主干间完全一致，训练损失只在助手动作词元上计算。残差窗口取动作边界前 4 个已有提示嵌入，共享维度 128，紧凑维度 64，温度 1.0，残差尺度 1.0，零初始化，丢弃率 0.05。训练用 AdamW 3 轮、早停耐心为 2、梯度裁剪 1.0。
第二步是对齐输入顺序。历史截图在前，视频与音频居中，执行屏最后，保证动作作用的屏幕是最近的视觉输入。通道从同一份输入中读出，不替换任何部分。验证集只做选点，测试集只跑一次，避免用测试集调参。
还需要补的验证至少有两项。一是换划分或换应用子集的稳定性，因为当前数字依赖固定的回合划分。二是深步分桶的样本量与区间，因为深步样本少，点估计波动大，应报告按回合聚类的区间并固定回合集合做敏感性检查。
什么时候值得尝试，一句话总结
当你的智能体每一步输入都包含多条流，且错误一旦执行就会进入下一步历史时，值得尝试这种不动输入、只加步骤提示的思路。特别是时间类和跨模态类任务，决定信号不在当前屏而在音频或视频到达时，固定裁屏的方法够不到，本文的按步重排更对症。即时反应类在历史很浅时预期增益小，不必优先引入。
代价是每个主干要单独训练一个约百万级的适配器，虽然相对数十亿冻结参数很小，但仍需准备动作级标注和回合不重叠的划分。超参数按论文默认即可，不必按基准搜索，容量瓶颈主要在紧凑维度，过小会先损失精确匹配和目标进展。
一句话总结：论文把多步失败归因于相关性随步骤漂移且误差会回流，用每步重算的通道优先级加零初始残差引导冻结解码器，在 4 个主干上把平均动作类型匹配从 31.0% 提升到 64.2%、精确匹配从 11.2% 提升到 33.5%，且差距随深度拉大，但证据限于 OmniGUI 离线评测与给定主干家族。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses