📄 网页智能体如何处理跨应用与音视频任务:WebArena-Pro 解读
英文题目:WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.3/1.5 | 实验充分 1.3/1.5 | 清晰度 0.9/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Imene Kerboua:机构信息未能在本次解析中与作者逐人可靠绑定
- Fatemeh Pesaran Zadeh:机构信息未能在本次解析中与作者逐人可靠绑定
- Xing Han Lù:机构信息未能在本次解析中与作者逐人可靠绑定
- Weijian Qi:机构信息未能在本次解析中与作者逐人可靠绑定
- Alexander Miller:机构信息未能在本次解析中与作者逐人可靠绑定
- Junyi Song:机构信息未能在本次解析中与作者逐人可靠绑定
- Yunjia Tian:机构信息未能在本次解析中与作者逐人可靠绑定
- Dongjin Kang:机构信息未能在本次解析中与作者逐人可靠绑定
- Seyeon Choi:机构信息未能在本次解析中与作者逐人可靠绑定
- Marzia Nouri:McGill University Mila – Quebec AI Institute
- Ewen Gueguen:机构信息未能在本次解析中与作者逐人可靠绑定
- Matteo Boglioni:McGill University Mila – Quebec AI Institute
- Fengyuan Liu:McGill University Mila – Quebec AI Institute
- Zeyi Liao:机构信息未能在本次解析中与作者逐人可靠绑定
- Mengqi Yuan:The Ohio State University University of Hong Kong
- Yue Li:机构信息未能在本次解析中与作者逐人可靠绑定
- Alexandre Lacoste:机构信息未能在本次解析中与作者逐人可靠绑定
- Alexandre Drouin:机构信息未能在本次解析中与作者逐人可靠绑定
- Spandana Gella:机构信息未能在本次解析中与作者逐人可靠绑定
- Huan Sun:机构信息未能在本次解析中与作者逐人可靠绑定
- Gunhee Kim:INSA Lyon, LIRIS Esker Seoul National University
- Siva Reddy:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
网页智能体需在接口各异的应用中完成跨文本视觉与时间媒体的浏览器操作,但已有可复现基准仅覆盖少数应用且限于文本与视觉,而真实网站评测又随页面漂移难以复现。WebArena-Pro用20个自托管应用覆盖6类领域,提供300个人工校验任务,任务输入为自然语言意图、起始站点与已登录浏览器状态,输出为浏览器操作序列与最终页面状态,难点在于认证流程与数据模型差异大,且关键证据藏在语音或视频画面中。观测先以可访问性树与截图共同呈现页面元素,媒体来源以节点形式暴露其中供定位。再由转写工具transcribe()把语音段变为文本节点、抽帧工具extract_frames()把视频段变为图像观测送入智能体,原生多模态模型则可用listen()与watch()直接接收音视频。最后每个任务在独立播种容器中隔离运行并在开始前重置,任务经标注界面编写、模型初筛与人工复核后发布,保证并行评测可复现。在300个测试任务、每任务50步预算下,以全部细则通过比例计算的成功率为指标,Codex搭配GPT 6.1 Sol的成功率为62.3%,高于OpenCode搭配Kimi 3.1 Pro的60.7%。在43个必须依赖媒体内容的子集上,以成功率为指标,Claude Code搭配Claude Opus 5.5无媒体工具时成功率为14.0%,低于加入转写与抽帧后的48.8%。跨站协调、视觉计数与时间定位仍是主要失效点,当前仅支持预录片段,未验证实时语音与直播流,原文记录单轮300任务推理开销约为Codex 166美元、Claude Code 386美元,判分不足4美元,未披露训练成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
网页智能体实际要做什么
网页智能体在这里指能够操作浏览器的语言模型或视觉语言模型系统。它的输入是一句自然语言意图,例如查找航班、回邮件、整理票据或回答视频中的问题,附带允许访问的网站列表和已经登录的浏览器状态。它的输出是一系列浏览器操作,以及必要时给用户的最终答案。
与单纯问答不同,这类任务要求保留完整的工作流信息。智能体不仅要找到正确页面,还要完成筛选、填写、提交、跨页面核对等步骤,并让网站后端状态真正改变,例如订单被保存、文件被创建、消息被发出。如果中途选错实体、填错数值或漏掉保存,任务就不算完成。
对语音、音乐或音频方向的读者,可以把网页看作一种带交互的容器。文字与截图是静态观察,音频与视频是嵌在页面里的时间媒体。过去的评测大多只看文字与截图,相当于只允许智能体读标题和看封面。本文要解读的基准把声音与画面也作为必须使用的证据,要求智能体在浏览过程中主动调用媒体工具去听和看。
已有评测为何不够用
可复现的自托管评测此前覆盖的应用很少。WebArena 用 6 个应用,VisualWebArena 用 3 个,WebChoreArena 用 4 个,WorkArena 系列集中在单个企业平台,TheAgentCompany 用 4 个内部服务。任务组织方式也多是从少量模板生成大量实例,例如 241 个模板生成 812 个实例,这会降低任务多样性。更重要的是,这些评测的模态只到文字与视觉,没有音频与视频。
另一条路线是真实网站评测,例如在公开网站上做任务演示或实时评测。这类工作扩大了网站覆盖,但页面、数据、布局与策略会随时间漂移,同样的任务在不同时间运行条件不同,难以复现失败,也难以用后端状态做稳定判分。
还有工作把重点放在企业工作流、桌面操作或大规模自动生成环境上。它们分别强调长程规划、操作系统级控制或用大模型批量构造环境。本文的基准与它们互补,专门针对网页软件,强调异构界面、音视频理解与每次任务隔离重置。理解这条分界很重要,不能把在真实网站上的泛化成绩直接与在自托管固定版本上的成功率比较,因为数据划分、输入条件与运行阶段并不一致。
这篇论文要解决的三个缺口是什么
第一个缺口是应用覆盖窄。已有自托管基准只用少数几个应用和少数软件类别,智能体可能靠记住某一个产品的按钮位置完成任务,换一个同类但接口与数据模式不同的产品就失效。论文希望测试的是对界面约定、工作流与后端模式的迁移,而不是对单个产品的记忆。
第二个缺口是模态缺失。很多真实浏览工作涉及嵌在页面里的时间媒体,例如播客的说话内容、音乐的歌词与风格、视频的画面动作。只给文字与截图,智能体只能猜标题或缩略图,无法真正检验听与看。论文因此把音频与视频作为与文字、视觉并列的核心观察,并提供专门动作。
第三个缺口是可复现性与并行性。早期自托管基准在任务之间保留后端改动,上一个任务的写入会污染下一个任务。真实网站评测则存在漂移。论文要求每个任务在独立的按任务设定的容器状态下运行,开始前重置到种子基线,本地固定应用版本与数据库内容,从而支持无污染的并行评测。
20 个应用和 300 个任务如何组织
基准包含 20 个自托管网页应用,分属生产力、通信、分析、业务运营、设计与媒体、出行 6 个领域。每个应用运行在带种子数据的容器中,有固定本地地址与登录账号。任务开始前容器状态被重置,本任务的改动不会留到下一个任务。每个应用模仿一类常见服务的 workflow 模式,例如笔记、团队消息、商业智能看板、音乐流媒体、照片库、航班搜索等,但数据与功能范围由基准控制,不等同于原产品。
任务总数为 300 个,每个任务拥有自己独立的模板,而不是由少量模板批量展开。按站点覆盖分为 204 个单站点任务与 96 个跨站点任务,按模态分为 221 个文字与视觉任务与 79 个音视频任务。单站点任务在一个应用内闭环,跨站点任务需要在两个或更多应用之间协调,例如先查票据再去笔记应用建页。
下图给出整体结构,上半部分展示领域异质性,下半部分展示多模态观察与动作空间,音频与视频源如何经无障碍树暴露值得仔细对照。
看图路径: 1. 先看上半部分六个领域色块,确认 20 个应用如何分组;2. 再看下半部分从网页到无障碍树再到动作的连线,确认音频与视频节点位置;3. 比较右侧工具箱中抽帧与转写和标准键鼠动作的并列关系
论文图 1。原论文 Figure 1::“Overview of WebArena-Pro. (A) Domain heterogeneity.”。
上图上半部分用色块区分 6 个领域,可以看到同属文件管理或同属通信的应用仍有不同接口。下半部分以视频站与音乐站为例,页面中的视频与音频节点被标注进无障碍树,右侧工具箱并列了抽帧、转写与标准键鼠动作。这说明媒体处理不是外挂脚本,而是浏览器工作流中的正式动作。
单站点任务 × 跨站点任务: 单站点任务要求智能体在一个应用内完成闭环,考察对特定界面与数据模式的操作;跨站点任务要求在两个或更多应用之间传递信息,考察对不同接口约定与后端状态的迁移,组合起来才能区分记忆单个产品与真正理解多工具协作。
为理解应用异质性,先看原表列出的 20 个站点的分组、参考模式与功能描述,同属一个领域但接口与后端不同的例子是关键。
| Domain | Site | Reference application | Description |
|---|---|---|---|
| Productivity | MyDrive | Dropbox | Personal cloud file storage and sharing |
| NextCloud | Google Drive | Collaborative file storage with calendars, contacts, and chat | |
| Notion | Notion | Notes and knowledge-management workspace | |
| Password-Manager | 1Password | Password and credential vault | |
| Communication | Mattermost | Slack | Team messaging with channels and direct messages |
| Thunderbird | Gmail | Email client with folders and contacts | |
| X-Lite | X (Twitter) | Microblogging and social posting | |
| Analytics | Metabase | Power BI | Business-intelligence dashboards and SQL queries |
| PipeCRM | Pipedrive | Sales pipeline and contact management | |
| Business ops. | ERP-Next | Salesforce | Customer and supplier chain management |
| Firefly | Mint | Personal finance and budget management | |
| JobPortal | Handshake | Job postings and application tracking | |
| Minerva-Lite | University LMS | Courses, assignments, and grades | |
| Peppermint | Zendesk | Customer-support ticketing | |
| Design & media | AcidWave | Spotify | Music streaming with lyrics and playlists |
| Immich | Google Photos | Photo library with albums and search | |
| Penpot | Figma | Web-based design and prototyping | |
| YT-Lite | YouTube | Video hosting and playback | |
| Travel | Flight-Search | Google Flights | Flight search and itinerary planning |
| TravelMap | Airbnb | Travel and lodging booking |
这张表解决的比较问题是基准是否真正覆盖多类软件,而不只是数量多。同属生产力的云存储应用在接口、权限模型与文档结构上不同,同属通信的消息与邮件应用在认证与状态模式上不同。这种分组让迁移测试落在接口与后端约定层面,而不是换个皮肤。限制在于参考应用只说明 workflow 类型,不代表数据或功能对等,复现时仍需以容器内种子数据为准。
音频和视频如何变成智能体可用的观察
默认观察是结构化无障碍树与截图,默认动作遵循浏览器交互约定,包括点击、填写、选择、滚动与导航。音视频源作为无障碍树中的节点暴露出来,智能体判断需要时再调用媒体动作。转写动作 transcribe() 的作用是把指定起止秒数的音频片段转为文字,底层使用本地语音识别模型。抽帧动作 extract_frames() 的作用是从视频片段中均匀抽取若干帧,仅面向视觉语言智能体。
对于全模态模型,基准另设两条原生通路。listen() 的作用是把音频片段直接作为音频输入,watch() 的作用是把视频片段直接作为视频输入并可附带同步音频。通用智能体使用转写与抽帧,编码智能体通过媒体工具调用同样能力,全模态配置则改用原生输入。转写结果以下一观察的形式合并进无障碍树成为合成节点,抽取帧则作为图像内容与无障碍树一同返回,智能体在原有页面结构里继续推理。
transcribe() × extract_frames(): transcribe() 把指定起止秒数的音频片段转写为文字,extract_frames() 从视频片段中等距抽取若干帧图像,前者把语音变成语言模型可读的文本节点,后者把画面变成视觉模型可看的图像,两者搭配让非全模态智能体也能在同一浏览器观察结构里使用时序媒体。
listen() × watch(): listen() 把音频片段直接作为音频输入交给全模态模型,watch() 把视频片段连同可选同步音频直接作为视频输入,前者保留声音的原始声学信息,后者保留画面与声音的时间对齐,组合起来对应不经过转写与抽帧的原生音视频通路。
下面是一个单站点音视频任务的完整轨迹,适合沿着样本理解一次处理如何改变观察。任务问某电子学视频中是否出现焊接动作,智能体先点击对应缩略图进入播放页,然后调用转写读取说话内容,再调用抽帧抽取代表性帧。转写文本没有提到焊接,但在靠后时间点的帧中出现烙铁,智能体据此回答肯定,判分器确认通过。这个例子说明文字证据与画面证据可能分离,只读转写会漏检,只看标题更不可靠。
看图路径: 1. 先看顶部任务问句,确认需要判断画面中是否有焊接动作;2. 再看蓝色框中四步动作序列,确认转写与抽帧分别在第几步调用;3. 最后看右侧判分框,确认动作与结果两条规范如何各自满足
论文图 2。原论文 Figure 2::“Qualitative example of a Qwen3.6-27B agent trajectory in WebArena-Pro.”。
上图左侧蓝色框记录了点击、转写、抽帧与最终回答四步,右侧绿色框记录了动作规范与结果规范各自满足的过程。可以看到转写与抽帧返回的是下一步观察,而不是一次性结论,智能体需要把时间戳附近的帧与问题中的焊接动作对应起来。这种把媒体工具输出接回同一观察结构的设计,是理解后续消融实验的前提。
任务如何判定成功,智能体如何运行
每个任务由自然语言意图、起始站点、已认证浏览器状态与评测规范组成。评测采用基于规范的判分器,每个任务配有少量人工编写的细则,分为动作与结果两类。动作细则检查是否执行了要求的步骤,例如查看历史、搜索或提交表单,结果细则检查网站最终状态或最终答案是否满足请求,问答类任务附有参考答案。细则组织成有向无环图,一条依赖失败则其后续也被计为失败,只有全部节点通过才算成功,主要指标成功率就是成功的任务占比。
判分执行分 3 类。确定性判分器查询网站后端状态或在最终答案中匹配必需字符串,启发式判分器匹配访问过的网址与动作序列,大模型判官阅读轨迹与规范。当规范有明确无歧义的期望结果时,确定性判分器可直接判定,否则按确定性、启发式、大模型判官的顺序尝试,前者判定满足即通过,否则交给后者,让非标准但正确的解法仍有机会被认可。大模型判官总是最后兜底,也是无法从后端或动作验证的规范的唯一判分者。论文选用较小的开源权重模型作为判官,理由是与人工标注的一致性接近更大模型且成本更低、权重固定更可复现。
动作规范 × 结果规范: 动作规范检查智能体是否执行了要求的查找、筛选或提交等步骤,结果规范检查网站最终状态或最终答案是否满足请求,两者组织成有向无环图的依赖关系,组合起来既能给部分进展记分,又要求全部节点通过才算任务成功。
智能体侧比较两类形态。通用智能体采用边推理边行动的方式,在浏览器框架下获得任务意图、观察与高层动作空间,每步限制 token 上限并启用较强的推理模式。编码智能体通过另一运行框架提供浏览器与媒体工具,禁用内置网络搜索,浏览器导航限制在任务指定站点。每任务最多 50 个浏览器动作,调用结束或发送消息即停止。任务构建经过标注界面写作、模型初筛与人工复核,初筛会丢弃首试即解的过于简单任务,复核在真实应用上确认可行性并定稿规范与难度,未通过者不进入发布集。
BrowserGym × Harbor: BrowserGym 是通用智能体使用的浏览器交互框架,提供无障碍树与截图观察以及点击与填写等动作,Harbor 是编码智能体使用的运行框架,通过 Playwright 与媒体工具调用浏览器,两者分工对应两种智能体形态,但任务起始状态与判分器保持一致以保证可比性。
这套设置的公平条件是所有智能体面对相同的起始容器、登录状态与步数上限,但 50 步并不等同于等量计算资源。不同架构的 token 消耗、观察频率、原生工具使用与延迟不同,报告成本也受定价与缓存影响,因此跨框架的成绩差异不能直接归因于模型能力或框架设计,需要受控对比与重复运行才能谈效率与可靠性。
不同智能体在全部任务上的成功率如何
主结果在 50 步预算下报告各领域与总体成功率,成功要求最终奖励为 1,指标方向是越高越好,分母是 300 个测试任务。比较对象包括通用智能体配多种语言与视觉语言模型,以及编码智能体配不同大模型。领域列缩写对应生产力、通信、分析、业务运营、设计与媒体、出行,领域任务数分别为 53、44、16、63、98 与 26。
| Domains SR (%) | Domains SR (%) | Domains SR (%) | Domains SR (%) | Domains SR (%) | Domains SR (%) | |||
|---|---|---|---|---|---|---|---|---|
| Agent | Model | Prod. | Comm. | Anlt. | BusOps | Design | Travel | Overall SR (%) |
| GenericAgent | Qwen 3.5 9B | 3.8 | 9.1 | 12.5 | 3.2 | 4.1 | 3.8 | 5.0 |
| GenericAgent | Qwen 3.6 27B | 5.7 | 22.7 | 12.5 | 7.9 | 15.3 | 15.4 | 13.0 |
| GenericAgent | Qwen 3.8 27B | 7.5 | 15.9 | 12.5 | 14.3 | 19.4 | 23.1 | 15.7 |
| GenericAgent | Gemma4 26B A4B | 18.9 | 25.0 | 37.5 | 23.8 | 17.3 | 30.8 | 22.3 |
| GenericAgent | Gemma4 31B | 18.9 | 38.6 | 37.5 | 30.2 | 30.6 | 34.6 | 30.3 |
| GenericAgent | Gemini 3.1 Flash Lite | 15.1 | 27.3 | 25.0 | 20.6 | 25.5 | 34.6 | 23.7 |
| GenericAgent | Gemini 3.1 Pro omni† | 26.4 | 27.3 | 43.8 | 20.6 | 38.8 | 26.9 | 30.3 |
| Claude Opus 4.7 | 20.8 | 36.4 | 31.3 | 17.5 | 24.5 | 34.6 | 25.3 | |
| OpenCode | Gemini 3.1 Pro | 41.5 | 65.9 | 50.0 | 41.3 | 50.0 | 38.5 | 48.0 |
| OpenCode | Qwen 3.8 Max Prime | 54.7 | 70.5 | 56.3 | 47.6 | 55.1 | 53.8 | 55.7 |
| OpenCode | Kimi 3.1 Pro | 56.6 | 79.5 | 68.8 | 54.0 | 59.2 | 53.8 | 60.7 |
| Codex | GPT 6.1 Sol | 60.4 | 81.8 | 62.5 | 49.2 | 64.3 | 57.7 | 62.3 |
| Claude Code | Claude Opus 5.5 | 60.4 | 72.7 | 62.5 | 57.1 | 65.3 | 50.0 | 62.3 |
这张表回答的核心问题是在统一隔离与判分条件下,哪类智能体形态整体更强,以及优势是否集中在特定领域。总体看编码智能体明显高于通用智能体,通用智能体中较强的两个配置并列,其余小型模型差距较大。领域维度上通信任务相对最易拿分,出行与业务运营更难,没有任何配置在全部领域同时领先,即使最强的领域成绩也留有较大改进空间。需要注意原文一处正文把编码智能体配某模型的总体写作 60.3%,而原表为 60.7%,两者存在冲突,此处以原表数字为准,阅读时应以表格为准而不要混用正文该句。
为进一步看成功率的构成,需要把站点覆盖与模态两个维度拆开。单站点与跨站点各占 204 与 96 个任务,文字与视觉和音视频各占 221 与 79 个任务,指标仍是成功率,方向同样越高越好。
| Site Coverage | Site Coverage | Modality | Modality | ||
|---|---|---|---|---|---|
| Agent | Model | Single-site (%) | Cross-site (%) | Text/Vision (%) | Audio/Video (%) |
| GenericAgent | Qwen 3.5 9B | 5.4 | 4.2 | 5.0 | 5.1 |
| GenericAgent | Qwen 3.6 27B | 17.2 | 4.2 | 10.9 | 19.0 |
| GenericAgent | Qwen 3.8 27B | 20.6 | 5.2 | 12.2 | 25.3 |
| GenericAgent | Gemma4 26B A4B | 27.5 | 11.5 | 24.0 | 17.7 |
| GenericAgent | Gemma4 31B | 38.2 | 13.5 | 29.9 | 31.6 |
| GenericAgent | Gemini 3.1 Flash Lite | 29.4 | 11.5 | 22.6 | 26.6 |
| GenericAgent | Gemini 3.1 Pro omni | 35.8 | 18.8 | 26.2 | 41.8 |
| Claude Opus 4.7 | 32.8 | 9.4 | 23.1 | 31.6 | |
| OpenCode | Gemini 3.1 Pro | 52.9 | 37.5 | 47.5 | 49.4 |
| OpenCode | Qwen 3.8 Max Prime | 59.8 | 46.9 | 57.5 | 50.6 |
| OpenCode | Kimi 3.1 Pro | 66.2 | 49.0 | 63.3 | 53.2 |
| Codex | GPT 6.1 Sol | 67.2 | 52.1 | 64.3 | 57.0 |
| Claude Code | Claude Opus 5.5 | 65.7 | 55.2 | 64.3 | 57.0 |
这张表支撑的判断是跨站点协调普遍更难,但下降幅度因智能体而异,通用智能体中某配置从单站点到跨站点下降超过 20 个百分点,而编码智能体中跨站点最强的配置差距最小。模态维度则呈现形态差异,通用智能体多在音视频任务上反而更高,可能与转写与抽帧把媒体变成易处理的文字与图像有关,而多数编码智能体在音视频上低于文字与视觉,只有个别配置略高。
这说明媒体工具的收益取决于智能体与模型组合,不能把某一组合的模态优势推广到所有系统。阅读时应把这张表与上一张主结果对照,确认高总体成绩是否靠单站点或特定模态拉动,同时记住未胜出的小型模型与跨站点低分是重要的负结果。
去掉媒体工具后成绩会发生什么
消融实验聚焦音频与视频集中的两个站点,共 79 个任务,并进一步挑出 43 个必须依赖媒体内容才能解的子集。该子集经元数据、缩略图与判分标准的事后审计得到,排除了只看标题就能猜对的任务。比较 3 种配置,无媒体工具、仅转写加抽帧、仅原生音频视频输入,指标仍是完整任务成功率。
表 4 展示媒体工具消融结果,比较无媒体工具、仅转写加抽帧(T/F)与仅原生输入(W/L)3 种配置,报告完整任务成功率(%,final reward equals 1),覆盖全部任务与媒体内容依赖子集。T/F 表示 transcribe() and extract_frames(),W/L 表示 watch() and listen()。左组为全部任务的 AcidWave、YT-Lite 与总体,右组为保守子集的 Audio、Video 与总体。
| Model | Configuration | AcidWave (n = 35) | YT-Lite (n = 44) | Overall (n = 79) | Audio (n = 20) | Video (n = 23) | Overall (n = 43) |
|---|---|---|---|---|---|---|---|
| Gemini3.1 Pro | No media tools | 11.4 | 20.5 | 16.5 | 0.0 | 4.3 | 2.3 |
| T/F only | 22.9 | 50.0 | 38.0 | 5.0 | 52.2 | 30.2 | |
| W/L only | 25.7 | 54.5 | 41.8 | 10.0 | 56.5 | 34.9 | |
| Qwen 3.6 27B | No media tools | 5.7 | 2.3 | 3.8 | 0.0 | 0.0 | 0.0 |
| T/F only | 8.6 | 27.3 | 19.0 | 0.0 | 30.4 | 16.3 | |
| Opus 5.5 | No media tools | 17.1 | 34.1 | 26.6 | 5.0 | 21.7 | 14.0 |
| T/F only | 31.4 | 77.3 | 57.0 | 15.0 | 78.3 | 48.8 |
这张表要回答的是媒体接入是否为必需,而不只是锦上添花。在保守子集上,无媒体工具时多数模型在音频任务上降至零,视频任务也只剩极低的猜对水平,加上转写与抽帧后明显回升,原生输入在全模态模型上进一步略高。即使在全部 79 个任务上,无媒体工具仍保留一部分分数,说明其中混有可用标题或元数据绕过的任务,这正是需要保守子集的原因。限制在于子集是事后挑选的,挑选标准依赖人工审计,结论只适用于真正需要听看的任务,不能推广为所有网页任务都必须调用媒体工具。
失败分析补充了另一类细节。通用智能体的失败常表现为流程未闭环、导航未完成、选错实体或提前结束,部分运行耗尽 50 步。编码智能体的失败则包括本地生成文件但未写入目标应用、准备好记录但未保存、跨站点信息未传递、视觉计数错误或时间定位偏差。轨迹长度分布显示通用智能体未解任务大量堆积在 50 步上限,而编码智能体未解任务多在上限前结束,说明前者常是预算耗尽,后者更多是提前停在错误状态。短轨迹不能一概视为放弃,有时是澄清请求或拒绝作答,需要结合判分细节判断。
哪些结论不能从这篇实验中得出
首先是时间交互的覆盖有限。动作扩展只处理预录音频片段与离散视频帧,不涉及语音对话与直播流等更丰富的时序交互。论文明确把后者留给未来工作,因此不能把本基准的音视频结论推广到实时语音或流媒体场景。
其次是可比性与可靠性。实验比较的是模型、框架与工具配置的组合,成绩差异一般不能单独归因于模型能力或框架设计。共享的 50 步预算没有均衡计算资源,不同智能体的 token 用量、工具调用、观察频率与延迟不同,报告成本还依赖厂商定价与缓存。没有跨框架受控对比与重复运行,就不能断言效率或稳定性的优劣。
再次是判分与数据的边界。最终成绩依赖人工编写的规范图与 3 级判分流程,大模型判官虽与人工标注一致性接近 90%,但仍非完全一致。种子数据、人物账号与媒体素材 baked 进镜像,版本固定带来可复现性,但也意味着结论只在该固定快照下成立。更换数据分布、页面布局或注入漂移后,成绩可能变化,需要额外的鲁棒性评测才能回答。
什么情况下值得用这个基准复现
当研究目标涉及多应用协作或页面内音视频理解时,这个基准值得尝试。它的价值不在于提供一个总排名,而在于提供隔离重置、后端可查与人工校验规范的实验条件,让失败可以复现,让部分进展可以按规范图记分。单站点任务适合调试基本浏览操作,跨站点任务适合检验信息传递与状态协调,音视频任务适合检验是否真正听看了媒体内容。
复现第一步应从环境与判分入手。按论文描述为每个任务启动全新网站容器并等待就绪,完成要求的登录后导航到任务起始地址,在 50 步内行动并调用结束动作。判分时先跑确定性与启发式检查,再用指定的判官模型兜底,不要跳过前 2 级直接用大模型打分,否则会改变通过标准。媒体工具要按智能体类型配置,转写与抽帧面向常规模型,原生音频视频输入仅面向全模态模型。
还需要补做的验证包括同一配置的多次运行以估计波动,在相同框架内更换模型以分离模型与框架效应,以及对页面扰动与提示注入的鲁棒性测试。成本方面应分别记录智能体推理开销与判分开销,并说明 token 上限与推理强度设置,因为这些都会影响步数内的实际工作量。只有补齐这些条件,才能判断观察到的差距是能力差异还是预算与配置差异。
📎 论文与评分元数据
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses
