📄 在多文件工作空间里做完研究报告:Omni-Workspace 在考什么
英文题目:Omni-Workspace: Benchmarking Omni-Modal AI Assistants on Multimodal Workspace Tasks
评分:6.3/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Yuhao Wang:Shanghai Jiao Tong University
- Yucheng Zhao:Tongyi Lab, Alibaba Group
- Yiran Zhong:Tongyi Lab, Alibaba Group
- Feida Zhu:Tongyi Lab, Alibaba Group
- Hongcheng Liu:Shanghai Jiao Tong University
- Qichao Wang:Nanyang Technological University
- Ming Ma:University of Chinese Academy of SciencesCorresponding author
- Yu Wang:Shanghai Jiao Tong University
📌 核心摘要
读者需要理解的对象是装有多类文件的工作区,任务要求智能体自主发现音视频图像文档并整合成指定产物。困难在于信息分散在多个文件和模态中,线索相互依赖,智能体要在多轮交互中决定查看什么文件和调用什么工具。基准把每项任务形式化为目标、工作区、可用工具和隐藏评分规则,执行结束时收集目标文件打分。先由智能体在工具返回图像音频视频后生成记录来源与任务关联的文字要点并输出给执行框架,再由多模态工作记忆管理把已查看原始媒体替换为占位符并把该文字要点送入后续推理上下文以控制上下文长度,源文件仍保留在工作区以备复查,最后由显式任务状态维护接收该要点与执行结果去更新按用户要求拆分清单的完成条件、已得证据与剩余缺口,并把最新清单送入每轮输入以引导下一步文件选择与检索,与以往直接给齐输入的理解类评测不同。在380项任务上使用Gemini 3 Flash Preview且每任务至多50次模型请求的对照中,允许持续读写工作区设置的任务评分指标Score为55.62分,高于移除文件访问后仅首轮给齐输入设置的33.43分。该结论仅适用于每任务五至十二个初始文件的深度研究型合成产物任务,尚未验证含数百上千噪声文件的更大工作区,以及视频剪辑、多媒体内容创作与游戏开发等非信息合成型流程。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
为什么只会看图听声还不够
刚进入语音、音乐或音频方向的研究生容易把全模态理解成能同时处理文字、图像、声音和视频,看到模型能描述画面、转写语音就觉得任务完成了。Omni-Workspace 要纠正的正是这个直觉:真实工作场景里信息是散开的,会议录音里一句话可能指向幻灯片里的某张图,聊天记录里的半句话又需要回到录音里核对说话人,证据不会一次性摆在输入里。
论文把这类工作称为深研型工作空间任务。用户给的是自然语言目标和一个装着多种文件的目录,要求智能体自己决定看什么、用什么工具处理、什么时候去公开网络上查资料,最后按指定路径交出 Markdown、JSON、YAML 或 CSV 文件。中间产生的剪辑片段或解码音频还可能被后面的步骤复用。能不能持续地协调感知、推理和工具调用,并把跨文件、跨模态的证据拼成符合要求的人工制品,才是这里的考察点。
已有评测大多只给题面附带的多模态输入并要求简短作答,或者只覆盖图文工作空间,对音频和视频的持续操作涉及很少。Omni-Workspace 的定位就是补上这一块:文件必须在执行过程中主动发现和处理,信息必须跨文件整合,联网检索和媒体变换是完成任务的必要环节,而不是可选附加。
已有评测与本文任务的边界在哪里
理解本文需要先分清 3 类相邻工作。第一类是 OmniEval、OmniVideoBench、LVOmniBench 这类全模态理解评测,它们检验对给定音视频和图像的感知与推理,但不要求智能体在文件系统中多轮操作。第二类是 OmniGAIA 和 Omni-DeepSearch,它们加入了多步工具使用和外部证据检索,但仍把多模态输入直接放在初始上下文里,不要求在工作空间里持续发现多个文件。
第 3 类是 Workspace-Bench,它已经强调跨文件依赖和在持久文件环境里完成任务,但音频和视频覆盖有限,对跨模态媒体处理涉及较少。Omni-Workspace 与它的区别在于同时要求音频、视频、图像全覆盖,要求跨文件依赖、中间产物复用、网络检索、媒体处理和工作空间文件读写都出现在任务要求里,最终产出是目标文件而不是简短答案。
这个边界决定了比较时不能混淆条件:理解类评测的高分不代表能做好工作空间任务,因为后者多了文件发现、工具链组织、长程状态跟踪和按 rubric 交文件的约束。论文附录的对照表也是按模态覆盖、任务依赖、智能体操作和输出形式 4 个维度逐项打钩,而不是把不同输入条件下的分数直接排名。
任务到底输入什么、要交出什么
每个任务被形式化为一个四元组,目标、初始工作空间、可用工具动作空间和隐藏的评分细则各占一项。智能体开始时只拿到用户指令和工作空间路径,看不到媒体内容和文本全文,必须通过工具调用去列目录、读文件、查元数据,再决定剪辑、转写、搜索或计算。某一步的动作会返回观察,也可能改变工作空间,例如生成新的中间文件,后续步骤可以再读这个新文件。
\[\mathcal{T}=(G,W_{0},\mathcal{A},R),\]上式中 G 是任务目标与交付要求,包括格式和必须包含的内容,W0 是包含多种异构文件的初始工作空间,A 是该任务允许的工具与动作空间,R 是对智能体隐藏的评分细则。符号均为任务级对象,不是向量维度,公式本身只说明任务由这四部分构成,不涉及训练损失。
下图是一个具体例子,可以帮助建立全过程的直觉。任务摘录要求找出 voice_audio.wav 中 12-20 s 说话人出现在哪个候选视频里,再由视频里的县线索找到县治、NBA 球队、2025 年破纪录季后赛的对手和对手球员照片,最后按模板比较两场比赛并分析球员表现,存为 playoff_record_report.md。请沿编号观察证据如何从音频流向视频、城市、球员和网络,再流向最终报告。
看图路径: 1. 先从左上用户任务摘录看起点:12-20 s 的声音片段是待解线索;2. 再沿中间 1 到 7 的编号看主路径如何从剪辑音频走到联网搜索与写报告;3. 注意左侧工作空间与右侧最终报告之间哪些是初始文件、哪些是过程中生成的中转文件
论文图 1。原论文 Figure 1::“Overview of Omni-Workspace. An omni-modal agent continually coordinates perception, reasoning, and tool use to gather, process, and integrate information across workspace files…”。
从像素可见,左侧工作空间有 1 个音频、2 个视频、4 张球员图像和 1 个报告模板,另有执行中生成的 reference_clip.wav 中间文件和最终报告。中间 1 到 7 步依次是剪辑音频、比对说话人锁定 video_01.mp4、由选票图定位 Cuyahoga County 并经网络确认县治为 Cleveland、认出骑士队球员、查到对手步行者、认出对手球员、联网查比赛纪录与球员数据后写报告。这个例子同时展示了媒体分析、网络搜索、中间文件创建与复用和结构化报告生成,缺任何一段都交不出合格文件。
为说明依赖不是偶然的,论文做了结构审计。下表比较的问题是 380 个任务在多大程度上真的需要跨文件、跨模态和中间产物,而不是把所有文件堆在一起就能回答。
| Task property | Tasks | Proportion |
|---|---|---|
| Cross-file integration | 380 | 100.00% |
| Strong cross-file dependency | 297 | 78.16% |
| Media-file processing (L2) | 169 | 44.47% |
| Intermediate-artifact reuse | 103 | 27.11% |
表中跨文件整合为 380 个、占 100.00%,强跨文件依赖为 297 个、占 78.16%,媒体文件处理即 L2 为 169 个、占 44.47%,中间产物复用为 103 个、占 27.11%,且这些性质可以重叠。强依赖指一个文件的信息被用来定位、解码、对齐或解释另一个文件,例如先从录音认出厂商再去选对应品牌标识的展会照片;中间产物复用指执行中生成的文件被后续操作当作输入,例如先分离混叠声道存为音频再去辨认说话人与节目内容。这组数字说明工作空间不是装饰,而是题目成立的条件。
多模态工作空间 × 跨文件依赖 × 跨模态依赖: 多模态工作空间指同一个任务目录下共存的视频、音频、图像和文本文件;跨文件依赖指必须用一个文件的信息去定位、解码或解释另一个文件,跨模态依赖指结论必须联合两种以上模态的证据才能成立,三者组合后任务不再是单文件问答,而是要在工作空间里持续发现线索并决定下一步查哪个文件。
从媒体池到可评分任务:数据是怎么造出来的
构造流程分 5 段,目标是让每个任务都有真实的跨文件线索、可验证的网络事实和可执行的交付要求。第一段收集与标注:约 10K 视频、从视频中抽出的 20K 音轨和来自 LiveVQA 与 COCO 2017 的 20K 图像,用 Gemini 3.1 Pro 生成带时间、语义和实体信息的结构化标注,视频先按场景切分再整合成带时间戳的叙述,音频标注说话、轮次、非语音事件和声学特征,图像描述场景、物体关系和图文内容。
第二段扩展与关联:以标注为检索线索,用基于 Qwen3.7-Max 的搜索智能体查相关人物、组织、地点、作品和事件,并收集可验证事实,要求优先选择需要多步搜索才能获得、不是常识或单条摘要就能抄到的信息。实体名称归一后按共享实体和语义关系连边,组成 2 到 4 个文件的连通组,再按模态覆盖、文件数和复用预算拼成候选工作空间,并过滤过于通用的高频实体以减少无效连接。
第三段之后是任务设计与质检。用 GPT-5.5 作为任务生成智能体,输入文件标注、跨文件关系、已验证网络证据和该任务允许的工具子集,让它沿参考链选文件、定证据路径、必要时用工具验算或生成模板,再写出用户指令、参考结果和评分细则。造不出满足跨文件跨模态加联网加文件交付要求的候选工作空间会被丢弃。质检包括可解性与必要性、答案泄露、评分正确性 3 类模型检查,再加 3 位有研究生研究经历的标注者按清晰性、可行性和 rubric 质量投票,两票通过才保留,修不好就删除。
下图上排是这 5 段流水线,下排是后文 OmniFocus 的两块设计,先看上排即可,下排留到组件节细讲。
看图路径: 1. 先看上排 1 到 5 的构造流水线,确认每一步的输入和产出;2. 再看下排 OmniFocus 左右两块:左边是原文替换为占位符,右边是需求清单随轮次更新
论文图 2。原论文 Figure 2::“Omni-Workspace construction and OmniFocus.”。
从像素可见,上排 1 到 5 依次是收集标注、扩展关联、组装工作空间、设计任务、验证修复,标注了所用模型、采样考虑和失败处理分支;下排左侧是把上轮多模态输入提炼为结构化文字并用占位符替换原文,右侧是把用户目标拆成需求清单并跟踪证据、进展与缺口。构造注释与参考链不进求解器可见的工作空间,保证智能体必须自己重走发现过程。
智能体执行时遵循推理动作观察循环,每轮调用工具,工具结果追加进上下文。媒体必须经工具读入才作为多模态输入,执行可用 50 步,调用 finish 或超步则终止。工作空间状态随动作演化,论文用一步转移来表达这种持久性。
\[W_{t+1}=F_{W}(W_{t},a_{t}),\]上式中 Wt 是第 t 步的工作空间文件状态,at 是在允许动作空间中的动作,FW 刻画工具执行对文件状态的影响。它不是学习目标,只是说明观察与文件生成都会改变下一步可见的工作空间,这也是中间产物能被复用的形式化依据。
原生全模态智能体 × 带自动语音识别的视觉语言智能体: 原生全模态智能体直接用 read_audio 把音频作为模型输入,能同时听到语音、音色和环境声;带自动语音识别的视觉语言智能体先用 transcribe_audio 把语音转成文字,再靠说话人日志和声纹比对等工具补回谁在说话,两条路线分工不同,组合比较才能看出非语音线索和说话人归属各自的难度。
OmniFocus 如何管住上下文和任务状态
长程失败有两个反复出现的形态。第一是多模态上下文膨胀:工具返回的原始图像、音频、视频留在后续每一轮上下文里,即使关键信息早已提取,也持续占用输入并增加处理开销。第二是任务状态漂移:已满足的要求、已拿到的证据、还没补的信息缺口和终止条件散落在越来越长的交互历史里,智能体容易重复读文件、漏做显式要求、做无用搜索或过早过晚结束。错误分析也与此呼应,需求遗漏是最常见的状态漂移形式。
OmniFocus 是加在执行框架上的轻量扩展,只有两个机制。第一个是多模态工作记忆管理:当工具返回图像、音频或视频后,框架提示智能体在同一轮回复里顺手提交关键观察,写明媒体动作标识、来源路径、观察列表及其与用户请求的关系。提交后框架在后续上下文里把原始媒体替换为文字占位符,只保留文字记录,源文件仍在工作空间里,需要时可重读。这一步只换上下文,不删文件。
第二个是显式任务状态维护:智能体从用户目标初始化一张需求清单,每条记录需求描述、完成条件、已获信息、处理进展和剩余缺口或冲突,状态为待办、已完成或受阻。每次有新观察或执行结果就提交整张清单替换旧清单,框架把最新清单拼进下一轮模型输入。清单是模型自评的进展,不是已验证的完成度,也不直接决定终止,但能让后续动作围绕未完成需求组织,是先补证据还是先写文件验证。
实现上对应两个工具:commit_media_evidence 保存媒体证据的文字记录,update_task_state 维护需求清单。流程是每轮由上下文加最新状态组成请求,若有待处理原始媒体就附加记录指引,执行媒体记录提交与状态更新,再把本轮原始媒体替换为占位符,执行任务动作并把动作与工具响应追加进上下文,保留文字记录,把新媒体留到下一轮查看,直到框架接受完成信号。全过程不改模型权重,只改上下文管理与状态跟踪。
多模态工作记忆管理 × 显式任务状态维护: 多模态工作记忆管理负责把已看过的图像、音频、视频提炼成文字记录并用占位符替换原文以控制上下文膨胀;显式任务状态维护负责把用户目标拆成按条记录的需求清单并跟踪每条的证据、进展和缺口,两者搭配后前者管住上下文代价,后者管住不遗漏需求和不提前结束。
在什么条件下测、分数怎么算
评测覆盖 380 个任务,4 种工作空间类型大致均衡,211 个 L1 与 169 个 L2 按是否需要代码或媒体处理工具划分。初始文件共 2552 个实例,每个任务 5 到 12 个、平均 6.72 个,包括 480 个视频、619 个音频、696 张图像和 757 个文本文件,文本含模板与参考材料。交付文件共 402 个,360 个任务交 1 个、18 个任务交 2 个、2 个任务交 3 个。时长方面音频中位 128.94 s、90 分位 281.63 s,视频中位 164.78 s、90 分位 713.68 s,文件实例合计音频 24.63 小时、视频 37.38 小时,视频音轨不另计为独立音频。 下图帮助确认规模与题面特点,读图时注意单位与聚合口径。
看图路径: 1. 先看面板 a 四种工作空间类型的任务数与深浅两色代表的 L1 与 L2 构成;2. 再看面板 b 每个工作空间初始文件数的分布与平均 6.72 的位置;3. 最后看面板 c 四种输出格式的文件数与占比
论文图 3。原论文 Figure 3::“Dataset statistics of Omni-Workspace.”。
从像素可见,面板 a 4 类工作空间任务数分别为 94、100、91、95,蓝色与绿色分别代表 L1 与 L2;面板 b 显示 5 个文件的任务最多为 120 个,随文件数增加递减,标注平均 6.72、中位 6;面板 c 显示 Markdown 198 个占 49.3%、JSON 136 个占 33.8%、YAML 38 个占 9.5%、CSV 30 个占 7.5%,按 402 个输出文件统计。题面长度平均 213.8 词、中位 208 词、90 分位 299 词,主题以影视与体育合计约 47.1% 为主,其余分布在政治、科技、音乐等 8 个主题。
执行条件对两类智能体保持一致,区别只在音频接入:原生全模态智能体用音频读取工具直接听,视觉语言智能体用 Whisper 转写拿文字,再加说话人日志、声纹比对和 Python 媒体分析等工具补说话人与声学信息。每任务最多 50 个智能体步骤,缺失或不可读的目标文件整题记 0 分。评分分内容与格式两类原子检查,规则校验管文件类型、字段、结构与带容差的数值,语义检查由 Qwen3.7-Max 在 temperature 为 0 下逐条判满足或不满足,再按 rubric 聚合成 0 到 100 的内容分与格式分。
\[S_{\mathrm{overall}}=\lambda S_{\mathrm{content}}+(1-\lambda)S_{\mathrm{format}}\]上式中 Scontent 与 Sformat 分别是内容分与格式分,lambda 取 0.9,主结果均按该权重计算总分并在 0 到 100 上按任务平均。格式分普遍高于内容分,因此总分更接近内容表现,附录同时报告三者以区分内容正确与格式合规。跨裁判一致性检查显示 3 位不同家族裁判的原子一致率在 93.23% 到 95.49% 之间,排序相关也很高,但这只支持相对排名较稳,不代表单个分数无误差。
内容分 × 格式分 × 总分权重: 内容分衡量提交文件是否满足事实与内容要求,格式分衡量文件类型、字段和结构是否合规,总分权重把两者按 0.9 和 0.1 加权,组合后既能区分事实错误和格式错误,也解释了为何格式分普遍高于内容分而总分仍被内容分主导。
最强的模型能拿多少分、短板在哪里
主结果要回答的比较问题是:在同一框架、同一指令和步数预算下,18 个代表性模型谁更能走完发现、处理、整合与交付全链路。下表截取原生组头部与视觉语言组头部的平均分与分难度平均分,指标方向均为越高越好,权重 lambda 为 0.9。
| Native Omni-Modal Agents | |||
|---|---|---|---|
| Gemini 3.5 Flash | 72.77 | 57.38 | 65.93 |
| Gemini 3.1 Pro Preview | 65.13 | 53.36 | 59.89 |
| Qwen3.7-Plus | 68.70 | 59.88 | 64.78 |
| Qwen3.6-Plus | 62.75 | 52.82 | 58.34 |
表中 Gemini 3.5 Flash 平均 65.93,L1 为 72.77、L2 为 57.38;Qwen3.7-Plus 平均 64.78,L1 为 68.70、L2 为 59.88;其后 Gemini 3.1 Pro Preview 为 59.89,Qwen3.6-Plus 为 58.34,只有前 2 名超过 60。所有模型 L2 都低于 L1,头部差距也在 10 分以上,说明需要变换或分析媒体再接回推理的处理型任务更难。工作空间类型上没有一边倒的最难子集,但 A+I+T 上出现分化:Gemini 3.5 Flash 在该子集拿到 68.42 的最高分,而 Qwen3.6-Plus、Kimi K2.6、MiniMax-M3 在该子集分别是各自最低的 54.37、43.92、49.37,这引出了音频子集的细查。
音频子集的比较问题是:当任务必须用到转写文字之外的声音证据,或必须把话归到正确说话人时,直接听音频与先转写再用工具补有何差别。下表对比原生直听与带工具的转写路线在非语音信息与多说话人理解上的分数。
| Model / configuration | NSI ↑ | MSU ↑ |
|---|---|---|
| Qwen3.7-Plus (ASR + tools) | 52.89 | 64.67 |
| Qwen3.7-Plus (ASR-only) | 51.37 | 53.78 |
| Qwen3.6-Plus (ASR + tools) | 47.75 | 63.09 |
| Qwen3.6-Plus (ASR-only) | 43.32 | 49.71 |
表中原生 Gemini 3.5 Flash 与 Gemini 3.1 Pro 在非语音信息上为 62.39 与 63.02,带工具的 Qwen3.7-Plus 与 Qwen3.6-Plus 为 52.89 与 47.75,仍有约 10 分差距;在多说话人理解上带工具时为 64.67 与 63.09,已接近原生的 66.77 与 63.14,而仅转写时跌到 53.78 与 49.71,分别下降 10.89 与 13.38 分。这支持两个有条件的判断:在需要音色、环境声、音乐等非语音证据时被测原生模型表现更强,在需要跨段落对应说话人时说话人分析工具对转写路线帮助明显。结论只在被测模型与这两个子集上成立,不能推广到所有原生或所有转写系统。
L1 个任务 × L2 个任务: L1 任务只需直接查看、检索和推理就能完成,L2 任务还要求用代码或媒体处理工具对媒体做变换或分析后再把结果用于推理,两类搭配后可以检验智能体是否只会看媒体,还是也能动手处理媒体并把处理结果接回后续步骤。
省上下文与少漏需求的两招各自起了什么作用
OmniFocus 的消融要回答的是:拿掉状态维护或拿掉记忆管理后,分数与开销如何变化。下表比较的问题是在同一骨干上完整 OmniFocus 与基线变体的分数、输入 token 与估计成本,分数越高越好,其余越低越好,成本按统一标准层 token 单价估算,不含音频附加、长上下文阶梯与缓存折扣。
| Model | Setting | Score ↑ | Input Tokens (k) ↓ | Cost ($) ↓ |
|---|---|---|---|---|
| Gemini 3 Flash Preview | OmniFocus | 60.73 | 249.20 | 0.1467 |
| Gemini 3 Flash Preview | w/o both | 55.62 | 330.57 | 0.1750 |
| Gemini 3.1 Pro Preview | OmniFocus | 64.95 | 271.07 | 0.7358 |
| Gemini 3.1 Pro Preview | w/o both | 59.89 | 615.81 | 1.3874 |
表中完整版在两个骨干上分数最高且输入 token 与成本最低。相对基线,Gemini 3 Flash 从 55.62 升到 60.73,输入从 330.57 k 降到 249.20 k,成本从 0.1750 美元降到 0.1467 美元;Gemini 3.1 Pro 从 59.89 升到 64.95,输入从 615.81 k 降到 271.07 k,成本从 1.3874 美元降到 0.7358 美元。去掉任务状态后分数下降 3.63 与 1.72 分,工具调用从 25.62 增到 32.17 与从 27.62 增到 29.51,轮次也增加,说明状态清单与按需求组织动作有关。去掉记忆管理后分数只降 0.68 与 0.75 分,但输入增加 71.2% 与 114.0%,成本上升 58.4% 与 87.9%,耗时也明显上升,说明压缩多模态观察主要控上下文与开销,而非直接减少动作数。时间上 Flash 快 118.01 s,Pro 的无状态变体反而快 13.20 s,因此省时并不在两个骨干上都一致。
读图时把左图当作不同音频接入方式在两个音频子集上的总体差异趋势,右图当作基线轨迹中 6 类错误实例的构成形态。
看图路径: 1. 先看左图非语音信息与多说话人理解两组上不同音频接入方式的总体差异趋势;2. 再看右图基线轨迹中六类错误实例的构成,确认它只展示单组计数不含前后对比
论文图 4。原论文 Figure 4::“Performance on audio-focused subsets and error analysis.”。
左图按非语音信息与多说话人理解分组,分别展示原生直接听音频、带工具的转写路线与仅转写路线的大致位置关系,具体分数以正文表格为准。右图只展示基线轨迹的单组错误实例计数,涵盖多模态感知、搜索、工具调用、需求遗漏、证据丢失或误用和重复调用 6 类,不包含基线与 OmniFocus 的前后对比。按论文正文的错误分类,前 3 类属于局部执行错误,后 3 类属于任务状态漂移错误。
论文在附录的成对标注统计中另行报告基线与 OmniFocus 的比较:需求遗漏从 272 降到 191,而多模态感知从 414 到 407 变化很小,按组求和后任务状态漂移类减少 22.4%,局部执行类减少 7.9%。该前后对比来自文字报告的统计结果,不是右图单组柱状本身的直接可见内容,阅读时不要把两处混为一图。
工作空间必要性的对照也在同一预算下用 Gemini 3 Flash Preview 跑全部 380 题:保留持续读写与中间复用的工作空间得 55.62,把所有初始文件内容一次性塞进首轮请求但禁掉后续文件读写与中间复用的无工作空间只得 33.43,差距为 22.19 分,且在 L2、强依赖和需中间复用的子集上差距更大。这支持在被测模型与预算下只给初始上下文加联网与通用计算替代不了持续文件操作,但不代表任何模型在任何预算下都如此。
这些结论在什么边界之外不再成立
先说规模边界。当前每个任务初始文件为 5 到 12 个,平均 6.72 个,论文明确指出这还不是真实世界里动辄数百上千文件的嘈杂大工作空间,更大检索空间下的遗漏、误检与成本行为尚未被测量。把本文的分数直接外推到超大工作空间是不成立的。
再说任务类型边界。380 题是深研型信息任务:收集、处理、核验、综合多文件与网络证据,再生成结构化人工制品。视频剪辑、多媒体内容创作、游戏开发等更重创造与操作的流程不在覆盖内,构造与可靠验证难度也不同,因此不能用本文结果承诺那些流程的收益。
最后说测量边界。主分数依赖规则校验加模型裁判的原子检查,跨裁判一致性虽高但仍是抽样验证;OmniFocus 的成本只计智能体模型推理的输入输出 token,不含裁判与其他工具成本,也不含缓存与定价细节;错误标注基于两条基线轨迹的模型标注,类别计数是错误实例数而非轨迹数。任何关于延迟、误判率或部署成本的承诺都需要另行测量,不能从分数提升直接推出。
要复现与核查应从哪一步开始
复现第一步是按原文工具表重建隔离工作空间与 50 步循环:列目录、读文本、读图、读视频、读音频或转写、剪辑与声画处理、说话人分析、Python 计算与媒体测量、网络搜索与浏览、写文件与结束,音频接入按模型类型二选一,原生直听或转写加工具,不要混用。评分时缺失目标文件整题记 0,规则部分程序化校验,语义部分用固定 rubric 逐条二值判定,再按 0.9 权重合成后按任务平均。
核查时建议先跑通 L1 再看 L2,因为 L2 要求媒体变换结果必须接回推理,失败常出在路径、参数或剪辑后未重读;再核查强依赖与中间复用子集,因为无工作空间对照显示这正是差距最大的地方。音频部分可单独复查非语音与多说话人两组,并对比去掉说话人工具与 Python 音频分析后的下降,以确认说话人归属是否真的依赖工具。
关于资源可得性,本次收到的证据清单中没有完成来源绑定且通过校验的作者资源,不得声称代码、模型或数据已公开。应按公开数据集与媒体各自的许可与引用要求处理 FineVideo、LiveVQA、COCO 2017 等来源,需要时引用原链接而非默认可再分发,公开网络证据也需保留来源核验链。
什么时候值得尝试 OmniFocus 式的改进
当你的智能体已经能单步看懂图像与语音,但多轮后开始重复读文件、漏做题面要求或迟迟不结束时,优先尝试本文的两招:把已看媒体提炼成文字并替换原文以压住输入增长,把用户目标拆成带证据、进展与缺口的清单并每轮更新以压住遗漏。预期是分数小幅提升、输入与成本明显下降,而不是单步感知错误大幅减少,原文中感知错误几乎不变就是直接证据。
行动顺序是先加状态清单再加记忆管理,因为前者关联工具调用与轮次,后者关联上下文与成本,两者的代价与收益不同,不应混为一谈。若只能做一处且上下文已超预算,先做记忆管理;若主要问题是漏需求与无效搜索,先做状态维护。
还需要补的验证是更大更噪工作空间下的表现、除深研报告之外的创作型任务、以及包含完整工具与裁判开销的端到端成本与延迟。只有在这些条件下重新测量,才能判断该方法是否值得部署,而不仅是在 380 题与被测骨干上有效。
📎 论文与评分元数据
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses

