HyperBrowseComp：在开放网络上考验多语言多模态持续检索

📄 HyperBrowseComp：在开放网络上考验多语言多模态持续检索

英文题目：HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents

标签：#音视频问答 | #基准设计 | #基准测试 | #多语言

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Alham Fikri Aji：机构信息未在 arXiv HTML 中可靠披露
• Faiz Rizki Ramadhan：机构信息未在 arXiv HTML 中可靠披露
• Zayd M. K. Zuhri：机构信息未在 arXiv HTML 中可靠披露
• Seung Hun Eddie Han：机构信息未在 arXiv HTML 中可靠披露
• Ryandito Diandaru：机构信息未在 arXiv HTML 中可靠披露
• Qinrong Cui：机构信息未在 arXiv HTML 中可靠披露
• Jan Christian Blaise Cruz：机构信息未在 arXiv HTML 中可靠披露
• Badrinath Chandana：机构信息未在 arXiv HTML 中可靠披露
• Peerawat Chomphooyod：机构信息未在 arXiv HTML 中可靠披露
• Ahmed Attia：机构信息未在 arXiv HTML 中可靠披露
• Jonibek Mansurov：机构信息未在 arXiv HTML 中可靠披露
• Emilio Villa-Cueva：机构信息未在 arXiv HTML 中可靠披露
• Canh Duong Nguyen：机构信息未在 arXiv HTML 中可靠披露
• Imran Turganov：机构信息未在 arXiv HTML 中可靠披露
• Minghao Wu：机构信息未在 arXiv HTML 中可靠披露
• Peerat Limkonchotiwat：机构信息未在 arXiv HTML 中可靠披露
• Irina Nikishina：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

该基准要解决网页浏览智能体在真实开放网络中发现并连接证据的能力不足，输入为13种语言由母语者或高水平使用者直接写成的问题，输出为单个实体、名称、日期或数值等简短答案，难点在于关键线索常隐含在题面之外，需在网页、视频帧、口语、扫描书报、表格、地图与图表之间定位长源片段并做多跳验证。构建时标注者从可验证答案与证据出发逆向出题，提交规范答案、别名、链接、精确证据位置、来源语言、相关形态、访问日期与解题轨迹，再经第二位标注者校验唯一性并补充不帮助检索的指纹约束，随后用七个无网络模型筛除可凭参数知识答对的题目，最终保留423题。评测时智能体在统一智能体协议下自主检索浏览，回答由二值裁判对照参考答案判定，另在印尼语、泰语、越南语各抽10题做人类无模型辅助对照。在原生搜索设置下423题上以准确率为指标，Gemini 3.7 Flash答对134题、准确率为31.68%，高于Gemini 3.1 Pro Preview答对108题、准确率为25.53%。同一原生搜索设置下五个模型均未答对244题、占比57.68%，而30题人类抽样上人类答对15题高于Gemini 3.7 Flash的13题，人类平均用时89.5分钟并有4题放弃。推理开销上原生搜索下Gemini 3.7 Flash在423题累计使用14.1M词元与129.5小时端到端时间，Exa外挂检索下单配置最高达928.8M词元与75.1小时。结论适用于跨语言跨形态找obscure公开信息的压力测试，不代表日常查询分布，实时排名与页面变化会带来波动。

🔗 开源与复现资源

• 第三方资源：https://HyperBrowseComp.github.io/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

网页浏览智能体要完成什么样的输入输出

这篇论文研究的是把大语言模型当作能上网查资料的助手来评价。输入是一道用母语写成的问题，问题指向一个简短、公开可验证的答案，例如某个机构名、人名、日期或数值。输出要求同时给出解释、确切答案和置信度，评价时只看确切答案是否与参考答案一致。关键在于答案不能只靠模型记忆给出，题面往往没有直接点出要搜的实体、关系或载体，智能体必须自己判断搜什么、在哪里搜，再把多步找到的证据连起来。

例如论文中的德语示例先要找到一段介绍游戏更新的视频，再定位到视频中出现限速标志和人行道的时刻，再把游戏场景对应到现实街道，找到几米外路边的银行，最后查阅该银行 2010 年薪酬报告中的业务数据。整个过程的输入是自然语言问题加开放互联网，输出是短答案加证据链，保留的信息是答案必须能在公开网页上查到，丢失任何一跳都无法确证。

对于刚进入语音、音乐或音频领域的读者，可以把视频中的解说、背景音、扫描报告中的文字都理解为不同载体上的证据，智能体需要先发现载体再解析内容。

已有浏览评测各自分开了哪些困难

论文把相关工作分成 3 条线。第一条是保持区分度的知识与推理评测，例如研究生水平的理科问答和覆盖多学科的专家问答，它们主要考领域知识，持续上网找证据不是核心。第二条是网页浏览与搜索评测，例如在开放网络上找难找但易验证答案的 BrowseComp，在固定语料上比较检索器与智能体的 BrowseComp-Plus，以及在自建网站中执行任务的评测，它们强调持久检索，但多为英文和纯文本。

第 3 条是多语言或多模态扩展，一边是中文、韩文环境改编和把英文支撑文档翻译成多语言的对照构造，一边是加入图片、视频、音频证据的搜索评测。论文认为这些工作每次只隔离了真实搜索的一个侧面，要么语言单一，要么载体单一，要么用翻译控制变量而丢失了本地措辞和站点结构，因此提出同时覆盖多语言母语撰写与多模态开放证据的压力测试。

这种定位不是说前人工作没有价值，而是指出真实搜索中语言、载体和线索隐含性是交织出现的，需要一个同时施加这几重压力的测试床。

题目难在哪里：隐含的搜什么和去哪搜

论文把困难定义为解释性搜索。题面给出的是线索而不是检索式，相关实体、关系、来源和证据形式可能是隐含的。智能体先要决定搜什么、在哪里搜，可能要汇总比较多个候选答案，也可能要多跳检索才能定位并验证最终结果。证据可能索引很差、藏在很长的来源里、只出现在视频或文档的特定片段，或者无法用常规关键词 1 次命中。论文还刻意让题目瞄准冷僻但公开的具体信息，并叠加额外的线索跳数，要求解析多条含糊且重叠的信息。

为避免题面歧义导致多个实体都符合，验证阶段会追加不便于搜索但便于确证的限定条件，例如书中猫插图的确切数量，这类条件对搜索几乎无帮助，但能确认找到的答案确实来自指定来源。例子是教学示意，不代表所有题目都有视频加财报的结构，实际 423 题分布在多种语言、领域和载体上。对初学者而言，可以这样复述：难的不是答案长，而是从题面到答案之间缺了好几块拼图，而且题目不明说拼图藏在哪种网页里。

基准整体如何从答案反向构造出难题

构造流程是反向的。标注者先从一个公开可验证的答案和支撑证据出发，再写出一道要经过非平凡搜索才能恢复该答案的问题。每道候选都要提交问题、规范答案、可接受别名、相关网址、确切证据位置、来源语言、相关模态、访问日期和简要解题轨迹。确切证据位置可以是引文、页码、表格编号、视频时间戳、音频区间或地图位置。解题轨迹只记录一条可行路径，不假定这是唯一搜索轨迹。

随后第二位标注者做验证，检查问题可理解、答案正确唯一、证据可访问且正确、时间敏感措辞有界，并要求必要时补充确证性限定。核心团队还会组织讨论并要求提高难度。随着对前沿模型弱点的认识加深，后续题目的难度被不断推高。最终经过无网络筛查，去掉能靠记忆答对的题，保留 423 题。数据集以编码形式发布以减少被自动爬取误收入训练数据的风险。

这种反向构造保证了每道题至少有一条已被人工走通的证据路线，但不限制智能体必须走同一条路。

设计原则如何分工：短答案与多语言多模态

设计上有 4 条分工。第一是单短答案，沿用 BrowseComp 的做法，让答案简洁无歧义，使难度来自找到答案而非解读答案，也便于用二值正确与否来评分。第二是多语言，不用英文种子集，每题由对应语言的母语或接近母语者撰写，要求解题确实需要该语言的流利程度才能找到或导航来源，这样措辞、术语、文化指涉和搜索行为不会在翻译中丢失。

第三是超越文本，鼓励使用图片、视频帧、口语音频、扫描文档、数字化书籍、表格、图形、地图等异构来源，且相关模态往往不在题面明示，智能体要先发现决定性信息在录音、扫描件或地图中，再去定位。第四是压力难度，优先选择冷僻、具体但公开的信息，并叠加多跳线索，减少靠热门实体或固定约束模板走捷径的可能。

原生检索 × 外部检索工具： 原生检索指模型提供商自带的网页搜索实现，与模型和索引紧耦合；外部检索工具指统一的第三方搜索与抓取接口。两者分工不同，前者考验模型加专有生态的整体效果，后者固定检索接口以比较模型自身的提问与浏览策略，组合起来才能区分能力来自模型还是来自搜索引擎。

多语言撰写 × 跨语言翻译构造： 多语言撰写指每道题由对应语言的母语或高熟练度作者直接从该语言网络环境出发编写；跨语言翻译构造指先写英文题再把支撑文档翻译成多语言。前者保留措辞、文化指涉和本地站点的检索特点，后者便于控制变量但丢失本地搜索行为，两者搭配才能理解本基准为何强调在原语言环境中发现线索。

证据模态 × 解题线索链： 证据模态指答案所依赖的载体类型，如视频、扫描文档、图片或地图；解题线索链指从题面到答案必须依次定位的多跳证据。模态决定智能体需要调用哪类解析能力，线索链决定需要多少次检索与定位，两者组合后难度来自既要找对载体又要连对顺序。

下面这张表比较不同浏览评测在开放性、模态与语言覆盖上的设计属性，可以看出本基准同时满足四项的定位。比较的问题是已有工作是否同时具备开放网络、多模态、多语言与人工撰写，公平条件是按论文给出的各基准属性对照，指标方向是具备记为肯定。

该表显示此前英文 BrowseComp 以开放网络加人工撰写为主但缺少多模态和多语言，翻译构造的跨语言版本有多语言但不在开放网络上，多模态版本有多模态但只有一种语言，只有本基准同时满足四项。限制是该表只描述基准设计属性，不反映题目难度或模型效果，语言数量多不等于每种语言题量均衡。

来源政策与验证如何保证可查且唯一

来源政策允许广泛的公开互联网来源，但有明确约束。来源不得要求付费、登录、私人群组或个人账号，不依赖单个社交媒体用户的孤立帖子，涉及社交媒体时只允许官方机构账号或有持久独立来源佐证的广泛报道的公共事件，且排除涉及私人的敏感个人信息，只允许与公众人物相关的问题。验证分 2 个阶段，先由通用验证者检查，再由核心团队成员终审。

验证者不仅核对答案和证据，还会检查是否有实质不同的其他实体同样满足约束，若题面不够具体就要求补充确证性限定。这些限定不让搜索变容易，只让事后确认更可靠。难度审计则用 7 个无联网模型试答全部提交的题目，其中 121 题至少被一个模型答对，54 题至少被 2 个模型答对。最终排除全部至少被 2 个模型答对的 54 题，再对仅被一个模型答对的题做答案特异性判断，排除其中 23 道答案高度具体、不太可能蒙对的题，共排除 77 题，保留 423 题。

无网络筛查 × 指纹约束： 无网络筛查指用七个无联网模型试答以剔除仅靠参数知识就能答对的题；指纹约束指验证者追加的不便于搜索但便于确证的限定条件。筛查负责去掉太容易的题，指纹负责保证答案唯一且来自指定证据，两者组合使难度来自证据发现而非题面歧义。

对初学者来说，这里的关键是把可查性和唯一性分开：来源政策保证题目在公开网上能查到，指纹约束保证查到的答案不会张冠李戴，而无网络筛查保证题目不是靠背诵就能答对。三者缺一不可，否则高失败率可能是题面含糊造成的，而不是检索难造成的。

本研究没有训练模型，实际计算是什么

本研究没有训练任何新的语言模型，也没有更新模型参数或报告梯度路径。实际的计算和人工过程是基准构造与评测执行。构造侧的计算包括用大模型对领域和模态做事后标注，再由人工复核，例如用模型按问题文本划分 12 个主要领域加其他类，按问题加证据说明划分视频、文档、图像、表格、音频、地图、图表等来源标签和是否需要计算，并单独判断非文本理解是必需还是仅靠文字即可。

评测侧的计算是调用已有模型加检索工具完成作答，再调用评分模型做二值判断。评分调用与作答使用同一模型但开启全新上下文，只给原问题、完整回答和可接受参考答案，若评分输出无法解析出明确的正确与否则记为不正确。论文还用 3 个固定外部评分模型重评全部回答以检验评分稳定性。由于没有训练，本基准的结论只关于检索发现与利用证据的能力，不涉及预训练或微调带来的提升。

无训练也不意味着输出确定，检索到的网页和模型采样都会带来波动。

评测比较了哪些模型与检索执行方式

评测在 5 个前沿模型上进行，包括两个 Gemini 系列和 3 个 GPT 系列，分别在 3 种浏览设置下测试。第一种是提供商原生搜索，把模型与其专有搜索系统联合评价；第二种是统一的 Exa 接口，提供标准化的搜索与抓取工具；第 3 种是独立多智能体协作框架，配有浏览与多模态能力，作为单独的智能体系统评价。原生与 Exa 设置采用统一的交替生成与工具调用循环，最多 25 个研究步骤，模型自主决定搜索词、来源选择和浏览流程。

多智能体框架则设任务管理、协调、研究与综合等分工，用无头浏览器截图式浏览和图像、视频、文档、音频解析工具，并有外部工具调用与模型调用的全局预算和单样本时间上限。若达到步骤上限，会追加提示要求仅用已收集信息给出最佳答案。资源记录包括作答加评分的输入输出词元、模型轮数或内部调用数、端到端耗时和各级失败数，失败的执行按不正确计入分母，避免只在成功样本上算准确率。

下表说明两类循环的执行预算差异，这是理解后文效果与成本同时受框架影响的前提。比较的问题是不同执行方式允许多少步骤与重试，公平条件是按论文给出的配置参数对照，指标方向是预算越大通常成本越高但不保证更准。

该表显示交替生成循环上限为 25 个研究步骤，模型接口重试与样本级重试有明确次数，温度与输出长度多沿用提供商默认，而多智能体框架另有单样本时间与调用预算约束。限制是参数只描述允许的上限，实际调用次数因题而异，不能用上限直接推算单题成本。

不同检索设置开放的工具也不同，比较的问题是每种设置下智能体实际能调用什么，公平条件是按论文工具配置对照，指标方向是有无某类解析能力。

该表显示无工具、原生搜索、统一外部检索与多智能体框架的工具逐级增多，仅后者额外开放截图式浏览与多模态解析。限制是工具有无不等于会用，模型仍需自主决定何时调用截图或视频解析，工具列表本身不解释调用质量。

主结果显示多大幅度的正确率与共同失败

主结果比较的问题是在相同 423 题上哪种模型加检索组合更准，公平条件是分母均为全部保留题目且失败计为不正确，指标方向是准确率越高越好。下表整理论文正文直接报告的关键定量结果，保留了最强与次强原生配置以及多智能体已完成尝试的对照。

该表显示最强原生配置准确率为 31.68%，次强为 25.53%，多智能体在已完成尝试上为 22.73% 仍低于原生对照，而全部题目中有 57.68% 无任何原生模型答对。限制是这些数字来自特定模型与工具组合，换检索接口或模型版本结果会变，且准确率只反映短答案是否命中，不反映证据质量。论文同时报告资源差距很大，统一外部检索配置单题可达上 1000000 词元量级，而原生检索更省且更准，说明执行框架同时影响效果与成本，但成本低不必然对应效果差。初学者复述时要注意百分点与相对百分比的区别，这里都是占全部题目的百分比，不是对某个子集的相对提升。

人类在抽样题目上花多少时间且对在哪里

人类评测比较的问题是在相同抽样上人类与模型的正确率与耗时如何，公平条件是人类允许上网但禁用智能体助手、超时可放弃，模型为最佳原生配置在同一子集上的表现，指标方向是正确率越高越好、耗时越短越好。抽样为印尼语、泰语和越南语各 10 题，共 30 题。

该表显示人类在 30 题上答对 15 题，放弃 4 题，含放弃在内的平均耗时 89.50 分钟、中位 54.57 分钟；同一子集上模型答对 13 题。分语言看人类在印尼语上 6 对 10 题且平均约 40 分钟，在泰语上仅 3 对 10 题且平均耗时超过 150 分钟，在越南语上 6 对 10 题但耗时较长；模型在越南语子集上相对更好。重叠情况是人与模型同时答对的只有 8 题，说明让人觉得难的题与让模型觉得难的题不完全对应。

限制是样本只有 30 题且每种语言的测试者不同，个人搜索技能差异未被控制，不能推广为某种语言整体更难，论文也明确不同语言是不同题集，失败率差异不隔离语言能力。对音频方向的读者而言，人力耗时长的部分往往卡在定位片段和跨源确证上，而不是最后写出答案上。

换检索接口与执行框架后效果如何变化

论文把模型固定而换检索执行方式，发现明显的框架敏感性。用统一外部检索替换原生搜索后，GPT 系列的最强配置有所提升，但两个 Gemini 配置都明显下降；多智能体框架下 Gemini 的总体准确率也低于其原生对照，即使只算已完成的尝试仍低约 9 个百分点。论文的解释是专有模型与其原生搜索生态紧耦合，例如对网页和视频索引的协同优化，换到通用接口后优势丢失。

多智能体运行还伴随稳定性问题，在全部计划查询中出现 93 次终端运行失败，包括工作步骤超时、用尽模型调用预算、处理失败和时间上限等，这些失败按不正确计入。工作量上该框架共发起上 10000 次外部工具调用，平均每题约 27 次，内部模型调用总数达五万量级。未胜出的范围是统一外部检索并非对所有模型都不利，至少在一个 GPT 配置上它是更优选择，因此不能把某种接口说成普遍更好，还需在固定模型与可比预算下系统比较更多执行框架。

ReAct 循环 × 多智能体协作框架： ReAct 循环指单个模型交替生成思考与调用搜索工具、最多 25 个研究步骤的执行方式；多智能体协作框架指把任务拆给管理、协调、检索与综合等角色并配可视化浏览器的执行方式。前者考验模型自主规划检索，后者考验分工与工具链集成，对比两者可以分离模型能力与执行框架的影响。

这段结果对复现的提示是：比较模型时必须固定检索后端，比较检索后端时必须固定模型，否则看到的差距可能来自生态适配而不是模型本身。论文没有穷举所有模型与后端的组合，报告的排序只在所测组合内成立。

哪些语言更常出现共同失败

下面按语言展示共同失败率，读图说明是横轴为无任何模型答对的题目占比，纵列为 13 种语言，虚线为总体 57.68%，右侧同时给出失败题数与总数。观察时先确认横轴是占比，再比较两端语言的条形长度，最后看虚线位置。

看图路径： 1. 先看横轴含义：无任何原生检索模型答对的题目占比；2. 再比较德语与越南语两端条形的失败题数与总数；3. 注意虚线 57.68% 是全部 423 题的总体共同失败率

论文图 7。原论文 Figure 7:：“Shared failures across all 13 languages, sorted by shared-failure rate.”。

该图可见德语 28/38、印尼语 27/39、韩语 24/35 等条形在虚线右侧，失败率约 70% 左右，越南语仅 8/25、埃及阿拉伯语 12/32 等在虚线左侧。解释是这些语言对应不同题集，差异首先反映各子集内生难度不同，不能理解为模型在某种语言上能力更差，论文明确标准化跨语言难度是未来工作。对初学者常见的误解要澄清：越南语准确率高不代表模型更擅长越南语，可能是该子集题目相对容易或证据更易索引。

哪些领域与模态更常出现共同失败

下面按领域展示共同失败率，读图说明是纵列为 12 个领域加其他类，横轴同样为共同失败率，虚线仍为总体水平。观察时先看领域名称，再比较上下两端的失败题数，最后注意题量差异。

看图路径： 1. 先看纵列领域名称与右侧失败题数分布；2. 再比较游戏与音乐两端的高低差异；3. 注意各领域题量不同，不宜直接理解为领域能力排序

论文图 8。原论文 Figure 8:：“Shared failures across 12 domains (sample sizes differ), ordered by shared-failure rate.”。

该图可见游戏 24/33、餐饮 10/14、地理交通 24/38 等靠上，音乐 12/31、体育 6/15、政治法律 7/17 等靠下。解释同样是描述性关联而非因果，领域标签是事后划分且题量不均，样本很少的类别波动很大。

下面按模态展示共同失败率，读图说明是纵列为图像、地图、文档、视频、音频、表格、图表与是否需要计算等可重叠标签，横轴为共同失败率。观察时先区分来源标签与任务标签，再比较视觉证据与时间媒体的位置。

看图路径： 1. 先看图像与图表两类视觉证据的失败率位置；2. 再看音频与视频两类时间媒体的相对位置；3. 注意标签可重叠，算术指需要计算的任务类型

论文图 9。原论文 Figure 9:：“Shared failures across all modality-related labels.”。

该图可见图表 6/8 与图像 58/78 的共同失败率最高，地图与扫描文档也高于总体，而音频 23/45 与视频 92/165 相对低一些。论文据此推测获取并解读来源内特定证据是反复出现的挑战，但同样强调这不分离检索、访问、理解与推理中具体哪一步失败。用词分析也发现英文译文中的杂志、页面、照片等词在共同失败组中更常见，进一步指向来源内证据定位的困难，但词与难度只是相关，不是因果。

结论在什么条件下才成立，有哪些边界

结论成立依赖 3 个条件。第一是开放网络是动态的，搜索排名、页面内容、地域可用性和工具行为都会随时间变化，完全相同的重跑可能结果不同，论文通过保留轨迹来支持审计。第二是题目是刻意做难的压力测试，不代表日常搜索的自然分布，语言覆盖也不代表所有语言社区，且不同语言网上可搜信息的数量与质量差异很大。

第三是模型评估范围有限，受成本与接口限制，主要比较 5 个前沿模型与两种检索设置加一种多智能体框架，单次运行可达数天与上 100000000 词元量级，因此报告的分数只反映所测的模型与工具组合，换执行框架可能改变排序。隐私方面论文排除了敏感个人信息、以私人个体为中心的问题和需私有权限的来源。

评分方面用模型给自身回答评分，但因答案短且无歧义，换 3 个固定外部评分模型重评 3384 个判断的一致率在 98% 以上，总体准确率漂移不超过 0.80 个百分点，说明在该任务上自评偏差很小，但这不推广到开放式长答案任务。缺证据不等于技术有错，相关也不等于因果，没有测量的延迟与成本不能承诺会改善。

复现第一步做什么，需要哪些信息条件

复现应从解码与执行环境入手。先通过官方项目页获取数据解码方式与评测产物说明，确认 423 题的编码数据、标注指南与代码的公开状态，来源是否可用以本次实际可达的官方页面为准，不要把论文中提到的第三方链接当作作者已开源。接着固定模型标识、温度与推理配置、检索指令、工具参数、重试与失败计数规则，以及评分提示与二值判定解析方式，因为论文用同一模型做全新上下文评分且解析失败记为不正确。

执行时原生与统一检索循环用最多 25 个研究步骤并在超限后追加只用已有信息作答的提示，多智能体框架用单样本时间与调用预算并保留 93 次终端失败的计数口径。还需记录词元、耗时与工具调用的分项来源，因为不同框架的统计口径略有差异。值得尝试的时机是研究跨语言检索、视频与扫描文档解析或检索框架本身的设计，因为基准同时提供这些压力；若只是验证英文纯文本问答，该基准的成本与难度可能超出需要。

仍需补的验证是在固定模型下比较更多检索工具与浏览策略，并报告相同预算下的效果与成本曲线。

什么时候值得尝试，还缺哪项验证

综合来看，这项工作适合刚进入语音、音乐或音频方向但想做开放检索的研究生用来理解多跳证据题的完整链路：从发现载体、定位片段到跨源确证，每一步都可能失败，而最终评分只看短答案。论文直接报告的是最强原生配置 31.68% 准确、57.68% 题目无人答对、人类抽样中位耗时 54.6 分钟，以及换检索接口后不同模型走向相反的效果变化。

证据支持的解释是视觉与文档内证据定位反复伴随失败、模型与原生搜索生态存在协同，相关不等于因果，语言与领域的失败率差异首先反映题集难度不同。容易产生的误解是把越南语或阿拉伯语的高准确率当作模型更擅长这些语言，或把统一外部检索的高成本当作必然更准，原文数据不支持这两种推广。第一步复现应先跑通小量子集的原生与统一检索两条链路并对齐评分与失败计数，再扩展到全量与多智能体框架。

还缺的验证是在更多模型、更多检索后端和更长时间窗口下重复测量，以确认排名与失败模式是否稳定。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递