网页智能体如何处理跨应用与音视频任务:WebArena-Pro 解读
WebArena-Pro 用 20 个自托管网页应用和 300 个人工校验任务检验网页智能体,核心是跨站点协调与音视频理解,最强编码智能体成功率约六成且跨站点与无媒体工具时明显下降,但结论只在 50 步预算与特定判分流程下成立。
WebArena-Pro 用 20 个自托管网页应用和 300 个人工校验任务检验网页智能体,核心是跨站点协调与音视频理解,最强编码智能体成功率约六成且跨站点与无媒体工具时明显下降,但结论只在 50 步预算与特定判分流程下成立。
共分析 15 篇语音/AI 论文
针对跨文本图像文档视频音频问答,HyperSkill 冻结骨干大模型、只用可读技能库的增删改来代替梯度更新,在 11 个数据集平均 F1 从最强基线 29.0 提升到 42.0,单库训练花费平均 0.51 美元且推理延迟基本持平。
论文把参数冻结的小多模态模型放在可改写提示与校验代码的流程里做情绪识别,在 5507 个样本上主要靠转录与韵律描述文本提升识别率,而离线改写流程本身只带来很小且未通过多重校正的增量,同时需要约四倍调用量。
针对长视频中答案藏在几秒钟里、一次采样容易错过的问题,SleuthVLM 把语音转成带时间戳文本,让视觉语言模型用工具主动查证,在四个音频视频问答基准上平均 75.0%,代价是多轮工具调用和转写依赖。
针对多模态大模型答对视频问题却说不清依据谁、何事、何时的问题,THG-Omni 用问题引导的人物轨迹加可验证语义声明构成可追溯图,并把读图能力做成显式监督,在 IntentBench、MER24 诊断和 NExT-QA 上比较匹配图、无图与错配图的条件差异。
共分析 66 篇语音/AI 论文
论文从八工具的 OmniAgent 出发,先按功能剪枝再把音频与视觉工具合并为全模态字幕与问答两个工具,在三个基准上保持准确率的同时把工具调用和估计推理成本降低约七成,长视频上的智能体优势更明显。
共分析 47 篇语音/AI 论文
论文要解决跨数十到上百小时视频的细粒度时空推理问题,用与问题无关的持久记忆加按需检索和三类技能的 4DMemory Harness 把任务时长与模型原生窗口解耦,在 5214 题上最高联合成功率 77.79% 但分布式计数等仍是短板。
针对长视频中稀疏、跨模态的局部篡改,AV-FABLE 用双时间线基准暴露单时间线评测的遮蔽问题,NFSR 通过冻结 AV-LLM 特征的分轨读出实现定位,并在域内与三种域外条件下取得最高的 AV-mAP,但视觉覆盖与解释仍是短板。
本文研究固定全模态大模型推理时按查询只在必要时加入视频,在 WorldSense 上用代价敏感学习在保持全模态精度的同时大幅降低输入 token、时延和费用,但结论只在二选一文本加音频与文本加音频加视频、文本嵌入路由的条件下成立。
Omni-InteractScope 用 1479 段人工标注交互和 1790 个带时间窗的目标,检验模型能否在事件发生时调用工具、无需提问时主动提醒并走完多步指引,12 个模型在工具联合准确率、提醒召回和完整指引覆盖上都存在明显短板。
共分析 80 篇语音/AI 论文
EvaOmni 针对只看答案无法判断是否真用了音视频证据的问题,构建 392 个视频 1027 道需定位双模态证据的选择题并用覆盖分和瓶颈分同时考核答案与定位,最强模型 Gemini3.7-Flash 总体准确率 79.4% 但精确接地仅 35.1%。
针对问句需要一个模态、融合表示却被另一模态带偏的跨模态幻觉,OWP 用冻结模型的四个视角找出目标与竞争来源,再做正交分解与自适应再平衡,在 Qwen2.5-Omni-7B 上把 CMM 做到 86.1% 而平均延迟约为基座 1.71 倍。
共分析 34 篇语音/AI 论文
论文以 Gemma-4 12B 和 Inkling-Small 为对象,验证其早期 Transformer 层是否像独立音频与图像编码器一样先各自编码再融合,依据是换跨模态上下文后表征不变、独立编码到 12 层左右仍保持问答精度、层级信息演化与常用语音编码器相似,但细粒度语音与部分视觉任务仍明显落后。
论文针对整段视频的语音-视觉时间判断失败问题,用不训练的局部验证加语音时刻聚合做诊断,在 SVHalluc 上显示同一冻结模型局部证据可用而整体问答不可靠,对照显示查询与时刻锚点的作用,但干预同时改变了输入、调用次数与读出方式。
共分析 57 篇语音/AI 论文