论文解读

网页智能体如何处理跨应用与音视频任务:WebArena-Pro 解读

WebArena-Pro 用 20 个自托管网页应用和 300 个人工校验任务检验网页智能体,核心是跨站点协调与音视频理解,最强编码智能体成功率约六成且跨站点与无媒体工具时明显下降,但结论只在 50 步预算与特定判分流程下成立。

 · 更新于 2026-11-18 · 约 18 分钟 · 8872 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-11-16

共分析 15 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 29 分钟 · 14164 字 阅读 →
论文解读

冻结骨干、只改技能库:HyperSkill 如何做全模态问答

针对跨文本图像文档视频音频问答,HyperSkill 冻结骨干大模型、只用可读技能库的增删改来代替梯度更新,在 11 个数据集平均 F1 从最强基线 29.0 提升到 42.0,单库训练花费平均 0.51 美元且推理延迟基本持平。

 · 更新于 2026-11-18 · 约 26 分钟 · 12630 字 阅读 →
论文解读

小模型读不懂情绪时,换一套做法能不能帮忙

论文把参数冻结的小多模态模型放在可改写提示与校验代码的流程里做情绪识别,在 5507 个样本上主要靠转录与韵律描述文本提升识别率,而离线改写流程本身只带来很小且未通过多重校正的增量,同时需要约四倍调用量。

 · 更新于 2026-11-18 · 约 22 分钟 · 10825 字 阅读 →
论文解读

不听声音怎么做视频问答:SleuthVLM 的查证式理解

针对长视频中答案藏在几秒钟里、一次采样容易错过的问题,SleuthVLM 把语音转成带时间戳文本,让视觉语言模型用工具主动查证,在四个音频视频问答基准上平均 75.0%,代价是多轮工具调用和转写依赖。

 · 更新于 2026-11-18 · 约 18 分钟 · 8819 字 阅读 →
论文解读

THG-Omni:把视频里的人、事件和时间绑在一起再教模型推理

针对多模态大模型答对视频问题却说不清依据谁、何事、何时的问题,THG-Omni 用问题引导的人物轨迹加可验证语义声明构成可追溯图,并把读图能力做成显式监督,在 IntentBench、MER24 诊断和 NExT-QA 上比较匹配图、无图与错配图的条件差异。

 · 更新于 2026-11-18 · 约 20 分钟 · 9675 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-11-09

共分析 66 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 139 分钟 · 69235 字 阅读 →
论文解读

只留两个全模态工具的问答智能体为何还能答得准

论文从八工具的 OmniAgent 出发,先按功能剪枝再把音频与视觉工具合并为全模态字幕与问答两个工具,在三个基准上保持准确率的同时把工具调用和估计推理成本降低约七成,长视频上的智能体优势更明显。

 · 更新于 2026-11-18 · 约 16 分钟 · 7849 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-30

共分析 47 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 96 分钟 · 47977 字 阅读 →
论文解读

4DMemory:把上百小时视频变成可复用的长期时空记忆再推理

论文要解决跨数十到上百小时视频的细粒度时空推理问题,用与问题无关的持久记忆加按需检索和三类技能的 4DMemory Harness 把任务时长与模型原生窗口解耦,在 5214 题上最高联合成功率 77.79% 但分布式计数等仍是短板。

 · 更新于 2026-11-18 · 约 17 分钟 · 8314 字 阅读 →
论文解读

长视频里几秒被改了:AV-FABLE 如何按声画两条时间线定位篡改

针对长视频中稀疏、跨模态的局部篡改,AV-FABLE 用双时间线基准暴露单时间线评测的遮蔽问题,NFSR 通过冻结 AV-LLM 特征的分轨读出实现定位,并在域内与三种域外条件下取得最高的 AV-mAP,但视觉覆盖与解释仍是短板。

 · 更新于 2026-11-18 · 约 17 分钟 · 8321 字 阅读 →
论文解读

每个问题都要看视频吗:按查询选择模态的推理省钱法

本文研究固定全模态大模型推理时按查询只在必要时加入视频,在 WorldSense 上用代价敏感学习在保持全模态精度的同时大幅降低输入 token、时延和费用,但结论只在二选一文本加音频与文本加音频加视频、文本嵌入路由的条件下成立。

 · 更新于 2026-11-18 · 约 16 分钟 · 7533 字 阅读 →
论文解读

在连续音视频流中按时出手并持续跟进:Omni-InteractScope 评测解读

Omni-InteractScope 用 1479 段人工标注交互和 1790 个带时间窗的目标,检验模型能否在事件发生时调用工具、无需提问时主动提醒并走完多步指引,12 个模型在工具联合准确率、提醒召回和完整指引覆盖上都存在明显短板。

 · 更新于 2026-11-18 · 约 19 分钟 · 9046 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-27

共分析 80 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 159 分钟 · 79633 字 阅读 →
论文解读

EvaOmni:要求模型同时答对并找对音视频证据的评测

EvaOmni 针对只看答案无法判断是否真用了音视频证据的问题,构建 392 个视频 1027 道需定位双模态证据的选择题并用覆盖分和瓶颈分同时考核答案与定位,最强模型 Gemini3.7-Flash 总体准确率 79.4% 但精确接地仅 35.1%。

 · 更新于 2026-11-18 · 约 19 分钟 · 9286 字 阅读 →
论文解读

Omni-Woodpecker:在融合表示里找回被压制的证据

针对问句需要一个模态、融合表示却被另一模态带偏的跨模态幻觉,OWP 用冻结模型的四个视角找出目标与竞争来源,再做正交分解与自适应再平衡,在 Qwen2.5-Omni-7B 上把 CMM 做到 86.1% 而平均延迟约为基座 1.71 倍。

 · 更新于 2026-11-18 · 约 17 分钟 · 8343 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-21

共分析 34 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 70 分钟 · 34905 字 阅读 →
论文解读

去掉编码器的多模态大模型,是不是在早期层又学了一个编码器

论文以 Gemma-4 12B 和 Inkling-Small 为对象,验证其早期 Transformer 层是否像独立音频与图像编码器一样先各自编码再融合,依据是换跨模态上下文后表征不变、独立编码到 12 层左右仍保持问答精度、层级信息演化与常用语音编码器相似,但细粒度语音与部分视觉任务仍明显落后。

 · 更新于 2026-11-18 · 约 18 分钟 · 8845 字 阅读 →
论文解读

局部看得见,整体答不对:语音-视觉时间组合的诊断

论文针对整段视频的语音-视觉时间判断失败问题,用不训练的局部验证加语音时刻聚合做诊断,在 SVHalluc 上显示同一冻结模型局部证据可用而整体问答不可靠,对照显示查询与时刻锚点的作用,但干预同时改变了输入、调用次数与读出方式。

 · 更新于 2026-11-18 · 约 15 分钟 · 7495 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-20

共分析 57 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 118 分钟 · 59031 字 阅读 →