只会看的第一人称模型：EgoSound 逼模型把声音听进推理里

英文题目：EgoSound: Benchmarking Sound Understanding in Egocentric Videos

会议身份：conference:cvpr:2026:conference-paper-id:Zhu_EgoSound_Benchmarking_Sound_Understanding_in_Egocentric_Videos_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #基准设计 #音视频 #音视频问答

评分：7.7/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：数据集与基准

👥 作者与机构

• Bingwen Zhu：机构信息未能从会议 PDF 纯文本可靠映射
• Yuqian Fu：机构信息未能从会议 PDF 纯文本可靠映射
• Qiaole Dong：机构信息未能从会议 PDF 纯文本可靠映射
• Guolei Sun：机构信息未能从会议 PDF 纯文本可靠映射
• Tianwen Qian：机构信息未能从会议 PDF 纯文本可靠映射
• Yuzheng Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Danda Pani Paudel：机构信息未能从会议 PDF 纯文本可靠映射
• Yanwei Fu：机构信息未能从会议 PDF 纯文本可靠映射
• Xiangyang Xue：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为第一人称视频的同步画面与音频，输出为覆盖七类声音理解任务的开放式自然语言回答，难点在于离屏声源、细粒度音色时序变化与视听因果必须联合推断。方法链第一步利用人物交互标注锁定交互时刻以确定发声候选，其输出的时刻与候选直接作为第二步的锚点。第二步以Gemini-2.5生成以声音为中心的细粒度音视描述并转录语音，形成受交互约束的文本化证据。第三步以GPT-4o基于上述描述跨七类任务构造问答，并以视频帧视觉证据做一致性校验，仅保留有视觉支撑的7315对问答。相对以往仅依赖视觉线索的自我中心问答，关键机制差异在于以交互为锚显式建模声源、空间位置与因果推理，避免了通用描述遗漏关键声音，因而能同时评测听觉感知与跨模态推理。在EgoSound基准下，Qwen3-Omni-Thinking-30B的准确率为56.7%，低于人类评估者的准确率83.9%。该结论的适用边界限于平均59.3秒的短中时长日常与盲人辅助场景视听推理，尚未验证长时记忆、强噪声混响与多声源重叠下的外推能力。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://groolegend.github.io/EgoSound/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要给研究生讲清 EgoSound 解决什么学习问题？

这篇解读的输入是会议论文的正文证据与官方原图像素，目标是让刚进入语音音乐音频领域的研究生能够核对事实并复述方法。必须保留的信息包括数据来源与规模、7 类任务定义、3 阶段构造流水线、开放问答评测协议与主结果数字，输出是 1 篇按学习依赖展开的中文技术解读。

人类感知本来就是多感官的，视觉、声音与运动要合在一起才能讲清发生了什么。在第一人称佩戴场景里这种耦合更紧：视野随头部转动受限，很多关键信息在画面外，声音反而携带空间布局、遮挡事件与因果线索。例如蒸汽的嘶声、金属掉落的脆响，或者盲人出行时靠听声导航，这些都不是看画面就能完全替代的。

过去的第一人称视频问答研究大多只考视觉，模型只要认出画面里拿了什么、做了什么就能得分，音频被当成次要信号甚至直接忽略。这就造成一个学习上的断层：现有视觉语言模型在看图说话上很强，但一到要听声辨位、数声次、推断发声原因时就缺乏系统检验。EgoSound 要补的就是这块评测空白，它不训练新模型，而是构造一个必须同时听和看才能答好的基准，逼模型把声音真正用进推理。

已有路线走到哪里：视觉问答与音频问答各缺了什么？

第一条路线是第一人称视频问答。论文回顾了早期有代表性的 EgoVQA、EgoTaskQA、EgoSchema 等，分别覆盖描述、预测、解释与反事实等能力，后续又有 EgoThink 强调第一人称思考、AMEGO 强调长时记忆、EgoTempo 强调长时间跨度的时间理解、EASG-Bench 引入场景图问答、EgoCross 考察手术与运动等跨域泛化。这些工作把视觉认知维度做得很细，但论文明确指出它们大多只依赖视觉线索，忽略了第一人称视频里丰富的听觉上下文。

第二条路线是音频与音画问答。早期更多做定位与检测而非问答，例如 STARSSS23 这类空间录音数据集，后来出现 SpatialSoundQA 与 AQAPHY 等强调空间推理的问答基准，再有 SAVVY 与 Magnet 把音频与视觉联合起来做问答，强调同时理解听觉与视觉模态。但这些工作主要在第三人称或通用场景，第一人称下的音频问答仍然很少被探索。

第 3 条路线是多模态大模型。商业系统与开源系统都在视觉语言对齐上快速进步，也出现了 EgoVLPv2 等第一人称预训练模型，以及专门面向第一人称生活助手的 EgoGPT。但音频在模型设计与评测中仍未被充分探索。因此 EgoSound 的定位不是再做一个更大的视觉问答集，而是把同输入同目标的对照条件补齐：在同样的第一人称视频输入下，比较只看画面能得多少分，必须听声加看画面才能得多少分，从而暴露听觉感知与跨模态推理的短板。

任务到底考什么：七类声音任务如何划分？

EgoSound 把评测对象定义为第一人称视频中的声音理解。白话说，第一人称视频就是佩戴者头戴设备录下的所见所闻，声音理解就是听出声音本身是什么、在哪里、何时发生、谁发出、为什么发生，并能结合画面讲清上下文。论文把 7 类任务分成两大组。第一组是声音固有属性，包括声音特性、计数、时间属性。声音特性考音量、质地、音色等描述，例如转动木框的轻微吱呀或拖拽声。

计数考不同声音实例或重复次数，也包括语音中某词被说了几次，例如 0 到 3 秒内出现了 3 次说话轮转。时间属性考持续时长、发生时刻与随时间演化，例如指导用面团切割器的清晰话语从 9 秒持续到 19 秒约 10 秒。

第二组是多模态感知与推理，包括空间位置、声源辨认、推断因果、跨模态推理。空间位置考相对佩戴者的 3 维方向与近似距离，例如商店店员从右侧约两米处喊话。声源辨认考把声音接地到具体物体或动作，例如四子棋黄色圆盘掉进蓝色棋盘的清脆中等音量叮声。推断因果考结合音画上下文推断发声背后的原因或意图，例如女玩家说对方笨是因为认为对方走了一步次优棋。跨模态推理考双向利用，包含用音频解释视觉事件与用视觉解释听觉事件，例如男说话人说总有 1 天时伴随微笑表情，以及搞清茉莉花是指狗的名字。

第一人称视频 × 声音理解： 第一人称视频负责提供佩戴者视角的画面与声音耦合输入，声音理解负责从该输入中抽取画外事件、空间方位与因果意图，二者搭配的理由是第一人称下视野受限而声音与动作强绑定，组合后新增的作用是把原来只看可见物体的问答扩展为必须听声再联合视觉推理的评测。

论文用一张左右对比图说明新旧任务的差异，左侧是只看画面的旧问答，右侧是必须听看结合的新问答，中间汇总规模与任务分组，初学者可以先从这张图建立任务全貌再读细节。

看图路径： 1. 先看左侧两组 EgoSchema 与 EgoTempo 示例上方的静音图标与问题文字，确认其只问可见动作；2. 再看中间 EgoSound 圆柱上的 7315 QA pairs 与眼睛加耳朵图标；3. 对比右侧 EgoBlind 计数问题与 Ego4D 因果问题的声画联合提问方式；4. 沿中间上下两块任务标签区分声音固有属性与空间因果跨模态两组

论文图 1。原论文 Figure 1：“EgoSound vs existing egocentric Video Question Answering (VideoQA).”。

这张图左侧用绘画与厨房两组 3 帧画面配纯视觉问题，画面左上角打上禁音图标并标注视觉中心，右侧用羊驼群与园艺两组 3 帧画面配必须听声的问题并标注音画联合。中间圆柱明确写出 7315 对问答与眼睛加耳朵图标，上下分别列出声音特性、时间属性、计数与空间位置、推断因果、跨模态推理、声源辨认 7 类。读图时不要把左右问题混为同一难度，左侧可单靠画面回答，右侧必须把哼声、评论声与画面细节对齐，这正是 EgoSound 要拉开的差距。

方法全景如何走通：从一段视频到一道考听力的题？

整条流水线可以沿一个样本走一遍。输入是一段第一人称视频，同时有波形与多帧画面。第一步是找出关键人机交互，例如某人拔草、拍狗背并喊出名字，输出是带时间戳的结构化交互标签。第二步是以交互标签为条件提示生成以声音为中心的音频视觉描述，描述里要写清每个声音的来源、声学特征、数量、发生时间、持续时长、空间位置、原因，以及视觉如何帮助解释声音，并转写全部 spoken words。第三步是基于描述与对应视频帧生成覆盖 7 类任务的开放问答，并要求每道题都有视频帧视觉证据支撑以减少幻觉。

这条设计的关键是条件化：不是让生成模型对视频自由发挥，而是先用交互锚定发声时刻，再让描述聚焦声音，最后让题目受限于描述的上下文边界。这样题目才不会问出视频里根本没有的声音，也不会变成纯视觉题。论文还强调题目采用开放问答形式，要求模型给出描述性答案而非选项，这是为了防止猜测并真正检验听觉 grounding。

下图把上述 3 段式流水线画成从左到右的主路径，初学者应先看懂箭头方向再看每个框内的提示词分工。

看图路径： 1. 从左上第一人称视频框的波形与四帧画面出发沿箭头看处理顺序；2. 找到左下视频帧经提示词到人机交互标注框的支路；3. 观察中间彩色星形模型如何汇聚交互标注与两类提示词生成描述；4. 查看右侧问答对框中辨认类与跨模态类两个具体问答实例

论文图 2。原论文 Figure 2：“Overview of the EgoSound data curation pipeline.”。

该图左上绿框内同时给出喇叭波形与 4 帧园艺画面，表示音画双输入，左下给出堆叠视频帧经找出全部交互的提示词送入紫色模型得到人机交互标注。中间彩色星形模型汇聚交互标注与两类提示词，一类是利用交互标注做描述，另一类是跨 7 类任务生成问答，最终经黑色图标模型输出右侧黄色问答对框。右侧框内举了两个例子，辨认类问开头轻微锈簌刮擦声来自 2 人从土里拔草，跨模态类问茉莉花指狗的名字。解释时要对应到真实组件：紫色框对应 Qwen2.5-VL 做交互标注，星形对应 Gemini-2.5 做声音描述，黑色图标对应 GPT-4o 做问答生成，不能把三者混为同一个模型 1 次完成。

三个组件各自算什么：标注、描述、出题如何分工？

第一个组件是人机交互标注。白话说就是先找出什么时候谁动了什么。论文用 Qwen2.5-VL 自动标注人与物、人与人交互，生成带时间 grounding 的标签，例如 3 秒时红裙女孩拿起相机、45 到 48 秒白衬衫男子开黑车经过佩戴者。这些标签本身不直接考声音，但它们是后面声音描述的条件提示，确保描述锚定在真正会发声的事件上。

第二个组件是音频视觉描述生成。以声音理解为首要目标，视觉交互标签为辅助上下文。论文对每个已标注交互提示 Gemini-2.5 描述对应音频，把每个声音与其来源、声学特征、活跃源数量、发生时间、持续时长、空间位置、发生原因以及视觉如何解释音频关联起来，并转写语音文字。具体提示词放在补充材料，正文只讲清要覆盖 7 类任务维度。这 1 阶段的输出是第一人称场景接地但为细粒度源感知优化的描述，为最后出题提供高质量底本。

人机交互标注 × 音频视觉描述： 人机交互标注负责用 Qwen2.5-VL 找出人与物、人与人交互的时间段与动作，音频视觉描述负责用 Gemini-2.5 以这些交互为锚点细化声音来源、属性与时空信息，搭配理由是直接让全能模型自由描述会漏掉发声时刻，组合后新增的作用是得到以声音事件为中心且可被视频帧验证的描述底本。

第三个组件是问答对构造。为减少 Gemini 的幻觉影响，论文指示 GPT-4o 基于详细音频视觉描述与对应视频帧生成有意义问答，问题覆盖 7 类声音任务，答案直接来自描述或在其上下文边界内推断，并要求每对问答都有帧内视觉证据做双重验证。最终构造出 7315 对已验证问答，全面评测模型的音画理解能力。

声音源辨认 × 跨模态推理： 声音源辨认负责把听到的声音接地到具体物体或动作，跨模态推理负责用一种模态解释另一种模态，前者分工是听声找物，后者分工是声画互证，搭配理由是真实第一人称事件往往声画各缺一块，组合后新增的作用是检验模型能否在单模态不足时完成联合推断。

举一个教学例子帮助区分后两类任务。例子是辨认问 0.04 秒的叮声来自什么，答案是黄色圆盘掉进棋盘，这只需要听声找物。而跨模态问男说话人说某句话时什么表情伴随，答案是微笑，这需要把语音时间对齐到画面中戴墨镜男子的脸。例子只用于说明分工，不代表模型在这两题上的实际得分。

没有模型训练时：数据筛选与构造流程到底做了什么计算？

本研究没有训练任何新模型，training 一节的真实含义是数据集的筛选、标注与构造过程。必须明确：所有被评测的多模态大模型都是已有模型直接推理，本文的计算集中在数据管线调用既有模型做标注、描述与出题，以及人工验证与自动判分。不能把参数冻结推定为输出确定，也不能把无训练等同于确定性求解。

视频来源是两个第一人称数据集。Ego4D 规模最大，贡献日常生活与工作的多场景，EgoBlind 由视障人士录制，听觉线索对导航交互至关重要。两者结合覆盖从视觉引导到声音依赖的连续谱，活动包括运动、学习、家务、烹饪、通勤、驾驶、购物、乐器演奏与拍摄，覆盖室内外。时长从 5 秒短片段到 5 分钟长录制，平均 59 秒，既有原子短声也有随时间演化的复杂声事件。

筛选是双路过滤。音频路丢弃长静音、过强背景噪声与不可懂语音，保留富含意义声音事件的片段并裁剪。视觉路去掉静态单调片段，保留有人类动态活动与丰富物体交互的片段。经过滤得到 900 段音画丰富复杂的第一人称视频，这是出难题与高质量提问的前提。

下表提出的问题是数据规模与来源配比是否足以支撑 7 类任务，公平条件是统一经过上述音画双过滤，指标方向是片段数与问答对数越多且来源越互补越好。

该表显示总量为 900 视频 7315 问答，其中 EgoBlind 占 640 片段 4969 对，Ego4D 占 260 片段 2346 对，未胜出的一项是 Ego4D 片段虽少但平均时长更长，达 105.6 秒而 EgoBlind 仅 40.5 秒，说明长视频主要来自 Ego4D。代价是来源不均衡可能使模型在盲人视角短片段上过拟合问法，复现时需保留来源标签做分层评估，未评测边界是未报告按来源拆分的各任务得分。

任务分布与问答实例的全貌由下面这张统计图承担，读懂它才能复述 7 类任务的题面写法。

看图路径： 1. 先读顶部三幅分布图横纵轴：时长条形图、问题词饼图与七任务饼图；2. 核对底部表格中每行问答示例与音频视觉描述的时间戳对应关系；3. 重点看定位行右侧约 2 米与辨认行黄色圆盘掉落等红色关键词；4. 比较因果行与跨模态行答案需要结合前后文推断而非直接听声

论文图 3。原论文 Figure 3：“Overview of the EgoSound task taxonomy and statistics.”。

顶部三幅子图分别给出视频时长分布、问题词分布与七任务分布。时长条形图显示 0 到 30 秒段最高约 400 段，随时长增加快速下降。问题词饼图显示 what 占 32.83% 最大，why 占 18.03% 次之，其余 how many、how、where 等较小。七任务饼图显示因果占 21.6% 最大，特性 16.5%、辨认 15.7% 等相对均衡，跨模态仅 6.1% 最少。底部七行每行给出任务类型、核心任务、问答示例、音频视觉描述与 3 帧画面，例如定位行写店员从右侧约两米喊话，辨认行写黄色圆盘掉落的叮声，因果行写次优走位导致的嘲讽，跨模态行写微笑伴随话语。

解释时要把问答示例的时间戳与描述的时间戳对齐看，例如特性行 0 点 11 到 13 秒的吱呀声在两列完全对应，这正是视觉验证的要求。人工验证从 7000 多对中均衡抽 350 对每类 50 对，优先覆盖多问题类型与不同平均时长，验证视频对齐正确性并打 0 到 5 分，结果为准。

实验条件如何固定：测谁、用什么输入、谁来判分？

被测模型是 9 个可同时处理音频与视频信号的现成多模态大模型。包括 VideoLLaMA2.1-AV、video-SALMONN 2+ 的 7B 与 72B、MiniCPM-o 2.6、Qwen2.5-Omni 的 3B 与 7B、Qwen3-Omni 的 30B 指导版与思考版，参数从 3B 到 72B 覆盖不同容量，另加专门面向第一人称的 EgoGPT。为公平起见排除 Gemini，因为数据集描述用 Gemini 2.5 Flash 标注，直接评会引入偏差。所有模型都以相同问题与相同音画输入推理，纯音频消融时只保留音轨其余设置不变。

评测形式是开放问答，模型必须生成描述性答案。论文用 GPT-5 做自动验证，比较预测答案与参考答案的事实一致性。指标有两个，准确率 0 到 100% 表示被判正确的比例，分数 0 到 5 表示语义一致程度，5 为完全正确 0 为完全错误。方向都是越高越好。人工评估招募 2 名英语熟练、有计算机视觉研究经验的学士评估者，在打乱顺序后评 350 对问答，得到人类上限。

开放问答 × GPT-5 自动判分： 开放问答负责要求模型生成描述性答案而非四选一，避免猜测得分，GPT-5 自动判分负责比较预测答案与参考答案的事实一致性并给出准确率与 0 到 5 分，搭配理由是开放答案需要语义级判定而人工全量评分成本过高，组合后新增的作用是可扩展评测 7315 对问答，但同时引入判分模型自身偏差。

项目页面在证据中给出链接，资源状态显示可用，因此可以写当前可用。复现时先做的是固定输入帧采样与音频切分方式，再固定 GPT-5 判分提示词版本，因为开放答案的得分对判分提示敏感。还需补的验证是判分模型与人类评分的一致性系数，原文只报告人类在基准上的得分而未报告判分器本身的误判率。

主结果说明什么：最强模型与人类差在哪里？

下表要回答的核心问题是 9 个模型在 7 类任务上的绝对水平与相对排序，公平条件是同一开放问答集与同一 GPT-5 判分，指标方向是准确率与分数越高越好。

表后解释需要同时讲收益与代价。报告显示人类平均 83.9%，最强 Qwen3-Omni-Thinking-30B 仅 56.7%，差距超 27 个百分点，支持第一人称声音理解仍是难题的判断。模型在视觉上验证过的能力到音频上明显下降，例如多个模型在声音特性与空间定位上甚至低于计数、因果与跨模态，支持细粒度听觉感知落后的解释。规模效应存在但非绝对，72B 超 7B 约 10 个百分点，7B 超 3B 约 5.9 个百分点，但 72B 仍不及 30B 思考版，说明单纯增大规模不保证最优。未胜出项是 EgoGPT-7B 仅 34.3%，低于同规模通用模型，支持仅用第一人称数据微调不能直接补上声音理解的判断，但论文也承认可用的开源第一人称模型很少，该结论待更多模型验证。

下面用飞机毯子 1 例直观展示有无画面的差距，左有画面右无画面，问题都是锈簌声后乘务员做了什么，参考答案是把毯子盖到乘客腿上。

看图路径： 1. 先看顶部胶片八帧中乘务员展开蓝白条纹毯子盖到乘客腿上的连续动作；2. 读中间问题与参考答案确认考查锈簌声之后的具体动作；3. 对比左侧有画面时三个模型打勾与右侧纯音频时全部打叉的差异；4. 注意右侧纯音频下模型幻觉出的广播与送餐等与画面无关回答

论文图 5。原论文 Figure 5：“Comparison of Cross-Modal Reasoning with and without visual input.”。

有音画输入时最强三者能把锈簌声与整理毯子对齐，答出调整并盖到腿上而被判对，无画面时全部失败，有的幻觉出 35 路广播，有的编出放在座位上或送餐话术，最弱模型甚至答什么都没做。像素细节显示左侧 3 条绿色判对标记对应思考版、指导版与 MiniCPM，右侧 6 条红色判错标记覆盖全部 6 个模型输出。这支持跨模态合作不可或缺的解释，同时也显示弱模型在双输入下仍会错位与幻觉，说明基准具有挑战性。注意不能把单例推广为全程，最强模型的平均跨模态也只有 54.5%，仍远低于人类的 90.5%。

拿掉画面会怎样：纯音频消融分离出什么贡献？

消融要回答视觉对 7 类任务的增量贡献。操作是选最强的 Qwen3-Omni-Thinking-30B，保持问题与模型不变，只把 RGB 帧去掉保留音轨。论文把前 3 类归为声音依赖型，后 4 类归为音画联合型。结果是声音依赖型平均从 50.3% 微降到 44.3%，基本稳定，符合直觉。音画联合型平均下降超 20%，其中定位掉 28.1 个百分点，因果掉 24.9 个百分点，辨认与跨模态也有大幅下降。这支持后 4 类确实需要联合推理而非单靠音频的判断。

纯音频输入 × 音画联合输入： 纯音频输入负责只保留音轨检验声音依赖型任务的稳定性，音画联合输入负责同时提供 RGB 帧与音频检验联合推理能力，对比理由是只有固定问题与模型而切换视觉有无才能分离视觉的增量贡献，组合后新增的作用是验证哪些任务真正需要跨模态合作而非单靠听觉可解。

另一个细节是纯音频下模型并未完全失效，仍保留部分推理能力，这与视障人士可仅靠听觉理解世界的现象一致，说明听觉单独可支撑部分推断。但原文未测量误判率、延迟与成本，不能承诺去掉视觉能省多少算力。复现消融时必须固定音频采样率与切分窗口，否则声音依赖型任务的微小差距会被输入处理差异淹没。

哪些还不能下结论：偏差与未测边界在哪里？

首先是构造偏差。描述用 Gemini-2.5 Flash 生成，问答用 GPT-4o 生成，判分用 GPT-5，整条链都依赖大模型。论文已用视频帧视觉证据与 350 对人工验证缓解幻觉，验证结果为准，但 350 对相对 7315 对只是小样本，且每类仅 50 对，不能保证长尾声音全覆盖。判分器与出题器的相关性不等于因果，自动分数不能当成人评，跨模态仅占 6.1% 也可能使平均分对该类不敏感。

其次是模型覆盖。第一人称专用模型仅评了 EgoGPT-7B 一个，且参数远小于 30B 最强模型，直接比较规模不一致。论文明确指出开源第一人称模型稀缺，因此第一人称预训练无帮助的结论是有限解释，应表述为在当前单个模型上观察到，而非普遍规律，待验证。

最后是成本与部署。原文未报告训练资源、推理开销、输出帧率与实际延迟，总体趋势不等于每组每步成立。例如规模从 3B 到 30B 提升平均分，但计数任务上思考版 49.0% 反低于指导版 55.0%，说明单任务上大模型也可能回退。未测量这些量时，不承诺任何延迟或成本改善。

要复现先做什么：数据、划分、指标与代码如何对齐？

先对齐数据。按证据下载 900 视频与 7315 问答，注意 640 对 260 与 4969 对 2346 的 2 级配比，时长 5 秒到 5 分钟平均 59 秒。划分上本文是基准评测而非训练划分，无训练集测试集切分，全部问答用于评测，人工验证子集是均衡抽 350 对。采样上需记录视频帧采样率与音频窗口，因为定位与时间属性题带秒级时间戳，不同采样会改变可答性。

再对齐指标。开放问答用 GPT-5 判事实一致性，输出准确率与 0 到 5 分，复现时固定判分提示词与版本，并随机打乱题序防止同类相邻。聚合对象是每类任务内平均再算总体平均，百分点与相对百分比不同，掉 28.1 个百分点不能说成掉 28.1%。硬件预算原文未交代，这是具体缺项，复现报告应补上推理显卡型号与耗时。

项目页面资源状态为可用，可写当前可用。复现顺序建议先跑声音依赖 3 类纯音频基线确认 50.3% 到 44.3% 的稳定性，再跑音画 4 类联合输入确认大幅下降，最后跑人类子集确认 83.9% 上限。若判分器版本不同，应同时报告人类与模型在同一判分器下的相对差距而非绝对值。

何时值得尝试：给新生的行动清单与误解澄清？

当你的任务是第一人称助听、盲人导航、机器人听声找物或音画联合推理时，值得用 EgoSound 做首轮体检。它的价值不在提供训练数据，而在用 7 类任务定位短板：若声音特性与定位低而计数因果高，说明模型缺的是细粒度听觉而非语言推理，应补音频前端或空间音频特征而非单纯增大语言模型。若纯音频与音画差距小，说明题目可能被语言先验猜中，需检查视觉必要性。

常见误解是把无训练当成方法简单。实际上本文的方法工作量在数据管线：双路过滤保证声音密度，交互标注锚定发声时刻，声音描述覆盖来源属性数量时空位置原因，问答生成受描述边界约束并经帧验证。每一步都有明确监督来源，缺的是超参数与提示词细节，补充材料需对照查看。另一个误解是把最强模型当成已解决，56.7% 对 83.9% 的差距与纯音频下定位因果超 20 个百分点的下跌都显示远未解决。下一步值得补的验证是多判分器一致性、多第一人称模型对比与按 EgoBlind 对 Ego4D 分层报告，这些正是后来者可以贡献的地方。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总