在连续音视频流中按时出手并持续跟进：Omni-InteractScope 评测解读

📄 在连续音视频流中按时出手并持续跟进：Omni-InteractScope 评测解读

英文题目：Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams

评分：6.1/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Yinsong Yan：机构信息未能在本次解析中与作者逐人可靠绑定
• Ling Wang：机构信息未能在本次解析中与作者逐人可靠绑定
• Yuxuan Wang：机构信息未能在本次解析中与作者逐人可靠绑定
• Yifan Yang：机构信息未能在本次解析中与作者逐人可靠绑定
• Ruiyang Xu：机构信息未能在本次解析中与作者逐人可靠绑定
• Junming Lin：机构信息未能在本次解析中与作者逐人可靠绑定
• Qi Chen：机构信息未能在本次解析中与作者逐人可靠绑定
• Meng Gao：机构信息未能在本次解析中与作者逐人可靠绑定
• Minghao Han：机构信息未能在本次解析中与作者逐人可靠绑定
• Yunfei Chu：机构信息未能在本次解析中与作者逐人可靠绑定
• Qize Yang：机构信息未能在本次解析中与作者逐人可靠绑定
• Xize Cheng：机构信息未能在本次解析中与作者逐人可靠绑定
• Jin Xu：机构信息未能在本次解析中与作者逐人可靠绑定
• Jibin Wu：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

持续视听流里的助手需要在事件发生时行动，在用户没有具体问题时主动提醒，并在一次回答后继续给出后续指导，难点是把流证据、用户需求和有效时间联系起来。论文构建Omni-InteractScope基准，把1479个人工标注并经交叉审核的交互组织成1790个带时间的目标，媒体有效性过滤后评测覆盖1477次交互和1788个目标，任务覆盖工具调用、事件通知、风险警告、状态累计、时间条件、手势线索、连续回应和障碍协助八组。评测先让模型只能看到因果前缀并逐秒决策，输出带媒体时间戳的回应。该回应再进入内容与时间判定，内容由温度为0的GPT-4o裁决，时间由容差窗口判定是否及时。判定结果最后进入分配计分，T1-T7将每个目标的首个回应分配计分，T8则在保持目标与回应顺序下最大化内容-时间匹配并按目标成功数除以目标总数汇总。在T1工具调用200个目标的内容与时间联合准确率上，Qwen3.5-Omni-Plus为32.0%，高于同表同指标下Gemini-3.5-Flash的29.5%，为12个模型配置中最高但仍处低位。在T8协助任务全片段因果采集与保序匹配下，Gemini-3.1-Pro免查询提醒的及时参考目标召回率为22.95%，低于同组显式问答的62.25%，对应122个提醒目标与151个问答目标。这些结果只适用于该基准的标注目标和两秒容差等评分设置，不代表闭环任务成功，原文未披露被评模型的训练、推理或部署代价。

🔗 开源与复现资源

• 第三方资源：https://yinsongyan.github.io/Omni-InteractScope/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

助手要在流中解决什么困难

这篇论文面对的是连续音视频流中的助手：用户一边做事，流一边变化，模型要决定何时说话、何时沉默、何时调用工具。输入是视频画面、场景声音和用户上下文，输出不是单轮回答，而是在合适时刻给出的通知、警告、工具调用或连续解说。困难在于三件事要同时成立：证据在流中出现了，干预对当前用户需要有用，而且后续还需要的响应没有中断。

已有视频理解工作主要考看完视频后答得对不对，流式评测开始限制只能看到当前之前的前缀，并考对展开事件的反应。本文进一步把义务拆成每个目标的内容加有效时间窗，一个交互可以含多个按时间排序的目标。这样就能区分答对一道题和持续跟完一件事，后者是此前单题评测没有覆盖的。

与已有评测路线有何不同

论文把相关工作分成 3 段。离线理解如 Video-MME 和 LongVideoBench 考对已给视频的理解；流式理解与交互如 StreamingBench、OVO-Bench、OmniMMI 和 OmniPro 开始用因果前缀并考主动轮转和事件触发窗口；无事件提问协助如 VIABench 考提醒、提问和引导。本文的表格对比了模态、是否开放作答、是否流式、是否主动、是否考工具、是否考无提问协助和是否考连续义务。

区别在于本文同时要求工具名与调用时机、区分无提问提醒与明确提问、保留同一需要下的多个后续目标。工具方面，ToolBench 和 API-Bank 考计划与可执行调用，StreamArena 把工具带入长因果流并考执行与答案整合，本文 T1 只考工具集合与调用时机，不考参数与下游执行。协助方面，OmniAssistBench 按预设路径考，Omni-DuplexEval 含连续描述与事件提醒，本文用有序匹配同时报告单步覆盖与完整序列覆盖，并用配对控制检验分数是否真的依赖场景证据和响应策略。

论文要回答的三个具体问题

第一个问题是按时调用工具是否可靠。用户事先说明事件与所需工具，例如在紫衣男子第一次特写时用图像搜索查人，模型要在流中识别时机并给出完全一致的工具集合。只选对工具不算，还要在容差窗内出手，早了或晚了都失败。

第二个问题是无提问提醒是否被覆盖。T8-A 只给一般视障或听障协助指令，不给事件级问题，模型要自己从流中发现值得提醒的事。论文比较同一批提醒目标在明确事件指引加定时请求与完全自主条件下的召回，检验主动性缺口来自看不懂还是不知何时出手。

第 3 个问题是指引能否走完全程。T8-C 沿着录制的协助轨迹给出多步可操作指令，每步都要与当前状态相符。论文同时报告单步召回与 26 个序列中完整覆盖的序列数，并用排列参考检验完整数低是否超出单步成功率本身能解释的范围。

基准如何把证据需要和干预连起来

基准的基本单位是交互：一段音视频流加用户上下文加一个或多个参考干预。每个干预称为目标，写明需要说什么做什么以及参考时间或有效区间。对于持续请求，同一交互保留按时间排序的多个目标。组织维度有四项：输入模态、事件触发、干预类型和用户需要，8 个任务组覆盖工具调用、事件通知、风险警告、累计状态跟踪、时间条件、非语言线索、连续响应和障碍协助。

下图是全文总览，上半用 3 个例子说明请求如何指向流事件与响应时机，下半给出任务、场景与时长的分布，是理解抽样与评测压力的关键，读图时先看例子再看分布才能连起来。

看图路径： 1. 先看上半三行例子：请求或一般协助意图如何指向流中事件和所需响应时机；2. 再看下半三个分布：任务类型、场景类别和时长分布如何支撑全面评测；3. 注意时长直方图的中位数与 90 分位刻度，理解长流带来的持续观察压力

论文图 1。原论文 Figure 1:：“Overview of Omni-InteractScope. Top: Representative interactions connect user requests or general assistance needs with events in audiovisual streams and the content and timing…”。

从像素可见，顶部第一行是工具调用：在 28.63 秒提问、35.70 秒出现候选、35.80 秒要求 image_search；第二行是非语言手势提醒：77.77 秒提问、84.43 秒出现竖拇指即提醒拍照；第三行是听力协助：在街景导航音频中于 74.00 秒自动播报转向。底部显示 1479 个交互的任务占比、室内户外与数字屏幕等场景占比，以及时长直方图，中位数 2.16 分钟、90 分位 6.15 分钟，说明多数是分钟级连续观察，不是几秒短片段问答。

八个任务组各自考什么

T1 考事件定时工具调用，请求在流之前说明工具，流决定何时行动，评分要求工具名集合无缺失无多余且时间合格。T2 考上报指定发生，T3 要求传达不安全或错误行为的风险警告，只说发生了什么而不警告不算对。T4 依赖累计观察，例如看到第三道菜开始才提醒；T5 依赖经过时长，单独作为诊断；T6 响应手势或工作流线索，有时要把观察到的手势与请求图片匹配。

T7 是同一持续请求下的连续解说或翻译，一个交互含多个目标，共 207 个交互 457 个目标。T8 是 299 个交互的障碍协助面板：T8-A 是 122 个无提问提醒，T8-B 是 151 个视听问答，T8-C 是 26 个交互 87 个步骤的多步指引。T7 与 T8-C 都保留有序多目标，用来衡量持续义务。

事件触发 × 干预类型： 事件触发说明什么时候该动，例如出现某个人、听到某种声音或累计到第三道菜；干预类型说明该做什么，例如回答、警告、调用工具或连续解说。两者搭配后，评测才能把流证据和用户需要连起来，判断内容对了但时间早了是否算失败。

下图把 8 组各用一个面板展示请求、带时间戳的观察与参考回答，彩色菱形是参考时间，可以直观看到单目标与多目标的区别，读图时注意区分参考时间与模型输出时间。

看图路径： 1. 按 T1 到 T8 逐格看请求 Q、时间戳观察与参考回答 A 的对应关系；2. 重点看 T6 的图片加文本请求与 T7 和 T8-C 中一个请求对应多个后续回答；3. 注意彩色菱形标记的是参考响应时间，不是模型的输出时间

论文图 2。原论文 Figure 2:：“Representative interactions across the eight task groups of Omni-InteractScope.”。

从像素可见，T1 面板在 35.80 秒要求图像搜索并给出人物信息；T4 面板用 1、2、3 标记三次备菜并在 48.00 秒提醒第三道开始；T5 面板从 15.00 秒计时到 195.00 秒提醒休息；T8 面板沿电梯轨迹给出 A1 到 A3 三步指引。这种把同一请求展开为时间线的画法，正是本文强调的覆盖整个响应序列的思想。

输入模态与用户需要如何分工

输入模态描述模型实际收到的视频、场景音频与用户上下文形式，请求可以是文本、音频、文本加图片、文本加音频，T8-A 则没有事件级提问。事件触发描述评分依据的证据，如视觉出现、声音、视听联合、文本时间或其他累计条件。两者是不同概念：视觉事件可以决定何时去检索当前音频，请求模态与触发模态不必一致。

用户需要解释为什么干预有用。明确请求直接点名信息需求，一般协助指令只说看不见或听不见场景，请模型自行判断有用提醒与及时安全提醒。措辞相似的回答在两种需要下对主动性要求不同，这也是 T8-A 与 T8-B 分开计分的原因。

输入模态 × 用户需要： 输入模态指模型能看到听到的视频、场景音频和用户以文本语音或图片给的请求；用户需要指为什么要干预，是明确的找人找物请求，还是视障听障下的一般协助意图。同样一句话提醒，在明确提问和无提问条件下对主动性的要求完全不同。

数据构成上，明确请求面板用 905 条在线视频记录，协助面板用 207 条第一人称自录视频对应 261 个视障与 38 个听障交互。问答文本中英文大致各半，场景覆盖室内户外与数字屏幕。1112 条视频记录是存储与分析单元，不一定是互不相同的原始来源，7 组在线面板共享平台标识，评测用视频记录簇做自助法估计不确定性。

没有训练新模型时做了哪些标注工作

本文没有训练新的助手模型，也没有用生成模型合成基准数据。实际工作是标注与校验流程：标注者为每个交互记录用户请求或一般需要、提问时间与附件、所需干预的内容、触发证据与响应时间或区间，相关目标保持有序；另一组评审交叉核对内容与时间关系，形成最终基准。

一致性审计抽查了 64 个主要评审与 16 个次要评审，覆盖 T1 与 T8-A 及低频工具与触发模态，证据支持、时间、模态与工具需求的肯定率在 62 到 63 之间。另有触发标签检查用 2 个模型对 6 个目标判视觉类别。生成式 AI 仅用于整理分类、翻译润色与初步数据校验的语言辅助，方法设计、实现与科学解释由作者负责，所有媒体与标注经过人工复核。

因此复现本文不需要重新训练，关键是按附录的观察时刻、帧采样、音频处理与提示词重放因果流，并用同样的内容加时间规则打分。缺的是模型内部梯度与参数更新信息，原文未报告，也不能从模型名猜测实现。

何时采样如何判定内容与时间

主决策网格在提问时刻、之后每整数秒与片段结尾，T8-A 从流开始，T8 要求有可用视频帧。提示模型做独立前缀调用，不给历史回答；流式适配保留会话状态但剔除初始化输出。T1 到 T7 与 T8-B、C 用参考时间前后 2 秒容差，T8-B、C 下界截到提问时刻，T8-A 用标注的有效区间。时间都用媒体时钟，不含推理延迟。

内容正确性先单独判断：T1 要求工具名集合精确匹配，T2 到 T8 用 GPT-4o 判官，只看请求、参考与候选是否语义一致，不看时间与场景。时间资格再单独检查，两者相乘得到联合资格。

\[E_{ikj}=\mathbb{I}[t_{ij}\in W_{ik}]\,C_{i}(\hat{y}_{ij},y_{ik}),\]

上式中 t 是指响应的媒体时间戳，W 是该目标的可接受区间，C 是内容是否正确，指示函数管时间、C 管内容。目标总分是成功目标数除以总目标数。

\[S(\mathcal{S})=\frac{\sum_{i\in\mathcal{S}}\sum_{k=1}^{K_{i}}m_{ik}}{\sum_{i\in\mathcal{S}}K_{i}}.\]

T8-C 完整序列覆盖要求交互内所有步骤都被覆盖。

\[C_{\mathrm{sequence}}(\mathcal{S})=\frac{1}{|\mathcal{S}|}\sum_{i\in\mathcal{S}}\mathbb{I}\!\left[\sum_{k=1}^{K_{i}}m_{ik}=K_{i}\right].\]

T1 到 T7 用首次响应分配：按目标时间排序，每个目标消费最早的未用响应，早到或内容错都会消耗掉该响应，后面再对也不能补救。T8 用有序匹配：允许跳过错误尝试，用靠后的合格响应匹配，最大化保序匹配数。未匹配的 T8 输出不扣分，所以召回只衡量覆盖，不衡量误报代价。

首次响应分配 × 有序匹配： 首次响应分配用于 T1 到 T7，每个目标只看分配到的最早响应，早了或错了后面再对也不能挽回；有序匹配用于 T8，允许在错误尝试之后用靠后的正确响应去匹配，目标和响应都保持时间顺序。两种规则分别对应一次性出手和持续协助的不同义务。

下图用构造例子说明两种分配的差别，不是实测结果，读图时重点看窗口与首次响应的相对位置。

看图路径： 1. 看 a 图 6 秒首次响应如何落在 8 到 12 秒窗口之外并决定失败；2. 看 b 图 11 秒与 19 秒响应如何在错误尝试后仍能匹配目标 1 和目标 2；3. 区分菱形内容正确与叉号内容错误，以及阴影窗口的时间资格

论文图 5。原论文 Figure 5:：“Timing, content, and assignment play separate roles.”。

从像素可见，a 图要求 image_search，6 秒首次响应早于 8 到 12 秒窗口而判早到，10 秒再对也不能替换；b 图目标 1 在 8 到 12 秒内用 11 秒匹配，目标 2 在 18 到 22 秒内用 19 秒匹配，目标 3 只有 29 秒错误候选而未覆盖，覆盖率为 2/3 且完整序列为 0。这解释了为什么早响应在 T1 中代价极高，而 T8 允许后补。

明确请求任务的主结果是什么

评测覆盖 12 个模型配置：专有提示模型、开源提示多模态模型与流式滚动模型。有效评测为 1477 个交互 1788 个目标。主表对 T1 到 T4、T6、T7 六任务等权平均，T5 单独诊断不计入。提示模型用独立前缀探测，流式模型用保留状态的滚动，输入视频音频与转写条件见原文，上下文与算力没有等同化。

下面这张原表比较的问题是：在相同的因果观察与 2 秒容差下，哪类干预更难同时做对内容与时机。指标方向都是越高越好，分母是目标数，平均列对 6 个任务等权平均。

Model configuration	Model configuration	Model configuration	Joint content–timing accuracy (%) ↑	Joint content–timing accuracy (%) ↑	Joint content–timing accuracy (%) ↑	Joint content–timing accuracy (%) ↑	Joint content–timing accuracy (%) ↑	Joint content–timing accuracy (%) ↑	Joint content–timing accuracy (%) ↑	Joint content–timing accuracy (%) ↑
Model	Size	Input	T1 Tool	T2 Event	T3 Risk	T4 State	T5* Time	T6 Cue	T7 Cont.	Avg. 6 tasks
Targets	Targets	Targets	200	206	207	206	115	37	457
Proprietary Models (prompted)
Gemini-3.1-Pro	N/R	V, A	22.5	28.2	11.6	11.2	N/A	27.0	11.2	18.6
Gemini-3.5-Flash	N/R	V, A	29.5	31.6	14.0	10.2	N/A	24.3	11.4	20.2
Qwen3.5-Omni-Plus	N/R	V, A	32.0	24.3	4.8	3.9	N/A	10.8	7.9	13.9
Open-source MLLMs (prompted)
InternVL3.5	8B	V+ASR	29.0	1.0	0.0	0.0	N/A	5.4	0.4	6.0
Qwen3-VL	8B	V+ASR	19.5	4.9	0.5	0.0	N/A	2.7	3.1	5.1
Qwen2.5-Omni	7B	V, A	11.0	0.5	0.5	0.5	N/A	0.0	1.5	2.3
Qwen3-Omni	30B-A3B	V, A	26.5	2.9	1.4	1.0	N/A	2.7	5.7	6.7
Streaming Models (rolling)
LiveCC	7B	V	0.0	1.5	0.5	0.0	0.0	0.0	0.7	0.4
AURA	8B	V	0.0	4.9	0.5	1.5	0.0	2.7	0.7	1.7
MMDuet2	3B	V	0.0	3.4	1.0	0.5	0.0	2.7	1.8	1.6
MOSS-VL	11.3B	V	1.5	9.2	1.9	5.8	0.9	8.1	5.9	5.4
MiniCPM-o 4.5	9B	V, A	1.5	8.3	1.4	1.0	1.7	2.7	1.1	2.7

这张表显示 Gemini-3.5-Flash 六任务平均领先，Qwen3.5-Omni-Plus 在 T1 工具上领先，但 T4 累计状态与 T7 连续响应最好也只有 10% 出头。开源与流式模型在事件通知之后的多列上接近零，说明总平均掩盖了短板。流式模型在 T1 上虽有一定按时率，却因工具选错而联合分数很低，表明按时不等于按需，比较时还要结合输入音频与转写路径看。

按时首次响应率 × 联合内容时间准确率： 按时首次响应率只看时间是否落在容差窗内，不管工具选对没有；联合内容时间准确率要求时间和内容同时成立，T1 还要求工具名集合完全一致。两者分开才能看出模型是找不准时机，还是时机到了却选错工具。

提醒低于问答与步骤高于完整序列

下面这张原表比较的问题是：同一协助面板内，无提问提醒、明确问答与多步指引的覆盖是否一致。分母分别是 122、151、87 个目标，总体按 360 个目标池化，完整序列分母是 26 个交互。所有配置都用全片段因果采集与有序匹配，指标方向越高越好。

Model configuration	Model configuration	Model configuration	Timely target recall (%) ↑	Timely target recall (%) ↑	Timely target recall (%) ↑	Timely target recall (%) ↑	Coverage
Model	Size	Input	Overall	T8-A	T8-B	T8-C	Complete T8-C
Proprietary Models
Gemini-3.1-Pro	N/R	V, A	46.39	22.95	62.25	51.72	3/26
Gemini-3.5-Flash	N/R	V, A	41.11	22.13	57.62	39.08	2/26
Qwen3.5-Omni-Plus	N/R	V, A	31.11	9.02	49.67	29.89	1/26
Open-source MLLMs
InternVL3.5	8B	V+ASR	14.17	0.00	26.49	12.64	0/26
Qwen3-VL	8B	V+ASR	15.00	2.46	24.50	16.09	0/26
Qwen2.5-Omni	7B	V, A	10.00	2.46	19.87	3.45	0/26
Qwen3-Omni	30B-A3B	V, A	13.06	2.46	25.83	5.75	0/26
Streaming Models
LiveCC	7B	V	3.61	0.00	8.61	0.00	0/26
AURA	8B	V	6.94	0.00	15.89	1.15	0/26
MMDuet2	3B	V	1.94	0.00	4.64	0.00	0/26
MOSS-VL	11.3B	V	3.33	0.00	7.28	1.15	0/26
MiniCPM-o 4.5	9B	V, A	3.06	0.00	7.28	0.00	0/26

这张表显示所有配置的提醒召回都低于问答召回，即使最强的 Gemini-3.1-Pro，提醒也远低于问答，说明没有事件级问题时更难。指引步骤召回看似不低，但完整序列仅有个位数，开源与流式均为零。T4 与 T7 的失败分解显示早响应是主要失败，早到即失败且内容正确性已无法从该分解推断。限制是 T8 未匹配输出不扣分，召回不衡量选择性与打扰成本；完整序列只衡量标注轨迹覆盖，不是闭环任务成功。

工具分数是否真的依赖场景证据

诊断问题是：去掉场景输入后，T1 联合分数是否下降。同一 200 个交互、相同请求与协议下，Gemini-3.5-Flash 有场景时 59 中、无场景时 66 中，差异为负，两种都有大量早响应，说明请求文本与响应时机先验本身就能支撑不少成功。请求单独控制进一步显示，仅看请求文本与工具定义，Gemini-3.5-Flash 能恢复大部分工具标签；把冻结选择在查询后固定延迟发出，3 秒延迟达描述性最高。该控制用闭标签输出与不同响应机会，不能当作可比排名。

下图展示场景消融、历史与冷却、事件指引三组配对结果，是理解分数可比性的关键，读图时注意区分定时请求与自主响应的条件差异。

看图路径： 1. 看 a 组有无场景输入时按时且工具正确的条数是否增加；2. 看 b 组历史与冷却如何同时改变召回率与每分钟输出数；3. 看 c 组定时请求与自主响应下事件指引带来的增量差异

论文图 3。原论文 Figure 3:：“Scene access and response opportunities shape intervention scores.”。

从像素可见，a 组有场景与无场景的正确条数没有增加；b 组无历史与有历史命中数相同但输出率明显下降，加 10 秒冷却后命中数下降；c 组定时请求下事件指引增量明显，自主响应下增量小且不确定。结论是工具与时间分数必须配证据控制一起报告，否则会把请求先验误读为事件理解。

步骤召回 × 完整序列覆盖： 步骤召回把每个指引步骤单独计分，分母是全部步骤数；完整序列覆盖要求同一交互内的所有步骤都被覆盖，分母是交互数。步骤分高不等于能走完全程，后者衡量用户是否得到了从头到尾不断线的帮助。

内容判据与调度如何塑造分数

下面这张原表说明内容判据：通用、事件、翻译与协助 4 种口径各自要求什么、什么算失败。它是理解时间对了内容仍可能失败的依据，比较的是不同内容类型对正确性的要求。

Rubric	Required content	Failure examples
General	Correct facts, names, quantities, and yes/no decisions.	Wrong facts, hallucinations, or refusals.
Event	The same event with its key subject, object, and action.	Generic narration, an unrelated event, or an incorrect participant or action.
Assistance	The target information and any essential action. A guidance step must state the currently actionable instruction.	Contradictory directions, unsafe advice, invented critical details, a generic warning, or repetition of the user’s intention.

这张表显示 T1 要求工具集合精确一致，T8 协助要求说出当前可操作指令，泛泛警告或重复意图不算覆盖。事件类要求主体客体动作一致，翻译类要求意义无遗漏无添加。它的限制是不涉及时间，时间资格由评分器另行检查。

下面这张原表比较的问题是：在同一子集上，目标局部探测与连续探测的分数是否一致。两者用相同查询准备与历史上下文，只是决策时刻的密度与相位不同，等权平均 6 个任务。

Model	Target-local	Continuous	Difference [95% CI]
Gemini-3.5-Flash	26.80	19.17	−7.63 [−13.96, −1.77]
Qwen3-VL	4.28	3.36	−0.92 [−4.17, +2.10]

这张表显示 Gemini-3.5-Flash 从目标局部到连续出现下降，早响应占比上升；另一模型的区间包含零。说明首次响应计分会暴露目标局部探测看不到的早动作，评测调度本身塑造结果。它的限制是子集较小，且换调度不等于换架构能力，提醒覆盖还受历史与冷却等在线策略影响。

这些结论在什么条件下才成立

第一，工具结论依赖 2 秒容差与首次响应规则。放宽到 4 秒分数大幅上升，收紧到 1 秒差异区间含零；但无正向点估计在 3 个容差下一致。输出分组仍固定 2 秒，改分组会改变结果。停止在首次响应后截断轨迹，不衡量全片段输出量。

第二，提醒结论依赖自主因果网格、无历史提示与有序匹配。给历史会大减输出但总召回点估计不变，加冷却则同时减输出与召回；过滤器事后删输出不能改变后续行为，与在线冷却不可比。未匹配输出不罚分，所以不能把召回低读成误报高，也不能承诺降输出会改善体验。

第三，完整序列结论依赖 20 个 3 步回合的排列参考。Gemini-3.1-Pro 3 步分别 8、10、12 中，期望完整 2.40，参考区间含观察到的 3 个；另一配置的期望与区间同样包含观察值。参考假设同位置跨回合可交换，未建模回合难度共享，不能据此断言额外记忆或规划缺陷，只能说应同时报告单步与完整覆盖。

复现第一步要固定什么

先固定观察与时间：按提问时刻、整数秒与片段结尾重放因果前缀，帧 1 fps 至多 32 帧，音频用对应前缀或因果块，T8-A 从流开始，响应时间用媒体时钟。提示词要原样保留何时输出 ABSTAIN、何时回答、工具块的内联调用格式，以及 T8 的按场景证据作答与无用不答指令。

再固定打分：T1 工具集合精确匹配，T2 到 T8 用温度零的 GPT-4o 判等价措辞，时间窗按 2 秒或标注区间检查，T1 到 T7 用首次响应分配、T8 用有序匹配。缺失轨迹目标计不成功，T8 未匹配不扣分。作者项目页在证据中为第三方链接，本文只证明论文提到该链接，不能据此写作者已开源；是否可运行需另行确认链接可达与代码权重是否齐备。

值得尝试的情形是：需要按时工具调用、无提问提醒或多步跟随的流式助手，且能接受 2 秒容差与当前误报不计分的评测假设。若要更强结论，需补测不同容差、不同输出分组、含冷却的在线策略，以及误报成本与闭环任务成功的验证。

一句话总结与下一步验证

Omni-InteractScope 把 1479 个交互的证据、需要与干预连成 1790 个带时间窗的目标，12 个模型的按时工具、主动提醒与完整指引都明显不足，且工具分可脱离场景、提醒分随历史与机会变化、完整数可由单步率解释。

下一步应把工具与时间分数与证据控制绑定报告，把提醒召回与历史、输出率并列报告，把指引同时报告单步与完整覆盖。若要用于部署，还需补上选择性、延迟成本与闭环成功的测量，否则不能从覆盖率高低直接推出体验好坏。

📎 论文与评分元数据

排名：前50% | 文档类型：数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

---

← 返回 2026-10-27 语音/音乐/音频论文速递