标签：#口语意图与槽位识别 | #基准设计 | #基准测试 | #音视频 | #语音
评分：8.4/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Qi Chen：机构信息未在 arXiv HTML 中可靠披露
- Yunfei Chu：机构信息未在 arXiv HTML 中可靠披露
- Haolin He：机构信息未在 arXiv HTML 中可靠披露
- Yifan Yang：机构信息未在 arXiv HTML 中可靠披露
- Zihan Liu：机构信息未在 arXiv HTML 中可靠披露
- Yuxuan Wang：机构信息未在 arXiv HTML 中可靠披露
- Ziyang Ma：机构信息未在 arXiv HTML 中可靠披露
- Ruiyang Xu：机构信息未在 arXiv HTML 中可靠披露
- Meng Gao：机构信息未在 arXiv HTML 中可靠披露
- Yinsong Yan：机构信息未在 arXiv HTML 中可靠披露
- Ling Wang：机构信息未在 arXiv HTML 中可靠披露
- Hui Wang：机构信息未在 arXiv HTML 中可靠披露
- Wen Huang：机构信息未在 arXiv HTML 中可靠披露
- Yiheng Chen：机构信息未在 arXiv HTML 中可靠披露
- Guanrou Yang：机构信息未在 arXiv HTML 中可靠披露
- Qiuqiang Kong：机构信息未在 arXiv HTML 中可靠披露
- Jin Xu：机构信息未在 arXiv HTML 中可靠披露
- Xie Chen：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全方位需求理解以包含末轮用户片段的多轮音视频或纯音频交互流为输入，输出需求存在性及其时段、转写、消解后的结构化意图、必需上下文与用户画像，难点在于口语欠指定、指示省略依赖视觉声学与对话历史，而请求形措辞又可能来自非用户或非助手对象。构建链先按挑战驱动分类抽取难度目标与日常种子以界定覆盖空间，其输出进入智能体流水线由粗到细生成因果脚本并经纯文本筛查保留需上下文才能还原的样本，再分别合成音视频与组织演员表演录制，最后基于媒体重建标注并经自动校验与人工审核冻结原子关键点。相较以往只评回复质量或封闭标签意图的基准，该工作把需求存在性与开放式语义恢复作为显式目标，并用证据通道标签诊断口语请求与多模态上下文的覆盖差异。在ODU-Bench音视频场景评测下，Gemini 3.1 Pro的Avg.得分为72.6%，高于Gemini 3.7 Flash的Avg.得分69.6%。其适用边界在于日常短交互与中英表演数据，跨长时程与野外噪声的泛化能力尚未验证。结论限于2078个日常短交互与中英双语表演数据，未验证长时程主动交互与真实野外噪声下的外推能力。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
代码相关资源：https://huggingface.co/datasets/qc316/odubench — 链接可访问（HTTP 200）
数据相关资源：https://huggingface.co/datasets/qc316/odubench — 链接可访问（HTTP 200）
演示资源：https://odubench.github.io — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，读完要能复述什么？
本文解读的输入是论文正文证据与官方原图像素，目标是让刚进入语音音乐音频领域的研究生能核对方法并复述流程。必须保留的信息包括任务定义、5 维输出与权重、2078 场景构成、合成与真人两路构造、媒体溯源标注与人工核验、14 个原生模型与纯文本基线的评测条件、主结果数字与证据通道分析、盲测下游回复对比。输出是 1 篇中文技术解读，不做营销判断，不补无源数值。
先沿一个样本走完全程有助于建立依赖关系：输入是按时间排列的用户轮次媒体，前序助手回复以文本形式插入轮次之间，只对最后一段用户片段打分并输出是否存在需求；表示是需求时间段、逐字转录、自包含结构化意图、必需上下文列表和用户画像字段；组件是分段匹配对齐预测与标准，再由大模型裁判对原子关键点逐条判命中；目标是显式测出模型能否在转录之外补全视觉声学与对话证据；输出是 M1 到 M5 与误触发率。
理解这个链条后，再看构造与评测细节就不会把听清当成听懂。论文要解决的矛盾是交互评测默认需求已被正确理解，只比回复写得好不好，而真实口语表达按省力原则高度省略，指代要回看手势与画面，省略要回查对话历史，含糊与噪音进一步增加难度，反过来像请求的语音可能来自播放或讲给旁人，根本不应触发助手。
下面这张总览图把有需求要补证据与无需求要抗误触发这两类考法并置，初学者应先建立省略必须绑定证据、像请求必须核对来源与对象的直觉，再进入形式化定义。该导读只针对本图七格的并置结构，后文定性错例图另行只讲有需求 2 例，不在此混用。
看图路径： 1. 先看左侧两格有需求案例的转录与关键点，确认省略指代必须回画面或历史找补；2. 再看右侧三格无需求案例的无效化原因，确认来源与对象如何否决表层请求；3. 对照每格下方的挑战句，区分模态依赖、上下文消歧、表达形式与声学环境的考法
论文图 1。原论文 Figure 1:：“Representative challenging scenarios in ODU.”。
这张图展示了 7 个代表性场景。有需求的四格分别对应模态依赖、上下文消歧、表达形式与声学环境，例子包括用那片海滩指代旅行书中照片、用同样的测试与这个指代前文设备与手势对象、自我修正后最终指向蓝色手册、在竞争说话中分离出她刚说的递延负债数字；无需求的三格分别对应来源错、对象错与非真实意图，例子包括旁观者电话中的评价性语句、讲给同伴的示例提示、朗读书中问题。
解释段要强调的是评分不只看转录字面，关键点明确写出特价信息、白色球形音箱、批准人身份等必须从上下文恢复的命题，缺一条即可能答偏，而无需求格的挑战句直接点出正确声源与目标地址的判断动作。
与哪些相邻路线同输入不同目标？
先按同输入同目标同监督同运行阶段做有源对照。多模态交互类基准与本文同用语音加视觉加多轮对话输入，但目标多为回复质量、轮次抢答、打断处理与前瞻触发时机，需求理解只是隐含前提；本文把需求理解做成显式预测目标，输出是否有效、何时、何言、何意、何人 5 个问题。多模态意图类工作与本文同关心语言行为与上下文揭示的意图，但多为分类标签或选择题，或在意图已给下做消歧共指，或把口头请求 withheld 后恢复请求。
本文同时评测需求存在与开放式需求语义，且场景是挑战驱动的日常生活人机交互，含媒体合成与真人实录两路。教学例子是商场对话中的这个指代消歧，它说明共指只是本文视觉接地子问题之一，本文还要求判断该不该应答。类别差异不能当同条件胜负，例如选择题命中率与本文关键点覆盖率的分母与裁判方式不同，不宜直接排名。未评测边界是本文不测打断时机与流式延迟，相关全双工基准的结论不能平移到本文误触发率上。
ODU 把什么当作待预测的显式目标？
需求被定义为用户希望助手达成的结果，包括回复相关的对象、约束与触发条件。评测对象是音频或音视频交互中的最后一段用户轮次，前序交互只作上下文，前序助手回复以文本给出。模型要回答 5 个核心问题：是否存在有效需求；用户意图是什么以及需要哪些上下文才能消歧；需求何时发生。
用户原话是什么；表达者是谁。前两个考上下文理解与多模态对话证据推理，后 3 个考时域定位、转录与用户画像感知。输出模式是先给是否需求布尔值，为真时给出每段连续需求表达区的起止毫秒、转录、结构化意图、必需上下文列表与闭集用户画像字段；音频-only 预测省略视觉上下文与用户是否在框字段。
单样本走查是用户说把那个静音，意图必须写出要静音的是近处设备正在播放的电子通知声，必需上下文要补听觉的通知声与视觉的手持发光手机位置，缺位置即少一个关键点。
需求存在判断 × 结构化意图： 需求存在判断负责回答最后一段用户轮次是否向助手提出了有效需求，分工是过滤自言自语、讲给旁人、媒体播放和朗读引用等像需求但不是需求的信号；结构化意图负责在判定有需求后，用自包含的一句话写出用户想要达成的结果，分工是把省略的指代、对象和约束补全；二者搭配的原因是只做其一都会失效，光判存在不知做什么，光写意图会在无需求场景强行编造需求，组合意义是先决定是否应答，再决定如何应答。
语义用两个开放字段承载：结构化意图写想要什么结果，必需上下文写补全它所需的证据。评分时把标准拆成原子关键点，漏写或写错任一条都可能改变合理回复；裁判比对的是拼接后的预测意图加上下文描述是否覆盖每条标准点，接受同义改写；每条点带证据来源标签用于通道诊断，所有点都经媒体 grounding 与人工核验。无需求场景只考存在判断与误触发，不进入语义分母。
基准构造全景如何从挑战走到可评分媒体？
全景分 4 步：挑战驱动分类与种子库、智能体场景生成、媒体溯源标注与质控、评测。先从日常交互的理解难点抽出分类，有需求用六轴描述，其中前四轴是可组合的生成挑战，涉及模态依赖、上下文消歧、意图表达形式与声学环境，后两轴是任务类型与场景域的覆盖描述；无需求用需求样信号与无效化原因 2 维描述。然后按抽到的分类目标与日常场景种子 coarse-to-fine 生成剧本，经过合理性与挑战有效性审查，再实现为合成交互或真人表演交互。
最后从实现后的媒体重建标注，经规则与模型审查加人工核验得到可发布基准。下面这张管线图是复述构造依赖的关键，读者应沿箭头确认每 1 阶段的输入输出制品，特别是审查把什么拦下、标注从什么证据重建，才能理解为何剧本意图不等于标准答案。
看图路径： 1. 沿 01 到 05 的箭头走完挑战抽样、分层写剧本、有效性审查、媒体实现到标注质检；2. 在 03 处确认仅看转录的判别器如何把文本已充分与文本无需求的剧本筛掉；3. 在 05 处确认互补证据与需求标注五问是否、如何、何时、何言、何人的对应关系
论文图 3。原论文 Figure 3:：“Overview of the ODU-Bench construction pipeline.”。
解释段对应图中五块：01 把正样本挑战与负样本信号加无效化原因分别抽样，并用任务域轴保证覆盖；02 从种子到因果场景骨架再到上下文对话时间线，最后落到多片段剧本，区分先定需求再配证据与先定历史再联合生成意图话术两条路径；03 做合理性一致性分类对齐与挑战有效性检查，并用仅看用户话术文本的判别器筛掉文本已充分或文本明显无需求的剧本，强调这是剧本阶段筛选而非实现媒体的通道排他测试。
04 用连续条件渲染保人物环境连续，只保留音频轨得到纯音频场景，真人路用表演指南保留分类目标与交互结构但允许道具替换；05 用语音识别给词与时间戳、多模态大模型给视觉听觉事件与说话人关系、剧本给时间线结构，三者对账重建是否存在、何意、何时、何言、何人，再做模式与跨字段检查、关键点 grounding 与人工核验。
意图与上下文如何拆成可判命中的最小命题？
组件按单样本顺序是先匹配后评分。场景可能含多段需求，预测段先与标准段对齐，优先用归一化转录相似度以抵抗边界漂移，剩余用时间交并比兜底，并允许一个预测覆盖多段标准与多个预测碎片合并到同一标准，避免过切分或过合并被当成语义错误；未匹配的标准段保留并在相应指标按缺失计分。评分时大模型裁判读拼接后的预测意图与上下文描述，对每条标准关键点判命中，引用转录与必要性说明不拼入候选文本。
同一命题不论层级标签计 1 次，无通道标签的点保留在总分母但不进入通道分率。教学例子是标准三点中前两点命中、第三点因只写手机而漏掉手持与画面底部位置被判未命中，该场景 M2 为三分之二，说明裁判测的是标准点覆盖而非泛泛感知。
必需上下文 × 原子关键点： 必需上下文负责列出缺了就会答偏的视觉、听觉、对话历史、用户活动、身份、情绪和场景条件等证据，分工是显式记录推理依赖；原子关键点负责把结构化意图和必需上下文拆成漏写或写错任一条都会改变合理回复的最小命题，分工是让语义评分可逐条命中；搭配原因是上下文是证据载体，关键点是评分单位，组合意义是把模糊的理解好坏变成可审计的覆盖率。
转录与推理的分离是本文诊断支点。强转录只说明语音通道恢复得好，意图分还要看视觉声学对话 3 类证据是否被选中并绑定到指代上。论文用证据通道分析量化该分离，原生系统口头请求通道命中远高于视觉听觉与历史通道，纯文本基线靠转录与历史文本加常识能恢复部分视听点但仍低，支持转录充分而理解不足的判断。
转录 × 上下文意图推理： 转录负责逐字恢复需求承载语音的内容，分工是解决听清了什么；上下文意图推理负责把这句话放回画面、声音和对话历史中解决指代和省略，分工是解决用户到底要什么；搭配原因是论文要证明听清不等于听懂，组合意义是用 M4 转录分高而 M2 关键点覆盖低的反差，定位模型缺的是跨证据绑定能力而非语音识别能力。
本研究训练了什么，没有训练什么，真实计算是什么？
本研究没有训练任何被测多模态大模型，也没有报告梯度路径、参数冻结更新、优化器与重置时机，缺项即按未报告处理，不从模型名称推定实现。真实计算是基准构造与评测两类调用：构造侧用大语言模型做分层剧本生成、合理性与挑战审查、仅看话术的文本判别、媒体字幕与对账问答、关键点分解与 grounding 检查，语音识别提供逐词转录与时间戳，多片段渲染顺序以前片段为视频参考保连续。
评测侧用 14 个原生配置与一个纯文本基线做推理，语义用固定裁判模型判命中，人工做媒体质量与标注正确性核验。无训练不等同于确定性求解，生成温度、采样与裁判宽容度都会带来波动，论文用跨裁判稳定性与场景自助重采样区间来刻画不确定性。
需求样信号 × 无效化原因： 需求样信号负责描述容易误触发的表层线索，分工包括语言形式像请求、语义提到助手功能、韵律像对助手说话、轮次像请求应答、场景像需要帮助 5 类；无效化原因负责说明它为何不是有效需求，分工包括对象错、来源错、未完成或撤回、非真实意图、仅讨论功能未请求使用 5 类；搭配原因是同一句问句在不同来源和对象下结论相反，组合意义是让无需求场景的构造和误触发归因都有 2 维坐标。
目标选择与种子采样细节承担可复现性：正样本优先补未覆盖的前四轴组合再按计数最少补，任务类型候选含最少用类型与偏向少用类型的备选，种子在所选语言中最少用场景话题中均匀抽取，中英 1 比 1；负样本先均匀抽无效化原因再在该原因内均匀抽模式，模式自带需求样信号类型，声学条件另行变化，需前序助手回复的模式才要对话历史。程序化检查核对说话人角色、必需历史事件痕迹与模式显式约束。
测什么，与谁比，条件是否一致，指标方向是什么？
评测问题是最后一段用户轮次是否存在需求与意图语义恢复得如何，附带定位转录与画像。比较对象是 14 个原生配置，其中 12 个测音视频场景、14 个测纯音频场景，同一任务指令加分模态输出模式；另有未排名的纯文本基线，输入是语音识别转录加句子时间戳与前序助手文本，明确无原生媒体。用户轮次媒体按序呈现，前序助手文本插在轮次之间，预测起止时间以最后片段起点为零点。多轮只评最后用户片段，前片段与助手回复只作历史。
多轮纯文本模板保留轮次标签与顺序，无语音时用无语音提示块替代。指标方向是 M1 越高越好、M2 越高越好、M3 交并比越高越好、M4 越高越好、M5 越高越好、误触发率越低越好，总分是 5 维加权平均，M2 权重 0.60 优先语义。
分段匹配 × 关键点覆盖率： 分段匹配负责把模型预测的需求时间段与标准时间段对齐，分工是优先用归一化转录相似度再用时间交并比兜底，并允许 1 对多合并与多对一覆盖，避免切分差异被误判为语义错误；关键点覆盖率负责在对齐后的每段上用大模型裁判判断标准关键点是否被预测文本覆盖，分工是给出语义分；搭配原因是先对齐再评分才能区分没找对位置和找对位置但没理解，组合意义是保证未匹配的标准段按漏检计零分。
公式先解释符号与输入，再说计算目标。M1 在正负场景上做二分类宏平均，误触发率单独报告不进总分。
\[M_{1}=\frac{1}{2}\sum_{c\in\{0,1\}}\frac{2\mathrm{TP}_{c}}{2\mathrm{TP}_{c}+\mathrm{FP}_{c}+\mathrm{FN}_{c}},\qquad\mathrm{FTR}=\frac{|\{x\in\mathcal{D}:\,y_{x}=0,\ \hat{y}_{x}=1\}|}{|\{x\in\mathcal{D}:\,y_{x}=0\}|}.\]M2 在每场景内对有关键点的标准段等权平均段内命中率，未匹配段按全 miss 计入，保证漏检不因分母缩小而获益。
\[s_{2}(x)=\frac{1}{|G_{x}^{K}|}\sum_{g\in G_{x}^{K}}\frac{1}{|K_{g}|}\sum_{k\in K_{g}}h_{gk},\qquad G_{x}^{K}=\{g\in G_{x}:|K_{g}|>0\},\]总分是对可用维度按权重归一，缺模态维度时分母只计可用权重。
\[\mathrm{Avg}=\frac{\sum_{m\in A}w_{m}M_{m}}{\sum_{m\in A}w_{m}},\qquad(w_{1},w_{2},w_{3},w_{4},w_{5})=(0.15,0.60,0.10,0.10,0.05).\]M3 是标准段交并比平均，M4 是跨段汇总编辑距离除以标准长度再取一减与零截断，中英按字符词自适应，M5 是字段与标准段双平均，未匹配按错计。裁判用固定模型，候选文本为预测意图拼接上下文描述，标准转录与必要性说明不加入。
主结果在说什么，哪些数字必须同条件核对？
比较问题是在相同任务指令与分模态模式下，原生系统能否同时做到检出存在与补全语义。公平条件是音视频与纯音频分开报告，多轮只评最后轮，纯文本基线因输入接口不同不排名。指标方向如上，总分重语义。下表是数据集构成，先确认分母与覆盖再读模型分，避免把不同聚合对象直接比大小。表前说明已满足比较问题与公平条件，单位与聚合对象按原文保留，千分位空格与精度不改。
| 划分 | 总场景数 | 合成与真人场景 | 音视频与纯音频 | 中文与英文 | 正需求与无需求 |
|---|---|---|---|---|---|
| 主划分 | 2 078 | 1 801 与 277 | 1 347 与 731 | 1 170 与 908 | 1 631 与 447 |
表后解释如下：总量 2078 是合成 1801 加真人 277 经质检后的主划分，多轮 969 个，合成路保可控挑战覆盖，真人路引入真实演员环境麦克风时序与口音变异；代价是两路分布不同，后文真人对比显示部分开源模型转录掉点明显，说明合成高分不能直接外推到真实噪音与口音。未胜出项是真人路并未在所有模型上提升总分，部分模型在真人上下降，支持两路互补而非互相替代。
主结果数字表保留必要基线与实际可运行策略，纯文本基线另行标明不排名，搜索最优与事后最优不充当可部署收益。表前问题是原生最强与轻量实时系统在语义与误触发上差多少，条件是同为原生媒体输入、分模态报告，方向是平均分与 M2 越高越好、误触发越低越好。
| 条件 | 指标 | 原生最强 |
|---|---|---|
| 音视频场景 | 平均分 | 72.6% |
| 音视频场景 | 关键点 M2 | 65.8% |
| 音视频场景 | 误触发率越低越好 | 40.6% |
| 纯音频场景 | 平均分 | 77.3% |
| 纯音频场景 | 关键点 M2 | 78.0% |
表后解释如下：原生最强在音视频平均分仅 72.6% 上下，最高 M2 仅 65.8% 上下，说明主要语义维度仍有大空间；纯音频最强平均分 77.3% 上下但误触发高达 80.7% 上下，恢复内容好不等于会判断该不该应答；轻量实时对照在纯音频平均分 62.2% 上下与 63.8% 上下，低于重型与部分开源思考型，支持交互常用实时模型在需求理解上更弱的担忧。纯文本基线因无媒体不排名。负结果是 11 个模型误触发超 50%，强感知三项定位转录画像高分并未换来语义与触发可靠性，该误触发结论来自正文对无需求场景的统计，不由下图推导。
下面这张定性错例图只包含两个有需求案例，初学者应先按转录找任务条件，再按标准点找被省略的批准人与命名规则。本图不包含无需求或误触发案例，无需求的误触发模式另见正文分类统计。
看图路径： 1. 先读案例(a) 的转录与四条标准关键点，确认缺失的是批准人身份；2. 再读案例(b) 的转录与三条标准关键点，确认缺失的是命名规则；3. 对照三系统预测栏，确认任务条件保留但关键修饰丢失即判该点未命中
论文图 10。原论文 Figure 12:：“Qualitative error analysis on English generated audio–visual scenes. (a)–(b) Demand-present cases; M2 reports covered/reference key points.”。
解释段只针对本图可见的两个有需求案例：案例(a) 标题为缺失批准人，模型都保留了导出条件与打标任务，但漏掉批准人是主控台男性剪辑，该点被判未命中；案例(b) 标题为缺失命名规则，任务是给当前播放的环境音打标，但漏掉命名规则为环境草稿加时间戳，部分系统甚至把任务误述为询问设备端口。该图支持转录好而绑定差的机制判断，不把该 2 例结果外推全程，也不用于证明无需求误触发。
证据通道与表达形式哪处掉点最稳？
比较问题是语义丢失来自口头请求本身还是视觉声学对话上下文。公平条件是同一 1060 个音视频需求场景与 3969 个不重复关键点公共集，漏检段按 miss 计入，点加权而非场景平均。方向是各通道覆盖率越高越好，差距为请求减上下文百分点。下表保留 3 个原生系统与纯文本基线，纯文本明确无媒体。表前已交代公共集与点加权，表后需讲代价与反例。
| 系统 | 口头请求覆盖 | 请求减上下文差距 |
|---|---|---|
| 原生系统一 | 82.9% | 38.2 百分点 |
| 原生系统二 | 83.6% | 34.6 百分点 |
| 纯文本基线 | 78.9% | 45.9 百分点 |
表后解释如下：主要收益是定位到上下文绑定是瓶颈，口头请求三系统 76.0% 至 83.6% 上下接近纯文本 78.9% 上下，而视听 2 通道均低于 60%，历史 42.1% 至 62.3% 上下，差距置信区间全在零上。代价是纯文本靠转录线索加常识能恢复部分视听点，高低重叠组分别为 32.3% 与 10.7% 上下，而有媒体系统两组都在 53% 上下，说明其视听恢复更少依赖词面重叠；反例是历史通道在有前序助手文本时纯文本可达 58.7% 上下，提示显式线索能部分缓解省略。未胜出项是间接描述请求在音视频与纯音频均低于各自均值约 7.2 与 8.2 点，中断不完整请求也为负，而复合多意图反为正，说明分类不是有序难度尺。
误触发侧语言信号与来源对象错最难，问句祈使抱怨平均高出各自均值 11.5 点，来源错上最低误触发系统仍高出自身均值 26.0 点，支持过依赖请求样措辞的解释，可能待验证，该结论来自正文对负样本信号与无效化原因的分组统计。
哪些结论有边界，什么还不能承诺？
论文直接报告的是在给定构造分布与裁判下的覆盖率与误触发率，支持上下文绑定不足与来源对象线索易被淹没的判断；有限解释是把纯文本部分视听恢复归因于转录线索加常识，相关性不是因果；未验证推测是真实噪音口音导致转录下降的机制，应用可能但待补对照实验。缺失证据不是技术错误，但未测量延迟成本与误判代价时，不能承诺加需求理解一定改善端到端延迟或运营成本。
总体趋势不等于每组每步成立，例如对话历史依赖在部分划分反而高于均值约 2.0 至 2.4 点，背景噪音在音视频为正而纯音频为负，说明声学模式不如间接请求稳定。裁判稳定性方面，三裁判绝对值差约 0.03 至 0.04 但模型排序一致，目标可恢复率 0.996 以上，支持排序结论稳而绝对分不宜跨裁判直接比。真人对比显示部分模型转录降达 27.3 点而 M2 仅降 3.2 点，说明转录与语义下降可分离，复现时需分开报告。
复现先做什么，需要哪些信息条件？
先做输入准备：按轮次顺序排用户媒体，前序助手回复以文本插回轮次之间，只对最后用户片段输出需求判决，起止时间以最后片段为零点，音视频与纯音频用各自指令与字段，纯文本基线把每块媒体原位替换为逐字转录加句子毫秒时间戳与说话人编号并声明无原生媒体。再做匹配与评分：先按转录相似优先加交并比兜底对齐，允许合并与 1 对多覆盖，未匹配标准按缺失计零。
再用同一裁判指令对拼接后的意图加上下文判每点命中，标准转录与必要性说明不拼入候选；最后按权重 0.15 与 0.60 与 0.10 与 0.10 与 0.05 聚合，误触发单独报告。关键超参数与信息条件是裁判模型固定、转录归一化大小写空白标点、中英按字符词自适应、画像字段闭集取值、盲测回复温度 0 与输出上限 8192。资源状态是正文开源声明的唯一依据：本次收到的代码与数据集链接状态为可用，演示链接状态为可用，可写当前可用。
若后续复查变为不可达，应改写为本次未能确认可达，不沿用旧结论。真人实录仅可用于本基准评测，不可他用与商用，合成图无真人但版权仍归权利人，使用须遵守肖像与个人信息法规。下游盲测复现需抽 200 场景中 160 有需求 40 无需求、中英各半，成对生成有无标准标注两种回复并随机 AB 盲评，以正确相关接地与该沉默时沉默为准则，平局单列。
何时值得尝试，还需补哪项验证？
当助手需在省略指代多、竞争说话多、播放与旁人干扰多的日常场景决定是否应答时，值得尝试本文的显式需求理解流程：先判存在再补意图，先匹配再按原子点评分，先看误触发再看语义。下游盲测显示 200 次判断中 40.0% 平局，决定性判断中 85.8% 偏好给定标准标注侧，有需求 160 中给定侧 85 对 17 领先，无需求 40 中给定侧 18 对 0 且文本回复率从 60.0% 降到 15.0%，有需求沉默从 12 降到 1，支持正确需求信息改善回复内容与是否应答，但这是给定标准标注的上界，不是可部署模型的收益。
下表是盲测偏好，需与自动指标分开读，不把自动覆盖率当人评。表前问题是标准需求信息能否转化为人偏好的回复，条件是同模型同媒体同历史、仅有无标准标注不同，方向是给定侧偏好越高且无需求沉默越恰当越好。
| 子集 | 场景数 | 给定标注偏好 | 平局 | 未给定偏好 |
|---|---|---|---|---|
| 全部 | 200 | 103 与 51.5% | 80 与 40.0% | 17 与 8.5% |
| 有需求 | 160 | 85 与 53.1% | 58 与 36.3% | 17 与 10.6% |
| 无需求 | 40 | 18 与 45.0% | 22 与 55.0% | 0 与 0.0% |
表后解释如下：主要收益是给定侧在有需求内容更准、在无需求更能沉默；代价是仍有 40.0% 平局，说明部分场景两种条件同样好或同样差，不能只报胜率。未胜出项是中文给定偏好 47.0% 低于英文 56.0%，提示语言与场景差异需分语言报告。还需补的验证是可运行的需求理解器替换标准标注后的端到端增益、误触发代价加权评估、跨裁判与跨转录器的敏感性、以及实时模型的延迟与精度权衡，补完后才能谈部署取舍。常见误解是把高转录分当成理解好，本文反例是转录 91.3% 上下而 M2 仅 63.4% 上下；另一误解是把多意图当成更难，本文显示其平均差为正，难的是未直说的间接请求与来源对象判断。
📎 论文与评分元数据
排名：前25% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses