📄 一边干活一边说话:全双工语音助手如何跟上变化的需求

英文题目:Joi-Bench-Task: Benchmarking Task Coordination in Full-duplex Voice Agents through Interactive Simulation

评分:6.5/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Xiangheng He:机构信息未能在本次解析中与作者逐人可靠绑定
  • Mingjun Zhao:机构信息未能在本次解析中与作者逐人可靠绑定
  • Zhehao Fan:机构信息未能在本次解析中与作者逐人可靠绑定
  • Zhengjia Li:机构信息未能在本次解析中与作者逐人可靠绑定
  • Xiaopeng Sun:机构信息未能在本次解析中与作者逐人可靠绑定
  • Qingqing Xiao:机构信息未能在本次解析中与作者逐人可靠绑定
  • Haolan Chen:机构信息未能在本次解析中与作者逐人可靠绑定
  • Yu Xu:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

全双工语音智能体需在边说边听中完成长程多工具任务,用户可在工具执行时追问进度、增删任务或调整优先级,也可在结果播报中打断提问,智能体须同时跟踪执行中、已完成、已播报与待播报事项。论文提出Joi-Bench-Task,用可控用户模拟器在工具执行窗口和语音播报窗口注入规定干预,检验执行响应、需求变更协同和中断后协同。模拟器先由观察模块汇总对话历史并跟踪工具执行事件与音频播放进度,形成状态观测送入干预控制器,再由控制器按用例规定与共享时钟选定干预行为与触发时刻并输出行为指令,最后由大语言模型据此生成话语经语音合成缓冲后流式发给智能体,增量语音识别回授播放进度以触发基于内容的打断。与同时测对话与任务的已有基准相比,该工作把干预时刻与工具状态和已播内容对齐,并区分是否听从变更和是否补齐全部应报结果。在60个场景、140个用例的需求变更协同评测中,结果完成率指标为Realtime 1.5达55.0%,高于Gemini 3.8 Live的15.0%。在中断后协同评测中,信息遗漏率指标为GPT Live 1.0达3.5%,低于Realtime 2的79.0%。结论适用于受控英文、无背景噪声、模拟工具时长的条件,原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

全双工语音助手要解决什么任务

这篇论文研究的是能边说边听的语音助手,输入是用户的连续语音,输出是助手的语音回应加上对外部工具的调用,目标是在长任务中完成多件事并及时汇报。必须保留的信息有 4 类:正在执行什么、已经完成什么、已经向用户说了什么、还有什么没说。

举一个教学例子:用户一次提出查火车、订博物馆、查天气等 5 个需求,助手调用 5 个工具,有的几秒返回,有的要等 60 秒,期间用户可能追问进度、改优先级、撤回一项或加一项,等助手开始播报结果时用户又可能打断。助手既要继续等工具、发新调用,又要记住播报到哪里、被打断后从哪里接上。

全双工 × 打断后恢复: 全双工指用户和助手可以同时说话、随时打断对方;打断后恢复指助手被打断后回到没说完的结果播报,把用户已听到和还没听到的区分开继续说完,两者搭配才能在长任务中既保持自然对话又不丢失待汇报的信息。

已有评测为什么没有测到协调

此前的语音评测大多分开测对话流畅度和工具任务完成度,后来才有把两者结合的基准。论文用一张对比表说明,已有基准覆盖了打断,但很少测恢复后是否说全,更没有系统测优先级变化、任务增加、任务撤回和状态查询。

也就是说,已有工作能告诉你任务最终成功了没有,但不能告诉你成功过程中是否及时响应了进度询问,是否在需求变化时保住了原有义务,是否在播报被打断后准确区分用户已听到和未听到的部分。本文的定位就是补上这块协调能力的隔离评测。

论文把协调拆成哪两类考验

论文把协调拆成两个阶段。第一类是任务执行期间的协调:工具还在跑,用户查询进度、要求优先汇报某项、撤回一项或新增一项,助手要调整执行和后续播报顺序。第二类是语音播报期间的协调:助手正在播报多条结果,用户要求暂停稍后回来,或插入一个追问,助手要停下来,处理完暂停或追问后再把没说完的说完。

两类考验的难点不同。前者要求区分已完成和仍在执行的工作,不能把没返回的结果提前编出来,也不能丢掉不受影响的旧义务。后者要求以客户端实际播放进度为准判断用户听到哪里,不能把已发送但未播放的音频都当作已传达,否则会跳过用户没听到的信息。

评测框架里谁和谁在对话

在动手看细节之前,先沿着一次完整交互理解各部分的输入输出。左侧是用例规定和 6 个日常领域,中间是用户模拟器和语音助手的实时对话循环,右侧是录音和 3 组评测维度,工具环境在旁路异步执行调用。

看图路径: 1. 先从左侧用例规定和六个日常领域看输入来源;2. 再沿中间用户模拟器到语音助手到异步工具环境的箭头看主循环;3. 最后看右侧三组评测维度分别对应执行和沟通的哪一部分

原论文 Figure 1:The framework for Joi-Bench-Task.

论文图 1。原论文 Figure 1::“The framework for Joi-Bench-Task.”。

这张图确实可见:左侧列出车载、烹饪、零售、旅行、电信和家庭管理 6 个领域,以及执行期间和播报期间的两组行为;中间用户模拟器标注控制干预内容和时间并回答澄清问题,语音助手标注调用工具、语音播报和参与对话,工具环境显示有的工具执行中、有的已完成;右侧列出执行响应、需求变化下协调和打断下协调 3 组指标。对话在工具执行期间继续进行,录音被送去评测。

工具执行 × 语音播报结果: 工具执行指助手调用外部工具并等待返回结果的过程;语音播报结果指拿到工具返回后用语音向用户汇报的过程,前者解决做什么,后者解决说什么,两者异步并行,评测要同时跟踪执行进度和沟通进度。

用户模拟器如何定时干预又能回答追问

用户模拟器包含观察模块、干预控制器、大语言模型和语音合成 4 个部分。观察模块保存对话历史,并跟踪工具执行事件和音频播放进度;干预控制器根据用例规定决定发起哪种行为、在何时发起;大语言模型生成符合语境的话语;语音合成把文字转成语音再按固定节拍流式送给助手。

定时控制有 3 种依据:一是工具执行窗口,从工具事件识别并按设定偏移安排干预;二是语音播报窗口,通过对已播放音频做增量语音识别发现结果播报开始;三是内容触发点,当识别文本命中指定的内容线索时打断。模拟时钟与双方共享,反映真实执行和播放进度。

看图路径: 1. 先看左侧观察模块的三个输入框分别来自哪里;2. 再看中间干预控制器如何用时间窗口和内容线索决定何时干预;3. 最后看右侧火车到达时间的例子如何触发追问和恢复

原论文 Figure 2:User simulator architecture with a content-triggered inquiry–resume example.

论文图 2。原论文 Figure 2::“User simulator architecture with a content-triggered inquiry–resume example.”。

这张图左侧确实可见观察模块的对话历史、工具执行状态和播放进度加语音识别 3 个框,中间干预控制器分出发起哪种干预和何时干预两个框加内容线索匹配框,右侧给出火车 09:20 到达还是出发的例子:助手说到 09:20 时触发匹配,用户插入追问,助手回答后继续播报博物馆条目。这说明干预既按时间和内容精确定位,又保留了正常轮流对话和回答澄清的能力。

干预控制器 × 观察模块: 观察模块负责记录对话历史、工具执行事件和实际播放进度;干预控制器根据这些观察和用例规定决定发起哪种用户行为、在何时发起,前者提供依据,后者执行定时干预,组合起来实现既可控又能回应澄清的模拟。

本文没有训练什么,实际执行了什么计算

本文没有训练新的语音助手或模拟器模型,属于无训练的基准构建和评测。用户模拟器直接调用已有的 GLM-5.3 生成回应和 Qwen3-TTS 合成语音,内容触发判断用 Qwen3-ASR 转写已播放音频再由 GPT-5.6-Terra 判断是否到达指定内容。

实际执行的计算是仿真和自动评测流程。仿真侧采用固定时长节拍交换音频,例如 200 ms 前进一次,双方可在同一节拍内重叠说话,非实时的大模型生成和合成时间被暂停不计入模拟时间。评测侧用 Qwen3-ASR 转写录音并做词级时间戳,再由 Claude Opus 5 做语义匹配判断播报是否覆盖所需工具结果,最后程序化计算延迟和汇总分数,GPT 6 Astra 复核标注。

在机制分工上,基准框架由用户模拟器、基于接口的语音助手和异步工具环境三部分组成。模拟器向助手流式传输用户语音,助手产生口头回应并发起工具调用,环境在言语交互继续的同时执行调用并返回结果,全程录音用于后续评测执行响应性、请求变更下的协调和打断下的协调。用户模拟器内部进一步分为观测模块、干预控制器、大语言模型和语音合成组件。观测模块维护对话历史并跟踪工具执行事件与音频播放进度。

干预控制器结合用例规格决定发起哪种规定用户行为以及何时发起;大语言模型生成上下文恰当的话语,再由语音合成转换为语音,经基于节拍的交互循环缓冲并流式传输给被测助手。

执行过程按共享仿真时钟推进,干预时机控制分为 3 类窗口。第一是工具执行窗口,从工具事件中识别并按配置偏移调度干预,用于在工具执行期间测试状态问询、优先级变更、任务撤回和任务追加;第二是口头结果播报窗口,在工具结果可用后通过对已播放音频的增量识别检测播报进度;第三是播报内部基于内容的打断点,当转写文本匹配到指定内容线索时触发暂停恢复或问询恢复打断。

问询触发的打断依赖 Qwen3-ASR 转写已播放的助手音频,再由 GPT-5.6-Terra 判定是否已播报到指定结果内容,从而保证打断发生在未完成播报的中间位置。对话上下文由与播放对齐的助手转写构建,模拟器以 GLM-5.3 在温度 1.0 下生成包含澄清问题答复在内的回应,并以 Qwen3-TTS 合成英文语音,使用共享参考音色。

评测执行顺序上,先记录交互的工具调用记录、返回结果和打断事件,再转写客户端侧播放录音。自动评测用 Qwen3-ASR-1.7B 转写并用 Qwen3-ForcedAligner-0.6B 获得词级时间戳,转写或时间戳校验失败时回退到 Whisper-large-v3。随后将转写与工具调用记录、返回结果和打断事件结合,评估工具调用正确性、对变更请求的遵守、恢复情况和信息覆盖度。Claude Opus 5 先作为语义评估器识别相关话语并将播报信息与所需工具结果匹配,延迟与汇总分数再由程序根据记录时间戳和已验证标注计算得出,GPT 6 Astra 对标注与评估输出做复核,必要修正纳入最终报告结果。

为形成可控可比的实验条件,基准在车载辅助、烹饪、零售、旅行、电信和家庭管理 6 个日常领域设置 60 个场景并实例化为 140 个测试用例。多工具场景将 5 个初始工具的执行时长设为 60 秒、15 秒、5 秒、5 秒和 5 秒,使部分结果先可用而另一些操作仍在进行;任务追加用例的附加工具耗时 15 秒。单工具等待场景使用 60 秒时长以留出执行期间问询窗口;暂停恢复与问询恢复场景的工具直接返回 5 条目报告而不设人工执行延迟,使评估聚焦于口头播报期间的协调。

每个被测助手接收完整 80 个工具集合,并被指示并发发起独立工具调用、及时播报可用结果、在打断后恢复未完成播报,单助手评估 140 个用例共产生 700 段对话,最大对话时长 480 秒。

在任务划分上,评测区分执行期协调与播报期协调两组条件。执行期包括无干预基线、执行期间两次状态问询、优先级变更、任务撤回和任务追加;播报期包括未完成播报中的暂停恢复与问询恢复。成功的助手行为被明确规定为如实回答状态问询并报告结果、按变更后要求优先播报或省略撤回任务或执行追加任务、打断后恢复并补全剩余报告。

评测维度对应为执行响应性、请求变更下协调和打断下协调,分别考察工具调用及时性与结果播报及时性、对优先级变更与撤回追加的适应与义务保留、对打断点的跟踪与恢复完整性。模拟器可控性另用行为交付率、干预窗口命中率和澄清答复率核验,确保规定干预按预期含义落在指定时间窗内,同时保留回答助手澄清提问的交互能力。

场景、工具时间和被测助手是如何配置的

基准包含 6 个日常领域的 60 个场景,实例化为 140 个测试用例。20 个多工具场景各产生无变化基线、优先级变化、任务撤回和任务增加 4 个变体,共 80 个用例;20 个单工具等待场景各产生 1 个执行期查询,共 20 个用例;20 个播报场景各产生暂停恢复和追问恢复两个变体,共 40 个用例。每个交互条件 20 个用例,同场景变体共享初始请求和工具配置以便对照。

工具时间为人工设定的模拟时长。多工具场景 5 个初始工具分别耗时 60 s、15 s、5 s、5 s 和 5 s,新增工具耗时 15 s;单工具等待场景耗时 60 s;播报场景工具直接返回 5 条结果而不设执行延迟,以便聚焦播报被打断后的处理。被测的是五款商用英文语音助手,通过官方接口接入,共产生 700 段对话,单段最长 480 秒,助手被指示并发调用工具、及时播报可用结果并在打断后恢复。

考了哪些任务,每种成功长什么样

下表是论文对任务条件、规定的用户行为和算成功的助手行为的划分,理解后续指标要先看清这个对照。

GroupTaskPrescribed user behaviorSuccessful agent behavior
Coordination during task executionStatus InquiryIssue one request then inquire about the execution status twice during task execution.Answer the status inquiries and report the result.
Baseline with no request changesIssue 5 requests with no further interventions.Execute tasks concurrently and report all required results.
Priority changeIssue 5 requests then ask for priority feedback on the result of a designated task during task execution.Prioritize that result in subsequent reporting and report the remaining results.
Task withdrawIssue 5 requests then withdraw one task’s request during task execution.Omit the withdrawn task and report the remaining results.
Task additionIssue 5 requests then add one more task’s request during task execution.Execute the added task and report all required results.
Coordination during spoken result deliveryPause-resumeInterrupt the agent with a pause request during spoken result delivery.Pause appropriately and wait; once the user returns, resume and complete the result report.
Inquiry-resumeInterrupt the agent with a follow-up question during spoken result delivery.Answer the question, then resume and complete the result report.

这张表说明比较问题是执行期和播报期两类协调是否都做到。执行期要求在工具运行时响应查询并按新要求调整后续播报,播报期要求暂停后等待返回或先答追问再回来补完。它的限制是只覆盖这 7 种规定行为,没有覆盖多轮反复修改或带背景噪声的情况。

指标分别衡量什么,哪个方向算好

下表是 3 组指标的定义,读数前要先明确分母和好坏方向,延迟越低越好,成功率和完成率越高越好,遗漏率越低越好。

DimensionMetric nameDefinition
Execution responsivenessTool start latency (s) ↓The time elapsed from the end of the user request or the completion of the latest relevant clarification associated with a tool, to when the agent invokes that tool.
Announcement latency (s) ↓The time elapsed from successful tool completion to the start of the first substantive spoken announcement grounded in the returned tool result.
Case–level first–attempt success rate (pass@1, %) ↑Percentage of cases in which every expected tool is selected with correct arguments on its first attempt. Missing tools or incorrect first attempts cause the case to fail.
Status Inquiry Response Rate (%) ↑Percentage of cases in which the agent replies to the user’s status check inquiry.
Concurrent invocation rate (concurrency met, %) ↑Percentage of cases in which the agent invokes tools concurrently when handling requests that require multiple tools.
Coordination under request changesRequest change success rate (%) ↑Percentage of cases in which the agent satisfies the changed request: announcing the prioritized result first after a priority change, cancelling the withdrawn result, or reporting the added result.
Result completion rate (%) ↑Percentage of cases in which all required tool results are successfully obtained and announced: five results for the baseline and priority change, four for task withdraw, and six for task addition.
Coordination under interruptionsInterruption latency (s) ↓The time elapsed from the onset of the user’s interruption to the point at which the agent is confirmed to have stopped announcing the result.
Resumption rate (%) ↑Percentage of cases in which the agent resumes after a pause interruption or follow-up question. Full restarts and incorrect claims that all required information has already been communicated count as failures.
Information omission rate (%) ↓(total number of expected items −- number of delivered items) // total number of expected items “Delivered items” is the union of expected items completely delivered before the interruption and after resumption. Items spoken during the interruption do not count.

这张表把执行响应、需求变化下协调和打断下协调分开。工具启动延迟看调用是否及时,播报延迟看拿到结果后是否及时开口,结果完整率按基线五项、撤回四项、新增六项计数,遗漏率只统计打断前完整送达加恢复后补全的并集,打断期间说的不算。它的限制是自动转写加语义匹配的误差仍需复核。

请求变更成功率 × 结果完整率: 请求变更成功率衡量是否按新要求调整播报,如优先播、取消被撤回项或补播新增项;结果完整率衡量所有应汇报的结果是否都拿到并说出,两者搭配才能看出助手是只顾了新要求还是兼顾了原有义务。

多工具调度和首次调用准确率说明了什么

下表比较并发调用和首次尝试全部选对工具并填对参数的比例,区分单工具和多工具任务。

ModelConcurrency met ↑Pass@1 S/M ↑
GPT Live 1.0100.0%100.00% / 88.75%
Realtime 1.50.0%100.00% / 63.75%
Realtime 2100.0%98.33% / 86.25%
Grok Voice 3.0100.0%96.67% / 76.25%
Gemini 3.8 Live100.0%96.67% / 81.25%

这张表说明的比较问题是多工具是否增加了理解和调度负担。除 Realtime 1.5 因顺序调用并发为 0.0% 外其余四款并发均为 100.0%,但所有助手的多工具首次准确率都低于单工具,例如 Realtime 1.5 从 100.00% 降到 63.75%,Grok 从 96.67% 降到 76.25%。论文还报告多工具的工具启动延迟和播报延迟更高,定性检查发现多工具时澄清参数的次数更多,有的还在等一个工具参数时耽误了另一个已返回结果的播报。限制是该表只看首次调用,不反映后续纠正后能否完成。

恢复率 × 信息遗漏率: 恢复率衡量被打断后是否回到未完成的播报;信息遗漏率衡量应传达的信息中有多少最终没有被用户完整听到,前者看是否回来继续,后者看是否说全,组合起来区分会回来但说不全和根本不回来的失败。

被打断后谁回来了,谁把信息说全了

下表把暂停恢复和追问恢复分开,看恢复率和信息遗漏率,这是本文最能体现沟通状态跟踪的对照。

ModelResumption rate ↑Information omission rate ↓
Pause- / Inquiry-resumePause- / Inquiry-resume
GPT Live 1.0100.0% / 90.0%0.0% / 7.0%
Realtime 1.580.0% / 30.0%8.0% / 61.0%
Realtime 25.0% / 0.0%78.0% / 80.0%
Grok Voice 3.095.0% / 55.0%6.0% / 40.0%
Gemini 3.8 Live90.0% / 70.0%43.0% / 66.0%

这张表说明两个结论。第一,追问比暂停更难恢复,平均恢复率从暂停的 74% 降到追问的 49%,因为追问引入了新的对话目标,助手答完追问后容易忘记回来继续。第二,会回来不等于说全,例如 Gemini 暂停后恢复率 90.0% 但遗漏率仍有 43.0%,Grok 追问后恢复 55.0% 但遗漏 40.0%,只有 GPT Live 1.0 在两类下遗漏分别为 0.0% 和 7.0%。未胜出项是 Realtime 2,两类恢复仅 5.0% 和 0.0%,遗漏高达 78.0% 和 80.0%。限制是该对照只用 5 条结果的播报场景,条数更多或内容更长时结论是否成立尚未评测。

需求变化时为什么顾了新的丢了旧的

论文还报告需求变化下的总体趋势:所有助手在 3 种变化下的结果完整率都不高于无变化基线,平均从基线的 80% 降到优先级变化 68%、撤回 74%、新增 59%,而请求变更成功率最高仅 55% 的是 Realtime 1.5。典型反例是 Gemini 跟随新要求较好但完整率只有 40% 到 50%,GPT Live 在撤回下完整率 90.0% 但撤回成功率仅 40.0%,说明经常把用户不要的结果也继续播了。

机制解释是助手难以区分已完成和仍在执行的工作。定性检查发现 Grok 和 Gemini 在需求变化后有时会提前播出尚未执行完的工具结果,任务新增时五款助手新增成功率 75% 到 100% 但完整率只有 50% 到 75%,说明处理了新增却丢了旧义务。这些判断只在受控的模拟时长和英文无噪条件下成立,真实工具的自然延迟和数据依赖结果尚未引入。

要复现这个评测第一步做什么

复现第一步是按论文搭建三件套:用例规定加 80 个工具描述、支持并发和异步返回的模拟工具环境、按节拍交换音频的用户模拟器。工具时间要照原文设定,多工具初始五项按 60 s、15 s、5 s、5 s 和 5 s,新增项 15 s,单工具等待 60 s,播报场景不设执行延迟直接返回 5 条结果。

关键信息条件是助手必须收到完整 80 个工具和并发调用、及时播报、打断后恢复的指示,用户模拟器要能读到工具事件和实际播放进度。自动评测要保留转写加词级时间戳加语义匹配加复核的链路,不能只看最终文本。论文未公开代码、模型或数据,来源清单也显示没有可用的作者资源,因此只能按文字描述重建,不能直接下载运行。

什么时候值得尝试,还缺哪项验证

当你的助手需要在工具运行时接受改需求、在播报时接受打断,就值得用这类定时干预来测协调,而不是只看最终任务成功率。模拟器侧 700 段对话中行为送达和时间窗口命中均为 699/700,澄清回答 92 问全部答对,说明在本文条件下干预是可控的。

还缺的验证有三项:多语言下表达请求和打断的方式不同时结论是否成立;带交通、家务等背景噪声时理解和打断处理是否变化;接入真实工具和数据库后自然变化的延迟和数据依赖结果是否带来新的失败。本文的价值在于把正在做、已完成、已说出和待汇报 4 类状态的跟踪显式化,但不要夸大为通用对话能力的排名。

📎 论文与评分元数据

排名:前50% | 文档类型:数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-12 语音/音乐/音频论文速递