📄 边说边执行又要能撤回:RASSG 如何处理语音中的自我修正

英文题目:RASSG: Repair-Aware Semantic Survival Gating for Streaming Tool Execution

标签:#语音代理规划与工具使用 | #不确定性估计与校准 | #语音 | #流式处理 | #数据集

评分:7.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Daijin Hu:Beihang University
  • Xi Wang:Beihang University

📌 核心摘要

流式语音助手在用户说完之前启动工具,把语音理解与任务执行重叠以减少等待,但用户随后修正参数会使已启动版本与最终意图不一致,一旦越过不可逆期限就会留下陈旧执行。修复感知语义存活门控先观察连续三次实际语音识别到达的参数是否相同且非空,满足条件才启动工具,形成进入执行期的当前版本。执行期间因果门控循环单元结合置信度、解析历史、前缀文本、停顿与版本年龄,预测当前参数被后续修正替代的风险并经校准输出。控制器在最后可行时刻结合该风险、由取消窗口与完成时间决定的不可逆期限,以及取消代价与可复用进度决定是否取消,若新参数及时到达则更新执行版本并保留原有管线进度。与仅在替代参数到达后才撤回的方法不同,该方法可在新参数解析完成前主动干预,并允许及时更新保留原有执行进度。在包含后续修复的ReCAST测试子集上,RASSG相对相同初始启动但无主动取消的对照,把陈旧执行率从49.92%降至3.15%,成功轨迹平均延迟从4.434 s降至3.676 s。结论限于固定工具耗时、取消窗口和确认延迟的受控合成与公开语音评测,公开语音中前端解析错误仍是主要残留来源。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音助手为什么要边听边调工具

这篇论文的输入是连续到来的用户语音,目标是调用外部工具完成订会、转账金额、地点或联系人这类任务,输出是工具调用的参数和实际执行效果。必须保留的信息是用户最终想要的参数,以及中间每个参数版本是在什么时候被识别出来、什么时候启动执行、什么时候越过不可逆点。流式处理的好处是语音还没说完就可以开始准备和运行工具,把理解语音的时间和执行工具的时间重叠起来,用户等待结果的时间就变短。

但风险也很直接:用户可能在句子后半段自我修正,例如先说 3 点又改成 4 点,如果旧的 3 点调用已经越过不能取消的时刻,即使系统最后补了一个 4 点的正确调用,3 点那次的副作用已经留下。论文把这种情形单独计数,不因为最后做对了就忽略它。对于刚入门的读者,可以把例子标为教学例子:用户先说约 3 点,系统提前开工,接着用户说不约 3 点改 4 点,关键问题是旧工单能不能在变砖之前撤下来。

已有路线在修正面前各缺了什么

论文把相关工作分成 3 类来对比。第一类是等整句说完再调工具,包括语音直接映射到调用、先转写再解析参数、缺信息时多轮追问澄清,以及处理目标变更和参数纠错的基准。这类方法输入是完整话轮,监督来自最终对话上下文,运行阶段在语音结束后才工作,所以天然避开了边说边执行,但也放弃了重叠省下的等待时间。

第二类是从增量输入提前执行,包括增量对话、流式转写的稳定前缀确认、用推测计算或语义触发提前生成回复,以及语音智能体把推理和工具动作与音频交错。其中与本文最接近的是 Stream RAG 在新查询到来时终止旧查询,以及推测式交互智能体允许修改或删除未完成调用、对敏感工具等确认后再执行。论文指出,对于允许在有限窗口内取消的工具,剩下的问题是在期限、取消代价和剩余时间已知时,是否还应让进行中的动作继续。

第 3 类是评测从单次调用准确率扩展到对话修正和执行进展,包括有状态工具基准、带人类语音修复的测试和全双工可验证完成度。本文的定位是在同一语音识别前端和同一执行时钟下,比较启动与取消控制带来的陈旧与延迟差异,而不是在不同输入或不同监督下比绝对分数。

要解决的是修正后的陈旧执行

论文要解决的具体问题是:工具已经根据稳定的中间参数启动,但用户随后修正了该参数,旧版本若在期限后仍存活就形成陈旧执行。即使最终调用成功,陈旧记录依然保留。已有策略各有代价:等说完再执行最稳但等待最长;只看识别稳定就提前提交,稳定不等于用户不再改;等替代参数完全解析好再更新动作,可能错过取消窗口。因此需要同时回答两个问题:当前参数是否稳到值得启动,以及启动后在仍可取消时是否应该继续。

流式工具执行 × 陈旧执行: 流式工具执行指不等用户说完就启动工具,把语音理解和工具运行重叠以省等待时间;陈旧执行指被用户后来自我修正取代的旧参数版本越过了不可逆期限而留下效果,即使最后一次调用做对了也算错一次。两者搭配的意义是:只看最后调用对不对不够,还要看中间版本有没有在可取消窗口内被及时撤回。

下面先看论文用一张示意图讲清 3 种选择的结局,再进入方法。这张图是教学价值很高的单样本示意,不是实验曲线,图中数值不能当作性能数字来引用。图的上方是语音时间轴,左侧蓝色波形对应约 3 点,右侧橙色波形对应改成 4 点,最右侧虚线是动作边界。中间一行是基于置信提前提交,很早提交 3 点但旧动作一直跑过边界形成陈旧;下一行是保守延迟提交,等修正说完才提交 4 点,虽无陈旧但全程等待。

最下一行是本文方法,先提交 3 点、中间监视、在边界前取消再更新提交 4 点。右侧三列打钩打叉分别对应无陈旧动作、避免统一延迟和动作感知控制,只有最后一行三项全对。

看图路径: 1. 先看最上方语音时间轴上 3 pm 蓝段与 no-4 pm 橙段的前后关系;2. 再对比中间两行在动作边界处的 STALE 与延迟启动的去向;3. 最后看最下方 RASSG 行 CANCEL 与 UPDATE and COMMIT 4 pm 的位置

原论文 Figure 1:An illustrative scheduling request changes from 3 pm to 4 pm.

论文图 1。原论文 Figure 1::“An illustrative scheduling request changes from 3 pm to 4 pm.”。

从图中可见的关键是时间顺序:提前启动省时间,但没有撤回机制就会在边界处变陈旧;延迟启动省了撤回麻烦,但把本可重叠的时间全部变成等待。论文的方法就是要在启动与撤回之间加一个受期限约束的取消决策,这也是后文所有公式和消融要解释的对象。

整体控制回路是如何运转的

方法的输入是每 960 毫秒解码 1 次的语音识别前缀经解析得到的参数候选,输出是启动、等待、更新或取消 4 种控制动作,执行效果由事件时钟推进。整体流程分 3 条线汇合。第一条是启动线:只看实际到达的识别结果是否连续 3 次给出相同非空参数,满足就提交,否则等待,同一识别的重复控制节拍不重复计数。第二条是更新线:新到达的非空参数若与进行中版本不同,优先于取消否决,若能在期限前被确认就保留原流水线起点继续跑,否则重新开始。

第 3 条是取消线:用因果模型预测当前版本被取代的风险,结合工具配置和执行状态,在最后一个仍能及时取消的时刻决定是否否决继续执行。取消后清空当前调用,之后若启动条件再次成立可以重新提交。下面这张控制回路图把 3 条线画在了一起,适合对照正文逐步走一遍样本。

看图路径: 1. 从左侧流式语音经语音识别加解析到已识别参数的箭头看主路径;2. 看上方连续三次识别经一致判断到启动或等待的分支;3. 看下方无效预测经最后机会否决到取消与执行状态回路的闭环

原论文 Figure 2:RASSG control loop. Agreement across three actual ASR arrivals triggers launch.

论文图 2。原论文 Figure 2::“RASSG control loop. Agreement across three actual ASR arrivals triggers launch.”。

图中从左到右是流式语音经语音识别加解析得到已识别参数序列。向上分支是连续 3 次识别送入一致判断,得到启动或等待;中间横向箭头是新参数直接触发更新并送入工具执行;向下分支是参数历史送入无效预测器得到校准风险,再与工具配置和执行状态一起送入最后机会否决,超过阈值则取消。右侧工具执行的状态又回送给否决器形成闭环。读图时注意启动只依赖已观测到的一致性,取消才依赖对未来的预测,更新优先于否决,三者不要混为一谈。

什么条件下才启动第一次执行

启动规则只用观测到的一致性,不用对未来的预测。记第 i 次实际到达的归一化参数为对应符号,若最近 3 次到达相同且非空,空闲控制器发出提交,否则发出等待。转写变化不一定改变归一化参数,只有新的识别到达才改变一致计数,最终语音刷新到达后空闲控制器可直接提交非空候选。一致性提供的是当前识别稳定的证据,但用户仍可能随后修改,所以启动后仍受无效预测和取消约束。

论文还比较了不同一致次数的操作点:从 2 次到 3 次能去掉较大部分陈旧,代价是增加一部分等待;从 3 次到 4 次进一步降陈旧的绝对幅度变小,但等待增加更多。本文采用 3 次作为研究的操作点,其余设置只报告权衡而不作为主方法。

参数版本 × 不可逆期限: 参数版本指每次归一化后不同的参数取值被当作一次独立执行对象,有自己的启动和期限;不可逆期限指该版本再也不能被确认取消的时间点,由取消窗口和工具完成时间共同决定。两者组合后,控制问题就变成每个版本在期限前是继续、更新还是取消。

参数无效风险是如何预测和校准的

无效预测的输入是因果可观测信息,包括置信度、解析历史、前缀文本、停顿和版本年龄,编码器是 64 隐单元的因果门控循环单元。监督用的取代事件定义为当前版本的有标注用户修正开始与下 1 次非空识别参数变化两者中较早者,未解决的修正表示持续无效。预测分布把概率质量分配给持续无效、8 个未来区间、超出预测视野、错误版本持续到终止和正确版本持续到终止等互斥结局,这些分组构成归一化分布。

用于控制的总风险是除正确持续到终止之外的全部事件质量之和,也就是下式要表示的聚合量。该式的输入是校准后的各分支质量,输出是一个标量风险,工具时间和代价在后续决策中才进入。

\[p_{\mathrm{bad},t}=p_{0,t}+\sum_{k=1}^{8}p_{k,t}+p_{>,t}+p_{T,t}.\]

训练目标把删失负对数似然与累积事件边界上的掩码二元交叉熵结合,每个参数版本占相等总权重。再用来源域训练的逻辑校准器重缩放总取代事件质量,保持事件与非事件分支内的相对比例和条件时间形状。公式中的概率指校准后的质量。事件标注和最终目标只用于离线标签,在线预测只用因果观测。条件时间形状留给另行评估的前视启动变体,主控制只用聚合风险。

三到达一致启动 × 参数无效风险: 三到达一致启动只看已经到达的三次语音识别是否给出相同非空参数,用来过滤短暂抖动;参数无效风险是对当前版本将来被用户修正取代可能性的预测,用来在执行中继续监视。启动管是否值得先跑起来,风险管跑起来后要不要撤回,分工不同所以要搭配。

期限和代价如何决定撤还是留

每个工具假设运行时长、取消窗口和取消代价固定已知,取消确认延迟也是固定配置参数。设版本启动时刻为 c,流水线起点为 s,工具运行时长与取消窗口分别记为对应符号,则不可逆期限取取消窗口上限与完成时间两者约束的较小者。新调用起点与启动相同,及时参数更新可保留原起点;进度复用还要求已完成计算在参数变化后仍有效,例如准备工作与被改字段无关。原文提到 Conveyor 展示了与输入生成重叠部分工作的工具接口,跨版本复用还额外要求该工作保持有效。该期限公式的输入是启动、起点和工具配置,输出是该版本的最晚可挽救时刻。

\[b=\min\{c+w_{a},\ \max(c,s+\ell_{a})\}.\]

取消时机是满足确认能赶在期限前到达的最后一个常规决策,形式上要求当前决策加确认延迟不超过期限,而下一个周期再决策就超过期限。更早的时刻选择继续执行,允许替代参数在进度仍可复用时到达。否决比较的是继续持有潜在无效版本的代价与取消并丢掉有用进度的代价。记陈旧执行代价、取消代价和单位延迟价格为对应符号,可复用进度为已执行但不超过总运行时长的部分,当陈旧代价乘以无效风险大于取消代价加丢掉进度在版本为真时的延迟代价,就取消。该规则没有额外代价裕量,阈值随工具代价和已积累进度变化。

\[C_{\mathrm{stale}}p_{\mathrm{bad},t}>C_{\mathrm{cancel}}+\beta_{a}g_{t}(1-p_{\mathrm{bad},t}).\]

新非空参数若与进行中版本不同则优先于否决:若更新能在当前期限前被确认,替代版本保留原起点并获得新的版本起点与期限;迟到替代重新开始执行并保留已产生的陈旧记录。取消经确认后清空当前调用与进度,同一次观测内不再重提,后续观测若启动条件成立可再次提交。若否决条件不成立则继续执行,每次转移都更新供下次决策用的执行状态。

最后机会否决 × 进度复用: 最后机会否决指在仍能保证取消确认赶在期限前到达的最后一个常规决策时刻比较继续与取消的代价;进度复用指及时的参数更新可以保留原流水线的已完成准备工作而不从零重跑。前者决定要不要干预,后者决定干预和更新能省多少等待时间。

模型训练了什么,执行又是如何仿真的

本研究没有训练语音识别和大语言模型,实际训练的是无效预测器。训练数据来自自建合成语音 ReCAST 的来源域,划分为训练与开发录音,开发内再分模型选择与策略校准两组,测试用新说话人和新模板。优化的是上述删失似然加掩码交叉熵,权重按参数版本均衡,校准器在来源域上拟合逻辑缩放。语音识别用 Whisper small.en 前缀,公开语音用 Qwen2.5-3B-Instruct 四比特权重把当前前缀和公开工具模式解析成完整计划,到达时间包含实测前端服务时间。

工具执行不是真实下单,而是事件时钟仿真,按固定运行时长、取消参数、320 毫秒控制周期、10 毫秒处理预算和 20 毫秒确认延迟推进提交、更新、取消确认与不可逆边界事件。及时更新复用进度,取消后重启不复用。需要补的验证是原文未报告预测器训练的硬件预算与耗时,也未给出校准前后可靠度曲线的完整数值,复现时只能按描述重跑并记录这部分开销。

数据、基线和指标是如何对齐的

数据分三块。ReCAST 是为评估提前执行与随后修正而构造的合成语音,覆盖时间、金额、地点和联系人请求,稳定与修正对共享分支前音频,来源数据含训练与开发录音,测试含 2400 录音,其中 1200 为前瞻修正录音用于主比较。公开评估用全部 100 条 FDB-v3 录音和 2145 条满足输入时长限制的 Audio2Tool 第六层修正查询,每查询取一个已发布朗读。

基线共 5 个:等说完再执行的句末执行、2 次到达一致就启动的局部一致、阈值 0.95 的置信提交、为每个到达块并行启动调用并在句末选最早匹配最终计划的 Stream RAG 改编版、首个提议立即执行且参数变化时撤回重做的推测工具调用改编版。其中 Stream RAG 假设并行工具容量,推测调用的最终确认分支在原子计划表示下退化为句末执行。所有策略共享同一识别前缀与解析前端,公开集上解析提议相同,差异来自执行控制。

指标有两个且越小越好:陈旧执行率是全部轨迹中至少 1 次陈旧的比例;成功延迟只在最终参数正确且存在有效调用时测量,ReCAST 从最终参数声音可得时刻算起,公开语音从波形结束算起,负值截零,不同数据集的延迟起点不同所以只在数据集内比较,且延迟均值以各策略自己的成功轨迹为条件,陈旧率则保留全部轨迹。

主结果在什么条件下成立

要回答的核心问题是:在相同识别前端和受控执行时钟下,加强启动证据并在期限前主动取消,能否同时降陈旧和省等待。表前需要先明确比较问题与公平条件:下表比较 6 种策略在 3 个数据集上的陈旧执行率与成功延迟,执行参数固定,公开集上解析提议相同,延迟只在数据集内可比,越小越好。

ReCASTReCASTFDB-v3FDB-v3Audio2ToolAudio2Tool
MethodStale execution rate (%) ↓Successful delay (s) ↓Stale execution rate (%) ↓Successful delay (s) ↓Stale execution rate (%) ↓Successful delay (s) ↓
EOU0.588.67640.0023.88052.739.196
LocalAgreement-250.003.95465.009.21062.918.135
Confidence commit21.085.63373.009.50773.927.910
Stream RAG50.005.31286.0019.99784.508.255
Speculative Tool Calling50.003.48077.009.28081.058.216
RASSG3.153.67657.0011.07254.658.797

上表显示,在 ReCAST 上本文方法把陈旧执行率降到 3.15%,成功延迟为 3.676 s;相对 2 次一致基线的 50.00% 与 3.954 s,陈旧大幅下降且延迟还少 0.278 s;相对句末执行的 0.58% 与 8.676 s,陈旧略高但省约 5 s 等待;相对推测工具调用的 50.00% 与 3.480 s,陈旧从一半降到百分之几,配对延迟多约 0.197 s。在公开语音上,本文方法相对推测调用在 FDB-v3 降 20.00 个百分点、在 Audio2Tool 降 26.39 个百分点,相对 Stream RAG 分别降 29.00 和 29.84 个百分点,且 4 个提前执行对比的陈旧率区间都不包含零。

但绝对值仍高,原因是共享解析前端的持续计划错误:在本文方法的陈旧轨迹中,FDB-v3 有 70.18%、Audio2Tool 有 96.47% 的最终解析输出本身就是错的非空计划,连句末执行也会陈旧。在最终解析正确的子集上,本文方法在 FDB-v3 把陈旧从 2 次一致的 50.00% 降到 32.14%,在 Audio2Tool 从 20.10% 降到 3.33%。因此结论的成立条件是固定执行参数与给定前端,收益中一部分来自抑制中间过时计划,前端最终错则任何等待都救不了。

成功延迟 × 陈旧执行率: 成功延迟只在最终参数正确且存在有效调用时测量,从最终参数声音可得或波形结束算起,越小说明用户等得越短;陈旧执行率是全部轨迹中出现过至少一次陈旧执行的比例,越小说明修正处理越干净。两者必须一起看,因为一味等待可以降陈旧但会拉长延迟。

为什么说收益来自执行控制而非解析

由于公开集上各策略拿到的是相同的解析提议,陈旧差异只能来自何时启动、何时撤回。只在句末选最早匹配最终计划,或等替代参数到来才撤回,都可能让早期副作用先越过不可逆点。本文用更强的启动证据过滤瞬时提议,再用可在替代解析完成前行动的否决来抢时间。ReCAST 的匹配启动轨迹提供了机制证据:在 28800 个录音动作检查点组合中,取消去掉了 13470 条轨迹的陈旧且没有引入新的陈旧,每次避免都发生在无取消对照首次不可逆错误之前。

迟到替代从 14304 降到 834,因为撤回后重提更新了版本的取消窗口,让更多后续修正能赶上;及时更新保留有效工作,所以陈旧下降的同时延迟也缩短。这里的百分点是比例差,不是相对百分比,读数时不要把降 20 个百分点说成降 20%。未胜出项也要说明:在公开集上本文方法的成功延迟并不最低,FDB-v3 为 11.072 s 高于 2 次一致的 9.210 s,Audio2Tool 为 8.797 s 高于置信提交的 7.910 s,说明在解析错误主导的数据上,降陈旧需要付出等待代价。

取消、复用和一致次数各自起了什么作用

消融要回答 3 个分工问题:首次启动相同、仅关掉主动取消会怎样;关掉进度复用会怎样;启动需要几次一致。下表整理原文连续句子支持的关键数字,比较问题是固定首次提交与被动更新后,主动取消与进度复用的增量作用,指标方向仍是越小越好,延迟比较只在成功轨迹内。

对比条件陈旧执行率一端陈旧执行率另一端成功延迟一端成功延迟另一端
相同启动有无主动取消49.92%3.15%4.434 s3.676 s
有无进度复用3.15%3.06%3.6764.510 s

上表第一行来自相同启动对照:去掉主动取消陈旧从 3.15% 回升到 49.92%,取消带来 46.77 个百分点的下降,95% 区间为 45.71 到 47.78,共同成功延迟少 0.758 s,区间为 0.702 到 0.815,说明保护来自对进行中调用的控制而非推迟首次启动。第二行来自复用对照:去掉复用延迟从 3.676 升到 4.510 s,配对代价 0.834 s,区间为 0.788 到 0.881,陈旧从 3.15% 微降到 3.06%,因为重启会把不可逆边界推迟,这 0.083 个百分点的下降只来自八动作三检查点中的一条录音,配对区间为 0.000 到 0.256,基本可视为复用主要省等待而不负责保护版本。

一致次数方面,1 次一致陈旧 28.78% 延迟 3.038 s,2 次一致 16.86% 与 3.274 s,4 次一致 0.88% 与 4.450 s,从二到三去掉 13.71 个百分点多等 0.402 s,从三到四再去 2.27 个百分点却多等 0.774 s,第 4 次证据性价比下降,所以 3 次是本文研究的操作点。

哪些结论还不能推广

首先所有执行语义都在受控时钟下成立,工具运行时长、取消窗口、取消代价和确认延迟都是固定已知配置,真实工具的时间波动、取消失败或部分副作用不可逆的情形尚未评测。其次高陈旧绝对值主要受前端解析错误驱动,最终解析错则连句末执行也陈旧,本文方法不能修复解析本身。再次延迟起点在数据集间不同,跨数据集比延迟大小没有意义,只能在同一数据集内比。

还有预测器的条件时间形状只用于另行评估的前视启动变体,主结果不用它,不能把前视的设想收益当成已部署提升。最后训练与推理开销、输出帧率与真实延迟是分开的概念,原文没有测量误判率之外的计算成本,不能承诺部署一定更快或更省。缺这些证据不是技术缺陷,只是复现和选型前需要补的验证。

复现第一步要固定什么

复现第一步是拿到作者资源并锁死执行时钟。作者资源当前可用,代码与数据链接在文中给出且本次可达,但代码可用不等于权重可下载或系统可一键运行,要分开验证。先按原文重建事件时钟:Whisper small.en 每 960 毫秒解码前缀,ReCAST 用固定词表解析,公开语音用 Qwen2.5-3B-Instruct 四比特权重解析当前前缀与工具模式,记录前端服务时间;再设控制周期 320 毫秒、处理预算 10 毫秒、确认延迟 20 毫秒,工具运行时长与取消参数用原文静态配置。

关键超参数是启动需 3 次实际到达一致、置信对照阈值 0.95、预测器为 64 隐单元因果门控循环单元、风险为八区间加远期与终止分支的聚合。信息条件是启动只用已到达识别,在线预测只用因果观测,最终目标与修正标注只用于离线监督与评分。先跑通相同启动无取消对照,确认能否复现从 49.92% 到 3.15% 与从 4.434 s 到 3.676 s 的差异,再开进度复用看延迟是否回落。

什么时候值得尝试还缺哪项验证

当工具允许在有限窗口内取消、取消代价与延迟代价可估计、用户经常在句尾修正参数时,值得尝试这种启动与取消分开的做法:用 3 次一致过滤抖动,用校准风险在最后可取消时刻否决,用及时更新保留有效进度。复现时先固定上述时钟与阈值,用匹配启动对照分离取消的保护与复用的省时,再在最终解析正确的子集上看陈旧是否仍然下降,避免把前端错误误判为控制失败。

还需要补的验证是真实工具时间分布下的鲁棒性、取消确认失败时的行为、长尾修正与多参数耦合的覆盖,以及预测器在新领域下的校准保持与计算开销。只有这些补齐后,才能判断省下的等待是否值得付出的建模与运维成本。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-10-15 语音/音乐/音频论文速递