VoxTurn: Answering Several Turn-Taking Questions in One Pass with One Model

级联语音智能体在用户每次沉默中都要判断是否应答，答早打断用户，答晚增加延迟，难点是决策时刻落在停顿内部且正确答案随已沉默时长变化。VoxTurn输入决策时刻前8秒用户音频、可选转写或对方上一句与说话人标记，输出是否结束回合、何时继续、四类对话状态、是否为打断与是否为无效输入五类判断。冻结的AuT编码器先把8秒音频转为特征并经投影层与文本拼成共享前缀，一次编码供所有问题复用，该前缀直接作为语言模型的输入。Qwen3-0.6B加LoRA一次前向处理多题，隔离问题块的注意力掩码让每题只见共享前缀和自身且位置编码与单题询问一致，由此得到各选项末token隐状态。各选项隐状态再进入线性头打分并在选项内做softmax得到概率，训练按停顿定时推导标签并加辅助与一致性损失，部署在沉默持续期间每0.25秒用增长后的音频重查。与eot-bench开放基线相比，VoxTurn在英语300 ms平均延迟预算下误切率为11.5%，14语言均值为19.9%，为参评全部语言的开放模型中最低，单次决策8.3 ms。结论适用于单说话人用户回合与双人对话零样本迁移，印地语、韩语非开放最优与单次查询超时回退仍是失效点。原文披露训练在1张NVIDIA L40S上用78分钟完成30万样本。

🔗 开源与复现资源

第三方资源：https://huggingface.co/AustinXiao/voxturn — 链接可访问（HTTP 200）
第三方资源：https://swagshaw.github.io/voxturn/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

级联语音智能体在用户静音时要做什么

级联语音智能体的工作方式是先听用户说话，当用户声音停下来就进入一段静音，系统必须在静音里决定现在接话还是继续等。接话太早会打断用户没说完的想法，接话太晚会让对话显得迟钝。论文把这个反复出现的判断称为轮次结束判断，英文缩写为 EOT。它的输入是截止到当前时刻的最近一段用户音频，论文固定取最近 8 秒，不足则左侧补静音，还可以附带文本转写或对话伙伴上一句话，以及当前是谁在说话的标记。

输出不是生成一段话，而是在几个固定选项里选一个，例如是否已经说完。必须保留的信息包括已说内容的语义是否完整、停顿已经持续多久、声音本身是不是有效语音。语音活动检测，英文为 voice activity detector，简称 VAD，只负责报告有没有声音和静音开始，而轮次结束判断要在 VAD 报告静音之后决定语义上是否该接管。固定时长的静音超时只能在抢话和拖延之间折中，所以需要结合内容的模型。

语音活动检测 × 轮次结束判断： 语音活动检测只判断当前有没有声音加静音有多长，轮次结束判断要判断这次静音是中途停顿还是用户已经说完；前者给出静音起点和持续信号，后者结合已说内容和静音时长决定是否接话，两者搭配才能既不抢话也不拖延。

对于刚入门的读者，可以把任务想象成开会时的主持人：有人停顿喝水时主持人不应马上抢话，有人明显收尾时则应尽快接上。论文要解决的是开放模型在这类判断上明显落后，尤其在英语之外误抢断更高，而且实际部署还需要多个相关判断，例如用户是否很快会继续、智能体说话时传来的声音是打断还是附和、传来的声音是不是咳嗽笑声噪声等有效输入。每个判断若各用一个模型或各调用一次，开销会成倍增加。论文还指出框架往往只在 VAD 刚报告静音时问一次，若模型当时还不确定就只能退回超时等待，浪费了静音变长后模型会越来越确定的信息。

已有路线在输入目标和调用方式上有何不同

论文把相关工作分成 3 类来定位。第一类是轮次模型：双人语音活动预测直接预测双方未来的发声，端到端全双工模型把轮次隐含在生成里，而级联智能体用用户通道上的专用检测器，例如只看文本转写的 TurnGPT 和 LiveKit 文本检测器，只看最后几秒音频的小分类器 Smart Turn，以及结合语音模型特征和智能体上一句话的 turn-1。还有工作把二分类扩展到附和等待等对话状态。

第二类是把语言模型当分类器用：对选择题不生成自由文本，而是给每个选项打分，这是语言模型做选择题的常用做法，论文把它搬到语音上，并加上让多个问题共享一次音频编码的掩码。第 3 类是评测基准：eot-bench 测单说话人用户轮次里的保持停顿与结束停顿，在每段静音里每 100 毫秒反复打分；TurnBench 测双人对话里的结束事件和打断事件，每人一个通道。

比较时要注意输入目标是否相同：只看文本的方法与同时看音频的方法条件不同，只做二分类的方法与同时判断附和打断无效输入的方法目标不同，单次查询与静音中反复查询的运行方式也不同，不能把这些差异直接读成同条件胜负。

为什么切分语料训练的检测器在真实停顿里误差大

论文认为开放检测器误差的最大来源是训练与部署的 mismatch。常用训练集由切分好的单句构成，不少是合成语音，每条只在句尾标一次是否结束。而部署时模型要在真实停顿内部的不同时刻被提问，答案与静音已经持续多久有关。例如同样一句话，说完停 0.1 秒和停 0.8 秒，是否该接话的判断可能完全不同。如果训练时从没见过停顿中途的决策时刻，模型就学不到静音时长这个关键信号。

论文在 eot-bench 上观察到开放模型在 300 毫秒平均延迟预算下 14 语言平均误抢断在 28% 以上，而商用模型明显更低。第二个问题是一次只答一题的代价，第 3 个问题是只问一次的用法。3 个问题分别对应数据、模型读出和部署策略三处改动。

保持停顿 × 轮次结束停顿： 保持停顿指用户还会继续说的中途静音，轮次结束停顿指用户已经说完等待回答的静音；eot-bench 把两者放在同样的按时间打分流程里比较，误把保持停顿当成结束就会记一次误抢断。

这里的例子是教学用例子：假设用户说我想订周三去杭州的票，然后停顿，可能是翻证件的中途停顿，也可能是说完等确认的结束停顿。只看文本两者相同，只有结合停顿长度和后续是否有人继续才能区分。论文的训练正是要让模型在停顿的不同位置都见过这类样本。

VoxTurn 把多次判断变成一次前向的总体流程

VoxTurn 的骨干是 Qwen3-ASR-0.6B，包含冻结的 AuT 音频编码器、投影层和 Qwen3-0.6B 语言模型，另加低秩适配和一个线性打分头。流程是把 8 秒用户音频送入编码器得到每秒 13 个 token，共 104 个，再经投影送入语言模型，前面还有聊天头、文本和说话人标记构成共享前缀，后面跟若干问题块。每个问题写成问题加选项的文字，例如是否说完、是否很快继续等 5 个问题。模型不生成文本，只对每个选项最后一个位置的隐藏状态用线性头打分，再在该问题内部做 softmax 得到选项概率。

训练时每个样本有一个来自其数据源的主问题，再加上所有能由时间唯一确定的辅助问题，例如真实语音都标为有效输入，每个停顿样本都按剩余静音推导 resume 标签。部署时在 VAD 报告静音后每 0.25 秒重问一次，一旦说完概率超过阈值就结束轮次，否则用框架超时兜底。这样一次前向可回答任意问题集合，且与逐个提问结果一致。

\[M_{ij}=\mathbf{1}[\,j\leq i\,]\cdot\mathbf{1}[\,j\leq P\ \lor\ \mathrm{blk}(i)=\mathrm{blk}(j)\,],\]

上述掩码的作用是让前缀只编码一次且不受问题影响，每个问题块只能看到前缀和自身，并使用如同单独提问时的位置编号。论文强调该结论依赖完整注意力骨干，不适用于状态不可按块隔离的循环或线性注意力层，这也是选型理由之一。

五个选择题各问什么以及如何打分

5 个问题分工不同。eot 问用户是否说完，选项为是或否，由 Smart Turn、停顿来源和 SemanticVAD 监督。resume 问用户何时继续，选项为 0.5 秒内、更晚或本轮不再继续，由停顿时机推导的辅助标签监督。state4 问 Easy Turn 对话状态，选项为完整、不完整、附和、等待，由 Easy Turn 监督。intent 问智能体轮次中传来的语音是打断还是附和，由 SemanticVAD 监督。

invalid 问声音是否为咳嗽笑声噪声音乐等无效输入，选项为是或否，由 MUSAN 和 VocalSound 作正例、真实语音作负例监督。每个问题有 12 种英文和中文措辞，训练时随机抽一种，推理时固定一种，同一前向里还会用另一种措辞再问一遍主问题以做一致性约束。打分只用线性头作用于每个选项末 token 的隐藏状态，目标是得到该问题内的归一化概率。

eot 问题 × resume 问题： eot 问题问用户这一轮是否已经说完，resume 问题问用户是否会在 0.5 秒内继续说、更晚继续还是本轮不再继续；前者直接决定是否接管话轮，后者给出停顿剩余时间的细粒度预期，两者在 TurnBench 的双通道策略里相乘使用以压住不确定的长停顿。

\[p(o\mid q)=\mathrm{softmax}_{o}\big(w^{\top}h_{q,o}\big)\]

这里先沿一个样本走一遍：8 秒音频经编码器和投影变成前缀的一部分，加上文本和说话人标记后，语言模型在隔离掩码下分别处理每个问题块，每个选项末位置得到一个向量，经线性头变成标量，再在问题内 softmax，例如 eot 的是与否概率和为 1。只训练投影、低秩权重和打分头共 11.8M 参数，编码器冻结。

一次前向等价于逐个提问的隔离机制

等价性的关键是前缀状态与问题无关，问题块状态与问题顺序和其他问题无关。实现上前缀 token 不 attend 到任何问题块，每个问题块的第 m 个 token 使用位置编号 P+m-1，相当于它是唯一问题时的位置。按层归纳，每个问题块看到的键和位置与单独拼接前缀加该块时完全相同，因此在完整注意力下一次前向与多次前向的概率相同，论文在 float32 下测得最大差为 1.5×10-5，可视为数值误差。代价是前缀约 120 个 token 只编码一次，每个新增问题约增加 15 个 token。

若用循环或线性注意力，隐状态无法按块掩码隔离，结论不成立。训练时正是利用这一点，用几乎免费的额外问题块给每个样本加上所有时间能确定的辅助监督，以及主问题的第二种措辞。推理时问 4 个问题一次前向约 9.0 毫秒，而分四次约 33.2 毫秒，节省来自共享前缀编码。

共享前缀 × 问题块隔离注意力： 共享前缀指只编码一次的音频加文本加说话人标记部分，问题块隔离注意力指每个问题块只能看到前缀和自身、看不到其他问题块；前者省去重复编码音频的开销，后者保证一次前向得到与逐个提问完全相同的结果。

需要提醒的是参数冻结不等于输出确定，论文未声称确定性求解，只是说在相同输入和精度下两种提问方式的概率一致，bf16 下还会有舍入差异。

真实停顿标签如何从时间推导与训练配置

训练混合包含切分语料和真实对话停顿。Smart Turn 提供 23 语言切分句，Easy Turn 提供中文切分句，MagicData-RAMC 提供中文对话停顿，SpokenWOZ 提供英语电话对话用户通道停顿，Seamless Interaction 提供面对面每人独立通道停顿，SemanticVAD 提供中英对话文本，MUSAN 和 VocalSound 提供非语音声音。真实停顿的构造是先用 Silero VAD 跑双通道，把说话人两段语音之间至少 100 毫秒的静音取出，若对方接管并说至少 1 秒则标为结束，若无人说话且原说话人在 5 秒内继续则标为保持，跳过重叠和附和。RAMC 停顿来自时间对齐文本。

每个停顿的决策时刻在静音的前 min(d,1.5s) 内均匀抽取，让模型学到答案随停顿展开的变化。Seamless 音频一半时间限带到 8 kHz，避免带宽泄露来源。Easy Turn 样本按音频、音频加文本、纯文本以 6 比 3 比 1 混合，无效输入的负例来自其他来源的真实语音，同源标签按数量幂次重平衡。损失由主问题交叉熵、辅助问题平均交叉熵和两种措辞间对称 KL 组成，权重均为 0.5。

\[\mathcal{L}=\mathrm{CE}_{\text{main}}+\lambda_{\text{aux}}\overline{\mathrm{CE}}_{\text{aux}}+\lambda_{\text{cons}}\tfrac{1}{2}\big[\mathrm{KL}(p\,\|\,p^{\prime})+\mathrm{KL}(p^{\prime}\,\|\,p)\big],\]

训练用 300,000 样本，批量 128，AdamW 学习率 2×10-4，100 步热身加余弦衰减到 10%，梯度裁剪 1.0，bf16，一块 L40S 约 78 分钟。换硬件重跑英语误抢断波动 0.1 到 0.5 个点，可视为运行噪声。

eot-bench 与 TurnBench 各测什么以及如何读数

eot-bench 包含 14 语言的真实用户轮次及其静音标注，每段至少 100 毫秒的静音从开始起每 100 毫秒打一次分，eot-harness 会扫描阈值、动作延迟和超时等决策策略。误抢断指在保持静音里抢先接管的比例，延迟指从结束静音开始到响应的平均时间。报告的是 300 和 600 毫秒延迟预算下的最低误抢断，5% 和 10% 误抢断下的最低延迟，以及进入停顿 200 毫秒时的 AUC。每个数字都是权衡曲线上的一个点，误抢断和延迟都是越低越好。

TurnBench 是 30 小时三重标注的双人英语对话，每人 1 通道，系统输出因果事件时间，结束事件和打断事件在金标前后特定窗口内算命中，在中途停顿或附和里误触发按段记误报，报告固定误报率下的召回和中位延迟。另有 Easy Turn 中文四状态准确率、TEN 中英 finished 与 unfinished 召回、OpenSLR 99 非言语声检出与有效语音误拒，以及经 Pipecat 和 LiveKit 的 VAD 与端点规则重放 150 个英语轮次的误抢断和延迟。基线数为官方榜单或模型卡，评测音频不参与训练。

误抢断率 × 平均响应延迟： 误抢断率指在必须接话的保持停顿里模型抢先接话的比例，平均响应延迟指从轮次结束静音开始到模型决定回答的平均时间；eot-bench 用策略扫描把两者画成权衡曲线，固定延迟预算比误抢断或固定误抢断比延迟才有可比性。

读数时要注意聚合对象：eot-bench 的英语列是英语保持停顿的误抢断，14 语言平均是只在 14 语言都参评的系统间平均，TurnBench 的召回是在各自误报率下的召回，不同误报率不宜直接比高低。

英语权衡曲线上 VoxTurn 处在什么位置

在英语 300 毫秒预算下，VoxTurn 在保持静音里误抢断 11.5%，低于商用 Baton 的 12.3% 和 Deepgram Flux 的 12.9%，仅次于 LiveKit 云端检测器和大 3.5 倍的 turn-1。14 语言平均为 19.9%，而下一个开放模型为 28.4%。论文把曲线分成 3 组：LiveKit v1、Baton 和 VoxTurn 构成最低带，Deepgram Flux 在紧预算接近但 500 毫秒后走平，其他开放模型要达到同样误抢断需要 1.6 到 2.2 倍延迟。从另一方向读，在 5% 误抢断下 VoxTurn 平均 669 毫秒应答，比 Smart Turn 和 LiveKit v1-mini 早约 400 毫秒，在 10% 下 335 毫秒，与 LiveKit v1 相差 40 毫秒内。结论成立的条件是使用 eot-harness 的策略扫描最优点，且延迟定义为从结束静音开始的平均响应时间。若换成固定阈值单次查询或不同超时，结果会变化，不能把扫描最优点当成部署默认即得。

读图说明：下面第一张总览图左上为英语误抢断柱，右上为 14 语言平均，左下为 TurnBench 召回，右下为框架重放误抢断，适合先建立整体位置感。

看图路径： 1. 先看左上英语柱：找到 VoxTurn 与商用和开放模型的误抢断数值高低；2. 再看右上 14 语言平均柱：比较开放模型之间的差距；3. 最后看左下 TurnBench 召回与右下框架重放：确认零样本迁移和落地效果是否同向

$原论文 Figure 1：VoxTurn at a glance. Top: eot-bench \\[1\\], the share of mid-turn (hold) silences in which a…$

论文图 1。原论文 Figure 1:：“VoxTurn at a glance. Top: eot-bench [1], the share of mid-turn (hold) silences in which a detector takes the turn when it must answer within a 300 ms mean latency budget, in…”。

总览图可见 VoxTurn 在英语和多语言平均上明显低于其他开放模型，在 TurnBench 零样本下接近头部，在框架重放里低于各框架默认本地检测器。但柱状比较依赖各自最优策略和官方基线数，跨商用闭源系统的底层超时和数据条件并不完全一致。

读图说明：下面第二张为英语权衡曲线，左为不同延迟预算下的最低误抢断，右为固定误抢断下的平均延迟，短横线越靠左越快。

看图路径： 1. 沿横轴延迟预算看各曲线误抢断如何下降，注意 300 ms 附近的位置；2. 比较右侧固定误抢断下的平均延迟点，越靠左表示同样准确时更快

论文图 2。原论文 Figure 3:：“eot-bench English. (a) Lowest false cut-off rate at each mean-latency budget, from the eot-harness policy sweep; the shaded area is under the VoxTurn v1 curve.”。

曲线显示 VoxTurn 在紧预算下贴近商用带，且全程远低于其他开放模型。右侧 669 毫秒点对应 5% 误抢断条件，不可与 300 毫秒预算下的 11.5% 混为一事。

把同样 300 毫秒平均延迟预算下的英语与多语言误抢断放在一起看，能直接看出开放模型之间的差距和与商用系统的距离。

条件	指标	LiveKit 云端	VoxTurn	商用对照
14 语言平均 300 ms 预算	误抢断	14.0%	19.9%	次优开放模型 28.4%

该表比较在同样 300 毫秒平均延迟预算下英语与多语言平均的误抢断高低，指标方向都是越低越好，基线为官方榜单结果。主要收益是开放模型中最低的多语言平均和接近商用的英语水平，代价是仍落后于 LiveKit 云端和更大规模的 turn-1，且多语言平均里印地语等仍高达 37.5%，说明跨语言并不均匀。未胜出项是英语第一仍是 LiveKit 云端，限制是商用系统训练数据和策略细节未知，比较只是榜单条件下的位置而非同数据消融。

多语言增益是否来自只见过中英停顿的迁移

VoxTurn 在 14 语言里 12 种是最佳开放模型，仅印地语和韩语不如 LiveKit v1-mini，具体为 27.4% 对 37.5% 和 12.3% 对 12.8%。最强的语言包括日语 11.1%、英语 11.5%、韩语 12.8% 和法语 13.4%，10 种语言低于 22%。在固定 5% 误抢断下，它在全部 14 语言的应答都早于其他开放模型。关键是训练只加入了英语和中文的真实对话停顿，其他 12 语言并未加入停顿数据，但从切分起点到加入停顿的步骤里 14 语言平均从 33.0% 降到 20.0%，论文据此认为从对话学到的停顿线索可以跨语言迁移。这个解释的证据是消融路径而非直接的跨语言机制验证，仍属支持性推断。限制也很清楚：印地语 37.5% 明显偏高，说明迁移不是均匀的， prosody 和语言结构差异大的语言仍需补验证。

把加入真实对话停顿前后的英语与多语言误抢断放在同一预算下对照，可以判断数据改动到底带来了多大变化。

条件	指标	切分起点	加入真实停顿后	说明
14 语言平均 300 ms	误抢断	33.0%	20.0%	未加其余 12 语言停顿数据
AUC 参考	区分度	低于 0.90	约 0.94	随停顿数据提升

该表比较加入真实对话停顿前后在同样 300 毫秒预算下的误抢断，指标越低越好，用于判断数据与模型改动的相对贡献。主要收益来自数据而非训练量，因为 4 倍训练量仅带来约 0.7 个点提升，加大读出头或显式音高分支也无帮助。代价是该结论依赖 Whisper 起点的对照链，换骨干后绝对值会变。反例是 Seamless 面对面停顿对英语提升很小，主要改善中文和延迟，说明不同来源停顿的作用并不相同。

同一模型同一前向还能回答哪些问题

同一模型同一前向还输出其他判断。在 Easy Turn 测试集上仅用音频达到四状态准确率 88.3%，其中完整 91.7、不完整 87.0、附和 84.0、等待 86.0。在 OpenSLR 99 非言语声上检出 99.6% 为无效输入，而 1786 条有效语音仅误拒 0.06%。在 TEN 文本测试集上 finished 召回英语 83.5% 中文 89.7%，unfinished 召回英语 99.0% 中文 97.9%。TurnBench 零样本下结束召回 0.924 列第 5，打断召回 0.951 列第 6，打断中位延迟 332 毫秒为前六中最快。

双通道策略把开发集结束召回从单通道阈值的 0.700 经双通道分数到 0.810 再到完整策略 0.930，伙伴触发和确认事件分别贡献约 4.0 和 3.0 个点。用 VAD 代替 VoxTurn 召回可维持但延迟从 667 增至 821 毫秒，说明模型主要省时间而非只提召回。

把同一模型在不同任务上的召回或准确率放在一起看，能判断一模型多用是否在各项上都站得住。

任务	指标	VoxTurn	对照或限制
TurnBench 结束	召回	0.924	第 5，共 24，误报率不同不宜直接比
TurnBench 打断	召回	0.951	第 6，中位延迟 332 ms 最快
无效输入	检出与误拒	99.6% 与 0.06%	16 类非言语声对 1786 条有效语音

该表比较同一模型在不同任务上的召回或准确率，指标越高越好，但各任务误报率和数据条件不同。主要收益是一模型多用且打断更快，代价是 TurnBench 需额外 10 参数双通道策略且在开发集随机搜索，测试集结果依赖该策略泛化。未胜出项是结束第一为 turn-1-mini 而其 eot-bench 英语误抢断 22.6% 高于 VoxTurn，说明两榜单衡量的能力并不相同。

读图说明：下面效率与部署图左为单次调用延迟，中为框架误抢断，右为响应延迟，适合确认一次多问的节省是否转化为落地收益。

看图路径： 1. 比较一次问一个与一次问四个的单次调用延迟；2. 对照框架重放中默认检测器与 VoxTurn 的误抢断和延迟柱

论文图 8。原论文 Figure 9:：“Efficiency and deployment. (a) Latency per call; answering four questions in one pass costs about as much as one question.”。

可见一次问 4 个约 9.0 毫秒接近问一个的开销，框架重放里误抢断和延迟都低于默认检测器。但该重放只用 150 个英语轮次且 LiveKit 将 VAD 最小静音降到 0.3 秒，结论只在该重放条件下成立。

在真实框架里重问多次带来什么变化

服务端合并低秩权重、用固定 8 秒窗无同步跑编码器并按输入形状重放 CUDA 图，单次判断 8.3 毫秒，显存 1.9 GB，四问一次 9.0 毫秒而分四次 33.2 毫秒，约为 3.7 倍节省，差异仅为 bf16 舍入。服务模式 eot-bench 为 11.6% 对 11.5%，基本不变。接入 Pipecat 作轮次分析器和 LiveKit 作流式音频轮次检测器后，每 0.25 秒重查一次，重放 150 个英语轮次：Pipecat 从默认 45.3% 误抢断降到 16.7%，平均延迟从 1.32 秒到 0.36 秒；LiveKit 从本地 18.0% 降到 9.3%，从 0.73 秒到 0.47 秒，90 分位从 2.50 秒到 0.78 秒。若只问一次，Pipecat 平均等待 1.26 秒，因 VAD 刚报告时不确定会退回 3 秒超时，说明重问利用了静音中增长的置信度。该结论依赖重放的 VAD 与端点规则，不能推广到所有部署参数。

把同样重放流程下默认检测器与每 0.25 秒重查的 VoxTurn 放在一起，能看出误抢断和延迟同时变化了多少。

框架	默认检测器误抢断与延迟	VoxTurn 重查	条件
Pipecat 150 轮	45.3% 与 1.32s	16.7% 与 0.36s	每 0.25s 重问
LiveKit 150 轮	18.0% 与 0.73s	9.3% 与 0.47s	VAD 最小静音 0.3s
四问开销	分四次 33.2 ms	一次 9.0 ms	答案仅差 bf16 舍入

该表比较同样重放流程下默认检测器与每 0.25 秒重查的 VoxTurn 在误抢断和延迟上的差异，误抢断和延迟越低越好。主要收益是误抢断减半左右且延迟更短，代价是每静音多次调用，虽单次仅毫秒级但仍需 GPU 常驻。反例是单次查询会因超时而变慢，尚未评测的是长噪声、重叠语音和非英语框架路径。

哪一步带来最大下降以及多问题训练的代价

从切分起点出发，在停顿内抽决策时刻主要改善中文 9.4 个点，加入电话对话停顿带来最大单步英语增益，误抢断从 26.2 到 16.3%，AUC 从 0.896 到 0.944。加入面对面停顿后英语微升 0.2 个点但中文和延迟改善。换 Qwen3-ASR-0.6B 骨干是第二大步骤，英语从 16.6 到 12.8%，中文校准误差从 0.30 到 0.11。多问题训练在 250 到 500 毫秒预算内英语再降 0.4 到 1.8 个点到 11.5%，AUC 到 0.963，英语校准 ECE 为 0.007，但中文在 300 毫秒下回升 1.0 个点，14 语言平均几乎不变。说明多问题监督对英语是正收益，对中文有小代价，总体未改变多语言平均。

读图说明：下面瀑布图上下两排分别为英语和中文从起点经数据步骤再经模型步骤的变化，绿色为下降，橙色为上升，灰色为绝对值。

看图路径： 1. 先看英语从切分语料起点经真实停顿加入后的下降幅度；2. 再看中文同样路径的下降幅度，注意多问题训练一步的微小回升

论文图 4。原论文 Figure 5:：“The path to v1 as a waterfall. Floating bars show the change in false cut-offs at 300 ms from the step before; the number above each gives the change (green: fewer cut-offs,…”。

可见数据段的绿色下降最长，模型段次之，多问题一步在英语为小幅下降而在中文为小幅上升。该图辨不清的精确步数以正文表格为准，颜色只表示方向不代表显著性。

按开发路径把英语与中文误抢断的变化排成先后顺序，能定位哪一步贡献最大、哪一步出现了回升。

阶段	英语误抢断	代价或限制
加入电话停顿后	16.3%	需双通道 VAD 标注
换骨干后	12.8%	依赖大规模语音对齐
多问题 v1	11.5%	中文回升 1.0 个点

该表按开发路径比较同样 300,000 样本下英语与中文误抢断的变化，指标越低越好，用于定位最大来源。主要收益来自真实停顿和语音对齐骨干，代价是中文在最后一步有回升，限制是该路径基于特定起点和硬件噪声约 0.1 到 0.5 个点，小幅差异不宜过度解读。负结果是更大读出头和音高分支均未带来提升，已在正文报告。

结论在什么条件下才成立还有哪些未验证

eot-bench 结论成立于策略扫描最优点和平均延迟定义下，换阈值或超时会移动位置。多语言迁移结论基于只加中英停顿后平均下降，但印地语仍高、韩语被反超，说明不是每种语言都受益。TurnBench 结论依赖开发集搜索的 10 参数双通道策略，零样本指未用 TurnBench 训练数据，不等于无任何调参。框架重放只用 150 个英语轮次和特定 VAD 参数，样本量和语言覆盖有限。无效输入和 Easy Turn、TEN 结果来自各自测试集，与 eot-bench 的静音打分流程不同，不能直接换算。

运行噪声约 0.1 到 0.5 个点，小幅差异不宜判为实质进步。论文未测量长时噪声下的误触发率和 CPU 部署成本，也未报告重叠语音和远场条件的系统性结果，这些都待补验证。缺证据不代表技术有错，只是不能把趋势推广到未测条件。

复现第一步做什么与关键超参数

复现先从数据与评测对齐做起，而非先调模型。第一步是用 Silero VAD 在双通道上复刻停顿标注：至少 100 毫秒静音，对方接管至少 1 秒记结束，原说话人 5 秒内继续且无人说话记保持，跳过重叠和附和，并对每个停顿在前 min(d,1.5s) 内均匀抽决策时刻。关键超参数是音频取最近 8 秒左侧补静音、每秒 13 token、批量 128、AdamW 学习率 2×10-4、热身 100 步余弦衰减到 10%、梯度裁剪 1.0、bf16、损失权重各 0.5、训练 300,000 样本。推理固定问题措辞，阈值默认 0.8，VAD 报告后每 0.25 秒重查，超时兜底。评测用 eot-harness 扫描策略报告 300 毫秒预算误抢断和 5% 下延迟，TurnBench 按误报率受限的召回报告。

代码、权重和框架插件是三件事：论文给出模型与演示链接，第三方镜像当前可达只证明链接可访问，不证明作者已开源全部内容，来源未确认也不是技术缺陷，实际运行前需分别核对权重许可、代码版本和插件接口。

什么时候值得尝试以及还需补哪项验证

当智能体频繁抢话或超时过长，且已有 VAD 但缺内容判断时值得尝试，尤其需要同时判断是否说完、何时继续、打断还是附和、是否有效输入，而又希望只维护一个模型一次前向的场景。若只有切分语料而无真实对话停顿，应先补停顿数据，因为这是最大来源。若部署在非英语言，应先在目标语言的小规模保持与结束停顿上复测 eot-bench 流程，不可直接沿用英语阈值。若用于双人对话，需在开发集上重搜双通道策略参数并报告误报率，不可把测试集最优点当部署收益。

还需补的验证包括目标语言和噪声重叠条件下的误抢断延迟曲线、CPU 或端侧的实际延迟与显存、以及长时间运行的重查开销。总体上论文直接报告的是真实停顿加语音对齐骨干加一次多问带来的开放模型最佳多语言平均和接近商用的英语水平，证据支持在给定评测和重放条件下的位置判断，跨语言均匀性和全条件部署效果仍待验证。

📎 论文与评分元数据

排名：前50% | 文档类型：模型报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses

← 返回 2026-10-16 语音/音乐/音频论文速递

原文与引用

📄 一次前向同时回答多个轮次判断：VoxTurn 的做法与证据#

👥 作者与机构#

📌 核心摘要#

🔗 开源与复现资源#

🧭 深度解读#

级联语音智能体在用户静音时要做什么#

已有路线在输入目标和调用方式上有何不同#

为什么切分语料训练的检测器在真实停顿里误差大#

VoxTurn 把多次判断变成一次前向的总体流程#

五个选择题各问什么以及如何打分#

一次前向等价于逐个提问的隔离机制#

真实停顿标签如何从时间推导与训练配置#

eot-bench 与 TurnBench 各测什么以及如何读数#

英语权衡曲线上 VoxTurn 处在什么位置#

多语言增益是否来自只见过中英停顿的迁移#

同一模型同一前向还能回答哪些问题#

在真实框架里重问多次带来什么变化#

哪一步带来最大下降以及多问题训练的代价#

结论在什么条件下才成立还有哪些未验证#

复现第一步做什么与关键超参数#

什么时候值得尝试以及还需补哪项验证#

⚖️ 评分明细#

📄 一次前向同时回答多个轮次判断：VoxTurn 的做法与证据

👥 作者与机构

📌 核心摘要