先判有没有声，再判是不是说完：用两级协作做实时轮次结束检测

英文题目：Speculative End-Turn Detector for Efficient Speech Chatbot Assistant

会议身份：conference:acl:2026:conference-paper-id:2026.acl-long.2094

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #模型融合 #高效推理 #流式处理 #轮次切换

评分：6.9/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Hyunjong Ok：机构信息未能从会议 PDF 纯文本可靠映射
• Suho Yoo：机构信息未能从会议 PDF 纯文本可靠映射
• Jaeho Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音聊天需从连续音频流判断当前静音是同说话人短暂停顿还是跨说话人轮次结束，输入为流式语音块、输出为说话中、暂停与间隙的三态分割，仅靠静音时长无法区分思考性停顿与交接意图。工作先构建开放数据集OpenETD，将文本对话经语音合成与真实网络语音统一标注为发声单元、暂停与间隙的起止序列，提供可训练的监督信号。方法链分三步衔接：端侧轻量GRU逐100ms块做发声单元对非发声二分类实现连续监听，其连续200ms静音判决触发一次异步上传，仅将该静音段累积音频发往云端。云端Wav2vec 2.0再对该片段做暂停对间隙细粒度判决，其间隙结论直接决定是否唤醒大语言模型生成回复，从而把昂贵推理从逐帧常驻降为每段静音一次。与大模型常驻逐帧推理及持续端云传输相比，该投机协同机制保留端侧实时性又避免服务器持续运算，通信也从连续流降为静音触发的一次传输。在OpenETD二分类任务下，Wav2vec 2.0的准确率为99.3，高于GRU的79.7。该结论适用边界受限于英语双人对话与200ms触发阈值，重叠语音、多方会谈与高噪声远场尚未验证。推理开销上云端大模型仅在静音时触发使计算量降低10倍以上，且端到端传输延迟在5G与Wi-Fi下仍处于200ms交接阈值内。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要保留什么？

这篇解读的输入是论文原文证据与本次收到的官方原图像素，目标是让刚进入语音与对话方向的研究生能复述方法与实验条件。必须保留的信息包括任务定义中的 3 种状态、数据集的合成与真实两条构造线、2 级协作的触发条件与通信方式、训练与评估的划分与指标、以及主要对照的适用边界。输出按学习依赖展开，先讲为什么停顿不等于结束，再讲数据如何造、模型如何分工、实验如何测、结果支持什么、不支持什么。

语音聊天机器人的输入是连续麦克风信号，目标是在用户暂时不说话时判断是继续等还是立刻回答。白话说，系统要区分他在想和他说完了。英文叫端轮检测，缩写为 ETD。难点在于两者在声学上都是静音，只看静音时长不够，必须理解说的内容是否完整、韵律是否收尾。论文用一个失败例子说明这一点：用户说今天在波士顿，加上思考词后停住，系统误以为轮次结束，立刻播报天气，打断了用户的思考。

下面这张图把上述错位直观画出来，左边是机器人，右边是思考中的用户，中间两个气泡的内容并不衔接。

看图路径： 1. 先看右侧用户气泡中的 Hmm 与 Thinking 标注，确认这是一个思考中的停顿；2. 再看左侧机器人气泡，确认它在停顿处抢先回答了波士顿天气；3. 对照左右两句的内容错位，理解过早回答如何打断对话流

论文图 1。原论文 Figure 1：“End-turn detection failure example. An example of a failure case of end-turn detection during a voice chat with GPT-4o.”。

这张图的前后关系值得细读。右侧气泡明确写了思考中的停顿词，左侧气泡却给出了完整的天气回答。像素上可以看到机器人图标与思考表情分列两侧，气泡指向各自说话人。它的教学价值在于提醒初学者：端轮检测的错误不是识别错字，而是时机错误，评价必须看时间轴上的切分，而不只是整句分类对错。

已有路线在相同输入与目标下做了什么？

在相同输入与目标下，已有路线大致分 3 类。第一类是轮次转换研究，关注语言、韵律与非言语线索，用有限状态机或端到端语音识别模型预测轮次边界，近年也有全双工大语言模型智能体试图边听边说。第二类是文本或语音的非流畅检测，处理填充词、中断与自我修正，有的依赖语音识别转写再做区间分类，有的直接从语音检测，但都面临自发语音变化大与实时性不足的问题。第 3 类是聊天机器人智能体，依托大语言模型的生成能力做更自然的对话，但在自回归推理开销、犹豫与中途停顿等细粒度线索上仍有缺失。

论文与这些路线的对照是有源的：输入都是对话语音，目标都涉及何时说话，但运行阶段不同。已有开放轮次模型如 VAP 提供了可复用的预训练编码器，论文把它作为基线并在其上用 OpenETD 重新训练预测头。已有数据集如 Fisher 语料现在需要付费使用，多篇相关工作依赖私有数据，这正是论文要做公开数据集的动机。教学上不要把类别差异当成同条件胜负：全双工系统解决的是双向同时交互，本文解决的是单向静音点的二选一，评价协议与延迟要求并不相同。

三种状态如何定义，标签长什么样？

论文把每一时刻的说话人状态定义为 3 种。第一种是说话单元，英文为 Speaking Unit，缩写为 SU，指正在发声。第二种是暂停，英文为 Pause，指暂时无声但同一说话人还要继续说。第 3 种是间隔，英文为 Gap，指已经说完、轮次结束。OpenETD 数据集中每条音频的标签是三元切分信息序列，即一系列状态与起始时间的配对，例如从 0 秒开始是说话单元，到 12.3 秒进入间隔，到 13.7 秒又进入说话单元，依此类推。初学者可以这样记：SU 看有没有声，Pause 与 Gap 都无声，区别只在还要不要等。

说话单元 × 暂停： 说话单元指说话人正在发声的状态，暂停指说话人暂时无声但打算继续说，二者分工在于把连续语音先切成有声和无声，无声再细分才是轮次判断，搭配原因是端侧模型只做较易的有声无声 2 分，把更难的暂停与间隔区分留给服务端，从而减少大模型被调用的次数。

暂停 × 间隔： 暂停是同一说话人内的犹豫性静音，间隔是说话人已说完、轮到对方的静音，分工是前者应继续等待、后者应触发回答，搭配原因是两者在时长上都可能超过 200 ms 而仅靠时长无法区分，因此需要结合语音内容与韵律做细粒度分类，这正是服务端模型的任务。

这种定义决定了后文两种评测。一种是二元分类：给定一段以静音结尾的语音，判断它是 Gap 还是 Pause。另一种是实时切分：语音流式到达，每隔一段时间输出当前是 SU、Pause 还是 Gap。两种任务共享同一套标签语义，但前者只考细分类，后者还考时间定位与误触发频率。

两级协作的全景：谁常开，谁偶发？

SpeculativeETD 的全景是协作推理，不是单个大模型逐帧运行。轻量 GRU 模型部署在端侧，常开并逐块处理流式音频，只做较易的 2 分类：当前是说话单元还是非说话单元，非说话单元把 Pause 与 Gap 合并。当它连续报出静音，才把从静音开始累积的音频发往服务端。服务端的高性能 Wav2vec 2.0 模型偶发运行，只做更难的细分类：这段静音是 Pause 还是 Gap。若判为 Gap，才调用语言模型生成回复；若判为 Pause，则继续等待流式输入。

轻量 GRU 模型 × Wav2vec 2.0 个模型： 轻量 GRU 模型负责在端侧逐 100 ms 数据块实时判断说话单元还是非说话单元，Wav2vec 2.0 模型负责在服务端对已发现的静音段判断是暂停还是间隔，搭配理由是前者计算极小、可常开，后者准确但开销大、只需偶发运行，组合意义是把连续检测变成事件触发式验证，用 1 次服务端推理代替逐帧大模型推理。

论文把这种结构类比为推测解码，但明确指出关键差异：推测解码中大小模型预测同一类输出、大模型做验证，这里大小模型预测的类别不同，大模型是在小模型输出条件下做更细粒度的判断。优势有两条。第一，难的判断每个连续静音段只做 1 次，而不是每帧都做，因此计算量大幅下降。第二，端侧与服务端的通信从连续传输变成按静音事件传输 1 次，有助于利用端侧算力。

下图展示了左右分工与触发箭头，左侧是实时处理，右侧是服务端验证与生成。

看图路径： 1. 先沿左侧端侧框内从下往上看音频块到 GRU 模型再到 Speak 与 Finish 输出；2. 再沿中间虚线看 Finish 触发后音频如何送到右侧服务端的 Wav2Vec 2.0；3. 最后看右侧判为结束才走向语音编码器与大语言模型的路径

论文图 3。原论文 Figure 3：“SpeculativeETD framework overview. A lightweight model (a 1M-parameter GRU in this example) operates as the on-device model, enabling real-time processing.”。

结合像素看，左侧框内自下而上是音频块、GRU 模型与逐块输出，输出从多个 Speak 到一个 Finish。中间虚线表示 Finish 触发后向右侧的转发。右侧框内下方是 Wav2vec 2.0 对静音段的分类，上方是语音编码器与大语言模型。可以复述的动作链是：逐块判有声无声，发现持续静音则打包送服务端，服务端判暂停或结束，只有结束才生成回答。

端侧小模型具体吃什么输入，做什么计算？

端侧模型的输入按 100 ms 数据块组织。每个块对应 16 kHz 采样下的 100 ms 音频，提取 40 维对数梅尔谱，窗长 25 ms、帧移 10 ms，每块得到 10 帧，再做按句的零均值归一化，块张量形状为 40 乘 10。前端是两层 2 维卷积做下采样，通道从 1 到 16 再到 32，展平后得到每块 960 维特征。主干是单层门控循环单元，隐层 64 维，自回归地消费块特征，线性头输出 SU 与非 SU 的 2 分类对数。整个端侧模型约 202K 参数。论文在方法示例中也提到以 1M 参数 GRU 与 94M 参数 Wav2vec 2.0 base 为例说明量级差异，实际实验用的 GRU 按上述 202K 配置从零训练。

服务端模型用 Wav2vec 2.0，约 94M 参数，在 OpenETD 上微调整个模型。它不逐帧运行，只在收到静音段后读整段音频做 Gap 与 Pause 分类。推理协议是：端侧每 100 ms 处理一个新块，当连续两个块都被判为非 SU，即持续静音至少 200 ms，才触发服务端，只发送从该静音段开始累积的音频。200 ms 阈值沿用轮次研究中的常用约定。异步设计下端侧 GRU 在服务端分类期间继续检测，但过长的传输仍可能推迟决策，因此论文单独测量了传输往返时间，后文用表格交代。

数据如何构造，暂停标签从哪里来？

训练与构造是理解复现的关键，论文用合成与真实两条线造数据。合成线以 MultiWOZ 文本对话为底，用云端语音合成生成多轮对话语音。朴素转写只有说话单元与间隔，缺少暂停，因此人工插入 3 种样式。第一种是基线，不插入暂停。第二种是加暂停：检测合成语音中自然产生的微小犹豫并拉长，暂停时长从形状参数为 3、速率为 4.29 的 Erlang 分布采样并截断到 0.1 秒至 3.0 秒，均值约 0.70 秒，峰值在 0.4 秒至 0.6 秒附近，以匹配真实对话中多短少长的右偏分布。

第 3 种是加填充词：在文本任意位置插入语气词表中的词，合成后再在填充词后加暂停。部分样本会删去暂停后的后续片段，以构造音频末尾没有间隔的样本。填充词表覆盖常见的英语犹豫标记，附录列出的词包括嗯、啊、呃等及其组合。

合成数据 × 真实数据： 合成数据由文本对话经语音合成生成并人工插入暂停与填充词，分工是提供可控的暂停与间隔模式，真实数据来自网络与 Buckeye 语料并经说话人分离标注，分工是提供自然语速、噪声与口音，搭配原因是合成可补足稀缺的暂停样本而真实可校正合成与现实的域差异，混合训练因此成为默认设置。

真实线从网络视频与 Buckeye 口语语料收集双人自然对话。先用说话人分离工具过滤出恰好 2 人对话，剔除独白与多人讨论。再用同一工具做 2 人语音切分，超过 200 ms 的静音按相邻语音是否属于同一说话人标为暂停或间隔，200 ms 沿用轮次文献阈值。同样随机删去部分暂停或间隔后的片段以增加结尾多样性。还做了分段过滤与语言过滤：把间隔不足 200 ms 的同说话人碎片合并为说话单元，只保留含暂停或间隔的轮次相关片段，用 Whisper 语言检测只保留英语。网络音频不直接分发，只发布代码与公开链接以避开版权问题。

下图左侧是合成三变体，右侧是真实切分与标注，波形上的框色区分是否说完。

看图路径： 1. 沿左侧合成支路看对话文本到语音合成再到三种变体的箭头；2. 比较中间蓝色波形中蓝色框与绿色框分别标注的未说完与已说完；3. 再看右侧真实支路从音频样本到说话人切分再到底部三色事件标注条

论文图 2。原论文 Figure 2：“Data generation methodology overview.”。

从像素看，左侧上方是文本经语音合成得到第一种变体，下方是加暂停与加填充词的分支，右侧分支还画了在任意暂停点切出未说完样本与保留原句说完样本的对照。右侧自上而下是音频样本、按说话人分开的两条波形、底部红蓝绿三色事件条。复述时要强调合成暂停不是随机位置乱插，而是先找合成模型自然产生的犹豫再拉长，真实暂停不是人工听写，而是分离加阈值规则自动生成，因此后文需要人工校验来量化噪声。

用什么划分、什么模型、什么指标来测？

实验训练用合成与真实训练集的混合，合成提供可控模式，真实提供自然 grounding，评估用两者各自留出的测试集，且与训练和验证集无重叠。合成划分沿用 MultiWOZ 的源对话划分，源对话不跨划分，真实按源文件划分，同一源对话不出现在多个划分。优化器统一用 AdamW，训练 10 轮，学习率在区间内随机搜索并用合成验证集选择，权重衰减也在区间内搜索，批量按模型分别调优。附录给出最终配置：VAP 批量 32、学习率 6 乘 10 的负 6 次方，GRU 批量 256、学习率 3 乘 10 的负 4 次方，Wav2vec 2.0 批量 8、学习率 5 乘 10 的负 6 次方。硬件一部分在 L40S、一部分在 RTX 6000 Ada 上训练，端侧延迟在 iPhone 12 mini 的 A14 芯片上测量。

二元分类 × 实时音频切分： 二元分类指给定一段已切出的含静音语音判断是间隔还是暂停，实时音频切分指流式到达时每 100 ms 输出说话单元、暂停或间隔三态，搭配原因是前者检验大模型细分类能力，后者检验端到端系统在时间轴上的可用性，组合意义是同时看到分类器本身与协作流水线的效果。

基线共 4 个。VAP 用冻结预训练编码器加从零训练的比较型预测头。GRU 是上述轻量模型。Wav2vec 2.0 是 94M 参数的 Transformer 模型并微调全参数。SpeculativeETD 是前两者按协作协议组合，只在实时切分场景评估，不做孤立 2 分类。

指标上 2 分类看精确率、召回率、F1 与准确率，实时切分看每 100 ms 的 F1 与 3 类平均交并比。计算成本用 100 条合成样本的浮点运算量比较，延迟看端侧随输入时长变化的推理时间，传输看手机到远端服务器的往返时间。

主结果：协作方法保住了多少精度，省了多少计算？

主结果分两层。第一层是 2 分类，论文报告轻量 GRU 明显低于其他方法，在合成与真实上都有约 20 个百分点的差距，这正是要做协作的动机。第二层是实时切分，SpeculativeETD 在合成集上接近 Wav2vec 2.0，并超过计算量更大的 VAP。计算量对比显示，只在必要时调用服务端大模型，协作方法以显著更低的浮点运算量达到可比性能，且延迟不受服务端影响，因为大模型跑在服务器图形处理器上。延迟对比显示，随输入变长，Wav2vec 2.0 在端侧延迟显著增长，而 GRU 保持很低，支持实时部署的判断。

下图把计算量与性能画在同一平面，横轴是计算量，纵轴是平均 F1。

看图路径： 1. 先确认横轴是 MFLOPs 计算量、纵轴是平均 F1 分数；2. 再比较左下 GRU 点与右上 Wav2vec 2.0 点的连线位置；3. 最后看左上蓝色 SpeculativeETD 点如何在较低计算量下接近高 F1

论文图 4。原论文 Figure 4：“FLOPs vs. performance comparison. Vi- sualization of computational cost (FLOPs) and perfor- mance for each model.”。

从像素看，橙色折线串起左下 GRU、中部 VAP 与右上 Wav2vec 2.0，蓝色点代表 SpeculativeETD 位于左上区域：横向靠左意味着计算量小，纵向靠上意味着分数高。读图时不要把横轴对数刻度误读为线性差距，也不要把合成集上的接近推广到真实集全程，真实集的绝对分数更低，需要结合下一节的混合训练表与域差异表来理解。

为避免只谈趋势，先看合成数据的规模与切分，这是理解训练量的基础。下表整理合成集总量与三变体的样本数、总时长与平均时长，比较问题是数据是否足够覆盖基线、加暂停与加填充词 3 种模式，公平条件是划分沿用源对话且说话人不重叠，指标方向是样本数与时长越大覆盖越广。

上表显示合成总量超 120k 条、超 300 小时对话中的 148 小时部分，暂停变体平均时长最长，因为插入的静音拉长了音频。代价是合成只有少量合成音色，真实感不足，因此不能只看合成分数。未胜出项是基线变体本身不含暂停，单独用它训练无法学会暂停与间隔的区分，必须靠后两种变体与真实数据补充。

混合训练与传输开销：拿掉哪部分会掉多少？

论文用混合训练消融回答合成数据是否有用。比较问题是在真实测试集上只用真实、只用合成、还是两者混合训练更好，公平条件是同一协作模型与同一实时切分协议，指标方向是真实 F1 与交并比越高越好。下表保留可运行的三行，混合为参考行，另两行标出相对退化。

表后解释是：混合取得最好的真实 F1 与交并比，只用真实掉 2.5 个点 F1，只用合成掉 1.6 个点 F1，支持合成作为增强有效的判断。但要注意这不是因果证明，只是同一协议下的对照，且真实绝对分数仍远低于合成，说明域差异未被完全弥合。论文还报告合成与真实在时长分布上接近而位置分布差异较大，真实暂停位置接近均匀而合成位置 divergence 更大，因此合成只能当增强，不能当精确复制。

另一类特有细节是端到端传输是否会拖过轮次阈值。比较问题是不同负载下手机到服务器的往返时间是否仍在 200 ms 内，公平条件是不含模型推理、只测 WebSocket 传输、每种负载 50 次试验，指标方向是均值、中位数与 95 分位越小越好。

表后解释是：在 5G 下往返时间从 106 到 116 ms，Wi-Fi 下从 98 到 140 ms，都在 200 ms 轮次阈值内，且负载扩大 100 倍只增加约 10 ms，说明往返主要由固定网络延迟主导。代价是 Wi-Fi 下大负载的 95 分位可达 225 ms 量级，论文在附录大表中报告了该尾部值，因此不能把均值当成最坏情况，实际部署仍需为尾部延迟留缓冲。

哪些边界没有测，哪些噪声必须承认？

论文明确承认的局限先看标注噪声。3 位标注者对 96 段真实片段做人工校验，与自动标签的一致率为 85.4%，平均打分 4.17 满分 5 分。其中暂停标签可靠，一致率 94.0%，间隔标签噪声更大，一致率 76.1%，原因是说话人切换边界本身难以精确定位。这意味着真实集的间隔标签有约 1/4 与人判不一致，训练与评估都会受此影响。

域差异是第二项局限。合成信噪比约 39.7 dB 而真实约 10.5 dB，语速变异合成较小而真实较大，情感与口音分布也不同：真实覆盖 5 种英语口音并有更高比例的悲伤语音，合成只有两种合成口音。论文因此强调真实数据训练的必要性，也指出合成增强不能完全弥合差距。

未评测边界包括：协作方法只在实时切分评估，没有孤立 2 分类分数；延迟测量把模型推理与传输分开，端到端最坏延迟需要自行组合；资源状态方面本次没有发现来源绑定且完成验证的公开代码与模型链接，因此不能声称代码、模型或数据已公开，复现需按论文描述自行实现并注意 YouTube 只给链接、Buckeye 需遵守学术许可。

要复现，先做什么，后补哪项验证？

复现先做数据流水线。合成侧准备 MultiWOZ 文本，按基线、加暂停、加填充词三变体生成语音，暂停时长按上述 Erlang 参数采样并截断，填充词用附录词表，必要时删去暂停后片段以构造无尾间隔样本。真实侧收集双人对话，用说话人分离过滤 2 人音频，按 200 ms 阈值标暂停与间隔，合并不足 200 ms 的同说话人碎片，只保留含暂停或间隔的片段并过滤英语。划分上合成沿用源对话划分，真实按文件划分，确保源对话不跨划分。

模型侧先实现端侧 GRU 的 40 维对数梅尔输入、两层卷积前端、单层 64 维 GRU 与 2 分类头，再微调 Wav2vec 2.0 做 Gap 与 Pause 分类，最后按 200 ms 触发协议串起协作：端侧连续两块非 SU 才打包静音段送服务端，服务端返回暂停则继续等待、返回间隔才触发语言模型。训练用 AdamW 训 10 轮，按附录批量与学习率起步并用合成验证集选择。

还需补的验证是：在自己的网络下重测传输尾部延迟，把端侧推理、传输与服务端推理加总为端到端延迟；在真实分布上重做人工抽检，确认间隔边界噪声是否影响结论；若换语种或换合成音色，需重估暂停时长分布与位置均匀性假设是否成立。

何时值得尝试这种协作，何时不值得？

当部署受端侧算力限制、又不能接受纯小模型精度损失时，值得尝试这种先粗后细的协作：让小模型常开做有声无声，让大模型偶发做暂停与间隔，且只在静音事件时通信。它的可复述条件是静音触发阈值、发送的音频起点、服务端的分类类别都与论文一致，否则省下的计算量与精度都不可比。当网络不稳定或尾部延迟要求极严时要谨慎，因为 1 次服务端往返加上大模型推理可能错过最佳回答时机，此时应先实测端到端延迟再决定阈值与缓冲。

对初学者的误解要澄清：小模型不是在猜轮次结束，它只是在猜有没有声；大模型也不是在验证小模型的同一答案，而是在做更难的细分；合成数据多不等于真实问题已解决，真实集上的分数与标注一致率才是更诚实的标尺。记住这三点，就能把论文的方法讲对，也能在复现时抓住真正影响结果的细节。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总