犹豫不是噪声：把停顿、重复留在口语纠错输入里

英文题目：Exploring Hesitation as a Signal for Spoken Grammatical Error Correction

会议身份：conference:interspeech:2026:conference-paper-id:han26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#教育 #提示学习 #语音 #口语理解

评分：5.7/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.6/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Seunghoon Han：机构信息未能从会议 PDF 纯文本可靠映射
• Minyoung Kyoung：机构信息未能从会议 PDF 纯文本可靠映射
• Hyungbae Jeon：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

口语语法纠错与反馈需以二语学习者语音为输入并输出语法修正，难点在于口语迟疑与识别误差会干扰以书面语料训练的纠错模型。作者提出迟疑感知链：先将人工迟疑标注转换为含特殊标记的标记转写以显式保留静默暂停、填充停顿与重复的位置与类型，再为每个输入词元叠加迟疑类型嵌入以传递跨度级上下文，最后以文本到文本转换器编码器解码器从标记序列生成修正文本。与直接删除迟疑的常规做法不同，该机制把迟疑当作误差高发区的局部先验而非噪声，使模型在纠错时关注迟疑上下文。在Speak & Improve Corpus 2025评测集下，所提方法的F0.5指标为0.4790，高于人工流利转写基线的F0.5指标0.4606。迟疑邻域增益更为集中，表明迟疑标记有助于定位易错区域并提升召回而非仅靠删除冗余词。该结论适用边界受限于人工转写且迟疑标注准确的受控条件，尚未验证含识别误差与自动迟疑检测的端到端外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，哪些信息必须保留？

本文的输入是二语学习者英语口语的转写文本，目标是口语语法纠错与反馈，也就是找出其中的语法错误并返回改正后的句子。研究使用 Speak & Improve Corpus 2025，该语料同时提供带犹豫标注的不流利转写、人工去掉不流利成分后的流利转写，以及语法改正后的参考文本。传统做法是 3 级级联：先做语音识别，再做不流利成分检测与删除，最后把删干净的文本交给基于文本的语法纠错模型。

这种传统安排有一个明确前提：停顿、填充词、假启动和重复只是噪声，先删掉可以让输入更像书面语，从而让主要在书面语料上训练的纠错模型正常工作。论文要挑战的正是这个前提。作者的观察是，学习者在对语法结构不确定时更容易停顿或重复，例如在要说某个动词形式或冠词时先卡住、重复前一个词。按照这个观察，如果在纠错前把犹豫全部删掉，等于把哪里可能有错的位置提示也删掉了。

口语语法纠错 × 不流利成分删除： 口语语法纠错负责在学习者口语转写中定位语法错误并给出改正形式，不流利成分删除负责把重复、假启动和停顿删掉以得到更像书面的输入，二者搭配的理由是让主要在书面语料上训练的纠错模型能直接运行，组合意义在于本文质疑这种先删后改是否丢掉了犹豫指示语法不确定性的定位信号。

为后续复述先固定一条样本线索。原文给出一个例子：说话人实际说出 I want want to (g-) goes 加一个停顿再加 there，其中 want 重复了 1 次，(g-) 是未说完的假启动，goes 与上下文不一致，停顿出现在 goes 之后。传统删除会试图直接得到流利文本，而本文方法要把重复区间、填充停顿区间和静音停顿位置都显式留下来，再让纠错模型看到这些保留信号后生成改正句。是否保留犹豫，就是全文一切对照的起点。

相关路线在同输入同目标下做了什么不同选择？

书面语法纠错已经有较成熟的路线。从规则和统计机器翻译，到序列到序列神经模型，再到序列编辑模型，评价上常用 ERRANT 工具把原文与改正句之间的编辑分成缺失、替换、多余 3 类操作，再结合词性得到细粒度错误类型，并以更重视准确率的 F0.5 作为总体分数。论文把这套评价搬到口语，但强调口语更难，因为还有识别错误传播、不流利成分干扰和数据稀缺。

口语语法纠错的常规路线是先删除不流利成分再纠错，也有工作尝试联合优化或端到端结构，用 Whisper 一类基础模型同时处理识别、不流利处理和纠错，以减少级联误差。另一条路线是数据增强和语料建设，Speak & Improve Corpus 2025 与配套挑战赛提供了带不流利标注和语法改正的大规模公开基准。本文没有把自己写成端到端识别系统，而是固定在人工转写上回答一个更基础的问题：犹豫信息对纠错是否有帮助。

在不流利现象本身的研究中，填充停顿、静音停顿和重复是常见且相对可计算的 3 类。原文指出，二语习得中不流利频率和改述中的停顿模式与水平及语法修复过程有关，且常与语法错误共现。另一些证据表明，不流利可以预示生成困难和词汇意外度，也可以作为语用线索，而不是单纯干扰。因此，本文把犹豫当作可能指示错误位置的信号，而不是一律当噪声，这与保留不流利有助于诊断等近期发现是一致的，但本文的验证限定在语法纠错任务和上述 3 类犹豫上。

要回答的问题是什么，什么不属于本文结论？

本文要回答的问题很窄：在输入转写质量固定的情况下，保留犹豫位置和类型信息，能否提高语法纠错的 F0.5，特别是在犹豫附近的错误上是否提高更多。为此，实验刻意使用人工转写而不是语音识别输出，目的是把犹豫信息的效果与识别错误隔离开。作者明确说明，这与 Speak & Improve Challenge 2025 基线评估完整级联在识别输出上的做法不同，本文绝对分数更高反映的是没有识别误差传播，而不是直接超过了挑战赛基线。

初学者容易误读的一点是，把人工流利转写当成天然上限。人工流利确实代表完美删除不流利成分，但它同时也可能删掉有助于定位错误的上下文线索。论文的对照设计正是要检验这一点：如果保留犹豫的方法超过了人工流利输入，就说明删除本身丢了信息。反过来，本文没有证明在真实识别输出上一定能复现同样增益，因为实际应用还需要能可靠输出犹豫标注的语音识别系统，这一点作者在局限中明确列为未来工作。

方法全景：犹豫信息在哪个环节以什么形式留下？

方法的总体走向可以用一句话复述：不删除犹豫，而是把犹豫变成模型输入的一部分。给定带犹豫标注的不流利转写，先做犹豫标记注入，把特殊符号插入序列得到带标记文本，再在模型输入表示中加入犹豫类型嵌入，让处于不流利区间内的词元都带有类型上下文，最后把形如 gec 加标记文本的输入交给 T5 编码器解码器模型生成改正句。

下图把传统做法与本文做法并排对比，左侧是删除后丢失犹豫上下文，右侧是标记后保留犹豫上下文，底部还展示了每个词元对应的类型编号分配，是理解全文实现的关键总览。

看图路径： 1. 先沿左右两条纵向主路径对比左侧删除与右侧保留的走向；2. 再看右侧标记文本如何进入带犹豫类型嵌入的 T5 纠错模型；3. 最后看底部色块序列如何把每个词元映射到 0 至 3 的类型编号

论文图 1。原论文 Figure 1：“Overview of our hesitation-aware GEC approach and hesitation type embedding assignment.”。

从像素可见，左路自上而下是犹豫转写到不流利删除，再到标明犹豫上下文丢失的流利文本，最后进入普通 T5 纠错模型。右路同样从犹豫转写出发，但经过犹豫标记注入得到标明犹豫上下文保留的标记文本，最后进入带犹豫类型嵌入的 T5 纠错模型。底部示例把 I want want to (g-) goes 停顿 there 展开为一串色块，重复区用一种颜色包裹 want want，填充停顿区用另一种颜色包裹假启动，静音停顿用单独符号放在 goes 之后，右侧图例把 0 正常、1 静音停顿符号、2 填充停顿区、3 重复区对应到不同颜色，下方 Type 一行逐词给出 0、3、3、3、3、0、2、2、2、0、1、0 的编号。这张图说明保留不是原样保留，而是位置加类型同时保留。

标记与嵌入各自做什么，为什么需要两者？

犹豫标记注入定义了 3 类处理。静音停顿位置插入单个 [SP] 符号。填充停顿和假启动区间用 [FP] 与 [/FP] 包裹。连续重复词用 [REP] 与 [/REP] 包裹。原文例子把 I want want to (g-) goes 停顿 there 变换为 I [REP] want want [/REP] to [FP] (g-) [/FP] goes [SP] there。这 5 个特殊符号会被加入模型词表，其嵌入在微调中学习，使模型能同时看到犹豫的位置和类别。

犹豫标记注入 × 犹豫类型嵌入： 犹豫标记注入负责在词序列中插入 [SP]、[FP]、[/FP]、[REP]、[/REP] 等边界符号以显式标出位置和类别，犹豫类型嵌入负责给每个输入词元再加一个按 0 正常、1 静音停顿、2 填充停顿区、3 重复区索引的学习向量，二者搭配是因为仅有边界符号时区域内部词仍与普通词表示相同，组合后边界提供离散定位、嵌入把犹豫上下文传播到区域内全部词元。

具体实现上，输入词元的表示是词嵌入与类型嵌入相加。类型编号只有 4 个：0 表示犹豫区外的正常词元，1 表示 [SP] 符号本身，2 表示处于 [FP] 至 [/FP] 区间内的词元，3 表示处于 [REP] 至 [/REP] 区间内的词元。类型嵌入层维度与模型维度 1 致，用均值为零的正态分布初始化，再与词嵌入相加后送入编码器。这样，区域内部的每个词都知道自己处在何种犹豫上下文中，而不只是边界符号知道。

静音停顿 × 填充停顿： 静音停顿指说话人无声停住的位置，用单个 [SP] 标记，填充停顿指本文把假启动、未说完词也纳入的 [FP] 至 [/FP] 包裹区间，二者分工是区分无词汇残留的停顿和有词汇残留的中断重起，搭配理由是二者对语法不确定性的特异性不同，组合后模型可以分别学习一般定位线索和这里可能说错后重说的强线索。

模型结构选择 T5，是因为它适合文本到文本任务。输入格式化为 gec 冒号加标记文本，目标是输出语法改正后的句子。分词器需要新增 5 个犹豫标记并相应扩大词嵌入矩阵，另加一个独立的犹豫类型嵌入层。原文只报告了初始化分布和相加位置，没有报告注意力内部是否另加特殊偏置，因此复述时不应脑补额外的注意力修改。

模型从哪里初始化，用什么数据训练多久？

所有模型都从 t5-base 初始化，并在 Speak & Improve Corpus 2025 训练集上微调。这一点与 Speak & Improve 挑战赛基线不同，后者在书面纠错语料 BEA-2019 上训练。作者的理由是，在领域内口语数据上训练可以让模型学到二语口语特有的模式。这个选择意味着本文结果中的增益同时包含领域内训练和犹豫建模两部分，但 3 个实验条件之间的比较是公平的，因为它们都用同样的初始化和同样的领域内训练流程，只是输入处理不同。

训练超参数按原文交代：微调最多 10 轮，基于验证集 GLEU 做早停，耐心值为 3。使用 AdamW 优化器，学习率为 1 乘 10 的负 4 次方，批量大小为 8，梯度累积为 4 步，源端和目标端最大序列长度均为 256。输入是合并同一编号话语段后的转写文件，评价时把源句与参考句对送入 ERRANT 计算基于跨度的 F0.5。原文没有报告学习率衰减 schedule、随机种子、训练硬件与耗时，也没有报告类型嵌入与词嵌入是否采用不同学习率，因此复现时应先按统一优化器实现并记录这些缺项。

数据条件、对照条件与指标方向如何固定？

数据使用人工转写，目的是隔离犹豫效应。语料提供 3 种转写：带犹豫标注的不流利转写、人工去掉不流利成分的流利转写、语法改正后的参考文本。实验把同一编号的话语段合并，再构造源句与参考句对。3 个对照条件分别是：规则删除条件，对不流利转写做基于规则的不流利删除，模拟传统级联中检测加纠错的一段；人工流利条件，直接用人标注的流利转写作为输入，代表自动删除的上限；本文方法条件，在不流利转写上做标记注入加类型嵌入。

评价指标是 ERRANT 计算的基于跨度的 F0.5，数值越高越好，且准确率权重是召回率的 2 倍，以反映教学反馈中准确性的重要性。主结果看总体 F0.5，同时报告准确率与召回率。进一步分析按与犹豫标记的距离切分，只看处于正负 1 个词元窗口内的语法错误，以及按犹豫类型切分静音停顿、填充停顿和重复附近的错误，还按 ERRANT 错误类别报告提升最大的类型。百分点与相对百分比在此必须区分，原文用 %p 表示百分点，例如 2.05%p 是两处 F0.5 差值的绝对差乘 100，不是相对提高 2.05%。

主结果比较了什么，数字支持什么判断？

主结果要回答的问题是：在同样的领域内训练和同样的 T5 结构下，保留犹豫是否优于删掉犹豫。公平条件是三者都基于人工转写构造输入、都用 ERRANT 的 F0.5 评价、都不含识别误差。指标方向是 F0.5 越高越好，准确率与召回率辅助判断增益来自少误报还是多检出。

上表只整理了原文连续句中逐字出现的总体 F0.5 与百分点差值，目的是保证每个数字都可回查。表后需要强调两点主要收益与一个具体代价。收益一是本文方法同时超过规则删除与人工流利，说明增益不只是规则删除做得不好，因为连完美人工删除也被超过。收益二是原文报告召回率从人工流利的 0.3465 提高到本文方法的 0.3759，同时保持了准确率，说明模型检出了更多语法错误。代价或限制是该结论限定在人工转写上，绝对分数偏高不能直接理解为端到端系统的分数，真实识别输出上的表现仍待验证。

规则删除基线 × 人工流利基线： 规则删除基线负责模拟传统级联中用规则去掉不流利词后再纠错，人工流利基线负责用人标注完美去掉不流利成分后的文本作为纠错输入上限，二者搭配是为了区分自动删除的损失与删除本身是否丢失信息，组合意义是若新方法同时超过两者，则说明增益不是来自删除规则不好，而是犹豫本身有信息量。

未胜出项也应明确：人工流利并非在所有细分上都优于规则删除，后文填充停顿附近的分析会出现人工流利反而更低的反例，因此不能把人工流利简单理解为处处最强。

犹豫附近的错误是否提高更多，窗口变大后会怎样？

第二个结果要回答更直接的机制问题：增益是否集中在犹豫附近。做法是只评价处于犹豫标记正负 1 个词元窗口内的语法错误，再与远离犹豫的错误对比。公平条件是同一套模型与同一评价工具，只是按错误与标记的距离划分错误子集。指标方向仍是 F0.5 越高越好。

上表数字均来自原文连续句，0.5087 对 0.4809 与 2.78%p 来自同一句，1.15%p 与 2.48%p 来自对近远对比和大窗口的描述。表后解释是，犹豫附近增益约为远处增益的 2.4 倍，且窗口从正负 1 放大到正负 5 时增益从 2.78%p 回落到 2.48%p，这支持犹豫标记是局部定位线索而不是全局增益。反例是远处错误仍有 1.15%p 提升，说明不能把作用说成只在附近有效，标记可能也改变了整体句法判断。未评测边界是原文没有给出更大窗口或全句范围的完整曲线，因此不能外推到任意距离。

三类犹豫中哪类最依赖保留，错误类型有何差异？

按犹豫类型切分可以进一步看信号强弱。原文报告，在正负 1 词元窗口内，填充停顿附近提升最大，相对人工流利提高 9.10%p；静音停顿附近提高 2.46%p；重复附近只提高 0.58%p，但重复的起点基线已高达 0.5780。作者的解释是，填充停顿对应说话人说到一半放弃并重起，往往意味着自己意识到语法出了问题，保留标记等于保留这里可能出错的提示。

静音停顿特异性较弱，既可能是犹豫也可能是自然韵律边界，但仍有定位价值；重复本身最显式，例如 the the 中删掉一个 the，人工删除已能捕获大部分信号，因此显式标记的额外空间较小。

一个值得注意的反例是，填充停顿附近人工流利为 0.3988，反而低于规则删除的 0.4466。作者认为，人工制作流利文本时可能连同有助于判断附近错误的上下文线索一起删掉，而本文方法保留了出错提示，使模型更关注周围词元。这个反例恰好说明完美删除不等于信息无损。

重复 × 多余类错误： 重复指连续重复词构成的 [REP] 至 [/REP] 区间，多余类错误指 ERRANT 标注中以 U 开头、应删除的不必要成分，二者分工是前者是语音行为、后者是语法判断，搭配理由是重复往往直接包含应删的冗余词，组合意义是保留重复标记让模型更容易把犹豫位置与删除操作对应起来。

按 ERRANT 错误类别看，本文方法在多余类上提升最明显，不必要名词提高 11.5%p，不必要代词提高 6.3%p，缺失介词提高 4.4%p，不必要限定词与替换限定词也有 2 个百分点左右的提高。作者的联系是，不流利常伴随重复与假启动带来的冗余词，模型学会把这些位置与删除操作对应起来。但这仍是有限解释，不是因果证明，因为原文没有做去掉某一类标记的严格消融，也没有报告每类的样本量与显著性。

哪些条件没测，哪些推论不能做？

第一个明确局限是输入条件。实验用人工转写隔离了犹豫效应，绝对分数高于在识别输出上评估的端到端级联。原文在方法与结论两处都强调了这一点，因此不能把 0.4790 直接与挑战赛基线的端到端分数比较，也不能承诺在识别噪声下仍有同样百分点增益。实际落地还需要能可靠输出犹豫标注的语音识别系统，作者把犹豫感知的识别列为未来工作。

第二个局限是犹豫覆盖范围。研究只处理静音停顿、填充停顿含假启动与未完成词、重复 3 类，且把填充停顿的定义扩大到包含假启动。其他不流利现象、韵律与声学特征、说话人水平差异都没有单独建模。原文也没有报告训练资源、推理开销、延迟与误报率，因此不能从 F0.5 提高推出系统更快、更便宜或误报更少。总体趋势也不等于每组都成立，例如重复附近增益很小，填充停顿附近人工流利反而低于规则删除，这些都应在复述结论时同时保留。

复现应先做什么，需要保留哪些关键细节？

复现的第一步是拿到同样的信息条件：带犹豫标注的不流利人工转写、人工流利转写和语法改正参考，并按同一编号合并话语段。切忌直接用识别输出复现主结果，因为那会引入原文刻意排除的误差源。若要验证实用价值，应另设一个识别输出分支，并记录犹豫标注是人工给的还是识别系统给的。

第二步是实现输入变换。按 3 类规则插入 5 个符号：静音位置插 [SP]，假启动与未完成词区间用 [FP] 与 [/FP] 包裹，连续重复词用 [REP] 与 [/REP] 包裹。把这 5 个符号加入 T5 分词器并扩大词嵌入矩阵，另加一个 4 类类型嵌入层，编号 0 到 3 分别对应正常、[SP] 符号、填充停顿区内、重复区内，初始化为均值零方差 0.02 的正态分布，再与词嵌入相加后送入编码器。输入前缀固定为 gec 冒号形式，目标为改正句。

第三步是固定训练与评价。模型从 t5-base 初始化，在领域内训练集微调最多 10 轮，用验证集 GLEU 早停耐心 3，优化器 AdamW，学习率 1 乘 10 的负 4 次方，批量 8，梯度累积 4，最大长度 256。评价用 ERRANT 基于跨度的 F0.5，并分别计算总体、犹豫附近正负 1 窗口、远处与更大窗口的子集。资源状态方面，本次未发现来源绑定且完成验证的公开代码、模型或数据链接，因此应写本次未能确认可达，不得声称代码或权重已公开。

何时值得尝试这种保留，还需补哪项验证？

当任务输入是学习者口语且转写中能获得犹豫位置时，值得尝试先保留再纠错，而不是一律先删。尤其当错误集中在停顿、假启动和重复附近，或系统频繁漏检多余词时，犹豫标记可能提供局部定位信号。复现时应优先验证犹豫附近与远处的增益差，因为这是本文支持犹豫即信号的最直接证据，而总体 F0.5 提升单独看还不能排除其他因素。

还需要补的验证包括：在真实识别输出上重复全部对照，检验犹豫标注噪声会吃掉多少增益；对 3 类标记做真正的去掉一类或只留一类的消融，以区分位置信息与类型信息的贡献；报告统计显著性、样本量、训练与推理成本，以及误报对教学反馈的影响。只有在这些条件下，才能判断保留犹豫是从可复现的研究发现变成可部署的系统收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总