先标出不流利词，再让大模型学会不说：三语语音纠错的对比调优

英文题目：Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

会议身份：conference:acl:2026:conference-paper-id:2026.acl-long.2137

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对比学习 #指令微调 #大语言模型 #多语言 #语音识别

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Deepak Kumar：机构信息未能从会议 PDF 纯文本可靠映射
• Baban Gain：机构信息未能从会议 PDF 纯文本可靠映射
• Asif Ekbal：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为含填充词、重复、误起与自我修复的自动语音识别转写文本，输出为保留原意的流畅文本，难点在于印度语言形态丰富且真实口语噪声与合成训练分布差异大。该方法先以多语言编码器对齐平行语料得到词级流畅与不流畅标签并训练序列标注器，负责为每句提供可信的不流畅位置信号。接着将自然语言指令、不流畅原句、词元与标签序列及不流畅词表拼接为输入送入指令微调的大语言模型，由其负责重写生成流畅参考句。最后以交叉熵对齐流畅目标并附加对比项惩罚生成已知不流畅词元，总目标以权重平衡，促使解码时主动抑制复现而非事后删除。在Hindi真实数据评测设置下，带对比损失方法的BLEU为91.1，高于多语言指令微调的79.5。与仅删除标签词元或单纯多语言指令微调不同，该对比项提供了显式负信号从而在解码时抑制复现，实际意义在于保留语法完整性并修复误起与同义改述等复杂现象。其结论适用边界受限于Hindi、Bengali和Marathi三语及数百句规模的真实测试集，跨语域与更大噪声下的外推尚未验证。训练硬件为单块80GB显存的NVIDIA A100，序列长度为512且有效批量为16。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

这篇解读只依据论文正文证据，不引入外部评价。输入是自发语音经过语音识别后得到的不流利转写，目标是输出保留原意的流利文本。需要保留的关键信息包括任务定义、数据来源与划分、2 阶段管线做法、对比损失的监督来源、评测条件与主结果的适用边界。

输出是一套可以核对的复述。拿到一条不流利句，能说清它经过哪些表示变换。能说清每个组件吃什么信号。能说清用什么目标更新权重。最后能说清如何判定好坏。

先用白话讲清核心词。不流利现象指口语中自然出现的填充词、重复、误起头、话语标记与自我修复。自动语音识别指把语音波形转写为文字的系统。序列标注器指对每个词打上流利或不流利标签的分类器。大语言模型在这里指负责重写整句的生成器。

指令微调指用指令加不流利句加标签作为输入、以流利句为目标做监督微调。对比损失指对已知不流利词的生成概率额外惩罚的目标。论文动机是转写保留口语痕迹会同时伤害可读性与下游应用。证据指出强识别前端并未系统去除这些痕迹，下游问答翻译与合成均出现可测下降。

因此作者不把希望寄托在识别器自带规范化上，而是单设一个文本纠错模块。学习时先沿一条样本走完全程。输入含填充与重复的转写，标注器给出词级信号，生成器据此重写。训练目标同时要求像参考句并避开已知噪声词。

下面先看音频大模型在三语上的实际行为，这决定了为何需要文本侧纠错而非直接更换端到端语音模型。该图把音频模型的输出与真实口语转写并列，真实列保留了大量犹豫与中断，而模型输出明显过短且与音频脱节。

看图路径： 1. 先按左侧语言列确认孟加拉语、印地语、马拉地语各占两行样本；2. 对比中间列音频模型短输出与右侧真实转写在长度和犹豫标记上的差异；3. 观察右侧真实列是否保留填充词、重复片段与未说完的断句

论文图 4。原论文 Figure 4：“Qualitative comparison of ASR behavior on disfluent speech across Hindi, Bengali, and Marathi. Qwen2- Audio-7B outputs are contrasted with ground-truth transcripts.”。

该图显示的不是纠错效果，而是问题存在性。左侧按孟加拉语、印地语、马拉地语分区，中间列为音频大模型的短输出，右侧为含填充词与未完成结构的真实内容。可见差距在于声学语音学支撑不足，模型忽略音频而复述示例。这支持论文的模块化选择，即保留通用识别器加文本纠错，而不是依赖尚不适配印度语言口语的音频大模型。

已有路线在同输入同目标下如何分岔？

相关工作可以按输入、目标、监督与运行阶段对照。早期英语工作把任务看作检测后删除，先标出不流利词再删掉。这种做法在词级检测分数上可以很强，但删除后常留下缺连词、主语堆叠或从句不完整。

印度语言的已有工作多用 MuRIL 做多语言序列标注或对抗训练，同样止于标注与删除，没有重组句子的机制。合成数据与半监督方法缓解了数据稀缺，但规则合成难以覆盖误起头、截断与语码混合修复。

另一条线是端到端语音到流利文本，直接从音频解码流利句。这类系统隐式丢弃不流利，但评测会出现目标变短带来的错位，且需要音频与流利文本配对。与之相比，本文管线是识别器无关的文本后处理。输入是任意识别器的转写文本，便于接入不同管线并保持评测可控。

大模型出现后出现两类用法。一类把大模型当数据生成器，合成不流利例句去训练小检测器。另一类用提示工程让大模型直接改写，例如零样本或少样本去除辩论转写的不流利。这些工作或只做检测，或只做提示改写。

检测后删除 × 生成式纠错： 检测后删除负责先标出不流利词再直接从文本中删去，生成式纠错负责以整句为单位重新生成流利句；前者简单但容易破坏衔接词与从句完整性，后者能重组语序与补齐结构，论文选择后者并用前者的标记作条件输入，兼顾定位精度与句子完整程度。

论文的定位因此是补齐缺口。保留检测器的定位能力，但把最终决策交给生成器重写。并用对比目标显式抑制已知噪声的再生。这与仅提示的做法不同，因为提示不更新权重，对形态丰富的格标记与一致关系约束不足。也与仅删除的做法不同，因为生成可以保留话语连接与从句对齐。

任务的输入输出与成败标准是什么？

任务输入是单句不流利转写，可能含填充词、整词与短语重复、部分词口吃、误起头与自我修复。输出是单句流利文本，要求去掉上述痕迹，同时保留原命题意义与语法正确性。

举例说明任务，例子不代表论文数值效果。若输入含重复的主语与犹豫标记，期望输出只保留一个主语与完整谓语。而不是把所有可疑词一删了之导致缺宾语。这个例子仅用于理解任务边界。

成败用两类标准衡量。自动标准以金色流利参考为基准，报告 BLEU 与 chrF2，越高越好，以及 TER，越低越好。人工标准让母语者从流利度与意义保持打分，分数越高表示越自然且忠实。

论文还用问答、翻译与语音合成的下游表现佐证实用性，但主结论仍以纠错基准上的分数与人工偏好为准。需要区分的边界是，检测准确率不是最终目标。标注器分数高不等于纠错好，因为即使标记全对，删除策略本身也可能破坏句子。

论文明确把标注当作辅助监督，真正的成功是生成器在利用标记后写出完整流利句。这种区分决定了后续方法设计的评价重点。

两阶段管线如何从语音走到流利文本？

全景分 3 段。第一段是语音到不流利文本，由现成识别器完成，论文使用 Whisper 大模型与 Indic Conformer 作为前端，但方法不绑定特定识别器。第二段是词级标注，由 MuRIL 微调得到每个词的流利或不流利标签。第 3 段是条件生成，由指令微调后的大模型输出流利句。

沿一个样本走完全程有助于建立依赖顺序。假设输入是不流利句，先经分词与标注得到 0 与 1 序列，其中 1 对应应删词。接着把指令、不流利句、分词、标签与不流利词表拼成一个输入，生成器逐词预测流利参考。

交叉熵要求每一步像参考，对比项要求对不流利词表中的词给出低概率。推理时没有参考句，模型只根据指令与预测标签生成。这种顺序不能颠倒，因为生成器依赖标注器的输出作为条件。

下图给出最简视图，用于锚定模块顺序与信息流向。该图从左到右依次是说话人、识别器、不流利文档、大模型与流利文档，箭头为单向主路径。

看图路径： 1. 沿从左到右箭头数出语音到流利文本的五个节点并确认主路径；2. 观察中间不流利转写文档图标在识别器与大模型之间的承接位置；3. 确认大模型节点位于文本侧而非直接处理声学波形

论文图 1。原论文 Figure 1：“Disfluency correction pipeline. A potentially noisy speech transcription is first generated by an ASR model, after which a language model rewrites the disfluent text to remove…”。

该图说明纠错发生在文本侧，而非在声学侧直接净化。教学要点是区分两个智能体的分工，识别器负责声学到文字的忠实转写，保留口语痕迹。大模型负责文字到文字的规范化重写，去除痕迹但保留意义。这种解耦使管线可替换前端，也使评测可以固定文本输入比较不同重写策略。

标注器吃什么信号，生成器如何被条件化？

标注组件的主干是 MuRIL，一种在印度语言上预训练的编码器。输入是不流利句，输出是每个子词的二分类。标签定义为 0 表示流利应保留，1 表示不流利应去除。

训练标签的构造方法是把平行流利与不流利句对齐，将在流利版中缺失的词标为不流利，子词继承其父词标签。训练目标是词级交叉熵，按句子长度与样本数求和。多语言设置下把三语数据联合训练，使不同语言共享不流利表示。

生成组件的输入是三元组：不流利句、MuRIL 预测的词与标签序列、流利参考。训练时把自然语言指令、不流利句与标签拼成条件，目标是生成参考句。仅用交叉熵时，模型学习逐词复制参考，这隐式要求去噪。

但论文观察到即使给了标签，模型偶尔仍会复现输入中的不流利词，这正是引入第二项目标的直接原因。

序列标注 × 指令微调： 序列标注负责对每个词给出流利或不流利的二分类信号，指令微调负责把不流利句重写为流利句；二者搭配的理由是仅靠生成模型会隐式猜测该删哪里而容易误删或漏删，而标注信号把可疑位置显式告诉生成器，组合后形成标签感知的重写，使删除更准且保留语法结构。

下图展示训练时的信号汇合与损失回路，是理解推拉动态的关键。该图左侧有两个文档图标，分别是不流利句与 01 标记序列，经两路箭头进入中央生成器，生成器再产生右上预测文档。

看图路径： 1. 先找到左侧两个输入文档并区分不流利句与 01 标记序列；2. 沿 1a 与 1b 箭头看到中央生成器再沿 2 号箭头看到右上预测文档；3. 跟踪紫色回路如何把预测参考与原始输入汇入对比损失椭圆

论文图 2。原论文 Figure 2：“Flow diagram of the proposed multilingual disfluency correction pipeline integrating MuRIL-based token tagging with LLM fine-tuning.”。

图中右下是参考文档，紫色回路把预测、参考、原始输入与标签汇入对比损失椭圆，再经更新箭头回传生成器。可执行观察是先确认两路输入同时进入生成器，再确认预测与参考分别进入不同损失分支。最后确认更新箭头指向生成器而非标注器，说明本阶段只更新生成器权重，标注器参数保持冻结。

对比目标如何把已知噪声变成负监督？

对比目标的直觉很直接。如果某步生成词落在已知不流利词集合中，就施加额外惩罚。形式上总损失是交叉熵加权重系数乘对比项，系数采用预热调度。

对比项在回复开始位置之后逐步计算，对每步把不流利集合中各词的预测概率加权求和，再取负对数形式的惩罚。权重对同一不流利词的子词采用几何衰减，例如首个子词权重高、后续依次减半，以适应分词切分。

符号含义需要先于公式理解。条件输入包含指令、不流利句与标签，前缀是已生成的金色前缀。集合是经对齐或标注得到的不流利词表，概率是模型在当前前缀与条件下的预测分布。计算目标是降低这些词在解码时的似然。

把其表示推离流利目标空间，与交叉熵的拉近作用合在一起，形成论文所称的推拉动态。

交叉熵损失 × 对比损失： 交叉熵损失负责拉近生成序列与金色流利参考，提供向流利目标看齐的正信号，对比损失负责对已知不流利词的生成概率施加惩罚，提供远离不流利复现的负信号；二者搭配是因为只用交叉熵时模型仍可能照抄输入中的填充词，组合后形成推拉动态，既模仿流利结构又主动抑制已知噪声。

实现细节上，论文未报告对比项中子词权重衰减的具体截断与归一化，也未给出系数预热的完整曲线，只给出系数取值为 0.3 量级与训练超参数。复述时应保留这些缺项，不从模型名称推定未写明的梯度路径。关键可复现点是监督来源，不流利词表来自平行对齐与标注，而非人工在每步标注，这样才能在大规模合成平行数据上稳定训练。

数据如何构造，模型如何训练与推理？

数据来自已公开的平行流利与不流利数据集，覆盖印地语、孟加拉语、马拉地语。构造方式是在流利文本上算法诱发填充、重复、修正与误起头，再经母语者手工润色保证自然，另有手工转写的真实口语评测集。

多语言微调时合并三语再按 8 比 1 比 1 切分训练、验证与测试。单语微调时每语各自同样比例切分。评测时每语有两套测试，人工校对合成集与真实对话转写集。预处理分两条线，标注线用对齐得到词级标签。

生成线用指令输入输出格式组织，指令说明去除不流利的任务，输入给不流利句并附标签，输出为流利文本。对比变体额外把不流利词集合作为辅助输入，并联合优化两项目标。训练配置以 3B 指令模型为主要载体，序列长度 512，有效批量 16。

下图是论文表格截图的像素证据，用于核对主结果的量级而非替代数字表。该像素显示上下两张子表，上半为一种载体，下半为另一种载体，每行区分人工校对与真实数据。

看图路径： 1. 确认该像素为论文结果表格截图并区分上下两张子表载体；2. 核对上半部分多语言指令微调在人工校对行的数值排列；3. 观察真实数据行相对人工校对行在三指标上的下降幅度

论文图 3。原论文 Figure 3：“illustrates the proposed multilingual dis- fluency correction training pipeline.”。

该像素证据中可见人工集分数普遍高于真实集，且真实集行间差距更大，说明噪声分布是主要难度来源。后文数字表将用逐字引文给出可核对的值，这里先建立条件意识。比较必须在同语言同数据集同指标下进行，跨数据集的绝对值不可直接比优劣，这也是理解后续消融的前提。

评测条件与基线如何保证可比？

评测问题分 3 层。第一层是纠错本身，能否在保留意义下去掉填充与重复。比较对象包括多语言指令微调、微调后的 mBART、不带对比的标签条件模型与带对比的完整模型。指标方向为 BLEU 与 chrF2 越高越好，TER 越低越好。

第二层是检测质量，MuRIL 在人工集与真实集上的准确率与召回，用于说明辅助信号是否可用。第 3 层是外部效用，问答、翻译与语音合成在流利与不流利输入下的差距，以及纠错后能否回补。基线选择覆盖可运行策略，mBART 是有监督编码器解码器代表。

零样本提示基线直接让指令模型改写，不做任务微调与标签输入，用于检验隐式能力。多语言指令微调是不带标签的监督微调，用于分离标签与对比各自的增量。

人工校对合成集 × 真实口语转写集： 人工校对合成集负责提供量大且对齐干净的平行训练与可控评测，真实口语转写集负责检验含切分噪声、停顿与口音的实际分布；前者保证监督充分，后者暴露泛化差距，论文同时在两类集上报告，以区分方法在干净条件与部署近似条件下的表现。

下表整理数据规模，数字来自逐字引文，单位保留原文写法。表前比较问题是训练监督是否充足，公平条件是看三语总量与单语规模是否支持标注与生成两任务。

该表说明监督主要来自合成平行数据，真实集只作评测基准。这种构成使训练可行，但也带来分布偏移风险，合成规则难以完全覆盖误起头与语码混合修复。因此必须看真实集上的保持程度，而不能只看人工集的高分，未胜出项在后文展开。

另一张表整理问题存在性，表前问题是不流利是否只是可读性问题，公平条件是同模型同任务只换输入流利度，指标方向为差距越大越需纠错。

证据支持跨任务一致下降，幅度在翻译与合成上尤为明显，这为单设纠错模块提供动机。但需注意这些是报告的差距范围，不是本方法带来的改进承诺，改进需看纠错后的回补实验。

主结果在同条件下支持什么判断？

主结果按语言乘数据集组织，每个单元格比较同条件下的分数。总体趋势是带对比的模型在两载体上均为最优，且 Qwen 载体的增益更大。但总体趋势不等于每组都同等幅度，孟加拉语真实集的绝对值偏低，提示该方向更难。

以下表用原文连续句覆盖关键数字，表头单位按原文交代，裸值不擅自添单位。表前比较问题是在最干净的人工集上，完整方法能否同时在重叠指标与编辑距离上占优，公平条件是同语言同人工集同载体。

该行显示高重叠与低编辑距离同时成立，支持对比监督在干净条件下有效抑制填充与重复且保持结构。但代价是该结论限于人工分布，需结合真实集看保持性，不能推广为所有口语都达到同等分数。论文还报告跨基线的平均改进，在 Llama 上对比训练相对不带对比平均提升约 1.97 个 BLEU 点。

真实集上例如印地语仍保持 91 量级的 BLEU，说明方法对噪声有一定鲁棒性。引用这些平均值时必须注明聚合对象是全部语言与评测设置的平均，而非单组结果。未胜出项需要就近说明，在 Llama 载体真实输入下，mBART 有时可高于多语言指令微调。

这反映去噪式序列到序列在噪声下的保守优势。而在 Qwen 载体上，多语言指令微调已超过 mBART，说明载体的多语言先验影响基线排序。这提醒比较必须固定载体，不能把跨载体的胜负混为方法胜负。

去掉哪一块会怎样，失败条件在哪里？

消融围绕两个增量：标签条件与对比惩罚。从多语言指令微调到不带对比的标签条件，改进来自显式位置信号，引导改写聚焦可疑跨度。从不带对比到带对比，改进来自负信号，显式降低已知噪声词的再生概率。论文报告两步均为正向，且第二步在两载体上一致。

下表汇总对比开关的平均增量，表前问题是对比项是否在固定标签输入后仍有独立增益，公平条件是同载体同数据划分只开关对比损失，指标方向为重叠上升且编辑距离下降。

证据支持独立增益，且 Qwen 上的增益大于 Llama，说明对比框架跨模型族有效，但对生成先验更强的载体提升更明显。代价是该平均值掩盖了按语言的异质性，孟加拉语真实集的绝对表现仍弱于其他两语。

自动指标 × 人工评价： 自动指标负责用与参考文本的重叠与编辑距离快速比较系统，人工评价负责从流利度与意义保持上判断真实可读性；前者可重复但可能偏爱保守复制，后者更贴近用户体验但成本高，论文同时使用两类证据，使对比损失的增益既有分数支撑又有可感知验证。

失败条件包括零样本提示在印度语言上明显退化。英语不流利相对简单，而三语有丰富的格标记、动词一致与复合动词，零样本难以处理形态纠缠。论文报告 Qwen 零样本优于 Llama 零样本，但两者在真实集上都大幅下降。另一边界是跨语零样本迁移，单语微调可在相关语言上取得一定分数，但真实集迁移仍有明显损失。

证据的边界与未验证的推测是什么？

直接报告的是三语两类测试上的分数与人工偏好，有限解释是对比损失通过抑制已知词再生带来更自然的输出，未验证的是更大参数、更多语言与更多领域的推广。论文明确受计算限制只验证 3B 量级 2 模型族，更大模型的缩放效应未测。

方法声称模型无关，原则上可扩展，但这属于待验证而非已证结论。数据边界同样重要，平行资源据称是三语唯一可用来源，真实测试集因人工标注成本而规模小，逐语言分析的统计稳健性受限。

先前印度语言工作多止于检测，缺乏全句纠错基线，可比范围受限。评测用量词需注意，自动分数不能当作人工分数，百分点与相对百分比不同，不同指标差值不能混放一列。因果表述要谨慎，相关性不是因果。

纠错后下游回补支持实用性，但未测量延迟、误判率与部署成本时，不能承诺这些量同时改善。训练资源与推理开销应分别讨论，论文给出训练硬件与配置，但未系统报告推理时延。因此部署收益应表述为质量收益，而非效率收益。总体趋势不等于每组每步都成立，阅读时需回到分语言分数据集的原始条件。

复现先做什么，需要哪些信息条件？

复现的第一步是重建平行数据与划分。按原文用合成加人工润色得到每语约 40,000 对，合并后按 8 比 1 比 1 切分，多语言与单语分别切分。接着重建词级标签，对齐流利与不流利句，将缺失词标为不流利并让子词继承父词标签。

然后按指令风格组织输入输出，指令说明去除重复、填充、话语标记与误起头，输入含不流利句、分词、预测标签与不流利词表，输出为流利句。第二步是训练 2 个阶段，先多语言微调 MuRIL 做序列标注，再固定其预测作为条件去微调生成器。

生成器训练用交叉熵加对比损失，对比权重取 0.3 量级并带预热，序列长度 512，有效批量 16，学习率 1e-5 余弦衰减，早停耐心 3。评测时固定同语言同数据集，报告 BLEU、chrF2 与 TER，并辅以母语者流利度打分。资源状态是正文开源声明的唯一依据。

本次未发现来源绑定且完成验证的资源，不得声称代码、模型或数据已公开。下表给出人工可感知性的关键数字，表前问题是自动增益能否被人感知，公平条件是同采样集合同量表。

表后解释是印地语上对比模型的高分占比与均值均更高，且在孟加拉语与马拉地语上方向一致，支持改进具有可感知性。但需说明人工集每语仅 100 句抽样，统计力度有限，且量表聚焦流利自然而非事实正确，不能把高分读作意义完全无损。

何时值得尝试这个组合，还需补哪项验证？

当输入是保留口语痕迹的识别转写，且下游需要整句可读性时，值得尝试标注加指令微调加对比惩罚的组合。尤其当仅用提示仍残留填充与主语重复，或直接删除破坏连接词与从句时，该组合提供定位与重写的分工。

若只有单语监督，可先用相关语言迁移应急，但应预期真实噪声下有损失，条件允许时仍做多语言联合训练。复述方法的最小闭环是，对齐得标签，MuRIL 学标注，生成器学条件重写。对比项压低已知噪声概率，评测固定语言与数据集看三指标与人工分。

不应把检测分数当作成品质量，也不应把人工集高分推广到所有真实口语。还需补的验证很具体，更大规模真实对话评测、前沿大模型同条件可运行基线的完整对照。不同噪声类型下误删与漏删的错误分析，以及推理成本与延迟的实测。

只有补齐这些，才能把质量增益转化为可部署收益的完整判断。对于刚进入语音与语言交叉方向的研究生，建议先复现一条样本的全链路，再扩展到批量评测。这种从单样本到分布的顺序有助于建立对监督来源与评价条件的敏感性。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总