把停顿钉在文字上：用逐字转写加对齐让大模型判断构音障碍的不恰当停顿

英文题目：A Transcript-anchored Pipeline With Large Language Models For Detecting Inappropriate Pauses In Dysarthric Speech

会议身份：conference:interspeech:2026:conference-paper-id:han26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#SFT #韵律 #语音 #强制对齐 #病理语音评估

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Minsu Han：机构信息未能从会议 PDF 纯文本可靠映射
• Insung Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Taeyoung Jeong：机构信息未能从会议 PDF 纯文本可靠映射
• Myoung-Wan Koo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

构音障碍阅读语音的不恰当停顿检测需同时给出停顿位置、时长与语言学合理性，而替代、重复、填充与拖长使转写和对齐极易错位。本文以秋季段落朗读录音为输入，输出带时长标记的转写与每处停顿的恰当与否判定及简短依据。方法链分四步衔接：微调逐字Whisper保留填充与自我修复并输出原文，转入蒙特利尔强制对齐器获得词级时间戳后用帧级语音活动检测重写重叠停顿边界，再由大语言模型把未知词映射回可对齐形式并注入时长标记，最后由大语言模型结合句法位置与时长判定三类不恰当停顿。相对WhisperX类转写加独立对齐方案，该设计把韵律证据文本化，使大语言模型能联合语言上下文做判断并生成可解释理由。在743条韩语语料的说话人无关划分上，Whisper加蒙特利尔强制对齐器加语音活动检测的对齐F1达到72.8%，轻中度组二分类宏F1为0.68，显著高于CTC对照。结论限于健康与轻中度组，重度组因转写不可靠未纳入定量，跨段落与跨语言外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，哪些信息不能丢？

这篇论文的输入是一段韩语秋天段落朗读音频，来自健康对照或不同严重程度的构音障碍患者。构音障碍是白话说的说话肌肉控制出问题，常见于脑瘫、帕金森病，尤其卒中之后，呼吸、喉控制和构音都会受影响，韵律错误会直接降低可懂度和自然度。目标输出有两个层次，一是每个停顿在时间轴上的起止位置，二是每个停顿是否恰当，若不恰当属于哪一类，并附一句可复核的理由。

必须保留的信息有 3 类，缺一不可。第一是逐字层面的语言现象，包括填充词如嗯啊、重复、断词和自我修正，常规识别为了可读性会把它们删掉，但临床恰恰要看这些地方的停顿。第二是精确到帧的时间边界，因为停顿是否过长要用秒数判断，论文例子中直接写成类似停顿 2.73 秒的标记。第三是语言上下文，即停顿前后是什么词、是否跨词、是否在名词短语内部，因为同样时长的静音放在句法边界是恰当的，放在词内就是不恰当的。

开场就要建立的学习依赖是，后续所有方法都是为了同时保住这 3 类信息。只做语音活动检测能找到静音但不知道对应哪个词，只做常规转写能知道说了什么但丢了填充和重复，只做端到端时间戳在标注稀缺的构音障碍上又难以训练。论文因此选择一条转写锚定的路线，先用逐字转写保住词，再用对齐加语音活动检测保住时间，最后把时长写回文本让大模型联合判断。

初学者易混的三个概念如何一次分清？

第一个易混是静音、停顿和不恰当停顿。静音是声学概念，只要能量低就是静音。停顿是语言锚定的静音，知道它夹在哪两个词之间、多长。白话例子是同样 1 秒静音，放在句号后是换气，放在词中间就是卡壳。不恰当停顿再加临床判断，要看是否打断词、是否跟在填充后、是否在纠正发音时出现。只报静音时长不算完成任务。

第二个易混是字错率低等于停顿判断好。字错率衡量词写对多少，停顿判断还需边界准和位置语义对。论文显示对齐 F1 接近不代表人类感知的恰当性也接近，分类差距可达十几个百分点。复述时要分开报转写、对齐和分类 3 层指标，不能用一层代替另一层。

第 3 个易混是百分点和百分比。论文说的提升 8.4 个百分点指宏准确率直接加上 8.4，不是相对增长 8.4%。跨指标不能直接相减，例如不能把对齐 F1 减去分类宏 F1 当作退化量。每个数字必须同时核对数据集、模型基线、阶段、指标、单位和聚合对象，数值相同也不是同一指标的证据。

已有路线各解决了什么，为什么还不够？

第一条路线是语音活动检测。它的输入是波形，输出是有声与无声的分割，能有效找出非语音区。白话说它像一个灵敏的静音探测器。局限是它不映射到语言单位，不知道静音前后是哪个词，也就无法判断停顿是否打断了词或短语。

第二条路线是强制对齐。传统如蒙特利尔强制对齐器基于高斯混合隐马尔可夫结构，时间分辨率高、语音学依据强，能把给定文本贴到音频上。另一类是先用 Whisper 转写再用 wav2vec 2.0 联结时序分类做对齐的流水线。论文指出这类组合在异常语音上会退化，因为替代、重复、填充和拉长会导致错位，而构音障碍恰恰充满这些现象。端到端的时长联合预测和带时间戳的语音大模型同样受限于标注稀缺，难以直接用于构音障碍。

第 3 条相关进展是面向失流利的逐字识别和时间戳工作，以及针对痴呆或失语症的含填充词转写与时间戳。论文的判断是，据其所知，还没有系统研究面向构音障碍的带时间戳逐字识别。教学上可以把这理解为同输入同目标下的缺口，输入都是病理性语音，目标都是保留失流利并给出时间，但构音障碍的发音错误更重、词典失配更突出。论文还引用了把韵律线索写成转写锚定文本单元供大模型做语音评估的工作，这正是本文把停顿时长写成文本标记的直接思想来源。

与同输入同目标的工作如何公平对照？

公平对照要按同输入、同目标、同监督和同运行阶段四格来放。输入上，本文是病理性朗读加标准文本，相关失语症和痴呆工作也是病理性语音加含填充转写，可比性较强。目标上，本文是停顿位置加恰当性加理由，纯语音活动检测只到静音分割，目标不同不能直接比 F1 高低。监督上，本文依赖逐字重标注加专家参照加对齐融合，对比端到端时间戳时要注明后者在构音障碍标注稀缺下难以训练，不是同监督下的胜负。运行阶段上，转写加对齐加 2 次大模型调用是离线评估管线，不应与实时语音活动检测比延迟。

类别差异不能当同条件胜负。例如把通用语音上对齐器优于语音活动检测的结论搬到重度构音障碍上，就会与论文随严重度退化的观察冲突。教学例子是，若有人用健康语音的停顿阈值直接判患者语音，会把代偿呼吸误判为不恰当，这正是论文轻中度第一例分歧的实质。正确做法是固定朗读材料、分层报告、专家参照一致，再谈哪条转写加对齐路线更稳。

什么算不恰当停顿？三类定义如何操作？

论文把评估任务固定在标准化的秋天段落朗读上，这样目标文本已知，偏离目标的重复和修正才有判断依据。不恰当停顿不是单纯静音超过阈值，而是位置加语音上下文联合决定的标签。

3 类定义需要逐字记住。第一类是词内停顿，指停顿出现在一个词内部，打断自然音节结构，依据原文分词判断。在韩语这种无空格或空格习惯特殊的语言里，词边界本身就需要小心，论文后文的失败案例正好说明罗马化空格会误导模型。第二类是发声填充词后的停顿，指停顿跟在犹豫声如嗯啊之后，当清晰度不清或填充前后停顿被过度拉长时计入。第 3 类是发音纠正过程中的停顿，指反复尝试纠正错误发音时出现的停顿，即使内部一致，只要偏离目标发音的重复也算。

操作上论文最终把三分类收敛为二值评测，即恰当停顿对不恰当停顿。原因是病因常共现，专家对单一病因标注也不一致，细粒度单标签作为真值不可靠。初学者容易误以为模型必须 1 次输出 3 个互斥细类，实际论文是先按 3 类定义提示大模型，再以二值恰当与否作为主要定量对照，细类分歧留作案例分析。

四阶段流水线如何从音频走到带理由的判断？

论文方法全景是 4 个顺序阶段。第一阶段用微调后的 Whisper 做逐字转写，保留填充、重复和截断。第二阶段用蒙特利尔强制对齐器做音素和词级时间戳，同时并行跑帧级语音活动检测做非语音区间检测，再按重叠规则融合得到精确停顿边界，并把时长注入转写写成显式标记。第三阶段用大模型做词汇适配，把对齐失败的未知符映射回与对齐兼容的形式，同时保持与原文转写的对应。第四阶段用第二个大模型读带时长标记的转写，按言语治疗师定义逐个分类并生成简短理由。

沿一个样本走一遍有助于建立依赖。假设输入是一句含重复的韩语朗读，逐字转写保留重复词，对齐给出词间静音候选，语音活动检测给出无声区间，两者融合后得到例如 2.73 秒和 0.22 秒两个停顿标记，词汇适配把未知符还原为原文词，最终转写形如词加停顿标记加词的文本，大模型再输出每个停顿恰当与否、细类和一句话依据。

下图是理解全流程的关键，需要按阶段顺序阅读主路径和两条融合支路。

看图路径： 1. 先从最左输入音频沿箭头向右走完四个阶段的主路径；2. 对比第二阶段上方对齐时间戳与下方语音活动检测时间戳两条支路；3. 看第三阶段未知符如何被还原为原文词并保留停顿时长标记；4. 看第四阶段提示词如何要求找出全部停顿标记再分类并给出理由

论文图 1。原论文 Figure 1：“Framework for assessment of pause appropriateness: (1) Verbatim Whisper transcription, (2) MFA alignment and fused pause refinement using VAD, (3) LLM-guided Lexical adaptation…”。

这张图从左到右展示了 4 个阶段。第一阶段输入波形经逐字 Whisper 得到原始转写，第二阶段上方是对齐时间戳与候选停顿表，下方是语音活动检测后处理时间戳，中间按是否有重叠决定用哪套边界，融合后形成带时长标记的转写。第三阶段上方是对齐词典与原始转写，经大模型引导的词汇适配得到最终转写，第四阶段是停顿大模型的提示词与分类评估输出，包括前后文本、分类标签、细类和理由。阅读时重点看第二阶段的替换规则和第三阶段未知符的去向，这是复述方法时最容易漏掉的动作。

逐字转写与对齐加语音活动检测如何分工？

逐字转写组件的动作是重标注秋天段落语料，保留失流利，再在该语料上微调 Whisper 做逐字输出。标准 Whisper 倾向于压制填充和自我修正，这与临床要求冲突，所以必须显式训练它不要删。论文还训练了韩语 wav2vec 2.0 和带停顿标记的 WhisperP 用于对照，但主流水线采用逐字 Whisper。

对齐与融合组件的动作更细。先在适配后文本上运行对齐器得到词级时间戳，把超过最小时长的词间静音作为候选停顿。并行用帧级语音活动检测得到非语音区间。对每个对齐得到的停顿，若与语音活动检测非语音区间有重叠，就用语音活动检测时间替换边界，否则保留对齐时间。最终时长以文本标记形式写回，例如停顿 0.82 秒这类写法。

逐字自动语音识别 × 蒙特利尔强制对齐器： 逐字自动语音识别负责不删减地写出填充词、重复和自我修正，保留临床判断所需的语言事件；蒙特利尔强制对齐器负责把这些词钉到毫秒级时间轴上，给出词间静音的候选边界。两者搭配的原因是只有文字没有时间无法算停顿时长，只有时间没有文字无法判断停顿是否落在句法边界，组合后形成带时长标记的文本，恰好是大模型能读懂的停顿证据形式。

语音活动检测 × 强制对齐： 强制对齐分工是给出语言锚定的停顿候选，即哪两个词之间有多长静音；语音活动检测分工是逐帧判断有声还是无声，给出与文本无关的声学非语音区间。搭配理由是构音障碍转写不准时对齐边界会漂移，而语音活动检测不受词典限制更稳健，组合规则是有重叠就用语音活动检测时间替换对齐边界，否则保留对齐时间，从而兼顾语言可解释性和声学鲁棒性。

初学者常问为什么不用语音活动检测直接当停顿。答案是语音活动检测没有词锚点，无法区分句法边界停顿和词内停顿，也无法把时长归因到填充后还是纠正中。反过来只用对齐，在转写不准时边界不可靠。融合是用声学稳健性修正语言锚定边界，而不是抛弃语言锚点。

词汇适配与大模型分类具体做什么变换？

词汇适配要解决的是对齐词典覆盖不了非典型词的问题。构音障碍发音错误多，对齐器会把很多词切为未知符，在韩语这种无空格语言里把未知符映射回原文尤其困难。论文明确说重建发音词典因域内数据稀缺不可行，因此用大模型做后编辑。输入是对齐词表和原始转写，约束是保持转写词不变，在对齐指示的位置插入停顿标签，并把未知符替换为对应词。这样下游看到的始终是临床真实的词，而不是被词典归一化后的词。

分类组件的输入是带精确停顿时长的逐字转写，任务是找出全部形如停顿加秒数的标记，对每个标记判为恰当或 3 类不恰当之一，并给出 grounded 在定义和局部上下文中的短理由。这些标签和理由用于下游分析和评估，也用于构造可解释的构音障碍检测特征。

词典外词 × 大模型引导的词汇适配： 词典外词指逐字转写中发音错误或非标准拼写导致对齐词典查不到而被标为未知符的词；大模型引导的词汇适配负责对照原始转写和对齐词表，把未知符位置还原为原文词并插入停顿标记。搭配原因是直接为稀缺的构音障碍数据重建发音词典不可行，而大模型能做保持原文词不变的文本对齐，组合意义是既让对齐器能跑通，又不丢失原始临床现象。

不恰当停顿 × 带理由的大模型分类： 不恰当停顿分工是定义临床标签，包括词内停顿、填充词后停顿和纠正发音过程中的停顿；带理由的大模型分类分工是读入带时长标记的转写，按言语治疗师定义逐个停顿判为恰当或不恰当并给出简短依据。搭配原因是停顿是否恰当不仅看时长，还要看前后语言单位，组合后把声学时长和语言上下文放在同一文本提示中联合判断，并留下可供复核的解释。

需要提醒的是论文用了 2 次大模型，第 1 次做词汇适配是文本到文本的对齐修复，第二次做分类是文本加时长标记到标签加理由的判断。2 次调用依赖的都是文本理解能力，而不是直接听音频，这也是转写锚定名称的由来。若转写本身错了，后续判断会连带出错，重度组的问题正出在这里。

哪些模型被训练，哪些只是调用，超参数是什么？

论文实际训练了 3 个用于转写和对齐的模型，另有两个大模型只做调用。语音活动检测采用 Silero 语音活动检测，用 Adam 优化器，学习率 5e-4，批量 128，单卡，无预热，最多 5 个轮次，推理阈值在验证集上选最优。wav2vec 2.0 用韩语训练版本，用 AdamW 优化器，学习率 3e-4，批量 128，4 卡，预热比例 16.7%，最多 15 个轮次。Whisper 用小版本，用 AdamW 优化器，学习率 1e-5，批量 16，4 卡，预热比例 10%，最多 20 个轮次。所有训练在英伟达 A100 上进行。

大模型部分没有训练。词汇适配和停顿恰当性分类都调用 GPT-5，按提示词执行，不更新参数，不存在梯度路径。论文未报告大模型的温度、采样或多次投票设置，这部分是复现时的缺项，只能按原文提示词的字面指令实现，即找出全部停顿标记再按恰当与不恰当分类并给出理由。

转写器 × 对齐器： 转写器负责把音频变成逐字文本，论文中由微调后的 Whisper、wav2vec 2.0 和带停顿标记的 WhisperP 承担；对齐器负责把文本贴到时间轴，论文中由蒙特利尔强制对齐器、wav2vec 2.0 的联结时序分类解码器和动态时间规整承担。搭配做穷举组合评测的原因是要分离转写错误和对齐误差各自的影响，组合意义是找到在构音障碍严重度上升时仍稳定的转写加对齐路线，再固定用于下游分类。

转写器与对齐器的组合由结构兼容性决定，wav2vec 2.0 只用自身联结时序分类解码器，WhisperP 用 wav2vec 2.0 解码器处理停顿标记，Whisper 则评估全部 3 种对齐方式。语音活动检测还对比了预训练和微调版本，以衡量域适应的影响。初学者不要从模型名字推定实现细节，凡原文未说的解码阈值、最小停顿时长数值和后处理形态都应记为未报告，而不是默认。

数据、划分、指标和专家评定如何保证可比？

数据集是 743 个韩语话语，每人朗读秋天段落，含录音、逐字转写、停顿和时间边界标注。严重程度按美国国立卫生研究院卒中量表分为健康对照、轻中度和重度。话语数和总时长是核对复现条件的关键，平均时长随严重度明显变长，划分按 8 比 1 比 1 且说话人独立。

比较问题是不同严重度下停顿对齐和分类是否稳定，公平条件是同一数据集划分、同一转写加对齐任务划分和各自验证集选阈值。停顿对齐指标是 F1，在预测停顿的起点和终点各加 0.2 秒容差窗，允许实际应用中可接受的微小偏差。不恰当停顿分类指标是恰当对不恰当二值的宏 F1，按严重度分层，以言语治疗师判断为参照。构音障碍检测消融用 LightGBM，基线 6 特征加 3 维不恰当停顿特征共 9 特征，在相同划分上训练。

专家评定找了 3 名认证言语治疗师，对 3 种最佳语音活动检测修正对齐器的输出逐样本评审，包括停顿检出和恰当性。由于 3 名专家一致认为重度语音仅听音频难以可靠判断恰当性，定量结果只报告健康对照和轻中度组，重度组被排除。这不是模型在重度上一定差，而是真值本身不可靠，复述时必须保留这一适用边界。

下表整理数据集规模与时长，表前问题是数据量和时长分布是否足以支撑按严重度分层，指标方向是话语数越多、时长覆盖越广，分层结论越稳。

上表的主要收益是分层样本量明确，轻中度样本最多，健康对照次之，重度最少且平均时长最长，提示重度语音更慢、停顿更多但样本稀缺。代价是重度组仅 55 条且专家认为恰当性难判，因此后文分类定量不含重度，未胜出或未评测的边界必须保留，不能把健康对照的结论推广到重度。

停顿对齐哪条路线最稳，分类上谁真正领先？

停顿对齐要回答的是转写加对齐组合加不加语音活动检测修正，以及微调语音活动检测带来多大提升。论文报告微调语音活动检测总体带来约 18 个百分点的提升，强制替换重叠边界的做法即使对齐器本身很差也能改善，因为它不完全依赖构音障碍转写质量，但也因此强依赖语音活动检测本身的性能。在非构音障碍语音上对齐器优于语音活动检测，但随严重度上升对齐器退化，而结合两者的方法随严重度更一致，且优于其他对齐加语音活动检测组合，并得到专家感知层面的一致确认。

分类结果要回答的是在专家感知的恰当性上哪种对齐路线更好。论文报告基于对齐器的方法在健康对照和轻中度都最高，且从健康对照到轻中度呈上升趋势，这在构音障碍通常更难的背景下值得注意。竞争方法在患者组低约 17 个百分点以内，且人类感知恰当性上的差距比对齐 F1 上的差距更明显，说明对齐质量是关键因素。

下图案例是理解二值一致但病因分歧的关键，需要对照原文与罗马化逐行阅读。

看图路径： 1. 先看健康对照组一行模型判恰当而真值判词内不恰当的反例；2. 再看轻中度第一例模型判不恰当而真值判恰当的代偿呼吸分歧；3. 最后看轻中度第二例二值一致但细分类单因与复合因标注分歧

论文图 2。原论文 Figure 2：“Case study comparison:(top) model misidentifies IP as AP; (middle) SLP-validated AP is misclassified as IP; (bot- tom) SLPs agree on IP status but show categorical disagreement”。

这张图分健康对照和轻中度两大块，每块列出文件名、模型预测和真值。健康对照例中模型把词内停顿判为恰当而真值判为不恰当，论文解释为罗马化空格误导。轻中度第一例模型判不恰当而真值判恰当，涉及代偿呼吸是否可接受的分歧。轻中度第二例二值同判不恰当，但模型只标填充后，真值标准复合病因，说明细粒度单标签不可靠。阅读时不要把罗马化空格直接当韩语词边界。

下表整理分类主结果的可核对数字，表前问题是在可运行策略中谁在专家参照下更高，公平条件是同一样本 3 名专家独立评审 3 条最佳修正路线，指标方向是宏 F1 越高越好。

上表的主要收益是基于 Whisper 加对齐器的路线在两组都领先，轻中度达 0.68。代价是患者组竞争方法仍低于 40，说明任务整体仍难，且重度组无定量结论。未胜出项是两条联结时序分类路线，它们对齐尚可但在人类感知恰当性上差距更大，不能只看对齐 F1 就认为分类也会接近。

不恰当停顿特征是否为构音障碍检测带来增量？

消融要回答的是新特征是否超出常规停顿特征。基线用微调 Whisper 的字错率加 5 个基于语音活动检测的停顿特征，包括停顿数、平均最大时长、停顿率和停顿比。增强版再加 3 个来自本流水线的不恰当停顿特征，包括不恰当停顿时长、不恰当停顿比和最大时长，共九特征，同划分训练 LightGBM。

比较问题是加入后宏准确率和宏 F1 变化多少，公平条件是同数据划分、同分类器、仅特征维度不同，指标方向是越高越好。论文报告的增量是可核对的，支持不恰当停顿捕捉到常规停顿之外的韵律模式，且因锚定在转写上更具可解释性。但这只是相关性证据，不是因果证明，也未测量延迟或成本，不能承诺部署开销不变。

下表整理该消融的可核对增量，表前问题是增量是否来自可部署的完整特征集，公平条件如上，指标方向越高越好。

上表的主要收益是两个指标都有数个百分点的提升，支持流水线特征的临床相关性。具体代价是论文未报告误判率分解、推理开销和输出帧率，总体趋势也不等于每组每步都成立。未胜出或未测的是无不恰当停顿的基线本身仍是必要对照，不能删去基线只看增量。

哪些结论出不了重度组，转写错了会怎样？

第一个明确限制是转写锚定依赖转写质量。论文在结论中承认，对重度构音障碍转写更不可靠，模块有效性未能充分验证，未来需扩展到中重度并提高对转写错误的鲁棒性。专家评定阶段也因重度仅听音频不可靠而排除定量，这意味着所有分类数字只适用于健康对照和轻中度。

第二个限制是语言特异性。健康对照失败案例显示，耶鲁罗马化把本应视作类词单元的短语写出空格，大模型据此当作词间停顿判为恰当，而韩语朗读习惯认为词间停顿不自然。这是过度依赖罗马化词边界、缺乏韩语阅读惯例知识的失败模式。复现到其他语言时，词边界定义和提示词必须重做，不能直接搬运。

第 3 个限制是细分类真值。模型与专家在二值一致时仍可能病因分歧，专家可标复合病因而模型只选其一，加上代偿呼吸在患者语音中可被接受为主观判断，单标签细分类评估不可靠。论文因此聚焦二值，初学者不应把细类准确率当作已验证指标。

资源状态方面，本次收到的证据中未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码、模型或数据已公开。复现应按论文文字重做，不假设有可下载权重或可运行仓库。

要复现先做什么，需要哪些超参数和信息条件？

先做数据与标注。准备秋天段落朗读音频，重标注保留填充、重复和截断的逐字文本，以及停顿和时间边界。按说话人独立划 8 比 1 比 1，记录 3 组话语数与平均时长，阈值 1 律在验证集上选。没有这一步，后续对齐和分类都无从比较。

再做转写与对齐。用小版本 Whisper 按学习率 1e-5、批量 16、4 卡、预热 10%、最多 20 轮微调为逐字输出，并行训练 Silero 语音活动检测按学习率 5e-4、批量 128、单卡、无预热、最多 5 轮，韩语 wav2vec 2.0 按学习率 3e-4、批量 128、4 卡、预热 16.7%、最多 15 轮作为对照转写器。对齐用蒙特利尔强制对齐器加帧级语音活动检测融合，规则是有重叠用语音活动检测时间替换，否则保留对齐时间，容差窗取 0.2 秒算 F1。

然后做 2 次大模型调用。第 1 次输入对齐词表加原始转写，要求保持原文词、插入停顿标签、替换未知符。第二次输入带时长标记的最终转写，要求找出全部停顿标记，按 3 类定义判恰当与否并给短理由。需保留提示词原文、模型版本和采样设置，论文未报告采样参数处记为缺项。

最后做评估。停顿对齐看 0.2 秒容差 F1 按严重度分层，分类看健康对照和轻中度二值宏 F1 以 3 名专家为参照，重度只做定性不做定量。消融用 LightGBM 对比六特征基线与九特征增强版。硬件按英伟达 A100 记录训练预算，推理延迟另测，不混为一谈。

何时值得尝试这条路线，还需补哪项验证？

当任务同时需要时间精度和语言可解释性时值得尝试，例如朗读任务中的词内停顿、填充后停顿和纠正中停顿的筛查，以及需要给临床留下理由的场景。转写锚定的好处是把时长变成文本，大模型无需听音频即可联合判断，前提是转写在目标严重度上基本可用。轻中度韩语朗读是论文已验证的适用区。

当重度占比高、无标准朗读文本或词典失配极重时要谨慎。此时应先补转写字错率分层、停顿边界误差分布和专家一致性，再谈分类。若转写大面积错，词汇适配也难以还原，应优先改进逐字识别或引入声学直判分支，而不是调分类提示词。

还需补的验证有三项。一是重度组的多模态或人工辅助标注，使恰当性有可靠真值。二是跨段落和跨语言的词边界与提示词迁移，验证罗马化空格这类错误是否普遍。三是成本与稳定性，包括大模型调用开销、阈值敏感性和多次运行方差。补齐后才能判断这条路线是从研究原型走向临床可用的关键一步，还是仅在轻中度朗读上有效的专用方案。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总