📄 只看总字错率会漏掉什么：有无音频的纠错拆解
评分：5.8/10 | 创新 1.1/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5
👥 作者与机构
- Vasiliy Kudryavtsev：机构信息未能在本次解析中与作者逐人可靠绑定
- Kirill Borodin：机构信息未能在本次解析中与作者逐人可靠绑定
- Nikita Vasiliev：机构信息未能在本次解析中与作者逐人可靠绑定
- Mikhail Gorodnichev：机构信息未能在本次解析中与作者逐人可靠绑定
- Grach Mkrtchian：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者需要理解的对象是语音识别输出的转写文本，困难是总词错误率把改对和改错混在一起，处理过程是把输入假设与参考文本对齐后逐词判定修复、破坏和插入变化。研究比较同一假设在无音频文本校正和有音频校正下的输出，输入是音频信号与假设文本之一或两者，输出是修正后的转写。方法先固定假设与音频片段，只增减音频输入并记录配对差异，再把词错误率变化恒等分解为修复、破坏和插入三个分量并统计破坏率与修复率。相对已有只报总错误率的生成式纠错评估，关键差异是在词级别给出精确会计并区分自我草稿与独立识别器两种来源。在自我修正设置下医疗听写上，用Gemini 2.5 Flash校正自身草稿时，无音频单元破坏率break-rate为12.8%，有音频单元降至2.3%。在跨系统设置下医疗听写上，用Gemini 2.5 Flash校正独立识别器输出时，无音频单元修复分量rep占参考词元比例为2.06%，有音频单元升至3.31%，相对增加61%。结论适用于会过度修改的主力模型，不适用于很少修改的模型，合成语料接近天花板时的结论不能推广到自然语音，且两臂提示词不同只能界定音频作用上限。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音转写后为什么还要纠错
输入是一段语音和一个初步转写文本，目标是输出更接近参考文字的转写，必须保留音频里实际说的内容，不能凭语言习惯编造新事实。
初步转写可能来自传统识别器，也可能来自音频大模型自己的一遍听写，纠错器再读一遍文本，有时还同时听音频，决定保留、修改、合并或删除哪些词。
评价用字错率，即参考词中认错、漏掉和多出的比例，越低越好。但一个总数会把改对和改错混在一起，改对很多同时改错很多，总数可能看起来没变，这正是本文要拆开的原因。
语音识别 × 生成式纠错 × 零样本单假设纠错： 语音识别指把音频转写成文字；生成式纠错指用生成模型改写识别假设；零样本单假设纠错指不训练、只给一个假设文本让大模型直接改，本文只研究这一种运行方式，它缺少声学证据，最容易凭语言习惯改错。
已有路线在什么条件下有效
在多候选列表上训练过的生成式纠错系统，一般能报告字错率下降，因为训练时见过识别错误的分布，知道什么该改、什么不该动。
本文研究的零样本单假设提示路线不同，只给大模型一个假设文本，不做针对纠错的训练。以往工作发现这种做法多数时候让基线变差，会去改本来没错的句子，提示 1 次和给一个例子都曾让错误率上升。
另一条路线是给纠错器音频，例如把声学信息融合进纠错器，或直接用多模态大模型同时看音频和文本，相关基准中多模态设置最好。本文不争哪条路线总分最高，而是问加上音频后，修好和破坏这两股流各自发生了什么。
总字错率掩盖了什么具体问题
论文要回答的是：当纠错器能听到音频时，相比只能看到文本，它少破坏了多少，又多修好了多少，以及在什么条件下这些变化在总数上看不见。
难点在于破坏和修好发生在不同的词和不同的句子上。只看平均字错率，自我修正中破坏减少和修好减少可能互相抵消，医疗口述中插入词的变化还可能进一步抵消。
作者因此提出按词对齐的精确拆分，并固定假设和音频片段，只改变是否给音频，比较配对差异。提示词措辞随有无音频而变化，所以对比给出的是音频加指令共同作用的上界或下界，不是纯音频效应。
全文实验的总体流程是什么
每个样本都要经过七次可用的输出：识别器输出、音频大模型的初稿，以及 5 个纠错单元的结果。5 个单元是：只听音频不给假设的对照，没有音频改初稿，有音频改初稿，没有音频改识别器输出，有音频改识别器输出。
自我修正分支固定初稿，比较不给音频和给音频的差别；跨系统分支固定识别器输出，同样比较不给音频和给音频的差别。对照单元只改变提示词，用来估计提示本身能带来多大波动。
所有比较使用同一语料的子集，要求 7 个输出都非空。评分前做统一文本归一化，不做逆文本归一化，因此连写与分写、填充词都会影响计数，这一点在医疗语料上很关键。
初稿 × 识别器输出 × 有音频纠错： 初稿是音频大模型自己听写的一遍结果，识别器输出是独立传统识别器的结果，有音频纠错是把音频和文本假设一起给模型，让它以音频为准再转写或修改，前者是自我修正，后者是跨系统修正，音频是否为新证据是两者的关键差别。
修好、破坏和插入是如何算出来的
先把参考文本分别与输入假设和纠错输出做词对齐，标记每个参考词在两端是对还是错。原来错、后来对的计为修好，原来对、后来错的计为破坏，输入和输出中相对参考多出的词分别计为输入插入和输出插入。
三项都除以参考总词数，用参考词百分比表示，单位是百分点。插入分量为正表示纠错器去掉了多余词，为负表示留下了或增加了多余词。净变化等于修好减破坏加插入分量。
\[\Delta\mathrm{WER}\;=\;\frac{\textsc{rep}}{W}-\frac{\textsc{dam}}{W}+\frac{\iota_{h}-\iota_{\hat{y}}}{W}\]这个恒等式对任何固定对齐成立，但有两个盲区：把一个错词换成另一个错词不计入任何一项，而最小代价对齐路径不唯一。作者用删除优先的回溯，并验证换成插入优先实现后所有数值最多移动 0.02 个百分点，约为最小效应的五分之一。
修好 × 破坏 × 插入分量： 修好指原来错、改后对的参考词数量，破坏指原来对、改后错的数量，插入分量指输入和输出中多余词数量之差，三者相加恒等于字错率的变化，把一增一减的两股流分开，才能看到总字错率掩盖的改对和改错。
破坏率 × 修好率： 破坏率指原本全对的句子中有至少一个被改错的比例，修好率指原本有错的句子中错误数减少的比例，前者看守住正确结果的能力，后者看挽回错误结果的能力，本文用它们补充词级别的修好和破坏计数。
五个纠错单元各自拿到什么输入
对照单元只听音频，没有文本假设，提示要求更仔细地转写。它与初稿只差提示词，用来说明换一句提示本身就能移动医疗字错率 2.53 个百分点。
自我修正的两个单元都拿到初稿文本，区别是有无音频。无音频是编辑任务，要求只改可能的识别错误，不确定就保留；有音频是转写任务，要求把假设当提示，以音频为准，不添加音频中没有的内容。
跨系统的两个单元都拿到识别器输出。无音频版本明确要求只改形式、不增删词，遇到不熟悉但发音合理的词要保留；有音频版本明确说把识别结果当发音指南，音频与文本明显冲突时相信音频。作者指出这种指令差异对破坏的比较偏向保守，对修好的比较偏向乐观。
本文训练了什么，又实际执行了什么计算
本文没有训练任何纠错器，也没有更新模型参数。所有模型通过同一接口调用，温度设为 0，每个句子调用 1 次，属于已发布模型的推理复用。
实际执行的计算是：生成初稿和识别器输出，分别用 5 种提示调用纠错模型，得到输出文本，再做归一化、对齐和计数。统计不确定性用配对句子级别的百分位自助法，重复 20000 次，给出 95% 区间，区间未针对多重比较调整，也未考虑说话人聚类，因此作者强调看多个语料上符号是否一致，而不是看单个边界区间。
缺失输出按公共子集排除，合成语料上无音频改识别器输出缺 738 条、有音频改识别器输出缺 269 条，自然语料上主要因初稿为空去掉数十条。作者用两种方式检查排除规则的影响，但缺失本身的水平值仍会受影响。
数据、系统和评分条件是什么
语料有 3 套：3000 条俄语合成科学语句，由语音合成生成，接近上限的诊断集；300 条俄语有声书语句；300 条英语医疗口述语句。语言与语料和识别器混在一起，不能把语言效应单独解读。要求 7 个输出都非空后，剩余条数分别为 2260、270 和 284。
识别器在俄语上用 GigaAM，在英语上用 Whisper Large-v3-Turbo。主要纠错器是 Gemini 2.5 Flash，另用小规模子集重复全部单元验证 Voxtral-Small-24B，并用更小子集试 GPT Audio 的有音频跨系统单元。
评分是语料级字错率，归一化包括统一编码形式、小写、俄文字母ё归并和去标点。区间是配对自助区间，加粗表示区间不包含零。破坏率没有区间，自然语料上原本全对的输入很少，且包含纯拼写差异，因此只能描述性阅读。
总字错率上音频带来了什么
先看跨系统分支的总字错率变化。有音频单元在 3 个语料上都明显好于无音频单元，区间都不包含零，这是全文在总数上最一致的结论。每个单元都相对提供输入的系统计分，同一分支内假设文本和语音片段保持固定，只是加入或拿掉音频，提示措辞则随之改变。
自我修正分支则不一致。在合成语料上有音频比无音频好 2.92 个百分点，在两个自然语料上净差异分别为 0.45 和负 0.09 个百分点，区间都包含零，允许正负约一个百分点的任一方向。只看总数，会得出音频对自然语音自我修正没有作用的印象，这正是后文需要拆分修好与破坏的原因。
下表整理该比较问题：两类输入系统的字错率基线，以及 5 个单元相对各自输入的字错率变化，正为改进。输入系统用字错率百分比，单元变化用百分点。
| 项目 | TTS RU，n=2,260 | RuLibri RU，n=270 | Medical EN，n=284 |
|---|---|---|---|
| 输入系统，WER，%：ASR 输出 | 3.95 | 7.29 | 16.06 |
| 输入系统，WER，%：草稿 | 2.39 | 10.04 | 17.65 |
| 对照，相对草稿，ΔWER，百分点：B 有音频无假设 | +0.01 | +0.18 | +2.53 |
| 自我修正，相对草稿，ΔWER，百分点：C 草稿无音频 | -2.78 | +0.38 | +0.88 |
| 自我修正，相对草稿，ΔWER，百分点：A 草稿加音频 | +0.14 | +0.83 | +0.79 |
| 跨系统，相对 ASR 输出，ΔWER，百分点：T 无音频 | +0.69 | +0.48 | -0.05 |
| 跨系统，相对 ASR 输出，ΔWER，百分点：F 加音频 | +2.17 | +1.65 | +1.52 |
表中跨系统有音频行全面高于无音频行，而自我修正有音频与无音频在自然语料上数值接近。对照单元在医疗上带来 2.53 个百分点的改进，说明只改提示措辞也能移动字错率，因此不能把提示差异忽略。
拆开后修好和破坏各向哪边走
拆开后模式很清晰。在自我修正中，有音频的修好在 3 个语料上都下降 0.15 到 0.74 个百分点，破坏下降 0.88 到 2.83 个百分点，6 个区间都不包含零。模型改动的词变少了，作者把这种现象描述为克制，但强调这只是描述，不是机制。
跨系统中破坏同样在 3 个语料上都下降，其中两个区间不包含零，而修好在 3 个语料上都上升，分别为 0.09、0.95 和 1.25 个百分点。医疗上修好占参考词比例从 2.06% 升到 3.31%，相对增加约 61%，但其中一部分可能来自提示词放宽了编辑限制。
下表是配对差异，即有音频减无音频，破坏为负表示破坏减少，插入为正表示多余词减少，破坏率从无音频到有音频。
| 对比 | 语料 | rep (pt) | dam (pt) | ins (pt) | net (pt) | break-rate (%, 无音频→有音频) |
|---|---|---|---|---|---|---|
| 自我修正 A 对 C | TTS RU | -0.15 | -2.83 | +0.24 | +2.92 | 31.9→2.6 |
| 自我修正 A 对 C | RuLibri RU | -0.50 | -0.88 | +0.08 | +0.45 | 16.3→1.0 |
| 自我修正 A 对 C | Medical EN | -0.74 | -1.72 | -1.08 | -0.09 | 12.8→2.3 |
| 跨系统 F 对 T | TTS RU | +0.09 | -1.31 | +0.08 | +1.48 | 18.1→2.6 |
| 跨系统 F 对 T | RuLibri RU | +0.95 | -0.18 | +0.05 | +1.18 | 4.0→3.0 |
| 跨系统 F 对 T | Medical EN | +1.25 | -0.71 | -0.40 | +1.57 | 13.8→6.9 |
破坏率最直观。自我修正中无音频把 31.9%、16.3% 和 12.8% 的全对初稿改出错误，有音频降到 2.6%、1.0% 和 2.3%；跨系统中无音频破坏 18.1%、4.0% 和 13.8%，有音频降到 2.6%、3.0% 和 6.9%。自然语料上分母小、无区间，只能定性读为大幅减少。
例子显示改对和改错发生在哪里
医疗例子有助于把数字落到词上。自我修正中，初稿本来正确的 loss of hair，无音频改成 loss of hearing，有音频则保留原样，这是典型的过度纠错被音频按住。
跨系统中，识别器把 seizure 听成 see you soon，无音频因指令限制保留原样，有音频改回 seizure，这是音频提供新证据的例子。另一组药物名中，无音频把错的 oxyconosol 换成另一个错的 oxycontin，按计数规则不计修好也不计破坏。
下表是原文给出的 5 个例子，前三行为自我修正，后两行为跨系统，斜体为纠错器改动的词。
| # | Reference | Input hypothesis | Output without audio | Output with audio |
|---|---|---|---|---|
| 1 | loss of hair | loss of hair | loss of hearing | loss of hair |
| 2 | postoperative imaging … | post operative imaging … | postoperative imaging … | post operative imaging … |
| 3 | forxiga 10mg tablet | forxa 10 mg tablet | forxiga 10 mg tablet | forxa 10 mg tablet |
| 4 | seizure | see you soon | see you soon | seizure |
| 5 | oxiconazole | oxyconosol | oxycontin | oxiconazole |
表中第二行还显示复合词问题：参考写成 postoperative，初稿写成 post operative，无音频把它连起来并计 1 次修好，有音频保留分写。第三行中无音频凭自身知识把 forxa 纠成 forxiga，有音频反而保留错误，说明克制也会丢掉真正的修好。
为什么医疗自我修正的总数没有变好
原因是插入分量。医疗初稿中有相当于参考词 4.47% 的插入词，无音频去掉约 1/4，降到 3.29%，有音频几乎不动，停在 4.37%。配对插入差异为负 1.08 个百分点，区间不包含零，正好抵消修好加破坏带来的约 0.98 个百分点的收益，净差异为负 0.09 个百分点。
这些插入词中，182 个插入词里有 77 个是参考连写、初稿分写的复合词两半，例如 post operative 和 10 mg。无音频后剩 40 个，有音频后剩 80 个，有音频还增加了听到的填充词 uh，从初稿 6 个增加到 14 个。
由于没有逆文本归一化，每次连接分写复合词都同时计 1 次修好，三项都对参考拼写习惯敏感。作者指出，若采用对复合词和填充词不敏感的评分，医疗自我修正的净对比可能改变符号。有声书上插入分量只有 0.08 个百分点，那里主要是修好下降抵消了破坏下降，区间太宽无法判定。
合成语料的上限和噪声改变了什么
合成语料接近上限，65% 的识别器输出和 79% 的初稿本来就全对，能发生的主要是破坏。无音频自我修正让字错率恶化 2.78 个百分点，自然语料上区间则包含零；无假设二遍在合成上几乎无用，自然医疗上却是最大单项改进。跨系统修好效应在合成上只有 0.09 个百分点，自然语料上为 0.95 和 1.25 个百分点，相差一个数量级。
下表是合成语料上各系统在各自完整输出上的原始字错率、字形错率和领域词召回率，以及 250 条在混响和噪声下的字错率，字错率和字形错率越低越好。
| ASR | T | F | draft | C | A | B | |
|---|---|---|---|---|---|---|---|
| WER | 3.79 | 3.26 | 1.74 | 2.37 | 5.12 | 2.18 | 2.75 |
| CER | 0.79 | 1.23 | 0.42 | 0.67 | 2.57 | 0.67 | 1.18 |
| DTR | 65.5 | 67.5 | 69.7 | 69.0 | 66.1 | 69.3 | 69.1 |
| WER, original | – | – | – | – | 5.03 | 2.19 | 2.76 |
| WER, 15 dB | – | – | – | – | 6.16 | 3.20 | 4.05 |
| WER, 8 dB | – | – | – | – | 8.91 | 6.02 | 7.45 |
无音频自我修正把领域词召回率从 69.0% 降到 66.1%，接近识别器的 65.5%，有音频保持在 69.3%；跨系统中两者都提高，有音频提高更多。无音频改识别器输出降低字错率却升高字形错率，无音频改初稿几乎让字形错率翻两番，说明破坏落在罕见领域词的整词替换上。噪声下有音频字错率几乎翻 3 倍，但与无音频的绝对差距保持在 2.84 到 2.96 个百分点，相对差距缩小，作者强调这只说明总数差距还在，不能证明克制机制还在。
领域词召回率 × 字错率 × 字形错率： 字错率按词统计对错，字形错率按字符统计对错，领域词召回率统计标注好的领域术语有多少出现在输出中，三者搭配可以判断破坏是落在普通词还是罕见领域词上，以及是整词替换还是拼写微调。
哪些发现换了模型就不成立
用 Voxtral-Small-24B 在 659 条子集上重复全部单元，Gemini 的模式不再出现。该模型无音频自我修正很少改动，修好率只有 1.5% 到 3.8%，而 Gemini 为 24.2% 到 27.8%。
此时有音频的修好在 6 个对比中全部上升 0.24 到 4.64 个百分点，其中 4 个区间不包含零，即使改的是自己的初稿也上升。破坏时升时降，只在医疗两个分支下降。插入分量经相减得到，在自我修正中是三项里最大的一项，让两个语料的净对比为负。
下表是 Voxtral 子集上的输入字错率、各单元变化和配对差异，插入行由相减得到，没有区间，布局和单位与前两张主表一致。
| 项目 | TTS RU n=467 | RuLibri RU n=96 | Medical EN n=96 |
|---|---|---|---|
| 输入 ASR 输出 WER % | 5.17 | 8.02 | 17.03 |
| 输入初稿 WER % | 7.90 | 26.31 | 43.86 |
| B 无假设变化 pt | -1.61 | 6.09 | -21.15 |
| C 初稿无音频变化 pt | -0.38 | 0.06 | 0.62 |
| A 初稿有音频变化 pt | -0.97 | 9.58 | -2.41 |
| T 跨系统无音频变化 pt | -1.55 | -0.44 | -0.86 |
| F 跨系统有音频变化 pt | 2.14 | -0.68 | 1.01 |
| 自我修正 rep 差异 pt | 0.71 | 4.64 | 0.55 |
| 自我修正 dam 差异 pt | -0.15 | 0.68 | -1.55 |
| 自我修正 ins 差异 pt | -1.45 | 5.56 | -5.13 |
| 跨系统 rep 差异 pt | 2.46 | 0.75 | 0.24 |
| 跨系统 dam 差异 pt | 0.56 | 1.43 | -0.93 |
| 跨系统 ins 差异 pt | 1.79 | 0.44 | 0.70 |
表中 Voxtral 无假设在医疗上从 43.86% 恶化到 65.01%，其中 99.6% 是插入分量，平均每个参考词多出 0.50 个插入词，说明假设曾起到限制输出长度的作用，但区间包含零，且有声书上方向相反。GPT Audio 的有音频跨系统单元在两个语料上恶化 8.82 和 8.54 个百分点，破坏率达 21.3% 和 31.4%，但只覆盖有可用输出的片段且无区间。
更大的限制是提示词随音频一起变化，只有匹配提示的设计才能分离纯音频效应；完整因子只有一个人模型承担，另有两个商用接口存在版本漂移；合成语料来自模型可能见过的维基文本；也没有与为纠错训练过的模型比较。
要复现第一步该固定什么
先固定比较单位：同一批音频、同一个输入假设，只换是否给音频，其他文本归一化和对齐实现保持一致，并报告修好、破坏、插入和破坏率，而不只报总字错率。
关键细节是公共子集、归一化规则和对齐回溯方向。原文要求 7 个输出都非空才纳入主比较，并检查只用两单元公共子集和缺失按原样返回两种处理；归一化含小写、去标点和ё归并，无逆文本归一化；对齐用删除优先回溯。复现时应同时给出主规则和替换规则的结果，说明水平值会变但符号是否稳定。
调用条件要记录模型版本、调用时间、温度 0 和每句 1 次。商用接口会漂移，开源模型要记录权重版本和解码参数，否则破坏率这种对改动敏感的指标无法对比。没有收到作者资源可用性确认，不得默认代码、模型或数据已公开，应按论文描述自行实现流程。
什么时候值得试，什么时候要小心
如果纠错器本来改动积极、经常把对的改错，有音频更值得试，预期收益首先是少破坏，而不是总数一定下降。手头假设来自独立识别器时，更可能同时看到修好上升；改的是模型自己的初稿时，要做好修好也下降的准备，总数可能不变。
医疗口述这类复合词和填充词多的场景，要先决定评分是否对连写、分写和填充词敏感，否则插入分量会主导结论。对很少改动的模型，本文的克制结论不适用，需要重新测量三项分量。
还缺的验证是匹配提示的纯音频分离、在更多自然语料和更多模型上的重复，以及与训练过的纠错器的同条件比较。论文的建议是报告破坏率和三项分量，并把音频调用优先放在假设来自独立识别器的位置，但这只是基于当前证据的实践取向，不是跨模型的保证。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses