📄 主流英语一直好用，少数口音为何时好时坏：一次跨四年的语音识别纵向复查
标签：#语音识别 | #统计分析 | #口音与方言 | #公平性
评分：6.3/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Alexander Metzger：机构信息未在 arXiv HTML 中可靠披露
- Aruna Srivastava：机构信息未在 arXiv HTML 中可靠披露
- Ruslan Mukhamedvaleev：机构信息未在 arXiv HTML 中可靠披露
- Eunjung Yeo：机构信息未在 arXiv HTML 中可靠披露
- Syed Ishtiaque Ahmed：机构信息未在 arXiv HTML 中可靠披露
- Nina Markl：机构信息未在 arXiv HTML 中可靠披露
- Sachin Kumar：机构信息未在 arXiv HTML 中可靠披露
- Farhan Samir：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
自动语音识别把语音声学信号转写为文字，论文检验英语内部口音识别质量是否随模型换代趋于一致。输入是朗读与自发英语录音，输出是转写文本与词错率，难点是标准评测集中少数口音样本稀少且语域单一。作者先清点系统技术报告英文评测集对多口音的覆盖，再在外部多口音语料评测集上按发布时间顺序评测多代系统，以词错率比较标准口音与少数口音。在OpenSLR-83评测集上以词错率之差衡量，爱尔兰英语比标准南部英国英语平均高9%，方向为少数口音高于对照。在ALLSTAR小王子部分上以词错率之差衡量，越南口音英语比主流美国英语平均高26%，方向为少数口音高于对照。在8个数据集对2021—2025年16个系统的纵向评测中以词错率为指标，少数口音相对前代系统最严重时升高65%绝对词错率、方向为变差，而主流美国英语保持低词错率。该结论仅适用于上述英语口音评测集，其中标准-少数口音词错率之差显著缩小仅见于OpenSLR-83和L2-Arctic且前者近期反而扩大；原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://github.com/smfsamir/longitudinal-asr-eval — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音识别要把什么语音转成什么文字
自动语音识别的输入是一段录音，目标是输出与说话内容一致的文字转写。评价时通常把系统输出与人工标注的参考文本逐词对齐，算出词错误率，也就是插错、删错和替换错的词数占参考总词数的比例，越低表示转写越准。刚进入语音领域的同学可以这样理解流程：先把音频切成可评测的句子级片段，再统一文本写法，最后在每个口音分组内分别统计错误率，而不是把所有说话人混在一起只看一个总平均。
论文关心的不是某个系统绝对准不准，而是在同一批录音上，主流美国英语对照组与少数口音组的错误率差了多少，这个差值就是后文反复出现的性能差距。主流美国英语在这里是参照系，论文记为 MUSE，指在已有基准中被反复覆盖的美国主流发音；少数口音则指数据集中标注为第二语言背景或地域少数的发音，例如越南口音英语、韩国口音英语、爱尔兰英语等。
主流美国英语 × 少数口音 × 词错误率： 主流美国英语在本研究中是作为对照的参照口音，指在常用基准中占主导的美国主流发音；少数口音指数据集中以英语为第二语言或地域少数群体的发音，如越南口音英语、韩国口音英语等；词错误率是把系统转写与人工标注逐词对比得到的错误比例，数值越低越好，三者组合才能把差距量化为标准口音与少数口音在同一数据集上的词错误率之差。
论文要回答的担忧很具体：大家默认模型越做越大、数据越来越多，少数口音的差距会自然消失，这个假设是否成立。如果成立，差距应随发布时间稳定缩小；如果不成立，就需要专门把少数口音纳入回归测试，而不是指望规模顺带解决问题。
已有评测习惯为什么总能保住主流口音
论文先梳理了模型技术报告里实际用了哪些英语语音识别基准。它统计了从 Deepspeech 到 Omnilingual 共 16 个系统，每个系统报告中列出的英语转写评测集，并区分其中哪些明确关心英语内部的口音多样性。结论是口音多样性处于边缘位置：原文统计在技术报告列出的 61 次模型评测中只有 12 次包含口音多样性考虑，在 24 个不同的评测基准家族中只有 7 个有多中心英语口音的考虑，还有 WavLM、MMS 和 Omnilingual 3 个系统没有明确的口音多元考量，而主流美国英语从未被排除在外。
更关键的是覆盖方式不对称，主流口音会在朗读与自发、单人与多人、会议与有声书等多种场景被反复测量，少数口音即使被测，也往往只出现在朗读维基百科句子的单一场景。
标准评测基准 × 多口音评测 × 语言政策： 标准评测基准指模型技术报告中反复使用的英语语音识别数据集，如 Librispeech、Switchboard 等；多口音评测指明确考察多种英语口音差异的评测子集，如 Artie Bias Corpus、VoxPopuli 英语部分等；论文用语言政策来形容基准选择的作用，即长期只测主流口音就等于默认规定了什么口音值得被做好，三者搭配说明了为什么少数口音长期不在回归测试的保护范围内。
论文还解释了另外两种容易混淆的多样性。一种是多语种，即评测覆盖的语言种数变多，但很多多语种数据把每种语言当作内部同质的一箱，英语部分实际仍是主流美国英语。另一种是总时长，即用小时数、词数和说话人数代表多样性，从早期的 CALLHOME、Switchboard、WSJ 到后来的 TedLium 和 Librispeech 都有这种用规模代替人口结构的写法。论文提醒，这两条轴上的进步不等于口音轴上的进步，把整个 CommonVoice 混在一起算平均词错误率，会因为少数口音占比太小而掩盖退化，只有切到英语分区乃至口音分区才看得出来。
论文提出的假设是什么
论文把上述观察提炼为一个可检验的假设 H1：标准口音与少数口音之间的性能差距不会随时间系统性缩小，因为少数英语口音更容易在后续世代系统中遭遇显著的性能退化。这里的世代不是同一团队的迭代，而是指 2021 年 10 月到 2025 年 11 月期间由不同机构发布的不同系统按时间排成的序列，从 m1 记为 Deepspeech 一直到 mn 记为 Omnilingual。检验思路是把主流口音当作对照，把少数口音当作观察对象，在论文团队自选的、且原开发团队没有用过的外部多口音数据集上重测。
如果主流口音的错误率长期贴近零且波动小，而少数口音的错误率上下跳动且平均退化更大，就支持 H1。论文强调这不是要评选哪种训练算法更好，而是刻画一种基础设施层面的动态：基准长期保护主流口音，使其成为事实上的回归测试，而少数口音缺乏同等保护。
纵向复查的整体流程是怎样的
整体流程分三步。第一步是选系统，覆盖 2021 年后大模型预训练成为主流范式以来的代表性机构，包括 Mozilla、Microsoft、OpenAI、Meta、CMU、Alibaba、NVIDIA 和 Google，共 16 个 prominent 系统，括号中的同一家族多版本也一并纳入排序。第二步是选外部评测数据，要求带口音标注、同时包含第一语言对照和第二语言口音、且不在表一所列的原团队评测套件中，论文从 39 个候选出发，排除无标注、无对照、未获访问或噪声过多的，最终留下 4 个多口音语料并按任务切成 8 个评测集。
第三步是统一测量，对每个系统在每个数据集的每个口音上算词错误率，计算前先做语音评测常用的标准文本归一化，然后在每个数据集内固定对照口音，跟踪标准与少数口音的差距如何随发布时间变化，并统计所有出现退化的前后模型对的平均幅度。输入是原始波形加参考文本，输出是分口音错误率和跨时间的差距曲线，中间没有重新训练任何被测系统。
16 个系统和 8 个评测集各自负责什么
16 个系统负责提供时间轴上的观测点。它们训练数据、任务和目标各不相同，有的追求转写精度，有的追求覆盖更多语言，有的追求开放数据复刻，还有的扩展可完成的语音任务种类。论文不把它们当作同一次竞赛的选手，而是当作不同时期行业实际会拿来用的代表性做法，这样即使训练条件不一致，也能看出少数口音是否被系统性地保护。8 个评测集负责提供可比的口音对照。
它们来自 Speech Accent Archive、L2-Arctic 及其自发子集、OpenSLR83 和 ALLSTAR 的 4 个子划分，包括读小说小王子段落、读人权宣言和两组噪声下听力测试句子。每个评测集内部同时有标准对照和少数口音，前者如主流美国英语或标准南部英国英语，后者如越南、韩国、粤语背景或 Nkore 背景英语等。这种设计让差距的计算始终发生在同一录音条件和同一文本类型内部，避免把朗读和自发的难度差异误读成口音差距。
本研究训练了什么，没有训练什么
本研究没有训练任何新的语音识别模型，也没有微调被测的 16 个系统。所有被测系统都是直接调用已有权重做推理，得到转写后再统一评分。实际的计算工作集中在数据准备和评分上：对 Speech Accent Archive 只保留专家标注子集并去掉闲聊、自我介绍、实验员插话和噪声段，把数字统一成文字并按音素数切成等长片段；对 L2-Arctic 只保留专家标注的高质量朗读和手提箱自发讲述，并把自发语音裁到与朗读相近的时长；对 OpenSLR83 去掉少于 4 个词的短句并按方言和性别均衡抽样。
对 ALLSTAR 按句级时间对齐切分，去掉缺少对齐的段落和所有模型都完全失败的错位样本。评分前统一做标准文本归一化，再按口音分组统计词错误率。需要补记的是，原文没有报告推理硬件、耗时和解码超参数的完整清单，因此不能从本文推断各系统的部署成本或延迟差异，复现时应以转写准确性复查为目标，而不是效率对比。
评测数据长什么样，条件如何对齐
下表是论文给出的评测数据摘要，时长按每条样本的四分位距给出，样本数和口音数直接决定了分组统计的粒度。Speech Accent Archive 控制录音噪声和麦克风距离，所有人读同一段包含 Stella 购物的英文短文；L2-Arctic 每人约 1 小时朗读，另有手提箱看图说话的自发部分；OpenSLR83 覆盖英国和爱尔兰多个方言区；ALLSTAR 包含母语和英语第二语言配对录音，本文只用朗读部分。
论文还补充了说话人背景，例如 L2-Arctic 多为高校学生，ALLSTAR 多为高校学生，平均年龄和开始学英语的年龄都有记录。对齐条件的关键是每个数据集内部用同一批系统、同一归一化、同一口音划分来比较，跨数据集不直接比绝对错误率，因为文本难度和录音条件不同。
朗读语音 × 自发语音 × 文本归一化： 朗读语音指照着固定文本读出的录音，如读同一段短文或小说段落；自发语音指看图说话等没有固定底本的表达，如 L2-Arctic 的手提箱讲述；文本归一化指在计算词错误率之前按语音识别评测惯例统一大小写、标点和数字写法，三者组合决定了比较是否公平，即同一数据集内用同一种语音类型和同一种归一化后再算差距。
读懂下表要抓住比较问题：不同数据集的口音 inventory 不同，样本量差异很大，因此后文的差距和退化都只在数据集内部解释，不能把一个数据集的 26% 差距直接说成比另一个数据集的 9% 更严重，而应看各自随时间是否缩小。
| Dataset | Duration (s, IQR) | Samples | Accents | Speaker Demographics |
|---|---|---|---|---|
| Speech Accent Archive | 5.4–7.2 | 1,238 | nld, spa, ita, eng, fra, kor, tur, ara, por, deu, zho, rus | Mean age 33.31 (SD 13.57); started English at 10.53 (SD 8.49); 55.7% male. |
| L2-Arctic | 2.8–4.4 | 3,599 | vie, cmn, hin, spa, ara, kor | Iowa State University students; age 22–43, mean 29 (SD 6.9). |
| L2-Arctic Spontaneous | 6.2–7.3 | 22 | vie, cmn, hin, spa, ara, kor | Same as L2-Arctic. |
上表说明样本构成及其限制。优势是同时有标准对照和多个少数口音，且文本类型从单词到段落都有；限制也很明显，自发部分只有 22 条，OpenSLR83 的爱尔兰英语只有男性样本，Speech Accent Archive 不同样本的采集质量存在差异。这些限制意味着小样本分组的结果波动更大，解释时应更看重多数据集的一致模式，而不是单点数值。
标准与少数口音的差距随时间缩小了吗
没有看到系统性缩小。论文在每个数据集里取平均词错误率最高的少数口音与标准对照做差，画出随发布时间的变化，并计算发布时间顺序与差距大小的 Spearman 相关。只有 OpenSLR83 和 L2-Arctic 2 个数据集的相关为负且统计显著，数值分别为负 0.75 和负 0.60，但即使在这 2 个数据集里，最新系统的表现仍不稳定：在 L2-Arctic 上表现最好的 m13 对越南口音英语仍有 10% 词错误率的差距，在 OpenSLR83 上从 m13 到 m16 的最近几次发布反而每次都扩大差距，m16 的差距回到约 9.2% 的历史平均水平。其他数据集没有显著缩小，差距曲线高度非单调。
论文还给出平均差距的范围，从 OpenSLR83 上标准南部英国英语对爱尔兰英语的 9% 绝对词错误率，到 ALLSTAR 小王子段落上主流美国英语对越南英语的 26%，即使是相对简单的朗读句，最新世代仍有约 10% 的差距，自发语音则达到约 20%。下表把核心差距数字放在同一语境下对照，指标方向都是差距越小越好。
| 数据集 | 标准对照 | 少数口音举例 | 平均差距与最新差距 | 时间相关 |
|---|---|---|---|---|
| OpenSLR83 | 标准南部英国英语 | 爱尔兰英语 | 平均差距 9% 绝对词错误率，最新 m16 约 9.2% | 相关 -0.75 |
| L2-Arctic 朗读 | 主流美国英语 | 越南口音英语 | 最好 m13 仍有差距 10% 词错误率 | 相关 -0.60 |
| ALLSTAR 小王子段落 | 主流美国英语 | 越南口音英语 | 平均差距 26% | 无显著缩小 |
上表解释主要结论及其限制。收益是给出了差距的数量级和时间趋势的统计检验，避免只看单点好转就得出进步的结论；代价是相关系数只描述单调趋势，不能反映中间的大幅跳变，而且每个数据集只聚焦平均最差的一个少数口音，其他口音的模式需要看原文分口音曲线。未胜出的情况是其余多个数据集都没有显著负相关，这是支持差距顽固判断的关键负结果。
退化是如何定义的，少数口音退化更大吗
论文把退化定义为后发布系统在某口音上的词错误率高于 earlier 系统，增量记为后者减前者，只统计增量为正的模型对，再对这些增量取平均得到平均退化幅度。直观理解是把所有变差的换代都找出来，看平均 1 次变差多少个百分点。形式化写法采用原文集合定义，符号含义是先枚举所有满足时间在后且错误率更高的模型对，再收集它们的差值。
\[\mathbb{D}=\{d(m_{j}\to m_{i})\mid i\in[n],j\in[i],d(m_{j}\to m_{i})>0\}\]纵向比较 × 退化 × 平均退化幅度： 纵向比较指按发布时间顺序比较不同团队训练的 16 个系统在同一批外部数据集上的表现；退化指后发布的系统在某口音上的词错误率高于 earlier 系统；平均退化幅度是把所有出现退化的前后模型对的词错误率增量取平均，用来比较少数口音与主流口音谁更容易、更大幅度地变差。
结果是少数口音的平均退化在 8 个评测集中全部高于各自的标准对照。用自助百分位检验重复抽样 1000 次比较两者的平均退化，除 OpenSLR83 和 Speech Accent Archive 外，其余数据集的差异都显著。排序上主流美国英语在多数数据集里排在退化最小的前 2 名，而被选中的少数口音排位明显靠后，例如在两个 ALLSTAR 听力测试句子集上少数口音排在 22 个口音中的最后 1 名。例外也有信息量：OpenSLR83 的爱尔兰英语与南部英语退化模式相近，Speech Accent Archive 则因 whisper-v1 在主流口音上的 1 次大退化拉高了对照组的平均，这提醒平均退化会受单次大跳变影响，需要结合逐次退化一起看。
换代时一次能退化多少，有多具体
逐次退化的幅度可以非常大，而且集中在少数口音。下表整理的是从 m4 到 m5 即 MMS 那次换代在多个数据集上的退化量，指标方向是增量越小越好，比较条件是同一数据集同一口音的前后两代。论文指出 m5 在 Speech Accent Archive 上退化 18%，在 ALLSTAR 听力测试两组上分别退化 45% 和 65%，在小王子段落和人权宣言段落上分别退化 7% 和 9%，而同期主流口音的退化小得多。例子层面，论文给出转写对照，例如把 please call Stella 误写成类似 please costella，把 draw me a sheep 误写成 turn me a say，把 everyone has the right to a nationality 写成碎片化的词串，这些例子说明退化不是个别词的大小写差异，而是整句可懂度的损失。
| 数据集 | 少数口音 | 前代到后代 | 退化量词错误率增量 | 同期主流对照 |
|---|---|---|---|---|
| Speech Accent Archive | 韩国口音英语 | m4 到 m5 | 18% | 退化明显更小 |
| ALLSTAR-HT1 | Nkore 背景英语 | m4 到 m5 | 45% | 退化明显更小 |
| ALLSTAR-HT2 | Nkore 背景英语 | m4 到 m5 | 65% | 退化明显更小 |
| ALLSTAR-LPP | 越南口音英语 | m4 到 m5 | 7% | 退化明显更小 |
| ALLSTAR-DHR | 粤语背景英语 | m4 到 m5 | 9% | 退化明显更小 |
上表的主要收益是把非单调曲线的来源定位到具体换代，代价是单次大幅退化可能与某系统的训练目标有关，例如 MMS 以扩大语言覆盖为主要目标，不能据此推断所有扩大覆盖的系统都会同样退化。反例是主流口音在这些数据集上也有小幅波动，例如 Whisper-V1 在 L2-Arctic 主流口音上的波动，但幅度远小于少数口音，这是支持假设的不对称证据。
最新系统是否已经走出退化
并没有完全走出。论文指出即使是 2025 年的最新系统，仍在部分口音上出现退化。下表把最近 2 次换代和一个高排名系统的口音外表现放在一起，比较问题是脱离原团队常用基准后，强系统在少数口音上是否依然稳定。Omnilingual 相对 Canary 在 L2-Arctic 自发韩国口音上退化 15.4%，相对 Chirp-3 在 OpenSLR83 爱尔兰口音上退化 5.7%；Canary 虽然在 OpenASR 榜单上以 5% 错误率著称，但在 ALLSTAR 的粤语和 Nkore 背景口音上相对 earlier Whisper 版本分别增加 6.7% 和 10.1%，错误率几乎翻倍。指标方向同样是增量越小越好，条件是同一数据集同一口音。
| 数据集与口音 | 前代到后代 | 退化量词错误率增量 | 背景榜单表现 | 口音外含义 |
|---|---|---|---|---|
| L2-Arctic 自发韩国口音英语 | m14 到 m16 | 15.4% | 最新系统仍退化 | 自发更难稳定 |
| OpenSLR83 爱尔兰英语 | m15 到 m16 | 5.7% | 最新系统仍退化 | 地域少数仍脆弱 |
| ALLSTAR 粤语背景英语 | m3 到 m14 | 6.7% | 原榜单 5% | 榜单成绩外推有限 |
| ALLSTAR Nkore 背景英语 | m4 到 m14 | 10.1% | 原榜单 5% | 榜单成绩外推有限 |
上表解释了榜单成绩的适用边界：在原团队常用基准上很强的系统，换到未覆盖的少数口音时可能明显变差。限制是这些数字只针对被选中的少数口音和特定换代，不能推广为每个新系统都比旧系统差，全程趋势仍需看分口音曲线。尚未评测的范围包括论文未覆盖的口音、噪声条件和对话场景，结论只在所用的 8 个评测集内成立。
这些结论在什么条件下才成立
第一，结论依赖外部数据集的选择。论文特意选用原开发团队没有用过的多口音数据，因此观察到退化并不奇怪，关键证据是退化的不对称性，即少数口音退化更大，而不是有没有退化本身。如果换一批录音条件或文本难度，绝对数值会变，但多数据集一致的不对称模式才是可复述的重点。第二，时间轴是异构比较，不同系统由不同团队、用不同数据和流程训练，不能把某次退化归因于某个具体训练改动，论文也没有做消融来分离数据、模型和解码的影响。
第三，统计口径是分组平均和最差口音聚焦，平均会掩盖组内差异，聚焦最差会放大问题，论文同时给出排序和自助检验来平衡，但解读时应说明这是组间比较，不是针对某个说话人的判断。
规模启发式 × 多语种覆盖 × 总时长： 规模启发式指认为模型更大、数据更多就会自动变好的开发思路；多语种覆盖指评测覆盖的语言种类数；总时长指基准语音的总小时数；论文指出后两者是另外两种多样性刻度，但语言种类多或小时数大并不等于少数英语口音被充分代表，因此不能用它们替代口音层面的直接测量。
一个常见误解是把多语种或大时长当作口音公平的证据。论文用实例说明，Fleurs 英语部分实际仍是主流美国英语，把 CommonVoice 全量混在一起算平均会稀释少数口音，只有切到英语分区乃至口音分区才有效。另一个误解是把相关当因果，发布时间与差距的相关不显著不等于时间无影响，只能说没有看到随时间系统性缩小的证据。还有一个误解是把榜单强等同于口音鲁棒，Canary 的例子恰好说明榜单外可能翻倍，需要补做口音分层的回归测试。
要复现这篇工作第一步做什么
复现的第一步是按论文附录重建评测集划分和归一化，而不是直接下载原始语料就算数。需要分别处理 4 个来源：只取 Speech Accent Archive 的专家标注子集并按规则去掉未转写段；只取 L2-Arctic 的专家标注朗读和手提箱自发，并把自发裁到相近时长；对 OpenSLR83 去掉过短句并按方言性别均衡抽样；对 ALLSTAR 按句级对齐切分并去掉错位样本。
然后用同一套文本归一化对所有系统的输出评分，按口音分组算词错误率，再在每个数据集内算标准对照与平均最差少数口音的差值，并按发布时间排序计算 Spearman 相关和平均退化幅度。论文提供了纵向评测的代码仓库链接，第三方可达性不等于作者已开源全部权重，复现时要区分代码可用、权重可下载和端到端可运行三件事，缺失权重或解码配置时应先记录版本，再补做小规模抽查。
关键信息条件是口音标签、朗读与自发的划分、归一化规则和模型版本时间线，缺其中任何一项都会改变可比性。
什么时候值得参考这篇工作，还缺哪些验证
当团队准备发布新的语音识别或语音大模型，或者要把已有系统用在口音多样的客服、教育、医疗和会议场景时，值得参考这篇工作的检查清单：保留主流口音对照，同时增加至少一个少数口音分组的回归测试；报告分组差距而不只报告总平均；在换代时报告前后差值，重点看是否出现少数口音的大幅退化。
复现第一步是先跑通一个最小闭环，即选一个数据集的一个标准对照和一个少数口音，用两三个公开系统验证能否复现差距为正且少数口音波动更大的模式，再扩展到全部 8 个评测集。还需要补的验证包括更大规模自发对话的口音分层、女性与男性在爱尔兰英语等分组中的覆盖、不同解码和归一化对差距的影响，以及把平均退化与中位数退化并列报告以减少单次大跳变的影响。
只有在相同分组、相同文本类型和相同评分规则下，差距缩小或退化减小的结论才成立，否则不宜把规模增长直接宣传为公平改善。
📎 论文与评分元数据
排名：前50% | 文档类型：应用研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses