以单语微调对抗多语诅咒：BuzzASR 的百语种适配路线

英文题目：BuzzASR: A Swarm of 100+ Monolingual Speech Recognition Models

标签：#语音识别 | #SFT | #多任务学习 | #多语言 | #开源工具

评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Shivam Singh：UC San Diego
• Aditya Yadavalli：UC San Diego
• Catherine Arnett：EleutherAI
• Alex Warstadt：UC San Diego

📌 核心摘要

自动语音识别需将多语言语音输入转写为对应正字法文本，难点在于Whisper等多语言模型在低资源语言和非拉丁文字上分词碎片化导致序列过长且声学文本联合建模欠拟合。BuzzASR先为每种语言训练专用字节对编码分词器并以原嵌入加权和热启动替换多语言分词器，其输出的更短目标序列进入解码器语言建模预热阶段。随后解码器先在单语文本数据上微调以补足词法句法先验，再与语音文本对以一半文本比例混合多任务训练使编码器与解码器协同，最后仅用语音数据收尾微调并按FLEURS开发集词错误率选优。与保留单一多语言分词器和解码器的做法不同，专用分词器提升每词元字符数与词汇利用率并压缩解码长度，从而同时改善精度与速度。在FLEURS与Common Voice合并测试集评测下，与Whisper-large-v3零样本基线相比，最优微调模型的归一化character error rate中位数为7.6%，从15.5%降至7.6%。增益集中于Whisper最差的51种语言，中位压缩达3.45倍，阿姆哈拉语等10种语言超6倍，并在102种语言中27种取得开源最优。单语模型的适用边界受限于已知语言场景，多语言覆盖需部署多模型且代码切换与跨域泛化尚未验证。全部实验使用8×A100-80GB硬件，专用分词器使解码器延迟带来约1.6倍全局中位加速，计算量差异源于序列长度而非每词元吞吐。

🔗 开源与复现资源

• 代码相关资源：https://lemn-lab.github.io/buzz-asr — 链接不可用（HTTP 404）

• 模型相关资源：https://lemn-lab.github.io/buzz-asr — 链接不可用（HTTP 404）

• 第三方资源：https://github.com/jitsi/jiwer — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么矛盾？

本文的输入是待识别的语音波形与目标语言标识，输出是该语言的文字转写。目标读者是刚进入语音识别的研究生，需要先建立可复述的链条：音频如何变成文字，评测如何跨语言比较，微调如何只改一种语言而不重训通用大模型。论文面对的矛盾是大而全的多语模型在一个模型里服务上 100 种语言，但在训练数据偏向英语与高资源语言时，低资源语言与非拉丁文字语言的切分过碎、词法语法学不足，导致识别错误居高不下。作者不主张继续把所有语言压进一个模型，而是为每种语言各训一个专用模型，用相对少的单语资源去校准一个已有的强起点。

为此必须保留 3 类信息才能复述方法。第一是数据边界：102 种语言以 FLEURS 为准，辅以 Common Voice 第二十五版与纯文本语料，语音侧上限约 100 小时，文本侧每语言至少一定规模。第二是模型起点：全部实验从参数量 1.55 B 的 Whisper-large-v3 出发，不换主干结构。第三是输出形态：主要指标是归一化后的字符错误率，同时在附录报告词错误率，测试是 2 数据集测试集的合并，缺少 Common Voice 的语言只用 FLEURS。本文后续按任务与路线、方法全景、组件计算、训练构造、实验条件、结果反证、复现收束展开，每节只承担一个教学任务。

同输入同目标的前人路线有何不同？

低资源与多语语音识别的前人工作可以按同输入同目标来对照。早期路线是为单个低资源语言各建单语或小多语系统，输入输出与本文相同，但依赖手工数据清洗与小模型，难以复用大规模预训练表示。随后是多语预训练加少监督、自监督表示如 wav2vec 一类路线，目标是用无标注音频学通用声学表示，再用少量标注微调，运行阶段仍多为一个多语模型服务多语言。与本文最接近的是直接微调 Whisper 及其参数高效、提示调优、多任务等变体，但已有工作多只做少数语言或少数域，没有把朴素单语微调推到百语规模。

数据集路线同样需要区分。Common Voice 是众包持续增长的多语库，FLEURS 是由英文维基经专家翻译并由母语者录制的平行语料，覆盖 102 种语言，训练约每语言 10 小时，开发与测试各数百到上 1000 条。Omnilingual 等新语料把覆盖推到数 100 种语言，但本文只用 FLEURS 与 Common Voice，因为二者质量较高且覆盖对齐，适合做百语对照。文本域的启示是小单语生成模型可在数百语言规模上超过大而全的多语模型，本文把类似假设搬到语音：容量有限与无关语言负干扰即所谓多语诅咒，可能是多语模型在多数语言上打折的原因，单语专用模型值得系统检验。

为什么高资源语言够用而低资源语言不够用？

问题可以沿一个样本走完。输入一段 30 秒以内的 16 kHz 音频，Whisper 编码器先做声学编码，解码器在交叉注意力下自回归生成文字。若目标语言在预训练中占比极低，两个环节都会受损。编码器侧的声学差异尚可通过少量语音校准，解码器侧的词法句法与词表切分更难，因为原字节对编码词表是在偏英语的分布上训练，词汇量 51,865 中含特殊符号与语言标记，对非拉丁文字切得很碎，序列变长且延迟上升。

教学上举一个论文给出的例子帮助理解切分问题。德语复合词速度一词在新训练的德语词表中可拥有专属词条，而原多语词表缺少该合并，需要拆成 4 个子词。例子只是说明切分粒度，不代表所有语言都有同等幅度的压缩收益。更一般的困难是部分语言仅有 FLEURS 约 40,000 英文词量级的语音文本对，远不足以从零学好词典与语法，但纯文本往往多出几个数量级。因此本文把问题拆成两问：语音对齐不足时能否只微调解码器补语言知识，切分过碎时能否换词表并用文本把新词向量训充分。

两条适配路线各走哪几步？

论文比较两条可运行的适配路线。简单微调是最小路线：不换词表，把整个 Whisper 模型放在单语对齐数据上用语音识别目标微调。完整微调是 3 段式复杂路线：先做分词器替换，再做文本与语音的多任务微调，最后以纯语音识别微调收尾。两条路线共享同一主干与同一评测，区别在于是否引入新词表与纯文本训练。全部 102 种语言每种都走这两条路线并各试少量学习率配置，最终每语言每路线选开发集最优，共得到 612 个微调模型。

简单微调 × 完整微调： 简单微调只把整个 Whisper 编码器加解码器放在单语语音文本对上做语音识别目标训练，分工是保留原声学特征并校准该语言输出；完整微调先做分词器替换，再做文本与语音多任务训练，最后做语音识别收尾，分工是先换表示单位再补语言知识，搭配理由是新词表需要大量文本才能训充分，组合意义是同时解决序列过长与文本知识不足两个问题。

下图是两条路线的方法总览，左侧三块分别对应分词器替换、文本微调与语音识别微调，顶部标注了简单微调只用第 3 步而完整微调用 3 步串联，右下角强调该流程对 102 种语言逐语重复，阅读时先沿输入到输出的主路径再看分支如何汇入解码器。

看图路径： 1. 先看顶部简单微调与完整微调两条主路径的编号与箭头走向；2. 再看左侧分词器替换中原词表与新词表之间暖启动箭头；3. 最后确认右下角乘以 102 的含义是每种语言独立走一遍流程

论文图 2。原论文 Figure 2:：“Overview of our two language adaptation approaches.”。

从图中可见简单微调路径最短，直接从单语语音文本进入编码器加解码器更新；完整微调先在左侧把原词表与原嵌入换成适配嵌入，再在中间用单语文本只训解码器，最后在右侧用单语语音文本训整体。图中文本损失与语音识别损失用虚线标出监督来源差异，编码器在文本阶段喂随机向量并冻结，这是后文理解梯度路径的关键。掌握该总览后再进入组件细节，就不会把换词表与加文本两件事混为一谈。

分词器替换与两类微调如何计算？

分词器替换的第一步是为每种语言在同语言纯文本上训练一个与原词表等大的字节级字节对编码器，词表大小保持五万一千八百六十五，从而无需调整特殊符号块与输出头尺寸，并沿用与 Whisper 相同的前切分器。关键在嵌入初始化：重合词条直接复制原嵌入，新词条先用原分词器切分子词，再取对应原输入嵌入的平均作为新嵌入，对输出投影矩阵做完全相同的暖启动，并保持输入输出映射一致。这样新词一开始就继承了原模型在静态嵌入层编码的词义碎片，而不是从随机点重学。

分词器替换 × 暖启动初始化： 分词器替换负责为每种语言重新训练字节级字节对编码词表，使常用词获得更短切分；暖启动初始化负责把新词向量从原 Whisper 词向量继承而来，重合词直接复制，新词取原切分下子词向量的平均，搭配理由是避免随机初始化丢掉已学词义，组合意义是新词表一开始就带有可用的输入与输出表示。

语音识别微调更新整个编码器解码器，损失是对标签词元的交叉熵并把填充位置屏蔽。文本微调只更新解码器，目标是下一词元预测，编码器输入为随机嵌入且在反向时冻结，梯度只流经解码器。论文给出两点安排理由：句法高度语言相关且主要由解码器负责输出合乎语法的文本，文本输入有助于补句法；换词表后新词需要大量训练而词表只被解码器使用，纯文本恰好能低成本地把新词训充分。多任务微调把两类样本放在同一阶段，每个小批量以概率抽语音或文本样本，语音占比记为超参数，取一时退化为纯语音，取零时退化为纯文本。

语音识别微调 × 文本微调： 语音识别微调用对齐语音文本对同时更新编码器与解码器，分工是学声学到文字的映射；文本微调只用单语文本以自回归目标更新解码器，编码器喂随机向量并冻结，分工是学语法词法与新词表用法，搭配理由是文本比语音更易获得，组合意义是在语音不足时仍能让解码器适应新语言。

沿一个样本走完：格鲁吉亚语句子先经新分词器切成较短词元序列，文本阶段解码器在该序列上学自回归预测并更新嵌入与解码器权重；语音阶段同一句话的音频经编码器得到声学表示，解码器在交叉注意力下生成对应词元并计算语音识别损失，同时更新编码器与解码器。原文未给出逐层梯度公式与除学习率外的全部优化细节，复述时只按证据说明冻结与更新边界，不从模型名称推定未报告的实现。

数据、超参数与早停如何构造训练？

语音文本数据来自 FLEURS 与 Common Voice 第 25 版，语言集合限定为 FLEURS 的 102 种。为控制算力，高资源语言语音限制在约 100 小时，Common Voice 每语言上限 90 小时，测试每语言上限 2000 条，达到上限的语言按上限截断，不足 2000 的全部评测，无 Common Voice 的 25 种语言只用 FLEURS。FLEURS 转写直接使用归一化文本，Common Voice 只做轻量归一化即小写、统一正则去标点与空白归一，不改内容词。音频重采样到 16 kHz，单条输入至多 30 秒。纯文本每语言从鱼食语料抽 500,000 行，仅坎巴语无覆盖而改用 FLEURS 训练转写，文本经统一码组合归一、小写去标点、按主文字占比过滤与精确去重。

多任务微调 × 混合比例： 多任务微调负责在同一阶段内混合语音识别样本与纯文本样本，每步按概率抽取一类并计算各自损失；混合比例负责控制语音样本占比，搭配理由是两类数据量级与梯度来源不同需要显式平衡，组合意义是用一个超参数在声学对齐与语言建模之间分配训练量。

优化统一用 AdamW，每设备微批量为 2，有效批量为 2 乘梯度累积，简单微调用 150 步预热与约 4×10 的负 5 次方权重衰减，完整微调用 200 步预热与 0.01 权重衰减，最多 6 轮并按 FLEURS 开发集词错误率每 100 步评测早停，简单微调耐心为 3，完整微调耐心为 5。简单微调编码器学习率为解码器的 0.3 倍以保护声学特征，完整微调对嵌入与解码器用乘子调节固定基率。每语言每路线训 3 种学习率配置并选开发集最优，简单微调跑 2 个随机种子，完整微调跑 3 个随机种子。

主实验多任务比例采用一半语音一半文本，附录比较过更低语音占比与更大文本量，发现更大语音占比更好，把文本从 500,000 行加到 2,500,000 行几乎无增益，但更高语音占比与退火课程仍待验证。

评测与基线在什么条件下可比？

主指标是归一化字符错误率，附录同时报告词错误率，计算用公开的 jiwer 工具，该工具链接在本次核查中可达。论文强调以字符错误率为主的原因是词长跨语言差异大，词错误率可比性较差。所有分数都是 FLEURS 加 Common Voice 合并测试集，有 Common Voice 的 77 种语言为合并集，无覆盖的 25 种只报 FLEURS。基线包括零样本 Whisper-large-v3 与 Omnilingual 一 B 七 B、多语 MMS、Qwen3 语音识别与 Cohere 转写等，其中后两者只提供非归一化分数。Whisper 支持的 83 种语言用对应语言标记解码，不支持的 19 种用最相近的支持语言标记提示，例如阿斯图里亚斯语用西班牙语等，完整映射见附录。

字符错误率 × 词错误率： 字符错误率按字符统计插入删除替换，分工是跨语言可比且不受词长差异影响；词错误率按词统计，分工是反映下游可读性与词级正确性，搭配理由是论文以字符错误率为主并在附录同时报告词错误率，组合意义是避免因分词习惯不同而误判多语改进幅度。

解码条件需要逐项核对。主评测所有系统含零样本基线统一用贪心搜索，束宽为一并带重复抑制与重复惩罚，不外挂语言模型融合。延迟附录为隔离词表影响改用无重复惩罚的纯贪心、半精度、批量一、最大新词元二百五十六、在单卡上计时，因此延迟数与主精度数不在完全相同的解码配置下，不能直接混读。17 种核心语言的子集被启发式选出以覆盖语系文字与资源等级，用于超参数试点与多项补充实验，主结论仍以 102 语言为准。硬件为 8 卡 A100 八十 G，资源预算有限是作者解释数据截断与配置数较少的原因。

主结果在哪些语言上成立，在哪里失效？

要回答最佳单语模型是否超过零样本 Whisper，需要同时看胜出语言数、误差下降倍数与绝对误差。论文报告最佳微调在 77 种语言上更优，平均下降约 2.8 倍，中位数绝对误差从 15.5%降到 7.6%。改进在 Whisper 原本最差的 51 种语言上更大，中位数下降 3.45 倍，阿姆哈拉语、马耳他语、库尔德索拉尼语等 10 种语言下降超 6 倍。几乎无改进的多为原本误差已低于十的高资源语言如英语俄语法语荷兰语瑞典语，芬兰语与马拉地语等少数语言微调后明显变差，作者推测为微调不稳定而非方法必然失效。

下表先看 17 种抽样语言的背景分布，确认补充实验覆盖了不同文字语系与母语人口量级，避免只用高资源欧洲语言得出结论，表中语种信息基于截至 2026 年的维基与民族语数据整理。

上表显示抽样包含阿拉伯语、粤语、格鲁吉亚语、普什图语、泰米尔语等非拉丁或非印欧语言，以及德意西等高资源对照，表中坎巴语等极低资源情形在后文词表部分另有说明。抽样合理后再看主精度表，该表把胜出数、倍数与绝对误差放在同一问题下比较，指标方向均为越低越好，公平条件是同一合并测试集与同一贪心解码。

上表的主要收益是低资源语言改进最大，代价是高资源语言几乎无增益且个别语言退化，不能把平均 2.8 倍理解为每种语言都提升。对外部基线，最佳单语模型在 27 种语言上达到开源最优，若按词错误率则为 39 种；对更可比的 Omnilingual 一 B 胜出 60 种，但对大七 B 版本仅胜出 42 种，说明换更大通用模型仍可能反超。对 Qwen3 与 Cohere 则在绝大多数语言上胜出，但后两者为非归一化分数，可比性弱于归一化对照。

下表聚焦分词器压缩率，比较单位是每词元字符数，方向为越高越好，公平条件是同一文本样本上的新旧词表对照。

上表说明新词表几乎在所有语言上压缩更高，非拉丁文字中位增益更大，序列缩短同时带来推理延迟下降，但压缩增益与识别增益只是中等正相关，词表只是众多因素之一。未胜出项必须保留：中日韩表意文字压缩后仍偏低，拉丁高资源语言压缩增益接近一，说明换词表不是万能。

拿掉暖启动、换词表与单语设定会发生什么？

消融按可运行策略组织，先看分词器初始化。论文在 17 种核心语言上比较暖启动、随机初始化与追加合并 3 种替换，暖启动中位字符错误率为 7.4，另两种分别为 15.1 与 15.7。阅读下图时先看箱体中线再看上下沿，暖启动整体更低，随机与追加差异不大，纵轴已为展示截断离群点，不能据此读出被截掉的极端值。

看图路径： 1. 先对比横轴三种策略箱体的中线高度；2. 再看暖启动箱体上下沿是否明显低于另两组；3. 最后注意纵轴为合并字符错误率且已为展示截断离群点

论文图 6。原论文 Figure 6:：“Comparison of tokenizer replacement strategies. We use the warm-start approach in our main experiments. For presentational reasons, we limit the y-axis, excluding some outliers.”。

上图显示暖启动明显占优，支持继承原嵌入的安排，代价是实现比随机初始化多一步平均操作，随机初始化在新词多时欠训练问题更突出。下表把该结论数字化，指标方向越低越好，条件是同为十七语言的 3 次运行比较。

上表未胜出项是随机与追加，它们并非不可用，只是在给定文本量与训练步数下明显更差，不能推广为任何数据量下都必然失败。再看是否需要换词表。论文增加无换词表的多任务对照，记为简单微调加多任务，发现完整微调优于该对照，而该对照与简单微调差异很小，说明多任务若无新词表帮助有限，换词表与加文本需要搭配使用。

看图路径： 1. 先看三组从左到右的条件差异是否只差分词器替换；2. 再对比中间多任务无替换与左侧简单微调的箱体高度；3. 最后确认右侧完整微调的箱体是否更低更集中

论文图 9。原论文 Figure 9:：“Ablation of tokenizer replacement from the full fine-tuning setting.”。

上图 3 个箱体从左到右依次为简单微调、无替换多任务与完整微调，右侧完整微调更低更集中，中间对照并未相对左侧带来稳定增益。接着看单双语对照，10 个语言对中 5 个相关 5 个无关，单语几乎总是优于最佳双语，无关对与相关对的中位优势分别为 1.25 倍与 1.24 倍，仅粤语加格鲁吉亚语出现双语反超，提示小多语未必总是有害但总体不支持用双语代替单语。

看图路径： 1. 先确认横轴为单语最优纵轴为双语最优及对角线含义；2. 再区分黄色无关对与深色相关对的分布位置；3. 最后找出落在对角线上方与下方的点各代表哪种优劣

论文图 8。原论文 Figure 8:：“Comparison of monolingual simple fine-tuning and bilingual simple fine-tuning for 10 language pairs (5 pairs of related languages and 5 pairs of unrelated languages).”。

上图对角线是单双语持平线，上方点为单语更优，下方为双语更优，多数点在上方且语系相关性不改变趋势。最后看域的影响，只用 FLEURS 训练的模型在 Common Voice 异域上比混合训练差 1.15 倍，在 FLEURS 同域上好 1.33 倍，在合并集上仅差 1.03 倍，说明部分增益来自训练测试域对齐，但远不足以解释平均 2.8 倍的提升。

上表同时保留了反例与边界：异域损失与双语特例说明单语加域内数据并非在所有部署条件下最优，跨域与代码切换等场景仍需额外验证。

哪些结论不能推广到部署？

论文明确报告 3 类限制。第一是起点单一，只在 Whisper 上做微调，更大的 Omnilingual 七 B 在多数语言上仍是最优，作者预期若在该更大模型上做同样的单语微调可能更好，但受限于该模型较大与已有管线多基于 Whisper 而未做。第二是数据只用了一小部分，高资源语言截断到约 100 小时，还有许多语言未纳入，性能仍有提升空间。第三是评测域局限，测试集即训练集的同源划分，附录显示异域性能会打折，多方言、多域与代码切换未系统评测。

部署成本需要分开讨论。单语模型在已知语言时最好，但要覆盖多语言就需部署多个模型，总体算力高于一个多语模型；本文用全量微调而非参数高效微调，内存效率较低。推理延迟方面，完整微调因序列缩短带来全局中位约一点 6 倍加速，拉丁、西里尔、阿拉伯与其他小文字均有加速，婆罗米系加速较小，中日韩基本持平，其中日语因生成失败而过长，说明趋势不等于每组每步都成立。训练资源、推理开销与实际延迟应分别看待，未测量误判率与线上延迟时不应承诺这些量必然改善。

复现先做什么，需要哪些配置与验证？

复现应先锁定可运行的最小闭环。第一步按论文取 FLEURS 目标语言训练划分与 Common Voice 对应语言数据，音频重采样 16 kHz 并截断 30 秒，文本按论文做轻量归一化，用 jiwer 计算归一化字符错误率与词错误率，解码先用贪心束宽 1 加重复抑制以对齐主结果，再另配附录的纯贪心半精度条件复现延迟。第二步先跑简单微调 3 组学习率并按开发集词错误率选优，编码器学习率取解码器 0.3 倍，早停耐心 3。

再跑完整微调，先在同语言纯文本上训等大词表并做暖启动，再按一半语音一半文本多任务训练，最后纯语音收尾，早停耐心 5。第 3 步用 17 语言子集做试点，验证暖启动优于随机、单语优于双语、异域略差等定性趋势后再扩展到全量语言。

关键超参数与信息条件要保留。文本每语言 500,000 行、语音上限约 100 小时、测试上限 2000 条、微批量 2、有效批量 2 乘梯度累积、最多 6 轮、每 100 步评测，这些是复现公平性的前提。论文正文声明发布所有模型代码与详细结果并给出项目链接，但本次核查该项目链接返回 404 当前不可用，因此不能写成当前可下载；第三方 jiwer 链接本次核查可达，可作为指标工具链的起点。还需补的验证包括跨域测试、更大语音占比与退火课程、其他主干上的单语微调，以及对芬兰语等退化语言的多次种子复测，避免把单次不稳定当成方法定论。

何时值得尝试单语微调，何时不必？

综合证据，值得尝试的情形是目标语言在通用多语模型中错误率高、词表切分明显过碎、有一定单语语音加较多单语文本可用，且部署时已知语言只需服务该语言。此时简单微调已能带来大幅下降，若压缩增益大则进一步做换词表加文本多任务的完整微调更可能获益。不必优先尝试的情形是高资源语言且原模型误差已很低、推理需同时覆盖多语言或频繁代码切换、运维无法承担每语言一个模型的成本，此时大而全模型或参数高效方案可能更合适。

复述时要守住三句话。第一，方法不是新结构，而是把朴素单语微调推到百语规模并补上词表与文本两块短板。第二，证据强度分层：七十七语言胜出与二十七语言开源最优是直接报告，压缩与延迟改善是测量支持，句法由解码器负责等是有限解释，单语必然优于小多语仍是待验证。第三，数字必须带条件：平均 2.8 倍、中位 2.18 倍、均值 2.84 倍、绝对误差 15.5 到 7.6，均指归一化字符错误率在合并测试集上的最佳单语相对零样本，不能换成词错误率或异域条件直接引用。守住这些边界，后续工作才能在更多语言与更大主干上继续检验单语路线的价值。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-11 语音/音乐/音频论文速递