📄 低资源语音识别中的语言迁移:多语模型在小样本微调后学到什么
评分:7.1/10 | 创新 1.2/2 | 技术严谨 1.3/1.5 | 实验充分 1.3/1.5 | 清晰度 0.9/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5
👥 作者与机构
- Husein Zolkepli:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
论文研究多语言语音识别模型仅用少量转写微调后,对未见低资源语言能迁移多少知识;输入语音和语言提示,训练附转写,输出目标书写系统字符序列。 Low-Language-TTS 含 50 个低资源语种、11 种书写系统、1,250 段、2.56 小时、514 名说话人,每语种 25 段;训练集剔除测试/开发片段及其句子、相同音频后得 129,236 段、279 小时、27,206 名说话人,主实验每语言最多 1,000 段,共 42,816 段、82 小时。 50 语一起训练,开发集逐轮选检查点,测试集报告结果;主指标为按语言等权宏平均字符错误率(CER),并报告词错误率(WER)。 方法上,先给各模型族补足语言接口,包括语言标记、提示、输出行或缺失字符行,形成能接收语音和语言提示的扩展模型。 再以筛出的语音混合训练;微调模型输出字符序列,最后 CTC 的贪心输出送入按语种的词级 4-gram 语言模型重解码,得到最终转写。 在 Low-Language-TTS 的 50 种语言测试集上,按宏平均 CER 计,MMS 1B 从未微调的 30.6 降至微调后的 11.0,最佳 omniASR CTC 7B 的 9.5 低于 MMS 1B 的 11.0。 同一测试集上,词级 4-gram 重解码使三个 CTC 模型的宏平均 CER 比贪心解码低 1.2 至 1.4 分,MMS 1B 的 WER 由 40.1 降至 34.4。 在 12 个无人列出的语言上,宏平均 CER 从微调前 46 或更差降至最好 11.7;同架构随机权重的宏平均 CER 高于预训练微调 60 到 77 分。 在 FLEURS 与本文语料不共享的录音上,中位模型保留 79% 的 CER 增益;该评估中,微调使中位模型在英、西、法、德上的 CER 比微调前增加 5.7 分。 在同一测试集上,LoRA 训练约 4% 参数,Whisper large-v3 的宏平均 CER 比全量微调高 1.1 分。 结论适用于父语料抽样、少量转写的低资源场景;限制是每语言测试仅 25 段、50 语共享母语料、仅 4 语言外部复核、多数单种子,且未发布代码、权重或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
从波形到文字:任务、输入与评价对象
语音识别系统的输入是一段音频波形,输出是对应的文字串。低资源语言的问题不在波形本身,而在可用的转写太少:一种语言可能只有几十条到几千条公开片段,说话人和录音条件还很杂。多语预训练模型先在几十、几百甚至上千种语言上听语音,形成了声学编码器、字符表或文本语言模型;本文要问的是,把它拿去微调一种原先没训练过的语言时,预训练究竟带来了什么,少了预训练又会怎样。
识别结果要按文字比较,而 50 种语言跨越 11 种文字系统,不能简单用“单词” 作统一单位。论文因此把每种语言的字符错误率先算出来,再对语言等权平均,得到宏观字符错误率;同时报告词错误率,说明字符层面接近正确离可读草稿还有多远。评价还规定每条片段的错误数不超过片段自身长度,避免解码器卡在循环时把一条片段算成极长错误,掩盖其他语言和模型之间的差异。
已有路线:多语预训练、单语微调与少量适配
语音识别的跨语言迁移并不新。早期工作已经显示,把一个英语模型的少量权重改给德语使用,比从零训练便宜得多;随后有研究发现,先用多种语言训练通常更有利,而目标语言与预训练语言的相似程度会同时受音系、书写和数据条件影响。多语模型路线从 XLS-R 的 128 种无标签语言,扩展到 MMS 的 1,107 种、Omnilingual ASR 的 1,600 多种;Whisper 列出 99 种语言,较新的 Parakeet、Canary、Qwen3-ASR 等则用更少语言换取更强的识别能力。
低资源微调通常每次只处理一种或少数几种语言,例如把 Whisper 微调到阿姆哈拉语、北库尔德语或 Malasar,或给格罗宁斯语、西弗里斯兰语做数据增强。也有研究关注数据量:非洲语言上的实验往往在前面一小部分数据就得到大部分收益;不同预训练编码器在小数据下的保持能力也不同。与它们最接近的对照,是在 13 种非洲语言上比较 Whisper、XLS-R、MMS 和 w2v-BERT。
另一条线是适配器和遗忘。一个网络学了新东西会丢掉部分旧能力;低秩适配器只训练少量新增权重,MMS 用每语言的小适配器扩展语言,已有工作也把适配器用于减少语音识别遗忘。CTC 模型还能用词语言模型重排输出。本文新增的是同一套 50 语言测试集、尽量覆盖当前解码器族、随机权重对照、另一个语料的核验、对已知语言的代价,以及适配器和词语言模型的直接比较。
论文要回答的具体问题与对照设计
本文的核心问题是:当一种语言完全不在模型卡或模型语言表里,只给它最多 1,000 条带转写片段时,预训练到底能带来多少收益?这个收益不能只用“微调后错误率下降” 说明,因为模型可能只是记住了同一来源的语料,或者只是被提示了语言名。于是论文设置了 4 类控制:相同架构从随机权重训练;分别冻结编码器和解码器;每种语言单独训练;以及选 12 种任何模型都没有列出的语言,观察在没有已知语言先验时还能不能学会。
围绕实际使用,论文还问几个操作问题:训练更久有没有用;每条语言能少到多少条;用 Common Voice 代替本文训练语料是否可行;在一个没有共享录音的语料上,微调收益是否还在;学习 50 种新语言会损伤多少已会语言。
先学 40 种低资源语言,会不会让第 41 种学得更快;LoRA 和 MMS 的小适配器能否接近全量微调;CTC 输出加词语言模型能带来多少词级收益。最后一节把同样模型放到马来语电话数据上,检验训练语料与测试语料语域不同时会发生什么。
整体流程:先零样本评分,再用同一小训练集微调
论文先取公开的多语模型。按摘要给出的范围,28 个可直接转录的多语模型先原样评分,24 个进入微调;论文还把 Gemma 4 和 LFM3-Audio 这类通用助手加入比较。测试集是 Low-Language-TTS:50 种低资源语言、11 种文字系统,每种语言 25 条片段,共 1,250 条、2.56 小时、514 名说话人。训练集从同一父语料中抽取,但要去掉测试和 dev 的句子及相同解码音频,并尽量让测试说话人不出现在训练中;主运行每种语言最多用 1,000 条,50 种语言合计 42,816 条、82 小时。
微调时,50 种语言一起训练,每个 epoch 后在 dev 和测试上评分,但只有 dev 决定选哪个 epoch。所有模型用同一套优化器、梯度裁剪和贪心解码作为主设置,学习率按模型在 dev 上单独选。模型族需要不同的“入口”:Whisper 加语言 token,Cohere 用未使用标签,语言模型解码器把语言名或短代码放进提示,转导器要加字符行或语音槽,CTC 模型要加新的字符分类头。除 MMS 的旧语言头被替换外,各模型尽量保留预训练权重。
主结果之外,论文用随机权重、半冻结、单语言训练和 12 种不在任何模型表里的语言来判断“迁移” 本身;再用 FLEURS 中不与本文共享录音的 4 种语言、Common Voice 的 11 种语言、英语/西班牙语/法语/德语和混合英语片段检查泛化;最后用马来语电话数据检验跨域。这样的顺序把“模型是否学会了语言”“是否只适应了语料”“是否损伤旧语言” 分开。
不同解码器要补什么:语言标识、字符表和输出头
同一段音频进入不同模型,差别不只在参数多少。Whisper 和 Cohere Transcribe 属于 seq2seq:编码器把音频压成表示,解码器按词表生成文字。Whisper 的 byte-level 词表本来就能拼写所有文字,缺的是 33 种语言的语言 token;新 token 从已有语言 token 的均值初始化,放在“开始转写” 之后,因为输出层与词表绑定,所以新 token 也是新的输出行。Cohere 的 SentencePiece 词表可以回退到字节,因此不需要加字符;它给 50 种语言使用语言标签,21 种用双字母代码对应的标签,另 29 种用备用标签,并从未训练的 14 个标签均值开始。
CTC 模型 × 转导器(transducer): CTC 模型为编码器输出的每一帧给出字符或空白,不需要自回归解码器,新增语言通常通过新的字符行或新的线性分类头进入;转导器(transducer)则由预测网络和联合网络逐帧给出输出,能把已生成的前缀、声学帧和语言槽结合起来。两者在本研究里都保留预训练权重,但新增字符的初始化、语言输入方式和继续训练所需轮数不同;并列比较时,可以把字符表扩展、逐帧对齐和序列解码结构对迁移的影响分开看,而不是把所有端到端模型当成同一种解码器。
语言模型解码器走另一条路:Qwen3-ASR、Granite、Voxtral 和 Nemotron 3.5 Transcribe 都有音频编码器或投影层,把声学表示送入语言模型,再由文本词表输出。它们的 tokenizer 已经能拼写各种文字,因此不新增字符;Qwen3-ASR 和 Granite 在提示里写语言名,Voxtral 写短代码,Nemotron 写在指令里。训练时,音频编码器、投影层、语言模型和输出头一般全部解冻;Nemotron 30B 是混合专家模型,第 1 次运行只训练了部分非专家权重,第二次才训练所有转写会用到的权重,论文以第二次为主。
seq2seq 解码器 × 语言模型解码器: seq2seq 解码器让音频编码通过注意力生成整段文本,Whisper 用特殊语言 token 告诉模型目标语言,Cohere Transcribe 用未训练的标签表示新语言;语言模型解码器把声学编码经投影层送入已有的文本语言模型,Qwen3-ASR、Granite、Voxtral 等把语言名或短代码放进提示。前者直接学习音频到文本的映射,后者借用文本模型的词序列先验和提示接口,二者都需要输出端能拼写目标文字;本研究按这个分工比较不同族,而不把“提示里写了语言” 误当成“已经从小样本学会了语言”。
剩下的模型暴露了词表问题。Parakeet 和 Nemotron streaming 是转导器,原有 SentencePiece 词表来自自己的语言,训练转写需要的字符若缺失,就要在预测网络嵌入和联合网络输出里各加一行;本文分别加了 746 行和 660 行。新行若直接设为零并给一个很低的偏置,模型会在大量片段上反复输出第一个新字符;把新行设成与空白行相同、低 10 个单位,才能保证未训练时输出仍是原模型。
Nemotron streaming 还把语言做成一个提示槽,新语言复制“auto” 槽;Parakeet 没有语言输入。
CTC 模型没有自回归解码器,输出头对每帧给字符或空白。w2v-BERT 2.0 原本没有头,MMS 的头属于它自己的语言表,因此二者都换成覆盖 50 种语言训练转写的 825 字符新头;MMS 的英文适配器被载入 1 次,随后和编码器一起训练;w2v-BERT 的新头后加 LayerNorm,因为编码器输出幅度太小,普通新头会一直停在空白。omniASR 保留自己 9,812 字符的头,只给缺失的 75 个字符加行。
看图路径: 1. 先按最左列区分五种解码器族;2. 比较“新语言” 和“新文字” 两列分别需要新增什么;3. 注意 CTC fresh head 与 CTC own head 的差别
论文图 5。原论文 Figure 5::“What each family needs before it can fine-tune on a language it does not know.”。
图中把 5 种情况并排:seq2seq、语言模型解码器、转导器、CTC 新头、CTC 自带头。读图时先看“新语言” 和“新文字” 两列:seq2seq 需要语言 token,语言模型解码器需要提示,转导器需要字符行和可能的语言槽,CTC 新头需要新的分类头,而 omniASR 只需补少量缺字。这个图不是结果,而是提醒后续比较必须承认:不同模型在“能接收语言” 和“能写出文字” 上花掉的改动不同,不能用同一个错误率差值直接推断解码器本身的优劣。
微调配方:冻结、学习率、批大小与新增参数
主配方统一使用 AdamW,权重衰减 0.01,预训练权重以 32 位浮点保存、在 bf16 自动混合精度下计算,梯度裁剪为 1,学习率按模型在 dev 上选择;先做 200 步预热,然后保持常数,测试时用贪心解码。主运行以 10 个 epoch 为上限,但 Whisper large-v2、Voxtral、Nemotron 30B 和 3 个 Gemma 4 尺寸分别只跑 4 到 5 个 epoch,因为显存或训练预算不同。每个 epoch 后评 dev 和测试,最终只取 dev 选出的 epoch。除 CTC 模型外,目标文本保留大小写和标点;CTC 新头使用小写、去标点的转写,因为后面还可以接词语言模型恢复词形。
语言 token × 提示中的语言名: 语言 token 是固定词表里的离散符号,Whisper 为 33 种原本没有 token 的语言各加一个,并从已有语言 token 的均值初始化,Cohere Transcribe 则把未训练标签放进自己的标签表;提示中的语言名是文本指令的一部分,Qwen3-ASR、Granite、Gemma 4 等不需要为此新增权重。两者都在训练前告诉模型“该写哪种语言”,但语言 token 影响输出层的词表与损失位置,语言名只改变条件输入;论文把“未训练但被告知语言” 的分数单独列出,正是为了说明告诉语言不等于教会音素和书写。
不同模型族保留和更新的部分不同。Whisper 编码器与解码器全量训练,包括交叉注意力,只新增语言 token;Cohere 整个模型训练,提示标签中未训练的行从 14 个旧标签均值开始,但输出层不与标签表绑定,因此标签行和输出层分开更新。Qwen3-ASR、Granite、Voxtral 训练音频侧、投影层和语言模型;Nemotron 30B 的第二次运行训练所有转写会用到的权重,但视觉、说话人分离、词时间戳等转写不经过的部分保持冻结。
Gemma 4 和 LFM3-Audio 作为聊天式助手,使用各自卡片中的语音识别提示,转录看不到的视觉部分或语音输出部分冻结;Gemma 4 的逐层 token 查找表也被冻结。
转导器的字符行没有权重衰减,学习率是主模型的 10 倍且至少为 1e-3;Parakeet 取 3e-3,Nemotron streaming 取 1e-3,新语言槽从对应旧槽复制。CTC 模型中,MMS 的新头学习率为 1e-3,w2v-BERT 的新头跟随编码器学习率并多一层 LayerNorm,omniASR 的 75 个新字符行也按模型主学习率训练。论文没有额外做数据增强;模型自身配置打开的 dropout、layer drop 和 MMS 的 5% 跨度掩码保留。批大小按填充后的音频时长固定,Whisper 和 Voxtral 的编码器接收 30 秒窗口,因此按固定片段数成批。
数据如何划分,怎样避免测试句泄漏
测试集来自 Low-Language-TTS,共 1,250 条、2.56 小时,每种语言 25 条。这 50 种语言是父语料中资源最少、且有专门子集收集的语言;选择前先排除语言检测直方图稀有端的噪声,所以不是把检测器偶然猜到的片段算作一种语言。训练集最初考虑 Common Voice 22,但它的 137 个 locale 中只有 13 个覆盖本文 50 种语言,37 种完全没有数据,因此主训练集仍从测试集的父语料中抽取,并按图 3 的规则清洗。最终训练集有 129,236 条、279 小时、27,206 名说话人;主运行每种语言最多 1,000 条,合计 42,816 条、82 小时。
看图路径: 1. 顺着方框数每个过滤阶段的样本量变化;2. 核对“No leak” 和“No test speaker” 分别排除了什么;3. 看最后训练集的片段长度和字符速率约束
论文图 3。原论文 Figure 3::“From the parent corpus to the training set.”。
图 3 从左到右给出清洗链:父语料有 121.8M 行、2,100 个标签;按语言收集出 749,514 行;去掉测试或 dev 出现过的片段、句子和相同解码音频后剩 731,316 行;在语言还有多余说话人时,再去掉测试说话人,剩 536,760 行;随后每种语言最多 4,000 条、dev 每种语言 25 条,剩 132,671 行。
最后加片段时长和字符速率约束,得到 129,236 条训练片段。图中这些数字说明训练集不是从测试集随机切出来的,而是按文本和说话人同时做防泄漏。
看图路径: 1. 看横轴小时数,条越长表示该语言可用训练音频越多;2. 比较部分资源较多的语言是否接近 4,000 条片段上限,以及多数语言低于上限的程度和资源最少端与最多端的差距;3. 颜色只表示说话人划分:蓝色组表示训练中没有该测试说话人;橙色组表示与测试集共享说话人,因为该语言没有其他说话人。不要按颜色点名具体语言。
论文图 4。原论文 Figure 4::“Training audio per language, after every rule of Figure 3.”。
图 4 按语言列出最终可用训练音频的小时数,横轴最多到 20 小时左右,条旁同时给片段数。部分资源较多的语言接近 4,000 条上限,多数语言明显低于该上限;条形最高处为 19.9 小时、3,946 条,最低处为 0.1 小时、96 条。颜色只用来区分说话人划分:蓝色组表示训练中没有该测试说话人,橙色组表示与测试集共享说话人、该语言没有其他说话人;读图时不要把条形长短和颜色混成同一维度,这里不据颜色给任何具体语言归类。
测试和 dev 的划分也有偏置。dev 每种语言 25 条,按音频长度筛选,并优先取说话人最少的那一端,因为这样训练成本最低;因此 dev 比测试更难:所有模型在 dev 上的宏观 CER 比测试高 5.5 到 8.3 点,dev 中 72% 片段来自在父语料里最多 5 条录音的说话人,而测试只有 11%,中位模型有 5.0% 的 dev 片段完全失败,测试只有 1.0%。所以只看 dev 会低估测试表现,反过来测试分数也会高估模型对稀有说话人的能力。
宏观字符错误率(macro CER) × 词错误率(WER): 宏观字符错误率(macro CER)先对每种语言的 25 条测试片段计算字符错误率,再对 50 种语言等权平均,字符单位适合跨 11 种文字系统比较;词错误率(WER)按词计算错误,更接近可直接使用的文本质量,但会受分词和书写系统影响。二者使用同一套规范化文本,且每条片段的错误数上限设为该片段自身长度,防止循环解码被当成二十次错误;因此宏观字符错误率回答“字符是否学对、跨语言是否均衡”,词错误率回答“词级草稿是否可用”,不能用一个差值替代另一个。
指标还有一个处理细节:每条片段的错误数上限为它自身长度,循环解码因此只算“整条失败”,不会因为重复几百个字符而吞掉其他误差。论文报告 95% 区间时,先在每个语言内重采样说话人,因为同一说话人的片段并不独立;它把 50 种语言视为给定,另外用 5,000 次重采样再加上语言抽样,检查模型排序有多稳。这个统计方式回答的是“在这 50 种语言和这些说话人上有多稳”,不是“换另外 50 种语言仍然一定如此”。
零样本基线与主结果:微调把错误率拉到哪里
先看未微调模型。Whisper 系列按照卡片上是否列出语言来处理:列出的语言被强制,没列出的留给模型自行判断;Canary 和 Cohere 没有语言检测,因此给英语;Gemma 4 的卡片没有给语音语言列表,提示可以写任意语言名,所以每个测试语言都被明确告知。图中纵轴从低到高排列模型,横轴是测试集宏观字符错误率,越低越好;MMS 1B 在它有头的 26 种语言上是 14.7,MMS 1B 对全部 50 种语言用英语头时是 30.6,omniASR CTC 1B 是 28.5,Whisper large-v3 是 50.3,VibeVoice-ASR 高到 84.9。
看图路径: 1. 纵轴模型按未微调的宏观字符错误率从低到高排列;2. 先看括号是否限定语言数,再跨模型比较数值;3. 颜色只区分解码器族,不能直接当成因果解释
论文图 6。原论文 Figure 6::“Every model as it was downloaded, before any fine-tuning, on the test set.”。
图中同时出现了两种条件:MMS 的 14.7 只覆盖 26 种语言,30.6 才是全部 50 种;Gemma 4 被逐个告知语言名,其他模型只按自己的语言表处理。这个差异很重要:未微调分数低不等于模型对 50 种语言都强,也可能是它恰好覆盖了这 26 种。图只画每个模型在未微调条件下的一个宏观 CER 条形,例如 Whisper large-v3 为 50.3、Qwen3-ASR 0.6B 为 60.9;不能把这张图读成微调前后或“告知语言前后” 的对比。告知语言但未训练的读数需要另看论文表 4,那与图 6 的单一未微调条形不是同一组数据。
下面这张主结果表保留模型名、未微调 CER、微调后 CER、95% 区间、WER 和 dev 选出的 epoch。比较前提是:50 种语言一起训练,每种语言最多 1,000 条,50 语合计 82 小时;CER 在每条片段上封顶,再对 50 种语言做宏观平均;区间只重采样说话人,不重抽语言。
| MODEL | UNTOUCHED | FINE-TUNED | 95% CI | WER | BEST EPOCH |
|---|---|---|---|---|---|
| MMS 1B | 30.6 | 11.0 | 10.6–11.6 | 39.3 | 10 of 10 |
| omniASR CTC 1B | 28.5 | 12.0 | 11.5–12.6 | 43.1 | 7 of 10 |
| w2v-BERT 2.0 | – | 12.7 | 12.3–13.3 | 44.9 | 9 of 10 |
| Whisper large-v3 | 50.3 | 13.5 | 13.0–14.2 | 41.5 | 8 of 10 |
| Qwen3-ASR 0.6B | 60.9 | 18.2 | 17.5–18.9 | 51.9 | 4 of 10 |
| Parakeet TDT 0.6B v3 | 55.7 | 21.0 | 20.2–21.9 | 52.6 | 9 of 10 |
| Nemotron 3.5 streaming 0.6B | 68.7 | 35.9 | 35.3–36.5 | 78.2 | 10 of 10 |
表中最好的是 MMS 1B,从 30.6 降到 11.0,95% 区间 10.6 到 11.6,WER 为 39.3;omniASR CTC 1B 从 28.5 降到 12.0,w2v-BERT 2.0 从没有头到 12.7,Whisper large-v3 从 50.3 降到 13.5;Qwen3-ASR 0.6B 从 60.9 降到 18.2;Parakeet 和 Nemotron streaming 仍分别在 21.0 和 35.9。所有进入主运行的模型都下降,论文报告的范围是 16.6 到 53.1 点。
同配方额外训练的 omniASR CTC 7B 到 9.5,是训练模型里最低的,但主运行表里最佳仍是 11.0。词级仍不理想:主运行中最低 WER 是 MMS 1B 的 39.3,omniASR CTC 7B 为 35.2;即使加词语言模型,最低 WER 也只到 34.4,所以结果更像待校对的草稿,不是可直接发布的转写。
按解码器分组与按语言看:顺序有信息,但不是纯因果
把主运行按解码器族分组,论文报告的中位宏观 CER 是:CTC 12.0,seq2seq 14.8,语言模型解码器 17.8,转导器 28.4。CTC 模型都排在其他族之前,最接近的 1 对是 w2v-BERT 2.0 和 Whisper large-v3,相差 0.8 点,在重采样说话人后区间约 0.4 到 1.2。这个顺序不能直接解释成“CTC 解码器本身更好”:CTC 3 张卡列出的语言最多,为 143 到 1,600 多种,而其他模型最多 99 种;在 12 种没有任何模型列出的语言上,CTC 仍领先,但 w2v-BERT 与 Whisper large-v3 的差距缩到 0.4,MMS 1B 对 omniASR CTC 1B 的 1.0 点领先缩到 0.1。
还有一个更接近因果的线索:omniASR 的 CTC 1B 和 LLM 1B 共用预训练编码器,未微调时分别为 28.5 和 27.8;差别很小,而不同编码器之间差别更大。这说明编码器可能比解码器更决定顺序;不过论文只微调了 CTC 版本,同一编码器换成 LLM 后的微调结果还没有做,所以不能下定论。模型大小也不是全部:Whisper 从 tiny 到 large-v3 有明显提升,Qwen3-ASR 1.7B 比 0.6B 低 1.6 点,omniASR 7B 比 1B 低 2.4 点;但 Gemma 4 12B 因为没有音频编码器,反而落后于更小的 E2B 和 E4B。
按语言看,强的模型能把有些语言做到几乎不出错:跨模型最好成绩中,Haitian Creole 1、Khasi 2、Finnish 2、Southern Pastaza Quechua 2、Estonian 3;难的语言是 Tibetan 37、Nigerian Fulfulde 30、Breton 25、Kok Borok 22、Lule Sami 20。这些数字是每种语言在所有模型中的最好 CER,不是单个模型的总体水平。难度的相关因素更像录音条件而不是片段数:训练说话人更多的一半比更少的一半难 6.7 点,片段更短的一半难 7.4 点,测试说话人是新的 45 种比共享说话人的 5 种难 6.5 点;片段数与语言 CER 的 Spearman 相关只有 -0.09,文字系统和“是否在任何模型表里” 也没有超过其区间的分离。6 种可测属性合起来仍留下 64% 的语言间方差未解释,因此这些分组只能说明趋势。
换语料、已知语言与混合语言:迁移是否只是记住了语料
为了判断模型学到的是语言还是语料,论文把训练好的 checkpoint 直接放到 FLEURS 的 4 个语言上:Finnish、Gujarati、Lingala 和 Shona。这 4 个是 FLEURS 与本文共享语言、但不共享录音的部分;其他共享语言要么测试片段本身就是 FLEURS 录音,要么句子与训练重叠。每个模型在 FLEURS 每种语言 200 条测试片段上评分。中位模型保留了在本研究测试集上 79% 的微调收益,至少保留 33%(限于在本研究上增益至少 5 点的 16 个模型)。
FLEURS 上对微调模型的排序也与本研究高度一致,Spearman 相关 0.94。仍有 4 个模型在 FLEURS 上比微调前更差:MMS 1B、omniASR CTC 1B、Gemma 4 E4B 和 E2B,它们本来就在这些语言上较强,在本研究未微调时已到 11.0 或更好,继续拿 50 种语言训练会牺牲一部分旧能力。
已知语言的代价在英语、西班牙语、法语、德语上更直接。用 FLEURS 评分,20 个模型全部变差,中位模型 CER 上升 5.7 点;Nemotron streaming 0.6B 从 5.1 升到 51.4,Nemotron Transcribe 30B 最少,只升 0.4 点,其第 1 次运行因为冻结专家甚至从 3.7 降到 1.8。LoRA 在 3 个模型中的 2 个上损失更少,但仍不是无损。Common Voice 的补充实验说明数据来源同样重要:Common Voice 22 对本文 11 种语言至少有 100 条,最多取 4,000 条,得到 30,535 条、41.9 小时。
本文同 11 种语言是 10,157 条、23.4 小时。只用 Common Voice 训练 Qwen3-ASR 0.6B 比只用本文语料差 3.5 点,但两者合并比只用本文语料好 4.1 点,95% 区间 3.2 到 4.9;Whisper small 和 Parakeet 重复这个方向。在 8 种 Common Voice 片段更多的语言上,Common Voice 单独训练在 6 种上更好,在片段更少的语言上差很多。
混合语言的结果不太好。CS-FLEURS 把英语词和短语混入 5 种语言,并用 MMS 的 TTS 合成;5 对中有英语,但与真实说话人自然切换不同,这里测试的是模型是否跟随切换,而不是自然混语识别。20 个可比较模型中 17 个在微调后变好,中位改善 22.7 点,但微调后的中位模型在混合片段上仍为 36.2,而同样 5 种语言单独说话时为 15.0。英语是主要缺口:在 Gujarati、Burmese 和 Tajik 中,英语占参考文本字符的 22% 到 27%,中位模型未微调时只写出 12% 的英语词,微调后只写出 1%。
用户告诉它非英语语言后,它把英语写成该语言文字或直接丢掉。马来语-英语混合训练能帮到的模型也只有 19 个中的 11 个,中位 7.4 点;在公开马来语基准上,有英语混入的片段与没有英语的片段从训练中获得的收益差不多,中位差 -0.7,说明那里主要补的是电话域,而不是切换能力。
马来语电话数据:领域变化、翻译陷阱与更多数据的边际
马来语不是低资源,但训练数据和测试数据来自不同语域:训练是 Scicom 电话数据,31,622 条、60 小时人工转写的呼叫中心马来语/英语/少量普通话,按说话人停顿切开;测试是 Revolab ASR Benchmark 的公开部分,820 条、2.1 小时,覆盖 12 类马来语和英语,从电话到唱歌。dev 是电话数据中 454 条保留片段,只有 dev 决定 epoch。基准卡片允许列出的词形变体算对,数字可写成文字或数字。Whisper large-v3 在未微调时,若让模型自检语言得 8.9,若直接告诉它是马来语则 14.9,因为告诉马来语后它会把句子里的英语翻成马来语。
训练后最好成绩 6.0。这里的“增益” 从两种未微调结果中较好的一个算,因此是 2.9 点,而不是 8.9 点。
下面这张表列出按较好未微调成绩到微调后成绩的若干代表模型,比较“告诉马来语”“让模型自检”“微调后”3 种条件;表中还给出微调后的 95% 区间。不同模型的“告诉” 和“自检” 方向不同,不能先验地认为告诉语言一定更好。
| MODEL | TOLD MALAY | LEFT TO ITSELF | FINE-TUNED | 95% CI |
|---|---|---|---|---|
| Whisper large-v3 | 14.9 | 8.9 | 6.0 | 5.0–7.2 |
| Whisper large-v2 | 16.5 | 11.6 | 6.8 | 6.2–7.6 |
| Whisper medium | 17.7 | 12.4 | 6.9 | 6.0–8.0 |
| Gemma 4 E4B | 8.4 | 10.2 | 7.6 | 6.8–8.4 |
| Whisper large-v3-turbo | 10.2 | 8.4 | 8.4 | 7.5–9.4 |
| Qwen3-ASR 1.7B | 10.7 | 8.6 | 8.7 | 7.9–9.5 |
表中 Whisper large-v3 从较好的 8.9 降到 6.0,Whisper large-v2 从 11.6 降到 6.8,Whisper medium 从 12.4 降到 6.9,Gemma 4 E4B 从 8.4 降到 7.6,Whisper large-v3-turbo 从 8.4 到 8.4,Qwen3-ASR 1.7B 从 8.6 到 8.7。起点好的模型从电话数据中可得的增益有限;Gemma 4 E2B 和 Qwen3-ASR 0.6B 甚至变差约同样的量。翻译陷阱很具体:91 条以英语为主的片段中,Whisper large-v3 被告知马来语时把 57 条答成马来语,这些片段占其错误的 46%;让模型自检时只有 9 条这样,微调后仍告知马来语则为 0 条。检测也不是免费的,Qwen3-ASR 0.6B 被告知时 11.4,自检时 15.0。
更多电话数据不一定改善公共基准。24 个模型中 16 个在 3 个 epoch 内达到最低基准分数,Whisper tiny 从第 2 轮 28.4 升到第 10 轮 36.6,同时电话 dev 从 39.7 降到 30.9,说明它越来越会这些电话,但整体识别变差。Whisper small 用 1,000 条、2.0 小时在第 1 轮附近就到 11.0,用全部 60.1 小时反而 11.7;电话 dev 一路改善。公共基准自己的电话类最好微调分是 Voxtral 的 11.2,而 Qwen3-ASR 1.7B 未微调就有 7.3;这些不是同一批电话,但说明“在 A 呼叫中心微调” 不保证“在 B 呼叫中心最好”。
数据量与训练轮数:新剪辑比多跑几轮更值
下面这张表固定“每种语言最多多少条”,比较不同数据量下的实际训练策略。较小数据量用更多 epoch,使总呈现片段数接近;例如每种语言 25 条时训练 60 轮,50 条时 40 轮,1,000 条时 10 轮,4,000 条时 3 轮。表中列了总片段数、小时、epoch、呈现片段数,以及 Qwen3-ASR 0.6B、Whisper small 和 Parakeet 的测试宏观 CER;数值越低越好,且每条片段错误封顶。
| CLIPS A LANGUAGE, AT MOST | CLIPS | HOURS | EPOCHS | QWEN3-ASR 0.6B | WHISPER SMALL | PARAKEET TDT 0.6B V3 |
|---|---|---|---|---|---|---|
| 25 | 1,209 | 2 | 60 | 39.3 | 38.4 | 45.6 |
| 50 | 2,419 | 4 | 40 | 33.4 | 31.7 | 43.2 |
| 100 | 4,820 | 8 | 24 | 28.4 | 26.7 | 34.7 |
| 200 | 9,542 | 17 | 15 | 24.4 | 22.5 | 32.8 |
| 500 | 22,896 | 42 | 10 | 20.4 | 18.7 | 27.3 |
| 1,000 | 42,816 | 82 | 10 | 18.2 | 16.9 | 21.7 |
| 2,000 | 77,278 | 159 | 5 | 16.1 | 15.4 | 21.4 |
| 4,000 | 129,236 | 279 | 3 | 15.3 | 14.4 | 20.7 |
25 条一种语言、50 种合计约 2 小时,就把 Qwen3-ASR 0.6B 从 60.9 拉到 39.3,Whisper small 从 65.7 拉到 38.4;Parakeet 对最初几条不太敏感,25 条时为 45.6。之后每翻倍收益递减:1,000 条时 Qwen 18.2、Whisper small 16.9、Parakeet 21.7,4,000 条时分别 15.3、14.4、20.7。更重要的是同等“呈现片段数”:Qwen 用 1,000 条训练 3 轮,与 100 条训练 24 轮呈现数相同,前者 CER 低 9.7 点;Whisper small 低 9.1 点,large-v3-turbo 低 7.3 点,Parakeet 低 2.9 点。4,000 条训练 3 轮的呈现数甚至少于 1,000 条训练 10 轮,但 4 模型仍分别好 2.9、2.5、1.5 和 1.0 点。
训练轮数与解码器有关。seq2seq 和语言模型解码器在第一个 epoch 已有中位 90% 的总收益,第 3 个 epoch 达到 99%;到第 3 个 epoch 后,多数模型再训练收益很小,Whisper large-v3、large-v3-turbo、medium、tiny 和 Cohere 在最后不超过 1.6 点。CTC 和转导器因为要学新字符行,继续训练更久:从第 3 轮到最后一轮,w2v-BERT 改善 3.8 点,MMS 3.5 点,omniASR CTC 1B 3.2 点,Parakeet 11.2 点,Nemotron streaming 9.2 点。论文还跑了 30 轮的长曲线:Whisper 和 Qwen 的 30 轮不比前 10 轮好,训练损失从第 3 轮 0.27 降到第 20 轮 0.01,已在背训练集。
w2v-BERT 到第 30 轮仍比第 10 轮低 2.2 点,MMS 到第 20 轮仍改善 0.8 点。稀缺语言也没有需要多很多轮:少于 500 条的语言在 dev 第 6 轮进入最优 1 点内,其他组分别在第 3 轮。
适配器与冻结:省下多少参数,付出多少 CER
全量微调要为每一组新语言保存整个模型;适配器试图冻结主权重,只训练少量增量。Whisper large-v3、Qwen3-ASR 0.6B 和 MMS 1B 各比较了全量、rank 32 的 LoRA;MMS 还比较了它自己的适配器:一套让 50 种语言共享,或者每种语言一套、测试时按语言名切换。所有适配器运行都在同一主数据上训练 10 个 epoch,学习率另有 dev 扫描。
逐语言适配器因为每种语言只分到五十分之一的更新,每条语言会看到 20,000 条片段,最稀缺的语言最多训练 210 轮。表中给出训练参数、比例、学习率、测试 CER 和 95% 区间。
LoRA(低秩适配器) × MMS 的逐语言适配器: LoRA(低秩适配器)冻结主模型权重,只在注意力和前馈投影上加低秩增量,用少量参数让 50 种语言共享一套更新;MMS 的逐语言适配器在每层加入小模块,并为每种语言单独训练一套,测试时按目标语言切换。两者的分工不同:LoRA 不要求推理时知道语言,存储和参数更省,但可能让新语言相互竞争;逐语言适配器更贴近单语言,却需要语言标签、每语言一套参数和切换机制。并列比较二者,再加上全量微调,才能同时看 CER 代价和对已知语言的遗忘。
| MODEL | TRAINED | PARAMETERS TRAINED | RATE | TEST CER | 95% CI |
|---|---|---|---|---|---|
| Whisper large-v3 | everything | 1,543.5M (100.0%) | 1e-5 | 13.5 | 13.0–14.2 |
| Whisper large-v3 | LoRA, rank 32 | 57.7M (3.6%) | 3e-4 | 14.6 | 14.0–15.4 |
| Qwen3-ASR 0.6B | everything | 782.4M (100.0%) | 1e-5 | 18.2 | 17.5–18.9 |
| Qwen3-ASR 0.6B | LoRA, rank 32 | 29.5M (3.6%) | 1e-4 | 18.4 | 17.8–19.2 |
| MMS 1B | everything | 965.7M (100.0%) | 1e-5 | 11.0 | 10.6–11.6 |
| MMS 1B | LoRA, rank 32 | 36.4M (3.6%) | 1e-4 | 11.7 | 11.3–12.4 |
| MMS 1B | MMS’s adapters, one set for all 50 | 3.2M (0.3%) | 3e-4 | 14.0 | 13.6–14.6 |
| MMS 1B | MMS’s adapters, one set a language | 2.2M (0.2%) | 3e-4 | 16.8 | 16.4–17.3 |
表中最直接的结论是 LoRA 接近全量:Whisper large-v3 从 13.5 变为 14.6,MMS 1B 从 11.0 变为 11.7,Qwen3-ASR 0.6B 只差 0.2 点且区间跨零。MMS 自己的适配器一套共享 50 种语言、只训练 0.3% 参数,CER 为 14.0;按语言各一套、只训练 0.2% 参数,CER 为 16.8,比共享一套差 2.8 点,且在 MMS 原有的 26 种语言上只到 16.5,不如它原来的 14.7。这说明“逐语言单独适配” 并非天然更好:它需要语言名,存储和切换更多,还可能在 50 种新语言之间失去共享声学信息。对已知语言,Qwen 全量微调在英西法德上损失 9.4 点 CER,LoRA 损失 4.3 点。
MMS 全量损失 2.5 点,LoRA 损失 1.8 点,共享适配器损失 0.6 点;Whisper 的 LoRA 反而比全量损失更多,4.3 对 3.4。所以适配器省参数,但保留旧语言的效果依模型而定,不能说 3 模型都更好。
冻结实验进一步说明哪些部分必须训练。Nemotron 30B 是混合专家模型,路由专家占训练权重的绝大部分,但把路由专家冻结只损失 0.1 点,仍可训练 2.84B 权重且不需要专家并行;把音频编码器冻结会损失 0.8 点,语言模型侧单独训练会落后 3.1 点,投影层冻结最多移动 0.2 点。共享专家冻结会损失 0.4 点,并能解释第 1 次运行的落后。学习率方面,所有参数从 1e-5 降到 3e-6 约损失 0.3 点,和 2 个随机种子的差别接近。
若把路由专家冻结,3e-6 比 1e-5 差 0.4 点,3e-5 差 3.3 点。编码器不能用更快的学习率,3e-5 落后 1.2 点,1e-4 落后 7.6 点。把学习率在两轮内线性降到零,反而让全部训练达到 14.0,比常数率低 1.8 点;这时路由专家的价值也从不明显变成 0.8 点。
用词语言模型解码 CTC:CER 和 WER 各改善多少
CTC 模型逐帧输出字符或空白,本身不知道哪些词存在,因此可以用语言模型重排。论文为每种语言训练一个词 4-gram,语料来自整个训练池中最多 4,000 条转写,且去掉 dev 和测试也有的句子;中位语言有 3,213 句、30,102 个词,最少只有 96 句。解码用宽 64 的束搜索,语言模型权重和每词奖励由 dev 统一选择;3 个模型的权重都选 0.25,奖励分别为 2、2、1。下表从同一份 dev 选中的 epoch 输出重新解码,比较贪心与加语言模型的 CER 和 WER。
词 4-gram 语言模型 × 束搜索: 词 4-gram 语言模型从训练文本中统计连续词序列的概率,为 CTC 模型逐帧输出的字符串提供词级先验;束搜索同时保留多个候选路径,不用一步贪心定死整句。解码时,声学模型的分数给出字符或帧概率,语言模型按权重修正词序列,再为每个词加一个奖励以控制输出长度;权重和奖励在 dev 上选择。这个组合能降低 WER,但效果受语言模型覆盖率和集外词比例限制,所以论文同时报告贪心解码、加语言模型后的 CER 和 WER,而不是只看一个指标。
| MODEL | CER, GREEDY | CER, LM | WER, GREEDY | WER, LM | WER GAIN, 95% CI | WEIGHT, BONUS |
|---|---|---|---|---|---|---|
| MMS 1B | 11.1 | 9.8 | 40.1 | 34.4 | 5.7 (4.8 to 6.4) | 0.25, 2 |
| w2v-BERT 2.0 | 12.7 | 11.3 | 44.8 | 38.8 | 6.0 (5.0 to 6.7) | 0.25, 2 |
| omniASR CTC 1B | 12.0 | 10.8 | 43.1 | 38.3 | 4.8 (4.1 to 5.4) | 0.25, 1 |
表中 MMS 1B 的贪心 CER 为 11.1%,加语言模型后的 CER 为 9.8%,WER 从 40.1% 降至 34.4%;w2v-BERT 2.0 的 CER 从 12.7% 降至 11.3%,WER 从 44.8% 降至 38.8%;omniASR CTC 1B 的 CER 从 12.0% 降至 10.8%,WER 从 43.1% 降至 38.3%。论文报告的语言模型收益是 1.2 到 1.4 点 CER、4.8 到 6.0 点 WER,3 个区间都不含零;但它的限制同样明显:中位语言有 20.7% 的测试词不在语言模型训练文本里,最多的一种达到 68.8% 的测试词,所以即使 MMS 的 CER 达到 9.8%,WER 仍为 34.4%。
注意表 4 的 MMS 贪心 CER 写作 11.1%,而主表最佳 CER 显示 11.0%;本文不把这 2 个显示值之差解释为额外收益,只引用同一表格内部 CER 从 11.1% 降至 9.8% 的比较。
这些数字在哪些条件下成立
首先,测试集每种语言只有 25 条片段,语言级 CER 本身很粗;论文信任的是 50 种语言的宏观平均,而不是某个语言小数点后的差别。95% 区间重采样说话人,把 50 种语言视为给定;若连语言也重抽,主结果 210 对模型中 27 对可能换位,前几名的局部顺序并不都稳。MMS 1B 在 99% 的重抽中仍第一,但 w2v-BERT 对 Whisper large-v3 的优势只有 91%,换另一批 50 种语言,最后一个 CTC 模型可能被 Whisper 超过。
第二,语言标签来自对父语料转写应用语言检测器并由置信度核验,所以“一种语言” 在这里等于 GlotLID 判定的语言;Teso 和 Karamojong 共用一个标为 Turkana 的语料。41 种语言的所有测试片段来自一个语料,50 种语言的测试语料也都提供过训练片段,只是尽量用不同说话人;因此分数说明模型学会“这种语言在这个语料里的录音方式” 有多好,不保证跨到其他麦克风、口音和话题。7 种语言的语料部分或全部是 FLEURS,而只有 4 种能在 FLEURS 上独立测试。
图 4 的颜色只区分说话人划分:蓝色组表示训练中没有该测试说话人,橙色组表示与测试集共享说话人、该语言没有其他说话人。原文报告,测试说话人与训练重叠的语言上,CER 只有其余语言的 54% 到 85%。原文正文与表 12 在个别语言的说话人共享状态上存在内部不一致,因此颜色分组只能用于图 4 的展示,不宜外推为某个具体语言的精确效应。
测试集还有 2 条长文本配极短音频,部分语料是重复词汇的圣经朗读。
第三,训练和 dev 标签只来自父语料、按长度门控,没有逐条人工复核;测试行才逐条核验了语言和长度。测试集中 Whisper 的 byte-level 词表在 25 条 Tibetan 中有 17 条、Lao 中有 12 条需要超过解码上限;把解码从 40 token 加每秒 30 token 放宽到 60,只让 7 个模型的宏观 CER 变化最多 0.3 点,仍不能说明其他模型的长度问题不存在。
第四,主运行大多只用一个训练种子;5 个模型重复 10 次,结果落在当前分数 0.4 点内,前 3 个模型的排序在 3 个种子上保持,但其他模型不能假定同样稳定。学习率按模型扫过,其他设置没有逐个调;Granite、MMS 和 Voxtral 的扫描较晚,MMS 和 Voxtral 起初学得太快,MMS 重新用 1e-5 后从 16.2 降到 11.0,Voxtral 用 3e-6 后从 17.2 降到 16.3。配方更好时,模型排序仍可能变化。
最后,训练成本和部署成本不是一回事。论文给出了部分模型每个 epoch 的小时数,例如 MMS 1B 0.52 小时、Whisper large-v3 1.11 小时、Gemma 4 12B 4.03 小时,但这是训练一个 epoch 在特定任务上的时间,不是推理延迟、吞吐或能耗;论文也没有测量人工校对时间。因此不能因为 CER 降低就承诺实时性、成本或用户体验一定改善。
若要复现,先固定哪几件事
复现的第一步不是直接开训,而是先把划分和评测固定下来:从父语料中选出 50 种语言,每种语言留 25 条测试片段;训练集去掉测试和 dev 的相同片段、相同文本及相同解码音频;有替代说话人时,训练和 dev 不包含测试说话人;再按片段长度、文本字符速率设门槛。之后要按论文的文本规范化实现宏观 CER:NFKC、小写、去标点符号、保留组合标记,每条片段错误数不超过自身长度;WER 与 CER 用同一规范化文本,但要单独报告,不能把 WER 差值塞进 CER 列。
第二步是选定模型族,并验证“新增入口” 不会破坏初始输出。Whisper 新增语言 token,Cohere 新增未使用标签,Qwen/Granite/Voxtral 把语言名或代码写进提示;转导器要给新字符在预测网络嵌入和联合网络输出各加行,并采用“复制空白行、低 10 个单位” 的静默起点,否则未训练扩展会大量输出第一个新字符;CTC 模型要新头或补行,w2v-BERT 还要加 LayerNorm。先不训练,检查新增后的模型在原测试片段上的输出是否仍接近原模型,再进入全量训练。
第三步是训练和选择。主设置是 50 种语言一起、每种语言最多 1,000 条、合计 82 小时;AdamW,权重衰减 0.01,学习率按模型在 dev 上扫,200 步预热后常数,梯度裁剪 1,贪心解码;每个 epoch 评 dev 和测试,只用 dev 选 epoch。Whisper large-v3 的学习率是 1e-5,Qwen3-ASR 0.6B 是 1e-5,MMS 是 1e-5,Parakeet 是 3e-4,Nemotron streaming 是 1e-4。
不同模型不能直接套同一个学习率。若显存不够,可先复现 MMS 或 Whisper large-v3,因为它们的训练小时数较小,且主结果靠前。
复现时至少要带上 4 个对照:同架构随机权重、冻结编码器、冻结解码器、单语言训练。随机权重实验要训练更久才公平,论文给随机权重用了 1e-4 且多数双倍 epoch,仍落后 60 到 77 点,Parakeet 8 轮后还有 1,145/1,250 条片段循环;这可以作为“迁移不是从零学习” 的最低检查。冻结实验要针对具体族解释:Qwen3-ASR 0.6B 全量训练的 CER 为 18.2、冻结编码器的 CER 为 21.0、冻结解码器的 CER 为 19.6,Whisper small 同向;w2v-BERT 冻结编码器的 CER 停在 77.6,Parakeet 冻结编码器的 CER 为 53.5,说明没有自回归解码器时编码器必须学习。
如果目标是复现跨语料结论,还要准备 FLEURS 的 Finnish、Gujarati、Lingala 和 Shona,以及 Common Voice 的 11 种语言;如果目标是复现马来语电话结论,需要 Scicom 电话数据和 Revolab 公开基准,并注意“告诉马来语” 会诱发翻译,必须同时跑自检和告知 2 种未微调条件。论文的正文给出了模型名、超参数和清洗规则,但本文不据此声称代码、权重或数据已经公开;模型许可、电话数据获取和运行环境需要各自确认,能下载权重、能拿到数据、能成功运行是 3 件不同的事。
什么时候值得尝试,下一步该验证什么
这篇论文支持的实用判断是:如果手上已经有一个强多语预训练模型,而新语言只有大约 1 到 2 小时转写,先做小样本全参数微调或 LoRA 是值得尝试的;数据量从 25 条增加到 100 条、500 条、1,000 条仍有明显收益,但每翻倍越来越小,所以收集新片段通常比在旧片段上多跑几轮更值。模型选择上,论文主运行里 CTC 和 Whisper 最好,omniASR CTC 7B 在同配方额外运行中到 9.5;但这是这套 50 个语言、这个语料、这个评测下的结果,换语言或换录音条件不保证排序不变。
训练轮数要按解码器分:seq2seq 和语言模型解码器通常在 3 到 5 个 epoch 内完成,CTC 和转导器因为要学新字符行,需要 10 轮或更多;如果显存和时间允许,先用 dev 看曲线,不要照搬别的模型的最佳 epoch。若需要为很多组语言保存多份模型,LoRA 在本文 3 个模型上接近全量,MMS 共享适配器更省,但逐语言适配器反而更差且更需要语言标签;若旧语言不能退化,必须把英语、西班牙语、法语、德语纳入微调后的回归测试,本文中位模型上升 5.7 点,最坏从 5.1 升到 51.4。
最容易被误读的是“告诉语言” 和“迁移学习”。在 Whisper large-v3 上,未训练时把语言名或 token 放进去只把 50.3 降到 45.1;Qwen3-ASR 0.6B 从 60.9 降到 51.5;真正的下降发生在训练后。反过来,混合英语的片段即使微调后,中位模型也只写出 1% 的英语词,说明它学会了目标语言的声学和文字,却没有自动学会保留另一种语言的跨文字词。马来语结果还显示,告诉模型“这是马来语” 可能触发英语翻译,单看被告知条件的提升会高估训练收益。
还没被这篇论文回答的,是更广的语言抽样和真实部署条件。50 种语言是固定的,换 50 种语言后一些模型对会换位;FLEURS 只覆盖 4 种可独立核对的语言;测试片段大多来自同一父语料,虽然 FLEURS 检查保留了 79% 的中位收益,仍不能替代多麦克风、多口音和多人对话的现场评测。论文也没有报告推理延迟、吞吐、能耗或人工校对时间,更没有证明所有模型和数据的获取方式。
下一步最值得补的验证是:在与目标场景同分布的独立录音上,同时测未微调自检、未微调告知语言、微调、加词语言模型 4 种条件,并把已知语言回归和混合语言保留率一起纳入;只有这些条件都成立时,才能把低资源微调当作可部署的一步,而不只是 1 次受控实验。
📎 论文与评分元数据
排名:前50% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:deepseek-v4.1-flash
评分请求协议:openai_responses



