📄 低资源语音识别中的语言迁移:多语模型在小样本微调后学到什么

英文题目:Low Language Transfer Speech-to-Text

评分:7.1/10 | 创新 1.2/2 | 技术严谨 1.3/1.5 | 实验充分 1.3/1.5 | 清晰度 0.9/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5

👥 作者与机构

  • Husein Zolkepli:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

论文研究多语言语音识别模型仅用少量转写微调后,对未见低资源语言能迁移多少知识;输入语音和语言提示,训练附转写,输出目标书写系统字符序列。 Low-Language-TTS 含 50 个低资源语种、11 种书写系统、1,250 段、2.56 小时、514 名说话人,每语种 25 段;训练集剔除测试/开发片段及其句子、相同音频后得 129,236 段、279 小时、27,206 名说话人,主实验每语言最多 1,000 段,共 42,816 段、82 小时。 50 语一起训练,开发集逐轮选检查点,测试集报告结果;主指标为按语言等权宏平均字符错误率(CER),并报告词错误率(WER)。 方法上,先给各模型族补足语言接口,包括语言标记、提示、输出行或缺失字符行,形成能接收语音和语言提示的扩展模型。 再以筛出的语音混合训练;微调模型输出字符序列,最后 CTC 的贪心输出送入按语种的词级 4-gram 语言模型重解码,得到最终转写。 在 Low-Language-TTS 的 50 种语言测试集上,按宏平均 CER 计,MMS 1B 从未微调的 30.6 降至微调后的 11.0,最佳 omniASR CTC 7B 的 9.5 低于 MMS 1B 的 11.0。 同一测试集上,词级 4-gram 重解码使三个 CTC 模型的宏平均 CER 比贪心解码低 1.2 至 1.4 分,MMS 1B 的 WER 由 40.1 降至 34.4。 在 12 个无人列出的语言上,宏平均 CER 从微调前 46 或更差降至最好 11.7;同架构随机权重的宏平均 CER 高于预训练微调 60 到 77 分。 在 FLEURS 与本文语料不共享的录音上,中位模型保留 79% 的 CER 增益;该评估中,微调使中位模型在英、西、法、德上的 CER 比微调前增加 5.7 分。 在同一测试集上,LoRA 训练约 4% 参数,Whisper large-v3 的宏平均 CER 比全量微调高 1.1 分。 结论适用于父语料抽样、少量转写的低资源场景;限制是每语言测试仅 25 段、50 语共享母语料、仅 4 语言外部复核、多数单种子,且未发布代码、权重或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

从波形到文字:任务、输入与评价对象

语音识别系统的输入是一段音频波形,输出是对应的文字串。低资源语言的问题不在波形本身,而在可用的转写太少:一种语言可能只有几十条到几千条公开片段,说话人和录音条件还很杂。多语预训练模型先在几十、几百甚至上千种语言上听语音,形成了声学编码器、字符表或文本语言模型;本文要问的是,把它拿去微调一种原先没训练过的语言时,预训练究竟带来了什么,少了预训练又会怎样。

识别结果要按文字比较,而 50 种语言跨越 11 种文字系统,不能简单用“单词” 作统一单位。论文因此把每种语言的字符错误率先算出来,再对语言等权平均,得到宏观字符错误率;同时报告词错误率,说明字符层面接近正确离可读草稿还有多远。评价还规定每条片段的错误数不超过片段自身长度,避免解码器卡在循环时把一条片段算成极长错误,掩盖其他语言和模型之间的差异。

已有路线:多语预训练、单语微调与少量适配

语音识别的跨语言迁移并不新。早期工作已经显示,把一个英语模型的少量权重改给德语使用,比从零训练便宜得多;随后有研究发现,先用多种语言训练通常更有利,而目标语言与预训练语言的相似程度会同时受音系、书写和数据条件影响。多语模型路线从 XLS-R 的 128 种无标签语言,扩展到 MMS 的 1,107 种、Omnilingual ASR 的 1,600 多种;Whisper 列出 99 种语言,较新的 Parakeet、Canary、Qwen3-ASR 等则用更少语言换取更强的识别能力。

低资源微调通常每次只处理一种或少数几种语言,例如把 Whisper 微调到阿姆哈拉语、北库尔德语或 Malasar,或给格罗宁斯语、西弗里斯兰语做数据增强。也有研究关注数据量:非洲语言上的实验往往在前面一小部分数据就得到大部分收益;不同预训练编码器在小数据下的保持能力也不同。与它们最接近的对照,是在 13 种非洲语言上比较 Whisper、XLS-R、MMS 和 w2v-BERT。

另一条线是适配器和遗忘。一个网络学了新东西会丢掉部分旧能力;低秩适配器只训练少量新增权重,MMS 用每语言的小适配器扩展语言,已有工作也把适配器用于减少语音识别遗忘。CTC 模型还能用词语言模型重排输出。本文新增的是同一套 50 语言测试集、尽量覆盖当前解码器族、随机权重对照、另一个语料的核验、对已知语言的代价,以及适配器和词语言模型的直接比较。

论文要回答的具体问题与对照设计

本文的核心问题是:当一种语言完全不在模型卡或模型语言表里,只给它最多 1,000 条带转写片段时,预训练到底能带来多少收益?这个收益不能只用“微调后错误率下降” 说明,因为模型可能只是记住了同一来源的语料,或者只是被提示了语言名。于是论文设置了 4 类控制:相同架构从随机权重训练;分别冻结编码器和解码器;每种语言单独训练;以及选 12 种任何模型都没有列出的语言,观察在没有已知语言先验时还能不能学会。

围绕实际使用,论文还问几个操作问题:训练更久有没有用;每条语言能少到多少条;用 Common Voice 代替本文训练语料是否可行;在一个没有共享录音的语料上,微调收益是否还在;学习 50 种新语言会损伤多少已会语言。

先学 40 种低资源语言,会不会让第 41 种学得更快;LoRA 和 MMS 的小适配器能否接近全量微调;CTC 输出加词语言模型能带来多少词级收益。最后一节把同样模型放到马来语电话数据上,检验训练语料与测试语料语域不同时会发生什么。

整体流程:先零样本评分,再用同一小训练集微调

论文先取公开的多语模型。按摘要给出的范围,28 个可直接转录的多语模型先原样评分,24 个进入微调;论文还把 Gemma 4 和 LFM3-Audio 这类通用助手加入比较。测试集是 Low-Language-TTS:50 种低资源语言、11 种文字系统,每种语言 25 条片段,共 1,250 条、2.56 小时、514 名说话人。训练集从同一父语料中抽取,但要去掉测试和 dev 的句子及相同解码音频,并尽量让测试说话人不出现在训练中;主运行每种语言最多用 1,000 条,50 种语言合计 42,816 条、82 小时。

微调时,50 种语言一起训练,每个 epoch 后在 dev 和测试上评分,但只有 dev 决定选哪个 epoch。所有模型用同一套优化器、梯度裁剪和贪心解码作为主设置,学习率按模型在 dev 上单独选。模型族需要不同的“入口”:Whisper 加语言 token,Cohere 用未使用标签,语言模型解码器把语言名或短代码放进提示,转导器要加字符行或语音槽,CTC 模型要加新的字符分类头。除 MMS 的旧语言头被替换外,各模型尽量保留预训练权重。

主结果之外,论文用随机权重、半冻结、单语言训练和 12 种不在任何模型表里的语言来判断“迁移” 本身;再用 FLEURS 中不与本文共享录音的 4 种语言、Common Voice 的 11 种语言、英语/西班牙语/法语/德语和混合英语片段检查泛化;最后用马来语电话数据检验跨域。这样的顺序把“模型是否学会了语言”“是否只适应了语料”“是否损伤旧语言” 分开。

不同解码器要补什么:语言标识、字符表和输出头

同一段音频进入不同模型,差别不只在参数多少。Whisper 和 Cohere Transcribe 属于 seq2seq:编码器把音频压成表示,解码器按词表生成文字。Whisper 的 byte-level 词表本来就能拼写所有文字,缺的是 33 种语言的语言 token;新 token 从已有语言 token 的均值初始化,放在“开始转写” 之后,因为输出层与词表绑定,所以新 token 也是新的输出行。Cohere 的 SentencePiece 词表可以回退到字节,因此不需要加字符;它给 50 种语言使用语言标签,21 种用双字母代码对应的标签,另 29 种用备用标签,并从未训练的 14 个标签均值开始。

CTC 模型 × 转导器(transducer): CTC 模型为编码器输出的每一帧给出字符或空白,不需要自回归解码器,新增语言通常通过新的字符行或新的线性分类头进入;转导器(transducer)则由预测网络和联合网络逐帧给出输出,能把已生成的前缀、声学帧和语言槽结合起来。两者在本研究里都保留预训练权重,但新增字符的初始化、语言输入方式和继续训练所需轮数不同;并列比较时,可以把字符表扩展、逐帧对齐和序列解码结构对迁移的影响分开看,而不是把所有端到端模型当成同一种解码器。

语言模型解码器走另一条路:Qwen3-ASR、Granite、Voxtral 和 Nemotron 3.5 Transcribe 都有音频编码器或投影层,把声学表示送入语言模型,再由文本词表输出。它们的 tokenizer 已经能拼写各种文字,因此不新增字符;Qwen3-ASR 和 Granite 在提示里写语言名,Voxtral 写短代码,Nemotron 写在指令里。训练时,音频编码器、投影层、语言模型和输出头一般全部解冻;Nemotron 30B 是混合专家模型,第 1 次运行只训练了部分非专家权重,第二次才训练所有转写会用到的权重,论文以第二次为主。

seq2seq 解码器 × 语言模型解码器: seq2seq 解码器让音频编码通过注意力生成整段文本,Whisper 用特殊语言 token 告诉模型目标语言,Cohere Transcribe 用未训练的标签表示新语言;语言模型解码器把声学编码经投影层送入已有的文本语言模型,Qwen3-ASR、Granite、Voxtral 等把语言名或短代码放进提示。前者直接学习音频到文本的映射,后者借用文本模型的词序列先验和提示接口,二者都需要输出端能拼写目标文字;本研究按这个分工比较不同族,而不把“提示里写了语言” 误当成“已经从小样本学会了语言”。

剩下的模型暴露了词表问题。Parakeet 和 Nemotron streaming 是转导器,原有 SentencePiece 词表来自自己的语言,训练转写需要的字符若缺失,就要在预测网络嵌入和联合网络输出里各加一行;本文分别加了 746 行和 660 行。新行若直接设为零并给一个很低的偏置,模型会在大量片段上反复输出第一个新字符;把新行设成与空白行相同、低 10 个单位,才能保证未训练时输出仍是原模型。

Nemotron streaming 还把语言做成一个提示槽,新语言复制“auto” 槽;Parakeet 没有语言输入。

CTC 模型没有自回归解码器,输出头对每帧给字符或空白。w2v-BERT 2.0 原本没有头,MMS 的头属于它自己的语言表,因此二者都换成覆盖 50 种语言训练转写的 825 字符新头;MMS 的英文适配器被载入 1 次,随后和编码器一起训练;w2v-BERT 的新头后加 LayerNorm,因为编码器输出幅度太小,普通新头会一直停在空白。omniASR 保留自己 9,812 字符的头,只给缺失的 75 个字符加行。

看图路径: 1. 先按最左列区分五种解码器族;2. 比较“新语言” 和“新文字” 两列分别需要新增什么;3. 注意 CTC fresh head 与 CTC own head 的差别

原论文 Figure 5:What each family needs before it can fine-tune on a language it does not know.

论文图 5。原论文 Figure 5::“What each family needs before it can fine-tune on a language it does not know.”。

图中把 5 种情况并排:seq2seq、语言模型解码器、转导器、CTC 新头、CTC 自带头。读图时先看“新语言” 和“新文字” 两列:seq2seq 需要语言 token,语言模型解码器需要提示,转导器需要字符行和可能的语言槽,CTC 新头需要新的分类头,而 omniASR 只需补少量缺字。这个图不是结果,而是提醒后续比较必须承认:不同模型在“能接收语言” 和“能写出文字” 上花掉的改动不同,不能用同一个错误率差值直接推断解码器本身的优劣。

微调配方:冻结、学习率、批大小与新增参数

主配方统一使用 AdamW,权重衰减 0.01,预训练权重以 32 位浮点保存、在 bf16 自动混合精度下计算,梯度裁剪为 1,学习率按模型在 dev 上选择;先做 200 步预热,然后保持常数,测试时用贪心解码。主运行以 10 个 epoch 为上限,但 Whisper large-v2、Voxtral、Nemotron 30B 和 3 个 Gemma 4 尺寸分别只跑 4 到 5 个 epoch,因为显存或训练预算不同。每个 epoch 后评 dev 和测试,最终只取 dev 选出的 epoch。除 CTC 模型外,目标文本保留大小写和标点;CTC 新头使用小写、去标点的转写,因为后面还可以接词语言模型恢复词形。

语言 token × 提示中的语言名: 语言 token 是固定词表里的离散符号,Whisper 为 33 种原本没有 token 的语言各加一个,并从已有语言 token 的均值初始化,Cohere Transcribe 则把未训练标签放进自己的标签表;提示中的语言名是文本指令的一部分,Qwen3-ASR、Granite、Gemma 4 等不需要为此新增权重。两者都在训练前告诉模型“该写哪种语言”,但语言 token 影响输出层的词表与损失位置,语言名只改变条件输入;论文把“未训练但被告知语言” 的分数单独列出,正是为了说明告诉语言不等于教会音素和书写。

不同模型族保留和更新的部分不同。Whisper 编码器与解码器全量训练,包括交叉注意力,只新增语言 token;Cohere 整个模型训练,提示标签中未训练的行从 14 个旧标签均值开始,但输出层不与标签表绑定,因此标签行和输出层分开更新。Qwen3-ASR、Granite、Voxtral 训练音频侧、投影层和语言模型;Nemotron 30B 的第二次运行训练所有转写会用到的权重,但视觉、说话人分离、词时间戳等转写不经过的部分保持冻结。

Gemma 4 和 LFM3-Audio 作为聊天式助手,使用各自卡片中的语音识别提示,转录看不到的视觉部分或语音输出部分冻结;Gemma 4 的逐层 token 查找表也被冻结。

转导器的字符行没有权重衰减,学习率是主模型的 10 倍且至少为 1e-3;Parakeet 取 3e-3,Nemotron streaming 取 1e-3,新语言槽从对应旧槽复制。CTC 模型中,MMS 的新头学习率为 1e-3,w2v-BERT 的新头跟随编码器学习率并多一层 LayerNorm,omniASR 的 75 个新字符行也按模型主学习率训练。论文没有额外做数据增强;模型自身配置打开的 dropout、layer drop 和 MMS 的 5% 跨度掩码保留。批大小按填充后的音频时长固定,Whisper 和 Voxtral 的编码器接收 30 秒窗口,因此按固定片段数成批。

数据如何划分,怎样避免测试句泄漏

测试集来自 Low-Language-TTS,共 1,250 条、2.56 小时,每种语言 25 条。这 50 种语言是父语料中资源最少、且有专门子集收集的语言;选择前先排除语言检测直方图稀有端的噪声,所以不是把检测器偶然猜到的片段算作一种语言。训练集最初考虑 Common Voice 22,但它的 137 个 locale 中只有 13 个覆盖本文 50 种语言,37 种完全没有数据,因此主训练集仍从测试集的父语料中抽取,并按图 3 的规则清洗。最终训练集有 129,236 条、279 小时、27,206 名说话人;主运行每种语言最多 1,000 条,合计 42,816 条、82 小时。

看图路径: 1. 顺着方框数每个过滤阶段的样本量变化;2. 核对“No leak” 和“No test speaker” 分别排除了什么;3. 看最后训练集的片段长度和字符速率约束

原论文 Figure 3:From the parent corpus to the training set.

论文图 3。原论文 Figure 3::“From the parent corpus to the training set.”。

图 3 从左到右给出清洗链:父语料有 121.8M 行、2,100 个标签;按语言收集出 749,514 行;去掉测试或 dev 出现过的片段、句子和相同解码音频后剩 731,316 行;在语言还有多余说话人时,再去掉测试说话人,剩 536,760 行;随后每种语言最多 4,000 条、dev 每种语言 25 条,剩 132,671 行。

最后加片段时长和字符速率约束,得到 129,236 条训练片段。图中这些数字说明训练集不是从测试集随机切出来的,而是按文本和说话人同时做防泄漏。

看图路径: 1. 看横轴小时数,条越长表示该语言可用训练音频越多;2. 比较部分资源较多的语言是否接近 4,000 条片段上限,以及多数语言低于上限的程度和资源最少端与最多端的差距;3. 颜色只表示说话人划分:蓝色组表示训练中没有该测试说话人;橙色组表示与测试集共享说话人,因为该语言没有其他说话人。不要按颜色点名具体语言。

原论文 Figure 4:Training audio per language, after every rule of Figure 3.

论文图 4。原论文 Figure 4::“Training audio per language, after every rule of Figure 3.”。

图 4 按语言列出最终可用训练音频的小时数,横轴最多到 20 小时左右,条旁同时给片段数。部分资源较多的语言接近 4,000 条上限,多数语言明显低于该上限;条形最高处为 19.9 小时、3,946 条,最低处为 0.1 小时、96 条。颜色只用来区分说话人划分:蓝色组表示训练中没有该测试说话人,橙色组表示与测试集共享说话人、该语言没有其他说话人;读图时不要把条形长短和颜色混成同一维度,这里不据颜色给任何具体语言归类。

测试和 dev 的划分也有偏置。dev 每种语言 25 条,按音频长度筛选,并优先取说话人最少的那一端,因为这样训练成本最低;因此 dev 比测试更难:所有模型在 dev 上的宏观 CER 比测试高 5.5 到 8.3 点,dev 中 72% 片段来自在父语料里最多 5 条录音的说话人,而测试只有 11%,中位模型有 5.0% 的 dev 片段完全失败,测试只有 1.0%。所以只看 dev 会低估测试表现,反过来测试分数也会高估模型对稀有说话人的能力。

宏观字符错误率(macro CER) × 词错误率(WER): 宏观字符错误率(macro CER)先对每种语言的 25 条测试片段计算字符错误率,再对 50 种语言等权平均,字符单位适合跨 11 种文字系统比较;词错误率(WER)按词计算错误,更接近可直接使用的文本质量,但会受分词和书写系统影响。二者使用同一套规范化文本,且每条片段的错误数上限设为该片段自身长度,防止循环解码被当成二十次错误;因此宏观字符错误率回答“字符是否学对、跨语言是否均衡”,词错误率回答“词级草稿是否可用”,不能用一个差值替代另一个。

指标还有一个处理细节:每条片段的错误数上限为它自身长度,循环解码因此只算“整条失败”,不会因为重复几百个字符而吞掉其他误差。论文报告 95% 区间时,先在每个语言内重采样说话人,因为同一说话人的片段并不独立;它把 50 种语言视为给定,另外用 5,000 次重采样再加上语言抽样,检查模型排序有多稳。这个统计方式回答的是“在这 50 种语言和这些说话人上有多稳”,不是“换另外 50 种语言仍然一定如此”。

零样本基线与主结果:微调把错误率拉到哪里

先看未微调模型。Whisper 系列按照卡片上是否列出语言来处理:列出的语言被强制,没列出的留给模型自行判断;Canary 和 Cohere 没有语言检测,因此给英语;Gemma 4 的卡片没有给语音语言列表,提示可以写任意语言名,所以每个测试语言都被明确告知。图中纵轴从低到高排列模型,横轴是测试集宏观字符错误率,越低越好;MMS 1B 在它有头的 26 种语言上是 14.7,MMS 1B 对全部 50 种语言用英语头时是 30.6,omniASR CTC 1B 是 28.5,Whisper large-v3 是 50.3,VibeVoice-ASR 高到 84.9。

看图路径: 1. 纵轴模型按未微调的宏观字符错误率从低到高排列;2. 先看括号是否限定语言数,再跨模型比较数值;3. 颜色只区分解码器族,不能直接当成因果解释

原论文 Figure 6:Every model as it was downloaded, before any fine-tuning, on the test set.

论文图 6。原论文 Figure 6::“Every model as it was downloaded, before any fine-tuning, on the test set.”。

图中同时出现了两种条件:MMS 的 14.7 只覆盖 26 种语言,30.6 才是全部 50 种;Gemma 4 被逐个告知语言名,其他模型只按自己的语言表处理。这个差异很重要:未微调分数低不等于模型对 50 种语言都强,也可能是它恰好覆盖了这 26 种。图只画每个模型在未微调条件下的一个宏观 CER 条形,例如 Whisper large-v3 为 50.3、Qwen3-ASR 0.6B 为 60.9;不能把这张图读成微调前后或“告知语言前后” 的对比。告知语言但未训练的读数需要另看论文表 4,那与图 6 的单一未微调条形不是同一组数据。

下面这张主结果表保留模型名、未微调 CER、微调后 CER、95% 区间、WER 和 dev 选出的 epoch。比较前提是:50 种语言一起训练,每种语言最多 1,000 条,50 语合计 82 小时;CER 在每条片段上封顶,再对 50 种语言做宏观平均;区间只重采样说话人,不重抽语言。

MODELUNTOUCHEDFINE-TUNED95% CIWERBEST EPOCH
MMS 1B30.611.010.6–11.639.310 of 10
omniASR CTC 1B28.512.011.5–12.643.17 of 10
w2v-BERT 2.0–12.712.3–13.344.99 of 10
Whisper large-v350.313.513.0–14.241.58 of 10
Qwen3-ASR 0.6B60.918.217.5–18.951.94 of 10
Parakeet TDT 0.6B v355.721.020.2–21.952.69 of 10
Nemotron 3.5 streaming 0.6B68.735.935.3–36.578.210 of 10

表中最好的是 MMS 1B,从 30.6 降到 11.0,95% 区间 10.6 到 11.6,WER 为 39.3;omniASR CTC 1B 从 28.5 降到 12.0,w2v-BERT 2.0 从没有头到 12.7,Whisper large-v3 从 50.3 降到 13.5;Qwen3-ASR 0.6B 从 60.9 降到 18.2;Parakeet 和 Nemotron streaming 仍分别在 21.0 和 35.9。所有进入主运行的模型都下降,论文报告的范围是 16.6 到 53.1 点。

同配方额外训练的 omniASR CTC 7B 到 9.5,是训练模型里最低的,但主运行表里最佳仍是 11.0。词级仍不理想:主运行中最低 WER 是 MMS 1B 的 39.3,omniASR CTC 7B 为 35.2;即使加词语言模型,最低 WER 也只到 34.4,所以结果更像待校对的草稿,不是可直接发布的转写。

按解码器分组与按语言看:顺序有信息,但不是纯因果

把主运行按解码器族分组,论文报告的中位宏观 CER 是:CTC 12.0,seq2seq 14.8,语言模型解码器 17.8,转导器 28.4。CTC 模型都排在其他族之前,最接近的 1 对是 w2v-BERT 2.0 和 Whisper large-v3,相差 0.8 点,在重采样说话人后区间约 0.4 到 1.2。这个顺序不能直接解释成“CTC 解码器本身更好”:CTC 3 张卡列出的语言最多,为 143 到 1,600 多种,而其他模型最多 99 种;在 12 种没有任何模型列出的语言上,CTC 仍领先,但 w2v-BERT 与 Whisper large-v3 的差距缩到 0.4,MMS 1B 对 omniASR CTC 1B 的 1.0 点领先缩到 0.1。

还有一个更接近因果的线索:omniASR 的 CTC 1B 和 LLM 1B 共用预训练编码器,未微调时分别为 28.5 和 27.8;差别很小,而不同编码器之间差别更大。这说明编码器可能比解码器更决定顺序;不过论文只微调了 CTC 版本,同一编码器换成 LLM 后的微调结果还没有做,所以不能下定论。模型大小也不是全部:Whisper 从 tiny 到 large-v3 有明显提升,Qwen3-ASR 1.7B 比 0.6B 低 1.6 点,omniASR 7B 比 1B 低 2.4 点;但 Gemma 4 12B 因为没有音频编码器,反而落后于更小的 E2B 和 E4B。

按语言看,强的模型能把有些语言做到几乎不出错:跨模型最好成绩中,Haitian Creole 1、Khasi 2、Finnish 2、Southern Pastaza Quechua 2、Estonian 3;难的语言是 Tibetan 37、Nigerian Fulfulde 30、Breton 25、Kok Borok 22、Lule Sami 20。这些数字是每种语言在所有模型中的最好 CER,不是单个模型的总体水平。难度的相关因素更像录音条件而不是片段数:训练说话人更多的一半比更少的一半难 6.7 点,片段更短的一半难 7.4 点,测试说话人是新的 45 种比共享说话人的 5 种难 6.5 点;片段数与语言 CER 的 Spearman 相关只有 -0.09,文字系统和“是否在任何模型表里” 也没有超过其区间的分离。6 种可测属性合起来仍留下 64% 的语言间方差未解释,因此这些分组只能说明趋势。

换语料、已知语言与混合语言:迁移是否只是记住了语料

为了判断模型学到的是语言还是语料,论文把训练好的 checkpoint 直接放到 FLEURS 的 4 个语言上:Finnish、Gujarati、Lingala 和 Shona。这 4 个是 FLEURS 与本文共享语言、但不共享录音的部分;其他共享语言要么测试片段本身就是 FLEURS 录音,要么句子与训练重叠。每个模型在 FLEURS 每种语言 200 条测试片段上评分。中位模型保留了在本研究测试集上 79% 的微调收益,至少保留 33%(限于在本研究上增益至少 5 点的 16 个模型)。

FLEURS 上对微调模型的排序也与本研究高度一致,Spearman 相关 0.94。仍有 4 个模型在 FLEURS 上比微调前更差:MMS 1B、omniASR CTC 1B、Gemma 4 E4B 和 E2B,它们本来就在这些语言上较强,在本研究未微调时已到 11.0 或更好,继续拿 50 种语言训练会牺牲一部分旧能力。

已知语言的代价在英语、西班牙语、法语、德语上更直接。用 FLEURS 评分,20 个模型全部变差,中位模型 CER 上升 5.7 点;Nemotron streaming 0.6B 从 5.1 升到 51.4,Nemotron Transcribe 30B 最少,只升 0.4 点,其第 1 次运行因为冻结专家甚至从 3.7 降到 1.8。LoRA 在 3 个模型中的 2 个上损失更少,但仍不是无损。Common Voice 的补充实验说明数据来源同样重要:Common Voice 22 对本文 11 种语言至少有 100 条,最多取 4,000 条,得到 30,535 条、41.9 小时。

本文同 11 种语言是 10,157 条、23.4 小时。只用 Common Voice 训练 Qwen3-ASR 0.6B 比只用本文语料差 3.5 点,但两者合并比只用本文语料好 4.1 点,95% 区间 3.2 到 4.9;Whisper small 和 Parakeet 重复这个方向。在 8 种 Common Voice 片段更多的语言上,Common Voice 单独训练在 6 种上更好,在片段更少的语言上差很多。

混合语言的结果不太好。CS-FLEURS 把英语词和短语混入 5 种语言,并用 MMS 的 TTS 合成;5 对中有英语,但与真实说话人自然切换不同,这里测试的是模型是否跟随切换,而不是自然混语识别。20 个可比较模型中 17 个在微调后变好,中位改善 22.7 点,但微调后的中位模型在混合片段上仍为 36.2,而同样 5 种语言单独说话时为 15.0。英语是主要缺口:在 Gujarati、Burmese 和 Tajik 中,英语占参考文本字符的 22% 到 27%,中位模型未微调时只写出 12% 的英语词,微调后只写出 1%。

用户告诉它非英语语言后,它把英语写成该语言文字或直接丢掉。马来语-英语混合训练能帮到的模型也只有 19 个中的 11 个,中位 7.4 点;在公开马来语基准上,有英语混入的片段与没有英语的片段从训练中获得的收益差不多,中位差 -0.7,说明那里主要补的是电话域,而不是切换能力。

马来语电话数据:领域变化、翻译陷阱与更多数据的边际

马来语不是低资源,但训练数据和测试数据来自不同语域:训练是 Scicom 电话数据,31,622 条、60 小时人工转写的呼叫中心马来语/英语/少量普通话,按说话人停顿切开;测试是 Revolab ASR Benchmark 的公开部分,820 条、2.1 小时,覆盖 12 类马来语和英语,从电话到唱歌。dev 是电话数据中 454 条保留片段,只有 dev 决定 epoch。基准卡片允许列出的词形变体算对,数字可写成文字或数字。Whisper large-v3 在未微调时,若让模型自检语言得 8.9,若直接告诉它是马来语则 14.9,因为告诉马来语后它会把句子里的英语翻成马来语。

训练后最好成绩 6.0。这里的“增益” 从两种未微调结果中较好的一个算,因此是 2.9 点,而不是 8.9 点。

下面这张表列出按较好未微调成绩到微调后成绩的若干代表模型,比较“告诉马来语”“让模型自检”“微调后”3 种条件;表中还给出微调后的 95% 区间。不同模型的“告诉” 和“自检” 方向不同,不能先验地认为告诉语言一定更好。

MODELTOLD MALAYLEFT TO ITSELFFINE-TUNED95% CI
Whisper large-v314.98.96.05.0–7.2
Whisper large-v216.511.66.86.2–7.6
Whisper medium17.712.46.96.0–8.0
Gemma 4 E4B8.410.27.66.8–8.4
Whisper large-v3-turbo10.28.48.47.5–9.4
Qwen3-ASR 1.7B10.78.68.77.9–9.5

表中 Whisper large-v3 从较好的 8.9 降到 6.0,Whisper large-v2 从 11.6 降到 6.8,Whisper medium 从 12.4 降到 6.9,Gemma 4 E4B 从 8.4 降到 7.6,Whisper large-v3-turbo 从 8.4 到 8.4,Qwen3-ASR 1.7B 从 8.6 到 8.7。起点好的模型从电话数据中可得的增益有限;Gemma 4 E2B 和 Qwen3-ASR 0.6B 甚至变差约同样的量。翻译陷阱很具体:91 条以英语为主的片段中,Whisper large-v3 被告知马来语时把 57 条答成马来语,这些片段占其错误的 46%;让模型自检时只有 9 条这样,微调后仍告知马来语则为 0 条。检测也不是免费的,Qwen3-ASR 0.6B 被告知时 11.4,自检时 15.0。

更多电话数据不一定改善公共基准。24 个模型中 16 个在 3 个 epoch 内达到最低基准分数,Whisper tiny 从第 2 轮 28.4 升到第 10 轮 36.6,同时电话 dev 从 39.7 降到 30.9,说明它越来越会这些电话,但整体识别变差。Whisper small 用 1,000 条、2.0 小时在第 1 轮附近就到 11.0,用全部 60.1 小时反而 11.7;电话 dev 一路改善。公共基准自己的电话类最好微调分是 Voxtral 的 11.2,而 Qwen3-ASR 1.7B 未微调就有 7.3;这些不是同一批电话,但说明“在 A 呼叫中心微调” 不保证“在 B 呼叫中心最好”。

数据量与训练轮数:新剪辑比多跑几轮更值

下面这张表固定“每种语言最多多少条”,比较不同数据量下的实际训练策略。较小数据量用更多 epoch,使总呈现片段数接近;例如每种语言 25 条时训练 60 轮,50 条时 40 轮,1,000 条时 10 轮,4,000 条时 3 轮。表中列了总片段数、小时、epoch、呈现片段数,以及 Qwen3-ASR 0.6B、Whisper small 和 Parakeet 的测试宏观 CER;数值越低越好,且每条片段错误封顶。

CLIPS A LANGUAGE, AT MOSTCLIPSHOURSEPOCHSQWEN3-ASR 0.6BWHISPER SMALLPARAKEET TDT 0.6B V3
251,20926039.338.445.6
502,41944033.431.743.2
1004,82082428.426.734.7
2009,542171524.422.532.8
50022,896421020.418.727.3
1,00042,816821018.216.921.7
2,00077,278159516.115.421.4
4,000129,236279315.314.420.7

25 条一种语言、50 种合计约 2 小时,就把 Qwen3-ASR 0.6B 从 60.9 拉到 39.3,Whisper small 从 65.7 拉到 38.4;Parakeet 对最初几条不太敏感,25 条时为 45.6。之后每翻倍收益递减:1,000 条时 Qwen 18.2、Whisper small 16.9、Parakeet 21.7,4,000 条时分别 15.3、14.4、20.7。更重要的是同等“呈现片段数”:Qwen 用 1,000 条训练 3 轮,与 100 条训练 24 轮呈现数相同,前者 CER 低 9.7 点;Whisper small 低 9.1 点,large-v3-turbo 低 7.3 点,Parakeet 低 2.9 点。4,000 条训练 3 轮的呈现数甚至少于 1,000 条训练 10 轮,但 4 模型仍分别好 2.9、2.5、1.5 和 1.0 点。

训练轮数与解码器有关。seq2seq 和语言模型解码器在第一个 epoch 已有中位 90% 的总收益,第 3 个 epoch 达到 99%;到第 3 个 epoch 后,多数模型再训练收益很小,Whisper large-v3、large-v3-turbo、medium、tiny 和 Cohere 在最后不超过 1.6 点。CTC 和转导器因为要学新字符行,继续训练更久:从第 3 轮到最后一轮,w2v-BERT 改善 3.8 点,MMS 3.5 点,omniASR CTC 1B 3.2 点,Parakeet 11.2 点,Nemotron streaming 9.2 点。论文还跑了 30 轮的长曲线:Whisper 和 Qwen 的 30 轮不比前 10 轮好,训练损失从第 3 轮 0.27 降到第 20 轮 0.01,已在背训练集。

w2v-BERT 到第 30 轮仍比第 10 轮低 2.2 点,MMS 到第 20 轮仍改善 0.8 点。稀缺语言也没有需要多很多轮:少于 500 条的语言在 dev 第 6 轮进入最优 1 点内,其他组分别在第 3 轮。

适配器与冻结:省下多少参数,付出多少 CER

全量微调要为每一组新语言保存整个模型;适配器试图冻结主权重,只训练少量增量。Whisper large-v3、Qwen3-ASR 0.6B 和 MMS 1B 各比较了全量、rank 32 的 LoRA;MMS 还比较了它自己的适配器:一套让 50 种语言共享,或者每种语言一套、测试时按语言名切换。所有适配器运行都在同一主数据上训练 10 个 epoch,学习率另有 dev 扫描。

逐语言适配器因为每种语言只分到五十分之一的更新,每条语言会看到 20,000 条片段,最稀缺的语言最多训练 210 轮。表中给出训练参数、比例、学习率、测试 CER 和 95% 区间。

LoRA(低秩适配器) × MMS 的逐语言适配器: LoRA(低秩适配器)冻结主模型权重,只在注意力和前馈投影上加低秩增量,用少量参数让 50 种语言共享一套更新;MMS 的逐语言适配器在每层加入小模块,并为每种语言单独训练一套,测试时按目标语言切换。两者的分工不同:LoRA 不要求推理时知道语言,存储和参数更省,但可能让新语言相互竞争;逐语言适配器更贴近单语言,却需要语言标签、每语言一套参数和切换机制。并列比较二者,再加上全量微调,才能同时看 CER 代价和对已知语言的遗忘。

MODELTRAINEDPARAMETERS TRAINEDRATETEST CER95% CI
Whisper large-v3everything1,543.5M (100.0%)1e-513.513.0–14.2
Whisper large-v3LoRA, rank 3257.7M (3.6%)3e-414.614.0–15.4
Qwen3-ASR 0.6Beverything782.4M (100.0%)1e-518.217.5–18.9
Qwen3-ASR 0.6BLoRA, rank 3229.5M (3.6%)1e-418.417.8–19.2
MMS 1Beverything965.7M (100.0%)1e-511.010.6–11.6
MMS 1BLoRA, rank 3236.4M (3.6%)1e-411.711.3–12.4
MMS 1BMMS’s adapters, one set for all 503.2M (0.3%)3e-414.013.6–14.6
MMS 1BMMS’s adapters, one set a language2.2M (0.2%)3e-416.816.4–17.3

表中最直接的结论是 LoRA 接近全量:Whisper large-v3 从 13.5 变为 14.6,MMS 1B 从 11.0 变为 11.7,Qwen3-ASR 0.6B 只差 0.2 点且区间跨零。MMS 自己的适配器一套共享 50 种语言、只训练 0.3% 参数,CER 为 14.0;按语言各一套、只训练 0.2% 参数,CER 为 16.8,比共享一套差 2.8 点,且在 MMS 原有的 26 种语言上只到 16.5,不如它原来的 14.7。这说明“逐语言单独适配” 并非天然更好:它需要语言名,存储和切换更多,还可能在 50 种新语言之间失去共享声学信息。对已知语言,Qwen 全量微调在英西法德上损失 9.4 点 CER,LoRA 损失 4.3 点。

MMS 全量损失 2.5 点,LoRA 损失 1.8 点,共享适配器损失 0.6 点;Whisper 的 LoRA 反而比全量损失更多,4.3 对 3.4。所以适配器省参数,但保留旧语言的效果依模型而定,不能说 3 模型都更好。

冻结实验进一步说明哪些部分必须训练。Nemotron 30B 是混合专家模型,路由专家占训练权重的绝大部分,但把路由专家冻结只损失 0.1 点,仍可训练 2.84B 权重且不需要专家并行;把音频编码器冻结会损失 0.8 点,语言模型侧单独训练会落后 3.1 点,投影层冻结最多移动 0.2 点。共享专家冻结会损失 0.4 点,并能解释第 1 次运行的落后。学习率方面,所有参数从 1e-5 降到 3e-6 约损失 0.3 点,和 2 个随机种子的差别接近。

若把路由专家冻结,3e-6 比 1e-5 差 0.4 点,3e-5 差 3.3 点。编码器不能用更快的学习率,3e-5 落后 1.2 点,1e-4 落后 7.6 点。把学习率在两轮内线性降到零,反而让全部训练达到 14.0,比常数率低 1.8 点;这时路由专家的价值也从不明显变成 0.8 点。

用词语言模型解码 CTC:CER 和 WER 各改善多少

CTC 模型逐帧输出字符或空白,本身不知道哪些词存在,因此可以用语言模型重排。论文为每种语言训练一个词 4-gram,语料来自整个训练池中最多 4,000 条转写,且去掉 dev 和测试也有的句子;中位语言有 3,213 句、30,102 个词,最少只有 96 句。解码用宽 64 的束搜索,语言模型权重和每词奖励由 dev 统一选择;3 个模型的权重都选 0.25,奖励分别为 2、2、1。下表从同一份 dev 选中的 epoch 输出重新解码,比较贪心与加语言模型的 CER 和 WER。

词 4-gram 语言模型 × 束搜索: 词 4-gram 语言模型从训练文本中统计连续词序列的概率,为 CTC 模型逐帧输出的字符串提供词级先验;束搜索同时保留多个候选路径,不用一步贪心定死整句。解码时,声学模型的分数给出字符或帧概率,语言模型按权重修正词序列,再为每个词加一个奖励以控制输出长度;权重和奖励在 dev 上选择。这个组合能降低 WER,但效果受语言模型覆盖率和集外词比例限制,所以论文同时报告贪心解码、加语言模型后的 CER 和 WER,而不是只看一个指标。

MODELCER, GREEDYCER, LMWER, GREEDYWER, LMWER GAIN, 95% CIWEIGHT, BONUS
MMS 1B11.19.840.134.45.7 (4.8 to 6.4)0.25, 2
w2v-BERT 2.012.711.344.838.86.0 (5.0 to 6.7)0.25, 2
omniASR CTC 1B12.010.843.138.34.8 (4.1 to 5.4)0.25, 1

表中 MMS 1B 的贪心 CER 为 11.1%,加语言模型后的 CER 为 9.8%,WER 从 40.1% 降至 34.4%;w2v-BERT 2.0 的 CER 从 12.7% 降至 11.3%,WER 从 44.8% 降至 38.8%;omniASR CTC 1B 的 CER 从 12.0% 降至 10.8%,WER 从 43.1% 降至 38.3%。论文报告的语言模型收益是 1.2 到 1.4 点 CER、4.8 到 6.0 点 WER,3 个区间都不含零;但它的限制同样明显:中位语言有 20.7% 的测试词不在语言模型训练文本里,最多的一种达到 68.8% 的测试词,所以即使 MMS 的 CER 达到 9.8%,WER 仍为 34.4%。

注意表 4 的 MMS 贪心 CER 写作 11.1%,而主表最佳 CER 显示 11.0%;本文不把这 2 个显示值之差解释为额外收益,只引用同一表格内部 CER 从 11.1% 降至 9.8% 的比较。

这些数字在哪些条件下成立

首先,测试集每种语言只有 25 条片段,语言级 CER 本身很粗;论文信任的是 50 种语言的宏观平均,而不是某个语言小数点后的差别。95% 区间重采样说话人,把 50 种语言视为给定;若连语言也重抽,主结果 210 对模型中 27 对可能换位,前几名的局部顺序并不都稳。MMS 1B 在 99% 的重抽中仍第一,但 w2v-BERT 对 Whisper large-v3 的优势只有 91%,换另一批 50 种语言,最后一个 CTC 模型可能被 Whisper 超过。

第二,语言标签来自对父语料转写应用语言检测器并由置信度核验,所以“一种语言” 在这里等于 GlotLID 判定的语言;Teso 和 Karamojong 共用一个标为 Turkana 的语料。41 种语言的所有测试片段来自一个语料,50 种语言的测试语料也都提供过训练片段,只是尽量用不同说话人;因此分数说明模型学会“这种语言在这个语料里的录音方式” 有多好,不保证跨到其他麦克风、口音和话题。7 种语言的语料部分或全部是 FLEURS,而只有 4 种能在 FLEURS 上独立测试。

图 4 的颜色只区分说话人划分:蓝色组表示训练中没有该测试说话人,橙色组表示与测试集共享说话人、该语言没有其他说话人。原文报告,测试说话人与训练重叠的语言上,CER 只有其余语言的 54% 到 85%。原文正文与表 12 在个别语言的说话人共享状态上存在内部不一致,因此颜色分组只能用于图 4 的展示,不宜外推为某个具体语言的精确效应。

测试集还有 2 条长文本配极短音频,部分语料是重复词汇的圣经朗读。

第三,训练和 dev 标签只来自父语料、按长度门控,没有逐条人工复核;测试行才逐条核验了语言和长度。测试集中 Whisper 的 byte-level 词表在 25 条 Tibetan 中有 17 条、Lao 中有 12 条需要超过解码上限;把解码从 40 token 加每秒 30 token 放宽到 60,只让 7 个模型的宏观 CER 变化最多 0.3 点,仍不能说明其他模型的长度问题不存在。

第四,主运行大多只用一个训练种子;5 个模型重复 10 次,结果落在当前分数 0.4 点内,前 3 个模型的排序在 3 个种子上保持,但其他模型不能假定同样稳定。学习率按模型扫过,其他设置没有逐个调;Granite、MMS 和 Voxtral 的扫描较晚,MMS 和 Voxtral 起初学得太快,MMS 重新用 1e-5 后从 16.2 降到 11.0,Voxtral 用 3e-6 后从 17.2 降到 16.3。配方更好时,模型排序仍可能变化。

最后,训练成本和部署成本不是一回事。论文给出了部分模型每个 epoch 的小时数,例如 MMS 1B 0.52 小时、Whisper large-v3 1.11 小时、Gemma 4 12B 4.03 小时,但这是训练一个 epoch 在特定任务上的时间,不是推理延迟、吞吐或能耗;论文也没有测量人工校对时间。因此不能因为 CER 降低就承诺实时性、成本或用户体验一定改善。

若要复现,先固定哪几件事

复现的第一步不是直接开训,而是先把划分和评测固定下来:从父语料中选出 50 种语言,每种语言留 25 条测试片段;训练集去掉测试和 dev 的相同片段、相同文本及相同解码音频;有替代说话人时,训练和 dev 不包含测试说话人;再按片段长度、文本字符速率设门槛。之后要按论文的文本规范化实现宏观 CER:NFKC、小写、去标点符号、保留组合标记,每条片段错误数不超过自身长度;WER 与 CER 用同一规范化文本,但要单独报告,不能把 WER 差值塞进 CER 列。

第二步是选定模型族,并验证“新增入口” 不会破坏初始输出。Whisper 新增语言 token,Cohere 新增未使用标签,Qwen/Granite/Voxtral 把语言名或代码写进提示;转导器要给新字符在预测网络嵌入和联合网络输出各加行,并采用“复制空白行、低 10 个单位” 的静默起点,否则未训练扩展会大量输出第一个新字符;CTC 模型要新头或补行,w2v-BERT 还要加 LayerNorm。先不训练,检查新增后的模型在原测试片段上的输出是否仍接近原模型,再进入全量训练。

第三步是训练和选择。主设置是 50 种语言一起、每种语言最多 1,000 条、合计 82 小时;AdamW,权重衰减 0.01,学习率按模型在 dev 上扫,200 步预热后常数,梯度裁剪 1,贪心解码;每个 epoch 评 dev 和测试,只用 dev 选 epoch。Whisper large-v3 的学习率是 1e-5,Qwen3-ASR 0.6B 是 1e-5,MMS 是 1e-5,Parakeet 是 3e-4,Nemotron streaming 是 1e-4。

不同模型不能直接套同一个学习率。若显存不够,可先复现 MMS 或 Whisper large-v3,因为它们的训练小时数较小,且主结果靠前。

复现时至少要带上 4 个对照:同架构随机权重、冻结编码器、冻结解码器、单语言训练。随机权重实验要训练更久才公平,论文给随机权重用了 1e-4 且多数双倍 epoch,仍落后 60 到 77 点,Parakeet 8 轮后还有 1,145/1,250 条片段循环;这可以作为“迁移不是从零学习” 的最低检查。冻结实验要针对具体族解释:Qwen3-ASR 0.6B 全量训练的 CER 为 18.2、冻结编码器的 CER 为 21.0、冻结解码器的 CER 为 19.6,Whisper small 同向;w2v-BERT 冻结编码器的 CER 停在 77.6,Parakeet 冻结编码器的 CER 为 53.5,说明没有自回归解码器时编码器必须学习。

如果目标是复现跨语料结论,还要准备 FLEURS 的 Finnish、Gujarati、Lingala 和 Shona,以及 Common Voice 的 11 种语言;如果目标是复现马来语电话结论,需要 Scicom 电话数据和 Revolab 公开基准,并注意“告诉马来语” 会诱发翻译,必须同时跑自检和告知 2 种未微调条件。论文的正文给出了模型名、超参数和清洗规则,但本文不据此声称代码、权重或数据已经公开;模型许可、电话数据获取和运行环境需要各自确认,能下载权重、能拿到数据、能成功运行是 3 件不同的事。

什么时候值得尝试,下一步该验证什么

这篇论文支持的实用判断是:如果手上已经有一个强多语预训练模型,而新语言只有大约 1 到 2 小时转写,先做小样本全参数微调或 LoRA 是值得尝试的;数据量从 25 条增加到 100 条、500 条、1,000 条仍有明显收益,但每翻倍越来越小,所以收集新片段通常比在旧片段上多跑几轮更值。模型选择上,论文主运行里 CTC 和 Whisper 最好,omniASR CTC 7B 在同配方额外运行中到 9.5;但这是这套 50 个语言、这个语料、这个评测下的结果,换语言或换录音条件不保证排序不变。

训练轮数要按解码器分:seq2seq 和语言模型解码器通常在 3 到 5 个 epoch 内完成,CTC 和转导器因为要学新字符行,需要 10 轮或更多;如果显存和时间允许,先用 dev 看曲线,不要照搬别的模型的最佳 epoch。若需要为很多组语言保存多份模型,LoRA 在本文 3 个模型上接近全量,MMS 共享适配器更省,但逐语言适配器反而更差且更需要语言标签;若旧语言不能退化,必须把英语、西班牙语、法语、德语纳入微调后的回归测试,本文中位模型上升 5.7 点,最坏从 5.1 升到 51.4。

最容易被误读的是“告诉语言” 和“迁移学习”。在 Whisper large-v3 上,未训练时把语言名或 token 放进去只把 50.3 降到 45.1;Qwen3-ASR 0.6B 从 60.9 降到 51.5;真正的下降发生在训练后。反过来,混合英语的片段即使微调后,中位模型也只写出 1% 的英语词,说明它学会了目标语言的声学和文字,却没有自动学会保留另一种语言的跨文字词。马来语结果还显示,告诉模型“这是马来语” 可能触发英语翻译,单看被告知条件的提升会高估训练收益。

还没被这篇论文回答的,是更广的语言抽样和真实部署条件。50 种语言是固定的,换 50 种语言后一些模型对会换位;FLEURS 只覆盖 4 种可独立核对的语言;测试片段大多来自同一父语料,虽然 FLEURS 检查保留了 79% 的中位收益,仍不能替代多麦克风、多口音和多人对话的现场评测。论文也没有报告推理延迟、吞吐、能耗或人工校对时间,更没有证明所有模型和数据的获取方式。

下一步最值得补的验证是:在与目标场景同分布的独立录音上,同时测未微调自检、未微调告知语言、微调、加词语言模型 4 种条件,并把已知语言回归和混合语言保留率一起纳入;只有这些条件都成立时,才能把低资源微调当作可部署的一步,而不只是 1 次受控实验。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:deepseek-v4.1-flash

  • 评分请求协议:openai_responses


← 返回 2026-11-13 语音/音乐/音频论文速递