先做高资源语音识别预训练，再用三五小时做多任务多语言适配

英文题目：Towards Enabling Multilingual Multitask SpeechLLMs in Data-Scarce Settings

会议身份：conference:interspeech:2026:conference-paper-id:fong26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多任务学习 #低资源 #多语言 #语音识别 #语音翻译

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.3/1.5 | 实验充分 1.0/1.5 | 清晰度 0.9/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Seraphina Fong：机构信息未能从会议 PDF 纯文本可靠映射
• Marco Matassoni：机构信息未能从会议 PDF 纯文本可靠映射
• Alessio Brutti：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为多语言语音片段，输出需同时覆盖同语种转写、向英语翻译与七类主题判定，难点在于每语言每任务仅有 3-5 小时标注且三任务共享同一段音频、声学内容平行易混淆。首先冻结 Whisper-large-v3-turbo 编码器与 EuroLLM-1.7B-Instruct 大语言模型（Large Language Model，LLM），仅在 CommonVoice 20.0 大规模 ASR 数据上预训练轻量投影器以建立声学到文本嵌入的对齐。其次固定该对齐初始化，在 SIB-Fleurs 小数据上以任务提示联合微调投影器实现多任务适配。最后对比单语与多语预训练及单语与多语微调组合，检验语言亲缘与任务泛化边界。与已有工作分离研究多语或多任务不同，该链条把高资源 ASR 对齐作为低资源多任务的必要前置。在 SIB-Fleurs 意大利语上预训练加微调将词错率（Word Error Rate，WER）降至 5.4%，远优于同设置从零训练的 129.0%，同时语音翻译（Speech Translation，ST）BLEU 从 0.8% 恢复至 48.2%、主题识别（Topic Identification，TID）准确率从 71.8% 恢复至 81.5%。结论仅适用于欧洲语系内三任务平行语料，未见跨任务零样本涌现，远亲语言仍需目标监督。原文未披露训练时长、推理延迟或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么低资源多任务多语言难？

本文的输入是语音片段，目标是在同一套模型里同时支持 3 种任务和 5 种语言。3 种任务分别是自动语音识别、语音翻译和话题分类。自动语音识别是把源语言语音转写为源语言文本，用词错误率衡量，数值越低越好。语音翻译是把非英语语音翻成英语，用 BLEU 衡量，数值越高越好。话题分类是为每段语音预测 7 个话题之一，用准确率和宏平均 F1 衡量，数值越高越好。7 个话题是科学技术、旅行、政治、体育、健康、娱乐和地理。

输出不是单一分数，而是在每种语言每种任务上的可复述行为。论文强调的约束是每任务每语言只有约 3 到 5 小时标注训练数据。具体是意大利语约 4.5 小时、西班牙语约 3.5 小时、加利西亚语约 3.5 小时、捷克语约 4 小时、芬兰语约 4.5 小时。语言覆盖罗曼语系的意大利语、西班牙语、加利西亚语，斯拉夫语系的捷克语，以及乌拉尔语系的芬兰语，目的是能观察语系远近的影响。

难点在于两个维度同时缺数据。只缺语言数据时，可以靠高资源语言的语音识别迁移。只缺任务数据时，可以靠多任务共享表示。但当语言和任务同时缺、且每个组合只有几小时时，从零训练的对齐层既学不会声学到文本的映射，也学不会多任务提示的区分。论文要回答的是，高资源语音识别预训练搭好的底座，能否让后续极少量多任务微调同时泛化到新语言和新任务，以及单语微调与多语微调哪种更稳。

已有路线在多语言和多任务上各自解决了什么？

第一条路线是多任务语音大模型。已有工作用多任务训练让一个模型处理识别、翻译、理解等任务，优点是共享表示、减少级联误差，但多数实验数据量较大，对低资源组合是否成立没有系统回答。第二条路线是跨语言迁移。已有发现表明单语或多语预训练能帮助低资源语音识别，语言相似性分组也能改善迁移，但这些结论主要在识别任务上验证，没有扩展到翻译和话题分类的多任务语音大模型。

第 3 条路线是大规模预训练后涌现少样本能力。有工作报告在超过 100000000 小时音频预训练后，未见任务才出现少样本能力。这说明零样本跨任务不是默认成立的，需要极大规模或显式监督。本文的对照思路正是把这 3 条路线放在同一低资源条件下检验。基线包括直接从零训练的多任务投影层，以及不做任何微调的通用音频语言模型。

通用模型选择的是 Qwen2-Audio-7B-Instruct，按论文描述它支持中文、英文、粤语、法语、意大利语、西班牙语、德语和日语。这个基线的作用是回答一个务实问题：一个在大规模数据上训练好的通用模型，不做目标数据适配，能否直接覆盖本文的五语言三任务。论文没有把它当作同条件可比的训练方法，而是当作 contextualize 低资源微调效果的参照。资源状态方面，本次收到的证据中没有完成超链接可达验证的开源资源，不得声称代码、模型或数据当前已公开。

论文把低资源多语言多任务拆成哪几个可检验问题？

论文把大问题拆成 5 个可操作的子问题。第一，从零训练在每任务每语言不足 5 小时时能否学出多任务对齐。第二，先做高资源语音识别预训练再做低资源多任务微调，能否把识别之外的翻译和分类也带起来。第三，只在意大利语上微调后测西班牙语、加利西亚语、捷克语和芬兰语，跨语言零样本是否随语系距离衰减。第四，去掉 1 个任务的监督后测该任务，跨任务零样本是否成立。第五，在目标语言极少数据下，单语微调与多语联合微调哪种更稳，以及结论是否依赖预训练投影器的多语覆盖强度。

为隔离声学内容差异，论文使用 SIB-Fleurs 数据集。该数据集的特点是同一语音片段同时带有识别、翻译和分类 3 套标签，因此多任务学习是在相同音频输入、不同任务标签下进行。这样任务之间的差异不会被说话人、信道或文本内容差异污染。翻译标签来自数据集中附带的由 SeamlessM4T 衍生的英语译文。分类标签是数据集自带的 7 类话题。

高资源预训练数据来自 CommonVoice 20.0。单语预训练随机取 200 小时意大利语，多语预训练取 500 小时均衡混合的意大利语、西班牙语、英语、法语和德语。另有一组复用外部 28 语言投影器 MEUSLI 的实验，用于检验强多语底座下的结论是否变化。所有比较都围绕数据量、语言覆盖和任务覆盖 3 个变量展开，而不是比较模型规模。

方法全景：一个样本如何走完语音到任务输出？

方法采用统一架构而不是级联流水线，理由是减少模块间误差传递并让多任务共享表示。流程可以沿一个样本走一遍。输入是一段语音和 1 个任务提示。语音先进入冻结的语音编码器 Whisper-large-v3-turbo，得到声学表征。声学表征按因子 5 下采样，缩短语音与文本的长度差异，再进入可训练的线性投影层，映射到冻结大语言模型 EuroLLM-1.7B-Instruct 的嵌入空间。大模型同时读入投影后的语音向量和任务提示词元，生成对应任务的词元输出。

举例说明时要明确这是教学例子，不是论文报告的新数值。假如输入一段意大利语语音，若提示是转写，模型应输出意大利语转写文本；若提示是翻成英语，模型应输出英语译文；若提示是七选一话题分类，模型应输出话题标签词。同一音频、同一投影层，只换提示就切换任务，这就是多任务的含义。

下图是该框架的结构总览，读图时先看主路径，再看提示支路在哪里汇合。

看图路径： 1. 从底部语音箭头向上追踪到冻结编码器再到可训练投影层的主路径；2. 对比左侧语音支路与右侧任务提示支路在冻结大模型处的汇合位置；3. 确认可训练与冻结模块在图中的不同标注

论文图 2。原论文 Figure 2：“Overview of the multitask SpeechLLM framework (SLAM-LLM [18]). A trainable linear projector aligns frozen speech-encoder representations with a frozen LLM embedding space.”。

图中可见底部是语音输入，向上经过冻结编码器，再经过标为可训练的多任务线性投影层，最后进入顶部的冻结指令模型。右侧另有一条任务提示与标签的输入箭头，直接进入大模型。这对应正文描述：只有投影层可训练，编码器与大模型冻结；训练用大模型预测词元与真实标签词元之间的交叉熵，推理用束搜索。这种设计把可训练量控制在约 17,310,000 参数，便于在单卡上做低资源适配。

哪些组件可训练，哪些冻结，计算如何衔接？

组件分为三块。语音编码器负责声学建模，输出高维语音嵌入，全程冻结，不更新梯度。大语言模型负责按提示生成文本，全程冻结，也不更新梯度。中间的线性投影层包含一个带 ReLU 激活的隐层和一个回归层，总计约 1731 万可训练参数，是唯一通过梯度更新的模块。这种安排的理由是复用已有编码器与多语大模型的欧洲语言能力，把低资源学习集中在模态对齐上。

计算衔接的关键是长度与空间对齐。语音帧序列远长于文本词元序列，因此先做 5 倍下采样，再做线性映射。映射后的向量被当作大模型输入嵌入的一部分，与提示词的嵌入拼接后参与自回归生成。损失对所有任务统一为交叉熵，即比较模型预测的下一个词元分布与真实标签词元。梯度只回传到投影层，不进入编码器与大模型。

语音编码器 × 大语言模型： 语音编码器负责把输入语音变成声学表征，大语言模型负责按任务提示生成转写、译文或话题标签，二者分工是声学感知与文本推理分离，搭配理由是只用一个轻量投影层把声学向量映射到语言模型嵌入空间就能复用冻结的双语能力，组合意义是避免级联误差并让同一音频在不同提示下完成多任务。

另一个组件细节是外部强多语投影器 MEUSLI 的适配方式。在复用该 28 语言投影器的实验中，论文按原配置把投影器与 EuroLLM 对齐，做法是用低秩适配微调查询与值投影层，秩为 8，缩放系数为 32，新增约 140 万可训练参数。论文明确说明，在 CommonVoice 语音识别预训练的实验中不使用低秩适配，以保持训练设置一致并隔离预训练与微调语言覆盖的影响。未报告的内容包括优化器类型、学习率具体数值和梯度裁剪等，复现时只能按 SLAM-LLM 多任务配方的默认值理解，不能从模型名称推定。

任务提示如何区分识别、翻译和分类？

3 个任务共用同一模型，区分完全靠任务提示。识别提示是转写语音为文本。翻译提示是利用前面的音频做英语语音翻译。话题分类提示是把口语话语分类为所列 7 个标签之一，并把 7 个标签名完整列在提示中。这种提示设计让分类也变成生成标签词的任务，因此可以用同一交叉熵目标训练。

从学习依赖看，提示是模型区分任务的唯一显式信号。如果微调时从未见过某类提示与标签格式，模型就没有机会建立该任务的输出规范。这为后文跨任务零样本失效埋下伏笔。语言方面没有单独的语言提示，语言信息隐含在语音本身和目标文本中，因此跨语言迁移更多依赖声学与文本表示的相似性，而不是显式语言标识。

投影层 × 低秩适配： 投影层是连接冻结语音编码器与冻结大模型的单隐层线性映射，是本文主要可训练参数，低秩适配只在复用外部 28 语言投影器时用来微调大模型的查询与值投影，分工是前者做模态对齐、后者做小幅语言模型适配，搭配原因是通用实验要隔离语音识别预训练的作用而不引入额外可训练量，复用强多语底座时才加少量低秩参数以对齐欧洲大模型。

需要纠正的一个常见误解是，冻结大模型不等于输出确定。解码时使用束宽为 4 的束搜索，最大帧长限制为 1000，采样与搜索策略仍会带来不确定性。冻结只意味着参数不更新，不意味着给定输入的输出唯一或最优。论文也没有报告温度、top-p 等采样细节，复现时应保留默认束搜索设置并记录实际解码配置。

两阶段训练先做什么，后做什么，什么条件下停止？

训练分为预训练与微调 2 个阶段。预训练阶段只用语音识别数据。单语设置用 200 小时意大利语，多语设置用 500 小时五语言混合数据。目标是让投影层先学会把语音映射到可被大模型解码为文本的空间。微调阶段才引入多任务，使用 SIB-Fleurs 每任务每语言 3 到 5 小时数据，同时训练识别、翻译和分类 3 个提示分支。论文明确说明，多任务学习只在微调阶段引入，预训练阶段只有识别数据。

训练过程采用基于音频帧长度的动态分批，而不是固定样本数。训练最大帧长 1500，评测最大帧长 3000。学习率调度包含 1000 步 warmup，之后保持恒定。最多训练 10 轮，当验证损失不再下降时早停。所有实验在一块英伟达 Ada Lovelace L40S 上进行。论文未报告每轮耗时、总时长和显存占用，因此不能量化训练成本，只能定性说明可训练参数少、单卡可跑。

语音识别预训练 × 多任务微调： 语音识别预训练只用高资源语音识别数据初始化投影层，建立语音帧到文本词元的基本对齐，多任务微调再用低资源三任务数据让同一投影层同时响应转写、翻译和分类提示，前者分工是搭好跨语言可迁移的对齐底座，后者分工是扩展任务覆盖，搭配原因是没有底座时不到 5 小时数据学不出稳定映射，组合后才能用极少目标语言数据激活多任务。

零样本与交叉微调的构造也要讲清。跨语言零样本是只在意大利语多任务数据上微调，然后测其他 4 种语言。跨任务零样本是预训练仍用意大利语识别，但在微调时只用两任务，例如只用识别加翻译然后测分类，或只用识别加分类然后测翻译。单语微调是每语言单独训一个模型，多语微调是五语言联合训一个模型。这些构造的监督来源、语言覆盖和任务覆盖都不同，比较时不能混为一谈。

数据、基线、指标与比较条件如何对齐？

数据方面，评测统一在 SIB-Fleurs 的 5 个语言子集上进行，训练量如前所述每个组合 3 到 5 小时。选择这 5 种语言是为了覆盖罗曼、斯拉夫和乌拉尔语系，便于初步分析语系远近。指标方面，所有指标按百分比呈现。识别用词错误率，越低越好。翻译用 BLEU，越高越好。分类同时报告准确率和宏平均 F1，前者反映总体正确率，后者反映对类别不均衡的鲁棒性，越高越好。

基线方面，第一类是从零训练的多任务投影层，分单语和多语两种，即每个语言单独训或五语言联合训，都不经过语音识别预训练。第二类是 Qwen2-Audio-7B-Instruct 零样本，不在 SIB-Fleurs 上微调，直接测五语言三任务。第三类是本文的 2 阶段方法，分单语预训练与多语预训练，再分单语微调与多语微调。比较的公平条件是目标数据量一致，即微调都只用每任务每语言 3 到 5 小时，差异只在是否预训练、预训练语言覆盖和微调语言覆盖。

聚合与统计方面，论文按语言分别报告，没有报告跨语言平均的计算方式，也没有报告显著性检验或多次随机种子的方差。因此阅读时应把结论限定为在该划分与该单次报告下的趋势，而不是普遍显著性。硬件预算只报告了显卡型号，没有报告时间与费用，部署延迟、误判率等也未测量，不能从准确率改善推定延迟改善。

从零训练为何不稳，语音识别预训练带来多大改进？

要回答的比较问题是，在相同低资源多任务数据下，从零训练与先做识别预训练再微调的差距有多大，指标方向是识别错误率越低越好、翻译与分类越高越好。下表聚焦意大利语的单语多任务情形，对比从零训练与 200 小时意大利语识别预训练加微调，表中数字全部来自原文连续描述。

表后解释需要同时给出收益与代价。收益是预训练把识别错误率从 129% 拉到 5.4%，翻译从接近零的 0.8% 拉到 48.2%，分类准确率从 71.8% 升到 81.5%，说明识别预训练提供了可迁移的对齐表示，让极少翻译与分类数据也能学出任务行为。论文还指出，这与在翻译数据充足时加识别数据未必有帮助的已有观察不同，在每语言只有 3 到 5 小时翻译数据的低资源多任务条件下，识别预训练是必要的初始化。代价与边界是，该结论依赖目标语言微调，即使有预训练，从零多任务仍不稳，多语从零训练虽对意大利语、西班牙语和加利西亚语有所改善，但对捷克语和芬兰语仍不稳定，说明仅靠多语联合不能替代预训练。

单语微调 × 多语微调： 单语微调指每种语言单独微调一个多任务投影层，多语微调指 5 种语言联合训练一个投影层，前者分工是保留目标语言特异性、避免远距离语言互相干扰，后者分工是共享罗曼语系等相近语言的表示，搭配比较的意义是检验预训练覆盖不足时联合训练是否仍然有益，论文显示只有强多语预训练底座才能让两者持平。

未胜出项也要点名。从零多语训练在远距离语言上失败，Qwen2 在支持语言上翻译强但在捷克语和芬兰语上识别错误率超过 100%、翻译低于 5%，说明通用大模型的覆盖不均衡在低资源语言上仍然明显。这支持论文用少量目标语言监督做均衡适配的动机。

跨语言零样本是否随语系变远而下降，跨任务零样本会怎样？

要回答的第二个比较问题是，固定在意大利语上微调后，测未见语言与未见任务的表现如何，公平条件是预训练与微调的语言任务覆盖明确，指标方向同上。下表整理论文对未见语言和未见任务的定量描述，重点是支持语言与非支持语言、已见任务与未见任务的反差。

表后解释要区分两种泛化。跨语言方面，只在意大利语微调的投影层在西班牙语上最强，加利西亚语中等，捷克语和芬兰语大幅下降，论文报告这种排序与到意大利语的语系距离一致，也与按相似性分组改善迁移的已有工作一致。但用多语识别预训练再做意大利语微调的零样本跨语言反而不够稳定，说明零样本跨语言泛化有明确上限。跨任务方面，去掉分类监督后分类准确率与宏平均 F1 均为 0%，去掉翻译监督后翻译仅 3.8%，说明未见任务不会零样本涌现，必须有任务监督。论文的判断是跨语言迁移渐变存在、跨任务泛化基本不成立。

还要说明一个反例。多语预训练本应更强，但在零样本跨语言设置下反而不如单语预训练稳定。这提醒读者不能把预训练语言多等同于零样本一定好，关键还要看微调是否覆盖目标语言。后续表格显示，一旦给目标语言少量监督，多语预训练的优势才能稳定发挥。

单语微调与多语微调何时相当，何时单语更稳？

本节的消融变量是微调的语言覆盖，固定预训练底座后比较单语微调与多语微调。第一个底座是 500 小时五语言混合预训练。论文报告，在该底座下用不足 5 小时目标语言数据微调，总体上单语微调更稳，特别是对预训练未覆盖的捷克语和芬兰语，多语联合会出现明显退化。第二个底座是支持 28 语言的 MEUSLI 强多语投影器。在该底座下，单语与多语微调总体差异很小，单语在识别上有小幅优势，例如捷克语和芬兰语词错误率有所下降，但翻译与分类差距不大。

跨语言迁移 × 跨任务泛化： 跨语言迁移指在意大利语上微调后直接测西班牙语、加利西亚语等未见语言，跨任务泛化指去掉翻译或话题分类监督后直接测该任务，前者依赖语音与文本的语系相似性，后者依赖模型是否见过该任务的提示与标签格式，搭配对照的意义是区分语言距离带来的渐变下降与任务缺失带来的彻底失效，论文显示前者渐变存在、后者直接归零。

机制解释是，预训练覆盖决定了微调策略的容错空间。当预训练只覆盖意大利语、西班牙语、英语、法语和德语时，捷克语和芬兰语的表示本来就弱，多语联合会让本已稀缺的目标信号被主导语言稀释，单语微调能保留特异性。当预训练已覆盖 28 语言时，各语言表示本来就较强，联合训练不再带来明显干扰，因此两种策略都能有效适配。论文也提醒，MEUSLI 预训练用过 Fleurs 的识别数据，可能部分贡献了其跨语言稳定性，解读时要留有余地。

与通用基线的对照进一步支持少量监督的价值。Qwen2 在支持的意大利语和西班牙语上翻译强，但在非支持语言上明显下降，而本文方法用每任务不足 5 小时的目标语言微调后，五语言表现更均衡。这说明在包容性部署场景下，与其依赖通用模型零样本覆盖，不如为低资源语言补少量任务监督。

结论的边界在哪里，哪些量没有测？

论文明确的适用范围是三任务与欧洲语言。任务只有识别、生成式的翻译和 7 类话题分类，没有覆盖更复杂的口语理解、对话或音乐音频任务。语言只有 5 种目标语言，预训练也集中在欧洲语言，没有验证非洲、亚洲低资源语言或方言。数据集的平行标注虽然有利于隔离声学差异，但真实部署中多任务数据往往不同源、噪声与领域也不同，因此结论向非平行数据的外推待验证。

未测量的量包括统计显著性、随机种子方差、训练时间与推理延迟、误判率与公平性指标。论文用词错误率、BLEU、准确率和宏平均 F1 报告趋势，但没有给出置信区间，也没有报告跨语言平均的聚合口径。硬件只报告单卡型号，没有报告训练步数耗时与推理帧率，不能从参数量小推定延迟低。相关性也不等于因果，语系距离与零样本下降一致，但不能断言语系是唯一原因，声学、词表重叠和大模型先验都可能起作用。

另一个边界是模型选择依赖。论文提到性能可能随所用大模型而变化，复现时更换编码器或大模型后，单语与多语微调的相对优劣可能改变。MEUSLI 底座的强表现部分可能来自预训练见过同源数据，不能简单理解为任意强多语底座都有同样效果。

要复现这套两阶段流程，先准备什么、按什么顺序跑？

先准备数据。下载 SIB-Fleurs 的意大利语、西班牙语、加利西亚语、捷克语和芬兰语子集，确认每任务每语言 3 到 5 小时，并保留同一音频 3 套标签的平行结构。翻译用数据集中附带的英语译文，分类用 7 类话题标签。另准备 CommonVoice 20.0，单语设置随机取 200 小时意大利语，多语设置取 500 小时均衡混合的五语言数据。划分、采样随机种子和早停验证集要完整记录，因为论文未报告多次运行方差，复现时至少跑多种子并报告波动。

再准备模型与配方。语音编码器用 Whisper-large-v3-turbo，大模型用 EuroLLM-1.7B-Instruct，框架用 SLAM-LLM 多任务配方。投影层设单隐层加 ReLU 再加回归层，下采样因子 5，可训练量约 17,310,000。编码器与大模型冻结，只训投影层。动态分批按帧长，训练最大帧长 1500，评测最大帧长 3000，warmup 1000 步后学习率恒定，最多 10 轮、验证损失不降则早停，损失为全任务交叉熵，推理束宽 4、最大帧长 1000。任务提示按原文 3 条英文提示逐字使用，分类提示要列全 7 个标签。

跑的顺序是先识别预训练，再多任务微调，最后按 4 种评测展开。从零基线、单语预训练加单语微调、多语预训练加单语或多语微调、跨语言零样本、跨任务零样本都要分别跑，不能只跑最优组合。评测时识别看词错误率下降，翻译看 BLEU 上升，分类同时看准确率与宏平均 F1，避免只看准确率掩盖类别不均衡。复现前要先确认本次实际可达的资源状态，证据中没有验证通过的公开链接，不得默认代码权重可下载。

何时值得用这套方法，一张图如何记住全部结论？

当同时满足 3 个条件时值得尝试。每任务每语言只有几小时，但能拿到上 100 小时的高资源识别数据做预训练。目标是同一模型同时做识别、翻译和简单分类，且目标语言与预训练语言至少有部分语系或词表重叠。能接受为每个目标语言补少量监督，而不是追求完全零样本覆盖。这时先做识别预训练再做低资源多任务微调，比从零多任务更稳，比通用模型零样本更均衡。

下图是全文的概念总结，读图时按从左到右的 2 阶段理解，再看分支条件如何改变微调选择。

看图路径： 1. 从左到右读出高资源识别数据到低资源多任务数据的两阶段流程；2. 比较中间分支有限多语预训练与高度多语预训练对应的微调策略；3. 核对右侧跨语言可迁移与跨任务不可零样本涌现的结论框

论文图 1。原论文 Figure 1：“Conceptual summary of results. Multilingual ASR pretraining enables effective adaptation of SpeechLLMs in low-resource multitask settings (3–5h per task/language).”。

图中左侧从每语言 100 小时以上的高资源识别数据出发，先得到识别预训练的投影层，再用每语言每任务 3 到 5 小时的低资源多任务数据做微调。中间分出两条路径。有限多语预训练对应 5 个语言 500 小时，论文建议此时用单语多任务微调更稳。高度多语预训练对应 28 个语言 7622 小时，此时单语或多语微调均可，总体相当。右侧结论框点出核心反差。

跨语言迁移成立但依赖语言相近性，跨任务迁移不成立，未见任务不会零样本涌现。记住这个分支，就记住了何时该单语、何时可多语，以及不能对未见任务抱有零样本幻想。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总