📄 Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders
标签：#语音翻译 #语音大模型 #端到端 #课程学习 #多语言
8.2/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5
🔥 8.2/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #语音翻译 | #语音大模型 | #端到端 #课程学习 | arxiv
👥 作者与机构
- 第一作者：Yexing Du（机构未说明；论文标注为 1,2）
- 通讯作者：论文未注明通讯作者
- 作者列表：
- Yexing Du（机构未说明；标注 1,2）
- Kaiyuan Liu（机构未说明；标注 1,2）
- Youcheng Pan（机构未说明；标注 2）
- Bo Yang（机构未说明；标注 2）
- Chengpeng Fu（机构未说明；标注 1,2）
- Yu Wang（机构未说明；标注 2）
- Ming Liu（机构未说明；标注 1,2）
- 说明：论文只给出作者单位编号 1 和 2，没有提供单位名称，因此无法确认具体机构。
💡 毒舌点评
用“冻结高资源专家 + 可训练中低资源专家”的方式把资源分层直接做进语音编码器，思路不算复杂，但确实直击共享编码器的容量竞争问题，45 语言全方向评测的工程量也值得肯定。不过“打破多语言诅咒”这个结论仍偏强：MoSE 本质上只是按人工资源等级把模型容量切成两半，缺少参数匹配对照、显著性检验和更精细的资源分组依据，效果有多少来自路由、多少来自直接翻倍编码器参数，论文并没有彻底说清。全方向 1,980 个翻译方向的主结果表也只给出聚合分布与代表方向，逐方向失败模式仍未充分暴露。
📌 核心摘要
论文针对多语言多对多语音到文本翻译（S2TT）中单个共享语音编码器导致的多语言诅咒问题：不同资源水平的语言争抢有限编码器容量，使低资源语音翻译显著退化。其核心方法是 MSRT 框架，采用资源感知的语音编码器混合（MoSE）：高资源语言走冻结的 Whisper 专家，中低资源语言走可训练的 Whisper 专家，并由显式语言路由器按源语言 token 选择专家。相比共享编码器或 token 级 MoE，MoSE 直接按资源等级做专家分工，推理时仍只激活一个编码器，额外开销很低。训练上使用五阶段课程学习，从 ASR 对齐、专家特化、翻译激活到端到端 SRT 与 LoRA 联合微调，声称每语言只需约 10 小时配对 S2TT 数据。在 FLEURS 45 语言、全部 1,980 个非恒等翻译方向上，MSRT-4B 平均 COMET 为 83.3，超过 MCAT-27B（80.9）、Gemini-3.5-Flash-Lite（80.0）、Whisper+NLLB（78.4）、Qwen3-Omni（77.5）和 SeamlessM4T（72.5）；至少 80 分的方向为 1,552 个，显著多于 MCAT 的 1,232 和 Gemini 的 928。消融显示双专家相比单专家在低资源语言上提升明显，且高资源语言不降反升；CoVoST-2 上仅用 7.5 小时 FLEURS 英语数据即可达到平均 83.3 COMET。实际意义是提供了一个紧凑、可复现的多语言 S2TT 模型与全方向评测基线。主要局限性是翻译质量受限于底层 LLM 的 MT 能力，且人工资源分级与双专家容量配置的充分性仍缺乏更强论证。
🔗 开源详情
- 论文明确声明开放代码与模型：摘要中写明“we open-source its code and model”，结论中再次声明“we release our code and models”。
- 代码仓库：https://github.com/yxduir/MSRT
- 模型：MSRT-4B 已随论文发布；具体模型权重文件格式未披露。
- 数据集：未发布新数据集；实验基于 Common Voice 24、FLEURS 与 CoVoST-2。
- 许可证：未披露。
🏗️ 方法概述和架构
MSRT 是一个端到端语音到文本翻译系统，整体流程是：输入语音 \(x\) 和一段包含语言 token 的文本提示；提示中的源语言 token 被显式语言路由器读取并决定使用哪一个语音编码器；被选中的 Whisper 编码器输出变长语音特征；Q-Former 将这些特征压缩为固定长度的 query 表示；MLP 将表示投影到 LLM 隐空间；LLM 根据提示中的目标语言 token 以及训练阶段给定的额外信息，自回归解码出目标文本。整个框架由四大部分组成：MoSE（Mixture of Speech Encoders）、Speech Adapter、LLM，以及扩展后的语言 token 与提示模板。
下图给出了 MSRT 的整体架构与五阶段训练流程。
图中展示了 MoSE 如何依据源语言 token 将高资源语音路由到冻结编码器、将中低资源语音路由到可训练编码器，并在推理时仅激活单个编码器；上方同时标注了五个训练阶段中 LLM、Adapter、Encoder/MoSE 的冻结或更新状态。
MoSE 是论文的核心组件。 它包含两个同构的 Whisper 编码器，分别承担不对称角色。冻结专家 \(E_f\) 使用原始 Whisper 参数并且不参与任何更新，主要负责高资源语言；可训练专家 \(E_t\) 与 \(E_f\) 结构相同、初始化相同，但在第二训练阶段开始被优化，用于中低资源语言。语言路由器是显式规则而非学习式门控：源语言 token 若属于高资源集合 \(\mathcal{L}_{\mathrm{high}}\)，则选择 \(E_f\)；否则选择 \(E_t\)。论文将 45 种语言划分为 15 个高资源、18 个中资源和 12 个低资源语言。高资源语言包括阿拉伯语、孟加拉语、加泰罗尼亚语、捷克语、汉语、德语、英语、芬兰语、法语、意大利语、日语、荷兰语、波兰语、罗马尼亚语、西班牙语；中资源语言包括丹麦语、希腊语、印地语、克罗地亚语、匈牙利语、印尼语、哈萨克语、韩语、葡萄牙语、俄语、斯洛伐克语、泰米尔语、他加禄语、泰语、土耳其语、乌尔都语、乌兹别克语、越南语；低资源语言包括阿塞拜疆语、保加利亚语、波斯语、希伯来语、高棉语、老挝语、马来语、缅甸语、挪威语、斯洛文尼亚语、瑞典语、粤语。这种路由发生在语句级别，所有语音帧都经过同一个编码器，因此没有 token 级动态路由的负载均衡问题，也不引入额外门控网络。MoSE 的输出可形式化记为：
\[ H_{\mathrm{MoSE}}(x,\ell_s) = E_{\mathcal{R}(\ell_s)}(x), \quad \mathcal{R}(\ell_s) \in \{f,t\}, \]其中 \(\mathcal{R}(\ell_s)=f\) 当 \(\ell_s \in \mathcal{L}_{\mathrm{high}}\)，否则 \(\mathcal{R}(\ell_s)=t\)。两个专家输出的特征维度一致，所以后续共享同一个适配器，无需专家特定投影层。
Speech Adapter 由 Q-Former 和 MLP 组成。 Q-Former 使用 80 个可学习 query，将变长语音编码器输出压缩为固定维度的语义表示；MLP 再将其投影到 LLM 的隐藏空间。这样做的动机是减少语音特征中的声学冗余，同时保留翻译所需的信息。Q-Former 和 MLP 在全部五个训练阶段都参与优化，它们是连接语音编码器与 LLM 的核心桥梁。
LLM 部分采用 MiLMMT-4B 作为预训练多语言模型，为 MSRT 提供目标语言的翻译知识。LLM 在大多数阶段保持冻结，以避免灾难性遗忘；只有在第五阶段才引入 LoRA 进行轻量级适配，LoRA 配置为 \(r=16\)、\(\alpha=32\)。为了支持 45 语言的方向控制，论文扩展了 LLM 词表，加入 FLEURS 语言对应的专用语言 token。源语言 token 同时承担两个功能：一是被 MoSE 路由器读取，用于选择语音编码器；二是作为提示的一部分让模型知道输入语音的语种。目标语言 token 则明确指定输出语言。
训练采用五阶段课程学习，整体思路是从易到难逐步建立“语音-文本对齐”。阶段一是 ASR 对齐，Q-Former 和 MLP 在英语、多语言高资源、全语言的 ASR 数据上依次训练，此时两个语音编码器和 LLM 均冻结。阶段二是专家特化，MoSE 路由被激活，高资源语言继续经过冻结专家 \(E_f\)，中低资源语言经过可训练专家 \(E_t\)，共享适配器继续更新。阶段三是翻译激活（SMT），输入中提供真实转写文本以及源/目标语言 token，模型在“语音特征 + 真实转写”条件下学习输出机器翻译文本，这一步让适配器把语音表示与 LLM 的翻译知识连接起来。阶段四是端到端 SRT，不再提供真实转写，模型直接从语音生成转写和翻译，此时专家与 LLM 均冻结。阶段五是联合适配，在端到端 SRT 基础上解锁 LLM 的 LoRA，与适配器联合优化。提示设计如原文表 1 所示：
| 阶段 | 任务 | 语音 | 文本提示 | 预测 |
|---|---|---|---|---|
| I | ASR | ✓ | <|eng|> | Text |
| II | ASR | ✓ | <|eng|> | Text |
| III | SMT | ✓ | Text<|eng|><|cmn|> | MT |
| IV | SRT | ✓ | <|eng|><|cmn|> | Text<|eng|><|cmn|> MT |
| V | SRT | ✓ | <|eng|><|cmn|> | Text<|eng|><|cmn|> MT |
该课程设计的主要动机是降低对配对 S2TT 数据的依赖：先用大量 ASR 数据稳定语音表示，再逐步引入翻译监督，从而把每语言配对 S2TT 数据需求降到约 10 小时。
综合来看，MSRT 的关键设计取舍是：用显式资源分层替代隐式 token 级路由，用“冻结一个专家”保护高资源语言声学知识，用“训练另一个专家”吸收低资源语言的新模式。这种设计使系统在推理时只激活一个 Whisper 编码器，保持了与单编码器系统相当的计算开销，同时将编码器容量按资源水平分开，避免了共享编码器下不同语言相互干扰的问题。
💡 核心创新点
- 创新点一：资源感知的双专家语音编码器混合（MoSE）。已有方法通常对所有源语言使用同一个共享语音编码器，导致高资源语言和低资源语言竞争同一份表达能力。MoSE 将编码器分为冻结专家和可训练专家，并在语句级别按源语言资源等级显式路由，从而把“保留高资源知识”和“适应中低资源语音”解耦。收益是低资源、中资源、高资源语言分别取得 3.0、2.2、1.4 的 COMET 提升，且没有以牺牲高资源为代价。
下图按资源等级对比了 MoSE 双专家、单编码器以及底层 MT 的 COMET 表现。
图中可见，无论是高、中、低资源源语言，MoSE（菱形）均优于单编码器（方形），且低资源语言的平均提升最大；同时 S2TT 与 MT 的差距随资源降低而扩大，说明 MoSE 有效缓解了共享编码器带来的多语言诅咒。
创新点二：显式语言路由器替代学习式 token 级路由。多数 MoE 方法依赖可学习门控和负载均衡损失，训练不稳定且路由语义不透明。MSRT 直接用源语言 token 和人工资源分级决定专家，路由完全确定、可解释，且不增加推理开销。这个设计虽然简单，但和“资源不平衡”这一具体问题高度匹配，是本方法的核心 insight。
创新点三：五阶段课程学习将 ASR、SMT、SRT 渐进衔接。以往端到端 S2TT 需要大量成对语音-翻译数据，而 MSRT 先用全语言 ASR 建立稳定的语音文本接口，再逐步引入真实转写、翻译监督和 LLM LoRA，显著降低配对数据需求。实验显示每语言约 10 小时配对数据即可完成有效对齐，并且在 CoVoST-2 上仅用 7.5 小时 FLEURS 英语数据就取得平均 83.3 COMET 的零样本迁移结果。
下图展示了 CoVoST-2 上 11 个 English→X 方向随训练语音时长增加的 COMET 变化。
将训练数据从 7.5 小时 FLEURS 英语语音扩展到 429.6 小时 CoVoST-2 语音后，所有方向的 COMET 均有提升，平均从 83.3 上升到 85.3，说明模型具备良好的跨数据集迁移与数据扩展能力。
- 创新点四：全方向 45×44 评测协议。大部分 S2TT 论文只报告英语中心方向或少量代表语言，容易高估多语言能力。MSRT 系统性地评估全部 1,980 个非恒等翻译方向，并直接给出“COMET ≥ 80 的方向数”作为可靠性指标。该协议使“MSRT-4B 在 1,552 个方向达到 80 分以上，而 MCAT-27B 为 1,232、Gemini 为 928”这一结果具有很强的可比较性，也提升了论文对后续研究的参考价值。
📊 实验结果
在 FLEURS 主结果上，MSRT-4B 的平均 COMET 为 83.3，超过所有对比系统。具体来说，MCAT-27B 为 80.9，Gemini-3.5-Flash-Lite 为 80.0，Whisper+NLLB-3.3B 为 78.4，Qwen3-Omni-30B-Instruct 为 77.5，SeamlessM4T-V2-Large 为 72.5。MSRT-4B 在 11→44 和 44→11 两个方向组都排名第一，说明其优势不是由英语中心方向单独拉动。论文选择的 11 个源语言覆盖 11 个语系：阿拉伯语（阿非罗-亚细亚语系）、汉语（汉藏语系）、英语（印欧语系）、匈牙利语（乌拉尔语系）、印尼语（南岛语系）、日语（日本语系）、韩语（朝鲜语系）、泰米尔语（达罗毗荼语系）、泰语（壮侗语系）、土耳其语（突厥语系）、越南语（南亚语系）。
下图以三维曲面展示了四个系统在全部 45×44 翻译方向上的 COMET 得分分布。
相较于 Gemini、SeamlessM4T 和 Qwen3-Omni，MSRT-4B 的曲面整体更高，且 COMET 低于 80 和 70 的区域明显更少，直观反映了其在 1,980 个非恒等方向上的整体优势。
下表为论文代表性方向的主结果（spBLEU / COMET）：
| 方向 | Gemini-3.5-Flash-Lite | Whisper+NLLB-3.3B | SeamlessM4T-V2-Large | Qwen3-Omni-30B-Instruct | MCAT-27B | MSRT-4B |
|---|---|---|---|---|---|---|
| ara→44 | 22.2 / 80.2 | 21.1 / 78.7 | 15.7 / 70.1 | 20.5 / 78.8 | 20.0 / 79.7 | 23.7 / 82.0 |
| cmn→44 | 17.2 / 79.5 | 18.5 / 80.5 | 13.4 / 74.0 | 20.9 / 82.8 | 17.7 / 81.3 | 20.8 / 83.2 |
| eng→44 | 34.2 / 86.6 | 30.5 / 84.3 | 31.8 / 85.3 | 31.9 / 85.7 | 31.9 / 87.1 | 34.2 / 87.9 |
| hun→44 | 14.8 / 70.6 | 21.2 / 79.9 | 15.3 / 68.9 | 11.0 / 65.0 | 19.6 / 79.9 | 23.8 / 83.4 |
| ind→44 | 27.4 / 84.6 | 23.7 / 82.2 | 15.2 / 71.5 | 24.7 / 83.4 | 24.2 / 84.2 | 27.3 / 85.4 |
| jpn→44 | 18.4 / 80.8 | 18.9 / 80.5 | 11.9 / 69.5 | 19.5 / 81.8 | 18.0 / 80.8 | 20.4 / 82.3 |
| kor→44 | 20.8 / 83.1 | 19.5 / 81.8 | 14.2 / 74.1 | 20.4 / 82.7 | 20.9 / 83.4 | 22.4 / 84.2 |
| tam→44 | 17.3 / 78.9 | 12.9 / 71.4 | 12.6 / 69.8 | 2.5 / 50.4 | 13.0 / 74.0 | 17.9 / 79.4 |
| tha→44 | 20.2 / 82.0 | 17.1 / 78.6 | 11.5 / 69.0 | 18.8 / 81.3 | 15.6 / 78.9 | 20.8 / 82.9 |
| tur→44 | 25.6 / 83.7 | 23.4 / 83.0 | 15.8 / 72.1 | 23.2 / 82.5 | 24.0 / 84.1 | 25.7 / 85.2 |
| vie→44 | 19.7 / 80.1 | 18.7 / 78.9 | 14.1 / 72.6 | 20.0 / 81.3 | 18.0 / 80.5 | 21.4 / 82.7 |
| 44→cmn | 21.1 / 78.3 | 14.3 / 71.2 | 11.3 / 65.4 | 21.3 / 78.4 | 21.5 / 80.2 | 25.2 / 83.3 |
| 44→eng | 24.9 / 79.2 | 31.7 / 80.5 | 31.1 / 83.3 | 28.1 / 79.7 | 27.5 / 80.6 | 34.0 / 84.1 |
| 44→hun | 20.6 / 79.7 | 18.4 / 75.7 | 13.8 / 67.9 | 15.9 / 74.4 | 17.8 / 79.7 | 21.4 / 82.4 |
| 44→ind | 21.7 / 80.9 | 22.9 / 80.5 | 16.1 / 76.7 | 21.0 / 79.0 | 21.9 / 82.1 | 25.3 / 85.0 |
| 44→jpn | 18.2 / 81.8 | 9.3 / 76.1 | 7.3 / 71.9 | 17.2 / 81.0 | 18.2 / 83.1 | 19.9 / 85.4 |
| 44→kor | 16.0 / 79.9 | 13.9 / 77.5 | 10.2 / 71.8 | 15.2 / 78.7 | 15.5 / 80.7 | 16.8 / 83.2 |
| 44→tam | 20.0 / 80.0 | 19.8 / 78.5 | 17.6 / 75.9 | 15.1 / 74.7 | 19.0 / 81.0 | 21.2 / 83.1 |
| 44→tha | 27.6 / 78.1 | 20.2 / 74.0 | 20.1 / 70.3 | 26.7 / 78.1 | 26.2 / 79.8 | 29.9 / 82.5 |
| 44→tur | 19.6 / 78.4 | 18.3 / 76.0 | 13.6 / 70.0 | 15.8 / 73.8 | 18.6 / 78.9 | 21.1 / 81.6 |
| 44→vie | 23.5 / 79.4 | 24.0 / 78.7 | 18.4 / 73.8 | 22.2 / 77.3 | 23.2 / 81.1 | 27.1 / 83.9 |
| 11→44 | 21.6 / 80.9 | 20.5 / 80.0 | 15.6 / 72.4 | 19.4 / 77.8 | 20.3 / 81.3 | 23.5 / 83.5 |
| 44→11 | 21.1 / 79.1 | 19.4 / 76.8 | 16.0 / 72.6 | 19.8 / 77.2 | 21.0 / 80.5 | 24.1 / 83.2 |
| Avg. | 21.3 / 80.0 | 20.0 / 78.4 | 15.8 / 72.5 | 19.6 / 77.5 | 20.6 / 80.9 | 23.8 / 83.3 |
论文还报告了 English→44 全部 44 个方向上的 COMET 平均结果：MSRT-4B 为 87.9，高于 MCAT-27B 的 87.1、Gemini-3.5-Flash-Lite 的 86.6、Qwen3-Omni-30B-Instruct 的 85.7 和 SeamlessM4T-V2-Large 的 85.3。在具体语言上，MSRT 对低资源语言如缅甸语、高棉语的提升尤其明显，例如 eng→mya 的 COMET 为 88.3，而 Qwen3-Omni 只有 71.9；eng→khm 为 83.9，Qwen3-Omni 只有 77.4。完整 eng→44 结果如下：
| 目标语言 | Gemini-3.5-Flash-Lite | SeamlessM4T-V2-Large | Qwen3-Omni-30B-Instruct | MCAT-27B | MSRT-4B |
|---|---|---|---|---|---|
| ara | 83.8 | 84.5 | 86.6 | 86.1 | 86.0 |
| azj | 85.8 | 83.8 | 83.1 | 84.8 | 87.1 |
| ben | 85.1 | 84.6 | 83.3 | 85.2 | 86.2 |
| bul | 88.9 | 88.8 | 89.1 | 90.0 | 90.3 |
| cat | 85.3 | 85.0 | 86.2 | 85.9 | 86.9 |
| ces | 89.1 | 88.0 | 88.9 | 90.1 | 90.4 |
| cmn | 86.4 | 79.7 | 88.3 | 87.2 | 87.8 |
| dan | 88.7 | 88.7 | 89.1 | 89.5 | 90.1 |
| deu | 86.2 | 84.9 | 86.8 | 86.5 | 86.9 |
| ell | 87.1 | 87.5 | 87.1 | 88.7 | 89.1 |
| fas | 86.5 | 84.6 | 85.6 | 86.9 | 87.1 |
| fin | 90.9 | 88.5 | 88.7 | 91.3 | 91.5 |
| fra | 85.8 | 85.3 | 87.4 | 86.3 | 86.8 |
| heb | 85.2 | 84.5 | 73.8 | 87.2 | 87.8 |
| hin | 79.0 | 78.1 | 77.7 | 78.9 | 79.3 |
| hrv | 89.0 | 87.8 | 87.8 | 89.2 | 90.0 |
| hun | 88.1 | 86.0 | 86.8 | 87.6 | 88.4 |
| ind | 89.8 | 89.0 | 91.0 | 90.2 | 90.7 |
| ita | 86.3 | 85.1 | 87.3 | 86.8 | 87.3 |
| jpn | 89.7 | 84.7 | 90.9 | 90.4 | 90.6 |
| kaz | 88.6 | 87.9 | 85.5 | 88.2 | 89.9 |
| khm | 81.4 | 79.9 | 77.4 | 79.7 | 83.9 |
| kor | 88.4 | 85.1 | 89.7 | 88.5 | 89.0 |
| lao | 81.4 | 81.4 | 80.3 | 83.1 | 84.5 |
| msa | 87.6 | 86.6 | 88.2 | 87.5 | 88.5 |
| mya | 87.1 | 85.7 | 71.9 | 85.0 | 88.3 |
| nld | 85.5 | 85.1 | 86.0 | 86.6 | 87.0 |
| nob | 87.9 | 86.8 | 88.4 | 88.7 | 89.2 |
| pol | 87.1 | 85.7 | 87.3 | 88.1 | 88.3 |
| por | 87.3 | 86.6 | 88.5 | 87.9 | 88.2 |
| ron | 88.5 | 87.8 | 88.8 | 89.1 | 89.8 |
| rus | 87.8 | 86.3 | 88.9 | 88.8 | 88.8 |
| slk | 88.4 | 87.3 | 87.1 | 88.8 | 89.6 |
| slv | 87.8 | 86.8 | 85.5 | 88.5 | 89.0 |
| spa | 84.2 | 83.2 | 85.4 | 85.2 | 85.5 |
| swe | 88.7 | 88.4 | 88.7 | 89.3 | 89.9 |
| tam | 87.6 | 87.3 | 85.3 | 88.3 | 88.5 |
| tha | 87.1 | 82.1 | 80.1 | 83.3 | 88.3 |
| tgl | 82.9 | 83.3 | 88.9 | 87.7 | 83.9 |
| tur | 88.3 | 86.7 | 88.1 | 88.2 | 88.7 |
| urd | 81.2 | 79.4 | 78.3 | 80.9 | 82.0 |
| uzb | 88.2 | 87.7 | 79.7 | 88.2 | 89.6 |
| vie | 87.1 | 85.6 | 88.6 | 87.8 | 88.3 |
| yue | 81.7 | 79.8 | 88.6 | 88.0 | 88.3 |
| Avg. | 86.6 | 85.3 | 85.7 | 87.1 | 87.9 |
🔬 细节详述
- 模型配置：MSRT-4B 总参数量约 4B；LLM 使用 MiLMMT-4B；Q-Former 使用 80 个可学习 query；LoRA 配置为 \(r=16\)、\(\alpha=32\)。语音编码器为两个同构 Whisper 编码器，一个冻结一个可训练。
- 训练配置：BF16 混合精度训练，DeepSpeed ZeRO-0，AdamW 优化器，峰值学习率 \(1\times10^{-4}\)，1,000 步 warmup。论文报告训练在 8 张 Ascend 910C NPU 上不超过 3 天，并称相同实现可在 8 张 NVIDIA A100 GPU 上以相近精度运行。
- 数据配置：ASR 预训练使用 Common Voice 24 与 FLEURS；S2TT 训练使用 FLEURS 配对语音-文本数据，每语言约 10 小时；评测使用 FLEURS 与 CoVoST-2。
- 评测协议：使用 COMET 与 spBLEU（FLORES-200 tokenizer），默认 beam size 为 1。对比系统包括 API 基线 Gemini-3.5-Flash-Lite、级联基线 Whisper-Large-v3 + NLLB-200-3.3B，以及端到端基线 SeamlessM4T-V2-Large、Qwen3-Omni-30B-Instruct、MCAT-27B。
- 资源分组：论文将 45 种语言划分为 15 个高资源（进冻结专家 \(E_f\)）、18 个中资源和 12 个低资源（后两者进可训练专家 \(E_t\)），分组依据 SeamlessM4T 定义的资源水平。
- 全方向分布：论文系统评估 45×44 = 1,980 个非恒等方向。MSRT-4B 在 1,552 个方向达到 COMET ≥ 80，359 个方向位于 [70,80)，69 个方向低于 70；MCAT-27B 的对应分布为 1,232 / 554 / 194，Gemini-3.5-Flash-Lite 为 928 / 815 / 237。
- 消融补充：双专家（高资源 vs 中低资源）在低表现语言子集上的平均 COMET 为 75.1；三专家（每个资源级一个专家）为 75.3；单专家为 70.0；去掉 LoRA 为 73.1。资源级分析显示，MoSE 对低、中、高资源语言的 COMET 提升分别为 3.0、2.2、1.4。
- 跨数据集迁移：仅用 7.5 小时 FLEURS 英语语音训练，MSRT-4B 在 CoVoST-2 的 11 个 English→X 方向平均 COMET 为 83.3，且所有方向均达到 80 以上；将训练数据扩展到 429.6 小时 CoVoST-2 语音后，平均 COMET 提升到 85.3。
- 训练阶段模块更新：阶段 I 只训练 Q-Former 与 MLP；阶段 II 解锁可训练专家 \(E_t\)；阶段 III 在真实转写条件下激活翻译；阶段 IV 去掉真实转写，专家与 LLM 均冻结；阶段 V 加入 LLM LoRA，与适配器联合优化。
⚖️ 评分理由
创新性 (1.3/2)：MoSE用显式语言路由将冻结/可训练双Whisper专家按资源等级分工，避免了token级MoE的负载均衡成本，并配合五阶段课程降低配对数据需求，针对多语言S2TT的资源竞争问题有清晰且实用化的新意。
技术严谨性 (1.1/1.5)：MoSE的路由公式、Q-Former/MLP适配器与五阶段训练流程定义自洽，未发现推导或逻辑错误；但高/中/低资源分组直接沿用SeamlessM4T，双专家容量配置偏启发式，理论论证仍不够充分。
实验充分性 (1.0/1.5)：已在45语言全部1,980个非恒等方向进行系统评测，并给出MCAT、Gemini、Whisper+NLLB等多类基线与CoVoST-2跨数据集结果；但主结果以聚合分布和代表方向为主，逐方向失败模式尚未完全暴露，对’打破诅咒’的因果支撑仍有缺口。
清晰度 (0.9/1)：论文用架构图、公式、五阶段提示表和各阶段模块更新表把复杂流程表达得较清楚，符号和术语基本一致；但全方向结果主要以聚合分布和代表方向呈现，读者不易快速定位具体方向的表格式细节。
影响力 (1.2/1.5)：4B模型在45语言多对多S2TT上平均COMET超过27B级MCAT和Gemini等明显更大的系统，且同时改善高/中/低资源语言，对多语言语音翻译的研究与落地具有较强参考价值。
开源 (1.2/1.5)：论文明确声明开放代码与模型并提供GitHub仓库，核心产物可用；但未披露许可证和具体模型权重文件格式，属于核心产物开放但配套文档不完整。
可复现性 (0.3/0.5)：论文披露了模型结构、五阶段训练流程、峰值学习率、warmup、DeepSpeed、硬件和评测协议；但音频预处理、批次大小/训练步数等少量关键复现细节仍缺失，属于大部分充分但有少量遗漏。
工程/实践价值 (1.2/1.5)：MSRT-4B仅约4B参数，推理只激活单个编码器，训练在8张Ascend 910C上不超过三天；跨数据集迁移到CoVoST-2仍保持较强性能，体现了良好的工程实践价值。
🚨 局限与问题
- 论文在原文 Limitations 中明确指出：MSRT 的 S2TT 能力来源于预训练 LLM 的机器翻译知识，因此其翻译质量受限于底层 LLM 的 MT 能力，尤其是对预训练阶段覆盖较弱的语言和方向。
- 人工资源分级与双专家容量配置的充分性仍缺乏更强论证；主结果以聚合分布和代表方向为主，逐方向失败模式尚未完全暴露。
- 训练数据量、资源分组边界和更细粒度专家划分的收益仍需在更大语言覆盖下进一步验证。
- 作者在结论部分提出未来工作将扩展 MoSE 到更广的语言覆盖范围。