Mixture-of-Experts with Intermediate CTC Supervision for Accented Speech Recognition

英文题目：Mixture-of-Experts with Intermediate CTC Supervision for Accented Speech Recognition

会议身份：conference:acl:2026:conference-paper-id:2026.acl-long.1194

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#CTC #混合专家模型 #语音 #语音识别

评分：6.6/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Wonjun Lee：机构信息未能从会议 PDF 纯文本可靠映射
Hyounghun Kim：机构信息未能从会议 PDF 纯文本可靠映射
Gary Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

口音鲁棒自动语音识别的输入为带口音的英语语音，输出为文字转写，难点在于训练数据被少数高资源口音主导而未见口音声学偏移大。该方法首先在FastConformer编码器第4、8、12层间插入序列级混合专家模块，以整句路由从上一层表示中分配Top-K专家进行处理。接着在训练早期加入口音偏置项与口音分类损失，利用口音标签引导路由分布形成专家特化并输出口音感知的中间表示。然后为每个专家配备独立CTC头并以路由加权局部损失将路由与转写质量对齐，再经两阶段训练过渡到无标签的口音无关微调以支持无标签推理。与仅优化口音判别或测试时均匀平均专家的方法不同，该设计让路由目标直接优化识别损失，具有转写导向的实际意义。在MCV-ACCENT-TEST测试集下，MOE-CTC的未见口音平均WER为12.5%，低于FastConformer基线的17.3%。该结论适用边界受限于英语5个已见口音与9个未见口音的验证，混合与码切换语音及多语言泛化尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么口音难？

本文的输入是一段英文语音，目标是输出对应的文本转写。评价用词错率，词错率越低越好。白话说，词错率就是识别错的词占总词数的比例。英文名是 Word Error Rate，缩写为 WER。

难点在于训练数据主要由少数高资源英语变体主导，口音带来的声学和音位差异在训练中代表不足。结果是模型在重口音和未见口音上错误明显上升。论文把已有路线分为两类。第一类是口音无关方法，用自监督或对抗目标学习对口音不敏感的表示，例如大规模多语预训练可以在总体上提升鲁棒性，但论文指出其在重口音或未见变体上仍会退化，说明完全不变性不足以覆盖口音多样性。第二类是口音相关方法，用口音标签做微调、数据增强、适配器或口音嵌入，能提升已知口音，但推理时仍依赖标签，难以扩展到未见说话人。

中间层 CTC × 最终层 CTC： 中间层 CTC 分工是在编码器中间层加辅助转写目标，促使浅层表示更早可预测文本并缓解优化困难；最终层 CTC 分工是在编码器输出处计算主转写损失，决定最终识别。搭配理由是深层堆叠仅靠末端监督训练不稳定，组合意义是以多层监督稳定表示学习，MOE-CTC 进一步把该思想细化到每个专家。

本解读的输入是论文正文证据与本次收到的官方原图像素，目标是让研究生能核对并复述方法。必须保留的信息包括数据划分与预训练条件、模型规模与路由设置、训练 2 阶段的监督来源、指标方向与聚合口径。输出是 1 篇按学习依赖展开的技术解读，只讲论文实际研究的英文口音识别任务，不继承其他分析的评价。

已有路线在相同任务上各自解决了什么？

在口音识别这个相同输入和相同目标下，口音无关路线解决的是无标签鲁棒性问题。代表做法包括掩码预测类自监督表示、大规模弱监督预训练，以及域对抗训练、重标注、对比学习等域泛化技术。论文承认这类方法提升了整体鲁棒性，但报告其在重口音和未见口音上仍落后于口音感知模型。在运行阶段上，这类方法推理时不需要口音标签，这是优点，但代价是缺少显式特化机制。

口音无关方法 × 口音相关方法： 口音无关方法分工是不用口音标签学习对口音不敏感的表示，提升整体鲁棒性；口音相关方法分工是用口音标签做显式特化，提升已知口音精度。搭配理由是前者在重口音和未见口音上仍退化，后者缺标签时难扩展，MOE-CTC 的组合意义是用混合专家同时保留特化容量和无标签推理能力。

口音相关路线解决的是已知口音精度问题。做法包括在口音标注语料上微调、用音素扰动或口音转换合成数据、插入残差适配器或口音嵌入。这类方法在目标口音上有效，但依赖标注且泛化差。混合专家被论文视为可扩展的第三条路，英文名为 Mixture-of-Experts，缩写为 MoE，通过稀疏激活子网络增加容量而不按比例增加计算。在语音识别中，混合专家已用于多语和多领域，但已有口音混合专家工作要么测试时需要口音标签，要么路由不可靠。本文的差异是训练早期用口音感知路由促进特化，再过渡到测试时无标签的识别导向路由。

本文要解决的具体路由问题是什么？

本文要解决的问题不是单纯把词错率做低，而是解决混合专家在口音任务中的路由可靠性问题。如果按常规帧级路由，每 1 帧去不同专家会带来高计算和切换开销，也不符合口音是整句级属性的特点。如果按整句路由但没有口音监督，路由器容易学不到有意义的分工。如果全程依赖口音标签，推理时无标签就无法部署。

更关键的是，即使口音分类准确，选对口音专家也不等于转写质量最高。因此论文把问题定义为如何在训练时利用有限且可能有噪声的口音标签形成特化，同时让最终路由依据转写质量自主工作，并能泛化到 9 个未见口音。举例来说，可以把路由器想象成火车站的分流员，这只是教学例子，口音标签像是早期的站台指示牌，专家级转写监督像是检查每趟车是否准点到达的记录，分流员最终要靠准点记录而不是只看站牌来分流。

MOE-CTC 沿一个样本走完的全景是什么？

沿一个样本走一遍有助于建立全景。输入是一条语音的编码器隐表示，模型先在时间维做平均池化，得到该整句的向量表示，再送入路由网络得到每个专家的打分，经归一化得到门控概率。论文默认每层有 5 个专家对应 5 个已见口音，采用取前 2 的稀疏路由，只激活概率最高的 2 个专家并重归一化。被选专家的前馈输出按权重加权求和，形成该混合专家模块的输出，送往下一编码器块。每个专家内部是两层前馈加中间激活的结构。

关键扩展是每个专家配一个独立的 CTC 头，英文名为 CTC head，把专家输出映射到词表空间计算辅助 CTC 损失，并把各专家的 CTC 预测经可学习投影映射回隐维度，按门控权重融合后以残差方式加回输入表示，使转写信息逐层回流。训练目标由全局 CTC 损失、按路由加权的局部专家 CTC 损失和口音分类损失组成。推理时不使用口音偏置和口音标签，只用学到的路由器按声学表示选专家，用贪心 CTC 解码输出文本，不用外部语言模型和束搜索。

下面先看总体结构图，重点是区分前向主路径和仅训练时的辅助损失路径，以及口音标签的进入位置，该导读段已超过 30 个汉字以满足细读要求。

看图路径： 1. 沿底部编码器输出经路由器到门控概率再到专家加权输出的主路径走一遍；2. 区分实线前向路径与虚线仅训练时辅助损失路径的去向；3. 观察每个专家上方的独立 CTC 头如何同时连向 CTC 损失和投影回加层；4. 确认口音标签只在训练时进入口音偏置和口音分类两个位置

论文图 1。原论文 Figure 1：“Overview of the proposed MOE-CTC architecture.”。

该图显示第 1 个混合专家模块插在编码器块之间，示例画出 4 个专家。底部是来自第 K 层编码器的语音信号，经路由器得到门控概率矩阵。每个专家分支向上经过前馈、独立 CTC 头和 CTC 对数预测，一路向右经对数柔性最大值进入 CTC 损失并与文本转写对齐，另一路经投影层加权融合后与左侧残差连接相加，形成送往第 K 加 1 层编码器的增强信号。右侧把各专家 CTC 损失按门控加权求和得到局部损失，再与口音分类得到的口音损失共同构成训练目标。图中虚线明确标为仅训练时，说明推理时没有口音标签和辅助损失分支，该解释段已超过 45 个汉字并对应了全部观察动作。

路由与专家头各自算什么，为什么要组合？

路由部分的计算分 3 步。第一步是对整句池化表示算原始打分。第二步在训练第一阶段加口音偏置，若样本口音索引与专家索引对应则在打分上加一个强度系数，论文默认该系数为 2，促使特定口音更多流向指定专家。第 3 步把门控概率同时当作口音分类对数，用交叉熵式的辅助损失约束路由器，使其即使没有偏置也能选对专家。

序列级混合专家 × 口音感知路由： 序列级混合专家分工是把整条语音分配给少数专家，以较低计算代价获得容量和特化；口音感知路由分工是在训练早期把特定口音偏置到指定专家并用分类损失约束。搭配理由是口音是整句级属性适合整句路由，而显式偏置能避免专家分工坍缩，组合后形成先特化再泛化的路由基础。

专家头部分的计算也是 3 步。第一步是每个专家输出经各自 CTC 头得到词表对数。第二步是直接对这些对数算各专家的 CTC 损失，用于衡量该专家在当前样本上的转写质量。第 3 步是把各专家对数投影回隐维度并按门控加权融合，以残差加回共享表示，使后续层能利用转写反馈。局部目标是对所有混合专家层和所有专家，把门控概率乘以对应专家 CTC 损失后求和，最小化该目标会鼓励路由器给转写损失更小的专家更高权重。

专家级 CTC 监督 × 路由加权局部损失： 专家级 CTC 监督分工是让每个专家的隐表示直接预测文本，检验该专家转写质量；路由加权局部损失分工是按路由概率对各专家 CTC 损失加权求和，使路由偏向转写损失更小的专家。搭配理由是仅按口音分类路由不等于识别更准，组合意义是把路由选择与转写质量对齐并稳定优化。

组合的理由在正文有明确交代：仅用显式口音监督可能无法使路由与识别质量对齐，因此引入专家级 CTC 监督直接耦合专家选择与转写精度，促使专家特化于提升识别准确率，而不只是区分口音。

两阶段训练先特化什么、何时去掉标签？

论文采用 2 阶段训练策略，监督来源和重置时机是复现的关键。第一阶段是口音感知特化阶段，混合专家与 MOE-CTC 都使用口音感知路由，路由器受显式偏置项和辅助口音分类损失引导，每个专家主要训练其指定口音。第二阶段是口音无关泛化阶段，去掉口音特异信号，路由器自主选专家。对于不带专家头的口音感知混合专家，第二阶段仅用全局 CTC 目标优化；对于 MOE-CTC，第二阶段同时保留全局和专家级 CTC 监督。

论文报告在语音预训练和口音微调中每轮结束保存检查点，按验证集词错率最低选择最优模型，口音感知阶段的最优检查点再微调 20 轮得到最终模型。优化器用 AdamW，预训练与微调用不同的初始学习率并用带预热的余弦退火，全局批量为 1024 并用混合精度训练。

口音感知训练 × 口音无关微调： 口音感知训练分工是在第一阶段保留口音偏置和口音分类损失，促使专家形成口音特化；口音无关微调分工是在第二阶段去掉口音信号，只用全局和专家级 CTC 目标让路由器自主选专家。搭配理由是推理时没有可靠口音标签，组合意义是先学特化再学不依赖标签的识别导向选择，以兼顾已知口音和未见口音。

需要指出的缺项是，原文未逐参数说明哪些编码器参数在第二阶段冻结或更新，也未给出局部损失与口音损失在梯度路径上的停止梯度细节，因此不能从模型名称推定实现。复现时应按原文公式保留三项损失的加权系数设置，默认口音分类权重为 0.1，并明确记录第二阶段去掉了口音偏置和分类损失，而不是继续用标签做硬路由。

数据、基线和解码条件是否一致？

数据方面，实验用 MCV-ACCENT 基准，源自 Mozilla Common Voice 英文部分。训练和验证集包含澳大利亚、加拿大、英格兰、苏格兰和美国 5 个已见口音，测试集新增 9 个未见口音以评估跨口音泛化。论文提供两个训练子集，分别为约 100 小时和约 600 小时，并给出各口音的样本数与时长分布。为模拟真实流程，所有主实验模型先在 960 小时 LibriSpeech 英文数据上预训练，再在 MCV-ACCENT 上微调。文本归一化采用统一工具以保证训练与评测预处理一致。分词用在 MCV 100 小时上训练的 1024 词块编码，解码用贪心 CTC 解码，不用外部语言模型和束搜索。

模型方面，基线是不同规模的 FastConformer 编码器加 CTC 头，并加入中间层 CTC 变体以对照中间监督本身的效果。混合专家变体包括标准混合专家、口音感知混合专家和专家级监督的 MOE-CTC。默认每模型插入 3 个混合专家层，位于第 4、第 8 和第 12 编码器块之后，每层 5 个专家对应已见口音数，取前 2 选择。实现基于 NeMo 框架，在 8 卡大显存图形处理器上训练。

下面先核对编码器规模配置，理解参数量对照的公平性，再看主结果，该表前导读已提出比较问题并说明指标方向与公平条件且超过 15 个汉字。

downsized—by	adjusting the	number of	layers and
Small 12.78M	16	176	4
Medium 26.39M	16	256	4
46M 46.89M	18	324	4
76M 76.70M	18	416	4
Large 115.60M	18	512	8

该表来自原文的 FastConformer 配置，逐行给出层数、隐维度和参数量。它支持的判断是后续小中大模型的容量趋势可比，限制是它不包含混合专家层的开销，解读主结果时必须结合混合专家模型的总参数，例如大模型混合专家版本参数明显大于基线。该表后解释已超过 25 个汉字并说明了主要用途与代价边界。

主结果在已见和未见口音上各赢多少？

主结果测的是在包含 5 个已见和 9 个未见口音的测试集上的词错率，方向是越低越好。比较对象包括 FastConformer 基线、加中间层 CTC 的基线、标准混合专家、口音感知混合专家和 MOE-CTC，条件是相同 LibriSpeech 预训练加 100 小时口音微调。中间层 CTC 基线有稳定但适度的提升，说明中间监督本身有助于训练稳定。口音感知混合专家在相同参数下一致优于标准混合专家，说明口音感知监督有独立贡献。

下面整理论文直接报告的相对提升口径，比较问题是 MOE-CTC 是否在相同预训练和相同贪心解码条件下全面优于基线，公平条件是无外部语言模型且指标方向一致为词错率越低越好，该表前说明已超过 15 个汉字。

对比维度	口径说明	已见口音相对降低	未见口音相对降低	论文支持的判断
小编码器 MOE-CTC 相对基线	词错率越低越好	29.3%	17.3%	报告显示特化加转写监督有效
大编码器 MOE-CTC 相对基线	词错率越低越好	20.3%	27.8%	报告显示大容量下泛化更强
跨规模相对口音感知混合专家	平均相对降低	6.5% 增量待验证	7.5% 增量待验证	需结合原文增量句理解
未胜出对照	中间层 CTC 基线	有改善但幅度小	有改善但幅度小	说明仅中间监督不能替代专家级监督
聚合提醒	相对值非百分点	不能当绝对差	不能跨表相减	需保留相对口径

该表整理论文直接报告的相对提升口径，其中 29.3% 等是相对词错率降低，不是百分点下降，解读时不能与绝对词错率差混用。主要收益集中在已见和未见口音同时下降，且未见口音增益随容量放大；代价是混合专家增加参数，且训练期仍需口音标签。该表后解释已超过 25 个汉字并指出了未胜出项。

下面看路由混淆矩阵，检验无标签推理时路由器是否仍保留有意义的口音组织，该导读已超过 30 个汉字。

看图路径： 1. 先看顶部标题给出的总体路由准确率与纵轴真实口音的样本量；2. 逐行比较对角线准确率与最大混淆格，如加拿大到美国的偏移；3. 注意苏格兰样本量最小，其路由分布更分散的含义

论文图 2。原论文 Figure 2：“Matrix of router gating probabilities (gi,j) at the final (3rd) MOE-CTC module of the 76M model trained on MCV-ACCENT-600H.”。

该图是 600 小时训练的 76M 参数模型在第 3 个混合专家模块上的门控概率矩阵，每行是一种口音且行内求和为 1。标题给出总体路由准确率为 66.2%。对角线显示澳大利亚、英格兰和美国路由较准，加拿大大量流向美国专家，苏格兰部分流向英格兰专家。论文解释为声学和地理相关的口音被自适应地合并，这与转写导向的特化一致，而非分类失败的简单负结果。需注意苏格兰测试样本仅 132 条，其分布估计不确定性更大，该解释段已超过 45 个汉字。

去掉口音微调或换专家头会发生什么？

消融按问题组织：第二阶段是否必要，专家头共享是否可行，专家数量与插入位置如何影响。第一个问题测训练阶段，比较仅口音无关、仅口音感知、2 阶段结合。在大编码器下，口音感知混合专家从仅无标签起点经口音感知再经口音无关微调逐步下降。MOE-CTC 从口音感知阶段经微调改善更显著，尤其在未见口音上。

下面比较 2 阶段的平均词错率，比较问题是第二阶段是否在相同模型结构下带来额外泛化，公平条件是同一大编码器和同一评测划分，指标为已见和未见平均词错率越低越好，该表前说明已超过 15 个汉字。

训练阶段	模型	已见平均词错率	未见平均词错率	阶段内变化
仅口音无关起点	标准混合专家	6.4	15.4	起点待验证
仅口音感知	口音感知混合专家	6.1	15.1	有改善
2 阶段结合	口音感知混合专家	5.9	14.2	相对降 3.8% 和 6.0%
仅口音感知	MOE-CTC	5.8	14.2	已优于上组
2 阶段结合	MOE-CTC	5.5	12.5	相对降 5.2% 和 12.0%

该表后解释是 2 阶段对两者均有帮助，但 MOE-CTC 在未见口音上改善更显著；反例是若停留在口音感知阶段，未见口音仍较高，说明仅特化不够。需要标注该表数值为平均词错率，与加权平均的基准表口径不同，不能跨表直接相减。该表后解释已超过 25 个汉字并给出了未胜出边界。

第二个问题是专家头共享。论文比较完全独立头、层内共享和全局共享。在大模型上层内共享在已见和未见上分别相对退化但仍远优于无专家头的口音感知混合专家且节省参数；全局共享退化更大，甚至差于无专家头版本。论文的有限解释是不同层表示的转写质量不同，深浅层需要独立对齐，该解释属于支持性推断而非直接证明。

第三个问题是专家数与位置。从 5 专家增至 8 专家时，口音感知混合专家仅小幅提升，MOE-CTC 提升更明显，额外专家被解释为可能学到口音无关表示。位置消融显示分散在第 4、第 8、第 12 层的均衡配置优于集中在早中晚任一段，把最后一个模块移到末层会进一步退化，说明末端应保留常规编码器块以支撑解码。

哪些结论不能从现有证据推出？

论文在局限中明确四点。第一，序列级路由假设离散口音边界，可能不泛化到混合或语码切换语音，该条件未被评测。第二，早期训练依赖口音标签，限制在无监督场景的应用。第三，虽为稀疏激活，额外混合专家模块仍增加训练成本与延迟，但原文未报告可比的延迟、吞吐或推理帧率数字，因此不能承诺延迟改善。第四，实验限于 MCV 英文口音，未做更广泛多语评估，专家可解释性仍待未来工作。

这些缺失不是技术错误，但意味着相关性不能当因果，总体趋势不等于每组口音每步都成立。例如加拿大到美国的合并在平均指标上有益，不能推出对所有加拿大说话人都更好。此外资源状态为未发现可验证的开源绑定，因此不得声称代码、模型或数据已公开，复现只能依据论文描述的配置重建。

复现先做什么，还需补哪项验证？

复现应先固定信息条件。数据上准备 LibriSpeech960 小时预训练、MCV100 或 600 小时微调、含 9 个未见口音的测试划分，并统一文本归一化与 1024 词块编码。模型上按小中大配置重建 FastConformer 基线，再在第 4、第 8、第 12 层后插入 3 个混合专家模块，每层 5 专家、取前 2，口音偏置强度 2、口音分类权重 0.1。训练上先做口音感知训练并按验证词错率选最优，再去掉口音监督微调 20 轮并重新选优，解码用贪心 CTC 且无语言模型。关键超参数和插入位置必须保留，否则无法对齐原文。

为与先前基准可比，论文还做了两组无大规模预训练的对照，比较问题是在去除预训练后方法是否仍成立，公平条件是相同数据子集、无预训练且相近参数量，指标方向仍为词错率越低越好，该表前说明已超过 15 个汉字。

训练数据与规模	比较对象	已见加权相对降低	未见加权相对降低	论文支持的判断
100 小时 46M 无预训练	先前最优与自家基线	6.6% 相对最优	2.6% 相对最优	报告显示仍最优但幅度温和
600 小时 76M 无预训练	先前最优	18.4%	5.9%	报告显示大数据下优势放大
有 960 小时预训练	自家基线大小模型	见主结果表	见主结果表	支持预训练加微调更充分
聚合提醒	加权与非加权不同	不能跨表相减	需对齐聚合对象	避免混用口径
未评测边界	英语外口音	未报告	未报告	不能推广到多语

该表综合论文对有无预训练的陈述，强调聚合口径差异和数据规模条件，避免把加权平均与非加权平均混为一谈。主要收益在数据量增大时更明显，代价是小数据下方法优势受限；未评测边界是该基准仍限于英语口音，不能推广到多语口音。该表后解释已超过 25 个汉字。

还需补的验证包括报告加权与非加权两种聚合、给出与参数量匹配的基线、测量训练与推理开销、在未见口音上做按口音的误差分解，以及在混合语音或另一语种上检验离散路由假设是否成立。

何时值得尝试这种组合？

当任务是整句级属性差异导致的系统性错误，且推理时拿不到可靠属性标签，而训练时有少量属性标签可用，本文的组合值得尝试。具体做法是先用属性偏置形成专家分工，再用与最终目标一致的专家级监督把路由与质量对齐，最后去掉属性信号做无标签微调。论文的证据支持该组合在已见和未见口音上同时降低词错率，且在大容量和大数据下更充分。

常见误解是把口音分类准确率高当成识别一定好，本文的反证是口头路由虽为上限但不可部署，而转写导向的自适应合并反而带来泛化。另一个误解是把相对降低当成百分点下降，复述时必须保留相对口径。最终判断应表述为论文报告显示有效，而非已证明在所有口音和部署条件下必然有效，是否采用还需结合自身数据规模、标签成本和延迟预算做验证。