把语言身份移出逐词循环：用一次计算的 utterance 级表示替代解码器逐步神经模块

英文题目：Token-Independent Language Representations for Low-Latency Configurable Multilingual Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:zhu26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#Adapter #高效推理 #多语言 #语音识别

评分：6.8/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Hongxu Zhu：机构信息未能从会议 PDF 纯文本可靠映射
• Lahiru Samarakoon：机构信息未能从会议 PDF 纯文本可靠映射
• Ivan Fung：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

可配置多语言语音识别要求单个模型通过用户给定的多热语言提示识别任意语言子集，输入为声学特征拼接语言向量，输出为对应语言子词或中文字符转写，难点是语言混淆与解码器语言特定模块随输出长度线性增长的延迟。作者保留编码器中每 utterance 计算一次的神经语言特定模块以维持声学适应性，将解码器中位于掩码自注意力之后、交叉注意力之前、每步依赖当前 token 隐状态的线性投影替换为与 token 无关的可学习静态向量，解码开始前按语言权重一次加权求和并缓存，后续每步只做向量加法。进一步的编码器信息增强方案复用已受连接主义时间分类损失监督的顶层编码器语言分支输出，经时间维全局平均池化与线性加修正线性单元适配器得到 utterance 级动态线索，将静态向量扩展为小型矩阵再投影回模型维度后，以可学习逐维门控做逐元素融合，在解码启动时一次生成固定偏置。该设计将解码器语言模块单步复杂度从相对隐层维度的二次降为线性。在 8 语言多语言 LibriSpeech 测试集全语言激活下，增强方案平均词错误率为 8.70%，与原始可配置多语言模型的 8.70% 持平，静态方案为 8.80%；在自建均衡 4 语言语料上分别为 11.84% 对 11.83% 对 11.92%。在 Intel Xeon 中央处理器上 110-130 token 长组额外开销从 107.88 s 降至静态方案 2.23 s 与增强方案 7.34 s，长语音峰值延迟下降超 90%。结论限于朗读类非均衡语料与未公开的内部 4 语言语料，未验证百语言、强噪声与流式首包延迟。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么直接混数据训练不够？

这篇论文研究的是可配置多语语音识别。输入是连续语音波形提取的声学特征，论文用 25 毫秒窗长、10 毫秒帧移的 80 维对数梅尔滤波器组特征，并做全局均值方差归一化。输出是对应语种的文字序列，英文用词错误率评估，中文部分用包含汉字的切分单元。目标是只用一个模型，在推理时响应用户预选的任意语言子集，例如在支持 8 种语言的模型中只识别英语和德语，或者在四语模型中只识别粤语和普通话。

初学者容易以为把所有语言数据混在一起训练一个大模型就能解决。论文交代的困难在于两点。第一是语言混淆，发音相近的音在不同语言中对应不同文字，模型没有明确指向时会写错语言。第二是数据不平衡，高资源语言会主导共享参数，低资源语言被挤占。给模型一个明确的语言提示，是多语识别的常用做法。

最简单的是在输入拼接独热语言编号或语言标记，更重的做法是混合专家，让不同语言走不同专家子网络。但混合专家每个专家接近完整模型大小，扩展到上百语言很重，而且通常假设一句话只有一种目标语言，不支持用户任意预选子集的可配置场景。这就是后续设计的起点。

已有路线如何给语言提示，各自卡在哪里？

按同输入、同目标、同运行阶段对照，论文涉及 3 条路线。第一条是语言编号拼接，把独热语言标识或语言 token 拼到模型输入，引导模型进入正确的发音和语言空间。这类方法轻量，但语言提示的表达能力有限，对发音细节的区分主要依赖主干本身。第二条是混合专家多语识别，为不同语言分配专用子网络，在参数共享和语言特化之间折中。它的代价是专家体积大，扩展到几百语言困难，且多数设计按单句单语言训练和推理，不直接支持用户多热向量指定的任意子集。

第 3 条是可配置多语模型 CMM，用一个共享通用模型加多个轻量语言特定模块，推理时按归一化后的多热权重做加权求和，并用残差形式保持参数高效。它的优势是可配置，劣势是原文把语言模块同时放在编码器和解码器，解码器模块必须在自回归每一步重新执行，延迟随输出词元长度线性增长。论文要解决的正是第 3 条路线留下的解码器逐词开销，而不是推翻前两条路线的存在价值。

延迟瓶颈具体长在解码器的哪一步？

理解瓶颈要沿着一个样本走一遍。假设用户选中两种语言，权重各为 0.5，输入是一段 10 秒语音，目标输出是 30 个词元。编码器先把声学帧送入共享 Conformer 块得到通用表示，再把同一表示分别送入两个语言的线性投影，按权重求和后与通用表示相加。这个过程对整句只做 1 次，开销不随输出词元数增长。解码器则不同，它是逐词生成的 Transformer 解码器。

每生成第 u 个词，先做掩码自注意力得到上下文表示，再把该表示分别送入选中语言的线性投影，加权求和后送入交叉注意力去查询编码器输出。因为线性投影的输入是当前词的隐状态，每个词都要重算 1 次。论文给出的每步复杂度与配置层数、激活语言数和隐维度平方相关，总量再乘以输出长度。举例说，30 个词就要重复 30 次语言投影，一百多个词就要重复一百多次。这就是为什么长句延迟惩罚特别明显。

论文引用认知研究的类比只是动机说明，真正的技术判断是语言身份是整句全局属性，不必逐词重估，因此可以把它移出自回归循环。

总体思路如何把语言身份移出逐词循环？

论文保留编码器的神经语言模块，因为它每句只算 1 次，负担小且能提供声学相关的语言线索。改动集中在解码器。第一步是 CMM-S，用静态可学习的词元无关向量替代解码器的神经线性层。每个语言在每层只有一个与隐维度同宽的向量，与当前词隐状态无关，因此加权求和项可以在解码开始前 1 次算好并缓存，解码每步只剩 1 次向量加法。

第二步是 CMM-D，在静态向量基础上融合来自编码器顶层的动态句子级线索，以恢复纯静态向量丢失的细粒度声学适应能力，但融合结果仍然在解码开始前 1 次算好，解码每步复杂度不变。从计算目标看，原方法每步要做矩阵乘法，新方法每步只做加法，重复开销从与隐维度平方相关降到与隐维度线性相关。动态线索提取本身有 1 次性的池化和适配器开销，与输出长度无关，长句下可忽略。下面结合原图说明四格结构的对应关系。

图前导读：该图是理解本文改动位置的关键，它把基线编码器层、基线解码器层、静态向量解码器层和编码器信息融合模块并排展示，建议按从输入到输出的主路径对比神经分支与向量分支的差异。

看图路径： 1. 先看上面两格虚线框：左上编码器用 Conformer 加三个并行语言分支，右上解码器用掩码自注意力后接三个并行神经语言分支；2. 再看左下解码器：三个神经分支已被替换为竖条静态向量 D1-D3，加权后直接与自注意力输出相加；3. 再看右下融合图：上排 E1-E3 经共享适配器得到动态向量，下排 M1-M3 经线性投影得到增强静态向量，两路交叉汇入加号生成最终表示；4. 注意权重 0.5、0.5、0 与多热向量 [1,1,0] 的对应关系，理解用户选择如何控制加权求和

论文图 1。原论文 Figure 1：“1”。

该图上半部分显示基线结构：左上编码器虚线框内是底部的 Conformer 通用块和上部的 3 个并行语言分支，右侧橙色归一化模块把多热向量转为权重后控制分支求和；右上解码器虚线框内是底部的掩码多头自注意力、中间的加和归一化、3 个并行神经语言分支，以及顶部的交叉注意力，语言分支输出与自注意力输出相加后再进入交叉注意力。下半部分显示新设计：左下解码器的神经分支被替换为 3 个竖条静态向量，直接加权相加。

右下展示融合细节，顶层编码器 3 个语言输出经共享适配器得到动态向量，扩展的静态矩阵经线性投影得到增强静态向量，两路经可学习门控逐元素融合为最终表示。像素细节支持上述改动只发生在解码器语言分支位置，主干注意力与交叉注意力路径保持不变的判断。

编码器与解码器中的语言模块各自做什么？

先把术语说清楚。通用模型指共享的 Conformer 或 Transformer 主干，对所有语言共用参数。语言特定模块指为每种语言单独设置的轻量变换，原文在编码器和解码器中都用线性投影实现。用户多热向量是长度等于支持语言数的 0 或 1 向量，1 表示选中，归一化后得到权重向量。在编码器选中层，输入先过共享块得到通用表示，再把同一表示送入各选中语言的线性层，加权求和后与通用表示相加。

编码器这样做是为了捕捉语言相关的声学模式，且每句只算 1 次。在基线解码器选中层，每一步的自注意力输出都要经过同样的加权线性投影，再进入交叉注意力。这一步是为了用语言相关的上下文偏置去查询声学编码，但因为输入随词变化而必须逐词重算。论文的改动就是把解码器这一步的输入从当前词隐状态解耦，变为与词无关的向量，从而可以缓存。

可配置多语识别 × 语言特定模块： 可配置多语识别负责在推理时只响应用户多热向量选中的任意语言子集，语言特定模块负责为每个语言提供轻量专用变换；二者搭配的理由是通用主干保证共享声学建模，专用模块提供可加权开关的语言偏置，组合后只需改变权重向量就能切换识别范围而不重训模型。

词元相关建模 × 词元无关表示： 词元相关建模指解码每生成一个词都要把当前隐状态重新送入语言线性层，词元无关表示指与当前词隐状态无关、可提前算好缓存的语言向量；搭配原因是语言身份是整句全局属性，不必逐词重估，组合后解码每步只做向量加法，把重复复杂度从与隐维度平方相关降到与隐维度线性相关。

静态向量与编码器信息融合如何一步步算出？

CMM-S 的计算很直接。每个语言在每个解码器配置层有一个可学习向量，维度与模型隐维度相同。推理时按用户权重加权求和，得到一个与当前词无关的偏置向量，缓存后每步加到自注意力输出上。训练时该向量通过常规的注意力交叉熵梯度更新，论文未报告对其冻结或单独重置的特殊处理。CMM-D 的计算分 3 步。

第一步提取动态线索，取顶层编码器各语言模块的输出，先沿时间维做全局平均池化得到句级向量，再送入小型前馈网络加非线性变换。论文称该层接近 CTC 损失，因而富含发音和语言判别信息。第二步扩展静态容量，把每个静态向量扩展为矩阵，再经线性投影压回隐维度，训练后可预计算缓存，推理不增加开销。第 3 步做词元无关融合，用两组可学习权重向量分别对动态线索和增强静态表示做逐元素加权相加，得到最终语言表示，再代入与 CMM-S 相同的加权求和公式。

关键是融合在解码开始前对整句做 1 次，解码循环内仍只是向量加法。

静态语言向量 × 编码器信息动态线索： 静态语言向量负责记录各语言全局不变的偏置，编码器信息动态线索负责从顶层编码器语言模块输出中经池化与前馈提取当前句子的发音与语言判别信息；搭配原因是纯静态向量缺少句子级声学变化，动态线索补足该变化，二者经可学习门控逐元素融合后仍可在解码开始前 1 次算好，保持逐词低开销。

训练如何模拟用户的不确定选择，监督来自哪里？

论文的训练不是无训练调用，而是有完整神经网络训练。 backbone 是 12 层 Conformer 编码器加 6 层 Transformer 解码器，隐维度 512，注意力头 8 个，前馈 2048 维，语言模块放在编码器和解码器的首层和末层，位置编码用相对位置编码，CMM-D 适配器瓶颈维度取 128。优化目标是 CTC 损失权重 0.3 加注意力交叉熵权重 0.7 的多任务目标，用 Adam 优化器加梯度裁剪和学习率预热，共训练 70 轮。工具是 ESPnet 开源工具包。

为了模拟用户在推理时可能选错或多选语言，训练时以 0.5 概率向提示多热向量中随机加入错误的语言编号，迫使模型在含噪配置下仍能工作。多热向量除了参与加权，还与声学特征拼接后为编码器提供初始语言引导。论文明确报告了上述损失权重、优化器、训练轮数和噪声概率，但未报告各语言模块是否分阶段冻结、梯度是否在动态线索分支截断、以及适配器与静态矩阵的具体初始化方式，这些缺项在复现时需要按常规做法补齐并记录。

CTC 监督 × 注意力解码： CTC 监督负责在编码器顶层提供与发音对齐的帧级约束，使顶层语言模块输出富含语言判别线索，注意力解码负责自回归生成词序列并通过交叉注意力查询编码器；搭配原因是前者保证可复用的动态线索质量，后者是延迟瓶颈所在，组合后动态线索能直接增强解码器的静态向量而不进入逐词循环。

在哪些数据和配置下比较，指标方向是什么？

实验用两套语料。第一套是约 7000 小时的 MLS 加 LibriSpeech 英语，覆盖英语、荷兰语、法语、德语、西班牙语、意大利语、葡萄牙语和波兰语，训练句数从 2.5 万到 45.2 万不等，是数据不平衡场景，词汇用 2000 子词。第二套是自有数据的平衡四语语料，粤语、普通话、英语和马来语各 3000 小时，词汇用 20000 句 pieces 以支持中文字，简体用于普通话、繁体用于粤语，且包含代码切换片段，语言间更接近，是更严格的语言混淆测试。该自有数据因隐私未公开，这是复现时无法完全对齐的一点。评估分两种配置。

独热配置模拟专家场景，给出精确语言提示，是准确率上界。全热配置模拟无先验场景，对所有语言保持敏感，是下界和鲁棒性测试。主要指标是词错误率，越低越好。延迟测试在英特尔至强 CPU 上测 50 句不同词元长度的总耗时，并报告相对多语基线的额外开销。参数量对比关注解码器每语言每层的语言模块体积。

需要核对的是词错误率平均值是对各语言直接平均，不是按数据量加权，延迟是整批总时间不是单句平均，比较时必须保持相同解码配置。

准确率是否真能保持，延迟下降多少？

比较问题是：在相同模型规模和相同独热或全热配置下，静态向量和编码器信息融合能否达到原 CMM 的词错误率，同时把延迟开销压平。公平条件是同 backbone、同训练轮数、同词汇和同评测划分，指标方向是词错误率越低越好，延迟额外开销越小越好。下表整理两套语料平均词错误率的连续原文证据，列数满足宽表要求，数值保留原文精度。

表后解释：该表显示所有 CMM 变体都明显优于多语基线，说明语言特化有效。纯静态 CMM-S 在 MLS 全热下从 8.70 掉到 8.80，在四语上从 11.83 掉到 11.92，证实缺少句子级线索会有小幅损失。CMM-D 把平均值拉回 8.70 和 11.84，与原 CMM 基本持平，支持解码器语言建模不必逐词重算的判断。

代价是这种持平是平均值层面的，细看低资源语种如葡萄牙语在部分配置下并未胜出，且独热在 MLS 低资源语言上甚至略差于全热，说明平均数掩盖了语言间差异。 延迟方面的比较问题是：额外开销是否随输出长度增长，指标方向是额外秒数越小且越平稳越好。下表整理长短句的额外延迟证据。

表后解释：原 CMM 在长句上额外增加约 107.88 秒，且随词元数从 10 到 110 线性爬升。

CMM-S 在各长度上稳定在约 2 秒附近，CMM-D 稳定在约 3 到 7 秒，多出的几秒来自 1 次性的适配器计算。该结果支持计算负担与解码长度解耦的结论。但需注意这是 CPU 上 50 句总时间的测量，不是单句流式延迟，也未报告误判率或内存峰值的变化，不能直接推广为所有硬件和流式场景的延迟承诺。

参数量与可扩展性如何随语言数变化？

比较问题是：解码器语言模块的参数 footprint 是否随语言数线性膨胀，指标方向是每语言参数越少且共享部分不随语言数增长越好。下表用原文报告的每语言每层参数证据整理。

表后解释：原 CMM 每语言每层需要约 0.13M 参数，CMM-S 降为单个 512 维向量，原文称约 256 倍压缩。CMM-D 增加约 0.13M 的共享适配器，但该适配器对所有语言共用，因此语言数越多，总量优势越大，语言特定部分仍只是一个向量。

该结论支持方法在大语言集合上的可扩展性。但论文未报告编码器语言模块和整体模型总参数随语言数变化的完整曲线，也未测量参数减少是否影响收敛步数，因此只能说推理期语言特定参数更省，不能说训练成本一定下降。

去掉动态线索会怎样，数据量如何改变配置收益？

论文的对照可以看作两组消融。第一组是从词元相关到静态向量再到编码器信息融合。基线是逐词神经投影，CMM-S 是纯静态向量，CMM-D 是静态加动态。MLS 全热平均值从 8.70 变为 8.80 再回到 8.70，四语平均从 11.83 变为 11.92 再回到 11.84，说明动态线索确实补回了静态向量的损失，但也没有超越原 CMM，只是恢复持平。这支持动态线索的必要性，同时表明静态容量扩展和门控融合没有带来额外超越。

第二组是独热与全热的对比。在 MLS 上独热相对全热几乎无增益，波兰语和葡萄牙语独热甚至略差，论文解释为低资源语言数据太少，语言模块训练不足，模型更依赖共享主干。在每语言 3000 小时的平衡四语上，独热一致优于全热，说明语言特化的实际效果依赖绝对数据量。这是一个重要的适用条件：数据不足时不要期待精确语言提示一定带来提升。

未胜出项必须指出，意大利语和葡萄牙语在 CMM-D 下并未优于基线 CMM，葡萄牙语甚至出现 18.2 对 17.6 的差距，说明编码器信息融合不是对所有语言都有效。

哪些边界没有测，哪些推论不能做？

首先是数据边界。自有平衡四语数据未公开，外部无法复现该部分，MLS 部分虽公开但划分和预处理细节需严格对齐才能对比。其次是评估边界。论文报告了词错误率和 CPU 总耗时，但未报告语言判别错误率、代码切换片段的单独得分、流式实时因子、峰值内存和不同 batch 下的延迟分布，因此不能把平均词错误率持平推广为代码切换一定持平，也不能把 50 句总耗时直接当作线上单句延迟。第三是方法边界。

动态线索依赖顶层编码器语言模块和 CTC 监督的质量，如果编码器本身语言判别差，动态线索可能无效，论文未做拿掉 CTC 或换层提取的对照。第四是表述冲突需要标注。摘要称每词元复杂度从 2 次降到线性，正文多处称从线性投影降为向量加法，两种说法指向同一改动的不同角度，复现时应以每步从矩阵乘法变为向量加法的实现为准，而不是纠结字面。最后是资源状态。

本次收到的证据中没有完成 HTTPS 验证的开源资源，不得声称代码、模型或数据已公开，复现需按文中超参数自行实现。

要复现应先做什么，需要记录哪些条件？

复现先做基线。按文中配置搭建 12 层 Conformer 编码器加 6 层 Transformer 解码器，隐维度 512，前馈 2048，首末层加语言模块，相对位置编码，ESPnet 流程，80 维滤波器组特征加全局归一化，MLS 用 2000 子词词汇，CTC 权重 0.3、注意力权重 0.7，Adam 加预热训练 70 轮，训练时以 0.5 概率加噪语言提示。然后实现 CMM-S，把解码器语言线性层替换为可学习向量，解码前按权重求和缓存。再实现 CMM-D，对顶层编码器语言输出做时间平均池化加小型前馈得动态向量，把静态向量扩展为矩阵再投影，最后用两组可学习向量门控融合，同样在解码前 1 次算好。

评测时必须同时跑独热和全热，报告各语言词错误率和直接平均值，延迟要在同一 CPU 和同一解码 batch 下测不同词元长度的总耗时及相对基线的增量。还需补的验证是单语言低资源下的独热增益、代码切换片段单独计分、以及去掉 CTC 或更换编码器层提取动态线索的对照，这些是原文未充分覆盖但影响结论适用范围的部分。

何时值得尝试这种解耦，何时不必？

当系统已经采用可配置多语架构，且实测延迟随输出变长明显爬升、长句体验受损时，值得尝试把解码器语言模块替换为可缓存的词元无关表示。数据量充足且编码器顶层已有较强语言判别能力时，优先尝试编码器信息融合版本，因为纯静态版本会有可测的小幅掉点。当语言数很多且需要控制每语言参数时，这种每语言只留一个向量的方法也有吸引力。不必尝试的情况包括：模型瓶颈不在解码器语言模块，例如编码器本身很重或 beam 很大。

低资源语言占比高且独热本身无增益，此时问题在语言模块训练不足而不在是否逐词计算；需要严格流式逐帧输出且无法接受整句池化带来的等待时，1 次性句子级池化的收益需要重新测量。总之，论文支持的是在保持平均准确率的条件下把可配置开销与输出长度解耦，而不是证明语言身份在所有场景下都与词无关，实际选型仍要看数据规模、编码器质量和延迟测量口径。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总