📄 只用目标领域文本，能否既学新词又不忘老领域
英文题目：Residual Expert Routing for Text-Only Domain Adaptation of Factorized Transducer ASR
评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Shashi Kumar：机构信息未能在本次解析中与作者逐人可靠绑定
- Esaú Villatoro-Tello：机构信息未能在本次解析中与作者逐人可靠绑定
- Thibault Bañeras-Roux：机构信息未能在本次解析中与作者逐人可靠绑定
- Sergio Burdisso：机构信息未能在本次解析中与作者逐人可靠绑定
- Petr Motlicek：机构信息未能在本次解析中与作者逐人可靠绑定
- Kadri Hacioglu：机构信息未能在本次解析中与作者逐人可靠绑定
- Andreas Stolcke：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
因子化换能器把空白与词汇预测分开，使非空白预测器成为只看词历史的独立语言模型，可单独用文本微调。本文输入是源域配对语音文本与目标域纯文本，输出是跨域可用的识别结果，难点是目标文本微调改善目标域却损害源域，而单一插值权重无法在同一句内的不同前缀间取舍。解码到每个词历史时先分别计算基线与文本适应专家的非空白分布，相减得到残差修正量，基线保留为输出主体。该残差作为约16k参数的两层门控网络的唯一输入，逐前缀映射为0到1之间的信任值。信任值加权残差后加回基线得到概率空间的混合分布，关门即完全回到基线，不同于固定权重对全句取同一值；该混合分布再与声学分数融合进入束搜索解码，训练交替使用源域配对数据的换能器目标加约束与目标纯文本上的专家词边际优势监督，全程只更新门控。在零售与电信两个未见域测试集上以词错率（word error rate，WER）比较，基线分别为19.89%与20.91%，路由后降至16.74%与16.21%。在源域测试集上以词错率比较，基线为12.90%，路由后为12.93%基本不变，而专家单独使用升至13.98%。结论适用于存在可分离输出端语言模型的换能器结构，分析显示门控随分歧方向改变信任而非域开关，未验证大语言模型预测器与多语料情形，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音识别要把什么信息保留到输出
这篇论文研究的是英语会话语音识别。输入是一段音频的声学特征序列，目标是输出词序列。评价用词错误率，越低越好。会话中有人名、业务词和口语表达，声学本身有口音和信道变化，语言层面有领域用词差异，系统必须同时处理两类信息。声学决定听到了什么音，语言模型决定在当前历史词后面什么词更合理，两者缺一都会增加错误。
端到端 Transducer 把声学、词法和语言知识折叠进一个网络，解码时在时间和词位置组成的格子上考虑空白停留和发射词两种动作。混合系统时代声学模型和语言模型是分开的，加新领域文本就能直接调语言模型；端到端后这种便宜的纯文本适配变得困难。论文要解决的是只用目标领域文本微调后，新领域变好但源领域变差的一换一问题。也就是说，新词学会了，老领域的稳定输出却丢了。
因子化 Transducer × 空白预测器 × 非空预测器： 因子化 Transducer 把对齐中的空白发射和词表发射分开建模：空白预测器只判断当前是否停留不输出词，非空预测器只在要输出词时给出词分布。因为非空预测器不看声学只看历史词，它本身就是一个语言模型，可以单独用文本训练；声学信息由编码器另行提供，两路在联合处汇合。
已有纯文本适配路线为什么留下一换一的问题
一类做法在推理时外挂语言模型。浅融合把外部语言模型分数插进束搜索，密度比和内部语言模型估计先减掉模型隐含的语言模型再加上外部模型，混合自回归 Transducer 则把空白与非空白分解写清楚，让内部语言模型分数有定义。另一类直接调内部语言模型本身，用无配对文本训练或联合训练。这些路线都想恢复混合系统那种声学与语言可分的便利。
因子化 Transducer 把分离做进结构。它用编码器处理音频，用空白预测器判断空白概率，用非空预测器只看历史词给出词分布。非空预测器不看编码器，因此可以用纯文本做交叉熵微调。新领域的做法都是把非空预测器在目标文本上微调后替换原分支解码。这种替换操作简单，部署时直接换一个分支即可。
原文指出这套做法有效但会以旧换新。实验里在两个未见领域文本上微调后，新领域相对变好，源领域相对变差，原因子化 Transducer 论文也报告过通用测试集下降。常用控制是调一个全局插值权重，但一个值要服务所有前缀，而同一句话里既有适用目标措辞的前缀，也有不适用的前缀。冷融合在训练识别器时联合学门，没有已部署基线可保留；混合专家是在多个专家间选择，没有精确回到部署模型的兜底。
权重合并在解码前就固定；按固定规则调外部与内部语言模型权重的做法不是在两个内部预测器残差上学习策略。论文因此提出在概率空间内按前缀决定采纳多少残差修正。
一个权重为何在同一句话里不够用
论文把问题定位在前缀级别。基础预测器是在源领域配对数据上训练的语言模型分支，专家是它在目标文本上的微调副本。在有的历史词后面，专家对下一个词的判断更准；在另一些历史词后面，基础更稳。两种前缀会出现在同一条语音的解码过程中。例如一句话前半是通用寒暄，后半出现零售或电信专有说法，理想的采纳比例前后就该不同。
如果只用一个标量决定全程采纳多少专家，就必须折中。开大有利于目标词，损害源领域；关小保住源领域，又丢掉目标增益。论文的实验也显示把权重从 0.1 扫到 0.9 时，域外词错误率下降而域内上升，超过 0.7 后域内上升很陡，没有一个值在 3 个测试集上同时最好。这说明需要按前缀调整，而不是按领域或按句子给一个开关。
门只读两分布之差，关死即精确回到基础，这为保守适配提供了兜底。保守在这里意味着默认不动基线，只有在有证据时才让专家介入。
保守残差路由的整体流程是什么
方法的总体想法是反过来问问题：不问该由哪个专家产生输出，而是保留基础非空预测器作为输出主体，只问当前前缀要吸纳多少专家的残差修正。残差是专家分布减去基础分布。门网络只看这个残差向量，输出 0 到 1 之间的信任值，再用它对残差加权加回基础。这样专家永远是修正项，不会直接取代基线。
下面先看论文图 1 的走线，再说各部分的计算。读图时把下方两个预测器看成语言模型分支，中间门看成阀门，上方是与声学汇合后的最终非空白分布。注意空白分支在图中省略，意味着路由完全不碰空白判断，只改要出词时的词分布。
读图任务是沿历史词到词分布再到与声学汇合的主路径，确认门只改变语言模型分支而不动空白分支，同时确认可训练部分只有门。
看图路径： 1. 先沿下方历史词到两个预测器再向上到混合分布的主路径看；2. 再比较右侧编码器经投影和 LogSoftmax 后汇合的位置；3. 确认只有中间残差门是阴影可训练部分其余均冻结
论文图 1。原论文 Figure 1:：“Residual routing inside the non-blank branch of a factorized transducer. Only the shaded gate is trained; everything else is frozen. The blank branch is unchanged and omitted.”。
从图中可见，下方是基础非空预测器和专家非空预测器，都读入历史词。中间残差门读入两者分布之差并输出门值，混合分布送入取对数节点。右侧编码器处理音频后经投影和 LogSoftmax 得到声学分数，与混合后的语言模型分数汇合再经 Softmax 得到非空白分布。训练时只有阴影的门被更新，其余全部冻结，把门关死就精确回到基础模型。这种设计让回退行为是结构保证，而不是靠训练碰运气。
基础非空预测器 × 文本适配专家 × 残差修正： 基础非空预测器是部署中的原始语言模型分支，文本适配专家是把它在目标领域文本上继续微调得到的副本。残差修正指专家与基础分布的差值，路由不直接二选一，而是以基础为输出主体，只决定在当前前缀吸纳多少残差，关门即完全回到基础。
门在每个前缀具体算什么
记基础分布为当前历史词下的词表分布，专家分布为同一历史词下微调后模型的分布。门网络是两层网络，把残差向量从词表维度映射到 32 维隐层再到一个对数值，过 Sigmoid 得到信任值。论文报告门只有 16033 个参数，约为全模型的 0.02%，是它所控制预测器的 0.3%。输入维度是去掉空白后的 499 维，隐层用 SiLU 非线性，计算量相对整个识别器很小。
混合分布等于基础分布加上信任值乘以残差。因为两者都是分布，信任值在 0 到 1 之间时混合结果仍是合法分布，不需要重新归一化。解码需要对数概率时用混合分布加小量后取对数。混合分布替换原来解码公式中的内部语言模型项，因此门作用在 Transducer 内部而不是重打分。每个输出位置都会重新算一次门值，所以同一句话内可以有不同的开合程度。
\[\gamma_{u}=\sigma\!\big(g_{\phi}(r_{u})\big),\qquad\gamma_{u}\in[0,1],\]\[p^{\mathrm{mix}}_{u}=p^{0}_{u}+\gamma_{u}r_{u}=p^{0}_{u}+\gamma_{u}(p^{1}_{u}-p^{0}_{u}).\]信任度 × 分歧度 × 实际干预量： 信任度是门网络输出的 0 到 1 标量，分歧度是两预测器分布差异的一半 L1 距离，实际干预量是两者乘积。信任相似时分歧大仍可产生大干预，分歧为零时干预必为零，因此不能只看信任判断影响大小。
\[I_{u}\;=\;\tfrac{1}{2}\|p^{\mathrm{mix}}_{u}-p^{0}_{u}\|_{1}\;=\;\gamma_{u}\cdot D_{u},\qquad D_{u}=\tfrac{1}{2}\|r_{u}\|_{1},\]门看不到声学、看不到测试集归属，也看不到任一预测器的绝对置信。当两预测器完全一致即残差为零时，门输出是一个所有领域共享的常数，论文给出该值为 0.466。这为后文分析提供了起点：起点相同，后续随分歧的变化才是学到的策略。实际干预量是信任值与分歧度的乘积，信任不变时分歧仍能大幅改变影响。因此高信任不一定等于大改动，低信任在高分歧下也可能仍有可观改动。
没有目标音频时门从哪里学监督
训练时编码器、空白预测器、两个非空预测器、联合网络和输出投影全部冻结，只更新门参数。数据分两路交替抽批：一路是配对的源领域音频加文本，另一路是只有文本的目标领域文本。这种交替让门同时看到源领域的识别约束和目标文本的词汇约束，而不需要任何目标音频。
在源领域配对数据上，混合预测器替换进 Transducer，用 Transducer 损失加内部语言模型交叉熵评价路由后系统，再加 KL 锚定和稀疏惩罚。Transducer 损失是唯一看到声学的项，它评价混合预测器与声学模型一起解释参考转写的程度，梯度只更新门。KL 惩罚混合分布相对基础的变化，稀疏项直接惩罚门值。识别损失提供介入的理由，正则项约束不必要的偏离。换句话说，门在源数据上学会何时开门有助于识别，何时开门只是增加偏离。
传感器损失 × 内部语言模型交叉熵 × KL 锚定与稀疏惩罚： 传感器损失即 Transducer 损失，用配对源领域音频和文本评价路由后系统能否连同声学一起解释正确转写；内部语言模型交叉熵只评价混合词分布对参考词的预测；KL 锚定惩罚混合分布相对基础的变化，稀疏惩罚直接惩罚门值本身，前者看结果变化，后者看开门动作。
在只有文本的目标数据上，监督来自专家的词优势。对每个位置定义下一词间隔，再定义语言优势为专家间隔减去基础间隔，除以温度后过 Sigmoid 得到软目标。门用交叉熵拟合该软目标，同时仍对混合分布算交叉熵并加稀疏惩罚。论文强调这里用间隔而不用参考词概率，是因为要刻画专家是否让参考词相对最强竞争者更有竞争力，这更接近能否改变解码决定。绝对概率提高但仍排第二时，解码输出可能不变；间隔改善才真正对应纠错能力。
\[m_{i}(u)=\log p^{i}_{u}(y_{u})-\max_{v\neq y_{u}}\log p^{i}_{u}(v),\]下一词间隔 × 语言优势 × 软目标： 下一词间隔指某预测器给参考词的对数概率减去最强竞争词的对数概率，语言优势是专家间隔减去基础间隔，软目标是把该优势除以温度后过 Sigmoid。它大意味着专家让参考词相对竞争者更有竞争力，而不只是绝对概率高，门在无音频的目标文本上学习去拟合这个目标。
完整目标是两部分损失相加，交替抽批优化。交叉熵和稀疏项在两侧都出现，意味着混合分布始终要对参考词负责，开门始终要有理由。这种设计避免门在目标文本上无节制地偏向专家，也避免在源数据上过度保守到完全不开门。
模型、数据和解码条件是怎样对齐的
基础模型编码器是 Zipformer，非空预测器是单层 Transformer，全模型约 69.8M 参数，词表是 500 个 BPE 单元。它先在 LibriSpeech 960 小时上训练 20 轮，再在 40 小时银行、医疗、保险客服会话配对数据上微调 5 轮。目标文本是同一来源但配对数据中没有的两个领域：零售 10981 句和电信 18889 句，共 29870 句，不用任何目标音频训练或挑选路由系统。配对数据与目标文本来自同一客服会话大类，但子领域用词不同，这决定了结论的适用边界。
专家是把非空预测器副本在上述目标文本上用交叉熵微调 5 轮得到，不动其他模块。门训练 30 轮，交替用源音频批和目标文本批，检查点按目标文本上开发损失最低选择，不用目标音频。静态插值基线则按组合开发词错误率最好选择，因此需要目标音频，这一点在比较部署代价时很关键。也就是说，路由的挑选条件更便宜，静态基线的挑选条件更贵。
评测有 3 个测试集：零售 3.3 小时 1312 句，电信 6 小时 2243 句，都是相对配对数据的域外集；源领域测试集 3.4 小时 2009 句。所有系统都用束宽 4 的改进束搜索解码，内部语言模型融合权重取固定值，使系统间比较不被第二个插值混淆。分析信任统计时用束宽 1 收集，保证每句只有一条明确路径。因子化本身的基线对齐在 LibriSpeech 上已确认，融合权重恢复了分解带来的小损失，因此后续差异可以归于适配与路由，而不是因子化本身的缺陷。
路由保住了多少新领域增益和源领域性能
要回答的核心问题是纯文本适配的一换一能否被打破。比较的起点是基础因子化 Transducer，接着是直接用专家替换的文本适配，再看路由。指标都是词错误率，越低越好。静态插值把门值固定为常数并在目标音频上挑选，而路由只训练门并在目标文本上挑选。比较时解码束宽和融合权重都固定，避免引入第二个混淆因素。
下表整理主结果的词错误率，单位为百分比。基础在两域外集上较高，专家大幅拉低但抬高源领域，路由的目标是留住拉低同时不抬高源领域。
| 系统 | Retail 域外词错误率% | Telco 域外词错误率% | 源领域词错误率% |
|---|---|---|---|
| 基础因子化 Transducer | 19.89 | 20.91 | 12.90 |
| 文本适配专家替换 | 16.88 | 16.10 | 13.98 |
| 残差路由默认门 | 16.86 | 16.57 | 12.91 |
| 去 KL 锚定的路由 | 16.74 | 16.21 | 12.93 |
从表中看，默认路由在两域外集上接近专家替换的水平，同时源领域词错误率回到接近基础。去掉 KL 锚定的路由在域外集上更低，源领域只比默认门略高。该表只呈现 4 个系统的 3 组词错误率，没有给出静态插值随常数变化的完整权衡，也不能说明门在分歧不同时的行为，因此还需要结合消融与行为分析来判断门是否真的按前缀工作。
从数字看保留与代价各是多少
上表比较的问题是相同解码条件下谁能同时做好 3 组测试。基础到专家的变化是域外相对改善 15.1% 和 23.0%，源领域代价是增加 1.08 个百分点即相对变差 8.4%。默认路由在 Retail 和 Telco 上与专家基本持平，源领域回到 12.91，与基础的 12.90 几乎相同。去掉 KL 锚定的版本域外进一步到 16.74 和 16.21，源领域为 12.93，摘要中的 3 组数字即来自该配置。这意味着路由把源领域回退从 1.08 个百分点压缩到 0.03 个百分点左右。
这支持论文的判断：路由保留了几乎全部纯文本增益，同时消除了源领域回退。但结论成立依赖具体条件：源领域仍是客服会话大类，目标是同源的零售和电信文本，门用源配对数据和目标文本训练，解码融合权重固定。若换成差异更大的领域或完全不同的声学条件，数字需要重测。不能把这里的相对改善直接推广到远域。
读图任务是看条件平均信任随分歧的变化，确认起点相同后分叉的方向，并注意纵轴是给定分歧下的平均门值而不是整句开关。
看图路径： 1. 先看横轴分歧度从 0 到 1 纵轴为条件平均信任度；2. 对比三条曲线在左端起点相同在右端域外上升域内下降；3. 观察高分歧区 Telco 与 Retail 高于源领域测试集的幅度
论文图 2。原论文 Figure 2:：“Mean trust conditioned on base-expert disagreement, over all decoder states visited during decoding.”。
该图横轴是基础与专家分歧度，纵轴是给定分歧下的平均信任。两条域外曲线随分歧增大而上升，在高分歧区达到 0.7 左右；源领域曲线随分歧增大而下降，在高分歧区降到 0.3 以下。三线在分歧为零处交于约 0.47，与门无输入时的常数一致。这说明门不是按整句判领域，而是在同样分歧大小下对不同形状的残差给出不同信任。图中 Telco 虚线在高分歧段略高于 Retail，源领域点线则明显下探，这种分离是路由优于常数的直接证据。
静态权重和正则项各自说明什么
第二个要回答的问题是每前缀门是否比一个常数更值得。静态插值把门值固定为 0.4，该值在开发集上用目标音频选出。它保住源领域，但域外相对比路由差 2.4% 和 5.0%。把常数从 0.1 扫到 0.9 会画出清晰折中，域外变好则域内变差，超过 0.7 后域内恶化很陡，没有一个常数在 3 组上同时超过路由。关键差异是常数的选择本身需要目标音频，而路由的检查点选择只需要目标文本。因此路由不仅性能更好，部署条件也更省。
下表整理消融与静态基线的对照，数值仍为词错误率百分比，比较的是同一训练与解码流程下不同约束的效果。
| 配置 | Retail% | Telco% | 源领域% |
|---|---|---|---|
| 静态插值 0.4 | 17.16 | 17.07 | 12.89 |
| 路由默认 | 16.86 | 16.57 | 12.91 |
| 稀疏权重为 0 | 16.87 | 16.53 | 12.95 |
| 稀疏权重为 1.0 | 17.06 | 17.07 | 12.80 |
| 去 KL 锚定 | 16.74 | 16.21 | 12.93 |
从表中看，静态插值虽然源领域与路由相当，但两个域外集都明显更高，说明常数折中丢掉了可用的增益。稀疏权重加大到 1.0 时源领域最好但域外回升，去掉 KL 锚定时域外最好而源领域几乎不动。该表不能证明源监督本身的单独贡献，因为没有单独去掉源识别损失的对照，也不能说明门在高分歧状态的具体开合分布。
如何理解正则项并非都不可少
上表比较的问题是分布保持惩罚和稀疏惩罚是否必要。去掉 KL 锚定后域外更好而源领域几乎不变，说明在该设置下显式分布保持惩罚不是留住源领域的原因。配对源识别监督和稀疏惩罚仍在工作，前者让门在源数据上为识别错误负责，后者直接抑制开门。把稀疏权重加大到 1.0 会偏向源准确，源领域到 12.80 但目标增益缩小；去掉稀疏则相对默认变化很小。
论文据此认为完整正则组合不是必需，但这些消融没有单独去掉源监督，因此不能孤立源监督的贡献。这是一个尚未回答的对照缺口。
下表整理高分歧状态下的行为统计，用于解释门的影响落在何处。信任和干预都是均值，一致率是混合与专家最高概率词一致的比例，翻转率是与基础决策不同的比例。
| 测试集 | 高分歧平均信任 | 高分歧平均干预 | 与专家一致率 | 解码器翻转率 | 融合后翻转率 |
|---|---|---|---|---|---|
| Retail 域外 | 0.65 | 0.55 | 0.73 | 0.234 | 0.040 |
| Telco 域外 | 0.69 | 0.58 | 0.77 | 0.245 | 0.047 |
| 源领域 | 0.36 | 0.29 | 0.38 | 0.168 | 0.014 |
从表中看，只看分歧不小于 0.7 的状态，域外平均信任约是域内 2 倍，干预和与专家一致率也约 2 倍，说明门在关键状态确实区别对待。但该表只覆盖高分歧子集，不能代表整体分布；整体中位数在 3 组间几乎相同，大多数句子落在两极之间，因此不能据此把门说成整句级领域开关。
门的影响经过声学后还剩多少
上表比较的问题是门在语言模型分支的改动有多少真正落到输出。只看分歧不小于 0.7 的状态，域外平均信任约是域内 2 倍，干预和与专家一致率也约 2 倍，说明门在关键状态确实区别对待。但整体信任中位数在 3 组测试集上几乎相同，域外为 0.466，域内为 0.465，均值差异主要来自上尾权重，大多数句子落在两极之间，因此它不是整句级的领域开关。这个细节很重要：只看均值会误以为门识别了领域，只看中位数又会误以为门没有工作，必须结合分歧条件来看。
架构本身大幅衰减了门的影响。路由在解码器层面改变约五分之一状态的最高概率词，但加上声学分数并经过空白竞争后，最终输出符号只有不到 5% 与基础不同，域内仅 1.4%。这与域外 15% 到 21% 相对词错误率变化而域内不变是一致的：改动是小而集中的子集。换句话说，门只在少数关键位置改变输出，而不是大面积改写。限制是该分析只在给定模型和数据上成立，且统计来自束宽 1 路径，与主结果束宽 4 的搜索不完全相同，因此翻转率数字不能直接换算成词错误率变化。
要复现第一步该准备什么
复现的第一步是先得到可用的因子化基线：按原文先在 LibriSpeech 上训练再在源领域配对数据上微调，并确认 LibriSpeech 上与同等规模标准 Transducer 持平，论文报告在特定融合权重下测试集干净与其他集为 3.05 与 7.40 对 3.08 与 7.51。接着在目标文本上微调非空预测器副本得到专家，其他模块不动。这一步保证后续增益来自适配与路由，而不是基线本身偏弱。
然后冻结除门之外的全部参数，只训练约 16,000 参数的门，交替喂源配对批和目标文本批，检查点按目标文本开发损失选择。解码时固定融合权重和束宽再比较 3 组测试集，避免同时调融合权重掩盖路由的作用。论文未给出代码、模型或数据链接，来源清单也没有可用作者资源，因此不能声称已开源，只能按文字描述重建。训练超参数如学习率和损失权重需要按原文设置，缺失的细节只能如实记录为缺口。
容易误解的是门看到了领域标签。实际上门只看两分布之差，没有声学和领域标识，它是从残差形状推断当前像哪类数据。在分歧相同处 3 条曲线不同，说明它响应的是残差方向而不只是大小。如果只用分歧大小做规则，就无法复现这种分叉行为。
什么时候值得尝试还缺哪些验证
当已有部署好的因子化 Transducer、有源领域配对数据、只有目标领域文本且不能动声学和空白分支时，这种方法值得尝试。它的好处是关门即回退到基础，检查点选择不需要目标音频；代价是多训练一个小门，并在解码每步多算一次残差映射。对于不能收集目标音频但能收集文本的客服、垂域词汇场景，这种条件很常见。
从证据看，它在同源客服会话的零售和电信子领域上同时保住 3 组性能，且没有静态权重能同时做到。但这不等于在任意远域、嘈杂声学或大词表偏移下都成立，也没有测量延迟和训练成本，论文只报告参数占比和训练轮数。下一步自然是补延迟与资源测量、在差异更大的领域和编码器加解码器结构上验证，以及公开可运行实现后再谈部署增益。在没有这些验证前，应把结论限定在原文的模型、数据和解码条件下理解。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses