📄 用大模型提示做热词偏置的中英混读语音识别
英文题目：LLM-HB: Language-Aware LLM-Guided Hotword Biasing for Code-Switching ASR
标签：#语音识别 | #混合专家模型 | #代码转换 | #大语言模型
评分：6.5/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Yuxuan He：机构信息未在 arXiv HTML 中可靠披露
- Genshun Wan：机构信息未在 arXiv HTML 中可靠披露
- Pengcheng Li：机构信息未在 arXiv HTML 中可靠披露
- Gongping Huang：机构信息未在 arXiv HTML 中可靠披露
- Jianqing Gao：机构信息未在 arXiv HTML 中可靠披露
- Yanmin Qian：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
中英代码转换语音要求在同一句话内转写中文字符与英文单词，语码在句内快速切换，声学和语言模型容易把相近发音归到错误语言，人名、地名等热词更难召回。LLM-HB输入语音语谱图，输出中英文混合转写，解码时允许输入一份目标热词表以提高指定词的出现概率。语音先经Whisper编码器得到声学特征，再经混合专家模型适配器做语言相关变换，对齐到大语言模型的表示维度。热词表与参考转写分别经冻结分词器和文本编码器变成向量，与语音向量拼接后送入经LoRA适配的Qwen3-4B解码，大模型隐状态同时用于词汇预测和语言类别预测。训练用识别损失、热词偏置损失与语言监督损失联合优化，推理时只用语音加提示热词解码，去掉语言预测分支与参考文本分支。与已有中英混读工作偏重声学端语言分离、已有热词工作偏重单语提示不同，该文把语言判别信号加在专家融合后的共享表示上，并让中英双语热词提示与语言监督相互配合。在约2200小时多数据集训练、ASRU2019混读测试集每句15个干扰热词条件下，完整模型相对基线把混合错误率（Mixed Error Rate，MER）从7.34%降到5.85%，相对下降20.30%，中文字符错误率从5.04%降到4.94%，英文单词错误率从26.05%降到13.21%。该结论只适用于中英双语及上述数据配比和热词构造，仅200小时训练时混合专家模型适配器单独使用曾使MER上升，更大热词表、近音词及其他语种尚未验证，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://anonymous.4open.science/r/IS26-ASRU2019-Hotword-List/ — 链接可访问（HTTP 200）
第三方资源：https://github.com/hankcs/HanLP — 链接可访问（HTTP 200）
第三方资源：https://github.com/openai/whisper — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
中英混读语音识别要解决什么困难
这篇论文处理的是语码切换语音识别。语码切换在这里指说话人在一句话之内交替使用普通话和英语，例如中文句子中夹入英文人名、地名或术语。输入是连续语音的梅尔频谱，目标是输出混有汉字和英文单词的转写文本，必须保留语言切换点、稀有词拼写和人名实体。难点在于语言在句内快速切换，声学和语言模型容易在边界处混淆，而英文稀有词在训练中出现次数少，更容易被常见词替代。
论文把整体质量用混合错误率来衡量，它把中文部分按字错误率、英文部分按词错误率结合起来；同时用只在热词片段上统计的偏置类指标来单独看清单词是否被救回。读者需要先建立这个概念：整体指标看切换是否连贯，偏置指标看给定清单是否起作用，两者方向都是越低越好，适用条件是评测集为 ASRU2019 混读测试集且每句配有含干扰词的热词表。
语码切换 × 混合错误率 × 热词偏置： 语码切换指一句话内中英文交替出现；混合错误率是把中文按字算错、英文按词算错拼成一个总指标，用来衡量这种交替语音的整体转写质量；热词偏置指提前给系统一份本句可能出现的稀有词或人名清单，让解码更倾向于认出它们，三者组合的意义是既看整体切换是否连贯，也单独看清单里的词是否被挽救。
已有路线为什么没有同时做好语言区分和热词利用
原文回顾了两条路线。第一条是混读语音识别自身的语言区分路线，包括用两个独立预训练编码器分别处理英文和普通话的双编码器结构，用混合专家适配器做动态专家分工学习语言相关表示，以及在解码前把帧级或词级的语言后验融合进声学表示，还有把语音和生成的混读文本嵌入对齐到共享空间的跨模态学习。这些做法的输入、目标和运行阶段都是在声学和语言建模内部减少跨语言干扰，没有在解码时显式利用外部热词清单。
第二条是上下文偏置路线，在大模型之前多是把热词嵌入与声学表示在编码器内、编码器后或解码器前融合；引入大模型后则是把热词或其嵌入与声学表示一起做提示，一种是先产生初版转写再检索语义相近热词做修正，另一种是用对比学习对齐声学和热词嵌入空间再用近邻检索给大模型提供条件。
原文指出这些偏置方法多为单语语音识别设计，没有充分利用大模型做多语言自适应偏置，而少数尝试把偏置引入混读识别的工作也没有发挥大模型的自适应多语言偏置能力。因此论文的定位不是重复语言区分或单语偏置，而是在同一框架内同时做语言分工和大模型引导的热词偏置，比较时要注意输入、监督和运行阶段相同才能谈胜负，跨类别差异不能直接当成同条件优劣。
论文把任务具体化成什么输入和输出
论文把一次识别定义为给定声谱图 X 和热词集合 H，预测目标转写序列。声谱图是梅尔频带数乘时间帧数的矩阵，热词集合包含若干热词和一个表示无需偏置的特殊符号。训练时还能看到标准转写文本，推理时只能看到语音和热词表，需要输出混有汉字和英文的词序列。热词表在训练时按一定概率随机采样 1 到 4 个词构成，在评测时按测试集英文词全选加用中文分词工具抽取中文命名实体的方式构成，每句再配 15 个干扰词。
也就是说系统必须在清单含噪声的条件下，既不漏掉真热词，也不被干扰词带偏。论文报告的最强结论都限定在这个 15 干扰词评测协议下，换了干扰词数量或热词构造方式，数字会变化，不能直接推广。举例来说，如果某句话真正出现的英文词是清单中的两个词，评测清单还会再塞入 15 个无关词，系统要在这种含噪清单下解码，这就是后文所有偏置指标的测量前提。
整体流程如何从语音和热词表得到转写
整体流程可以沿一个样本走一遍。语音先进入可微调的 Whisper 编码器得到声学特征，再经过混合专家适配器变成与大模型同维的语音嵌入；热词表先经冻结的大模型分词器分词，再经大模型文本编码器变成热词嵌入；训练时的标准转写也同样分词编码成目标文本嵌入。大模型本身用低秩适配微调，输入按语音嵌入、热词开始标记、热词嵌入、转写开始标记、目标文本嵌入、结束标记的顺序拼接，输出隐状态经词表投影做逐词预测，同时接一个辅助语言预测头做语言分类。训练用的转写文本编码分支和辅助语言头在推理时去掉，推理只保留语音分支、热词分支和大模型解码。
下面这张论文图 1 左侧为包含语音、热词、转写 3 路的总体框架，右侧为混合专家适配器内部结构，适合对照输入经过哪些可训练与冻结模块一起理解主路径与训练专用分支。
看图路径： 1. 先沿左下语音经 Whisper 编码器到混合专家适配器再到大模型的主路径看输入到输出；2. 再看中间热词表经分词器和文本编码器形成热词嵌入的位置；3. 对照右图路由根据声学特征算门控权重分发给各专家的箭头
论文图 1。原论文 Figure 1:：“The framework of the proposed large language model-guided hotword biasing method and MoE adaptor.”。
从图中可以看到，左下语音经 Whisper 编码器和混合专家适配器得到语音嵌入后送入上方的大模型；中间热词表经分词器和文本编码器得到热词嵌入后同样送入大模型；右侧转写文本分支用虚线红框标出，说明只在训练时参与；上方辅助语言头从大模型输出隐状态引出，输出投影层同时受转写损失和偏置损失监督；右半部分显示声学特征进入路由器算门控权重，分发给多个前馈专家后再经聚合得到最终语音嵌入。图例区分了分词器冻结、大模型低秩微调、编码器和适配器可训练的分工，火焰与雪花标记分别对应可训练与冻结参数。
混合专家适配器怎样做语言分工变换
混合专家适配器的作用是把 Whisper 编码器的声学特征变换到大模型需要的维度，同时让不同专家侧重不同语言。输入是声学特征 S，路由器先对 S 算门控，未被选中的专家经 Top-K 截断后置零，剩余权重经归一化得到每个时刻的门控权重；被选中的专家各自用前馈网络独立处理 S，再按门控权重加权求和得到中间表示，最后再经一层前馈加层归一化得到语音嵌入。原文实现是两专家且 Top-2 全选，即稠密激活，Whisper-medium 输出的 1024 维经适配器投到 2560 维以匹配所用大模型的输入空间。需要强调的是路由本身没有显式语言标签监督，分工是靠后续语言损失经共享表示反向传播间接推动的，不是路由器直接分类语言。
Whisper 编码器 × 混合专家适配器 × Qwen3-4B： Whisper 编码器负责把声谱图变成声学特征；混合专家适配器是接在编码器后的路由加多专家前馈结构，负责把声学特征按语言特点分工变换到与大模型同维的语音嵌入；Qwen3-4B 是负责读入语音嵌入和热词嵌入并逐词预测转写的大语言模型，三者分工是声学提取、语言分工变换、语言模型解码，组合后让语音表示先分语言再统一解码。
\[g_{t}=\text{Softmax}(\text{Top-K}(\text{Router}(S),k))\]上式说明门控权重来自路由器输出经 Top-K 选择再归一化，k 决定每次激活几个专家，论文自选配置是 2 选 2。
\[h_{\text{moe}}=\sum_{i\in\mathcal{K}}g_{t,i}\,\text{FFN}_{i}(S)\]上式说明中间表示是被选专家输出的加权和，权重即上式的门控值，之后再经聚合块得到最终语音嵌入。这种结构提供的容量是可以随专家数扩展而不必同比例增加计算，但在只有普通话和英语的双语任务中，过多专家反而增加优化难度，这是后文消融要验证的。
辅助语言头和热词偏置损失各自监督什么
辅助语言预测头接在大模型输出隐状态上，把每个输出位置的隐向量经前馈加层归一化再归一化成语言分布，类别是普通话、英文和其他 3 类，训练用交叉熵。它鼓励融合后的嵌入保留语言可分线索，从而经反向传播让门控更倾向于按语言分专家；由于注入的热词横跨中英两语，偏置目标与语言监督会相互加强专家向语言对齐模式分化，但原文也说明这种分化是隐式出现的，不是硬性指定某个专家只处理某语言。
热词偏置损失只对目标序列中属于热词的位置求负对数后验概率之和，相当于告诉模型在这些位置更优先考虑清单相关词，而非热词区域仍按常规建模。两者与常规转写交叉熵一起构成多目标，常规损失保整体正确，偏置损失保热词召回，语言损失保语言可分。
辅助语言预测头 × 偏置损失 × 转写损失： 转写损失是对目标转写词做常规交叉熵，保证每个位置预测正确；偏置损失只对目标中属于热词的位置累加负对数概率，专门加强热词位置的监督；辅助语言预测头是对大模型隐状态再做普通话、英文、其他的三分语言分类的交叉熵，提供显式语言监督，三者加权求和后同时兼顾认得对、热词优先和语言可分。
\[\mathcal{L}_{Bias}=-\sum_{t\in\mathcal{H}}\log p(y_{t}|X,H)\]上式中条件包含语音和热词集，求和范围仅限热词对应词位置，加大该项权重会加强热词监督，但也可能轻微拉低中文字符精度，这是后文权重折中要讨论的。
训练时三项损失如何加权与采样
训练目标是三项加权求和，总损失等于转写损失加偏置损失乘 λ1 再加语言损失乘 λ2，论文最终取 λ1 为 0.6、λ2 为 0.3。优化用 AdamW 加三角学习率，一轮 47040 步，共训练两轮 94080 步，峰值学习率为 1.5×10 的负 4 次方。每批中每条语音有 50% 概率被选做偏置，从中随机采样 1 到 4 个词组成热词表，这种随机采样让模型见到不同规模和内容的清单，避免只记住固定热词。数据上有两种配置：只用 200 小时 ASRU2019 混读训练集，或用约 2200 小时的三数据集联合训练，包括 1000 小时普通话 AISHELL-2、960 小时英语 LibriSpeech 和 200 小时混读数据，训练在 8 张 MLU590 上完成。需要保留的关键超参数是两专家 Top-2、1024 到 2560 维投影、语言头输出 3 维、偏置采样概率和损失权重，复现时缺任何一项都可能改变中英文精度的平衡。
\[\mathcal{L}=\mathcal{L}_{ASR}+\lambda_{1}\mathcal{L}_{Bias}+\lambda_{2}\mathcal{L}_{Lan}\]上式是总训练目标，λ1 控制热词强调程度，λ2 控制语言监督强度，原文通过消融选择在整体混合错误率略高一点但中英文更均衡的 0.6，而不是混合错误率最低的 0.1。
数据热词表和指标如何搭建比较条件
评测统一在 ASRU2019 混读测试集上进行，训练配置不同但评测集相同，保证比较的是训练规模和模块的作用。热词表构造是每句 15 个干扰词的协议：测试集英文词全选，中文命名实体用中文分词工具抽取，再配干扰词。基线是 Whisper-medium 编码器加线性投影加冻结 Qwen3-4B 大模型，在此之上逐个加混合专家适配器、辅助语言头、热词提示，最后三者全加即完整方法。
指标包括整体混合错误率、中文字符错误率、英文词错误率，以及只在热词片段统计的偏置版混合错误率、偏置字符错误率和偏置词错误率，所有指标都是百分比且越低越好。原文明确因训练数据规模和模型容量差异，不与先前工作直接比较，以保证公平，这意味着论文的数字只能在自设基线和变体之间解读，不能当成跨论文排行榜。
热词提示 × 干扰词 × B-MER： 热词提示指把热词表经分词和文本编码后与语音嵌入一起送入大模型的做法；干扰词指评测时每句除真正出现的热词外额外加入的 15 个无关词，用来模拟真实清单有噪声的情况；B-MER 是只在热词对应片段上算的混合错误率，用来衡量偏置是否真的落在清单词上，三者组合说明偏置是在有干扰的条件下被检验的。
完整方法在大小训练规模下带来什么改进
要回答的问题是，在相同评测协议下逐个加入适配器、语言头、热词提示以及三者组合，相对基线能把整体和热词指标降多少，以及结论是否依赖大数据。公平条件是同一测试集、同一 15 干扰词清单、同一基线结构，指标方向均为越低越好。下面先看原表选取的多数据集训练下基线与完整方法的整体与热词指标对比。
| Method | MER | B-MER | WER | B-WER |
|---|---|---|---|---|
| Base Model (baseline) | 7.34 | 22.11 | 26.05 | 22.90 |
| + Hotword Prompt | 6.41 | 9.52 | 14.07 | 11.65 |
| + MoE + LH + HP (LLM-HB) | 5.85 | 8.99 | 13.21 | 10.93 |
原表显示，完整方法在 2200 小时联合训练下偏置混合错误率、偏置词错误率大幅低于基线，而整体混合错误率也同步下降，说明热词提示是最大单项来源，适配器在大规模数据下才由小数据下的轻微负作用转为正贡献。在仅 200 小时混读训练时，完整方法混合错误率为 7.36%，相对基线 9.59% 仍有提升，但单独加适配器时混合错误率从 9.59% 微升到 9.65%，说明小数据下额外参数难优化，需要语言监督和偏置信号联合才显现互补好处。这些改进都绑定 15 干扰词和自建热词抽取方式，干扰词更多或热词表更大时是否保持，原文未评测。
下面这组整理用原文连续句子核对最强结果的数值写法，条件限定为多数据集联合训练加 15 干扰词，指标越低越好，重点确认混合错误率、字符错误率和词错误率的相对降幅。
| 条件 | 指标 | 本方法结果 | 相对基线变化 | 评价对象 |
|---|---|---|---|---|
| 多数据集联合训练，15 干扰词 | 混合错误率 | 5.85% MER | 20.30% 相对下降 | 整体转写 |
| 多数据集联合训练，15 干扰词 | 字符错误率 | 4.94% CER | 1.98% 相对下降 | 中文字符 |
| 多数据集联合训练，15 干扰词 | 词错误率 | 13.21% WER | 49.29% 相对下降 | 英文单词 |
上表数字均来自原文摘要与实验段的连续表述，基线指 Whisper 编码器加线性投影加冻结大模型的自设基线，不是外部公开系统的最优值，不能当成部署时相对任何系统的提升。偏置指标与整体指标差距在大规模训练下缩小，提示对表内外词的泛化改善，但原文未给出显著性检验。未胜出的一项是小数据下单独适配器反而变差，以及仅加语言头时整体提升有限，说明容量需要足够数据和显式监督才能兑现。
专家数量与偏置权重如何影响中英文平衡
第一个消融问题是混合专家用几个专家、每次激活几个最合适，条件是 2200 小时联合训练且保持参数量可比。原表比较了 4 选 4、4 选 2、2 选 2、2 选 1 和 1 选 1，2 选 2 取得 7.19% 混合错误率最优，略好于 2 选 1 的 7.21% 和单专家的 7.23%，而 4 选 2 的 7.47% 反而更差。原文的解释是双语任务中两个专家已足以刻画中英声学语音差异，更多专家引入不必要的复杂度和优化难度；稠密 Top-2 略优于稀疏 Top-1，但差距很小，不能夸大为稀疏一定不行。
第二个消融是在主干加单语热词提示的配置下，把偏置权重从 0.0 扫到 1.0，最低混合错误率 7.48% 出现在 0.1 处，而 0.6 处混合错误率为 7.50% 仅略高，但字符错误率 6.14% 与词错误率 18.62% 比 0.1 处的 5.95% 与 20.08% 更均衡。增大权重会加强热词监督，轻微拉高中文字符错误但改善英文词错误，最终全文完整模型取 0.6 是为了跨语言均衡，而非追求单点最低混合错误率。
字符错误率 × 词错误率 × 专家路由： 字符错误率针对中文按字统计，词错误率针对英文按词统计；专家路由指混合专家中按输入算门控权重并选前 K 个专家加权求和的机制，消融中比较不同专家数和选 1 还是选 2 时，中文和英文指标走向不同，正好揭示路由容量与双语分工的关系，组合起来解释为何偏置权重需要在中英文之间折中。
偏置权重曲线呈现怎样的折中
下面这张论文图 2 横轴为偏置权重 λ1 从 0.0 到 1.0，左轴为混合错误率和字符错误率，右轴为词错误率，适合观察权重折中如何改变中英文平衡，曲线含义要结合指标越低越好来判断。
看图路径： 1. 先确认横轴是偏置损失权重 λ1 从 0.0 到 1.0，左纵轴是混合错误率和字符错误率，右纵轴是词错误率；2. 比较红色混合错误率在 0.1 处最低而绿色字符错误率随权重上升的趋势；3. 观察黄色词错误率从 0.0 到 0.7 大幅下降的走向
论文图 2。原论文 Figure 2:：“Performance of backbone + hotword prompt models with different \lambda_1 using MER, CER and WER.”。
从图中可以看到，红色混合错误率在 0.1 附近最低，之后先升后降再升，总体波动不大；绿色字符错误率随权重增大呈缓慢上升；黄色词错误率从 0 权重时的高位快速下降，到 0.7 后趋平。这支持原文说法：小权重已能改善整体，继续增大主要是在中英文之间重新分配误差，而不是无代价地同时降低两者。该扫描只在主干加单热词提示配置和混读训练集上做，换到完整三模块或大数据时最优点可能偏移，不能把 0.1 或 0.6 当成通用最优，也没有报告多次随机种子的方差。
结论在什么条件下才成立
论文直接报告的是在自建 15 干扰词热词表、ASRU2019 混读测试集、自设 Whisper 加 Qwen 基线上的相对改进，最强数字 5.85% 混合错误率、4.94% 字符错误率、13.21% 词错误率都绑定这些条件。证据支持的解释是热词提示带来最大单项增益，语言头提供结构性引导，适配器在大规模数据下才显现互补作用；但缺证据不等于技术有错，只是不能把相关当成因果，例如专家分化是经反向传播隐式出现的，原文没有给出专家与语言的定量对应统计。
未测量的是推理延迟、计算开销、输出帧率和实际部署成本，训练用了约 2200 小时语音和 8 卡，推理开销未报告，因此不能承诺更快或更便宜。容易误解的是把 20.30% 相对下降当成绝对 20 个百分点，实际上是从 7.34% 到 5.85%，绝对下降约 1.49 个百分点；把搜索选出的权重 0.6 当成通用最优，实际上它是在特定配置下为平衡中英文而选的折中；把热词表公开当成系统开源，实际上公开的是词表，代码和权重是否可下载原文未说明，要分开看。
复现第一步要准备什么数据与代码条件
复现值得尝试的时机是已有中英混读数据且能提前获得热词清单，例如会议、客服或带有人名的朗读，清单含噪声但每句可配干扰词时最接近原文条件。第一步是按原文重建评测协议：取 ASRU2019 混读测试集，英文词全取、中文命名实体用同样中文分词工具抽取，每句配 15 个干扰词，并固定随机种子以保证清单可比；同时准备 Whisper-medium 做语音编码器、Qwen3-4B 做大模型骨干，适配器设为两专家 Top-2、1024 到 2560 维投影，语言头输出 3 维，损失权重取 0.6 和 0.3，训练采样概率 50% 且每句 1 到 4 个热词。
还需要补的验证是换干扰词数量、换更大热词表、统计近音词误判率，以及多次种子下的方差和显著性；若只有 200 小时混读数据，要预期单独适配器可能无增益，需联合语言监督和热词提示一起训练。来源方面，热词表链接、中文分词工具和 Whisper 在原文脚注中给出且本次可达，但这只证明论文提到这些链接，不证明作者已开源全部代码，代码开源、权重可下载、系统可运行要分别确认。
什么时候值得尝试以及还需要补哪项验证
综合来看，当任务是一句内中英交替且稀有词和人名重要、又能提前拿到含噪声热词表时，这个组合值得尝试：先用混合专家适配器给语音表示留出语言分工容量，再用辅助语言头让融合表示保留语言可分线索，最后用热词提示把清单信息送入大模型解码，三者加权训练后在原文条件下同时改善整体和热词指标。
复现时先从评测协议和基线对齐做起，保留关键超参数和信息条件，再做小数据与大数据两档对照，避免把大数据下的专家增益直接推广到小数据。还需要补的验证是更大词表下的可扩展性、近音词的区分能力、不同干扰词数量下的鲁棒性，以及训练与推理成本的实测。只有补上这些，才能知道 5.85% 这个数字在自己的清单规模和数据量下是否还能成立，而不是把它当成所有混读场景的通用提升。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses