英文题目：Learning New Words from Unlabeled Test Data in Automatic Speech Recognition
标签：#语音识别 | #测试时自适应 | #无监督学习 | #语音 | #大语言模型
评分：6.0/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Mengqi Wang：机构信息未在 arXiv HTML 中可靠披露
- Mark A. Hasegawa-Johnson：机构信息未在 arXiv HTML 中可靠披露
- Haolong Zheng：机构信息未在 arXiv HTML 中可靠披露
- Chang D. Yoo：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
输入为无标注测试语音，输出为包含从未见过的新词的转写文本，难点在于拼写与发音均未知且缺乏语言模型（Language Model，LM）上下文支撑时难以与声学证据联合决策。该方法先用冻结声学模型生成 N 最佳假设并与语言模型偏好做失配打分以定位疑似域，再从对齐后的候选拼写中初始化新词符的均匀拼写分布与嵌入表示，接着仅微调新词符的输入嵌入与输出权重以最小化边际分布的 KL 散度，最后通过占位符注册表在复现时检索复用并联合更新声学与上下文证据。与提供拼写表的上下文偏置方法不同，该工作完全从测试语音估计词义表示与拼写分布，实现了增量词表学习。在 LibriSpeech test-other 频发新词子集上，相对浅融合基线的新词字符错误率降低 14.97%，构音障碍 SAP 开发集新词子集上相对降低 6.67%。该结论仅适用于复现至少两次的新词，对单次出现词与 CTC 高置信误识情形基本无效，且首现候选质量决定后续复用上限。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
新词为什么是语音识别的硬伤？
输入是连续语音波形，目标是输出词序列。现代系统通常分两路工作：一路是声学模型把语音变成字符或子词证据，另一路是语言模型判断词序列在上下文中是否合理。当测试句里出现训练时从未见过的词，新词的发音和拼写都未知，语言模型会给它很低的分数，于是解码器倾向于把它替换成发音相近的已知词。例如人名、药名、新造词都容易被听错。
本文把这类词称为词汇表外词，目标是在测试时不给词表、不给拼写、不给发音，只用未标注的测试语音本身学会它。需要保留的关键信息是：声学模型和语言模型在推理时都冻结，只有新增词条的参数可学；学习只针对在测试数据中重复出现的新词，出现 1 次的词无法从后续证据中受益。输出是更新后的转写和可复用的新词条，包括它的上下文向量和拼写分布。
已有路线为什么不直接适用？
同输入同目标的一类工作是上下文偏置和检索增强：事先给出新词拼写表，让解码偏向这些词，或把词表作为提示喂给语音大模型。这类方法假设拼写已知，只解决发音未知，本文明确不给任何候选表，因此不能直接套用。同监督条件下的另一类工作是用音素到字形转换先猜拼写，再并入词典和 N 元语言模型打分，或用词典特征扩展循环语言模型词表。它们多为 1 次性构造，缺少在测试流中跨句子积累证据的机制。
本文的运行阶段也不同：它是测试时适配，在解码测试句的过程中检测、建词、微调、再重识，而不是训练前 1 次性扩大词表。教学例子：好比考试时不发新词表，学生只能在阅读题里第 1 次猜出生词含义，第二次再遇到时用上，这与开卷带词典是两种任务。
任务输入输出与评测口径是什么？
形式化输入是一段语音特征序列到语言模型词符序列的映射。声学侧先产生字符序列，再经压缩函数映射为词符序列，训练目标是该映射下所有字符路径的对数似然。测试时新词检测的触发条件是：在某个语音片段上，既找不到声学分数高、语言模型分数也高的已知词符，说明两路证据对不上。输出要求给出该片段的拼写和该新词在上下文中的表示，以便下次再遇到能直接识别。评测分整体词错率、整体字错率和只算新词跨度的新词字符错率 3 个口径。
原文把词汇表外词定义为出现在评测集但缺席于声学模型所有有监督训练集的词，且只报告出现超过 1 次的新词及其所在句子，因为只有重复出现才能让第 1 次学到的占位符在第二次被复用和验证。
系统沿一个句子走完是什么样子？
以图注中取药名句子为例，输入语音先经 HuBERT-XLarge 产生帧级声学 logits，再经 CTC 束搜索得到 N-best 假设。系统以 1-best 为锚，把其他假设对齐到每个词跨度，收集声学上合理的候选写法。然后用当前语言模型在左右上下文中给每个候选打分，找出声学最喜欢的和语言模型最喜欢的不一致的跨度，失配分最高的跨度被选为疑似新词位置。接着从对齐后的 CTC 束中抽出前 K 个拼写，用均匀分布初始化一个占位符词符。
如果是首次出现，就把它加入适配模块词表并在当前上下文中微调，同时把该句缓存，待后续证据多了再回放修正；如果是已有占位符能检索到，就比较替换前后的上下文分与声学证据，决定是否复用并继续更新拼写分布。下段导读图 1 的完整流水线，重点看分支如何汇合为最终转写。
流水线导读与复述
下面这张图是全文唯一有像素证据的系统总览，建议按编号 1 到 7 的顺序阅读，它把检测、建词、适配、复用两条路径画在同一张图上，左侧是声学与语言模型分歧检测，中间是候选拼写与占位符初始化，右侧上下分别是首次学习与再次复用，顶部缓存负责延迟修正。
看图路径： 1. 从左下输入语音框沿黑色箭头走到 CTC N-best 框，确认三个候选只在中间词不同；2. 看中间紫色检测框内语言模型最优词与声学最优词如何错开并形成失配分；3. 对比右侧黄色初始化框 0.33 均匀分布与右上适配后 0.5/0.3/0.2 分布的变化；4. 跟踪底部复用分支已学占位符如何直接输出最终转写并回写分布
论文图 1。原论文 Figure 1:：“Overview of proposed test-time adaptation framework.”。
图中最值得复述的是三处像素细节。左下输入框写明真实文本是包含药名的句子，而 CTC N-best 框给出 3 种中间词写法，红色框标出声学最优，虚线框标出语言模型最优，两者错开即触发失配。中间黄色框显示新占位符初始 3 个拼写各占 0.33，右上绿色适配框显示学完后分布变为 0.5、0.3、0.2，说明无监督目标确实把概率质量推向了反复被声学和上下文同时支持的写法。右下复用分支显示已学占位符直接输出红色高亮的最终词，并把新证据回写数据库。缓存到中间候选框的蓝色虚线表示首次假设暂不固化，避免自我偏置。
失配分与占位符机制如何配合？
失配分由两项组成：声学差距是声学最优候选与语言模型最优候选在 CTC 分数上的差，语言模型差距是两者在上下文中的对数概率差再乘权重。两项都大，说明声学很确信 A 而语言模型很确信 B，分歧不可用已知词调和，最适合建新词。每轮只选全句失配分最高的跨度，避免 1 次引入多个不可靠新词。候选拼写来自重对齐后的 CTC 束，取前 K 个，原文报告用 K 等于 5。新词符的拼写模型初始化为均匀分布，即每个候选各占五分之一。为防止同一新词被重复建模，系统用归一化编辑距离做去重：新占位符与已有占位符的候选拼写两两比较，最小距离低于阈值就视为同一词而复用旧条目。
连接时序分类 × 浅融合： 连接时序分类负责把语音帧映射为字符级声学证据并给出 N-best 拼写候选，浅融合负责把语言模型分数与声学分数相加做重打分，二者搭配的理由是声学强则拼写可信、语言模型强则上下文可信，mismatch score 正是量化两者在同一词跨度上偏好分歧的量，组合意义是只在声学坚持一个写法而语言模型坚持另一个写法时才触发新词学习。
占位符一旦建立，就拥有独立的输入嵌入、输出权重和拼写分布。复用判决用本地分数同时看上下文提升和声学提升，只有两者都改善且加权和大于零才替换原词，避免只靠语言模型幻觉改写。
占位符词符 × 拼写模型： 占位符词符是为疑似新词在语言模型词表中临时增加的可学习词条，只含输入嵌入和输出权重，拼写模型是该词条对应哪些字符串的概率分布，二者搭配的原因是语言模型需要词符才能参与上下文建模，而声学需要拼写才能算分，组合后新词既能被语言模型打分又能被声学验证。
\[f(\mathbf{x},\mathbf{y})=\log p(\mathbf{y})+\log\sum_{\mathbf{c}\in\mathcal{B}^{-1}(\mathbf{y})}p(\mathbf{c}|\mathbf{x})+\gamma L,\]\[\log p(\mathbf{y}|\mathbf{x})=\log\left[p(\mathbf{y})\sum_{\mathbf{c}\in\mathcal{B}^{-1}(\mathbf{y})}p(\mathbf{c}|\mathbf{y})\frac{p(\mathbf{c}|\mathbf{x})}{p(\mathbf{c})}\right].\]上两式先讲清浅融合与显式拼写模型的关系：前者是后者在所有合法拼写条件概率与边缘概率成比例假设下的特例，本文正是要打破该假设，为新词显式估计拼写条件分布。
无标注时到底在优化什么？冻结什么？
本研究没有训练声学模型和语言模型主干，两者全程冻结。唯一可学习的是新增占位符的输入嵌入、输出 softmax 权重和拼写分布。监督来源不是人工转写，而是冻结 CTC 给出的字符后验与冻结语言模型给出的上下文分数，二者通过边缘分布匹配构成自监督信号。具体做法是最小化声学边缘分布与模型边缘分布之间的散度，声学边缘用测试集上的平均 CTC 后验估计。
首次出现时在当前句上微调，复用时用 100 步梯度下降继续纳入新证据，缓存句在占位符积累更多证据后会被重打分。需要指出的缺项是原文未报告优化器类型、学习率和每步耗时，也未说明占位符注册表何时清空或重置，跨长测试流的内存增长条件未交代。
语言模型 × 适配模块： 语言模型是冻结的已知词上下文打分器，适配模块是从同一语言模型复制出来但允许扩展词表的可学习副本，分工是前者保持原有知识不被破坏，后者只更新新词符参数，搭配理由是在无标注测试数据上避免灾难性遗忘，组合意义是已知词用原模型，新词用适配后模型参与重打分。
\[\displaystyle D(p(\mathbf{c})\|q(\mathbf{c}))=-\sum_{\mathbf{c}}p(\mathbf{c})\log\left(\frac{q(\mathbf{c})}{p(\mathbf{c})}\right)\]\[\displaystyle\sqrt{2D(p\|q)}\geq\sum_{\mathbf{c}}|p(\mathbf{c})-q(\mathbf{c})|.\]上两式是理论核心：前者是待最小化的散度定义，后者是 Pinsker 界，说明散度的平方根是总变差距离的上界。两者都是关于模型分布的凸函数，最小值都在模型分布等于声学分布处取得，因此散度趋零能保证每个字符串上的拼写概率逐点收敛。
Kullback-Leibler 散度 × 总变差距离： Kullback-Leibler 散度是本文优化新词拼写分布的训练目标，用声学边缘分布逼近模型边缘分布，总变差距离是拼写分布逐字差异绝对和，搭配理由是前者可微可优化、后者直接对应拼写错误程度，Pinsker 界把两者连起来，组合意义是散度降到零就能保证拼写分布逐点收敛到真分布。
数据、模型与基线条件如何对齐？
声学模型统一用 HuBERT-XLarge-LS960-FT 的 CTC 模型，提供帧级表示和 CTC 解码接口。语言模型对比 3 种：GPT-2、Qwen-3-0.6B-Base 和 Gemma-3-270M，选择理由是语言建模能力较强且计算开销适中，更重要的是都支持在嵌入层和输出层直接扩词表。每个语言模型配一个同架构的适配模块副本，负责动态扩词。数据分两类：LibriSpeech 只用 test-clean 和 test-other 做评测，因为声学模型已在其训练集上微调过；构音障碍的语音无障碍项目数据用约 740 小时训练集微调声学模型，在开发集上评测。
基线是先 CTC 解码再用各语言模型做浅融合重打分，本文方法是在同一重打分系统上加适配器，保证比较的是同一声学输出上的增量。超参数在频繁新词子集的开发集上调好后冻结，再用于对应测试集。只评测重复出现的新词所在句子，LibriSpeech 满足条件的句子在干净集和难集上分别为百量级，语音无障碍开发集上识别出 900 余句，其中 200 句调参、剩余 700 余句评测，具体数字见结果前的条件整理表。
复现前必须锁定的条件表
下表把可复现的关键运行条件收拢到一处，重点是候选数、更新步数与数据规模，比较时必须保持声学模型、语言模型主干和解码束一致，否则无法判断增益来自新词学习还是来自更强的基线。
| 条件 | 指标口径 | 基线配置 | 本文配置 | 比较对象 |
|---|---|---|---|---|
| 候选与更新 | 初始化候选数 | 冻结主干 | 前 5 个 CTC 拼写均匀初始化 | 同一语言模型 |
| 跨句积累 | 梯度步数 | 无占位符 | 复用时 100 步更新嵌入与拼写 | 同一测试流 |
| 声学数据 | 训练时长 | 通用模型 | 构音障碍训练约 740 小时微调 | 同一开发集 |
| 划分规模 | 句子数 | 调参保留 200 句 | 剩余 721 句评测 | 同一新词定义 |
| 重复约束 | 出现频次 | 单次不评 | 只评出现超过 1 次的新词句 | 同一子集 |
表后需要强调两点代价与边界。
第一，K 等于 5 意味着正确拼写若不在前 5 候选中，后续学习只能在错误集合内重新分配概率，这是原文讨论部分明确指出的瓶颈。第二，100 步更新只作用于新词符，若检测到的跨度本身不是真新词，更新会把错误拼写强化，因此检测精度直接决定复用是增益还是噪声。未胜出项是单次出现的新词按设计不回放修正，原文保守策略保留原假设，这部分无增益。
主结果：增益出现在哪里、稀释在哪里？
比较问题是：在同一声学输出和同一语言模型下，加适配器是否比 plain 重打分更准。公平条件是声学冻结、语言模型主干冻结、只在新词子集和全集分别报告词错率、字错率和新词字符错率，方向都是越低越好。下表用原文连续句可覆盖的顶层数字概括结论，更细的分系统数字因原表证据不可复用而不在此硬写，文字中只转述趋势并标明显著性口径。
| 数据集 | 评价子集 | 基线系统 | 本文适配系统 | 相对新词字符错降低 |
|---|---|---|---|---|
| LibriSpeech | 重复新词句 | 对应重打分系统 | 对应适配器系统 | 最高 14.97% |
| 语音无障碍项目数据 | 重复新词句 | 对应重打分系统 | 对应适配器系统 | 最高 6.67% |
| LibriSpeech | 全部测试集 | 强语言模型重打分 | 加适配器 | 稀释后仅边际增益 |
| 语音无障碍项目数据 | 新词子集 | HuBERT 基线 | 加语言模型与适配器 | 语言模型本身也有增益 |
| 划分 | LibriSpeech 子集规模 | 干净集 123 句 | 难集 135 句 | 仅重复新词句 |
表后解释必须同时讲收益与反例。
在新词子集上 3 个语言模型骨干都一致降低词错率、字错率和新词字符错率，LibriSpeech 难集上降幅最大并经 NIST 工具检验达到高显著，构音障碍数据上语言模型本身已带来明显改善，适配器再给出小而显著的额外降低。在全量测试集上增益被稀释得很小，干净集上某骨干甚至无提升，因为新词只占全集很小比例。未胜出项是 plain 重打分在部分子集上反而比纯 CTC 差，说明语言模型在没有新词条时会把新词压向已知词，而适配器正是修复这一压制。
字错率 × 新词字符错率： 字错率统计全句词级别错误，新词字符错率只统计目标新词跨度内的字符级错误，分工是前者看整体可用性、后者看新词学习本身是否成功，搭配原因是新词在全句占比小，全句指标会稀释改进，组合看才能同时判断没有损害整体且确实学会了新词。
哪些因素决定成败？失败长什么样？
原文没有标准消融表，但讨论部分给出了两类失败条件，可视为定性消融。第一类是检测失败：声学模糊片段或罕见已知词会混淆失配分，导致系统对准了错误跨度并为其建词；若 CTC 对新词跨度自信地错认，则根本没有分歧，适配不会被触发。第二类是拼写候选失败：即使定位正确，若正确拼写不在首次出现的 Top-K 候选中，占位符的初始集合就是错的，后续复用会在错误集合内越学越偏。
策略上的保守性也值得复述：首次出现的句子先缓存不立即改写，只有当后续出现更新了占位符才回放修正，这降低了自我偏置，但代价是单例新词全程无收益。复现时应先检查这两处：可视化失配分最高的跨度是否为真新词，再检查 Top-K 召回率，两者任一低都不要期待最终错率下降。
边界、成本缺项与不能承诺的事
已验证的边界是只对重复新词有效，单次新词、首现即改写、跨说话人发音大变等情况未评测。未测量的量包括误检率、延迟、内存和计算开销，原文未报告 100 步更新的耗时和缓存回放的额外解码成本，因此不能承诺该方法改善实时性或部署成本。训练资源方面，构音障碍实验用了约 740 小时数据微调声学模型，但该微调与测试时适配是两回事，前者是有监督，后者是无监督，不能混为一谈。
总体趋势不等于每组都成立：全集上增益微弱，个别骨干在干净集上零增益，说明方法价值集中在新词密集或声学退化的场景。相关性不等于因果，散度下降保证分布逼近，但不保证每次复用都选对拼写，还需 Top-K 包含真值这一前提。
复现先做什么、用什么核对？
先锁定信息条件：不提供目标新词身份、拼写和候选表，测试语音无标注，声学与语言模型主干冻结，只有新增词条可学。第一步复现 CTC N-best 生成与对齐：用同一 HuBERT-CTC 模型对每句做束搜索，以 1-best 为锚对齐其余假设，抽词跨度候选。第二步复现失配分排序与 Top-5 初始化，检查归一化编辑距离去重阈值。第 3 步复现适配循环：首次建词微调当前句并缓存，复用时用本地分数判决替换，再做 100 步梯度更新，最后对缓存句回放重打分。
核对点是新词子集划分必须与原文一致：缺席于声学所有有监督训练集且出现超过 1 次，LibriSpeech 干净与难集各百余句，语音无障碍开发集调参 200 句、评测 721 句。资源状态方面，本次未发现来源绑定且完成验证的开源代码、模型或数据链接，不得声称代码或权重已公开，复现需自行实现适配器并下载公开数据集与模型权重。
何时值得尝试、一句话收束
当你的系统已有一个强 CTC 声学模型和可扩词表的语言模型，且测试流中同一新词会反复出现，如特定人名、药名、领域术语，又不能事先给词表时，该测试时扩词思路值得尝试。先做小规模验证：统计 Top-5 拼写召回和失配检测精度，若两者都高再看新词字符错是否下降；若声学本身对新词自信错认或正确拼写长期不在候选中，应先改进声学或候选生成，而不是增加更新步数。还需补的验证是单例新词策略、长流注册表管理与延迟测量。
收束：该文把人类偶然学词抽象为检测分歧、建占位符、用边缘分布匹配学拼写与上下文 3 步，并在干净与退化语音上显示对重复新词稳定有效，但一切增益都以检测准和候选全为前提。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses