英文题目：Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
标签：#语音识别 | #模型融合 | #流式处理 | #高效推理
评分：7.7/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Warit Sirichotedumrong：Typhoon Team, SCB DataX, Bangkok, Thailand
- Tanawin Samutsin：Typhoon Team, SCB DataX, Bangkok, Thailand
- Shah Faisal Wani：Typhoon Team, SCB DataX, Bangkok, Thailand
- Sittipong Sripaisarnmongkol：Typhoon Team, SCB DataX, Bangkok, Thailand
- Kunat Pipatanakul：Typhoon Team, SCB DataX, Bangkok, Thailand
📌 核心摘要
开放泰语自动语音识别（Automatic Speech Recognition, ASR）长期被离线全上下文模型主导，需读入整句音频后转写，无法满足直播字幕与语音智能体的低延迟需求，且泰语无词空格、多书面形式并存使规范化与领域词汇控制更困难。本文构建可操控流式系统，方法链为缓存感知编码器将音频分块增量编码并跨块传递缓存，预测网络与联合网络逐帧提出候选词元，浅融合层用外部语言模型与短语增强树重排候选，最后贪心解码输出规范化泰语文本。与离线Whisper式自回归模型及强制流式化的全上下文基线相比，该设计用因果卷积与分块有限上下文注意力替代双向注意力，并把词汇控制推迟到解码时加权。在TVSpeech与GigaSpeech2-Thai评测中，0.6B流式模型在1040 ms前视下字符错误率（Character Error Rate, CER）为14.1%和9.3%，相对强制流式化全上下文基线的62.8%和39.8%实现约4.5倍和4.3倍下降，同时关键词召回率从16.6%提升至20.7%且CER基本不变。结论边界在于操控仅重排已有候选，声学模型未听出的声音无法找回，且关键词增益主要在代码切换集上验证。训练成本为115M模型在4卡H100上约8.6小时，0.6B模型两阶段共约71小时，推理在单卡H100上远快于实时且融合开销不足3%。
🔗 开源与复现资源
代码相关资源：https://warit-s.github.io/typhoon-asr-streaming/ — 链接可访问（HTTP 200）
模型相关资源：https://warit-s.github.io/typhoon-asr-streaming/ — 链接可访问（HTTP 200）
演示资源：https://warit-s.github.io/typhoon-asr-streaming/ — 链接可访问（HTTP 200）
复现相关资源：https://warit-s.github.io/typhoon-asr-streaming/ — 链接可访问（HTTP 200）
模型相关资源：https://huggingface.co/typhoon-ai/typhoon-asr-streaming-115m — 链接可访问（HTTP 200）
模型相关资源：https://huggingface.co/typhoon-ai/typhoon-asr-streaming-nemotron-0 — 链接不可用（HTTP 401）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么泰语直播不能直接用离线模型？
这篇论文的输入是连续泰语音频，输出是泰语文本，目标场景是直播字幕、语音助手和会议转写这类需要边听边写的低延迟任务。论文面对的起点是开放泰语识别长期被离线模型主导，这类模型要读完整个话语才开始转写，天然不满足低而可预测的延迟要求。作者自己此前的发布模型是一个被广泛使用的开放泰语检查点，论文报告它在线下精度可观，但在强制按真流式运行时字符错误率从 10% 量级上升到 60% 以上，在最低延迟下甚至不再输出有效结果。
泰语的另一个难点是书写不唯一。同一个 spoken 词可能对应多种 written 形式，论文点名的例子包括重复标记、数字和外来借词，因此训练与评测前必须把转写规范化为单一标准形式，否则字符错误率的比较就没有共同基准。生产系统还需要词汇控制能力，例如人名和领域词在声学训练中很少出现，但为每个客户重训并不现实。论文因此把两个缺口放在一个可部署系统里解决：先让全上下文模型真正可流式运行，再在解码时加入可引导词汇的外部打分。
读者需要保留的关键信息是任务边界。论文不是提出新的融合算法，而是把已知的浅融合做法打包进泰语流式系统并量化收益。后续所有方法、训练和评测都围绕这个边界展开：流式结构解决能不能边听边写，融合层解决写出的词形能不能被引导，评测则同时检查整体错误率、关键词召回和实时开销。
同类路线有哪些，本文站在哪条线上？
低延迟识别的一条成熟路线是循环神经网络换能器搭配快速卷积增强的变换器编码器，再用缓存感知的分块注意力实现流式。论文明确站在缓存感知这条线上，并量化全上下文变体被迫流式时会损失多少。另一条路线是离线自回归模型，例如以耳语模型为代表的多语言预训练模型，精度强但需要整句上下文，不适合本文的直播目标。
词汇定制方面，已有路线包括在解码时叠加外部语言模型分数的浅融合，以及对给定短语表做加分的上下文偏置。论文指出这些做法在英文生产系统中常用，但在开放泰语生态中缺乏开源实现、训练配方和系统性研究。作者的做法是直接取图形处理器上的元语法融合与短语增强实现，并把它们放进缓存感知的流式解码器内部运行，而不是只做离线解码。
这种对照决定了阅读方式。同输入同目标的比较应当是全上下文被迫流式与缓存感知真流式之间比，同运行阶段的比较应当是无融合基线与有融合策略之间比。跨类别的离线精度不能直接当作流式胜负，论文在画延迟权衡曲线时也正是把离线值单独说明而不混入流式曲线。
要解决的两个失败是什么，成功标准是什么？
第一个失败是结构性崩溃。全上下文编码器在整句注意力与非因果卷积下训练，一旦切成小块输入就失去未来上下文，论文观察到它在中等延迟下错误率大幅上升，在极小延迟下输出失效。成功标准是流式模型在从 80 毫秒到 3200 毫秒的前视范围内保持可用，并且在 1 秒左右前视下相对被迫流式的基线实现数倍的错误率下降，同时保持快于实时的速度。
第二个失败是写法不一致。声学模型有时能听出英文混读词的声音，但写成泰语转写或变体拼写，例如把一个完整英文词拆写，论文认为这是语言模型先验可以纠正的问题。成功标准是在整体字符错误率不上升的前提下提升关键词召回，并且额外计算开销可以忽略。论文还设置了一个不可部署的上界，即用测试参考文本训练的元语法模型，用来标记领域内语言模型仍可追赶的空间，而不是当作可发布收益。
两个标准各自对应独立的对照。结构对照比较同一音频在不同前视下的错误率，词汇对照比较同一流式基线在无融合、通用元语法、关键词合成元语法和短语增强下的召回与错误率。任何只谈召回提升而不谈错误率是否中性、只谈精度而不谈实时率的说法都不符合论文的成功定义。
系统让一个语音分块经历了什么？
从一个语音分块出发，论文的系统先让它进入缓存感知快速卷积增强变换器编码器，编码器带着上一个分块留下的缓存一起计算当前表示，因此每个分块的计算量保持恒定。声学表示随后进入联合网络，与预测网络给出的已输出词元状态汇合，产生下一个子词候选的声学分数。浅融合层在这一步介入，用图形处理器上的元语法语言模型和用户词表增强树对候选重排，最后用贪心取最大输出泰语文本，并把已输出词元回送给解码器状态与语言模型上下文。
下面导读对应论文的系统框图，阅读时先走主路径再看两个外部打分支在何处汇入。
看图路径： 1. 先从左侧音频框沿箭头走到缓存感知编码器，再走到联合网络与浅融合，最后到贪心取最大输出泰语文本；2. 观察编码器上方跨分块回环的缓存箭头，确认它是跨块传递状态而非每块重新计算；3. 对比上方两个紫色分支的汇入点，确认元语法模型与短语增强树都是在浅融合步骤叠加打分；4. 沿底部虚线回看已输出词元如何同时更新解码器状态与语言模型上下文
论文图 1。原论文 Fig. 1:：“System diagram. Audio enters the cache-aware encoder; the prediction network and joint produce candidate tokens; the n-gram language model and the boosting tree re-rank them at…”。
框图显示的正是上述顺序。左侧音频进入标注为因果的缓存感知编码器，上方回环明确表示跨分块传递状态。中间联合网络加 Softmax 输出候选，右侧紫色浅融合同时接收来自元语法语言模型与短语增强树的箭头，说明重排发生在贪心输出之前。底部虚线把已输出词元送回预测网络，同时更新语言模型上下文，这解释了为什么融合只重排模型已提出的候选，而不能凭空恢复模型从未产生过的声音。
编码器与融合层各自算什么，为什么放在一起？
编码器部分有两种来源。115M 模型从已发布的全上下文泰语实时模型出发，做法是不经训练直接换入因果卷积与分块有限上下文注意力并复制全部权重作为热启动，转换后模型自身几乎不输出，因此再在约 11,000 小时语料上短暂微调。0.6B 模型改编自英伟达的流式模型，其多语言分词器没有泰语子词只有字符，论文因此扩展接入泰语实时模型的多字符字节对编码分词，而不是替换原分词器，以保留其他语言可恢复，再增加数字微调阶段。
全上下文编码器 × 缓存感知编码器： 全上下文编码器负责在看到整句语音后用双向注意力达到最高离线精度，缓存感知编码器负责在只看到当前分块加有限历史时仍能逐块输出表示，二者搭配的原因是前者提供可迁移的声学权重起点，后者通过因果卷积、分块有限上下文注意力和跨分块缓存把计算改为每块恒定开销，组合意义是把一个离线可用的泰语模型转换为真正可部署的低延迟流式模型。
融合层的计算目标是每一步的综合分数。符号含义是声学换能器给出对数声学概率，外部元语法模型给出对数语言概率并按权重加权，短语增强树给出词表命中加分并按另一权重加权。论文使用四元文法并在子词词元上建模，权重在电视语音的开发半区上选为 0.5。
\[\mathrm{score}(y)=\log p_{\mathrm{AM}}(y\mid x)+\sum_{i}\alpha_{i}\log p_{\mathrm{LM},i}(y)+\beta\cdot\mathrm{boost}(y),\]公式的教学含义是加法重排。声学分数决定听到了什么，语言模型分数决定这样写是否常见，增强分数决定是否命中用户关心的词。三项相加后取最大只改变候选排序，不改变候选集合。
换能器解码器 × 浅融合： 换能器解码器负责由声学编码、预测网络和联合网络给出下一个子词的声学分数，浅融合负责在每一步把外部语言模型分数和词表增强分数加权叠加后重排候选，二者搭配的原因是声学模型能听出声音但对泰语多种写法拿不准，组合意义是在不重训声学模型的前提下用文本先验把候选推向规范写法并实现按用户词表引导。
通用先验与定向控制的分工需要单独理解，因为论文的主要洞察正在于此。通用元语法已经能纠正高频混读词，关键词合成与短语增强只对稀有词必要。
神经网络元语法语言模型 × 短语增强： 神经网络元语法语言模型负责在子词级别给出四元文法的通用先验，短语增强负责用一棵增强树对用户给定的 300 个英文混读词做有目标加分，前者分工是纠正高频科技与媒体词的不一致拼写，后者分工是对训练文本中少见的稀有领域词做点名控制，搭配原因是通用先验覆盖面广而词表控制精度高，组合后既能提升整体召回又保留对稀有词的可操控性。
数据如何规范化，两个模型各训练了什么？
训练语料沿用泰语实时模型技术报告的泰语语料与规范化规则，把重复标记、数字和借词等多种写法映射到单一书面形式。下表是论文给出的语料构成，阅读时注意主体是公开语音带来的声学多样性，小规模会话与朗读数据补充口语与朗读风格，极小规模合成语音专门补充数字规范化。
| Source | Focus | Hours | Utterances |
|---|---|---|---|
| GigaSpeech2 [14] | Acoustic diversity | 10,329.5 | 9,843,999 |
| Curated media | Conversational | 631.0 | 93,879 |
| Common Voice 17 [15] | Read speech | 35.4 | 31,312 |
| Synthetic TTS | Numeric norm. | 3.2 | 2,697 |
| Total | 10,999.1 | 9,971,887 |
上表说明总时长约 10999.1 小时、约 9,970,000 条话语，其中主体语料占 10329.5 小时与 9,840,000 条，其余三部分合计不足 700 小时。这种不均衡意味着声学覆盖主要来自大规模公开语音，而数字写法一致性需要靠小而专的数据与规范化规则来保证。复现时必须先复现同一规范化，否则错误率数字不可比。
2 个模型的训练动作不同，115M 是转换加短微调，0.6B 是 2 阶段适配加数字微调。下表把论文报告的优化设置整理为可对照的训练代价，列数按宽表要求展开为模型、数据、峰值学习率、批量与硬件、耗时五列。
表前问题是同样的约 11,000 小时语料下，热启动转换与从流式多语言模型适配各需要多少预算，公平条件是同语料与同混合精度训练栈，指标方向是耗时越少越好。
| 模型 | 训练数据 | 峰值学习率 | 批量与硬件 | 耗时 |
|---|---|---|---|---|
| 0.6B 流式第一阶段 | 同语料 1 次性泰语适配 | 3 乘 10 的负 4 次方峰值 | 有效批量 256，6 卡 | 约 68 小时 |
表后解释是 115M 路线便宜的原因在于复制全上下文权重做热启动，只需一轮微调恢复流式行为。0.6B 路线更贵的原因是从多语言流式模型做泰语适配，需要更大批量与更长时间，外加单独的数字微调。论文未报告优化器之外的梯度细节与冻结参数清单，因此复现时只能按报告的轮数、学习率、批量与硬件去执行，不能从模型名称推定哪些层被冻结。
在什么数据、延迟和指标下比较，结果才算公平？
评测使用泰语实时基准中的两个公开泰语测试集。电视语音集有 570 条经济与政治泰语，富含人名、数字与英文混读，通用集是 1000 条通用视频语音。论文用字符错误率做主指标，明确指出词错误率对无空格泰语没有意义，并在电视语音上统计英文混读词的关键词召回，因为预实验发现这是主要失败。效率侧同时报告实时率与首词元延迟。
所有系统走同一流式评测并携带编码器缓存跨分块，通过分块大小把前视从 80 毫秒扫到 3200 毫秒，一个编码器帧为 80 毫秒。融合权重的选择方法是把电视语音切成开发与测试两半，在开发半区上选出权重后固定应用到保留测试集，并把每个元语法与短语增强分别与同一无融合基线比较。元语法均为子词四元文法且均未见过测试转写，其中通用元语法只用识别训练转写，关键词合成元语法额外加入由 300 个混读词与 90 个模板生成的 66,000 句领域内语料。
前视延迟 × 实时率： 前视延迟负责度量为了做 1 次判断需要等待未来多少毫秒语音，实时率负责度量流式计算耗时除以语音时长的比值，前者决定直播字幕和语音助手的可感知等待，后者决定一张卡能否跟上音频速度，二者搭配的原因是只看精度会掩盖不可部署的等待，只看速度会掩盖不可用的转写，组合起来才能刻画精度与延迟的权衡曲线。
指标方向需要固定。字符错误率与实时率、首词元延迟越低越好，关键词召回越高越好。百分点变化与相对倍数不能混用，论文报告的数倍下降是相对比值，而召回从 10% 几到 20% 几是百分点提升。
字符错误率 × 关键词召回率： 字符错误率负责度量整句泰语转写与规范化参考文本之间的字符级差异，关键词召回率负责度量电视语音测试集中英文混读词被正确写成规范形式的比例，前者分工是反映整体可用性，后者分工是反映词汇引导是否真正命中了声学模型听得到但写不准的词，二者搭配的原因是泰语无词空格且一音多写，单看整体错误率会淹没领域词的改善，组合才能同时检查无损耗与有提升。
流式崩溃是否真实发生，缓存感知恢复了多少？
先看延迟权衡曲线，阅读时注意上下两排分别是混读领域与通用领域，横轴是前视延迟，纵轴是流式字符错误率。离线精度不在曲线上，论文在图注中单独给出全上下文离线约 11.0% 与约 5.8%，流式模型在最大前视附近接近各自离线水平。
看图路径： 1. 先确认横轴是前视延迟毫秒数从大到小，纵轴是流式字符错误率，上下两排分别是电视语音与通用语音；2. 对比每个延迟下最浅色全上下文柱与两个深色流式柱的高度变化趋势；3. 重点观察 1040 毫秒与 80 毫秒两处全上下文柱是否显著高于流式柱；4. 检查 0.6B 深色柱是否在各延迟下都不高于 115M 中等深色柱
论文图 2。原论文 Fig. 2:：“Streaming CER (%) versus look-ahead latency on the full TVSpeech (570 utterances) and GigaSpeech2-Thai (1000 utterances) sets.”。
像素显示的趋势是全上下文浅色柱随前视减小迅速升高，在 1040 毫秒已明显高于 2 个流式柱，在 80 毫秒达到最高，而 2 个流式柱在各延迟下保持低位且 0.6B 深色柱领先。这种崩溃与保持的对比在通用语音下同样成立，说明增益不是只在混读领域有效。具体到可复述数字，下表把论文正文连续句中出现的同一实验数字整理为五列宽表。
表前问题是在相同流式评测与相同规范化下，全上下文被迫流式与缓存感知流式在各延迟的字符错误率如何分化，公平条件是同一测试集与同一缓存跨分块评测，指标方向是字符错误率越低越好。
| 数据集 | 延迟条件 | 全上下文被迫流式 | 缓存感知流式 | 论文报告的判断 |
|---|---|---|---|---|
| 电视语音 | 80 毫秒 | 达 100% | 保持可用 | 最低延迟停止输出有效结果 |
| 电视语音 | 全程 | 随延迟下降而崩溃 | 各延迟领先 | 0.6B 在每个延迟领先 |
表后解释是主要收益来自结构而非领域。0.6B 在 1040 毫秒的 14.1% 相对被迫流式基线形成约 4.5 倍差距，通用集上 9.3% 对 39.8% 的差距方向一致。代价是流式模型仍低于离线理想值，且论文摘要另行给出 115M 在 1 秒前视约 4.3 倍的下降，说明小模型同样可用但精度次于 0.6B。未胜出项是全上下文模型本身，它离线精度强但在真流式下不可用，不能因为离线值好看就把它当作低延迟方案。
词汇引导的提升来自通用先验还是定向词表？
论文在 0.6B 模型、1040 毫秒前视、保留的 285 条电视语音测试上比较无融合基线与 3 种可部署策略，并另设一个用测试参考训练的不可部署上界。下表用论文正文连续句中的召回与开销数字做成五列对照，基线与各策略的字符错误率中性关系也在正文中交代。
表前问题是同一流式基线、同一保留测试与同一权重下，哪种融合真正带来召回提升且是否拖累整体精度与速度，公平条件是权重在开发半区选定后冻结并在测试集上独立评估，指标方向是召回越高越好、字符错误率与实时率越低越好。
| 策略 | 适用条件 | 关键词召回 | 整体精度代价 | 速度代价 |
|---|---|---|---|---|
| 无融合基线 | 保留测试 | 从 16.6% 起 | 基准 | 基准 |
| 通用元语法 | 只用训练转写 | 达 20.2% | 中性 | 实时率变化不足 3% |
| 关键词合成元语法 | 额外合成领域语料 | 达 20.4% | 中性 | 实时率变化不足 3% |
| 短语增强 | 用户 300 词表 | 达 20.7% | 中性 | 实时率变化不足 3% |
| 测试参考上界 | 不可部署记忆上限 | 达 27.8% | 更低但不可比 | 不作为收益 |
表后解释是大部分增益来自通用先验。通用元语法不做关键词合成已达 20.2%，与关键词合成的 20.4% 基本持平，说明被恢复的是训练转写中常见的高频科技、商业与媒体词，声学模型听得到但拼写不稳定，元语法把写法固定为规范形式。关键词合成只对通用转写缺乏的稀有词必要，短语增强提供对给定词汇的定向控制并达到 20.7%。反例是上界的 27.8% 仍有距离，说明更强的领域内语言模型还有空间，但不能把上界当作可部署收益。论文也明确局限：融合只重排候选，不能恢复模型从未产生的声音，且召回只在一个混读集上度量。
哪些结论不能推广，哪些验证还没有做？
论文直接报告的是结构崩溃真实存在、缓存感知在两个泰语测试集与 2 个模型尺寸下保持可用、通用元语法解释了大部分召回增益。这些属于报告与显示级别，可以复述。论文对高频词机制的解释属于有限解释，有训练文本频率与拼写变体例子的支持，但没有逐词频率与错误类型的完整分解。
不能推广的是把末步结果推广全程。总体趋势不等于每个延迟每条话语都成立，图注已说明流式模型在最大前视附近才接近离线值，小延迟下仍有损失。也不能把自动指标当作人工可用性保证，论文未测量误判率分布、长时漂移与真实会议噪声下的表现。训练资源、推理开销、输出帧率与实际延迟需要分别讨论，批量 16 的吞吐实时率与批量 1 的在线实时率不是同一个量，首词元延迟随前视变化，论文在 115M 与 0.6B 上分别给出约 1.06 秒与约 1.07 秒在 1040 毫秒前视、约 0.49 秒在 480 毫秒前视。
缺失证据不是技术错误。论文未报告融合权重的逐项搜索表、未报告除电视语音外的第二个召回集、未报告除贪心外的束搜索行为，这些都应记为待验证，而不是默认成立或默认失败。
要复现先做什么，需要哪些代码权重与参数？
复现应按学习依赖先做规范化，再做流式评测，最后做融合。第一步是拿到泰语实时技术报告的规范化规则并对训练转写与测试参考做同一映射，否则字符错误率与召回都不可比。第二步是按论文的分块评测搭建缓存跨分块逻辑，一个编码器帧按 80 毫秒换算前视，从 80 毫秒扫到 3200 毫秒，重点复现 1040 毫秒与 80 毫秒两个锚点。第三步是固定融合权重为 0.5，再分别评估通用元语法、关键词合成元语法与短语增强。
关键超参数与信息条件在原文中齐全。115M 微调为一轮、峰值学习率 3 乘 10 的负 4 次方、有效批量 128、4 卡约 8.6 小时。0.6B 适配为同语料、峰值学习率 3 乘 10 的负 4 次方、有效批量 256、6 卡约 68 小时，再加 569,000 条混合上的数字微调，峰值 10 的负 4 次方、单卡约 3 小时。融合侧为子词四元文法、300 个混读词、90 个模板生成的 66,000 句合成语料、权重 0.5。训练统一用英伟达工具包、AdamW、余弦学习率与混合精度。
资源状态方面，本次收到的官方页面在代码、模型、演示与复现 4 类上均显示当前可用，115M 权重页面显示当前可用，0.6B 权重链接本次显示当前不可用，因此复现 115M 全链路是可行的，0.6B 需要等待权重可达后再验证。论文主页同时承载演示、检查点与代码，可作为第一入口。
何时值得尝试这套方案，如何一句话记住它？
当任务是泰语直播字幕、语音助手或会议转写，且已有离线精度可用但延迟不可接受时，值得尝试缓存感知转换加解码时浅融合的路线。当领域词主要是高频英文混读且写法不统一时，优先做通用训练转写上的元语法，而不是先合成关键词。当目标是稀有人名与稀有领域词的点名控制时，再加入合成语料与短语增强，并接受它们只在稀有词上增值的定位。
需要避免的误解是把上界当收益、把离线精度当流式精度、把吞吐实时率当在线延迟。论文的真正判断是结构决定可用性，先验决定写法一致性，定向词表决定稀有词可控性。记住这个顺序后，复现与改进都有明确抓手：先让模型在目标前视下保持可用，再用通用先验固定常见写法，最后用词表控制解决长尾。
📎 论文与评分元数据
排名：前25% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses