不逐字追踪也能选好转写：用一次前向的并行采样做最小贝叶斯风险解码

英文题目：Non-Autoregressive Minimum Bayes’ Risk Decoding for Fast Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:deguchi26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#CTC #高效推理 #语音 #语音识别

评分：6.3/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.1/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Hiroyuki Deguchi：机构信息未能从会议 PDF 纯文本可靠映射
• Takatomo Kano：机构信息未能从会议 PDF 纯文本可靠映射
• Katsuki Chousa：机构信息未能从会议 PDF 纯文本可靠映射
• Marc Delcroix：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

自动语音识别 Automatic Speech Recognition需要将语音声学输入转写为词序列，而非自回归 Non-Autoregressive解码虽可并行生成却因无法以前文为条件而难以消解声学歧义与多路径不确定性，导致高概率路径未必对应高质量转写。该文提出非自回归最小贝叶斯风险 Non-Autoregressive Minimum Bayes Risk解码，记为NAR-MBR，先对连接主义时间分类 Connectionist Temporal Classification对齐路径与条件掩码语言模型 Conditional Masked Language Model掩码位置做无偏采样以构造假设与伪参考集合，再以负词错误率 Word Error Rate为效用函数估计期望效用 Expected Utility并选取最优假设。与最大后验 Maximum A Posteriori贪婪解码的关键差异在于用群体一致性代替单路径概率，并利用非自回归独立性实现单次前向多采样。为维持快速解码优势，该方法在效用计算前去除假设与伪参考的最长公共前后缀并缓存重复样本对得分，以降低二次比较的计算负担。在Web语料上该方法在迭代数 \(N_{iter}=1\)、采样数 \(|Z|=64\) 时相对波束搜索 Beam Search获得43.1倍加速且词错误率达到7.4%，显著优于对应基线非自回归解码的8.9%。该结论限于LibriSpeech、Switchboard、AMI及内部Web数据上的Mask-CTC架构，未验证Whisper类大模型与噪声远场外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么快与准难以兼得？

这篇论文研究的输入是一段语音信号，目标是输出对应的词序列并进一步转成可读的转写文本。评价转写好坏用词错率，词错率越低表示识别出的词与参考文本越接近。研究生刚进入语音识别时容易以为只要把声学特征送进神经网络再取概率最高的输出就行，但原文指出这种常用做法存在两难。按从左到右逐词生成的自回归解码能利用已生成的词作为上下文，帮助在多条可能的输出路径中消除歧义，可是计算次数随输出长度增长，处理长语音时很慢。

去掉词间依赖的非自回归解码可以 1 次并行算出全部位置的概率，解码步数降为 1 次或常数，因此很快，但也正因为没有历史词可用，当转写本身存在不确定性时，多条路径会互相竞争，模型难以保持一致的路径选择，这就是原文所说的多峰性问题。论文要解决的矛盾就是如何在不重新训练模型的前提下，让并行解码也能做出更顾及整体质量的选择。

为了让初学者建立直觉，可以举一个教学例子而不代表论文数据：比如语音对应可能是识别为两条相近的词串，单看每个位置的最高概率可能拼出一条混合串，而从整体错误期望看另一条更稳。论文的方法就是把这种整体期望的比较形式化。需要保留的关键信息是输入为语音，输出为词序列加去词符化文本，指标是词错率，约束是不增加训练且要明显快于自回归的波束搜索。

已有路线如何取舍速度与质量？

按同输入、同目标、同运行阶段来对照，相关路线可以分成 3 类。第一类是自回归建模与解码，以变换器加卷积的编码器结构为代表，训练时按链式法则分解输出概率，解码时用贪心或波束搜索从左到右生成。它的优点是每一步都能看到前文，缺点是必须做与输出长度成正比的前向计算。第二类是非自回归建模，以连接时序分类加条件掩码语言模型的掩码预测结构为代表。

编码器先对每帧预测词或空白符号并折叠成初始序列，解码器再把低置信词掩盖后并行填回，可以做零次、1 次或多次迭代修正。它的优点是并行快速，缺点是独立性假设带来的一致性损失。第 3 类是决策规则的改进。最大后验解码只挑概率最高的候选，简单但原文引用前人工作指出高概率序列有时质量不高，甚至出现空输出或重复。最小贝叶斯风险解码则挑期望效用最大的候选，效用常用负词错率，期望用从模型分布中抽出的伪参考做蒙特卡洛估计。

它的优点是更贴近最终评价目标，缺点是通常需要多次自回归采样和 2 次方的效用计算，开销很大。本文的位置就是把第二类的并行采样优势与第 3 类的期望效用决策结合起来，用非自回归的 1 次前向得到多样本，再用高效的编辑距离实现期望最大化，从而同时保留速度和提升质量。

要回答的具体问题是什么？

论文把问题限定为解码阶段的选择问题，而不是重新设计声学模型或重新训练参数。给定已经训练好的掩码预测非自回归模型，如何在测试时只改变采样与选择策略，就得到比原贪心加确定性掩码更好的转写，同时仍明显快于自回归解码。形式上，设输入语音为待识别信号，输出空间为词表上的所有词序列，解码器输出每个位置的概率分布。原方法是对每帧取最大概率的对齐路径，再按阈值确定性地掩盖低置信词并用解码器贪心填回。

新问题要求改为从同样的概率分布中做无偏采样，得到多个完整的对齐路径和多种掩码填回结果，再以负词错率为效用计算每个候选相对全部伪参考的平均分并取最大。学习依赖上，理解该问题需要先理解输出概率与输出质量的区别，再理解伪参考的蒙特卡洛作用，最后理解 1 次前向为何能给出多样本。原文没有承诺解决所有长尾口音或噪声条件，也没有把延迟分解到每 1 帧，只在给定数据集和给定硬件上比较总前向加效用计算时间与相对显存。

新解码框架让一个样本经历了什么？

先沿着一个语音样本走完全流程。输入语音先经过编码器加连接时序分类，1 次前向就得到每 1 帧上词与空白符号的概率表。原非自回归做法是在每帧取概率最大的符号作为唯一对齐路径，新框架则按每帧的分类分布独立抽样，多次抽样就得到多个不同的对齐路径，抽样次数记为采样规模。每个对齐路径经折叠去掉空白与重复后得到初始词序列。

然后对每个初始序列按不确定度做概率性掩码，也就是不确定度越高的位置越可能被掩盖，掩盖模式本身也是随机抽的。被掩盖的位置送入条件掩码语言模型解码器，解码器给出每个掩码位置的词分布，再按该分布抽样填回，未被掩盖的位置保持原词。这样每个原始采样就扩展为一个完整的候选转写。把所有候选同时当作假设集合与伪参考集合，计算两两之间的词错率并取负作为效用，对每个假设求平均后挑平均分最高者作为最终输出。

迭代次数控制掩码预测分几轮完成，零轮表示直接用折叠后的序列参与期望选择。整个过程没有更新任何模型参数，只是把确定性的取最大与阈值掩盖换成了可并行的随机采样加期望取大。 下图把原方法与新方法在 1 次迭代时的结构并排比较，左侧为确定性路径，右侧为采样加期望最大化路径，是理解改动位置最直接的材料。

看图路径： 1. 先从底部输入语音沿编码器加连接时序分类向上追踪到词序列，再看掩码分支如何回送到解码器；2. 对比左右两半白色块与浅红块，确认采样与期望最大化替换了哪些确定性搜索；3. 观察右侧多出的期望最大化输出层，确认最终只输出一条风险最小的序列；4. 注意下标 i 的含义，确认右侧每条路径都是独立采样的一个完整样本

论文图 1。原论文 Figure 1：“NAR and NAR-MBR decoding in Mask-CTC at Niter = 1. Differences from NAR decoding are highlighted .”。

该图左侧显示输入经编码器得到概率后走最佳路径搜索与确定性掩盖再走贪心填回，右侧显示同一概率表走连接时序分类路径采样与概率性掩盖再走词采样，最后多出期望最大化层输出最小风险序列。图中用不同颜色标出新增的采样与选择模块，箭头表明掩码序列如何回送到解码器。可以看到改动没有增加新的神经网络，只是把原来取最大的地方换成可重复抽样的分布，并把原来直接输出填回结果的地方换成对多个填回结果的集中比较。这就解释了为什么多次采样不需要多次编码器前向，因为概率表只算 1 次，后续只是查表抽样与解码器填回。

采样与期望计算各自如何分工？

采样部分解决多样性来源问题。它分两处抽样，一处是对齐路径抽样，对每帧按输出概率做分类抽样，不同帧相互独立，因此 1 次前向的概率表可以重复使用。另一处是掩码与填词抽样，先按一减置信度构造伯努利分布决定每个词是否被掩盖，再对被掩盖位置按解码器输出的分类分布抽样填词。为了让多轮迭代也保持概率性，原文用甘贝尔最大技巧按置信度从高到低逐步固定词，而不是取前若干个最高置信词。这种设计保持了无偏性要求，因为期望估计需要伪参考来自模型分布而非波束搜索的有偏集中。

自回归解码 × 非自回归解码： 自回归解码负责按从左到右的顺序逐个计算以已生成词为条件的概率，用上下文消解多条输出路径的歧义；非自回归解码负责在词间独立性假设下去掉对已生成词的依赖，从而 1 次并行算出全部位置的概率。两者搭配的原因是前者准确但步数随输出长度增长，后者快速但面临多峰性问题，组合意义在于本文保留非自回归的并行骨架，再用后端的期望效用选择弥补其缺少上下文带来的路径选择困难。

期望计算部分解决如何从多样本中选优。它以负词错率为效用，对每个假设计算其与全部伪参考的平均分。直接两两算编辑距离是 2 次方复杂度，原文做了三项工程加速。第一是去掉假设与伪参考的最长公共前后缀，因为这部分不影响编辑距离，可以缩短待比较的字符串长度。第二是记忆化，对重复出现的假设与伪参考对只算 1 次并缓存分数与计数，因为采样是有放回的多重集合，必然存在重复。

第三是并行化，用多核中央处理器同时计算不同唯一对的分数。实现上用系统语言重写词错率并把词转成无符号整数编号，避免昂贵的字符串比较，还包含文本归一化。这些加速不改变选择准则，只减少重复计算。

最大后验解码 × 最小贝叶斯风险解码： 最大后验解码负责在候选集合中挑输出概率最高的序列，计算简单但高概率不等于高质量；最小贝叶斯风险解码负责在伪参考样本上计算每个候选的平均效用并挑期望效用最大者，更贴近词错率等评价目标。搭配原因是前者只做点估计，后者做考虑不确定性的决策，组合意义在于用采样估计的期望代替单点概率做最终选择，从而更稳健地挑出平均错误更小的转写。

2 阶段模型的分工也需要讲清，编码器负责快速给出帧级分布与初始序列，解码器负责利用未掩盖上下文修正被掩盖位置。

连接时序分类 × 条件掩码语言模型： 连接时序分类负责由编码器对每帧预测词或空白符号的概率并经折叠得到初始词序列；条件掩码语言模型负责把低置信位置换成掩码符号再结合未被掩盖的词并行填回。搭配原因是编码器输出快但有并行独立引入的错误，解码器可以利用双向上下文修正，组合意义在于形成编码器粗转写加解码器掩码修正的 2 阶段非自回归流程，本文的采样与期望最大化都建立在这 2 阶段之上。

伪参考与期望效用的关系是估计与目标的关系，样本是手段，平均负词错率是目的。

伪参考 × 期望效用： 伪参考负责提供一组从模型输出分布中无偏抽出的样本序列，用来代替未知的真实分布做蒙特卡洛估计；期望效用负责度量某个候选相对这些伪参考的平均负词错率。搭配原因是没有真实分布就无法直接算期望，只能用伪参考的样本均值近似，组合意义在于样本越多估计越稳，候选与伪参考共用同一采样集合即可完成全部成对打分与取大操作。

确定性掩码与概率性掩码的区别是单路径与多路径的区别，后者为期望估计提供了必要的多样性。

确定性掩码 × 概率性掩码： 确定性掩码负责按阈值判断连接时序分类输出的置信度是否低于阈值，低于则确定地掩盖该位置；概率性掩码负责按不确定度构造伯努利分布并随机决定每个位置是否掩盖。搭配原因是前者只产生一条确定的修正路径，后者能产生多条不同的掩码模式，组合意义在于本文把确定性掩盖换成概率性掩盖，使掩码预测本身也成为可采样的随机来源，从而得到多样化的完整假设集合。

本研究训练了什么，没有训练什么？

本研究没有为新解码方法引入任何额外的训练阶段，这是一个需要明确的事实。原文的模型训练沿用语音处理工具包在各数据集上的默认超参数，只在架构与损失上区分自回归与非自回归模型，其他超参数保持相同。自回归模型用编码器加注意力解码结构，非自回归模型用掩码预测结构。解码时自回归用连接时序分类与注意力的联合解码并设置权重，掩码预测用阈值做掩盖。

所有参数在解码阶段冻结，梯度路径不存在，监督来源就是原模型训练时已经学到的概率分布，新方法只是调用这些已训练好的分布做抽样与打分。因此不能把无训练理解为确定性求解，输出仍然是随机的，多次运行会因抽样不同而有波动。缺项是原文没有报告训练耗时、训练轮数与优化器细节，复现时只能回到工具包默认配置。

需要保留的真实计算过程是编码器 1 次前向得到帧分布，多次分类抽样得到对齐路径，多次伯努利抽样得到掩码模式，解码器前向得到填词分布后再抽样，最后用缓存与并行加速的词错率计算完成期望最大化。

在哪些数据与条件下比较，指标方向是什么？

实验覆盖 4 类语音识别任务，分别是朗读英文书的有声书语料及其干净与困难子集、电话对话语料及其交换机与家庭子集、会议语料和网络演讲语料。网络演讲语料包含数百小时训练语音与数小时开发测试语音，来自上 1000 名说话人。模型方面用卷积增强的变换器做自回归解码，用掩码预测结构同时做原非自回归解码与新解码，保证除架构与损失外其他设置相同。

解码条件上，自回归比较贪心与波束宽度为十的波束搜索，非自回归与新方法比较零次、1 次、10 次迭代，新方法再比较采样规模为六十四与二百五十六。评价指标是词错率，越低越好，还用配对自助重采样做显著性检验。效率评价用相对波束搜索的加速比，越高越好，以及相对波束搜索的平均显存比，越低越好。计时只包含编码器与解码器的前向计算，新方法还包含效用计算时间，不包含模型与数据加载。

硬件为多核中央处理器与高性能图形处理器，软件基于开源语音工具包与最小贝叶斯风险解码库。 下表整理原文明确给出的可运行配置，数值写法保留原文精度，用它核对复现时的阈值、权重与采样规模是否一致。

表后需要说明该表的公平性含义。

基线与新方法共享同一训练好的掩码预测模型，区别只在解码时的采样与选择，因此词错率差异可以直接归因于解码策略。表中零次迭代的含义是跳过解码器，这对理解速度与显存结果很重要。未在表中出现的训练细节属于缺项，不应自行假设学习率或轮数。

主结果显示了什么收益与什么代价？

主结果按词错率组织。在全部数据集上，新方法在 1 次与 10 次迭代时一致优于原非自回归解码，且差异通过显著性检验。特别是在网络演讲语料上，1 次迭代的新方法达到了与波束搜索可比的词错率，这是原文强调的准确率与速度兼得的证据。在新方法内部，增大采样规模会小幅改善词错率，因为伪参考增多使蒙特卡洛估计更稳。但增加迭代次数并没有继续改善，新方法的词错率在 1 次迭代即收敛，而原非自回归解码随迭代增加仍有改善。

原文的解释是原方法靠更多解码器调用提供更丰富的条件来消解歧义，新方法则靠期望最大化承担了这一角色，且无偏样本 1 次前向就能充分获得，因此不需要反复精修。 下图展示采样数对词错率的影响，是理解收敛行为的关键证据，横轴为采样数，纵轴为词错率。

看图路径： 1. 先确认横轴为对数刻度的采样数，纵轴为词错率，再区分四条图例线的线型与颜色；2. 观察蓝色最小贝叶斯风险线随采样数增加而下降，并在 64 附近趋平；3. 对比橙色非自回归水平虚线，找出蓝色线从上方穿到下方的交叉点附近；4. 确认绿色与红色自回归线为水平线，说明它们不随采样数变化且位置更低

论文图 2。原论文 Figure 2：“WER of NAR-MBR decoding at Niter = 1 when vary- ing number of samples in dev. set (Other) of LibriSpeech”。

该图包含 4 条线，蓝色实线为新方法随采样数增加而明显下降，橙色虚线为原非自回归的水平基线，绿色与红色为自回归贪心与波束搜索的水平线。可以看到蓝色线在采样数很小时高于橙色线，约在八附近穿过橙色线，之后继续下降并在六十四附近趋平，说明继续增大到上 100 条的收益已经很小。这支持了原文关于收敛速率与已有自回归最小贝叶斯风险理论趋势相似的判断，也说明实际部署时不必追求最大的 256 条。

速度方面，新方法一致快于自回归解码，包括贪心解码。在网络演讲语料上，1 次迭代的新方法在采样六十四与二百五十六时分别比波束搜索快数十倍，同时保持可比词错率。代价是显存，零次迭代时新方法与基线相当，1 次迭代时因解码器采样而上升，采样二百五十六时的显存比明显高于采样六十四。原文明确把更省显存的采样列为未来工作。 下表用原文连续句中的数字整理速度与配置的关系，单位与倍数保留原文写法。

表后解释主要收益与具体代价。收益是数十倍加速下仍显著优于原非自回归，代价是采样数翻倍带来显存上升与加速比回落。

未胜出项是困难子集上新方法仍未全面超过自回归波束搜索，说明期望选择不能完全弥补声学建模与上下文建模的差距。不同指标的差值不能混放，词错率的百分点下降与加速比的倍数是不同量纲，不能直接相减或换算。

哪些对照说明改进来自哪里？

论文的对照围绕两个旋钮展开，一是采样规模，二是迭代次数。采样规模对照显示从一条到 256 条，新方法的词错率单调下降后趋平，64 条是拐点。这支持改进来自期望估计的稳定性，而不是偶然抽到一条好样本。如果只抽一条，新方法甚至差于原非自回归，因为单样本的平均没有意义。迭代次数对照显示原方法随迭代增加而改善，新方法在 1 次迭代即达峰，10 次迭代没有进一步增益。

这说明新方法的选择机制替代了反复精修的作用，也意味着部署时可以用 1 次迭代同时省时间与显存。失败条件是零次迭代时新方法与原方法差距很小，因为没有解码器填词，多样性只来自对齐路径折叠，候选之间的差异有限。另一个边界是采样规模很大时显存与效用计算时间上升，加速比从六十多倍区间回落到 10 倍区间，说明速度优势会被 2 次方打分部分抵消。

原文没有做去掉前后缀、缓存或并行的单独消融，因此不能量化每一项加速各自贡献多少，只能说三项共同维持了整体速度。

还有哪些没有测到与不能承诺的？

首先是资源状态，原文只声明了实验代码基于的工具包与解码库，没有提供可验证的代码、模型或数据公开链接，本次也没有发现完成超文本传输安全协议状态验证的资源，因此不得声称代码或权重已公开。其次是测量范围，计时只含前向加效用计算，不含加载与前后处理，显存是平均值而非峰值在最坏长语音下的表现，因此不能把报告的加速比直接承诺为端到端延迟改善。

第三是统计与泛化，显著性检验只比较新旧非自回归，没有报告与自回归差异的显著性，也没有报告误判率、置信度校准或噪声鲁棒性，因此不能从词错率下降推定其他可靠性指标同步改善。第四是超参数敏感性，阈值、联合权重与采样数只在给定值上验证，没有展示阈值变化时概率性掩码是否依然稳定。最后是模型范围，结论只在掩码预测结构上验证，是否适用于其他非自回归结构属于待验证推测。

缺失证据不是技术错误，但复现与选型时必须把这些边界当作前提。

要复现应先做什么，需要哪些信息条件？

复现的第一步是按工具包默认配置训练或获取同配置的自回归与掩码预测模型，保证除架构与损失外其他超参数一致，否则解码比较失去公平性。第二步是实现无偏采样，包括按帧分类分布抽对齐路径，按一减置信度抽伯努利掩码，再按解码器分布抽填词，多轮时用甘贝尔最大技巧按置信度逐步固定。第三步是实现高效词错率，包括文本归一化、词到整数编号、前后缀裁剪、重复对缓存与多核并行，再把假设与伪参考取同一集合并计算平均负词错率取大。

关键超参数是迭代次数取零、1 次、10 次，采样规模取六十四与二百五十六，掩码阈值取 0.999，联合权重取 0.3，自助检验取 1000 次重采样。计时要单独统计编码器与解码器前向加效用时间，并记录相对波束搜索的加速比与显存比。 下表整理复现时的环境与计时口径，避免把加载时间误算为解码延迟。

表后说明该表不能代替核心结果表，它只解决可运行性。

真正的收益仍要回到词错率与加速比的主表，用同一模型、同一测试划分、同一指标聚合来核对。原文未公开一键运行脚本时，复现者需要自行补齐随机种子管理与重复次数，否则采样随机性会导致小幅波动。

何时值得尝试，如何一句话记住它？

当系统已经有掩码预测非自回归模型且对延迟敏感，又不希望重新训练时，值得尝试这种解码。它把 1 次前向的概率表重复利用为多样本，再用平均负词错率选出最稳的一条，相当于用后端的统计选择弥补前端独立性假设的不足。记住它的顺序是先并行采样再集中比较，采样解决多样性，选择解决质量。适用条件是候选之间要有足够差异，若跳过解码器或语音很短导致候选几乎相同，期望选择的增益会很小。

成本意识是采样数与迭代次数同时推高显存与打分时间，64 条加 1 次迭代是原文显示的性价比拐点，更大的规模更多是为研究收敛而非部署必需。未来验证应补上其他非自回归结构、更长语音的峰值显存与端到端延迟，以及不同阈值下的稳定性，这样才能把实验室的加速比转化为线上可承诺的收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总