真类概率塌向两端时，用排序与距离重建词级置信度

英文题目：Rank-Distance Based Confidence Estimation for ASR

会议身份：conference:interspeech:2026:conference-paper-id:ravi26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #鲁棒性 #多语言 #语音 #语音识别

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Nagarathna Ravi：机构信息未能从会议 PDF 纯文本可靠映射
• Madduri Aiswarya Lakshmi：机构信息未能从会议 PDF 纯文本可靠映射
• Ragesh M：机构信息未能从会议 PDF 纯文本可靠映射
• Rajalakshmi Elangovan：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

自动语音识别词级置信度估计需为已解码词输出反映部分正确程度的校准分数，但最大类概率因过自信而失效，二值目标把部分正确词一刀切为错误，时序连续目标依赖强制对齐而传播误差，真类概率在大词表下趋近于0而退化为二值。论文提出排序距离目标RanD，先对参考与假设做词级编辑对齐得到正确、替换、插入标记，对正确与替换词对再建立词元级对齐以确定监督位置。接着由每步后验分布计算真值词元的归一化排序分与预测分布到独热分布的归一化欧氏距离分，加权平均为词元分后在词内平均得到词级监督信号。对应四种架构分别冻结语音识别模型并抽取词级聚合嵌入训练轻量置信度估计模型，以编码器与解码器状态聚合为输入并输出词置信度。与真类概率和时序相似度目标不同，排序分随真值排序平滑下降避免坍缩为二值，距离项刻画分布不确定性且无需强制对齐，因而更具判别性与校准性。在KB数据集评测设置下，RanD的AUROC为0.8669，高于TeLeS的AUROC 0.8155。适用边界是仅对已预测词打分而不处理漏检的删除错误，低资源下表示质量不足时效果尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为何要单独估计置信度？

这篇论文研究的输入是一段语音，论文记为梅尔谱特征序列，目标是判断识别器输出文本中每个词有多可信。识别器本身会输出词序列和每一步的概率分布，但深度模型的概率常常过度集中在某 1 个类别上，直接把最高概率当作可信度会高估。初学者可以这样理解：白话的置信度就是模型给自己判分，英文是 confidence estimation；白话的最大类概率就是每一拍选概率最大的那个值，英文是 Maximum Class Probability，缩写为 MCP。论文把 MCP 当作最简单的基线，后文用它来说明不做校准会有多大偏差。

必须保留的信息是任务层级为词级，输出是一个 0 到 1 之间的分数，分数越高表示预测词越可能是对的。下游动作依赖这个分数，例如自动纠错要先知道哪个词不可靠，语音助手要决定是执行指令还是追问确认。如果分数虚高，系统会把错词当对词用；如果分数整体偏低，系统又会频繁打断用户。因此论文不是改进识别准确率本身，而是给已有识别结果配一个更诚实的打分器。

置信度估计 × 最大类概率： 置信度估计负责判断解码输出的每个词有多可信，最大类概率只负责取出解码器 softmax 中最高一类的概率值，二者搭配的原因是后者无需训练即可得到分数，前者要纠正后者因过自信而偏高的偏差，组合意义在于把免训练的基线变成需要校准和评估的对象。

本解读默认从原文独立写作，事实只来自论文正文证据与本次收到的官方原图像素。资源状态方面，未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开，凡涉及仓库链接只能按正文原样转述，不能写当前可用或已公开。

已有路线分几支，各自卡在哪里？

按监督信号划分，已有可训练的置信度估计器分为两支。第一支用二值目标训练，正确词给 1，替换词与插入词给 0，对齐方式用莱文斯坦对齐。论文列举的早期循环神经网络、长短期记忆网络、残差能量模型和针对循环神经网络换能器子词的多层感知机都属于这一支。它的优点是标注简单，缺点是把部分拼对的词一律判为 0，不能反映部分正确的程度。第二支用连续目标训练，代表是作者团队此前的时序词素相似度 TeLeS 和真类词素相似度 TruCLeS。

TeLeS 同时算时序相似与词形相似，但时序分依赖强制对齐得到的时间戳，时间戳错了就会污染目标；TruCLeS 用真类概率加词形相似，但在类别数很大的模型里真类概率会塌向两端，失去区分度。除此之外还有免训练的变换路线，例如对概率分布算熵或做温度缩放，论文指出它们不能纠正偏斜的概率质量。教学上把二值与连续看作 1 对例子：二值例子是拼写基本对但错一个字母仍得 0 分，连续例子是按对的比例给部分分，论文要的是后者但要换更稳的计算方式。

二值目标 × 连续目标： 二值目标负责把正确词标为 1、替换与插入词标为 0，连续目标负责给出 0 到 1 之间的部分正确程度，二者搭配的原因是二值标注丢掉了部分拼对的词的信息，组合意义在于用连续分数让训练信号区分轻微错误与严重错误。

相关工作的比较必须在同输入、同目标、同运行阶段下理解，不能把词级与句级、子词级与词级直接比胜负。论文后续实验保留了这两类基线，正好对应上述划分。

真类概率坍缩长什么样，为何它让校准失效？

论文提出的核心观察是真类概率的坍缩。白话说，真类概率就是真值类别在预测分布里分到的那一份概率；理想情况下，正确 token 应接近 1，错误 token 应散开，但实际在大词表模型中错误 token 的真类概率被压到接近 0，正确 token 接近 1，中间几乎没有样本。作者用印地语识别模型在 KathBath 数据集上统计了这种分布，并用一张密度直方图展示。该图是理解全文动机的钥匙，需要先读横轴纵轴再读颜色，最后再下判断。

看图路径： 1. 先看横轴真类概率与纵轴密度的含义，确认 0 到 1 的取值范围；2. 再对比绿色正确 token 与红色错误 token 的峰值位置；3. 最后观察中间概率区间是否有样本，判断坍缩程度

论文图 1。原论文 Figure 1：“True Class Probabilities of Predicted Tokens”。

从本次收到的像素看，该图横轴为 token 级真类概率，范围从 0 到 1，纵轴为密度。绿色条代表正确 token，集中在 0.9 到 1.0 附近并形成高峰；红色条代表错误 token，集中在 0 到 0.1 附近并形成高峰；中间 0.2 到 0.7 区间几乎没有密度，只有 0.7 到 0.8 附近有一个极矮的绿色小突起。这种双峰贴边形态说明模型已经过自信：它不是说有点不确定，而是直接把错误 token 的真值概率判为接近 0。

后果是基于真类概率的连续目标退化为近似二值，无法区分轻微错误与严重错误，校准误差与区分指标都会受损。论文因此要找一个不直接依赖该概率绝对值、而依赖相对名次与整体形状的量，这就是后文排序与距离的由来。

RanD 全景：一个样本如何走完输入到词分数？

RanD 是排序与距离的缩写，英文为 Rank and Distance。方法全景可以沿一个样本走一遍。输入是语音特征与参考文本，识别器先给出假设文本与每一步的后验分布。随后两条分支并行：一支抽取各结构特有的嵌入表示，用作置信度估计器的输入特征；另一支把参考词序列与假设词序列做编辑距离对齐，再在词内做 token 对齐，找到每个预测 token 应比较的真值 token。

接着对每个预测 token 算排序分与距离分并加权得到 token 分数，最后在词内取平均得到词级目标分数，用该分数训练一个回归器，推理时直接由回归器输出词级置信度。不同识别结构抽取的嵌入不同，但目标分数的定义是统一的，这是该方法能覆盖 4 种结构的关键。

看图路径： 1. 先沿左上音频与文本到识别器再到输出与后验的主箭头走一遍；2. 再看抽取嵌入分支与词对齐分支分别从哪里分出、在哪里汇合；3. 最后读右下示例框中排序分、距离分与加权和的计算顺序

论文图 2。原论文 Figure 2：“Schematic Block Diagram of RanD Approach”。

从本次收到的像素看，该示意框图顶部是音频与文本进入识别器再到输出与后验的主链，中部左侧是按结构区分的嵌入抽取框，明确写出联结时序分类用编码器与解码器表示加概率、循环神经网络换能器与 token 时长换能器用预测网络状态加概率、注意力编码器解码器用注意力上下文加解码状态加嵌入，中部右侧是 token 级对齐框，右下示例框给出参考 token 为 B、分布为 3 类上 0.5、0.3、0.2 时的完整算例，底部是词内平均与训练置信度估计器的闭环。该图把数据流与监督流分开画，避免把目标计算与特征抽取混为一谈。初学者复述时应先说主链，再说 2 个分支，最后说示例与回归，避免跳过对齐直接谈加权。

排序分与距离分各自怎么算，为何要加权？

先讲符号。设预测 token 的后验分布为向量，长度等于词表大小；设其对齐到的真值 token 对应独热分布。排序的定义是真值类别在预测分布中的名次加一减一的计数：统计有多少类别的概率严格大于真值类别的概率，再加 1 即为名次。归一化排序分用 1 减去名次减 1 除以词表大小减 1，名次越靠前分数越高。

距离分先算预测分布与独热分布的欧氏距离，再用 1 减去该距离除以根号 2 做归一化，分布越接近独热分数越高。token 级 RanD 分数是两者的加权和，权重为阿尔法，论文实验取 0.5。词级分数是词内所有 token 分数的算术平均。右下示例可核对：真值是 B，分布是 A 占 0.5、B 占 0.3、C 占 0.2，则 B 排第二，3 类词表下排序分为 1 减 1 除以 2 等于 0.5；距离是根号下 0.5 平方加 0.7 平方加 0.2 平方，再除以根号 2 后用 1 减，得到距离分。

两者再按权重混合。

排序分 × 距离分： 排序分负责看真值 token 在预测分布中的名次，距离分负责量预测分布与独热分布之间的欧氏距离，二者搭配的原因是名次变化平滑而距离反映整体不确定性，组合意义在于用加权和同时避免真类概率坍缩和只看词形相似的不足。

再讲搭配理由。只用排序会丢掉分布形状信息，只用距离仍受绝对概率影响，加权后排序提供平滑的相对位置，距离提供整体不确定性，二者互补。词内平均的含义是把子词或字形的证据汇总成词级判断，插入词因在词级对齐中没有配对参考词，按原文处理不进入该平均的监督计算。

词级对齐 × token 级对齐： 词级对齐负责用编辑距离把参考词序列与假设词序列配成正确、替换与插入，token 级对齐负责把配对词内部的字形或子词再配 1 次，组合意义在于先定词的正确类型，再为每个预测 token 找到应比较的真值 token 以计算排序与距离。

四种识别结构抽哪些表示，对齐细节有何不同？

论文为 4 种结构各训练一个估计器，但目标定义一致，区别只在输入特征与时间索引。联结时序分类结构在每帧建模含空白符的分布，编码器给出隐表示，解码器给出 logit，softmax 后得后验；对预测词收集其非空白帧集合，再对隐表示、logit 与概率做词内平均，得到词级三元组。循环神经网络换能器结构用编码器状态与预测网络状态经联合网络得到 2 维网格上的分布，对预测词收集其非空白发射对应的标签索引集合，再对预测网络状态与概率平均。

token 时长换能器结构额外建模每个发射 token 覆盖的时长，但词级表示同样取预测网络状态与概率的平均，时长本身不直接进入置信度回归的特征描述。注意力编码器解码器结构按自回归方式建模，编码器给隐序列，注意力给上下文，解码器给状态与上 1 token 嵌入，对预测词收集其 token 索引集合，再对上下文、解码状态与嵌入平均。初学者易误以为 4 种估计器结构相同，实际是特征维度与聚合索引不同，训练出的权重互不通用。

用什么监督训练估计器，识别器动不动？

训练过程分两层。识别器是预训练模型，论文未报告对其微调，因此复述时应说识别器参数冻结、只前向抽特征与后验，未报告梯度路径与更新细节，不从模型名称推定实现。真正训练的是辅助置信度估计器，监督来源是按上述方法算出的词级 RanD 分数，输入是对应词的平均嵌入，输出是预测的词级置信度，损失用收缩损失以应对正负样本不均。

论文未给出收缩损失的完整公式与超参数，也未报告早停、批量大小与掩码强度，只说明训练 50 轮、用 Adam 优化器、学习率为 0.0001，并在训练时对音频做时间与频率掩码。网络形态按结构区分：联结时序分类用 512、256、128 的全连接加 Sigmoid 输出并用修正线性单元；循环神经网络换能器与时长换能器用两层双向长短期记忆网络加 1024 维全连接加 Sigmoid；注意力结构用 256 维前馈加修正线性单元再接线性加 Sigmoid。推理时不再需要参考文本与对齐，只需把假设词的嵌入送入已训练的估计器即得分数。

辅助置信度估计模型 × 收缩损失： 辅助置信度估计模型负责从冻结或已训练的语音识别模型中抽取嵌入并回归词级分数，收缩损失负责在训练该回归器时处理样本不均衡，搭配原因是正确词远多于错误词，组合意义在于让模型在不改动识别器的条件下学到更均衡的置信度映射。

需要指出缺项：论文未说明估计器训练数据的切分比例、验证集选择与随机种子，复现时需自行记录这些信息，不能默认与识别器训练集完全一致。

数据、模型与指标如何摆，什么算公平比较？

实验按结构分 4 组。联结时序分类组用印地语 Conformer 模型，估计器在 KathBath 印地语数据子集上训练，在同域 KathBath 测试集与异域 PB 印地语集上评估。另 3 组用英语模型：循环神经网络换能器用 Conformer-Transducer，时长换能器用 Parakeet-TDT，注意力结构用 Canary-Flash，估计器都在 LibriSpeech 上训练，在 LibriSpeech 测试集、同为英语但口音与场景不同的 NPTEL 纯集与 Svarah 印度英语集上评估。这种同域加异域的设计是为了检验校准能力是否可迁移。基线分 3 类：免训练的最大类概率与熵基线，把 token 分数聚合成词分数。

二值训练基线，包括针对联结时序分类的多层感知机与 Transformer、针对换能器的子词模型、针对注意力结构的序列到序列模型，以及为时长换能器按同样思路训练的二值模型；连续训练基线，包括需时序对齐的 TeLeS 与基于真类概率的 TruCLeS。指标方向需先记牢：平均绝对误差、库尔贝克散度、詹森香农散度与期望校准误差越低越好，归一化交叉熵、受试者工作特征曲线下面积与精确率召回曲线下面积越高越好。

比较公平的条件是同一测试集、同一识别输出与同一词级聚合口径，论文把不同估计器放在同一张表里正为此意。下表先看识别器本身的错误率，以判断后续置信度任务的难度，表中数值保留原文写法与精度。

表中可见印地语异域集与英语 NPTEL、Svarah 集的词错误率明显高于同域集，说明异域评估确实更难。需要同时核对词错误率与字错误率两个维度，不能只看其一就断言难度，因为插入错误多与替换错误多对置信度目标的影响不同。后续解读结果时应带着这个难度背景，避免把异域分数下降简单归为方法失效。

主结果支持什么，代价与反例在哪里？

比较问题是：在同域与异域上，RanD 训练的估计器是否在校准误差与区分度上同时优于免训练基线、二值基线与已有连续基线。公平条件是同一识别输出与同一指标集合，指标方向按上一节记忆。下表先看估计器网络形态与训练预算，以确认比较的不是空壳模型，表中数字与单位与原文连续句一致，裸数值不擅自添单位。

该表说明不同结构的估计器容量不同，联结时序分类用 3 层全连接，换能器类用双向循环结构加 1000 维全连接，注意力结构用轻量前馈，训练轮数、优化器与学习率统一，混合权重取 0.5。容量差异意味着跨结构比较绝对值需谨慎，应主要看同结构内的方法排序。下表聚焦联结时序分类在印地语两集上的完整指标，表中数值保留原文精度，比较对象均为实际可运行策略，不含事后最优。

表后解释需同时讲收益与代价。主要收益是 RanD 在平均绝对误差、散度、校准误差与曲线下面积上多项最优，且在异域 PB 集上仍保持领先，论文因此报告它优于已有方法并能泛化到不匹配域。代价与反例同样明确：免训练的最大类概率与熵基线在多组实验中明显更差，说明直接读概率不可靠；二值基线虽好于免训练，但不能区分部分正确词；TeLeS 在词错误率高或插入多时受对齐误差拖累，TruCLeS 在大词表下退化为近似二值。

还要看到未胜出项：个别指标上 TruCLeS 或 TeLeS 的某一项并非全败，总体趋势不等于每一行每一列都成立。异域的绝对分数仍低于同域，说明泛化是相对改善而非彻底解决域偏移。

该表把来源中的主结果数值按原文证据句整理，数值和方向只适用于当前验证条件，不能外推到其他数据。

换结构、换域后结论还成立吗？

论文没有做去掉排序或距离的消融，但用 4 种结构与 3 个英语集做了跨条件验证，可视为广义的稳健性检验。循环神经网络换能器组在 LibriSpeech、NPTEL 与 Svarah 上比较了最大类概率、熵、子词二值、TruCLeS 与 RanD；时长换能器组与注意力组比较了最大类概率、熵、二值与 RanD。报告的趋势是 RanD 在平均绝对误差、散度与校准误差上多项领先，在受试者工作特征与精确率召回曲线下面积上也多为最高，但在时长换能器个别异域切分上曲线下面积与二值基线接近，说明优势幅度随结构与域变化。

教学上应把这组对比当作例子：例子不添加无源数值，只讲论文实际报告的方向性结论。限制是原文未报告显著性检验、置信区间与多次随机种子的方差，因此不能把小数点后第三位的差距说成必然显著，只能说在给定单次报告中 RanD 占优，待验证其统计稳健性。

哪些边界没有测，哪些推测不能当结论？

论文在结论中明确了两个未解决边界。第一是删除词的置信度：当前方法依赖假设词的嵌入与对齐，被漏掉的参考词没有对应的假设位置，论文只提出未来通过观察删除附近词或片段表示来预测，未在本研究中验证，因此不能声称 RanD 已处理漏字。第二是低资源语音识别的表征不足：当识别器本身不够强、抽不到丰富表示时，估计器效果待验证，论文把低资源探测与微调列为未来工作。

方法层面还有三项缺项：收缩损失的具体形式与超参数未给出，时间频率掩码的强度未量化，估计器训练集的划分与早停策略未报告，这些都会影响复现。除直接报告外，论文对熵变换无效、真类概率坍缩导致校准失效的解释属于有限解释，有分布图支持；对异域泛化原因的讨论则偏向推测，应表述为可能与排序的相对性有关，待验证。未测量的量包括推理延迟、额外参数带来的计算开销与误判率的业务影响，论文未承诺这些量得到改善，解读时不应引申。

复现先做什么，需要哪些信息条件？

复现的第一步是固定信息条件：拿到与论文相同的预训练识别器与数据集切分，明确估计器训练用的是识别器训练集的子集还是独立切分，并记录随机种子与验证集。原文点名的模型包括印地语 Conformer、Conformer-Transducer、Parakeet-TDT 与 Canary-Flash，以及 NeMo 框架，数据集包括 KathBath、PB 印地语、LibriSpeech、NPTEL 纯集与 Svarah，复现时应按同名版本核对，不能用同名不同版代替。第二步是重算监督：对训练集跑识别得假设文本与后验，按词级编辑距离对齐再做词内 token 对齐，复现排序分、距离分与加权平均，权重先取 0.5，再在验证集上扫描以确认敏感性。

第三步是按结构搭建估计器：联结时序分类用 3 层全连接，注意力结构用轻量前馈，换能器类用双向循环结构，统一用 50 轮、Adam、0.0001 学习率起步，并记录掩码与早停。第四步是按原文指标复算校准与区分，分别在同域与异域上报告，避免只报同域。关于开源，原文虽给出仓库地址，但本次未发现完成安全验证的资源绑定，因此只能说正文载明了地址，不能声称当前可用或已公开，复现应做好自行实现目标计算的准备。

何时值得尝试，一句话如何带走？

当你的识别器词表大、直接读最高概率明显虚高，且词错误中含有大量部分拼对的情况时，值得尝试 RanD 这类连续目标，因为它用名次保留相对信心，用距离保留分布形状，再经词内平均得到更细的监督。不值得盲目照搬的情形是删除错误占主导、低资源下表征很弱，或需要严格控制延迟与参数量的在线场景，因为这些边界在本文未验证。复述方法时抓住一条线：假设与后验先对齐到 token，再算排序与距离并加权平均，最后训练回归器输出词分数。

复述证据时抓住两点：同域多指标领先与异域仍保持相对优势，但绝对分数随域变难而下降。常见误解有三：把最大类概率当作已校准的置信度，把二值 0 分当作完全错误，把总体领先当作每项指标必胜，原文的分布图、部分正确讨论与个别接近项正好纠正这三点。带走的一句话是：不依赖绝对概率值而依赖名次与形状，可以在不改识别器的前提下得到更诚实的词级分数，但漏字与低资源仍需补新的验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总