📄 SITAR：从情景扭曲看语音识别错得有多严重
英文题目：SITAR: A Situational Distortion Metric for Automatic Speech Recognition Evaluation
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Mingzhe Lu：机构信息未能在本次解析中与作者逐人可靠绑定
- Jinhao Liu：机构信息未能在本次解析中与作者逐人可靠绑定
- Yunpeng Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Hang Su：机构信息未能在本次解析中与作者逐人可靠绑定
- Lichun Fan：机构信息未能在本次解析中与作者逐人可靠绑定
- Jian Luan：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
自动语音识别的输入是语音波形，输出是文本假设，难点是字面相近的错误可能带来完全不同的行动后果，例如时间、否定或执行指令的改变，而词错率只计编辑代价。论文定义情景扭曲为假设相对参考改变原话语所描述、确立或促成情形的程度，并构造名 SITAR 的轻量确定性评分器，输入参考与假设文本对，输出归一化分数，越低表示扭曲越小。构造先用受约束间隙划分把差异切成配对间隙，再把每个单间隙假设映射到表达不变、理解改变但预期结果不变、最终结果改变三层及方向边界位置。最后用有界递归公式把最重严重度与累计数量合成为统一目标，用以训练 DeBERTa-v3-large 回归器，推理时单次前向完成且无需大模型参与。在 LibriSpeech 多系统评测中同为 SITAR 分数的比较显示，whisper-small 为 0.1047，低于 wav2vec2-large 的 0.1344，评分输出归一化到 [0,1] 且训练目标区间为 [0,7/3)。在 VoxPopuli 多系统评测中同为 SITAR 分数的比较显示，wav2vec2-base 为 0.4084，降至 wav2vec2-large 的 0.3577，跟踪模型增大带来的改进趋势。结论适用于英文朗读与对话类转写质量比较，对否定位置与层叠口语冗余等受控改动仍有误序，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音识别评测要回答什么问题
语音识别的输入是一段音频，目标是输出与说话内容一致的文字，评测的输入则是参考文本与系统假设文本这 1 对文本，输出是一个分数，分数越低表示扭曲越小。初学者容易把评测等同于数错词，但论文强调的保留信息是话语带来的情景：这句话描述了什么事实、确立了什么安排、想要促成什么行动。举例来说，把出发时间从 fifteen 听成 fifty，字面上只差一个词，乘客却可能误机；而把 gonna 写成 going to，字面也有差异，却不改变安排。
好的指标要让这两种差异落在可比的同一尺度上，同时评分过程本身要稳定、可重复、成本可接受。论文把这个问题拆成 4 个依次回答的环节：测什么属性、以什么为零点、用什么公共尺度比较、用什么仪器实现。
现有路线从词错率的字面编辑计数，发展到命名实体词错率关注实体、语义距离比较句向量、再到用大模型直接打分或问答探针。词错率确定且便宜，但对同形不同后果的错误不敏感；语义向量能感到意思接近，却不直接回答后果是否改变；大模型评委理解力强，但每次调用都有计算开销，且提示与随机性会带来分数波动。论文的目标就是保留大模型的理解力，但把这种理解沉淀为离线构建的监督目标，最终仪器在运行时不再调用大模型。
已有指标在输入目标与运行阶段上有何不同
要公平比较，先对齐输入、目标、监督与运行阶段。词错率与字错率的输入都是参考与假设的词或字序列，目标是最小编辑代价下的对齐错误数，运行时无需模型，但惩罚是均匀的，不区分实体、时间、否定等关键程度。命名实体词错率把计分范围收窄到实体，输入相同，目标变为实体部分的错误，适合实体敏感场景，但仍是字面计数。语义距离与对齐语义距离的输入也是文本对，目标是嵌入相似度，运行时需要编码器，能捕捉整体意思接近，却不易说明后果是否改变。
问答式 AER 的输入同样是文本对，但目标是参考派生问题的答对率变化，需要在评分时多次调用大模型生成问题、分别作答再判断，理解更贴近使用后果，但缺少跨问题可比的刻度，且开销大。LASER 把小模型微调为打分器，运行时便宜，但其量表是对词级错误类别固定罚分再按长度归一，没有显式给后果分级，整体分仍是局部判断的统计汇总。论文的差异在于把基本单元定为配对缺口，把公共尺度定为三层情景后果加有界累计，把运行仪器定为只输出标量的回归器，三者在同一文本对上衔接。
词面相近但后果不同时该怎么比
论文举的核心困难是：两个转写错误在词面或语义上看起来差不多，对情景的扭曲却明显不同。教学例子是删除同一个否定词 not，但位置不同后果不同：在航班例子中改原因与改核心航班选择不是一回事，在会议例子中改午餐可用性与改是否参会也不是一回事。词错率在 4 个例子中给出相同值，语义相似度也可能把次序排反，因为它们没有把错误放回原话的意图结构里看。
因此问题不是再加一个加权求和，而是先定义可比性从哪里来。论文借用结果链思想，区分局限于直接结果的变化、改变后续理解但不改变预期结果的变化、以及改变高层后果的变化，落到话语上就是表达不同、理解变化但目的保留、最终结果改变。度量必须同时回答严重程度与累积范围：一个致命错误应主导分数，多个小错误的堆积也应被记录，但不能让一堆小错跳过一个更严重的等级区间。这是后继公式设计的约束来源。
SITAR 的整体流程是怎样的
整个构造可以沿着一个样本走一遍。输入是 1 对原始参考与假设，先做小写去标点归一化并保留回原文字符偏移的映射，再用受约束缺口划分找出有序配对缺口。每个缺口单独保留、其余缺口恢复为参考，构造出多个单缺口假设，这些单缺口对共享同一参考，用于排序与分级。离线阶段用大模型做 3 轮排序与分级并经委员会复核，得到每个缺口的名义等级与边界调整，再经有界递归聚合成一个标量目标。训练阶段把大量这种文本对与标量目标喂给 DeBERTa 回归器，推理阶段只输入参考与假设，1 次前向输出分数并裁剪归一到零到一，越低表示扭曲越小。
下图把上述六步放在一张总览里，左侧是缺口切分，中间是标注质控，右侧是量化与部署，读图时注意训练与推理的数据流是分开的。
看图路径： 1. 先看左上输入对，再顺着分解到合并的箭头看缺口如何形成；2. 再看中部排序与分级如何汇成一个最终分数；3. 最后对比训练阶段与推理阶段的输入输出差异
论文图 1。原论文 Figure 1:：“Overview of Sitar construction: CGD extracts paired gaps from transcripts, which are annotated for situational severity and aggregated into supervision targets to train the…”。
从像素可见，总览分为 6 个编号面板：面板 1 给出参考与假设的输入对，面板 2 用匹配长度动态规划与单调链选锚点，面板 3 把原子缺口合并为基本单元，面板 4 展示多轮排序与分级的一致性检查与委员会复核，面板 5 给出基础分加数量精修的最终分数形式，面板 6 对比训练阶段输入三元组与推理阶段只输入文本对、1 次前向无大模型的结构。这张图的作用是把离线重过程与在线轻仪器的分工说清楚，后文公式只解决面板 5 的聚合计算。
配对缺口是如何切出来又合并的
切分的第一步是找锚点。把归一化后的词序列记为成对区域，从整个对开始递归处理。在每个区域内用匹配长度动态规划找连续相同的词块，要求左极大且长度至少为二，常用虚词的偶然单字相同因此被抑制；若无候选则放宽到一，若仍无则该区域不再选锚点。候选按位置排序后，再用单调链动态规划选有序不重叠、累计匹配最长的链，并用前后向编辑距离过滤不在最小代价路径上的匹配对，连续匹配形成锚块，块之间、前后的子区域递归重复，直到无保留匹配的子区域形成原子缺口。
参考文本 × 假设文本： 参考文本是音频对应的正确文字实现，作为零扭曲锚点；假设文本是识别系统输出，偏离锚点的部分才被计分，二者配对输入是后继划分与回归的共同对象。
原子缺口可能把一个连贯局部差异切碎，例如共享词 search 把 gonna 与 the app 的差异分成两段。合并阶段只允许每边至多三词的候选碎片与相邻缺口合并，且中间匹配不跨信息边界、合并后每边至多一个谓词，再用后缀最少数目的动态规划求最小基数划分，平局取最大端点，最后投影回原文字符偏移得到有序配对缺口。原文例子正是把 gonna 与 the app 的两段原子缺口合并为一个基本单元。这种做法的代价是算法与约束较多，但好处是单元尊重信息结构且完全确定，可复现；代价的另一面是合并规则依赖谓词与边界判断，原文未给出跨语言的泛化证据。
受约束缺口划分 × 原子缺口： 原子缺口是先用共享词块作锚点切出的最小差异片段，受约束缺口划分再按信息边界把相邻碎片合并为基本偏差单元，前者保可复现，后者保语言完整性。
三层等级与有界累计如何给出统一分数
每个缺口先在自己的参考内排序，再投影到公共尺度。公共尺度设 3 个名义等级：T0 表示表达不同但情景保留，T1 表示听者对部分信息的理解变了但预期结果保留，T2 表示应做何判断、执行何动作或预期何结果发生了改变。名义分记为 0、1、2，相邻等级之间再分 2 个方向边界情形，起始等级给名义值，沿箭头方向加减三分之一，于是基础分取自 7 个位置。每个基础分拥有互不重叠的三分之一宽度的精修区间，总尺度为零到三分之七。
\[\beta\in\left\{0,\,0+1/3,\,1-1/3,\,1,\,1+1/3,\,2-1/3,\,2\right\}.\]记名义等级计数为各层缺口数，最高非空层决定名义最高层，基础分记录最严重调整位置，精修计数则在最高层减一以免重复计入最严重缺口，其余低层全部保留。最终分数为基础分加三分之一乘以递归聚合，递归从低层向高层逐层饱和累加，保证高层一个新增缺口胜过低层任意有限堆积，且分数不越出本区间。
\[S(r,h)=\beta+(1/3)\mathcal{Q}_{\rho}\bigl(\bar{c}_{0},\ldots,\bar{c}_{k_{\max}}\bigr).\]递归的具体形式是指数饱和，每层输出为一减去 rho 的幂，幂指数是本层精修数加下层结果，空集为零，参数 rho 取十的负六分之 1 次方，使 7 个同层缺口占满九成区间宽度，之后增量递减趋近上界但不到达。
\[\mathcal{Q}_{\rho}(\emptyset)=0,\qquad\mathcal{Q}_{\rho}(x_{0},\ldots,x_{k})=1-\rho^{\,x_{k}+\mathcal{Q}_{\rho}(x_{0},\ldots,x_{k-1})}.\]情景扭曲 × 三层后果等级： 情景扭曲指假设改变原话所描述、确立或促成之事的程度，三层后果等级把这种改变分为仅表达不同、理解变但目的不变、最终结果改变，等级给出严重度主序。
基础分 × 数量精修： 基础分由最严重缺口的位置决定区间，数量精修在区间内按各等级缺口个数做饱和累加，前者保高严重度优先，后者让多错比少错得分更高但不跳区间。
这种设计的实际含义是：单个 T0 缺口可得 0 分，多个 T0 缺口给出正但饱和的精修，记录口吃、重复等表达堆积而不改变名义判断；跨等级比较时先看最高层数，再看次高层，依此类推。附录用枚举验证了 7 个以内全部非空计数组合的界与字典序，理论界对任意有限数成立。
监督目标是如何标注与扩充的
监督语料主要来自 AppTek 呼叫中心对话的切片与 FLEURS 英语朗读，共 34997 段 16 kHz 语音，参考文本长度中位数分别为 18 与 20 词。用 4 种识别系统转写同一音频，使同一参考关联不同自然错误，初选 8038 对并平衡系统与口音，覆盖 9 种英语口音与 16 个服务域。标注先用 DeepSeek 做 3 轮排序与分级，要求排序与分级自洽，否则整对丢弃；再取多数等级，若某缺口无多数则整对丢弃；最后用四智能体委员会复核，若多数与复核差超过 1 级或异议轮差超过 1 级则丢弃。保留对的复核等级定名义分，多数与复核之差的符号定边界调整，最高调整位置定基础分，余下按复核等级计数做精修。
下图先看监督数据的域覆盖，读图时注意纵轴是线性且总数为 6038 对。
看图路径： 1. 先看横轴 16 个服务域与纵轴线性；2. 再比较娱乐与农业等柱高差异
论文图 2。原论文 Figure 2:：“Domain distribution of the 6,038 selected AppTek pairs.”。
从像素可见，横轴为农业、航空、银行等 16 域，纵轴为线性，每柱标注数量与占比，娱乐 580 对占 9.61% 最高，能源 239 对占 3.96% 较低，其余多在 250 到 500 之间，说明对话域覆盖较广但不完全均匀，金融等域相对较少，这会影响严重错误类型的自然频率。
候选语料的原始统计如下表所示，比较问题是两来源的时长与文本长度是否可比，表中同时给出均值与分位数，读数时注意音频单位为秒，文本为词数。
| Type | Source | N | Mean | P25 | P50 | P75 | P95 |
|---|---|---|---|---|---|---|---|
| Audio | AppTek_Clip | 31,354 | 10.77 s | 3.14 s | 7.66 s | 15.90 s | 31.79 s |
| Audio | FLEURS_en | 3,643 | 10.19 s | 7.68 s | 9.66 s | 11.88 s | 16.90 s |
| Transcript | AppTek_Clip | 31,354 | 24.26 | 8 | 18 | 34 | 70 |
| Transcript | FLEURS_en | 3,643 | 21.21 | 16 | 20 | 25 | 34 |
AppTek 切片平均 10.77 秒、参考平均 24.26 词，FLEURS 平均 10.19 秒、参考平均 21.21 词，时长接近但 AppTek 文本更长尾，95 分位达 70 词，说明口语对话的变异更大。限制是这只是候选池描述，不是最终标注分布，不能直接当作训练难度的证据。
论文报告对至少三缺口的文本对做选择性纠错，保持最高等级并重算分数，新增 3763 对，训练集由 6436 增至 10199，加验证与测试共 12347 对，稀疏区间再复制 1 次上采样。需要披露计数缺口：原文初选 8038 对，但增强前训练、验证、测试分别为 6436、856、1292 对，合计 8584 对，比初选多 546 对；封存原文未解释这部分来源，不能将初选、过滤与划分理解为数量已闭合的流程。下图展示原始与新增在 0.1 宽度分箱上的分布，读图时区分条纹与深色堆叠。
看图路径： 1. 先区分条纹原始对与深色新增对的堆叠关系；2. 再看低分与高分区间哪侧新增更多
论文图 3。原论文 Figure 3:：“Distribution of unique training pairs across supervision score bins (width 0.1).”。
从像素可见，横轴为原始监督分，纵轴为计数，0.2 附近原始加新增合计超 1400，0.6 与 0.8 附近各超 1000，而 1.0 与 2.2 附近明显稀疏，新增主要补在 0.2 到 0.8 与 1.6 到 2.0，说明扩充缓解但未完全抹平不均。
下图展示全部 12347 对归一化后的 246 个离散值分布，读图时注意上方面本数与下方离散位置的对应。
看图路径： 1. 先看上方面本数随归一化分数的峰谷分布；2. 再看下方 246 个离散值的位置与中位间隔
论文图 4。原论文 Figure 4:：“Normalized supervision scores across all 12,347 pairs.”。
从像素可见，上方面本数在 0.1 到 0.3 形成高峰，0.7 附近有次峰，中间 0.4 到 0.6 稀疏，下方离散条在低分密集、中段稀疏，标注中位间隔 0.0023，原图注称虚线标出归一化基础分区间边界，但当前图中无法辨认这些虚线，说明名义等级相同也能因组合不同得到细粒度伪连续分数，但分数密度不均仍是训练需要面对的条件。
离线大模型标注 × 轻量回归器： 离线大模型标注只在构建监督目标时做排序与分级并经一致性过滤，轻量回归器则只学最终标量分数，评分时 1 次前向完成，前者提供理解能力，后者去掉运行时的大模型依赖。
回归器用什么输入与损失来学习标量目标
最终仪器用 microsoft/deberta-v3-large 联合编码参考与假设，句对输入最长 512 词元，不加显式缺口标记，末层经 1 层双向 LSTM 再掩码平均池化，经 0.1 丢弃后接标量头与 6 阈值序数头，只用标量头做预测。优化目标是均方误差加 0.2 倍边界损失加 0.5 倍序数损失，序数阈值为 1/3、2/3、1、4/3、5/3、2，边界网格由这些阈值按 rho=10^{-1/6}、q=2 细分得到 14 个细区间，预测落入目标区间则边界损失为 0，落外则二次增长。编码器全量微调，编码器学习率 6×10^{-6}，池化与头为 10^{-4}，5% 线性热身后余弦衰减到峰值的 10%，批量 8 累积 4 步，最多 10 轮，以验证均方误差选检查点与早停，耐心为 3 次验证检查，5 个种子 42 到 46 重训后仍以验证误差选出种子 46。
推理时把原始预测裁剪到 0 到 7/3 再除以 7/3，得到 0 到 1 归一化分，越低扭曲越小。
\[\widehat{S}(r,h)=\frac{\operatorname{clip}\left(f_{\theta}(r,h),\,0,\,7/3\right)}{7/3}.\]消融显示 LSTM 池化在种子 42 下测试均方误差 0.129790 优于首词元与平均池化，加边界与序数损失的组合把 5 种子均值从 0.134565 降到 0.127040，显式缺口标记与冻结编码器均未带来改进，增加可训层数总体降低误差，全量微调最优。这些是回归目标拟合的证据，不是外部有效性的证据，需要与后文跨数据集行为分开理解。
跨数据集与受控集分别测什么
外部评测用 FLEURS 英语测试 647 句、LibriSpeech 测试集 2611 句、VoxPopuli 英语 1830 句，每系统每集独立打分后算术平均，共 21 个系统数据集组合 35616 对，比较 7 个系统：5 种 Whisper 从 tiny 到 large 加 wav2vec2 base 与 large。基线包括词错率、命名实体词错率、BERTScore、语义距离与 AER，其中 AER 用原论文报告分，SITAR 用冻结的种子 46 单次前向分。监督只用过部分 FLEURS 训练集与 Whisper-large-v3 的部分错误输出，LibriSpeech、VoxPopuli 与其余系统输出未参与监督，这是判断泛化的前提。
受控集为 30 参考各 11 变体共 330 对，覆盖金融、文化体育、公共事务、服务与一般交流，每参考固定 4 个编辑：两个表达层 T0、一个 T1、一个 T2，通过子集组合得到 11 种构成。2 位博士生独立标 120 个父缺口，缺口一致 90.00%、对级别 81.21%、kappa 0.8396，加权后更高，争议多在相邻层；不一致时用构造时的模型类别票决，最终 60 个 T0、31 个 T1、29 个 T2。排序协议按各层计数向量字典序比，T2 优先，其次 T1 再 T0，预测分用同样裁剪归一，严格要求更严重者分数更高，平局不算对。需要注意 30 参考是从 35 候选中按 T2 族与 T1 族均分差异选出的 30 个，因此 T1 与 T2 的分离程度受选择标准影响，不能当作随机抽样的无偏估计。
在大模型扩展趋势上各指标给出什么排序
要回答的比较问题是：当系统能力随规模扩大而提升时，SITAR 是否与已有指标同向变化，以及在窄区间内能否拉开区分度。公平条件是同一文本集、同一系统输出、同一聚合平均，指标方向为词错率、语义距离、AER 与 SITAR 越低越好，BERTScore 越高越好。
| Model Name | Dataset | WER | NE-WER | BERTScoreF1 | SemDist | AER | Sitar |
|---|---|---|---|---|---|---|---|
| whisper-tiny | fleurs_en | 0.1446 | 0.6500 | 0.9437 | 0.0711 | 0.2478 | 0.3872 |
| whisper-base | fleurs_en | 0.1150 | 0.5500 | 0.9516 | 0.0558 | 0.2015 | 0.2999 |
| whisper-small | fleurs_en | 0.0711 | 0.4250 | 0.9585 | 0.0457 | 0.1586 | 0.2113 |
| whisper-medium | fleurs_en | 0.0671 | 0.3167 | 0.9610 | 0.0421 | 0.1508 | 0.1590 |
| whisper-large | fleurs_en | 0.0465 | 0.3000 | 0.9621 | 0.0410 | 0.1477 | 0.1388 |
| wav2vec2-base | fleurs_en | 0.2016 | 0.7750 | 0.8709 | 0.0855 | 0.2393 | 0.3670 |
| wav2vec2-large | fleurs_en | 0.1719 | 0.7917 | 0.8752 | 0.0651 | 0.2301 | 0.3247 |
| whisper-tiny | librispeech | 0.0816 | 0.2348 | 0.8890 | 0.0828 | 0.3009 | 0.2257 |
| whisper-base | librispeech | 0.0558 | 0.1927 | 0.8912 | 0.0776 | 0.2897 | 0.1631 |
| whisper-small | librispeech | 0.0397 | 0.1569 | 0.8927 | 0.0738 | 0.2600 | 0.1047 |
| whisper-medium | librispeech | 0.0324 | 0.1356 | 0.8927 | 0.0729 | 0.2637 | 0.0818 |
| whisper-large | librispeech | 0.0233 | 0.1199 | 0.8924 | 0.0672 | 0.2540 | 0.0634 |
| wav2vec2-base | librispeech | 0.0356 | 0.1205 | 0.9902 | 0.0183 | 0.2696 | 0.1585 |
| wav2vec2-large | librispeech | 0.0290 | 0.1136 | 0.9918 | 0.0149 | 0.2643 | 0.1344 |
| whisper-tiny | voxpopuli | 0.1387 | 0.3580 | 0.9583 | 0.0482 | 0.4723 | 0.3157 |
| whisper-base | voxpopuli | 0.1149 | 0.2716 | 0.9628 | 0.0397 | 0.4505 | 0.2532 |
| whisper-small | voxpopuli | 0.1025 | 0.1481 | 0.9660 | 0.0346 | 0.4567 | 0.1984 |
| whisper-medium | voxpopuli | 0.0920 | 0.1605 | 0.9675 | 0.0312 | 0.4739 | 0.1701 |
| whisper-large | voxpopuli | 0.1084 | 0.1605 | 0.9651 | 0.0406 | 0.4345 | 0.1684 |
| wav2vec2-base | voxpopuli | 0.2247 | 0.7407 | 0.8754 | 0.1334 | 0.4387 | 0.4084 |
| wav2vec2-large | voxpopuli | 0.1876 | 0.6914 | 0.8799 | 0.1017 | 0.4366 | 0.3577 |
以 VoxPopuli 上 wav2vec2-base 到 large 为例，SITAR 从 0.4084 降到 0.3577，与词错率从 0.2247 降到 0.1876 同向；在 LibriSpeech 上 whisper-small 的 SITAR 为 0.1047，优于 wav2vec2-large 的 0.1344，但词错率、命名实体词错率、BERTScore 与语义距离的排序都相反，AER 与 SITAR 一致；在 FLEURS 上 whisper-tiny 的词错率优于 wav2vec2-large，但 SITAR 为 0.3872 差于 0.3247。数值跨度上，现代系统下词错率与语义距离多在 0.1 以下、BERTScore 在 0.9 到 0.99 之间，SITAR 分布在 0.06 到 0.40，与命名实体词错率和 AER 一样更分散。限制是 AER 与 SITAR 的数据子集不完全一致，VoxPopuli 上七系统秩相关为负 0.1071，说明细粒度排序并非处处一致；SITAR 更大的跨度是自身 severity 规则的分离，不是均匀放大 AER。
受控构成下分数是否落在稳定区间
要回答的比较问题是：同一构成在不同参考下是否映射到一致的严重度区域，以及增加表达层缺口是否只做小幅精修。条件是固定编辑文本与位置，只改变组合，分数为归一化 SITAR。
| Construction profile | Mean | Median | Standard deviation | Central 50% | IQR |
|---|---|---|---|---|---|
| 𝒯0 | 0.0813 | 0.0763 | 0.0491 | [0.0575, 0.0986] | 0.0411 |
| 2𝒯0 | 0.1268 | 0.0946 | 0.0791 | [0.0848, 0.1269] | 0.0420 |
| 𝒯1 | 0.5175 | 0.5131 | 0.1634 | [0.3907, 0.6414] | 0.2506 |
| 𝒯1+𝒯0 | 0.5181 | 0.5032 | 0.1629 | [0.3873, 0.6512] | 0.2639 |
| 𝒯1+2𝒯0 | 0.5324 | 0.5268 | 0.1672 | [0.3921, 0.6740] | 0.2819 |
| 𝒯2 | 0.6612 | 0.6807 | 0.1344 | [0.5711, 0.7602] | 0.1891 |
| 𝒯2+𝒯0 | 0.6664 | 0.6807 | 0.1343 | [0.5889, 0.7684] | 0.1796 |
| 𝒯2+2𝒯0 | 0.6718 | 0.6933 | 0.1404 | [0.5747, 0.7766] | 0.2019 |
| 𝒯2+𝒯1 | 0.6974 | 0.7334 | 0.1282 | [0.6570, 0.7784] | 0.1214 |
| 𝒯2+𝒯1+𝒯0 | 0.6988 | 0.7346 | 0.1305 | [0.6448, 0.7828] | 0.1380 |
| 𝒯2+𝒯1+2𝒯0 | 0.7004 | 0.7409 | 0.1364 | [0.6536, 0.7902] | 0.1365 |
纯 T0 均值 0.0813、中位 0.0763、四分位距 0.0411，双 T0 均值 0.1268、中位 0.0946，说明表达层稳定在低分区；T1 均值 0.5175、T2 均值 0.6612，中心上移且更分散；T2 加 T1 均值 0.6974、中位 0.7334 且四分位距收窄到 0.1214，位置更高而离散更小。固定 T1 与 T2 构成时加两个 T0，例如 T2 加 T1 到 T2 加 T1 加双 T0，均值仅增加 0.0030、标准差增加 0.0082，符合表达差异只做适度精修的预期。限制是构成标签为构造计划标签，其中参考 13 的一处 T2 已被双人改为 T1，跨参考分布仍按原计划分组，排序分析才用最终标签；且参考经过预测筛选，T1 与 T2 族的分离不宜外推到随机参考。
同层缺口数增加时精修如何饱和
要回答的问题是：在最高等级与基础分固定时，增加同层缺口数会带来多大增量，以及高层一个缺口是否胜过低层堆积。条件是 rho 取十的负六分之 1 次方，精修宽度为三分之一，分数为未归一化的原始监督分。下表截取同层 1 到 5 个缺口的精修与增量，完整表从 1 到 11，第 7 个达 0.9。
| Gaps nn | Refinement RnR_{n} | Score increment Rn/3R_{n}/3 |
|---|---|---|
| 1 | 0.000000 | 0.000000 |
| 2 | 0.318708 | 0.106236 |
| 3 | 0.535841 | 0.178614 |
| 4 | 0.683772 | 0.227924 |
| 5 | 0.784557 | 0.261519 |
1 个缺口精修为 0，2 个为 0.318708 对应增量 0.106236，5 个为 0.784557 对应 0.261519，增量逐次乘以 rho 而递减，趋近三分之一但有限数下不到达。论文另给跨层对比：基础分为 1 时，一个 T1 加 6 个 T0 得约 1.097351，两个 T1 无低层得约 1.106236，后者更高，验证了高层优先的字典序。未胜出项是跳过空中间层会算错，例如构成 2、0、1 若跳过空 T1 会得 2.061957 而正确为 2.022949，说明空层仍须参与递归；F4 的累积冗余例子中 SITAR 从 0.330 微降到 0.321，表明对表达堆积的响应是有限且非严格单调的，不能承诺每加一处必涨。
哪些结论只在给定条件下成立
宏观趋势的成立条件是英语朗读与对话的 3 个数据集、七系统的平均行为，不能推广到中文等多语或长尾口音，因为监督与评测均为英语，且 AppTek 域分布不均。微观诊断的成立条件是同一文本集与平均分的比较，SITAR 更大的跨度只说明在这些系统对上有更好的数值分离，不等于误判率或延迟会改善，论文也未测量推理成本与帧率。受控排序的成立条件是 30 个经筛选的参考与固定编辑，平均每参考一致率 84.07%、平均斯皮尔曼 0.8001，文化域 88.48% 最高、服务域 80.00% 最低。
按最高差异层分组，T2 差异一致 91.15%、T1 为 83.44%、仅 T0 数量差异为 65.03%，说明大严重度更稳，小精修更易错。参考 27 的例子显示纯 T0、T1、T2 得 0.0274、0.3204、0.7573 分离清晰，但含双 T0 的变体 0.7952 反超含 T1 的多缺口变体，说明组合排序仍有失败例。附录的否定删除例子显示词错率 4 例同为 0.0526 而 SITAR 把核心事件排更高，但那是独立小案例，不能当作整体优于语义指标的证明。
复现第一步要准备什么
复现先分清三件事：论文说内部评审后公开代码、权重与数据集，但本次证据未发现可用链接，因此不能写已公开或可下载；权重可得、代码可跑、系统可部署是三件独立的事，需分别确认。第一步是按原文重建配对缺口与分数计算：实现小写去标点归一化与字符偏移回投，按最小块长二、空则放宽到一的锚点规则与单调链、编辑路径过滤得到原子缺口，再按每边至多三词、至多一谓词的合并约束做最小基数划分；随后按名义 0、1、2 与三分之一边界调整定基础分，用 rho 为十的负六分之 1 次方的递归做数量精修，空层不可跳过，无缺口单独记零。
第二步是回归器：用 DeBERTa-v3-large、句对 512 截断、无缺口标记、单层双向 LSTM 加掩码平均、标量与六阈值序数双头，损失权重 1.0、0.2、0.5，编码器与新层分别用 6 乘 10 的负 6 次方与 10 的负 4 次方，5% 热身后余弦衰减，验证均方误差选点。外部评测需冻结单一种子、单次前向、裁剪归一后再按系统数据集平均，不应把验证选种子的最优值当作部署可得的提升，oracle 与事后最优需另行标注。还需补的验证包括随机参考下的受控排序、多语与噪声条件下的稳定性，以及与人工风险标签的一致性，因为现有人工一致性只在 120 个父缺口上测量。
什么时候值得尝试 SITAR
当词错率已挤在窄区间而仍需区分错误后果时值得尝试，例如同样删一个 not，原因错误与航班选择错误应得不同分；当需要低成本常规评测而不想每次调用大模型时也值得尝试，因为标注成本已沉淀在离线目标里，在线只有编码器前向。但若任务只关心字面保真或实体召回，词错率与命名实体词错率更直接；若需要可解释的问答证据，AER 的问题答案链更直观，只是要付出 4 次大模型调用的代价。
使用时记住它的刻度含义：归一化分越低扭曲越小，T0 族多在 0.1 以下，T1 中位约 0.51，T2 中位约 0.68，T2 加 T1 中位约 0.73，加 T0 只带来千分之几的变化；跨数据集比较需固定文本集与聚合方式，不同指标的差值不可混入模型列。论文的价值在于给出从缺口划分、公共尺度到轻量仪器的完整可复现链条，而不是宣称全面取代现有指标，实际采用前应在自己的域与系统上重测排序与分离，并报告未胜出的对比与失败范围。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses