英文题目：Alignment-Path Distillation from Non-streaming ASR-LLMs for Streaming Speech Recognition
标签：#语音识别 | #知识蒸馏 | #流式处理 | #大语言模型
评分：6.9/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Yan Jia：机构信息未在 arXiv HTML 中可靠披露
- Kai Huang：机构信息未在 arXiv HTML 中可靠披露
- Junjie Chen：机构信息未在 arXiv HTML 中可靠披露
- Feng-Long Xie：机构信息未在 arXiv HTML 中可靠披露
- Xu Tang：机构信息未在 arXiv HTML 中可靠披露
- Yao Hu：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
本文针对交错式大语言模型（Large Language Model, LLM）流式语音识别中外部强制对齐（Forced Alignment, FA）与模型自身注意力不一致，导致文本令牌被分到错误音频块的问题，研究输入为分块语音流、输出为增量转写文本的低延迟识别任务。方法冻结非流式教师，取其末层LLM全部注意力头平均并在音频维做Softmax得到文本到音频对齐矩阵，对峰值低于0.30的行以MMS强制对齐分布替换，再经全局单调锚点搜索为每个文本单元选严格递增音频锚点并换算为时间戳，以此构造学生交错训练序列。随后在该序列上联合优化交叉熵、温度为2的逻辑分布（Logit）蒸馏与经辅助解码块变换后的隐藏状态余弦蒸馏，使学生同时学习对齐结构、输出分布与内部表示。与依赖外部CTC对齐的已有交错系统不同，该机制复用教师内生文本到音频注意力作为时序监督，允许跳过冗余音频位置。在AISHELL等6个中英文测试集上，无Logit与隐藏蒸馏时聚合错误率从9.35%降至8.86%，相对降低5.2%；叠加两路蒸馏后从8.12%降至7.80%，相对降低3.9%，完整框架相对无蒸馏FA基线降低16.6%。适用边界是教师注意力可靠且经置信度回退校正的场景，无回退时聚合恶化至11.55%，在WeNetSpeech会议集与LibriSpeech上显著退化，与非流式教师3.99%仍有约一倍差距，且延迟相近但闪烁（Flicker）更高。训练在32卡上进行5轮并联合更新编码器与Qwen2-1.5B，推理仅用因果流式学生，每240 ms音频块最多生成7个令牌。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，为什么流式更难？
这篇论文研究的输入是整句语音的声学特征，目标是输出对应的文字转写，评价用中文字符错误率和英文词错误率。非流式系统可以看到整句音频再生成文字，而流式系统必须随着音频块到达交替地读音频和写文字，每个文字只能利用已经到达的音频块和之前的文字。
对刚入门的读者，关键依赖是声学上下文决定了预测难度。如果一个词被安排在它对应的语音到来之前就要预测，模型只能猜；如果安排得太晚，延迟就会变大。因此如何把参考文本切分并挂到固定时长的音频块之后，直接决定了每个词预测时可见的证据量。
论文把这种按块交错组织输入的方式作为基本架构。语音编码器提取声学特征，投影层降采样并映射到大模型嵌入空间，大模型输入是音频嵌入和文本嵌入交替排列的序列。编码器使用块受限注意，大模型使用因果注意，保证不会偷看未来音频块。解码时每个新音频块编码投影后追加到每个束搜索假设的历史中，大模型自回归扩展假设，每块限制最多生成 7 个词。每次更新展示当前最高分假设，若最佳假设变化就会改写已显示文本，这就是后文要度量的闪烁。
本解读的输出目标是让读者能复述方法的构造步骤、训练损失、实验条件与主结论，并清楚区分论文直接报告的数字、有限解释与未验证的推测。所有数字与条件只依据论文原文证据，不引入外部经验值。
同任务有哪些路线，为什么还要从教师那里学对齐？
在同输入同目标的流式识别路线中，论文提到了几条代表性做法。语音 ReaLLM 用外部联结时序分类模型的对齐来交错语音与文本嵌入，并预测空白符号以等待下一个语音嵌入。语音大模型超长上下文版本按块处理音频，并用编码器联结时序分类输出的强制对齐切分训练文本。贝斯托类方法使用流式读写策略。另一条解码器路线结合联结时序分类压缩与前缀训练。统一语音识别则用一个基于大模型的模型同时做流式与非流式识别。
在同监督目标的蒸馏路线中，已有工作通过生成文本、软输出分布和隐表示把非流式教师的监督传给流式学生，也有联合训练流式与非流式分支以传递全上下文知识。更贴近时间对齐的工作包括对齐换能器后验峰、补偿流式与非流式输出的时间偏移、把联结时序分类词边界传给单调注意，或沿教师对齐路径蒸馏输出分布以及蒸馏对齐分布本身。
本文的差异在于监督对象不是只换预测目标或表示目标，而是换训练序列本身的词到块分配。论文明确指出，对交错式语音识别大模型，词到块分配不受 logit 或隐状态损失单独决定，必须另行构造。动机是来自独立声学模型的对齐可能与基于大模型的语音识别学到的对齐不一致，因此作者选择从非流式语音识别大模型教师自身的文本音频注意中提取对齐路径，再叠加 logit 与隐状态蒸馏。
要解决的具体矛盾是什么？
具体矛盾是训练序列构造所依赖的对齐来源与模型实际使用的对齐机制脱节。一方面，交错训练需要每个文本单元的时间戳以决定它跟在哪一块音频之后；另一方面，常用做法是用独立的多语言强制对齐器生成这些时间戳，而大模型在预测时真正依赖的是自身的文本音频注意力。
如果两套对齐不一致，学生可能在训练时被迫用不匹配的声学上下文预测某个词。例如教师注意力已经表明某个词需要更靠后的音频证据，但强制对齐却把它挂在了更早的块后，交叉熵就会惩罚一个在给定上下文下本不该做出的预测。论文要验证的是，把教师自己的注意力路径拿来重排学生的交错序列，能否在不改变解码结构的前提下降低错误率。
这是一个方法选择问题，不是单纯增大模型或增加数据。论文固定了编码器、投影层、大模型结构与训练数据，只改变对齐来源与是否加入 logit 和隐状态监督，从而把收益归因到对齐与蒸馏设计上。
整体框架如何组织，谁只在训练时出现？
整体流程可以沿一个样本走一遍。先有一条完整语音和对应参考文本。冻结的非流式教师读入完整音频和文本，抽取每个文本词对音频嵌入的注意力，得到对齐矩阵。不可信的行用强制对齐分布替换，再做全局单调锚点搜索，得到每个文本单元的音频锚点。锚点换算成时间戳后，把参考文本按固定时长音频块切分，形成交错的学生训练序列。
学生是流式模型，用流式掩码编码器按块读音频，按上述教师路径决定的块后文本做交叉熵训练。同时，教师在对应目标词预测位置提供软分布做 logit 蒸馏，提供内部表示做隐状态蒸馏。隐状态比较前先经过每层独立的辅助解码块变换。
需要记住的运行边界是教师和辅助块只在训练时使用，推理只用学生模型。学生参数初始化自同一个非流式语音识别大模型，论文图注用点划线箭头表示这种初始化关系，虚线箭头表示 logit 与隐状态蒸馏。官方原图本次没有提供可用像素，因此这里只依据正文与图注转述模块关系，不描述图中坐标、颜色或曲线位置。
参数更新方面，编码器、投影层和大模型联合更新，不使用低秩适配。教师参数在整个学生训练中保持冻结。辅助块随机初始化并参与训练，推理时移除，从而训练时可以利用后文信息做桥接而不破坏推理时的因果性。
教师注意力如何变成单调对齐路径？
第一步是注意抽取。论文从非流式语音识别大模型教师的最后一个大模型层抽取每个文本词对音频嵌入的注意分数，并在全部注意力头上平均，再对音频位置做归一化，得到对齐矩阵。矩阵行数是文本词数，列数是音频词数，每一行就是一个文本词在音频上的注意分布。文本词对应大模型的建模单元。
第二步是基于置信度的强制对齐回退。设某文本词的最大注意概率为峰值，若峰值低于阈值，则认为该行注意力分散不可靠，用强制对齐分布替换该行，否则保留原注意力行。论文把阈值设为 0.30，并报告在该阈值下训练数据中有 59.44% 的对齐单元在单调搜索前被回退。回退的目的是处理复杂声学条件和英文功能词注意力分散等情况。
\[\widetilde{A}_{i,:}=\begin{cases}A^{\mathrm{FA}}_{i,:},&s_{i}<\theta_{\mathrm{FA}},\\ A_{i,:},&\text{otherwise}.\end{cases}\]上式中波浪线矩阵是替换后的对齐矩阵，右上标表示强制对齐分布，阈值判断只看原注意力行的峰值。符号输入是教师注意力与强制对齐分布，计算目标是得到更可靠的行分布，为后续全局搜索提供输入。
单调锚点搜索 × 置信度回退： 置信度回退负责判断教师注意力峰值是否可信，过低则用强制对齐分布替换该行；单调锚点搜索负责在替换后的矩阵上为所有文本单元联合求解严格递增的音频锚点。搭配理由是独立取峰值可能非单调且早期错误会向后传播，而注意力在复杂声学或功能词上可能分散；先替换不可靠行再全局优化，可以同时处理局部不可信与全局时序约束。
第三步是全局单调锚点搜索。独立取每行峰值可能得到非单调锚点，事后取累积最大值又会把早期错误传播到后续单元。论文借鉴单调对齐搜索思想，对全部锚点联合优化，要求音频位置严格递增，每个文本单元选一个声学锚点，允许跳过某些音频位置。这与把每 1 帧都分配给某个文本单元的时长路径不同。
\[\mathbf{e}^{*}=\arg\max_{0\leq e_{0}<\cdots实现上用动态规划递推求解，前缀最大值及其索引使复杂度为文本长度乘音频长度，回溯最佳末行位置即可恢复锚点序列。递推形式在原文中明确给出，但本节已用联合优化目标表达核心计算，递推只是高效求解该目标的具体步骤。
交错式语音文本序列 × 强制对齐： 交错式语音文本序列负责决定每个文本词在哪个音频块之后出现，从而决定预测该词时可见的声学上下文；强制对齐负责给出每个词的时间戳以切分参考文本。两者搭配的原因是流式模型必须按块交替读入音频和生成文本，没有词到块的分配就无法构造训练输入；组合意义在于分配方式直接改变了因果可见域，错误的切分会让模型在声学证据不足时被迫预测。
交错序列与因果约束如何配合？
得到锚点时间戳后，构造交错序列的操作是直接的。语音按固定时长切块，每块音频嵌入之后跟上分配到该块的参考文本，文本段可以为空。大模型输入形如音频一块、文本一段、音频二块、文本 2 段依此类推。大模型对每个文本词的预测条件是已有的音频嵌入和之前的参考词，交叉熵只在目标文本词上计算。
因果约束分两处实现。编码器侧是块受限注意，不允许访问后续音频块；大模型侧是因果注意，保证预测当前位置时只能看到已到达的音频与文本。这种约束在训练和推理时都要保持，否则流式评估就没有意义。
举一个教学例子帮助理解，但例子中的数值只是示意而不代表论文数据。假设某句被切成三块，教师路径把前两个词的锚点落在第一块的时间范围内，第 3 个词落在第二块，则训练序列就是音频一后跟前两个词，音频二后跟第 3 个词，音频三后跟空文本。预测第 3 个词时模型可见音频一和音频二，但看不到音频三。如果改用强制对齐把第 3 个词提前到音频一之后，模型就要在缺少关键证据时预测，训练信号就会不一致。
对齐路径蒸馏 × logit 蒸馏： 对齐路径蒸馏分工是改变训练序列本身，即决定文本词跟在哪一块音频之后；logit 蒸馏分工是在已固定的序列上让学生在对应预测位置模仿教师的输出分布。搭配理由是只改序列不改目标分布只能改变可见上下文，只做 logit 模仿则不能纠正上下文错位；组合后序列提供更一致的声学条件，分布提供更平滑的监督，两者作用在不同层面。
推理时的交替过程是音频处理与文本生成轮流进行。每到达一块音频，先编码投影并追加到每个束假设的历史中，再自回归扩展假设，每块最多 7 个词。展示的是当前最高分假设，因此最佳假设切换会改写已显示文本，这正是闪烁的来源。
闪烁 × 平均发射延迟： 闪烁分工是度量相邻部分假设之间的修订量，反映流式显示的稳定性；平均发射延迟分工是度量输出时间戳相对强制对齐参考终点的滞后，反映实时性。搭配原因是只看错误率无法区分稳定但稍慢与准确但频繁改写的系统；两者结合才能判断教师对齐带来的识别收益是否以显示不稳定为代价。
在路径决定的序列上加哪两项蒸馏损失？
论文强调学生与教师使用相同的大模型结构、分词器和目标文本，因此尽管语音文本序列版式不同，目标词可以一一对应。设对应预测位置对的集合包含全部目标词，集合大小为目标词数。在此集合上计算两项蒸馏损失，再与交叉熵相加。
第一项是 logit 监督。教师与学生在温度缩放后的输出分布之间计算散度，按目标词数平均并乘以温度平方。温度在实验中设为二。直观理解是教师分布比硬标签包含更多类别间相似信息，学生在相同目标词位置模仿该分布可以获得更平滑的监督。
\[\mathcal{L}_{\mathrm{logit}}=\frac{\tau^{2}}{N}\sum_{i\in\mathcal{P}}D_{\mathrm{KL}}\left(p_{i}^{T,\tau}\,\|\,p_{i}^{S,\tau}\right),\]上式中符号输入是教师与学生在对应预测位置的温度分布，计算目标是拉近两者分布。原文未给出超出该式的额外梯度截断说明，因此这里不猜测是否对教师侧停止梯度，只按教师冻结的事实说明教师不更新。
第二项是隐状态监督。在选定的大模型层上，对每个对应目标词预测位置比较教师隐状态与经辅助块变换后的学生隐状态，用余弦距离度量。论文选定的层为第七、第十四、第二十一和第二十八层，每层有独立的随机初始化辅助大模型解码块。辅助块在学生序列上使用双向自注意，只屏蔽填充，可以在训练时看到后方音频与文本位置，推理时移除。
\[\mathcal{L}_{\mathrm{hid}}=\frac{1}{|\mathcal{S}|N}\sum_{\ell\in\mathcal{S}}\sum_{i\in\mathcal{P}}\left[1-\cos\left(g_{\ell}(\mathbf{H}^{S}_{\ell})_{i},\mathbf{h}^{T}_{\ell,i}\right)\right],\]上式中集合表示选定层，符号输入是学生各层表示经对应辅助块变换后的向量与教师对应层向量，目标是最大化余弦相似度。辅助块的作用是先做空间对齐再比较，避免直接拉近全上下文与流式上下文下的表示。
完整训练目标是三项加权求和，权重分别控制 logit 项与隐状态项。论文对强制对齐与教师对齐权重分别选择，具体数值在后文实验条件表中交代，这里先记住权重不是固定的，而是按对齐来源分别调优后比较。
\[\mathcal{L}=\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{logit}}+h\mathcal{L}_{\mathrm{hid}}.\]上式中第一项是交错序列上的交叉熵，第二第三项是上述两项蒸馏。教师与辅助块只在训练时使用，推理只用学生模型。
隐状态蒸馏 × 辅助解码块： 隐状态蒸馏负责约束对应目标词预测位置的内部表示接近教师表示；辅助解码块负责把学生表示先做 1 次可学习的变换再与教师比较。搭配原因是流式学生与全上下文教师的表示空间并不直接可比，硬性拉近可能破坏流式因果结构；辅助块在训练时允许双向注意以桥接上下文差异，推理时丢弃从而保留因果学生路径。
数据、模型、配置与指标如何固定以保证可比？
训练数据包括中文的爱谢尔、维网语音和科语音，以及英文的自由朗读语音和 1000 小时级英文语音，所有系统使用相同训练数据。评估列出 6 个测试集，分别覆盖上述来源的不同子集。聚合错误率是跨 6 个测试集报告的总体错误率，中文用字符错误率，英文用词错误率。
模型方面，所有系统使用流式卷积增强 Transformer 编码器、时间降采样投影层和 1500000000 参数的通义千问二代大模型，均从同一个在相同中英文数据上训练的非流式语音识别大模型初始化。该非流式模型在训练这些数据前，其编码器与投影层用火红语音识别二代的预训练参数初始化，并作为蒸馏目标在学生训练中冻结。编码器、投影层和大模型联合更新，不使用低秩适配。训练 5 轮，使用 32 卡，优化器为亚当，初始学习率为千分之一，基于平台期的学习率调度，梯度裁剪阈值为 5，音频时长批预算为 90 秒。
对齐与解码配置方面，音频块时长为 240 毫秒，训练与评估每块文本词上限均为七。强制对齐训练标签与评估时间戳均用多语言强制对齐器生成，该模型是基于联结时序分类、在 31000 小时覆盖 1130 种语言的语音上训练的模型。论文用多语言强制对齐首字母缩写表示用强制对齐训练的系统，用教师对齐表示用教师路径训练的系统，无后缀表示不加 logit 与隐状态蒸馏，后缀分别表示加 logit、加隐状态与两者都加。
评估指标除错误率外还有闪烁与发射延迟。闪烁用相邻部分假设的编辑距离减去纯增长部分来计数修订量，对仅补全最后一个英文单词并追加新词的更新计为零，中文按字、英文按词统计，再按最终假设长度做微平均。发射延迟是输出时间戳与对应强制对齐参考终点的差，报告平均值。错误率越低越好，闪烁越低越稳定，延迟越低越实时。
教师路径相对强制对齐带来了多大改进？
要回答的核心比较问题是，在相同模型结构、相同训练数据、相同块长与每块词上限的公平条件下，只把训练序列的对齐来源从强制对齐换成教师路径，聚合错误率如何变化，方向是越低越好。下表整理论文直接报告的聚合错误率，保留非流式教师作为参考上限、强制对齐基线作为可运行基线，以及教师对齐在无蒸馏与全蒸馏下的实际可运行策略。
| 训练序列来源 | 蒸馏配置 | 聚合错误率 | 相对基线 | 可运行性 |
|---|---|---|---|---|
| 强制对齐 | 无蒸馏 | 9.35% | 基线 | 流式学生可运行 |
| 教师对齐 | 无蒸馏 | 8.86% | 相对降低 5.2% | 流式学生可运行 |
| 强制对齐加组合蒸馏 | logit 加隐状态 | 8.12% | 强于强制对齐基线 | 流式学生可运行 |
| 教师对齐加组合蒸馏 | logit 加隐状态 | 7.80% | 相对降低 3.9% 与 16.6% 涉及项 | 流式学生可运行 |
| 非流式教师 | 全上下文参考 | 3.99% | 非流式上限 | 训练时教师，推理不用 |
表后需要解释主要收益与代价。论文报告，在不加 logit 与隐状态蒸馏时，教师对齐把聚合错误率从 9.35% 降至 8.86%，相对降低 5.2%，且 6 个测试集全部改进。当双方都加组合蒸馏时，蒸馏后的教师对齐变体为 7.80% 至 7.88%，而强制对齐组合为 8.12%，最好的教师对齐组合相对强制对齐组合降低 3.9%，相对未蒸馏强制对齐降低 16.6%。但与非流式教师的 3.99%相比，流式最好结果仍有实质差距，说明全上下文优势并未被完全弥补。
该表同时提示不能把聚合改进推广到每一项都无代价。后文流式行为表将显示教师对齐在相同蒸馏配置下闪烁更高，且无回退时总体错误会大幅恶化，因此需要结合消融与稳定性一起理解适用条件。
去掉回退会怎样，单加一项蒸馏够吗，稳定性代价是什么？
本节要检验 3 个反证与代价问题。第一是置信度回退是否必要，第二是 logit 与隐状态各自贡献如何，第三是识别收益是否伴随闪烁或延迟代价。比较仍在相同块长与评估配置下进行，指标方向为错误率、闪烁与平均延迟越低越好。
先看回退。论文报告去掉回退后错误升至 11.55%，尽管在爱谢尔与科语音上仍有增益，但在维网语音与自由朗读语音上退化。原文的有限解释是复杂声学条件与英文功能词注意力分散可能是原因，这支持了回退的必要性，但属于解释而非因果证明。阈值固定为 0.30，回退比例高达约五成九，说明教师注意力并非处处可信。
再看单项蒸馏。论文的数字结果显示蒸馏对两种对齐都有帮助，蒸馏后的教师对齐变体集中在 7.80% 至 7.88%，均优于强制对齐组合的 8.12%。这表明对齐改进与分布和表示监督是互补的，而不是互相替代。权重是分别选择的，强制对齐组合与教师对齐组合的最优权重不同，因此比较的是各自调优后的最佳可运行策略，而不是同一权重下的硬比较。
最后看流式行为。下表只整理论文连续原句中实际出现的闪烁与延迟数字，聚焦无蒸馏与组合蒸馏两个可比配置，列数满足宽表要求，条件完全对应。
| 蒸馏配置 | 强制对齐闪烁 | 教师对齐闪烁 | 强制对齐延迟 | 教师对齐延迟 |
|---|---|---|---|---|
| 组合蒸馏 | 2.49% | 3.18% | 127.3 ms | 128.3 ms |
表后解释代价与内部改进。论文报告，在教师对齐内部，组合蒸馏把闪烁从 4.01% 降至 3.18%，把平均发射延迟从 132.2 毫秒降至 128.3 毫秒，隐状态单项还达到最低的 124.2 毫秒。但跨对齐比较时，未蒸馏下教师对齐闪烁从 3.47% 升至 4.01%，组合下教师对齐组合闪烁高于强制对齐组合，即 3.18% 对 2.49%，而平均延迟相近，即 128.3 毫秒对 127.3 毫秒。
因此结论是蒸馏改善了教师对齐内部的稳定性，但相对强制对齐的识别增益伴随更高的闪烁，未胜出项是稳定性而非延迟。
哪些边界没有测，哪些推测还不能当结论？
首先是测量边界。论文报告了错误率、闪烁与平均发射延迟，但没有报告训练资源消耗、推理开销、输出帧率与实际端到端延迟的分解，也没有给出统计显著性方法。总体趋势不等于每组每步都成立，例如聚合最优不代表每个测试集的延迟与闪烁都最优，原文也只强调了聚合与部分最优项。
其次是超参数与选择边界。回退阈值基于初步实验设为 0.30 并对所有评估固定，最优权重对强制对齐与教师对齐分别选择。这意味着当前数字是各自调优后的比较，若换阈值或换权重，相对收益可能变化。论文未报告阈值扫描曲线与权重网格，因此不能推断阈值普适最优。
再次是归因边界。无回退时在维网语音与英文集上的退化，原文用复杂声学与功能词注意力分散做可能解释，应理解为待验证假设而非已证明因果。相关性不等于因果，错误率下降也不等于误判率或特定错误类型必然改善，因为论文未按错误类型分解。
最后是资源状态边界。本次收到的证据中没有来源绑定且完成安全验证的资源，因此不得声称代码、模型或数据已公开。复现只能依据论文文字重建流程，不能依赖假设存在的官方实现。
要复现先做什么，需要保留哪些关键条件？
复现的第一步是固定可比条件。准备相同的中英文训练数据划分，用同一非流式语音识别大模型初始化学生并冻结教师，编码器用流式掩码，块长固定 240 毫秒，每块文本上限七，强制对齐标签与评估时间戳用同一多语言强制对齐器生成。只有这些一致，换对齐来源的比较才有意义。
第二步是重建教师路径。抽取教师最后大模型层在全注意力头平均后的文本音频注意，对音频位置归一化；计算每行峰值，低于 0.30 则用强制对齐分布替换该行；再用动态规划求解严格递增锚点，允许跳过音频位置；按投影特征时间步长换算时间戳，按固定块切分参考文本，允许空文本段。需要记录回退比例是否接近约 60%，作为实现是否一致的检查点，但不把它当作必须精确命中的指标。
第三步是叠加蒸馏训练。在路径决定的交错序列上计算交叉熵，对应目标词位置计算温度为二的 logit 散度，在第七、第十四、第二十一和第二十八层计算经辅助块变换后的余弦距离，三项加权求和。辅助块每层独立随机初始化，训练时双向注意只屏蔽填充，推理时移除。权重需要对强制对齐与教师对齐分别调优，不能直接复用一组权重就断言优劣。
第四步是按论文方式评估。中文按字、英文按词计算错误率并报告聚合值；闪烁按相邻假设修订量微平均，对纯补全英文词尾的更新计零；延迟按输出时间戳减强制对齐参考终点取平均。同时报告未胜出项，若复现中教师对齐闪烁高于强制对齐，不应视为复现失败，而是论文已报告的代价。
何时值得尝试这个方法？
当你的流式系统已经采用交错式语音文本输入，并且怀疑外部强制对齐与大模型自身注意不一致时，这个方法值得尝试。它的改动集中在训练序列构造与训练损失，不改变推理结构，推理仍是流式学生按块读音频、按束搜索写文字，因此部署形态清晰。
值得尝试的第二个信号是已有非流式大模型可用且与学生同结构同分词器。因为 logit 与隐状态蒸馏要求目标词一一对应，同源初始化也让教师路径更可能与学生兼容。若没有同源教师，教师路径的可迁移性在本文中未得到验证，不宜直接推广。
还需补的验证是稳定性与阈值敏感性。如果应用对屏幕改写敏感，需要先接受教师对齐可能增加闪烁的事实，再通过组合蒸馏降低闪烁，并实测自身数据上的闪烁延迟权衡。同时应补做阈值与权重在新数据上的调优，因为原文阈值固定、权重分别选择，换场景后最优值可能移动。
用一句话收束，教师注意力路径解决的是训练上下文与模型偏好的一致性，logit 与隐状态解决的是监督平滑与表示对齐，两者叠加带来从 9.35% 到 7.80% 的聚合改进，但稳定性代价与回退依赖必须一并复现与报告。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses