不存旧数据时如何留住旧能力：用蒸馏定方向、用投影让路的持续语音识别

英文题目：Retention-Preserving Gradient Projection with Entropy-Guided Token-Level Distillation for Rehearsal-Free Continual ASR

会议身份：conference:interspeech:2026:conference-paper-id:ma26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#持续学习 #知识蒸馏 #领域适应 #多语言 #语音识别

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Seunghee Ma：机构信息未能从会议 PDF 纯文本可靠映射
• Junseok Oh：机构信息未能从会议 PDF 纯文本可靠映射
• Ji-Hwan Kim：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

面向预训练自动语音识别（Automatic Speech Recognition，ASR）模型的序列领域自适应，输入为新领域语音与历史模型参数，输出为兼顾新领域转写与历史领域及多语言能力的统一模型，难点在于无回放、无重要性估计时蒸馏目标含噪且与监督目标冲突。该方法先冻结编码器并仅适配解码器以降低遗忘面，再由冻结教师计算逐词元熵并生成置信加权蒸馏损失以提纯保持梯度，最后检测监督梯度与保持梯度的余弦冲突并仅在冲突时削弱反向分量后相加更新。与固定均匀蒸馏的无遗忘学习相比，该机制把保持信号从标量混合改为方向性约束，并对不可靠教师词元降权。在LibriSpeech到AMI到TED-LIUM到SPGISpeech序列终点，最终平均词错率（Word Error Rate，WER）为8.12%，相对无遗忘学习 decoder-only基线的8.75%降低7.2%，后向迁移（Backward Transfer，BWT）从-4.63改善至-2.82，Common Voice多语言平均退化从1.96%降至0.95%，相对减少51.5%。结论限于英语朗读、会议、讲座和金融四域固定顺序及Whisper Large-v3解码器微调，未验证语种扩展、乱序任务和长期多轮遗忘。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文的输入是连续到来的英语语音领域数据，目标是在严格无回放条件下顺序适配大模型的同时留住旧能力。所谓严格无回放，是指适配第 k 个领域时只能看到当前领域数据 Dk 和上 1 阶段模型参数 θk 减 1，既没有历史语音，也没有历史任务的参数重要性估计。读者需要带着 3 个必须保留的信息去读方法与实验。第一，教师是谁，学生是谁，监督信号从哪里来。第二，蒸馏信号在每个 token 位置是否被同等对待。

第三，两个梯度冲突时谁给谁让路，让路强度由哪个可调系数控制。输出上，论文要求报告的不是单点词错误率，而是学完全部领域后的平均词错误率、旧领域的后向迁移变化，以及未见过的多语能力的退化幅度。学习依赖是先理解持续学习中的灾难性遗忘，再理解不忘学习这类蒸馏基线为何仍不够，最后才能理解熵加权与梯度投影各自解决哪一个缺口。本文默认从原文独立写作，不引入外部评价，所有数字均以原文连续句子为准。

代码与数据可用性方面，本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不能声称代码模型或数据已公开，只能按论文文字讨论可复现的训练与评估条件。

同输入同目标的已有路线为何不够用？

持续学习通常按是否存历史数据分为基于回放与无回放两类。基于回放的方法如梯度情景记忆与经验回放，需要存旧样本或旧梯度；参数正则如弹性权重巩固与突触智能，需要旧任务的参数重要性估计。论文指出，对于 Whisper 这类大规模预训练模型，原始预训练数据与旧任务重要性估计通常不可得，因此这类正则路线不实用。自然基线就落到以蒸馏为核心的不忘学习，它用上一个模型做冻结教师，在当前领域输入上蒸馏输出以锚定参数更新。

但原文强调标准不忘学习有两个具体弱点。第一，它对所有 token 一视同仁，高不确定教师输出会成为带噪的保持目标。第二，监督损失与蒸馏损失直接相加，两个梯度可能互相冲突，不做显式处理会损害保持。另一条路线是梯度投影。情景记忆类方法用回放样本算参考梯度以防止旧损失上升，正交梯度下降存旧任务主方向并向正交方向投影，多任务学习中的梯度手术处理联合训练中的成对冲突。

但这些方法要么需要回放缓冲，要么需要梯度历史，要么要求所有任务同时可见。在预训练语音识别的持续适配中，已有工作尝试任务相关的低秩适配器加正交约束，但适配器参数随任务数增长；也有工作对 Whisper 解码器做梯度手术，但依赖旧任务回放样本。因此论文把自己定位为严格无回放下的改进：不存样本，不存梯度历史，只用蒸馏梯度做保持方向，并引入可调投影系数实现软冲突解决。

顺序适配的任务形式与评价口径是什么？

论文研究的是编码器解码器结构的语音识别模型的领域持续适配。给定预训练模型 θ 零与目标领域序列 D1 到 DK，模型按 LIB 到 AMI 到 TED 到 SPG 的顺序逐个适配。每个阶段只允许用当前领域训练集更新模型，评估则覆盖已学全部领域的测试集。评价口径包含 3 层。第一层是每个阶段后各已学领域的词错误率，以及跨已学领域的平均词错误率，平均值越低表示总体可用性越好。

第二层是后向迁移，即已学旧领域相对刚学完时的平均词错误率变化，零表示无变化，负值表示遗忘，数值越接近零或为正越好。第 3 层是预训练多语能力的保持，用 Common Voice 上的英语西班牙语法语词错误率与韩语字错误率衡量，看英语领域适配是否冲掉了其他语言能力。举例来说，这里的例子仅为教学示意，不代表论文数值：若先学朗读语音再学会议语音，会议词汇会拉动解码器，而朗读测试集上的错误上升就是遗忘，多语测试集上的上升则是预训练能力的退化。

论文的基线包含全量微调、仅解码器微调、仅解码器的 L2-SP 与仅解码器的不忘学习，后续比较必须注意是否同为仅解码器，否则冻结范围不同会混淆结论。

两大组件如何沿一个样本走完全程？

先沿一个训练样本走一遍。音频输入 X 先经过共享的冻结编码器得到声学表示，然后分给两条解码器支路。一条是参数为 θk 减 1 的冻结教师解码器，另一条是参数为 θk 的待更新学生解码器。学生支路一方面对照真实文本 Y 计算交叉熵损失，产生监督梯度 gCE，负责学会当前领域；另一方面与教师支路对照计算加权蒸馏损失，产生蒸馏梯度 gdistill，负责留住过去。

教师支路内部又分出两条温度路径。温度为 1 的分布用来算每个 token 位置的香农熵并映射为确信度，进而得到逐 token 权重 λt；温度大于等于 1 的软化分布用来与学生分布算散度，再按 λt 加权求和。最终优化器手里拿到两个梯度，先判断是否冲突，不冲突直接相加，冲突则按投影系数 η 修正监督梯度后再相加，且只更新解码器。下面的框架图把左半的熵引导蒸馏与右半的保持投影画在了一起，是理解全文的关键。

本段为图 1 的导读，左侧面板展示了从音频到两个损失再到两个梯度的完整数据流，右侧面板展示了冲突与非冲突两种几何情形，读图时应先分清哪条箭头是监督更新哪条是保持方向。

看图路径： 1. 先从左侧音频输入沿共享冻结编码器走到冻结教师解码器与学生解码器的分叉，确认两路都输出分布；2. 再看中间教师分支如何分出温度为 1 的熵计算支路和温度大于等于 1 的蒸馏支路；3. 接着看右侧紫色加权蒸馏损失如何向下汇出两个梯度 gCE 与 gdistill；4. 最后对比面板 B 中无冲突直接相加与冲突时按 η 修正 gCE 的箭头方向差异

论文图 1。原论文 Figure 1：“Overview of the rehearsal-free continual ASR framework.”。

从像素可见，图 1 左侧用蓝色表示冻结教师解码器，用橙色表示学生解码器，绿色小框标出不同温度的归一化，中间用柱状示意确信与不确定分布的形状差异，右上小坐标显示权重随确信度单调上升且截距为最小值。右侧面板上方非冲突时两个梯度夹角为锐角，合成向量为平行四边形对角线；下方冲突时监督梯度与保持方向夹角为钝角，红色箭头标出 η 等于 0.5 与 η 等于 1 时修正后方向的不同，η 越大越偏向与保持方向正交。这一几何关系直接对应后文公式 6 的计算逻辑，即只衰减监督梯度中与保持方向相反的分量。

熵引导的 token 级蒸馏如何提纯保持方向？

标准不忘学习的蒸馏损失是交叉熵加 λ 倍蒸馏项，其中蒸馏项是温度 T 下的散度再乘以 T 平方，λ 在所有 token 上固定。论文认为这种均匀处理会让高熵教师输出污染保持方向。改进的做法是为每个输出位置 t 单独算权重。先用温度为 1 的教师分布 qt 计算香农熵 Ht，即对词表所有词求负加权对数和。熵越大表示教师越犹豫。

然后用最大熵 logV 归一化，得到确信度 H 拔 t 等于 1 减 Ht 除以 logV。确信度为 1 表示分布尖锐，为零表示完全均匀。最后经 λt 等于 λ 最小加括号 λ 最大减 λ 最小乘以确信度的 α 次方映射为权重，论文默认 λ 最小为 0.1，λ 最大为 0.3，α 为 1.0，温度 T 为 1.5。加权后的蒸馏损失是对所有 t 求 λt 乘以教师学生分布散度再乘 T 平方。由于 λt 下限大于零，每个位置仍保留非零蒸馏信号，只是高熵位置被降权。

这个加权蒸馏梯度就是后文投影的保持方向。换句话说，提纯发生在投影之前，投影参照的质量决定了后续让路是否值得。

知识蒸馏 × 保持方向： 知识蒸馏负责提供过去知识的锚点，即让学生在当前领域输入上模仿冻结教师的输出分布；保持方向负责把这种模仿需求转化为优化中的一个向量 gdistill，后续所有是否冲突的判断都以它为基准。二者搭配的原因是严格无回放时没有旧数据可算旧损失，只能用蒸馏梯度代替旧任务梯度；组合后蒸馏不再只是加权相加的一项损失，而是投影的参照系，决定了监督更新在何时需要让路。

对初学者而言，可以把教师想象成上 1 阶段的自己。它在当前新领域音频上给出的预测，有些位置很肯定，有些位置是猜的。若不加区分地全盘模仿，就会把猜的部分也固化为要保持的知识。熵在这里只是不确定性的代理指标，不是语义正确性的保证，这是需要记住的边界。

保持投影在冲突时具体改了哪个分量？

拿到监督梯度 gCE 与蒸馏梯度 gdistill 后，方法先算二者的余弦相似度。若余弦大于等于零，视为非冲突，监督梯度保持不变，最终更新为二者之和。若余弦小于零，视为冲突，则按公式 6 修正监督梯度，即 gCE 减去 η 倍的二者内积除以蒸馏梯度范数平方再乘以蒸馏梯度。η 等于 1 时恰好消除监督梯度中与保持方向相反的分量，使修正后的监督梯度与保持方向正交；η 在零到 1 之间时只部分消除，η 越小投影越弱，适配越多而保持越少。

最终更新方向为修正后的监督梯度加蒸馏梯度。关键点是投影只动监督梯度，不动蒸馏梯度，且只在冲突时触发。论文把投影限制在解码器参数上，编码器始终冻结。这样做既呼应了 Fisher 分析发现解码器更敏感的结论，也避免了对声学前端的反复扰动。

教师熵 × token 级权重： 教师熵负责度量教师在每个输出位置的不确定性，分布越平坦熵越高；token 级权重负责把这种不确定性转成蒸馏强度的逐位置系数，确信位置权重大、不确定位置权重小但不置零。二者搭配的原因是均匀蒸馏会把高熵的噪声目标也当成保持信号；组合后保持方向本身被提纯，投影所依据的参照更干净，适配时对新领域的恢复在论文消融中有所改善。

需要区分的是，这种投影不需要回放样本，也不需要旧梯度历史，它用的参考方向就是当前小批量上算出的加权蒸馏梯度。因此它与梯度情景记忆的参考梯度来源不同，与多任务梯度手术的同时可见假设也不同，这是严格无回放约束下的特有设计。

冻结谁更新谁，优化按什么节奏推进？

论文没有训练编码器。基于对角 Fisher 近似的敏感度分析，解码器参数比编码器更敏感，在 LibriSpeech 上倍数为 1.73，在 AMI 上为 1.79，因此全文默认冻结编码器、只微调解码器。优化器采用 AdamW，学习率为 1 乘以 10 的负 5 次方，批量大小为 64，每个领域训练 5 轮。本方法默认温度 1.5，权重下限 0.1，上限 0.3，敏感指数 α 为 1.0，投影系数 η 为 0.75。对照方法中，仅解码器的 L2-SP 惩罚参数偏离预训练模型的强度 α 为 0.003，仅解码器的不忘学习固定权重 λ 为 0.3。训练流程按 LIB 到 AMI 到 TED 到 SPG 推进，每到新领域就把上 1 阶段模型冻结为教师，用当前领域数据同时算交叉熵与加权蒸馏，再按冲突判断决定是否投影，最后只更新学生解码器。

梯度冲突 × 投影系数： 梯度冲突负责判断监督梯度 gCE 与蒸馏梯度 gdistill 是否夹角为钝角，即余弦小于零；投影系数 η 负责在冲突时决定削弱监督梯度中反对保持分量的强度，η 为 1 则完全正交化，η 越小则保留越多适配成分。二者搭配的原因是无条件投影会不必要地限制学习，只在冲突时干预更省；组合后得到可调的保持与适配权衡器，论文用 η 等于 0.5、0.75 和 1.0 展示了不同的取舍。

编码器冻结 × 解码器微调： 编码器冻结负责切断声学前端的参数更新路径，降低计算量并减少对预训练表征的扰动；解码器微调负责承担新领域词汇和语言风格的适配任务，全部梯度投影也只发生在解码器参数上。二者搭配的理由是论文用对角 Fisher 近似测得解码器参数对适配更敏感，在 LibriSpeech 上敏感倍数为 1.73，在 AMI 上为 1.79；组合后模型在严格无回放约束下仍能持续更新，而多语能力的退化幅度小于全量微调。

这里没有报告梯度裁剪、学习率衰减或早停等细节，复现时应先按论文给出的学习率批量与轮数跑通，再考虑其他未报告项是否需要补验证。论文也未给出硬件时长与显存占用，因此训练成本一节只能说明计算范围缩小的原因，不能承诺具体的加速比。

数据顺序基线与指标条件是否可比？

顺序适配覆盖 4 个英语领域。LibriSpeech 为朗读语音，训练用 train-other-500，验证与测试用 dev-other 与 test-other；AMI 为会议语音；TED-LIUM 3 为讲座语音；SPGISpeech 为金融领域语音，训练用 S 子集，验证与测试用官方划分。

论文表格报告了各划分的小时数，顺序固定为 LIB 到 AMI 到 TED 到 SPG。基模型为 Whisper Large-v3。比较对象包括全量微调、仅解码器微调、仅解码器 L2-SP 与仅解码器不忘学习，其中后两者与本方法同为只需要预训练模型参数的无回放方法。另一组比较是与基于回放的梯度情景记忆与经验回放对比 SPG 适配，此时回放缓冲仅从 TED 抽 1 小时，以模拟无法访问更早领域与预训练语料的情形，经验回放以 0.1 比例混入每批。

指标方面，领域内用词错误率，平均值为已学领域均值，后向迁移为旧领域相对刚学完时的均值变化。多语保持用 Common Voice 22.0 测试集，英语西班牙语法语看词错误率，韩语看字错误率，Init 表示 Whisper 零样本起点。公平性上，主结果均为解码器级比较，全量微调仅用于说明冻结编码器本身也有助于减缓遗忘，不能与本方法直接等同。

主结果在平均性能与遗忘上各赢了多少？

本节回答学完全部 4 个领域后，总体可用性与遗忘程度是否同时改善。比较问题是，在同为仅解码器更新且同为无回放的条件下，本方法相对不忘学习与无正则微调能否降低最终平均词错误率并改善后向迁移。指标方向是平均词错误率越低越好，后向迁移越接近零越好，负得越少表示遗忘越轻。下表整理了论文直接报告的最终阶段数字，包含绝对降低量与相对降低量，以及后向迁移的对照。

下表对比最终平均词错误率与后向迁移，基线包含仅解码器微调与仅解码器不忘学习，指标方向为平均错误越低越好、后向迁移负得越少越好。

表后解释需要同时看到收益与代价。本方法最终平均 8.12% 为无回放方法中最低，相对不忘学习降低 7.2%，后向迁移从负 4.63 改善到负 2.82，报告显示遗忘明显减轻。论文还报告仅解码器微调的后向迁移为负 6.07，优于全量微调的负 6.97，支持冻结编码器本身有助于缓解遗忘。但分阶段看，本方法在早期阶段的平均值并非处处最低，例如 LIB 到 AMI 阶段其平均为 8.53%，高于不忘学习的 7.49%，说明保持优先的策略在新领域上付出了适配代价。

此外，与仅从 TED 抽 1 小时缓冲的回放基线相比，本方法在无缓冲条件下仍取得更低的总体平均值，且在作为缓冲来源的 TED 上也更低，这 1 对照支持了提纯与投影的有效性，但也受限于缓冲仅 1 小时且只来自单领域的设定。

后向迁移 × 平均词错误率： 后向迁移负责度量学完新领域后旧领域性能相对刚学完时的平均变化，零表示无变化，负值表示遗忘；平均词错误率负责度量当前已学所有领域的总体识别水平，越低越好。二者搭配的原因是只看平均值无法区分是新领域拉高还是旧领域遗忘，只看遗忘又看不到绝对可用性；组合后论文同时报告最终平均 8.12% 和后向迁移负 2.82，才能说明方法是在遗忘更少的同时整体可用。

多语保持是另一条重要证据。仅解码器微调在全序列后导致韩语字错误率绝对上升 16.13 个百分点，法语词错误率绝对上升 6.32 个百分点，退化严重。本方法平均绝对上升仅 0.95%，而不忘学习为 1.96%，仅解码器微调为 7.25%，相对降幅分别为 51.5% 与 86.9%。下图展示了这种分语言的退化轨迹，读图时要注意纵轴既有词错误率也有字错误率，不能跨语言直接比数值大小。

本段为图 2 的导读，该图用 4 个子图分别给出西班牙语英语法语与韩语随 LIB 到 SPG 推进的变化，图例区分仅解码器微调、不忘学习与本方法，横轴起点 Init 为零样本基线。

看图路径： 1. 先确认四个子图的行列布局与纵轴单位，西班牙语英语法语为词错误率韩语为字错误率；2. 再沿横轴 Init 到 SPG 观察红色解码器微调曲线的爬升幅度；3. 最后比较每个阶段蓝色本方法曲线与绿色不忘学习曲线谁更贴近底部初始水平

论文图 2。原论文 Figure 2：“WER/CER (%) on Common Voice during sequential English-domain adaptation. Init denotes the Whisper zero-shot baseline.”。

从像素可见，红色虚线代表的仅解码器微调在 4 个子图中爬升最陡，尤其韩语子图在 TED 到 SPG 阶段近乎垂直上升，而蓝色实线代表的本方法始终贴近底部，绿色点线代表的不忘学习居中。在西班牙语与法语子图中，蓝色线随阶段缓慢上移但斜率明显小于绿色线；在英语子图中，3 条线在 AMI 处都有峰值，之后回落，蓝色线峰值最低。这支持论文关于多语退化得到缓解的判断，但也表明英语本身作为适配语言仍有波动，不能把末步最低推广为每步都最优。

投影与熵加权各自贡献了什么，η 如何权衡？

本节回答 2 个组件是否缺一不可，以及投影系数如何控制取舍。实验固定从 LIB 适配后的模型出发做 LIB 到 AMI 一步，基线为仅解码器不忘学习，评估覆盖 LIB 保持、AMI 目标、TED 与 SPG 零样本泛化，以及西班牙语与法语多语保持。下表整理论文直接报告的消融数字，重点看加入投影后保持与泛化的变化，再看叠加熵加权后目标域能否部分恢复，以及 η 取 0.5 与 1.0 时的两端行为。

下表对比消融与 η 取值的多维影响，LIB 越低保持越好，AMI 越低适配越好，TED 与 SPG 越低泛化越好，比较需分列看方向不能混为一列。

表后解释要区分主次。加入梯度投影后，LIB 从 4.27% 降到 4.11%，且未见领域与多语评估也改善，支持显式处理干扰是严格无回放下的关键。但投影限制了向新领域的更新，AMI 从 10.89% 升至 13.20%，这是明确的适配代价。叠加熵引导加权后，AMI 从 13.20% 部分恢复到 12.96%，而保持与泛化收益大体保留，说明降权不确定教师预测能在投影约束下温和改善适配。η 的扫描进一步揭示权衡。

η 降到 0.5 时 AMI 改善到 11.45%，但保持与泛化减弱；η 升到 1.0 时泛化相对 0.75 更好，但 AMI 恶化到 17.54%。因此 η 不是越大越好，论文默认 0.75 是在保持优先与可用适配之间的折中，未胜出项恰是高 η 下的目标域性能，这也是复现时首先要复核的超参数。

哪些边界没有测，哪些推论还不能下？

论文直接报告的范围需要如实框定。数据上，顺序适配仅覆盖 4 个英语领域，多语保持仅在 Common Voice 的 4 种语言上报告，未验证其他语种、口音、噪声或长尾命名实体的持续涌现情形。方法上，熵只是教师不确定性的代理，不是正确性保证；λ 下限大于零意味着噪声信号仍有残留，极端高熵下的行为未单独分析。评估上，未测量误判率之外的延迟、显存、训练时长与推理帧率，因此不能承诺这些成本得到改善。

总体平均趋势不等于每组每步都成立，早期阶段本方法平均值高于不忘学习就是反例。比较上，回放基线的缓冲仅 1 小时且只来自 TED，不能推广为对所有回放方法的全面胜利。相关性也不等于因果，Fisher 敏感度倍数支持冻结编码器的选择，但不能证明编码器冻结必然在所有模型与数据上都最优。缺失证据不是技术错误，后续若要补验证，应优先补跨顺序的稳定性、更多语言的保持曲线，以及 η 在新领域难度不同时的自适应策略。

复现先做什么，需要保留哪些超参数？

复现应先固定信息条件。再现严格无回放意味着每个阶段只能读当前领域训练集与上 1 阶段参数，不能缓存历史语音，不能载入旧任务重要性矩阵。基模型用 Whisper Large-v3，更新范围只限解码器，编码器全程冻结。优化按 AdamW、学习率 1 乘以 10 的负 5 次方、批量 64、每领域 5 轮推进，顺序为 LIB 到 AMI 到 TED 到 SPG，LibriSpeech 训练只用 train-other-500，SPGISpeech 训练用 S 子集。方法侧保留温度 1.5、权重区间 0.1 到 0.3、敏感指数 1.0、投影系数 0.75 这组默认，对照的不忘学习固定权重 0.3，L2-SP 强度 0.003。

实现时先写通两条前向。一条用温度 1 算熵并映射为逐 token 权重，另一条用大于等于 1 的温度算软化分布并加权求散度；交叉熵用温度 1 与真实文本对照。反向时先分别得到监督与蒸馏梯度，再按余弦是否小于零决定是否投影，投影只改解码器梯度。由于本次未发现可验证的公开代码与权重链接，不能声称开箱可运行，复现前应先确认自己能否获得 Whisper 权重与 4 个领域语料，以及 Common Voice 评测集的版本是否为 22.0。

若数字对不上，优先检查温度与权重区间的实现位置、投影是否误用于编码器、以及平均值与后向迁移的聚合口径是否与原文一致。

何时值得尝试这种先提纯再让路的做法？

当任务同时满足 3 个条件时值得尝试。第一，模型是 Whisper 这类编码器解码器预训练模型，且旧数据与旧重要性都拿不到，只能留上一个模型做教师。第二，教师在新领域输入上明显有犹豫位置，均匀蒸馏可能把猜测也当成要留的知识。第三，观察到新领域学习与旧能力保持互相拉扯，需要一个可在保持与适配之间显式调节的旋钮。

此时先用熵把保持方向提纯，再用可调投影只在冲突时让监督更新让路，并配合冻结编码器，论文显示能在最终平均与后向迁移上同时改善，且多语退化幅度明显收窄。但若新领域难度极大且上线指标只看新领域词错误率，高 η 会带来显著适配损失，此时应降低 η 或先做目标域预热。教学上的误解需要澄清。投影不是把两个梯度都正交化，它只动监督梯度；熵加权不是过滤掉高熵 token，而是降权但保留下限。

冻结编码器不是说编码器不重要，而是 Fisher 分析显示解码器更敏感因而优先动解码器。把这三点记准，就能不靠比喻复述出输入到表示到组件到目标再到输出的完整链路。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总