把预训练、微调和蒸馏压进一个循环：三层联合语音识别如何排优先级

英文题目：From Bilevel to Trilevel: Joint Training for Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:chien26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对比学习 #知识蒸馏 #多任务学习 #语音识别

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jen-Tzung Chien：机构信息未能从会议 PDF 纯文本可靠映射
• Yu-Chun Lin：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaodong Cui：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音识别（Automatic Speech Recognition, ASR）需将语音特征序列转写为文本，在标注语音稀缺而无标注音频充足时，两阶段预训练加微调易遗忘预训练语义并与教师指导冲突。该文提出三层级有监督无监督蒸馏联合训练（Trilevel Supervised Unsupervised Distilled Learning, TL-SUD），以上层有监督连接时序分类损失对齐标签，中层无监督对比损失学习通用表示，下层特征蒸馏损失注入教师先验，共享FastConformer骨干并在单循环内联合更新。与加权求和及双层联合训练（Bilevel Joint Unsupervised and Supervised Training, BL-JUST）不同，该方法以下层最优解集约束上层可行域，并用序列惩罚梯度将中下层折叠为单层代理后再与上层构成第二轮双层问题。在LibriSpeech的train-other-500无标注加train-clean-100有标注设置下，115M模型在test-other上词错率为15.9%，相对两阶段基线的19.5%明显下降。在LibriSpeech test-other评测设置下，TL-SUD的词错率为15.9%，低于加权求和基线的词错率19.1%。该结论适用边界受限于LibriSpeech英文朗读语音与贪婪解码无外部语言模型条件，噪声会议或跨域迁移等场景尚未验证，偏离该分布时可能出现失败条件。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决哪段流程？

本文输入是语音特征序列和对应的文字标签序列，输出是自动语音识别的转写文字。研究对象是声学模型训练流程，不是解码器或语言模型。背景是标注语音获取成本高、无标注语音丰富，因此常见做法是先用无标注语音做无监督预训练，再用少量标注语音做有监督微调，并可加入知识蒸馏。知识蒸馏在这里指用一个性能更高的教师网络指导一个较小的学生网络，本文采用的是特征级蒸馏，即让学生模仿教师的中间表示。

论文把常规强做法记为 PT(U)+FT(SD)。其中 PT(U) 表示只用无标注语音做预训练，FT(SD) 表示微调阶段同时用有监督蒸馏，即同时利用有限标注数据和额外无标注数据。作者指出的问题是 2 阶段是割裂的：预训练只提供初始化，一旦进入微调，预训练损失就被丢弃，已学到的语义可能被有监督学习和蒸馏覆盖，在低资源或分布不一致时出现过拟合甚至负迁移。

近期工作把训练写成双层优化，例如 BL-JUST 把有监督微调作为上层目标、无监督预训练作为下层问题，从而联合优化标注和无标注目标。但论文指出 BL-JUST 省略了知识蒸馏，错过了教师模型提供的互补信息。本文因此提出 TL-SUD，把有监督学习、无监督学习和蒸馏学习写成 3 层嵌套目标，在一个优化循环里同时处理通用结构、任务对齐和教师指导。

本次解读只依据论文正文证据与收到的官方原图像素写作。资源状态方面，本次没有发现来源绑定且完成 HTTPS 状态验证的资源，因此不得声称代码、模型或数据已公开，只能按论文文字交代数据划分、模型配置和训练做法。

同输入同目标的已有路线差在哪里？

第一条相关路线是 2 阶段预训练加微调。输入同样是 LibriSpeech 这类标注与无标注语音，目标同样是降低词错率，监督来源是预训练阶段用无标注的对比损失、微调阶段用标注的 CTC 损失加蒸馏损失。运行阶段是先跑完预训练再跑微调。论文认为该路线的问题不是精度不够，而是两个阶段目标不一致，预训练表示与任务标签和教师特征可能不匹配。

第二条路线是双层联合有监督与无监督训练，以 BL-JUST 为代表。输入、目标与监督与本文接近，运行阶段是联合优化而非 2 个阶段。论文把 BL-JUST 看作 TL-SUD 去掉底层蒸馏后的特例，因此在实验中将其作为消融基准，并对齐惩罚系数以保证比较公平。这是有源对照，不是类别差异下的胜负比较。

第 3 条路线是优化方法本身。论文回顾了双层优化的隐函数法、梯度展开法和值函数法，指出隐函数法需要下层解可微且唯一等较强假设，展开法需要对下层优化器做自动微分。本文选择的是基于惩罚的双层梯度下降，即把下层目标转化为上层不等式约束再用惩罚求解。3 层优化方面，论文提到对抗鲁棒架构搜索、数据重加权、鲁棒超参数搜索等例子，并指出 3 层线性规划也是 NP 难，原因是 3 层决策紧密耦合。本文的处理是把中层和底层折叠成双层子问题，用惩罚型双层梯度下降求解，再优化顶层。

为什么两阶段和双层还不够，需要第三层？

论文的判断起点是分布失配。当预训练语料分布与下游任务偏离时，学到的表示既可能对不上任务标签，也可能对不上教师特征。如果预训练和微调分开运行，预训练只管初始化，不管后续如何被改写，微调只管当前损失，不管 ранее 学到的结构是否被破坏。

无监督预训练 × 有监督微调： 无监督预训练负责从大量无标注语音中学习通用表示，有监督微调负责把表示对齐到少量标注的文字标签，二者搭配的理由是前者提供起点、后者提供任务方向，组合意义在于论文指出 2 阶段割裂会导致预训练语义在微调中被覆盖，因此需要联合优化来保持一致。

在低资源条件下这个问题更明显：标注少意味着有监督信号容易过拟合，无标注多意味着通用结构本应有帮助，但 2 阶段没有机制保证两者在同一个可行集里一致。双层方法缓解了标注与无标注的割裂，但仍把教师指导放在外面。论文认为教师指导能压缩和正则化模型，稳定训练并改善泛化，如果 3 层目标各自独立运行，同样会冲突。

因此问题被形式化为 3 层嵌套：顶层是有监督损失，中层是无监督损失，底层是蒸馏损失。上层最优必须与中层一致，中层本身又依赖底层。排序理由在正文明确给出：蒸馏放最底层以注入教师先验，无监督放中间以利用大量无标注语音，有监督放顶层以对齐真值标签。该排序被表述为适合低资源语音识别的实用选择。

三层联合的全景是什么，谁约束谁？

先沿一个样本走完流程。输入可以是标注对、无标注语音或蒸馏样本。它们都先进入共享主干，主干对所有语音编码得到嵌入。嵌入再分给 3 个专用头：有监督头处理标注数据并计算有监督损失，无监督头处理无标注数据并计算无监督损失，蒸馏头处理蒸馏样本并计算特征距离损失。主干被 3 个目标同时更新，每个头只被各自损失更新。蒸馏集定义为标注集与无标注集的并集，但计算蒸馏损失时不使用标注集中附带的文字。

双层优化 × 3 层优化： 双层优化负责处理上层目标受限于下层最优解的嵌套结构，3 层优化负责再加一层嵌套使中层本身也受底层约束，二者搭配的理由是语音流程天然有 3 层目标，组合意义在于论文把中层和底层先折叠成一个双层子问题，再与顶层构成第二个双层问题，从而复用惩罚型双层梯度下降求解。

优化上的嵌套关系是：顶层在标注数据上最小化有监督损失，但其主干参数必须属于中层问题的最优解集合；中层在无标注数据上最小化无监督损失，但其参数又必须属于底层蒸馏问题的最优解集合。换句话说，有监督训练是在由无监督和蒸馏共同塑造的平衡点下进行的。目标是寻找跨 3 个目标的共享局部最优，而不是 3 个独立最优的简单平均。

下图是理解该分工的唯一像素依据，导读如下：底部是 3 类数据入口，中间是共享主干，顶部是 3 个并列的头与损失，箭头表示前向与梯度归属。

看图路径： 1. 先从底部输入找到三类数据的标注，确认蒸馏集包含标注与无标注但蒸馏时不用文字；2. 再沿箭头向上看共享主干参数如何分叉到三个专用头；3. 对照三个头顶部的损失符号，确认每个头只对应一种损失；4. 注意主干被三路梯度同时更新，而每个头只被一路损失更新

论文图 1。原论文 Figure 1：“Network architecture for TL-SUD framework.”。

该图显示底部标注为蒸馏集、标注集和无标注集的样本都进入标为参数的主干，主干向上分出 3 条箭头分别进入蒸馏头、有监督头和无监督头，每个头顶部标出各自损失符号。可见的教学要点是主干唯一而头部专用，3 个损失并列但优化层次不同：蒸馏在最底层，无监督在中间，有监督在顶层。像素能确认的是模块连接关系，不能从该图读出具体维度、层数或损失数值，相关配置需回到文字部分核对。

三个损失和四组参数各自管什么？

符号上，主干参数记为共享参数，有监督、无监督和蒸馏各有专用参数。损失分别记为有监督损失、无监督损失和蒸馏损失。数据集分为标注集、无标注集和蒸馏集。实现上，本文用有监督 CTC 损失、无监督对比损失和特征级蒸馏损失，蒸馏头的作用是对齐学生与教师表示的各自维度。

知识蒸馏 × 有监督学习： 知识蒸馏负责让学生模仿教师中间表示的距离，有监督学习负责用标注数据的 CTC 损失对齐文字，二者搭配的理由是前者提供教师先验正则、后者提供真值对齐，组合意义在于蒸馏放在最底层为表示提供约束，顶层仍以标注为准，避免只靠标注时过拟合。

计算目标上，顶层希望标注数据的转写对齐准确，中层希望无标注语音的通用结构被保留，底层希望学生表示靠近教师表示。原文明确的实现是 3 个不同的数据批在每一步被采样：一个来自标注集用于有监督学习，一个来自无标注集用于无监督学习，一个来自蒸馏集用于蒸馏学习，三批在同一个 3 层框架内更新模型。

需要指出的缺项是：论文没有给出 3 个头的具体网络层数和维度，也没有报告教师如何训练得到，只说明教师是更大的 FastConformer。因此不能从模型名称推定头的实现细节，复现时只能按损失类型和数据用法对齐，不能假设头结构。

两次惩罚折叠如何把三层变成可训练的更新？

直接求解 3 层嵌套很困难，因为可行集由非凸下层解流形隐式定义，梯度计算复杂。论文的做法是分两步折叠。第一步把中层和底层合并成一个双层子问题：最小化无监督目标，但约束是参数属于蒸馏目标的最优解。然后用惩罚型双层梯度下降把该子问题松弛为单层惩罚形式，即无监督项加惩罚系数乘以蒸馏项与蒸馏最小值之差。第二步把顶层与该松弛后的子问题看作更高一层的双层问题，再次用惩罚方法得到最终的单层松弛形式，即有监督项加第二个惩罚系数乘以第一步目标与其最小值之差。

惩罚函数 × 双层梯度下降： 惩罚函数负责把下层最优约束转化为可微的惩罚项，双层梯度下降负责在该松弛后的单层目标上更新参数，二者搭配的理由是原嵌套约束不可直接求梯度，组合意义在于通过逐渐增大的惩罚系数让优化从放松的上层开始，再逐步收紧到底层一致的解。

最终的通用更新规则是参数沿三项梯度之和下降：有监督梯度加第二个惩罚系数乘无监督梯度，再加两个惩罚系数乘积乘蒸馏梯度。学习率对三项共享，惩罚系数控制相对强度。算法上采用退火调度：惩罚系数从零逐渐增大到各自最大值，早期允许上层几乎不受约束地推进，后期逐步加强下层影响，使 3 层收敛到一致解。

具体更新按内层迭代执行：主干同时减去有监督、无监督和蒸馏 3 路梯度，有监督头只减有监督梯度，无监督头只减按系数缩放的无监督梯度，蒸馏头只减按系数乘积缩放的蒸馏梯度。原文给出了最大惩罚系数和增长率的实验取值，但未报告优化器类型、动量、学习率衰减和梯度裁剪等细节，因此不能补写完整的优化器配置。

数据、模型和解码条件如何固定？

数据使用 LibriSpeech，一个 960 小时 16 千赫兹英文语料。论文文字交代了训练划分包括 100 小时干净集、200 小时干净集、360 小时干净集和 500 小时其他集，测试包括干净测试集和其他测试集，其中其他集含噪声语音。主实验用 500 小时其他集作无标注数据、100 小时干净集作标注数据，另有增加标注到 200 小时和 360 小时的对照。蒸馏集是标注与无标注的并集，但蒸馏时不用文字。

模型主干是 FastConformer。学生用 17 个块、80 维对数梅尔输入、每块 512 隐单元、注意力配置和卷积核尺寸按原文给出，输出层是 1024 单元的句子片段分词层，参数量 115M。教师是更大的 FastConformer，用 24 个块、1024 隐单元，参数量 616M。正则化用 SpecAug 和 0.1 丢弃，嵌入层无丢弃。损失按上文为 CTC、对比和特征级蒸馏。

训练策略比较 3 类：只用标注的 CTC 有监督基线；对比预训练加 CTC 与特征蒸馏联合微调的 2 个阶段；本文的 3 层训练，三者使用相同数据划分。解码用无外部语言模型的贪心解码，论文明确这是为了严格检验层次优化本身，避免解码启发式带来的耦合影响。指标是词错率，方向是越低越好。硬件预算、训练时长和统计显著性在给定证据中未报告，不能对其做判断。

主结果在相同划分下比较了什么，数字支持什么？

要回答的问题是：在同样的 500 小时无标注和 100 小时标注划分下，3 层联合是否优于只用标注、经验加权求和以及 2 个阶段。公平条件是学生结构同为 115M、数据划分相同、解码同为无语言模型贪心解码。加权求和基线把三项目标按经验权重相加，权重按验证数据调优。指标方向是词错率越低越好。

表后解释如下。论文报告 3 层联合在干净测试集上为 6.7%，优于两个对照的 7.4%，在其他测试集上为 15.9%，优于 19.1% 和 19.5%。这支持 3 层联合在该划分下同时改善干净和噪声测试的判断，尤其在更难的其他测试集上差距更大。但限制是该表只覆盖 100 小时标注条件，不能推广到所有标注规模；且未报告多次运行的方差，不能判断差异的统计稳定性。未胜出项是两个基线在干净集上持平，说明简单加权与 2 阶段在该条件下未能分开，论文也未声称其中一个全面优于另一个。

与双层方法的比较放在下一节展开，主结果的代价是引入了两个惩罚系数的调度，调参复杂度高于固定加权。

去掉蒸馏或改惩罚调度会发生什么？

要回答的第一个消融问题是：保持双层部分相同，只加入底层蒸馏是否有可测量的改进。比较对象是 BL-JUST 与 TL-SUD，条件是 500 小时无标注固定、标注分别为 100、200、360 小时，惩罚系数对齐以保证公平。指标仍是词错率越低越好。

表后解释如下。论文报告 3 层在 100 小时标注下干净集 6.7% 对 7.0%、其他集 15.9% 对 17.1%，在 360 小时标注下干净集 5,9% 对 6.7%、其他集 13.0% 对 16.0%，且标注增多时两者词错率都下降。这支持加入底层蒸馏带来改进的判断。需注意原文 360 小时干净集的 3 层数字写为 5,9%，保留原标点不做四舍五入或改为小数点；该写法不影响相对顺序，但复现引用时应核对原文。

第二个 examined 是惩罚调度的影响。使用 500 小时无标注加 100 小时标注，报告不同增长率与最大值下的干净与其他测试集词错率。论文指出最佳配置是一个惩罚系数以 0.6 速率增至 180，另一个以 1.66 乘 10 负 5 次方速率增至 0.005，所有运行从随机初始化开始且不用无监督或蒸馏预训练。论文同时表示调节多目标松弛的趋势符合预期，但惩罚调度调优具有挑战性。这意味着收益依赖调度选择，换调度可能明显变差，例如证据中其他调度组合的其他测试集词错率高于 21%，构成明确的负结果边界。

哪些边界没有测，不能承诺什么？

首先，解码条件受限。所有主数字基于无外部语言模型的贪心解码，这是为了隔离优化本身的影响，但不能直接推广到带语言模型或束搜索的部署效果。论文未测量语言模型带来的增益变化，因此不能声称在完整解码管线下仍有相同幅度的改进。

其次，调度敏感性未解决。论文明确惩罚调度起关键作用且调优困难，最佳值是在特定划分下找到的。没有证据表明同一组系数可直接迁移到其他语种、噪声条件或模型规模，因此不能把 1 次最优调度当作通用默认值。

再次，成本与不确定性缺项。给定证据未报告训练时间、显存、推理开销、输出帧率与实际延迟，也未报告多次随机种子的均值方差或显著性检验。因此不能承诺 3 层训练在相同预算下更省，也不能承诺每组数据或每一步都单调改进，总体趋势不等于全程成立。相关性不等于因果，词错率下降支持联合优化有效，但未分离表示对齐与教师正则各自的因果贡献。

最后，数据与模型边界。实验只在 LibriSpeech 英文上验证，未评测跨域、跨语种或流式场景；教师固定为大 FastConformer，未评测教师质量变化时的鲁棒性。这些都是未评测边界，不是技术错误，但限制了结论的外推范围。

要复述方法并复现，先固定哪些信息条件？

复现先固定数据划分：无标注用训练其他 500 小时子集，标注用训练干净 100 小时子集，蒸馏集取二者并集且蒸馏时不使用文字；测试在干净与其他测试集上分别报告词错率。增加标注到 200 小时和 360 小时时保持无标注不变，以便观察标注量的作用。

再固定模型与损失：学生为 115M 的 FastConformer 配置，教师为 616M 的更大配置；有监督用 CTC、无监督用对比、蒸馏用特征距离并通过蒸馏头对齐维度；正则化用 SpecAug 和 0.1 丢弃且嵌入层无丢弃；解码用无语言模型贪心解码。基线需包含可运行的策略：纯有监督、经验加权求和、2 阶段预训练加微调、双层方法，不能只与事后最优值比较。

训练侧需实现三批采样与嵌套更新：每步分别采标注、无标注和蒸馏批，按惩罚系数缩放的 3 路梯度更新主干，各头只接受各自梯度；惩罚系数从零退火到最大值，最佳参考是原文报告的一组速率与最大值，但应作为起点重新搜索而非直接冻结。缺项需补验证：优化器类型与学习率计划、批大小、训练轮数与迭代数、随机种子与方差、训练与推理成本。若只能先做最小复现，建议先跑 100 小时标注的主结果，再跑双层对照，最后做调度敏感性检查。

何时值得尝试这种三层写法？

当同时满足 3 个条件时值得尝试：有大量无标注语音可用于学习通用结构，有少量标注语音需要对齐任务，有可用的教师模型能提供表示级指导，且能接受多目标调度的额外搜索成本。此时把蒸馏放底层、无监督放中间、有监督放顶层的排序有明确分工，能在一个循环里保持三者一致。

当教师不可靠、计算预算只允许单次训练或必须快速交付时，应谨慎。惩罚系数不当可能抵消联合的好处，2 阶段或固定加权可能是更稳的起点。教学上的常见误解是把 3 层理解为 3 个损失简单相加，实际关键是嵌套约束与退火：早期放松让上层先走，后期收紧让下层约束生效，加权求和没有这种可行集塑造过程。

回到证据强度：论文在给定划分和解码下报告了 3 层优于 2 阶段与双层的一致数字，支持其有效性判断；但调度的挑战、缺失的成本与方差、单一语料与解码条件意味着结论是有限支持而非普遍保证。后续验证应补跨条件调度迁移、带语言模型解码、教师质量变化和资源消耗四项，再谈部署收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总