📄 微调为何先崩溃再恢复 yet 普通话仍变差：语音模型方言适应的全轨迹拆解
英文题目：Collapse, Repair, and Drift: Dissecting Fine Tuning Dynamics in Speech Language Models
标签：#语音识别 | #SFT | #口音与方言 | #语音
评分：6.0/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
👥 作者与机构
- Yichi Wang：Department of Intelligence Science and Technology, Kyoto University；Xiaowei, WXG, Tencent
- Wangjin Zhou：Department of Intelligence Science and Technology, Kyoto University；Xiaowei, WXG, Tencent
- Yizhou Zhang：Department of Intelligence Science and Technology, Kyoto University；Xiaowei, WXG, Tencent
- Xin Gu：Communication University of China；Xiaowei, WXG, Tencent
- Wei Tan：Xiaowei, WXG, Tencent
- Yi Zhao：Xiaowei, WXG, Tencent
- Gong Zhi：Xiaowei, WXG, Tencent
📌 核心摘要
该研究处理方言自适应语音识别，输入为方言语音波形与固定文字提示，输出为汉字转写文本，难点是损失平稳时识别功能仍可能急剧恶化，且源域普通话能力会缓慢丢失。作者冻结声学编码器与音频到语言映射，只微调文本解码器，在250000条五方言语料上做单轮监督微调，同步记录评估损失与字错率。三组诊断为：预训练与微调检查点间双向层拼接定位功能不兼容深度，用方言间与相邻步骤梯度余弦相似度刻画方向一致性，对5行方言梯度矩阵做奇异值分解跟踪谱能量分布。用完整AdamW参数位移混合的更新迁移改变早期路径，检验绕开早期崩溃后源域退化是否仍出现。与只看损失尖峰或起止点遗忘的诊断不同，该工作把瞬时崩溃与持续遗忘分离为可独立出现的动力学。在方言与普通话测试集的字错率及评估损失轨迹比较中，10^-3下三模型评估损失最终仍超过低学习率收敛值的两倍以上，高于低学习率对照，而更新迁移绕开早期字错率尖峰后普通话字错率仍向退化方向漂移。结论适用于所测三模型与方言适应设置，失败集中在大优化尺度与持续适配后期，跨语言与跨任务尚未验证。原文已披露使用8张GPU、每设备微批5条、梯度累计16次、有效批量640条、250000条一轮为391个优化步骤，未披露完整GPU耗时、费用与推理延迟。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
任务的输入是什么，要保留什么，又输出什么
这篇论文研究语音语言模型的方言适应。输入是方言语音和对应的参考转写，覆盖长沙、客家、闽南、南昌、宁波 5 种方言。目标有两个：一是把方言听写准，二是尽量保住原来的普通话能力。训练时只更新文本解码器，声学编码器和音频到语言的映射模块保持冻结。输出是模型自回归生成的转写文本，评价时在方言测试集上看适应效果，在普通话测试集上看源域保持。整个训练只跑完整一遍适应集，共 391 次更新，每步用 640 条、每种方言 128 条的均衡批量。
崩溃 × 修复 × 漂移： 崩溃指适应最初几步内方言和普通话字错率急剧冲高；修复指随后字错率快速回落并进入正常方言学习；漂移指修复完成后普通话字错率随继续训练缓慢而持续走高。前两者是快尺度的功能丧失与恢复，后者是慢尺度的源域保持能力流失，论文用干预证明它们可以分离。
三者的时间尺度完全不同。崩溃发生在最初几步，字错率可能一步就从可用冲到超过 100%，因为插入错误会让分子超过分母；修复是随后十几步把字错率拉回来；漂移是几百步尺度上普通话字错率慢慢抬升。后文的拼接、梯度和干预都是为了把这 3 段时间拆开，而不是混成一个遗忘分数。
已有研究如何看遗忘与诊断工具
在模型层面，FireRed-LLM、Qwen3-ASR 和 MiMo-Audio 是 3 套独立开发的系统，结构和训练配方不同。论文把它们当作互补的观察对象，不是比较谁的识别分数更高，而是看同样的学习率变化是否引发相似的轨迹形态。在遗忘层面，过去多比较适应前后的端点性能，最近才有人关注轨迹本身，例如伪遗忘工作指出早期大幅下跌也可能是可恢复的。论文继承了把瞬时退化与持久能力损失分开的思路，并进一步用改变早期优化路径的干预检验两者是否有因果联系。
在诊断工具层面，已有工作多研究训练好模型内部跨层的表征组织，本文则研究预训练检查点与微调早期检查点之间的功能兼容性。另一条线是用梯度谱看优化结构，本文把两两余弦相似度与奇异值谱放在同一轨迹里对比，检验行为恢复是否等于优化几何稳定。
为什么只看损失会漏掉关键变化
监督微调通常盯着训练损失和验证损失，看到尖峰或平台就判断优化出了问题。但损失是优化目标本身，用教师强制计算下一个字符的交叉熵，一步只看局部预测分布。字错率则是整句解码后与参考文本对齐的结果，会累积搜索、重复、截断等行为差异。语音识别适合暴露这种差异，因为音频和文本有较强的时间和内容对应，错误可以定位和量化，不像开放式描述那样难以归因。论文的起点就是这两条曲线可能走出完全不同的形状：验证损失只中等起伏，识别却在几步内崩掉再恢复。如果只看损失，就会把严重的功能中断误判为普通波动，也无法区分可恢复的崩溃和彻底失败。
整体流程如何把同一轨迹切成四个视角
论文没有提出新的识别模型，而是把一次完整的方言适应全程记录下来，再从 4 个视角切片。第一是行为视角，全程跟踪方言字错率和普通话字错率，学习率覆盖 10-5、10-4、10-3 3 个量级。第二是功能定位视角，在崩溃发生、达到峰值和恢复的密集检查点之间做双向层拼接，看预训练计算与适应后计算在哪个深度上不再兼容。
第三是优化几何视角，在每一步为 5 个方言各算一个解码器梯度，算步内跨方言一致性和相邻步同方言一致性，再把 5 个梯度堆成矩阵看奇异值能量分布。第四是因果干预视角，用 AdamW 更新迁移改写早期路径，绕开崩溃后再看长期漂移是否还出现。四步共用同一数据流和同一训练步数，保证比较的是同一轨迹的不同切面。
监督微调 × 评估损失 × 字错率： 监督微调是用配对音频和参考转写继续训练文本解码器；评估损失是在验证集上用教师强制计算的交叉熵，反映优化目标拟合到什么程度；字错率是模型自回归解码出整句后再与参考做编辑对齐得到的错误比例，反映推理时能不能用。三者要搭配，因为损失推进不等于功能可用，本文的崩溃、修复与漂移正是靠后两条字错率曲线才分得开。
双向层拼接如何定位崩溃发生在多深
拼接的构造很直观。设模型有 L 层，在边界 n 处造两个混合模型：前向混合用预训练的前 1 到 n 层接微调后的 n+1 到 L 层，反向混合则来源互换，然后从 n 等于 1 扫到 L，每条曲线就是随边界移动的字错率。如果把退化模型的一部分换回预训练层就能恢复识别，说明该区域贡献了不兼容；反过来把预训练模型的一部分换成微调层就重新变坏，也能定位问题区域。论文对前 10 个更新内的每个检查点都扫全部边界，并重点标出第 1 步、第 10 步和按未拼接字错率选出的峰值步。Qwen3-ASR 和 FireRed-LLM 的 L 是 28，MiMo-Audio 是 36，作图时用零基边界所以显示值为 n 减 1。
前向拼接 × 反向拼接 × 功能不兼容： 前向拼接是前 n 层取预训练权重、后半取微调后权重，反向拼接是前后来源互换，两者都用解码字错率检验混合模型是否还能工作。功能不兼容是指无论哪一侧换入对方的层，字错率都大幅抬升，说明两套计算在该深度边界上已接不上。修复过程则表现为这种不兼容随检查点推进而减弱并改变深度分布。
\[S_{\mathrm{intra}}(t)=\frac{2}{K(K-1)}\sum_{i梯度相似度与谱分布各自在算什么
梯度测量是在每次优化器更新之前，在同一参数状态下为 5 个方言各算一个梯度，聚合多卡和多累积步后拼成一个长向量，取的是裁剪和优化器变换之前的原始梯度。步内相似度看同一时刻不同方言是否指向同一方向，步间相似度看同一方言相邻时刻方向是否持续。论文发现成功收敛的运行往往快速去相关，步内值从较高的初值掉到零附近窄幅波动。
但高步间相似度既可出现在早期适应也可出现在失败的高学习率运行，低步间相似度既可出现在早期也可出现在收敛后，所以单看余弦高低不可靠。更重要的是高维参数空间里接近正交本来就容易出现，零附近的余弦区分力很弱。
步内相似度 × 步间相似度 × 有效维度： 步内相似度是同一训练步内五个方言梯度两两余弦的平均，看不同数据方向是否一致；步间相似度是同一方言相邻两步梯度的余弦中位数，看时间上是否持续；有效维度是对五个梯度组成矩阵做奇异值分解后由能量分布算出的参与比，看谱是集中还是分散。前两者只看夹角，在高维下容易都接近零而失去区分力，所以需要谱分布补上结构信息。
\[p_{k}^{(t)}=\frac{(\sigma_{k}^{(t)})^{2}}{\sum_{j=1}^{K}(\sigma_{j}^{(t)})^{2}},\qquad D_{\mathrm{eff}}^{(t)}=\frac{1}{\sum_{k=1}^{K}(p_{k}^{(t)})^{2}}.\]上式先把 5 个梯度堆成的原始矩阵做奇异值分解，能量份额是每个奇异值平方占总平方和的比例，有效维度是其参与比，取值在 1 到 5 之间。接近 5 表示能量均匀分散在 5 个成分上，接近 1 表示被少数成分主导。论文保留梯度幅值而不做行归一化，因此谱同时反映方向和相对大小，附录还给出按能量排序的堆叠面积图来展示完整分布。
更新迁移如何改写早期路径而不改数据
主实验用 AdamW、固定学习率、无预热跑完整个适应集。干预实验另起教师与学生两个分支：两者从同一预训练点出发，教师一直做普通微调；学生在全局步 0 到 9 停在预训练参数不动，在教师做完第 9 步更新后把教师的 AdamW 1 阶矩、2 阶矩和步数计数器拷给学生，但不拷模型参数。从第 10 步起两者处理相同的数据批量，各自算裁剪后的完整 AdamW 位移，教师照常用自己的位移，学生则按系数混合两者位移来更新。系数在 10 到 40 步把教师影响从 0.125 降到零、学生成分升到 0.125，40 到 70 步教师为零、学生成分从 0.125 升到 1，70 步后恢复普通微调，且学生优化器状态全程连续演化、不重置。
教师轨迹 × 学生轨迹 × AdamW 更新迁移： 教师轨迹是按普通监督微调完整走完的对照过程；学生轨迹是参数先停在预训练点、早期按系数吸收教师位移的干预过程；AdamW 更新迁移混合的是经过动量、偏置校正、学习率缩放和解耦权重衰减后的完整参数位移，而不是原始梯度。这样只改写早期优化路径而不改数据和目标，才能检验绕开早期崩溃后长期退化是否还会出现。
\[\theta_{s+1}^{S}=\theta_{s}^{S}+a_{s}u_{s}^{S}+b_{s}u_{s}^{T},\]上式中 a 和 b 就是上述混合系数，右端两项分别表示学生和教师的完整位移。这种设计刻意混合的是优化器输出的位移而非原始梯度，也不做投影或范数匹配，目的是让学生早期跟着被缩放的教师走、后期逐渐接管，从而绕开教师经历过的早期字错率尖峰。
数据、冻结方式和评分规则如何保证可比
适应数据是自收集的私有语料，5 种方言各 50000 条训练、5000 条验证、1000 条测试。普通话只做评估，用 SpeechIO-3 的 1683 条。3 个模型都冻结声学部分、只训文本解码器，Qwen3-ASR 与 FireRed-LLM 包含嵌入、变换器层、最终归一化和输出头，MiMo-Audio 只含全局文本解码器与语言模型头。解码是无教师强制的自回归生成，最大长度设为参考文本字符数的 2 倍，评分前去掉模型特有控制符，做统一码规范化、小写化并去掉空白和标点，再按语料级统计替换、删除、插入除以参考总字符数得到百分比。
方言总字错率是 5 种方言合并统计而非平均，普通话单独报告。同一模型内不同学习率共用数据采样顺序和随机种子，保证轨迹差异来自优化尺度而非数据顺序。
\[\mathrm{CER}(\mathcal{U})=100\frac{\sum_{u\in\mathcal{U}}(S_{u}+D_{u}+I_{u})}{\sum_{u\in\mathcal{U}}N_{u}},\]上式就是语料级字错率的定义，分子是全部语句的编辑错误之和，分母是全部参考字符数，乘 100 表示百分比。理解后文所有曲线都要记住纵轴是这个量，对数刻度下从 1% 冲到 100% 意味着可用性完全丧失，而超过 100% 则对应大量插入导致的重复输出。
下面这张表把训练、验证、测试和普通话评估放在同一批量和步数框架下比较，比较的问题是一次完整训练包含多少语句和多少更新，公平条件是同一均衡批量与同一数据流，指标方向是语句数越多早期几步覆盖样本越多。
| 划分 | 训练语句数 | 验证语句数 | 测试语句数 | 批量与更新说明 |
|---|---|---|---|---|
| 方言总量 | 250,000 | 25,000 | 5,000 | 每步 640 条，每方言 128 条，共 391 更新 |
| 普通话评估 | 仅评估不训练 | 仅评估不训练 | 1,683 | 来自 SpeechIO-3，只算字错率 |
| 训练过程 | 完整一遍适应集 | 跟踪验证损失 | 跟踪方言字错率 | T 等于 391 次优化器更新 |
| 干预对照 | 同一数据流 | 同一批次 | 同步保存检查点 | 学生 0-9 步不动，10-70 步混合 |
| 评价维度 | 方言看适应 | 损失看优化 | 普通话看保持 | 三者互补不互相替代 |
上表说明 391 步中前 10 步占比很小却决定是否崩溃，这正是后文强调瞬时动力学的原因。限制是私有方言语料无法公开复核，普通话只有不足 3 小时，结论依赖这两个测试集的代表性，批量越大早期几步看到的样本越多，换批量后峰值高度可能变化。
损失平稳时识别为何会先崩溃再恢复
论文图 1 的教学价值在于同一横轴、不同纵轴的反差。上方面板是评估损失随训练步的变化，下方面板是同一运行的方言与普通话字错率。读图时注意横轴都是训练步，纵轴一个是损失、一个是对数字错率。上方面板从第 1 步后缓慢下降，下方面板却在前几步冲高到 100% 附近再回落，普通话还出现一个标注为修复的小回勾。这种反差就是全文的起点：损失只中等变化，功能却剧烈变化。
看图路径： 1. 先看上面板评估损失的纵轴与横轴，确认第 1 步后是否只是温和起伏后缓慢下降；2. 再看下面板方言与普通话两条字错率曲线在前 10 步的冲高幅度和回落位置；3. 对比同一横轴位置上下两图的走向差异，体会损失平稳而功能剧变的分叉
论文图 1。原论文 Figure 1:：“Evaluation loss and recognition CER can exhibit qualitatively different trajectories during SFT.”。
图 1 实际显示损失下降与识别崩溃恢复可以并存，说明损失对中间功能变化的刻画比较粗。它能区分大体成功与失败的优化区间，但在崩溃的严重程度和时间结构上提供的信息很少。后文图 2 进一步把 3 个模型和 3 个学习率的损失放在一起，可以看到 10-5 下快速下降、10-3 下先升后降但终值高出 2 倍多，可这些曲线都无法预告字错率在哪一步冲多高、哪一步恢复。
下面这张表说明 3 个学习率比较的公平性，比较的问题是轨迹差异是否来自优化尺度，公平条件是同模型内除学习率外其他设置固定，且都冻结声学部分。
| 模型 | 学习率条件 | 可训练部分 | 优化器设置 | 批量组成 |
|---|---|---|---|---|
| Qwen3-ASR | 10-5，10-4，10-3 | 文本解码器 | AdamW 固定学习率，主实验无预热 | 每步 640 条，每方言 128 条 |
| FireRed-LLM | 10-5，10-4，10-3 | 文本解码器 | AdamW 固定学习率，主实验无预热 | 每步 640 条，每方言 128 条 |
| MiMo-Audio | 10-5，10-4，10-3 | 全局文本解码器与语言模型头 | AdamW 固定学习率，主实验无预热 | 每步 640 条，每方言 128 条 |
| 对照维度 | 只变学习率尺度 | 冻结声学编码器与映射模块 | 391 步完整一遍 | 保证差异来自优化尺度 |
| 评价维度 | 方言字错率看适应 | 普通话字错率看保持 | 损失看优化目标 | 三者互补不互相替代 |
上表的主要收益是模型间结构不同但实验操作一致，代价是只试了 3 个离散学习率，中间尺度的行为只能插值推测，不能断言单调变化。未胜出项是损失曲线本身仍能区分大体成功与失败，只是刻画不了中间功能的时间结构。
三个学习率下谁平滑适应谁持久失败
图 3 是核心行为证据，共 6 个面板，上行普通话、下行方言，列是 3 个模型，颜色区分学习率，横轴在 0 到 20 步放大。10-5 下 FireRed-LLM 最平滑，方言字错率从一开始下降，普通话几乎不变，可作为无崩溃适应的参照；Qwen3-ASR 和 MiMo-Audio 则有轻微早期退化再进入正常收敛，普通话先小幅变差再部分恢复。10-4 下 3 个模型方言和普通话都急剧冲高，FireRed-LLM 和 Qwen3-ASR 快速恢复且最终方言与 10-5 相当，但普通话停在更差的平台；MiMo-Audio 冲高后未能恢复，类似 10-3 的持久失败。10-3 下三者都冲高后停在高位，始终回不到基线，更谈不上达到低学习率的适应解，而评估损失在短暂上升后快速下降，终值仍是低学习率的 2 倍以上。
看图路径： 1. 按列对比三个模型，按行对比普通话与方言，注意纵轴是对数字错率；2. 重点看 0-20 步放大部分不同学习率曲线的冲高幅度和恢复速度；3. 观察 10-4 下谁恢复谁未恢复，10-3 下是否都停在高位不再下来
论文图 3。原论文 Figure 3:：“Test CER curves during supervised fine-tuning across three models and learning rates on Mandarin (top) and dialect (bottom) test sets.”。
图 3 的含义是早期恢复不等于进入稳定训练，瞬时崩溃与持久失败是两回事。10-4 的成功例子证明严重破坏后仍可有效适应，10-3 的失败例子证明损失下降也不能保证识别恢复。限制是字错率用对数轴展示，视觉上的小距离可能对应很大的绝对差距，比较终值时要回到线性百分比理解。
下面这张原表说明崩溃时的输出长什么样，比较的问题是崩溃是均匀识别噪声还是系统性重复输出，公平条件是同一模型同一学习率同一步，指标方向是字错率越低越好。
| Dialect | Transcript | CER |
|---|---|---|
| Hakka | Reference: 把跑车开转屋卡酿边料 Hypothesis: 今天只有今天只有只有今天今天今天今天今天 | 200.00% |
| Changsha | Reference: 多好多好那都是假的 Hypothesis: 今天只有明天只有明天明天明天明天明天 | 177.78% |
| Nanchang | Reference: 我不想拉个脸对你 Hypothesis: 今天只有今天只有今天只有今天今天 | 200.00% |
表中有 3 条假设都陷入今天只有或明天只有的重复，客家和南昌达到 200.00%，长沙为 177.78%，说明崩溃不是随机错字而是解码陷入循环。这种重复在损失上只表现为中等变化，但在字错率上非常刺眼。该运行随后恢复并继续有效训练，所以不能把这一时刻的坏例子当作最终能力。限制是只展示了第 3 步的 3 个例子，不能代表全部方言和全部崩溃时刻，持久失败的例子在附录中是另一类单字重复，需要区分。
拼接曲线如何显示崩溃与修复的深度重组
可恢复崩溃的拼接结果中，Qwen3-ASR 和 FireRed-LLM 用 10-4，MiMo-Audio 用 10-5，上行前向、下行反向，虚线是预训练基线。共同点是崩溃峰附近的检查点与预训练之间存在强烈而不均匀的不兼容，曲线随边界剧烈起伏；恢复阶段的第 10 步曲线更平滑、整体与预训练的失配更小。不同点是深度分布随模型而异，没有固定在某一层，Qwen3-ASR 在中段边界附近变化最陡，FireRed-LLM 在尾段边界出现大范围高原，MiMo-Audio 的波动相对平缓。这说明早期崩溃不是某个固定模块坏掉，而是跨深度的计算衔接被打乱，修复是逐步重组的过程。
附录把全部 9 种组合补全后进一步显示，10-3 下失配弥散到全网，找不到能恢复识别的边界，对应持久失败。未测范围是拼接只在前 10 步密集进行，长期漂移阶段的兼容性没有同等密度的扫描。
余弦相似度为何不可靠而谱分布更能区分稳定
梯度余弦部分先看定性：成功运行的步内相似度从较高初值快速掉到零附近窄幅波动，学习率越大则保持更强共线或更大波动，10-3 失败最明显；步间相似度的高值既可出现在早期适应也可出现在失败运行，低值既可出现在早期也可出现在收敛后，因此单看高低无法判断是否收敛。论文强调这是高维下的弱诊断性，需要更紧凑的结构视图。读有效维度图时先按行看模型、按列看学习率，注意标有有效适应的面板，纵轴是参与比 1 至 5，越接近 5 越分散，越接近 1 越集中。
看图路径： 1. 先确认纵轴是参与比 1 至 5，横轴是 391 步，颜色区分学习率；2. 看标有效适应的面板是否快速上升到接近 5 并保持平稳；3. 看失败面板是长期贴近 1 还是大幅上下波动
论文图 6。原论文 Figure 6:：“Gradient effective dimensionality across models and learning rates, measured by D_eff.”。
图 6 显示成功运行有效维度快速上升后长期贴近 5 且只有小波动，失败运行则长期集中或持续大波动。MiMo-Audio 在 10-4 的波动明显大于另两个成功运行，10-3 三者都出现长期集中或反复重组。含义是稳定适应对应宽而时间稳定的谱能量分布，不稳定对应谱集中或持续重组。但论文也提醒相似的有效维度值可能对应不同的能量分配，需要结合堆叠谱图看完整分布，且行为恢复可以早于谱稳定，说明功能可用不等于优化几何已稳定。
绕开早期崩溃后普通话退化是否还会出现
干预结果分三列，Qwen3-ASR 在 10-4、10-5 和 FireRed-LLM 在 10-4，上行普通话、下行方言，橙色教师、紫色学生，横轴是零基全局步，0 到 70 为阴影区。教师在两个 10-4 设置都有明显的早期双域尖峰，学生在 10 到 70 步按混合系数绕开尖峰，方言随后逐渐向教师轨迹靠拢。关键在普通话上行：教师尖峰后快速恢复进入看似平稳的平台，学生绕开尖峰后普通话字错率却在接管过程中再次抬升，最终向教师的退化区间漂去。论文的解释是教师的平台是继续修复与渐进遗忘部分抵消的结果，干预减少了初始损伤也就减少了后续修复量，从而让长期漂移更直接地暴露出来。
看图路径： 1. 区分橙色教师与紫色学生，注意学生前 10 步停在预训练点；2. 看 0-70 步阴影区学生是否绕开了教师的早期尖峰；3. 看 70 步之后两条曲线在普通话面板是否重新靠拢并缓慢走高
论文图 7。原论文 Figure 7:：“CER trajectories of teacher and student models during SFT for Qwen3-ASR at 10^-4 and 10^-5 and FireRed-LLM at 10^-4.”。
图 7 支持的判断是瞬时崩溃不是持久源域退化的必要条件，改变早期路径只改变退化的时间表现而不消除它。限制是只做了 3 个配置，MiMo-Audio 和 10-3 失败区没有干预，70 步后的普通话差距不大但方言都在改善，说明漂移与适应可以并行。预热是另一个对照：0.02 比例的线性预热对 FireRed 在 10-4 能大幅压制尖峰，对 Qwen 在 10-4 只能延迟和降低峰，对 Qwen 在 10-5 甚至延迟并放大普通话早期退化，且最终双域字错率与无预热相近，因此预热不能一致地防止早期尖峰，也不实质改善最终保持。
下面这张表整理干预与预热的设置对照，比较的问题是两者回答的不同问题，公平条件是同数据流同批量、教师为匹配基线，指标方向是看尖峰高度、恢复速度与平台是否上移。
| 干预类型 | 适用对象 | 时间窗口 | 早期效果 | 长期效果与代价 |
|---|---|---|---|---|
| AdamW 更新迁移 | Qwen 在 10-4 与 10-5，FireRed 在 10-4 | 学生 0-9 步不动，10-70 步混合，70 步后恢复普通训练 | 绕开教师的早期双域尖峰 | 普通话仍向退化区间漂移，方言继续改善 |
| 学习率预热 | 同上 3 种配置，预热比 0.02 | 学习率线性升至目标后保持 | FireRed 大幅压制，Qwen 部分压制或延迟放大 | 最终双域与无预热相近 |
| 共同限制 | 未覆盖 MiMo 与 10-3 | 只改早期路径不改数据目标 | 不能证明所有崩溃都可绕开 | 不能消除长期漂移 |
| 评价方式 | 同数据流同批量 | 教师为匹配基线 | 看尖峰高度与恢复速度 | 看平台是否上移 |
| 结论方向 | 分离崩溃与漂移 | 检验必要性 | 早期可改写 | 长期仍出现 |
上表说明更新迁移回答的是因果必要性，预热回答的是工程缓解效果，两者都不改变冻结声学、只训解码器的前提。反例是预热在个别设置下反而加重早期普通话退化，提醒不要把延迟峰值误认为消除风险，代价是干预需要同时跑教师与学生并保存密集检查点。
结论在什么条件下才成立还有哪些没测
成立条件首先是任务与指标：结论依赖语音识别这种可定位、可量化的行为，字错率对重复和插入敏感，才能看到损失看不到的崩溃；换成开放式生成任务，同样的损失分叉未必以同样方式显现。其次是训练制度：只微调文本解码器、固定学习率、无预热、391 步完整一遍、批量 640 且方言均衡，学习率只取 3 个离散值，中间尺度和多轮训练的行为不在证据内。
第三是模型范围：3 套独立系统的深度和解码器划分不同，拼接边界和梯度参数集合按模型定义，深度分布的差异不能跨模型直接比层号。未测范围包括私有方言语料的域外泛化、更大规模批量或不同优化器、MiMo-Audio 在 10-4 的失败机制是否与 10-3 同因、以及谱稳定与行为恢复之间的时滞是否可用于早停。这些缺失不是技术缺陷，而是复用结论时必须补的验证。
复现第一步做什么需要哪些关键设置
复现应从行为轨迹做起，而不是只复现终点分数。第一步按原文冻结声学编码器和映射模块、只训文本解码器，用固定学习率、无预热跑 10-5、10-4、10-3 三档，全程保存前 10 步的密集检查点和之后每 10 步的检查点，同步记录验证损失、方言字错率和普通话字错率，横轴在前 20 步放大、对数纵轴展示字错率。第二步在峰值步附近做双向拼接，扫全部边界并与预训练基线对比，确认不兼容是否随恢复减弱。
第三步在每步为 5 个方言各存一个裁剪前梯度，算步内均值、步间中位数和奇异值能量分布，重点看有效维度是否贴近 5 并保持稳定。干预复现需严格对齐数据流，保证教师与学生处理相同批量，先拷教师前 10 步的优化器状态再从第 10 步混合到第 70 步。作者资源方面，本次未发现可验证的公开代码、模型或数据链接，不得声称已开源；私有方言语料和 SpeechIO-3 评估集需自行准备可比的划分。
什么时候值得借鉴还需要补哪项验证
当你的微调也出现损失平稳但生成质量突变，或者早期抖动后看似恢复却担心源域慢慢变差时，这套 3 段切分值得借鉴：先用行为曲线确认是崩溃还是漂移，再用拼接看不兼容是否重组，最后用谱分布看优化是否真正稳定。更新迁移的启示是不要把压制早期尖峰等同于解决遗忘，预热实验也显示最终保持可能并无改善。还需要补的验证是把谱指标与具体的早停或学习率调整规则挂钩，证明它在新数据上能提前预警而不只是事后解释。
同时在可公开的数据上重复方言适应的三档学习率，检验崩溃幅度、修复速度和漂移斜率是否稳定出现。只有补上这些，才能把瞬时现象的观察转化为可部署的训练策略。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses