持续学习

把 Whisper-small 从 TED 演讲语音调到 Earnings22 财报语音时，同域两分区上都出现负遗忘，不加正则的微调取得最低词错误率，而需要正则时 mini-KFAC 比对角 EWC 更低更稳，但差异在 5 个种子下不显著。

针对口音标签模糊、类别不均衡和跨语料库录音差异，AccentCL 先训练五类区域口音基座分类器再用回放与正则逐步加入西班牙和中国口音，新类与旧类取得平衡但仍依赖有限回放与两步验证。

VoiceWeaver 用结构化标签前缀把情感、语气和声音事件拼进同一文本音频序列，再按情感到语气再到事件的顺序分阶段学习并用回放蒸馏保持旧能力，在中英文封闭标签测试中情感事件联合正确率达到约 70% 和 66%，代价是文本错误率高于外部大体量语音合成基线。

针对伪造语音类型持续新增且原始语音不能集中共享的问题，FedCFM 让每个客户端在嵌入层训练条件流匹配生成器并交换生成器，再用生成回放加知识蒸馏更新分类器，在相同训练数据组合下报告了低于所比较集中式与联邦基线的等错误率，但生成器交换轮带来约 164.1 MB 的单客户端通信开销。

针对部署后新伪造攻击占主导而旧攻击仍残留的问题，SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督，在六个演变环境中把未见攻击上的等错误率大幅降低，但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。

针对新伪造机制不断出现而真实语音来源已知的更新场景，论文提出按生成机制组织任务的 RAMI 协议与非对称提示方法 RF-Prompt，在 RAMI 上取得 10.110% 平均 EER 与 10.370% 混合 EER，但离线联合训练仍更优且部分机制上基线更低。

针对生成式语音增强在新声学域上微调会遗忘旧域、零样本又适应不足的问题，论文用冻结的 GPT 式主干加域专属 LoRA 逐域增量学习，在四个异构数据集上以平均 SpeechBertScore 保持旧域并适应新域，代价是域不可知时依赖熵选适配器且推理需多路前向。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音到音乐的域漂移与打分尺度不一致，CAQA-Net 用可训练波形分支学生成可塑性、用冻结频谱分支做稳定性锚、用多头加蒸馏正则与原型门控做任务无关推理，在五数据集序列上报告与联合学习上界相差 0.036 SRCC，而冻结与门控等设计带来推理与调参代价。

论文把 Whisper-Small 适配到比斯拉马语、纳夫桑语和雷莱帕语三种太平洋语言，报告了随数据量变化的识别误差、编码器与解码器的层级表示漂移以及向英语和历史语言的遗忘，用全量微调与 LoRA 及其变体的对照揭示了新语言可塑性与旧能力保持之间的严格权衡。

针对持续广义类别发现中声音频谱重叠与基类偏置问题，论文用实例自适应正则加高斯混合自适应阈值与指数滑动平均动态教师做伪标签稳定，在 ShipsEar 上累计平均精度报告 74.14%，代价是新类精度仍低于 Happy。

针对基会话与增量会话存在域偏移的跨域小样本类增量音频分类问题，论文用对抗训练模拟伪目标域加监督对比学习塑形嵌入空间，在六组跨域配对上报告了更高的平均准确率，代价是基会话需两步交替训练且增量阶段冻结编码器。

针对冻结流匹配语音合成持续读错多语专有名词的问题，FlowEdit 冻结 DiT 只优化文本嵌入扰动并存入 Modern Hopfield 记忆，在 312 词基准上把目标词音素错误率降到 3.1% 且通用语音保持 4.1%，单次纠错约 15 秒但声调语言残留误差更高。

论文把鲁棒性当作随分布漂移持续演化的能力，用语言内容、说话人特征、声学环境三类因子构建 MoDiCoL 并设计四段课程，对比经验回放、表征正则与正交梯度三种持续学习策略，最强证据是 10% 回放把平均词错率降到 17.31 并接近零遗忘，代价是仍依赖记忆容量与任务顺序且部分组合靠合成与仿真补齐。

为在拿不到原始训练数据且不允许老词退化的条件下增加新触发词，该文冻结约 150k 参数的基座并只训练不超过 10k 参数的扩展分支与新词头，在固定 1% 误接受率下把新词平均漏检率从可部署独立模型基线的 6.46% 降到 4.37%，最坏情况计算量为 16.34M，低于同预算适配器与低秩适配的 18.45M 与 20.52M。

针对 Whisper 类模型在低资源语言上顺序微调时的灾难性遗忘，论文提出用语言均衡回放构造整体参考梯度并做冲突投影的统一梯度投影方法，在 Whisper-large-v3 上报告平均遗忘接近零，但目标语言可塑性仍需与回放量和模型容量一起权衡。

针对增量会话中类别既增加又减少的少样本音频分类问题，该研究用可变类原型自适应网络逐会话修正全部原型并用伪类可变训练模拟增减过程，在 LS-100、NSynth-100 和 FSC-89 上的平均准确率报告显示优于所比基线，但类删除会话无新样本且旧嵌入靠高斯重构带来分布假设代价。

针对 Warlpiri、Dalabon、Dharawal 三种极低资源澳大利亚原住民语言识别，论文用回放增强的弹性权重巩固与约束引导的知识蒸馏来适配预训练模型，最强的约束引导知识蒸馏在单语适配中把高资源语言保持在 92.89% 并把新语种学到 100%，代价是仍需保留旧模型做教师且顺序适配效果依赖评测条件。

论文用四类不流利标记改造 whisper-small.en，先在 SME 上建立标记机制再按 Pitt、Delaware 顺序持续适配，发现能稳定发出标记的方法都要付出预处理词错率代价，而跨注意力少数头的共享特化解释了标记学习与通用识别之间的冲突。

针对跨医院设备与人群的域偏移与隐私限制，Lung-CL 用类别特定高斯混合的隐空间生成回放加多层次谱感知蒸馏做无缓冲域增量学习，在三数据集序列上报告 S1 准确率 61.81% 与后向迁移 -4.0%，代价是强能量门控正则下准确率略低于常规蒸馏分支。