不存旧数据时如何留住旧能力:用蒸馏定方向、用投影让路的持续语音识别
针对 Whisper 类模型在英语多领域顺序适配中的灾难性遗忘,论文提出以熵加权 token 蒸馏提纯保持方向、仅在冲突时对监督梯度做可调投影并只调解码器,最终平均词错误率 8.12% 相对不忘学习降低 7.2%,代价是新领域适配词错误率有所上升且 η 需权衡。
针对 Whisper 类模型在英语多领域顺序适配中的灾难性遗忘,论文提出以熵加权 token 蒸馏提纯保持方向、仅在冲突时对监督梯度做可调投影并只调解码器,最终平均词错误率 8.12% 相对不忘学习降低 7.2%,代价是新领域适配词错误率有所上升且 η 需权衡。
针对无回放的连续说话人自适应中统一正交隔离会阻断相似说话人迁移的问题,SCOLoRA 用说话人嵌入余弦相似度生成带符号系数来在对齐与正交之间切换,在 TEDLIUM3 上取得测试平均 4.11% 与遗忘 0.05,代价是每步需保留历史 LoRA 基并多训练一个轻量映射器。
针对大语音基础模型顺序适配时的灾难性遗忘问题,论文提出只在低能量尾部子空间学习近似旋转并跨任务平均旋转的方法,在两组荷兰语系持续学习基准上把平均词错误率降到最低,但新方言任务的适配幅度仍受保留旧知识的约束。
针对每阶段只标注新类而旧类标注缺失的多标签音频类增量问题,论文用冻结编码器加解析闭式线性分类器递推累积统计量,并在 ALMA 中补连续旧类分数与频率加权,最强证据是 Setup A 上 ALMA 平均累积 43.32% 与最终 39.08% 且旧组局部保持 47.8% 左右,代价是样本加权基本无增益且长序列下与存历史数据的上限差距拉大。
论文把 1000 类、每类 5 样的口语词分类做成持续学习任务,用从头训练的生成式元持续学习与 HuBERT 全量微调和冻结分类头对比,显示 GeMCL 在 1000 类时只落后约 2% 但适配快 2000 倍且逐词波动小一个数量级以上。
针对 ASR 基座模型持续适配中的灾难性遗忘,CGaLore 用旧任务 KFAC 曲率先过滤当前梯度再选 GaLore 低秩基,在 L2-Arctic 与 CGN 两组实验上取得最优平均词错误率,代价是需少量旧任务语音估计曲率并增加基更新时的计算。
该研究把持续学习任务收紧到单攻击者加已知真人多样性,用三种检测模型和四种训练策略对比,报告攻击者训练数据与架构影响相当、任务顺序与说话人多样性对不同方法影响不一,而随机回放最稳但需存旧数据。
针对域增量下旧音频不可回访且新专家对旧样本缺特征的问题,该文用冻结追加专家加无数据回放与跨域特征补全,在 DCASE 2026 任务 7 上报告 78.4% 微平均与 78.9% 宏平均,代价是专家数与拼接维度随域数线性增长。
针对新伪造语音出现时微调整个检测器会遗忘旧数据的矛盾,该工作冻结定制 ResNet18 主干、只训练 128 维嵌入后的轻量回溯翻译器做类条件分布对齐,在 FoR、ITW 和中文 ADD22 上保持源域 95.0% AUC 与 9.74% EER 的同时把目标域做到约 95-98% AUC,代价是目标域 EER 比全量重训高约数个百分点。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
该文在 ESC-50 的 5 任务类增量设置下用 Integrated Gradients 跟踪任务级解释漂移,报告含回放的混合方法同时获得最高平均准确率 0.4400 与最低遗忘 0.3896 并压低解释漂移,而正则化方法遗忘高且漂移大。
针对基座会话与增量会话都只有极少标注音频的全少样本类增量音频分类问题,TAPE 冻结 CLAP 音频编码器并学习任务适配投影与推理期低熵原型演化,在三套音频任务上报告平均准确率与性能下降率的同步改善,代价是每类需维护推理期优先队列并按会话重置原型。
论文把多通道回放检测定义为按声学环境逐个学习的域增量问题,用 ReMASC 全部 24 种顺序对比朴素微调、EWC、GPM 与任务专用波束形成器,最强证据是 TSB 显著降低平均错误率但未减少遗忘,而最后出现的环境主导最终性能。
该文在 FSD50K 与 AudioSet 上以 30 类起步加 4 个 5 类增量任务比较冻结、蒸馏与核级可塑性调制,报告显示冻住卷积特征并只微调动态分类头遗忘最小而核级约束反而更不稳定,但新类学习能力仍低于联合训练。
音频分类 | 7.2/10
语音识别 | 7.0/10
元学习 | 8.1/10
共分析 16 篇语音/AI 论文
语音识别 | 8.2/10