类别有增有减时，原型分类器如何不忘旧类又认出新类

英文题目：Few-shot Class-variable Incremental Audio Classification via Prototype Adaptation and Pseudo Class-variable Training

会议身份：conference:interspeech:2026:conference-paper-id:li26q_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #持续学习 #少样本 #音频分类

评分：6.8/10 | 创新 1.3/2 | 技术严谨 0.9/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yanxiong Li：机构信息未能从会议 PDF 纯文本可靠映射
• Guoqing Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Qianqian Li：机构信息未能从会议 PDF 纯文本可靠映射
• Sen Huang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该文研究少样本类可变增量音频分类，输入为基类大量音频与增量阶段每类仅5个样本的对数梅尔谱，输出为覆盖全部现存类的标签，且类集合在每轮可能增加或减少，难点在于无旧类样本时既要记住旧类又要快速接纳新类并处理类删除。方法链分为四步：残差网络ResNet-18编码器先在基类预训练并提取512维嵌入，随后类可变原型自适应网络对新旧原型与查询嵌入做注意力校准，伪类可变训练策略在基类上用混合伪类模拟增加与删除交替训练以提升适应性，增量阶段冻结编码器并用高斯均值与协方差重构旧类嵌入或直接丢弃已删类原型。与仅支持类增加的原型分类器和随机分类器相比，该设计显式支持原型删除与动态结构调整，更贴合关键词增删并存的部署场景。在LS-100上全部类平均准确率达到92.62%，高于原型自适应网络（Prototype Adaptation Network，PAN）的91.43%与自适应缓解遗忘过拟合方法（Adaptive Mitigation of Forgetting and Overfitting，AMFO）的91.53%。该结论的适用边界受限于4轮增量、每轮增加5类删除2类及两种不规则变体的验证范围，尚未验证大规模删除、重复增删同一类或长序列漂移下的失败条件。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/cgq2971-afk/FCIAC — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

智能音箱既要加关键词又要删关键词，模型该怎么办？

输入是这篇论文要解决的任务与目标，目标是让刚进入音频领域的研究生能核对条件并复述方法，必须保留的信息包括任务定义中类别可增可减、编码器冻结与分类器原型更新的分工、伪训练模拟增减的构造、3 个数据集上的会话安排与平均准确率口径，输出是 1 篇按学习依赖展开的技术解读。先讲白话：音频分类就是给一段声音贴标签，比如说话人是谁、乐器是哪种、环境事件是什么。

传统做法需要大量标注且只能认训练时见过的固定标签，要认新标签就得把新旧样本放在一起重训。当旧样本因隐私或版权拿不到、新类只有几个样本时，重训不可行，模型容易只偏向新类而忘记旧类，这就是少样本类增量音频分类想解决的矛盾。论文报告说，已有少样本类增量方法假设类别数只增不减，与实际需求不符。举例来说，智能音箱用户希望语音关键词既能增加也能删除，而不是只能不断增加。

于是论文把任务扩展为少样本类可变增量音频分类，简称为可变类增量任务，其中每个增量会话的类别数可以增加也可以减少。理解这一点后，后续的编码器、原型、自适应网络与伪训练都是为在类别数变化时维持可分性服务的。基会话有大规模数据，增量会话在增加时是小样本数据集，在删除时甚至是空集，评估时要测当前与此前所有未被删除会话的测试集。抓住增加时有少量新样本、删除时无新样本、旧样本不可用这 3 条，就抓住了方法设计的约束。

已有增量方法卡在哪里，为什么需要可变类别设定？

问题是已有路线能否直接处理类别减少，操作是按同输入、同目标、同监督与同运行阶段做对照。论文把已有少样本类增量音频分类模型归纳为编码器加分类器两部分。编码器基本是卷积神经网络，分类器则有岭回归分类器、原型分类器、随机分类器与线性分类器等不同结构。白话解释原型分类器：它不保存复杂的分类边界，而是为每个类保存一个代表向量，新样本与哪个代表向量最相似就判为哪类。

已有方法能在不忘记旧类的前提下持续认新类，但都假设类别数一直增加。论文明确指出该假设与许多实际应用矛盾，因为类别在实践中一般是有增有减。相关工作的对照意义在于，凡是只设计增加分支的方法，都没有规定删除时如何处理原型、均值向量与协方差矩阵，也没有评估删除后的剩余类别准确率。

因此新问题不是简单换数据集，而是把会话类型从单一增加扩展为增加或减少，并在训练与评估数据都为空的删除会话下仍要求模型对未删除的旧类保持判别力。比较时要注意监督条件：基会话可用大规模基类训练集，增量会话只能用当前会话的小样本训练集，不能动用旧类原始样本，只能用保存的统计量重构嵌入。运行阶段也不同：编码器在基会话训练后冻结，增量阶段只更新自适应网络与原型。

把这些条件对齐后，才能公平理解后文与持续演进分类器、动态扩展分类器等基线的对比。

类别可变增量任务的形式化输入输出是什么？

问题是把任务写成可执行的会话协议，操作是定义训练集、测试集、标签集与空集会话。论文用符号说明：训练与评估数据记为多个会话的集合，其中下标表示训练、评估，总会话数为基会话加多个增量会话。每个会话有自己的标签集，不同会话的类别种类不相交。如果第几个增量会话要删除类别，则该会话没有新的训练与测试样本，即训练集与测试集都是空集。

在该会话中只能用可用的当前数据训练模型，而训练好的模型要在当前与此前所有会话的评估集上测试，但已删除的类别要排除在外。会话零是基会话，拥有大规模数据集用于训练模型。若增量会话是增加类别，则其数据集是几路几样本的小规模数据集，否则为空集。出现在基会话与增量会话的类分别称为基类与增量类。

举一个教学例子帮助理解，不代表论文数值：假设基会话有 60 个说话人，第一个增量会话增加 5 个新说话人各给 5 个样本，第二个增量会话删除两个旧说话人且不给任何新样本，评估时只测仍然存在的说话人。这个例子只是说明增加时有支撑样本、删除时为空集的机制，具体论文实验用另一套会话安排。关键约束是不同会话标签不重叠、删除会话训练测试为空、评估排除已删类，这决定了方法必须具备删除原型与统计量并重调剩余原型的能力。

编码器加自适应原型的方法全景如何走通一个样本？

本节承担全景教学任务，先沿一个样本走完输入到输出，再展开分支。音频样本先转为对数梅尔谱作为输入表示，编码器把它映射为嵌入向量，分类器侧用每个类的原型与查询嵌入算余弦相似度得到得分，最高分对应的类即为预测。基会话按顺序训练编码器、自适应网络与分类器，并计算基类嵌入的均值向量与协方差矩阵用于初始化与保存。增量会话中编码器冻结，只更新类可变原型自适应网络与原型。

若当前会话类别增加，则用保存的均值与协方差重构旧类嵌入，与新类真实嵌入一起更新原型，同时计算并保存新类嵌入的均值与协方差。若当前会话删除类别，则丢弃被删类的原型、均值与协方差，再用剩余类的重构嵌入更新原型。这种设计使模型能灵活适应增加与删除并保持对现存类的判别力。下图是论文给出的整体框架，左侧为基会话训练模型，右侧为增量会话更新模型，橙色虚框对应增加操作，绿色虚框对应减少操作。

看图路径： 1. 先从左下基会话五段流程看编码器、网络与原型的先后顺序；2. 再看右上橙色增加分支与绿色减少分支在输入与删除操作上的差别；3. 核对均值与协方差从计算保存到重构旧嵌入的闭环箭头；4. 确认增量会话中编码器不再训练而只有网络与原型被更新

论文图 1。原论文 Figure 1：“Framework for the proposed FCIAC method.”。

上图显示了从训练数据到对数梅尔谱、嵌入提取、自适应网络训练、均值协方差计算，再到增量会话中重构旧嵌入、计算新类统计量、更新网络与原型的完整闭环。观察时要注意基会话下方标注的预训练编码器、训练自适应网络、训练编码器、伪类可变训练、计算统计量 5 段顺序，以及增量会话中增加分支多出提取新嵌入与计算新统计量的步骤，而减少分支多出删除统计量与删除原型的步骤。理解该分叉后，就能明白为何编码器冻结而自适应网络持续更新：前者负责记住基类的通用表示，后者负责随类别集合动态调整决策位置。

自适应网络内部四个模块如何分工调整原型？

本节承担组件教学任务，先解释术语再讲组合。白话解释注意力原型生成模块：它只在类别增加的增量会话中启用，负责从当前会话的支撑嵌入中生成新类原型。自适应网络由注意力原型生成模块、原型稳定性自适应模块、原型可塑性自适应模块与融合模块组成。稳定性模块在基会话后冻结，可塑性模块在增量会话中用新类支撑样本与旧类重构嵌入继续更新。融合模块把两路输出组合得到最终原型更新。

3 个注意力模块都采用自注意力机制捕捉输入向量之间的关系，每个模块主要由自注意力、层归一化与残差连接构成。在生成模块中，自注意力捕捉新类支撑嵌入之间的关系，使原型更具代表性。在稳定性与可塑性模块中，自注意力捕捉全部原型在原型空间中的全局位置信息并据此调整。最后用更新后的查询嵌入与更新后原型之间的余弦相似度做分类。下图是自适应网络结构，顶部为生成模块，中部左右为稳定性与可塑性分支，底部为融合与余弦打分。

看图路径： 1. 先看顶部蓝色虚框内注意力加平均如何从支撑嵌入生成新类原型；2. 再对比中部红色冻结支路与橙色可更新支路的输入是否相同；3. 跟踪底部融合模块中拼接、线性与门控权重 λ 的汇合顺序；4. 确认拆分后一路算余弦得分一路输出更新后原型的出口

论文图 2。原论文 Figure 2：“Architecture of class-variable prototype adaptation network.”。

上图可见支撑嵌入经自注意力、残差相加、层归一化与平均得到新类原型，再与查询嵌入和此前会话原型拼接后分别送入左右两路。左右两路各经自注意力与层归一化后在中间拼接，经线性、激活、线性与门控函数产生权重与互补权重，分别加权两路输出后拆分，一路得到更新后的查询嵌入用于余弦打分，另一路得到更新后的原型。图注明确标注只有当增量训练集非空时才启用顶部模块，会话数大于等于一时冻结左侧稳定性分支。

原型分类器 × 类可变原型自适应网络： 原型分类器分工是用每个类的一个代表向量做最近邻式判决，类可变原型自适应网络分工是在类别增加或删除后调整全部原型与查询嵌入的相对位置，二者搭配的原因是增减类别会改变决策边界而编码器已冻结，组合意义是只动分类器侧的原型就能恢复可分性而不重训特征提取器。

稳定性自适应模块 × 可塑性自适应模块： 稳定性自适应模块分工是保持对已有类别的记忆，在基会话后被冻结，可塑性自适应模块分工是在增量会话中吸收新类信息并继续更新，二者搭配的原因是增量学习需要同时抗遗忘和学新类，组合意义是由门控融合模块按权重 λ 与 1-λ 加权两路输出后再拆分为更新后的原型和查询嵌入。

没有未来新类样本时如何模拟增加与删除来训练？

本节承担训练与构造教学任务，讲清伪类可变训练策略的真实计算过程。白话解释伪类：用基类训练数据合成出的假新类，用于模拟增量阶段。动机是增量阶段每类样本有限且类别数时增时减，而基会话数据充足但只能认预定义的基类，若直接训练则模型无法适应动态变化的增量类。论文在基会话中构造多个片段，每个片段含若干类每类若干样本，这些样本由基类训练数据合成。然后在每个片段的样本上交替训练类别增加与类别删除。

具体步骤按论文算法归纳为：从基类训练集中随机选两个子集用于合成伪类；从对称贝塔分布中采样混合系数，用混合方式生成伪类样本并赋标签；构建伪类数据集并拆为支撑集与查询集，用编码器学习嵌入；用生成模块产生当前会话原型；冻结稳定性模块，激活可塑性与融合模块。

更新全部原型并调整查询嵌入；预测查询标签并计算交叉熵损失；用随机梯度下降更新编码器与自适应网络；冻结编码器以记住旧类知识；随机丢弃少量旧类原型。

用自适应网络更新剩余类的原型与查询嵌入；预测现存类的查询标签并计算交叉熵损失；用随机梯度下降更新自适应网络；重复直到最大训练轮数。输出是优化后的编码器与自适应网络。

嵌入重构方面，论文假设同类嵌入服从多元高斯分布，先从标准正态生成与均值同维的随机向量，再乘以协方差矩阵的逆并加到均值上得到重构嵌入。该过程在增量会话中为旧类提供替代样本。需指出的缺项是原文未给出混合系数超参数与片段数的具体取值，也未报告伪训练的额外耗时，复现时需按代码核对。

伪类可变训练策略 × 增量会话： 伪类可变训练策略分工是在只有基类数据的基会话中合成出模拟的增加与删除片段，增量会话分工是真实面对少量新类样本或空训练集，二者搭配的原因是基会话无法直接见到未来的增量类，组合意义是让编码器与自适应网络提前经历先加类后删类的交替优化，从而在真实增量到来时已具备调整原型的能力。

嵌入重构 × 均值向量与协方差矩阵： 均值向量与协方差矩阵分工是为每个旧类保存一个多元高斯分布的充分统计量，嵌入重构分工是在不能访问旧类原始音频时从该分布中采样出替代嵌入，二者搭配的原因是隐私与存储限制使旧样本不可用，组合意义是用保存的统计量加随机向量生成可参与原型更新的旧类代表，避免只用新类样本导致决策偏向新类。

在什么数据、会话与指标下比较才算公平？

本节承担实验条件教学任务，讲清测什么、与谁比、条件是否一致。实验在 3 个公开数据集上进行，包括百说话人的语音集、100 类乐器声集与 89 类声音事件集，涵盖人声、动物声、自然声、音乐声与杂项。论文说明三集在先前研究中被广泛使用，细节见引用文献，下载地址在文中给出。评估用平均准确率，定义为各会话准确率的平均，方向是越高越好。

跨 3 个数据集都配置 4 个增量会话，采用交替安排：每会话增加 5 个新类并删除两个旧类，其中删除的是一个基类与一个此前增加的增量类。少样本取值为 5 路五样本，测试过程重复 100 次并报告平均准确率。对数梅尔谱与原型维度分别设为一百二十八与五百一十二。基会话中编码器与自适应网络的学习率分别为 0.1 与万分之二，增量会话中所有学习率设为万分之一。

比较对象包括持续演进分类器、动态扩展原型方法与自适应缓解遗忘过拟合方法，所有方法都按可变类增量设定配置并在相同条件下比较。表中符号加五表示该会话增加 5 类，减二表示删除两类。下表整理论文报告的配置与消融口径，数值写法保留原文，裸值不擅自加百分号，学习率科学计数保留原文形式。

表后需要说明的是，该配置表只解决可复现性，不替代效果比较。

公平条件的关键是所有基线都切换到类别可增可减的设定并共享编码器主干与评估会话，否则只增不减的原设定会低估删除操作的影响。指标聚合对象是各会话准确率的平均，删除会话的评估排除已删类。硬件预算与训练时长原文未报告，这是复现成本上的缺项。后续结果表必须同时核对数据集、基线、实验阶段、指标与聚合对象，不能只看数值大小。

三个数据集上的主结果支持什么判断又有什么代价？

本节承担主结果教学任务，比较问题是可变类别下谁的平均准确率更高，公平条件是同会话增减安排与同评估口径，指标方向是平均准确率越高越好。下表聚焦全部类的各会话准确率与平均值，基类与增量类的拆分在正文段中补充说明。

上表显示在语音集上本方法在各会话与平均值上都取得最高，平均准确率达到 92.62，超过 3 个基线。论文还报告基类与增量类的拆分：本方法基类平均为 92.16，增量类平均高达 97.91，而动态扩展基线的增量类平均为 88.85，自适应缓解基线的增量类平均为 88.65，说明收益主要来自增量类的判别提升。

下表把乐器集与声音事件集的全部类结果放在一起，便于观察趋势是否跨域成立，比较问题与评估口径与上表保持一致。

上表支持的判断是本方法在 3 个数据集的全部类平均准确率上都超过所比基线，乐器集上优势较明显，事件集上优势较小且基会话零的准确率并非最高，说明在更难的真实事件声下整体绝对准确率仍偏低。

代价与限制是删除会话的评估排除了已删类，平均值会掩盖删除对剩余类边界的扰动，且增量类样本少、旧类靠重构，分布假设偏差可能在事件集上放大。论文还补充了更贴近部署的两种设定：每会话增减数量随机，以及同会话内同时增加与删除，并在语音集上报告各会话全部类平均准确率，显示本方法在每会话仍最高且波动较小。但该部分只有趋势描述而无完整数值表，复现时需以代码中的会话脚本为准，不能把趋势推广为每步都最优。

网络与伪训练各自贡献多少，差异是否显著？

本节承担反证教学任务，先问 2 个组件是否都必要，再问排名差异是否经得起统计检验。下表是论文在语音集上做的消融，比较自适应网络与伪策略开关组合下的基类、增量类与全部类平均准确率，表头单位为%，数据格保留原文裸值。

上表显示两者都有贡献，单独开启任一项都高于两者都关闭的基线，同时开启时全部类平均为 91.43 对应行之上的 92.62，增量类平均为 97.91，说明伪训练对新类适应的增益更大，而网络对基类保持也有帮助。未胜出项是仅开策略时基类平均 92.19 略高于两者全开时的 92.16，提示融合权重可能在保旧与学新之间做了权衡，该差异本身很小且不改变同时开启最优的总体结论。

统计检验方面，论文按常见做法用弗里德曼检验并用内梅尼检验做事后分析，在每个实验数据集上做 10 次运行的平均排名比较，显著性水平为 0.05。下图左为各方法取得各排名的次数，右为临界差异图，数字越小表示排名越好，粗横线连接表示差异不显著，该图即论文图 4，包含直方图与临界差异图两部分。

看图路径： 1. 先读左图行标签后括号内平均排名与格内次数的对应关系；2. 再看右图横轴排名方向与临界差异线段的跨度；3. 核对粗横线连接的方法表示差异不显著；4. 确认本方法在左图最右侧列与右图最右侧点的排名位置

论文图 3。原论文 Figure 4：“Results of significance test. (a) Visualization of the number of times each method achieves each rank. (b) Visualization of significance differences between different methods.”。

上图左显示本方法 30 次都排第一，持续演进基线 30 次都排第四，另两个基线分布在第二与第三之间，其中像素可见 PAN 为 18 与 12、AMFO 为 12 与 18 的分布。上图右显示本方法单独位于最右侧且与其他方法无粗线连接，论文据此报告本方法优于所有基线且改进具有统计显著性。需要限定的是该检验基于 10 次运行的平均排名，不能证明在任意新会话安排下都显著，且未报告延迟与存储成本，显著性不等于部署成本更低。

哪些条件没测、哪些假设可能失效？

本节承担边界教学任务，区分直接报告、有限解释与未验证推测。论文直接报告的是在固定交替增减与两种不规则增减设定下的平均准确率优势，有限解释是自适应网络与伪训练分别从决策调整与提前模拟两方面带来增益，未验证推测是更复杂的类别漂移与噪声标注下的表现。明确的限制包括：删除会话无新样本，只能靠重构嵌入维持旧类边界，若均值与协方差估计不准，重构会偏离真实分布。

同类嵌入服从多元高斯的假设在语音与乐器上可能较成立，在多变的环境事件上可能偏弱，这与事件集绝对准确率偏低的现象一致；编码器在基会话后冻结，若增量类的声学特性与基类差异很大，冻结表示可能限制可塑性，而持续更新可塑分支只能在原型侧补偿。未评测的边界包括：类别在同一会话内大规模增减、反复删除又重新加入同一类、增量样本极少到一路一样本时的稳定性，以及推理延迟、内存占用与保存每个类统计量的扩展成本。

原文结论也承认这是解决可变类增量问题的初步工作，性能仍需提高，未来考虑优化模型结构与损失。因此把平均趋势直接读成每组每步都成立是不恰当的，也不能从准确率提升推定误判率、延迟或成本同时改善。

要复现这篇工作，先准备什么再跑什么？

本节承担复现教学任务，按原文交代可重放的细节组织。数据方面用 3 个公开集，论文给出下载地址，资源状态是正文开源声明的唯一依据，本次收到的代码资源状态为可用，链接当前可用，已公开在代码地址，可用于核对会话脚本与超参数。划分与采样方面，基会话用大规模集训练，增量会话按增加 5 类删除两类交替 4 次，少样本为 5 路五样本，测试重复 100 次取平均。

特征与模型方面，对数梅尔谱维度 128，原型维度 512，编码器用残差网络十八的默认参数，基会话编码器与自适应网络学习率分别为 0.1 与万分之二，增量会话统一为万分之一。流程方面先按基会话 5 段顺序得到优化的编码器与网络并计算保存统计量，再按增加分支或删除分支更新网络与原型，评估时排除已删类并计算各会话平均。

先做的事情是跑通基会话的伪训练与统计量保存，确认重构嵌入的采样与删除原型的逻辑与论文一致，再跑交替会话的主结果，最后跑消融的 4 种开关组合。还需补的验证包括：记录每次运行的各会话准确率以复算平均排名检验，统计训练与推理耗时及存储开销，测试随机增减与同会话同时增减两种设定下的波动。若代码权重与论文版本不一致，应以论文的会话安排与指标口径为准并明确标注差异。

何时值得尝试这个方案，复述时抓住哪条主线？

收束时回答何时值得尝试、复述先做什么、还需补哪项验证。当前可用信息支持的判断是：当应用既要加类又要删类、新类只有少量样本且旧样本不可用时，这个只动原型侧的方案值得尝试，因为它用冻结编码器保旧知识，用可更新的可塑分支与伪训练学新变化，用高斯统计量重构旧嵌入来维持边界。

复述时抓住一条主线即可：输入对数梅尔谱经编码器得到嵌入，自适应网络根据增加或删除调整全部原型与查询嵌入，余弦得分决定标签，基会话用伪增减提前训练，增量会话按分支更新或删除原型与统计量。何时不适合也很明确：若旧类分布明显非高斯、增量声学域漂移很大，或对延迟与存储有严格预算，则需先验证重构质量与开销再决定。还需补的验证是更大规模随机增减、跨域增量、极低样本量下的稳定性，以及与可部署成本一起报告的完整对比。

论文特有的误解需要澄清：删除不是简单丢掉原型就结束，还要用剩余类的重构嵌入重调全部原型；伪训练不是见到未来真实新类，而是用基类合成的假类交替练加法与减法；平均准确率最高不等于每个会话每类都最高，事件集上的小幅领先提醒我们跨域泛化仍有限。记住增加时有样本、删除时为空集、旧样本不可用这 3 条约束，就能不偏离原文地讲清方法为何这样设计。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总