📄 Few-Shot Class-Incremental Audio Classification Using Pseudo-Incrementally Trained Embedding Learner and Continually Updated Stochastic Classifier

#持续学习 #音频分类

6.3/10 | 创新 0.8/2 | 严谨 0.8/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.7/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5

✅ 6.3/10 | 前50% | #音频分类 | #持续学习 | arxiv

👥 作者与机构

• 第一作者：Yanxiong Li（华南理工大学 电子与信息工程学院）
• 通讯作者：Yanxiong Li（华南理工大学 电子与信息工程学院）
• 作者列表：Yanxiong Li（华南理工大学 电子与信息工程学院）、Wenchang Cao（华南理工大学 电子与信息工程学院）、Jiaxin Tan（华南理工大学 电子与信息工程学院）、Qianqian Li（华南理工大学 电子与信息工程学院）、Guoqing Chen（华南理工大学 电子与信息工程学院）

💡 毒舌点评

本文在音频少样本类增量学习（FCAC）领域交出了一份工整的答卷。通过“冻结的嵌入网络+动态更新的随机分类器”这一解耦范式，将稳定性-可塑性困境拆解为两个独立模块，逻辑清晰、实验详尽。然而，方法新颖性严重依赖计算机视觉领域的成熟技术（MixUp模拟增量类 + 高斯分布建模分类器权重），本质上是已有思想到音频任务的稳健工程迁移，而非方法论层面的突破。声称的“伪增量训练”严格依赖基类数据的线性混合，在增量类与基类差异显著的开放场景下泛化性存疑。整体而言，这是一篇定位精准、执行扎实的会议扩展期刊稿，技术增量有限，但在其细分领域提供了有价值的工程基线。

📌 核心摘要

本文针对少样本类增量音频分类（Few-shot Class-incremental Audio Classification, FCAC）问题，提出由一个伪增量训练的嵌入学习器和一个持续更新的随机分类器组成的解耦式框架。核心贡献在于两点：一是在基础训练阶段引入伪增量训练策略（Pseudo-Incremental Training Strategy, PITS），利用MixUp数据增强从基类样本中生成带有标签的伪增量类样本，以少样本学习的方式模拟增量过程，从而提升嵌入学习器对未见类别的表征能力。二是设计了一个随机分类器，为每个类别维护一个高斯分布（均值向量 + 方差向量），通过重参数化技巧采样生成多个分类权重，以建模少样本带来的类别表征不确定性。经冻结的嵌入学习器负责保持稳定性（记忆基类），而随机分类器在增量会话中利用新样本和保存的旧类嵌入均值向量进行更新，实现可塑性。在FSC-89、NSynth-100和LS-100三个数据集上的实验表明，该方法在平均准确率（AA）上超越了12种对比方法，同时保持了较低的计算复杂度。该方法为边缘设备上的终身学习音频系统提供了一种低成本、高效更新的技术方案。主要局限性在于理论创新度不足，且为旧类保存均值向量的做法在严格持续学习设定下存在一定争议。

🔗 开源详情

• 代码：https://github.com/vinceasvp/PITEL-CUSC （已提供）
• 模型权重：未提及
• 数据集：论文使用三个公开数据集，均在 ModelScope 上提供了下载链接：FSC-89（https://www.modelscope.cn/datasets/pp199124903/FSC-89/summary）、NSynth-100（https://www.modelscope.cn/datasets/pp199124903/NSynth-100/summary）、LS-100（https://www.modelscope.cn/datasets/pp199124903/LS-100/summary）
• Demo：未提及
• 复现材料：未提供专门的checkpoint或附录以外的复现材料，但代码仓库中应包含必要的训练和推理脚本。

🏗️ 方法概述和架构

本方法采用一个将稳定性与可塑性解耦的多阶段架构，架构主体由两部分构成：一个在基础阶段完成后彻底冻结的嵌入学习器（Embedding Learner），和一个在各增量阶段持续更新的随机分类器（Stochastic Classifier）。

基础训练阶段（Base Session）： 模型首先使用丰富的基类样本以标准监督学习方式训练一个由ResNet18骨干网络和随机分类器组成的完整模型。嵌入学习器将输入的对数梅尔谱图（log Mel-spectrogram）转换为 512 维的特征嵌入向量。训练完成后，引入关键的伪增量训练策略（Pseudo-Incremental Training Strategy, PITS）。PITS旨在提升嵌入学习器对未见增量类别的泛化能力，其具体操作是：利用MixUp数据增强技术，从基类样本中线性混合生成新的样本 $ \hat{x} = \lambda x_1 + (1-\lambda)x_2 $ 及其软标签 $ \hat{y} = \lambda y_1 + (1-\lambda)y_2 \(，并赋予它们新的类别编号，构成“伪增量类别”。随后，算法以多回合（episode）的 N-way K-shot 形式，交替使用基类样本和伪增量类样本对模型进行训练，强制嵌入学习器适应少样本增量学习的场景。此阶段完成后，嵌入学习器 \)E_0$ 的参数被永久冻结，以保证对基类灾难性遗忘的抵抗力。随机分类器 \(C_0\) 的参数在基础阶段结束后被丢弃，后续将被重新初始化。

增量更新阶段（Incremental Sessions）： 当第 \(m\) 个增量会话到来时，流程高效且重复。首先，利用冻结的 \(E_0\) 为当前会话的所有新样本提取嵌入向量。然后，为每个新类别计算其嵌入向量的均值向量 $ \mu_{m,n} \(，并将其与所有先前会话（基础会话及1至 \)m-1$ 个增量会话）存储的类别均值向量合并。

随机分类器的更新分为两部分，以应对旧类别样本不可用的约束：

1. 利用当前增量会话的新样本 \((x, y)\) 计算交叉熵损失 \(\mathcal{L}(x, y)\)。
2. 利用所有先前会话保存的均值向量 \((\mu, y')\) 作为旧类别的“重放”样本，计算第二个交叉熵损失 \(\mathcal{L}(\mu, y')\)。 总损失为两者之和：\(\mathcal{L} = \mathcal{L}(x, y) + \mathcal{L}(\mu, y')\)。损失函数中采用余弦相似度替代点积来衡量嵌入与分类器权重间的相似性。

随机分类器的核心机制： 与传统原型分类器不同，随机分类器为每个类别维持一个多元高斯分布 \(\mathcal{N}(\mu, \sigma)\)，其中 \(\mu\) 和 \(\sigma\) 分别是可训练的均值向量和方差向量。分类器的实际权重 \(\hat{\mu}\) 通过重参数化技巧从该分布中采样：$ \hat{\mu} = \mu + \epsilon \odot \sigma \(，其中 \)\epsilon \sim \mathcal{N}(0, 1)(。动机在于：少样本情况下，单一的均值向量难以全面表征一个类别，而基于分布的采样可以在均值周围生成多个变体，期望至少有一个能更准确地刻画该类别，并且类别分布的方差自然地在决策边界间形成了一个“裕度”，而非一条脆弱的线性分界线，有助于缓解对少样本新类的过拟合。

架构总结： 这是一个典型的“流水线”式架构，通过将知识表征（嵌入学习器）和知识记忆（分类器权重）分离，实现稳定性和可塑性的解耦。其核心在于训练策略（PITS）的设计和分类器的概率化改造。PITS在算力充足的开发阶段解决了嵌入的可迁移性问题，而随机分类器则在算力受限的部署阶段，通过极小开销（仅更新少量参数和使用紧凑的均值向量）实现了有效的持续学习。

💡 核心创新点

1. 伪增量训练策略（Pseudo-Incremental Training Strategy, PITS）: 突破性地在基础训练阶段利用MixUp从基类样本中生成带标签的伪增量类别样本，并以少样本学习方式训练嵌入学习器，使其提前适应增量学习范式。消融实验表明，在LS-100数据集上，结合随机分类器，PITS能将平均准确率从88.08%提升至89.90%。
2. 随机分类器（Stochastic Classifier）: 将类别表征建模为包含方差的高斯分布，取代传统的确定性原型。通过重参数化采样权重，不仅在分类边界间引入“裕度”，增强了对少样本噪声和不确定性的鲁棒性，还在理论上允许区分偶然不确定性和认知不确定性，缓解了模型对增量类的过拟合。
3. 解耦式双模组框架: 将模型分解为“负责稳定性且被冻结的嵌入网络”和“负责可塑性且持续更新的轻量级随机分类器”，在方法论层面清晰地应对了增量学习的核心困境。该设计尤其适合资源受限的边端音频设备，增量学习仅需更新分类器参数以及存储极其紧凑的均值向量。

📊 实验结果

实验使用三个公开音频数据集：FSC-89、NSynth-100和LS-100。数据集划分如表II所示。

表 II 数据集的划分

主要评估指标为平均准确率（AA）和性能下降率（PD）。复杂度指标包含乘加操作数（MACs）、单样本训练时间（TT）、单样本推理时间（IT）和推理阶段参数量（NP）。本文方法的主要参数配置见表III。

表 III 本文方法主要参数配置

为验证伪增量训练策略（PITS）和随机分类器（SC）的贡献，在LS-100上进行了不同模块组合的消融实验，结果见表IV。5-way 5-shot设定下，单独引入SC或PITS均可提升AA并降低PD，而两者结合（PITS+SC）取得最优性能：AA达到(89.90±0.57)%，PD仅为(5.86±0.32)%。

表 IV 本文方法在LS-100上不同PITS与分类器组合下的准确率（%）

| ① | ✗ | DC | 91.85±0.73 | 91.84±0.82 | 91.20±0.52 | 88.65±0.45 | 86.81±0.62 | 86.02±0.60 | 84.88±0.82 | 82.31±0.61 | 81.75±0.80 | 87.26±0.66 | 10.10±0.07 | | ② | ✗ | SC | 92.06±0.64 | 91.69±0.54 | 91.44±0.67 | 89.41±0.53 | 88.12±0.55 | 87.17±0.58 | 86.29±0.46 | 83.72±0.75 | 82.77±0.69 | 88.08±0.60 | 9.29±0.05 | | ③ | √ | DC | 92.05±0.36 | 91.94±0.50 | 91.29±0.71 | 89.53±0.36 | 88.61±0.69 | 87.89±0.45 | 87.07±0.52 | 84.74±0.49 | 84.29±0.58 | 88.60±0.52 | 7.76±0.22 | | ④ | √ | SC | 92.03±0.81 | 92.41±0.64 | 92.31±0.65 | 90.77±0.27 | 90.36±0.58 | 89.60±0.42 | 88.70±0.67 | 86.70±0.64 | 86.17±0.49 | 89.90±0.57 | 5.86±0.32 |

将本文方法与12种现有FCAC方法在5-way 5-shot设定下进行比较，各方法技术特点见表V。

表 V 不同方法的技术特点

三个数据集上的准确率结果分别见表VI、表VII和表VIII。

表 VI 不同方法在FSC-89上的准确率（%）

表 VII 不同方法在NSynth-100上的准确率（%）

表 VIII 不同方法在LS-100上的准确率（%）

由表VI–VIII可知，本文方法在三个数据集上均取得最高的AA分数（41.88%、95.34%、89.90%），并在绝大多数会话中保持最高或接近最高的准确率。PD分数在三种数据集上分别为8.49%、8.21%、5.86%，优于多数对比方法。FSC-89上所有方法的AA普遍偏低，主要因为该数据集样本噪声明显、类内一致性差。

基于30个数据子集（每个数据集生成10个随机子集），利用Friedman检验和Nemenyi post-hoc检验进行排名分析。所有方法的平均排名按升序排列如下：Ours (1.3)、AMFO、PAN、CEC、DSN、LDC、FACT、CLOM、ARP、DFSL、iCaRL、Finetune-C、Finetune-M。在置信水平γ=0.05下，临界差异CD由相应公式确定。结果显示，本文方法在统计上显著优于DSN、LDC、FACT、CLOM、ARP、DFSL、iCaRL、Finetune-C和Finetune-M，但与CEC、PAN和AMFO的差异不具统计显著性。

表IX列出了各方法在三个数据集上的MACs、TT/IT和NP。

表 IX 各方法在三个数据集上的MACs、TT/IT及NP值

本文方法的MACs值为299.53M、580.71M、268.1M，分别低于除FACT和CLOM外的所有方法。训练与推理时间同样处于较低水平。参数量为11.27M，仅高于Finetune-C、Finetune-M、iCaRL和FACT。在NP与准确率的关系分析中（调整嵌入学习器全连接层数），当NP=11.27M时三个数据集上均获得最高AA，验证了该参数设置的合理性。

在训练集与测试集来自不同数据集的六种组合上进行对比，结果见表X。

表 X 不同方法在两数据集组合上的AA分数（%）

在六种组合中，本文方法在四种上取得了最高AA，表现出较强的跨数据集泛化能力。特别是以FSC-89为训练集时，泛化至NSynth-100和LS-100的AA均高于以FSC-89为训练集和测试集的情况，可能是因为FSC-89嵌入空间分布较宽，对其他数据集覆盖更好。

(1) 不同N-way K-shot的影响：在LS-100上，固定N时，随着K从1增加到5，准确率提升显著（至少+6.91%），K从5增至20时提升趋缓。固定K下，N=5时准确率最高，偏离5时性能下降。
(2) 随机分类器方差范围：随机选取的20个类的均值与方差经t-SNE可视化后不重叠，各类方差紧密围绕其均值。
(3) 超参数α的影响：本文方法在α分别为0.4（FSC-89）、3.0（NSynth-100）、4.0（LS-100）时取得最高AA。α在一定范围内变化时，AA波动小于0.50%，方法具有较好的鲁棒性。
(4) 伪增量会话数M′的影响：在FSC-89、NSynth-100和LS-100上，M′最优值分别为6、9和8。M′变化时AA波动小于0.60%，表明方法对M′不敏感。
(5) 特征空间适配：对10个基类与5个伪增量类的嵌入进行可视化，执行PITS后伪增量类嵌入与基类嵌入在特征空间中彼此分离，未出现混合。

主要对比实验结果如下：

• 整体性能: 在三个数据集上，本方法均取得了最高的平均准确率（AA），分别为41.88%、95.34%和89.90%，超过了Finetune-C、iCaRL、DSN、PAN、AMFO等12种基线方法。此外，在NSynth-100和LS-100数据集的最终session准确率（91.77%和86.17%）也均为最优。
• 消融实验: 在LS-100数据集上的消融实验清晰验证了PITS和随机分类器（SC）两个模块的独立贡献和组合增益。单独使用SC或PITS相较于纯基线均有提升，两者结合时性能达最优（AA: 89.90%, PD: 5.86%）。
• 统计分析: Friedman检验和Nemenyi post-hoc检验表明，本方法的平均排名（1.3）在所有方法中最高，且在统计上显著优于DSN、LDC、FACT等9种方法，但与CEC、PAN、AMFO三种高性能方法的差异不具备统计显著性。
• 复杂度分析: 在MACs、训练/推理时间（TT/IT）和参数量（NP）方面，本方法均处于对比方法中的较低水平。例如，在LS-100上，本方法仅需24.45ms的训练时间和11.27M的参数量。论文还专门讨论了参数量设置与准确率的关系，验证了11.27M参数量设计的合理性。
• 泛化性分析: 在跨数据集的泛化测试中（如FSC-89训练，NSynth-100测试），本方法在6种组合中的4种上取得了最优AA分数，表现出较好的跨数据集泛化能力。
• 超参数鲁棒性: 论文分析了MixUp的Beta分布参数α和伪增量会话数M′的影响，结果表明，虽然存在最优值，但方法性能在小范围内对这些超参数的变化相对稳健。

🔬 细节详述

• 训练数据:
  • 数据集：FSC-89（89类声音事件）、NSynth-100（100类乐器音）、LS-100（100个说话人语音）。
  • 数据划分：FSC-89（基类59，增量类30，增量session数6）；NSynth-100（基类55，增量类45，增量session数9）；LS-100（基类60，增量类40，增量session数8）。
  • 预处理：音频统一转换为对数梅尔谱图（帧长25ms，帧移10ms，维度128）。
  • 数据增强：在PITS阶段，使用MixUp技术（)x_{new} = \lambda x_1 + (1-\lambda)x_2, y_{new} = \lambda y_1 + (1-\lambda)y_2\(），混合系数 \)\lambda$ 从Beta(\(\alpha\), \(\alpha\))分布中采样。\(\alpha\) 值在FSC-89、NSynth-100、LS-100上分别设为0.4、3.0、4.0。
• 损失函数:
  • 所有训练均使用交叉熵损失函数。
  • 增量更新：总损失 \(\mathcal{L} = \mathcal{L}(x, y) + \mathcal{L}(\mu, y')\)。其中 \(\mathcal{L}(x, y)\) 是基于当前会话新样本的交叉熵损失，\(\mathcal{L}(\mu, y')\) 是基于之前所有会话保存的旧类均值向量的交叉熵损失。两部分均采用余弦相似度计算logits。
• 训练策略与超参数:
  • 基础训练：嵌入学习器学习率0.1，权重衰减5e-4。
  • 增量/伪增量训练：分类器学习率0.0002。伪增量训练采用episode-based的N-way K-shot模拟。最终增量阶段采用5-way 5-shot设定。
  • 优化器：文内提到使用SGD进行参数更新。
  • 批次大小（Batch size）: 128。
  • 嵌入维度: 512。
  • 伪增量会话数 \(M'\)：在FSC-89、NSynth-100和LS-100上搜索范围1-10，最优值分别为6、9、8。
• 模型架构:
  • 嵌入学习器：ResNet18骨干网络，包含一个初始卷积层、四个ResNet模块（每个模块由两个卷积层和跳跃连接构成）、平均池化层和一个输出512维嵌入的全连接层。
  • 随机分类器：为每个类别维护独立的均值向量（512维）和方差向量（512维）。
• 训练硬件: 2 路 Intel Xeon-8124M CPU，128GB RAM，3 块 NVIDIA 3090 GPU。
• 推理细节: 输入音频经对数梅尔谱图转换后，由冻结的ResNet18提取512维嵌入，再与从随机分类器各分布中采样的类别权重计算余弦相似度，取最大相似度类别为预测结果。
• 正则化技巧: 冻结嵌入学习器；存储并使用旧类均值向量作为“压缩代理人”对抗遗忘；随机分类器的采样机制和决策裕度。这些技巧共同保证了增量学习的稳定性。

⚖️ 评分理由

• 创新性 (0.8/2)：论文的创新点在于将MixUp生成的全新伪类标签与少样本学习模拟相结合（PITS），以及引入高斯分布和方差向量来增强分类器的鲁棒性。这在音频FCAC领域确实是新的组合与尝试，但其核心思想源自CV领域的MixUp和贝叶斯方法，方法层面缺乏“从0到1”的突破性insight，属于对现有成熟技术的领域性适应与工程化改进。
• 技术严谨性 (0.8/1.5)：方法推导正确，逻辑清晰。然而，使用旧类嵌入的简单均值向量并结合交叉熵损失来更新分类器，这种近似在整个持续学习过程后损失了旧类别的分布信息（即方差信息），其理论严谨性未经深入分析。论文声称随机分类器能区分偶然/认知不确定性并缓解过拟合，但这更多是直觉解释，缺乏严格的理论证明或针对性的实验设计。
• 实验充分性 (1.2/1.5)：实验部分是该论文的亮点。在3个数据集上全面对比了12个SOTA方法，并提供了详细的消融实验、统计显著性检验、复杂度对比和跨数据集泛化分析。这构成了一个坚实且令人信服的实验论证链。唯一的小缺憾是未在更具挑战性的场景（如含有严重域偏移或复杂声学噪声的数据集）下验证方法的鲁棒性。
• 清晰度 (0.9/1)：论文结构清晰，问题定义、方法框架到实验分析环环相扣。图4对随机/确定性分类器决策边界的对比非常直观，有助于读者理解核心动机。PITS的伪代码和详细算法描述也使方法具有较高透明度。
• 影响力 (0.7/1.5)：这项工作为FCAC这一特定细分问题提供了一个性能良好且计算友好的基线，对关注该任务的后续研究者有参考价值。然而，FCAC本身是一个相对窄众的领域，其影响力难以波及更广泛的机器学习社区。方法带来的AA提升幅度（相较于最强基线AMFO约0.7%-2.7%）是稳健的改进，但远非颠覆性的突破。
• 开源 (1.0/1.5)：提供了GitHub代码仓库（https://github.com/vinceasvp/PITEL-CUSC），保证了方法的可获取性和核心算法的可复现性。但未提供预训练模型权重、演示demo或一键式复现脚本，离完全的“模型即服务”还有距离。
• 可复现性 (0.4/0.5)：论文给出了包括数据划分、关键超参数（\(\alpha\), \(M'\)，学习率等）和硬件环境在内的绝大多数实验细节，基本可以基于代码重现论文核心结果。优化器虽未明确定义，但提及使用“SGD”，歧义不大。
• 工程/实践价值 (0.5/1.5)：论文明确以低计算开销的持续学习为目标，其方法在边缘设备部署方面有清晰的导向和优势（对比中MACs、TT/IT均很低）。然而，论文仅停留在基准测试层面，未涉及真实设备上的系统集成、内存管理、端到端延迟等工程挑战，其实践参考价值更多停留在设计和概念阶段。

🚨 局限与问题

1. 论文明确承认的局限:

   • 嵌入学习器（ResNet18）无法建模音频信号的长时依赖关系，未来将探索集成自注意力机制。
   • 未来工作将探索模型蒸馏、参数压缩等方法以进一步降低复杂度，适应边缘部署。
   • 未来将探索拉普拉斯等其他分布对随机分类器性能的影响。

2. 审稿人发现的潜在问题:

   • 数据重放的灰色地带: 方法为每个旧类存储一个均值向量，并在增量阶段使用它作为重放样本更新分类器。在严格的持续学习设定中，即使这种被极度压缩的特征存留也是一种形式的数据保留。模型的出色表现究竟有多少归功于这种“特征重放”，值得进一步消融（例如，不去微调旧类权重，而是仅用基类训练的分类器当原型网络使用）。
   • PITS的有效性边界未探明: PITS的核心假设是伪增量类（基类的MixUp）与真实增量类在特征空间上具有相似分布。但当增量类与基类差异巨大（如开放集识别或域外增量）时，这种基于基类数据构造的模拟训练可能失效，甚至产生错误的偏置。论文未讨论此问题。
   • 性能提升量级有限: 与最强的基线AMFO相比，本方法在3个数据集上的AA提升分别为2.69%、0.31%和0.66%。尤其在NSynth-100（95.34% vs. 95.03%）和LS-100（89.90% vs. 89.24%）上，性能差距微小。这种情况加剧了对统计显著性检验的依赖，也削弱了对该方法显著优越性的证明。
   • 静态的嵌入学习器: 冻结嵌入学习器虽然保证了稳定性，但也使其丧失了通过新数据（尽管只是均值向量）潜在进化的可能。对比其他允许主干网络随新知识缓慢更新或扩展的方法，本方法在长期持续学习中的上限可能受限。

← 返回 2026-07-08 语音/音乐/音频论文速递