声音互相遮掩时，如何留住老类又发现新类

英文题目：Continual Generalized Category Discovery for Acoustic Signals via Instance-Adaptive Regularization and Dynamic Teacher Guidance

会议身份：conference:interspeech:2026:conference-paper-id:xu26q_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#持续学习 #知识蒸馏 #正则化 #语音 #音频分类

评分：6.4/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Qisheng Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Shanhao Han：机构信息未能从会议 PDF 纯文本可靠映射
• Hui Geng：机构信息未能从会议 PDF 纯文本可靠映射
• Yulu Fang：机构信息未能从会议 PDF 纯文本可靠映射
• Yunsheng Xiong：机构信息未能从会议 PDF 纯文本可靠映射
• Yutao Dou：机构信息未能从会议 PDF 纯文本可靠映射
• Kele Xu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

持续广义类别发现要求在无法回放历史音频的条件下，以无标注声学流数据为输入，同时输出旧类保持与新类发现结果，其实际难点在于谱时间重叠与多声源纠缠导致新类易被误判为基类并产生严重基类偏置。先以AudioMAE提取谱时间表示并用上一阶段模型计算最大后验置信度，其输出的置信度分布进入下一步划分。再以高斯混合模型拟合该分布并按密度比自适应调节阈值，将批次划分为高低置信子集并分别施加保留与探索正则，得到初步伪标签。随后指数滑动平均动态教师对学生特征做蒸馏与平滑，用时序平滑监督纠正非平稳流中的伪标签漂移并巩固表征。与视觉主导的Happy方法的关键差异在于阈值随重叠度漂移而非固定且教师随学生协同演化而非冻结，其实质意义是增强低信噪比纠缠下的类别可分性，其适用边界外强混响多标签外推尚未验证。在LibriSpeech的50/10增量协议下，w/GMM+EMA的累计平均准确率CAA-Old为82.93%，高于Happy的累计平均准确率CAA-Old 69.82%。该结论限于朗读语音与低信噪比舰船噪声的封闭类别增量设置，未验证开放类别数未知与强混响多标签场景。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么声音的持续发现更难？

本文输入是连续到达的声学信号流，目标是在标注缺失或昂贵时，既认出以前学过的声音，又从无标签流中发现新出现的声音类别。作者把任务称为持续广义类别发现，英文为 Continual Generalized Category Discovery，缩写为 C-GCD。白话说，模型先在一个有标签的基会话上学会若干基础声音，然后在后续会话中只能看到无标签音频，其中混有老类和新类，且不能再看历史原始数据，学完后要在累计见过的所有类上被测试。 论文强调不能把视觉的 C-GCD 方法直接搬到音频。

原因是声音在时频域常常是复音的、语义纠缠的，不同声源共享相似的谐波结构或频谱包络，新事件容易被误判为频谱相似的老类，同时还存在严重的基类偏置。摘要与引言报告，在 LibriSpeech 语音流和 ShipsEar 水下噪声数据上，视觉中心的 Happy 框架出现明显退化，作者用此说明谱重叠与语义纠缠是音频特有的障碍。

下面这张对比曲线是理解动机的关键，它把图像基准与两种声音数据的随阶段精度放在同一横轴下，初学者可以先建立直觉：同样是持续发现，声音的遗忘与误分来得更快更陡。

看图路径： 1. 先看横轴从离线任务到在线任务 1 至 5 的推进方向；2. 再对比虚线基线与实线本方法在同一数据集上的分叉点；3. 重点观察 ShipsEar 与 LibriSpeech 虚线后段的快速下坠；4. 确认 CIFAR-100 上两条线差距小而声音数据上差距拉大

论文图 1。原论文 Figure 1：“1”。

这张图横轴是从离线任务到在线任务 1 至 5 的增量推进，纵轴是精度。虚线代表直接迁移的视觉方法，实线代表本文方法。可以看到在 CIFAR-100 上两类线差距不大，而在 LibriSpeech 的 LS100 和 ShipsEar 上虚线后段快速下坠，实线相对保持。论文用它支持一个判断：视觉方法在声音域的失效不是调参问题，而是声音重叠与非平稳噪声放大的系统性困难。这也引出后文 3 个动作：按置信度把样本分开处理、用自适应阈值稳定划分、用缓慢演化的教师稳定伪标签。需要说明的是，当前没有代码、模型或数据可用的已验证资源信息，因此本文解读只讲方法与报告数字，不声称已公开可运行。

与视觉 C-GCD 和普通持续学习有何不同？

普通持续学习通常假设新阶段数据有标签，核心矛盾是记住老类。与之不同，C-GCD 的新阶段数据无标签，模型必须自己产生监督，常见做法是伪标签加对比学习，同时还要在无回放条件下抗遗忘。论文把相关路线放在视觉文献中，如 MetaGCD、SimGCD、PromptCCD 与 Happy，Happy 被作为最强基线反复比较。 声音路线的特殊性在于输入表示与混叠。论文使用 AudioMAE 提取谱时表示，并指出城市监测、水下监视与语音通信等应用都面临时长不一、混响与环境噪声带来的分布漂移。

视觉方法依赖的清晰对象边界在音频中不存在，同一时频块可能叠加多个声源，因此基于固定阈值或冻结教师的伪标签容易把新类压向老类。 教学上可以这样对照：同输入都是无标签增量流，同目标都是累计精度，同监督都是自监督或伪标签，但运行阶段的声音数据信噪比更低、类间距离更小。论文没有声称视觉方法无用，而是报告它们在 ShipsEar 与 LibriSpeech 上的累计精度与新老平衡不如音频定制设计。

这个对照为后文消融埋下伏笔：只加自适应阈值与再加动态教师，效果是否分开可见。

任务如何形式化？评测时看什么？

论文把过程写成 T 加 1 个离散会话。基会话 t 等于 0 有标签数据集 D0，每条录音有预定义类别集 C0 中的标签，目标是建立能刻画基础声音谱时特征的可分隐空间。增量发现会话 t 从 1 到 T，每次只能看到无标签流 Dt，其标签空间是老类与新类的并集，老类是之前所有会话类别的并，新类与老类不相交，新类数量假设可用独立聚类启发式估计。历史原始数据严格不可访问，属于无回放设置。每次增量步之后，在累计见过的所有类上评估。

评估指标包括总体精度、全阶段累计平均精度，英文为 Cumulative Average Accuracy，缩写为 CAA，以及拆分的老类精度与新类精度。方向都是越高越好。ShipsEar 采用 5 个基类加 3 个增量步的 5/1 协议，用于检验低信噪比水下条件；LibriSpeech 采用 50/10 与 80/10 两种大规模语音协议，用于检验可扩展性。比较对象是实际可运行的 SimGCD、MetaGCD、PromptCCD 与 Happy，不用搜索最优或事后最优代替可部署收益。

一个初学者易误解的点是：新类数量已知并不等于新类标签已知。论文假设的是数量可估计，划分与命名仍要靠模型自己从流中发现，因此阈值与教师的质量直接决定后续一切。

整体框架让一个样本经历了什么？

从一个样本看，主路径是：原始音频先转成时频表示并做随机掩码增强，送入学生侧 AudioMAE 得到特征，再经分类头得到预测分布；同一输入的另一增强视图与教师侧输出一起参与无监督对比损失、自蒸馏损失与实例自适应正则。教师侧由上 1 会话模型演化而来，通过指数滑动平均向学生缓慢滑动，并通过特征层蒸馏把学生的特征拉回，防止表示漂移。全局目标把自蒸馏、无监督对比与层次熵项加在一起，保证老类与新类的边界都可分。

下图把上述分叉画全了，上半是增量任务 T 的学生与 T 减 1 会话教师的双塔，下半是阈值加高斯混合的划分闭环。建议先走主线再看支线，避免被多个损失符号淹没。

看图路径： 1. 先沿左侧频谱输入经 AudioMAE 到预测分布的主路径走一遍；2. 再看下方阈值把预测分成候选已知与候选未知两支；3. 确认教师分支经指数滑动平均更新回指学生的箭头；4. 观察右下高斯混合直方图拟合与阈值回传的闭环

论文图 2。原论文 Figure 2：“Overview of the proposed C-GCD framework.”。

这张图上半左侧是同一频谱的多个掩码视图，中间紫色与蓝色分别为当前 AudioMAE 与上 1 会话 AudioMAE，右侧是不同视图的柱状预测分布，分别连向无监督对比损失、自蒸馏损失与实例自适应正则。下半是阈值模块：预测先过阈值缪，被分成候选已知与候选未知，分别走平均熵与组间软熵正则，右下是用任务 T 候选预测拟合的 T 加 1 高斯混合直方图，拟合结果回传选择阈值。图中还标出梯度截断与类间混淆引导采样损失，说明教师到学生的指数滑动平均更新与特征蒸馏是并行的稳定器。整体读法是：表示由 AudioMAE 给，划分由高斯混合阈值给，稳定由动态教师给，三者汇合到损失后更新学生，再缓慢更新教师。

高低置信样本为何要用不同目标？

实例自适应熵正则，英文为 Instance-Adaptive Entropy Regularization，缩写为 IAER，是按样本置信度施加不同正则的机制。对每个样本用上一模型的最大类别概率作为置信度，高于动态阈值的进高置信子集，低于阈值的进低置信子集。高置信子集被认为更可能是老类，做熵约束以巩固记忆；低置信子集被认为更可能含新类，做分层熵最大化以鼓励发现。分层项又拆成组间分离与组内多样性，前者推开老组与新组，后者保持每组内部预测分散。

阈值不是固定的。高斯混合自适应阈值把置信度分数拟合成多个高斯分量，按均值排序找到潜在新类分量与高置信分量，初始阈值取二者加权密度的交点，再按交点处密度比调节：重叠严重时把阈值推向高置信均值，以稳定伪标签。原文还给出密度比的分段参数 t1 与 t2，但未展开其搜索过程，复现时应保留原文取值。

实例自适应熵正则 × 高斯混合自适应阈值： 实例自适应熵正则负责对每个无标签样本决定是巩固还是探索，高置信样本做熵约束以留住老类，低置信样本做分层熵最大化以探索新类；高斯混合自适应阈值负责给出这个高低划分的动态分界，它对置信度分布拟合多分量高斯并随重叠程度移动阈值；二者搭配的原因是固定阈值在非平稳噪声下会把新类误判为老类，组合后阈值提供随数据漂移的划分，正则对划分后的两群施加不同目标，新增作用是把巩固与探索解耦到不同子集上。

沿样本走一遍就是：先用老模型打分，再用高斯混合阈值分群，最后对两群用相反方向的熵目标。这样做的代价是阈值精度决定一切，阈值偏了会把新类送去巩固或把老类送去探索，这正是需要动态教师的原因。

动态教师与蒸馏如何分工？

动态教师，英文为 dynamic teacher，指不冻结的参考模型。它的参数按指数滑动平均更新，英文为 Exponential Moving Average，缩写为 EMA，即教师参数等于动量系数乘旧教师加一减动量乘当前学生，动量按余弦从 0.999 退火到 0.8。更新是选择性的：特征提取器全量更新，分类器只限老类权重更新，以减少新类噪声对老边界的冲击。同时加特征层蒸馏损失，惩罚学生与教师在同一无标签样本上的特征均方差，约束表示漂移。

动态教师 × 指数滑动平均更新： 动态教师负责在没有历史原始数据的条件下提供稳定的监督参考，用上 1 阶段与当前学生的特征一致性约束表示漂移；指数滑动平均更新负责实现教师的缓慢演化，教师参数按余弦退火的动量系数向学生滑动而不是冻结或直接复制；搭配理由是冻结教师会产生语义漂移，直接跟随学生又会放大噪声伪标签，缓慢滑动使教师既保留老类记忆又吸收新分布，新增作用是为置信度划分与伪标签提供更可靠的先验。

特征层蒸馏 × 选择性分类器更新： 特征层蒸馏负责约束当前特征提取器输出不要远离动态教师的特征，用均方距离惩罚表示漂移；选择性分类器更新负责只允许老类分类权重跟随更新而新类部分按发现流程生长，避免新类噪声直接冲掉老类边界；二者搭配是因为只约束特征仍可能让分类头偏向基类，只冻结分类头又拦不住特征漂移，组合后特征与分类头分别用不同强度被约束，新增作用是在复音与重叠下同时保持老类可分性和新类可塑性。

组间分离 × 组内多样性： 组间分离负责把潜在老类群与潜在新类群在平均预测分布上推开，避免新声音被吸入频谱相似的老类；组内多样性负责在每个群内部保持预测分布的分散，防止所有低置信样本坍缩到同一个新簇；搭配理由是只推开组间会导致组内坍缩，只鼓励多样又会模糊新老边界，组合成层次熵目标后先分开大组再保持组内均匀，新增作用是在类别数可估计但无标签时仍能形成可用的新类结构。

持续广义类别发现 × 无回放约束： 持续广义类别发现负责定义任务：基会话有标签建模，后续增量会话只有无标签流且同时含老类与新类，学完后在累计见过的所有类上评估；无回放约束负责定义信息条件：历史原始音频严格不可访问，不能靠存老数据回放来抗遗忘；搭配理由是真实声学部署受隐私与存储限制且新事件不断出现，组合后模型必须自己产生监督并自己保持记忆，新增作用是把问题从闭集分类推向在漂移流中同时做保持与发现。

把组合再串一遍：EMA 给出缓慢演化的参考特征，特征蒸馏把学生拽住，选择性更新把分类头护住，组间与组内项把新老结构撑开。在强声学重叠下，单用其一容易顾此失彼，论文的意图是用不同时间尺度与不同位置的约束共同稳定伪标签。原文未报告梯度是否在教师侧截断的完整细节，也不从模型名推定实现，复现时应按教师不接受分类损失梯度、只做滑动平均的常规理解谨慎处理，并在缺项处明确标注。

训练与更新顺序是什么？哪些被冻结？

训练分基会话与增量会话 2 个阶段。基会话在有标签数据上优化 AudioMAE backbone 与分类头，建立初始可分空间。增量会话只有无标签流，每步先用上一模型计算置信度并拟合高斯混合得到阈值，再划分高低子集计算分层熵目标，同时计算无监督对比与自蒸馏损失以及对动态教师的特征蒸馏，联合优化学生，最后按 EMA 滑动教师。评估在每步后做，覆盖累计见过的所有类。

优化配置按原文交代：AudioMAE 为 backbone，批量 64，时频掩码 0.1，只微调第 12 个 Transformer 块及之后层，用带动量 0.9、权重衰减 5 乘 10 的负 5 次方、学习率 0.1 的随机梯度下降，英文为 Stochastic Gradient Descent，缩写为 SGD。EMA 动量从 0.999 余弦退火到 0.8，权重系数与阈值调节参数按原文记为拉姆达与 t 向量。论文未给出完整损失权重搜索与聚类估计新类数的实现细节，这两处是复现时需补验证的缺项。 需要区分的是：无回放不等于无记忆，记忆被放在教师参数与老类权重中；无标签不等于无监督信号，监督来自增强一致性、教师蒸馏与熵正则 3 路弱信号。

任何一路失稳都会传导到阈值划分上。

数据、协议与基线是否可比？

数据用两类。ShipsEar 子集检验低信噪比水下条件，5 个基类加 3 个每次 1 个新类的增量协议；LibriSpeech 检验大规模语音流，50/10 与 80/10 两种协议，前者更细粒度、阶段更多，后者基类 80、2 次各 10 个新类。所有方法都不访问历史数据， backbone 统一为 AudioMAE，批量与掩码等按同一节配置，基线为 SimGCD、MetaGCD、PromptCCD 与 Happy，其中 Happy 是视觉 C-GCD 的最强对照。作者还报告 w/GMM 与 w/GMM 加 EMA 两个变体，用于分离阈值与教师的贡献。

指标方向一致：总体精度、老类精度、新类精度与它们的累计平均越高越好。论文同时报告每阶段的老新拆分与跨阶段累计平均，避免只看末阶段总体精度掩盖遗忘。统计显著性与多次随机种子的方差未在证据中报告，因此后文判断用报告与支持的措辞，不做显著性断言。硬件预算与训练时长也未报告，成本讨论只能停留在可调参数范围层面。

主结果在什么条件下成立？代价是什么？

先看稳定性全景，再看数字表。稳定性图把基线与本方法在两种语音协议下的总体、新类、老类精度随轮次的变化并排展示，竖线为阶段切换。初学者应先确认纵轴是原始精度百分比，再看切换点后的走势，而不是只看最后一点。

看图路径： 1. 先看每子图横轴轮次与纵轴精度及竖线表示的阶段切换；2. 再对比蓝色基线在切换点后的陡降与红绿线的平稳；3. 区分上排与下排分别对应的不同增量协议；4. 重点观察新类精度与老类精度子图的走势是否一致

论文图 4。原论文 Figure 4：“Stability analysis of the proposed framework across incremental stages.”。

这张图上排对应 80/10 附近的长阶段演化，下排对应 50/10 的多阶段演化，每排从左到右依次是总体、新类、老类精度。蓝色基线在阶段切换后总体与老类精度陡降，新类也不稳；红色与绿色本方法两变体保持相对平稳，老类与新类波动都小。绿色与红色的差距显示了 EMA 动态教师相对静态变体的增益。像素不能精确读出每步数值，因此此处只做趋势判断，具体增益以后面表格的报告数字为准。

回到数字比较。第一个问题是：在低信噪比水下数据上，累计总体与老类保持是否同时变好，新类是否付出代价。下表按原文连续句整理，只收录有逐字证据的数值，单位保留百分号。

表前已提出比较问题与公平条件：同一 5/1 无回放协议、同一 AudioMAE backbone、指标越高越好。

表后解释是：总体增益主要来自老类保持，从 66.27% 到 75.00% 的提升支持了巩固有效的判断；代价是新类累计平均 63.92% 低于 Happy 的 71.56%，说明改进不是均匀分布，论文也明确指出在低信噪比下仍需进一步增强新类发现。同时 SimGCD 与 MetaGCD 的新类累计更低，支持了无回放下探索困难的判断，但这不构成因果证明。 第二个问题是：在大规模语音流上，细粒度多阶段与大基类少阶段的结论是否一致。下表同样只用逐字证据。

表后解释是：在 50/10 下总体增益主要由老类驱动，新类几乎持平，支持可扩展的保持能力，但不支持新类发现已解决；需结合 80/10 看平衡性。

表后解释是：在 80/10 下三项同时最高，且末阶段新类提升达 18.25%，支持 EMA 稳定特征空间后巩固与探索更平衡的判断；但总体趋势不等于每阶段都成立，50/10 中新类持平就是反例。比较时保留了实际可运行的 MetaGCD 与 PromptCCD 作为弱适应参照，它们的总体与跨阶段一致性较差，但这只是报告的相对排序，不推广为所有语音条件。

阈值与教师各自贡献了什么？

论文用 w/GMM 与 w/GMM 加 EMA 的递进分离贡献。在 ShipsEar 上，加 GMM 已把累计总体推高，老类明显改善；在 LibriSpeech 两种协议上，加 EMA 后总体与老类进一步提升，80/10 上新类也明显提升。稳定性图中红绿两线的差距同样支持教师的增量作用。 下面这组置信度直方图直接检验划分质量，左为带 EMA，右为不带，横轴是置信度，纵轴是样本密度，蓝色为已知，橙色为未知，红色虚线为阈值。

看图路径： 1. 先对比左右两图横轴置信度上橙色与蓝色峰的位置；2. 再看红色虚线阈值附近两类重叠区域的高度变化；3. 核对标题中带指数滑动平均与不带的划分准确率差异；4. 确认左图高置信区蓝色更集中而中间混叠更低

论文图 3。原论文 Figure 3：“Ablation study of the EMA module.”。

这张图左图标题报告带 EMA 时未知类别划分准确率 90.41%，阈值 0.4226，右图不带时为 80.32%，阈值 0.4250。可见左图蓝色峰集中在 0.9 附近高分区域，橙色峰集中在 0.2 附近低分区域，中间重叠低；右图两峰更宽且在阈值附近混叠更高，已知分布拖尾到中段，未知分布也向右弥散。论文据此支持动态更新提供更可靠划分先验的判断。需要注意的是，这是 LibriSpeech 80/10 切分上的分析，是否外推到水下数据需待验证。

失败条件也要讲：ShipsEar 上新类仍弱于 Happy，50/10 上新类几乎无增益，说明在强重叠与多阶段漂移下，阈值加教师仍不能完全解决新类被吸入老类的问题。原文未做拿掉分层熵某一项的细粒度消融，因此不能断言组间与组内哪一项更关键。

哪些结论不能下？还有什么没测？

首先区分报告、支持与推测。报告的是上述 3 张表中的累计与阶段数字；支持的是自适应阈值与 EMA 改善总体平衡的解释；推测的是复音与谱重叠为根本原因的机制叙事，论文给了引用与曲线但没有对重叠度的直接测量，因此只能说可能或待验证。 未评测的边界包括：新类数量估计误差的影响、不同信噪比与混响强度的分层测试、推理延迟与内存开销、多次种子的方差与显著性。

原文表头与正文在个别缩写上存在排版粘连，但数字口径一致，本文表格已按连续原句重组，未自行计算差值或添加单位。不同指标的差值没有混入模型列，百分点与相对百分比按原文写法保留。 一个特有误解是把总体提升等同于新类发现变强。ShipsEar 的反例表明总体可以靠老类拉动，50/10 的持平表明新类增益依赖协议与阶段。在未测量误判率与部署成本时，不承诺延迟或成本改善。

要复现应先固定什么？

先固定信息条件：基会话有标签、增量会话无标签、无回放、新类数用独立聚类启发式估计。再固定数据划分：ShipsEar 5/13 步，LibriSpeech 50/106 步与 80/10 两步，评估用累计见过类的总体、老类、新类精度及其累计平均。接着固定模型与优化：AudioMAE backbone，批量 64，时频掩码 0.1，只微调第 12 块及之后，SGD 动量 0.9，权重衰减 5 乘 10 的负 5 次方，学习率 0.1，EMA 动量 0.999 余弦退火到 0.8。 先跑 Happy 与 SimGCD 等实际可运行基线拿到可比起点，再加 GMM 阈值，最后加 EMA 教师，分别记录累计总体、老类、新类的变化，并保存每阶段拆分以检查总体是否被老类主导。

阈值分段参数与损失权重保留原文向量取值，缺失的聚类估计与权重搜索细节需在复现报告中明确标注为自选实现。 资源状态方面，本次没有来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码、模型或数据已公开。复现前应自行准备 ShipsEar 与 LibriSpeech 的合规获取路径，并记录硬件与时长以补上原文未报告的成本项。

何时值得尝试这种组合？

当部署面临无标签声音流、不能存历史数据、且新声音与老声音频谱相似时，值得尝试按置信度分开处理加缓慢演化教师的组合。它的可操作点很具体：用高斯混合跟踪置信度分布的漂移，对高低两群用不同熵目标，用 EMA 教师与特征蒸馏稳住表示与老类头。ShipsEar 与 LibriSpeech 的报告数字支持它在保持老类与稳定总体上的价值，80/10 上的新类同步提升支持它在条件合适时也能改善发现。

但若首要目标是在极低信噪比下最大化新类召回，或新类数估计误差很大，本文证据尚不支持直接采用，需要补做阈值灵敏度、新类数误设与噪声分层的验证。教学上记住一句话：先划分再施策，用慢教师稳划分，总体看累计，老新分开看代价。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总