标注预算只有 500 段时，主动学习如何在生物声学中选出值得标注的样本

英文题目：BioDCASE: Active Learning for Bioacoustics

标签：#音频分类 | #基准设计 | #生物声学监测 | #数据集

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Ben McEwen：University of Amsterdam, Amsterdam, Netherlands
• Rupa Kurinchi-Vendhan：Massachusetts Institute of Technology, Cambridge, Massachusetts, USA
• Shiqi Zhang：机构信息未在 arXiv HTML 中可靠披露
• Lukas Rauch：机构信息未在 arXiv HTML 中可靠披露
• Marek Herde：机构信息未在 arXiv HTML 中可靠披露
• Sara Beery：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

被动声学监测产生海量无标注录音，任务是输入5秒片段嵌入并输出多标签物种与鲸叫类型，难点是类别极不均衡与稀疏罕见事件加跨站点时段偏移。方法链先将BirdSet三个陆地声景子集与南极海洋库统一切分为5秒多标签片段并用冻结PerchV2输出1536维嵌入，该嵌入进入下一步固定分类器。接着固定两层多层感知机分类头与BaseAL循环只允许改动采集函数预热函数与批量大小，最后以宏平均精度均值mAP的学习曲线下面积在持留测试集上排名。与随机采样相比，冠军 ADU-MMR 在 4 个子集、预算 500 样本、5 次重复平均下得分 0.507 对 0.401，相对提升 26.4%，其中最稀疏的 High Sierra Nevada 子集相对提升 67.1%，海洋 ATBFL 子集仅提升 8.0%，显示覆盖加自适应不确定性的混合策略具有实际意义。与纯不确定性Margin与纯多样性CoreSet不同，冠军以覆盖为基础自适应引入不确定性并去除批量冗余，因而在稀疏子集增益更大。该结论仅适用于同源切分与固定嵌入下的训练效率，未验证新站点迁移与端到端微调。原文披露了采样耗时与相对计算成本等代价，冠军方案因批量减半使相对成本达到基线的 2.0 倍，而第二名仅 1.1 倍且分差在标准差范围内。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

被动声学监测为什么标不起所有数据？

被动声学监测的直观动作是把录音机长期放在野外或海底，连续采集数百小时声音，再请专家听辨其中的鸟鸣或鲸叫。论文面对的矛盾是数据量极大而可负担的人工标注极少，模型表现又依赖标注的数量和质量。于是问题从如何训练一个更强的分类器，转变为在标注预算固定时优先揭开哪些 5 秒片段的标签。举例来说，如果只有 500 段的预算，随机抽 500 段可能大量重复常见背景，而主动学习希望用模型引导每次挑更有信息量且互不重复的一批。

对刚入门的研究生，关键是把主动学习理解为省标注的样本排序问题，而不是新的网络结构。原文把挑战定位为 2026 年 BioDCASE 的第 4 个任务，包含发展阶段和 held-out 测试阶段，目标是让不同队伍在相同模型、相同预算、相同指标下比较采样方法。此处资源状态为 NONE，因此不声称代码、模型或数据已公开，复现只能依据论文描述的流程和参数重建。

同样想省标注的路线有何不同？

在生物声学里省标注至少有 3 条同目标路线。第一条是弱监督训练，例如 BirdSet 基准用大量弱标注的聚焦录音训练，再到强标注的声景上测试，这会引入训练与评估的域偏移。第二条是直接换更强的预训练表示，例如 BirdNET、Bird-MAE 和 PerchV2，把音频先变成嵌入再训练轻量分类头，论文称之为越来越常见的主动微调范式，而不是端到端微调。第 3 条才是本文研究的主动学习，即在同一声景域内迭代地选样本、揭示标签、重训分类头。

需要区分的是，前两条改变的是数据来源或表示质量，第 3 条改变的是在固定表示下哪些样本先被标注。论文还提到生物声学的特殊困难是严重类别不平衡、稀疏罕见事件以及跨空间时间的域偏移，这些条件决定了单纯挑不确定的样本可能反复选中噪声或难例，而需要覆盖式选择打底。理解这 1 对照，才能明白后文为什么固定嵌入和分类头，只允许改采集函数。

与同输入同目标的工作如何公平对照？

把本挑战放在文献中，应按同输入、同目标、同监督、同运行阶段对照。先导试点在 HSN 上发现早期多样性有效、后期不确定性更有用，本次独立提交复现了同一模式，支持覆盖加自适应模型信号的结论。表示方面，Dumoulin 等 2025 比较多种声学嵌入在敏捷建模中的下游分类差异，发现领域相关的生物声学嵌入优于通用音频表示，这与本文固定 PerchV2 以控制变量的选择呼应，但也说明换嵌入会改变哪些样本最不确定或最冗余。

评估方法上，多任务多指标的秩聚合被论文引用为替代单总分的选项，oracle 主动学习被提为归一化上界参考。部署成本方面，大规模被动声学部署的重复推理代价研究被引用来说明大批量扩展的价值。类别差异不能当同条件胜负，例如把海洋低频鲸叫在 PerchV2 上的结果直接与陆地鸟鸣比较难易，而应比较同一子集内不同策略的相对增益。初学者易误解是榜首方法在所有场景最优，实际 ATBFL 上多名差距很小，且第一与第二差距不显著，应按子集特性选策略。

挑战要回答的到底是哪一个选择问题？

论文把任务形式化为批量池式主动学习。输入是一个大的未标注池，每个元素是预计算好的 PerchV2 嵌入向量，外加数据集元数据和当前模型的预测概率。输出是每一轮要揭示标签的一批下标，预算耗尽即停止。约束包括标注者 1 次只能标一批、计算资源有限因此不能每标一个就重训 1 次，以及选择必须在音频的嵌入空间上操作而不是原始波形。评价要回答的是在相同预算内哪种排序更快提升宏平均精度，而不是终点谁的模型更大。

论文明确第一届只按训练效率排名，计算代价和标注代价只作为补充指标报告，不计入排名。这意味着一个方法即使采样稍慢，只要曲线下面积高仍可排第一，但部署时仍需看代价表。另一个隐含问题是验证集与训练共享同一有限预算，当前赛制用预留验证集且不计入预算，这与真实部署中验证也要花钱的矛盾在讨论部分被明确指出。

BaseAL 把哪些东西固定、留下哪些可改？

BaseAL 是论文为比赛搭建的模块化主动学习管线。固定部分包括核心循环与实验管理器、PerchV2 嵌入本身、两层分类头结构。可编辑部分包括采集函数、可选的第一轮预热函数，以及批量大小从而决定循环次数。每一轮的动作是采集函数读入当前预测、嵌入、元数据和已标与未标索引，为每个未标样本输出效用分，取分最高的若干个经由 oracle 揭示标签，加入已标集后重训分类头，直到 500 样本预算用完。参赛者还可以增加训练轮数或循环数，但这会改变相对计算代价。下面的导读帮助初学者先建立循环的整体方向感，再看细节约束。

本图展示了从嵌入输入到分类预测再回到采样选择的闭环，读图时重点区分灰色固定块与蓝色可编辑块，并注意标签是如何从未标注池经选择进入已标注训练的。

看图路径： 1. 先沿左侧嵌入经分类头到右侧预测的主箭头走一遍前向路径；2. 再看右侧预测连同嵌入和元数据向下进入蓝色采样方法的回路；3. 对比左下图例中灰色固定模块与浅蓝色可编辑模块的分布；4. 确认底部标注重复直到预算耗尽说明这是一个闭环批量迭代过程

论文图 1。原论文 Figure 1:：“Active learning loop showing fixed and editable components.”。

图中左侧是注明由 Perch V2 生成的嵌入堆叠，经粗箭头进入中间的分类头，再向右输出预测堆叠。右侧预测连同嵌入与元数据向下进入右下浅蓝色采样方法加配置块，该块向左输出选中下标，经过左下灰色 oracle 标注块变为已标注的彩色向量，再向上回注到分类头形成模型训练箭头。左下图例明确灰色为固定、浅蓝色为可编辑，因此唯一可发挥的是采样策略与批量配置。底部注明重复直到预算耗尽，说明这不是单次排序而是多轮迭代，批量大小直接决定重训次数和计算量。理解这张图后，后续所有方法差异都可以归为效用分定义不同、批内去重方式不同、权重是否随时间变化 3 类。

采集信号有哪些零件，各自管什么？

论文列出的 4 种基线覆盖了两大家族。随机采样代表不做主动学习时的被动训练。间隔指多标签下的不确定性方法，对每个样本平均各类别概率距 0.5 的距离，距离越小越不确定，优先选择。这是一种纯利用模型输出的策略。CoreSet 是纯多样性策略，在嵌入空间做 k 中心最远优先选择，目标是让已选点尽量覆盖未标点的最大距离。

TypiClust 也是多样性，但偏向选各簇中密度最高的典型样本。10 个参赛系统按论文总结全部是混合式，即同时用多样性和不确定性，外加稀有度、类别平衡或覆盖信号。

不确定性采样 × 多样性采样： 不确定性采样负责挑模型最拿不准的样本，例如类别概率接近 0.5 或熵很高的片段，多样性采样负责让已选集合铺满嵌入空间，避免都挤在一个声音类型里，二者搭配的理由是早期模型不可靠时先靠覆盖拿到代表性样本，后期模型稳定后再靠不确定性精修边界，组合后新增的作用是在同一预算内同时降低冗余和补充难例。

采集函数 × 批量冗余： 采集函数负责给每个未标注样本打一个效用分并排序，批量冗余指 1 次选出的 50 或 25 个样本彼此过于相似而浪费标注，搭配理由是 1 次选多个时只按单样本分数取前 K 会重复选中同一簇，组合意义在于用最大边缘相关、行列式点过程或 k 中心重排在批内去重，使每份标注带来新的梯度信息。

主动微调 × 冻结嵌入： 冻结嵌入指 PerchV2 参数不再更新，所有 5 秒窗都预先变成 1536 维向量，主动微调指每轮只重新训练轻量两层分类头，分工是嵌入提供跨鸟类和鲸类的通用声学表示，分类头适配当前已标注子集，搭配理由是把比较焦点锁在采样策略上，同时让实验在普通消费级硬件可运行，新增作用是控制了模型容量带来的混杂提升。

学习曲线下面积 × 宏平均平均精度： 宏平均平均精度负责在每个标注预算点衡量多标签分类质量，对稀有类和常见类平均而不被大类淹没，学习曲线下面积负责把从 0 到 500 样本整条曲线的精度积分成一个效率分，分工是一个管单点准确，一个管全预算效率，搭配理由是主动学习要比的是更快达到可用精度而非终点精度，组合后能奖励早期就选对样本的方法。

预热选择 × 自适应权重： 预热选择负责在还没有任何标签的第一轮决定初始标注集，自适应权重负责随预算或模型置信度改变多样性和不确定性的混合比例，分工是一个管起点覆盖，一个管途中切换，搭配理由是早期不确定性估计噪声大而后期覆盖收益递减，组合意义是让同一策略在标签稀少时偏探索、在标签增多时偏利用。

以前 3 名为例可以走完一个样本的旅程。一个 5 秒窗先被 PerchV2 变成 1536 维向量，进入两层分类头得到每个类别的概率。ADU-MMR 为该样本计算每类二元熵的加权和作为不确定性，再计算到最近已标邻居的归一化平方距离作为多样性，二者按随分类器置信度变化的权重相加得到效用分，最后在批内用最大边缘相关做贪心去重。CARE-DPP 用类似加权但按预算退火，并在批选择时用行列式点过程保证多样性。

PB-MFS 则先用覆盖、平均间隔不确定性、类频、与近邻标注不一致性和标签基数 4 层过滤器按每阶段 0.3 保留率剪枝，再用帕累托目标平衡不确定与多样。Safe Rarity 把前 5 类的熵、k 中心多样性和预测流行度的稀有项做秩归一化混合，并用门控在预测退化或预算小时关闭稀有项。这些细节说明高排名方法的共性是多信号加批内去重，而不是单一分数取前 K。

每轮真正训练了什么，冻结了什么？

本研究没有训练 PerchV2 声学基础模型，也没有端到端更新音频前端。被训练的只是固定结构的两层分类头，即 1536 维投影层加按类别数决定的输出层。基线配置是批量 50、每主动学习循环训练 10 个轮次、学习率 1e-3，预算 500 样本。PerchV2 参数全程冻结，不存在其梯度路径。监督来源是 oracle 揭示的窗口级多标签，即把强事件标注落在 5 秒窗内的叫声类型全部赋给该窗，无重叠则为负例。

重置时机方面，每次批量加入已标集后分类头被重新训练，论文未报告是接着上一轮权重继续微调还是从头初始化，因此复现时必须把这一缺项记为待确认，不能从模型名称推定实现。参赛者可改的是训练轮数和循环数，例如第 1 名把批量从 50 降到 25 从而循环数翻倍，相对计算代价变为基线的 2.0 倍。计算代价在论文中定义为模型参数数乘以轮次乘以主动学习循环数，再除以基线代价得到相对值。采样时间是另计的 wall-clock 补充指标，指打分加选批平均耗时。

没有训练基础模型时，计算到底花在哪里？

本节对应机械契约的第二处训练说明，强调本研究确实没有训练声学基础模型，因此不存在其梯度更新、优化器状态或检查点选择。真实计算包括三部分。一是离线 1 次性嵌入提取，已由组织者完成，参与者直接收到向量，这省去了音频前端与大模型推理。二是每主动学习循环的分类头训练，轮数与循环数的乘积决定相对代价，第 1 名因循环翻倍而为 2.0，第 5 名因配置精简而为 0.9。

三是每轮的采集打分与选批，CoreSet 类需算未标到已标的距离或做贪心搜索，采样达 5 秒量级，而随机与间隔仅毫秒级。理解这一分工才能解释为什么采样时间与相对代价是两个独立维度，前者是选批算法复杂度，后者是重训次数与轮数。复现时应分别计时，不能用总时长代替，也不能把冻结参数误认为系统输出确定，因为随机种子、批量顺序与初始化仍会带来方差，论文用 5 次重复平均来缓解。

数据从哪里来，划分和指标如何保证可比？

要理解结果先要核对 4 个子集的规模与标签密度差异，因为这直接影响主动学习增益。下表是预处理后的统计，训练验证测试均来自同一声景域内的 5 秒切分，而非 BirdSet 原始的聚焦训练到声景测试，因此与 BirdSet 基准不可直接比较。需要提醒的是切分是按 5 秒片段而非按完整录音，同一源录音的片段可能分属不同划分，这对泛化解读是一个限制。

4 个子集在片段数、类别数和每段平均标签数上差异很大，比较前必须确认这种异质性，指标方向是学习曲线下面积越大越好。

上表显示 HSN 共 12000 段 19 类，每段平均 0.52 个标签，是最稀疏的陆地子集，POW 仅 4560 段却有 41 类且每段 2.83 个标签，UHH 最大达 36637 段 25 类，海洋 ATBFL 为 19633 段 7 类。训练验证测试划分在表中以斜杠给出。这种不平衡意味着同样的 500 预算在不同子集覆盖的类别完整度完全不同，也是后文 HSN 增益最大而 ATBFL 增益最小的重要背景。海洋 ATBFL 的特殊性还在于采样率 250 赫兹且大量能量在 60 赫兹以下，而 PerchV2 前端约 60 赫兹到 16 千赫兹，存在表示失配，但论文报告仍能取得强性能，可能靠谐波或高频相关特征区分，待验证。

基线配置与补充代价需要单独核对，因为参赛者改变批量会同时改变曲线积分起点和计算量。下表是发展集上四基线的聚合表现，全部使用批量 50、每轮 10 轮、学习率 1e-3、预算 500，均重复 5 次取平均。

基线表用于锚定后续参赛增益是否真实超过最强的多样性基线，计算代价以基线为 1.0，采样时间单位为秒，标注代价以每样本标签数代理。

上表报告随机为 0.390，间隔为 0.399，TypiClust 为 0.423，CoreSet 以 0.460 为最强基线。采样时间上随机和间隔仅千分之几秒，而 CoreSet 和 TypiClust 约 5 秒，说明多样性方法本身更耗时。标注代价上纯利用的间隔选出片段平均标签最多，达 1267.75，高于随机的 966.85，这支持了论文用每段标签数代理标注耗时的直觉，但该代理未经验证，不能等同于真实标注时长。正式排名在 held-out 测试集上进行，同样 5 次重复，分数为四子集宏平均精度的曲线下面积再平均，因此要在总榜高必须跨陆地与海洋泛化。

谁在相同预算下更快学好，代价是什么？

总体排名要同时看精度增益与效率代价，因为第一届排名只看前者。下表截取前 8 名的分数、相对计算代价、采样耗时与标签代理，基线以斜体参与排名，完整 14 名见原文。比较条件是同一嵌入、同一分类头、同一 500 预算、同一测试划分，5 次平均。

总榜比较的问题是混合信号加去重是否稳定超过最强多样性基线，公平条件是预算与重训协议一致，指标越大越好而代价越小越好。

上表显示第 1 名 ADU-MMR 为 0.507，第 2 名 CARE-DPP 为 0.505，第 3 名 PB-MFS 为 0.499，均超过基线 CoreSet 的 0.464。论文报告第 1 名比同预算随机采样平均高 26.4%。但代价差异明显，第 1 名因批量 25 导致相对代价 2.0 为全场最高，采样 1.006 秒，第 2 名相对代价仅 1.1 且采样 0.215 秒，二者差距 0.002 在标准差 0.007 内，论文明确差距不显著。第 4 名 Safe Rarity 以相对代价 1.0 拿到 0.492，被论文称为单位计算排名最佳。未胜出项也值得注意，Parcerisas 队的另两项置信分位数策略排在随机之后，说明不是任何混合都有效。

分数据集增益差异是本论文最需要复述的反证，即总体趋势不等于每组都成立。下表用原文连续句整理每个子集最佳对随机的相对提升与绝对分，避免把不同子集的难度直接比较。

分集比较的问题是增益是否跨域稳定，条件是同一预算与同一宏平均精度积分，方向仍是越大越好。

上表说明最佳方法在 HSN 拉开 0.251 的极差，而在 ATBFL 全部 14 项极差仅 0.055，海洋集上第 7 名 Coreset KMeans 的 0.496 甚至接近前三，说明在该表示失配的海洋数据上多样性仍有竞争力。论文还报告 ATBFL 排名与三陆地集平均排名的斯皮尔曼相关为 0.855，支持跨域有一定一致性但不完全相同。复述时必须保留百分点与相对百分比的区别，这里都是相对增益而非百分点差，不能写成提升了多少个百分点。

去掉哪一块掉点最多，批量与预热呢？

论文的消融证据来自各队技术报告，而非统一的对照实验，因此只能作为有限支持而非因果证明。ADU-MMR 报告自适应加权优于固定权重，其不确定性权重在平均熵低于阈值 0.05 前为零且上限 0.5，保证多样性权重永不低于不确定性。CARE-DPP 报告去掉行列式点过程后均值从 0.502 降到 0.464，降幅 0.038，在总榜 0.393 到 0.507 的范围内属于显著。PB-MFS 的预热带来发展集 0.026 提升，AFL 的群体优化预热与多样性重排各贡献 0.014，而其前置批量调度与密度项各不足 0.001。Safe Rarity 的消融把最大效应归于 k 中心多样性。

Parcerisas 队系统比较预热发现跨 10 种采集策略仅差 0.003，远小于采集函数本身的 0.121 差异。批量方面，CARE-DPP 把批量从 25 增至 75 仅 gain 0.014，AFL 增大早期批量无改善，而第 1 名用更小固定批量 25 翻倍循环数换来榜首，提示后期大批量可能有益的初步证据仍待验证。教学要点是不要把消融数值当成可部署收益，因为各队的发展集、实现与调参预算不同，且 oracle 与事后最优不能替代可运行策略。

单指标总分掩盖了哪些未测量的东西？

论文用一节专门讨论单指标聚合的局限。学习曲线下面积在不同难度和标签流行度的子集间不可直接比较，单标量只反映训练效率一面，未纳入按片段变化的标注成本与采集计算成本。虽然表 3 已把采样耗时、相对代价和标签数作为补充列出，但未加权进排名。未来可考虑按数据集的秩聚合、多指标聚合、以随机为下界和 oracle 为主动学习上界的归一化差异，以及把标注与计算换算到同一尺度。第二个局限是配置泛化性。

提交的权重、调度、门控和候选池规则多在发展集上调过，而 held-out 评估仍是同一 4 个子集内的未见样本，不是新站点或新数据源，因此排名衡量的是域内泛化而非部署到新源的可迁移性。论文提出未来应冻结完整配置并在开发时不可见的源不交叠数据上原样应用，并要求报告默认值、理由、数据依赖与调参过程。第三个局限是验证预算未计入，oracle 假设已有验证集，而真实部署中训练与验证共享有限标注且不可互换使用而不引入偏置。

BaseAL V1.2 已支持主动测试，未来可要求在单一预算内联合优化训练与评估。

要重跑这套比较，先固定什么再改什么？

复现的第一步是重建数据管线而非调采集函数。按论文需把 HSN、POW、UHH 的声景切为 5 秒段，经 PerchV2 得 1536 维向量，移除少于 3 个正例的物种，并做多标签感知的训练验证测试划分，注意原文是按片段而非按录音划分。ATBFL 需把强事件起止时间转为相对偏移，按连续无重叠 5 秒开窗，把落入窗内的 7 类蓝鲸长须鲸叫声全赋给该窗，无重叠为负例，保留站点年份元数据。

第二步固定分类头为两层结构、基线批量 50、每轮 10 轮、学习率 1e-3、预算 500、5 次重复，以宏平均精度的曲线下面积为主要指标，同时记录采样秒数、相对代价与每段标签数。第三步再实现采集函数，输入必须只用当前预测、嵌入、元数据和已标未标索引，输出未标池的效用分，批内必须显式去重。建议先复现随机、间隔、CoreSet、TypiClust 四基线，确认 CoreSet 在发展集约 0.460 而随机约 0.390 的数量级，再试自适应混合。

缺项清单包括分类头是续训还是从零重训、验证集选择与早停规则、硬件型号与采样计时环境，以及 PerchV2 经 bacpipe 的具体版本。由于资源状态为 NONE，不写当前可用或已公开，只写按论文描述重建，若需下载需自行核对链接可达性。

何时值得试主动学习，还差哪项验证？

综合四子集证据，当标注预算只有数百段、类别不平衡且嵌入质量较好时，值得尝试覆盖打底加自适应不确定性的混合策略，并显式做批内去重。如果数据极稀疏如 HSN，主动学习可能带来数 10 个百分点的相对增益，如果已是密集多标签或表示失配如 ATBFL，增益可能仅个位数，此时应先评估换表示或改窗长。何时不值得是当采样耗时与重训成本超过标注节省，或需要把大量预算留给验证以支撑生态推断时，单目标主动学习并不直接解决验证分配。

动手顺序建议先跑通 BaseAL 循环与四基线，再加入阈值门控的自适应权重与最大边缘相关或行列式点过程去重，最后才调批量调度与预热。还需补的验证包括在源不交叠的新站点上冻结配置重测、在统一硬件上重测采样时间、用真实标注时长替代每段标签数代理，以及系统比较不同基础嵌入下的策略排序。

论文的结论是多信号组合、从多样性向不确定性过渡、降低批内冗余各有改进，未来应覆盖无尾目、蝙蝠、鱼类等更多类群，并把嵌入选择、计算与标注成本、配置泛化、训练验证联合预算纳入评估。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-16 语音/音乐/音频论文速递