📄 Can Tokens Compete? Token Representations against Supervised CNN Backbones for BirdCLEF+ 2026
标签：#音频事件检测 #模型集成 #音频分类 #迁移学习 #低资源
8.3/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5
🔥 8.3/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #音频事件检测 | #模型集成 | #音频分类 #迁移学习 | arxiv
👥 作者与机构
- 第一作者：Anthony Miyaguchi（佐治亚理工学院）
- 通讯作者：Anthony Miyaguchi（佐治亚理工学院）
- 作者列表：Anthony Miyaguchi（佐治亚理工学院）、Murilo Gustineli（佐治亚理工学院）、Adrian Cheung（佐治亚理工学院）
💡 毒舌点评
论文作为一份竞赛技术报告工程细节扎实，失败实验记录详尽，为后来者提供了宝贵的"避坑指南"。然而，其核心科学问题——“token能否竞争”——的探索深度有限：编解码器路线本就因训练于人声而预期失败，通用模型不敌专家模型也并非新发现，论文最终结论更多是对已知领域特性的印证，而非对"在何种条件下token能竞争"或"如何改进token表示以使其具有竞争力"等深层问题的实质性推进。
📌 核心摘要
本文是一份针对BirdCLEF+ 2026生物声学竞赛的系统技术报告。竞赛核心任务是在巴西潘塔纳尔湿地60秒环境声录音中进行多标签动物声音检测与分类。2026年竞赛新增约1小时带标签环境声数据（66个文件、739个5秒窗口、覆盖9个站点），使任务从依赖大量弱标签焦点录音转向有监督学习。论文旨在解决策略转变，首先遵循Kaggle社区最佳实践，构建了一个由冻结的Perch v2骨干网络、训练的HGNetV2-B0声事件检测网络和非鸟类原型头组成的集成系统，作为监督基线，在Kaggle排行榜上获得0.936的私有分数（排名1894）。随后，论文探究基于token的表示方法（神经音频编解码器和基础音频嵌入）能否与该基线竞争。主要实验结果表明：监督基线系统表现强劲；测试的神经音频编解码器（WavTokenizer）在生物声学检索任务中完全失败（往返Perch嵌入余弦相似度仅0.313，远低于0.90的目标阈值）；通用音频基础模型（AST、BEATs、EAT、SSAMBA）的语义嵌入在性能和速度上均显著落后于专业的生物声学嵌入（如Perch在排行榜上领先BEATs近9个百分点）。论文的实际意义在于清晰展示了在当前数据规模下，精心设计的监督流水线和强大的领域特定基础模型是更可靠的选择。其主要局限性在于未能有效利用大量无标签环境声数据，且对token表示的未来改进方向探索不足。
竞赛要求在复杂的自然环境录音中区分不同生物的声音，其声谱图特征差异如下所示。
下图展示了蛙类（脉冲式鸣叫）、鸟类（调频哨音）和昆虫（持续嗡鸣）在时频表示上的典型差异，直观说明了分类任务所面临的声音信号多样性挑战。
🔗 开源详情
- 代码：论文中明确提供了代码仓库链接：
https://github.com/dsgt-arc/birdclef-2026 - 模型权重：论文中未提供Perch v2、HGNetV2-B0或其他使用模型的权重直接下载链接。文中提到了使用的模型，但未提供其权重的官方获取地址。
- 数据集：数据集为BirdCLEF+ 2026竞赛数据，包含522.1小时音频（344.5小时焦点录音，177.6小时声景录音）。论文中未提供数据集的直接下载链接。竞赛通常通过Kaggle平台访问，但本文未明确给出Kaggle竞赛页面链接。
- Demo：论文中未提及在线演示（Demo）链接。
- 复现材料：论文提供了详细的实验配置和结果，可辅助复现，包括：
- 主要实验配置：如Perch v2的嵌入维度（1536-d）、HGNetV2-B0的日志梅尔频谱图参数（256 mel bins, 32 kHz, 2048-point FFT, 313-sample hop）。
- 训练细节：如使用5折GroupKFold交叉验证、4折训练、频谱图mixup增强、二元交叉熵损失等。
- 评估方法：详细的消融研究（附录A）、SED配方对比（Table 8）、负结果记录（Table 9）。
- 推理配置：如将60秒声景分割为12个5秒窗口，等权平均集成。
- ESC-50代理实验：各编码器在不同策略下的5折准确率（附录D）。
- SSAMBA消融：patch形状扫描和推理性能分析（附录E）。
- 具体链接：上述代码仓库包含实验代码。
- 论文中引用的开源项目：
- Perch v2：Google的生物声学基础模型。
- BirdNET：鸟类识别深度学习模型。
- Bird-MAE：用于鸟类的掩码自编码器模型。
- BirdSet：生物声学基准数据集。
- ESC-50：环境声音分类数据集（
https://github.com/karolpiczak/ESC-50）。 - AudioSet：大规模音频事件数据集。
- Mamba：线性时间状态空间模型架构。
- SSAMBA：基于Mamba的音频模型。
- WavTokenizer：神经音频编解码器。
- BEATs：音频表示学习模型。
- AST：音频频谱图Transformer。
- EAT：高效音频Transformer。
- ProtoSSM：论文中探索的结合状态空间模型和原型层的时间头。
- Claude Code, Codex：AI辅助编程工具（用于论文写作辅助，非模型）。
- PACE：佐治亚理工学院的高性能计算资源。
- Model2Vec：将语言模型转换为静态嵌入的方法。
🏗️ 方法概述和架构
本文采用系统技术报告的形式，核心方法是一个多层次的集成系统（Supervised Baseline System），并以此为基础对比了多种token表示方法。整个流程是一个端到端的监督学习流水线：输入为60秒的音频文件，输出为234个物种在每个5秒时间窗内的概率向量。每个60秒声景被分割为12个不重叠的5秒窗口，分别馈入集成的两个成员。
成员一：冻结的Perch v2骨干网络与MLP探针
- 功能：利用强大的预训练生物声学嵌入进行特征提取，无需从头训练骨干网络。
- 实现：Perch v2是一个针对鸟类音频的CNN模型，保持冻结状态（不参与训练）。每个5秒音频窗被映射为1536维嵌入，同时输出14795类logits。通过203个直接科学名称匹配、6个属级代理映射、25个昆虫声型被抑制的方式，将Perch输出映射到234个竞赛目标物种。随后，在59个完全标注的声景文件上（66个标注文件中有59个完全标注），通过5折GroupKFold交叉验证训练logit空间MLP探针，将嵌入映射到234维物种logits空间。GroupKFold按站点分组，防止同一站点的数据同时出现在训练集和验证集中，避免数据泄露。
- 额外探索——ProtoSSM时间头：论文还探索了一种称为ProtoSSM的时序头，它使用双向状态空间模型和每物种原型层（含对探针logits的学习门控），在12个5秒窗口间传递上下文信息。该组件在消融实验中被测试（公开排行榜0.925），但最终未被部署，因为去掉ProtoSSM的MLP-only集成反而获得了更高的公开排行榜分数（0.929）。
成员二：训练的HGNetV2-B0声事件检测网络
- 功能：从头训练一个CNN，直接学习从频谱图到标签的映射，与Perch提供互补的表示。
- 实现：输入为对数梅尔频谱图（256个梅尔频段，32kHz采样率，2048点FFT，313样本跳步）。网络主干为HGNetV2-B0卷积神经网络，该架构选择是通过架构消融实验确定的（表3显示从EfficientNet-B0切换到HGNetV2-B0带来+0.047的公开排行榜增益）。训练采用4折交叉验证，使用频谱图mixup数据增强和多标签二元交叉熵损失（BCE）。分贝尺度梅尔归一化（AmplitudeToDB）是关键的前端选择，它使安静和响亮的录音具有可比性，这在焦点录音和声景测试录音音量差异显著时尤为重要。
非鸟类原型头
- 功能：专门处理Perch v2未训练过的非鸟类物种（昆虫、蛙类等），填补Perch鸟类预训练的知识空白。
- 实现：234个竞赛物种中有72个是非鸟类类群，其中47个出现在标注声景中。基于Perch v2的嵌入，为每个非鸟类物种构建正原型（该物种存在时所有窗口的平均嵌入 \(\boldsymbol{\mu}^{+}_{s}\)）和负原型（该物种不存在时所有窗口的平均嵌入 \(\boldsymbol{\mu}^{-}_{s}\)）。对于新样本，计算其与正负原型的余弦相似度差值作为得分：\(\hat{y}^{\text{proto}}_{t,s}=\text{clip}(\cos(\mathbf{e}_{t},\boldsymbol{\mu}^{+}_{s})-\cos(\mathbf{e}_{t},\boldsymbol{\mu}^{-}_{s}),\;0,\;1)\)。对于有原型的非鸟类物种，预计算的原型分数通过逐元素最大值与SED网络输出融合：\(\hat{y}^{\text{final}}_{t,s}=\max\left(\hat{y}^{\text{sed}}_{t,s},\,\hat{y}^{\text{proto}}_{t,s}\right)\)。由于原型矩阵复用Perch嵌入，几乎不增加推理开销。
集成与后处理
- 功能：融合两个成员的预测，并利用环境信息提升准确性。
- 实现：两个成员的234维概率向量以相等权重（\(w_{\text{Perch}}=0.5\)）进行平均。SED成员还额外进行测试时增强（在4个折的模型上取logit均值）。之后，应用基于录制地点和时间的先验知识进行后处理（+0.007公开排行榜增益），再与非鸟类原型头的分数取最大值融合。整个流水线约64分钟完成，在90分钟CPU时间限制内。
Token表示对比研究作为补充实验，测试了两类表示：
- 编解码器表示：使用WavTokenizer（75 tokens/s，单4096码本，24kHz）将音频编码为离散token序列，通过三个实验评估其重建质量和语义检索潜力。
- 语义表示：测试了多个通用音频Transformer模型（AST、BEATs、EAT、SSAMBA）以及生物声学专家模型（BirdNET）的冻结嵌入，通过线性探针或LoRA微调评估其迁移性能。所有模型在ESC-50代理任务上进行了5折线性探测筛选。
关键设计选择包括：选择冻结骨干+轻量探针以平衡效率和效果；使用集成方法融合不同架构（CNN vs. Transformer/SSM类模型）的优势；针对数据分布不均（非鸟类物种数据少）设计专门的原型头；记录大量负结果（伪标签、多种数据增强、知识蒸馏等尝试均失败）以证明简单直接的工程组合更有效。
💡 核心创新点
系统性构建并剖析竞赛最优实践：论文的创新不在于提出全新算法，而在于作为一份详尽的竞赛技术报告，完整记录了从基线构建、失败实验到最终系统的完整工程路径，包括大量负结果（如伪标签的6个变体均导致性能下降、波形mixup、知识蒸馏等）。这为后续研究者提供了"如何在该特定问题下高效避坑"的宝贵工程洞察。
提出并验证非鸟类原型头：针对竞赛中大量非鸟类目标物种在预训练Perch模型中无对应标签的问题，设计了一种利用同一嵌入空间构建正负原型进行识别的方法。离线评估显示该头大幅提升了非鸟类物种的性能（宏平均AP: 0.895 vs SED单独的0.074），证明了即使骨干模型仅在鸟类上训练，其学到的通用声学特征也能有效迁移到其他类群。
对神经音频编解码器在生物声学中的有效性提出实证质疑：论文系统地测试了WavTokenizer的表示能力，通过三个实验（往返重建质量、往返检索、焦点检索）证明其在生物声学领域完全失败，并按物种分析了原因——训练于人声的编解码器对低频类人声存活率更高（蛙类0.539），而高频鸟类叫声严重损失（最低0.145），为该方向的研究提供了明确的否定证据。
直接对比通用基础模型与领域专家模型：将通用音频基础模型（基于Transformer或SSM）的表示与生物声学专家模型（Perch、BirdNET）在相同任务上进行公平比较。结果清晰地显示，在当前竞赛数据规模下，专家模型在排行榜性能（Perch 0.866 vs BEATs 0.777）、推理速度（11.5 vs 29.6 min/1k clips）和对排行榜波动的鲁棒性上全面胜出。论文还通过PaCMAP嵌入可视化和kNN精度分析，从几何角度解释了排名差异的原因。
不同模型学习的嵌入表示在结构上存在显著差异，如下图PaCMAP可视化所示。
下图显示，领域专家模型（Perch, BirdNET）对物种的嵌入表示形成紧凑、分离的簇，而通用基础模型（如AST, BEATs, SSAMBA）的嵌入簇则较为分散，这直观地解释了专家模型在该任务上性能更优的原因。
📊 实验结果
监督基线系统消融实验 (Table 2):
| 配置 | Public LB | Private LB | Δ (相对基线) |
|---|---|---|---|
| Perch v2 + ridge probe (frozen, 基线) | 0.866 | 0.862 | — |
| Perch v2 + MLP probes (frozen) | 0.920 | 0.918 | +0.054 |
| HGNetV2-B0 SED (4-fold) | 0.917 | 0.924 | +0.051 |
| Ensemble (wPerch=0.5) with ProtoSSM head | 0.927 | 0.923 | +0.061 |
| Ensemble MLP-only (drop ProtoSSM) | 0.929 | 0.925 | +0.063 |
| Ensemble no post-processing | 0.922 | 0.916 | +0.056 |
| Ensemble MLP-only + non-bird head | 0.931 | 0.936 | +0.065 |
SED架构消融实验 (Table 3):
| 阶段 | 变更 | Public LB | Δ |
|---|---|---|---|
| Base SED | EfficientNet-B0 SED (++ post-proc.) | 0.827 | — |
| ++ dB-mel | high-res mel ++ AmplitudeToDB | 0.859 | +0.032 |
| ++ HGNetV2-B0 | backbone swap ++ NNAudio dB-mel | 0.906 | +0.047 |
| ++ 4-fold | logit-mean over folds | 0.913 | +0.007 |
| ++ priors | site/hour post-processing | 0.917 | +0.004 |
| ++ Perch probe | score-level blend (ensemble) | 0.929 | +0.012 |
SED配方对比 (Table 8):
| 配方 | 预训练 | 单折 | 4折 |
|---|---|---|---|
| HGNetV2-B0 SED (部署) | ImageNet | 0.906 | 0.917 |
| EfficientNet-B0 SED ++ Perch KD | ImageNet | 0.906 | 0.915 |
| EfficientNetV2-S SED | broad Xeno-Canto | 0.907 | 0.916 |
Token表示对比——编解码器表示 (WavTokenizer, Table 4):
| 阶段 | 指标 | 目标 | 结果 | 达标 |
|---|---|---|---|---|
| 往返重建 | Perch嵌入余弦相似度 | >0.90 | 0.313 | × |
| 往返重建 | Precision@1 | >0.80 | 0.09 | × |
| 焦点检索 | Precision@10 | >0.80 | 0.195 | × |
WavTokenizer按物种往返余弦相似度 (Table 5):
| 物种 | 类群 | 余弦相似度 | Top-1准确率 |
|---|---|---|---|
| Lesser Snouted Tree Frog | Amphibia | 0.539 | 25% |
| Domestic Dog | Mammalia | 0.423 | 10% |
| Pale-legged Weeping Frog | Amphibia | 0.374 | 5% |
| Purplish Jay | Aves | 0.357 | 5% |
| Common Potoo | Aves | 0.340 | 30% |
| Bare-faced Curassow | Aves | 0.337 | 15% |
| Rufous Hornero | Aves | 0.214 | 0% |
| Great Kiskadee | Aves | 0.201 | 0% |
| Chestnut-vented Conebill | Aves | 0.200 | 0% |
| White-faced Whistling Duck | Aves | 0.145 | 0% |
Token表示对比——语义表示 (Table 6):
| 编码器 | 维度 | LOSO AUROC | Public LB | Private LB | CPU min/1k clips |
|---|---|---|---|---|---|
| Perch | 1536 | 0.620 | 0.866 | 0.862 | 11.5 |
| BEATs | 768 | 0.612 | 0.777 | 0.760 | 29.6 |
| BirdNET | 1024 | 0.588 | 0.814 | 0.798 | 34.5 |
| AST | 768 | 0.576 | 0.778 | 0.768 | 38.2 |
| EAT | 768 | 0.569 | 0.780 | 0.766 | 25.5 |
| SSAMBA | 384 | 0.563 | 0.731 | 0.689 | 72.5 |
关键发现：
- 生物声学专家模型（Perch、BirdNET）在排行榜上大幅领先通用模型，Perch领先EAT近9个百分点（0.866 vs 0.778）。
- 离线评估排名与排行榜排名不完全一致：BEATs离线AUROC（0.612）高于BirdNET（0.588），但排行榜上BirdNET（0.814）远高于BEATs（0.777），凸显了竞赛评估与离线验证的差异。
- Perch对公开到私有排行榜的位移最鲁棒，而SSAMBA退化最严重（0.731→0.689）。
- 推理速度：Perch最快（11.5 min/1k clips），SSAMBA最慢（72.5 min/1k clips）。
嵌入空间kNN分析： 基于PaCMAP可视化中的录音中心点，使用10-NN精度（在206个焦点物种上宏平均）可部分恢复排行榜排序：Perch 0.71, BirdNET 0.58, AST 0.29, EAT 0.27, BEATs 0.23, SSAMBA 0.07。
ESC-50代理任务筛选 (Table 13):
| 编码器 | 策略 | 准确率(%) |
|---|---|---|
| BEATs | Linear probe | 95.8 |
| AST | Linear probe | 95.5 |
| EAT | Linear probe | 77.9 |
| EAT | LoRA r=8 | 94.6 |
| SSAMBA-HF-small | Linear probe | 61.6 |
| SSAMBA-HF-small | LoRA r=8 | 87.0† |
| wav2vec2 | Linear probe | 48.2 |
| wav2vec2 | LoRA r=8 | 3.0 |
†仅折1完成；完整5折未完成。
非鸟类原型头离线评估： 非鸟类原型头在离线评估上大幅提升了非鸟类物种的性能（宏平均AP: 0.895 vs SED单独的0.074），确认Perch嵌入空间对非鸟类物种也携带有用信息。
SSAMBA自监督实验 (Table 17):
| 设置 | 备注 | cmAP |
|---|---|---|
| SSAMBA-Tiny scratch | 随机初始化 | 0.086 |
| SSAMBA-Tiny + AudioSet pretrain (16×16) | 完全迁移 | 0.179 |
| SSAMBA-Tiny + AudioSet pretrain (128×1) | 仅Mamba迁移 | 0.172 |
| SSAMBA-Tiny + SED + focal loss | Attention pool, 128×1 | 0.164 |
| SSAMBA-Small + SED + focal loss | 25M参数 | 0.165 |
| SSAMBA-Tiny SSL (BirdCLEF 55K) | 线性探针 | 0.009 |
| ConvNeXt (BirdSet LT) | 监督预训练 | 0.47 |
| EfficientNet (BirdSet LT) | 监督预训练 | 0.35 |
| Bird-MAE ViT-L (1.6M) | MAE + 原型探针 | 0.55 |
论文记录了大量失败的尝试（附录A, Table 9），包括伪标签（6个变体，-0.005到-0.074）、波形mixup（-0.019到-0.036）、可学习PCEN（-0.026）、注意力池化头（-0.013到-0.035）、多上下文窗口（-0.010到-0.025）等。
🔬 细节详述
- 训练数据：竞赛官方数据，包含522.1小时音频。焦点录音344.5小时，来自Xeno-canto众包平台，覆盖206种物种（162种鸟类、32种两栖类、3种昆虫、8种哺乳类、1种爬行类）。环境声录音177.6小时，来自潘塔纳尔湿地23个站点，其中仅1.03小时（66个文件、739个唯一5秒窗口、覆盖9个站点）有标注。234个目标物种中有28个仅来自声景数据，许多是昆虫类。焦点录音中仅2.4%来自潘塔纳尔地区，87个物种在潘塔纳尔无任何录音。
- 损失函数：SED成员使用多标签二元交叉熵损失（BCE）。
- 训练策略：
- SED成员：使用4折交叉验证，频谱图mixup增强。
- MLP探针：在59个完全标注的声景文件上使用5折GroupKFold交叉验证（按站点分组防止数据泄露）。
- 通用模型：使用LoRA适配器（r=8）进行参数高效微调。
- 离线验证AUROC与公开排行榜在20+提交中呈反相关，因此每项更改都被视为单变量实验，由Kaggle提交裁决。
- 关键超参数：
- Perch v2：1536维嵌入，14795类logits。
- HGNetV2-B0 SED：输入为256维对数梅尔频谱图，使用AmplitudeToDB归一化。
- 音频预处理：32kHz采样，2048点FFT，313样本跳步。
- 训练硬件：未具体说明GPU型号，但致谢中提到佐治亚理工学院PACE高性能计算资源。竞赛CPU时间限制90分钟。
- 推理细节：将60秒音频切分为12个不重叠的5秒窗口。集成成员的概率向量进行等权平均（\(w_{\text{Perch}}=0.5\)），SED成员额外进行测试时增强（4折logit均值）。应用站点/时间后处理先验。系统总推理时间约64分钟。
- 正则化/稳定训练：使用频谱图mixup、交叉验证、LoRA等。论文记录了许多不稳定的训练尝试（如伪标签、波形mixup）导致性能下降。
⚖️ 评分理由
创新性 (1.2/2)：论文在系统构建和问题探究层面有创新。系统性地构建并剖析竞赛最优实践，完整记录了从基线构建到最终系统的工程路径，包括大量负结果。提出并验证了针对非鸟类物种的原型头。此外，通过系统实验对神经音频编解码器在生物声学中的有效性提出了实证质疑，提供了明确的否定证据。
技术严谨性 (1.0/1.5)：工程纪律严谨，记录了大量负结果。但对比实验设计存在公平性问题：在对比通用模型（AST、BEATs）与专家模型（Perch）时，未设计实验（如领域自适应预训练）抵消专家模型的“主场优势”，使得结论归因不够充分。SSAMBA自监督实验规模过小（55k片段），不足以支持任何结论。
实验充分性 (1.3/1.5)：实验对系统技术报告而言充分。提供了监督基线系统详尽的组件级消融实验（Table 2， Table 3， Table 8），清晰展示了各环节增益。包含端到端质量（排行榜分数）、延迟（CPU min/1k）、吞吐（系统总运行时间）、成本（90分钟CPU限制）和失败案例（Table 9）的完整记录。公平地对比了多种表示方法（编解码器与语义嵌入）和编码器。
清晰度 (1.0/1)：论文结构清晰，逻辑连贯。通过流程图（Figure 2）和详细表格（如Table 2， 6）系统地展示了方法架构和实验结果。方法描述详尽，包含了关键的实现细节（如Perch映射、原型头公式、SED配置）。写作流畅，图表表达准确。
影响力 (1.0/1.5)：论文在特定领域（生物声学/生物多样性音频监测）内具有实际影响力。其构建的监督流水线和提供的“如何在特定问题下高效避坑”的工程洞察，对参与类似竞赛或处理低资源音频分类任务的研究者有参考价值。然而，研究问题“Token能否竞争”的结论受限于特定数据规模和实验条件，影响力主要局限在竞赛和领域内。
开源 (1.0/1.5)：核心产物部分开放。论文明确提供了代码仓库链接（https://github.com/dsgt-arc/birdclef-2026），但未提供Perch v2、HGNetV2-B0等使用的模型权重或BirdCLEF 2026竞赛数据集的直接下载链接。Demo未提供。
可复现性 (0.3/0.5)：大部分配置充分但有关键缺失。论文提供了详细的实验配置（如Perch嵌入维度、SED频谱图参数）、训练细节（如5折GroupKFold、4折训练、mixup增强、BCE损失）、评估方法和推理配置。但缺少具体的GPU型号、完整的训练日志，以及对于使用的一些外部模型（如Perch, WavTokenizer）的具体实现细节，这给完全复现带来一定障碍。
工程/实践价值 (1.5/1.5)：工程实践价值极高。论文详细记录了从基线构建、失败实验到最终系统的完整工程路径，包括针对数据分布（非鸟类）设计的原型头、利用环境先验的后处理、以及大量负结果（伪标签、多种数据增强等尝试均失败）的系统记录。最终系统在竞赛约束（90分钟CPU）下取得了有竞争力的排名（0.936），充分证明了工程组合的有效性，为后来者提供了宝贵的“避坑指南”。
🚨 局限与问题
1. 论文明确承认的局限：
- 未能利用无标签数据：论文指出，尽管有177小时分布式的环境声录音，但实验未能有效利用这些无标签数据。SSAMBA自监督实验仅使用55k片段，比文献中的SSL规模小一个数量级，且均未达到BirdSet监督基线。
- Token表示研究结论有限：论文承认，其关于token表示能否竞争的研究"不够结论性"。通用模型失败的原因可能更多是数据不足和领域差距，而非方法本身的上限。
- 离线评估与在线评估不一致：作者观察到离线AUROC与排行榜分数在20+提交中呈反相关，使得验证策略复杂化，只能依赖单变量Kaggle提交进行实验裁决。
2. 审稿人发现的潜在问题：
- 科学新颖性与深度：论文标题提出的"Token能否竞争"是一个引人入胜的问题，但实验和结论更多是对"在BirdCLEF 2026特定条件下，基于现有通用token的表示方法无法与监督基线竞争"的验证。论文对"为什么不能"的分析（如"transformers lack inherent spatial and temporal biases of CNNs"）较为表面，对"在什么条件下可能能"、“如何改进token表示以使其具有竞争力"等更深层次问题仅在讨论部分给出方向性展望，缺乏实质性实验探索。
- 对比实验的公平性考量：在对比通用模型（AST、BEATs等）与专家模型（Perch、BirdNET）时，后者天然具有领域优势。论文未设计实验来抵消这种"主场优势”，例如在BirdCLEF数据上对通用模型进行领域自适应预训练后再对比，这使得对比结论的归因不够充分——通用模型的落后究竟是方法本身的问题还是数据/领域的问题难以厘清。
- 基线系统的复杂度与边际收益：最终集成系统包含多个组件（Perch、SED、原型头、后处理），论文对各组件边际贡献的分析可以更深入。例如，非鸟类原型头仅在私有排行榜上带来+0.005的增益（0.925→0.936减去后处理的贡献），但其增加的系统复杂度是否值得？论文未进行成本-收益分析。
- SSAMBA实验的说服力不足：论文声称SSAMBA"remained inconclusive at the scale we could train"，但55k片段的规模仅为文献中SSL规模的十分之一，这一结果本就不足以支持任何结论。论文未充分讨论在更大规模数据上SSAMBA或其他序列模型是否可能展现不同结论。
- 排名报告不一致：论文摘要声称排名1962（仅集成）和1894（含非鸟类头），但结论部分写"rank 1894"仅对应最终模型，前者在摘要中出现可能引起混淆。