音频分类

📄 Turning music identification into a neural forward pass #音频分类 #音频指纹 #数据增强 #Transformer 7.4/10 | 创新 1.3/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.4/10 | 前50% | #音频分类 | #Transformer | #音频指纹 #数据增强 | arxiv 👥 作者与机构 Muhammad Taimoor Haseeb, Ahmad Hammoudeh, Gus Xia。机构：穆罕默德·本·扎耶德人工智能大学 (MBZUAI)，Music X Lab，阿联酋。其中Haseeb和Hammoudeh贡献均等。 💡 毒舌点评 这篇论文的立意相当迷人，试图用一个“系统1”式的神经直觉来替代“系统2”式的繁琐检索，概念上很性感。作者在音乐识别这个相对清晰的测试场上，展示了这种范式的可行性，实验设计也比较严谨，甚至考虑了持续学习和开放集这些实际问题。但是，实验的规模限制在25,000条轨道，对于“搜索”这个概念而言，这个数字更像一个玩具演示，而非工业级证明。论文对数据内部化的讨论颇具启发性，但将其与传统检索系统的计算权衡对比时，有些理想化。此外，现场录音性能的断崖式下跌，恰恰暴露了神经网络“记忆”与人类“识别”在泛化能力上的巨大鸿沟。总体而言，这是一篇想法不错、实验扎实但应用前景受限的概念验证论文。作者诚实地列出了局限性，这比那些假装解决了所有问题的论文要值得尊敬。 📌 核心摘要 本文将经典的音乐搜索问题重新定义为一个直接的识别问题。作者提出了一种名为“生成增强检索”的范式，使用一个decoder-only的Transformer模型，通过单次神经网络前向传播，直接从短音频片段（查询）中预测对应的轨道标识符。这种方法将传统声学指纹系统中需要的外部数据库和检索步骤，转化为模型参数对数据集的“内化”。实验表明，在短查询长度（如1秒）下，该方法的识别准确率显著超越了现有的检索基线（Dejavu和GraFPrint），同时大幅降低了外部存储需求并提升了推理延迟。此外，模型还支持通过多片段投票机制进行开放集操作，能够拒绝未知轨道。 🔗 开源详情 代码：论文在结论部分承诺发布代码、数据集清单和可复现脚本（We will release code, dataset manifests, and scripts to reproduce preprocessing, training, evaluation, and fingerprint database construction...），但未提供具体的代码仓库链接（如GitHub）。 模型权重：论文中未提及是否发布预训练模型权重。 数据集：论文使用的主要数据集是公开的Free Music Archive (FMA)，其获取链接为：https://doi.org/10.24432/C5HW28。论文中用于版本偏移鲁棒性测试的策划数据集（包含原版、广播编辑、现场版本配对）需向通讯作者合理请求。 Demo：论文中未提及。 复现材料：论文的“Method”部分提供了极其详细的训练与评估参数，包括模型架构规格、数据增强配置、训练超参数（学习率、批量大小等）、评估协议以及硬件环境。论文未提及提供预训练模型检查点文件。 论文中引用的开源项目： Dejavu：作为基线对比的音频指纹识别系统，其GitHub仓库为：https://github.com/worldveil/dejavu。 FMA (Free Music Archive)：论文使用的数据集，公开链接为：https://doi.org/10.24432/C5HW28。 torchaudio：论文提及用于特征提取的音频处理库（标准链接：https://pytorch.org/audio/stable/index.html）。 🏗️ 方法概述和架构 本文的核心方法是“生成增强检索”，其架构为一个decoder-only的Transformer模型。该模型的任务是直接从音频查询中自回归地生成一个唯一的轨道标识符。 ...

📄 Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models #音频分类 #提示学习 #多模态模型 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.3/10 | 前50% | #音频分类 | #参数高效微调 | #提示学习 #多模态模型 | arxiv 👥 作者与机构 Hyebin Cho, Jaehyuk Jang, Changick Kim, Joon Son Chung Korea Advanced Institute of Science and Technology, South Korea ...

📄 MambAdapter: Lightweight Mamba-Based Adapters for Parameter-Efficient Transfer Learning in Speech and Audio #语音识别 #音频分类 #参数高效微调 8.9/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.9/10 | 前25% | #语音识别 | #参数高效微调 | #音频分类 | arxiv 👥 作者与机构 Hussain Ali Cappellazzo, Salman Sami Hussain Ali, Umberto Cappellazzo, Mirco Ravanelli. 机构：1Université de Montréal, Canada; 2Imperial College London, UK; 3Concordia University, Canada; 4Mila – Quebec AI Institute, Canada. ...

📄 Decoding Insect Song: A Multitask Semisupervised Orthoptera Bioacoustic Classifier #音频分类 #生物声学 #多任务学习 #知识蒸馏 #自监督学习 #数据集 8.7/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.7/10 | 前50% | #音频分类 | #多任务学习 | #生物声学 #知识蒸馏 | arxiv 👥 作者与机构 奥尔加·伊苏波娃（Olga Isupova），丹尼尔·库津（Danil Kuzin），埃拉·布朗宁（Ella Browning），汤姆·米尔斯（Tom Mills），史蒂文·里斯（Steven Reece）。 作者团队来自剑桥大学（University of Cambridge）。 💡 毒舌点评 这篇论文像一份精心包装的“集成学习套餐”，将多任务、自监督、知识蒸馏等流行技术打包成一个针对特定生态监测问题的解决方案。其优点在于目标明确、工程实现完整，并提供了新的数据集。然而，其主要短板在于方法论创新性不足——本质上是现有技术的组合，缺乏机器学习层面的理论或架构突破。实验对比过于单一，仅与一个通用模型比较，未能充分验证框架内各组件的贡献和必要性。绝对性能（F1=0.34）虽然对比基线有提升，但在实际野外多物种重叠场景下仍然很低，论文对此瓶颈分析不足。此外，关于“迁移能力”的声明（测试集来自未见站点）可能因训练数据来自同一地区（牛津郡）的少量站点而存在潜在偏倚，实际泛化能力有待在更广泛地理和生态条件下验证。 📌 核心摘要 针对被动声学监测（PAM）中直翅目昆虫自动分类面临的标注数据稀缺、领域偏移以及现有工具非通用等问题，本文提出了PULSE，一个半监督、多任务学习框架。该框架联合优化三个损失函数：1）基于弱标签数据的监督分类损失（多标签二元交叉熵）；2）通过知识蒸馏与预训练的通用鸟声模型（BirdNET）嵌入对齐的生态先验损失（L2距离）；3）利用大量无标签野外录音进行自监督学习（Bootstrap Your Own Latent, BYOL）以适应本地声景的损失。通过主动学习，从野外数据中获取少量标签，进一步提升了模型性能。实验表明，PULSE在仅使用“物种库”标签时，其宏F1分数（0.21）显著优于直接使用通用模型Perch 2.0（0.07）；当加入少量野外标注数据后，其宏F1达到0.34，性能与使用同样数据微调的Perch 2.0（0.33）持平。论文还展示了学习到的嵌入空间编码了有意义的生态结构，并提供了交互式可视化工具用于生态发现。 ...

📄 Dolph2Vec: Self-Supervised Representations of Dolphin Vocalizations #音频分类 #自监督学习 #生物声学 #信号处理基础 7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | #音频分类 | #自监督学习 | #生物声学 #信号处理基础 | arxiv 👥 作者与机构 作者： Chiara Semenzin (École Normale Supérieure, Paris, France) Faadil Mustun (École Normale Supérieure, Paris, France) Roberto Dessì (Not Diamond, San Francisco, USA) Pierre Orhan (Institut du Cerveau, Paris, France) Alexis Emanuelli (École Normale Supérieure, Paris, France) Yair Lakretz (École Normale Supérieure, Paris, France) Gonzalo de Polavieja (Champalimaud Foundation, Lisbon, Portugal) Germán Sumbre (École Normale Supérieure, Paris, France) 机构：École Normale Supérieure (巴黎高等师范学院)， Not Diamond， Institut du Cerveau， Champalimaud Foundation。 💡 毒舌点评 这篇论文的出发点——为特定物种构建自监督学习（SSL）模型——是生物声学中一个有价值且清晰的方向。然而，其“顶会级”的呈现背后存在明显短板。首先，核心宣称的“首个大规模物种特异性SSL模型”和“发布数据集”存在水分。论文仅在一个来源、环境高度特定（半圈养红海宽吻海豚）的种群数据上训练，其“大规模”仅指相对过去的小数据集，但数据的生态多样性和泛化能力存疑。宣称“发布”数据集，但正文和附录均未提供任何实际链接，这削弱了可复现性和影响力声明。其次，实验评估相对基础且避重就轻。仅使用线性探测（逻辑回归）评估冻结表征，这是SSL的初步评估标准，但论文未进行任何微调实验以证明模型潜力，也未在更广泛的海豚声音数据集或与其他物种的交叉评估上验证其主张的“物种特异性优势”。在检测任务上，Dolph2Vec与BioLingual几乎持平（67.8 vs 67.6 mAP），但在分类任务上的提升（82.0% vs 74.5%）虽显著，却未通过统计检验论证其显著性。最后，对代码本（codebook）的可解释性分析流于表面。虽然展示了单元与哨声类别的关联，但未能提供令人信服的证据表明这些单元真正编码了“亚哨声结构”而非仅仅是统计上的高频片段，也未设计实验来验证这些单元的预测性或功能性作用。总而言之，这是一篇扎实的系统论文，但创新声明需更多实质性证据支撑，评估深度有待加强。 ...

📄 Few-shot Class-variable Incremental Audio Classification via Prototype Adaptation and Pseudo Class-variable Training #音频分类 #数据增强 6.9/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.9/10 | 前50% | #音频分类 | #数据增强 | arxiv 👥 作者与机构 作者：Yanxiong Li, Guoqing Chen, Qianqian Li, Sen Huang 机构：华南理工大学电子与信息工程学院 💡 毒舌点评 这篇论文在定义问题上有点小聪明，把“类别只增不减”这个常见假设改成了“可增可减”，确实更贴近智能音箱这种需要增删关键词的现实场景。技术上，CPAN这个网络设计得有点复杂，四个模块（APGM, SAMP, PAMP，融合）堆在一起，虽然动机是好的（想同时兼顾稳定性与可塑性），但看着就让人头大。更让人费解的是伪类变量训练（PCTS），在基础训练阶段用混合操作（mixup）造伪类别，然后模拟增删，这个操作的有效性和泛化能力值得怀疑——它真的能模拟真实增量场景中复杂的特征分布变化吗？实验上，表格数据看着挺漂亮，AA分数确实比CEC、PAN这些方法高，但作者只挑了这几个特定的基线比较，有没有和其他更近期的、针对类增量学习的小样本方法（比如在CV领域用得比较多的）直接对比呢？另外，论文在LS-100上加了随机增减和同时增减的“更难”设置（图3），看起来是为了展示鲁棒性，但这部分实验结果图（Figure 3）在提供的文本里只有描述没有实际图和具体数值，说服力打了折扣。总的来说，论文像个精心设计的“补丁”方案，解决了现有FCAC方法的一个明显缺陷，但这个“补丁”本身是否足够优雅和强大，还有待更全面的检验。 📌 核心摘要 该论文针对小样本类增量音频分类（FCAC）中普遍假设类别数量单调递增的局限性，提出了一个更通用的任务：小样本类变量增量音频分类（FCIAC），即增量会话中的类别数量可以增加或减少。为解决FCIAC问题，作者设计了一个由编码器和分类器组成的模型。编码器采用预训练的ResNet-18。分类器的核心是一个类变量原型适应网络（CPAN），它包含四个模块：类增加时激活的原型生成模块（APGM）、训练后冻结的稳定性适应模块（SAMP）、在增量会话中持续更新的可塑性适应模块（PAMP）以及一个融合模块。CPAN能够根据当前会话是类别增加还是减少，动态地生成新类原型并更新所有现有类原型。此外，为了解决增量会话中训练样本稀少的问题，作者在基础会话阶段设计了伪类变量训练策略（PCTS）。该策略通过从基础类数据中合成伪类样本，并交替执行模拟类别增加和减少的训练步骤，使模型在基础训练阶段就能预先适应未来增量会话中类别数量的动态变化。在三个音频数据集上的实验表明，所提方法在平均准确率（AA）上显著优于CEC、PAN和AFMO等现有基线方法。消融研究证实了CPAN和PCTS的有效性。统计检验（Friedman与Nemenyi）进一步证实了该方法的优越性具有统计显著性。 🔗 开源详情 代码：https://github.com/cgq2971-afk/FCIAC 模型权重：论文中未提及提供预训练或训练好的模型权重。 数据集：LS-100, NSynth-100, FSC-89，可从以下链接获取：https://www.modelscope.cn/profile/pp199124903 Demo：论文中未提及提供在线演示。 复现材料：论文中未提及提供具体的训练配置文件、检查点或详细的复现指南。 论文中引用的开源项目：论文中引用ResNet作为编码器架构，但未明确提及引用其他具体的开源项目或工具库的代码。 🏗️ 方法概述和架构 本文提出的FCIAC方法框架包含一个基础会话和多个增量会话。 ...

📄 Sound Effects Dataset Unification With the Universal Category System #音频分类 #迁移学习 6.9/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 ✅ 6.9/10 | 前50% | #音频分类 | #迁移学习 | arxiv 👥 作者与机构 Jun Woo Beck, Alexander Lerch 💡 毒舌点评 这篇论文做了一件“必要”但“不性感”的工作：给现有音效数据集换标签。其核心贡献是一个工程性的转换管道和配套工具，而非新的算法或理论。实验部分更像是工具的使用说明和验证，而非提出可推广的机器学习方法。优点是代码和数据公开，有实际应用价值；缺点是创新性有限，深度学习实验部分过于基础且未解决其自身发现的核心问题（多源聚合失效）。 📌 核心摘要 本文针对音效数据集标签不统一的问题，提出一个将现有数据集标签转换为行业标准UCS格式的模块化框架。该框架包括一个四阶段规则匹配管道和一个冲突解决机制，实现了高转换率（FSD50K和ESC-50为100%，AudioSet为98.49%）。基于此框架，作者构建了EnvSound-UCS环境声音数据集。基准实验揭示了：1) 从子类别预测推导类别分类优于直接分类；2) 层次分类的潜力（由oracle实验展示）被较差的类别分类器性能所限制；3) 简单合并多源数据未能提升模型性能。该工作提供了开放的代码和数据，旨在促进研究与产业实践的对齐。 🔗 开源详情 代码： 核心工具（转换管道与数据集拆分工具）：https://github.com/JunWooBeck/ucs-sfx-tools 转换后的数据集元数据（CSV文件）： FSD50K-UCS: https://github.com/JunWooBeck/fsd50k-ucs AudioSet-UCS: https://github.com/JunWooBeck/audioset-ucs ESC-50-UCS: https://github.com/JunWooBeck/esc50-ucs EnvSound-UCS: https://github.com/JunWooBeck/envsound-ucs 模型权重：未提供。论文使用预训练模型PANNs CNN14，其官方权重需从原项目获取。 数据集： EnvSound-UCS：新提出的统一环境声音数据集。论文仓库仅提供元数据CSV文件（UCS标签、划分文件等）。音频文件需从原始数据集来源单独获取。 原始数据集来源： FSD50K：音频需从Freesound/Zenodo获取。 AudioSet：音频需从YouTube获取（受YouTube服务条款限制）。 ESC-50：音频需从GitHub获取。 Demo：未提及。 复现材料：论文提供了完整的代码仓库、数据表（附录）和转换后的数据集元数据，构成了主要的复现材料。未提供独立的“复现材料”专用仓库。 🏗️ 方法概述和架构 本文提出的方法核心是一个用于将现有数据集标签转换为通用类别系统（UCS）的模块化框架，包含两个主要组件：标签转换流水线和数据集拆分工具。 ...

📄 Drift-Augmented Scoring: Text-Derived Noise Robustness for Zero-Shot Audio-Language Classification #音频分类 #数据增强 #鲁棒性 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 10/10 | 前25% | #音频分类 | #数据增强 | #鲁棒性 | arxiv 👥 作者与机构 Tu Vo, Sheir Zaheer, Chan Y. Park, Anonymous Authors (具体机构未在论文中说明) 💡 毒舌点评 这篇论文像一把精巧的“瑞士军刀”，主刀是文本漂移向量。它不追求华丽的数学模型，而是用一个巧妙的观察（文本在噪声描述下也会“漂移”）来修复一个实际痛点（CLAP在噪声下的脆弱性）。优势在于其“无为而治”的理念：不碰模型，不改嵌入，只在评分环节加一个“小费”。这种思路对于工程部署极具吸引力，堪称“四两拨千斤”。然而，其“软肋”也显而易见：当核心假设（文本漂移≈音频漂移）不成立时（例如对合成高斯噪声），增益就大幅缩水（见Table 4）。这好比用一套固定尺码的鞋去套所有人的脚，多数时候合脚，但总会有人觉得挤或松。它回避了最困难的测试时适应问题（如何在线校准），选择了一条更安全、更易复现的路径，这在追求SOTA的顶会氛围中，既是其稳健性的体现，也可能被诟病为“不够深入”。最终，它是一份出色的工程实践报告，但距离理论突破还有一步之遥。 📌 核心摘要 本文针对零样本音频-语言模型（CLAP）在声学噪声下性能严重下降的问题，提出了一种简单、高效、免训练的测试时评分增强方法——漂移增强评分（DAS）。DAS的核心思想是：类别c的噪声音频嵌入在空间中的漂移方向，可以由该类别的文本提示在噪声条件下的漂移方向来近似。基于此，DAS为每个类别计算一个离线的、仅基于文本的“漂移方向”向量 \(\hat{\delta}_c\)。在测试时，对每个音频片段，除了计算标准的文本-音频余弦相似度 \(z \cdot C_c\) 外，还额外计算一个漂移奖励 \(z \cdot \hat{\delta}_c\)，并通过超参数 \(\beta\) 将两者加权组合作为最终评分。该方法无需访问测试批次或音频池，完全基于文本侧信息，且推理开销极低（每类仅增加一次内积）。在LAION CLAP骨干网络上的实验表明，在多种噪声条件、数据集和信噪比下，DAS均能稳定提升零样本分类性能，且显著优于近期相关工作（Acevedo et al.）的四种变体方法。 ...

📄 C2GA: A Class-Controllable Generative Augmentation Framework for Respiratory Sound Classification #音频分类 #数据增强 #生成模型 7.3/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.3/10 | 前50% | #音频分类 | #变分自编码器 | #数据增强 #生成模型 | arxiv 👥 作者与机构 作者：Ziqi Ma, Mengyu Han, Anteng Cai, Zhanchong Liu, Bowen Feng, Hang Yu, Sheng Hu 机构：上海大学计算机工程与科学学院；西交利物浦大学创业与技术学院（太仓）人工智能与先进计算学院；大阪大学情报科学研究科 💡 毒舌点评 这篇论文工作量扎实，试图用离散表示和Transformer来解决呼吸音分类这个老大难问题。动机清晰，痛点抓得准，方法设计也算精巧，特别是那个“原型融合”的想法。但作者在讲故事时，有些关键的“证据链”断了。你说你的方法“临床有效”，请问有医生背书吗？生成的湿啰音，是能骗过老中医还是能骗过听诊器？另外，实验都在自家精心清洗过的数据集上，这就像在无尘车间里测试防尘口罩——看起来很美好，但离真实世界的“脏乱差”还有多远？最后，代码、数据、权重，三无产品，让想复现的同行只能对着公式空想。总之，是个不错的工作，但离“临床可用”和“广泛可复现”的终点，还有好几公里的坑要填。 ...

📄 Parameter-efficient Dual-encoder Architecture with Differentiable Choquet Integral Fusion for Underwater Acoustic Classification #参数高效微调 #模型融合 #音频分类 6.4/10 | 创新 2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0/1.5 ✅ 6.4/10 | 前25% | #音频分类 | #参数高效微调 | #模型融合 | arxiv 👥 作者与机构 Amirmohammad Mohammadi: 德克萨斯A&M大学，电气与计算机工程系博士生。 Joshua Peeples: 德克萨斯A&M大学，电气与计算机工程系助理教授。 Alexandra Van Dine: 麻省理工学院林肯实验室，先进水下系统与技术组助理组长。 💡 毒舌点评 这篇论文瞄准了一个实际且重要的领域（水下声学分类），并试图用一个听起来很“高级”的数学工具（Choquet积分）来解决多模态融合问题。然而，其核心贡献——那个所谓的“可微分Choquet积分融合层”——更像是一场精心包装的数学体操，而非一个稳健的工程解决方案。作者声称其能“动态路由”到“被最少腐蚀”的表示，但在实验中，当模型容量足够时（完全微调），这个复杂机制的“动态性”却消失了（权重恒为0.5），这恰恰暴露了其理论动机与工程实践之间的脱节。论文在解释“为什么这样工作”时用力过猛，但在证明“它确实这样工作”以及“它比简单方法好多少”上却显乏力。实验设计上，与简单基线（如Concatenation Fusion）的缺失对比是硬伤，让人怀疑其复杂性的必要性。此外，将水下声学分类——一个明确的音频信号处理任务——包装成与“Foundation Model”相关的工作，多少有些蹭热点之嫌，其核心创新与通用基础模型的发展关联甚微。 📌 核心摘要 本文针对水下声学分类中单一表示（波形或频谱图）信息不全的问题，提出了一种参数高效的双编码器架构。该架构使用冻结的预训练模型（AVES处理波形，AST处理频谱图）作为骨干，并集成参数高效微调（PEFT）模块（如LoRA、HPT）进行领域适配。核心创新在于引入了一个基于Choquet积分的可微分决策级融合机制。该机制通过一个基于sigmoid的“软排序门控”实现，能够根据两个编码器对各类别的置信度差异，动态调整融合时对波形或频谱图特征的依赖（通过可学习的模糊测度权重）。在DeepShip和ShipsEar数据集上的实验表明，该双编码器PEFT框架在仅训练少量参数（约10万）的情况下，分类准确率优于单编码器基线，并且通过分析学习到的模糊测度和梯度显著性图，提供了一定的决策可解释性，展示了模型在不同类别上对输入表示的动态依赖。 ...