A Consistent Learning Depression Detection Framework Integrating Multi-View Attention

📄 A Consistent Learning Depression Detection Framework Integrating Multi-View Attention #语音生物标志物 #一致性学习 #注意力机制 #数据增强 #音频分类 ✅ 6.5/10 | 前50% | #语音生物标志物 | #一致性学习 | #注意力机制 #数据增强 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者:徐淑敏(Shuomin Xue)(东南大学网络科学与工程学院) 通讯作者:杨春峰(Chunfeng Yang)(东南大学计算机科学与工程学院) 作者列表:徐淑敏(Shuomin Xue)(东南大学网络科学与工程学院)、姚嘉轩(Jiaxuan Yao)(东南大学软件工程学院)、杨春峰(Chunfeng Yang)(东南大学计算机科学与工程学院) 💡 毒舌点评 这篇论文首次将一致性学习范式引入基于音频的抑郁症检测,想法巧妙,技术整合度也不错。但论文的实验对比部分有些“自说自话”,Table 1中多个重要基线方法的Precision和Recall列为空,削弱了对比的说服力,而且作为一篇2026年的论文,完全没有提及开源计划,这对于临床应用研究来说是一个明显的短板。 📌 核心摘要 本文旨在解决基于音频的自动抑郁症检测中面临的信号噪声大、模型鲁棒性不足的问题。作者提出了DSCAM(Dual-Student Consistency Learning Framework with Multi-view Attention)框架,其核心是采用两个独立初始化的学生模型,通过对未标注数据施加高斯噪声和通道掩码增强,利用一致性损失和稳定性损失约束两个模型输出的一致性,从而学习对噪声鲁棒的表示。同时,提出了时间注意力模块(TAM)和特征注意力模块(FAM),分别从时间和特征维度关注关键信息并抑制噪声。实验在CMDC和DAIC-WOZ两个抑郁症数据集上进行,结果表明DSCAM在F1分数和召回率上优于所对比的监督学习方法,例如在DAIC-WOZ数据集上F1达到0.683,召回率达0.710,在CMDC数据集上F1和召回率均达到0.955。消融实验证明了每个模块的贡献。该工作的实际意义在于为临床抑郁症的早期、客观筛查提供了一种潜在的自动化工具。主要局限性包括:1)实验对比不够全面,部分关键基线指标缺失;2)方法高度依赖半监督学习设置,且在更复杂的真实噪声环境下的泛化能力有待验证;3)未提供代码或模型复现资源。 🏗️ 模型架构 DSCAM的完整架构如图1(a)所示,是一个基于双学生模型的半监督学习框架。其核心流程如下: 输入与增强:将训练数据分为有标签和无标签两部分。对无标签数据,通过高斯噪声(公式1)和通道掩码(公式2)生成两个增强视图(Xaug1, Xaug2),并各自应用Dropout(公式3),最终得到四个输入:Xlabel, Xaug1‘, Xaug2‘(来自第一个学生S1)以及对应的视图输入给第二个学生S2(S1和S2结构相同但初始化不同)。 特征提取与时序建模:对每个视图,分别使用预训练的VGGish模型提取128维深度特征(Xvgg)和eGeMAPS工具提取88维声学特征(Xege)。每个特征流都经过层归一化(LN)后输入双向LSTM(BiLSTM)以捕获时序依赖,得到时序增强的特征 Xt_vgg 和 Xt_ege。 时间维度注意力(TAM):TAM的结构如图1(b)所示。它接收BiLSTM的输出,沿特征维度分别进行平均池化和最大池化(公式5, 6),然后拼接(公式7)。拼接后的特征通过一个包含两层1D卷积、BatchNorm和Sigmoid激活的模块,生成时间注意力权重 Wtem(公式8, 9)。该权重与原始BiLSTM输出逐元素相乘,实现对重要时间段的加权(公式10)。 特征融合与全局池化:将两个经过时间加权的特征(Xtem_vgg, Xtem_ege)在特征维度拼接,得到融合特征 Xfusion。随后通过多头自注意力(Multi-Head Attention)捕获不同时间步间的依赖关系,输出 X‘fusion。再经过自适应平均池化和展平,得到全局向量 Xglobal。 特征维度注意力(FAM):FAM的结构如图1(c)所示。它是一个小型神经网络,接收 Xglobal,经过线性层(降维)、ReLU激活、线性层(升维)和Sigmoid激活,生成特征注意力权重 Wfeature(公式13)。该权重与 Xglobal 逐元素相乘,增强重要特征维度(公式14)。 分类与损失:增强后的特征 Xenhanced 通过一个分类器(包含BN、Dropout和两层线性层)得到最终预测 P(公式15)。模型总损失(公式21)由三部分组成:有标签数据的交叉熵损失(Li_cls),无标签数据两个增强视图之间的一致性损失(Li_con,公式16),以及两个学生模型之间的稳定性损失(Li_stab,公式19)。稳定性损失的设计是改进的关键,它根据模型自身预测的稳定性(si)来决定是否及如何互相监督。 图1说明: (a)展示了DSCAM的整体双学生框架,数据流从左到右,包括数据增强、两个并行的学生模型(S1/S2)处理流程,以及最终的联合损失计算。(b)和(c)分别放大展示了TAM和FAM的内部结构。 ...

2026-04-29

A Dynamic Gated Cross-Attention Framework for Audio-Text Apparent Personality Analysis

📄 A Dynamic Gated Cross-Attention Framework for Audio-Text Apparent Personality Analysis #多模态模型 #音频分类 #人格分析 #跨模态 ✅ 7.0/10 | 前25% | #音频分类 | #多模态模型 | #人格分析 #跨模态 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Yunan Li(西安电子科技大学计算机科学与技术学院;西安大数据与智能视觉重点实验室;陕西省智能人机交互与可穿戴技术重点实验室) 通讯作者:Zixiang Lu(西安电子科技大学计算机科学与技术学院;西安大数据与智能视觉重点实验室;陕西省智能人机交互与可穿戴技术重点实验室) 作者列表:Yunan Li(同上)、Zixiang Lu(同上)、Yang Ma(西安电子科技大学计算机科学与技术学院)、Haozhe Bu(西安电子科技大学计算机科学与技术学院)、Zhuoqi Ma(西安电子科技大学计算机科学与技术学院;西安大数据与智能视觉重点实验室;陕西省智能人机交互与可穿戴技术重点实验室)、Qiguang Miao(西安电子科技大学计算机科学与技术学院;西安大数据与智能视觉重点实验室;陕西省智能人机交互与可穿戴技术重点实验室) 💡 毒舌点评 该论文提出了一种结构清晰的音频-文本双流融合框架,其动态门控机制为处理模态特异性与交互性提供了合理的解决方案。然而,其核心创新(交叉注意力+门控)在多模态融合领域已不算新奇,且实验仅限于一个数据集,缺乏跨数据集或跨任务的泛化验证,说服力有限。 📌 核心摘要 要解决什么问题:针对从音频和文本中推断人格特质的表观人格分析(APA)任务,现有方法在融合异质模态时存在语义对齐不足和动态贡献调节困难的问题。 方法核心是什么:提出一个基于动态门控交叉注意力(DGCA)的框架。首先使用注意力增强的ResNet(AttResNet)和RoBERTa分别编码音频和文本;然后通过双向交叉注意力机制(BCAM)建模细粒度交互;最后引入动态门控模块(GMM)和单模态保留门,自适应地平衡模态贡献并保留特异性信息。 与已有方法相比新在哪里:与简单的拼接或加权融合不同,该方法设计了双向交叉注意力以对称捕捉跨模态依赖,并创新性地集成了两组门控机制:一组(GMM)用于抑制跨模态对齐中的噪声,另一组(单模态保留门)用于显式保留原始模态特征,防止信息在融合中丢失。 主要实验结果如何:在ChaLearn First Impressions V2数据集上,该方法在大五人格特质预测的平均分上达到0.9010,优于文中对比的所有基线方法(如Sun et al. 0.8966, Li et al. 0.8967, Zhu et al. 0.8984)。消融实验证明,AttResNet比基础ResNet性能更优,BCAM和GMM的引入共同带来了性能提升(从0.8906提升至0.9010)。具体结果见下表。 表1:与现有方法的性能对比(ChaLearn First Impressions V2) ...

2026-04-29

A LLM-Driven Acoustic Semantic Enriched Framework for Underwater Acoustic Target Recognition

📄 A LLM-Driven Acoustic Semantic Enriched Framework for Underwater Acoustic Target Recognition #水声目标识别 #音频分类 #对比学习 #大语言模型 #跨模态 ✅ 7.0/10 | 前25% | #音频分类 | #对比学习 #大语言模型 | #水声目标识别 #对比学习 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 中 👥 作者与机构 第一作者:Jingkai Cao(东华大学计算机科学与技术学院) 通讯作者:Shuai Yu(大连理工大学信息与通信工程学院),Wei Li(复旦大学计算机科学与技术学院) 作者列表:Jingkai Cao(东华大学计算机科学与技术学院),Shicheng Ding(Tabor Academy, Massachusetts, USA),Shuai Yu(大连理工大学信息与通信工程学院),Wei Li(复旦大学计算机科学与技术学院) 💡 毒舌点评 亮点:该工作巧妙地利用LLM(Gemini 2.5)生成细粒度的声学语义描述,构建知识库,以此“丰富”简单的类别标签,从而更精准地对齐音频与文本特征,有效缓解了多模态学习中常见的信息不对称问题。 短板:方法严重依赖于外部LLM生成的文本质量,且整个推理流程(特别是LKR模块)引入了额外的检索和融合计算开销。最致命的是,代码和模型均未开源,这极大限制了其在实际研究社区中的可验证性和影响力。 📌 核心摘要 问题:现有的水声目标识别(UATR)方法,无论是纯声学分类器还是早期的多模态方法,都存在“语义间隙”。后者通常仅使用粗糙的类别标签文本(如“这是一艘货船的声音”),无法充分描述音频信号中丰富的细节,导致文本引导能力不足,模型难以学到更具判别性的声学特征。 方法核心:本文提出了一个LLM驱动的声学语义增强框架(ASE-CLAP)。核心在于引入LLM驱动的知识检索(LKR)模块,利用LLM为每类船舶生成多条详细的声学特性描述,并编码成“声学-语义知识库”。在推理时,为每个类别检索最相关的语义描述并融合,生成比原始标签更丰富的“语义原型”。随后,通过多层次对比学习(全局级+原型级),将音频嵌入与这些细化的文本表示进行对齐。 创新性:与已有工作相比,新在:(1)首次将LLM生成的知识显式引入水声目标识别的文本表示中,实现了从“标签”到“知识增强原型”的升级;(2)设计了多层次对比学习机制,同时对齐全局类别信息和细粒度声学语义,增强了特征判别力。 实验结果:在DeepShip和ShipsEar两个公开数据集上,ASE-CLAP均取得了最优性能。例如,在DeepShip数据集上,OA(总体准确率)达到84.5%,超越了最强的多模态基线(MF-UATR, 79.3%)5.2个百分点,也显著优于纯声学模型(MHT-Transformer, 78.8%���。消融实验表明,LKR模块和多层次对比学习均带来了性能提升。图2的可视化显示,本方法学得的嵌入空间聚类更紧凑、类间分离度更高。 实际意义:该工作为提升UATR系统的识别精度提供了一种有效的多模态学习范式,证明了引入领域特定语义知识的价值,对水下声学感知、海洋监测等应用有积极意义。 主要局限性:(1)对生成高质量语义描述的LLM存在强依赖;(2)LKR模块在推理时引入了额外的检索和融合计算复杂度;(3)论文未公开代码、模型和生成描述的具体提示词,可复现性受限。 🏗️ 模型架构 本文提出的ASE-CLAP框架整体架构如图1所示。其完整流程和主要组件如下: ...

2026-04-29

A Metric Learning Approach to Heart Murmur Detection from Phonocardiogram Recordings

📄 A Metric Learning Approach to Heart Murmur Detection from Phonocardiogram Recordings #音频分类 #对比学习 #数据增强 #生物声学 #监督学习 ✅ 7.7/10 | 前25% | #音频分类 | #对比学习 | #数据增强 #生物声学 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.2 | 置信度 高 👥 作者与机构 第一作者:Florian Lübbe(Fraunhofer Institute for Software and Systems Engineering ISST;University of Hildesheim Department of Data Science) 通讯作者:未说明 作者列表:Florian Lübbe(Fraunhofer ISST & University of Hildesheim)、Ahmad Bdeir(University of Hildesheim Department of Data Science)、Niels Landwehr(University of Hildesheim Department of Data Science)、Pinar Bisgin(University of Hildesheim Department of Data Science & TU Dortmund University Department of Computer Science) 💡 毒舌点评 亮点在于系统性地验证了度量学习范式在心音分析不同任务(二分类、多分类、多标签)上的有效性,且在噪声更小的BMD-HS数据集上取得了高达18%的性能飞跃,证明了方法的潜力。短板则是对“多标签”场景的处理相对简单,仅将其视为一种分类任务,未能更深入地利用疾病(如主动脉瓣狭窄与反流)之间可能存在的生理关联性来设计更精巧的损失函数或网络结构。 ...

2026-04-29

A Robust KNN Approach for Multi-Class Laryngeal Disease Detection using MFCC Features

📄 A Robust KNN Approach for Multi-Class Laryngeal Disease Detection using MFCC Features #音频分类 #信号处理 #图神经网络 #医疗AI #鲁棒性 ✅ 7.5/10 | 前25% | #音频分类 | #信号处理 | #图神经网络 #医疗AI 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:Pingping Wu(南京审计大学工程审计学院) 通讯作者:未说明 作者列表: Pingping Wu(南京审计大学工程审计学院) Weijie Gao(南京审计大学计算机科学学院) Haibing Chen(江苏省人民医院耳鼻喉科) 💡 毒舌点评 本文将图神经网络(GNN)引入传统的K近邻(KNN)分类框架,为病理语音特征建模提供了一个有趣的视角,这是其最亮眼的创新点。然而,论文对所提出图增强KNN中GNN的具体实现(如层数、聚合器类型、注意力机制)和关键超参数(如K值选择)的讨论严重不足,使得“图”这一核心概念的魔力显得有些“黑箱”,也给复现设置了不必要的障碍。此外,使用一个仅320例、未公开的临床数据集得出的结论,其泛化能力有待未来更大规模数据的验证。 📌 核心摘要 问题:喉部疾病(如癌症、息肉、结节、白斑)的早期无创检测对改善预后至关重要,而传统的内窥镜检查受限于设备和专家。现有研究多集中于简单的二分类,对多种疾病的精细分类探索不足。 方法核心:提出一种图增强的KNN框架。首先从语音信号中提取MFCC特征序列,然后为每个样本构建基于特征相似度的K近邻图,最后利用图神经网络(GNN)在图上进行信息聚合,学习更具判别性的表示,最终进行分类。 创新点:1) 首次将多种非癌症性喉部病变(息肉、结节、白斑)纳入统一的五分类框架进行研究;2) 将图神经网络与KNN结合,通过建模局部拓扑关系来增强传统距离度量的判别能力,这是对标准KNN分类器的一种结构性改进。 主要结果:在自建的320例患者数据集上,该方法在二分类(健康 vs 病变)任务中达到96%的准确率,在五分类(健康、癌症、息肉、结节、白斑)任务中达到88%的准确率,均优于包括CNN和传统KNN在内的基线模型。关键数据对比如下表所示: 模型 二分类准确率 五分类准确率 传统KNN 0.94 0.83 CNN 0.94 0.80 本文方法 (Ours) 0.96 0.88 实际意义:该研究验证了基于语音的、结合图结构的机器学习模型在非侵入式喉部疾病筛查中的潜力,为临床早期诊断提供了新的技术思路。 主要局限性:数据集规模较小(320例)且未公开,模型泛化性存疑;对图神经网络部分的实现细节描述不够深入,技术贡献的清晰度和可复现性有所折扣。 🏗️ 模型架构 本文提出的模型整体流程(如图1所示)可分为四个主要阶段: ...

2026-04-29

ACAVCaps: Enabling Large-Scale Training for Fine-Grained and Diverse Audio Understanding

📄 ACAVCaps: Enabling Large-Scale Training for Fine-Grained and Diverse Audio Understanding #音频分类 #数据集 #预训练 #多任务学习 🔥 8.5/10 | 前25% | #音频分类 | #数据集 | #预训练 #多任务学习 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Yadong Niu(MiLM Plus,小米公司) 通讯作者:未说明 作者列表:Yadong Niu(MiLM Plus,小米公司)、Tianzi Wang(香港中文大学, MiLM Plus,小米公司)、Heinrich Dinkel(MiLM Plus,小米公司)、Xingwei Sun(MiLM Plus,小米公司)、Jiahao Zhou(北京邮电大学, MiLM Plus,小米公司)、Gang Li(MiLM Plus,小米公司)、Jizhong Liu(MiLM Plus,小米公司)、Junbo Zhang(MiLM Plus,小米公司)、Jian Luan(MiLM Plus,小米公司) 💡 毒舌点评 亮点是将工业界强大的多模态模型工程能力发挥到极致,构建了一个“百科全书”式的音频描述数据集,从标注流程到数据多样性都展现了极高的工程水平。短板则在于,论文的核心“模型”本身(Dasheng + Qwen3)并无架构创新,更像是一个应用成熟的音频-语言模型架构来验证其数据集质量的“基准测试”。 📌 核心摘要 本文针对当前音频描述数据集在规模、描述粒度和多样性上的不足,提出了ACAVCaps,一个大规模、细粒度、多领域的音频描述数据集。其核心方法是采用多专家分析流水线:首先用CED-Base模型对音频进行内容分类,然后路由至语音、音乐、声音事件等专用分析模块,并提取通用声学属性;最后,利用一个基于思维链(CoT)推理的大语言模型(Deepseek-R1)综合所有分析结果与元数据,为每个音频生成多种风格一致但语言多样的详细描述。与现有数据集相比,ACAVCaps在规模(13k小时,4.7M样本)、唯一token数量(76.7k)和领域覆盖(扩展的多领域)上均达到新高。实验表明,在ACAVCaps上预训练的模型在MECAT-Caption基准测试(表2)上取得了60.9的整体DATE分数,显著优于其他数据集(最高仅37.4)。在下游语音识别、声音事件分类、音乐理解等任务(表3)上,该模型也展现出强大的泛化能力,例如在LibriSpeech测试集上的词错误率从基线的74.2%降至56.5%。这项工作为训练更通用的音频大模型提供了关键的数据基础,其意义在于证明了高质量、多角度、细粒度的描述数据对于学习可迁移音频表示至关重要。主要局限性在于,模型架构本身未创新,其性能提升主要归功于数据质量而非模型设计。 ...

2026-04-29

Acoustic Feedback Cancellation in Hearing Aids Exploiting an Inertial Sensor

📄 Acoustic Feedback Cancellation in Hearing Aids Exploiting an Inertial Sensor #音频分类 #信号处理 #实时处理 #多模态模型 #辅助技术 ✅ 7.0/10 | 前25% | #音频分类 | #信号处理 | #实时处理 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Sina Miran(完成主要工作时隶属Starkey Hearing Technologies,现隶属于Apple Inc.) 通讯作者:Henning Schepker(Starkey Hearing Technologies, 邮箱:henning.schepker@starkey.de) 作者列表: Sina Miran(Starkey Hearing Technologies, Eden Prairie, MN, US; 现为 Apple Inc.) Henning Schepker(Starkey Hearing Technologies, Eden Prairie, MN, US) Ivo Merks(现为 Chromatic, 完成工作时隶属Starkey Hearing Technologies) Martin McKinney(Starkey Hearing Technologies, Eden Prairie, MN, US) 💡 毒舌点评 亮点:巧妙地将惯性传感器(IMU)这一“非听觉”模态引入声反馈消除,利用头部运动与声学路径变化的相关性来动态调整算法参数,在稳态性能上确实优于纯音频基线方法,思路新颖且实用。 短板:实验仅在5名受试者和有限的几种日常活动上进行,且最终的端到端AFC性能提升(如图3所示)并非全面碾压所有基线,尤其在外部物体导致路径变化但头部未动时存在检测延迟,其普鲁棒性和泛化能力仍需在更大规模、更复杂的现实场景中验证。 ...

2026-04-29

Acoustic Non-Stationarity Objective Assessment with Hard Label Criteria for Supervised Learning Models

📄 Acoustic Non-Stationarity Objective Assessment with Hard Label Criteria for Supervised Learning Models #音频分类 #时频分析 #信号处理 #实时处理 #模型评估 ✅ 7.0/10 | 前25% | #音频分类 | #时频分析 | #信号处理 #实时处理 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者:未说明(论文作者列表无排序信息) 通讯作者:未说明 作者列表:Guilherme Zucatelli, Ricardo Barioni, Gabriela Dantas(SiDi - Intelligence & Innovation Center, S˜ao Paulo, Brazil) 💡 毒舌点评 亮点在于巧妙地将复杂、难以实时化的非平稳性统计指标(INS)“蒸馏”成易于学习的二进制标签,并训练出专用轻量模型(NANSA),实现了速度上近4000倍的飞跃。短板则在于,这套方法的“地基”——HLC标签的生成——本身仍然依赖那个被诟病“计算不友好”的原始INS算法,颇有“用更累的方法证明自己可以轻松”的悖论感,且任务场景相对狭窄。 📌 核心摘要 要解决什么问题? 传统的声学非平稳性客观评估方法(如INS)计算复杂度高,需要生成合成参考信号并进行多尺度频谱比较,难以应用于实时处理或资源受限的设备。 方法核心是什么? 提出硬标签准则(HLC)算法。该算法将INS在不同观测尺度下的值划分为几个区域,通过多数投票为整个信号生成一个二值(平稳/非平稳)标签。利用此标签作为监督信号,训练了专用的声学非平稳性评估网络(NANSA及其轻量版NANSALW)。 与已有方法相比新在哪里? 首次提出一种客观的、自动化的准则(HLC)将多尺度的INS连续值转化为可用于监督学习的全局标签。基于此,设计了专门针对非平稳性评估的轻量级Transformer模型(NANSA),避免了通用大模型的冗余计算。 主要实验结果如何? 在AudioSet、DCASE和FSD50K三个数据集上,NANSA模型的分类准确率最高达到94.25%(比最强基线AST高1.8个百分点),EER(等错误率)最低降至2.68%(比最强基线降低49.1%)。最关键的是,NANSA推理速度比传统INS算法快约466倍,NANSALW快约3957倍。 关键实验数据表格: 模型 参数量 (M) MMACs AudioSet Acc (%) AudioSet EER (%) AudioSet F1 DCASE Acc (%) DCASE EER (%) DCASE F1 FSD50K Acc (%) FSD50K EER (%) FSD50K F1 PANNs 81.04 1736 90.82 9.25 0.925 98.27 6.37 0.578 92.52 7.21 0.931 AST 94.04 16785 92.37 7.92 0.938 98.20 5.48 0.594 93.86 6.26 0.943 PaSST 83.35 15021 92.02 8.24 0.936 98.35 5.26 0.612 94.18 5.80 0.948 NANSA 5.50 585 94.25 5.87 0.954 99.01 2.68 0.801 95.41 4.59 0.958 NANSALW 0.66 88 93.27 6.73 0.946 98.89 2.91 0.780 94.93 4.95 0.955 实际意义是什么? 为声学信号非平稳性评估提供了一种高效、可部署的替代方案,使其能够应用于实时语音处理、边缘计算设备等场景,支撑基于非平稳性的下游音频任务。 主要局限性是什么? 1) HLC标签生成过程本身仍然依赖计算密集的传统INS方法,只是将计算压力转移到了离线标签生成阶段。2) 方法丢失了INS原本提供的多尺度、连续的平稳性信息,仅输出一个二值标签。3) 论文未提供开源代码或详细复现指南。 🏗️ 模型架构 NANSA模型是一个用于二分类的端到端神经网络,整体架构如图2所示,包含两个核心模块: ...

2026-04-29

Adaptive Embedding Fusion with Contrastive Learning for Robust Fully Few-Shot Class-Incremental Audio Classification

📄 Adaptive Embedding Fusion with Contrastive Learning for Robust Fully Few-Shot Class-Incremental Audio Classification #音频分类 #对比学习 #少样本学习 #增量学习 #自适应特征融合 ✅ 7.5/10 | 前25% | #音频分类 | #对比学习 | #少样本学习 #增量学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Kai Guo(北京理工大学) 通讯作者:Xiang Xie†*(北京理工大学, †北京理工大学珠海校区) 作者列表:Kai Guo(北京理工大学), Xiang Xie(北京理工大学, 北京理工大学珠海校区), Shangkai Zhao(北京理工大学) 💡 毒舌点评 该论文精准地“手术”解决了EDE模型膨胀的痛点,并通过引入对比学习“补血”提升性能,实验结果亮眼,工程改进思路清晰。但理论分析稍显薄弱,为何自适应融合后对比学习效果更佳,未给出更深层次的解释;且对比学习的应用较为常规,未探索更前沿的对比策略。 📌 核心摘要 问题:论文针对“全少样本类增量音频分类”(FFCAC)任务,即每个新类音频样本极少且需持续学习新类别的场景。现有基线方法EDE通过拼接多个特征提取器的输出来保留旧知识,但导致模型输入维度随学习进程无限膨胀,影响效率与性能。 方法核心:提出“自适应嵌入融合EDE(AEF-EDE)”。核心是引入一个可学习的加权融合模块,将不同时期(会话)的特征提取器输出进行加权求和,而非简单拼接,从而固定模型输入维度。同时,在增量学习阶段引入监督对比学习损失(LCL),以增强特征的判别性。 创新点:(1) 设计AEF模块,通过可学习参数自适应融合多会话嵌入,避免模型膨胀;(2) 将对比学习策略从基类会话(样本少)调整至增量会话(样本相对多),并证明其在AEF结构下能有效提升性能;(3) AEF与对比学习的结合在多个数据集上超越了原始EDE。 主要实验结果:在三个数据集上,AEF-EDE的平均准确率(AA)均优于EDE和其他方法。例如,在FSC-89上AA为43.39%(EDE为38.74%),在LS-100上为61.15%(EDE为56.65%),在NSynth-100上为56.44%(EDE为51.19%)。消融实验证实了AEF模块与对比学习损失(LCL)的协同有效性。 实际意义:为资源受限的音频持续学习场景(如野外声音监测)提供了一种更高效、可扩展的解决方案。 主要局限性:对比学习在基类会话中因样本过少而失效,作者承认这是未来工作方向;论文未讨论AEF模块的计算复杂度与EDE的具体对比;可学习参数θ的初始化和收敛性未深入分析。 🏗️ 模型架构 论文提出的AEF-EDE模型架构是对基线EDE的改进,其整体流程和核心模块如图1、图2所示。 ...

2026-04-29

Adaptive Per-Channel Energy Normalization Front-End for Robust Audio Signal Processing

📄 Adaptive Per-Channel Energy Normalization Front-End for Robust Audio Signal Processing #音频分类 #自适应处理 #信号处理 #音频前端 #鲁棒性 ✅ 7.5/10 | 前25% | #音频分类 | #自适应处理 | #信号处理 #音频前端 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Hanyu Meng(悉尼新南威尔士大学,The University of New South Wales, Sydney, Australia) 通讯作者:未说明 作者列表:Hanyu Meng(悉尼新南威尔士大学)、Vidhyasaharan Sethu(悉尼新南威尔士大学)、Eliathamby Ambikairajah(悉尼新南威尔士大学)、Qiquan Zhang(阿里巴巴集团,通义语音实验室,Tongyi Speech Lab, Alibaba Group, China)、Haizhou Li(香港中文大学(深圳)人工智能学院,School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China) 💡 毒舌点评 论文的亮点在于将自适应机制从频谱分解(如滤波器Q值)下沉到了动态范围压缩(PCEN)阶段,并通过一个极简的神经控制器实现,思路清晰且在多个任务上验证了有效性,特别是在噪声和响度变化场景下表现突出。然而,其“自适应”本质上仍是对两个参数进行实时回归预测,创新程度有限,且未与当前更强的音频表示学习(如AST, BYOL-A等)或端到端自适应方法进行充分对比,说服力稍显不足。 ...

2026-04-29