医学音频

📄 Attentive Masked Self-Distillation for Respiratory Sound Classification #音频分类 #知识蒸馏 #数据增强 #医学音频 ✅ 7.5/10 | 前25% | #音频分类 | #知识蒸馏 | #数据增强 #医学音频 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Nuo Chen（浙江大学集成电路学院） 通讯作者：Mingsheng Xu（浙江大学集成电路学院） 作者列表：Nuo Chen（浙江大学集成电路学院）、Mingsheng Xu（浙江大学集成电路学院） 💡 毒舌点评 亮点：论文针对呼吸声分类中数据预处理（循环填充）引入的捷径学习问题，设计了一个巧妙的“注意力掩码”机制，能动态地屏蔽模型容易过度依赖的声谱图区域，这比随机掩码更具针对性，且可视化结果令人信服。短板：尽管在ICBHI上取得了SOTA级别的性能，但实验仅在一个中等规模的数据集上进行，且模型骨架（AST）的参数量巨大（~90M），对于实际的医疗边缘部署可能并不友好，论文对此的讨论不足。 📌 核心摘要 这篇论文旨在解决基于Transformer的呼吸声分类模型因参数量大、训练数据少而导致的过拟合，以及因音频预处理（循环填充）引入的冗余信息导致的捷径学习问题。方法核心是提出一个名为“注意力掩码自蒸馏”的框架，它结合了渐进式自蒸馏（将前一epoch模型作为教师，用KL散度对齐logits）和一种创新的注意力掩码策略：利用教师模型的特征通过Token权重模块计算每个token的重要性，并在当前epoch的学生模型中掩蔽掉最显著（即最可能成为捷径特征）的token。此外，模型还引入了一个重建任务，以掩蔽的token为目标进行重建，作为正则化项增强表示的鲁棒性。与已有方法相比，其新意在于将知识蒸馏、针对捷径特征的主动掩蔽以及重建正则化三者有机结合。在ICBHI数据集上的实验表明，该方法取得了具有竞争力的结果，敏感性达到60.92%，ICBHI综合得分为67.54%，优于Gap-Aug等强基线。消融实验和可视化分析证实了各组件的有效性以及模型关注临床相关声学区域的能力。该工作的实际意义在于为医疗音频分析提供了一种更鲁棒、泛化能力更强的建模思路，但其局限性在于主要验证集中在一个公开数据集，且使用了参数量庞大的预训练模型，计算效率未做深入探讨。 方法 架构 敏感性(%) 特异性(%) ICBHI得分(%) Co-tunning [21] ResNet50 37.24 79.34 58.29 Patch-Mix CL [4] AST 43.07 81.66 62.37 SG-SCL [22] AST 43.55 79.87 61.71 BST [23] CLAP 45.67 81.40 63.54 LungAdapter [18] AST 44.37 80.43 62.40 MVST [20] AST 51.10 81.99 66.55 Gap-aug [6] CNN14 58.20 77.07 67.64 LoRA [24] AST 36.11 85.31 60.71 AMS-D (ours) AST 60.92 74.16 67.54 表1: ICBHI数据集性能对比（引自论文） ...