少样本学习

📄 Adaptive Embedding Fusion with Contrastive Learning for Robust Fully Few-Shot Class-Incremental Audio Classification #音频分类 #对比学习 #少样本学习 #增量学习 #自适应特征融合 ✅ 7.5/10 | 前25% | #音频分类 | #对比学习 | #少样本学习 #增量学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Kai Guo（北京理工大学） 通讯作者：Xiang Xie†*（北京理工大学， †北京理工大学珠海校区） 作者列表：Kai Guo（北京理工大学）， Xiang Xie（北京理工大学， 北京理工大学珠海校区）， Shangkai Zhao（北京理工大学） 💡 毒舌点评 该论文精准地“手术”解决了EDE模型膨胀的痛点，并通过引入对比学习“补血”提升性能，实验结果亮眼，工程改进思路清晰。但理论分析稍显薄弱，为何自适应融合后对比学习效果更佳，未给出更深层次的解释；且对比学习的应用较为常规，未探索更前沿的对比策略。 📌 核心摘要 问题：论文针对“全少样本类增量音频分类”（FFCAC）任务，即每个新类音频样本极少且需持续学习新类别的场景。现有基线方法EDE通过拼接多个特征提取器的输出来保留旧知识，但导致模型输入维度随学习进程无限膨胀，影响效率与性能。 方法核心：提出“自适应嵌入融合EDE（AEF-EDE）”。核心是引入一个可学习的加权融合模块，将不同时期（会话）的特征提取器输出进行加权求和，而非简单拼接，从而固定模型输入维度。同时，在增量学习阶段引入监督对比学习损失（LCL），以增强特征的判别性。 创新点：(1) 设计AEF模块，通过可学习参数自适应融合多会话嵌入，避免模型膨胀；(2) 将对比学习策略从基类会话（样本少）调整至增量会话（样本相对多），并证明其在AEF结构下能有效提升性能；(3) AEF与对比学习的结合在多个数据集上超越了原始EDE。 主要实验结果：在三个数据集上，AEF-EDE的平均准确率（AA）均优于EDE和其他方法。例如，在FSC-89上AA为43.39%（EDE为38.74%），在LS-100上为61.15%（EDE为56.65%），在NSynth-100上为56.44%（EDE为51.19%）。消融实验证实了AEF模块与对比学习损失（LCL）的协同有效性。 实际意义：为资源受限的音频持续学习场景（如野外声音监测）提供了一种更高效、可扩展的解决方案。 主要局限性：对比学习在基类会话中因样本过少而失效，作者承认这是未来工作方向；论文未讨论AEF模块的计算复杂度与EDE的具体对比；可学习参数θ的初始化和收敛性未深入分析。 🏗️ 模型架构 论文提出的AEF-EDE模型架构是对基线EDE的改进，其整体流程和核心模块如图1、图2所示。 ...

📄 Co-Initialization of Control Filter and Secondary Path via Meta-Learning for Active Noise Control #音频安全 #元学习 #信号处理 #少样本学习 #自适应滤波 ✅ 7.5/10 | 前25% | #音频安全 | #元学习 | #信号处理 #少样本学习 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Ziyi Yang (Smart Nation TRANS Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore) 通讯作者：Zhengding Luo (Smart Nation TRANS Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore) 作者列表：Ziyi Yang (南洋理工大学)、Li Rao (南京大学声学研究所现代声学重点实验室)、Zhengding Luo (南洋理工大学, 通讯作者)、Dongyuan Shi (西北工业大学)、Qirui Huang (南洋理工大学)、Woon-Seng Gan (南洋理工大学) 💡 毒舌点评 这篇论文的亮点在于其巧妙的工程切入点：不改变工业界广泛使用的FxLMS算法本身，而是通过一个“离线学习、在线简单设置”的元学习初始化模块来提升其性能，这种“即插即用”的兼容性思维非常务实。但其短板也很明显：验证场景过于“温和”和“干净”——仅在预录的路径切换实验上演示效果，缺乏对真实世界中连续、渐变、非平稳声学环境变化的长期跟踪评估，使得结论的鲁棒性打了折扣。 ...

📄 DepthTalk: Few-Shot Talking Head Generation with Depth-Aware 3D Gaussian Field Motion #说话人生成 #3D高斯溅射 #少样本学习 #音视频 ✅ 7.0/10 | 前25% | #说话人生成 | #3D高斯溅射 | #少样本学习 #音视频 学术质量 5.8/7 | 选题价值 1.2/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Shucheng Ji（澳门理工大学应用科学学院） 通讯作者：Xiaochen Yuan（澳门理工大学应用科学学院） 作者列表：Shucheng Ji（澳门理工大学应用科学学院）、Junqing Huang（澳门理工大学应用科学学院）、Yang Lian（澳门理工大学应用科学学院）、Xiaochen Yuan（澳门理工大学应用科学学院） 💡 毒舌点评 亮点在于其“深度梯度损失”设计很巧妙，通过监督深度图的梯度而非绝对值来防止尺度不一致导致的深度崩塌，这是一个对实际工程问题有深刻洞察的解决方案。短板是其整体框架建立在强大的预训练深度先验模型（Sapiens）之上，这在一定程度上限制了方法的通用性和在无此类先验场景下的可用性，且论文未提供代码，复现门槛较高。 📌 核心摘要 问题：基于3D高斯溅射（3DGS）的说话人生成模型在优化时存在深度歧义，导致在渲染新视角（尤其是大角度偏转）时产生模糊、暗区等视觉伪影。现有方法仅在训练阶段引入深度监督，缺乏重建时的深度感知机制。 方法核心：提出DepthTalk框架。其核心是深度感知高斯运动网络（DAGM），采用双管道架构：一个“深度感知管道”整合深度先验、表情和音频特征预测深度相关的高斯场变换；另一个“几何感知管道”专注于利用表情和音频预测面部运动变换。两者通过自适应运动融合（MF） 模块结合。此外，提出了深度梯度损失（DGL），通过Sobel算子计算并比较渲染深度图与先验深度图的梯度幅度来施加监督，避免因绝对尺度差异造成的深度崩塌。 新意：将深度感知直接嵌入到高斯场的重建（变换预测）过程中，而非仅用于训练正则化；解耦了深度对齐与面部运动建模；提出基于梯度的深度损失函数。 实验：在仅5秒视频的少样本设定下进行实验。定量结果：DepthTalk在图像质量指标（PSNR: 29.8974, LPIPS: 0.0530, SSIM: 0.9226）上优于所有对比方法（包括InsTaG），唇部运动精度（LMD: 3.0836）也达到最佳。消融研究表明，DAGM、MF和DGL三个组件共同作用才能达到最佳性能。定性结果（图3）显示，DepthTalk在生成新视角面部时，光照更真实，伪影更少。 意义：在数据受限（少样本）场景下，实现了更高质量、更几何一致的说话人头部视频合成，对数字人、虚拟现实等应用有潜在价值。 局限性：依赖外部预训练的深度先验模型（Sapiens）；实验数据集（HDTF等）的规模和多样性有限；推理速度（32.66 FPS）虽实时但略低于InsTaG。 🏗️ 模型架构 论文的整体架构如图2所示。输入是音频特征、上半脸表情控制信号和头部姿态（相机位姿）。核心流程如下： ...

📄 Domain-Invariant Representation Learning of Bird Sounds #生物声学 #对比学习 #自监督学习 #领域适应 #少样本学习 ✅ 6.5/10 | 前50% | #生物声学 | #对比学习 | #自监督学习 #领域适应 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Ilyass Moummad（INRIA, LIRMM, Université de Montpellier, France） 通讯作者：未说明 作者列表：Ilyass Moummad（INRIA, LIRMM, Université de Montpellier, France）、Romain Serizel（Université de Lorraine, Loria, Nancy, France）、Emmanouil Benetos（C4DM, Queen Mary University of London, UK）、Nicolas Farrugia（IMT Atlantique, Lab-STICC, Brest, France） 💡 毒舌点评 亮点：ProtoCLR通过将对比学习的复杂度从O(N²)降至O(N×C)，提供了一个在计算上更优雅、对生物声学这类大规模数据更实用的监督对比学习方案，并在特定评估基准上验证了其有效性。 短板：改进幅度有限，平均准确率提升不足3个百分点，且面对更强的领域特定基线（如Perch）时优势并不明显，应用场景受限于鸟类声音这一细分领域。 ...

📄 Enhancing Automatic Drum Transcription with Online Dynamic Few-Shot Learning #音乐信息检索 #少样本学习 #领域适应 #实时处理 ✅ 7.0/10 | 前25% | #音乐信息检索 | #少样本学习 | #领域适应 #实时处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Philipp Weyers (Fraunhofer Institute for Integrated Circuits (IIS), Germany) 通讯作者：未说明（论文中作者列表后未明确标注通讯作者） 作者列表：Philipp Weyers (Fraunhofer IIS), Christian Uhle (Fraunhofer IIS & International Audio Laboratories Erlangen), Meinard Müller (Fraunhofer IIS & International Audio Laboratories Erlangen), Matthias Lang (Fraunhofer IIS)。 💡 毒舌点评 亮点是首次在ADT中提出一种无需人工标注、支持流式处理的在线自适应方法，将少样本学习从“学习新类”巧妙地转化为“适配已知类的音色”，思路清晰且工程价值明确。短板在于，消融分析揭示其宣称的“在线自适应”带来的实际性能提升在部分数据集上有限，大部分性能增益其实来自离线训练阶段的优化（如第二阶段训练），这使得在线部分的贡献显得有些“锦上添花”而非核心突破。 ...

📄 Few-Shot Recognition of Audio Deepfake Generators using Graph-Based Prototype Adaptation #音频深度伪造检测 #少样本学习 #图神经网络 #音频取证 ✅ 7.5/10 | 前25% | #音频深度伪造检测 | #图神经网络 | #少样本学习 #音频取证 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yupeng Tan (广西大学计算机、电子信息学院，广西人工智能学院) 通讯作者：Wei Xie (广西大学计算机、电子信息学院，广西人工智能学院) 作者列表：Yupeng Tan (广西大学计算机、电子信息学院，广西人工智能学院)，Wei Xie (广西大学计算机、电子信息学院，广西人工智能学院) 💡 毒舌点评 本文巧妙地将图神经网络与转导学习范式结合，用于解决少样本音频深度伪造生成器识别中因数据稀缺导致的原型估计偏差问题，技术路线完整且实验结果显著优于基线。然而，其核心思想——利用无标签数据（查询集）的结构信息来优化有标签数据的原型表示——在少样本学习领域并非首创（如标签传播等），创新深度有限，且论文未提供任何开源代码或模型权重，对后续研究的可复现性构成障碍。 📌 核心摘要 问题：在音频取证中，识别深伪造音频的具体生成器类型至关重要，但新兴生成器的有标签样本极少，传统少样本方法因数据稀疏导致原型估计偏差大、特征区分度低。 方法：提出基于图的原型适应框架。在每个少样本任务中，将支持集和查询集样本构建成一个联合图（基于样本间距离的稀疏连接），通过图适应模块进行信息传播和特征精炼，再估计更可靠的原型进行分类。 创新：1）采用转导学习范式，联合利用有标签和支持样本构建任务特定图；2）设计图适应模块，通过图卷积网络精炼特征并校准原型，缓解原型偏差；3）在元测试阶段引入对比损失进行自适应。 实验：在ASVspoof2019 LA和MLAAD数据集上的5-way设置中，GPA方法在所有shot数下均取得最优准确率，例如在ASV2019LA上5-shot相比最强基线提升3.17%，10-shot提升6.12%，20-shot提升8.28%。消融实验验证了各组件的必要性。 意义：为应对新出现的音频深伪造威胁提供了一种有效的少样本识别方案，增强了音频取证系统对未知生成器的适应能力。 局限性：方法依赖预训练的CLAP编码器和特定的图构建策略，计算复杂度随样本数增加；实验仅在两个数据集上进行，对更多样化生成器和真实场景的泛化能力有待验证。 🏗️ 模型架构 模型架构图如图2所示。 整体流程：对于一个N-way K-shot任务，输入是包含N×K个有标签样本的支持集S和N×M个无标签样本的查询集Q。所有音频样本首先通过预训练的CLAP音频编码器转换为d维嵌入向量。这些嵌入（支持集和查询集）被组织成一个联合图，其中节点是单个样本，边表示样本间的相似性。该图输入到图适应模块中进行处理。经过GAM精炼后，从属于各类的支持节点嵌入中计算出类原型（各类嵌入的均值）。最后，每个查询节点根据其与各类原型的欧氏距离进行分类。 主要组件： 预训练CLAP编码器：作为特征提取器，将原始音频转换为语义嵌入空间中的向量。 联合图构建模块：为每个任务动态构建图。节点对应所有样本（支持+查询）。边的建立遵循四条规则：同类支持节点间连接；每个支持节点连接其在查询集中的top-k最近邻；查询节点间连接top-k最近邻；所有节点添加自环。边权重为节点间欧氏距离的倒数。这种稀疏连接策略（复杂度O(kn)）保留了关键结构，同时降低了计算量。 图适应模块：核心组件，由两层图卷积网络和一个残差连接构成。其作用是通过图上的消息传递，融合来自支持集和查询集的结构信息，精炼每个节点的嵌入表示，从而生成更鲁棒、更具区分性的特征，用于后续原型估计。处理后，对支持节点还会施加一个轻量级线性分类器进行显式监督（focal loss）。 原型估计与分类：从精炼后的支持节点嵌入中，为每个类别计算一个原型（均值向量）。查询节点通过计算到这些原型的距离进行分类。 数据流与交互：CLAP输出的原始嵌入 -> 构建联合图邻接矩阵 -> GAM通过两层GCN在图上传播信息并更新节点嵌入 -> 从精炼后的支持节点嵌入计算原型 -> 查询节点与原型距离计算分类概率。整个框架采用元学习训练范式。 ...

📄 Lightweight and Generalizable Acoustic Scene Representations Via Contrastive Fine-Tuning and Distillation #音频场景理解 #对比学习 #知识蒸馏 #少样本学习 #模型压缩 🔥 8.0/10 | 前25% | #音频场景理解 | #对比学习 | #知识蒸馏 #少样本学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kuang Yuan（卡内基梅隆大学，实习期间于Meta Reality Labs完成） 通讯作者：未说明 作者列表：Kuang Yuan（卡内基梅隆大学，Meta Reality Labs）、Yang Gao（Meta Reality Labs）、Xilin Li（Meta Reality Labs）、Xinhao Mei（Meta Reality Labs）、Syavosh Zadissa（Meta Reality Labs）、Tarun Pruthi（Meta Reality Labs）、Saeed Bagheri Sereshki（Meta Reality Labs） 💡 毒舌点评 亮点：精准地抓住了传统声学场景分类（ASC）模型“类别固定、无法迁移”的痛点，并将对比学习与表征蒸馏巧妙结合，从理论（结构化嵌入空间）到实验（开放集少样本适应）都给出了令人信服的解决方案。短板：论文自称为“轻量级”，但最轻的CP-Mobile学生模型也有6K参数，而用于对比的教师模型BEATs本身并非轻量级模型，这使得“轻量级”的对比语境稍显模糊；另外，实验仅在一个主要数据集（TAU22）上进行全量训练和蒸馏，开放集评估虽跨了两个数据集，但规模有限，泛化性的论证还可以更强。 ...

📄 MT-HuBERT: Self-Supervised Mix-Training for Few-Shot Keyword Spotting in Mixed Speech #关键词检测 #自监督学习 #混合语音处理 #少样本学习 ✅ 7.0/10 | 前25% | #关键词检测 | #自监督学习 | #混合语音处理 #少样本学习 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Junming Yuan (新疆大学计算机科学与技术学院 & 清华大学语音与语言技术中心，BNRist) 通讯作者：Dong Wang (清华大学语音与语言技术中心，BNRist)、Lantian Li (北京邮电大学人工智能学院)、Askar Hamdulla (新疆大学计算机科学与技术学院) 作者列表：Junming Yuan (新疆大学 & 清华大学)、Ying Shi (哈尔滨工业大学计算机科学与技术学院 & 清华大学)、Dong Wang (清华大学)、Lantian Li (北京邮电大学)、Askar Hamdulla (新疆大学) 💡 毒舌点评 亮点在于提出了一个思路清晰、动机合理的SSL预训练框架(MT-HuBERT)，通过让模型预测混合语音中每个源信号的干净声学单元组合，优雅地解决了混合语音表示学习问题，并在多个基线和条件下取得了稳健的性能提升。短板是论文的实验仅基于Google Speech Commands这一相对简单的关键词集合，对于更复杂的混合场景（如不同语言、更长的短语、严重噪声）以及模型的计算效率缺乏深入探讨，其“State-of-the-Art”的宣称在当前比较范围内成立，但泛化能力有待更大规模的验证。 ...

📄 PhoenixDSR: Phoneme-Guided and LLM-Enhanced Dysarthric Speech Recognition #语音识别 #构音障碍语音 #音素混淆矩阵 #大语言模型 #少样本学习 ✅ 7.0/10 | 前50% | #语音识别 | #音素混淆矩阵 | #构音障碍语音 #大语言模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未明确说明（论文作者列表首位为 Yuxuan Wu） 通讯作者：赵杰罗 (Zhaojie Luo)（东南大学生物科学与医学工程学院 / 数字医学工程国家重点实验室；深圳环宇研究院） 作者列表： Yuxuan Wu（东南大学，数字医学工程国家重点实验室 / 生物科学与医学工程学院） Yifan Xu（东南大学，数字医学工程国家重点实验室 / 生物科学与医学工程学院） Junkun Wang（东南大学，数字医学工程国家重点实验室 / 生物科学与医学工程学院） Xin Zhao（东南大学，数字医学工程国家重点实验室 / 生物科学与医学工程学院） Jiayong Jiang（东南大学，数字医学工程国家重点实验室 / 生物科学与医学工程学院） Zhaojie Luo（东南大学，数字医学工程国家重点实验室 / 生物科学与医学工程学院；深圳环宇研究院） 💡 毒舌点评 亮点在于提出了一个清晰、模块化且可解释的“音素中介”框架，将病理语音识别的难题分解为“健康音素识别器+混淆建模+LLM解码”三步，巧妙利用健康数据资源，并通过少量个性化数据即可快速适配，思路非常扎实。短板在于实验仅在单个中文数据集CDSD上进行，缺乏对其他语言、其他疾病类型（如帕金森、中风）或更复杂噪声环境下的验证，其普适性有待商榷；此外，论文声称超越Whisper-FT，但对比的Whisper-FT性能（34.4% CER）似乎异常差，暗示其微调策略或数据处理可能存在未言明的问题，削弱了对比的说服力。 ...

📄 Quality Assessment of Noisy and Enhanced Speech with Limited Data: UWB-NTIS System for Voicemos 2024 #语音质量评估 #语音增强 #迁移学习 #预训练 #少样本学习 ✅ 7.0/10 | 前25% | #语音质量评估 | #迁移学习 | #语音增强 #预训练 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Marie Kunešová（NTIS Research Centre, Faculty of Applied Sciences, University of West Bohemia in Pilsen, Czechia） 通讯作者：未说明 作者列表：Marie Kunešová（NTIS研究中心，应用科学学院，西波希米亚大学），Aleš Přázák（同上），Jan Lehečka（同上） 💡 毒舌点评 亮点在于其针对极端有限数据（100条标注）场景设计的“两阶段迁移学习+合成数据生成”策略，特别是将BAC预测巧妙地转化为SNR预测，取得了竞赛最佳结果。短板是整体框架属于成熟技术（wav2vec 2.0微调）的工程组合，且对于更困难的SIG预测任务，核心改进依赖于人工定义的“自然/伪造”二元伪标签，其理论依据和泛化能力存疑。 📌 核心摘要 要解决什么问题？ 在仅提供100条主观标注语音的极端数据限制下，实现非侵入式的语音质量评估，具体目标是预测ITU-T P.835标准中的三个指标：SIG（语音质量与失真）、BAK（背景噪声侵入性）和OVRL（整体质量）。 方法核心是什么？ 采用两阶段迁移学习策略，基于wav2vec 2.0预训练模型。第一阶段：在自动生成的大规模伪标签数据上微调模型，其中BAK模型学习预测SNR，SIG模型学习区分“自然语音”和“伪造/增强语音”。第二阶段：使用挑战赛提供的100条真实标注数据进行微调。 与已有方法相比新在哪里？ 新在针对P.835这一特定评估任务的系统设计，尤其是为小数据场景设计的两阶段数据生成与微调流程。创新性地将BAK预测近似为SNR回归，并将SIG预测与语音伪造检测任务联系起来。赛后进一步提出通过使用人工退化数据进行wav2vec 2.0的预训练，显著提升了SIG预测性能。 主要实验结果如何？ 在VoiceMOS 2024挑战赛Track 3官方评估中，该系统在BAK预测上取得最佳性能（LCC=0.867），在OVRL预测上位列第二（LCC=0.711）。赛后通过引入人工退化数据改进的模型，将SIG预测的相关性（LCC）从原始提交的0.207大幅提升至0.516。关键结果如下表所示： 模型组合 VMC 2024 评估集 (LCC) CHiME 7-UDASE (不含VMC数据) (LCC) BAK SIG OVRL (A) BAK SIG OVRL (A) 原始提交 (T04) 0.867 0.207 0.711 0.819 0.684 0.595 ClTRUS (BAK) + w2v2-base (SIG) 0.877 0.516 0.728 0.839 0.726 0.714 w2v2-dgrd (BAK) + ClTRUS (SIG) 0.868 0.296 0.695 0.860 0.766 0.746 w2v2-dgrd (BAK) + w2v2-base (SIG) 0.868 0.516 0.750 0.860 0.726 0.734 团队 T06 (冠军/亚军) 0.827 0.297 0.713 - - - Official results of VMC 2024 Track 3. 图2：VMC 2024 Track 3各团队官方结果（语句级LCC）。本系统为T04团队。 ...