持续学习

📄 Rethinking Continual Learning for Speech and Audio: A Representation-Centric Taxonomy and Open Problems #持续学习 #语音识别 #多模态模型 ✅ 6.0/10 | 前50% | #语音识别 | #持续学习 | #多模态模型 | arxiv 👥 作者与机构 作者：Yang Xiao, Siyi Wang, Eun-Jung Holden, Ting Dang 机构：未在论文摘要中明确说明具体机构 💡 毒舌点评 观点不错，但论证力度像是在“空中楼阁”。整篇论文在概念上兜圈子，把一个很实际的工程问题（如何让大模型持续学习）包装得过于哲学化，却又拿不出任何实锤（实验）来证明这个新框架比旧框架好用。对“LALMs”的定义含糊不清，参考文献列表还有窟窿，这在严谨的顶会审稿中是重大扣分项。把现有的LALM多阶段训练直接等同于“隐式持续学习”是一个有趣的观察，但需要更严谨的分析来支撑这个类比，而不是简单映射。如果作者能补充哪怕一个简单的、基于公开模型的案例研究，用数据说话，这篇论文的说服力能上一个大台阶。 📌 核心摘要 本文针对基础模型时代语音与音频领域的持续学习（CL）问题，提出了一种以“表示几何演化”为中心的新分类法。作者指出，现代语音基础模型（如wav2vec 2.0, HuBERT, Whisper）和大型音频语言模型（LALMs）学习到的高度纠缠的共享表示，使得传统CL方法（回放、正则化、架构隔离）的核心假设失效。论文据此提出了四种表示演化形式：几何保持、几何扩展、几何对齐和几何特化，并辅以“自适应位置”维度。文章进一步揭示，当前LALM的多阶段后训练流程（从文本LLM到语音对齐，再到多任务指令微调和RLHF）实质上是一种隐式的跨模态持续学习实践，其工程上的混合策略（冻结、回放、蒸馏）恰恰反映了单一方法的不足。最后，论文指出了隐私约束下的可扩展持续预训练、模态缺失下的持续学习等关键开放问题。 🔗 开源详情 代码：论文中未提及提供作者团队的代码仓库。 模型权重：论文中未提及提供作者团队的模型权重。论文引用了多个第三方开源基础模型，如 wav2vec 2.0、HuBERT、Whisper 等，但未提供这些模型的直接下载链接。 数据集：论文中未提及作者团队发布或使用的具体数据集。论文讨论了用于预训练的大型音频语料库，但未指明具体名称。 Demo：论文中未提及在线演示链接。 复现材料：论文中未提及训练配置、检查点、附录等具体的复现材料。 论文中引用的开源项目： Wav2vec 2.0：自监督语音表示模型。 HuBERT：自监督语音表示模型。 Whisper：通用语音识别模型。 LALMs：大型音频语言模型，这是一个研究方向，未指向特定单一开源项目。 LoRA：参数高效微调方法。 Adapters：参数高效微调方法。 EWC：正则化方法。 LwF：正则化方法。 补充链接（自动提取）： 代码仓库：https://github.com/swagshaw/Awesome-Speech-and-Audio-Continual-Learning 🏗️ 方法概述和架构 本文的核心“方法”并非一个具体的算法模型，而是一个用于分析和组织语音持续学习问题的概念框架。其架构可以从两个相互正交的维度来理解： ...

语音/音乐/音频论文速递 2026-05-26 共分析 27 篇论文 ⚡ 今日概览 📥 抓取 27 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 5篇 █████ #语音识别 3篇 ███ #音乐转录 2篇 ██ #语音情感识别 2篇 ██ #多模态模型 1篇 █ #语音编码 1篇 █ #交叉验证 1篇 █ #语音编辑 1篇 █ 📊 论文评分排行榜（27 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Music Transcription with (Almost) No Supervision 10.0分 前50% #音乐转录 🥈 Toward Native Multimodal Modeling: A Roadmap 10.0分 前25% #多模态模型 🥉 Ultra-Low-Bitrate Mel-Spectrogram-based Neural Speech C 9.9分 前25% #语音编码 4. Proactive for Uncertainty: Cause-Aware Error Diagnosis 9.6分 前25% #语音识别 5. WaveNeXt 2: ConvNeXt-Based Fast Neural Vocoders With Re 9.4分 前25% #语音合成 6. Decoding Stimulus Reconstruction-Based Auditory Attenti 8.9分 前50% #交叉验证 7. Exploration of Perceptual Speech Features for Clinical 8.9分 前50% #语音情感识别 8. Continual Speaker Identity Unlearning with Minimal Inte 8.6分 前25% #语音合成 9. SpongeBob: Sync-Aware Harmonious Audio-Visual Generativ 8.6分 前25% #语音编辑 10. FC-TTS: Style and Timbre Control in Zero-Shot Text-to-S 8.4分 前50% #语音合成 11. CosyEdit2: Speech-Editing-Oriented Reinforcement Learni 8.0分 前50% #语音合成 12. cSTMM: A Unified Complex Spherical Student’s \(t\) Mixtur 7.9分 前50% #语音分离 13. Time Segmented Beamforming via Dynamic Programming: The 7.7分 前25% #实时处理 14. Multilingual Phonological Feature Recognition with Self 7.7分 前25% #语音识别 15. Rubato: Transcribing Piano Music with Timestamps 7.5分 前25% #音乐转录 16. A Multimodal Framework for Dementia Detection via Lingu 7.0分 前50% #语音情感识别 17. AVBench: Human-Aligned and Automated Evaluation Benchma 7.0分 前50% #音频生成 18. Test-Time Self-Adaptive Conditioning for Stable Audio-D 7.0分 前50% - 19. The Symmetric Location Problem: a Song of Efficiency an 6.5分 前25% - 20. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 6.2分 前25% #音频水印 21. Rethinking Continual Learning for Speech and Audio: A R 6.0分 前50% #语音识别 22. Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for 5.5分 前50% #语音增强 23. Subspace Track-before-Detect for Passive Multi-Target T 5.5分 后50% #声源定位 24. Toward Natural Emotional Text-To-Speech System with Fin 5.0分 前50% #语音合成 25. Zero-Shot Parkinson’s Disease Detection from Speech: Co 5.0分 前50% #大语言模型 26. Score-Agnostic Structure Analysis in Large-Scale Perfor 4.1分 前50% #音乐信息检索 27. StrTransformer: Source-Wise Structured Transformers for 3.3分 后50% - 📋 论文列表 🥇 Music Transcription with (Almost) No Supervision 🔥 10.0/10 | 前50% | #音乐转录 | #循环一致性 | #半监督学习 #领域自适应 | arxiv ...

📄 Effective User-defined Keyword Spotting with Dual-stage Matching, Multi-modal Enrollment, and Continual Adaptation #关键词检测 #语音处理 #双阶段匹配 #多模态学习 #持续学习 #参数高效微调 ✅ 7.4/10 | 前50% | #关键词检测 | #迁移学习 | #语音处理 #双阶段匹配 | arxiv 学术质量 4.8/7 | 影响力 1.0/2 | 可复现性 1.6/2 | 置信度 0.9 👥 作者与机构 Zhiqi Ai (上海大学) Han Cheng (上海大学) Shiyi Mu (上海大学) Xinnuo Li (纽约大学) Yongjin Zhou (上海大学, 通讯作者) Shugong Xu (西安交通大学-利物浦大学, 通讯作者) 💡 毒舌点评 这篇论文工作扎实，工程味浓，属于典型的“系统性优化”而非“范式革新”。作者明显深谙从学术到落地的全链路痛点：双阶段匹配的流水线设计巧妙地在通用性（CTC）和精确性（QbyT）间取得平衡；多模态注册（MAM）与参数高效微调（LoRA）的结合，直击了个性化部署中数据稀缺与效率的矛盾。实验设计覆盖面极广，从标准基准到波斯语口音等边缘场景，展现了极强的“打补丁”能力。然而，这恰恰是其主要问题：论文的创新更像是一组现有技术的精巧组合与调优，缺乏一个高屋建瓴的理论框架或令人眼前一亮的洞察。所谓“state-of-the-art”的宣称，在部分数据集上（如Qcomm）的优势微弱，且与SOTA系统的比较多停留在数值层面，缺乏对其成功或失败模式的深层分析。此外，论文篇幅冗长，方法描述虽详尽但略显啰嗦，结论部分也较为平淡，未能充分升华其贡献。它是一篇出色的系统论文，但距离一篇令人印象深刻的顶级会议论文，尚差一些思想的火花和叙事的锋芒。 📌 核心摘要 本文提出了DMA-KWS，一个高效且鲁棒的用户定义关键词检测（UDKWS）框架。该框架整合了双阶段匹配、多模态注册和持续适应机制。首先，双阶段匹配管道包括一个基于CTC解码的流式音素搜索，用于定位候选音频段；随后，一个基于查询文本（QbyT）的音素匹配器对候选段进行细粒度验证，以更好地区分易混淆关键词。其次，多模态注册模块融合了关键词的文本嵌入与用户注册音频的特征，实现了说话人相关的关键词检测，利用注册音频中的口音信息提升识别准确率。最后，基于LoRA的参数高效持续适应机制，利用合成数据与真实反馈数据对模型进行轻量级微调，以快速适应新注册的关键词。大量实验表明，DMA-KWS在多个数据集上取得了具有竞争力的性能，展现了强大的零样本能力，并能以极少的参数更新实现快速定制化。 ...

📄 Scaling few-shot spoken word classification with generative meta-continual learning #音频分类 #元学习 #持续学习 #少样本 ✅ 7.0/10 | 前50% | #音频分类 | #元学习 | #持续学习 #少样本 | arxiv 学术质量 5.5/8 | 影响力 0.6/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Louise Beyers 通讯作者：未说明 作者列表：Louise Beyers, Batsirayi Mupamhi Ziki, Ruan van der Merwe 💡 毒舌点评 本文的核心价值在于验证了生成式元持续学习（GeMCL）在语音领域处理大规模（1000类）少样本口语词分类的可行性，其展现出的极高稳定性（波动性比基线低一个数量级）和极低的适应成本（相比基线快约2000倍）是其最大亮点，为需要动态更新关键词的边缘设备场景提供了极具吸引力的方案。然而，其绝对性能在类别数较多时（>750）始终略逊于基于冻结HuBERT的基线，这使得其实用性略打折扣。更重要的是，研究仅基于单一英语数据集，且核心算法GeMCL并非本文提出，其创新更偏向于工程应用验证与实验视角，而非方法学的原创性突破。 📌 核心摘要 问题：传统的少样本口语词分类（关键词检测）研究局限于少量类别，将其扩展到上千类别同时保持高效持续学习能力的潜力尚未被充分探索。 方法核心：采用生成式元持续学习（GeMCL）算法。该算法结合了元学习的快速适应能力和持续学习的抗遗忘特性。其核心是一个生成式分类器，为每个词类维护一个高斯分布（由Normal-Gamma先验建模），新样本到达时通过闭式贝叶斯更新类统计量，无需重新训练整个模型。 新意：首次将GeMCL应用于语音数据，并首次报告了多达1000类的少样本口语词分类结果。研究不是单纯比较算法，而是对比了“从零训练GeMCL”与“微调预训练大模型（HuBERT）”这两种策略在特定资源约束场景下的表现。 主要结果：在MSWC英语数据集上，5-shot设置下： 性能：当类别扩展到1000时，GeMCL的平均准确率约为75%，略低于冻结HuBERT加分类头（CH）基线的约77%（图3）。 稳定性：GeMCL的逐词准确率波动（挥发性）平均仅为0.48%，远低于CH模型的7.13%和全微调模型的24.55%（表1）。 效率：GeMCL的元训练和超参搜索总时间约42.84小时（单GPU），而CH和全微调基线的预训练和超参搜索时间均远超其（约2000+小时）。在面对新类时，GeMCL仅需计算统计量（约0.06小时），而基线需要完全重新微调（124-186小时）（表2）。 实际意义：证明了基于元持续学习的方法在语音关键词分类任务上，能够以极低的增量成本支持大规模类别扩展，且性能稳定可预测，适合部署在需要动态更新关键词的边缘设备上。 主要局限性：研究仅在英语MSWC数据集上进行；与HuBERT基线的比较存在数据源、训练方式和模型规模的差异；未对GeMCL内部组件进行消融研究。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重的具体下载链接。 数据集：Multilingual Spoken Words Corpus (MSWC)。获取链接：https://github.com/mozilla/CommonVoice/tree/main/multilingual#multilingual-spoken-words-corpus。论文中声明仅使用英语子集。 Demo：论文中未提及。 复现材料：论文中详细描述了实验设置（如模型架构、训练步数、超参数），但未提供训练检查点、配置文件或代码仓库等可直接复现的材料。 论文中引用的开源项目： Multilingual Spoken Words Corpus (MSWC)：https://github.com/mozilla/CommonVoice/tree/main/multilingual#multilingual-spoken-words-corpus HuBERT：论文引用了原始论文，但未提供其预训练权重的具体开源链接（通常可在 Hugging Face Hub 获取，但论文本身未提及）。 GeMCL：论文引用了原始论文及实现，但未提供其特定开源代码仓库链接。 其他如 Prototypical Networks、AdamW 优化器等均为通用算法或工具，论文未提供特定实现链接。 🏗️ 方法概述和架构 本文的核心方法是将生成式元持续学习（GeMCL）框架应用于大规模少样本口语词分类。这是一个两阶段的框架，包含元训练阶段和持续学习（适应）阶段。 ...

📄 PACE: Pretrained Audio Continual Learning #音频分类 #持续学习 #预训练 #自监督学习 #参数高效微调 🔥 9.0/10 | 前10% | #音频分类 | #持续学习 | #预训练 #自监督学习 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Chang Li (清华大学心理与认知科学系) 通讯作者：Liyuan Wang (liyuanwang@tsinghua.edu.cn， 清华大学心理与认知科学系) 作者列表：Chang Li（清华大学心理与认知科学系）、Kanglei Zhou（清华大学心理与认知科学系）、Liyuan Wang†（清华大学心理与认知科学系） （注：*表示共同第一作者，†表示通讯作者） 💡 毒舌点评 亮点：这是一篇问题定义清晰、实验极其扎实的“工程科学”论文。它首次将音频持续学习（ACL）问题系统化，并通过精巧的分析（如图1、图3）揭示了音频域与视觉域CL的根本差异，提出的PACE方法在6个差异巨大的基准上均显著刷新SOTA，特别是将性能逼近了联合训练上界。 短板：方法设计虽然有效，但各模块（改进FSA、子空间正交PEFT、边界感知扰动）组合起来略显复杂，调参空间可能不小。此外，对于计算资源敏感的场景，其多会话自适应（MSA）阶段的额外开销是否总能接受，论文讨论略显不足。 🔗 开源详情 代码：论文中提及“we will release all constructed benchmarks and reproduced baselines along with our codebase upon acceptance”，但未在当前文本提供具体代码仓库链接。 模型权重：未提及公开预训练EAT模型的权重获取方式（可能默认为已有公开模型）。 数据集：论文构建的CL基准分割将随代码发布。原始数据集（ESC-50, US8K等）均为公开可用。 Demo：未提及在线演示。 复现材料：提供了详细的超参数设置（表5）、训练硬件（NVIDIA A800 GPU）、关键算法伪代码（Algorithm 1）以及大量的消融实验结果和敏感性分析，复现细节充分。 引用的开源项目：论文依赖或对比的开源项目包括：EAT模型、SSLAM模型、RanPAC、ACL、L2P、DualPrompt等持续学习基线方法。 📌 核心摘要 本文针对预训练音频模型在数据分布动态变化的现实场景中面临灾难性遗忘的问题，首次系统研究了音频持续学习（Audio Continual Learning， ACL）。论文的核心工作包括： ...

📄 PACE: Pretrained Audio Continual Learning #音频分类 #持续学习 #预训练 #参数高效微调 🔥 8.5/10 | 前25% | #音频分类 | #持续学习 | #预训练 #参数高效微调 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chang Li*（清华大学心理与认知科学系） 通讯作者：Liyuan Wang†（清华大学心理与认知科学系） 作者列表：Chang Li（清华大学心理与认知科学系）、Kanglei Zhou（清华大学心理与认知科学系）、Liyuan Wang†（清华大学心理与认知科学系） 💡 毒舌点评 亮点在于其开创性地为预训练音频模型的持续学习建立了首个系统性基准，并深刻剖析了音频域区别于视觉域的独特挑战（如严重的表示偏移），问题定位准、分析透彻。短板则是所提出的PACE方法涉及多个阶段和组件（如FSA、MSA、边界正则化），整体框架略显复杂，其在更极端的跨域（如从音乐到语音）或超大规模任务序列下的泛化能力和计算开销有待进一步验证。 🔗 开源详情 代码：论文在“Reproducibility statement”中承诺“upon acceptance”发布代码库，但未提供具体链接。论文中未提及当前可用的代码链接。 模型权重：未提及公开的预训练或适配后的模型权重。 数据集：论文中使用的6个CL基准均为公开数据集（ESC-50， UrbanSound8K， SC2， TIMIT， VocalSet），但论文中未说明是否提供了额外的划分或处理脚本。 Demo：未提及在线演示。 复现材料：提供了极其详细的训练细节（附录D）、超参数敏感性分析（附录E.6）、算法伪代码（附录B）和数据集统计（表5），为复现提供了充分信息。 论文中引用的开源项目：引用了多个开源工具和模型，包括预训练音频模型EAT（Chen et al., 2024）、SSLAM（Alex et al., 2025），以及持续学习方法RanPAC（McDonnell et al., 2023）、ACL（Zhuang et al., 2022）、LoRASub（Liu & Chang, 2025）等。 总结：论文中提及了明确的开源计划，并提供了详实的复现指南，但具体的代码和权重发布需等待论文接收。 📌 核心摘要 问题：预训练音频模型（PTMs）在现实世界中数据分布持续变化的场景下，直接应用现有的视觉域持续学习（CL）方法（如PEFT）性能会严重下降。根本原因在于音频骨干网络更强调低层频谱细节而非结构化语义，导致严重的“上游-下游表示不对齐”，引发跨会话的剧烈表示偏移和灾难性遗忘。 方法核心：提出PACE框架，分三阶段解决上述问题。阶段1：改进的首次适应（FSA），通过限制头部学习率、后期层LoRA适配和替换解析分类器，稳定地适配第一个任务，避免表示饱和。阶段2：自适应多会话子空间正交PEFT，允许骨干网络在后续会话中进行受控适应，同时通过梯度投影到先前表示的零空间来约束表示漂移。阶段3：骨干网络固定，进入稳定期。 新在何处：首次系统构建了音频CL基准；首次深入分析了音频CL特有的挑战（表示饱和与偏移）；提出了首个专门针对音频PTMs特性的、兼顾可塑性与稳定性的统一CL框架PACE，融合了音频特定的PEFT策略、子空间投影和基于时频掩码的边界感知正则化。 实验结果：在3个粗粒度（ESC-50， US8K， SC2）和3个细粒度（TIMIT-2， TIMIT-3， VocalSet）共6个音频CL基准上，PACE大幅超越所有基线方法。在细粒度任务上优势尤为明显，如在TIMIT-2上比次优基线RanPAC高5.32%，在VocalSet上高6.26%。PACE将性能与联合训练上界的差距显著缩小（例如，在ESC-50上差距仅0.75%，在VocalSet上差距从13.8%降至7.57%）。关键消融实验验证了FSA、MSA、梯度投影和边界正则化的必要性。 实际意义：为构建能够持续适应新环境、新说话人、新声音的健壮、可扩展的音频智能系统（如语音助手、智能环境监测）提供了理论基础和有效方法。 主要局限性：框架的多阶段设计和多个超参数（如Nstop， ρlayer）增加了部署和调优的复杂性。方法对计算资源（特别是早期阶段的骨干网络适应）有一定要求。对于领域差距极大（如从环境声到音乐）的超复杂CL序列的有效性有待验证。 🏗️ 模型架构 PACE是一个分阶段的统一框架，旨在重新对齐预训练音频骨干网络的表示以适应持续学习目标。 ...

📄 Inverse-Hessian Regularization for Continual Learning in ASR #语音识别 #持续学习 #正则化 #领域适应 ✅ 7.5/10 | 前25% | #语音识别 | #持续学习 #正则化 | #持续学习 #正则化 学术质量 6.8/7 | 选题价值 1.7/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Steven Vander Eeckt（KU Leuven, ESAT-PSI部门） 通讯作者：Hugo Van hamme（KU Leuven, ESAT-PSI部门） 作者列表：Steven Vander Eeckt（KU Leuven, ESAT-PSI部门）、Hugo Van hamme（KU Leuven, ESAT-PSI部门） 💡 毒舌点评 亮点在于优雅地将“往平坦方向走”的优化直觉转化为一个无需存储旧数据的实用合并步骤，并在实验中证明了其有效性，甚至超越了需要记忆库的方法。短板是其实验验证场景（两个小规模单语口音/麦克风适应任务）相对“温室”，离证明其在真实世界复杂、多语言、流式ASR系统中的鲁棒性还有距离。 🔗 开源详情 代码：论文明确提供了GitHub仓库链接：https://github.com/StevenVdEeckt/inverse-hessian-regularization。论文中写道“更多细节，包括代码和详细结果，可在我们的GitHub仓库中找到。” 模型权重：论文中未提及公开模型权重。 数据集：使用了Common Voice和LibriSpeech/Libri-Adapt等公开数据集。论文中未提及提供额外数据集。 Demo：论文中未提供在线演示。 复现材料：论文提供了方法算法伪代码（Algorithm 1）、关键超参数（τ值）、以及基于ESPnet2���架的实现环境。代码仓库预计包含更多训练细节。 论文中引用的开源项目：ESPnet2[17]（实验框架）、SentencePiece[24]（分词器）、Adam优化器[25]。 📌 核心摘要 问题：自动语音识别（ASR）系统在持续学习新领域（如新口音、方言、麦克风类型）时，会遭遇灾难性遗忘，即在新任务上学习后，性能在旧任务上急剧下降。现有的无记忆方法（如权重平均）是启发式的，忽略了任务损失曲面的几何信息，限制了适应性。 方法核心：提出逆Hessian正则化（IHR）。在模型于新任务上微调后，得到参数更新量Δθ。IHR不直接使用该更新量，而是将其乘以旧任务损失函数在旧参数处的逆Hessian矩阵（或近似），从而将更新方向调整到对旧任务不敏感（即位于旧任务低损失区域）的方向，再与旧参数合并得到最终模型。 创新与新意： 首次将逆Hessian信息应用于ASR持续学习的合并步骤：与在训练中加入正则化项不同，IHR将其作为后处理，计算量小。 轻量级分层实现：采用Kronecker分块对角近似，仅针对占模型绝大多数参数的线性层计算并应用逆Hessian更新，保持计算和存储开销恒定。 实证优势：在两个基准测试上显著优于现有无记忆方法，并在遗忘指标上优于需要存储旧数据的回放缓存（ER）方法。 主要实验结果： 实验1（Common Voice口音适应）：IHR的平均WER为13.32%，显著优于最强基线FTA（13.71%）和ER（13.97%）。BWT为-0.1（近乎零遗忘），而FTA为-0.3，Fine-Tuning为-3.6。 实验2（LibriSpeech → Libri-Adapt麦克风+口音适应）：IHR的平均WER为7.40%，优于FTA（8.97%）、UOE（12.10%）等基线，但略逊于ER（6.43%）。BWT为-1.4。 消融实验证实，仅使用最近任务的逆Hessian近似（而非所有历史任务之和）效果相当，且对剩余参数使用1/t平均能进一步减少遗忘。 实际意义：为ASR模型提供了一种无需存储历史数据、计算高效且原理更合理的持续适应方案，有助于部署能够安全、隐私地不断学习新用户特征的ASR服务。 主要局限性： 实验验证的场景相对简单，均为单一语言、小规模任务序列的领域适应。在任务差异更大、序列更长或更复杂的持续学习场景下的有效性有待验证。 方法依赖于对Hessian的近似（特别是忽略跨层交互），且仅应用于线性层，其近似效果在更大模型上的理论保证和实际影响未深入分析。 超参数τ需要针对不同场景调整。 🏗️ 模型架构 本文的核心贡献在于优化策略（持续学习方法），而非全新的ASR模型架构。ASR模型本身采用标准的编码器-解码器结构： ...

📄 Prototype-Guided Cross-Modal Contrastive Learning for Continual Audio-Visual Sound Separation #语音分离 #对比学习 #持续学习 #多模态模型 #音视频 ✅ 7.5/10 | 前25% | #语音分离 | #对比学习 | #持续学习 #多模态模型 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Wanrong Ma (国防科技大学计算机科学与技术学院，2. 国防科技大学并行与分布式计算国家重点实验室) （注：论文标注为共同第一作者） 通讯作者：Kele Xu (国防科技大学计算机科学与技术学院，2. 国防科技大学并行与分布式计算国家重点实验室) 作者列表：Wanrong Ma（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Hongyu Wen（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Zijian Gao（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Qisheng Xu（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Kele Xu（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室） 💡 毒舌点评 该工作在持续学习与多模态声音分离的交叉领域做得扎实，用原型和对比学习“框住”特征空间的想法巧妙且实验效果显著。但任务场景较为细分，且论文完全没提代码开源，对于想快速复现或在其他多模态任务上借鉴的读者不太友好。 🔗 开源详情 论文中未提及代码链接。 论文中未提及模型权重公开。 数据集MUSIC-21是公开的，但论文未说明具体获取方式或是否修改。 论文中未提及Demo。 论文提供了一定的训练细节（优化器、学习率、批大小、部分超参数），但缺少完整配置、检查点和代码，复现材料不充分。 论文中引用的开源项目/工具包括：iQuery [5] (用于特征提取流程参考)、Video-MAE [15] (预训练视频编码器)、CLIP [16] (预训练视觉编码器)。 论文中未提及开源计划。 ...