持续学习

📄 Domain-incremental audio classification using domain-specific experts and prototype classifier #持续学习 9/10 | 创新 1.5/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9/10 | 前50% | #音频分类 | #持续学习 | arxiv 👥 作者与机构 未提及 💡 毒舌点评 这篇技术报告为DCASE 2026 Task 7提供了一个针对竞赛规则的有效工程解决方案，但其作为一项独立研究的价值非常有限。论文的核心创新点（冻结特征重放、回归插补）是巧妙的工程技巧，但缺乏对领域增量学习根本问题的深入理论探讨或新颖的方法论突破。实验部分几乎完全服务于验证其竞赛系统的有效性，缺少必要的消融研究来理解每个组件的真实贡献。论文在报告方法时清晰，但在讨论相关工作、分析失败案例以及阐述更广泛意义上局限性方面极为不足。这更像一份合格的“竞赛提交说明书”，而非一篇旨在推动社区认知的科研论文。 📌 核心摘要 本文针对DCASE 2026 Task 7（领域增量音频分类）问题，提出了一种基于冻结特征重放的解决方案。该任务要求在三个领域（D1音频未提供，D2和D3音频提供）顺序到达的限制下，完成对10类声音事件的分类。作者将领域增量学习问题转化为冻结特征重放问题：在每个领域顺序训练并冻结多个基于不同架构和训练策略（如微调、DeepInversion生成重放、从头训练）的领域专家网络；为了解决因领域顺序到达导致的特征维度缺失问题（例如D2样本无法通过D3专家），训练一个回归插补模型，仅基于所有专家特征都可观察的样本（即D3样本）来预测缺失的专家特征；最后，将所有冻结专家的倒数第二层特征拼接，在缓存的特征上训练一个轻量级的、基于余弦相似度和可学习温度缩放的原型分类器。该方法在DCASE 2026 Task 7开发集上取得了显著高于官方基线的结果，验证了其在特定竞赛约束下的有效性。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重链接。 数据集：使用的是 DCASE 2026 Task 7 的数据集。论文中未提及具体获取链接，也未提及开源协议。 Demo：论文中未提及。 复现材料：论文提供了详细的系统架构、超参数配置和实验设置（例如：音频处理参数（32kHz单声道，4秒，64-bin对数梅尔频谱图）、网络结构（CNN14、CRNN-light、FDY-CNN14）、训练设置（使用Adam优化器，学习率 \(10^{-3}\)，批大小64，训练200轮，余弦调度）以及原型分类器和回归插补器的实现细节）。但未提供具体的模型检查点或可直接运行的脚本。 论文中引用的开源项目： CNN14 (基于CNN14架构)：论文引用了文献[6]，但未提供该架构的代码仓库链接。 DeepInversion (生成式回放)：论文引用了文献[14]，但未提供其实现代码的仓库链接。 FDY-CNN14 (基于CNN14架构的变体)：论文引用了文献[8]，但未提供其实现代码的仓库链接。 CRNN-light：论文未提供其具体实现链接。 （注：以上均为论文引用的学术方法或模型名称，其具体的开源代码仓库链接在论文中均未提及。） 🏗️ 方法概述和架构 本文提出的系统架构旨在严格遵守领域增量学习的数据访问限制，其核心是“冻结多专家+缓存特征+原型分类器”的框架。整个系统由五个领域专家网络、一个回归插补器和一个原型分类器头组成。 ...

📄 FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS #语音合成 #语音增强 #参数高效微调 #持续学习 #低资源 #数据增强 #多语言 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 10/10 | 前25% | #语音合成 | #参数高效微调 | #语音增强 #持续学习 | arxiv 👥 作者与机构 作者：Harshit Singh (1), Ayush Pratap Singh (2), Nityanand Mathur (3) 机构：1 University Of Maryland, 2 TU Darmstadt, 3 Smallest AI 联系邮箱：nityanandmathur@gmail.com ...

语音/音乐/音频论文速递 2026-06-19 共分析 40 篇论文 ⚡ 今日概览 📥 抓取 40 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 10篇 ██████████ #语音识别 8篇 ████████ #语音转换 2篇 ██ #语音增强 2篇 ██ #自监督学习 2篇 ██ #说话人验证 1篇 █ #模型压缩 1篇 █ #多模态模型 1篇 █ 📊 论文评分排行榜（40 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 FlowEdit: Associative Memory for Lifelong Pronunciation 10.0分 前25% #语音合成 🥈 Low-Burden Data Augmentation for Dysarthric ASR via Zer 8.7分 前25% #语音识别 🥉 S-JEPA : Soft Clustering Anchors for Self-Supervised Sp 8.7分 前25% #语音识别 4. Personalized Keyword Spotting for User-Defined Keywords 8.6分 前25% #说话人验证 5. FlowFake: Liquid Networks for Audio Deepfake Detection 8.5分 前25% #模型压缩 6. Systematic Study of Dysarthric Speech Recognition: Spec 8.3分 前50% #语音识别 7. PerceptionDLM: Parallel Region Perception with Multimod 8.1分 前25% #多模态模型 8. RIVET: Robust Idempotent Voice Attribute Editing 8.0分 前50% #语音转换 9. Repurposing a Speech Classifier for Guided Diffusion-Ba 7.9分 前50% #语音合成 10. Exploring Feature Extraction Technique Parameters for A 7.9分 前50% #音频事件检测 11. Transcript-Free Flow-Matching Text-to-Speech via Speech 7.7分 前25% #语音合成 12. How Do Instructions Shape Speech? Cross-Attention Attri 7.7分 前50% #语音合成 13. Hybrid Diffusion Transformer for Instruction-Guided Aud 7.6分 前50% #Transformer 14. Improving Code-Switching ASR with Code-Mixing Guided Sy 7.6分 前25% #语音识别 15. PolSeT: Polish Semantics of Timbre Dataset 7.5分 后50% - 16. IHBench: Evaluating Post-Interruption Recovery in Voice 7.5分 前25% #语音对话系统 17. A Survey of Full-Duplex Spoken Dialogue Systems: Archit 7.4分 前50% #语音合成 18. PhysDrift: Bridging the Embodiment Gap in Humanoid Co-S 7.4分 前50% #语音合成 19. PrefSQA: Pairwise Preference Prediction for Speech Qual 7.3分 前50% #语音质量评估 20. Latency-Configurable Streaming Speech Enhancement via A 7.2分 前50% #语音增强 21. A Comparative Study of Pretrained Transformer Models fo 7.2分 前50% #语音识别 22. Pitch Spelling Jazz Lead Sheets, Solo Transcriptions, C 7.2分 前50% - 23. Stuttering Classification and Segmentation with Attenti 7.0分 前50% - 24. Time-Unconditional Generative Speech Enhancement via Au 7.0分 前25% #语音增强 25. Investigating Human-Model Discrepancies in Speech Quali 6.9分 前25% #语音合成 26. Prismriver: Formalization of Music Theory and Algorithm 6.9分 前50% - 27. NEST: Narrative Event Structures in Time for Long Video 6.8分 前50% - 28. Cross-Dataset, Age, and Gender Generalization: A Compre 6.7分 前50% #语音识别 29. Exploring Pre-training Benefits on Phoneme Addition thr 6.7分 前50% - 30. Analyzing Language and Geographical Variation in Speech 6.5分 前50% #语音识别 31. Improving End-to-End Speech Recognition for Dysarthric 6.5分 前50% #语音识别 32. Segment-Level Mandarin Chinese Speech-Based Cognitive I 6.5分 前50% #对比学习 33. Light-weight Pronunciation Assessment via Discrete Spee 6.4分 前50% #自监督学习 34. ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Co 6.2分 前50% #语音合成 35. Zero-VC: Zero-Lookahead Streaming Voice Conversion via 6.1分 前50% #语音转换 36. MixProLAP: Mixture-Induced Uncertainty Modeling for Pro 5.7分 前50% #音频检索 37. MaineCoon: Pursuing A Real-Time Audio-Visual Social Wor 5.7分 前50% #语音合成 38. Leveraging systems' non-linearity to tackle the sca 5.5分 后50% #数据增强 39. Interpreting Content and Speaker Characteristics in Fac 5.0分 后50% #语音合成 40. Beyond Speaker Independence: Evaluating Cross-Lingual A 4.9分 后50% #自监督学习 📋 论文列表 🥇 FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Learning to Hear Hesitation: Continual Learning for Disfluency-Aware ASR #持续学习 #语音识别 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.3/10 | 前25% | #语音识别 | #持续学习 | arxiv 👥 作者与机构 作者: Henri-Leon Kordt, Theresa Pekarek Rosin, Jae Hee Lee, Stefan Wermter 机构: Knowledge Technology, Department of Informatics, University of Hamburg, Germany 💡 毒舌点评 这篇工作选题很有意思，直击ASR领域的痛点——不流畅语音处理，并试图用持续学习这个“时髦”工具来解决。作者实验做得挺认真，对比了四种主流CL方法，还挖到了注意力头特化这个有趣的“彩蛋”，分析部分比许多只会刷点的论文强不少。但是，话说回来，顶会审稿人的眼睛是雪亮的：你只用了一个whisper-small.en，而且任务顺序固定，这就好比只用一道菜的食谱去证明一种烹饪方法的普适性，说服力打了折扣。另外，你的方法最终是落在ASR性能上的，但和那些专攻不流畅识别或超大模型的SOTA比起来，数字上好像没特别亮眼啊？你的“可解释性”发现很酷，但能稳定复现吗？别只是恰好在whisper上观察到的现象。总的来说，是一篇不错的“探索性”工作，但离“里程碑”还有距离。 ...

📄 MoDiCoL: A Modular Diagnostic Continual Learning Dataset for Robust Speech Recognition #语音识别 #持续学习 #鲁棒性 #数据增强 6.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.5/10 | 前50% | #语音识别 | #持续学习 | #鲁棒性 #数据增强 | arxiv 👥 作者与机构 作者：Theresa Pekarek Rosin, Matthias Kerzel, Stefan Wermter 机构：德国汉堡大学信息学系知识技术实验室 💡 毒舌点评 这篇论文想法不错，想解决ASR鲁棒性评估脱离实际的痛点，用持续学习（CL）这个“时髦”工具来诊断。但“诊断”这词用得有点大。用Whisper-small.en这个本身就不太强的模型在一堆精心构造的任务上做实验，结论的普适性存疑。方法创新有限，主要是把因子设计和CL结合到语音领域。实验部分，虽然对比了三种CL方法，但都比较经典，缺少和近期更先进的CL方法对比。最大的亮点是数据集设计和开源，这点要给赞。但要说对领域有多大推动，可能更多是提供了一个不错的基准和工具，离深刻洞察还差一步。CL在ASR上的实际应用价值？目前看更像是个学术玩具。 📌 核心摘要 本文针对现有自动语音识别（ASR）鲁棒性评估基准孤立看待噪声、口音、疾病等分布偏移因素的问题，提出将鲁棒性视为一个动态发展的持续学习（CL）能力。为此，作者构建了MoDiCoL数据集，这是一个基于正交阵列和折叠设计的模块化、可诊断CL数据集，系统地覆盖了语言内容、说话人特征和声学环境三大类因素。数据集包含8100个样本（18.79小时，其中14.08小时为合成语音），通过可配置的增强管道精确控制因素水平。论文设计了一个模拟真实世界增量更新的CL课程，包含四个顺序任务（控制设置、声学漂移、说话人漂移、语言漂移、复合漂移），并通过排列任务顺序评估鲁棒性迁移。在实验上，使用Whisper-small.en作为骨干模型，对比了经验重放缓冲区（ER-5%， ER-10%）、表示级正则化（RLR）和正交梯度下降（OGD）三种CL策略。结果表明，ER-10%在平均词错误率（A-WER）和遗忘度量（FM）上表现最优，甚至超过了联合训练上界；OGD在平均增量词错误率（AI-WER）上最佳。研究发现，顺序引入偏移可以提高模型的学习可塑性，但任务顺序对记忆稳定性影响显著。作者总结认为，CL不仅能保持模型鲁棒性，也可作为诊断预训练模型遗忘机制的工具。MoDiCoL数据集、增强流程及CL课程设置已开源。 ...

📄 Parameter-Efficient Continual Learning for Automatic Speech Recognition #语音识别 #持续学习 #低资源 8.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 8.1/10 | 前25% | #语音识别 | #参数高效微调 | #持续学习 #低资源 | arxiv 👥 作者与机构 作者：Steven Vander Eeckt, Hugo Van Hamme 机构：Department Electrical Engineering ESAT-PSI, KU Leuven, Leuven, Belgium 💡 毒舌点评 论文提出了一个在ASR领域探索PECL的扎实工作，但“最全面实证研究”的宣称需要更审慎的评估。方法核心是对SSVD的逆向应用（改头部为尾部）并结合持续学习中经典技巧（权重平均），其新颖性更多体现在特定领域的适配和验证，而非原理上的突破。实验设计虽合理，但仅两个任务的序列长度，对于宣称“减少遗忘”这一CL核心挑战的验证略显不足。部分基线（MiLoRA， OPLoRA）在实验2中缺失结果却未作讨论，是一个明显的疏漏。论文写作清晰，但公式(2)的笔误和“Separate Model”描述的潜在矛盾需在终稿中修正。整体而言，这是一篇合格的、有实用价值的领域工作，但距离顶尖会议的理论深度或实验规模仍有差距。 📌 核心摘要 本文针对语音基础模型在多任务顺序适配中面临的灾难性遗忘和参数效率问题，提出了CSSVD方法。该方法基于奇异值分解（SVD），将预训练权重矩阵划分为高能量的“头部”和低能量的“尾部”。与SSVD在头部进行适应不同，CSSVD将新任务的适应限制在尾部子空间内，仅学习一个近似旋转矩阵，从而保护对旧任务至关重要的主干知识。在学习后续任务时，通过简单的凸组合（权重平均）来合并模型，进一步平滑更新以减轻遗忘。在两个多语言/方言ASR基准上的实验表明，CSSVD相比多种源自NLP/视觉领域的先进PECL基线（如LoRA+FTA， BiLoRA），能显著降低平均词错误率（WER）并极大缓解遗忘（BWT更接近零）。消融研究证实了尾部适应、近似旋转和权重平均这三个组件的协同有效性。 ...

📄 Continual Speaker Identity Unlearning with Minimal Interference #语音合成 #自监督学习 #持续学习 🔥 8.3/10 | 前25% | #语音合成 | #自监督学习 | #持续学习 | arxiv 学术质量 6.1/7 | 影响力 1.7/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Jinju Kim (成均馆大学), Yunsung Kang (成均馆大学), Gyeong-Moon Park (高丽大学), Jong Hwan Ko (成均馆大学)。机构为 Sungkyunkwan University 和 Korea University。 💡 毒舌点评 这篇论文针对“被遗忘权”在零样本语音克隆模型中的实际部署痛点——遗忘请求是顺序到达且数据必须删除——提出了一个精巧的解决方案。优点是问题定义精准且真实，直击先前工作的“一刀切”假设的软肋，并首次定义了“灾难性再学习”这一关键失败模式。方法设计上，CORTIS（对比Fisher信息掩码+累积正交子空间投影）逻辑清晰，两个组件分工明确（定位参数+约束方向），并通过消融实验验证了必要性。实验基线比较合理，展示了方法在3-5次连续请求下的有效性。但必须指出，论文的“新颖性”在一定程度上是“问题新颖性”和“应用新颖性”的结合，而非一个全新的方法论突破。将正则化微调和梯度投影这两个在持续学习中已有的技术进行特定场景的组合应用，工程价值高于理论价值。此外，所有实验都在单一模型（VoiceBox）上进行，声称的“架构无关性”缺乏实证支撑，这在NeurIPS/ICML级别的会议上会被视为一个显著的弱点。 📌 核心摘要 论文正式定义了在现实部署约束（遗忘请求顺序到达且遗忘后数据立即删除）下的零样本文本转语音模型“连续说话人身份遗忘”问题。作者指出，直接顺序应用现有遗忘方法会导致“灾难性再学习”，即新的遗忘操作会使先前已遗忘的说话人身份复活。为解决此问题，提出了CORTIS框架，它包含两个互补组件：1）基于对比Fisher信息的参数掩码，将每个遗忘步骤的更新精确定位到与当前目标说话人最相关的参数子集，同时排除对保留集和先前遗忘说话人重要的参数；2）累积正交子空间投影，将更新梯度投影到先前所有遗忘步骤所用梯度的正交补空间，从方向上阻止参数沿先前遗忘路径漂移。在VoiceBox模型上的实验表明，CORTIS是唯一能在3次（及扩展到5次）连续遗忘请求后，使所有先前遗忘的说话人相似度保持在低位（平均降低75%），同时保持保留集性能具有竞争力的方法。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重链接。 数据集：论文中提及使用了LibriHeavy（预训练）、LibriSpeech test-clean（评估）和特定的遗忘说话人子集，但未提供这些数据集的下载链接。 Demo：提供了演示网站 https://cumulativeortis.github.io/。 复现材料：论文在附录中提供了详细的CORTIS实现细节（附录B）、VoiceBox骨干网络实现（附录C）、所有基线的实现细节（附录D）以及评估用的说话人相似度分布（附录E），为复现提供了理论上的细节支持。 论文中引用的关键开源项目：VoiceBox、WavLM-TDCNN、Diffwave vocoder、HuBERT-Large ASR模型，但论文中均未提供这些项目的具体链接。 🏗️ 方法概述和架构 CORTIS框架旨在解决连续遗忘场景下的“灾难性再学习”问题，其核心思想是在参数定位和方向约束两个层面同时施加保护。整体流程如论文图2所示，主要分为两步： ...

📄 Rethinking Continual Learning for Speech and Audio: A Representation-Centric Taxonomy and Open Problems #持续学习 #自监督学习 #语音识别 #语音增强 #音频事件检测 #声纹识别 #多模态模型 #参数高效微调 #正则化微调 #数据增强 ✅ 7.5/10 | 前50% | #语音识别 | #自监督学习 | #持续学习 #语音增强 | arxiv 学术质量 4.8/7 | 影响力 1.5/2 | 可复现性 1.2/2 | 置信度 中 👥 作者与机构 论文作者为：Yang Xiao, Siyi Wang, Eun-Jung Holden, Ting Dang。 未在论文中明确提及作者所属的具体机构。 💡 毒舌点评 这篇文章就像一篇精心整理的“会议纪要”，而不是一篇能发在顶会的“研究提案”。它准确地指出了“房间里的大象”——现代语音基础模型下CL问题的表征纠缠本质，并为此绘制了一张详尽的“地图”（分类法）。然而，地图画得再好，也只是静态的。审稿人最想看到的是你如何沿着地图勘探、挖掘宝藏（验证你的分类和观点），但作者只是把工具（现有方法）摆出来，说“这些工具在这些地方用起来会遇到困难”。全文充满了“应该”和“未来方向”，却缺少了“我做了什么”和“我证明了什么”。将LALM的训练流程强行塞入CL框架进行解读，立意巧妙，但更像是一个有趣的观察而非深刻的贡献，且论述缺乏形式化的支撑。总而言之，这是一篇合格的、有用的“问题导向型”综述，但其理论贡献的深度（分类法的形式化定义与验证）和实验上的空洞，使其离顶会标准尚有距离。 📌 核心摘要 本文针对语音基础模型时代持续学习（CL）面临的挑战，提出了一种以表征演化为中心的新视角和分类法。作者指出，现代语音基础模型学习的是高度纠缠的连续共享表征，因此CL的核心挑战在于保持和演化这种表征的几何结构，而非传统的任务知识保留。文章据此将语音CL场景划分为几何保持、几何扩展、几何对齐和几何特化四类，并进一步分析了现有缓解策略（回放、正则化、架构隔离）在应对纠缠表征时的局限性。同时，文章将大型语言音频模型（LALMs）的多阶段后训练流程解读为一种隐式的多模态持续学习管线，并映射到上述分类中。最后，文章提出了隐私敏感的持续预训练和缺失模态适应等开放问题。本文为语音CL研究提供了新的问题框架和方向，但作为一篇综述和理论探讨文章，缺乏实验验证，其提出的分类法的深度和实用性有待进一步检验。 🔗 开源详情 代码：论文中明确提到一个GitHub列表用于获取所有参考文献（https://github.com/yangxiao1202/RethinkingCL-speech）。该列表很可能包含了文中引用的相关项目（如wav2vec 2.0, HuBERT, Whisper等）的代码链接。 模型权重：论文未提及作者开发的新模型权重。引用的第三方基础模型的官方权重链接，推测包含在上述GitHub列表中。 数据集：论文未提及本研究使用或提供的具体数据集。文中提及“大规模、异构的音频语料库”和“静态数据集”作为训练基础，但未指明具体名称。 Demo：未提及。 复现材料：作为一篇理论综述文章，未提供具体的训练配置、模型检查点或详细的附录材料。 论文中引用的开源项目： wav2vec 2.0：官方链接通常为 https://github.com/facebookresearch/wav2vec2。 HuBERT：官方链接通常为 https://github.com/facebookresearch/hubert。 Whisper：官方链接通常为 https://github.com/openai/whisper。 LALMs：这是一个泛指类别，非单一项目。 LoRA：论文引用自 https://arxiv.org/abs/2106.09685，通常伴随代码实现。 EWC 和 LwF：为经典方法，有多种开源实现，论文中未指定特定版本。 总结说明：本篇论文的核心开源信息集中于作者维护的GitHub列表。论文本身未提供用于复现新方法的代码、模型或数据。 🏗️ 方法概述和架构 本文的核心方法是提出一个理论分析框架和新的分类体系，而非具体的算法或模型。其方法论架构可分为两个相互关联的部分： ...

📄 Continual Speaker Identity Unlearning with Minimal Interference #持续学习 #语音合成 🔥 8.6/10 | 前25% | #语音合成 | #持续学习 | arxiv 学术质量 6.5/7 | 影响力 1.6/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Jinju Kim, Yunsung Kang: Sungkyunkwan University Gyeong-Moon Park: Korea University Jong Hwan Ko: Sungkyunkwan University 📌 核心摘要 本文针对零样本文本转语音（ZS-TTS）系统中，在现实部署约束下（遗忘请求顺序到达、数据需删除）的说话人身份持续遗忘问题，提出了“灾难性重新学习”这一关键失败模式。现有方法在顺序应用时，为保留模型效用而施加的正则化会无意中恢复先前已遗忘的说话人身份。为解决此问题，作者提出了CORTIS框架，该框架通过对比Fisher信息进行参数定位（控制更新范围）和累积正交子空间投影（控制更新方向），实现无需访问历史遗忘数据即可进行持续遗忘。在VoiceBox模型上的实验证明，CORTIS能在5轮顺序请求后，将所有已遗忘说话人的相似度维持在较低水平，同时保持有竞争力的保留集合成质量，显著优于顺序应用的现有方法。 🔗 开源详情 代码：论文正文和附录中未提供代码仓库链接。 模型权重：论文中未提及发布预训练或遗忘后的模型权重。 数据集：论文使用了公开数据集LibriHeavy（预训练）和LibriSpeech test-clean（评估），但未提供下载链接或特定预处理脚本。遗忘集为从LibriHeavy中筛选的5个特定说话人音频。 Demo：提供了演示链接 https://cumulativeortis.github.io/。 复现材料：论文附录B、C、D提供了非常详细的实现步骤、超参数、模型架构（VoiceBox）描述和基线配置，理论上足以支持复现。 论文中引用的开源项目： VoiceBox：提供了论文链接（https://arxiv.org/abs/2306.15687）和Demo页面，但未提及代码仓库。 LibriHeavy、LibriSpeech：标准数据集，未提供特定链接。 Diffwave、HuBERT-Large、WavLM-TDCNN：作为工具被引用，未提供具体链接。 🏗️ 方法概述和架构 CORTIS框架旨在解决ZS-TTS模型中持续说话人身份遗忘的“灾难性重新学习”问题，其核心设计是在不访问历史遗忘数据的前提下，最小化每次遗忘更新对先前遗忘结果的干扰。该框架包含两个互补且顺序执行的阶段，图2对其进行了可视化概述。 对比参数定位 (Contrastive Parameter Localization) 功能：确定每次遗忘序列中，模型参数的“可训练区域”。其目标是局部化更新，使其集中在与当前遗忘说话人最相关的参数子集上，同时软排除对保留集质量或任何先前遗忘说话人重要的参数。 实现： 对于第 i 次遗忘序列（针对说话人集 f_i），首先计算当前遗忘集 f_i 数据的遗忘损失的对角Fisher信息矩阵 F_{f_i}。 同时，维护保留集 R_i 的Fisher信息矩阵 F_{R_i}，以及所有先前遗忘集 f_1, ..., f_{i-1} 的Fisher信息矩阵 F_{f_1}, ..., F_{f_{i-1}}。F_{R_i} 不需要在每次请求时从整个保留集重新计算，可以使用一个固定的子集并跨序列重用。 构造一个显著性图，其计算公式为：saliency_i = (F_{f_i} + ϵ) / (max(F_{R_i}, F_{f_1}, ..., F_{f_{i-1}}) + ϵ)。公式中的分母是逐元素最大值操作，起到软保护作用：任何对保留集质量或任何先前遗忘说话人重要的参数，其显著性得分都会被压低。 选择显著性图中全局排名前 k% 的参数，形成二值训练掩码 M_i。在后续第 i 次序列的更新中，只有被 M_i 标记的参数是可训练的，其余参数被冻结。 输入：当前遗忘集 f_i 的数据；保留集 R_i 的Fisher信息（可复用）；所有先前遗忘集 f_1, ..., f_{i-1} 的Fisher信息（历史积累）。 输出：二值掩码 M_i，定义了本次更新的可训练参数子集。 累积正交子空间投影 (Cumulative Orthogonal Subspace Projection) 功能：在参数定位的基础上，进一步约束可训练参数的更新方向。它将新的更新梯度投影到由所有先前遗忘序列更新所张成子空间的正交补上，从而阻止更新沿先前遗忘所使用过的关键方向进行，从方向层面防止对先前遗忘结果的干扰。 实现： 在第 i 次遗忘序列的训练过程中，以固定间隔（例如每 n 步）收集优化器步进的梯度快照。 训练完成后，将收集到的梯度快照堆叠，并通过截断奇异值分解（SVD）计算一个秩为 R 的标准正交基 U_i。为保证 U_i 仅捕获未被先前子空间覆盖的方向，在进行SVD之前，会从每个梯度快照中减去先前累积子空间 U_{<i} 的投影分量，从而在构造上使 U_i 与 U_1, ..., U_{i-1} 正交。 为避免累积子空间 U_{<i} 的维度随请求序列线性增长（导致投影成本无限增加），采用了一种固定的秩合并策略。在序列 i+1 开始时，构造一个能量加权的列堆叠矩阵 Φ_i = [U_1 Σ_1 | ... | U_i Σ_i]，其中每列按其对应的奇异值 Σ_k 缩放，以编码该方向在相应说话人遗忘过程中的重要性。然后，对该矩阵进行秩为 R_merge 的截断SVD，得到最终用于投影的累积子空间基底 U_{<i}。这确保了无论序列多长，投影计算成本保持恒定。 在每次优化器步进后，位于掩码 M_i 内的权重更新量 δ 被投影到 U_{<i} 的正交补空间：δ ← δ - U_{<i} U_{<i}^⊤ δ。 输入：当前序列 i 训练过程中的梯度快照；历史累积的子空间基底 U_{<i}。 输出：投影后的权重更新量 δ。 组件间交互：两个阶段形成级联约束。首先，参数定位（掩码 M_i）将优化搜索空间限制在一个局部化的、与当前遗忘任务相关的参数子集中。然后，在这个受约束的子空间内，正交投影进一步限制了更新向量的方向，使其避开由历史遗忘操作定义的“禁区”。这种“空间+方向”的双重约束共同作用，旨在实现对先前遗忘结果的最小干扰。 ...

📄 Rethinking Continual Learning for Speech and Audio: A Representation-Centric Taxonomy and Open Problems #持续学习 #语音识别 #多模态模型 ✅ 6.0/10 | 前50% | #语音识别 | #持续学习 | #多模态模型 | arxiv 👥 作者与机构 作者：Yang Xiao, Siyi Wang, Eun-Jung Holden, Ting Dang 机构：未在论文摘要中明确说明具体机构 💡 毒舌点评 观点不错，但论证力度像是在“空中楼阁”。整篇论文在概念上兜圈子，把一个很实际的工程问题（如何让大模型持续学习）包装得过于哲学化，却又拿不出任何实锤（实验）来证明这个新框架比旧框架好用。对“LALMs”的定义含糊不清，参考文献列表还有窟窿，这在严谨的顶会审稿中是重大扣分项。把现有的LALM多阶段训练直接等同于“隐式持续学习”是一个有趣的观察，但需要更严谨的分析来支撑这个类比，而不是简单映射。如果作者能补充哪怕一个简单的、基于公开模型的案例研究，用数据说话，这篇论文的说服力能上一个大台阶。 📌 核心摘要 本文针对基础模型时代语音与音频领域的持续学习（CL）问题，提出了一种以“表示几何演化”为中心的新分类法。作者指出，现代语音基础模型（如wav2vec 2.0, HuBERT, Whisper）和大型音频语言模型（LALMs）学习到的高度纠缠的共享表示，使得传统CL方法（回放、正则化、架构隔离）的核心假设失效。论文据此提出了四种表示演化形式：几何保持、几何扩展、几何对齐和几何特化，并辅以“自适应位置”维度。文章进一步揭示，当前LALM的多阶段后训练流程（从文本LLM到语音对齐，再到多任务指令微调和RLHF）实质上是一种隐式的跨模态持续学习实践，其工程上的混合策略（冻结、回放、蒸馏）恰恰反映了单一方法的不足。最后，论文指出了隐私约束下的可扩展持续预训练、模态缺失下的持续学习等关键开放问题。 🔗 开源详情 代码：论文中未提及提供作者团队的代码仓库。 模型权重：论文中未提及提供作者团队的模型权重。论文引用了多个第三方开源基础模型，如 wav2vec 2.0、HuBERT、Whisper 等，但未提供这些模型的直接下载链接。 数据集：论文中未提及作者团队发布或使用的具体数据集。论文讨论了用于预训练的大型音频语料库，但未指明具体名称。 Demo：论文中未提及在线演示链接。 复现材料：论文中未提及训练配置、检查点、附录等具体的复现材料。 论文中引用的开源项目： Wav2vec 2.0：自监督语音表示模型。 HuBERT：自监督语音表示模型。 Whisper：通用语音识别模型。 LALMs：大型音频语言模型，这是一个研究方向，未指向特定单一开源项目。 LoRA：参数高效微调方法。 Adapters：参数高效微调方法。 EWC：正则化方法。 LwF：正则化方法。 补充链接（自动提取）： 代码仓库：https://github.com/swagshaw/Awesome-Speech-and-Audio-Continual-Learning 🏗️ 方法概述和架构 本文的核心“方法”并非一个具体的算法模型，而是一个用于分析和组织语音持续学习问题的概念框架。其架构可以从两个相互正交的维度来理解： ...