模型压缩

📄 Lightweight and Generalizable Acoustic Scene Representations Via Contrastive Fine-Tuning and Distillation #音频场景理解 #对比学习 #知识蒸馏 #少样本学习 #模型压缩 🔥 8.0/10 | 前25% | #音频场景理解 | #对比学习 | #知识蒸馏 #少样本学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kuang Yuan（卡内基梅隆大学，实习期间于Meta Reality Labs完成） 通讯作者：未说明 作者列表：Kuang Yuan（卡内基梅隆大学，Meta Reality Labs）、Yang Gao（Meta Reality Labs）、Xilin Li（Meta Reality Labs）、Xinhao Mei（Meta Reality Labs）、Syavosh Zadissa（Meta Reality Labs）、Tarun Pruthi（Meta Reality Labs）、Saeed Bagheri Sereshki（Meta Reality Labs） 💡 毒舌点评 亮点：精准地抓住了传统声学场景分类（ASC）模型“类别固定、无法迁移”的痛点，并将对比学习与表征蒸馏巧妙结合，从理论（结构化嵌入空间）到实验（开放集少样本适应）都给出了令人信服的解决方案。短板：论文自称为“轻量级”，但最轻的CP-Mobile学生模型也有6K参数，而用于对比的教师模型BEATs本身并非轻量级模型，这使得“轻量级”的对比语境稍显模糊；另外，实验仅在一个主要数据集（TAU22）上进行全量训练和蒸馏，开放集评估虽跨了两个数据集，但规模有限，泛化性的论证还可以更强。 ...

📄 MAGE: A Coarse-to-Fine Speech Enhancer with Masked Generative Model #语音增强 #生成模型 #大语言模型 #掩码预测 #模型压缩 🔥 8.0/10 | 前25% | #语音增强 | #生成模型 | #大语言模型 #掩码预测 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Hieu Pham（AITech Lab, Ho Chi Minh City University of Technology, VNU-HCM, Vietnam） 通讯作者：Duc Dung Nguyen（AITech Lab, Ho Chi Minh City University of Technology, VNU-HCM, Vietnam） 作者列表：Hieu Pham (AITech Lab, 胡志明市技术大学), Tan Dat Nguyen (AITech Lab, 胡志明市技术大学), Phuong Thanh Tran (AITech Lab, 胡志明市技术大学), Joon Son Chung (韩国科学技术院), Duc Dung Nguyen (AITech Lab, 胡志明市技术大学) 💡 毒舌点评 亮点在于其“稀缺感知”的从粗到细掩码策略，为非均匀token分布下的掩码生成模型训练提供了优雅的解决方案，显著提升了样本效率；同时，将庞大的大语言模型裁剪至200M参数用于语音增强任务，展现了出色的架构工程能力。短板在于评估严重依赖DNSMOS这类非侵入式指标，完全缺乏PESQ、STOI等传统且客观的信号级评估指标，使得其声称的“感知质量提升”缺乏更全面的说服力，也让与传统方法的对比不够完整。 ...

📄 S-SONDO: Self-Supervised Knowledge Distillation for General Audio Foundation Models #知识蒸馏 #音频分类 #自监督学习 #模型压缩 ✅ 7.0/10 | 前25% | #音频分类 | #知识蒸馏 | #自监督学习 #模型压缩 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Mohammed Ali El Adlouni（LTCI, T´el´ecom Paris, Institut Polytechnique de Paris, Palaiseau, France） 通讯作者：未明确说明（论文中注明与Aurian Quelennec贡献相等，Slim Essid为†标注） 作者列表：Mohammed Ali El Adlouni（LTCI, T´el´ecom Paris, Institut Polytechnique de Paris, Palaiseau, France）、Aurian Quelennec（LTCI, T´el´ecom Paris, Institut Polytechnique de Paris, Palaiseau, France）、Pierre Chouteau（LTCI, T´el´ecom Paris, Institut Polytechnique de Paris, Palaiseau, France）、Geoffroy Peeters（LTCI, T´el´ecom Paris, Institut Polytechnique de Paris, Palaiseau, France）、Slim Essid（NVIDIA，论文工作完成于LTCI, T´el´ecom Paris, Institut Polytechnique de Paris, Palaiseau, France） 💡 毒舌点评 亮点：这篇论文精准地戳中了当前音频AI领域一个真实的痛点——强大的自监督基础模型因过于庞大而难以落地，并为此提出了一种简洁、通用且有效的“仅嵌入”蒸馏框架，填补了方法论上的空白。 短板：方法虽然巧妙，但深度有限，更像是一次成功的工程适配而非理论突破；对为何仅对齐最终嵌入就足以传递复杂知识的机制缺乏深入探讨，且实验中部分消融结果（如BDS的不一致性）未能得到令人信服的解释。 ...

📄 Transferable Audio Lottery Tickets: Gradient Accumulation for Extreme Sparsity #音频分类 #迁移学习 #模型压缩 #鲁棒性 ✅ 7.0/10 | 前25% | #音频分类 | #迁移学习 | #模型压缩 #鲁棒性 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Hyunjae Kim（KAIST 文化技术研究生院） 通讯作者：未明确指定，论文通讯邮箱列表包含 {present, juhan.nam, kmlee2}@kaist.ac.kr 作者列表：Hyunjae Kim（KAIST 文化技术研究生院）、Juhan Nam（KAIST 文化技术研究生院）、Kyung Myun Lee（KAIST 文化技术研究生院；KAIST 数字人文与计算社会科学学院） 💡 毒舌点评 亮点：论文提出了一个简单而有效的梯度累积策略（GA-LTH），显著提升了在极端稀疏（<1%参数保留）条件下发现可训练“中奖票”的能力，并验证了这些子网络在语音、音乐、环境声等不同音频子任务间的可迁移性，为音频模型的超轻量化部署提供了新思路。短板：技术贡献更侧重于对训练过程的调优而非根本性理论突破，且只在ResNet18上验证，对于更复杂的模型（如Transformer）的适用性未做探讨，理论解释相对薄弱。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开数据集（ESC-50， Speech Commands， GTZAN等），论文中说明了数据集来源和划分方式。 Demo：未提供在线演示。 复现材料：论文在第4节“EXPERIMENTAL SETUP”中给出了相对详细的实现细节（数据集、预处理、模型架构、优化器参数、训练轮数等），但未提供完整的配置文件或训练日志。 论文中引用的开源项目：提到了ResNet18架构，但未指明具体引用哪个开源实现。依赖的数据集（如ESC-50）是公开的。 📌 核心摘要 问题：大型神经网络在音频领域性能优异但计算负担重，轻量化需求迫切。彩票假设（LTH）揭示了稀疏子网络的潜力，但其在跨音频子领域（如语音、音乐、环境声）的有效性和如何发现极端稀疏的“中奖票”尚未被充分探索。 ...

📄 Triage Knowledge Distillation for Speaker Verification #说话人验证 #知识蒸馏 #模型压缩 #课程学习 #语音 ✅ 7.5/10 | 前25% | #说话人验证 | #知识蒸馏 | #模型压缩 #课程学习 学术质量 6.8/7 | 选题价值 1.5/2 | 复现加成 -0.3 | 置信度 高 👥 作者与机构 第一作者：Ju-ho Kim（Samsung Research, AI Solution Team） 通讯作者：未说明 作者列表：Ju-ho Kim（Samsung Research, AI Solution Team）、Youngmoon Jung（Samsung Research, AI Solution Team）、Joon-Young Yang（Samsung Research, AI Solution Team）、Jaeyoung Roh（Samsung Research, AI Solution Team）、Chang Woo Han（Samsung Research, AI Solution Team）、Hoon-Young Cho（Samsung Research, AI Solution Team） 💡 毒舌点评 亮点：TRKD方法设计直观有效，将“评估-优先-关注”的分诊思想系统地应用于知识蒸馏，并通过动态τ课程调度巧妙地平衡了训练稳定性与后期聚焦难度，实验结果在各种架构组合上的一致性提升很有说服力。短板：论文对方法的局限性探讨不足，例如，累积概率阈值τ的最终值（0.05）和调度曲线（γ=0.001）是经验选择，其对不同数据集和任务规模的敏感性与最优性缺乏理论分析或更广泛的实验验证。 ...

📄 What the student learns in knowledge distillation: A subspace view and evidence on Convolutional Recurrent Network #知识蒸馏 #语音增强 #模型压缩 #子空间学习 ✅ 6.5/10 | 前50% | #语音增强 | #知识蒸馏 | #模型压缩 #子空间学习 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Bo Jin（清华大学电子工程系） 通讯作者：Dongmei Li（清华大学电子工程系） 作者列表：Bo Jin（清华大学电子工程系），Timin Li（清华大学电子工程系），Guhan Chen（清华大学统计与数据科学系），Dongmei Li（清华大学电子工程系） 💡 毒舌点评 论文的理论推导部分将卷积层线性化并建立统一的子空间损失形式，确实为理解知识蒸馏提供了一个优雅的数学视角，这是其核心亮点。但遗憾的是，所有实验都局限于DCCRN这一特定模型在语音增强任务上的表现，缺乏在其他经典架构（如ResNet、Transformer）或任务（如图像分类）上的跨域验证，大大削弱了其“统一视角”宣称的说服力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开的Interspeech 2021 DNS Challenge数据集和DNS2020片段，论文中未提供数据集下载链接，但指明了数据集名称。 Demo：未提及。 复现材料：提供了较详细的实现细节（如数据集预处理、模型配置、优化器设置、训练轮数对应关系），但缺乏完整的脚本和配置文件。 论文中引用的开源项目：引用了DCCRN模型的原始论文 [12]。 📌 核心摘要 这篇论文旨在从统一的子空间视角解释知识蒸馏的工作原理。其核心方法是将卷积神经网络局部线性化，证明在该表示下，一大类知识蒸馏损失可统一为投影残差目标，进而等价于一个迹最大化问题，即学生的有限容量被引导去对齐教师模型的主能量子空间。与已有研究相比，该工作提出了一种更形式化、更统一的解释框架，并能够解释在语音增强实验中观察到的三个稳健现象：1) 多阶段蒸馏优于单阶段蒸馏；2) 多层特征蒸馏通常优于等层匹配蒸馏；3) 样本级别的教师-学生一致性会涌现。实验在DNS Challenge数据集上使用DCCRN模型进行，结果显示，相比无蒸馏基线，所测试的知识蒸馏方法均能提升学生模型性能（例如，1/16学生模型在CLSKD方法下STOI达到0.886，WB-PESQ达到2.732）。该论文的实际意义在于为知识蒸馏的机制提供了新的理论解释，并可指导蒸馏策略的设计。主要局限性是理论验证仅在单一架构（DCCRN）和单一任务（语音增强）上进行，普适性有待进一步检验。 ...