模型压缩

📄 RT-SEMamba: Real-Time Speech Enhancement Mamba via Progressive Knowledge Distillation 标签：#语音增强 #知识蒸馏 #流式处理 #实时处理 #模型压缩 6.6/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音增强 | #知识蒸馏 | #流式处理 #实时处理 | arxiv 👥 作者与机构 论文未提供作者-机构的逐人数字映射；脚注机构列表为：Academia Sinica, Taiwan；National Taiwan University, Taiwan；Kore University of Enna, Italy；University of Palermo, Italy；NVIDIA。 ...

📄 Deferred Audio Pruning with Local Audio-Visual Dynamics for Omni-LLMs 标签：#模型剪枝 #多模态模型 #高效推理 #模型压缩 8.4/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #模型剪枝 | #多模态模型 | #高效推理 #模型压缩 | arxiv 👥 作者与机构 第一作者：Kyeongyoon Lee（标注机构1，论文未提供机构名称） 通讯作者：未说明 作者列表：Kyeongyoon Lee（机构1）、Hongyeob Kim（机构1）、Youngeun Kim（机构2）、Sungeun Hong（机构1） 说明：所有机构仅以编号形式出现，论文原文未给出机构名称。 💡 毒舌点评 把“何时压缩”和“压缩哪个模态”拆开处理是本文最值得肯定的洞察：音频保留到查询条件化之后再用 query attention 剪枝，确实比所有 pre-LLM 统一压缩更合理。短板也很明显：所有对比都限定在 training-free 方法，缺少与可学习压缩/蒸馏方案的对照；“code will be released upon acceptance”意味着当前无法直接核验实现细节。此外，全部实验只在 Qwen2.5-Omni 单一骨干上进行，跨架构泛化尚未验证。 ...

📄 omni-macos: On-Device Omni-Modal Search on Apple Silicon 标签：#音频检索 #多模态模型 #高效推理 #开源工具 #模型压缩 7.2/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.2/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频检索 | #多模态模型 | #高效推理 #开源工具 | arxiv 👥 作者与机构 第一作者：Han Xiao（Jina AI by Elastic，来自论文署名行） 通讯作者：未说明（论文未明确标注通讯作者） 作者列表：Han Xiao（Jina AI by Elastic） 💡 毒舌点评 工程完成度确实高，把“隐私、持续索引、交互延迟、统一内存预算”做成一个可运行的原生 macOS 系统，并且每个机制都给了跨五台机器的测量。但论文始终没有与任何既有检索系统做端到端质量对比，检索质量只靠“与自身 bf16 扫描的一致性”来间接说明，更像一份优秀的系统报告而非完整的检索研究。作为审稿人，我愿意接收为系统展示/工程论文，但不会把它当作检索质量或 SOTA 的证据。 ...

📄 VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference 标签：#音频理解 #模型压缩 #语音大模型 #长音频处理 #高效推理 7.7/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音频理解 | #模型压缩 | #语音大模型 #长音频处理 | arxiv 👥 作者与机构 第一作者：Wenxu Jia（浙江大学，并署名美团上海） 通讯作者：未说明 作者列表： Wenxu Jia（浙江大学；美团上海） Dongjie Fu（浙江大学） Xize Cheng（浙江大学） Fangming Feng（浙江大学） Linjun Li（美团上海） Wenshi Chen（美团上海） Yingming Li（浙江大学） Zhou Zhao（浙江大学） Tao Jin（浙江大学） 💡 毒舌点评 VoxZip 用 ASR 文本当语义锚来压缩音频 token，思路直接且有效，能在 5% KV budget 下保住 91% 以上的长音频性能，工程价值突出。但论文对衰减注意力分数在缓存裁剪后的维护方式交代不清，且“直接相加文本与音频 embedding”这种跨模态注入缺少分布分析，更多是经验有效而非原理自洽。 ...

📄 OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models 标签：#音视频理解 #模型压缩 #音频理解 #Transformer #模型评估 7.7/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #模型压缩 | #音频理解 #Transformer | arxiv 👥 作者与机构 作者列表：Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding。 标注信息：Wanshun Su 与 Yang Shi 为共同一作；Peng Wu 与 Liang Ding 为通讯作者。 机构信息：1. Northwestern Polytechnical University；2. Peking University；3. Alibaba Group；4. Tsinghua University。 开源链接：https://github.com/RowanSu/OmniPack ...

📄 AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition 标签：#语音情感识别 #知识蒸馏 #自监督学习 #模型压缩 #音频理解 5.6/10 | 创新 1.2/2 | 严谨 0.8/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 📝 5.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音情感识别 | #知识蒸馏 | #自监督学习 #模型压缩 | arxiv 👥 作者与机构 第一作者：Yuqi Li（未说明） 通讯作者：Yi-Cheng Lin（未说明）、Yingli Tian（未说明） 作者列表： Yuqi Li（未说明） Yi-Cheng Lin（未说明） Xianglong Wang（未说明） Kuo Yang（未说明） Xiaoqin Feng（未说明） Yixuan Wang（未说明） Huiran Duan（未说明） Yingli Tian（未说明） 💡 毒舌点评 本文提出了一个设计巧妙的多教师知识蒸馏框架，利用SVM动态评估教师质量和关系矩阵蒸馏来挖掘结构化知识，这一组合在SER压缩任务上带来了清晰且一致的提升。然而，实验仅限于两个教师模型，在M=2的设定下讨论“多教师”未免格局略小，且文中未包含任何现有多教师蒸馏方法的直接对比，让所宣称的优势显得说服力不足。此外，代码和模型完全未开源，使得声称的“轻量级”和“实用性”暂时停留在纸面。 ...

📄 faster-enhancer.c: A Dependency-Free int8 Runtime for Streaming Speech Enhancement on Commodity CPUs 标签：#语音增强 #高效推理 #模型压缩 #流式处理 #实时处理 8.7/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.7/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #语音增强 | #模型压缩 | #高效推理 #流式处理 | arxiv 👥 作者与机构 第一作者：Gyeongmin Kim（未说明） 通讯作者：未说明 作者列表：Gyeongmin Kim（未说明） 💡 毒舌点评 这篇工作以极为务实的工程视角，将 FastEnhancer-Medium 变成一个“拎包入住”的 CPU 流式增强库，无需校准集、无需重训练、无需外部依赖，在苹果 M2 上实现 3.3 倍加速的确令人印象深刻。但全文几乎只聚焦单一模型和固定采样率，缺乏对通用性的讨论，且 x86 平台的实测数据全部缺失，让“跨架构”声称打了折扣。更关键的是，其对“调度行为”导致安卓设备长时间运行尾延迟失控的分析，暴露出该方法对运行环境的深度依赖，而非仅仅技术本身。 ...

📄 OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs 标签：#音视频问答 #模型压缩 #音视频理解 #高效推理 #多模态模型 7.0/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频问答 | #模型压缩 | #音视频理解 #高效推理 | arxiv 👥 作者与机构 第一作者：Haoyang Huang (浙江大学, 阿里巴巴通义应用) 通讯作者：Jun Zhang (阿里巴巴通义应用), Xinyi Hu (阿里巴巴通义应用), Meng Zhang (浙江大学) 作者列表：Haoyang Huang (浙江大学, 阿里巴巴通义应用), Wenjie Huang (浙江大学, 阿里巴巴通义应用), Tianqi Xu (卡内基梅隆大学, 阿里巴巴通义应用), Hongyaoxing Gu (中国科学院大学, 阿里巴巴通义应用), Kang Tan (浙江大学), Yikai Fu (浙江大学), Yuhao Shen (浙江大学, 阿里巴巴通义应用), Tianyu Liu (中国科学技术大学), Baolin Zhang (阿里巴巴通义应用), Jun Zhang (阿里巴巴通义应用), Xinyi Hu (阿里巴巴通义应用), Jun Dai (阿里巴巴通义应用), Shuang Ge (阿里巴巴通义应用), Lei Chen (阿里巴巴通义应用), Yue Li (阿里巴巴通义应用), Mingchen Wang (阿里巴巴通义应用), Meng Zhang (浙江大学) 💡 毒舌点评 作者用一个精心设计的诊断实验漂亮地揭露了OmniLLM压缩社区集体忽视的前置问题——预算分配先于token选择，动机部分堪称范本。然而，当读者期待一个纯粹训练无关（training-free）的优雅方案时，作者默默掏出了GPT-5.5-xhigh来完成技能池构建、查询分类和诊断标注，这相当于用F1赛车跑完了"自行车拉力赛"的第一段。整套方案完全闭源，技能池JSON不公布，所有声称的Pareto前沿推进都无法被独立验证——对于一篇声称建立新基线的论文来说，这是硬伤。此外，OmniDelta相比OmniZip的1个百分点平均提升，在缺乏置信区间的情况下，到底是真信号还是统计噪声，只有作者自己清楚。 ...

📄 OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models 标签：#音视频问答 #模型压缩 #音频理解 #Transformer #模型评估 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 🔥 8.3/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音视频问答 | #模型压缩 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Jinsen Su（厦门大学媒体分析与计算实验室、厦门大学人工智能研究院） 通讯作者：Xiaowu Zheng（厦门大学媒体分析与计算实验室、厦门大学人工智能研究院） 作者列表：Jinsen Su（厦门大学媒体分析与计算实验室、厦门大学人工智能研究院）、Yongdong Luo（厦门大学媒体分析与计算实验室、厦门大学人工智能研究院、阿里巴巴集团）、Yuexiao Ma（厦门大学媒体分析与计算实验室、厦门大学人工智能研究院、厦门大学信息学院）、Yibo Hu（阿里巴巴集团）、Meiguang Jin（阿里巴巴集团）、Xiaowu Zheng（厦门大学媒体分析与计算实验室、厦门大学人工智能研究院） 💡 毒舌点评 这篇论文找到了一个很好的切入点：全模态压缩中不该让一个模态去指导另一个，因为音视频对同一个查询的“高光时刻”往往不同步。Attention可视化加相关性分布统计的Motivation做得扎实，直接命中了OmniZip等现有方法的软肋。不过，架构上对CLIP作为外部视觉评分器的依赖是最大的硬伤——明明音频侧可以复用模型内部表征做查询感知评分，视觉侧却要额外跑一个ViT-L，推理延迟在短生成场景下完全无法忽略。如果能用模型自身的视觉编码器替代CLIP，这篇工作的实用价值会再上一个台阶。 ...

📄 VAD to the Bone: Ultra-Tiny Speech Activity Detection for Edge Deployment 标签：#语音活动检测 #模型压缩 #音频理解 #Transformer #模型评估 7.4/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音活动检测 | #模型压缩 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Stephen Bauer（Analog Devices, Inc.） 通讯作者：Sheila Seidel（Analog Devices, Inc. / UCLA） 其他作者：Shanza Iftikhar（Analog Devices, Inc.）、Scott Veidenheimer（Analog Devices, Inc.）、Gorkem Ulkar（Analog Devices, Inc.） 💡 毒舌点评 这篇论文把“为了让VAD能在单片机上跑通而自废武功”这件事做到了极致：砍掉循环层、禁止非因果、只用标准算子，然后用一堆工程技巧把性能往回捞。四个部署约束清单确实戳中了现有轻量VAD的肺管子，剪枝+量化的组合拳也打出了一套漂亮的工程样板。但泛化性评估的缺失是个大窟窿，仅靠AVA-Speech一个测试集撑不起“deployment-ready”的旗帜，更像是在单一赛道定制了一辆无敌的规则特化车。角度感知QAT在二分类下的那点提升，换个场景是否依然灵验也得打个问号。 ...