模型效率

📄 HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models #音频大模型 #多模态模型 #token剪枝 #模型效率 🔥 8.0/10 | 前25% | #音频大模型 | #token剪枝 | #多模态模型 #模型效率 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Peize He (EPIC Lab, 上海交通大学; DAIL Tech) 通讯作者：未明确指定（论文提到“Corresponding author”，但未指明具体姓名或邮箱） 作者列表：Peize He¹², Yaodi Luo¹², Xiaoqian Liu¹³, Xuyang Liu¹⁴, Jiahang Deng¹, Yaosong Du², Li Bangyu², Xiyan Gui¹⁵, Yuxuan Chen¹, Linfeng Zhang¹ 机构列表：¹EPIC Lab, 上海交通大学; ²DAIL Tech; ³东北大学; ⁴四川大学; ⁵华中科技大学 💡 毒舌点评 亮点：论文对音频大模型中注意力头行为的“语义-声学异质性”观察非常敏锐，并由此设计出优雅的、免训练的动态路由机制（HeadRouter），在激进剪枝下性能反超原始模型，这是极具启发性的发现。 短板：实验高度依赖Qwen2.5-Omni系列和Phi-4-Multimodal，缺乏对其他主流架构（如Gemini Audio、GPT-4o）的验证；路由机制的校准依赖于少量样本，其泛化到全新音频任务类型的稳健性尚未充分论证。 ...