Investigating Modality Contribution in Audio LLMs for Music
📄 Investigating Modality Contribution in Audio LLMs for Music #音频大模型 #模型评估 #可解释AI #音乐理解 #多模态模型 ✅ 6.5/10 | 前50% | #模型评估 | #可解释AI | #音频大模型 #音乐理解 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Giovana Morais（纽约大学音乐与音频研究实验室） 通讯作者：未说明 作者列表：Giovana Morais（纽约大学音乐与音频研究实验室）、Magdalena Fuentes（纽约大学音乐与音频研究实验室，Integrated Design & Media） 💡 毒舌点评 亮点：首次将严谨的博弈论可解释性工具（MM-SHAP）引入音频大模型分析，量化了音频与文本模态的“功劳簿”，为“模型到底听没听”这个玄学问题提供了硬核分析框架。 短板：整个研究建立在一个被后续工作指出“测试的是LLM推理而非音频感知”的基准（MuChoMusic）上，这好比用一把可能不准的尺子去精确测量，结论的可靠性打了折扣；同时，分析结论停留在“音频贡献低”的现象描述，未能深入揭示音频信息在模型内部是如何被利用或“遗忘”的机制。 📌 核心摘要 问题：音频大语言模型（Audio LLMs）声称能理解音频，但近期基准测试表明其性能可能过度依赖文本推理，音频模态是否被有效利用存疑。 方法核心：将MM-SHAP（一种基于Shapley值、与性能无关的度量）适配到音频领域，通过掩码音频波形和文本令牌来量化计算每个模态对模型输出的贡献度（A-SHAP, T-SHAP）。 新方法与创新点：首次将MM-SHAP框架应用于音频大模型，提出了针对音频的动态掩码策略，并将分析扩展到生成式任务（通过衡量答案token的对数变化）。 主要实验结果：在MuChoMusic基准上对比了Qwen-Audio和MU-LLaMA。发现性能更好的Qwen-Audio反而更依赖文本（A-SHAP约0.23），而MU-LLaMA模态利用更均衡（A-SHAP约0.50）。定性分析显示，即使整体音频贡献低，模型也能在特定token（如“铃声”）上正确定位相关音频片段。 模型 实验设置 准确率 A-SHAP MU-LLaMA MC-PI 0.30 0.50 ± 0.02 MC-NPI 0.32 0.47 ± 0.02 QwenAudio MC-PI 0.44 0.23 ± 0.02 MC-NPI 0.47 0.21 ± 0.02 表1：两个模型在不同实验设置下的准确率和平均音频模态贡献度（A-SHAP）。 MM-SHAP计算过程示意图 图1：MM-SHAP计算流程示意图。通过掩码所有可能的输入组合（近似为随机排列），并计算基础答案（未掩码推理）的对数变化来平均得到Shapley值。 定性分析示例 图2：QwenAudio定性分析示例。展示了对于输出token“bell”，输入文本和音频各区域的Shapley值贡献，绝对值高的区域（深色）对应模型认为重要的特征。 ...