Can We Read the Mind of an Audio LLM? A Verbalizable, Multilingual Middle-Layer Workspace
📄 别把中层热图当读心术:音频 LLM 的工作空间究竟替谁完成了推理 英文题目:Can We Read the Mind of an Audio LLM? A Verbalizable, Multilingual Middle-Layer Workspace 一句话:这篇论文最有价值的不是把中层 readout 拟人化,而是用只换波形的控制、层带对照和干预实验把可读概念收束为可证伪命题:声音驱动信息在中段最容易脱离文字先验被识别,并在输出层之前已被系统使用。 标签:#音频理解 #音频大模型 #多模态模型 #可解释性 #模型评估 评分:6.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.4/1.5 💬 毒舌点评 它真正做对的是没有把单张漂亮热图当结论。waveform-swap 先按住文字先验,Table 2 再区分可分性与 raw 增益,最后以 patching 接上 motor 前已被使用的证据;这条从可读到归因再到干预的路径,给音频解释性提供了实验科学的起点。 但这张地图不是监控器。logit lens 是近似读出,Nixon/caption 个案不能替代大规模对齐,patching 也不能把因果功劳独给 workspace。没有代码、成本、真实代理行为或安全任务;把中层最能和文字先验分开升级成系统可被可靠读心,会比作者自己的结论走得远得多。 📌 核心摘要 先把“读心”降格:中层词必须经得起声音与因果两道追问 这篇论文最有价值的不是把中层 readout 拟人化,而是用只换波形的控制、层带对照和干预实验把可读概念收束为可证伪命题:声音驱动信息在中段最容易脱离文字先验被识别,并在输出层之前已被系统使用。 ...