Mechanistic Interpretability of ASR models using Sparse Autoencoders
📄 Mechanistic Interpretability of ASR models using Sparse Autoencoders #语音识别 #稀疏自编码器 #可解释性AI #多语言 📝 5.5/10 | 前60% | #语音识别 | #稀疏自编码器 | #可解释性AI #多语言 | arxiv 学术质量 5.0/8 | 影响力 1.5/2 | 可复现性 0.5/1 | 置信度 中 👥 作者与机构 第一作者：Dan Pluth (Vail Systems, Inc.) 通讯作者：未说明 作者列表：Dan Pluth (Vail Systems, Inc.)、Zachary Nicholas Houghton (Vail Systems, Inc. & University of Oregon)、Yu Zhou (Vail Systems, Inc.)、Vijay K. Gurbani (Vail Systems, Inc.) 💡 毒舌点评 这篇论文完成了一项“从0到1”的迁移工作，证明了稀疏自编码器（SAE）这一在文本大模型上流行的机械可解释性技术，可以应用于语音识别模型Whisper。它展示了Whisper编码器内部确实存在从音素到语义的丰富特征层级，这本身是一个有价值的发现。然而，作为一项方法迁移工作，其实验设计存在显著缺陷：缺乏与更简单、更传统方法（如线性探针）的基线对比，无法证明SAE在此任务上的优越性；仅在单一模型规模（Whisper-base）和单一SAE配置下进行验证，结论的普适性存疑；且关键训练细节的缺失严重影响了工作的可复现性和技术深度。总体而言，这是一篇合格的概念验证论文，但远未达到推动该领域方法论进步的水平。 📌 核心摘要 要解决什么问题：文本大模型（LLMs）的内部表征已能用稀疏自编码器（SAE）进行可解释性分析，但同样的技术能否有效应用于以音频为输入的端到端语音识别模型（如Whisper），以揭示其内部丰富的表示信息，目前尚无研究证明。 方法核心：在预训练的Whisper编码器最后一层之后插入一个稀疏自编码器（SAE）。该SAE将Whisper-base的512维稠密嵌入映射到一个16000维的稀疏潜在空间，通过TopK激活（K=45）强制稀疏性，并使用均方误差（MSE）损失进行训练，以重建Whisper编码器的原始输出。 与已有方法相比新在哪里：首次将SAE方法应用于语音识别模型（ASR）的机械可解释性研究。已有工作集中于文本LLM，本文证明了SAE在语音模态的潜在空间同样能够解耦出单义特征（monosemantic features），并能发现跨越语言、语音、词汇、形态和语义层面的丰富特征层级。 主要实验结果如何：实验发现Whisper编码了超出转录所需的丰富信息。具体结果包括： 语言特征：发现一个潜在索引（5106）能以74.7%的精确率和91.2%的召回率区分英语与非英语语音。 音素特征：发现表征双音素（如/R UW1/，精确率88.7%，召回率64.9%）的潜在索引。 词汇特征：发现表征特定单词（如“his”，精确率99.3%，召回率81.4%）的潜在索引。 形态特征：发现表征后缀“-ly”（精确率87.2%，召回率17.8%）的潜在索引，低召回率归因于特征分裂。 语义特征： 数字：一个潜在索引（7710）与数字相关（精确率38.1%，召回率79.2%）。论文指出该特征的时间边界不精确，假阳性多出现在含有数字的句子中。 脏话：两个潜在索引（3584， 104）共同覆盖了89.7%的脏话样本（精确率6.6%）。通过特征引导（steering）实验，成功实现了脏话的插入和替换。 跨语言引导：用于英语脏话的潜在索引（3584）同样能对西班牙语和法语（SAE训练中未包含）的脏话进行引导，证明其编码了语言无关的语义信息。 非语言特征：发现能区分纯噪声与语音的潜在索引（精确率97.7%），以及在特定时间点稳定激活的位置潜在索引。 实际意义：本研究建立了SAE作为分析ASR模型内部工作机制的有效工具，揭示了Whisper等模型在训练中自然习得了丰富的语言学层次表征，为理解端到端语音模型的内部表示提供了新途径。 主要局限性：论文明确承认了三个局限：1）仅研究了一个SAE配置（特定潜在维度）；2）仅在最小的Whisper-base模型上验证；3）分析主要集中在英语，其他语言数据使用有限。 🔗 开源详情 代码：论文中提供了匿名仓库链接，用于存放训练代码、分析代码、分析数据集及潜在示例：https://anonymous.4open.science/r/COLM2026-73CF/ 模型权重：论文中未提及训练得到的SAE模型权重的公开链接。论文研究的基础模型是Whisper (base)，其权重可通过HuggingFace等平台获取。 数据集： 训练数据集：论文明确列出了用于训练SAE的多个公开数据集名称：LJSpeech, LibriSpeech, Voxceleb 1, Mozilla Common Voice English, SLR39, SLR67, SLR61, SLR71-SLR75, Musan。总文件数为646,769。论文未提供这些数据集的具体下载链接。 评估数据集：用于分析的评估集部分来自Mozilla Common Voice v13.0（西班牙语和法语）以及ESC-50（噪声数据）。 Demo：论文中未提及。 复现材料：论文中提供了包含训练配置、分析代码等的匿名仓库链接：https://anonymous.4open.science/r/COLM2026-73CF/。此外，附录A、B、C提供了关于特征空间、潜在特征列表和非语言特征的详细说明。 论文中引用的开源项目： OpenAI Sparse Autoencoder: https://github.com/openai/sparse_autoencoder （论文中明确说明SAE训练框架基于此实现） 🏗️ 方法概述和架构 本文提出的方法旨在应用稀疏自编码器（SAE）作为机械可解释性工具，来探测预训练的Whisper自动语音识别（ASR）模型编码器的内部表征。整个方法流程可分为模型改造与SAE训练和特征分析与引导两个主要阶段。 ...