Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe
📄 Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe #模型评估 #回归分析 #说话人识别 #特征分析 ✅ 7.5/10 | 前25% | #模型评估 | #回归分析 | #说话人识别 #特征分析 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Gaofei Shen (Tilburg University) 通讯作者：未明确说明（论文提供了所有作者邮箱，但未指定通讯作者。根据惯例，Grzegorz Chrupała 可能为责任作者，但需标注为“未说明”） 作者列表： Gaofei Shen (Tilburg University) Martijn Bentum (Radboud University) Tom Lentz (Tilburg University) Afra Alishahi (Tilburg University) Grzegorz Chrupała (Tilburg University) 💡 毒舌点评 亮点：这篇论文最大的价值在于提供了一个清晰、易用且有统计学支撑的“反向”分析框架（编码探针），巧妙地将特征贡献量化和相关性控制这两个难题捆绑解决，比传统解码探针更能揭示模型内部的“表征预算分配”。 短板：线性回归的假设可能过于简单，难以捕捉Transformer内部复杂的非线性关系，且结论高度依赖于预先定义好的特征集，如果特征集设计有偏，整个分析可能“瞎子摸象”。 ...