评估开源稀疏自动编码器在解耦 GPT-2 Small 中事实知识方面的表现
Evaluating Open-Source Sparse Autoencoders on Disentangling Factual Knowledge in GPT-2 Small
AI总结：
该研究利用 RAVEL 评估四种开源 SAE 能否解耦 GPT-2 small 中城市所属国家与大洲的事实知识，发现其表现不及神经元基线，更远低于 DAS 上限。
摘要：
机制可解释性中一种流行的新方法，是在神经元激活上训练高维稀疏自动编码器（SAE），并将 SAE 特征用作分析的原子单元。然而，关于 SAE 特征空间是否有助于因果分析，现有证据仍不充分。在本研究中，我们使用 RAVEL 基准来评估在 GPT-2 small 的隐藏表征上训练的 SAE，是否拥有可分别介导两类知识的特征集合：某座城市位于哪个国家，以及它位于哪个大洲。我们对面向 GPT-2 small 的四个开源 SAE 进行相互比较，并以神经元作为基线，以通过分布式对齐搜索（DAS）学到的线性特征作为上限参照。对于每一种方法，我们学习一个二值掩码，用于选择将被修补的特征，从而在不改变大洲的情况下改变城市所属国家，或在不改变国家的情况下改变大洲。结果表明，SAE 难以达到神经元基线，且没有任何 SAE 接近 DAS 上限。我们在此发布代码：https://github.com/MaheepChaudhary/SAE-Ravel
英文摘要：
A popular new method in mechanistic interpretability is to train high-dimensional sparse autoencoders (SAEs) on neuron activations and use SAE features as the atomic units of analysis. However, the body of evidence on whether SAE feature spaces are useful for causal analysis is underdeveloped. In this work, we use the RAVEL benchmark to evaluate whether SAEs trained on hidden representations of GPT-2 small have sets of features that separately mediate knowledge of which country a city is in and which continent it is in. We evaluate four open-source SAEs for GPT-2 small against each other, with neurons serving as a baseline, and linear features learned via distributed alignment search (DAS) serving as a skyline. For each, we learn a binary mask to select features that will be patched to change the country of a city without changing the continent, or vice versa. Our results show that SAEs struggle to reach the neuron baseline, and none come close to the DAS skyline. We release code here: https://github.com/MaheepChaudhary/SAE-Ravel
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
