严格评估神经元的自然语言解释
Rigorously Assessing Natural Language Explanations of Neurons
AI总结：
本文提出观察与干预两种评估模式，用于严格检验神经元自然语言解释的忠实性，并通过对 GPT-2 XL 神经元解释的实验表明即使高置信度解释也错误率高且缺乏因果效力，进而反思自然语言解释与神经元分析层级的合理性。
摘要：
自然语言是解释大型语言模型如何处理和存储信息的一种颇具吸引力的媒介，但评估此类解释的忠实性颇具挑战。为帮助解决这一问题，我们针对声称单个神经元在文本输入中表示某一概念的自然语言解释，开发了两种评估模式。在观察模式下，我们评估如下主张：神经元 $a$ 仅在且全部在指称所提解释 $E$ 所选出概念的输入字符串上激活。在干预模式下，我们将 $E$ 解释为如下主张：神经元 $a$ 是 $E$ 所表示概念的因果中介。我们将该框架应用于 Bills 等人（2023）的 GPT-2 XL 神经元由 GPT-4 生成的解释，并表明即使是最有信心的解释也具有很高的错误率，且几乎没有因果效力。我们在文末批判性地评估了自然语言是否是解释的良好选择，以及神经元是否是最佳分析层级。
英文摘要：
Natural language is an appealing medium for explaining how large language models process and store information, but evaluating the faithfulness of such explanations is challenging. To help address this, we develop two modes of evaluation for natural language explanations that claim individual neurons represent a concept in a text input. In the observational mode, we evaluate claims that a neuron $a$ activates on all and only input strings that refer to a concept picked out by the proposed explanation $E$. In the intervention mode, we construe $E$ as a claim that the neuron $a$ is a causal mediator of the concept denoted by $E$. We apply our framework to the GPT-4-generated explanations of GPT-2 XL neurons of Bills et al. (2023) and show that even the most confident explanations have high error rates and little to no causal efficacy. We close the paper by critically assessing whether natural language is a good choice for explanations and whether neurons are the best level of analysis.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
