我们重新评估了知识神经元（KN）论题：一种对大型语言模型从训练语料库中回忆事实能力的底层机制的解释。这一新兴论题提出，事实是通过MLP权重以类似于键值记忆的方式从训练语料库中被回忆出来的，实际上意味着“知识”存储在网络中。此外，通过修改MLP模块，可以控制语言模型生成事实信息。KN论题的合理性已由受KN启发的模型编辑方法的成功所证明（Dai et al., 2022; Meng et al., 2022）。我们发现，这一论题充其量是一种过度简化。我们不仅发现可以使用相同的模型编辑方法编辑某些语言现象的表达，而且通过更全面的评估，我们发现KN论题并不能充分解释事实表达的过程。虽然可以论证MLP权重存储了在句法和语义上均可解释的复杂模式，但这些模式并不构成“知识”。为了更全面地理解知识表示过程，我们必须超越MLP权重，探索近期模型中复杂的层结构和注意力机制。
英文摘要：
We reassess the Knowledge Neuron (KN) Thesis: an interpretation of the mechanism underlying the ability of large language models to recall facts from a training corpus. This nascent thesis proposes that facts are recalled from the training corpus through the MLP weights in a manner resembling key-value memory, implying in effect that "knowledge" is stored in the network. Furthermore, by modifying the MLP modules, one can control the language model's generation of factual information. The plausibility of the KN thesis has been demonstrated by the success of KN-inspired model editing methods (Dai et al., 2022; Meng et al., 2022).
We find that this thesis is, at best, an oversimplification. Not only have we found that we can edit the expression of certain linguistic phenomena using the same model editing methods but, through a more comprehensive evaluation, we have found that the KN thesis does not adequately explain the process of factual expression. While it is possible to argue that the MLP weights store complex patterns that are interpretable both syntactically and semantically, these patterns do not constitute "knowledge." To gain a more comprehensive understanding of the knowledge representation process, we must look beyond the MLP weights and explore recent models' complex layer structures and attention mechanisms.
What Is One Grain of Sand in the Desert? Analyzing Individual Neurons in Deep NLP Models
Qatar Computing Research Institute, HBKU Research Complex（卡塔尔计算研究所，哈马德·本·哈利法大学研究中心）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
尽管深度神经网络在自然语言处理（NLP）中取得了显著的进步，但其可解释性仍然是一个挑战。以前的工作主要集中在这些模型在表示级别上学习什么。我们进一步分解这种分析，并研究NLP任务中端到端神经模型学习的向量表示中的各个维度（神经元）。我们提出两种方法：语言相关性分析，基于监督方法提取与外部任务最相关的神经元，以及跨模型相关性分析，一种无监督方法提取与外部任务最相关的突出神经元。模型本身。我们通过消融识别出的神经元并重新评估两项任务的网络性能来评估我们的技术的有效性：神经机器翻译（NMT）和神经语言建模（NLM）。我们进一步提出了一个全面的神经元分析，旨在解决以下问题：i）如何本地化或分布的模型中的不同的语言属性？ii）某些神经元是否只具有某些特性而不具有其他特性？iii）信息在NMT和NLM中的分布是否更大或更小？以及iv）通过语言相关方法识别的神经元对整体任务有多重要？我们的代码作为NeuroX工具包的一部分公开提供（Dalvi et al. 2019）。
Brain-Inspired Exploration of Functional Networks and Key Neurons in Large Language Models
School of Automation, Northwestern Polytechnical University, Xi’an, China（自动化学院，西北工业大学，西安，中国）；School of Computing, University of Georgia, Athens, USA（计算机学院，佐治亚大学，亚特兰大，美国）；School of Physics and Information Technology, Shaanxi Normal University, Xi’an, China（物理与信息技术学院，陕西师范大学，西安，中国）
Evaluating Neuron Interpretation Methods of NLP Models
The Chinese University of Hong Kong（香港中文大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Faculty of Computer Science, Dalhousie University（达尔豪斯大学计算机科学学院）
Intra-neuronal attention within language models Relationships between activation and semantics
Neocognition (Chrysippe R&D)（新认知公司（克律西佩研发部））；Facultés Libres de Philosophie et de Psychologie de Paris (ER IPC)（巴黎自由哲学与心理学院（ER IPC））；Faculté de Médecine de Lyon Est (Université Lyon 1)（里昂第一大学东里昂医学院）；Université Paris 8（巴黎第八大学）；INP-PHELMA, Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学INP-PHELMA学院）
