将语言与思想分离：激活修补揭示 Transformer 中的语言无关概念表示
Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers
AI总结：
本文通过激活修补技术分析基于 Transformer 的 LLMs 在翻译任务中的潜在表示，发现输出语言与翻译概念在模型中编码的层级不同，证明了模型内部存在语言无关的概念表示。
摘要：
多语言语言建模中的一个核心问题是，大型语言模型（LLMs）是否发展出了与特定语言解耦的通用概念表示。在本文中，我们通过分析基于 Transformer 的 LLMs 在单词翻译任务中的潜在表示（latents）来解决这个问题。我们策略性地从源翻译提示中提取 latents，并将它们插入到目标翻译提示的前向传播中。通过这样做，我们发现输出语言在 latent 中编码的层级早于要翻译的概念。基于这一见解，我们进行了两个关键实验。首先，我们证明了仅通过激活修补，就可以在不改变语言的情况下改变概念，反之亦然。其次，我们表明，用一种概念在不同语言中的平均表示进行修补，不仅不会影响模型翻译它的能力，反而会提升这种能力。最后，我们将其推广到多 token 生成，并证明模型能够生成关于这些平均表示的自然语言描述。我们的结果为所研究的模型中存在语言无关的概念表示提供了证据。
英文摘要：
A central question in multilingual language modeling is whether large language models (LLMs) develop a universal concept representation, disentangled from specific languages. In this paper, we address this question by analyzing latent representations (latents) during a word-translation task in transformer-based LLMs. We strategically extract latents from a source translation prompt and insert them into the forward pass on a target translation prompt. By doing so, we find that the output language is encoded in the latent at an earlier layer than the concept to be translated. Building on this insight, we conduct two key experiments. First, we demonstrate that we can change the concept without changing the language and vice versa through activation patching alone. Second, we show that patching with the mean representation of a concept across different languages does not affect the models' ability to translate it, but instead improves it. Finally, we generalize to multi-token generation and demonstrate that the model can generate natural language description of those mean representations. Our results provide evidence for the existence of language-agnostic concept representations within the investigated models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
