大语言模型中的逐层回忆与交织知识的几何结构
Layerwise Recall and the Geometry of Interwoven Knowledge in LLMs
AI总结：
本研究以化学元素和 LLaMA 模型为例，发现 LLMs 隐藏状态中与元素周期表结构一致的 3D 螺旋几何结构，揭示其将符号知识编码为跨层交织的几何流形，为理解模型科学知识表示提供新视角。
摘要：
本研究以化学元素和 LLaMA 系列模型为案例，探索大语言模型（LLMs）如何编码交织的科学知识。我们在隐藏状态中识别出一种与元素周期表概念结构相一致的 3D 螺旋结构，这表明 LLMs 能够反映从文本中学习到的科学概念的几何组织方式。线性探测揭示，中间层编码连续的、重叠的属性，从而支持间接回忆，而更深层则锐化类别区分并融入语言上下文。这些发现表明，LLMs 并非将符号知识表示为孤立的事实，而是表示为结构化的几何流形，这些流形在层与层之间交织语义信息。我们希望这项工作能激发进一步探索 LLMs 如何表示和推理科学知识，特别是在材料科学等领域。
英文摘要：
This study explores how large language models (LLMs) encode interwoven scientific knowledge, using chemical elements and LLaMA-series models as a case study. We identify a 3D spiral structure in the hidden states that aligns with the conceptual structure of the periodic table, suggesting that LLMs can reflect the geometric organization of scientific concepts learned from text. Linear probing reveals that middle layers encode continuous, overlapping attributes that enable indirect recall, while deeper layers sharpen categorical distinctions and incorporate linguistic context. These findings suggest that LLMs represent symbolic knowledge not as isolated facts, but as structured geometric manifolds that intertwine semantic information across layers. We hope this work inspires further exploration of how LLMs represent and reason about scientific knowledge, particularly in domains such as materials science.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
