arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2310.02207cs.LGcs.AIcs.CL
收藏

语言模型表征空间与时间

Language Models Represent Space and Time

Massachusetts Institute of Technology(麻省理工学院)

Wes Gurnee, Max Tegmark

AI总结:

本文通过分析 Llama-2 在六类空间与时间数据集上的内部表征,发现 LLM 能形成跨尺度、跨实体且对提示鲁棒的线性时空表征,并存在专门编码坐标的神经元。

摘要:

大型语言模型(LLM)的能力引发了争论:这类系统究竟只是学到了海量的表层统计信息,还是学到了一套更连贯、更具根基性、能够反映现实世界的表征。我们通过分析 Llama-2 系列模型在三个空间数据集(世界、美国、纽约市地点)和三个时间数据集(历史人物、艺术作品、新闻标题)上学到的表征,找到了支持后一种观点的证据。我们发现,LLM 在多个尺度上学习到了空间和时间的线性表征。这些表征对提示变化具有鲁棒性,并且在不同实体类型(例如城市和地标)之间是统一的。此外,我们识别出了单个的“空间神经元”和“时间神经元”,它们能够可靠地编码空间坐标和时间坐标。尽管仍需进一步研究,但我们的结果表明,现代 LLM 学到了关于现实世界的丰富时空表征,并具备世界模型的基本要素。

英文摘要:

The capabilities of large language models (LLMs) have sparked debate over whether such systems just learn an enormous collection of superficial statistics or a set of more coherent and grounded representations that reflect the real world. We find evidence for the latter by analyzing the learned representations of three spatial datasets (world, US, NYC places) and three temporal datasets (historical figures, artworks, news headlines) in the Llama-2 family of models. We discover that LLMs learn linear representations of space and time across multiple scales. These representations are robust to prompting variations and unified across different entity types (e.g. cities and landmarks). In addition, we identify individual "space neurons" and "time neurons" that reliably encode spatial and temporal coordinates. While further investigation is needed, our results suggest modern LLMs learn rich spatiotemporal representations of the real world and possess basic ingredients of a world model.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑