Large language models (LLMs) work by manipulating the geometry of input embedding vectors over multiple layers. Here, we ask: how are the input vocabulary representations of language models structured, and how and when does this structure evolve over training? To answer this question, we use representational similarity analysis, running a suite of experiments that correlate the geometric structure of the input embeddings and output embeddings of two open-source models (Pythia 12B and OLMo 7B) with semantic, syntactic, and frequency-based metrics over the course of training. Our key findings are as follows: 1) During training, the vocabulary embedding geometry quickly converges to high correlations with a suite of semantic and syntactic features; 2) Embeddings of high-frequency and function words (e.g., "the," "of") converge to their final vectors faster than lexical and low-frequency words, which retain some alignment with the bias in their random initializations. These findings help map the dynamic trajectory by which input embeddings organize around linguistic structure, revealing distinct roles for word frequency and function. Our findings motivate a deeper study of how the evolution of vocabulary geometry may facilitate specific capability gains during model training.
Establishing Vocabulary Tests as a Benchmark for Evaluating Large Language Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）；Universidad de Valladolid（巴利亚多利德大学）；Universidad de Salamanca（萨拉曼卡大学）；Ghent University（根特大学）
Whose LLM is it Anyway? Linguistic Comparison and LLM Attribution for GPT-3.5, GPT-4 and Bard
Department of Information Science（信息科学系）；Bar Ilan University（巴伊兰大学）；Department of Information Systems（信息系统系）；University of Haifa（海法大学）；Department of Computing（计算机系）；Jonkoping University（约翰·科普林大学）
Linguistic Characteristics of AI-Generated Text: A Survey
Faculty of Arts, University of Ljubljana（卢布尔雅那大学文学院）；Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）
SLING: Sino Linguistic Evaluation of Large Language Models
UMass Amherst（马萨诸塞大学阿默斯特分校）
为了了解预训练的汉语语言模型（LM）编码了哪些语言知识，我们引入了汉语语言学（SLING）基准，它由38 K最小句子对组成，分为9个高级语言现象。每一对都展示了特定句法或语义现象的可接受性对比（例如，关键字丢失vs.关键字丢失），LM应该为可接受的句子分配较低的困惑度。与CLiMP数据集（Xiang et al.，2021），其中也包含中文最小对，并通过翻译英语BLiMP数据集的词汇创建，SLING中的最小对主要是通过对中文树库9.0中自然发生的语言学家注释的句子应用句法和词汇转换来获得的，从而解决了CLiMP数据生成过程中的严重问题。我们测试了18个公开的预训练单语（例如，BERT-base-zh，CPM）和多语言（例如，mT5，XLM）SLING上的语言模型。我们的实验表明，LM的平均准确率远远低于人类的表现（69.7%对97.1%），而BERT-base-zh在所有测试的LM中达到了最高的准确率（84.8%），甚至更大。此外，我们发现，大多数LM有很强的性别和数量（单/复数）的偏见，他们表现得更好的地方比层次的现象。
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学语言与信息处理中心（CIS））
最近的研究调查了存储在大型预训练语言模型（PLM）中的事实知识。代替结构化知识库（KB）查询，使用诸如“Paris is the capital of [MASK]”之类的掩码语句作为探测。这种分析任务的良好表现被解释为PLM成为事实知识的潜在存储库。在10种不同语言的实验中，我们研究了静态嵌入中包含的知识。我们表明，当限制输出空间的候选集，简单的最近邻匹配使用静态嵌入比PLM的表现更好。例如，在一个示例中，静态嵌入的性能比BERT高1.6%，而仅使用0.3%的能量进行训练。它们良好的比较性能的一个重要因素是，静态嵌入对于大词汇表是标准的。相比之下，BERT利用其更复杂，但昂贵的能力，从一个小得多的子词词汇组成有意义的表示。
Causal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Saarland University（萨尔大学）；Leipzig University（莱比锡大学）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）
Statistical laws and linguistics differ in naturalistic video and fictional conversations
Computational Story Lab（计算故事实验室）；Vermont Advanced Computing Center（佛蒙特高级计算中心）；University of Vermont（佛蒙特大学）；Vermont Complex Systems Institute（佛蒙特复杂系统研究所）；MassMutual Center of Excellence for Complex Systems and Data Science（MassMutual复杂系统与数据科学卓越中心）；Computational Ethics Lab（计算伦理实验室）；Glass Brain Lab（玻璃脑实验室）；Department of Biomedical Engineering（生物医学工程系）；Vermont Conversation Lab（佛蒙特对话实验室）；Larner College of Medicine（拉纳尔医学院）；Institute for Cross-Disciplinary Physics and Complex Systems IFISC (UIB-CSIC)（跨学科物理与复杂系统研究所IFISC（UIB-CSIC））；Department of Mathematics & Statistics（数学与统计学系）
Heaps' law and Heaps functions in tagged texts: Evidences of their linguistic relevance
Instituto de Física Enrique Gaviola（恩里克·加维奥拉物理研究所）；Consejo Nacional de Investigaciones Científicas y Técnicas（国家科学技术研究委员会）；Universidad Nacional de Córdoba（科尔多瓦国立大学）；Centro Atómico Bariloche（巴里洛切原子中心）；Instituto Balseiro（巴尔塞罗研究所）；Comisión Nacional de Energía Atómica（国家原子能委员会）；Universidad Nacional de Cuyo（库约国立大学）
Tabula nearly rasa: Probing the Linguistic Knowledge of Character-Level Neural Language Models Trained on Unsegmented Text
Stanford University（斯坦福大学）；Facebook AI Research（脸书人工智能研究院）；UPF Linguistics Department（庞培法布拉大学语言学系）
递归神经网络（RNN）在许多自然语言处理任务中取得了惊人的性能。这重新引起了人们对这些通用序列处理设备是否诱导真正的语言知识的兴趣。然而，几乎所有当前的分析研究都用已知单词的词汇表初始化RNN，并在训练过程中为它们提供标记化的输入。我们提出了一个多语言的语言知识编码的RNN训练字符级语言模型，在输入数据与词边界删除的研究。这些网络面临着一个更艰难、更现实的认知任务，必须根据输入统计数据从头开始发现任何有用的语言单元。结果表明，我们的“near tabula rasa”RNN大多能够解决直观地假设单词级别知识的形态，句法和语义任务，并且确实在某种程度上学会了跟踪单词边界。我们的研究为语言学习和使用中明确的、严格的词汇库的必要性的思考打开了大门。
Around the world in 60 words: A generative vocabulary test for online research
Max Planck Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）；Ernst Strüngmann Institute for Neuroscience（恩斯特·斯特吕格曼神经科学研究所）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Princeton University（普林斯顿大学）；University of Augsburg（奥格斯堡大学）
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校计算机科学与工程系）；Department of CSE, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系）；SCEE, Indian Institute of Technology Mandi（印度理工学院曼迪分校软件工程系）；Adobe Research（Adobe研究）
