Feature Interactions Reveal Linguistic Structure in Language Models
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文研究特征交互归因方法，通过灰盒方法论在形式语言任务上训练模型，发现特定方法能揭示语法规则，并扩展至语言模型以洞察其语言结构。
2023-06-21 cs.CL
Topoformer: brain-like topographic organization in Transformer language models through spatial querying and reweighting
Novus Technologies；MIT（麻省理工学院）；Harvard University（哈佛大学）
本研究提出具备类脑拓扑组织的Topoformer模型，通过空间查询与重加权改造自注意力机制，在NLP任务上性能与常规模型相当，且形成可解释拓扑结构并与人类大脑语言网络对齐。
2025-10-21 cs.CL
Uncovering Cross-Linguistic Disparities in LLMs using Sparse Autoencoders
National University of Singapore（新加坡国立大学）
该研究利用 SAE 分析 Gemma-2-2B 跨语言激活差异，并通过基于 LoRA 的激活感知微调缩小中低资源语言的激活差距且改善基准表现。
2025-07-25 cs.AI cs.CL
One Model, Many Morals: Uncovering Cross-Linguistic Misalignments in Computational Moral Reasoning
University of Michigan（密歇根大学）
本研究通过将道德推理基准翻译成五种语言，系统评估了LLMs的跨语言道德判断，发现显著不一致和文化错位，并提炼出道德推理错误类型学，呼吁更具文化意识的AI。
2026-09-29 cs.AI cs.CL
Word Embeddings Inherently Recover the Conceptual Organization of the Human Mind
University of Toronto（多伦多大学）
机器学习是一种从丰富的数据源中发现深层模式的方法。在这里，我们发现，当应用于数百万人的自然语言使用时，机器学习可以恢复人类思维的概念组织。利用来自数十亿网页的文本，我们恢复了英语，荷兰语和日语中包含的大部分概念，如大规模单词联想网络所示。我们的研究结果证明了机器学习是一种探索人类思维的手段，其深度和规模是使用自我报告和观察方法无法达到的。除了直接的心理学应用之外，我们的方法可能会被证明对任何科学领域中涉及定义，评估，关联或揭示概念的项目有用。
2020-02-06 cs.CL q-bio.NC
I or Not I: Unraveling the Linguistic Echoes of Identity in Samuel Beckett's "Not I" Through Natural Language Processing
本研究利用自然语言处理技术分析贝克特《Not I》的词频、情感与重复母题，揭示其极简语言如何通过递归模式反映碎片化心理，深化了对贝克特文体贡献的理解。
2024-10-12 cs.CL
Numerical Words and Linguistic Loops: The Perpetual Four-Letter Routine
该研究通过“数字母—拼写计数—再计数”的迭代过程，发现随机词序列恒收敛至4，并跨73种拉丁字母语言揭示LL常数的正负及多常数分布规律。
2025-03-16 cs.CL
LinguaLens: Towards Interpreting Linguistic Mechanisms of Large Language Models via Sparse Auto-Encoder
DCST, BNRist（DCST、BNRist；KIRC、人工智能研究院、清华大学，中国）；KIRC, Institute for Artificial Intelligence, Tsinghua University, China（中文语言文学系、北京大学，中国）；Department of Chinese Language and Literature, Peking University, China
本研究提出基于稀疏自编码器的框架 LinguaLens，通过提取多维度中英文语言特征并构建大规模反事实数据集，系统揭示了大语言模型内部语言知识的表示与分布模式，并展示了控制模型输出的潜力。
2025-09-15 cs.CL
TopoLM: brain-like spatio-functional organization in a topographic language model
EPFL（瑞士联邦理工学院）；Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）
本文提出TopoLM，通过下一token预测与空间平滑性损失使transformer形成类脑的语义功能集群，从而解释并预测人类语言皮层的空间-功能组织。
2025-05-15 cs.CL
Automata networks for memory loss effects in the formation of linguistic conventions
Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学）
这项工作试图提供新的理论见解，在语言的进化中间阶段的缺乏。特别是，它是开发一个自动机网络的方法来解决一个关键问题：如何人口的语言用户可以达成协议的语言公约？为了描述语言自组织中的急剧转变现象，我们采用了一个非常简单的（工作）记忆模型。在每一个时间步，语言使用者只是失去了他们的单词记忆的一部分。通过对低维格子的计算机模拟，发现在临界值处会出现急剧的跃迁，这种跃迁依赖于个体邻域的大小。
2015-10-08 cs.CL physics.soc-ph
The Self-Organization of Speech Sounds
言语代码是语言的载体：它定义了一组由社区用来传递信息的形式。这样的代码是必要的，以支持语言的互动，使人类能够沟通。那么，在语言相互作用存在之前，言语代码是如何形成的呢？此外，人类的语音代码是离散的和合成的，由社区中的所有个体共享，但在社区之间不同，并且音素库存的特征在于统计上的差异。具有这些特性的语音代码是如何形成的？本文试图用“人工方法论”来探讨这些问题。我们建立了一个社会的人工代理，并详细介绍了一种机制，显示了一个离散的语音代码的形成，而不预先假设存在的语言能力或协调的互动。该机制基于感觉-运动相互作用的低级模型。我们表明，某些非常简单的和非语言特定的神经设备的整合导致形成的语音代码，具有类似于人类的语音代码的属性。这一结果依赖于自组织属性的感知和生产代理之间的一般耦合，并在代理之间的相互作用。人工系统通过展示自组织如何帮助自然选择找到语音，帮助我们更好地理解语音可能是如何出现的。
2005-02-22 cs.AI cs.CL cs.LG
CLIcK: A Benchmark Dataset of Cultural and Linguistic Intelligence in Korean
School of Computing, KAIST（KAIST 计算学院）；GSAI, KAIST（KAIST 人工智能研究生院）
本文提出韩语文化与语言智能基准CLIcK，包含1,995个源自韩国官方考试和教材的问答对，覆盖语言与文化两大类十一个子类，并通过13个语言模型的评估揭示其韩语文化语言能力的差异与影响因素。
2024-07-04 cs.CL
Quantification and object perception in Multimodal Large Language Models and human linguistic cognition
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚高级科研与研究机构（ICREA））
本文研究多模态大语言模型和人类在量化中的关键特征，探讨其在模型架构中的编码差异及语言影响。
2026-03-25 cs.CL
Uncovering inequalities in new knowledge learning by large language models across different languages
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；University of Science and Technology of China（中国科学技术大学）；Wuhan University（武汉大学）；Hong Kong University of Science and Technology（香港科技大学）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）；Guanghua School of Management, Peking University（北京大学光华管理学院）
本文研究了大型语言模型在不同语言中学习新知识时的不平等性，通过上下文学习和微调实验发现低资源语言在有效性、可迁移性、优先级和鲁棒性四个维度上均处于劣势，旨在促进更公平的LLM发展。
2025-03-06 cs.AI cs.CL cs.CY
Probing Linguistic Information For Logical Inference In Pre-trained Language Models
Rose-Hulman Institute of Technology（罗斯-霍曼理工学院）
预先训练的语言模型的进展导致了下游任务自然语言理解的令人印象深刻的结果激增。最近关于探测预先训练的语言模型的工作揭示了编码在其上下文表示中的广泛的语言属性。然而，目前还不清楚它们是否编码了对符号推理方法至关重要的语义知识。我们提出了一种方法来探测语言信息的逻辑推理预训练语言模型表示。我们的探测数据集涵盖了主要符号推理系统所需的语言现象列表。我们发现：（i）预训练的语言模型确实编码了几种类型的语言信息用于推理，但也有一些类型的信息是弱编码的，（ii）语言模型可以通过微调有效地学习缺失的语言信息。总的来说，我们的研究结果提供了关于语言模型及其预训练过程捕获逻辑推理的语言信息的哪些方面的见解。此外，我们已经证明了语言模型的潜在语义和背景知识基础，支持符号推理方法。
2022-03-21 cs.AI cs.CL cs.LG
Statistical Patterns in Written Language
在过去的几十年里，定量语言学已经被允许在复杂系统领域的公认的模糊边界内。越来越多的应用数学家和统计物理学家利用从统计学和信息论中借用的技术，致力于揭示语言流的相关性、模式和结构特性。总的来说，结果仍然可以被归类为适度的，但前景是有希望的：人类语言组织中的中期和长期特征-这超出了传统语言学的范围-已经从这种分析中出现，并继续被报道，为我们理解这个最复杂的交流系统提供了新的视角。这本简短的书旨在回顾其中一些最近的贡献。
2017-08-23 cs.CL
On The Origin of Cultural Biases in Language Models: From Pre-training Data to Linguistic Phenomena
Georgia Institute of Technology（佐治亚理工学院）
本文构建阿拉伯语—英语平行基准 CAMeL-2，揭示语言模型的文化偏见源于预训练实体频率、多义性、词汇重叠及频率分词机制。
2025-01-08 cs.CL
When Words Speak Louder than Images: Towards Understanding Language Bias in Vision-Language Models
University of Waterloo（滑铁卢大学）；Johns Hopkins University（约翰霍普金斯大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Nanyang Technological University（南洋理工大学）；Indiana University（印第安纳大学）
本研究提出一个四阶段诊断框架，通过分析语言先验与跨模态覆盖度的演变，系统追踪并揭示视觉-语言模型中语言偏差的传播机制与成因。
2026-09-29 cs.CL
Multilingual Language Models Encode Script Over Linguistic Structure
Indian Institute of Technology Delhi（印度理工学院德里）
研究揭示多语言模型通过表面形式而非语言结构组织表示，发现正字法影响显著，深层结构逐渐显现。
2026-04-20 cs.CL cs.LG
Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models
提出分层上下文流形对齐方法，在不改动模型权重下重构词元嵌入，提升稀有词元检索、对抗鲁棒性与长距离依赖追踪，兼顾表示质量与计算效率。
2025-03-25 cs.CL
The Role of Dataset Linguistic Structure in the Cultural Awareness of Large Language Models
University College London（伦敦大学学院）；Queen’s University Belfast（贝尔法斯特女王大学）；The University of Tokyo（东京大学）；University of Bisha（比沙大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；AI Centre, University College London（伦敦大学学院人工智能中心）
本文研究了数据集语言结构对大型语言模型文化表现的影响，发现词汇导向的成分在不同模型中表现更稳定，而语义或多样性极端成分可能产生中性或有害效果。
2026-09-22 cs.CL
Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation
提出一种将分层嵌入投影到结构化流形的新机制，在保持计算效率的同时增强多尺度语义表示，提升语言基准准确性和鲁棒性。
2025-03-25 cs.CL
Standards for Language Resources
Vassar College（瓦萨学院）；LORIA/INRIA（洛里亚/法国国家信息与自动化研究所）
本文提出了一个抽象的数据模型的语言注释和它的实现使用XML，RDF和相关标准，并概述了一个新成立的国际标准化组织（ISO），ISO/TC 37/SC 4语言资源管理委员会的工作，将使用这项工作作为其出发点。提出后者的主要动机是请研究界成员参与，为委员会的工作作出贡献。
2009-09-15 cs.CL
Beyond Zipf's law: Modeling the structure of human language
IFISC (CSIC-UIB) Instituto de Física Interdisciplinar y Sistemas Complejos（IFISC（西班牙国家研究委员会-巴利阿里群岛大学）跨学科物理与复杂系统研究所）；Indiana University（印第安纳大学）；ISI Foundation（ISI基金会）
人类语言是人类历史上最强大的交流系统，与认知密切相关。书面文本是语言的基本表现形式之一，对它的普遍性的研究可以为我们的大脑如何处理信息以及我们作为一个社会如何组织和分享信息提供线索。相比之下，其他基本属性，如存在的突发罕见的话，在特定的文件，主题组织的集合，或次线性增长的词汇量与文件的长度，只被研究了一个接一个，主要是应用启发式方法，而不是基本原则和一般机制。因此，缺乏对语言过程作为复杂的涌现现象的理解。除了Zipf的词频定律之外，这里我们关注的是Heaps定律，突发性和文档集合的主题性，这些文档集合编码了随机空模型中不存在的文档内部和跨文档的相关性。我们介绍并验证了生成模型，解释了所有这些模式的同时出现，从简单的规则。因此，我们发现罕见的单词的突发性和文本的主题组织之间的连接，并确定动态字排名和记忆跨文件的关键机制，解释非平凡的书面文本的组织。我们的研究可以在计算机科学、认知科学和语言学中具有广泛的意义和实际应用。
2009-02-03 cs.CL physics.soc-ph
Natural Language Syntax Complies with the Free-Energy Principle
McGovern Medical School, University of Texas Health Science Center（德克萨斯大学健康科学中心麦戈文医学院）；Texas Institute for Restorative Neurotechnologies, University of Texas Health Science Center（德克萨斯大学健康科学中心德克萨斯恢复性神经技术研究所）；University College London（伦敦大学学院）；UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经病学研究所）
自然语言语法产生一个无限的层次结构表达式数组。我们声称，这些都是用于主动推理的服务，符合自由能原理（FEP）。虽然概念上的进步以及建模和仿真工作已经试图连接语音分割和语言通信的FEP，我们扩展这个程序的基础计算负责生成语法对象。我们认为，最近提出的原则，经济的语言设计-如“最小搜索”的标准，从理论语法-坚持FEP。这为FEP提供了更大程度的解释力-关于更高的语言功能-并为语言学提供了关于可计算性的第一原则的基础。我们展示了如何树的几何深度和柯尔莫哥洛夫复杂性估计（招募Lempel-Ziv压缩算法）可以用来准确地预测法律操作的语法语法，直接在变分自由能最小化的配方。这是用来激发语言设计的一般原则，我们称之为图灵-乔姆斯基压缩（TCC）。我们使用TCC对齐关注的语言学家与FEP提供的自组织的规范性帐户，通过编组证据从理论语言学和心理语言学地面的核心原则，有效的句法计算内主动推理。
2022-10-27 cs.CL
Linguistic Laws Meet Protein Sequences: A Comparative Analysis of Subword Tokenization Methods
Boğaziçi University（博阿齐奇大学）
本研究比较分析BPE、WordPiece和SentencePiece三种子词分词方法在不同词汇量下处理蛋白质序列的效果，发现其在结构域保留和语言定律遵循上存在差异，强调需开发蛋白质专用分词策略。
2024-11-26 cs.CL q-bio.QM
Saving the legacy of Hero Ibash: Evaluating Four Language Models for Aminoacian
研究评估四种前沿语言模型在氨基语中的表现，审视其在文本生成等方面的适应性等，揭示低资源语言中模型性能见解，为自然语言处理未来发展奠基，推动语言模型在类似语言环境中应用。
2026-07-22 cs.AI cs.CL
Conceptual Networks for Cross-Linguistic Idiomatic Expressions: A Feature-Based Graph Approach
University of Eastern Finland（东芬兰大学）；Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
该研究提出基于网络的框架表示八种语言的习语和比喻意义，用概念特征注释构建加权图，通过社区检测发现习语按概念模式聚类，网络能捕获独特语义信息，跨语言转移实验有提升，消融研究表明多特征维度有贡献，提供了可解释的习语意义表示。
2026-07-14 cs.AI cs.CL cs.ET
Shedding New Light on the Language of the Dark Web
KAIST（韩国科学技术院）；S2W Inc.（S2W公司）
暗网的隐藏性和有限的可访问性，加上该领域缺乏公共数据集，使得研究其固有特征（如语言特性）变得困难。之前关于暗网领域文本分类的研究表明，使用深度神经模型可能是无效的，这可能是由于暗网和表面网之间的语言差异。然而，在揭示暗网的语言特征方面还没有做太多的工作。本文介绍了CoDA，这是一个公开的暗网数据集，由10000个针对基于文本的暗网分析量身定制的Web文档组成。通过利用CoDA，我们对暗网进行了彻底的语言分析，并研究了暗网和表面网络之间的文本差异。我们还评估了各种暗网页分类方法的性能。最后，我们将CoDA与现有的公共暗网数据集进行比较，并评估它们对各种用例的适用性。
2022-05-04 cs.CL cs.IR cs.LG
Including Signed Languages in Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）；Bar-Ilan University（巴伊兰大学）；Gallaudet University（加劳德特大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Pittsburgh（匹兹堡大学）
手语是许多聋人和重听人的主要交流手段。由于符号语言表现出自然语言的所有基本语言特性，我们认为自然语言处理（NLP）的工具和理论对其建模至关重要。然而，现有的研究在手语处理（SLP）很少尝试探索和利用的手语的语言组织。这份立场文件呼吁NLP社区将手语作为具有高度社会和科学影响的研究领域。我们首先讨论了在建模过程中要考虑的符号语言的语言属性。然后，我们回顾了当前SLP模型的局限性，并确定了将NLP扩展到签名语言的开放性挑战。最后，我们敦促（1）采用有效的标记化方法;（2）开发语言信息模型;（3）收集真实世界的手语数据;（4）将当地手语社区作为研究方向的积极和主导声音。
2021-07-22 cs.AI cs.CL cs.LG
Formalizing Style in Personal Narratives
Université Paris-Saclay, CNRS, ENS Paris-Saclay, LMF（巴黎-萨克雷大学、法国国家科学研究中心、巴黎-萨克雷高等师范学校、数学与形式化方法实验室）；Université Paris-Saclay, CNRS, LISN（巴黎-萨克雷大学、法国国家科学研究中心、计算机科学跨学科数字科学实验室）
提出一个整合功能语言学、计算机科学与心理学的框架，将个人叙事中的风格形式化为语言选择模式，并通过对梦境叙事的案例研究揭示了语言选择与心理状态的关系。
2025-10-13 cs.AI cs.CL
Task Preferences across Languages on Community Question Answering Platforms
University of Washington（华盛顿大学）；ShareChat
随着Quora、StackExchange和WikiHow等社区问答（CQA）平台的稳步出现，用户现在可以前所未有地访问各种查询和任务的信息。此外，这些跨越地理和语言界限的平台的快速扩散和本地化为研究不同社会语言群体的用户的任务要求和偏好提供了独特的机会。在这项研究中，我们实现了一个实体嵌入模型，该模型在多语言和面向任务的问答对的大型纵向数据集上进行训练，以揭示和量化（i）跨语言社区的各种在线任务的流行和分布，以及（ii）随着时间的推移，这些社区中任务流行度的新兴和衰退趋势。我们的研究结果表明，在平台上的语言社区中，任务偏好和流行趋势存在很大差异。这项研究的结果将有助于问答平台更好地为非英语用户策划和个性化内容，同时也为希望在线瞄准非英语社区的企业提供有价值的见解。
2022-12-18 cs.CL cs.CY cs.HC
Emergence of Hierarchical Emotion Organization in Large Language Models
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；University of Tokyo（东京大学）
受情感轮理论启发，分析大型语言模型输出中情感状态间的概率依赖关系，发现模型自然形成与人类心理模型一致的层级情感树，且更大模型发展出更复杂的层级结构，同时揭示社会经济角色在情感识别中的系统性偏差。
2026-08-06 cs.AI cs.CL cs.LG
Toward Cultural Interpretability: A Linguistic Anthropological Framework for Describing and Evaluating Large Language Models (LLMs)
Massachusetts Institute of Technology（麻省理工学院）
本文提出文化可解释性（CI）框架，融合语言人类学与机器学习，通过分析人机对话，揭示LLM中语言与文化关系，以改善价值对齐，并提出相对性、变异性、索引性三个研究轴。
2024-11-07 cs.CL cs.CY cs.HC
VLURes: Benchmarking VLM Visual and Linguistic Understanding in Low-Resource Languages
NAIST（奈良先端科学技术大学院大学）；QMUL（伦敦玛丽女王大学）；Fujitsu Ltd.（富士通株式会社）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
VLURes是一个多语言基准，包含八个视觉语言任务和一个无关性任务，评估VLM在英语、日语及低资源语言斯瓦希里语和乌尔都语中的细粒度理解能力；最佳模型GPT-4o准确率90.8%，落后人类6.7%，凸显了智能体多模态推理的挑战。
2025-10-14 cs.AI cs.CL cs.CV
Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures
Research and Implementation（研究与实现）
本研究利用Shapley值量化形容词对模型性能的引导效应，发现少量形容词具有不成比例的强大影响，但效果非普适；跨模型分析揭示“家族效应”，且形容词的引导方向高度依赖于句法角色和位置。
2026-06-23 cs.AI cs.CL
