AI Thinking as a Meaning-Centered Framework: Reimagining Language Technologies Through Community Agency
University of Seville（塞维利亚大学）
针对现有语言技术无法应对语言保护中复杂社会文化维度的问题，提出以意义为中心的AI Thinking框架，通过与社区共创、构建五层生态系统让社区掌控语言文化知识表征，革新数字时代的语言多样性保护路径。
2025-02-19 cs.AI cs.CL
Talking to the brain: Using Large Language Models as Proxies to Model Brain Semantic Representation
South China Normal University（华南师范大学）；Center for Studies of Psychological Application, South China Normal University（华南师范大学心理应用研究中心）；School of Psychology, South China Normal University（华南师范大学心理学院）；Guangdong Key Laboratory of Mental Health and Cognitive Science, South China Normal University（华南师范大学广东省心理健康与认知科学重点实验室）
本文提出利用多模态大语言模型通过视觉问答策略提取自然图像语义，构建大脑语义网络，以预测fMRI神经活动并揭示皮层层级组织，克服传统标注局限。
2025-02-26 cs.AI cs.CL q-bio.NC
"You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文通过零/少样本直接解析与自然语言查询两种设置评估 GPT-3、ChatGPT 和 GPT-4 的 AMR 分析能力，发现其虽能捕捉基本语义结构，但完全准确解析成功率近乎为零。
2023-12-11 cs.AI cs.CL
Representing Interlingual Meaning in Lexical Databases
University of Trento（特伦托大学）；Jilin University（吉林大学）
在当今的多语言词汇数据库中，世界上大多数语言都没有被充分代表。除了资源不完整的问题，我们表明，现有的词汇数据库结构上的限制，导致在特定文化的话，并在跨语言映射它们的表现力降低。特别是，主要语言，如英语的词汇意义空间，更准确地表示，而语言或文化多样性的语言以近似的方式映射。我们的论文评估国家的最先进的多语种词汇数据库，并评估其优势和局限性，就其表达语言多样性的词汇现象。
2023-01-22 cs.AI cs.CL
On the Possibilities and Limitations of Multi-hop Reasoning Under Linguistic Imperfections
Allen Institute for AI（艾伦人工智能研究所）；Indiana University（印第安纳大学）；University of Pennsylvania（宾夕法尼亚大学）
用于语言理解的系统在克服涉及短语匹配或简单推理的任务中的语言缺陷方面已经变得非常强大。然而，随着推理步骤的增加，它们的准确性急剧下降。我们提出了第一个正式的框架来研究这种经验观察。它允许一个量化的数量和影响的模糊性，冗余，不完整性，和不准确的语言使用时，介绍了一个隐藏的概念空间。我们的想法是考虑两个相互关联的空间：一个概念意义空间是明确的，完整的，但隐藏的，和语言空间，捕捉一个嘈杂的接地的意义空间在一个语言的话-所有系统的水平，无论是神经或符号，操作。将此框架应用于一类特殊的多跳推理，即概念之间的关系图中的连通性问题，即使在这种简化的设置下，我们也会得到严格的直觉和不可能的结果。例如，如果查询需要一个中等大小的由于语义图中的跳数（对数），在基于语言的嘈杂图上运行的推理系统不可能正确地回答它。这突出了扩展到更广泛类别的推理问题和系统的基本障碍，并提出了替代路径：专注于通过更丰富的表示来对齐两个空间，然后再投资于具有许多跳的推理。
2020-05-01 cs.AI cs.CL
Understanding the Impact of Linguistic Realization Choices on LLM Stance with Causal Tracing
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
研究语言结构对大语言模型立场的影响，以政治立场判断为案例，扩展数据集得六种重写类型，通过对四个模型实验及激活修补发现，中晚期解码器层尤其是最终提示位置的块输出，对恢复原立场分布有最强信号。
2026-07-23 cs.CL
Visualizing Linguistic Shift
Stony Brook University（石溪大学）
基于神经网络的模型是创建词嵌入的非常强大的工具，这些模型的目标是将相似的词组合在一起。这些嵌入已被用来作为功能，以改善在各种应用程序，如文档分类，命名实体识别等神经语言模型的结果能够学习单词表示已被用来捕捉跨时间和地理的语义变化。本文的目的是首先识别，然后可视化如何在不同的文本语料库中的词的意义变化。我们将训练一个神经语言模型的文本从不同的学科，哲学，宗教，小说等，每个文本将改变嵌入的话，以代表该文本中的单词的含义。我们将提出一种计算技术来检测在意义和用法上表现出显著语言转变的单词。然后，我们使用增强的散点图和故事情节可视化可视化的语言转变。
2016-11-20 cs.CL cs.HC
Finding Concept-specific Biases in Form--Meaning Associations
University of Cambridge（剑桥大学）；Google（谷歌）；Kazan Federal University（喀山联邦大学）；ETH Zürich（苏黎世联邦理工学院）；Harvard University（哈佛大学）；MPI for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）；HSE University（高等经济大学）
这项工作提出了一个跨语言的非任意性的信息理论操作。在单词的形式和意义之间存在着微小的跨语言联系，这并不是一个新的想法。例如，已经声称（Blasi等人，2016年），“舌头”这个词更有可能包含电话[l]。通过在非常大的概念对齐的跨语言词典内控制语言家族和地理邻近性的影响，我们扩展了先前用于检测语言内非任意性的方法（Pimentel等人，2019）来衡量跨语言的关联。我们发现，有一个显着的影响，非任意性，但它是不足为奇的小（小于0.5%，平均根据我们的信息理论估计）。我们还提供了一个概念级的分析表明，在我们的工作中考虑的概念的四分之一表现出显着的跨语言的非任意性水平。总之，本文提供了新的方法来检测跨语言关联的规模，并证实他们的影响是轻微的。
2021-04-29 cs.CL
CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models
Nara Institute of Science and Technology（奈良科学技術研究院）；National Institute of Informatics（国家信息研究院）；The University of Tokyo（东京大学）
CxMP基准通过最小对设计评估语言模型对构式语义关系的理解能力，揭示了大型语言模型在整合形式与意义方面的局限性。
2026-02-25 cs.CL
The Parallel Meaning Bank: A Framework for Semantically Annotating Multiple Languages
Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）
本文给出了一个一般性的描述的想法背后的并行意义银行，一个框架，旨在提供一个简单的方法来注释组成语义的语言以外的其他语言写的文本。注释过程是半自动的，包括七层语言信息：分割，符号化，语义标记，词义消歧，句法结构，主题角色标签，和共指。只要文档是基于英语翻译的，就可以将新的语言添加到意义库中，但也会对并行意义库的语言学假设提出新的有趣挑战。
2020-12-29 cs.CL
Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries
University of Hawai‘i（夏威夷大学）；Private Corporation（私营公司）；Amazon GenAI（亚马逊生成人工智能）
本文提出ICR度量标准，用于评估LLM生成文本摘要中的意义，通过归纳内容分析和反思主题分析，超越词法相似性度量，评估语义准确性和意义一致性。
2026-03-06 cs.AI cs.CL
Quantifying the Roles of Visual, Linguistic, and Visual-Linguistic Complexity in Verb Acquisition
Carnegie Mellon University（卡内基梅隆大学）
本研究利用大规模预训练人工神经网络的视觉和语言表征，定量分析了视觉、语言及两者交互复杂性对动词习得的影响，发现视觉变异性是驱动动词学习难度最显著的因素。
2023-04-05 cs.AI cs.CL cs.LG
BURT: BERT-inspired Universal Representation from Learning Meaningful Segment
Shanghai Jiao Tong University（上海交通大学）
尽管预先训练的语境化语言模型（如BERT）在各种下游任务上取得了显著的性能，但当前的语言表示仍然仅关注特定粒度的语言目标，这在同时涉及多个级别的语言单元时可能不适用。因此，本工作介绍和探讨了普遍的表示学习，即，在统一向量空间中嵌入不同层次的语言单位。我们提出了一个通用的表示模型，BURT（BERT-inspired Universal Representation from learning meaningful segmentT），将不同层次的语言单位编码到同一个向量空间中。具体来说，我们提取和屏蔽有意义的部分的基础上逐点互信息（PMI），将不同的粒度目标到预训练阶段。我们在英语和汉语的数据集上进行了实验，包括GLUE和CLUE基准测试，我们的模型在广泛的下游任务上超越了其基线和替代方案。我们提出了我们的方法来构建类比数据集的单词，短语和句子和实验与多个表示模型，通过任务独立的评估来检查学习向量空间的几何属性。最后，我们在两个真实的文本匹配场景中验证了我们的统一预训练策略的有效性。因此，我们的模型显着优于现有的信息检索（IR）方法，并产生通用的表示，可以直接应用到检索为基础的问答和自然语言生成任务。
2020-12-31 cs.CL
The boundaries of meaning: a case study in neural machine translation
University of Georgia（佐治亚大学）
深度学习在自然语言处理中的成功提出了关于语言意义的本质以及自然和人工系统处理语言意义的方式的有趣问题。其中一个问题与自2016年以来广泛用于语言建模，机器翻译和其他任务的子词分割算法有关。这些算法通常将单词切割成语义不透明的片段，例如“period”、“on”、“t”和“ist”中的“period |on| t|是的。然后，系统在稠密向量空间中表示所得到的片段，期望对它们之间的语法关系进行建模。该表示又可以用于映射周期|on| t| ist'（English）to 'par |od| ont| iste'（法文）。因此，翻译不再是在词汇水平上建模，而是更普遍地被重新表述为学习两种语言的子词片段序列之间的最佳双语映射的任务;有时甚至是纯字符序列之间的映射：|t“$\rightarrow$”p |a| r |o| d |o| n |t| i |s| t| e '。这样的子词分割和对齐在高效的端到端机器翻译系统中起作用，尽管它们据称是不透明的。这些过程的计算价值是毋庸置疑的。但是，它们是否具有语言或哲学上的兼容性呢？我试图通过回顾子词分割算法的相关细节，并将它们与重要的哲学和语言学辩论联系起来，本着使人工智能更加透明和可解释的精神，来阐明这个问题。
2022-10-02 cs.AI cs.CL
Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations
Instituto Superior Técnico（高等技术学院）；Universidade do Algarve（阿尔加维大学）
该研究针对语言模型统计水印的失效问题，借助语言环形式体系与威尔逊环类比，推导得出残差统计量与种子窗口存活位置数的精确恒等式，揭示相同保留率下信号存活量随编辑位置变化的规律。
2026-08-21 cs.CL cs.CR math.DG
Translation Indeterminacy and the Distributional Fallacy
Kent State University（肯特州立大学）
本文批判分布假设的因果倒置，提出翻译可仅凭跨语言分布对应关系成功，并基于生态-生成主义论证指称与意义需通过智能体-环境交互获得。
2026-09-09 cs.CL
Reinforcement Learning of Minimalist Numeral Grammars
Brandenburgische Technische Universität Cottbus – Senftenberg（科特布斯-森夫滕堡勃兰登堡工业大学）
语音控制的用户界面方便了外行人操作设备和家庭功能。最先进的语言技术扫描声学分析的语音信号以寻找相关的关键字，这些关键字随后被插入到语义槽中以解释用户的意图。为了开发适当的认知信息和通信技术，简单的槽填充应取代话语意义转换器（UMT）的基础上的语义分析器和\emph{mental lexicon}，包括句法，语音和语义特征的语言正在考虑。这个词汇必须在与用户交互的过程中由认知主体获得。我们概述了一个强化学习算法的英语数字的句法形态和算术语义的收购，最低限度的语法（MG），最近的计算实现生成语言学的基础上。数字单词由教师以话语意义对（UMP）的形式呈现给智能体，其中意义被编码为来自合适的术语代数的算术术语。由于MG通过推理规则编码普遍的语言能力，从而将先天的语言知识与偶然获得的词汇分开，因此我们的方法将生成语法和强化学习结合起来，从而可能解决仍然悬而未决的Chomsky-Skinner争议。
2019-06-11 cs.AI cs.CL
Foundations for Near-Term Quantum Natural Language Processing
Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）；Oxford University（牛津大学）
我们为近期的量子自然语言处理（QNLP）提供了概念和数学基础，并以量子计算机科学家友好的方式这样做。我们选择了一个简要的介绍风格，并提供参考支持的经验证据和正式声明有关数学的一般性。我们还记得，我们采用的自然语言的量子模型如何将语言意义与丰富的语言结构（尤其是语法）结合起来。特别是，它需要一个类似量子的模型来结合意义和结构，这一事实将QNLP建立为量子原生的，与量子系统的模拟相提并论。此外，现在领先的噪声中尺度量子（NISQ）范式在量子硬件上编码经典数据，变分量子线路，使NISQ特别QNLP友好：语言结构可以编码为免费午餐，与明显指数昂贵的经典语法编码相反。QNLP任务的量子加速已经在Will Zeng之前的工作中建立。在这里，我们提供了一个更广泛的任务，都享有同样的优势。图解推理是QNLP的核心。首先，量子模型通过范畴量子力学的图解形式将语言解释为量子过程。其次，通过ZX-演算将这些图转化为量子线路。然后，意义的参数化就变成了要学习的回路变量。我们在量子线路中对语言结构的编码也体现了一种建立词义的新方法，这种方法超越了主流人工智能的当前标准，将语言结构置于维特根斯坦意义即语境的核心。
2020-12-07 cs.CL quant-ph
CMSBERT-CLR: Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations
Dongguk University（东国大学）
随着对多模态在线内容的需求不断增长，多模态情感分析已经成为越来越受欢迎的研究领域。对于多模态情感分析，词语可以根据语言上下文和非语言信息而具有不同的含义，因此理解词语的含义是至关重要的。此外，词义的理解应在包含非言语信息的整个话语语境中进行。本文提出了一种基于对比学习的语境驱动的语言、视觉、听觉表征的模态转换BERT（CMSBERT-STABILITY）方法，该方法通过对比学习整合了整个语境中的非言语和言语信息，从而更有效地调整了模态。首先，我们介绍了一种语境驱动的情态转换（CMS），将非言语信息和言语信息整合到句子话语的整个语境中。然后，为了改善在一个共同的嵌入空间内的不同模态的对齐，我们应用对比学习。此外，我们使用指数移动平均参数和标签平滑作为优化策略，这可以使网络的收敛更稳定，增加对齐的灵活性。在我们的实验中，我们证明了我们的方法达到了最先进的结果。
2022-08-21 cs.CL cs.LG cs.SD
How LLMs Comprehend Temporal Meaning in Narratives: A Case Study in Cognitive Evaluation of LLMs
University of Minnesota（明尼苏达大学）；Hamline University（哈姆林大学）；University of Wisconsin-Stout（威斯康星州立大学斯托特分校）
本研究通过实验发现，大语言模型在处理叙述中的时间意义时，过度依赖原型性，导致不一致的判断和因果推理困难，表明其与人类在理解叙述方面存在根本差异。
2025-07-18 cs.CL
Social Meme-ing: Measuring Linguistic Variation in Memes
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
本文构建多模态计算流水线，将Reddit上的迷因聚类为模板和语义变量，发布380万图像的SemanticMemes数据集，发现子版块间迷因使用存在社会变异，且创新与涵化模式与书面语言研究一致。
2023-11-15 cs.CL
Talking with Language Models
University of Oxford（牛津大学）；Magdalen College, Oxford（牛津大学莫德林学院）；University of Missouri（密苏里大学）；University of Hong Kong（香港大学）
本文提出“人工制品立场”框架，重新定义人机交互为候选文本交换，指出LLM并非对话者，从而消解相关哲学难题，并强调设计、采用与使用的规范性基础。
2026-10-08 cs.AI cs.CL cs.CY
Does injecting linguistic structure into language models lead to better alignment with brain recordings?
University of Copenhagen（哥本哈根大学）；Carnegie Mellon University（卡内基梅隆大学）
神经科学家评估了用于自然语言处理的深度神经网络，作为语言在大脑中如何处理的可能候选模型。这些模型通常在没有明确的语言监督的情况下进行训练，但是已经显示出在没有这种监督的情况下学习一些语言结构（Manning等人，2020），可能质疑符号语言学理论在建模这种认知过程中的相关性（Warstadt和Bowman，2020）。我们在两个fMRI数据集上评估语言模型是否与大脑记录更好地对齐，如果他们的注意力被句法或语义形式主义的注释所偏见。使用依赖结构或最小递归语义注释，我们发现其中一个数据集的对齐显着改善。对于另一个数据集，我们看到了更多的混合结果。我们提出了一个广泛的分析这些结果。我们提出的方法能够评估关于大脑中意义组成的更有针对性的假设，扩大神经科学家可能做出的科学推断的范围，并为计算神经科学和语言学之间的交叉授粉开辟了新的机会。
2021-01-29 cs.AI cs.CL
Conceptual Networks for Cross-Linguistic Idiomatic Expressions: A Feature-Based Graph Approach
University of Eastern Finland（东芬兰大学）；Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
该研究提出基于网络的框架表示八种语言的习语和比喻意义，用概念特征注释构建加权图，通过社区检测发现习语按概念模式聚类，网络能捕获独特语义信息，跨语言转移实验有提升，消融研究表明多特征维度有贡献，提供了可解释的习语意义表示。
2026-07-14 cs.AI cs.CL cs.ET
Formalizing Style in Personal Narratives
Université Paris-Saclay, CNRS, ENS Paris-Saclay, LMF（巴黎-萨克雷大学、法国国家科学研究中心、巴黎-萨克雷高等师范学校、数学与形式化方法实验室）；Université Paris-Saclay, CNRS, LISN（巴黎-萨克雷大学、法国国家科学研究中心、计算机科学跨学科数字科学实验室）
提出一个整合功能语言学、计算机科学与心理学的框架，将个人叙事中的风格形式化为语言选择模式，并通过对梦境叙事的案例研究揭示了语言选择与心理状态的关系。
2025-10-13 cs.AI cs.CL
Linguistic Structure as Composition and Perturbation
本文讨论了从未经处理的文本和语音信号中学习语言的问题，重点讨论了学习词汇的问题。特别是，它认为语言的表示，其中语言参数，如单词是通过扰动现有参数的组成。在文本分割和压缩，从原始语音的词典的收购，以及收购文本和人工表示的意义之间的映射的几个例子证明了这种表示的力量。
1996-06-21 cmp-lg cs.CL
Investigating Lexical Change through Cross-Linguistic Colexification Patterns
本研究运用系统发育比较模型分析三个语系的词典数据，发现概念关联性、借用倾向和使用频率影响同词化模式，且语系间存在差异。
2025-10-15 cs.CL
Types and forgetfulness in categorical linguistics and quantum mechanics
类型的意义范畴模型的作用进行了研究。一个一般的计划，如何类型模型的意义可以用来比较句子，无论其语法结构的描述，和一个玩具的例子是作为一个说明。作为一个出发点的问题，这样一个类型系统的评估是否“丢失信息”，我们认为参数化的类型与连接词从这个角度来看。这个问题的答案意味着，在意义的完全范畴模型中，与类型相关的对象必须表现出一种简单但微妙的范畴属性，称为自相似性。我们调查这背后的范畴理论，明确提到类型系统，和他们的monoidal封闭结构。然后，我们证明了这种自相似结构和匕首Frobenius代数之间的密切联系。特别是，我们表明，所隐含的多态类型的连接词的范畴结构产生一个（宽松的无单位）形式的特殊形式的Frobenius代数被称为经典结构，大量使用的抽象范畴方法量子力学。
2013-03-13 cs.CL math.CT quant-ph
The Spatial Semantics of Iconic Gesture
Goethe University Frankfurt（法兰克福歌德大学）
本文提出了一种空间手势语义学，通过区分图标性三个层面，探讨手势与言语意义的结合方式。
2025-12-11 cs.CL
Do Language Models Associate Sound with Meaning? A Multimodal Study of Sound Symbolism
Yonsei University（延世大学）；Seoul National University（首尔国立大学）；Korea University（韩国大学）
研究语言模型在多模态输入中对声音象征性的处理，通过分析不同语义维度下的音节注意力分数，揭示模型对声音与意义关联的理解机制。
2026-03-19 cs.CL
ChronoLens: Measuring Language Change Across Time, Languages, and Linguistic Levels
ChronoLens框架结合多语言模型等技术，分析1803-2026年五议会传统的海量文本，揭示同语言内各语言层面变化幅度相当、不同语言变化轨迹有差异，为跨语言历史语言变化研究提供方法。
2026-08-05 cs.AI cs.CL
From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought
MIT（麻省理工学院）；Stanford（斯坦福大学）
提出理性意义构建框架，结合大语言模型与概率程序，将自然语言翻译为概率语言思维，实现语言引导的类人常识推理与世界建模。
2023-06-23 cs.AI cs.CL cs.SC
Scale, Drivers, and Limits of Representational Alignment Across Large Language Models
University of California, San Diego（加利福尼亚大学圣迭戈分校）
该研究针对大型语言模型的表征对齐问题，提出NW-RSA与CF-RSA方法，发现模型粗粒度几何对齐强但局部邻域分歧大，逻辑范围变化对对齐影响最显著，修正了表征普遍性的相关结论。
2026-10-14 cs.AI cs.CL
Plurality and Quantification in Graph Representation of Meaning
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
在这篇论文中，我们提出了一种基于有向图的语义表示形式，并探讨了它在复数和量化语义方面的语言充分性和解释优势。我们的图形语言涵盖了自然语言语义的要点，只使用一元二阶变量。我们定义其模型理论的解释，在图遍历，其中的相对范围的变量从他们的估值顺序。我们提出了一个基于统一的机制，在一个简单的语法语义接口，语法作为一个分区功能的话语所指的是实现与范畴语法之间建立一个部分确定性的关系语义和句法分布的语义图。该机制是自动化的，以方便未来的探索。本图形式主义适用于语言问题的分配谓词，跨范畴的连接，和范围置换的量化表达式，包括不确定的例外范围行为。
2021-12-13 cs.CL
Understanding Social Media Cross-Modality Discourse in Linguistic Space
The Hong Kong Polytechnic University（香港理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
带有文本和图像的多媒体通信在社交媒体上很受欢迎。然而，有限的研究关注如何图像与文本的结构，形成连贯的意义在人类认知。为了填补这一空白，我们提出了一个新的跨模态话语的概念，反映了人类读者如何耦合图像和文本的理解。在多媒体环境中，文本描述首先来自图像（称为字幕）。五个标签-实体级插入，投影和具体化和场景级重述和扩展-进一步被用来塑造字幕和文本的结构，并呈现它们的联合意义。作为试点研究，我们还建立了第一个包含16 K多媒体推文的数据集，其中包含手动注释的话语标签。实验结果表明，基于带字幕的多头注意力的多媒体编码器能够获得较好的编码效果。
2023-02-26 cs.CL cs.MM cs.SI
Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation
University of Oxford（牛津大学）
本文提出语义熵方法，利用语言不变性解决自然语言生成中的语义等价问题，以无监督方式在单一模型上更准确地估计问答任务中的模型不确定性。
2023-04-15 cs.AI cs.CL cs.LG
Minimum Description Length and Compositionality
我们提出了一个非空洞的组合性的定义。它基于最小描述长度原则与组合性的原始定义（即整体的意义是部分意义的函数）相结合的思想。新的定义是直观的，并允许我们区分组合和非组合语义，以及惯用和非惯用表达式。它不是特别的，因为它没有对意义函数的非内在属性（如多项式）进行任何引用。此外，它允许我们比较不同的意义功能，就如何组成它们。它将语言学和基于语料库的统计方法与自然语言理解联系起来。
2000-01-04 cs.AI cs.CL
Evaluating the Effect of Linguistic Relatedness on Cross-Lingual Transfer in Large Multilingual Automatic Speech Recognition
Princeton University（普林斯顿大学）；Maseno University（马塞诺大学）
研究在大型多语言自动语音识别中，通过系统实验设计，探讨语言相关性能否可靠预测跨语言迁移增益，发现仅语言相关性难以有效促进跨语言迁移。
2026-07-28 cs.AI cs.CL
Analogs of Linguistic Structure in Deep Representations
University of California, Berkeley（加州大学伯克利分校）
我们研究了由在通信游戏上训练的深度网络计算的消息向量的组成结构。通过比较编码器产生的消息向量的真值条件表示与人类产生的指称表达，我们能够识别具有相同含义的对齐（向量，话语）对。然后，我们搜索这些对齐对之间的结构化关系，以发现对应于否定、合取和析取的简单向量空间变换。我们的研究结果表明，神经表征能够自发地发展一种“句法”，其功能类似于自然语言的定性性质。
2017-07-25 cs.CL cs.NE
Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
HEC Montréal（蒙特利尔高等商学院）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
该研究提出句法与语义自举均依赖联合学习策略，通过视觉锚定语法归纳模型验证同时学习二者时自举效应最强，为认知科学与AI的语言习得研究提供了新方向。
2024-06-17 cs.CL
Bridging Linguistic Structure and Mechanistic Interpretability for Conceptual Interpretation in Language Models
CRUK National Biomarker Centre（英国癌症研究中心国家生物标志物中心）；University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
该研究提出DSRA方法，结合因果追踪与定义性语义角色，在GPT-J-6B和BERTIN GPT-J-6B中揭示语言模型内部激活与定义结构的系统对应，为概念解释研究提供新路径。
2026-08-25 cs.CL
Type-theoretical natural language semantics: on the system F for meaning assembly
IRIT（图卢兹计算机研究所）；UPS（图卢兹第三大学）；LaBRI（波尔多计算机研究实验室）；Université de Bordeaux（波尔多大学）
本文提出并扩展了我们的类型理论框架的组成治疗的自然语言语义与一些词汇功能，如touchons（例如，一个城镇到一个足球俱乐部）和copredication（例如，在一个城镇作为一组人和作为一个位置）。二阶类型λ演算被证明是一个很好的框架，在这里我们讨论如何引入预定义类型和强制子类型，这比内部编码的类似结构更自然。这些新特征的语言应用也举例说明。
2013-03-12 cs.CL cs.LO math.LO
A Formal Look at Dependency Grammars and Phrase-Structure Grammars, with Special Consideration of Word-Order Phenomena
词汇在意义语篇理论和其他依赖性语言学理论中的核心作用在基于上下文无关语法的语言学理论中是不可复制的。我们描述树邻接语法（TAG）作为一个系统，自然出现在词汇化的过程中的CFGs。因此，TAG语法可以直接与意义文本模型（MTM）进行比较。我们说明了这一点，通过讨论某些非投射结构的计算复杂性，并提出了一种方法，将局部的词序定义到表面的语法组件MTT。
1994-10-18 cmp-lg cs.CL
Trajectory Prediction with Linguistic Representations
Toyota Research Institute（丰田研究院）
语言使人类能够建立心理模型，解释周围发生的事情，从而做出更准确的长期预测。我们提出了一种新的轨迹预测模型，该模型使用语言中间表示来预测轨迹，并使用带有部分注释标题的轨迹样本进行训练。该模型学习每个单词的含义，而无需直接进行单词监督。在推理时，它生成轨迹的语言描述，该轨迹在延长的时间间隔内捕获机动和交互。该生成的描述用于细化多个代理的轨迹的预测。我们训练和验证我们的模型上的Argoverse数据集，并证明提高精度的结果，在轨迹预测。此外，我们的模型更具可解释性：它以简单的语言将其部分推理作为标题呈现，这可以帮助模型开发，并可以在部署模型之前帮助建立对模型的信心。
2022-03-09 cs.AI cs.CL cs.LG
SCRIBE: Scalable Contextual Representations of Interpretable Brain-Grounded Semantics
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）
本研究提出基于神经科学语义空间的SCRIBE框架，其可生成可解释词级语义表示，在行为与脑成像实验中表现优于非上下文表示，为大脑自然语言语义研究提供了可扩展基础。
2026-10-16 cs.AI cs.CL
Advancing the Database of Cross-Linguistic Colexifications with New Workflows and Data
Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）；University of Passau（帕绍大学）
本文介绍新版跨语言同词化数据库，通过改进数据处理、筛选与呈现工作流，提升了语系覆盖均衡性与数据质量，为语言类型学、历史语言学、心理语言学及计算语言学等领域的开放问题研究提供新资源。
2025-08-21 cs.CL cs.DB
Virtual Embodiment: A Scalable Long-Term Strategy for Artificial Intelligence Research
Facebook AI Research（Facebook AI 研究院）；University of Cambridge（剑桥大学）
从语言学到哲学、心理学和神经科学，意义一直被称为各种科学学科的“圣杯”。人工智能（AI）领域在很大程度上是这一清单的一部分：复杂的自然语言语义的发展是实现与人类相当的智能水平的必要条件。认知科学中的具身性理论认为，人类的语义表征依赖于感觉-运动经验;大量证据表明，人类的意义表征是基于对物理现实的感知，这导致了意义必须依赖于多种（感知）模态的融合的结论。尽管如此，人工智能研究，特别是计算语言学和计算机视觉等子学科，主要集中在涉及单一模态的任务上。在这里，我们提出虚拟体现作为人工智能研究的一种替代的长期策略，这种策略本质上是多模态的，并且允许以一种道德上负责的方式连贯和渐进地开发该领域所需的可扩展性。
2016-10-24 cs.AI cs.CL cs.CV
Do LLMs differentiate linguistic traits internally?: A layer-wise analysis
本研究通过分层分析Llama-3.2-1B和Gemma-3-1B-PT模型，发现同等规模的LLM内部组织语言信息的方式存在根本差异，需关注其内部表征几何与语义空间对齐。
2026-10-14 cs.CL
Distributional Semantics and Linguistic Theory
Universitat Pompeu Fabra（庞培法布拉大学）；Catalan Institution for Research and Advanced Studies (ICREA)（加泰罗尼亚高等研究院）
分布语义学提供了多维的，分级的，经验诱导的词表示，成功地捕捉了自然语言中的许多方面的意义，如在计算语言学的大量工作所示，但它在理论语言学的影响迄今为止是有限的。这篇评论提供了一个重要的讨论的文献分布语义学，强调的方法和结果，是相关的理论语言学，在三个领域：语义变化，一词多义和组成，和语法语义接口（具体来说，接口的语义与句法和派生形态）。该评论旨在促进语言的理论和计算方法的更大的交叉施肥，作为一种手段，以提高我们对语言如何工作的集体知识。
2020-03-18 cs.CL
Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich, Germany（慕尼黑大学, 德国）
本研究通过结合最小对比对和诊断性探测的神经语言学方法，调查了大型语言模型在形式与含义上的表现与能力差异，发现两者存在明显区别，并引入了新的中文和德文数据集。
2025-07-12 cs.CL
Pre-training Universal Language Representation
Shanghai Jiao Tong University（上海交通大学）
尽管语言的表示学习已经发展得相当成熟，但大多数语言表示模型通常只关注语言单位的特定层次。这项工作介绍了通用语言表示学习，即，在统一的向量空间中嵌入不同层次的语言单位或具有不同长度的文本。我们提出的训练目标MiSAD，利用有意义的n-gram提取大型未标记的语料库，通过一个简单但有效的算法预训练语言模型。通过实验验证了设计良好的预训练方案可以有效地产生通用的语言表示，这将为统一处理多层语言对象带来极大的便利。特别是，我们的模型在不同语言水平的类比任务上达到了最高的准确率，并显着提高了GLUE基准测试和问答数据集的下游任务的性能。
2021-05-30 cs.AI cs.CL
Exploiting Context to Identify Lexical Atoms -- A Statistical View of Linguistic Context
自然语言的解释本质上是上下文敏感的。自然语言中的大多数单词都是模糊的，它们的含义严重依赖于它们使用的语言背景。词汇语义的研究离不开语境的概念。本文从语境的角度对词汇语义学进行了研究，探讨了词汇原子或“粘滞性”短语（如“热狗”）的语境。由于这些词汇原子可能经常出现在不受限制的自然语言文本中，因此识别它们对于理解自然发生的文本至关重要。本文提出了几种启发式的方法，利用语言的背景，以确定词汇原子从任意的自然语言文本。
1997-01-02 cmp-lg cs.CL
I Spy a Metaphor: Large Language Models and Diffusion Models Co-Create Visual Metaphors
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出从语言隐喻生成视觉隐喻的任务，利用思维链提示的 LLM 生成视觉化细化描述，再由扩散模型成像，并通过人机协作构建数据集与双重评估验证效果。
2023-07-14 cs.AI cs.CL cs.CV
Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning
Computational Story Lab（计算故事实验室）；Vermont Complex Systems Institute（佛蒙特复杂系统研究所）；University of Vermont（佛蒙特大学）；Department of Computer Science（计算机科学系）；St. Michael’s College（圣米歇尔学院）；Communication Media and Marginalization Lab（传播媒体与边缘化实验室）；Northeastern University（东北大学）；Department of Mathematics & Statistics（数学与统计学系）
研究探讨大语言模型中令牌化对认知的影响，指出分布假说足以实现人类样语言性能，并提出改进令牌化技术以减少偏见和提升语义理解。
2026-07-21 cs.AI cs.CL
