In lexicalist linguistic theories, argument structure is assumed to be predictable from the meaning of verbs. As a result, the verb is the primary determinant of the meaning of a clause. In contrast, construction grammarians propose that argument structure is encoded in constructions (or form-meaning pairs) that are distinct from verbs. Decades of psycholinguistic research have produced substantial empirical evidence in favor of the construction view. Here we adapt several psycholinguistic studies to probe for the existence of argument structure constructions (ASCs) in Transformer-based language models (LMs). First, using a sentence sorting experiment, we find that sentences sharing the same construction are closer in embedding space than sentences sharing the same verb. Furthermore, LMs increasingly prefer grouping by construction with more input data, mirroring the behaviour of non-native language learners. Second, in a "Jabberwocky" priming-based experiment, we find that LMs associate ASCs with meaning, even in semantically nonsensical sentences. Our work offers the first evidence for ASCs in LMs and highlights the potential to devise novel probing methods grounded in psycholinguistic research.
Neural language modeling of free word order argument structure
Columbia University（哥伦比亚大学）；Inria（法国国家信息与自动化研究所）；ENS/CNRS/EHESS/Inria（巴黎高等师范学院/法国国家科学研究中心/巴黎高等社会科学研究学校/法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
Neural Architectures for Open-Type Relation Argument Extraction
Ludwig Maxilian University of Munich（慕尼黑路德维希马克西米利安大学）；University of Cambridge（剑桥大学）
在这项工作中，我们介绍了开放型关系参数提取（ORAE）的任务：给定语料库，查询实体Q和知识库关系（例如，“Q authored notable work with title X”），模型必须从语料库中提取非标准实体类型的参数（不能由标准命名实体标记器提取的实体，例如X：书籍或艺术作品的标题）。获得并发布基于WikiData关系的远程监督数据集以解决该任务。我们开发和比较了广泛的神经模型，这项任务产生了很大的改进，在一个强大的基线与神经问答系统。系统地比较了不同的句子编码架构和答案提取方法的影响。基于门控递归单元的编码器与条件随机场标记器相结合给出了最佳结果。
DeepA2: A Modular Framework for Deep Argument Analysis with Pretrained Neural Text2Text Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Allen Institute for AI（艾伦人工智能研究所）
在本文中，我们提出并实现了一个多维的模块化框架，用于使用当前预训练的语言模型（PTLM）执行深度参数分析（DeepA 2）。ArgumentAnalyst --一个在DeepA 2中建立和训练的T5模型（Raffel et al. 2020）--将推进非正式论证的论证文本重建为有效论证：它插入，例如，遗漏的前提和结论，形式化推理，并连贯地将逻辑重构与源文本联系起来。我们创建了一个用于深度论点分析的合成语料库，并在这个新数据集以及现有数据上评估ArgumentAnalyst，特别是EntailmentBank（Dalvi et al. 2021）。我们的实证研究结果证明了整体框架和突出的优势，模块化设计，特别是它的能力，以模仿既定的解释学（如解释循环），探索模型的不确定性，以应付多个正确的解决方案（欠确定），并利用高阶证据。
