Native speakers can judge whether a sentence is an acceptable instance of their language. Acceptability provides a means of evaluating whether computational language models are processing language in a human-like manner. We test the ability of computational language models, simple language features, and word embeddings to predict native English speakers judgments of acceptability on English-language essays written by non-native speakers. We find that much of the sentence acceptability variance can be captured by a combination of features including misspellings, word order, and word similarity (Pearson's r = 0.494). While predictive neural models fit acceptability judgments well (r = 0.527), we find that a 4-gram model with statistical smoothing is just as good (r = 0.528). Thanks to incorporating a count of misspellings, our 4-gram model surpasses both the previous unsupervised state-of-the art (Lau et al., 2015; r = 0.472), and the average non-expert native speaker (r = 0.46). Our results demonstrate that acceptability is well captured by n-gram statistics and simple language features.
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
本文研究了人工神经网络判断句子语法可接受性的能力，目的是测试他们的语言能力。我们介绍了语言可接受性语料库（Corpus of Linguistic Acceptability，CoLA），这是一套从已发表的语言学文献中标记为语法或不语法的10，657个英语句子。作为基线，我们训练了几个关于可接受性分类的循环神经网络模型，发现我们的模型在CoLA上优于Lau et al（2016）的无监督模型。对具体语法现象的偏误分析表明，Lau et al.的模型和我们的模型学习系统的概括，如主语-动词-宾语顺序。然而，我们测试的所有模型在各种语法结构上的表现都远远低于人类水平。
If Probable, Then Acceptable? Understanding Conditional Acceptability Judgments in Large Language Models
MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning (MCML), Munich（慕尼黑机器学习中心（MCML），慕尼黑）
Linguistic Analysis of Pretrained Sentence Encoders with Acceptability Judgments
New York University（纽约大学）
最近在预训练句子编码器中评估语法知识的工作给出了少量现象的细粒度视图。我们引入了一个新的分析数据集，它也广泛覆盖了语言现象。我们注释了语言可接受性语料库的开发集（CoLA; Warstadt等人，2018年）的存在13类句法现象，包括各种形式的参数交替，运动和修改。我们使用该分析集来调查三个预训练编码器的语法知识：BERT（Devlin等人，2018）、GPT（Radford等人，我们发现这些模型对复杂或非规范的论点结构有很强的控制力，比如双及物动词（Sue gave Dan a book）和被动语态（The book was read）。具有长距离依赖关系的句子，如疑问句（你认为我吃了什么？）挑战所有模型，但对于这些模型，BERT和GPT相对于基线具有明显的优势。我们的结论是，最近的句子编码器，尽管表现出接近人类的性能上的可接受性分类的整体，仍然未能细粒度的语法区分许多复杂的句法结构。
Acceptability Judgements via Examining the Topology of Attention Maps
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；AIRI（AIRI（人工智能研究院））；SberDevices（SberDevices（俄联邦储蓄银行设备公司））；HSE University（高等经济大学）；Huawei Noah’s Ark lab（华为诺亚方舟实验室）；Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；CNRS（法国国家科学研究中心）
本文利用拓扑数据分析提取注意力图的几何特征，用于语法可接受性二元判断和最小对比较，在多语言 CoLA 与 BLiMP 上显著提升性能并达到人类水平。
Revisiting the Uniform Information Density Hypothesis
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；University of Zurich（苏黎世大学）；University of Potsdam（波茨坦大学）；Massachusetts Institute of Technology（麻省理工学院）
Probabilistic Aggregation and Targeted Embedding Optimization for Collective Moral Reasoning in Large Language Models
School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；School of Social Sciences and Technology, Technical University of Munich（社会科学与技术学院，慕尼黑技术大学）
Judge Circuits Explain Format-Induced Inconsistency in LLM-as-a-Judge
Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫茨研究所）；Marburg University（马尔堡大学）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）
What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Legal Syllogism Prompting: Teaching Large Language Models for Legal Judgment Prediction
Peking University Law School（北京大学法学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；PKU-WUHAN Institute for Artificial Intelligence（北大-武汉人工智能研究院）
