Neural language models have achieved state-of-the-art performances on many NLP tasks, and recently have been shown to learn a number of hierarchically-sensitive syntactic dependencies between individual words. However, equally important for language processing is the ability to combine words into phrasal constituents, and use constituent-level features to drive downstream expectations. Here we investigate neural models' ability to represent constituent-level features, using coordinated noun phrases as a case study. We assess whether different neural language models trained on English and French represent phrase-level number and gender features, and use those features to drive downstream expectations. Our results suggest that models use a linear combination of NP constituent number to drive CoordNP/verb number agreement. This behavior is highly regular and even sensitive to local syntactic context, however it differs crucially from observed human behavior. Models have less success with gender agreement. Models trained on large corpora perform best, and there is no obvious advantage for models trained using explicit syntactic supervision.
On the Compositionality Prediction of Noun Phrases using Poincaré Embeddings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）
加法合成（Foltz et al，1998; Landauer and Dumais，1997; Mitchell and Lapata，2010）是一种广泛使用的计算短语含义的方法，它取组成词的向量表示的平均值。在这篇文章中，我们证明了一个上界的偏见的加法组合，这是第一次从机器学习的角度对组合框架的理论分析。的结合是书面的搭配强度，我们证明，更专门的两个连续的单词往往会一起出现，更准确的可以保证其添加剂组成的自然短语向量的近似。我们的证明依赖于经验验证的自然语言数据的属性，并且可以从理论上推导出数据是从分层Pitman-Yor过程生成的假设。该理论认为加法合成是计算短语含义的合理操作，并提出了改进加法合成的方法，包括：通过满足特定条件的函数转换分布式词向量的条目，构造一种新型的向量表示使加法合成对词序敏感，以及利用奇异值分解训练词向量。
Faster Shift-Reduce Constituent Parsing with a Non-Binary, Bottom-Up Strategy
Universidade da Coruña（拉科鲁尼亚大学）
越来越广泛的人工智能应用依赖于句法信息来处理和从自然语言文本或语音中提取含义，成分树是最广泛使用的句法形式主义之一。为了从自然语言的句子中产生这些短语结构表示，移位归约成分分析器已经成为最有效的方法之一。提高其准确性和速度仍然是研究界追求的主要目标之一，以便利用解析输出的人工智能应用程序（如机器翻译或语音助理服务）可以提高其性能。考虑到这一目标，我们在这篇文章中提出了一种新的非二进制移位减少算法的成分分析。我们的解析器遵循经典的自自底向上的【形】的策略，但与其他解析器不同的是，它直接创建非二进制分支，只需一个Reduce转换，而不需要事先进行二进制化或一系列二进制转换，允许其直接应用于任何语言，而不需要进一步的资源，如渗透表。因此，它比现有的基于转换的成分解析器使用更少的转换，成为最快的系统，从而加快下游应用程序。使用静态oracle训练和贪婪搜索，这种新方法的准确性与最先进的基于transition的成分解析器相当，并且优于来自英语Penn Treebank和Penn Chinese Treebank的华尔街日报部分的所有自上而下和自自底向上的【形】的贪婪移位归约系统。此外，我们开发了一个动态的oracle来训练所提出的基于transition的算法，在两个基准测试中都取得了进一步的改进，并在Penn Chinese Treebank中获得了迄今为止最好的准确度。
Parsing All: Syntax and Semantics, Dependencies and Spans
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室（上海交通大学））；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室（上海交通大学人工智能研究院））
