Sequential neural networks models are powerful tools in a variety of Natural Language Processing (NLP) tasks. The sequential nature of these models raises the questions: to what extent can these models implicitly learn hierarchical structures typical to human language, and what kind of grammatical phenomena can they acquire?
We focus on the task of agreement prediction in Basque, as a case study for a task that requires implicit understanding of sentence structure and the acquisition of a complex but consistent morphological system. Analyzing experimental results from two syntactic prediction tasks -- verb number prediction and suffix recovery -- we find that sequential models perform worse on agreement prediction in Basque than one might expect on the basis of a previous agreement prediction work in English. Tentative findings based on diagnostic classifiers suggest the network makes use of local heuristics as a proxy for the hierarchical structure of the sentence. We propose the Basque agreement prediction task as challenging benchmark for models that attempt to learn regularities in human language.
Attribution Analysis of Grammatical Dependencies in LSTMs
Yale University（耶鲁大学）
LSTM语言模型已被证明可以捕获语法敏感的语法依赖关系，例如具有高度准确性的主语-动词一致性（Linzen et al.，2016年，除其他外）。然而，问题仍然存在，他们是否使用虚假的相关性，或者他们是否真的能够匹配动词与他们的主题。本文支持后一种假设。使用逐层相关性传播（Bach等人，2015），一种量化输入特征对模型行为的贡献的技术，我们表明LSTM在数字一致性上的表现与模型区分主题和其他名词的能力直接相关。我们的研究结果表明，LSTM语言模型能够推断出语法依赖关系的鲁棒表示。
The emergence of number and syntax units in LSTM language models
Cognitive Neuroimaging Unit（认知神经影像研究组）；NeuroSpin center（神经自旋中心）；Facebook AI Research（Facebook人工智能研究院）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所）；Paris（巴黎（此处按要求仅保留机构相关部分，原文本中“Paris, France”作为机构的补充信息，机构本身为Facebook AI Research））；Gif-sur-Yvette, France（（地址信息，非机构，按要求忽略））；Amsterdam, Netherlands（（地址信息，非机构，按要求忽略））
Structural Supervision Improves Learning of Non-Local Grammatical Dependencies
Harvard University（哈佛大学）；MIT（麻省理工学院）；UC Irvine（加州大学欧文分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在大型语料库上训练的最先进的LSTM语言模型以令人印象深刻的细节学习顺序偶然性，并已被证明获得了一些非局部语法依赖，并取得了一些成功。在这里，我们调查是否监督与层次结构增强学习的一系列语法依赖关系，以前只针对主谓一致的问题。使用来自心理语言学的受控实验方法，我们比较了基于单词的LSTM模型与两种表示层次结构并将其部署在从左到右处理中的模型的性能：递归神经网络语法（RNNG）（Dyer et al.，2016）和Chariak等人的Parsing-as-Question-Modeling配置的增量版本，（2016年）。模型在不同的配置范围内进行了测试，两类非本地语法依赖英语-负极性许可和填料-差距的依赖。使用相同的训练数据跨模型，我们发现结构监督模型优于LSTM，RNNG在两种类型的语法依赖关系上都表现出最佳结果，甚至学习了许多关于填充-间隙依赖关系的岛屿约束。因此，结构监督在获取关于非局部语法依赖性的类人概括方面提供了优于神经语言模型的纯基于字符串的训练的数据效率优势。
Can RNNs learn Recursive Nested Subject-Verb Agreements?
Cognitive Neuroimaging Unit（认知神经影像单元）；NeuroSpin center（NeuroSpin中心）；Facebook AI Research（脸书人工智能研究院）；Laboratoire des systèmes perceptif（感知系统实验室）；École normale supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Université Paris Diderot（巴黎第七大学）；Collège De France（法兰西公学院）
