LSTM-based recurrent neural networks are the state-of-the-art for many natural language processing (NLP) tasks. Despite their performance, it is unclear whether, or how, LSTMs learn structural features of natural languages such as subject-verb number agreement in English. Lacking this understanding, the generality of LSTM performance on this task and their suitability for related tasks remains uncertain. Further, errors cannot be properly attributed to a lack of structural capability, training data omissions, or other exceptional faults. We introduce *influence paths*, a causal account of structural properties as carried by paths across gates and neurons of a recurrent neural network. The approach refines the notion of influence (the subject's grammatical number has influence on the grammatical number of the subsequent verb) into a set of gate or neuron-level paths. The set localizes and segments the concept (e.g., subject-verb agreement), its constituent elements (e.g., the subject), and related or interfering elements (e.g., attractors). We exemplify the methodology on a widely-studied multi-layer LSTM language model, demonstrating its accounting for subject-verb number agreement. The results offer both a finer and a more complete view of an LSTM's handling of this structural aspect of the English language than prior results based on diagnostic classifiers and ablation.
Attribution Analysis of Grammatical Dependencies in LSTMs
Yale University（耶鲁大学）
LSTM语言模型已被证明可以捕获语法敏感的语法依赖关系，例如具有高度准确性的主语-动词一致性（Linzen et al.，2016年，除其他外）。然而，问题仍然存在，他们是否使用虚假的相关性，或者他们是否真的能够匹配动词与他们的主题。本文支持后一种假设。使用逐层相关性传播（Bach等人，2015），一种量化输入特征对模型行为的贡献的技术，我们表明LSTM在数字一致性上的表现与模型区分主题和其他名词的能力直接相关。我们的研究结果表明，LSTM语言模型能够推断出语法依赖关系的鲁棒表示。
Neural language modeling of free word order argument structure
Columbia University（哥伦比亚大学）；Inria（法国国家信息与自动化研究所）；ENS/CNRS/EHESS/Inria（巴黎高等师范学院/法国国家科学研究中心/巴黎高等社会科学研究学校/法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
Can RNNs learn Recursive Nested Subject-Verb Agreements?
Cognitive Neuroimaging Unit（认知神经影像单元）；NeuroSpin center（NeuroSpin中心）；Facebook AI Research（脸书人工智能研究院）；Laboratoire des systèmes perceptif（感知系统实验室）；École normale supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Université Paris Diderot（巴黎第七大学）；Collège De France（法兰西公学院）
Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；UC Irvine（加州大学欧文分校）；IBM Research（IBM研究院）；Amazon AI（亚马逊人工智能）
人类可以从最少的经验中学习一个词的结构属性，并在不同的语法上下文中统一部署他们学习的句法表示。我们评估了现代神经语言模型在英语中再现这种行为的能力，并评估了结构监督对学习结果的影响。首先，我们通过开发控制实验来评估少样本学习能力，该实验探测模型的句法名义数和言语论元结构概括，用于在训练过程中只看到两次的标记。其次，我们评估了学习表征的不变性：模型从基本上下文（例如，简单的陈述性主动语态句子）到变换的上下文（例如，疑问句）。我们测试了在同一数据集上训练的四个模型：一个n-gram基线，一个LSTM，以及两个用显式结构监督训练的LSTM变体（Dyer et al.，2016; Charniak等人，2016）。我们发现，在大多数情况下，神经模型能够在最小的暴露后诱导出正确的语法概括，通常在训练过程中只使用两个示例，并且这两个结构监督模型比LSTM模型更准确地概括。所有的神经模型都能够利用在基本上下文中学习到的信息来驱动转换后的上下文中的期望，这表明它们已经学习了语法的一些不变性。
Structural Supervision Improves Learning of Non-Local Grammatical Dependencies
Harvard University（哈佛大学）；MIT（麻省理工学院）；UC Irvine（加州大学欧文分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在大型语料库上训练的最先进的LSTM语言模型以令人印象深刻的细节学习顺序偶然性，并已被证明获得了一些非局部语法依赖，并取得了一些成功。在这里，我们调查是否监督与层次结构增强学习的一系列语法依赖关系，以前只针对主谓一致的问题。使用来自心理语言学的受控实验方法，我们比较了基于单词的LSTM模型与两种表示层次结构并将其部署在从左到右处理中的模型的性能：递归神经网络语法（RNNG）（Dyer et al.，2016）和Chariak等人的Parsing-as-Question-Modeling配置的增量版本，（2016年）。模型在不同的配置范围内进行了测试，两类非本地语法依赖英语-负极性许可和填料-差距的依赖。使用相同的训练数据跨模型，我们发现结构监督模型优于LSTM，RNNG在两种类型的语法依赖关系上都表现出最佳结果，甚至学习了许多关于填充-间隙依赖关系的岛屿约束。因此，结构监督在获取关于非局部语法依赖性的类人概括方面提供了优于神经语言模型的纯基于字符串的训练的数据效率优势。
Multilingual Dyadic Interaction Corpus NoXi+J: Toward Understanding Asian-European Non-verbal Cultural Characteristics and their Influences on Engagement
University of Augsburg（奥格斯堡大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
