The emergence of number and syntax units in LSTM language models
Cognitive Neuroimaging Unit(认知神经影像研究组);NeuroSpin center(神经自旋中心);Facebook AI Research(Facebook人工智能研究院);ILLC, University of Amsterdam(阿姆斯特丹大学语言、逻辑与计算研究所);Paris(巴黎(此处按要求仅保留机构相关部分,原文本中“Paris, France”作为机构的补充信息,机构本身为Facebook AI Research));Gif-sur-Yvette, France((地址信息,非机构,按要求忽略));Amsterdam, Netherlands((地址信息,非机构,按要求忽略))
Yair Lakretz, German Kruszewski, Theo Desbordes, Dieuwke Hupkes, Stanislas Dehaene, Marco Baroni
备注:
To appear in Proceedings of NAACL, Minneapolis, MN, 2019
Recent work has shown that LSTMs trained on a generic language modeling objective capture syntax-sensitive generalizations such as long-distance number agreement. We have however no mechanistic understanding of how they accomplish this remarkable feat. Some have conjectured it depends on heuristics that do not truly take hierarchical structure into account. We present here a detailed study of the inner mechanics of number tracking in LSTMs at the single neuron level. We discover that long-distance number information is largely managed by two `number units'. Importantly, the behaviour of these units is partially controlled by other units independently shown to track syntactic structure. We conclude that LSTMs are, to some extent, implementing genuinely syntactic processing mechanisms, paving the way to a more general understanding of grammatical encoding in LSTMs.
Language Modeling Teaches You More Syntax than Translation Does: Lessons Learned Through Auxiliary Task Analysis
New York University(纽约大学);Harvard University(哈佛大学)
最近使用辅助预测任务分类器来研究LSTM表示的属性的工作已经开始阐明为什么预训练的表示,如ELMo(Peters et al.,2018)和CoVe(McCann等人,2017),对神经语言理解模型是如此有益。然而,我们仍然没有清楚地了解预训练目标的选择如何影响模型学习的语言信息类型。考虑到这一点,我们比较了四个目标-语言建模,翻译,跳跃思想,和自动编码-对他们的能力,以诱导句法和词性信息。我们通过保持训练数据的数量和类型以及LSTM架构不变来对任务进行公平的比较。我们发现,来自语言模型的表示在我们的句法辅助预测任务中始终表现最好,即使在相对少量的数据上进行训练。这些结果表明,语言建模可能是需要语法信息的迁移学习应用程序的最佳数据丰富的预训练任务。我们还发现,表示从随机初始化,冻结LSTM执行我们的语法辅助任务,但这种效果消失时,辅助任务的训练数据的量减少。
Attribution Analysis of Grammatical Dependencies in LSTMs
Yale University(耶鲁大学)
LSTM语言模型已被证明可以捕获语法敏感的语法依赖关系,例如具有高度准确性的主语-动词一致性(Linzen et al.,2016年,除其他外)。然而,问题仍然存在,他们是否使用虚假的相关性,或者他们是否真的能够匹配动词与他们的主题。本文支持后一种假设。使用逐层相关性传播(Bach等人,2015),一种量化输入特征对模型行为的贡献的技术,我们表明LSTM在数字一致性上的表现与模型区分主题和其他名词的能力直接相关。我们的研究结果表明,LSTM语言模型能够推断出语法依赖关系的鲁棒表示。
Emergence of Phonemic, Syntactic, and Semantic Representations in Artificial Neural Networks
Paris Brain Institute(巴黎脑研究所);Laboratoire de Sciences Cognitives et Psycholinguistique (LSCP)(认知科学与心理语言学实验室);Département d’Etudes Cognitives(认知研究部);École Normale Supérieure PSL University(巴黎高等师范学院);CNRS(国家科学研究中心);Laboratoire des Systèmes Perceptifs(感知系统实验室);Meta AI