To what extent can experience from language contribute to our conceptual knowledge? Computational explorations of this question have shed light on the ability of powerful neural language models (LMs) -- informed solely through text input -- to encode and elicit information about concepts and properties. To extend this line of research, we present a framework that uses neural-network language models (LMs) to perform property induction -- a task in which humans generalize novel property knowledge (has sesamoid bones) from one or more concepts (robins) to others (sparrows, canaries). Patterns of property induction observed in humans have shed considerable light on the nature and organization of human conceptual knowledge. Inspired by this insight, we use our framework to explore the property inductions of LMs, and find that they show an inductive preference to generalize novel properties on the basis of category membership, suggesting the presence of a taxonomic bias in their representations.
Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）；ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Edinburgh（爱丁堡大学）；University of Chinese Academy of Sciences（中国科学院大学）
Dialogue State Induction Using Neural Latent Variable Models
School of Engineering, Westlake University（西湖大学工学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院前沿技术研究所）；Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology（哈尔滨工业大学社会计算与信息检索研究中心）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
Grammar Induction with Neural Language Models: An Unusual Replication
New York University（纽约大学）
最近关于潜在树学习的大量工作尝试开发具有解析值潜在变量的神经网络模型，并在非解析任务上对它们进行训练，希望它们能发现可解释的树结构。在最近的一篇论文中，Shen et al.（2018）介绍了这样一个模型，并报告了语言建模目标任务的最新结果，以及选区解析的第一个强潜在树学习结果。在尝试重现这些结果时，我们发现了使原始结果难以信任的问题，包括调整甚至训练有效的测试集。在这里，我们试图在一个公平的实验中重现这些结果，并将其扩展到两个新的数据集。我们发现这项工作的结果是稳健的：所研究的模型的所有变体都优于所有潜在树学习基线，并且与符号语法归纳系统竞争。我们发现，这个模型代表了第一个经验的成功，潜在树学习，和神经网络语言建模值得进一步研究的语法归纳设置。
The Return of Lexical Dependencies: Neural Lexicalized PCFGs
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
在本文中，我们证明了$\textit{context free grammar (CFG) based methods for grammar induction benefit from modeling lexical dependencies}$。这与当前最流行的语法归纳方法形成对比，该方法专注于发现$\textit{either}$成分$\textit{or}$依赖性。以前的方法来结婚这两个不同的句法形式主义（例如词汇化PCFG）一直困扰着稀疏，使他们不适合无监督语法归纳。然而，在这项工作中，我们提出了新的词汇化PCFG的神经模型，使我们能够克服稀疏性问题，并有效地在一个单一的模型内诱导成分和依赖关系。实验表明，这种统一的框架结果在两个表示比单独建模时实现的形式主义更强的结果。代码可在https://github.com/neulab/neural-lpcfg上获得。
Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution
Samsung Research Center Russia（三星俄罗斯研究中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；HSE University（俄罗斯国立高等经济大学）
