Learning Inductive Biases with Simple Neural Networks
New York University（纽约大学）
Reuben Feinman, Brenden M. Lake
备注：
Published in Proceedings of the 40th Annual Meeting of the Cognitive Science Society, July 2018
发表信息：
Feinman, R. and Lake, B.M. (2018). Learning inductive biases with simple neural networks. In Proceedings of the 40th Annual Meeting of the Cognitive Science Society
人们利用丰富的先验知识来有效地学习新概念。这些先验-也称为“归纳偏差”-属于学习者考虑的内部模型空间，它们帮助学习者做出超越观察数据的推断。最近的一项研究发现，针对对象识别优化的深度神经网络产生了形状偏差（Ritter et al.，2017年），一个归纳偏见所拥有的儿童，在早期的文字学习中发挥着重要作用。然而，这些网络使用不切实际的大量训练数据，并且这些偏差发展所需的条件还没有得到很好的理解。此外，目前还不清楚这些网络的学习动态如何与儿童的发展过程有关。我们调查的发展和影响的形状偏差在神经网络使用控制数据集的抽象模式和合成图像，使我们能够系统地改变数量和形式的经验提供给学习算法。我们发现，简单的神经网络在看到4个对象类别的3个示例后会产生形状偏好。这些偏见的发展预测了我们网络中词汇加速的开始，与儿童的发展过程一致。
英文摘要：
People use rich prior knowledge about the world in order to efficiently learn new concepts. These priors - also known as "inductive biases" - pertain to the space of internal models considered by a learner, and they help the learner make inferences that go beyond the observed data. A recent study found that deep neural networks optimized for object recognition develop the shape bias (Ritter et al., 2017), an inductive bias possessed by children that plays an important role in early word learning. However, these networks use unrealistically large quantities of training data, and the conditions required for these biases to develop are not well understood. Moreover, it is unclear how the learning dynamics of these networks relate to developmental processes in childhood. We investigate the development and influence of the shape bias in neural networks using controlled datasets of abstract patterns and synthetic images, allowing us to systematically vary the quantity and form of the experience provided to the learning algorithms. We find that simple neural networks develop a shape bias after seeing as few as 3 examples of 4 object categories. The development of these biases predicts the onset of vocabulary acceleration in our networks, consistent with the developmental process in children.
Shaping Shared Languages: Human and Large Language Models' Inductive Biases in Emergent Communication
Leiden Institute of Advanced Computer Science, Leiden University, Netherlands（莱顿高级计算机科学研究所，莱顿大学，荷兰）；School of Computing, University of Kent, United Kingdom（计算学院，肯特大学，英国）；Cognitive Psychology Unit, Institute of Psychology, Leiden, the Netherlands（认知心理学单元，心理学研究所，莱顿，荷兰）
Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination
Mila & Université de Montréal（Mila与蒙特利尔大学）；Noah’s Ark Lab（Noah’s Ark实验室）；Advanced Micro Devices；Chandar Research Lab（Chandar研究实验室）；Polytechnique Montréal（蒙特利尔理工学院）；CIFAR AI Chair（CIFAR人工智能主席）
On the Inductive Bias of Masked Language Modeling: From Statistical to Syntactic Dependencies
Stanford University（斯坦福大学）
我们研究了如何以无监督的方式掩蔽和预测令牌可以产生语言结构和下游性能增益。最近的理论表明，预训练的语言模型通过隐含地充当下游任务的完形填空缩减的掩码来获得有用的归纳偏差。虽然有吸引力，我们表明，在实践中使用的随机掩蔽策略的成功，不能解释这样的完形填空式的面具。我们使用三个不同分类数据集的特定任务词典构建了类似完形填空的掩码，并表明大多数预训练的性能增益来自与词典无关的通用掩码。为了解释这些通用面具的经验成功，我们证明了掩蔽语言模型（MLM）的目标和现有的方法之间的对应关系，学习统计依赖的图形模型。使用此，我们推导出一种方法，用于提取这些学习的统计依赖MLMs，并表明这些依赖编码有用的归纳偏见的形式的句法结构。在无监督解析评估中，简单地在隐含的统计依赖结构上形成最小生成树优于无监督解析的经典方法（58.74 vs. 55.91 UUAS）。
Inductive biases, pretraining and fine-tuning jointly account for brain responses to speech
Facebook AI Research（Facebook AI研究院）；Université de Paris（巴黎大学）；CoML, ENS/CNRS/EHESS/INRIA/PSL University（计算语言学实验室，巴黎高等师范学院/法国国家科学研究中心/法国社会科学高等研究院/法国国家信息与自动化研究所/巴黎文理研究大学）；CRI, Département Frontières du Vivant et de l’Apprendre, IIFR, Université de Paris（认知研究所，生命与学习前沿系，法国医学研究院，巴黎大学）；École normale supérieure, PSL University, CNRS（巴黎高等师范学院，巴黎文理研究大学，法国国家科学研究中心）
