Relational reasoning and inductive bias in transformers and large language models
变换器中的关系推理与归纳偏置
机构 * Imperial College London(帝国理工学院伦敦分校) ; Google(谷歌) ; DeepMind(深度Mind) ; Columbia University(哥伦比亚大学)
专题命中 其他推理 :reasoning(title,abstract);分类 cs.LG
AI总结 本文研究了变换器和大语言模型在关系推理中的表现,比较了基于权重学习和上下文学习的机制,发现基于权重学习的模型能进行传递推理,而基于上下文学习的模型则依赖训练数据进行传递推理,预训练可使上下文学习模型更接近权重学习模型。
Comments 15 pages, 10 figures