A Simple Generalisation of the Implicit Dynamics of In-Context Learning
一种隐式动态的简单扩展:上下文学习
机构 * MRC Brain Network Dynamics Unit, University of Oxford, UK(牛津大学MRC脑网络动力学单元) ; MRC CoRE in Restorative Neural Dynamics, UK(英国MRC修复神经动力学中心) ; University of Sussex, Brighton, UK(苏塞克斯大学) ; University Mohammed VI Polytechnic, College of Computing, Rabat, Morocco(摩洛哥穆莱·易斯六世polytechnic大学计算学院)
AI总结 本文提出了一种扩展的上下文学习隐式动态理论,适用于更广泛的序列位置和变换器块,并通过实验验证了其在不同令牌间的隐式更新关系。
Comments 18 pages, 9 figures