TRA: Better Length Generalisation with Threshold Relative Attention
机构 * University of Edinburgh(爱丁堡大学) ; Microsoft Research(微软研究院) ; Johns Hopkins University(约翰霍普金斯大学)
高校专区
机构 * University of Edinburgh(爱丁堡大学) ; Microsoft Research(微软研究院) ; Johns Hopkins University(约翰霍普金斯大学)
机构 * Massachusetts Institute of Technology(麻省理工学院) ; Harvard University(哈佛大学) ; Johns Hopkins University(约翰霍普金斯大学) ; Brown University(布朗大学)
Comments 8 pages, 7 figures
机构 * Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系) ; Faculty of Information Technology, Brno University of Technology(布拉格技术大学信息科技学院) ; Human Language Technology Center of Excellence, Johns Hopkins University(约翰霍普金斯大学人机语言技术中心卓越中心)
机构 * HKUST(香港科技大学) ; Microsoft Research Asia(微软亚洲研究院) ; Duke University(杜克大学) ; Northwestern University(西北大学) ; Johns Hopkins University(约翰霍普金斯大学) ; Microsoft(微软)
机构 * Department of Chemical and Biomolecular Engineering(化学与生物分子工程系) ; Johns Hopkins University(约翰·霍普金斯大学) ; Department of Applied Mathematics and Statistics(应用数学与统计学系) ; Microsoft Azure Quantum(微软Azure量子)