Rethinking Expressivity and Efficiency in Test-Time Training
重新思考测试时训练的表达性与效率
机构 * Fraunhofer IOSB(弗劳恩霍夫IOSB研究所) ; National University of Singapore(新加坡国立大学) ; Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所) ; University of Bonn(波恩大学) ; Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
AI总结 该研究针对测试时训练难以平衡表达性与效率的问题,提出E²-TTT方法,通过推导闭式状态转移实现并行分块训练,在语言建模、上下文检索及长上下文外推任务中表现优异,兼顾性能与训练效率。