Yejin Choi

End-to-End Test-Time Training for Long Context

端到端的测试时间训练用于长上下文

Arnuv Tandon, Karan Dalal, Xinhao Li, Daniel Koceja, Marcel Rød, Sam Buchanan, Xiaolong Wang, Jure Leskovec, Sanmi Koyejo, Tatsunori Hashimoto, Carlos Guestrin, Jed McCaleb, Yejin Choi, Yu Sun

机构 * NVIDIA（NVIDIA公司） ； Stanford University（斯坦福大学） ； UC Berkeley（伯克利大学） ； UC San Diego（圣地亚哥大学） 纠错

AI总结 本文提出了一种端到端的测试时间训练方法，通过在测试时进行token预测和训练时的元学习，实现长上下文处理，具有与完整注意力相同的扩展性但更高效的推理速度。

Comments Code: https://github.com/test-time-training/e2e