Princeton University（普林斯顿大学）

Learning What to Remember: Test-Time Training via Context Distillation

学习该记住什么：基于上下文蒸馏的测试时训练

Zixuan Wang, Xingyu Dang, Rui-Jie Zhu, Zixin Wen, Hengyu Fu, Wenhao Chai, Jason D. Lee

机构 * Princeton University（普林斯顿大学） ； UC Berkeley（加州大学伯克利分校） ； UC Santa Cruz（加州大学圣克鲁兹分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 该研究针对现有测试时训练未考虑保留信息未来效用的问题，提出TTCD框架及IP-TTCD变体，实验显示其在长上下文语言建模任务中性能优于多个基准方法，可助力架构持续学习。