Princeton University（普林斯顿大学）

When can in-context learning generalize out of task distribution?

在什么情况下上下文学习可以泛化到任务分布之外？

Chase Goddard, Lindsay M. Smith, Vudtiwat Ngampruetikorn, David J. Schwab

机构 * Princeton University（普林斯顿大学） ； University of Sydney（悉尼大学） ； The Graduate Center, CUNY（纽约大学研究生中心） 纠错

AI总结 研究探讨了预训练分布中任务多样性的变化如何影响转换器模型在不同任务分布上的泛化能力，揭示了ICL从专门化到泛化出分布的相变机制。

Comments ICML 2025

Journal ref Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:19585-19599, 2025