ICML

When can in-context learning generalize out of task distribution?

在什么情况下上下文学习可以泛化到任务分布之外？

Chase Goddard, Lindsay M. Smith, Vudtiwat Ngampruetikorn, David J. Schwab

机构 * Princeton University（普林斯顿大学） ； University of Sydney（悉尼大学） ； The Graduate Center, CUNY（纽约大学研究生中心） 纠错

AI总结 研究探讨了预训练分布中任务多样性的变化如何影响转换器模型在不同任务分布上的泛化能力，揭示了ICL从专门化到泛化出分布的相变机制。

Comments ICML 2025

Journal ref Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:19585-19599, 2025

Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization

通过贪心递增分歧最小化调整序列蒙特卡罗采样器

Kyurae Kim, Zuheng Xu, Jacob R. Gardner, Trevor Campbell

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

AI总结 本文提出了一种通过最小化递增KL分歧来调整SMC采样器马尔可夫核的通用框架，适用于Langevin Monte Carlo等内核，并展示了其在调节动能LMC中的应用。

Comments Accepted to ICML'25; v4, v5: fixed typos; v6: fixed missing log in display after Eq (8)