Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data
类别先验锁定：为何上下文学习在结构化数据上失败
机构 * University of Insubria（因苏布里亚大学） ； IBM Research Ireland（IBM 爱尔兰研究院）
AI总结 研究大语言模型在结构化数据生成中上下文学习的局限性，发现其无法更新预训练中的类别先验分布，导致罕见类完全无法生成；参数高效微调可解决但带来记忆化风险。
Comments 9 pages, 5 figures. Empirical study of in-context learning and LoRA fine-tuning for synthetic tabular data generation, introducing the phenomenon of categorical prior lock-in. Under review
