Language Generation with Replay: A Learning-Theoretic View of Model Collapse
带重放的语言生成:模型崩溃的学习理论视角
机构 * University of Copenhagen(哥本哈根大学) ; Isara Labs(Isara实验室)
专题命中 预训练与数据 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.LG
AI总结 研究随着前沿大语言模型训练对数据需求增加,生成文本可能重入训练语料库致模型崩溃的问题。通过语言生成极限框架,引入重放对手,刻画重放何时限制生成。
Comments Accepted to ICML 2026