Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data
熵引导的标记丢弃:在有限领域数据下训练自回归语言模型
机构 * Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院) ; Tsinghua University(清华大学) ; WeChat, Tencent(微信、腾讯) ; Department of Data Science, City University of Hong Kong(香港城市大学数据科学系)
专题命中 领域大模型 :language model(title,abstract);large language model(abstract);分类 cs.CL
AI总结 本文提出熵引导的标记丢弃方法,通过正则化优化解决有限领域数据下自回归模型的性能退化问题,实验表明其在多轮训练中表现优异。