LaMPE: Length-aware Multi-grained Positional Encoding for Adaptive Long-context Scaling Without Training
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);pretraining(abstract);分类 cs.CL
Comments 13 pages, 9 figures
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);pretraining(abstract);分类 cs.CL
Comments 13 pages, 9 figures
机构 * Beijing Jiaotong University(北京交通大学)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI
机构 * University of Oxford(牛津大学) ; National University of Singapore(新加坡国立大学) ; Google DeepMind(谷歌DeepMind)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL