Expanding before Inferring: Enhancing Factuality in Large Language Models through Premature Layers Interpolation
在推断前扩展:通过提前层插值增强大语言模型的事实性
机构 * Sun Yat-Sen University(中山大学) ; Shenzhen MSU-BIT University(深圳MSU-BIT大学) ; The Hong Kong Polytechnic University(香港理工大学) ; UNSW, Sydney, NSW 2052, Australia(新南威尔士大学) ; Shenzhen Key Laboratory for High Performance Data Mining, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳高性能数据挖掘重点实验室,深圳先进技术研究院,中国科学院)
专题命中 知识编辑与模型理解 :large language model(title,abstract);language model(title,abstract);分类 cs.CL
AI总结 本文提出PLI方法,通过提前层插值提升大语言模型的事实一致性,有效减少幻觉并优于现有方法。