What Affects the Effective Depth of Large Language Models?
影响大语言模型有效深度的因素是什么?
机构 * Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学) ; Department of Computer Science, Massachusetts Institute of Technology(计算机科学系,麻省理工学院)
专题命中 其他推理 :reasoning(abstract);CoT(abstract);分类 cs.CL
AI总结 研究发现大语言模型的有效深度受模型规模、训练类型和任务难度影响,且有效深度比例稳定,提示需提升层利用率、模型剪枝和提前退出技术。