On the Smallness of the Large Language Models Scaling Exponents
论大型语言模型缩放指数的小值问题
机构 * Italian Institute of Technology(意大利理工学院) ; PoreLab, Physics Department, Norwegian University of Science and Technology(挪威科技大学物理系PoreLab实验室) ; Centre for Computational Science, Chemistry Department, University College of London(伦敦大学学院化学系计算科学中心)
专题命中 其他LLM :large language model(title,abstract);language model(title,abstract);LLM(summary_cn,abstract_cn);分类 cs.AI
AI总结 本文讨论当前LLM缩放指数小导致能源不可持续的问题,指出忽略无限数据下损失函数非零的“基座效应”无法解决该问题,并基于流体湍流现象学模型类比数据平滑性对缩放指数的影响。
Comments 11 pages, 2 figures