Diyi Yang

Relative Scaling Laws for LLMs

大语言模型的相对扩展定律

William Held, David Hall, Percy Liang, Diyi Yang

机构 * Stanford University（斯坦福大学） ； OpenAthena（开放阿塔纳） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 本研究提出相对扩展定律，通过分析不同测试分布在规模变化下的性能差异，揭示大语言模型在扩展过程中并非普遍均衡器，强调了鲁棒性挑战的重要性。