Anthropic

Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention

为什么更大的模型学习得更多：容量、干扰和稀有任务保留的影响

Jing Huang, Daniel Wurgaft, Rachit Bansal, Laura Ruis, Naomi Saphra, David Alvarez-Melis, Andrew Kyle Lampinen, Christopher Potts, Ekdeep Singh Lubana

机构 * Stanford University（斯坦福大学） ； Kempner Institute at Harvard University（哈佛大学凯普纳研究所） ； MIT（麻省理工学院） ； Anthropic 纠错

AI总结 通过理论分析和合成实验，研究模型规模对学习能力的影响，发现更大模型通过减少梯度干扰来学习稀有和复杂任务，并在OLMo模型上验证。