Dawn Song

Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT?

攀登推理的阶梯：在SFT之后，大语言模型能解决什么问题？

Yiyou Sun, Georgia Zhou, Haoyue Bai, Hao Wang, Dacheng Li, Nouha Dziri, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Wisconsin, Madison（威斯康星大学麦迪逊分校） ； Allen Institute for AI（人工智能研究院） 纠错

AI总结 本文通过分析AIME24数据集，揭示了大语言模型在数学推理任务中不同难度层级的进阶要求，发现SFT对提升推理能力有限，而扩大数据规模更有效。