University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）

SFT Doesn't Always Hurt General Capabilities: Revisiting Domain-Specific Fine-Tuning in LLMs

SFT并不总是损害通用能力：重新审视LLM中的领域特定微调

Jiacheng Lin, Zhongruo Wang, Kun Qian, Tian Wang, Arvind Srinivasan, Hansi Zeng, Ruochen Jiao, Xie Zhou, Jiri Gesi, Dakuo Wang, Yufan Guo, Kai Zhong, Weiqi Zhang, Sujay Sanghavi, Changyou Chen, Hyokun Yun, Lihong Li

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University at Buffalo（布法罗大学） ； Northeastern University（东北大学） 纠错

AI总结 本文研究了SFT对LLM通用能力的影响，发现较小学习率可缓解性能下降，提出TALR方法在平衡领域特定性能与通用能力方面表现优异。

Comments Accepted by ICLR 2026