Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
低秩曲率用于大语言模型微调中的零阶优化
机构 * University of Wisconsin – Madison（威斯康星大学麦迪逊分校） ； University of Georgia（佐治亚大学） ； Hanyang University（翰阳大学）
AI总结 提出LOREN方法，通过低秩块对角预条件器捕捉曲率并利用REINFORCE留一法梯度估计器降低方差，在LLM微调中实现更高精度和更快收敛，同时峰值内存使用降低27.3%。
Comments Accepted to the AAAI Conference on Artificial Intelligence (AAAI-2026)
