A Unified Study of LoRA Variants: Taxonomy, Review, Codebase, and Empirical Evaluation
LoRA变体的统一研究:分类、综述、代码库和实证评估
机构 * Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) ; University of Science and Technology of China(中国科学技术大学) ; Fudan University(复旦大学) ; The Chinese University of Hong Kong(香港中文大学) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
AI总结 本文系统研究了LoRA变体,通过分类、理论综述、代码库和实证评估,揭示了LoRA及其变体对学习率的敏感性,并展示了其在多种任务中的性能优势。
Comments Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence, Under Review