Zhi-Hua Zhou

TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree

TreeLoRA：通过层级梯度相似性树引导的逐层LoRA实现高效持续学习

Yu-Yang Qian, Yuan-Ze Xu, Zhen-Yu Zhang, Peng Zhao, Zhi-Hua Zhou

AI总结 提出TreeLoRA方法，利用层级梯度相似性构建逐层适配器，结合bandit技术高效探索任务结构，并通过稀疏梯度更新优化参数，实现大预训练模型的高效持续学习。

Comments ICML 2025