arXiv 2510.121782025-10-14cs.AIcs.CL

Meta的LLaMA模型演进与大型语言模型的参数高效微调：综述

Evolution of meta's llama models and parameter-efficient fine-tuning of large language models: a survey

University of Kurdistan（库尔德斯坦大学）；Queen Mary University（女王玛丽大学）；Torrens University Australia（澳大利亚托伦斯大学）；University of Technology Sydney（悉尼技术大学）；University of Kurdistan Sanandaj, Iran（伊朗桑和杰德大学）；TU Dortmund University（多特蒙德技术大学）；University of Kurdistan Hewler（库尔德斯坦大学海勒）；Tehran University（德黑兰大学）

Abdulhady Abas Abdullah, Arkaitz Zubiaga, Seyedali Mirjalili, Amir H. Gandomi, Fatemeh Daneshfar, Mohammadsadra Amini, Alan Salam Mohammed, Hadi Veisi

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本综述系统梳理Meta的LLaMA系列模型（从LLaMA 1到LLaMA 4）的架构演进，并总结LoRA、QLoRA等五种参数高效微调方法及其在指令微调、多模态等任务中的应用与挑战。

摘要：

本综述调查了Meta AI的LLaMA（大型语言模型Meta AI）系列从LLaMA 1到LLaMA 4的快速演进，以及为这些模型开发的专门参数高效微调（PEFT）方法。我们首先描述了LLaMA基础模型家族（参数规模从7B-65B到288B），其架构（包括原生多模态和混合专家变体），以及关键性能特征。然后，我们描述并讨论了PEFT的概念，即通过仅更新一小部分参数来适配大型预训练模型，并回顾了已应用于LLaMA的五种PEFT方法：LoRA（低秩适配）、LLaMA-Adapter V1和V2、LLaMA-Excitor以及QLoRA（量化LoRA）。我们讨论了每种方法的机制、参数节省情况以及应用于LLaMA的示例（如指令微调、多模态任务）。我们对模型和适配器架构、参数数量以及基准测试结果（包括微调后的LLaMA模型优于更大基线的示例）进行了结构化的讨论和分析。最后，我们考察了基于LLaMA的模型和PEFT已成功应用的真实世界用例（如法律和医疗领域），并讨论了持续的挑战和未来的研究方向（如扩展到更大的上下文窗口和提高鲁棒性）。本综述为对LLaMA模型和高效微调策略感兴趣的机器学习研究者和从业者提供了一站式资源。

英文摘要：

This review surveys the rapid evolution of Meta AI's LLaMA (Large Language Model Meta AI) series - from LLaMA 1 through LLaMA 4 and the specialized parameter-efficient fine-tuning (PEFT) methods developed for these models. We first describe the LLaMA family of foundation models (7B-65B to 288B parameters), their architectures (including native multimodal and Mixtureof-Experts variants), and key performance characteristics. We then describe and discuss the concept of PEFT, which adapts large pre-trained models by updating only a small subset of parameters, and review five PEFT methods that have been applied to LLaMA: LoRA (Low-Rank Adaptation), LLaMA-Adapter V1 and V2, LLaMA-Excitor, and QLoRA (Quantized LoRA). We discuss each method's mechanism, parameter savings, and example application to LLaMA (e.g., instruction tuning, multimodal tasks). We provide structured discussion and analysis of model and adapter architectures, parameter counts, and benchmark results (including examples where fine-tuned LLaMA models outperform larger baselines). Finally, we examine real-world use cases where LLaMA-based models and PEFT have been successfully applied (e.g., legal and medical domains), and we discuss ongoing challenges and future research directions (such as scaling to even larger contexts and improving robustness). This survey paper provides a one-stop resource for ML researchers and practitioners interested in LLaMA models and efficient fine-tuning strategies.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。