LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）；Massachusetts Institute of Technology（麻省理工学院）
本文提出LQ-LoRA方法，通过整数线性规划将预训练矩阵分解为固定的量化组件和可更新的低秩组件，实现内存高效的语言模型微调与压缩，在极低比特下仍保持优异性能。
2024-08-27 cs.CL cs.LG
SeqProFT: Sequence-only Protein Property Prediction with LoRA Finetuning
University of Birmingham（伯明翰大学）
SeqProFT通过LoRA微调实现基于序列的蛋白质属性预测，证明小型模型在性能和效率上可媲美大型模型，同时降低计算需求。
2025-12-06 cs.LG q-bio.QM
Parameter Efficient Instruction Tuning: An Empirical Study
AdaBit AI
针对预训练语言模型全参数指令微调成本过高问题，本研究系统探究代表性参数高效微调（PEFT）方法，揭示其超参数、模型规模等影响，发现理想设置下LoRA和适配器接近全微调效果。
2024-11-25 cs.AI cs.CL cs.LG
Convolution Meets LoRA: Parameter Efficient Finetuning for Segment Anything Model
Tsinghua University（清华大学）；Amazon Web Services（亚马逊网络服务）
针对基础分割模型SAM在医学、遥感等专业领域泛化能力下降的问题，提出将超轻量卷积参数整合进LoRA的Conv-LoRA参数高效微调方法，注入图像归纳偏置、恢复高层语义学习能力，多领域基准实验验证其适配效果更优。
2024-01-31 cs.CV cs.LG
Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA
University of Toronto（多伦多大学）；Ericsson-GAIA（爱立信GAIA）
本文提出RoLoRA框架，通过交替最小化LoRA实现鲁棒联邦微调，在降低通信开销的同时提升对参数缩减和数据异质性的鲁棒性。
2024-09-04 cs.DC cs.LG
SuryaKiran at MEDIQA-Sum 2023: Leveraging LoRA for Clinical Dialogue Summarization
Optum（奥普腾公司）
本文研究利用参数高效微调方法 LoRA 进行临床对话摘要，证明其效果可与端到端微调相媲美，并报告了在 ImageCLEFmedical 子任务 A 和 B 上的评估结果。
2023-07-11 cs.AI cs.CL cs.LG
How LoRA Remembers? A Parametric Memory Law for LLM Finetuning
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出参数记忆定律，揭示LoRA在微调中参数与序列长度对损失降低的幂律关系，并基于此设计MemFT优化策略提升记忆保真度与效率。
2026-05-28 cs.AI cs.CL cs.CV
$\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对基础模型替换时LoRA需重训且依赖原始数据的问题，提出Trans-LoRA方法，利用大模型生成合成数据近似任务数据分布，实现跨模型无损迁移，在LLama和Gemma上验证有效。
2024-05-27 cs.AI cs.LG
The Impact of Initialization on LoRA Finetuning Dynamics
Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）；Dept of Statistics（统计系）
本文分析 LoRA 两种零乘积初始化方案，证明 B 零初始化、A 随机初始化因支持更大稳定学习率而平均性能更优，并通过 LLM 实验验证。
2024-06-12 cs.AI cs.CL cs.LG
Robust Federated Finetuning of LLMs via Alternating Optimization of LoRA
University of Toronto（多伦多大学）；Ericsson-GAIA Montréal（爱立信-GAIA蒙特利尔）
提出RoLoRA联邦框架，通过交替优化LoRA的上、下投影矩阵增强模型表达能力和鲁棒性，理论分析与实验证明其优于现有方法。
2025-10-11 cs.AI cs.LG
Subliminal Learning is a LoRA Artifact
Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）
本文发现潜意识学习是LoRA微调产生的伪影，其传递行为与LoRA秩呈倒U型关系，且完全微调下消失，表明该现象依赖于微调和评估上下文。
2026-09-09 cs.AI cs.LG
Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP
Independent Researcher（独立研究者）
本文通过匹配学习率对比研究细调CLIP中Full FT与LoRA方法对注意力漂移和转移保留的影响，发现LoRA在零样本迁移表现更优，学习率显著影响结构变化。
2026-04-01 cs.LG
Federated LoRA with Sparse Communication
Carnegie Mellon University（卡内基梅隆大学）
本文提出联邦稀疏通信方法 FLASC，在通信时对 LoRA 施加稀疏性而允许客户端本地微调完整模块，以最多 10 倍通信减少达到与稠密 LoRA 相当的性能，并在异质性和隐私方面优于现有方法。
2024-06-07 cs.DC cs.LG
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；Data61；CSIRO（联邦科学与工业研究组织）；Tsinghua University（清华大学）；Australian National University（澳大利亚国立大学）
本文提出 XGBLoRA，通过梯度提升式迭代学习并合并秩-1 LoRA 适配，弥合低秩微调实际性能与理论最优的差距，以更少可训练参数达到接近全量微调的效果。
2024-10-25 cs.AI cs.CL cs.LG
Instruction Finetuning LLaMA-3-8B Model Using LoRA for Financial Named Entity Recognition
LL Funds LLC（LL Funds有限责任公司）
本文通过结合指令微调和LoRA技术，提升LLaMA-3-8B模型在金融命名实体识别任务中的性能，取得微F1得分为0.894。
2026-01-15 cs.LG q-fin.CP
Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；University of Oxford（牛津大学）；TU Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达公司）
本文研究了在LoRAs上学习（LoL）范式，将LoRA权重作为模型输入以预测性能或检测有害微调。作者识别了低秩分解的参数对称性，并开发了多种对称感知的等变LoL模型，实验证明其能有效预测CLIP分数及下游任务准确率。
2024-10-15 cs.LG stat.ML
LoRA+: Efficient Low Rank Adaptation of Large Models
Simons Institute, UC Berkeley（西蒙斯研究所，加州大学伯克利分校）；Department of Statistics, UC Berkeley（统计系，加州大学伯克利分校）
本文提出 LoRA+，通过为 LoRA 适配矩阵 A 和 B 设置不同学习率，解决大宽度模型微调中的次优问题，在相同计算成本下实现 1-2% 性能提升和最高约 2 倍加速。
2024-07-04 cs.AI cs.CL cs.LG
LoRA Users Beware: A Few Spurious Tokens Can Manipulate Your Finetuned Model
本研究揭示LoRA微调存在捷径漏洞，提出SSTI方法验证仅需单个伪标记即可操纵模型预测，指出现有数据清理手段无效，为AI安全与数据质量研究敲响警钟。
2025-10-01 cs.AI cs.CL cs.LG
AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）
AutoLoRA提出基于元学习的框架，自动为LoRA各层确定最优秩，通过选择变量和阈值化避免穷举搜索，提升微调性能，并在多种NLP任务上验证有效性。
2024-03-17 cs.AI cs.CL cs.LG
When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文系统研究了LLM规模、预训练数据、微调参数与数据等因素对不同微调方法性能的影响，发现微调遵循乘法联合扩展定律，且最优方法高度依赖任务与数据。
2024-02-27 cs.CL cs.LG
Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning
School of Mathematical and Computational Sciences, Massey University（梅西大学数学与计算科学学院）
通过实验比较基本LoRA与四种变体在多语言指令微调中的效果，发现复杂变体在平衡跨语言迁移与知识保留方面并无显著优势。
2026-06-09 cs.CL
LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
Northeastern University（东北大学）；Virginia Tech（弗吉尼亚理工大学）；Northern Arizona University（北亚利桑那大学）
LoRA-SP通过随机半选择性参数冻结，在LoRA框架内实现资源高效微调，平衡知识保留与适应性，以低资源消耗达到竞争性能。
2024-02-28 cs.CL cs.LG
SECURA: Sigmoid-Enhanced CUR Decomposition with Uninterrupted Retention and Low-Rank Adaptation in Large Language Models
Aberdeen Institute of Data Science and Artificial Intelligence, South China Normal University（华南师范大学阿伯丁数据科学与人工智能学院）；Department of Computing Science, University of Aberdeen（阿伯丁大学计算科学系）
本文提出SECURA，一种结合Sigmoid增强CUR分解和低秩适应的新型PEFT方法，通过引入S-MagNorm归一化技术有效缓解灾难性遗忘并提升微调效率，在多种任务和模型上表现优于现有方法。
2025-03-04 cs.AI cs.CL
KnowLA: Enhancing Parameter-efficient Finetuning with Knowledgeable Adaptation
Nanjing University（南京大学）；Tencent AI Lab（腾讯AI实验室）
本文提出知识化适应方法KnowLA，通过在LLM中插入适应层整合知识图谱实体嵌入并与LoRA结合训练，有效提升了参数高效微调效果，无需改变模型参数或输入提示即可激活相关知识回答问题。
2024-03-22 cs.CL cs.LG
OP-LoRA: The Blessing of Dimensionality
Boston University（波士顿大学）；University of Central Florida（中央佛罗里达大学）
提出OP-LoRA方法，通过额外MLP预测LoRA适配器权重以改善优化，训练后丢弃MLP，在零额外推理成本下提升性能并降低对学习率的敏感性。
2026-05-31 cs.CV cs.LG
ApiQ: Finetuning of 2-Bit Quantized Large Language Model
University of Amsterdam（阿姆斯特丹大学）；eBay Inc.（eBay公司）
针对现有内存高效微调方法在不同量化位宽和任务上性能不稳定的问题，提出ApiQ量化框架，同步初始化LoRA组件与量化权重以降低激活误差，在多模型多任务的不同位宽下均实现更优微调效果。
2024-06-21 cs.CL cs.LG
Continual Learning via Sparse Memory Finetuning
FAIR at Meta（Meta 的 FAIR 部门）；University of California, Berkeley（加州大学伯克利分校）
本文提出稀疏记忆微调方法，通过仅更新被新知识高度激活的记忆槽，在问答任务上以更少遗忘（F1仅降11%）实现与全量微调同等的新知识获取，为大型语言模型持续学习提供了新路径。
2025-10-16 cs.AI cs.CL
Classifier Language Models: Unifying Sparse Finetuning and Adaptive Tokenization for Specialized Classification Tasks
Amazon Web Services Inc.（亚马逊网络服务公司）
本文提出一种基于词元驱动的稀疏微调策略，通过利用任务特定词元构造仅微调模型参数的敏感子集，在不引入额外参数的情况下使小型语言模型适应专门分类任务，在五项任务上优于现有方法且训练成本减半。
2025-08-12 cs.LG
Improving Sparse Memory Finetuning
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出稀疏记忆微调方法，通过局部更新显式内存层参数，解决持续学习中的灾难性遗忘问题，并在消费级硬件上验证了其有效性。
2026-04-06 cs.CL cs.LG
Continual Fine-Tuning of Large Language Models via Program Memory
Deakin Applied AI Initiative（德金应用人工智能计划）
本文提出ProCL框架，通过程序记忆结构实现持续学习中的高效微调，提升模型在连续任务中的知识保留与适应能力。
2026-05-13 cs.LG
Improving LoRA with Variational Learning
Institute of Science Tokyo（东京科学研究院）；RIKEN Center for AI Project（RIKEN人工智能项目研究中心）；Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt（通用知识处理实验室（UKP实验室），计算机科学系，达姆施塔特技术大学）；National Research Center for Applied Cybersecurity ATHENE, Germany（应用网络安全国家研究中心ATHENE，德国）；Huawei Hong Kong Research Center（华为香港研究中心）
针对现有贝叶斯方法改进LoRA微调时准确率提升有限、计算开销大的问题，本研究采用变分算法IVON结合后验剪枝技术，在十亿级大模型上实现了准确率与校准效果的双重提升，且成本与AdamW相当。
2025-06-17 cs.AI cs.CL cs.LG
LoRA-Muon: Spectral Steepest Descent on the Low-Rank Manifold
Ateneo de Manila University（雅典耀马尼拉大学）；EleutherAI；NaXys, UNamur（纳慕尔大学NaXys研究所）
提出LoRA-Muon优化器，将Muon的谱最速下降规则应用于低秩微调，解决LoRA对初始化敏感、最优学习率跨秩迁移差等问题，在TinyShakespeare上以秩32达到比稠密基线更低的验证损失。
2026-06-12 cs.AI cs.LG
Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
Tsinghua University（清华大学）；Bauhaus-Universität Weimar（魏玛包豪斯大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；CNPC Engineering Technology RD Company Limited（中国石油集团工程技术研究院有限公司）；Queensland University of Technology（昆士兰科技大学）
本文探索迁移学习在物理信息神经网络（PINNs）强形式和能量形式中的泛化能力，发现全微调与LoRA能显著提升收敛速度并略微提高精度。
2025-02-02 cs.LG
Stable-Plastic Subspace Construction for Differentially Private Continual LoRA
Xidian University（西安电子科技大学）；Tianjin University（天津大学）
针对差分隐私持续LoRA的稳定-塑性子空间构建方法DP-SPA，通过分离稳定与塑性子空间优化LoRA因子，在多数据集实验中提升了平均准确率并减少了遗忘。
2026-10-14 cs.LG
Latent Space Factorization in LoRA
Idiap Research Institute（Idiap研究机构）；EPFL（苏黎世联邦理工学院）；BUT（布拉格技术大学）
提出FVAE-LoRA，通过VAE学习两个因子化潜在空间，分别捕捉任务显著特征与残差信息，在文本、音频、图像任务上优于标准LoRA，并提升分布偏移下的鲁棒性。
2025-10-22 cs.LG
Mix-of-Language-Experts Architecture for Multilingual Programming
University of Waterloo（滑铁卢大学）
本文提出MoLE架构，通过共享与语言特定LoRA模块结合，在多语言编程中平衡效率与专业化，实现参数高效且准确率优于单一共享模型。
2025-06-18 cs.CL cs.PL cs.SE
Which and When to Admit: Gradient Admission for Data-Centric Small Language Model Finetuning
Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）；Meta AI；NEC Laboratories America（NEC美国实验室）
针对LoRA微调小语言模型时的梯度冲突、静态选择和子空间饱和问题，提出GRADE框架，通过状态感知选择器和自校准门控控制梯度进入，在多个骨干和数据集上优于基线，实现更连贯的梯度轨迹和更少的破坏性覆盖。
2026-10-07 cs.AI cs.LG
LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
UCLA（加州大学洛杉矶分校）；Google（谷歌）；UT Austin（得克萨斯大学奥斯汀分校）
本文提出LoRA-RITE自适应矩阵预条件方法，解决LoRA优化器缺乏变换不变性的问题，在多个LLM任务上相比现有优化器取得一致提升。
2025-07-16 cs.AI cs.CL cs.LG
LoRA vs Full Fine-tuning: An Illusion of Equivalence
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
该研究通过谱特性分析对比LoRA与全量微调的权重差异，发现LoRA会产生导致遗忘的入侵维度，验证了二者解的不等价性，并指出持续学习场景下入侵维度累积会使LoRA性能下降。
2025-10-22 cs.CL cs.LG
Parameter-Efficient Finetuning of Transformers for Source Code
HSE University（高等经济大学）；Naver Labs Europe（Naver欧洲实验室）
预训练的Transformers在各种代码处理任务中实现了最先进的性能，但可能太大而无法部署。由于软件开发工具通常包含用于各种目的的模块，这些模块可能潜在地使用预训练模型的单个实例，因此似乎与针对代码的预训练模型利用参数高效微调相关。在这项工作中，我们测试了两种广泛使用的方法，适配器和LoRA，这是最初测试的NLP任务，四个代码处理任务。我们发现，虽然有效的微调方法可能会实现可比或更高的性能比标准的，完整的，微调的代码理解任务，他们表现不佳的代码生成任务的全面微调。这些结果强调了在NLP之外的其他领域测试有效微调方法的重要性，并激励了未来对源代码进行有效微调的研究。
2022-12-12 cs.CL cs.LG cs.SE
DiaBlo: Diagonal Blocks Are Sufficient For Finetuning
University at Albany, SUNY（纽约州立大学阿尔巴尼分校）；IBM T. J. Watson Research Center（IBM 汤普逊·杰·沃森研究中心）
DiaBlo是一种仅更新模型权重矩阵对角块的参数高效微调方法，通过消除低秩矩阵乘积需求，实现稳定收敛和高效训练。
2026-03-02 cs.AI cs.CL cs.LG
AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization
BITS Goa；Manipal University（曼尼帕尔大学）；Meta AI；Amazon AI
针对LoRA微调导致的对齐漂移问题，提出AlignGuard-LoRA框架，结合Fisher信息正则化与黎曼测地线碰撞正则化，在安全基准上减少最多50%的对齐漂移且不损性能，并开源实现。
2025-08-04 cs.AI cs.LG
ALLoRA: Adaptive Learning Rate Mitigates LoRA Fatal Flaws
Google（谷歌公司）；Brown University（布朗大学）
本文指出了LoRA在短训练周期中因Dropout、零初始化和缩放因子导致的三大局限，提出无Dropout、无缩放因子的自适应学习率方法ALLoRA，通过梯度缩放缓解缺陷并减少超参数，在多种LLM上取得更优准确率。
2024-10-13 cs.AI cs.LG
Tuning LayerNorm in Attention: Towards Efficient Multi-Modal LLM Finetuning
University of Edinburgh（爱丁堡大学）；University of Chinese Academy of Sciences（中国科学院大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
本研究提出仅调优注意力块中LayerNorm的高效多模态LLM微调策略，性能优于LoRA且参数与显存占用更低，还可结合对话数据选择性调优进一步提效，并分析了LayerNorm的作用机制。
2023-12-18 cs.AI cs.CL cs.CV
Are Parameter-Efficient Fine-tuning Methods Really Different?
The University of Warwick（华威大学）；Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）
本研究比较六种参数高效微调方法，发现频谱保持并非必要，LoRA限制遗忘、DoRA性能更优，建议通过功能后果评估几何约束。
2026-10-08 cs.LG
Steering Large Language Models for Machine Translation with Finetuning and In-Context Learning
针对大语言模型机器翻译中少样本提示脆弱及传统微调成本高且削弱上下文学习能力的问题，提出在LoRA微调中结合少样本示例的方法，在10个语言对上既恢复了少样本适应能力又保留了微调优势。
2023-10-20 cs.CL
ReFT: Representation Finetuning for Language Models
Stanford University（斯坦福大学）
本文提出表示微调（ReFT）方法，通过编辑冻结模型的隐藏表示实现参数高效微调，其中LoReFT在多个推理和GLUE任务上优于LoRA，且参数效率高15-65倍。
2024-05-22 cs.AI cs.CL cs.LG
Fast Forwarding Low-Rank Training
Technion – Israel Institute of Technology（以色列理工学院）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）；Harvard University（哈佛大学）
本文针对LoRA等低秩微调提出Fast Forward优化策略，通过重复最近优化器步骤并交替常规训练，在保持性能的同时显著降低计算量与训练时间。
2024-09-06 cs.CL cs.LG
Neutral Residues: Revisiting Adapters for Model Extension
针对预训练大语言模型领域扩展存在的新旧领域性能权衡问题，提出从数据、架构、训练流程联合改进适配器的中性残差方法，使残差块在原域输出近零值，在跨语言适配任务上显著优于微调、LoRA等方法。
2025-07-31 cs.AI cs.CL cs.LG
Epistemic Goggles: A Pretrained Module that Induces an Epistemic Frame via Gradient Editing
Independent Researcher（独立研究员）
针对微调语言模型时出现的“否定忽视”问题，提出Goggles模块，通过编辑微调梯度而非数据来赋予模型特定的认知框架，使模型在保持能力的同时正确识别虚构内容。
2026-07-03 cs.AI cs.CL cs.LG
PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer
Center for Computational Mathematics, Flatiron Institute（计算数学中心，熨斗研究院）
研究针对LoRA优化问题，提出PoLoRA优化器，由乘积感知谱更新方向、曲率预处理及幅度规则构成。在多模型指令调优数据集上评估，结果显示它步数减少，开销增加少，对学习率不敏感，最优学习率稳定。
2026-07-21 cs.CL cs.LG math.OC
Learn the Directions, Normalize the Gains: Post-Training Normalization for LoRA
Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）；Peking University（北京大学）
针对LoRA适配失衡问题，提出后训练归一化方法LoRA-Norm，通过频谱再平衡和核范数恢复重平衡增益，无需额外训练，提升特化与能力保持。
2026-10-02 cs.LG
AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
AuroRA通过引入自适应非线性层，突破LoRA的低秩瓶颈，以更少的参数实现优于全微调的性能。
2025-12-02 cs.LG
PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出PRoLoRA，一种通过广播缩减、旋转增强、部分共享细化和修正初始化实现层内共享的LoRA超集，在减少一半可训练参数的情况下仍优于LoRA，显著提升参数效率。
2024-05-27 cs.LG
