Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景,对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto(电气与计算机工程系 东京大学)
本研究重新审视了LLM微调中的记忆化问题,发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势,且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning
Technical University of Darmstadt(达姆施塔特工业大学);Cohere;University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文介绍了开源库Adapters,它通过统一接口集成10种适配器方法,支持大型语言模型中参数高效且模块化的迁移学习,允许通过组合块设计复杂设置,并在NLP任务中验证了其有效性。
2023-11-18 cs.AI cs.CL cs.LG
PEFT-Ref: A Modular Reference Architecture and Typology for Parameter-Efficient Finetuning Techniques
ADAPT(ADAPT研究中心)
本文提出了PEFT-Ref参考架构,通过标准化共享方面并隔离差异,为参数高效微调技术提供模块化视图,支持技术比较、模块复用探索及新方法设计。
2023-10-19 cs.AI cs.CL cs.LG
Lightweight Modular Parameter-Efficient Tuning for Open-Vocabulary Object Detection
针对开放词汇检测中全参数微调成本高的问题,提出冻结骨干并引入可学习模态令牌的通用投影模块UniProj-Det,仅训练约2-5%参数即在多项任务上达到竞争性能。
2025-09-25 cs.CV cs.LG
GSQ-Tuning: Group-Shared Exponents Integer in Fully Quantized Training for LLMs On-Device Fine-tuning
Houmo AI(后摩智能);Southeast University(东南大学);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出GSQ-Tuning框架,通过组共享指数整数格式实现完全基于整数的设备端LLM微调,在保持与BF16相当准确度的同时显著降低内存、功耗和芯片面积。
2025-05-29 cs.AI cs.CL cs.LG
A Study of Optimizations for Fine-tuning Large Language Models
Microsoft(微软公司)
本文系统评估了多种大语言模型微调优化方法,重点分析其对 GPU 内存和运行时间的影响,并为不同模型规模及资源受限场景提出了最佳优化组合与策略。
2024-06-06 cs.LG
Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
Tsinghua University(清华大学);Bauhaus-Universität Weimar(魏玛包豪斯大学);Leibniz University Hannover(汉诺威莱布尼茨大学);CNPC Engineering Technology RD Company Limited(中国石油集团工程技术研究院有限公司);Queensland University of Technology(昆士兰科技大学)
本文探索迁移学习在物理信息神经网络(PINNs)强形式和能量形式中的泛化能力,发现全微调与LoRA能显著提升收敛速度并略微提高精度。
2025-02-02 cs.LG
Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning
University of St Andrews(圣安德鲁斯大学)
针对多模态微调常需修改架构或全微调的问题,提出Context-PEFT框架,按token领域学习适配器参数实现类LoRA权重注入,在COCO任务上以更低参数和计算成本超越全微调性能。
2023-12-14 cs.LG
LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
Stanford University(斯坦福大学)
针对大语言模型微调成本高的问题,提出首个支持每参数2比特以下LoRA微调的LowRA框架,通过优化细粒度量化和高效CUDA内核,在4个模型和数据集上实现更优性能-精度权衡,内存最多减50%。
2025-02-12 cs.AR cs.CL cs.LG
MOTIF: Modular Thinking via Reinforcement Fine-tuning in LLMs
University of Maryland(马里兰大学)
本文提出MOTIF方法,通过强化微调让大语言模型在多轮中生成思考token以突破上下文长度限制,并在MATH500和AIME2024上以15%样本实现优于GRPO的准确率提升。
2025-07-03 cs.AI cs.CL cs.IT
Recovering the Pre-Fine-Tuning Weights of Generative Models
School of Computer Science and Engineering(计算机科学与工程学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出 Spectral DeTuning 方法,利用少量 LoRA 微调模型即可恢复生成模型的精确微调前权重,证明现有微调对齐安全性假设不成立。
2024-07-01 cs.CL cs.CR cs.CV
ModuLoRA: Finetuning 2-Bit LLMs on Consumer GPUs by Integrating with Modular Quantizers
Johns Hopkins University(约翰斯·霍普金斯大学);Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
本研究提出模块化低秩适配方法ModuLoRA,集成任意量化器与LoRA微调,首次实现2/3位65B参数LLM在单块24GB消费级GPU上的高效微调,性能超越现有4/8位方法,并配套发布LLMTune库。
2024-03-10 cs.AI cs.LG
LoRA vs. Full Fine-Tuning: A Theoretical Perspective
Universität des Saarlandes(萨尔兰州大学);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍兹研究中心)
本文从理论角度研究了LoRA与全微调在线性回归中的表现,发现LoRA在过定和欠定情况下能够以更低的额外风险优于全微调,且LoRA秩的选择影响泛化性能,实验验证了理论结果的广泛适用性。
2026-05-18 cs.LG
Spectral Adapter: Fine-Tuning in Spectral Space
Stanford University(斯坦福大学)
本研究将预训练权重的谱信息引入参数高效微调,提出两种基于SVD的谱适配机制,理论上提升了固定参数预算下低秩适配器的秩容量,实验验证其在参数效率、调优性能及多适配器融合上均有增益。
2024-11-04 cs.AI cs.LG
Rethinking the Hyperparameters for Fine-tuning
Amazon Web Services(亚马逊云科技);University of Pennsylvania(宾夕法尼亚大学);University of California, Los Angeles(加州大学洛杉矶分校)
从预训练的ImageNet模型进行微调已成为各种计算机视觉任务的事实标准。目前的微调实践通常涉及选择一个临时的超参数选择,并将它们固定在通常用于从头开始训练的值上。本文重新审视了设置超参数进行微调的几种常见做法。我们的研究结果是基于广泛的经验评估微调各种迁移学习基准。(1)虽然先前的工作已经彻底研究了学习率和批量大小,微调的动量是一个相对未探索的参数。我们发现动量的值也会影响微调性能,并将其与以前的理论研究结果联系起来。(2)用于微调的最佳超参数,特别是有效学习率,不仅依赖于数据集,而且对源域和目标域之间的相似性敏感。这与从头开始训练的超参数相反。(3)基于引用的正则化使模型接近初始模型,但不一定适用于“不相似”的数据集。我们的发现挑战了微调的常见做法,并鼓励深度学习从业者重新思考微调的超参数。
2020-02-19 cs.CV cs.LG stat.ML
MFTCoder: Boosting Code LLMs with Multitask Fine-Tuning
Ant Group(蚂蚁集团)
针对代码大模型单任务微调资源消耗大、未利用任务关联性的问题,提出多任务微调框架MFTCoder,通过多损失函数解决多任务学习挑战,训练效率更高,适配主流开源大模型,在HumanEval基准上超越GPT-4零样本表现。
2023-11-04 cs.AI cs.LG
Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation
University of Pittsburgh(匹兹堡大学);University of Maryland, College Park(马里兰大学帕克分校);University of Science and Technology of China(中国科学技术大学)
本文提出 GreenTrainer,通过自适应评估张量反向传播成本与准确率贡献并选择训练张量,在保持准确率的同时显著降低 LLM 微调 FLOPs。
2024-02-29 cs.AI cs.LG
Tuning Modular Networks with Weighted Losses for Hand-Eye Coordination
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
本文提出端到端微调方法,通过加权损失提升模块化深度视觉-运动策略在平面抓取任务中的手眼协调性能。
2017-05-15 cs.AI cs.CV cs.LG
Memorization in NLP Fine-tuning Methods
University of California San Diego(加州大学圣地亚哥分校);University of Virginia(弗吉尼亚大学)
大语言模型通过记忆训练数据而表现出隐私风险,最近的几项工作已经研究了预训练阶段的这种风险。然而,很少有人关注微调阶段,也不清楚不同的微调方法(如微调完整模型,模型头和适配器)在记忆风险方面的比较。随着“预先培训和微调”模式的扩散,这引起了越来越多的关注。在本文中,我们实证研究记忆的微调方法,使用成员推理和提取攻击,并表明它们的敏感性是非常不同的。我们观察到,微调模型的头部对攻击的敏感性最高,而微调较小的适配器似乎不太容易受到已知提取攻击。
2022-11-04 cs.CL cs.LG
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University(萨尔兰大学)
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时,探测已经成为一种调查预训练模型捕获的语言知识的方法。然而,人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型:BERT、RoBERTa和AL BERT,并通过事件级探测来研究微调如何影响它们的表示。我们发现,对于一些探测任务,微调会导致准确性发生重大变化,这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而,这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明,虽然微调确实改变了预训练模型的表示,并且这些变化通常对于更高层来说更大,但只有在极少数情况下,微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果,我们认为,积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
LIFT: Last-Mile Fine-Tuning for Table Explicitation
Microsoft Corporation(微软公司)
本文提出LIFT方法,通过预训练大语言模型提取表格并由微调的小语言模型修复错误,仅需1000个训练样本即可在TEDS指标上超越端到端微调,且更鲁棒于输入格式变化。
2026-05-13 cs.CL cs.LG
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati(辛辛那提大学);University of Toronto(多伦多大学);University of Oxford(牛津大学)
本文研究了微调目标对LLM安全性和鲁棒性的影响,发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
Two-stage LLM Fine-tuning with Less Specialization and More Generalization
Google(谷歌)
本文提出ProMoT两阶段微调框架,通过先提示调优再模型调优,减少格式特化,保持微调性能同时提升上下文学习泛化能力。
2024-03-12 cs.CL cs.LG
Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes
Microsoft Research Asia(微软亚洲研究院)
在本文中,我们将大型参数模型与非参数原型网络相结合。我们提出了原型微调,一个新的原型框架微调预训练的语言模型(LM),自动学习的偏见,以提高预测性能的不同数据大小,特别是低资源设置。我们的原型微调方法可以根据数据点的数量和模型的固有属性自动调整模型的容量。此外,我们提出了四个原则,有效的原型微调到最佳的解决方案。在各种数据集上的实验结果表明,我们的工作在各种低资源设置下实现了显着的性能改进,以及在高资源场景下的可比性和通常更好的性能。
2022-11-24 cs.CL cs.LG
Energy and Carbon Considerations of Fine-Tuning BERT
Haverford College(哈维福德学院);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);Hugging Face
本文对NLP中微调的计算成本进行实证研究,对比了其与预训练和推理的能源及碳排放,并为提高微调能效提供了建议。
2024-10-16 cs.CL cs.LG
FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
Utrecht University(乌得勒支大学)
针对预训练语言模型微调中双模型鲁棒提升方法计算成本高的问题,提出迁移训练动力学的FTFT微调法,利用可迁移的训练动力学、高效参考模型和早停策略,在提升鲁棒性的同时降低约50%训练成本。
2024-12-11 cs.CL cs.LG
Structural Priors and Modular Adapters in the Composable Fine-Tuning Algorithm of Large-Scale Models
University of Pennsylvania(宾夕法尼亚大学);Washington University in St. Louis(圣路易斯华盛顿大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Southern California(南加州大学)
本文提出一种结合图结构先验与模块化适配器的可组合微调方法,通过关系矩阵建模任务依赖并约束适配器分配与路径选择,在提升多任务适配精度和计算效率的同时保持模型轻量化。
2025-11-06 cs.LG
Fine-Tuning LLMs on Small Medical Datasets: Text Classification and Normalization Effectiveness on Cardiology reports and Discharge records
Institute of Medical Informatics(医学信息学研究所);University of Münster(明斯特大学)
本研究证明在小型医学数据集上微调小型LLM,可在文本分类和命名实体识别中达到与大型模型相当的性能,仅需200-300个训练样本,有助于自动化临床工作流。
2025-03-27 cs.CL cs.LG
Enhancing BERT Fine-Tuning for Sentiment Analysis in Lower-Resourced Languages
Faculty of Mathematics Physics and Informatics(数学物理系);Comenius University in Bratislava(布拉迪斯拉发康门大学)
本研究通过结合主动学习与数据聚类策略,提升低资源语言情感分析中BERT模型的微调效果,实现标注节省和性能提升。
2025-12-01 cs.CL cs.LG
Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation
Fudan University(复旦大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
微调预训练的语言模型(如BERT)已成为NLP中的一种有效方法,并在许多下游任务中产生最先进的结果。最近关于BERT适应新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据和知识。微调战略本身还有待充分探讨。本文采用自系综和自蒸馏两种有效的机制对BERT的微调进行改进。在文本分类和自然语言推理任务上的实验表明,我们提出的方法可以显着提高BERT的适应性,无需任何外部数据或知识。
2020-02-24 cs.CL cs.LG
Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets
Dartmouth College(达特茅斯学院);EPFL(苏黎世联邦理工学院);UC Berkeley(加州大学伯克利分校);CUHK(香港大学);IBM Research(IBM研究院)
本文从上游对齐数据与下游微调数据的表示相似性角度分析LLM安全护栏失效原因,发现低相似性可使有害性评分降低最多10.33%,为微调服务商提供了数据集设计层面的防护启示。
2025-06-05 cs.CL cs.CR cs.LG
Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电子工程学院)
针对微调即服务中安全对齐被有害微调攻击削弱的问题,提出一种基于梯度分析的缓冲与强化框架,通过临时越狱适配器减少有害更新并利用QR分解合并强化安全,实现无需额外安全数据的高效防御。
2026-05-23 cs.AI cs.CL cs.LG
Antibody: Strengthening Defense Against Harmful Fine-Tuning for Large Language Models via Attenuating Harmful Gradient Influence
Department of Electrical and Computer Systems Engineering, Monash University, Australia(莫纳什大学电气与计算机系统工程系);Department of Data Science and AI, Monash University, Australia(莫纳什大学数据科学与人工智能系)
Antibody通过削弱有害梯度影响,提升大型语言模型对有害微调攻击的防御能力,并增强微调性能。
2026-02-28 cs.LG
FireAct: Toward Language Agent Fine-tuning
System2 Research(System2研究机构);University of Cambridge(剑桥大学);Monash University(莫纳什大学);Princeton University(普林斯顿大学)
该研究提出FireAct方法,通过多任务多提示轨迹微调语言模型构建语言智能体,证实微调可显著提升性能,为语言智能体微调提供实验基础与研究方向。
2023-10-09 cs.AI cs.CL cs.LG
lo-fi: distributed fine-tuning without communication
University of Washington(华盛顿大学);Meta AI Research, FAIR Team(Meta人工智能研究院,FAIR团队)
当对大型神经网络进行微调时,通常使用多个节点并在每个优化步骤中传递梯度。相比之下,我们研究完全本地的微调,我们称之为低保真。在lo-fi期间,每个节点独立地进行微调,而不进行任何通信。然后,在微调结束时跨节点平均权重。当在ImageNet上对DeiT-base和DeiT-large进行微调时,与基线相比,该过程匹配分布中的准确性,并提高了分布偏移下的准确性,基线观察到相同的数据量,但在每一步都传达了梯度。我们还观察到,当在Common Crawl上对OPT语言模型(最多1.3 B参数)进行微调时,lo-fi与基线性能相匹配。通过消除通信需求,低保真降低了微调大型模型的资源障碍,并在通信成本过高的情况下实现了微调。
2022-11-12 cs.LG
Learning Label Modular Prompts for Text Classification in the Wild
Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
机器学习模型通常在训练和测试过程中假设i.i.d数据,但现实世界中的数据和任务经常随时间而变化。为了模拟现实世界的瞬态性质,我们提出了一个具有挑战性但实际的任务:野外文本分类,它引入了不同的非平稳训练/测试阶段。将复杂任务分解为模块化组件可以在这种非静态环境下实现鲁棒的泛化。然而,当前NLP中的模块化方法没有利用预训练语言模型的参数有效调整的最新进展。为了缩小这一差距,我们提出了MODULARPROMPT,标签模块化的文本分类任务的提示微调框架。在MODULARPROMPT中,输入提示由一系列软标签提示组成,每个软标签提示编码与相应的类标签相关的模块知识。在两个最令人生畏的设置中,MODULARPROMPT的表现大大优于相关基线,表现出强大的泛化能力。我们还进行了全面的分析,以验证是否学到的提示满足模块化表示的属性。
2022-12-05 cs.AI cs.LG
AutoFreeze: Automatically Freezing Model Blocks to Accelerate Fine-tuning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
随着机器学习(ML)的快速采用,许多领域现在使用微调模型的方法,这些模型是在大型数据库上预先训练的。然而,我们的实验表明,即使使用GPU等现代加速器,即使对BERT等模型进行微调也需要花费数小时。虽然先前的工作提出限制微调的层的数量,例如,冻结除最后一层之外的所有层,我们发现这种静态方法导致精度降低。我们提出了AutoFreeze系统,该系统使用自适应方法来选择训练哪些层,并展示了如何在保持准确性的同时加速模型微调。我们还开发了机制,使有效的缓存中间激活,可以减少执行微调时的向前计算时间。我们扩展AutoFreeze执行分布式微调和设计两种执行模式,以最大限度地减少成本和运行时间。我们对10个NLP任务的评估表明,启用缓存的AutoFreeze可以将单个GPU上的微调提高高达2.55倍。在64 GPU的集群上,为了对AG的新闻数据集进行微调,AutoFreeze在优化端到端训练时间时能够实现高达4.38倍的加速,在优化效率时能够将总成本降低5.03倍,而不会影响模型的准确性。
2021-04-03 cs.LG
Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution
Stanford University(斯坦福大学)
当将预训练模型转移到下游任务时,两种流行的方法是完全微调(更新所有模型参数)和线性探测(仅更新最后一个线性层-“头部”)。众所周知,微调导致更好的精度分布(ID)。然而,在本文中,我们发现,当预训练的特征很好并且分布偏移很大时,微调可以达到比线性探测分布外(OOD)更差的准确性。在10个分布偏移数据集(Breeds-Living 17,Breeds-Brachty 30,DomainNet,CIFAR $\to$ STL,CIFAR10.1,FMoW,ImageNet V2,ImageNet-R,ImageNet-A,ImageNet-Sketch)上,与线性探测相比,微调平均获得了2%的高精度ID,但7%的低精度OOD。我们从理论上证明,即使在一个简单的设置中,ID和OOD精度之间的这种权衡也会出现:微调过参数化的双层线性网络。我们证明,当我们初始化一个固定的或随机的头部时,微调的OOD误差很高-这是因为当微调学习头部时,神经网络的下层同时改变并扭曲预训练的特征。我们的分析表明,线性探测然后完全微调(LP-FT)的简单两步策略,有时用作微调启发式,结合了微调和线性探测的优点。从经验上讲,LP-FT在上述数据集上的表现优于微调和线性探测(比完全微调好1%的ID,好10%的OOD)。
2022-02-21 cs.CV cs.LG
Fine-Tuning without Performance Degradation
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
针对离线策略微调早期的性能下降问题,提出基于Jump Start的新算法,通过在线性能估计逐步增加探索,实现快速微调并显著减少性能下降。
2025-05-01 cs.AI cs.LG
HOFT: Householder Orthogonal Fine-tuning
MLLP group, Valencian Research Institute for Artificial Intelligence(瓦伦西亚人工智能研究 institute 的 MLLP 组);Universitat Politècnica de València, Spain(瓦伦西亚理工大学,西班牙)
本文提出HOFT和SHOFT两种正交微调方法,通过Householder变换降低时间和空间复杂度,在多个下游任务中达到与最先进方法相当或更优的性能。
2025-09-10 cs.LG
Fine-tuning Timeseries Predictors Using Reinforcement Learning
Reykjavik University, Department of Engineering(雷克雅未克大学工程系)
本文提出通过强化学习优化金融预测模型,通过反向传播损失提升模型性能,并验证微调对模型的提升效果及迁移学习价值。
2026-03-20 cs.AI cs.LG
Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学);IBM Research(IBM研究院);Stanford University(斯坦福大学)
该研究揭示对已安全对齐的大语言模型进行自定义微调存在安全风险,少量对抗样本或良性数据集微调都可能削弱安全防护,并呼吁完善相关安全协议。
2023-10-05 cs.AI cs.CL cs.CR
Modular Multimodal Classification Without Fine-Tuning: A Simple Compositional Approach
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Vector Institute(向量研究所);University of Toronto(多伦多大学)
本文提出CoMET,一种无需微调的多模态分类方法,通过冻结预训练的backbone对每个模态进行处理,使用PCA压缩嵌入并输入到表格基础模型中进行预测,展示了PCA作为适配器在不同模态上的强大鲁棒性能,并提出了PALPooling来提升表示质量,实现了无需训练的多模态学习最佳结果。
2026-05-20 cs.LG
Towards Fine-tuning Pre-trained Language Models with Integer Forward and Backward Propagation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);McGill University(麦吉尔大学)
一些著名的语言模型(如BERT)的大量参数使得它们对下游任务的微调计算密集且耗能。以前的研究人员主要集中在较低位宽的整数数据类型的语言模型的前向传播,以节省内存和计算。然而,对于反向传播,仅使用16位浮点数据类型来微调BERT。在这项工作中,我们使用整数算法的前向和反向传播的微调BERT。我们研究了整数位宽的变化对模型的度量性能的影响。我们的整数微调使用整数运算来执行BERT的线性、层范数和嵌入层的前向传播和梯度计算。我们在SQuAD v1.1和SQuAD v2上使用整数训练方法微调了BERT,和胶水基准。我们证明了微调16位整数BERT的度量性能与16位和32位浮点基线相匹配。此外,使用更快、更节省内存的8位整数数据类型,与FP32基线相比,BERT的整数微调平均损失3.1分。
2023-02-12 cs.LG
Fine-Tuning Graph Neural Networks via Graph Topology induced Optimal Transport
Tencent AI Lab(腾讯人工智能实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
最近,预训练-微调范式在图学习社区引起了大量的关注,因为它能够缓解许多现实世界应用中的标签缺乏问题。目前的研究使用现有的技术,如重量约束,表示约束,这是来自图像或文本数据,从预训练阶段转移到微调阶段的不变知识。然而,这些方法未能保持图结构和图神经网络(GNN)风格模型的不变性。在本文中,我们提出了一种新的最佳传输为基础的微调框架称为GTOT-Tuning,即图拓扑诱导的最佳传输微调,GNN风格的骨干。GTOT-Tuning需要利用图数据的属性来增强由微调网络产生的表示的保留。为了实现这一目标,我们将图局部知识转移表示为具有结构先验的最优运输(OT)问题,并构造GTOT正则化器来约束微调的模型行为。通过使用节点之间的邻接关系,GTOT正则化器实现了节点级的最佳传输过程,并减少了冗余传输过程,从而从预训练模型中实现了有效的知识转移。我们评估了GTOT-Tuning在8个具有不同GNN主干的下游任务上的性能,并证明了它可以实现GNN最先进的微调性能。
2022-03-20 cs.LG
Fine-Grained Model Merging via Modular Expert Recombination
Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University(数据科学与人工智能系,香港理工大学);College of Computer Science, Chongqing University(计算机科学学院,重庆大学)
MERGE通过模块化专家重组实现细粒度模型合并,提升模型适应性和存储效率。
2026-02-06 cs.LG
Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
IBM Research(IBM研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出理论框架,分析两种安全感知型LLM微调策略中安全与能力的权衡,揭示数据相似性、上下文重叠及对齐损失景观的影响,并通过数值实验验证了权衡的基本极限。
2025-03-24 cs.AI cs.CL cs.LG
Exploring Wav2vec 2.0 fine-tuning for improved speech emotion recognition
Carnegie Mellon University(卡内基梅隆大学)
虽然Wav 2 Vec 2.0已经被提出用于语音识别(ASR),但它也可以用于语音情感识别(SER);使用不同的微调策略可以显着提高其性能。首先提出了两种基本方法,香草微调(V-FT)和任务自适应预训练(TAPT)。我们表明,V-FT能够在IEMOCAP数据集上超越最先进的模型。TAPT,现有的NLP微调策略,进一步提高SER的性能。我们还介绍了一种新的微调方法,称为P-TAPT,它修改了TAPT目标学习情境化的情感表示。实验表明,P-TAPT的性能优于TAPT,尤其是在低资源环境下。与本文献中的先前工作相比,我们的顶线系统在IEMOCAP上的最新性能上实现了未加权准确度(UA)的7.4\%的绝对改善。我们的代码是公开的。
2023-02-21 cs.CL cs.LG cs.SD
Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification
The University of Tokyo(东京大学);University of Southern California(南加州大学);The Chinese University of Hong Kong(香港中文大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出ClipFit方法,仅微调CLIP中特定的偏置项和归一化层,无需额外参数即可将零样本性能提升7.27%,并分析了微调对内部参数和表示的影响。
2024-11-19 cs.AI cs.CL cs.CV
Unlocking Emergent Modularity in Large Language Models
HKUST(香港科技大学);IIIS, Tsinghua University(清华大学信息科学技术学院(IIIS));ILCC, University of Edinburgh(爱丁堡大学ILCC)
本文提出 Emergent MoE(EMoE),利用标准语言模型中自发出现的涌现模块化结构,在不增加额外参数的情况下将 LMs 微调为 MoE 模型,实验证明其能提升域内与域外泛化能力,并可扩展至 Llama2-7B 和 Llama-30B。
2024-04-01 cs.AI cs.LG
AutoFT: Learning an Objective for Robust Fine-Tuning
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
AutoFT提出一种数据驱动的鲁棒微调方法,通过双层优化搜索目标函数和超参数以增强分布外泛化,在九个自然偏移上超越现有方法,并在WILDS iWildCam和FMoW基准上取得新最先进结果。
2024-03-07 cs.CV cs.LG
Surgical Fine-Tuning Improves Adaptation to Distribution Shifts
Stanford University(斯坦福大学)
本文提出选择性微调部分网络层的 surgical fine-tuning,并通过七项真实任务和两层网络理论证明其能依据分布偏移类型减少灾难性遗忘、提升适应性能。
2023-06-06 cs.AI cs.LG
Long-Tail Learning with Foundation Model: Heavy Fine-Tuning Hurts
Nanjing University(南京大学);Southeast University(东南大学)
本文揭示重度微调会因类条件不一致损害尾部类别性能,提出自适应轻量级微调算法LIFT,在减少训练时间与参数的同时提升了预测准确率。
2024-06-01 cs.CV cs.LG