SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models
Simon Fraser University(西蒙菲莎大学)
本文提出SPAFIT方法,通过将不同语言知识定位到模型特定层进行分层渐进式适配微调,在GLUE九个任务上以更少参数超越LoRA等现有PEFT方法。
2024-04-30 cs.AI cs.CL
TuCo: Measuring the Contribution of Fine-Tuning to Individual Responses of LLMs
University of Oxford(牛津大学)
本文提出新方法TuCo,通过将微调LLM精确分解为预训练和微调组件并计算其幅度比,定量衡量微调对个体响应的贡献,发现对抗攻击通过降低TuCo绕过安全机制。
2025-06-29 cs.AI cs.CL
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
最近的预训练语言模型从数百万扩展到数十亿个参数。因此,在各种下游任务中,需要用有限的训练语料库来微调非常大的预训练模型。在本文中,我们提出了一种简单而有效的微调技术,Child-Tuning,它通过在向后过程中策略性地屏蔽非子网络的梯度来更新大型预训练模型的参数子集(称为子网络)。在GLUE基准测试中的各种下游任务上的实验表明,在四种不同的预训练模型中,Child-Tuning始终优于vanilla微调,平均得分为1.5~8.6,并优于先前的微调技术0.6~1.3分。此外,在领域转移和任务转移方面的实验结果表明,Child-Tuning可以获得更好的泛化性能。
2021-09-13 cs.AI cs.CL
You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Models
University of Florida(佛罗里达大学)
本文提出多示例上下文微调方法,通过扩展上下文学习原理,显著提升大型语言模型在多任务处理中的性能,接近专门微调水平并缓解灾难性遗忘问题。
2026-03-03 cs.AI cs.CL
Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景,对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电子工程学院)
针对微调即服务中安全对齐被有害微调攻击削弱的问题,提出一种基于梯度分析的缓冲与强化框架,通过临时越狱适配器减少有害更新并利用QR分解合并强化安全,实现无需额外安全数据的高效防御。
2026-05-23 cs.AI cs.CL cs.LG
FineTuneBench: How well do commercial fine-tuning APIs infuse knowledge into LLMs?
Stanford University(斯坦福大学)
研究提出评估框架FineTuneBench,测试商业微调API对LLM的知识注入与更新能力,发现现有模型学习新知识平均准确率仅37%,更新知识仅19%,揭示了商业微调服务在可靠知识注入上的重大缺陷。
2024-11-11 cs.AI cs.CL cs.IR
GSQ-Tuning: Group-Shared Exponents Integer in Fully Quantized Training for LLMs On-Device Fine-tuning
Houmo AI(后摩智能);Southeast University(东南大学);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出GSQ-Tuning框架,通过组共享指数整数格式实现完全基于整数的设备端LLM微调,在保持与BF16相当准确度的同时显著降低内存、功耗和芯片面积。
2025-05-29 cs.AI cs.CL cs.LG
FireAct: Toward Language Agent Fine-tuning
System2 Research(System2研究机构);University of Cambridge(剑桥大学);Monash University(莫纳什大学);Princeton University(普林斯顿大学)
该研究提出FireAct方法,通过多任务多提示轨迹微调语言模型构建语言智能体,证实微调可显著提升性能,为语言智能体微调提供实验基础与研究方向。
2023-10-09 cs.AI cs.CL cs.LG
Steering Out-of-Distribution Generalization with Concept Ablation Fine-Tuning
Harvard University(哈佛大学);Northeastern University(东北大学);Anthropic;ML Alignment & Theory Scholars (MATS) program(ML对齐与理论学者(MATS)计划)
本文提出概念消融微调(CAFT),通过在微调时用线性投影消融潜在空间中不期望概念的方向,在不修改训练数据的情况下引导大语言模型远离非预期分布外泛化,并在涌现性错位等任务中将错位回答减少10倍且不损失训练分布性能。
2025-11-09 cs.AI cs.CL cs.LG
LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models
Georgia Tech(佐治亚理工学院);Microsoft Azure(微软Azure)
本文提出LoftQ框架,在量化LLM的同时为LoRA微调寻找合适的低秩初始化,以缩小量化模型与全精度模型的差距,在2位及2/4位混合精度下显著提升下游任务性能。
2023-11-28 cs.AI cs.CL cs.LG
Towards Understanding Fine-Tuning Mechanisms of LLMs via Circuit Analysis
School of Computing(计算学院);Data Science, The University of Hong Kong(数据科学,香港大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳))
该研究通过电路分析探究LLM微调机制,发现微调前后电路节点相似度高但边变化显著,据此提出电路感知LoRA方法,在参数量相近时比标准LoRA性能平均提升2.46%,还探索了子任务电路组合对组合任务微调的增强作用。
2025-06-13 cs.AI cs.CL cs.LG
LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
University of Colorado Boulder(科罗拉多大学博尔德分校);Amazon Web Services(亚马逊网络服务);Electronics and Telecommunications Research Institute(电子通信研究院)
针对有限硬件下微调预训练LLM的GPU显存约束及最优分布式微调方法难确定的问题,提出LLMem方案,通过模型结构与方法显存分布提前估算显存并选最优方法,单卡误差最高1.6%,十亿参数以上多卡微调平均误差3.0%。
2024-04-16 cs.AI cs.CL cs.LG
Investigating Public Fine-Tuning Datasets: A Complex Review of Current Practices from a Construction Perspective
Shanghai AI Laboratory(上海人工智能实验室)
本文从构建视角综述公开微调数据集,梳理其演进与分类,详述大语言模型微调数据集的构建技术,总结不同数据准备阶段的特征,为未来微调数据集的构建与发展提供参考。
2024-07-11 cs.CL
Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models
University of North Texas(北德克萨斯大学);Microsoft Research(微软研究院)
针对预训练语言模型存在社会偏见、现有去偏方法成本高且损害下游任务性能的问题,提出Gender-tuning方法,将MLM目标融入下游任务微调,在降低偏见的同时提升下游性能,且适用于各类支持微调的PLM。
2023-07-20 cs.CL
On the Impact of Fine-Tuning on Chain-of-Thought Reasoning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Virginia(弗吉尼亚大学);Harvard University(哈佛大学)
本研究探讨了微调对大型语言模型推理能力的影响,发现特定任务微调会降低思维链推理的忠实度,揭示了微调导致的模型内部机制转变。
2025-03-30 cs.CL
The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
Language Technology Lab University of Amsterdam(语言技术实验室 阿姆斯特丹大学)
本文通过132个翻译方向的受控实验,系统揭示了微调中语言多样性对翻译质量的非线性影响,并证明其通过形成语言无关表示提升性能。
2025-09-19 cs.CL
Memorization in NLP Fine-tuning Methods
University of California San Diego(加州大学圣地亚哥分校);University of Virginia(弗吉尼亚大学)
大语言模型通过记忆训练数据而表现出隐私风险,最近的几项工作已经研究了预训练阶段的这种风险。然而,很少有人关注微调阶段,也不清楚不同的微调方法(如微调完整模型,模型头和适配器)在记忆风险方面的比较。随着“预先培训和微调”模式的扩散,这引起了越来越多的关注。在本文中,我们实证研究记忆的微调方法,使用成员推理和提取攻击,并表明它们的敏感性是非常不同的。我们观察到,微调模型的头部对攻击的敏感性最高,而微调较小的适配器似乎不太容易受到已知提取攻击。
2022-11-04 cs.CL cs.LG
Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学);IBM Research(IBM研究院);Stanford University(斯坦福大学)
该研究揭示对已安全对齐的大语言模型进行自定义微调存在安全风险,少量对抗样本或良性数据集微调都可能削弱安全防护,并呼吁完善相关安全协议。
2023-10-05 cs.AI cs.CL cs.CR
Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning
Alibaba Group(阿里巴巴集团)
针对大型预训练模型全参数微调代价高的问题,提出自适应前缀微调(APT),通过门控机制在令牌级和层级调整前缀,在SuperGLUE和NER数据集上验证了有效性与高效性。
2023-05-24 cs.CL
Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学计算机科学与技术系对话式人工智能组);The University of Melbourne(墨尔本大学);MYbank, Ant Group(蚂蚁集团网商银行)
研究揭示了在开源大语言模型上微调时,通过简单后门训练可能窃取私有微调数据的风险,实验表明提取成功率高达76.3%,并提出检测防御策略但发现其易被绕过。
2026-04-03 cs.CL
Antidote: Post-fine-tuning Safety Alignment for Large Language Models against Harmful Fine-tuning
Georgia Institute of Technology(佐治亚理工学院);Dolby Laboratories(杜比实验室)
针对现有大语言模型安全防御在特定微调超参数下易失效的问题,提出微调后剪枝有害参数的Antidote方法,可在不依赖微调超参数的情况下降低有害评分并保留下游任务性能。
2025-09-05 cs.AI cs.CR
DELIFT: Data Efficient Language model Instruction Fine Tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
本研究提出DELIFT算法,通过成对效用度量与子模函数在指令微调、任务特定微调、持续微调三阶段优化数据选择,可减少70%微调数据量且不损失性能,效率与效果均优于现有方法。
2025-03-20 cs.CL
Towards Pedagogical LLMs with Supervised Fine Tuning for Computing Education
The University of New South Wales(新南威尔士大学)
针对大语言模型可能阻碍计算教育学习效果的问题,研究利用2500条编程课程论坛问答对进行监督微调,验证论坛数据适用性与教学对齐提升效果,初步显示增益仍需深入评估。
2024-11-04 cs.CL
Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
IBM Research(IBM研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出理论框架,分析两种安全感知型LLM微调策略中安全与能力的权衡,揭示数据相似性、上下文重叠及对齐损失景观的影响,并通过数值实验验证了权衡的基本极限。
2025-03-24 cs.AI cs.CL cs.LG
Automated Data Curation for Robust Language Model Fine-Tuning
University of Maryland(马里兰大学);Cleanlab(Cleanlab公司)
提出CLEAR自动化数据整理流程,基于置信度过滤或修正低质量训练数据,无需额外微调计算,即可提升任何大语言模型微调后的性能。
2024-03-19 cs.CL
Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification
The University of Tokyo(东京大学);University of Southern California(南加州大学);The Chinese University of Hong Kong(香港中文大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出ClipFit方法,仅微调CLIP中特定的偏置项和归一化层,无需额外参数即可将零样本性能提升7.27%,并分析了微调对内部参数和表示的影响。
2024-11-19 cs.AI cs.CL cs.CV
Sparse Matrix in Large Language Model Fine-tuning
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
针对PEFT方法与全量微调存在精度差距的问题,提出稀疏矩阵调优SMT方法,仅更新梯度中关键子矩阵,在多任务上优于LoRA等基准,且GPU内存占用比全量微调低67%。
2025-05-19 cs.CL
How Does Fine-tuning Affect the Geometry of Embedding Space: A Case Study on Isotropy
Iran University of Science and Technology(伊朗科技大学);Tehran Institute for Advanced Studies, Khatam University(德黑兰高级研究所,哈塔姆大学)
人们普遍认为,微调预训练的语言模型通常会带来下游任务的性能改进。然而,有有限的研究背后的原因,这种有效性,特别是从嵌入空间的结构变化的角度。为了填补这一空白,本文分析了微调后嵌入空间各向同性的变化程度。我们证明,即使各向同性是一个理想的几何属性,微调并不一定会导致各向同性增强。此外,预先训练的上下文单词表示(CWRs)中的局部结构,例如编码令牌类型或频率的结构,在微调期间会发生巨大的变化。我们的实验表明,嵌入空间中的细长方向的数量急剧增长,与预先训练的CWRs相比,这些方向在微调的嵌入空间中携带基本的语言知识,使得现有的各向同性增强方法无效。
2021-09-10 cs.CL
Detecting Adversarial Fine-tuning with Auditing Agents
MATS & Anthropic Fellows Program(MATS与Anthropic Fellow项目);Thinking Machines Lab(Thinking Machines实验室);Anthropic
本文提出微调审计智能体,通过检查数据集及微调前后模型为微调任务评分,以在部署前检测隐含有害的对抗性微调。
2025-10-17 cs.AI cs.CR
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto(电气与计算机工程系 东京大学)
本研究重新审视了LLM微调中的记忆化问题,发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势,且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
LIFT: Last-Mile Fine-Tuning for Table Explicitation
Microsoft Corporation(微软公司)
本文提出LIFT方法,通过预训练大语言模型提取表格并由微调的小语言模型修复错误,仅需1000个训练样本即可在TEDS指标上超越端到端微调,且更鲁棒于输入格式变化。
2026-05-13 cs.CL cs.LG
QEFT: Quantization for Efficient Fine-Tuning of LLMs
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Graduate School of Artificial Intelligence(人工智能研究生院)
本文提出QEFT,一种用于大型语言模型高效微调的轻量级量化技术,旨在同时提升推理与微调速度、降低内存消耗并保持模型质量,实验证明其性能可媲美全精度参数高效微调且资源消耗更少。
2024-10-11 cs.CL cs.LG
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati(辛辛那提大学);University of Toronto(多伦多大学);University of Oxford(牛津大学)
本文研究了微调目标对LLM安全性和鲁棒性的影响,发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
Two-stage LLM Fine-tuning with Less Specialization and More Generalization
Google(谷歌)
本文提出ProMoT两阶段微调框架,通过先提示调优再模型调优,减少格式特化,保持微调性能同时提升上下文学习泛化能力。
2024-03-12 cs.CL cs.LG
Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes
Microsoft Research Asia(微软亚洲研究院)
在本文中,我们将大型参数模型与非参数原型网络相结合。我们提出了原型微调,一个新的原型框架微调预训练的语言模型(LM),自动学习的偏见,以提高预测性能的不同数据大小,特别是低资源设置。我们的原型微调方法可以根据数据点的数量和模型的固有属性自动调整模型的容量。此外,我们提出了四个原则,有效的原型微调到最佳的解决方案。在各种数据集上的实验结果表明,我们的工作在各种低资源设置下实现了显着的性能改进,以及在高资源场景下的可比性和通常更好的性能。
2022-11-24 cs.CL cs.LG
MFTCoder: Boosting Code LLMs with Multitask Fine-Tuning
Ant Group(蚂蚁集团)
针对代码大模型单任务微调资源消耗大、未利用任务关联性的问题,提出多任务微调框架MFTCoder,通过多损失函数解决多任务学习挑战,训练效率更高,适配主流开源大模型,在HumanEval基准上超越GPT-4零样本表现。
2023-11-04 cs.AI cs.LG
Scaling Laws for Forgetting When Fine-Tuning Large Language Models
Tenyx(Tenyx公司)
本文研究微调大语言模型时的灾难性遗忘问题,发现LoRA微调中性能与遗忘量呈逆线性关系,并给出遗忘随参数量和更新步数呈偏移幂律增长的缩放定律,指出早停无法避免遗忘,为安全关键研究开辟新方向。
2024-01-11 cs.CL cs.LG
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting
Georgia Institute of Technology(佐治亚理工学院)
本文在低资源环境下比较了多种LLM高效微调方法,发现上下文蒸馏优于标准微调,而自适应微调和LoRA表现相当或略差,强调方法选择取决于资源和任务适应性。
2024-05-21 cs.CL cs.LG
Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation
University of Pittsburgh(匹兹堡大学);University of Maryland, College Park(马里兰大学帕克分校);University of Science and Technology of China(中国科学技术大学)
本文提出 GreenTrainer,通过自适应评估张量反向传播成本与准确率贡献并选择训练张量,在保持准确率的同时显著降低 LLM 微调 FLOPs。
2024-02-29 cs.AI cs.LG
Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity
Princeton University(普林斯顿大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Pennsylvania(宾夕法尼亚大学);Rice University(莱斯大学);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
本研究通过将稀疏性与量化整合到零阶优化微调中,仅微调预训练识别的0.1%敏感参数,在内存不足8 GiB的GPU上实现了Llama2-7B的高效微调,性能超越全参数微调且降低延迟。
2024-06-05 cs.AI cs.LG
FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
Utrecht University(乌得勒支大学)
针对预训练语言模型微调中双模型鲁棒提升方法计算成本高的问题,提出迁移训练动力学的FTFT微调法,利用可迁移的训练动力学、高效参考模型和早停策略,在提升鲁棒性的同时降低约50%训练成本。
2024-12-11 cs.CL cs.LG
The dark deep side of DeepSeek: Fine-tuning attacks against the safety alignment of CoT-enabled models
DeepSeek company(深度求索公司)
本文研究基于思维链的DeepSeek模型对微调攻击的脆弱性,发现微调可操纵模型输出并加剧有害响应,揭示了CoT-enabled模型在安全与伦理部署方面的隐患。
2025-02-03 cs.AI cs.CR
New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework
University of Maryland(马里兰大学);University of Texas Arlington(德克萨斯大学阿灵顿分校)
本文提出一种混合微调方法,结合零阶和一阶优化方法更新LLM和PEFT模块,通过混合平滑条件理论分析其收敛性,并在多种下游任务中验证了有效性。
2026-04-10 cs.AI cs.LG math.OC
MedBLIP: Fine-tuning BLIP for Medical Image Captioning
George Mason University(乔治·马歇尔大学)
针对通用视觉语言模型在医学图像描述生成中表现不佳的问题,本研究在ROCO数据集上微调BLIP模型,通过多模型对比、注意力可视化与消融实验,验证了领域微调的有效性及不同微调策略的优劣。
2025-05-20 cs.AI cs.CV eess.IV
LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
Stanford University(斯坦福大学)
针对大语言模型微调成本高的问题,提出首个支持每参数2比特以下LoRA微调的LowRA框架,通过优化细粒度量化和高效CUDA内核,在4个模型和数据集上实现更优性能-精度权衡,内存最多减50%。
2025-02-12 cs.AR cs.CL cs.LG
Parameter-Efficient Fine-Tuning Design Spaces
Georgia Institute of Technology(佐治亚理工学院);Amazon Web Services(亚马逊云科技);Stanford University(斯坦福大学)
参数高效微调旨在使用更少的可训练参数来实现与微调相当的性能。几种策略(例如,适配器、前缀调谐、BitFit和LoRA)已经被提出。然而,他们的设计是单独手工制作的,目前还不清楚是否存在某些设计模式用于参数高效微调。因此,我们提出了一个参数高效微调设计范例,并发现设计模式,适用于不同的实验设置。而不是专注于设计另一个单独的调整策略,我们引入参数高效微调设计空间,参数化调整结构和调整策略。具体来说,任何设计空间的特点是由四个组成部分:层分组,可训练的参数分配,可调组和策略分配。从初始设计空间开始,我们根据每个设计选择的模型质量逐步细化空间,并在每个阶段对这四个组件进行贪婪选择。我们发现了以下设计模式:(i)将层分组为主轴模式;(ii)将可训练参数的数量均匀分配给层;(iii)调整所有组;(iv)为不同的组分配适当的调整策略。这些设计模式导致新的参数高效微调方法。我们的实验表明,这些方法一致和显着优于调查参数高效微调策略在不同的骨干模型和不同的任务,在自然语言处理。
2023-01-04 cs.AI cs.CL
Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition
University of California, San Diego(加州大学圣地亚哥分校)
微调预训练的语言模型最近已经成为为各种任务构建NLP模型的常见做法,特别是Few-Shot任务。我们认为,在Few-Shot设置下,制定更接近预训练目标的微调应该能够从预训练的语言模型中释放出更多的好处。在这项工作中,我们采取了Few-Shot命名实体识别(NER)的试点研究,现有的微调策略与预训练有很大不同。我们提出了一种新的Few-Shot微调框架NER,FFF-NER。具体来说,我们引入了三种新类型的标记,“是实体”,“哪种类型”和括号,因此我们可以根据预训练的语言模型的选择,将NER微调制定为(屏蔽的)标记预测或生成。在我们的实验中,我们应用FFF-NER在几个基准数据集上对Few-Shot NER的BERT和BART进行微调,并观察到与现有微调策略相比的显着改进,包括序列标记,原型元学习和基于BART的方法。我们进一步进行了一系列的消融研究,显示Few-Shot NER性能与微调和预训练之间的相似性密切相关。
2022-10-31 cs.AI cs.CL
When Does Language Transfer Help? Sequential Fine-Tuning for Cross-Lingual Euphemism Detection
Montclair State University(蒙特克莱尔州立大学)
本文研究顺序微调对跨语言委婉语检测的影响,发现高资源L1顺序微调可提升低资源L2性能,XLM-R增益大但易遗忘,mBERT更稳定,证明该方法简单有效。
2025-08-15 cs.AI cs.CL
Progtuning: Progressive Fine-tuning Framework for Transformer-based Language Models
Institute of Information Engineering,Chinese Academy of Sciences(信息工程研究所,中国科学院);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Key Laboratory of Cyberspace Security Defense, Beijing, China(网络安全防御重点实验室,中国)
针对Transformer模型微调时计算资源分配低效的问题,提出结合渐进式学习的微调框架Progtuning,根据各Transformer块的贡献逐步减少更新参数量约25%,在保持竞争力的同时优化资源分配并展现高度适应性。
2025-06-26 cs.AI cs.CL
A Closer Look at How Fine-tuning Changes BERT
University of Utah(犹他大学)
鉴于在当今的NLP中普遍存在预先训练的语境化表征,人们已经做出了许多努力来了解它们包含哪些信息,以及为什么它们似乎普遍成功。使用这些表示的最常见方法是针对最终任务对其进行微调。然而,微调如何改变底层嵌入空间的研究较少。在这项工作中,我们研究了英语BERT家庭,并使用两种探测技术来分析微调如何改变空间。我们假设微调通过增加与不同标签相关的示例之间的距离来影响分类性能。我们证实了这一假设,精心设计的实验上五个不同的NLP任务。通过这些实验,我们还发现了一个例外,流行的智慧,“微调总是提高性能”。最后,通过比较微调前后的表示,我们发现微调不会对表示进行任意更改;相反,它会将表示调整到下游任务,同时在很大程度上保留数据点的原始空间结构。
2022-03-16 cs.CL
Know Where You're Going: Meta-Learning for Parameter-Efficient Fine-Tuning
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
最近的一系列技术,被称为轻量级微调方法,通过仅更新一小部分附加参数,同时保持预训练语言模型的参数冻结,促进了参数高效的迁移学习。虽然被证明是一种有效的方法,但目前还没有关于下游微调方法的知识是否以及如何影响预训练阶段的研究。在这项工作中,我们表明,考虑到微调方法的最终选择提高性能的参数高效微调。通过依赖基于优化的元学习,使用MAML进行某些修改,以实现我们的独特目的,我们专门为参数高效微调准备了预训练模型,从而在跨语言NER微调上获得高达1.7个点的增益。我们的消融设置和分析进一步表明,我们在MAML中引入的调整对获得的增益至关重要。
2022-12-08 cs.CL
Gradual Fine-Tuning for Low-Resource Domain Adaptation
Johns Hopkins University(约翰霍普金斯大学);University of Rochester(罗切斯特大学)
众所周知,微调通过使在更丰富但不太领域突出的示例上训练的初始模型适应目标领域中的数据来改进NLP模型。这种领域自适应通常使用一个微调阶段来完成。我们证明了在多阶段过程中逐渐微调可以产生实质性的进一步收益,并且可以在不修改模型或学习目标的情况下应用。
2021-09-01 cs.CL
Selecting Informative Contexts Improves Language Model Finetuning
UT Austin(德克萨斯大学奥斯汀分校);Intel Labs(英特尔研究院)
语言模型微调对于现代自然语言处理是必不可少的,但计算昂贵且耗时。此外,微调的有效性受到包括负面影响性能的训练样本的限制。为了提高语言模型微调的整体训练效率和最终性能,本文提出了一种通用的微调方法--信息增益过滤。我们将一个例子的信息增益定义为在该例子上训练后测试度量的改进。然后训练二级学习者近似这个量。在微调过程中,这个学习者选择信息丰富的例子,跳过没有信息的例子。我们证明了我们的方法在数据集、微调任务和语言模型架构上都有一致的改进。例如,我们在books数据集上实现了54.0的中位数困惑度,而标准微调为57.3。我们提出的统计证据,提供了深入了解我们的方法超过标准微调的改进。我们的方法的通用性,使我们提出了一个新的范式语言模型微调-我们鼓励研究人员发布预训练的二级学习者在共同的语料库,以促进高效和有效的微调,从而提高性能,减少整体能源足迹的语言模型微调。
2022-05-19 cs.CL