Towards Understanding Fine-Tuning Mechanisms of LLMs via Circuit Analysis
School of Computing(计算学院);Data Science, The University of Hong Kong(数据科学,香港大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳))
该研究通过电路分析探究LLM微调机制,发现微调前后电路节点相似度高但边变化显著,据此提出电路感知LoRA方法,在参数量相近时比标准LoRA性能平均提升2.46%,还探索了子任务电路组合对组合任务微调的增强作用。
2025-06-13 cs.AI cs.CL cs.LG
LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
University of Colorado Boulder(科罗拉多大学博尔德分校);Amazon Web Services(亚马逊网络服务);Electronics and Telecommunications Research Institute(电子通信研究院)
针对有限硬件下微调预训练LLM的GPU显存约束及最优分布式微调方法难确定的问题,提出LLMem方案,通过模型结构与方法显存分布提前估算显存并选最优方法,单卡误差最高1.6%,十亿参数以上多卡微调平均误差3.0%。
2024-04-16 cs.AI cs.CL cs.LG
Panacea: Mitigating Harmful Fine-tuning for Large Language Models via Post-fine-tuning Perturbation
Tsinghua University(清华大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Didichuxing Co. Ltd(滴滴出行有限公司);Nanyang Technological University(南洋理工大学)
Panacea通过自适应扰动优化,在保持微调性能的同时缓解大语言模型的有害微调问题
2026-01-16 cs.AI cs.CL
Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning
Telecom SudParis, Institut Polytechnique de Paris, France(电信巴黎大学,巴黎理工学院,法国)
本文比较了LoRA、提示微调和全微调在医学摘要任务上的性能,发现LoRA在参数效率和效果上均优于全微调。
2026-03-23 cs.AI cs.CL
Impact of Fine-Tuning Methods on Memorization in Large Language Models
George Mason University(乔治·马歇尔大学)
本文通过成员推断攻击评估不同微调方法对大语言模型记忆化及隐私泄露的影响,发现基于提示的微调在保持性能的同时比基于参数的微调更具隐私保护性。
2025-06-30 cs.AI cs.CL
Memorization in NLP Fine-tuning Methods
University of California San Diego(加州大学圣地亚哥分校);University of Virginia(弗吉尼亚大学)
大语言模型通过记忆训练数据而表现出隐私风险,最近的几项工作已经研究了预训练阶段的这种风险。然而,很少有人关注微调阶段,也不清楚不同的微调方法(如微调完整模型,模型头和适配器)在记忆风险方面的比较。随着“预先培训和微调”模式的扩散,这引起了越来越多的关注。在本文中,我们实证研究记忆的微调方法,使用成员推理和提取攻击,并表明它们的敏感性是非常不同的。我们观察到,微调模型的头部对攻击的敏感性最高,而微调较小的适配器似乎不太容易受到已知提取攻击。
2022-11-04 cs.CL cs.LG
Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models
Salesforce AI Research(赛富时人工智能研究院)
预训练的多语言模型在广泛的自然语言理解(NLU)任务上显示出zero-shot跨语言模型传输的显着性能增益。此前,对于zero-shot跨语言评估,预先训练的模型仅在英语数据上进行微调,并在多种目标语言上进行测试。在本文中,我们做了跨语言的评价各种自然语言理解任务(句子分类,序列标记,问答)使用提示微调,并比较它与微调。结果表明,提示微调实现了更好的跨语言迁移比微调跨数据集,只有0.1%至0.3%的调整参数。此外,我们通过分析表明,提示微调可以有更好的跨语言的下游任务的表示更好地对齐决策边界的可转移性。
2022-12-13 cs.AI cs.CL
Amuro and Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究通过微调多个中间预训练检查点并在18个数据集上评估,揭示大语言模型预训练能力的延迟显现、微调收益差异、知识遗忘及提示敏感性规律。
2025-03-18 cs.AI cs.CL
Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学);IBM Research(IBM研究院);Stanford University(斯坦福大学)
该研究揭示对已安全对齐的大语言模型进行自定义微调存在安全风险,少量对抗样本或良性数据集微调都可能削弱安全防护,并呼吁完善相关安全协议。
2023-10-05 cs.AI cs.CL cs.CR
LIFT: Last-Mile Fine-Tuning for Table Explicitation
Microsoft Corporation(微软公司)
本文提出LIFT方法,通过预训练大语言模型提取表格并由微调的小语言模型修复错误,仅需1000个训练样本即可在TEDS指标上超越端到端微调,且更鲁棒于输入格式变化。
2026-05-13 cs.CL cs.LG
QEFT: Quantization for Efficient Fine-Tuning of LLMs
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Graduate School of Artificial Intelligence(人工智能研究生院)
本文提出QEFT,一种用于大型语言模型高效微调的轻量级量化技术,旨在同时提升推理与微调速度、降低内存消耗并保持模型质量,实验证明其性能可媲美全精度参数高效微调且资源消耗更少。
2024-10-11 cs.CL cs.LG
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati(辛辛那提大学);University of Toronto(多伦多大学);University of Oxford(牛津大学)
本文研究了微调目标对LLM安全性和鲁棒性的影响,发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
Two-stage LLM Fine-tuning with Less Specialization and More Generalization
Google(谷歌)
本文提出ProMoT两阶段微调框架,通过先提示调优再模型调优,减少格式特化,保持微调性能同时提升上下文学习泛化能力。
2024-03-12 cs.CL cs.LG
Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
IBM Research(IBM研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出理论框架,分析两种安全感知型LLM微调策略中安全与能力的权衡,揭示数据相似性、上下文重叠及对齐损失景观的影响,并通过数值实验验证了权衡的基本极限。
2025-03-24 cs.AI cs.CL cs.LG
Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes
Microsoft Research Asia(微软亚洲研究院)
在本文中,我们将大型参数模型与非参数原型网络相结合。我们提出了原型微调,一个新的原型框架微调预训练的语言模型(LM),自动学习的偏见,以提高预测性能的不同数据大小,特别是低资源设置。我们的原型微调方法可以根据数据点的数量和模型的固有属性自动调整模型的容量。此外,我们提出了四个原则,有效的原型微调到最佳的解决方案。在各种数据集上的实验结果表明,我们的工作在各种低资源设置下实现了显着的性能改进,以及在高资源场景下的可比性和通常更好的性能。
2022-11-24 cs.CL cs.LG
MFTCoder: Boosting Code LLMs with Multitask Fine-Tuning
Ant Group(蚂蚁集团)
针对代码大模型单任务微调资源消耗大、未利用任务关联性的问题,提出多任务微调框架MFTCoder,通过多损失函数解决多任务学习挑战,训练效率更高,适配主流开源大模型,在HumanEval基准上超越GPT-4零样本表现。
2023-11-04 cs.AI cs.LG
Scaling Laws for Forgetting When Fine-Tuning Large Language Models
Tenyx(Tenyx公司)
本文研究微调大语言模型时的灾难性遗忘问题,发现LoRA微调中性能与遗忘量呈逆线性关系,并给出遗忘随参数量和更新步数呈偏移幂律增长的缩放定律,指出早停无法避免遗忘,为安全关键研究开辟新方向。
2024-01-11 cs.CL cs.LG
Can Fine-Tuning Erase Your Edits? On the Fragile Coexistence of Knowledge Editing and Adaptation
研究探讨了微调对知识编辑的影响,发现微调会显著降低编辑效果,且仅微调编辑层可有效去除编辑,同时保持下游性能。
2026-06-27 cs.AI cs.CL
SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models
Simon Fraser University(西蒙菲莎大学)
本文提出SPAFIT方法,通过将不同语言知识定位到模型特定层进行分层渐进式适配微调,在GLUE九个任务上以更少参数超越LoRA等现有PEFT方法。
2024-04-30 cs.AI cs.CL
TuCo: Measuring the Contribution of Fine-Tuning to Individual Responses of LLMs
University of Oxford(牛津大学)
本文提出新方法TuCo,通过将微调LLM精确分解为预训练和微调组件并计算其幅度比,定量衡量微调对个体响应的贡献,发现对抗攻击通过降低TuCo绕过安全机制。
2025-06-29 cs.AI cs.CL
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
最近的预训练语言模型从数百万扩展到数十亿个参数。因此,在各种下游任务中,需要用有限的训练语料库来微调非常大的预训练模型。在本文中,我们提出了一种简单而有效的微调技术,Child-Tuning,它通过在向后过程中策略性地屏蔽非子网络的梯度来更新大型预训练模型的参数子集(称为子网络)。在GLUE基准测试中的各种下游任务上的实验表明,在四种不同的预训练模型中,Child-Tuning始终优于vanilla微调,平均得分为1.5~8.6,并优于先前的微调技术0.6~1.3分。此外,在领域转移和任务转移方面的实验结果表明,Child-Tuning可以获得更好的泛化性能。
2021-09-13 cs.AI cs.CL
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting
Georgia Institute of Technology(佐治亚理工学院)
本文在低资源环境下比较了多种LLM高效微调方法,发现上下文蒸馏优于标准微调,而自适应微调和LoRA表现相当或略差,强调方法选择取决于资源和任务适应性。
2024-05-21 cs.CL cs.LG
Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation
University of Pittsburgh(匹兹堡大学);University of Maryland, College Park(马里兰大学帕克分校);University of Science and Technology of China(中国科学技术大学)
本文提出 GreenTrainer,通过自适应评估张量反向传播成本与准确率贡献并选择训练张量,在保持准确率的同时显著降低 LLM 微调 FLOPs。
2024-02-29 cs.AI cs.LG
Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity
Princeton University(普林斯顿大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Pennsylvania(宾夕法尼亚大学);Rice University(莱斯大学);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
本研究通过将稀疏性与量化整合到零阶优化微调中,仅微调预训练识别的0.1%敏感参数,在内存不足8 GiB的GPU上实现了Llama2-7B的高效微调,性能超越全参数微调且降低延迟。
2024-06-05 cs.AI cs.LG
FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
Utrecht University(乌得勒支大学)
针对预训练语言模型微调中双模型鲁棒提升方法计算成本高的问题,提出迁移训练动力学的FTFT微调法,利用可迁移的训练动力学、高效参考模型和早停策略,在提升鲁棒性的同时降低约50%训练成本。
2024-12-11 cs.CL cs.LG
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto(电气与计算机工程系 东京大学)
本研究重新审视了LLM微调中的记忆化问题,发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势,且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification
The University of Tokyo(东京大学);University of Southern California(南加州大学);The Chinese University of Hong Kong(香港中文大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出ClipFit方法,仅微调CLIP中特定的偏置项和归一化层,无需额外参数即可将零样本性能提升7.27%,并分析了微调对内部参数和表示的影响。
2024-11-19 cs.AI cs.CL cs.CV
You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Models
University of Florida(佛罗里达大学)
本文提出多示例上下文微调方法,通过扩展上下文学习原理,显著提升大型语言模型在多任务处理中的性能,接近专门微调水平并缓解灾难性遗忘问题。
2026-03-03 cs.AI cs.CL
Understanding Catastrophic Forgetting in Language Models via Implicit Inference
Carnegie Mellon University(卡内基梅隆大学)
该研究提出语言模型微调引发灾难性遗忘源于隐式任务推断偏差,通过Conjugate Prompting(含多语言翻译提示)可恢复部分预训练能力,也揭示安全微调存在被绕过的风险。
2024-04-14 cs.CL cs.LG
FineTuneBench: How well do commercial fine-tuning APIs infuse knowledge into LLMs?
Stanford University(斯坦福大学)
研究提出评估框架FineTuneBench,测试商业微调API对LLM的知识注入与更新能力,发现现有模型学习新知识平均准确率仅37%,更新知识仅19%,揭示了商业微调服务在可靠知识注入上的重大缺陷。
2024-11-11 cs.AI cs.CL cs.IR
New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework
University of Maryland(马里兰大学);University of Texas Arlington(德克萨斯大学阿灵顿分校)
本文提出一种混合微调方法,结合零阶和一阶优化方法更新LLM和PEFT模块,通过混合平滑条件理论分析其收敛性,并在多种下游任务中验证了有效性。
2026-04-10 cs.AI cs.LG math.OC
Antidote: Post-fine-tuning Safety Alignment for Large Language Models against Harmful Fine-tuning
Georgia Institute of Technology(佐治亚理工学院);Dolby Laboratories(杜比实验室)
针对现有大语言模型安全防御在特定微调超参数下易失效的问题,提出微调后剪枝有害参数的Antidote方法,可在不依赖微调超参数的情况下降低有害评分并保留下游任务性能。
2025-09-05 cs.AI cs.CR
LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
Stanford University(斯坦福大学)
针对大语言模型微调成本高的问题,提出首个支持每参数2比特以下LoRA微调的LowRA框架,通过优化细粒度量化和高效CUDA内核,在4个模型和数据集上实现更优性能-精度权衡,内存最多减50%。
2025-02-12 cs.AR cs.CL cs.LG
Investigating Public Fine-Tuning Datasets: A Complex Review of Current Practices from a Construction Perspective
Shanghai AI Laboratory(上海人工智能实验室)
本文从构建视角综述公开微调数据集,梳理其演进与分类,详述大语言模型微调数据集的构建技术,总结不同数据准备阶段的特征,为未来微调数据集的构建与发展提供参考。
2024-07-11 cs.CL
Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models
University of North Texas(北德克萨斯大学);Microsoft Research(微软研究院)
针对预训练语言模型存在社会偏见、现有去偏方法成本高且损害下游任务性能的问题,提出Gender-tuning方法,将MLM目标融入下游任务微调,在降低偏见的同时提升下游性能,且适用于各类支持微调的PLM。
2023-07-20 cs.CL
On the Impact of Fine-Tuning on Chain-of-Thought Reasoning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Virginia(弗吉尼亚大学);Harvard University(哈佛大学)
本研究探讨了微调对大型语言模型推理能力的影响,发现特定任务微调会降低思维链推理的忠实度,揭示了微调导致的模型内部机制转变。
2025-03-30 cs.CL
Detecting Adversarial Fine-tuning with Auditing Agents
MATS & Anthropic Fellows Program(MATS与Anthropic Fellow项目);Thinking Machines Lab(Thinking Machines实验室);Anthropic
本文提出微调审计智能体,通过检查数据集及微调前后模型为微调任务评分,以在部署前检测隐含有害的对抗性微调。
2025-10-17 cs.AI cs.CR
The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
Language Technology Lab University of Amsterdam(语言技术实验室 阿姆斯特丹大学)
本文通过132个翻译方向的受控实验,系统揭示了微调中语言多样性对翻译质量的非线性影响,并证明其通过形成语言无关表示提升性能。
2025-09-19 cs.CL
Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning
Alibaba Group(阿里巴巴集团)
针对大型预训练模型全参数微调代价高的问题,提出自适应前缀微调(APT),通过门控机制在令牌级和层级调整前缀,在SuperGLUE和NER数据集上验证了有效性与高效性。
2023-05-24 cs.CL
Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学计算机科学与技术系对话式人工智能组);The University of Melbourne(墨尔本大学);MYbank, Ant Group(蚂蚁集团网商银行)
研究揭示了在开源大语言模型上微调时,通过简单后门训练可能窃取私有微调数据的风险,实验表明提取成功率高达76.3%,并提出检测防御策略但发现其易被绕过。
2026-04-03 cs.CL
DELIFT: Data Efficient Language model Instruction Fine Tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
本研究提出DELIFT算法,通过成对效用度量与子模函数在指令微调、任务特定微调、持续微调三阶段优化数据选择,可减少70%微调数据量且不损失性能,效率与效果均优于现有方法。
2025-03-20 cs.CL
Towards Pedagogical LLMs with Supervised Fine Tuning for Computing Education
The University of New South Wales(新南威尔士大学)
针对大语言模型可能阻碍计算教育学习效果的问题,研究利用2500条编程课程论坛问答对进行监督微调,验证论坛数据适用性与教学对齐提升效果,初步显示增益仍需深入评估。
2024-11-04 cs.CL
Automated Data Curation for Robust Language Model Fine-Tuning
University of Maryland(马里兰大学);Cleanlab(Cleanlab公司)
提出CLEAR自动化数据整理流程,基于置信度过滤或修正低质量训练数据,无需额外微调计算,即可提升任何大语言模型微调后的性能。
2024-03-19 cs.CL
Sparse Matrix in Large Language Model Fine-tuning
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
针对PEFT方法与全量微调存在精度差距的问题,提出稀疏矩阵调优SMT方法,仅更新梯度中关键子矩阵,在多任务上优于LoRA等基准,且GPU内存占用比全量微调低67%。
2025-05-19 cs.CL
How Does Fine-tuning Affect the Geometry of Embedding Space: A Case Study on Isotropy
Iran University of Science and Technology(伊朗科技大学);Tehran Institute for Advanced Studies, Khatam University(德黑兰高级研究所,哈塔姆大学)
人们普遍认为,微调预训练的语言模型通常会带来下游任务的性能改进。然而,有有限的研究背后的原因,这种有效性,特别是从嵌入空间的结构变化的角度。为了填补这一空白,本文分析了微调后嵌入空间各向同性的变化程度。我们证明,即使各向同性是一个理想的几何属性,微调并不一定会导致各向同性增强。此外,预先训练的上下文单词表示(CWRs)中的局部结构,例如编码令牌类型或频率的结构,在微调期间会发生巨大的变化。我们的实验表明,嵌入空间中的细长方向的数量急剧增长,与预先训练的CWRs相比,这些方向在微调的嵌入空间中携带基本的语言知识,使得现有的各向同性增强方法无效。
2021-09-10 cs.CL
The dark deep side of DeepSeek: Fine-tuning attacks against the safety alignment of CoT-enabled models
DeepSeek company(深度求索公司)
本文研究基于思维链的DeepSeek模型对微调攻击的脆弱性,发现微调可操纵模型输出并加剧有害响应,揭示了CoT-enabled模型在安全与伦理部署方面的隐患。
2025-02-03 cs.AI cs.CR
MedBLIP: Fine-tuning BLIP for Medical Image Captioning
George Mason University(乔治·马歇尔大学)
针对通用视觉语言模型在医学图像描述生成中表现不佳的问题,本研究在ROCO数据集上微调BLIP模型,通过多模型对比、注意力可视化与消融实验,验证了领域微调的有效性及不同微调策略的优劣。
2025-05-20 cs.AI cs.CV eess.IV
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University(萨尔兰大学)
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时,探测已经成为一种调查预训练模型捕获的语言知识的方法。然而,人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型:BERT、RoBERTa和AL BERT,并通过事件级探测来研究微调如何影响它们的表示。我们发现,对于一些探测任务,微调会导致准确性发生重大变化,这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而,这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明,虽然微调确实改变了预训练模型的表示,并且这些变化通常对于更高层来说更大,但只有在极少数情况下,微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果,我们认为,积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
Parameter-Efficient Fine-Tuning Design Spaces
Georgia Institute of Technology(佐治亚理工学院);Amazon Web Services(亚马逊云科技);Stanford University(斯坦福大学)
参数高效微调旨在使用更少的可训练参数来实现与微调相当的性能。几种策略(例如,适配器、前缀调谐、BitFit和LoRA)已经被提出。然而,他们的设计是单独手工制作的,目前还不清楚是否存在某些设计模式用于参数高效微调。因此,我们提出了一个参数高效微调设计范例,并发现设计模式,适用于不同的实验设置。而不是专注于设计另一个单独的调整策略,我们引入参数高效微调设计空间,参数化调整结构和调整策略。具体来说,任何设计空间的特点是由四个组成部分:层分组,可训练的参数分配,可调组和策略分配。从初始设计空间开始,我们根据每个设计选择的模型质量逐步细化空间,并在每个阶段对这四个组件进行贪婪选择。我们发现了以下设计模式:(i)将层分组为主轴模式;(ii)将可训练参数的数量均匀分配给层;(iii)调整所有组;(iv)为不同的组分配适当的调整策略。这些设计模式导致新的参数高效微调方法。我们的实验表明,这些方法一致和显着优于调查参数高效微调策略在不同的骨干模型和不同的任务,在自然语言处理。
2023-01-04 cs.AI cs.CL
Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition
University of California, San Diego(加州大学圣地亚哥分校)
微调预训练的语言模型最近已经成为为各种任务构建NLP模型的常见做法,特别是Few-Shot任务。我们认为,在Few-Shot设置下,制定更接近预训练目标的微调应该能够从预训练的语言模型中释放出更多的好处。在这项工作中,我们采取了Few-Shot命名实体识别(NER)的试点研究,现有的微调策略与预训练有很大不同。我们提出了一种新的Few-Shot微调框架NER,FFF-NER。具体来说,我们引入了三种新类型的标记,“是实体”,“哪种类型”和括号,因此我们可以根据预训练的语言模型的选择,将NER微调制定为(屏蔽的)标记预测或生成。在我们的实验中,我们应用FFF-NER在几个基准数据集上对Few-Shot NER的BERT和BART进行微调,并观察到与现有微调策略相比的显着改进,包括序列标记,原型元学习和基于BART的方法。我们进一步进行了一系列的消融研究,显示Few-Shot NER性能与微调和预训练之间的相似性密切相关。
2022-10-31 cs.AI cs.CL
LayerNorm: A key component in parameter-efficient fine-tuning
Drexel University(德雷塞尔大学);School of Biomedical Engineering(生物医学工程学院)
本文分析 BERT 微调中变化最大的组件,发现输出 LayerNorm 最为关键,并证明仅微调 LayerNorm 或其一小部分即可在 GLUE 任务上达到与全量微调相当的性能。
2024-03-29 cs.CL cs.LG
Energy and Carbon Considerations of Fine-Tuning BERT
Haverford College(哈维福德学院);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);Hugging Face
本文对NLP中微调的计算成本进行实证研究,对比了其与预训练和推理的能源及碳排放,并为提高微调能效提供了建议。
2024-10-16 cs.CL cs.LG
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
最近,微调预训练的语言模型(例如,多语言BERT)到下游跨语言任务的转换已经显示出有希望的结果。然而,微调过程不可避免地改变了预训练模型的参数,并削弱了其跨语言能力,这导致了次优性能。为了缓解这个问题,我们利用持续学习来保留预训练模型的原始跨语言能力,当我们微调它到下游任务时。实验结果表明,我们的微调方法可以更好地保持跨语言能力的预训练模型在句子检索任务。我们的方法在zero-shot跨语言词性标注和命名实体识别任务上也取得了比其他微调基线更好的性能。
2020-10-04 cs.CL cs.LG
Fine-Tuning LLMs on Small Medical Datasets: Text Classification and Normalization Effectiveness on Cardiology reports and Discharge records
Institute of Medical Informatics(医学信息学研究所);University of Münster(明斯特大学)
本研究证明在小型医学数据集上微调小型LLM,可在文本分类和命名实体识别中达到与大型模型相当的性能,仅需200-300个训练样本,有助于自动化临床工作流。
2025-03-27 cs.CL cs.LG