Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes
Microsoft Research Asia(微软亚洲研究院)
在本文中,我们将大型参数模型与非参数原型网络相结合。我们提出了原型微调,一个新的原型框架微调预训练的语言模型(LM),自动学习的偏见,以提高预测性能的不同数据大小,特别是低资源设置。我们的原型微调方法可以根据数据点的数量和模型的固有属性自动调整模型的容量。此外,我们提出了四个原则,有效的原型微调到最佳的解决方案。在各种数据集上的实验结果表明,我们的工作在各种低资源设置下实现了显着的性能改进,以及在高资源场景下的可比性和通常更好的性能。
2022-11-24 cs.CL cs.LG
Scaling Laws for Forgetting When Fine-Tuning Large Language Models
Tenyx(Tenyx公司)
本文研究微调大语言模型时的灾难性遗忘问题,发现LoRA微调中性能与遗忘量呈逆线性关系,并给出遗忘随参数量和更新步数呈偏移幂律增长的缩放定律,指出早停无法避免遗忘,为安全关键研究开辟新方向。
2024-01-11 cs.CL cs.LG
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting
Georgia Institute of Technology(佐治亚理工学院)
本文在低资源环境下比较了多种LLM高效微调方法,发现上下文蒸馏优于标准微调,而自适应微调和LoRA表现相当或略差,强调方法选择取决于资源和任务适应性。
2024-05-21 cs.CL cs.LG
FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
Utrecht University(乌得勒支大学)
针对预训练语言模型微调中双模型鲁棒提升方法计算成本高的问题,提出迁移训练动力学的FTFT微调法,利用可迁移的训练动力学、高效参考模型和早停策略,在提升鲁棒性的同时降低约50%训练成本。
2024-12-11 cs.CL cs.LG
Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景,对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Parameter Efficient Tuning Allows Scalable Personalization of LLMs for Text Entry: A Case Study on Abbreviation Expansion
Google LLC(谷歌有限责任公司)
本文通过案例研究对比微调、提示调优和检索增强生成在缩写扩展中的个性化效果,发现参数高效调优(尤其是提示调优)能高效实现可扩展的个性化,且软提示初始化可提升准确性。
2023-12-21 cs.CL
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto(电气与计算机工程系 东京大学)
本研究重新审视了LLM微调中的记忆化问题,发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势,且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning
School of Artificial Intelligence, Nanjing University, China(南京大学人工智能学院);National Key Laboratory for Novel Software Technology, Nanjing University, China(南京大学新型软件技术国家重点实验室)
针对多模态持续指令微调中工程瓶颈问题,提出Prism插件式代码库,通过轻量级插件注册机制分离算法开发与骨干实现,支持大规模训练流水线,实现可复现、可扩展的实验。
2026-05-25 cs.CL cs.CV cs.LG
Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电子工程学院)
针对微调即服务中安全对齐被有害微调攻击削弱的问题,提出一种基于梯度分析的缓冲与强化框架,通过临时越狱适配器减少有害更新并利用QR分解合并强化安全,实现无需额外安全数据的高效防御。
2026-05-23 cs.AI cs.CL cs.LG
GSQ-Tuning: Group-Shared Exponents Integer in Fully Quantized Training for LLMs On-Device Fine-tuning
Houmo AI(后摩智能);Southeast University(东南大学);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出GSQ-Tuning框架,通过组共享指数整数格式实现完全基于整数的设备端LLM微调,在保持与BF16相当准确度的同时显著降低内存、功耗和芯片面积。
2025-05-29 cs.AI cs.CL cs.LG
Panacea: Mitigating Harmful Fine-tuning for Large Language Models via Post-fine-tuning Perturbation
Tsinghua University(清华大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Didichuxing Co. Ltd(滴滴出行有限公司);Nanyang Technological University(南洋理工大学)
Panacea通过自适应扰动优化,在保持微调性能的同时缓解大语言模型的有害微调问题
2026-01-16 cs.AI cs.CL
Investigating Public Fine-Tuning Datasets: A Complex Review of Current Practices from a Construction Perspective
Shanghai AI Laboratory(上海人工智能实验室)
本文从构建视角综述公开微调数据集,梳理其演进与分类,详述大语言模型微调数据集的构建技术,总结不同数据准备阶段的特征,为未来微调数据集的构建与发展提供参考。
2024-07-11 cs.CL
Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models
University of North Texas(北德克萨斯大学);Microsoft Research(微软研究院)
针对预训练语言模型存在社会偏见、现有去偏方法成本高且损害下游任务性能的问题,提出Gender-tuning方法,将MLM目标融入下游任务微调,在降低偏见的同时提升下游性能,且适用于各类支持微调的PLM。
2023-07-20 cs.CL
On the Impact of Fine-Tuning on Chain-of-Thought Reasoning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Virginia(弗吉尼亚大学);Harvard University(哈佛大学)
本研究探讨了微调对大型语言模型推理能力的影响,发现特定任务微调会降低思维链推理的忠实度,揭示了微调导致的模型内部机制转变。
2025-03-30 cs.CL
ScaleOT: Privacy-utility-scalable Offsite-tuning with Dynamic LayerReplace and Selective Rank Compression
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);University of Liverpool(利物浦大学);East China Normal University(华东师范大学)
针对现有大语言模型异地调优方法存在的性能下降、成本高、隐私保护强度有限的问题,本文提出ScaleOT框架,结合强化学习驱动的分层替换与选择性秩压缩,在实现近无损调优性能的同时提升隐私保护效果。
2024-12-13 cs.CL cs.CR
The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
Language Technology Lab University of Amsterdam(语言技术实验室 阿姆斯特丹大学)
本文通过132个翻译方向的受控实验,系统揭示了微调中语言多样性对翻译质量的非线性影响,并证明其通过形成语言无关表示提升性能。
2025-09-19 cs.CL
Impact of Fine-Tuning Methods on Memorization in Large Language Models
George Mason University(乔治·马歇尔大学)
本文通过成员推断攻击评估不同微调方法对大语言模型记忆化及隐私泄露的影响,发现基于提示的微调在保持性能的同时比基于参数的微调更具隐私保护性。
2025-06-30 cs.AI cs.CL
LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
Stanford University(斯坦福大学)
针对大语言模型微调成本高的问题,提出首个支持每参数2比特以下LoRA微调的LowRA框架,通过优化细粒度量化和高效CUDA内核,在4个模型和数据集上实现更优性能-精度权衡,内存最多减50%。
2025-02-12 cs.AR cs.CL cs.LG
Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学);IBM Research(IBM研究院);Stanford University(斯坦福大学)
该研究揭示对已安全对齐的大语言模型进行自定义微调存在安全风险,少量对抗样本或良性数据集微调都可能削弱安全防护,并呼吁完善相关安全协议。
2023-10-05 cs.AI cs.CL cs.CR
Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning
Alibaba Group(阿里巴巴集团)
针对大型预训练模型全参数微调代价高的问题,提出自适应前缀微调(APT),通过门控机制在令牌级和层级调整前缀,在SuperGLUE和NER数据集上验证了有效性与高效性。
2023-05-24 cs.CL
Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学计算机科学与技术系对话式人工智能组);The University of Melbourne(墨尔本大学);MYbank, Ant Group(蚂蚁集团网商银行)
研究揭示了在开源大语言模型上微调时,通过简单后门训练可能窃取私有微调数据的风险,实验表明提取成功率高达76.3%,并提出检测防御策略但发现其易被绕过。
2026-04-03 cs.CL
DELIFT: Data Efficient Language model Instruction Fine Tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
本研究提出DELIFT算法,通过成对效用度量与子模函数在指令微调、任务特定微调、持续微调三阶段优化数据选择,可减少70%微调数据量且不损失性能,效率与效果均优于现有方法。
2025-03-20 cs.CL
Towards Pedagogical LLMs with Supervised Fine Tuning for Computing Education
The University of New South Wales(新南威尔士大学)
针对大语言模型可能阻碍计算教育学习效果的问题,研究利用2500条编程课程论坛问答对进行监督微调,验证论坛数据适用性与教学对齐提升效果,初步显示增益仍需深入评估。
2024-11-04 cs.CL
Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
IBM Research(IBM研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出理论框架,分析两种安全感知型LLM微调策略中安全与能力的权衡,揭示数据相似性、上下文重叠及对齐损失景观的影响,并通过数值实验验证了权衡的基本极限。
2025-03-24 cs.AI cs.CL cs.LG
Automated Data Curation for Robust Language Model Fine-Tuning
University of Maryland(马里兰大学);Cleanlab(Cleanlab公司)
提出CLEAR自动化数据整理流程,基于置信度过滤或修正低质量训练数据,无需额外微调计算,即可提升任何大语言模型微调后的性能。
2024-03-19 cs.CL
Amuro and Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究通过微调多个中间预训练检查点并在18个数据集上评估,揭示大语言模型预训练能力的延迟显现、微调收益差异、知识遗忘及提示敏感性规律。
2025-03-18 cs.AI cs.CL
Can Fine-Tuning Erase Your Edits? On the Fragile Coexistence of Knowledge Editing and Adaptation
研究探讨了微调对知识编辑的影响,发现微调会显著降低编辑效果,且仅微调编辑层可有效去除编辑,同时保持下游性能。
2026-06-27 cs.AI cs.CL
SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models
Simon Fraser University(西蒙菲莎大学)
本文提出SPAFIT方法,通过将不同语言知识定位到模型特定层进行分层渐进式适配微调,在GLUE九个任务上以更少参数超越LoRA等现有PEFT方法。
2024-04-30 cs.AI cs.CL
TuCo: Measuring the Contribution of Fine-Tuning to Individual Responses of LLMs
University of Oxford(牛津大学)
本文提出新方法TuCo,通过将微调LLM精确分解为预训练和微调组件并计算其幅度比,定量衡量微调对个体响应的贡献,发现对抗攻击通过降低TuCo绕过安全机制。
2025-06-29 cs.AI cs.CL
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
最近的预训练语言模型从数百万扩展到数十亿个参数。因此,在各种下游任务中,需要用有限的训练语料库来微调非常大的预训练模型。在本文中,我们提出了一种简单而有效的微调技术,Child-Tuning,它通过在向后过程中策略性地屏蔽非子网络的梯度来更新大型预训练模型的参数子集(称为子网络)。在GLUE基准测试中的各种下游任务上的实验表明,在四种不同的预训练模型中,Child-Tuning始终优于vanilla微调,平均得分为1.5~8.6,并优于先前的微调技术0.6~1.3分。此外,在领域转移和任务转移方面的实验结果表明,Child-Tuning可以获得更好的泛化性能。
2021-09-13 cs.AI cs.CL
FineTuneBench: How well do commercial fine-tuning APIs infuse knowledge into LLMs?
Stanford University(斯坦福大学)
研究提出评估框架FineTuneBench,测试商业微调API对LLM的知识注入与更新能力,发现现有模型学习新知识平均准确率仅37%,更新知识仅19%,揭示了商业微调服务在可靠知识注入上的重大缺陷。
2024-11-11 cs.AI cs.CL cs.IR
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University(萨尔兰大学)
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时,探测已经成为一种调查预训练模型捕获的语言知识的方法。然而,人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型:BERT、RoBERTa和AL BERT,并通过事件级探测来研究微调如何影响它们的表示。我们发现,对于一些探测任务,微调会导致准确性发生重大变化,这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而,这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明,虽然微调确实改变了预训练模型的表示,并且这些变化通常对于更高层来说更大,但只有在极少数情况下,微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果,我们认为,积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
LayerNorm: A key component in parameter-efficient fine-tuning
Drexel University(德雷塞尔大学);School of Biomedical Engineering(生物医学工程学院)
本文分析 BERT 微调中变化最大的组件,发现输出 LayerNorm 最为关键,并证明仅微调 LayerNorm 或其一小部分即可在 GLUE 任务上达到与全量微调相当的性能。
2024-03-29 cs.CL cs.LG
Energy and Carbon Considerations of Fine-Tuning BERT
Haverford College(哈维福德学院);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);Hugging Face
本文对NLP中微调的计算成本进行实证研究,对比了其与预训练和推理的能源及碳排放,并为提高微调能效提供了建议。
2024-10-16 cs.CL cs.LG
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
最近,微调预训练的语言模型(例如,多语言BERT)到下游跨语言任务的转换已经显示出有希望的结果。然而,微调过程不可避免地改变了预训练模型的参数,并削弱了其跨语言能力,这导致了次优性能。为了缓解这个问题,我们利用持续学习来保留预训练模型的原始跨语言能力,当我们微调它到下游任务时。实验结果表明,我们的微调方法可以更好地保持跨语言能力的预训练模型在句子检索任务。我们的方法在zero-shot跨语言词性标注和命名实体识别任务上也取得了比其他微调基线更好的性能。
2020-10-04 cs.CL cs.LG
Fine-Tuning LLMs on Small Medical Datasets: Text Classification and Normalization Effectiveness on Cardiology reports and Discharge records
Institute of Medical Informatics(医学信息学研究所);University of Münster(明斯特大学)
本研究证明在小型医学数据集上微调小型LLM,可在文本分类和命名实体识别中达到与大型模型相当的性能,仅需200-300个训练样本,有助于自动化临床工作流。
2025-03-27 cs.CL cs.LG
Enhancing BERT Fine-Tuning for Sentiment Analysis in Lower-Resourced Languages
Faculty of Mathematics Physics and Informatics(数学物理系);Comenius University in Bratislava(布拉迪斯拉发康门大学)
本研究通过结合主动学习与数据聚类策略,提升低资源语言情感分析中BERT模型的微调效果,实现标注节省和性能提升。
2025-12-01 cs.CL cs.LG
Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation
Fudan University(复旦大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
微调预训练的语言模型(如BERT)已成为NLP中的一种有效方法,并在许多下游任务中产生最先进的结果。最近关于BERT适应新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据和知识。微调战略本身还有待充分探讨。本文采用自系综和自蒸馏两种有效的机制对BERT的微调进行改进。在文本分类和自然语言推理任务上的实验表明,我们提出的方法可以显着提高BERT的适应性,无需任何外部数据或知识。
2020-02-24 cs.CL cs.LG
On the Complementarity of Data Selection and Fine Tuning for Domain Adaptation
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
神经网络的领域自适应通常依赖于三个训练阶段:预训练、选择数据训练和微调。数据选择通过在依赖于目标域数据的小样本识别的预训练数据上进一步训练来改进目标领域泛化。本文研究了语言建模和机器翻译的数据选择的好处。我们的实验评估了选择与微调的互补性,并得出了实际的建议:(i)选择的数据必须与微调域相似,但不能太多,以侵蚀微调的互补效果;(ii)在选择少量数据以获得快速但有限的进展或选择大量数据以获得缓慢但持久的进展之间存在权衡;(iii)数据选择可以在预训练早期应用,性能增益与长时间预训练会话相当;(iv)从域分类器中选择数据通常比流行的对比数据选择方法更有效。
2021-09-15 cs.CL cs.LG
Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets
Dartmouth College(达特茅斯学院);EPFL(苏黎世联邦理工学院);UC Berkeley(加州大学伯克利分校);CUHK(香港大学);IBM Research(IBM研究院)
本文从上游对齐数据与下游微调数据的表示相似性角度分析LLM安全护栏失效原因,发现低相似性可使有害性评分降低最多10.33%,为微调服务商提供了数据集设计层面的防护启示。
2025-06-05 cs.CL cs.CR cs.LG
FireAct: Toward Language Agent Fine-tuning
System2 Research(System2研究机构);University of Cambridge(剑桥大学);Monash University(莫纳什大学);Princeton University(普林斯顿大学)
该研究提出FireAct方法,通过多任务多提示轨迹微调语言模型构建语言智能体,证实微调可显著提升性能,为语言智能体微调提供实验基础与研究方向。
2023-10-09 cs.AI cs.CL cs.LG
A Closer Look at How Fine-tuning Changes BERT
University of Utah(犹他大学)
鉴于在当今的NLP中普遍存在预先训练的语境化表征,人们已经做出了许多努力来了解它们包含哪些信息,以及为什么它们似乎普遍成功。使用这些表示的最常见方法是针对最终任务对其进行微调。然而,微调如何改变底层嵌入空间的研究较少。在这项工作中,我们研究了英语BERT家庭,并使用两种探测技术来分析微调如何改变空间。我们假设微调通过增加与不同标签相关的示例之间的距离来影响分类性能。我们证实了这一假设,精心设计的实验上五个不同的NLP任务。通过这些实验,我们还发现了一个例外,流行的智慧,“微调总是提高性能”。最后,通过比较微调前后的表示,我们发现微调不会对表示进行任意更改;相反,它会将表示调整到下游任务,同时在很大程度上保留数据点的原始空间结构。
2022-03-16 cs.CL
Know Where You're Going: Meta-Learning for Parameter-Efficient Fine-Tuning
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
最近的一系列技术,被称为轻量级微调方法,通过仅更新一小部分附加参数,同时保持预训练语言模型的参数冻结,促进了参数高效的迁移学习。虽然被证明是一种有效的方法,但目前还没有关于下游微调方法的知识是否以及如何影响预训练阶段的研究。在这项工作中,我们表明,考虑到微调方法的最终选择提高性能的参数高效微调。通过依赖基于优化的元学习,使用MAML进行某些修改,以实现我们的独特目的,我们专门为参数高效微调准备了预训练模型,从而在跨语言NER微调上获得高达1.7个点的增益。我们的消融设置和分析进一步表明,我们在MAML中引入的调整对获得的增益至关重要。
2022-12-08 cs.CL
Gradual Fine-Tuning for Low-Resource Domain Adaptation
Johns Hopkins University(约翰霍普金斯大学);University of Rochester(罗切斯特大学)
众所周知,微调通过使在更丰富但不太领域突出的示例上训练的初始模型适应目标领域中的数据来改进NLP模型。这种领域自适应通常使用一个微调阶段来完成。我们证明了在多阶段过程中逐渐微调可以产生实质性的进一步收益,并且可以在不修改模型或学习目标的情况下应用。
2021-09-01 cs.CL
Selecting Informative Contexts Improves Language Model Finetuning
UT Austin(德克萨斯大学奥斯汀分校);Intel Labs(英特尔研究院)
语言模型微调对于现代自然语言处理是必不可少的,但计算昂贵且耗时。此外,微调的有效性受到包括负面影响性能的训练样本的限制。为了提高语言模型微调的整体训练效率和最终性能,本文提出了一种通用的微调方法--信息增益过滤。我们将一个例子的信息增益定义为在该例子上训练后测试度量的改进。然后训练二级学习者近似这个量。在微调过程中,这个学习者选择信息丰富的例子,跳过没有信息的例子。我们证明了我们的方法在数据集、微调任务和语言模型架构上都有一致的改进。例如,我们在books数据集上实现了54.0的中位数困惑度,而标准微调为57.3。我们提出的统计证据,提供了深入了解我们的方法超过标准微调的改进。我们的方法的通用性,使我们提出了一个新的范式语言模型微调-我们鼓励研究人员发布预训练的二级学习者在共同的语料库,以促进高效和有效的微调,从而提高性能,减少整体能源足迹的语言模型微调。
2022-05-19 cs.CL
s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning
Microsoft Research(微软研究院)
预训练的双向Transformers,例如BERT,在各种各样的语言理解任务中已经实现了显著的改进,而直接将它们应用于自然语言生成并不简单。在本文中,我们提出了一个序列到序列的微调工具包s2 s-ft,它采用预训练的Transformers的条件生成任务。受UniLM的启发,我们实现了三种序列到序列的微调算法,即因果微调、掩蔽微调和伪掩蔽微调。通过利用现有的预训练的双向Transformers,实验结果表明,s2 s-ft在抽象摘要和问题生成的几个基准上实现了强大的性能。此外,我们证明了包s2 s-ft支持单语和多语言NLG任务。s2 s-ft工具包可以在https://github.com/microsoft/unilm/tree/master/s2s-ft上找到。
2021-10-26 cs.CL
Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced Data
Drexel University(德雷塞尔大学);United States Food and Drug Administration(美国食品药品监督管理局)
长尾分布数据的分类是一个具有挑战性的问题,它存在严重的类不平衡,因此在只有少量样本的情况下,尾类的性能很差。由于样本的缺乏,在将预训练模型转移到下游任务时,对尾部类的学习对于微调来说尤其具有挑战性。在这项工作中,我们提出了一个简单的修改标准微调,以应对这些挑战。具体来说,我们提出了一个两阶段的微调:我们首先用类平衡的重新加权损失对预训练模型的最后一层进行微调,然后执行标准的微调。我们的修改有几个好处:(1)它通过只微调一小部分模型参数来利用预训练的表示,同时保持其余参数不变;(2)它允许模型学习特定任务的初始表示;重要的是(3)它保护尾类的学习在模型更新期间处于不利地位。我们在文本分类的两类和多类任务的合成数据集上进行了广泛的实验,以及ADME的实际应用(即,吸收、分布、代谢和排泄)语义标记。实验结果表明,所提出的两阶段微调优于传统的微调和微调与上述数据集上的重加权损失。
2022-07-22 cs.CL
Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning
Telecom SudParis, Institut Polytechnique de Paris, France(电信巴黎大学,巴黎理工学院,法国)
本文比较了LoRA、提示微调和全微调在医学摘要任务上的性能,发现LoRA在参数效率和效果上均优于全微调。
2026-03-23 cs.AI cs.CL
UHH-LT at SemEval-2020 Task 12: Fine-Tuning of Pre-Trained Transformer Networks for Offensive Language Detection
University of Hamburg(汉堡大学)
对预训练的Transformer网络(如BERT)进行微调,可为文本分类任务产生最先进的结果。通常,微调是以监督的方式在特定于任务的训练数据集上执行的。还可以通过进一步预训练掩码语言建模(MLM)任务来预先以无监督的方式进行微调。因此,类似于实际分类目标数据集的无监督MLM的域内数据允许模型的领域自适应。在本文中,我们比较了当前预训练的Transformer网络,以及没有MLM微调的攻击性语言检测性能。我们的MLM微调的基于RoberTa的分类器在SemEval 2020共享任务中正式排名第一,英语语言为12。用ALBERT模型进行的进一步实验甚至超过了这一结果。
2020-06-10 cs.CL
Uppsala NLP at SemEval-2021 Task 2: Multilingual Language Models for Fine-tuning and Feature Extraction in Word-in-Context Disambiguation
Uppsala University(乌普萨拉大学)
我们描述了乌普萨拉NLP提交给SemEval-2021任务2的多语言和跨语言上下文消歧。我们探索了三种预训练的多语言语言模型的有用性,XLM-RoBERTa(XLMR),多语言BERT(mBERT)和多语言蒸馏BERT(mDistilBERT)。我们在两个设置中比较这三个模型,微调和作为特征提取器。在第二种情况下,我们也尝试使用基于依赖性的信息。我们发现,微调是优于特征提取。XLMR在跨语言环境中的微调和特征提取性能优于mBERT,而这两个模型在多语言环境中的性能相似。mDistilBERT在微调方面表现不佳,但当用作特征提取器时,它给出了与其他模型相似的结果。我们提交了两个最好的系统,用XLMR和mBERT进行了微调。
2021-04-09 cs.CL
Recovering the Pre-Fine-Tuning Weights of Generative Models
School of Computer Science and Engineering(计算机科学与工程学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出 Spectral DeTuning 方法,利用少量 LoRA 微调模型即可恢复生成模型的精确微调前权重,证明现有微调对齐安全性假设不成立。
2024-07-01 cs.CL cs.CR cs.CV
P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Shanghai Qi Zhi Institute(上海期智研究院)
提示微调仅使用冻结的语言模型来调整连续提示,这大大减少了训练时的每任务存储和内存使用。然而,在NLU的背景下,先前的工作表明,提示微调对于正常大小的预训练模型表现不佳。我们还发现,现有的提示微调方法不能处理硬序列标记任务,表明缺乏通用性。我们提出了一个新的经验发现,即适当优化的提示微调可以在广泛的模型规模和NLU任务中普遍有效。它匹配微调的性能,同时只有0.1%-3%的调整参数。我们的方法P-Tuning v2是针对NLU优化和调整的深度提示微调\cite{li2021prefix,qin2021learning}的实现。鉴于P-Tuning v2的通用性和简单性,我们相信它可以作为微调的替代方案,并为未来的研究提供强大的基线。我们的代码和数据发布在https://github.com/THUDM/P-tuning-v2上。
2022-03-20 cs.CL
What Happens To BERT Embeddings During Fine-tuning?
Google Research(谷歌研究院);Brown University(布朗大学)
虽然最近有很多工作研究语言信息如何编码在预训练的句子表示中,但对于这些模型在适应解决下游任务时如何变化的了解相对较少。使用一套分析技术(探测分类器,代表性相似性分析和模型消融),我们调查如何微调影响的BERT模型的表示。我们发现,虽然微调必然会产生重大变化,但它不会导致语言现象的灾难性遗忘。相反,我们发现微调主要影响BERT的顶层,但不同任务之间存在值得注意的差异。特别是,依存句法分析重新配置了模型的大部分,而SQuAD和MNLI似乎涉及更浅的处理。最后,我们还发现微调对域外句子的表示有较弱的影响,这表明模型泛化有改进的空间。
2020-04-29 cs.CL
Exploring Wav2vec 2.0 fine-tuning for improved speech emotion recognition
Carnegie Mellon University(卡内基梅隆大学)
虽然Wav 2 Vec 2.0已经被提出用于语音识别(ASR),但它也可以用于语音情感识别(SER);使用不同的微调策略可以显着提高其性能。首先提出了两种基本方法,香草微调(V-FT)和任务自适应预训练(TAPT)。我们表明,V-FT能够在IEMOCAP数据集上超越最先进的模型。TAPT,现有的NLP微调策略,进一步提高SER的性能。我们还介绍了一种新的微调方法,称为P-TAPT,它修改了TAPT目标学习情境化的情感表示。实验表明,P-TAPT的性能优于TAPT,尤其是在低资源环境下。与本文献中的先前工作相比,我们的顶线系统在IEMOCAP上的最新性能上实现了未加权准确度(UA)的7.4\%的绝对改善。我们的代码是公开的。
2023-02-21 cs.CL cs.LG cs.SD