Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced Data
Drexel University（德雷塞尔大学）；United States Food and Drug Administration（美国食品药品监督管理局）
长尾分布数据的分类是一个具有挑战性的问题，它存在严重的类不平衡，因此在只有少量样本的情况下，尾类的性能很差。由于样本的缺乏，在将预训练模型转移到下游任务时，对尾部类的学习对于微调来说尤其具有挑战性。在这项工作中，我们提出了一个简单的修改标准微调，以应对这些挑战。具体来说，我们提出了一个两阶段的微调：我们首先用类平衡的重新加权损失对预训练模型的最后一层进行微调，然后执行标准的微调。我们的修改有几个好处：（1）它通过只微调一小部分模型参数来利用预训练的表示，同时保持其余参数不变;（2）它允许模型学习特定任务的初始表示;重要的是（3）它保护尾类的学习在模型更新期间处于不利地位。我们在文本分类的两类和多类任务的合成数据集上进行了广泛的实验，以及ADME的实际应用（即，吸收、分布、代谢和排泄）语义标记。实验结果表明，所提出的两阶段微调优于传统的微调和微调与上述数据集上的重加权损失。
2022-07-22 cs.CL
Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models
University of North Texas（北德克萨斯大学）；Microsoft Research（微软研究院）
针对预训练语言模型存在社会偏见、现有去偏方法成本高且损害下游任务性能的问题，提出Gender-tuning方法，将MLM目标融入下游任务微调，在降低偏见的同时提升下游性能，且适用于各类支持微调的PLM。
2023-07-20 cs.CL
On the Impact of Fine-Tuning on Chain-of-Thought Reasoning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Virginia（弗吉尼亚大学）；Harvard University（哈佛大学）
本研究探讨了微调对大型语言模型推理能力的影响，发现特定任务微调会降低思维链推理的忠实度，揭示了微调导致的模型内部机制转变。
2025-03-30 cs.CL
The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
Language Technology Lab University of Amsterdam（语言技术实验室 阿姆斯特丹大学）
本文通过132个翻译方向的受控实验，系统揭示了微调中语言多样性对翻译质量的非线性影响，并证明其通过形成语言无关表示提升性能。
2025-09-19 cs.CL
UHH-LT at SemEval-2020 Task 12: Fine-Tuning of Pre-Trained Transformer Networks for Offensive Language Detection
University of Hamburg（汉堡大学）
对预训练的Transformer网络（如BERT）进行微调，可为文本分类任务产生最先进的结果。通常，微调是以监督的方式在特定于任务的训练数据集上执行的。还可以通过进一步预训练掩码语言建模（MLM）任务来预先以无监督的方式进行微调。因此，类似于实际分类目标数据集的无监督MLM的域内数据允许模型的领域自适应。在本文中，我们比较了当前预训练的Transformer网络，以及没有MLM微调的攻击性语言检测性能。我们的MLM微调的基于RoberTa的分类器在SemEval 2020共享任务中正式排名第一，英语语言为12。用ALBERT模型进行的进一步实验甚至超过了这一结果。
2020-06-10 cs.CL
Uppsala NLP at SemEval-2021 Task 2: Multilingual Language Models for Fine-tuning and Feature Extraction in Word-in-Context Disambiguation
Uppsala University（乌普萨拉大学）
我们描述了乌普萨拉NLP提交给SemEval-2021任务2的多语言和跨语言上下文消歧。我们探索了三种预训练的多语言语言模型的有用性，XLM-RoBERTa（XLMR），多语言BERT（mBERT）和多语言蒸馏BERT（mDistilBERT）。我们在两个设置中比较这三个模型，微调和作为特征提取器。在第二种情况下，我们也尝试使用基于依赖性的信息。我们发现，微调是优于特征提取。XLMR在跨语言环境中的微调和特征提取性能优于mBERT，而这两个模型在多语言环境中的性能相似。mDistilBERT在微调方面表现不佳，但当用作特征提取器时，它给出了与其他模型相似的结果。我们提交了两个最好的系统，用XLMR和mBERT进行了微调。
2021-04-09 cs.CL
Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning
Alibaba Group（阿里巴巴集团）
针对大型预训练模型全参数微调代价高的问题，提出自适应前缀微调（APT），通过门控机制在令牌级和层级调整前缀，在SuperGLUE和NER数据集上验证了有效性与高效性。
2023-05-24 cs.CL
P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
提示微调仅使用冻结的语言模型来调整连续提示，这大大减少了训练时的每任务存储和内存使用。然而，在NLU的背景下，先前的工作表明，提示微调对于正常大小的预训练模型表现不佳。我们还发现，现有的提示微调方法不能处理硬序列标记任务，表明缺乏通用性。我们提出了一个新的经验发现，即适当优化的提示微调可以在广泛的模型规模和NLU任务中普遍有效。它匹配微调的性能，同时只有0.1%-3%的调整参数。我们的方法P-Tuning v2是针对NLU优化和调整的深度提示微调\cite{li2021prefix,qin2021learning}的实现。鉴于P-Tuning v2的通用性和简单性，我们相信它可以作为微调的替代方案，并为未来的研究提供强大的基线。我们的代码和数据发布在https://github.com/THUDM/P-tuning-v2上。
2022-03-20 cs.CL
Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
The Conversational AI (CoAI) group, DCST, Tsinghua University（清华大学计算机科学与技术系对话式人工智能组）；The University of Melbourne（墨尔本大学）；MYbank, Ant Group（蚂蚁集团网商银行）
研究揭示了在开源大语言模型上微调时，通过简单后门训练可能窃取私有微调数据的风险，实验表明提取成功率高达76.3%，并提出检测防御策略但发现其易被绕过。
2026-04-03 cs.CL
DELIFT: Data Efficient Language model Instruction Fine Tuning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
本研究提出DELIFT算法，通过成对效用度量与子模函数在指令微调、任务特定微调、持续微调三阶段优化数据选择，可减少70%微调数据量且不损失性能，效率与效果均优于现有方法。
2025-03-20 cs.CL
Towards Pedagogical LLMs with Supervised Fine Tuning for Computing Education
The University of New South Wales（新南威尔士大学）
针对大语言模型可能阻碍计算教育学习效果的问题，研究利用2500条编程课程论坛问答对进行监督微调，验证论坛数据适用性与教学对齐提升效果，初步显示增益仍需深入评估。
2024-11-04 cs.CL
What Happens To BERT Embeddings During Fine-tuning?
Google Research（谷歌研究院）；Brown University（布朗大学）
虽然最近有很多工作研究语言信息如何编码在预训练的句子表示中，但对于这些模型在适应解决下游任务时如何变化的了解相对较少。使用一套分析技术（探测分类器，代表性相似性分析和模型消融），我们调查如何微调影响的BERT模型的表示。我们发现，虽然微调必然会产生重大变化，但它不会导致语言现象的灾难性遗忘。相反，我们发现微调主要影响BERT的顶层，但不同任务之间存在值得注意的差异。特别是，依存句法分析重新配置了模型的大部分，而SQuAD和MNLI似乎涉及更浅的处理。最后，我们还发现微调对域外句子的表示有较弱的影响，这表明模型泛化有改进的空间。
2020-04-29 cs.CL
Exploring Intrinsic Language-specific Subspaces in Fine-tuning Multilingual Neural Machine Translation
Nara Institute of Science and Technology（奈良科学技术研究所）
本文提出语言特定 LoRA、架构学习与渐进剪枝，以隔离并探索多语言 NMT 微调中的最小语言子空间，在 FLORES-101 上提升 spBLEU 并大幅减少可训练参数。
2024-09-08 cs.CL
Automated Data Curation for Robust Language Model Fine-Tuning
University of Maryland（马里兰大学）；Cleanlab（Cleanlab公司）
提出CLEAR自动化数据整理流程，基于置信度过滤或修正低质量训练数据，无需额外微调计算，即可提升任何大语言模型微调后的性能。
2024-03-19 cs.CL
Sparse Matrix in Large Language Model Fine-tuning
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
针对PEFT方法与全量微调存在精度差距的问题，提出稀疏矩阵调优SMT方法，仅更新梯度中关键子矩阵，在多任务上优于LoRA等基准，且GPU内存占用比全量微调低67%。
2025-05-19 cs.CL
How Does Fine-tuning Affect the Geometry of Embedding Space: A Case Study on Isotropy
Iran University of Science and Technology（伊朗科技大学）；Tehran Institute for Advanced Studies, Khatam University（德黑兰高级研究所，哈塔姆大学）
人们普遍认为，微调预训练的语言模型通常会带来下游任务的性能改进。然而，有有限的研究背后的原因，这种有效性，特别是从嵌入空间的结构变化的角度。为了填补这一空白，本文分析了微调后嵌入空间各向同性的变化程度。我们证明，即使各向同性是一个理想的几何属性，微调并不一定会导致各向同性增强。此外，预先训练的上下文单词表示（CWRs）中的局部结构，例如编码令牌类型或频率的结构，在微调期间会发生巨大的变化。我们的实验表明，嵌入空间中的细长方向的数量急剧增长，与预先训练的CWRs相比，这些方向在微调的嵌入空间中携带基本的语言知识，使得现有的各向同性增强方法无效。
2021-09-10 cs.CL
Fine-tuning Strategies for Domain Specific Question Answering under Low Annotation Budget Constraints
The QA Company SAS（QA公司）；Laboratoire Hubert Curien, UMR CNRS 5516（于贝尔·居里安实验室，法国国家科研中心联合研究单位5516）
本文研究低标注预算下的问答模型微调策略，发现用目标数据集与SQuAD组合微调预训练语言模型可在零额外标注下比标准策略提升2.28%至6.48%。
2024-01-17 cs.CL
Target-Oriented Fine-tuning for Zero-Resource Named Entity Recognition
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
零资源命名实体识别（NER）在特定领域或语言中严重缺乏数据。大多数研究零资源NER转移知识从不同的数据微调不同的辅助任务。然而，如何正确地选择训练数据和微调任务仍然是一个悬而未决的问题。本文从三个方面对知识转移问题进行了探讨，领域、语言和任务，并加强它们之间的联系。具体而言，我们提出了四个实用的指导方针，以指导知识转移和任务微调。基于这些指导方针，我们设计了一个面向目标的微调（TOF）框架，利用各种数据从三个方面在一个统一的训练方式。六个基准测试的实验结果表明，我们的方法在跨领域和跨语言的情况下，产生一致的改进基线。特别是，我们在五个基准上实现了新的最先进的性能。
2021-07-22 cs.CL
Panacea: Mitigating Harmful Fine-tuning for Large Language Models via Post-fine-tuning Perturbation
Tsinghua University（清华大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Didichuxing Co. Ltd（滴滴出行有限公司）；Nanyang Technological University（南洋理工大学）
Panacea通过自适应扰动优化，在保持微调性能的同时缓解大语言模型的有害微调问题
2026-01-16 cs.AI cs.CL
Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning
Telecom SudParis, Institut Polytechnique de Paris, France（电信巴黎大学，巴黎理工学院，法国）
本文比较了LoRA、提示微调和全微调在医学摘要任务上的性能，发现LoRA在参数效率和效果上均优于全微调。
2026-03-23 cs.AI cs.CL
Impact of Fine-Tuning Methods on Memorization in Large Language Models
George Mason University（乔治·马歇尔大学）
本文通过成员推断攻击评估不同微调方法对大语言模型记忆化及隐私泄露的影响，发现基于提示的微调在保持性能的同时比基于参数的微调更具隐私保护性。
2025-06-30 cs.AI cs.CL
Memorization in NLP Fine-tuning Methods
University of California San Diego（加州大学圣地亚哥分校）；University of Virginia（弗吉尼亚大学）
大语言模型通过记忆训练数据而表现出隐私风险，最近的几项工作已经研究了预训练阶段的这种风险。然而，很少有人关注微调阶段，也不清楚不同的微调方法（如微调完整模型，模型头和适配器）在记忆风险方面的比较。随着“预先培训和微调”模式的扩散，这引起了越来越多的关注。在本文中，我们实证研究记忆的微调方法，使用成员推理和提取攻击，并表明它们的敏感性是非常不同的。我们观察到，微调模型的头部对攻击的敏感性最高，而微调较小的适配器似乎不太容易受到已知提取攻击。
2022-11-04 cs.CL cs.LG
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University（萨尔兰大学）
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时，探测已经成为一种调查预训练模型捕获的语言知识的方法。然而，人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型：BERT、RoBERTa和AL BERT，并通过事件级探测来研究微调如何影响它们的表示。我们发现，对于一些探测任务，微调会导致准确性发生重大变化，这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而，这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明，虽然微调确实改变了预训练模型的表示，并且这些变化通常对于更高层来说更大，但只有在极少数情况下，微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果，我们认为，积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models
Salesforce AI Research（赛富时人工智能研究院）
预训练的多语言模型在广泛的自然语言理解（NLU）任务上显示出zero-shot跨语言模型传输的显着性能增益。此前，对于zero-shot跨语言评估，预先训练的模型仅在英语数据上进行微调，并在多种目标语言上进行测试。在本文中，我们做了跨语言的评价各种自然语言理解任务（句子分类，序列标记，问答）使用提示微调，并比较它与微调。结果表明，提示微调实现了更好的跨语言迁移比微调跨数据集，只有0.1%至0.3%的调整参数。此外，我们通过分析表明，提示微调可以有更好的跨语言的下游任务的表示更好地对齐决策边界的可转移性。
2022-12-13 cs.AI cs.CL
Parameter-Efficient Fine-Tuning Design Spaces
Georgia Institute of Technology（佐治亚理工学院）；Amazon Web Services（亚马逊云科技）；Stanford University（斯坦福大学）
参数高效微调旨在使用更少的可训练参数来实现与微调相当的性能。几种策略（例如，适配器、前缀调谐、BitFit和LoRA）已经被提出。然而，他们的设计是单独手工制作的，目前还不清楚是否存在某些设计模式用于参数高效微调。因此，我们提出了一个参数高效微调设计范例，并发现设计模式，适用于不同的实验设置。而不是专注于设计另一个单独的调整策略，我们引入参数高效微调设计空间，参数化调整结构和调整策略。具体来说，任何设计空间的特点是由四个组成部分：层分组，可训练的参数分配，可调组和策略分配。从初始设计空间开始，我们根据每个设计选择的模型质量逐步细化空间，并在每个阶段对这四个组件进行贪婪选择。我们发现了以下设计模式：（i）将层分组为主轴模式;（ii）将可训练参数的数量均匀分配给层;（iii）调整所有组;（iv）为不同的组分配适当的调整策略。这些设计模式导致新的参数高效微调方法。我们的实验表明，这些方法一致和显着优于调查参数高效微调策略在不同的骨干模型和不同的任务，在自然语言处理。
2023-01-04 cs.AI cs.CL
Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition
University of California, San Diego（加州大学圣地亚哥分校）
微调预训练的语言模型最近已经成为为各种任务构建NLP模型的常见做法，特别是Few-Shot任务。我们认为，在Few-Shot设置下，制定更接近预训练目标的微调应该能够从预训练的语言模型中释放出更多的好处。在这项工作中，我们采取了Few-Shot命名实体识别（NER）的试点研究，现有的微调策略与预训练有很大不同。我们提出了一种新的Few-Shot微调框架NER，FFF-NER。具体来说，我们引入了三种新类型的标记，“是实体”，“哪种类型”和括号，因此我们可以根据预训练的语言模型的选择，将NER微调制定为（屏蔽的）标记预测或生成。在我们的实验中，我们应用FFF-NER在几个基准数据集上对Few-Shot NER的BERT和BART进行微调，并观察到与现有微调策略相比的显着改进，包括序列标记，原型元学习和基于BART的方法。我们进一步进行了一系列的消融研究，显示Few-Shot NER性能与微调和预训练之间的相似性密切相关。
2022-10-31 cs.AI cs.CL
Amuro and Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）
该研究通过微调多个中间预训练检查点并在18个数据集上评估，揭示大语言模型预训练能力的延迟显现、微调收益差异、知识遗忘及提示敏感性规律。
2025-03-18 cs.AI cs.CL
LIFT: Last-Mile Fine-Tuning for Table Explicitation
Microsoft Corporation（微软公司）
本文提出LIFT方法，通过预训练大语言模型提取表格并由微调的小语言模型修复错误，仅需1000个训练样本即可在TEDS指标上超越端到端微调，且更鲁棒于输入格式变化。
2026-05-13 cs.CL cs.LG
QEFT: Quantization for Efficient Fine-Tuning of LLMs
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Graduate School of Artificial Intelligence（人工智能研究生院）
本文提出QEFT，一种用于大型语言模型高效微调的轻量级量化技术，旨在同时提升推理与微调速度、降低内存消耗并保持模型质量，实验证明其性能可媲美全精度参数高效微调且资源消耗更少。
2024-10-11 cs.CL cs.LG
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati（辛辛那提大学）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
本文研究了微调目标对LLM安全性和鲁棒性的影响，发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景，对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Two-stage LLM Fine-tuning with Less Specialization and More Generalization
Google（谷歌）
本文提出ProMoT两阶段微调框架，通过先提示调优再模型调优，减少格式特化，保持微调性能同时提升上下文学习泛化能力。
2024-03-12 cs.CL cs.LG
Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes
Microsoft Research Asia（微软亚洲研究院）
在本文中，我们将大型参数模型与非参数原型网络相结合。我们提出了原型微调，一个新的原型框架微调预训练的语言模型（LM），自动学习的偏见，以提高预测性能的不同数据大小，特别是低资源设置。我们的原型微调方法可以根据数据点的数量和模型的固有属性自动调整模型的容量。此外，我们提出了四个原则，有效的原型微调到最佳的解决方案。在各种数据集上的实验结果表明，我们的工作在各种低资源设置下实现了显着的性能改进，以及在高资源场景下的可比性和通常更好的性能。
2022-11-24 cs.CL cs.LG
LayerNorm: A key component in parameter-efficient fine-tuning
Drexel University（德雷塞尔大学）；School of Biomedical Engineering（生物医学工程学院）
本文分析 BERT 微调中变化最大的组件，发现输出 LayerNorm 最为关键，并证明仅微调 LayerNorm 或其一小部分即可在 GLUE 任务上达到与全量微调相当的性能。
2024-03-29 cs.CL cs.LG
Scaling Laws for Forgetting When Fine-Tuning Large Language Models
Tenyx（Tenyx公司）
本文研究微调大语言模型时的灾难性遗忘问题，发现LoRA微调中性能与遗忘量呈逆线性关系，并给出遗忘随参数量和更新步数呈偏移幂律增长的缩放定律，指出早停无法避免遗忘，为安全关键研究开辟新方向。
2024-01-11 cs.CL cs.LG
Can Fine-Tuning Erase Your Edits? On the Fragile Coexistence of Knowledge Editing and Adaptation
研究探讨了微调对知识编辑的影响，发现微调会显著降低编辑效果，且仅微调编辑层可有效去除编辑，同时保持下游性能。
2026-06-27 cs.AI cs.CL
SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models
Simon Fraser University（西蒙菲莎大学）
本文提出SPAFIT方法，通过将不同语言知识定位到模型特定层进行分层渐进式适配微调，在GLUE九个任务上以更少参数超越LoRA等现有PEFT方法。
2024-04-30 cs.AI cs.CL
TuCo: Measuring the Contribution of Fine-Tuning to Individual Responses of LLMs
University of Oxford（牛津大学）
本文提出新方法TuCo，通过将微调LLM精确分解为预训练和微调组件并计算其幅度比，定量衡量微调对个体响应的贡献，发现对抗攻击通过降低TuCo绕过安全机制。
2025-06-29 cs.AI cs.CL
Energy and Carbon Considerations of Fine-Tuning BERT
Haverford College（哈维福德学院）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；Hugging Face
本文对NLP中微调的计算成本进行实证研究，对比了其与预训练和推理的能源及碳排放，并为提高微调能效提供了建议。
2024-10-16 cs.CL cs.LG
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
最近的预训练语言模型从数百万扩展到数十亿个参数。因此，在各种下游任务中，需要用有限的训练语料库来微调非常大的预训练模型。在本文中，我们提出了一种简单而有效的微调技术，Child-Tuning，它通过在向后过程中策略性地屏蔽非子网络的梯度来更新大型预训练模型的参数子集（称为子网络）。在GLUE基准测试中的各种下游任务上的实验表明，在四种不同的预训练模型中，Child-Tuning始终优于vanilla微调，平均得分为1.5~8.6，并优于先前的微调技术0.6~1.3分。此外，在领域转移和任务转移方面的实验结果表明，Child-Tuning可以获得更好的泛化性能。
2021-09-13 cs.AI cs.CL
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting
Georgia Institute of Technology（佐治亚理工学院）
本文在低资源环境下比较了多种LLM高效微调方法，发现上下文蒸馏优于标准微调，而自适应微调和LoRA表现相当或略差，强调方法选择取决于资源和任务适应性。
2024-05-21 cs.CL cs.LG
FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
Utrecht University（乌得勒支大学）
针对预训练语言模型微调中双模型鲁棒提升方法计算成本高的问题，提出迁移训练动力学的FTFT微调法，利用可迁移的训练动力学、高效参考模型和早停策略，在提升鲁棒性的同时降低约50%训练成本。
2024-12-11 cs.CL cs.LG
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto（电气与计算机工程系 东京大学）
本研究重新审视了LLM微调中的记忆化问题，发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势，且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
最近，微调预训练的语言模型（例如，多语言BERT）到下游跨语言任务的转换已经显示出有希望的结果。然而，微调过程不可避免地改变了预训练模型的参数，并削弱了其跨语言能力，这导致了次优性能。为了缓解这个问题，我们利用持续学习来保留预训练模型的原始跨语言能力，当我们微调它到下游任务时。实验结果表明，我们的微调方法可以更好地保持跨语言能力的预训练模型在句子检索任务。我们的方法在zero-shot跨语言词性标注和命名实体识别任务上也取得了比其他微调基线更好的性能。
2020-10-04 cs.CL cs.LG
Fine-Tuning LLMs on Small Medical Datasets: Text Classification and Normalization Effectiveness on Cardiology reports and Discharge records
Institute of Medical Informatics（医学信息学研究所）；University of Münster（明斯特大学）
本研究证明在小型医学数据集上微调小型LLM，可在文本分类和命名实体识别中达到与大型模型相当的性能，仅需200-300个训练样本，有助于自动化临床工作流。
2025-03-27 cs.CL cs.LG
Semi-Siamese Bi-encoder Neural Ranking Model Using Lightweight Fine-Tuning
Seoul National University（首尔国立大学）；Naver Corp.（Naver公司）
基于BERT的神经排序模型（NRM）可以是交叉编码器或双向编码器。在这两者之间，bi-encoder效率很高，因为所有文档都可以在实际查询时间之前进行预处理。在这项工作中，我们展示了两种方法来提高基于BERT的双编码器的性能。第一种方法是用轻量级的微调来代替完整的微调步骤。我们研究轻量级的微调方法，是基于适配器的，基于FPGA的，和两者的混合。第二种方法是开发半连体模型，其中查询和文档的处理具有有限的差异。通过学习两个轻量级的微调模块来实现有限的差异，其中BERT的主要语言模型对于查询和文档都是通用的。我们为monoBERT，TwinBERT和ColBERT提供了广泛的实验结果，其中三个性能指标在Robust 04，Cocktail Web 09 b和MS-MARCO数据集上进行了评估。结果证实，轻量级微调和半暹罗是相当有帮助的改善基于BERT的双编码器。事实上，轻量级的微调对CrossEncoder也很有帮助
2022-03-02 cs.CL cs.IR
Enhancing BERT Fine-Tuning for Sentiment Analysis in Lower-Resourced Languages
Faculty of Mathematics Physics and Informatics（数学物理系）；Comenius University in Bratislava（布拉迪斯拉发康门大学）
本研究通过结合主动学习与数据聚类策略，提升低资源语言情感分析中BERT模型的微调效果，实现标注节省和性能提升。
2025-12-01 cs.CL cs.LG
Fine-Tuning Transformers for Identifying Self-Reporting Potential Cases and Symptoms of COVID-19 in Tweets
Johns Hopkins University（约翰斯·霍普金斯大学）；Barnard College（巴纳德学院）；Data Science Institute（数据科学研究所）；Columbia University（哥伦比亚大学）
我们描述了我们对2021年健康应用社交媒体挖掘（SMM 4 H）共享任务的任务5和6的直接方法。我们的系统基于对每个任务的Distill- BERT进行微调，以及首先对其他任务的模型进行微调。我们探讨了需要进行多少微调才能准确地将推文分类为包含自我报告的COVID-19症状（任务5），或者与COVID-19相关的推文是自我报告、非个人报告还是病毒的文献/新闻提及（任务6）。
2021-04-12 cs.CL cs.SI
Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation
Fudan University（复旦大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
微调预训练的语言模型（如BERT）已成为NLP中的一种有效方法，并在许多下游任务中产生最先进的结果。最近关于BERT适应新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据和知识。微调战略本身还有待充分探讨。本文采用自系综和自蒸馏两种有效的机制对BERT的微调进行改进。在文本分类和自然语言推理任务上的实验表明，我们提出的方法可以显着提高BERT的适应性，无需任何外部数据或知识。
2020-02-24 cs.CL cs.LG
On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning
University of Southern California（南加州大学）；Snap Inc.（Snap 公司）
微调的语言模型已经被证明在大量的建模任务中表现出对受保护群体的偏见，例如文本分类和共指消解。以前的工作集中在检测这些偏差，减少数据表示中的偏差，并使用辅助训练目标来减轻微调过程中的偏差。尽管这些技术实现了当前任务和领域的偏差减少，但偏差减轻的效果可能不会直接转移到新任务，需要额外的数据汇集和敏感属性的定制注释，以及重新评估适当的公平性度量。我们探索上游偏差缓解（UBM）的可行性和好处，以减少下游任务的偏差，首先通过微调将偏差缓解应用到上游模型，随后将其用于下游微调。我们发现，在广泛的实验中跨越仇恨言论检测，毒性检测，职业预测，和共指消解任务在各种偏见因素，UBM的影响确实是转移到新的下游任务或域通过微调，创建更少的偏见下游模型比直接微调下游任务或从香草上游模型转移。虽然挑战仍然存在，我们表明，UBM承诺更有效和更容易的偏见减轻LM微调。
2021-04-11 cs.CL stat.ML
When Does Language Transfer Help? Sequential Fine-Tuning for Cross-Lingual Euphemism Detection
Montclair State University（蒙特克莱尔州立大学）
本文研究顺序微调对跨语言委婉语检测的影响，发现高资源L1顺序微调可提升低资源L2性能，XLM-R增益大但易遗忘，mBERT更稳定，证明该方法简单有效。
2025-08-15 cs.AI cs.CL
Contrastive Fine-tuning Improves Robustness for Neural Rankers
AWS AI Labs（亚马逊云科技人工智能实验室）
当暴露于噪声输入或应用于新领域时，最先进的神经排序器的性能可能会大幅恶化。在本文中，我们提出了一种新的方法微调神经排名，可以显着提高其鲁棒性域外数据和查询扰动。具体来说，在微调期间，将比较表示空间中的数据点的对比损失与标准排名损失相结合。我们使用相关性标签来表示相似/不相似对，这使得模型能够学习不同查询-文档对之间的底层匹配语义，并提高鲁棒性。在四个通道的排名数据集的实验中，所提出的对比微调方法获得的鲁棒性的查询重新制定，噪声扰动，和zero-shot传输的BERT和BART基于排名的改进。此外，我们的实验表明，对比微调优于数据增强的鲁棒神经排名。
2021-05-27 cs.CL cs.IR
On the Complementarity of Data Selection and Fine Tuning for Domain Adaptation
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
神经网络的领域自适应通常依赖于三个训练阶段：预训练、选择数据训练和微调。数据选择通过在依赖于目标域数据的小样本识别的预训练数据上进一步训练来改进目标领域泛化。本文研究了语言建模和机器翻译的数据选择的好处。我们的实验评估了选择与微调的互补性，并得出了实际的建议：（i）选择的数据必须与微调域相似，但不能太多，以侵蚀微调的互补效果;（ii）在选择少量数据以获得快速但有限的进展或选择大量数据以获得缓慢但持久的进展之间存在权衡;（iii）数据选择可以在预训练早期应用，性能增益与长时间预训练会话相当;（iv）从域分类器中选择数据通常比流行的对比数据选择方法更有效。
2021-09-15 cs.CL cs.LG
You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Models
University of Florida（佛罗里达大学）
本文提出多示例上下文微调方法，通过扩展上下文学习原理，显著提升大型语言模型在多任务处理中的性能，接近专门微调水平并缓解灾难性遗忘问题。
2026-03-03 cs.AI cs.CL
