The Advantage of Conditional Meta-Learning for Biased Regularization and Fine-Tuning
Istituto Italiano di Tecnologia（意大利技术研究院）
有偏正则化和微调是最近的两种元学习方法。它们已被证明是有效的，以解决任务的分布，其中任务的目标向量都接近一个共同的元参数向量。然而，这些方法在任务的异构环境中可能表现不佳，其中任务分布的复杂性不能由单个元参数向量捕获。我们通过条件元学习来解决这个限制，推断条件函数将任务的边信息映射到适合手头任务的元参数向量。我们的环境下，有条件的方法带来了很大的优势，比标准的元学习的特性，我们突出的例子，如那些具有多个集群，满足这些属性的环境。然后，我们提出了一个凸元算法提供了一个比较的优势，也在实践中。数值实验证实了我们的理论发现。
2020-08-25 cs.LG stat.ML
Curvature-Guided LoRA: Matching Full Fine-Tuning in Function Space
KTH（皇家理工学院）
本文提出Curvature-Guided LoRA，通过函数空间视角解决LoRA与全微调输出对齐问题，采用曲率感知的二阶方法提升微调效率与性能。
2026-06-07 cs.LG
CAREF: Calibration-Aware Regularization for Explanation Faithfulness Without Rationale Supervision
MARSAIL；Chulalongkorn University（朱拉隆梭大学）；PBYAIL (Panboonyuen AI Lab)（PBYAIL（Panboonyuen人工智能实验室））
提出CAREF框架，通过校准感知正则化联合优化预测准确性和解释忠实性，无需理由监督，在四个NLE基准上以少量可训练参数取得最佳性能。
2026-06-01 cs.CL cs.LG
Adaptive Prompt Tuning: Vision Guided Prompt Tuning with Cross-Attention for Fine-Grained Few-Shot Learning
Faculty of Science and Engineering, University of Groningen（格罗宁根大学科学与工程学院）；TNO（荷兰国防技术研究院）
提出基于交叉注意力的自适应提示调优方法，利用视觉输入动态优化CLIP文本提示，提升少样本细粒度分类性能，并集成蒙特卡洛Dropout增强预测可靠性。
2025-01-01 cs.AI cs.CV cs.LG
Learning the Regularization Strength for Deep Fine-Tuning via a Data-Emphasized Variational Objective
Tufts University（塔夫茨大学）
本文提出一种基于改进证据下界（ELBo）目标的方法，直接在完整训练集上学习深度微调的正则化超参数，避免了网格搜索的计算开销、验证集划分和候选值设定，在图像分类任务中以更少计算时间达到与现有方法相当的准确率。
2025-01-24 cs.LG stat.ML
Confine to the Task, Anchor the Rest: Concept-Guided Retention Regularizer for Parameter-Efficient Fine-Tuning
University of California, Davis（加利福尼亚大学戴维斯分校）；University of Virginia（弗吉尼亚大学）
针对参数高效微调（PEFT）的灾难性遗忘问题，提出概念引导保留（CGR）正则化器，通过约束权重与激活通道提升知识保留率，在CLIP及Llama-3.1-8B上验证了有效性。
2026-10-14 cs.LG
Guardrails in Logit Space: Safety Token Regularization for LLM Alignment
Applied Artificial Intelligence Initiative (A2I2)（应用人工智能倡议（A2I2））；Deakin University（德克萨斯大学）
本文提出安全令牌正则化（STR）方法，通过约束关键令牌的logits来保持细调模型的安全性，实验显示其在安全性和任务性能方面表现优异。
2026-04-19 cs.LG
ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning
School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）；State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）
提出ProtoAda框架，通过格式感知任务原型和几何感知参数整合，解决多模态持续指令微调中任务路由错误和梯度干扰问题。
2026-06-03 cs.CV cs.LG
PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization
The Australian National University（澳大利亚国立大学）；Data61 CSIRO；Australian Institute for Machine Learning, The University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）
PACE通过结合参数高效微调与一致性正则化，提升模型泛化能力与知识保留，优于现有PEFT方法。
2026-03-06 cs.CV cs.LG
Calibrated Language Model Fine-Tuning for In- and Out-of-Distribution Data
Georgia Institute of Technology（佐治亚理工学院）
由于过度参数化，微调的预训练语言模型可能会遭受分布内和分布外（OOD）数据的严重误校准。为了缓解这个问题，我们提出了一种正则化的微调方法。我们的方法引入了两种类型的正则化来更好地校准：（1）流形上正则化，它通过在数据流形内插值来生成伪流形上样本。使用这些伪样本进行增强训练会施加平滑正则化以改善分布内校准。(2)非流形正则化，鼓励模型输出伪非流形样本的均匀分布，以解决OOD数据的过度置信问题。我们的实验表明，所提出的方法优于现有的校准方法的文本分类的期望校准误差，误分类检测，和OOD检测六个数据集。我们的代码可以在https://github.com/Lingkai-Kong/Calibrated-BERT-Fine-Tuning上找到。
2020-10-22 cs.AI cs.CL cs.LG
Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL
Microsoft Research Asia（微软亚洲研究院）；KAIST（韩国科学技术院）
针对RLPrompt产生不自然提示的问题，提出稀疏Tsallis熵正则化过滤低概率词元，在少样本分类、风格迁移和文本反演任务上显著提升提示的自然性和可解释性。
2024-07-20 cs.AI cs.CL cs.LG
Consistency Regularization for Cross-Lingual Fine-Tuning
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
微调预训练的跨语言语言模型可以将特定于任务的监督从一种语言转移到其他语言。在这项工作中，我们建议用一致性正则化来改进跨语言微调。具体地，我们使用示例一致性正则化来惩罚预测对四种类型的数据增强的敏感性，即，子字采样、高斯噪声、代码转换替换和机器翻译。此外，我们使用模型一致性来正则化用同一训练集的两个增强版本训练的模型。XTREME基准测试的实验结果表明，我们的方法显着提高了跨语言的微调在各种任务，包括文本分类，问答，和序列标记。
2021-06-15 cs.CL
G-Loss: Graph-Guided Fine-Tuning of Language Models
BITS Pilani（BITS 派拉尼）；Bucknell University（巴克内尔大学）
提出G-Loss损失函数，通过构建文档相似度图并利用半监督标签传播捕捉全局语义结构，引导语言模型学习更具判别性和鲁棒性的嵌入，在多个分类任务上提升准确率并加速收敛。
2026-08-31 cs.AI cs.CL cs.LG
Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning
Indian Institute of Technology Jodhpur（印度理工学院乔浦尔）
本文提出一种自适应正则化框架，通过评估安全风险来维持模型在微调过程中的安全性，实验表明该方法能有效降低攻击成功率并保持下游性能。
2026-05-11 cs.CL cs.LG
Language-Guided Tuning: Configuration Optimization for Automated ML Research
针对机器学习配置优化瓶颈，提出多智能体大语言模型框架LGT，协调三类智能体形成反馈循环，在七个数据集上实现比传统方法更优的可解释性优化效果。
2026-09-01 cs.AI cs.CL cs.LG
Strategy Accumulation and Guided Execution for Automated LLM Fine-Tuning
Fudan University（复旦大学）；Ant Group（蚂蚁集团）；Shanghai Jiaotong University（上海交通大学）
针对自动化微调系统无状态导致重复搜索的问题，提出SAGE两阶段框架，通过多智能体MCTS探索和蒸馏积累经验，在九个未见任务上将平均相对改进从3.2%提升至15.6%。
2026-09-22 cs.AI cs.CL cs.LG
Logic-Guided Data Augmentation and Regularization for Consistent Question Answering
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
许多自然语言问题需要在两个实体或事件之间进行定性、定量或逻辑比较。本文提出了一种将逻辑规则和神经模型相结合的方法来提高比较问题回答的准确性和一致性。我们的方法利用逻辑和语言知识来增加标记的训练数据，然后使用基于一致性的正则化训练模型。提高了预测的全局一致性，我们的方法在各种问答（QA）任务，包括多项选择定性推理，因果推理和提取机器阅读理解中实现了比以前的方法有很大的改进。特别是，我们的方法在数据集上将基于RoberTa的模型的性能显著提高了1-5%。我们在WIQA和WITRel上将最先进的技术水平提高了约5-8%，并在HotpotQA上将一致性违规减少了58%。我们进一步证明了我们的方法可以从有限的数据中有效地学习。
2020-05-25 cs.CL
Noise Stability Regularization for Improving BERT Fine-tuning
University of Rochester（罗切斯特大学）；Baidu Research（百度研究院）；University of Macau（澳门大学）
微调预训练的语言模型（如BERT）已成为各种NLP任务中主导排行榜的常见做法。尽管它最近取得了成功并被广泛采用，但当只有少量训练样本可用时，这个过程是不稳定的。这一过程的脆弱性通常反映在对随机种子的敏感性上。在本文中，我们提出基于深度网络的噪声稳定性来解决这个问题，这在最近的文献中进行了研究（Arora等人，2018年; Sanyal等人，2020年）。具体来说，我们引入了一种新颖有效的正则化方法来改善NLP任务的微调，称为分层噪声稳定性正则化（LNSR）。我们推广了在输入中加入噪声的理论，并证明了我们的方法给出了更稳定的正则化效果。我们提供了支持性的证据，通过实验证实，表现良好的模型显示出较低的灵敏度噪声和微调与LNSR表现出明显更高的泛化能力和稳定性。此外，我们的方法还证明了优于包括L2-SP（Li等人，2018）、Mixout（Lee等人，2020）和SMART（Jiang等人，2020年）。
2021-07-10 cs.CL
Making Clinical Language Models Auditable: Concept-Guided Fine-Tuning for Robust Prediction
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本研究提出基于SAE的可审计临床文本分类框架CAST，通过提取并抑制病历人工制品特征，在MIMIC-IV死亡率预测任务上提升了基线性能并保留与强LLM相当的效果，同时提供可审计的特征级轨迹。
2026-08-28 cs.AI cs.CL
GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs
Ant Group Beijing, China（蚂蚁集团北京）
GradPruner通过梯度引导的层剪枝技术，在保持高精度的同时实现LLM微调和推理的高效优化。
2026-01-27 cs.AI cs.CL
Regularization techniques for fine-tuning in neural machine translation
School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）
我们研究了神经机器翻译的监督领域自适应技术，其中在大型域外数据集上训练的现有模型适用于小型域内数据集。在这种情况下，过度拟合是一个重大挑战。我们研究了许多技术来减少过拟合和改善迁移学习，包括正则化技术，如dropout和L2正则化到域外先验。此外，我们还介绍了tuneout，一种受dropout启发的新型正则化技术。我们将这些技术单独或组合应用于神经机器翻译，在英语->德语和英语->俄语的IWITOS数据集上获得改进。我们还研究了NMT中领域自适应所需的域内训练数据量，并发现训练数据量与BLEU分数的增益之间存在对数关系。
2017-07-31 cs.CL
Configurable Preference Tuning with Rubric-Guided Synthetic Data
Komorebi AI Technologies, Madrid, Spain（Komorebi人工智能技术公司）
针对现有人类反馈对齐模型偏好静态单一、适应性受限的问题，提出可配置偏好调优（CPT）框架，利用基于细粒度评分细则系统提示生成的合成偏好数据微调大模型，使其无需重训即可在推理时根据指令动态调整输出，实现细粒度控制并支持更细致的上下文相关人类反馈建模。
2025-06-13 cs.AI cs.CL
Learn Hard Problems During RL with Reference Guided Fine-tuning
Carnegie Mellon University（卡内基梅隆大学）
ReGFT通过利用人类参考解决方案合成积极轨迹，提升RL在数学推理中的性能和训练效率。
2026-03-05 cs.CL cs.LG
Select or Rewrite: Oracle-Guided Fine-Tuning for Generative ASR Post-Editing from N-Best Hypotheses
Idiap Research Institute（伊迪亚普研究所）；KTH Royal Institute of Technology（皇家理工学院）；Brno University of Technology（布尔诺理工大学）
针对仅提示的ASR后编辑方法存在过度编辑、幻觉及需大模型的缺陷，提出Oracle引导微调方法，利用三类N-best池训练混合选择-重写策略，在专有数据集上收益显著，CommonVoice数据集结果存在差异。
2026-10-14 cs.AI cs.CL
LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers
Department of Management Sciences, Indian Institute of Technology Kanpur（印度理工学院坎普尔分校管理科学系）；Department of Civil Engineering, Indian Institute of Technology Kanpur（印度理工学院坎普尔分校土木工程系）；Operations and Decision Sciences, Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校运营与决策科学系）；Brij Disa Centre for Data Science and AI, Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校Brij Disa数据科学与人工智能中心）
提出基于线性规划的局部搜索框架，通过双层优化联合更新模型参数和正则化超参数，利用验证梯度和Hessian信息构造局部下降方向，在保持训练最优性的同时减少过拟合，实验表明在GPT-2 Small微调中持续改善测试困惑度。
2026-06-16 cs.CL cs.LG
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology（伊利诺伊理工学院）
大型预训练语言模型（PLM）的最新进展通过特定于任务的微调在自然语言理解（NLU）任务方面取得了令人印象深刻的进展。然而，直接微调PLM严重依赖于足够的标记训练实例，这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板，以引出语义从PLM。此外，传统的数据增强策略，如同义词替换，虽然广泛采用在低资源的情况下，只带来边际改进的少样本学习。因此，一个重要的研究问题出现了：如何设计有效的数据增强方法，为基础的Few-Shot调整？为此，考虑到标签语义是必不可少的，在基于标签的调整，我们提出了一种新的标签引导的数据增强的框架BattDA，它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明，该框架通过有效利用标签语义和数据增强进行自然语言理解，具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
Department of Computer Science, Stellenbosch University（斯瓦茨堡大学计算机科学系）
本文研究了在低资源NLP中预训练时应用BPE Dropout对下游性能的影响，发现随机分词在预训练和微调时均优于仅在微调时应用，尤其在数据较少时表现更佳。
2026-05-13 cs.CL cs.LG
Task-guided Disentangled Tuning for Pretrained Language Models
Tencent Cloud Xiaowei（腾讯云小微）；Zhejiang University（浙江大学）；Westlake University（西湖大学）
在大规模未标记语料库上训练的预训练语言模型（PLM）通常在特定于任务的下游数据集上进行微调，这些数据集在各种NLP任务上产生了最先进的结果。然而，域和规模上的数据差异问题使得微调无法有效地捕获特定于任务的模式，特别是在低数据状态下。为了解决这个问题，我们提出了任务引导的解纠缠调整（TDT）的PLM，它增强了表示的泛化，从纠缠表示解开任务相关的信号。对于给定的任务，我们引入了一个可学习的置信度模型来检测上下文中的指示性指导，并进一步提出了一个解开的正则化来减轻过度依赖问题。在GLUE和CLUE基准测试上的实验结果表明，TDT始终比不同PLM的微调更好的结果，广泛的分析表明，我们的方法的有效性和鲁棒性。代码可在https://github.com/lemon0830/TDT上获得。
2022-03-22 cs.CL
ProSwitch: Knowledge-Guided Instruction Tuning to Switch Between Professional and Non-Professional Responses
Zhejiang University of Science and Technology（浙江科技大学）；Fudan University（复旦大学）；Zhejiang University（浙江大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
针对大语言模型在专业领域切换回复风格的研究不足问题，提出名为ProSwitch的知识引导指令微调方法，通过三阶段流程实现专业与非专业回复切换，效果优于通用及专用基线大模型。
2024-12-12 cs.AI cs.CL
MaPPER: Multimodal Prior-guided Parameter Efficient Tuning for Referring Expression Comprehension
College of Systems Engineering, National University of Defense Technology（系统工程学院，国防科技大学）；Tsinghua University（清华大学）；Hefei University of Technology（合肥工业大学）；iFLYTEK Research（iFLYTEK研究院）
针对指称表达理解任务，提出MaPPER框架，通过动态先验适配器和局部卷积适配器实现参数高效微调，仅用1.41%可调参数达到最优性能。
2025-06-20 cs.AI cs.CL cs.CV
MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning
本文提出MoE-Sieve，通过路由指导的LoRA微调方法，仅训练高频路由专家，显著减少参数和训练时间，同时保持性能。
2026-03-25 cs.CL cs.LG
Countering Reward Over-optimization in LLM with Demonstration-Guided Reinforcement Learning
INRIA（法国国家信息与自动化研究所）；Cohere（Cohere公司）；DeepMind（DeepMind公司）；EHESS（法国高等社会科学研究院）；ENS-PSL（巴黎高等师范学院-巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Meta AI Research（Meta人工智能研究院）
本文提出基于演示的奖励校准方法RCfD，通过最小化演示与LLM奖励之间的距离来替代直接最大化奖励，从而在无需复杂KL超参数调优的情况下抑制奖励过度优化，并在三个语言任务上验证了其有效性。
2024-04-30 cs.CL
Generative Biomedical Entity Linking via Knowledge Base-Guided Pre-training and Synonyms-Aware Fine-tuning
Tsinghua University（清华大学）
实体是生物医学自然语言理解的核心，由于概念名称的细粒度和多样性，生物医学实体连接（EL）任务仍然具有挑战性。生成式方法在一般域EL中实现了显着的性能，占用内存较少，但需要昂贵的预训练。先前的生物医学EL方法利用来自知识库（KB）的同义词，这对于注入到生成方法中来说并不是微不足道的。在这项工作中，我们使用生成的方法来建模生物医学EL，并提出注入同义词的知识，我们提出知识库引导的预训练，通过构建合成样本的同义词和定义从知识库，并要求模型恢复概念名称。我们还提出了同义词感知的微调来选择概念名称进行训练，并提出了解码器提示和多同义词约束前缀树进行推理。我们的方法在几个生物医学EL任务上取得了最先进的结果，而无需候选人选择，这显示了所提出的预训练和微调策略的有效性。
2022-05-21 cs.CL
Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Tsinghua University（清华大学）；WeChat, Tencent（微信、腾讯）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）
本文提出熵引导的标记丢弃方法，通过正则化优化解决有限领域数据下自回归模型的性能退化问题，实验表明其在多轮训练中表现优异。
2025-12-29 cs.CL
A Unified Taxonomy-Guided Instruction Tuning Framework for Entity Set Expansion and Taxonomy Expansion
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Texas A&M University（德克萨斯农工大学）
本文提出 TaxoInstruct 框架，通过识别“寻找兄弟”和“寻找父级”两个共同技能，统一解决实体集合扩展、taxonomy 扩展和种子引导的 taxonomy 构建三个任务，实验表明其优于任务特定基线。
2025-05-23 cs.CL
Visual-Language Prompt Tuning with Knowledge-guided Context Optimization
Institute of Automation, CAS（中国科学院自动化研究所）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences(CAS)（中国科学院大学）
提示微调是一种使用任务相关文本标记使预训练的视觉语言模型（VLM）适应下游任务的有效方法。代表性的合作为基础的工作相结合的学习文本令牌类令牌，以获得特定的文本知识。然而，具体的文本知识是最差的泛化看不见的类，因为它忘记了本质的一般文本知识具有很强的泛化能力。为了解决这个问题，我们引入了一种新的知识引导的上下文优化（KgCoOp），以增强不可见类的可学习提示的泛化能力。KgCoOp的关键见解是，通过减少可学习提示和手工制作提示之间的差异，可以减轻对基本知识的遗忘。特别是，KgCoOp最大限度地减少了由学习提示和手工制作的提示生成的文本嵌入之间的差异。最后，在对比损失上添加KgCoOp可以对可见和不可见任务进行区分性提示。多个基准测试结果表明，该方法是一种有效的提示微调方法，\emph{i.e.,}以更少的训练时间获得了更好的性能。
2023-03-23 cs.CL cs.CV
Neuron-Guided Fine-Tuning: Unlocking Efficient Alignment Mechanisms for Large Language Models
University of Macau（澳门大学）；Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）；KAUST（阿卜杜拉国王科技大学）；Wuhan University（武汉大学）；Xiamen University（厦门大学）
针对全参数微调中的参数冗余、数据质量不一致和灾难性遗忘问题，提出神经元引导的微调框架，通过三种协同机制统一微调生命周期，在效率和性能上超越现有方法。
2026-09-09 cs.CL
LH-Mix: Local Hierarchy Correlation Guided Mixup over Hierarchical Prompt Tuning
Beihang University（北京航空航天大学）；Tongji University（同济大学）
本文提出LH-Mix模型，通过将局部层次结构整合到提示中并利用相关性引导的Mixup比率，改善兄弟/同级关系相关性，在三个数据集上表现卓越。
2025-02-23 cs.CL
From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Maryland（马里兰大学）
本文提出基于指令遵循难度（IFD）指标的自引导数据选择方法，使大语言模型能自主挑选高质量樱桃样本，仅用10%数据即可提升指令微调效率与性能。
2024-04-06 cs.CL
DEFT: Distribution-guided Efficient Fine-Tuning for Human Alignment
Southern University of Science and Technology（南方科技大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Science and Technology of China（中国科学技术大学）；University of Copenhagen（哥本哈根大学）
本文提出DEFT框架，通过数据过滤和分布引导提升模型对齐效率与泛化能力，减少训练时间。
2026-04-02 cs.CL
GIFT: Guided Fine-Tuning and Transfer for Enhancing Instruction-Tuned Language Models
Southern University of Science and Technology（南方科技大学）；Alibaba Group（阿里巴巴集团）；Shanghai University of Finance and Economics（上海财经大学）；Tsinghua University（清华大学）；Xiamen University（厦门大学）
GIFT通过整合指令模型的指导信息，提升指令微调语言模型的任务适应能力，实验显示其在数学和知识密集型基准上优于直接微调和迁移基线。
2026-05-02 cs.CL
RECOST: External Knowledge Guided Data-efficient Instruction Tuning
Zhejiang University（浙江大学）
本文提出RECOST框架，利用外部知识评估LLM合成指令数据，结合重排序与多样性采样，在Alpaca等数据集上仅用1%数据即取得更优效果。
2024-02-27 cs.CL
AgenticAI-DialogGen: Topic-Guided Conversation Generation for Fine-Tuning and Evaluating Short- and Long-Term Memories of LLMs
School of Computing, Macquarie University（麦考瑞大学计算机学院）
本文提出AgenticAI-DialogGen框架，通过生成基于角色和主题的对话来微调和评估LLM的短期和长期记忆，引入了TopicGuidedChat数据集以提升对话质量和模型性能。
2026-04-14 cs.CL cs.IR
GIFT: Guided Importance-Aware Fine-Tuning for Diffusion Language Models
Institute for Interdisciplinary Information Sciences（交叉信息科学研究院）
本文提出GIFT方法，通过根据熵分配不同重要性权重来优化扩散语言模型的微调，从而在多个基准测试中优于标准SFT。
2026-05-11 cs.CL
sPhinX: Sample Efficient Multilingual Instruction Fine-Tuning Through N-shot Guided Prompting
Microsoft Corporation（微软公司）；Harvard University（哈佛大学）；Adobe Research（Adobe研究）；MBZUAI University（MBZUAI大学）；Hippocratic AI；Meta AI
本文提出sPhinX多语言指令微调数据集构建方法及LANGIT的N-shot引导策略，显著提升Mistral-7B和Phi-3-Small在多语言基准上的性能，同时保持英语能力且无灾难性遗忘。
2025-06-18 cs.CL
LM-CPPF: Paraphrasing-Guided Data Augmentation for Contrastive Prompt-Based Few-Shot Fine-Tuning
Google DeepMind（谷歌DeepMind）；Tehran Institute for Advanced Studies, Khatam University（德黑兰高级研究学院，哈塔姆大学）
针对预训练语言模型小数据集微调效果差的问题，提出LM-CPPF方法，借助大语言模型的少样本释义能力做数据增强，结合对比提示微调，在多个文本分类基准上优于现有增强方法。
2023-07-05 cs.CL
AIDE: Attribute-Guided MultI-Hop Data Expansion for Data Scarcity in Task-Specific Fine-tuning
Syracuse University（苏塞克斯大学）；AWS Bedrock Science（AWS Bedrock科学）
提出属性引导多跳数据扩展框架AIDE，通过提取主题与属性进行多跳合成并引入残差连接，仅需10个种子即可高效微调LLM，性能超越人类数据及现有方法。
2025-07-14 cs.CL
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization
University of Rochester（罗切斯特大学）；Carnegie Mellon University（卡内基梅隆大学）；BCG（波士顿咨询公司）；University of Macau（澳门大学）
针对预训练语言模型微调中的过拟合问题，提出层间噪声稳定性正则化（LNSR）方法，通过注入噪声并正则化隐藏表示，在文本分类和问答任务上提升域内性能与域外泛化能力。
2023-11-09 cs.CL
