When Long Helps Short: How Context Length in Supervised Fine-tuning Affects Behavior of Large Language Models
X-LANCE Lab（X-LANCE实验室）；MoE Key Lab of Artificial Intelligence（人工智能MoE关键实验室）；AI Institute（人工智能研究院）；School of Computer Science（计算机科学学院）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institution（上海创新机构）；Jiangsu Key Lab of Language Computing（江苏语言计算关键实验室）；Suzhou Laboratory（苏州实验室）
本研究系统探究监督微调中数据长度对大语言模型短上下文任务表现的影响，发现长上下文监督微调可提升短上下文性能，揭示其知识偏好偏差并提出混合训练方案以优化微调效果。
2025-10-03 cs.AI cs.CL
Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance
Department of Computer Science University of Sheffield, UK（计算机科学系 剑桥大学谢菲尔德分校）
本文探究在指令微调数据中引入移除停用词、打乱词序等扰动对大型语言模型（LLMs）的影响，发现其在部分情况下能提升LLMs在MMLU等基准原始及扰动版本上的性能，为增强模型对含噪指令的韧性提供了思路。
2025-11-11 cs.CL
How Many Languages Make Good Multilingual Instruction Tuning? A Case Study on BLOOM
Technical University of Darmstadt（达姆施塔特工业大学）；University of Helsinki（赫尔辛基大学）；University of Edinburgh（爱丁堡大学）
该研究以BLOOM为对象开展多语言指令微调案例研究，探究语言数量、接触量、语际相似性对性能的影响，证实扩大语言覆盖有益，测试语言在训练集中可显著提效，且谱系特征比语言数量更影响跨语言迁移。
2024-12-09 cs.CL
CITB: A Benchmark for Continual Instruction Tuning
University of Technology Sydney（悉尼科技大学）；University of Liverpool（利物浦大学）；University of Wollongong（伍伦贡大学）
本文提出了持续指令微调（CIT）基准，通过构建学习和评估协议及两种长对话任务流，系统研究现有持续学习方法在指令微调中的表现，发现顺序微调指令模型效果相当或更优。
2023-10-23 cs.CL
The Right Time Matters: Data Arrangement Affects Zero-Shot Generalization in Instruction Tuning
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
本文从数据排列角度研究指令微调中的零样本泛化机制，证明泛化发生在训练早期且损失可作指标，并提出以测试为中心的多轮排列框架来提升持续学习效果。
2025-04-07 cs.AI cs.CL cs.LG
Representing Affect Information in Word Embeddings
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
越来越多的自然语言处理（NLP）和自然语言理解（NLU）研究正在研究从大语言模型中学习或编码在词嵌入中的类人知识。这是理解语言模型捕获的知识与人类对语言和通信的理解相似的一步。在这里，我们研究了是否以及如何影响一个词的含义（即，效价、唤醒、支配）被编码在大型神经网络中预训练的词嵌入中。我们使用人类标记的数据集作为基础事实，并对四种类型的词嵌入进行了各种相关性和分类测试。这些嵌入在静态或情境化方面有所不同，以及在预训练和微调阶段对特定信息的影响程度。我们的分析表明，香草BERT模型的词嵌入没有显着编码的英语单词的情感信息。只有当BERT模型在情感相关的任务上进行了微调或包含来自情感丰富的上下文的额外上下文化信息时，相应的嵌入才能编码更多相关的情感信息。
2022-09-21 cs.CL
A Unified Moral-Value Dataset for Instruction Tuning
RWTH Aachen（亚琛工业大学）；University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所）
针对大语言模型与人类价值观对齐问题，构建统一道德价值数据集用于指令微调，通过合并现有数据集并转换格式而成，实验表明其结合通用任务数据集训练可保持性能，为对齐研究提供资源。
2026-07-24 cs.CL
Redundancy, Isotropy, and Intrinsic Dimensionality of Prompt-based Text Embeddings
Graduate School of Informatics, Nagoya University（名古屋大学信息科学研究生院）
本文研究基于提示的文本嵌入降维对分类、聚类、检索和STS任务的影响，发现分类与聚类嵌入高度冗余，并借助内在维度与各向同性分析揭示了其冗余成因。
2025-06-02 cs.CL
How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition
Alibaba Group（阿里巴巴集团）
本研究探讨监督微调数据构成对LLM数学推理、代码生成和通用能力的影响，发现不同能力扩展规律各异，并提出双阶段混合微调策略以缓解多技能学习中的性能冲突与灾难性遗忘。
2024-06-07 cs.AI cs.CL cs.LG
A Scaling Law for Token Efficiency in LLM Fine-Tuning Under Fixed Compute Budgets
University of Connecticut Storrs（康涅狄格大学斯托尔斯分校）
本文提出一种考虑数据组成（样本数量与平均令牌长度）的LLM微调缩放定律，并通过BRICC和MMLU实验证明数据组成显著影响令牌效率，为资源受限场景提供更精细的缩放指导。
2025-06-02 cs.AI cs.CL
Neural Architecture Search for Parameter-Efficient Fine-tuning of Large Pre-trained Language Models
Information Sciences Institute（信息科学研究所）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出一种结合结构化与非结构化剪枝的高效神经架构搜索方法，用于自动学习参数高效微调架构，并在GLUE基准上验证其有效性。
2023-05-26 cs.AI cs.CL cs.LG
Exploring Embedding Priors in Prompt-Tuning for Improved Interpretability and Control
New York University（纽约大学）
本文研究了提示调优中嵌入坍缩现象对模型性能的影响，提出嵌入先验以提升可解释性和可控性，并发现不同激活区域的嵌入能有效提升任务表现。
2026-03-09 cs.CL cs.LG
Multilingual Instruction Tuning With Just a Pinch of Multilinguality
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
本研究探究多语言大语言模型指令微调中的多语言数据作用，发现少量多语言样本即可显著提升跨语言指令遵循与泛化能力，为高效构建多语言指令微调模型提供新思路。
2024-05-21 cs.AI cs.CL cs.LG
Embedding Trust: Semantic Isotropy Predicts Nonfactuality in Long-Form Text Generation
New York University（纽约大学）；University of Toronto（多伦多大学）
该研究提出通过语义各向同性（单位球面上归一化文本嵌入的均匀程度）评估LLMs生成长文本的可信度，其方法无需标注数据等，在多领域仅用少量样本预测非事实性的表现优于现有信号。
2026-08-11 cs.AI cs.CL cs.LG
Investigating Distributions of Telecom Adapted Sentence Embeddings for Document Retrieval
Ericsson R&D（爱立信研发）
本文研究电信领域问答中的句嵌入适配，提出相似度阈值确定方法和分布重叠度量指标，发现微调能提高检索准确率并收紧置信区间，而各向同性与检索性能相关性弱。
2025-06-05 cs.AI cs.CL cs.LG
Self-supervised Rewiring of Pre-trained Speech Encoders: Towards Faster Fine-tuning with Less Labels in Speech Processing
Monash University（莫纳什大学）
预先训练的语音Transformers在各种语音处理任务中取得了巨大成功。然而，为下游任务微调这些编码器需要足够大的训练数据来收敛或实现最新技术水平。在文本域中，这部分归因于预训练的Transformers中的表示空间的次优性。在这项工作中，我们对预先训练的语音编码器进行了冷静的研究，并重新构建了它们的表示空间，而不需要任何特定于任务的标签。我们的方法利用中性合成版本的音频输入以及帧掩蔽来构建对比自监督学习的正对。当用于增强wav2vec 2编码器时，我们观察到表示空间中的各向同性的一致改进。我们的实验6语音处理任务，表现出显着的收敛加速任务微调以及一致的任务改进，特别是在低资源设置。
2022-10-24 cs.CL cs.SD eess.AS
What Happens To BERT Embeddings During Fine-tuning?
Google Research（谷歌研究院）；Brown University（布朗大学）
虽然最近有很多工作研究语言信息如何编码在预训练的句子表示中，但对于这些模型在适应解决下游任务时如何变化的了解相对较少。使用一套分析技术（探测分类器，代表性相似性分析和模型消融），我们调查如何微调影响的BERT模型的表示。我们发现，虽然微调必然会产生重大变化，但它不会导致语言现象的灾难性遗忘。相反，我们发现微调主要影响BERT的顶层，但不同任务之间存在值得注意的差异。特别是，依存句法分析重新配置了模型的大部分，而SQuAD和MNLI似乎涉及更浅的处理。最后，我们还发现微调对域外句子的表示有较弱的影响，这表明模型泛化有改进的空间。
2020-04-29 cs.CL
Mitigating Outlier Activations in Low-Precision Fine-Tuning of Language Models
McGill University（麦吉尔大学）
本文针对语言模型低精度微调中异常激活影响性能的问题，提出用8位整数表示异常值并结合算子分块避免16位整数矩阵乘法的方法，通过理论与实验证明其能提升模型鲁棒性和性能。
2024-01-13 cs.CL
Know Where You're Going: Meta-Learning for Parameter-Efficient Fine-Tuning
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
最近的一系列技术，被称为轻量级微调方法，通过仅更新一小部分附加参数，同时保持预训练语言模型的参数冻结，促进了参数高效的迁移学习。虽然被证明是一种有效的方法，但目前还没有关于下游微调方法的知识是否以及如何影响预训练阶段的研究。在这项工作中，我们表明，考虑到微调方法的最终选择提高性能的参数高效微调。通过依赖基于优化的元学习，使用MAML进行某些修改，以实现我们的独特目的，我们专门为参数高效微调准备了预训练模型，从而在跨语言NER微调上获得高达1.7个点的增益。我们的消融设置和分析进一步表明，我们在MAML中引入的调整对获得的增益至关重要。
2022-12-08 cs.CL
A Closer Look at How Fine-tuning Changes BERT
University of Utah（犹他大学）
鉴于在当今的NLP中普遍存在预先训练的语境化表征，人们已经做出了许多努力来了解它们包含哪些信息，以及为什么它们似乎普遍成功。使用这些表示的最常见方法是针对最终任务对其进行微调。然而，微调如何改变底层嵌入空间的研究较少。在这项工作中，我们研究了英语BERT家庭，并使用两种探测技术来分析微调如何改变空间。我们假设微调通过增加与不同标签相关的示例之间的距离来影响分类性能。我们证实了这一假设，精心设计的实验上五个不同的NLP任务。通过这些实验，我们还发现了一个例外，流行的智慧，“微调总是提高性能”。最后，通过比较微调前后的表示，我们发现微调不会对表示进行任意更改;相反，它会将表示调整到下游任务，同时在很大程度上保留数据点的原始空间结构。
2022-03-16 cs.CL
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University（萨尔兰大学）
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时，探测已经成为一种调查预训练模型捕获的语言知识的方法。然而，人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型：BERT、RoBERTa和AL BERT，并通过事件级探测来研究微调如何影响它们的表示。我们发现，对于一些探测任务，微调会导致准确性发生重大变化，这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而，这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明，虽然微调确实改变了预训练模型的表示，并且这些变化通常对于更高层来说更大，但只有在极少数情况下，微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果，我们认为，积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
Healing Powers of BERT: How Task-Specific Fine-Tuning Recovers Corrupted Language Models
Columbia University（哥伦比亚大学）；Zhejiang University（浙江大学）
本研究通过策略性损坏 BERT 参数并微调恢复，发现模型难以完全恢复性能，底层损坏影响更大，为构建韧性 NLP 系统提供指导。
2025-07-08 cs.CL
Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer with Fine-tuning Slow and Fast
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Microsoft Research Asia（微软亚洲研究院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文分析了多语言模型跨语言迁移中的性能差距问题，发现影响性能的关键网络权重，并提出包含四种训练策略的Fine-tuning slow and fast方法，通过减少遗忘有效缩小差距，显著优于基线方法。
2023-05-19 cs.CL
Selecting Informative Contexts Improves Language Model Finetuning
UT Austin（德克萨斯大学奥斯汀分校）；Intel Labs（英特尔研究院）
语言模型微调对于现代自然语言处理是必不可少的，但计算昂贵且耗时。此外，微调的有效性受到包括负面影响性能的训练样本的限制。为了提高语言模型微调的整体训练效率和最终性能，本文提出了一种通用的微调方法--信息增益过滤。我们将一个例子的信息增益定义为在该例子上训练后测试度量的改进。然后训练二级学习者近似这个量。在微调过程中，这个学习者选择信息丰富的例子，跳过没有信息的例子。我们证明了我们的方法在数据集、微调任务和语言模型架构上都有一致的改进。例如，我们在books数据集上实现了54.0的中位数困惑度，而标准微调为57.3。我们提出的统计证据，提供了深入了解我们的方法超过标准微调的改进。我们的方法的通用性，使我们提出了一个新的范式语言模型微调-我们鼓励研究人员发布预训练的二级学习者在共同的语料库，以促进高效和有效的微调，从而提高性能，减少整体能源足迹的语言模型微调。
2022-05-19 cs.CL
Improving low-resource ASR using bilingual fine-tuning with language identification: a cross-linguistic evaluation
University of Groningen（格罗宁根大学）；Fryske Akademy（弗里斯兰科学院）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
研究双语微调对低资源语言语音识别的影响，在九种语言对中评估，通过语言识别令牌区分语言，发现高语言识别准确率时双语微调有效，低准确率时推理时加入令牌可提升性能。
2026-06-17 cs.CL
On the Importance of Data Size in Probing Fine-tuned Models
Iran University of Science and Technology（伊朗科技大学）；Tehran Institute for Advanced Studies, Khatam University（哈塔姆大学德黑兰高等研究院）
该研究针对现有微调探测研究忽略数据规模作用的问题，通过实验揭示微调数据量影响模型编码语言知识的程度、高层变化及知识变化可恢复性，且变化程度与迭代次数而非样本多样性相关。
2022-03-17 cs.CL cs.LG
When Does Language Transfer Help? Sequential Fine-Tuning for Cross-Lingual Euphemism Detection
Montclair State University（蒙特克莱尔州立大学）
本文研究顺序微调对跨语言委婉语检测的影响，发现高资源L1顺序微调可提升低资源L2性能，XLM-R增益大但易遗忘，mBERT更稳定，证明该方法简单有效。
2025-08-15 cs.AI cs.CL
Elastic weight consolidation for better bias inoculation
University of Cambridge（剑桥大学）
训练数据集中存在的偏差已被证明会影响句子对分类任务的模型，例如自然语言推理（NLI）和事实验证。虽然对额外数据的微调模型已被用于减轻它们，但一个常见的问题是原始训练数据集的灾难性遗忘。在本文中，我们表明，弹性权重合并（EWC）允许微调模型，以减轻偏见，同时不太容易受到灾难性遗忘。在我们对事实验证和NLI压力测试的评估中，我们表明，EWC的微调优于标准微调，产生的模型在原始（有偏）数据集上具有较低的遗忘水平，而在微调（无偏）数据集上具有相同的准确性增益。
2021-02-04 cs.CL cs.LG
Information Guided Regularization for Fine-tuning Language Models
Virginia Tech（弗吉尼亚理工大学）；Stevens Institute of Technology（史蒂文斯理工学院）
该研究针对语言模型迁移学习的正则化需求，从信息论视角分析任务敏感参数对预训练损失景观的影响，提出任务与架构无关、无额外计算开销的guided dropout方法，在数据稀缺等场景下相比标准基线取得更优的下游性能。
2024-06-21 cs.AI cs.CL cs.LG
Toward Effective Reinforcement Learning Fine-Tuning for Medical VQA in Vision-Language Models
Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）；Washington University in St.Louis（华盛顿大学圣路易斯分校）；Banner Alzheimer’s Institute（Banner阿尔茨海默病研究所）
该研究针对医学视觉问答任务中强化学习微调难以实现临床对齐的问题，探究了四个关键影响维度，实验表明基于GRPO的强化学习微调效果优于标准监督微调，为医学多模态大模型的领域微调提供了新见解。
2025-05-20 cs.AI cs.CL cs.CV
Exploring Fine-Tuning of Large Audio Language Models for Spoken Language Understanding under Limited Speech Data
MAUM AI Inc.（MAUM AI公司）；Soongsil University（_soongsil大学）
本研究探讨了在有限语音数据条件下，通过不同微调方案提升语音语言理解性能，发现文本-only微调已具竞争力，课程学习在数据稀缺时效果显著。
2026-01-21 cs.CL cs.LG cs.SD
Evaluating How Fine-tuning on Bimodal Data Effects Code Generation
尽管用于代码生成的语言模型越来越受欢迎，但在双模编码论坛上进行的训练如何影响模型的代码生成性能和可靠性仍然是未知的。因此，我们收集了超过220万个StackOverflow问题的数据集，并提供了用于微调的答案。这些微调模型在HumanEval上的平均$pass@k$改善为54.64%和85.35%（Chen等人，2021）和大部分基本程序问题（Austin et al.，2021年）的任务。该机制进一步减少了生成的具有语法和运行时错误的程序的数量。然而，我们发现，在较高的温度下，有显着降低模型的能力，尽管较高的$pass@k$分数，生成可运行的程序，强调需要更好的方法，将这些数据，减轻这些副作用。代码可以在https://github.com/gabeorlanski/bimodalcode-generation上找到
2022-11-15 cs.AI cs.CL cs.LG
Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification
The University of Tokyo（东京大学）；University of Southern California（南加州大学）；The Chinese University of Hong Kong（香港中文大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出ClipFit方法，仅微调CLIP中特定的偏置项和归一化层，无需额外参数即可将零样本性能提升7.27%，并分析了微调对内部参数和表示的影响。
2024-11-19 cs.AI cs.CL cs.CV
