MAGMA -- Multimodal Augmentation of Generative Models through Adapter-based Finetuning
Aleph Alpha；Heidelberg University（海德堡大学）
大规模的预训练正在迅速成为视觉语言（VL）建模的标准。然而，流行的VL方法受到对标记数据的要求和使用复杂的多步预训练目标的限制。我们提出了MAGMA -一种简单的方法，用于增强生成语言模型与其他形式，使用基于适配器的微调。在Frozen的基础上，我们训练了一系列VL模型，这些模型可以从视觉和文本输入的任意组合中自动生成文本。预训练完全是端到端的，使用单一的语言建模目标，与以前的方法相比简化了优化。重要的是，语言模型权重在训练过程中保持不变，允许从语言预训练中转移语言知识和上下文学习能力。MAGMA在开放式生成任务上的表现优于Frozen，在OKVQA基准测试中获得了最先进的结果，在一系列其他流行的VL基准测试中获得了有竞争力的结果，同时在用于训练SimVLM的样本数量的0.2%上进行了预训练。
2022-10-24 cs.CL cs.CV
Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge
University of Southern California（南加州大学）；University of British Columbia（不列颠哥伦比亚大学）；Flatiron Institute（Flatiron研究所）
本文研究了Transformer模型在上下文学习中如何通过微调实现对预训练知识的推理，探讨了预训练和微调对上下文回忆能力的影响及机制。
2026-03-21 cs.CL cs.LG
Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
Technion – Israel Institute of Technology（以色列技术学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出一种两步因果实验方法，通过多次微调和交叉微调分离训练随机性、预训练与微调对LLMs认知偏差的影响，发现偏差主要由预训练塑造，为评估和缓解偏差提供了新视角。
2025-07-12 cs.AI cs.CL cs.LG
Chameleon: A Flexible Data-mixing Framework for Language Model Pretraining and Finetuning
提出数据混合框架 Chameleon，利用杠杆分数量化领域重要性，实现高效预训练与微调，在适应新数据时无需重训练即可提升性能。
2025-05-30 cs.CL cs.LG
WebRED: Effective Pretraining And Finetuning For Relation Extraction On The Web
Google Brain（谷歌大脑）；Google（谷歌公司）
关系抽取用于填充对许多应用程序很重要的知识库。用于训练关系抽取模型的现有数据集要么由于远程监督而遭受噪声标签，要么限于某些域，要么太小而无法训练高容量模型。这限制了关系抽取的下游应用。因此，我们介绍：WebRED（Web关系抽取数据集），一个强监督的人类注释数据集，用于从万维网上发现的各种文本中提取关系，由约110 K个示例组成。我们还描述了我们用来收集~ 200 M示例作为此任务的预训练数据的方法。我们表明，将大型弱监督数据集上的预训练与小型强监督数据集上的微调相结合，可以获得更好的关系抽取性能。我们为这个新的数据集提供了基线，并提出了一个案例，人类注释的重要性，提高性能的关系抽取从网络上找到的文本。
2021-02-18 cs.CL cs.IR
Multitask Finetuning for Improving Neural Machine Translation in Indian Languages
Savitribai Phule Pune University（萨维特里拜·普纳大学）
基于Transformer的语言模型在自然语言处理的所有领域都取得了令人印象深刻的结果。在语言建模任务上对这些模型进行预训练，并在文本分类、问答和神经机器翻译等下游任务上对它们进行微调，一直显示出示范性的结果。在这项工作中，我们提出了一个多任务微调方法，它结合了双语机器翻译任务与辅助因果语言建模任务，以提高性能的前一个任务上的印度语言。我们对三种语言对进行了实证研究，马拉地语-印地语，马拉地语-英语和印地语-英语，在那里我们将多任务微调方法与标准微调方法进行了比较，为此我们使用了mBART 50模型。我们的研究表明，多任务微调方法可能是一种比标准微调更好的技术，可以提高跨语言对的双语机器翻译。
2021-12-03 cs.CL
CodePMP: Scalable Preference Model Pretraining for Large Language Model Reasoning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Xiaohongshu Inc（小红书公司）
提出可扩展偏好模型预训练流程CodePMP，利用大规模合成代码偏好对预训练奖励模型，有效缓解高质量偏好数据稀缺问题，显著提升大型语言模型在数学与逻辑推理任务上的性能。
2025-05-29 cs.AI cs.CL
Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning
Technische Universität Darmstadt（达姆施塔特工业大学）；Hugging Face
最近的基于语义的方法通过将下游任务重新定义为语言建模问题，允许预训练的语言模型在Few-Shot微调上实现强大的性能。在这项工作中，我们证明了，尽管它在低数据制度上具有优势，但用于句子对分类任务的微调的基于语义的模型仍然存在一个共同的陷阱，即采用基于词汇重叠的推理语义学，例如，模型错误地假设句子对具有相同的含义，因为它们由相同的单词集合组成。有趣的是，我们发现这种特殊的推理启发式在基于神经网络的模型的zero-shot评估中明显较少，这表明微调如何破坏在预训练期间学习的有用知识。然后，我们表明，添加一个正则化，保留预训练权重是有效的，在减轻这种破坏性的倾向，Few-Shot微调。我们对三个数据集的评估表明，三个相应的挑战数据集用于诊断推理推理机有希望的改进。
2021-09-09 cs.AI cs.CL
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation and Understanding
China University of Petroleum (East China)（中国石油大学（华东））；JD Explore Academy（京东探索研究院）
对于多语言序列到序列预训练语言模型在多语言Seq 2Seq PLM（多语言Seq 2Seq PLM），例如mBART中，自监督预训练任务在广泛的单语语言上训练，例如来自CommonCrawl的25种语言，而下游跨语言任务通常在双语语言子集上进行，例如英语-德语，使得存在数据差异，即域差异，在预训练阶段和微调阶段存在跨语言学习目标差异，即任务差异。为了弥合上述跨语言领域和任务的差距，我们扩展了vanilla pretrain-finetune管道，增加了额外的代码切换恢复任务。具体而言，第一阶段采用自监督代码切换恢复任务作为借口任务，允许多语言Seq 2Seq PLM获取一些域内对齐信息。在第二阶段，我们通常对下游数据进行模型微调。NLG评估（12个双语翻译任务，30个zero-shot翻译任务和2个跨语言摘要任务）和NLU评估（7个跨语言自然语言推理任务）的实验表明，我们的模型始终优于采用标准微调策略的强基线mBART。分析表明，我们的方法可以缩小跨语言句子表示的欧氏距离，并提高模型的泛化能力与微小的计算成本。我们在https://github.com/zanchangtong/CSR4mBART上发布代码。
2022-09-21 cs.CL
Probing Critical Learning Dynamics of PLMs for Hate Speech Detection
IIIT Delhi（德里印度信息技术学院）；IIT Delhi（德里印度理工学院）
本研究通过五个研究问题，实证探究了预训练语言模型在仇恨言论检测中的关键学习动态，发现预训练早期峰值、更新语料库益处有限及特定层在微调中的重要性，并质疑领域模型，强调动态数据集需求。
2024-02-03 cs.CL
Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers
Carnegie Mellon University（卡内基梅隆大学）
文本到文本Transformers在多任务迁移学习任务中取得了显着的成功，特别是在自然语言处理（NLP）中。然而，虽然已经有几次尝试在不同的域上训练Transformers，但是这些域之间通常有明确的关系，例如，代码摘要，其中自然语言摘要描述代码。很少有人尝试研究多任务迁移学习如何在不同领域的任务上发挥作用。在这个项目中，我们使用多域文本到文本转换Transformers（MD-T5）在两个域（Python Code和Chess）的四个任务上研究了多域多任务学习的行为。我们使用三种流行的训练策略进行了广泛的实验：Bert风格的联合预训练+连续微调，GPT风格的联合预训练+连续微调，以及GPT风格的联合预训练+联合微调。此外，我们还根据四个指标对模型进行了评估- Play Score，Eval Score，BLEU Score和Multi-Domain Learning Score（MDLS）。这些指标衡量各种任务和多领域学习的性能。我们发现，虽然负知识转移和灾难性遗忘对所有模型来说仍然是相当大的挑战，但GPT风格的联合预训练+联合微调策略在多领域，多任务学习中表现最好，因为它在所有四个任务中表现良好，同时仍然保持其多领域知识。
2022-09-21 cs.CL cs.LG
ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality
MIT（麻省理工学院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Google Cloud AI（谷歌云人工智能）；Google DeepMind（谷歌DeepMind）
ATLAS提出了一种适应性迁移缩放定律，用于多语言预训练、微调和解码，解决了多语言学习中的性能瓶颈和计算优化问题。
2026-02-25 cs.CL cs.LG
Match the Script, Adapt if Multilingual: Analyzing the Effect of Multilingual Pretraining on Cross-lingual Transferability
AWS AI Labs（AWS人工智能实验室）；University of Maryland（马里兰大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
预训练的多语言模型即使对于看不见的语言也可以实现零样本学习，并且可以通过在微调之前进行自适应来进一步提高性能。然而，目前还不清楚预训练语言的数量如何影响模型对预训练期间未看到的语言的零样本学习。为了填补这一空白，我们提出了以下研究问题：（1）预训练语言的数量如何影响对看不见的目标语言的zero-shot性能？(2)这个问题的答案会随着模型的适应而改变吗？(3)如果用于预训练的语言都是相关的，我们第一个问题的结果会改变吗？我们对相关语言进行预训练的实验表明，选择一组不同的语言至关重要。令人惊讶的是，在没有模型自适应的情况下，增加预训练语言的数量会产生更好的结果，直到添加相关语言，然后性能稳定下来。相比之下，通过持续的预训练进行模型自适应，在大量语言上进行预训练通常会得到进一步的改进，这表明模型自适应对于利用其他预训练语言至关重要。
2022-03-21 cs.CL
Is Prompt-Based Finetuning Always Better than Vanilla Finetuning? Insights from Cross-Lingual Language Understanding
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出 ProFiT 流程，系统比较基于提示的微调与普通微调在多类跨语言理解任务、少样本及全数据设置下的表现，并分析语言相似性等影响因素。
2023-07-15 cs.CL
An Experimental Study on Pretraining Transformers from Scratch for IR
Naver Labs Europe（NAVER 欧洲实验室）
自从几年前取得突破性的效果以来，对IR的预训练语言模型（PLM）进行微调已经成为事实上的标准实践。但是，这种方法是否得到了很好的理解？在本文中，我们研究了预训练收集对最终IR效果的影响。特别是，我们挑战了目前的假设，即PLM应在足够大的通用集合上进行训练，我们表明，从零开始对感兴趣的集合进行预训练与目前的方法相比具有惊人的竞争力。我们基准第一阶段的排名排序器和交叉编码器重新排名的任务，一般通过检索MSMARCO，先生，Tydi阿拉伯语，日语和俄语，和TripClick的特定领域。与流行的观点相反，我们表明，对于微调第一阶段的排名，仅在其集合上预训练的模型与更一般的模型相比具有等同或更好的有效性。然而，对于只在目标集合上进行预训练的重新排序器，效率略有下降。总的来说，我们的研究揭示了预训练集合的作用，应该让我们的社区思考通过从头开始预训练来构建专业模型。最后但并非最不重要的是，这样做可以更好地控制效率，数据偏差和可复制性，这是IR社区的关键研究问题。
2023-01-25 cs.CL cs.IR
Infusing Finetuning with Semantic Dependencies
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
对于自然语言处理系统，两种证据支持使用来自在大型未注释语料库上“预训练”的神经语言模型的文本表示：2018年，尤其是），以及这些表示中句法抽象的出现（Tenney等人，2019年，除其他外）。另一方面，缺乏有根据的监督让人质疑这些表征能在多大程度上捕捉到意义（Bender和Koller，2020）。我们将新的探索应用于最近的语言模型--特别关注通过语义依赖关系操作的谓词论元结构（Ivanova等人，2012）--并发现，与语法不同，语义并没有被今天的预训练模型带到表面。然后，我们使用卷积图编码器将语义解析显式地结合到特定于任务的微调中，从而为GLUE基准测试中的自然语言理解（NLU）任务带来好处。这种方法展示了通用（而不是特定任务）语言监督的潜力，超越了传统的预训练和微调。几个诊断有助于本地化我们的方法的好处。
2021-12-16 cs.CL
Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions
Bytedance Research（字节跳动研究院）；Nanjing University（南京大学）
本研究通过对XGLM-7B进行带翻译指令的多语言微调与分析，揭示多语言LLM翻译能力的影响因素与指令执行机制，证实微调可提升其对未见语言对的翻译表现。
2024-04-15 cs.CL
Multilingual BERT Post-Pretraining Alignment
IBM Watson；MIT-IBM Watson AI Lab
我们提出了一种简单的方法来调整多语言上下文嵌入作为后预训练步骤，以提高预训练模型的zero-shot跨语言可移植性。使用并行数据，我们的方法通过最近提出的翻译语言建模目标，以及通过对比学习和随机输入洗牌在句子层面上对齐嵌入。在对下游任务进行微调时，我们还使用英语执行高级代码切换。在XNLI上，我们的最佳模型（从mBERT初始化）在zero-shot设置中比mBERT提高了4.7%，并在使用不到18%的相同并行数据和31%的模型参数的同时，实现了与XLM相当的结果。在MLQA上，我们的模型优于XLM-R_Base，它的参数比我们的多57%。
2021-04-10 cs.CL
The Learning Dynamics of Subword Segmentation for Morphologically Diverse Languages
Department of Computer Science University of Cape Town（计算机科学系 哥伦比亚大学）
本文扩展支持预训练微调的SSLM框架，针对三类形态差异语言研究动态子词切分的学习演化规律，验证该方法可提升低资源形态复杂语言的生成与跨语言迁移效果。
2025-11-19 cs.CL
Pretraining Language Models with Human Preferences
New York University（纽约大学）；FAR AI（FAR人工智能研究所）；University of Sussex（萨塞克斯大学）；Northeastern University（东北大学）；Anthropic（Anthropic公司）
该研究针对语言模型预训练易生成违反人类偏好内容的问题，提出条件训练这一帕累托最优的预训练目标，可大幅降低不良内容生成率且保留下游性能，证明训练初期融入人类偏好优于后续微调对齐。
2023-06-14 cs.CL cs.LG
What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?
Hugging Face；Google（谷歌）；LightOn；Allen Institute for AI（艾伦人工智能研究所）；LPENS, École Normale Supérieure（巴黎高等师范学院物理实验室）
大型预训练的Transformer语言模型已被证明具有zero-shot泛化能力，即它们可以执行各种各样的任务，而这些任务并没有被显式训练过。然而，最先进的模型之间使用的架构和预训练目标存在显着差异，并且这些因素的系统比较有限。在这项工作中，我们提出了一个大规模的评估建模的选择和它们的影响zero-shot推广。特别是，我们专注于文本到文本模型，并使用三种模型架构（因果/非因果解码器和编码器-解码器）进行实验，使用两种不同的预训练目标（自回归和掩码语言建模）进行训练，并在有和没有多任务提示微调的情况下进行评估。我们为超过1700亿个令牌训练了超过50亿个参数的模型，从而增加了我们的结论转移到更大规模的可能性。我们的实验表明，在纯无监督预训练后，在自回归语言建模目标上训练的因果解码器模型表现出最强的zero-shot泛化能力。然而，在我们的实验中，使用掩蔽语言建模目标训练的输入具有非因果可见性的模型在多任务微调之后表现最好。因此，我们考虑跨架构和目标调整预训练模型。我们发现，预训练的非因果解码器模型可以适应性能生成的因果解码器模型，使用自回归语言建模作为下游任务。此外，我们发现预训练的因果解码器模型可以有效地适应非因果解码器模型，最终在多任务微调后实现有竞争力的性能。代码和检查点可在https://github.com/bigscience-workshop/architecture…
2022-04-12 cs.CL cs.LG stat.ML
MuonAll: Muon Variant for Efficient Finetuning of Large Language Models
Computer Engineering（计算机工程）；Pune Institute of Computer Technology（普那计算机技术学院）
本文提出MuonAll，将全部参数转换为二维矩阵纳入Muon优化器，在高达五亿参数的语言模型微调实验中证明其与AdamW性能相当，并开源了分布式实现。
2025-11-08 cs.CL cs.LG
Sparse Upcycling: Inference Inefficient Finetuning
Databricks（达特睿奇科技）
本研究比较了将稠密模型转为 MoE 架构的 Sparse Upcycling 与持续预训练的效果，发现前者质量提升超 20%，但会导致约 40% 的推理速度下降，揭示了质量与效率的权衡。
2024-11-13 cs.CL cs.LG
Exploring Unsupervised Pretraining Objectives for Machine Translation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition and Computation（语言、认知与计算研究所）
无监督跨语言预训练在神经机器翻译（NMT）中取得了很好的效果，大大减少了对大型并行数据的需求。大多数方法通过掩蔽部分输入并在解码器中重构它们，使掩蔽语言建模（MLM）适应序列到序列架构。在这项工作中，我们系统地比较掩蔽与替代目标，产生类似于真实（完整）句子的输入，根据上下文重新排序和替换单词。我们用不同的方法对英语$\leftrightarrow$德语，英语$\leftrightarrow$尼泊尔语和英语$\leftrightarrow$僧伽罗语单语数据进行预训练模型，并在NMT上对其进行评估。在（半）监督NMT中，改变预训练目标会导致微调性能的微小差异，而无监督NMT对此更加敏感。为了理解这些结果，我们使用一系列探针彻底研究了预训练模型，并验证它们以不同的方式编码和使用信息。我们的结论是，对并行数据进行微调对大多数模型共享的一些属性（例如强大的解码器）非常敏感，而非无监督NMT也需要具有强大跨语言能力的模型。
2021-06-10 cs.CL
Generating Datasets with Pretrained Language Models
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
为了从预训练的语言模型（PLM）中获得高质量的句子嵌入，它们必须使用额外的预训练目标进行增强，或者在大量标记文本对上进行微调。虽然后一种方法通常优于前者，但它需要大量的人力来生成足够大小的合适数据集。在本文中，我们展示了如何利用PLM来获得高质量的句子嵌入，而不需要标记数据，微调或修改预训练目标：我们利用大型和高性能PLM的生成能力从头开始生成标记文本对的整个数据集，然后我们使用这些数据集来微调更小，更有效的模型。我们的完全无监督方法在几个语义文本相似性数据集上的表现优于强基线。
2021-10-04 cs.CL cs.LG
Analyzing the Forgetting Problem in the Pretrain-Finetuning of Dialogue Response Models
MIT（麻省理工学院）；Facebook（脸书）；New York University（纽约大学）
在这项工作中，我们研究了预训练微调框架中的微调阶段如何改变预训练神经语言生成器的行为。我们专注于Transformer编码器-解码器模型的开放域对话响应生成任务。我们的主要发现是，在标准的微调之后，模型忘记了在大规模预训练期间获得的一些重要的语言生成技能。我们通过一系列详细的行为分析，从知识转移，上下文敏感性和功能空间投影的角度来证明遗忘现象。作为缓解遗忘问题的初步尝试，我们提出了一个直观的微调策略命名为“混合审查”。我们发现，混合复习有效地规范了微调过程，遗忘问题在一定程度上得到了缓解。最后，我们讨论了有趣的行为的对话模型及其影响。
2021-01-16 cs.AI cs.CL cs.LG
Finetuning Pretrained Transformers into RNNs
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Microsoft（微软）；DeepMind；Allen Institute for AI（艾伦人工智能研究所）
Transformers在自然语言生成方面的表现优于递归神经网络（RNN）。但这带来了巨大的计算成本，因为注意力机制的复杂性与序列长度成二次方关系。高效的Transformer变体在最近的工作中受到越来越多的关注。其中，线性复杂性的经常性变量已被证明非常适合自回归生成。它用随机或启发式特征映射来近似softmax attention，但可能难以训练，并且可能产生次优的准确性。这项工作的目的是将一个预先训练的Transformer转换成其有效的经常性对应，提高效率，同时保持准确性。具体来说，我们提出了一个swap-then-finetune过程：在一个现成的预训练的Transformer中，我们用其线性复杂度的递归替代方案替换softmax attention，然后进行finetune。通过学习的特征映射，我们的方法在标准Transformer和其他经常性变体上提供了效率和准确性之间的改进权衡。我们还表明，相对于从头开始训练这些经常性变体，微调过程具有更低的训练成本。由于许多自然语言任务的模型越来越依赖于大规模的预训练Transformers，这项工作提供了一种可行的方法来提高推理效率，而无需重复昂贵的预训练过程。
2021-09-20 cs.CL
NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
有效地微调预训练的语言模型（PLM）对于它们在下游任务中的成功至关重要。然而，PLM可能存在过度拟合预训练任务和数据的风险，这些任务和数据通常与目标下游任务存在差距。这样的差距可能是现有的PLM微调方法难以克服，并导致次优性能。在本文中，我们提出了一个非常简单而有效的方法，名为NoisyTune，以帮助更好地微调下游任务的PLM添加一些噪声之前微调参数的PLM。更具体地说，我们提出了一个矩阵式扰动方法，添加不同的均匀噪声到不同的参数矩阵的标准偏差的基础上。通过这种方式，可以考虑PLM中不同类型参数的不同特性。在GLUE英语基准测试和XTREME多语言基准测试上的大量实验表明，NoisyTune可以始终如一地为不同的PLM在不同的下游任务上进行微调。
2022-03-23 cs.CL
GEITje 7B Ultra: A Conversational Model for Dutch
KU Leuven（鲁汶大学）；Dutch Language Institute（荷兰语言研究所）
针对语言模型多聚焦英语、忽视其他语言的问题，本研究以源自Mistral 7B的荷兰语模型GEITje为基础，通过合成对话数据集监督微调与反馈数据集偏好对齐，扩展其能力并公开模型与数据集。
2024-12-05 cs.CL
Finetuning Pretrained Transformers into Variational Autoencoders
ActionPower
文本变分自编码器（VAE）因后验崩溃而臭名昭著，这是一种模型的解码器学会忽略来自编码器的信号的现象。由于后塌陷被认为是由表达解码器加剧，Transformers已经看到有限的采用作为文本VAE的组成部分。将Transformers并入文本VAE的现有研究（Li等人，2020; Fang等人，2021）使用大规模预训练来减轻后崩溃，这是一种没有广泛计算资源的大多数研究社区无法使用的技术。我们提出了一个简单的两阶段训练方案，将序列到序列的Transformer转换为VAE，只需微调。由此产生的语言模型在一些内部指标上与大规模预训练的基于transformer的VAE竞争，而在其他指标上则有所不足。为了便于培训，我们全面探讨了文献中常见的后塌陷缓解技术的影响。我们发布了可重复性代码。
2021-11-24 cs.AI cs.CL
To Pretrain or Not to Pretrain: Examining the Benefits of Pretraining on Resource Rich Tasks
Faceboook AI（脸书人工智能实验室）
使用Masked语言模型（MLM）目标的变体预训练NLP模型最近在许多任务上都有了显着的改进。本文研究了预训练模型作为下游任务中使用的训练样本数量的函数的好处。在几个文本分类任务中，我们发现，随着训练样本的数量增长到数百万，微调基于BERT的模型和从头开始训练普通LSTM之间的准确率差距缩小到1%以内。我们的研究结果表明，基于MLM的模型可能会达到一个收益递减点，因为监督数据的大小显着增加。
2020-06-15 cs.CL cs.LG stat.ML
Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare
British Columbia Cancer Registry Provincial Health Services Authority（不列颠哥伦比亚省癌症登记处省级卫生服务局）；Data Science Institute University of British Columbia（数据科学研究所不列颠哥伦比亚大学）
本研究通过病理报告分类任务，比较微调与零样本、小模型与大模型，发现微调的小语言模型在特定任务上超越零样本大模型，且领域预训练有额外优势。
2025-09-24 cs.AI cs.CL cs.LG
Are we pretraining it right? Digging deeper into visio-linguistic pretraining
Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
最近的许多工作都提出了预训练通用的非语言表征，然后对它们进行微调，以用于下游的视觉和语言任务。虽然架构和目标函数的设计选择受到了关注，但预训练数据集的选择却很少受到关注。在这项工作中，我们的问题，在文学的一些默认的选择。例如，我们系统地研究了预训练数据集域（文本和视觉）与下游域之间的不同相似性如何影响性能。令人惊讶的是，我们表明，自动生成的数据在一个域更接近下游任务（例如，VQA v2）是比“自然”数据更好的预训练选择，但域略有不同（例如，概念字幕）。另一方面，一些看似合理的预训练数据集的选择被发现对一些下游任务完全无效。这表明，尽管最近做出了许多努力，但视觉和语言预训练还没有完全“开箱即用”。总的来说，作为我们研究的副产品，我们发现预训练中的简单设计选择可以帮助我们在下游任务中实现接近最先进的结果，而无需任何架构更改。
2020-04-19 cs.CL cs.CV
Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一个实质性的一步，更好地理解SOTA序列到序列（Seq 2Seq）神经机器翻译~（NMT）的预训练。我们专注于研究联合预训练解码器的影响，这是Seq 2Seq预训练和以前基于编码器的NMT预训练方法之间的主要区别。通过对三种语言对进行精心设计的实验，我们发现Seq 2Seq预训练是一把双刃剑：一方面，它有助于NMT模型产生更多样化的翻译，减少与充分性相关的翻译错误。另一方面，Seq 2Seq预训练和NMT微调之间的差异限制了翻译质量（即，域差异）并引起过估计问题（即，客观差异）。基于这些观察，我们进一步提出了简单有效的策略，命名为域内预训练和输入自适应，以弥补域和目标的差异，分别。在几个语言对上的实验结果表明，我们的方法可以在Seq 2Seq预训练后持续提高翻译性能和模型鲁棒性。
2022-03-16 cs.AI cs.CL
DA-Cramming: Enhancing Cost-Effective Language Model Pretraining with Dependency Agreement Integration
Center for Computational Evolutionary Intelligence, Duke University（计算进化智能中心，杜克大学）
本文提出DA-Cramming框架，通过整合依赖协议信息提升语言模型预训练效果，采用双阶段流程和四个专用子模型捕捉依赖协议并生成嵌入，实验证明其在多种任务上表现优于现有方法。
2026-09-23 cs.AI cs.CL
Continual Learning via Sparse Memory Finetuning
FAIR at Meta（Meta 的 FAIR 部门）；University of California, Berkeley（加州大学伯克利分校）
本文提出稀疏记忆微调方法，通过仅更新被新知识高度激活的记忆槽，在问答任务上以更少遗忘（F1仅降11%）实现与全量微调同等的新知识获取，为大型语言模型持续学习提供了新路径。
2025-10-16 cs.AI cs.CL
Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings
Sakana AI；University of Oxford（牛津大学）
通过删除预训练语言模型的位置嵌入，实现无需长上下文微调的零样本上下文扩展，提升语言模型的泛化能力。
2025-12-13 cs.AI cs.CL
FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing
Columbia University（哥伦比亚大学）；Shanghai University（上海大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出 FinGPT-HPC，通过低秩结构替换线性层并结合 8 位/4 位量化，在金融 LLM 预训练中实现 1.3 倍加速与 2.64 倍压缩，微调精度提升最高 24%，模型小于 0.59 GB 可在手机端推理。
2024-02-21 cs.AI cs.CL cs.DC
Downstream Datasets Make Surprisingly Good Pretraining Corpora
Carnegie Mellon University（卡内基梅隆大学）
本文通过大规模自预训练实验证明，使用下游数据同时进行预训练和微调可在多个分类及结构化预测任务上媲美甚至超越BookWiki标准预训练，表明预训练目标本身而非海量外部数据是性能提升的关键。
2023-05-26 cs.CL cs.LG
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型，例如wav 2 vec 2.0和HuBERT，已经对自动语音识别（ASR）的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显，当使用可用的标记数据进行微调时。然而，微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中，我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练（CoPT）。CoPT比半监督训练（SST）更有效，半监督训练是在ASR中利用未标记数据的标准方法，因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率（WERs）的结果，等于或略优于使用SST。此外，我们表明，使用CoPT模型的伪标签，并使用这些标签在SST中，结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning
ByteDance Research（字节跳动研究院）；Fudan University（复旦大学）
本文证明通过数据、规模和任务上的扩展，扩散语言模型能成为强大的语言学习者，并通过指令微调激发上下文学习能力，解决多种一般语言任务。
2025-02-24 cs.AI cs.CL cs.LG
ptt5-v2: A Closer Look at Continued Pretraining of T5 Models for the Portuguese Language
School of Electrical and Computing Engineering, State University of Campinas (UNICAMP)（坎皮纳斯州立大学电气与计算机工程学院（UNICAMP））
本研究提出ptt5-v2，探讨T5模型在葡萄牙语上的持续预训练，构建规模达3B参数的基线模型并在部分下游任务取得SOTA结果，同时发现不同预训练配置的影响较微小。
2024-11-18 cs.AI cs.CL cs.IR
Pretraining Approaches for Spoken Language Recognition: TalTech Submission to the OLR 2021 Challenge
TalTech（塔林理工大学）
本文研究了口语识别的不同预训练方法。这篇论文是基于我们提交给2021年东方语言识别挑战赛的论文。我们参加了两个轨道的挑战：约束和无约束的语言识别。对于受约束的音轨，我们首先使用提供的具有可用转录的训练数据训练了一个用于多语言自动语音识别（ASR）的基于Conformer的编码器-解码器模型。然后对多语言ASR模型的共享编码器进行微调，以用于语言识别任务。对于不受约束的任务，我们依赖于外部可用的预训练模型和外部数据：多语言XLSR-53 wav2vec2.0模型在VoxLingua 107语料库上进行微调，用于语言识别任务，最后在提供的目标语言训练数据上进行微调，并使用CommonVoice数据进行增强。我们在测试集上的主要度量$C_{\rm avg}$值对于受约束的任务是0.0079，对于无约束的任务是0.0119，这导致了两个排名中的第二名。在后评估实验中，我们研究了训练准确的后端模型所需的目标语言数据量，多语言预训练数据的重要性，并将不同的模型作为微调的起点进行比较。
2022-05-14 cs.CL eess.AS
Crossing Linguistic Horizons: Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models
Stanford University（斯坦福大学）；Ho Chi Minh City University of Technology（胡志明市技术大学）；VNU-HCM（胡志明市国家大学）
针对越南语微调LLMs，构建含10任务31指标的综合评估框架，发现微调提升越南语能力，但参数增多带来偏差，数据集质量是关键。
2024-05-26 cs.AI cs.CL
MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models
Massachusetts Institute of Technology（麻省理工学院）
该研究提出MIDI-LLM，通过适配Llama 3.2（1B）采用两阶段训练改进文本到MIDI生成，在用户研究中证实其在人机音乐协同创作中的有效性。
2026-08-05 cs.CL cs.MM cs.SD
Simple and Effective Input Reformulations for Translation
University of California, Berkeley（加州大学伯克利分校）
本文通过简单输入改写方法提升翻译任务的性能，实验表明在佛洛斯200基准测试中性能提升达3.5 chrF++。
2023-11-12 cs.CL cs.LG
Lifelong Language Pretraining with Distribution-Specialized Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
针对语言模型在持续学习中面临的灾难性遗忘问题，提出可动态增加专家容量的Lifelong-MoE架构，在保持计算成本不变的前提下，有效适应数据分布偏移并保留旧知识，在19个下游NLP任务中取得更优的少样本性能。
2023-05-20 cs.CL cs.LG
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing
Microsoft Research（微软研究院）
动机：生物医学研究人员和临床从业人员面临的一个长期挑战是跟上出版物和医学笔记的快速增长。自然语言处理（NLP）已经成为驯服信息过载的一个有前途的方向。特别是，大型神经语言模型通过对未标记文本进行预训练来促进迁移学习，例如BERT模型在各种NLP应用中的成功。然而，为最终任务微调这些模型仍然具有挑战性，特别是对于生物医学NLP中常见的小标记数据集。结果：我们对生物医学自然语言处理中的微调稳定性进行了系统的研究。我们表明，微调性能可能是敏感的预训练设置，特别是在低资源域。大型模型有可能获得更好的性能，但增加模型大小也会加剧微调的不稳定性。因此，我们进行了全面的探索技术解决微调不稳定性。我们表明，这些技术可以大大提高微调性能低资源的生物医学NLP应用。具体来说，冻结较低层对标准BERT-BASE模型有帮助，而逐层衰减对BERT-LARGE和ELECTRA模型更有效。对于低资源文本相似性任务（如BIOSSES），重新初始化顶层是最佳策略。总体而言，特定领域的词汇和预训练有助于更强大的模型进行微调。基于这些发现，我们在广泛的生物医学NLP应用中建立了最新的技术水平。可用性和实施：为了促进生物医学NLP的进步，我们发布了最先进的预训练和微调模型：https://aka.ms/BLURB。
2021-12-15 cs.CL cs.LG
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.（百度公司）；University of Chinese Academy of Sciences（中国科学院大学）；University of Waterloo（滑铁卢大学）；Oregon State University（俄勒冈州立大学）
语音表征学习提高了语音理解和语音合成任务的单一语言。然而，它在跨语言场景中的能力还没有被探索。在本文中，我们扩展了跨语言多说话人语音合成任务的预训练方法，包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架，在这个框架中，我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分，我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外，我们的框架对于训练和推理都是端到端的，无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中，我们的实验表明，我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance（字节跳动）
本文提出利用IPA多语言模型生成帧级伪标签，以音素信息指导方式引导HuBERT预训练，在低资源ASR任务中持续优于标准HuBERT，节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
Large-scale Pretraining for Visual Dialog: A Simple State-of-the-Art Baseline
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
之前在可视化对话框方面的工作主要集中在孤立地在VisDial上训练深度神经模型。相反，我们提出了一种方法，在转移到视觉对话之前，利用相关视觉语言数据集的预训练。我们采用最近提出的ViLBERT（Lu et al.，2019年）模型的多轮视觉接地的对话。我们的模型在概念标题和视觉问答数据集上进行了预训练，并在VisDial上进行了微调。我们最好的单一模型在NDCG和MRR上的绝对性能优于先前发表的工作（包括模型集成）超过1%。接下来，我们发现在VisDial中使用“密集”注释进行额外的微调会导致更高的NDCG -比我们的基本模型高出10%-但会损害MRR -比我们的基本模型低17%以上！这突出了两个主要指标- NDCG和MRR -之间的权衡，我们发现这是由于密集的注释与问题的原始地面真相答案不相关。
2020-03-31 cs.CL cs.CV cs.LG
Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models
Stony Brook University（石溪大学）；Carnegie Mellon University（卡内基梅隆大学）；Columbia Law School（哥伦比亚法学院）
研究显示微调可绕过安全对齐策略，使GPT-4o等模型能回忆85-90%的版权书籍，揭示模型权重存储版权作品的漏洞。
2026-09-16 cs.AI cs.CL cs.CY
