Knowledge-Aware Language Model Pretraining
Microsoft Corporation（微软公司）
预训练的语言模型包含多少知识？最近的研究发现，经过预训练的transformer擅长建模语义，但尚不清楚它们在多大程度上掌握了人类知识，或者如何确保它们这样做。在本文中，我们将知识意识的语言模型预训练不改变的Transformer架构，插入显式的知识层，或添加外部存储的语义信息。相反，我们只是在预训练中向Transformer的输入发送实体存在的信号，使用实体扩展的标记器;在输出处，使用额外的实体预测任务。我们的实验表明，仅仅通过在预训练中添加这些实体信号，就可以将更多的知识打包到Transformer参数中：我们观察到改进的语言建模准确性，LAMA知识探测任务中的事实正确性，以及通过边缘探测隐藏表示的语义。我们还表明，我们的知识感知语言模型（KALM）可以作为GPT-2模型的替代品，显著改善下游任务，如没有任务相关培训的zero-shot问题回答。
2021-02-04 cs.CL cs.LG stat.ML
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
在来自各种来源的文本上预训练的语言模型构成了当今NLP的基础。鉴于这些广泛覆盖模型的成功，我们研究了将预训练模型定制到目标任务的域是否仍然有帮助。我们提出了一项跨四个领域（生物医学和计算机科学出版物，新闻和评论）和八个分类任务的研究，表明第二阶段的预训练域（域自适应预训练）导致性能增益，在高和低资源设置。此外，即使在域自适应预训练之后，适应任务的未标记数据（任务自适应预训练）也可以提高性能。最后，我们表明，适应使用简单的数据选择策略增强的任务语料库是一种有效的选择，特别是当域自适应预训练资源可能不可用时。总的来说，我们一直发现多阶段自适应预训练在任务性能上有很大的提高。
2020-05-05 cs.CL cs.LG
Does Pretraining for Summarization Require Knowledge Transfer?
Carnegie Mellon University（卡内基梅隆大学）
利用大量数据集的预训练技术推动了文本摘要的最新进展。虽然民间的解释表明知识转移是预训练的好处，但人们对它为什么有效，或者是什么使预训练任务或数据集合适却知之甚少。在本文中，我们挑战了知识转移的故事，表明对随机选择的字符n-gram组成的文档进行预训练，我们几乎可以匹配在真实语料库上预训练的模型的性能。这项工作有望消除上游语料库，这可能会减轻对攻击性语言，偏见和版权问题的一些担忧。为了了解使用真实数据的小剩余收益是否可以通过预训练任务的结构来解释，我们设计了几个任务，这些任务的动机是对摘要语料库进行定性研究。然而，这些任务没有带来明显的好处，留下了一个小的作用，知识转让的可能性。
2021-09-10 cs.CL cs.LG
A Compact Pretraining Approach for Neural Language Models
University of Arizona（亚利桑那大学）；Harvard Medical School（哈佛医学院）
大型神经语言模型（NLM）的领域自适应在预训练阶段与大量非结构化数据相结合。然而，在这项研究中，我们表明，预训练的NLM从集中在域中的关键信息的数据的紧凑子集中更有效，更快地学习域中的信息。我们使用抽象摘要和提取关键字的组合从非结构化数据构建这些紧凑的子集。特别是，我们依靠BART来生成抽象摘要，KeyBERT从这些摘要中提取关键字（或直接从原始的非结构化文本中提取）。我们使用六种不同的设置来评估我们的方法：三个数据集与两个不同的NLM相结合。我们的研究结果表明，在使用我们的方法预训练的NLM上训练的特定任务分类器优于基于传统预训练的方法，即，对整个数据进行随机掩蔽，以及没有预训练的方法。此外，我们表明，与普通预训练相比，我们的策略将预训练时间减少了五倍。我们所有实验的代码都可以在https://github.com/shahriargolchin/compact-pretraining上公开获得。
2022-08-29 cs.CL cs.LG
The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
在大型语料库上预训练神经语言模型（NLM）涉及将文本分块成训练样本，这些样本是神经架构可处理的大小的连续文本段。我们强调了这种常见做法引入的偏见：我们证明了预训练的NLM可以对出现在同一训练示例中的文本段之间的依赖关系进行建模，而不是出现在不同训练样本中的文本段之间的依赖关系。这个直观的结果具有双重作用。首先，它形式化了最近成功的NLM培训策略背后的动机，这些策略是针对预训练和微调阶段提出的，乍一看并不一定相关。其次，我们的结果清楚地表明，NLM预训练的进一步改进，有利于自然语言理解任务。作为一个例子，我们提出了“kNN预训练”：我们表明，包括语义相关的非相邻句子在同一预训练的例子产生改进的句子表示和开放域问答能力。这种理论上的自由度为预训练的例子设计表明新的培训计划，自我改进的表示。
2022-03-21 cs.CL cs.LG
Analyzing Similarity Metrics for Data Selection for Language Model Pretraining
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究）
该研究提出评估框架验证了通用现成嵌入模型不适配预训练数据构建场景，其表现弱于同语料训练模型提取的极简嵌入，为预训练专用嵌入设计奠定基础。
2025-10-21 cs.CL cs.LG
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Microsoft Research（微软研究院）
预训练大型神经语言模型，如BERT，已经在许多自然语言处理（NLP）任务上取得了令人印象深刻的进展。然而，大多数预训练工作集中在一般领域语料库，如新闻专线和Web。一个普遍的假设是，即使是特定领域的预训练也可以从通用领域的语言模型开始。在本文中，我们挑战了这一假设，证明了对于具有大量未标记文本的领域，如生物医学，从头开始预训练语言模型比一般领域语言模型的持续预训练有很大的收益。为了促进这项调查，我们从公开的数据集中编译了一个全面的生物医学NLP基准。我们的实验表明，特定于领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础，从而全面带来了新的最先进的结果。此外，在对建模选择进行彻底评估时，无论是预训练还是特定于任务的微调，我们发现BERT模型中的一些常见做法是不必要的，例如在命名实体识别（NER）中使用复杂的标记方案。为了帮助加速生物医学NLP的研究，我们为社区发布了最先进的预训练和特定任务模型，并在https://aka.ms/BLURB上创建了一个排行榜，其中包括我们的BLURB基准（生物医学语言理解和推理基准的缩写）。
2021-09-16 cs.CL cs.LG
COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）
我们提出了一个自监督学习框架COCO-LM，它通过校正和对比损坏的文本序列来预训练语言模型。COCO-LM遵循ELECTRA风格的预训练，使用辅助语言模型来破坏文本序列，并在此基础上构造两个新的任务来预训练主模型。第一个标记级任务，纠正语言建模，是检测和纠正被辅助模型替换的标记，以便更好地捕获标记级语义。第二个序列级任务，序列对比学习，是对齐来自相同源输入的文本序列，同时确保表示空间中的一致性。在GLUE和SQuAD上的实验表明，COCO-LM不仅在精度上优于最新的预训练模型，而且还提高了预训练效率。它实现了ELECTRA的MNLI精度，其预训练GPU小时数为50%。通过与标准基础/大尺寸模型相同的预训练步骤，COCO-LM的表现比之前的最佳模型高出1+ GLUE平均分。
2021-10-27 cs.CL cs.LG
Data-Efficient Pretraining via Contrastive Self-Supervision
German Research Center for AI（德国人工智能研究中心）；Copenhagen University（哥本哈根大学）
对于自然语言处理“文本到文本”任务，主流方法严重依赖于在越来越大的“任务外部”数据上预训练大型自监督模型。来自高资源预训练的迁移学习效果很好，但研究集中在具有非常大的数据和计算需求的设置上，而高效的低资源学习的潜力，没有大的“任务外部”预训练，仍然没有得到充分的探索。在这项工作中，我们评估了资源有效学习的三个核心挑战。也就是说，我们分析：（1）预训练数据（$X$）效率;（2）零到Few-Shot标签（$Y$）效率;以及（3）长尾推广，因为长尾保留已经与算法公平性相关联，并且因为尾部中的数据受到定义的限制。为了解决这些挑战，我们提出了一个数据和计算高效的自监督，对比文本编码器，预训练60 MB的“任务内部”文本数据，并将其与RoBERTa进行比较，RoBERTa是预训练160 GB的“任务外部”文本。我们发现我们的方法优于Roberta，而预训练和微调时间是Roberta微调时间的1/5。
2021-04-15 cs.CL cs.LG
Pretraining Language Models with Human Preferences
New York University（纽约大学）；FAR AI（FAR人工智能研究所）；University of Sussex（萨塞克斯大学）；Northeastern University（东北大学）；Anthropic（Anthropic公司）
该研究针对语言模型预训练易生成违反人类偏好内容的问题，提出条件训练这一帕累托最优的预训练目标，可大幅降低不良内容生成率且保留下游性能，证明训练初期融入人类偏好优于后续微调对齐。
2023-06-14 cs.CL cs.LG
Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
Department of Computer Science, Stellenbosch University（斯瓦茨堡大学计算机科学系）
本文研究了在低资源NLP中预训练时应用BPE Dropout对下游性能的影响，发现随机分词在预训练和微调时均优于仅在微调时应用，尤其在数据较少时表现更佳。
2026-05-13 cs.CL cs.LG
Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；The University of Sheffield（谢菲尔德大学）
针对预训练语言模型数感不足的问题，提出无需改架构或从头预训练的基于算术的预训练方法，结合对比学习和新型可推断数字预测任务目标，在多类数感相关任务上验证了有效性。
2023-06-09 cs.CL
Match the Script, Adapt if Multilingual: Analyzing the Effect of Multilingual Pretraining on Cross-lingual Transferability
AWS AI Labs（AWS人工智能实验室）；University of Maryland（马里兰大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
预训练的多语言模型即使对于看不见的语言也可以实现零样本学习，并且可以通过在微调之前进行自适应来进一步提高性能。然而，目前还不清楚预训练语言的数量如何影响模型对预训练期间未看到的语言的零样本学习。为了填补这一空白，我们提出了以下研究问题：（1）预训练语言的数量如何影响对看不见的目标语言的zero-shot性能？(2)这个问题的答案会随着模型的适应而改变吗？(3)如果用于预训练的语言都是相关的，我们第一个问题的结果会改变吗？我们对相关语言进行预训练的实验表明，选择一组不同的语言至关重要。令人惊讶的是，在没有模型自适应的情况下，增加预训练语言的数量会产生更好的结果，直到添加相关语言，然后性能稳定下来。相比之下，通过持续的预训练进行模型自适应，在大量语言上进行预训练通常会得到进一步的改进，这表明模型自适应对于利用其他预训练语言至关重要。
2022-03-21 cs.CL
Does Pretraining Teach Chemical Language Models Chemistry?
Harvard University（哈佛大学）
该研究在64个分子属性预测数据集上系统评估化学语言模型（CLMs）的预训练效果，发现其预训练增益不随规模扩大而提升，仅基于传统物理化学描述符的监督式预训练可稳定提升性能，且CLMs仅学到少量额外化学知识。
2026-10-15 cs.CL cs.LG physics.chem-ph
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型，例如wav 2 vec 2.0和HuBERT，已经对自动语音识别（ASR）的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显，当使用可用的标记数据进行微调时。然而，微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中，我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练（CoPT）。CoPT比半监督训练（SST）更有效，半监督训练是在ASR中利用未标记数据的标准方法，因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率（WERs）的结果，等于或略优于使用SST。此外，我们表明，使用CoPT模型的伪标签，并使用这些标签在SST中，结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
Code-switched Language Models Using Dual RNNs and Same-Source Pretraining
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本文的工作重点是建立语码转换文本的语言模型。我们提出了两种技术，显着提高这些LM：1）一种新的递归神经网络单元的双组件，分别专注于每种语言的代码切换文本2）预训练LM使用合成文本从生成模型估计使用训练数据。我们证明了我们提出的技术的有效性，通过报告困惑的普通话-英语任务，并获得显着减少困惑。
2018-09-06 cs.CL cs.LG
Using Similarity Measures to Select Pretraining Data for NER
CSIRO Data61（联邦科学与工业研究组织Data61）；University of Sydney（悉尼大学）；Digital Health CRC（数字健康合作研究中心）
在大量未标记数据上预训练的词向量和语言模型（LM）可以显着改善各种自然语言处理（NLP）任务。然而，预训练数据和目标任务数据之间的相似性的度量和影响留给直觉。我们提出了三种具有成本效益的措施来量化源预训练和目标任务数据之间的相似性的不同方面。我们证明，这些措施是很好的预测的有用性的预训练模型的命名实体识别（NER）超过30个数据对。结果还表明，预训练的LM比预训练的词向量更有效，更可预测，但当预训练数据不相似时，预训练的词向量更好。
2019-05-17 cs.CL
Frustratingly Simple Pretraining Alternatives to Masked Language Modeling
Hitachi, Ltd.（日立制作所）；University of Sheffield（谢菲尔德大学）
掩蔽语言模型（MLM）是一种自监督的预训练目标，广泛应用于自然语言处理中学习文本表示。MLM训练一个模型来预测输入标记的随机样本，这些标记在整个词汇表的多类设置中被[MASK]占位符替换。在预训练时，通常在标记或序列级别上使用MLM其他辅助目标来提高下游性能（例如下一句预测）。然而，到目前为止，还没有以前的工作试图在检查是否其他简单的语言直观的目标可以单独作为主要的预训练目标。在本文中，我们探索了五个简单的预训练目标的基础上标记级分类任务的MLM的替代品。在GLUE和SQuAD上的实验结果表明，我们提出的方法使用BERT-BASE架构实现了与MLM相当或更好的性能。我们使用更小的模型进一步验证了我们的方法，结果表明，使用BERT-BASE的41%参数预训练模型，BERT-MEDIUM只会导致我们最好目标的GLUE分数下降1%。
2021-09-04 cs.AI cs.CL cs.LG
Understanding Reasoning from Pretraining to Post-Training
New York University（纽约大学）；Modal Labs（模态实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
研究强化学习在大语言模型从预训练到训练后阶段对推理的作用，以国际象棋为测试平台，按标准流程训练模型，发现预训练损失可预测RL后性能，RL奖励曲线斜率与预训练令牌有关，还揭示RL对SFT策略的影响，且在数学领域也有相同模式。
2026-08-11 cs.AI cs.CL cs.LG
MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model
University of Copenhagen（哥本哈根大学）；PricewaterhouseCoopers (PwC)（普华永道）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
领域自适应预训练，即在领域特定文本上对语言模型进行持续的无监督预训练，改进了域内下游任务的文本建模。许多现实世界的应用程序都是基于特定领域的文本，例如处理金融或生物医学文档，这些应用程序通常需要支持多种语言。然而，由于法规、立法或仅仅是缺乏特定于语言和领域的文本，很难获得针对此类场景的大规模特定于领域的多语言预训练数据。一种解决方案是训练单个多语言模型，利用尽可能多语言的可用数据。在这项工作中，我们探索了领域自适应预训练的好处，重点是适应特定领域内的多种语言。我们提出了不同的技术来组成预训练语料库，使语言模型成为特定领域和多语言。针对生物医学命名实体识别和金融句子分类的九个特定领域的分类器的评估涵盖了七种不同的语言，表明一个单一的多语言特定领域的模型可以优于一般的多语言模型，并执行接近其单语言对应。这一发现适用于两种不同的预训练方法，基于适配器的预训练和全模型预训练。
2021-09-14 cs.CL
Neural Word Segmentation with Rich Pretraining
Singapore University of Technology and Design（新加坡科技设计大学）
神经分词研究通过利用大规模原始文本进行字符和词嵌入的预训练而受益。另一方面，统计分词研究利用了更丰富的外部信息源，如标点符号、自动分词和词性。我们通过构建一个模块化的分词模型，使用丰富的外部资源对最重要的子模块进行预训练，研究了一系列外部训练源对神经分词的有效性。结果表明，这样的预训练显着提高了模型，导致精度竞争的最佳方法在六个基准。
2017-04-28 cs.CL
Data-Centric Lessons To Improve Speech-Language Pretraining
Apple（苹果公司）；University of Cambridge（剑桥大学）；University of Tübingen（图宾根大学）
本文通过数据为中心的消融实验，探索了语音-语言预训练中数据处理、合成数据构建和序列交错三个关键问题，并据此预训练了3.8B参数的SpeLangy模型，其性能超越3倍大的模型10.2%。
2025-10-22 cs.CL cs.LG eess.AS
Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models
NVIDIA（英伟达）
针对语言模型预训练成本过高的问题，本研究提出一套涵盖数据分布与学习率调度的持续预训练准则，在15B参数模型上实现了9%的平均准确率提升，为模型复用开发提供了实用方案。
2024-07-09 cs.CL
Unsupervised pretraining transfers well across languages
Facebook AI Research（Facebook人工智能研究院）；Ecole des Hautes Etudes en Sciences Sociales（社会科学高等研究院）
跨语言和多语言的自动语音识别（ASR）训练在有监督的环境中得到了广泛的研究。这是假设存在一个平行语料库的语音和拼写transmittance。最近，人们提出了对比预测编码（CPC）算法来用未标记的数据预训练ASR系统。在这项工作中，我们研究了无监督的预训练是否可以很好地跨语言迁移。我们表明，CPC预训练的轻微修改提取了可以很好地转移到其他语言的功能，与监督预训练不相上下，甚至优于监督预训练。这表明了无监督方法在语言资源较少的语言中的潜力。
2020-02-07 cs.CL cs.LG cs.SD
Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一个实质性的一步，更好地理解SOTA序列到序列（Seq 2Seq）神经机器翻译~（NMT）的预训练。我们专注于研究联合预训练解码器的影响，这是Seq 2Seq预训练和以前基于编码器的NMT预训练方法之间的主要区别。通过对三种语言对进行精心设计的实验，我们发现Seq 2Seq预训练是一把双刃剑：一方面，它有助于NMT模型产生更多样化的翻译，减少与充分性相关的翻译错误。另一方面，Seq 2Seq预训练和NMT微调之间的差异限制了翻译质量（即，域差异）并引起过估计问题（即，客观差异）。基于这些观察，我们进一步提出了简单有效的策略，命名为域内预训练和输入自适应，以弥补域和目标的差异，分别。在几个语言对上的实验结果表明，我们的方法可以在Seq 2Seq预训练后持续提高翻译性能和模型鲁棒性。
2022-03-16 cs.AI cs.CL
Cross-Lingual Language Model Meta-Pretraining
Beijing Institute of Technology（北京理工大学）
预训练的跨语言语言模型的成功依赖于两个基本能力，即，用于学习源语言中的下游任务的泛化能力，以及用于将任务知识转移到其他语言的跨语言可转移性。然而，目前的方法在单阶段跨语言预训练过程中联合学习这两种能力，导致泛化和跨语言迁移之间的权衡。在本文中，我们提出了跨语言的语言模型元预训练，学习这两种能力在不同的训练阶段。我们的方法在跨语言预训练之前引入了一个额外的元预训练阶段，其中模型在大规模单语语料库上学习泛化能力。然后，该模型着重于学习多语种语料库上的跨语言迁移。实验结果表明，我们的方法提高了泛化和跨语言迁移，并产生更好的对齐表示跨不同的语言。
2021-09-23 cs.CL
Self-Improving Pretraining: using post-trained models to pretrain better models
FAIR at Meta（Meta FAIR）
本文提出一种新的预训练和中训练方法，通过利用已有的强后训练模型来重写预训练数据并判断策略模型的 rollout，从而在早期训练中引入安全、事实性、生成质量和推理能力等关键行为，提升模型整体性能。
2026-04-05 cs.AI cs.CL cs.LG
Domain-Specific Pretraining of Language Models: A Comparative Study in the Medical Field
Technische Hochschule Ingolstadt（英戈尔施塔特应用科学大学）
本文针对医学领域，研究领域特定与混合领域预训练方法，探讨其相比通用大模型在处理敏感数据时的本地运行优势，并比较专用与通用语言模型的基准结果。
2024-07-28 cs.AI cs.CL cs.LG
The Distributional Hypothesis Does Not Fully Explain the Benefits of Masked Language Model Pretraining
University of Southern California（南加州大学）
本文从分布假说角度分析掩码语言模型预训练，发现分布属性能解释其样本效率优势，但无法完全解释其泛化能力，揭示了当前对预训练理解的局限性。
2023-10-25 cs.CL
DA-Cramming: Enhancing Cost-Effective Language Model Pretraining with Dependency Agreement Integration
Center for Computational Evolutionary Intelligence, Duke University（计算进化智能中心，杜克大学）
本文提出DA-Cramming框架，通过整合依赖协议信息提升语言模型预训练效果，采用双阶段流程和四个专用子模型捕捉依赖协议并生成嵌入，实验证明其在多种任务上表现优于现有方法。
2026-09-23 cs.AI cs.CL
QURIOUS: Question Generation Pretraining for Text Generation
Google Research（谷歌研究院）；Google（谷歌）
使用预训练的自然语言处理的最新趋势已经将焦点转移到文本生成的预训练和微调方法上。通常关注的焦点是与任务无关的方法，这些方法概括了语言建模目标。我们提出问题生成作为预训练方法，这更好地符合文本生成的目标。我们用这种方法预训练的文本生成模型更好地理解了输入的本质，并且是目标任务的更好的语言模型。当评估两个文本生成任务，抽象摘要和答案为重点的问题生成，我们的模型在自动度量方面的最先进的性能。人类评估者也发现我们的摘要和生成的问题更自然，简洁和信息量。
2020-04-23 cs.CL
Analyzing ASR pretraining for low-resource speech-to-text translation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
先前的工作已经表明，对于低资源源语言，可以通过对来自高资源语言的自动语音识别（ASR）数据预训练端到端模型来改进自动语音到文本翻译（AST）。然而，目前尚不清楚哪些因素-例如，语言相关性或预训练数据的大小--产生最大的改进，或者预训练是否可以有效地与其他方法（如数据增强）相结合。在这里，我们在不同大小的数据集上进行了预训练实验，包括与AST源语言相关和不相关的语言。我们发现，最终AST性能的最佳预测因子是预训练ASR模型的单词出错率，并且ASR/AST性能的差异与语音信息在我们模型的后期RNN层中的编码方式有关。我们还表明，预训练和数据增强产生互补的好处AST。
2020-02-09 cs.CL eess.AS
How Do Large Language Models Acquire Factual Knowledge During Pretraining?
KAIST（韩国科学技术院）；UCL（伦敦大学学院）
本研究探讨了LLMs在预训练期间获取事实知识的机制，发现更多数据未显著提升知识获取能力，遗忘与训练步数呈幂律关系，增大批次规模可增强抗遗忘鲁棒性，且知识获取伴随逐步稀释的遗忘过程。
2024-11-12 cs.CL
A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
German Research Center for AI（德国人工智能研究中心）；University of Copenhagen（哥本哈根大学）
现代自然语言处理（NLP）方法采用自监督预训练目标，如掩蔽语言建模，以提高各种应用程序任务的性能。这些预训练方法经常扩展为递归、对抗或语言属性掩蔽，最近还扩展为对比学习目标。对比自监督训练目标通过学习将增强图像的输入-输入对对比为相似或不相似，使最近在图像表示预训练中取得了成功。然而，在NLP中，自动创建文本输入增强仍然非常具有挑战性，因为单个令牌可以颠倒句子的含义。出于这个原因，一些对比NLP预训练方法使用来自度量学习和基于能量的模型的方法来对比输入-标签对，而不是输入-输入对。在这项调查中，我们总结了最近的自监督和监督对比NLP预训练方法，并描述了它们用于改进语言建模，少量或零样本学习，预训练数据效率和特定NLP最终任务的地方。我们介绍了关键的对比学习概念，从以前的研究和结构工程的应用和跨领域的关系。最后，我们指出了对比NLP面临的挑战和未来的发展方向，以鼓励对比NLP预训练更接近最近在图像表示预训练中取得的成功。
2021-02-25 cs.AI cs.CL cs.CV
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而，由于这些分析都集中在完全训练的多语言模型上，因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明，该模型在早期实现了较高的语言性能，在更复杂的语言技能之前获得了较低水平的语言技能。相比之下，当模型学习跨语言迁移时，预训练的点在不同的语言对之间是不同的。有趣的是，我们还观察到，在许多语言和任务中，最终模型层随着时间的推移表现出显着的性能下降，而语言知识传播到网络的较低层。总的来说，这些见解突出了多语言预训练的复杂性，以及随着时间的推移，不同语言的不同行为。
2022-10-22 cs.CL
CMV-BERT: Contrastive multi-vocab pretraining of BERT
在这项工作中，我们代表CMV-BERT，它通过两个成分改进了语言模型的预训练：（a）对比学习，这在计算机视觉领域得到了很好的研究;（b）多个词汇，其中一个是细粒度的，另一个是粗粒度的。这两种方法都提供了一个原始句子的不同的观点，都被证明是有益的。下游任务表明，我们提出的CMV-BERT是有效的，在改善预训练的语言模型。
2021-05-30 cs.CL
Multilingual Pretraining for Pixel Language Models
Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学）；ROCKWOOL Foundation Research Unit（ROCKWOOL基金会研究单位）
PIXEL-M4通过多语言预训练提升了像素语言模型对多种语言的支持能力，尤其在非拉丁字母语言中表现更优。
2025-12-02 cs.AI cs.CL
ptt5-v2: A Closer Look at Continued Pretraining of T5 Models for the Portuguese Language
School of Electrical and Computing Engineering, State University of Campinas (UNICAMP)（坎皮纳斯州立大学电气与计算机工程学院（UNICAMP））
本研究提出ptt5-v2，探讨T5模型在葡萄牙语上的持续预训练，构建规模达3B参数的基线模型并在部分下游任务取得SOTA结果，同时发现不同预训练配置的影响较微小。
2024-11-18 cs.AI cs.CL cs.IR
DOCmT5: Document-Level Pretraining of Multilingual Language Models
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
在本文中，我们介绍DOCmT 5，一个多语言的序列到序列的语言模型预训练与大规模并行文档。虽然以前的方法专注于利用并行级并行数据，但我们尝试构建一个通用的预训练模型，可以理解和生成长文档。我们提出了一个简单而有效的预训练目标-文档重排机器翻译（DrMT），其中需要翻译的输入文档是混洗和掩蔽的。DrMT在各种文档级生成任务的强大基线上带来了一致的改进，包括超过12个BLEU点的seen语言对文档级MT，超过7个BLEU点的unseen语言对文档级MT和超过3个ROUGE-1点的seen语言对跨语言摘要。我们在WMT 20 De-En和IWSLT 15 Zh-En文档翻译任务上实现了最先进的（SOTA）。我们还对文档预训练的各种因素进行了广泛的分析，包括（1）预训练数据质量的影响和（2）结合单语言和跨语言预训练的影响。我们计划公开我们的模型检查点。
2022-05-05 cs.CL
When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset
Stanford University（斯坦福大学）
虽然自监督学习在自然语言处理方面取得了快速进展，但研究人员何时应该进行资源密集型的特定领域预训练（领域预训练）仍不清楚。令人困惑的是，尽管法律语言被广泛认为是独特的，但法律几乎没有记录在案的领域预训练的实质性收益。我们假设，这些现有的结果源于这样一个事实，即现有的法律NLP任务太容易，无法满足领域预训练可以帮助的条件。为了解决这个问题，我们首先介绍了CaseHOLD（法律判决的案例持有），这是一个新的数据集，由超过53，000个多项选择题组成，用于识别引用案例的相关持有。该数据集为律师提供了一项基本任务，从NLP的角度来看，它既有法律意义，又很困难（F1为0.4，BiLSTM基线）。其次，我们评估了CaseHOLD和现有合法NLP数据集的性能增益。虽然Transformer架构（BERT）在一般语料库上进行预训练（Google图书和维基百科）提高性能，域预训练（使用美国所有法院的大约350万个判决的语料库，其规模大于BERT），使用自定义法律词汇表，通过CaseHOLD表现出最显著的性能提升（在F1上获得7.2%的收益，比BERT提高了12%），并在其他两项法律任务上获得了一致的性能收益。第三，我们表明，域预训练可能是必要的，当任务表现出足够的相似性的预训练语料库：在三个法律任务的性能增加的水平直接挂钩的任务的域特异性。我们的研究结果告知研究人员何时应该进行资源密集型的预训练，并表…
2021-07-06 cs.CL
Pretraining Strategies using Monolingual and Parallel Data for Low-Resource Machine Translation
AIMS Senegal（塞内加尔AIMS）
该研究针对低资源语言林加拉语，基于Reid和Artetxe的预训练方法，探索多语言融合、单语与平行数据并用的预训练策略，证实其能显著提升翻译质量，为缩小高低资源语言翻译性能差距、构建普惠NLP模型提供参考，代码与数据集（部分除外）已公开。
2025-10-29 cs.CL
Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学及翻译学系）
本文提出CLiKA框架，从性能、一致性和传导性三个层面评估大语言模型的跨语言知识对齐，发现多语言预训练和指令微调虽有帮助但效果浅层，尤其无法显著提升知识传导性。
2024-04-06 cs.CL
Domain-Adaptive Pretraining Methods for Dialogue Understanding
City University of Hong Kong（香港城市大学）；Tencent AI Lab（腾讯人工智能实验室）
像BERT和Span BERT这样在开放域数据上预训练的语言模型在各种NLP任务上都取得了令人印象深刻的进步。在本文中，我们探讨了域自适应预训练目标对下游任务的有效性。特别是，三个目标，包括一个新的目标，专注于建模谓词-参数关系，评估两个具有挑战性的对话理解任务。实验结果表明，具有适当目标的域自适应预训练可以显着提高这些任务的强基线的性能，实现新的最先进的性能。
2021-05-28 cs.AI cs.CL
Multi-Hop Knowledge Composition is Bound by Pretraining Exposure
Inria, Paris, France（法国国家信息与自动化研究所（巴黎））；Inria, Chile（法国国家信息与自动化研究所（智利））；Dept. of Computer Science, Universidad de Chile（智利大学计算机科学系）
研究发现，即使单跳准确率达97%，大语言模型仍无法进行隐式多跳推理，原因是预训练中缺乏组合上下文，而非知识缺失。
2026-09-17 cs.CL
Checkpoint Merging via Bayesian Optimization in LLM Pretraining
Harbin Institute of Technology（哈尔滨工业大学）
本文提出在LLM预训练中通过贝叶斯优化搜索最佳合并权重来合并共享训练轨迹的检查点，以低成本增强预训练性能并保持跨领域泛化能力。
2025-06-03 cs.CL
InterBERT: Vision-and-Language Interaction for Multi-modal Pretraining
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
用于学习高级多模态表示的多模态预训练是迈向深度学习和人工智能的又一步。在这项工作中，我们提出了一个新的模型，即InterBERT（BERT for Interaction），这是我们的多模态预训练方法M6（MultiModality-to-MultiModality Multitask Mega-transformer）系列的第一个模型。该模型具有很强的建模能力，不同模态的信息流之间的相互作用。单流交互模块能够有效地处理多模态的信息，而上层的双流交互模块保持了各模态的独立性，避免了单模态任务的性能下降。我们使用三个预训练任务对模型进行预训练，包括掩蔽段建模（MSM）、掩蔽区域建模（MRM）和图像-文本匹配（ITM）;并在一系列视觉和语言下游任务上对模型进行微调。实验结果表明，InterBERT的性能优于一系列强基线，包括最新的多模态预训练方法，分析表明MSM和MRM是有效的预训练方法，我们的方法在单模态任务中可以达到与BERT相当的性能。此外，我们提出了一个大规模的数据集，用于中文多模态预训练，我们开发了中文InterBERT，这是第一个中文多模态预训练模型。我们在我们提出的来自中国最大的电子商务平台手机淘宝的310万图像-文本对数据集上预训练了中文InterBERT。我们微调的模型，基于文本的图像检索，最近，我们部署了基于主题的推荐模型在线。
2021-04-22 cs.CL cs.CV
Is It a Free Lunch for Removing Outliers during Pretraining?
University of Amsterdam（阿姆斯特丹大学）
针对无异常值预训练方法在全精度下性能下降的问题，通过引入对序列长度不变的归一化改进该方法，不仅弥合了预训练与微调的差距，还成功支持了因果语言模型的预训练。
2024-02-19 cs.AI cs.CL
Deciphering the Impact of Pretraining Data on Large Language Models through Machine Unlearning
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Academy of Cyber（网络空间学院）
本文通过机器遗忘系统分析48个预训练数据集对LLMs的影响，揭示了数据间的联合影响模式并识别出高影响数据，为高效预训练提供数据组织见解。
2024-08-28 cs.AI cs.CL
On Linear Representations and Pretraining Data Frequency in Language Models
Brown University（布朗大学）；Allen Institute for AI (Ai2)（艾伦人工智能研究所）；University of Washington（华盛顿大学）
该研究探究预训练数据频率与语言模型事实关系线性表示的联系，发现其形成与术语频率密切相关，提出的回归模型可预测预训练术语出现频率，为改进模型行为提供新途径。
2025-04-16 cs.AI cs.CL
Does VLN Pretraining Work with Nonsensical or Irrelevant Instructions?
University of Southern California（南加州大学）
本研究探讨VLN预训练中指令质量的影响，发现无意义或无关指令对下游性能影响甚微，并提出Unigram+Object增强方法，表明视觉轨迹数量比指令质量更重要。
2023-12-23 cs.CL cs.CV
Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network
JD AI Research（京东人工智能研究院）；Sun Yat-sen University（中山大学）
尽管使用基于BERT的编码器进行视觉语言（VL）预训练以用于VL理解，但用于VL理解和生成的通用编码器-解码器的预训练仍然具有挑战性。困难源于这两个学科固有的不同特点，例如，VL理解任务利用跨模态的不受限制的消息传递，而生成任务仅采用视觉到文本的消息传递。在本文中，我们开始与两个流解耦设计的编码器-解码器结构，其中两个解耦的跨模态编码器和解码器涉及到单独执行每种类型的代理任务，同时VL理解和生成预训练。此外，对于VL预训练，主要方式是用掩码令牌替换一些输入视觉/单词令牌，并强制多模态编码器/解码器重建原始令牌，但在下游任务上进行微调时不涉及掩码令牌。作为替代方案，我们提出了一个主要的预定采样策略，优雅地减轻这种差异，通过预训练编码器-解码器在一个两遍的方式。大量的实验证明了我们的预训练编码器-解码器通过对四个VL理解和生成下游任务进行微调而具有令人信服的普遍性。源代码可从\url{https://github.com/YehLi/TDEN}获得。
2021-01-27 cs.CL cs.CV
Good Pretraining, Bad SFT: Checkpoint Quality Across the Training Stack
Aleph Alpha（阿莱夫阿尔法）
本文发现，在30B混合专家训练中，预训练损失或基准分数最高的检查点并非后续训练的最佳起点，而解密度更高的检查点在下游训练后表现更优。
2026-09-09 cs.AI cs.CL
MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
Google DeepMind（谷歌DeepMind）；University of Cambridge（剑桥大学）
提出MatCha预训练框架，通过图表解构和数值推理任务增强视觉语言模型在图表数据上的联合建模能力，在标准基准上提升近20%并验证了跨领域迁移效果。
2023-05-23 cs.AI cs.CL cs.CV
VL-BEiT: Generative Vision-Language Pretraining
Microsoft Research（微软研究院）
我们引入了一个视觉语言基础模型VL-BEiT，它是一个通过生成式预训练学习的双向多模态Transformer。我们的极简解决方案使用共享的Transformer对单峰和多峰数据进行掩蔽预测。具体来说，我们执行掩蔽视觉语言建模的图像-文本对，掩蔽语言建模的文本，和掩码图像建模的图像。VL-BEiT是从头开始学习的，具有一个统一的预训练任务，一个共享的骨干和一个阶段的训练。我们的方法是概念简单，经验有效。实验结果表明，VL-BEiT在视觉问答、视觉推理和图文检索等视觉语言测试中均取得了较好的效果。此外，我们的方法学习可转移的视觉特征，在图像分类和语义分割方面取得了有竞争力的性能。
2022-09-03 cs.CL cs.CV
