Pretraining Latent Information Feedback Transformers with Teacher Supervision
Blavatnik School of Computer Science and AI, Tel Aviv University(特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出LIFT架构,通过教师监督将循环状态学习转为预测问题,使Transformer在预训练时实现深层到浅层反馈,在多项任务上优于标准模型。
2026-09-30 cs.CL
Cross-Lingual Language Model Meta-Pretraining
Beijing Institute of Technology(北京理工大学)
预训练的跨语言语言模型的成功依赖于两个基本能力,即,用于学习源语言中的下游任务的泛化能力,以及用于将任务知识转移到其他语言的跨语言可转移性。然而,目前的方法在单阶段跨语言预训练过程中联合学习这两种能力,导致泛化和跨语言迁移之间的权衡。在本文中,我们提出了跨语言的语言模型元预训练,学习这两种能力在不同的训练阶段。我们的方法在跨语言预训练之前引入了一个额外的元预训练阶段,其中模型在大规模单语语料库上学习泛化能力。然后,该模型着重于学习多语种语料库上的跨语言迁移。实验结果表明,我们的方法提高了泛化和跨语言迁移,并产生更好的对齐表示跨不同的语言。
2021-09-23 cs.CL
Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings
University of Oslo(奥斯陆大学)
本文研究潜在自举法在低资源语言模型预训练中的有效性,基于BabyLM共享任务实验表明,利用上下文化嵌入的自监督方式在有限资源下可获取语言知识。
2023-10-30 cs.CL cs.LG
Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models
NVIDIA(英伟达)
针对语言模型预训练成本过高的问题,本研究提出一套涵盖数据分布与学习率调度的持续预训练准则,在15B参数模型上实现了9%的平均准确率提升,为模型复用开发提供了实用方案。
2024-07-09 cs.CL
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington(华盛顿大学);Meta AI Research(Meta人工智能研究院)
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而,由于这些分析都集中在完全训练的多语言模型上,因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明,该模型在早期实现了较高的语言性能,在更复杂的语言技能之前获得了较低水平的语言技能。相比之下,当模型学习跨语言迁移时,预训练的点在不同的语言对之间是不同的。有趣的是,我们还观察到,在许多语言和任务中,最终模型层随着时间的推移表现出显着的性能下降,而语言知识传播到网络的较低层。总的来说,这些见解突出了多语言预训练的复杂性,以及随着时间的推移,不同语言的不同行为。
2022-10-22 cs.CL
MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model
University of Copenhagen(哥本哈根大学);PricewaterhouseCoopers (PwC)(普华永道);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
领域自适应预训练,即在领域特定文本上对语言模型进行持续的无监督预训练,改进了域内下游任务的文本建模。许多现实世界的应用程序都是基于特定领域的文本,例如处理金融或生物医学文档,这些应用程序通常需要支持多种语言。然而,由于法规、立法或仅仅是缺乏特定于语言和领域的文本,很难获得针对此类场景的大规模特定于领域的多语言预训练数据。一种解决方案是训练单个多语言模型,利用尽可能多语言的可用数据。在这项工作中,我们探索了领域自适应预训练的好处,重点是适应特定领域内的多种语言。我们提出了不同的技术来组成预训练语料库,使语言模型成为特定领域和多语言。针对生物医学命名实体识别和金融句子分类的九个特定领域的分类器的评估涵盖了七种不同的语言,表明一个单一的多语言特定领域的模型可以优于一般的多语言模型,并执行接近其单语言对应。这一发现适用于两种不同的预训练方法,基于适配器的预训练和全模型预训练。
2021-09-14 cs.CL
The Distributional Hypothesis Does Not Fully Explain the Benefits of Masked Language Model Pretraining
University of Southern California(南加州大学)
本文从分布假说角度分析掩码语言模型预训练,发现分布属性能解释其样本效率优势,但无法完全解释其泛化能力,揭示了当前对预训练理解的局限性。
2023-10-25 cs.CL
Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models
The University of Tokyo(东京大学)
我们研究了在神经网络编码器中学习到的什么样的结构知识可以转移到处理自然语言中。我们设计具有模仿自然语言的结构属性的人工语言,对数据进行预训练编码器,并查看编码器在自然语言的下游任务中表现出多大的性能。我们的实验结果表明,使用具有嵌套依赖结构的人工语言进行预训练提供了一些可转移到自然语言的知识。后续的探测分析表明,它的成功转移与编码的语境信息量有关,转移的是语言的位置感知语境依赖知识。我们的研究结果为神经网络编码器如何处理人类语言以及最近多语言语言模型的跨语言可转移性的来源提供了见解。
2022-03-22 cs.CL
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Microsoft Research(微软研究院)
预训练大型神经语言模型,如BERT,已经在许多自然语言处理(NLP)任务上取得了令人印象深刻的进展。然而,大多数预训练工作集中在一般领域语料库,如新闻专线和Web。一个普遍的假设是,即使是特定领域的预训练也可以从通用领域的语言模型开始。在本文中,我们挑战了这一假设,证明了对于具有大量未标记文本的领域,如生物医学,从头开始预训练语言模型比一般领域语言模型的持续预训练有很大的收益。为了促进这项调查,我们从公开的数据集中编译了一个全面的生物医学NLP基准。我们的实验表明,特定于领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础,从而全面带来了新的最先进的结果。此外,在对建模选择进行彻底评估时,无论是预训练还是特定于任务的微调,我们发现BERT模型中的一些常见做法是不必要的,例如在命名实体识别(NER)中使用复杂的标记方案。为了帮助加速生物医学NLP的研究,我们为社区发布了最先进的预训练和特定任务模型,并在https://aka.ms/BLURB上创建了一个排行榜,其中包括我们的BLURB基准(生物医学语言理解和推理基准的缩写)。
2021-09-16 cs.CL cs.LG
Improving Language Plasticity via Pretraining with Active Forgetting
Cohere AI;Meta AI;UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心);Reka AI
本文提出在预训练中周期重置嵌入层的主动遗忘机制,使语言模型具备快速学习新语言嵌入的元学习能力,在低资源语言适应上收敛更快且性能更优。
2024-01-12 cs.CL cs.LG cs.NE
Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));The University of Sheffield(谢菲尔德大学)
针对预训练语言模型数感不足的问题,提出无需改架构或从头预训练的基于算术的预训练方法,结合对比学习和新型可推断数字预测任务目标,在多类数感相关任务上验证了有效性。
2023-06-09 cs.CL
DOCmT5: Document-Level Pretraining of Multilingual Language Models
University of Washington(华盛顿大学);Google Research(谷歌研究院)
在本文中,我们介绍DOCmT 5,一个多语言的序列到序列的语言模型预训练与大规模并行文档。虽然以前的方法专注于利用并行级并行数据,但我们尝试构建一个通用的预训练模型,可以理解和生成长文档。我们提出了一个简单而有效的预训练目标-文档重排机器翻译(DrMT),其中需要翻译的输入文档是混洗和掩蔽的。DrMT在各种文档级生成任务的强大基线上带来了一致的改进,包括超过12个BLEU点的seen语言对文档级MT,超过7个BLEU点的unseen语言对文档级MT和超过3个ROUGE-1点的seen语言对跨语言摘要。我们在WMT 20 De-En和IWSLT 15 Zh-En文档翻译任务上实现了最先进的(SOTA)。我们还对文档预训练的各种因素进行了广泛的分析,包括(1)预训练数据质量的影响和(2)结合单语言和跨语言预训练的影响。我们计划公开我们的模型检查点。
2022-05-05 cs.CL
Thoughtbubbles: an Unsupervised Method for Parallel Thinking in Latent Space
Department of Computer Science, Stanford University, Stanford, CA, United States(计算机科学系,斯坦福大学,斯坦福,CA,美国)
Thoughtbubbles是一种通过预训练学习并行自适应计算的转换器变体,能够在潜在空间中实现更高效的计算,提升模型的推理性能和零样本评估表现。
2026-01-30 cs.AI cs.CL cs.LG
FuLG: 150B Romanian Corpus for Language Model Pretraining
University Politehnica of Bucharest(布加勒斯特理工大学);Broadcom Inc.(博通公司)
本文介绍FuLG,一个从CommonCrawl提取的1500亿词元罗马尼亚语预训练语料库,并展示其过滤方法及与现有语料库的消融比较。
2024-07-18 cs.CL
Multilingual Pretraining for Pixel Language Models
Department of Computer Science, University of Copenhagen(计算机科学系,哥本哈根大学);ROCKWOOL Foundation Research Unit(ROCKWOOL基金会研究单位)
PIXEL-M4通过多语言预训练提升了像素语言模型对多种语言的支持能力,尤其在非拉丁字母语言中表现更优。
2025-12-02 cs.AI cs.CL
BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model
Tsinghua University(清华大学);International Digital Economy Academy(国际数字经济研究院)
预训练语言模型是自然语言处理的重要基础。最近,域内预训练已被证明有利于各种特定领域的下游任务。在生物医学领域,自然语言生成(NLG)任务是至关重要的,但研究不足。自然语言理解通过约束语言生成或语言提示在一般领域中实现令人满意的性能。我们强调,缺乏领域内的生成语言模型和非系统的生成下游基准在生物医学领域,阻碍了研究社区的发展。在这项工作中,我们介绍了生成语言模型BioBART适应BART的生物医学领域。我们整理了各种生物医学语言生成任务,包括对话,摘要,实体链接,和命名实体识别。与BART相比,在PubMed摘要上预训练的BioBART提高了性能,并在几项任务上设置了强大的基线。此外,我们对BioBART的预训练任务进行了消融研究,发现句子排列对下游任务有负面影响。
2022-04-22 cs.CL
Pretraining Strategies using Monolingual and Parallel Data for Low-Resource Machine Translation
AIMS Senegal(塞内加尔AIMS)
该研究针对低资源语言林加拉语,基于Reid和Artetxe的预训练方法,探索多语言融合、单语与平行数据并用的预训练策略,证实其能显著提升翻译质量,为缩小高低资源语言翻译性能差距、构建普惠NLP模型提供参考,代码与数据集(部分除外)已公开。
2025-10-29 cs.CL
DA-Cramming: Enhancing Cost-Effective Language Model Pretraining with Dependency Agreement Integration
Center for Computational Evolutionary Intelligence, Duke University(计算进化智能中心,杜克大学)
本文提出DA-Cramming框架,通过整合依赖协议信息提升语言模型预训练效果,采用双阶段流程和四个专用子模型捕捉依赖协议并生成嵌入,实验证明其在多种任务上表现优于现有方法。
2026-09-23 cs.AI cs.CL
Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference
Queen’s University(女王大学);iFLYTEK Research(科大讯飞研究院);University of Science and Technology of China(中国科学技术大学)
自然语言推理是自然语言理解中最具挑战性的任务之一。最近关于利用无监督信号(如语言模型和句子预测目标)的无监督预训练的工作已被证明在广泛的NLP问题上非常有效。仍然希望进一步理解它如何帮助NLI;例如,如果它学习数据注释中的伪影,或者相反地学习真正的推理知识。另外,可以以两种典型的方式将不存在于有限数量的NLI训练数据中的外部知识添加到NLI模型中,例如,从人类创造的资源或无监督的预训练范式。我们在这里进行了几个实验,以研究它们是否以同样的方式帮助NLI,如果不是,如何帮助?
2019-04-27 cs.CL
Rephrasing Electronic Health Records for Pretraining Clinical Language Models
Australian e-Health Research Centre, CSIRO(澳大利亚电子健康研究中心,联邦科学与工业研究组织)
针对临床语言模型预训练因患者隐私难以获取大规模EHR文本的问题,本研究借鉴网络数据重述方法,用四种小型LLMs重述临床笔记生成合成语料,在语言建模和下游任务中表现优于现有合成方法,且小token预算下增强原始笔记可提升性能。
2024-11-28 cs.CL
AfroMT: Pretraining Strategies and Reproducible Benchmarks for Translation of 8 African Languages
The University of Tokyo(东京大学);Carnegie Mellon University(卡内基梅隆大学)
可复制的基准是推动机器翻译研究进展的关键。然而,现有的机器翻译基准测试大多局限于高资源或良好表示的语言。尽管对低资源机器翻译的兴趣越来越大,但许多非洲语言没有标准化的可复制基准,其中许多语言被数百万人使用,但数字化文本数据较少。为了应对这些挑战,我们提出了AfroMT,一个标准化的,干净的,可复制的机器翻译基准,为八种广泛使用的非洲语言。我们还开发了一套分析工具,系统诊断考虑到这些语言的独特属性。此外,我们探讨了新考虑的低资源集中预训练的情况下,开发了两种新的基于数据增强的策略,利用单词级对齐信息和伪单语数据预训练多语言序列到序列模型。我们在11种语言上进行预训练时表现出了显着的改进,在强基线上获得了高达2个BLEU点的增益。在数据受限的情况下,我们还显示了在跨语言迁移基线上最多12个BLEU点的增益。所有代码和预训练模型将被发布,作为进一步的步骤,为非洲语言提供更大的可复制基准。
2021-09-10 cs.CL
Language Models on a Diet: Cost-Efficient Development of Encoders for Closely-Related Languages via Additional Pretraining
Jožef Stefan Institute(约热夫·斯泰凡研究所);University of Ljubljana(卢布尔雅那大学);Masaryk University(马萨里克大学);University of Groningen(格罗宁根大学)
针对克罗地亚语等近缘语言,研究通过多语言模型额外预训练构建编码器,并在多样化基准上证明其能以有限计算达到接近从头训练模型的性能。
2024-04-08 cs.CL
Cross-lingual Language Model Pretraining
Facebook AI Research(Facebook人工智能研究);Sorbonne Universités(巴黎索邦大学);Université Le Mans(勒芒大学)
最近的研究表明生成式预训练对英语自然语言理解的有效性。在这项工作中,我们将这种方法扩展到多种语言,并展示了跨语言预训练的有效性。我们提出了两种方法来学习跨语言语言模型(XLM):一种是无监督的,只依赖于单语数据,另一种是有监督的,利用并行数据与一个新的跨语言语言模型目标。我们在跨语言分类、无监督和有监督的机器翻译方面取得了最先进的结果。在XNLI上,我们的方法通过4.9%的准确度的绝对增益推动了最先进的技术。在无监督机器翻译方面,我们在WMT'16德语-英语上获得了34.3 BLEU,将之前的最新技术水平提高了9 BLEU以上。在有监督的机器翻译上,我们在WMT'16罗马尼亚语-英语上获得了38.5 BLEU的最新技术水平,超过了之前的最佳方法4 BLEU。我们的代码和预训练模型将公开提供。
2019-01-22 cs.CL
VL-BEiT: Generative Vision-Language Pretraining
Microsoft Research(微软研究院)
我们引入了一个视觉语言基础模型VL-BEiT,它是一个通过生成式预训练学习的双向多模态Transformer。我们的极简解决方案使用共享的Transformer对单峰和多峰数据进行掩蔽预测。具体来说,我们执行掩蔽视觉语言建模的图像-文本对,掩蔽语言建模的文本,和掩码图像建模的图像。VL-BEiT是从头开始学习的,具有一个统一的预训练任务,一个共享的骨干和一个阶段的训练。我们的方法是概念简单,经验有效。实验结果表明,VL-BEiT在视觉问答、视觉推理和图文检索等视觉语言测试中均取得了较好的效果。此外,我们的方法学习可转移的视觉特征,在图像分类和语义分割方面取得了有竞争力的性能。
2022-09-03 cs.CL cs.CV
Analyzing Similarity Metrics for Data Selection for Language Model Pretraining
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究)
该研究提出评估框架验证了通用现成嵌入模型不适配预训练数据构建场景,其表现弱于同语料训练模型提取的极简嵌入,为预训练专用嵌入设计奠定基础。
2025-10-21 cs.CL cs.LG
InforMask: Unsupervised Informative Masking for Language Model Pretraining
University of California, San Diego(加州大学圣地亚哥分校)
针对大语言模型预训练中随机掩码策略的不足,该研究提出基于点互信息的无监督掩码方法InforMask,经效率优化后,仅需一次性预处理,在多个基准任务上表现优于现有掩码策略。
2022-10-21 cs.CL
UzBERT: pretraining a BERT model for Uzbek
Copper City Labs(铜城实验室)
基于Transformer架构的预训练语言模型在各种自然语言处理任务中取得了最先进的结果,例如词性标注、命名实体识别和问答。然而,没有公开的乌兹别克语单语模式。在本文中,我们介绍了Uz BERT,一个基于BERT架构的预训练乌兹别克语言模型。我们的模型大大优于多语言BERT掩蔽语言模型的准确性。我们在MIT开源许可证下公开提供该模型。
2021-08-22 cs.CL
Progressive Residual Warmup for Language Model Pretraining
The Hong Kong University of Science(香港科学与技术大学);NVIDIA, Santa Clara, US(NVIDIA公司);The University of Hong Kong, Hong Kong, China(香港大学);University of Surrey, Guildford, UK(萨里大学)
ProRes通过逐步残差预热方法提升语言模型预训练的稳定性与收敛速度,实现更快的收敛和更好的性能
2026-03-05 cs.CL
How Do Large Language Models Acquire Factual Knowledge During Pretraining?
KAIST(韩国科学技术院);UCL(伦敦大学学院)
本研究探讨了LLMs在预训练期间获取事实知识的机制,发现更多数据未显著提升知识获取能力,遗忘与训练步数呈幂律关系,增大批次规模可增强抗遗忘鲁棒性,且知识获取伴随逐步稀释的遗忘过程。
2024-11-12 cs.CL
Code-switched Language Models Using Dual RNNs and Same-Source Pretraining
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文的工作重点是建立语码转换文本的语言模型。我们提出了两种技术,显着提高这些LM:1)一种新的递归神经网络单元的双组件,分别专注于每种语言的代码切换文本2)预训练LM使用合成文本从生成模型估计使用训练数据。我们证明了我们提出的技术的有效性,通过报告困惑的普通话-英语任务,并获得显着减少困惑。
2018-09-06 cs.CL cs.LG
Byte Pair Encoding is Suboptimal for Language Model Pretraining
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Computer Science(计算机科学系)
预训练的Transformer语言模型(LM)在自然语言处理中的成功导致了广泛的预训练设置。特别地,这些模型采用各种子字标记化方法,最显著的是字节对编码(BPE)(Sennrich等人,2016; Gage,1994),WordPiece方法(Schuster和Nakajima,2012)和unigram语言建模(Kudo,2018),以分割文本。然而,据我们所知,文献中并没有直接评估标记化对语言模型预训练的影响。我们分析了BPE和单字LM标记化之间的差异,发现后一种方法恢复了与形态学更紧密对齐的子字单元,并避免了BPE贪婪构造过程中产生的问题。然后,我们比较了使用这些标记化预训练的相同Transformer掩码语言模型的微调任务性能。在下游任务和两种语言(英语和日语)中,我们发现unigram LM标记化方法匹配或优于BPE。我们希望未来预训练LM的开发人员将考虑采用单字LM方法,而不是更流行的BPE。
2020-10-05 cs.CL
BanglaBERT: Language Model Pretraining and Benchmarks for Low-Resource Language Understanding Evaluation in Bangla
Bangladesh University of Engineering Technology (BUET)(孟加拉国工程技术大学);AWS AI Labs(亚马逊云科技人工智能实验室);University of Rochester(罗切斯特大学)
在这项工作中,我们介绍了BanglaBERT,一个基于BERT的自然语言理解(NLU)模型,在孟加拉语中进行了预训练,孟加拉语是NLP文献中广泛使用但资源较少的语言。为了预训练BanglaBERT,我们通过抓取110个流行的孟加拉网站收集了27.5 GB的孟加拉预训练数据(称为“Bangla2B+”)。我们介绍了自然语言推理和问答的两个下游任务数据集,并对四个不同的NLU任务进行了基准测试,包括文本分类,序列标记和跨度预测。在这个过程中,我们将他们纳入有史以来第一个孟加拉语语言理解基准(BLUB)。BanglaBERT实现了最先进的结果,优于多语言和单语言模型。我们正在https://github.com/csebuetnlp/banglabert上公开发布模型,数据集和排行榜,以推进Bangla NLP。
2022-05-10 cs.CL
Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models
LUMIA Lab(LUMIA实验室);School of Artificial Intelligence(人工智能学院);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Department of Electronic Engineering(电子工程系);College of Artificial Intelligence(人工智能学院);Tsinghua University(清华大学);Shanghai Innovation Institute(上海创新研究院)
通过在离散潜在空间中进行下一步概念预测,ConceptLM在预训练任务中实现了更强大的语言模型性能。
2026-02-09 cs.AI cs.CL
COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软)
我们提出了一个自监督学习框架COCO-LM,它通过校正和对比损坏的文本序列来预训练语言模型。COCO-LM遵循ELECTRA风格的预训练,使用辅助语言模型来破坏文本序列,并在此基础上构造两个新的任务来预训练主模型。第一个标记级任务,纠正语言建模,是检测和纠正被辅助模型替换的标记,以便更好地捕获标记级语义。第二个序列级任务,序列对比学习,是对齐来自相同源输入的文本序列,同时确保表示空间中的一致性。在GLUE和SQuAD上的实验表明,COCO-LM不仅在精度上优于最新的预训练模型,而且还提高了预训练效率。它实现了ELECTRA的MNLI精度,其预训练GPU小时数为50%。通过与标准基础/大尺寸模型相同的预训练步骤,COCO-LM的表现比之前的最佳模型高出1+ GLUE平均分。
2021-10-27 cs.CL cs.LG
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Carnegie Mellon University(卡内基梅隆大学);Google AI Brain Team(谷歌人工智能大脑团队)
由于具有双向上下文建模的能力,基于去噪自编码的预训练(如BERT)比基于自回归语言建模的预训练方法具有更好的性能。然而,依赖于用掩码破坏输入,BERT忽略了掩码位置之间的依赖性,并且遭受预训练微调差异。鉴于这些优点和缺点,我们提出了XLNet,这是一种广义自回归预训练方法,它(1)通过最大化因子分解顺序的所有排列的预期似然来学习双向上下文,(2)克服了BERT的自回归公式的局限性。此外,XLNet将最先进的自回归模型Transformer-XL的思想集成到预训练中。根据经验,在可比的实验设置下,XLNet在20个任务上的表现优于BERT,通常是大幅度的,包括问答、自然语言推理、情感分析和文档排序。
2020-01-02 cs.CL cs.LG
Analyzing ASR pretraining for low-resource speech-to-text translation
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
先前的工作已经表明,对于低资源源语言,可以通过对来自高资源语言的自动语音识别(ASR)数据预训练端到端模型来改进自动语音到文本翻译(AST)。然而,目前尚不清楚哪些因素-例如,语言相关性或预训练数据的大小--产生最大的改进,或者预训练是否可以有效地与其他方法(如数据增强)相结合。在这里,我们在不同大小的数据集上进行了预训练实验,包括与AST源语言相关和不相关的语言。我们发现,最终AST性能的最佳预测因子是预训练ASR模型的单词出错率,并且ASR/AST性能的差异与语音信息在我们模型的后期RNN层中的编码方式有关。我们还表明,预训练和数据增强产生互补的好处AST。
2020-02-09 cs.CL eess.AS
Vision-and-Language Pretraining
本文针对视觉-语言领域的预训练研究展开综述,梳理了预训练方法分类、前沿模型、相关数据集与下游任务,并指出未来研究方向,为该领域发展提供全面参考。
2024-12-11 cs.CL
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data
University of Washington(华盛顿大学)
大型预训练的语言模型通过提示在各种下游任务中表现得越来越好。然而,目前还不清楚模型从哪里学习特定于任务的知识,特别是在zero-shot设置中。在这项工作中,我们希望从预训练中找到模型特定于任务的能力的证据,并且特别感兴趣的是定位一个非常小的预训练数据子集,这些数据直接支持任务中的模型。我们呼吁这样一个子集支持数据证据,并提出了一种新的方法ORCA有效地识别它,通过迭代使用梯度信息相关的下游任务。这个支持数据证据提供了关于提示语言模型的有趣见解:在情感分析和文本蕴涵的任务中,BERT显示出对BookCorpus的大量依赖,这是BERT的两个预训练语料库中较小的语料库,以及预训练示例,这些示例掩盖了任务动词的同义词。
2022-05-25 cs.CL cs.LG
Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases
Center for Data Science(数据科学中心);Department of Linguistics(语言学系)
本研究通过预预训练实验发现,捕捉层级依赖且处于架构计算限制内的形式语言能提升语言模型对自然语言的泛化,且以更小token预算实现同等损失,并揭示注意力头迁移的机制证据。
2025-05-27 cs.AI cs.CL cs.LG
On the importance of Data Scale in Pretraining Arabic Language Models
Université de Montréal(蒙特利尔大学)
本文通过在大规模高质量阿拉伯语语料库上重训BERT-base和T5-base模型,证明数据规模是提升阿拉伯语PLMs性能的首要因素,并在ALUE和ORCA排行榜上取得最先进结果。
2024-01-15 cs.CL
A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages
IIT Kanpur(印度理工学院坎普尔分校);University of Cambridge(剑桥大学);University of Utah(犹他大学);Tata Consultancy Services(塔塔咨询服务公司);IIT Kharagpur(印度理工学院卡拉格普尔分校)
神经依存句法分析在许多领域和语言中都取得了令人瞩目的性能。大量标记数据的瓶颈限制了这些方法对低资源语言的有效性。在这项工作中,我们专注于依存句法分析的形态丰富的语言(MRL)在低资源设置。虽然形态信息是必不可少的依存句法分析任务,形态消歧和缺乏强大的分析器提出了挑战,以获得这些信息的MRL。为了应对这些挑战,我们提出了简单的辅助任务进行预训练。我们在低资源环境中对10个MRL进行实验,以测量我们提出的预训练方法的有效性,并观察到2点(UAS)和3.6点(LAS)的平均绝对增益。代码和数据可在https://github.com/jivnesh/LCM上获得
2021-04-12 cs.CL
A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives
University of Helsinki(赫尔辛基大学);Université Bretagne Sud(南布列塔尼大学)
该研究在受控环境下对比语言建模与翻译两种多语言预训练目标,发现架构决定最优预训练目标,且合适条件下多语言翻译是高效预训练目标,并公开了相关资源。
2024-10-07 cs.CL
One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers
针对多语言大模型预训练的资源约束与新语言适配难题,提出用覆盖更多语言的通用分词器提升语言可塑性,实验证明其能显著提升新语言适配胜率且对原有语言性能影响极小。
2025-06-12 cs.CL
A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
German Research Center for AI(德国人工智能研究中心);University of Copenhagen(哥本哈根大学)
现代自然语言处理(NLP)方法采用自监督预训练目标,如掩蔽语言建模,以提高各种应用程序任务的性能。这些预训练方法经常扩展为递归、对抗或语言属性掩蔽,最近还扩展为对比学习目标。对比自监督训练目标通过学习将增强图像的输入-输入对对比为相似或不相似,使最近在图像表示预训练中取得了成功。然而,在NLP中,自动创建文本输入增强仍然非常具有挑战性,因为单个令牌可以颠倒句子的含义。出于这个原因,一些对比NLP预训练方法使用来自度量学习和基于能量的模型的方法来对比输入-标签对,而不是输入-输入对。在这项调查中,我们总结了最近的自监督和监督对比NLP预训练方法,并描述了它们用于改进语言建模,少量或零样本学习,预训练数据效率和特定NLP最终任务的地方。我们介绍了关键的对比学习概念,从以前的研究和结构工程的应用和跨领域的关系。最后,我们指出了对比NLP面临的挑战和未来的发展方向,以鼓励对比NLP预训练更接近最近在图像表示预训练中取得的成功。
2021-02-25 cs.AI cs.CL cs.CV
MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学)
提出MatCha预训练框架,通过图表解构和数值推理任务增强视觉语言模型在图表数据上的联合建模能力,在标准基准上提升近20%并验证了跨领域迁移效果。
2023-05-23 cs.AI cs.CL cs.CV
PermaFrost-Attack: Stealth Pretraining Seeding(SPS) for planting Logic Landmines During LLM Training
Manipal University Jaipur(Manipal大学斋普尔);NIT, Karnataka(Karnataka理工学院);Pragya Lab, BITS Pilani Goa, India(BITS Pilani Goa印度普拉吉亚实验室);Apple, USA(美国苹果公司);Google, USA(美国谷歌公司)
本文研究了在LLM训练中通过隐蔽预训练播种(SPS)植入逻辑地雷的威胁模型,通过几何诊断方法揭示了潜藏的中毒行为,展示了SPS对基础模型的安全性影响。
2026-10-14 cs.AI cs.CL cs.LG
LLM Scheming Inversely Scales with Pretraining Language Coverage
研究前沿模型中策略规划与预训练语言覆盖范围的关系,应用Petri框架评估Qwen3-30B-A3B,发现策略规划得分与预训练语言覆盖范围成反比,低资源语言得分更高,且该影响在不同策略行为中不均一。
2026-07-29 cs.AI cs.CL
Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Department of Linguistics and Translation, City University of Hong Kong(香港城市大学语言学及翻译学系)
本文提出CLiKA框架,从性能、一致性和传导性三个层面评估大语言模型的跨语言知识对齐,发现多语言预训练和指令微调虽有帮助但效果浅层,尤其无法显著提升知识传导性。
2024-04-06 cs.CL
Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models
Microsoft Research India(微软印度研究院)
针对仅解码器大语言模型非英语语言效果有限的问题,提出基于主动遗忘的预训练策略,实现类似仅编码器模型的跨语言迁移,提升多语言表示与下游任务性能。
2025-05-21 cs.CL
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
在来自各种来源的文本上预训练的语言模型构成了当今NLP的基础。鉴于这些广泛覆盖模型的成功,我们研究了将预训练模型定制到目标任务的域是否仍然有帮助。我们提出了一项跨四个领域(生物医学和计算机科学出版物,新闻和评论)和八个分类任务的研究,表明第二阶段的预训练域(域自适应预训练)导致性能增益,在高和低资源设置。此外,即使在域自适应预训练之后,适应任务的未标记数据(任务自适应预训练)也可以提高性能。最后,我们表明,适应使用简单的数据选择策略增强的任务语料库是一种有效的选择,特别是当域自适应预训练资源可能不可用时。总的来说,我们一直发现多阶段自适应预训练在任务性能上有很大的提高。
2020-05-05 cs.CL cs.LG
Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks
Microsoft Corporation(微软公司)
语言、视觉和多模式预训练的大融合正在出现。在这项工作中,我们介绍了一个通用的多模态基础模型BEiT-3,它实现了最先进的视觉和视觉语言任务的传输性能。具体而言,我们从骨干架构、预训练任务和模型扩展三个方面推进大收敛。我们引入Multiway Transformers用于通用建模,其中模块化架构支持深度融合和特定于模态的编码。基于共享的主干,我们以统一的方式对图像(Imglish),文本(英语)和图像-文本对(“平行句子”)进行掩蔽的“语言”建模。实验结果表明,BEiT-3在目标检测(COCO)、语义分割(ADE 20 K)、图像分类(ImageNet)、视觉推理(NLVR 2)、视觉问答(VQAv 2)、图像描述(COCO)和跨模态检索(Flickr 30 K,COCO)等方面均获得了最先进的性能。
2022-08-31 cs.CL cs.CV
Multilingual Language Model Pretraining using Machine-translated Data
Centre for Artificial Intelligence, University College London(伦敦大学学院人工智能中心);Together AI;Mila, McGill University(米拉-麦吉尔大学);Research and Development Center for Large Language Models, National Institute of Informatics(国立信息学研究所大语言模型研发中心)
本文提出将高质量英文数据集FineWeb-Edu机器翻译为九语构建TransWebEdu,并预训练TransWebLLM,以更少数据在多项非英语推理任务上达到或超越现有强模型。
2025-02-18 cs.CL
LangSAMP: Language-Script Aware Multilingual Pretraining
Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑莱茵河大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));Bosch Center for Artificial Intelligence(博世人工智能中心)
提出LangSAMP方法,通过融合语言和文字嵌入增强多语言预训练,在500+语言上持续预训练XLM-R,提升零样本跨语言迁移性能,并可用于源语言选择。
2025-05-21 cs.CL
Instability of LLM Pre-Pretraining: It Doesn't Always Help. An Investigation on Multiple Languages
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院)
该研究调查了 LLM 预预训练在多语言场景下的 token 效率增益,发现其受实验设置和随机种子影响,仅在特定条件下稳定,建议部分实验需多次运行以规避不稳定方法。
2026-08-11 cs.CL