Scaling Laws for Downstream Task Performance of Large Language Models
Google Research(谷歌研究);OpenAI(开放人工智能);Stanford University(斯坦福大学)
本研究探讨了预训练数据规模和分布对齐对大语言模型下游任务性能的影响,揭示了扩展定律在迁移学习中的应用及翻译质量的预测方法。
2026-01-29 cs.CL cs.LG stat.ML
DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data
研究针对预训练数据处理未适应各示例需求的问题,提出DataOrchestra框架,统一处理操作并为每个示例编排特定管道,经实验验证该框架在多基准测试中表现良好,在数学持续预训练中有效且能减少计算。
2026-07-28 cs.AI cs.CL
CMV-BERT: Contrastive multi-vocab pretraining of BERT
在这项工作中,我们代表CMV-BERT,它通过两个成分改进了语言模型的预训练:(a)对比学习,这在计算机视觉领域得到了很好的研究;(b)多个词汇,其中一个是细粒度的,另一个是粗粒度的。这两种方法都提供了一个原始句子的不同的观点,都被证明是有益的。下游任务表明,我们提出的CMV-BERT是有效的,在改善预训练的语言模型。
2021-05-30 cs.CL
How much pretraining data do language models need to learn syntax?
Amazon AI(亚马逊AI);Pompeu Fabra University(庞培法布拉大学);Catalan Institute for Research and Advanced Studies (ICREA)(加泰罗尼亚高等研究院(ICREA))
基于transformers的预训练语言模型在许多著名的NLU基准测试中取得了出色的结果。然而,虽然预训练方法非常方便,但它们在时间和资源方面是昂贵的。这就需要研究预训练数据大小对模型知识的影响。我们探索这种影响的句法能力的RoberTa,使用模型训练的原始文本数据的增量大小。首先,我们使用语法结构探测器来确定在更多数据上预训练的模型是否编码了更大量的语法信息。其次,我们进行了有针对性的句法评估,以分析预训练数据大小对模型句法泛化性能的影响。第三,我们比较了不同模型在三个下游应用上的性能:词性标注、依存句法分析和释义识别。我们补充我们的研究与培训这些模型的成本效益权衡分析。我们的实验表明,虽然在更多数据上预训练的模型编码了更多的语法知识,并且在下游应用程序中表现得更好,但它们并不总是在不同的语法现象中提供更好的性能,并且具有更高的财务和环境成本。
2021-09-09 cs.CL
Robust Transfer Learning with Pretrained Language Models through Adapters
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
使用像BERT这样的大型预训练的基于transformer的语言模型进行迁移学习已经成为大多数NLP任务的主要方法。简单地在下游任务上微调这些大语言模型或将其与特定于任务的预训练相结合通常并不健壮。特别地,性能随着随机种子的变化或预训练和/或微调迭代的数量的变化而显著变化,并且微调的模型容易受到对抗攻击。我们提出了一种简单而有效的基于适配器的方法来缓解这些问题。具体来说,我们插入小瓶颈层(即,适配器),然后固定预训练层并在下游任务数据上训练适配器层,其中(1)任务特定的无监督预训练,然后(2)任务特定的监督训练(例如,分类、序列标记)。我们的实验表明,这样的训练方案导致改善的稳定性和对抗鲁棒性的迁移学习到各种下游任务。
2021-08-05 cs.CL
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
National Institute of Technology Trichy(特里奇国立理工学院)
基于transformer的预训练语言模型(T-PTLM)在几乎所有的NLP任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型是建立在Transformers,自监督学习和迁移学习。基于转换的PTLM使用自监督学习从大量文本数据中学习通用语言表示,并将此知识转移到下游任务。这些模型为下游任务提供了良好的背景知识,避免了从头开始训练下游模型。在这篇全面的综述论文中,我们首先简要概述了自监督学习。接下来,我们将解释各种核心概念,如预训练,预训练方法,预训练任务,嵌入和下游适应方法。接下来,我们提出了一个新的分类T-PTLM,然后简要概述了各种基准,包括内在和外在的。我们总结了各种有用的库与T-PTLM一起工作。最后,我们强调了一些未来的研究方向,这将进一步改善这些模型。我们坚信,这份全面的调查报告将作为一个很好的参考,以了解核心概念,以及保持与最近发生的T-PTLM更新。
2021-08-28 cs.CL
Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(科大讯飞研究院)
深度预训练的语言模型以先预训练再微调的方式取得了巨大的成功。但这种顺序迁移学习范式经常面临灾难性遗忘问题,导致次优性能。为了进行微调并减少遗忘,我们提出了一种回忆和学习机制,该机制采用多任务学习的思想,联合学习预训练任务和下游任务。具体来说,我们提出了一个预训练模拟机制,从没有数据的预训练任务中回忆知识,并提出了一个目标转移机制,逐步将学习集中在下游任务上。实验表明,我们的方法达到国家的最先进的性能在GLUE基准。我们的方法还使BERT-base比直接微调BERT-large获得更好的性能。此外,我们还提供了开源的RecAdam优化器,它将所提出的机制集成到Adam优化器中,以方便NLP社区。
2020-04-27 cs.CL
On the Effect of Pretraining Corpora on In-context Learning by a Large-scale Language Model
NAVER CLOVA;NAVER AI Lab(NAVER人工智能实验室);NYU(纽约大学)
最近许多关于大规模语言模型的研究报告了成功的上下文零和少样本学习能力。然而,对上下文学习何时发生的深入分析仍然缺乏。例如,不知道上下文学习的性能如何随着训练语料库的变化而变化。在这里,我们调查的来源和规模的预训练语料库的上下文学习在HyperCLOVA,韩国为中心的GPT-3模型的影响。从我们的深入调查中,我们提出以下观察结果:(1)上下文学习的性能很大程度上取决于语料库领域源,并且预训练语料库的大小不一定决定上下文学习的出现,(2)当在多个语料库的组合上训练语言模型时,上下文学习能力可以出现,即使当每个语料库本身不导致上下文学习时,(3)利用与下游任务相关的语料库进行预训练并不总是保证下游任务的竞争性上下文学习性能,特别是在Few-Shot设置中,以及(4)语言建模(以困惑度测量)和上下文学习之间的关系并不总是相关的:例如,低困惑并不总是意味着高的上下文内少样本学习性能。
2022-05-08 cs.CL
Investigating Continual Pretraining in Large Language Models: Insights and Implications
University of Tübingen(蒂宾根大学);Cohere for AI;Tübingen AI Center, University of Tübingen(蒂宾根人工智能中心,蒂宾根大学)
针对现有工作多聚焦有限下游任务或领域的持续微调问题,该研究引入新基准衡量LLMs对预训练数据变化的适应性,探究模型规模等因素的影响,发现持续预训练对小模型提升显著等关键见解,为LLMs持续学习提供新基准与评估方法。
2025-02-12 cs.CL
UT5: Pretraining Non autoregressive T5 with unrolled denoising
Google(谷歌)
针对自回归模型顺序解码瓶颈,提出UT5,通过展开去噪预训练非自回归T5,在SQuAD问题生成和XSum等下游任务取得最先进结果。
2023-11-14 cs.CL
Data Similarity is Not Enough to Explain Language Model Performance
Google Research(谷歌研究院);Cornell University(康奈尔大学)
该研究通过大规模比较Pile和C4预训练数据与下游基准,发现数据相似性度量仅与多语言任务性能相关,在其他基准中不相关,揭示预训练与下游任务关系比假设更复杂。
2023-11-15 cs.CL cs.LG
The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis
Peking University(北京大学);Tianjin University(天津大学);University of Melbourne(墨尔本大学);Multimodal Art Projection Research Community(多模态艺术投影研究社区);Fudan University(复旦大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Emory University(埃默里大学);HKUST(香港科技大学);University of Manchester(曼彻斯特大学);University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所)
本文通过比较不同规模模型预训练中间检查点的下游能力,发现特定指标动态相似,并发布复现的检查点资源,提出评估优化状态的策略以指导稳定预训练。
2024-11-06 cs.CL
Craw4LLM: Efficient Web Crawling for LLM Pretraining
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
Craw4LLM提出基于LLM预训练偏好的网页优先级调度,仅爬取21%的URL即可达到同等下游性能,显著减少爬取浪费。
2025-06-23 cs.CL
Automatic Document Selection for Efficient Encoder Pretraining
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
构建预训练的语言模型被认为是昂贵的和数据密集型的,但是我们必须增加数据集的大小来实现更好的性能吗?我们提出了一种替代较大的训练集,自动识别较小的域代表性子集。我们扩展了愤世嫉俗的数据选择,一个统计的句子评分方法的条件下,一个有代表性的目标领域语料库。作为一个例子,我们把OntoNotes语料库作为一个目标域,并从一个玩世不恭的选择子集的桩预训练一个RoberTa样的编码器。在困惑和目标域中的多个下游任务上,它的性能始终优于随机选择,数据减少20倍,训练迭代次数减少3倍,估计云计算成本减少2倍,验证了LM预训练的自动文档选择方法。
2022-10-26 cs.CL
DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学)
提出DoReMi方法,通过小型代理模型和组分布鲁棒优化生成域权重,无需下游任务知识即可优化预训练数据混合比例,显著提升大模型下游准确率并加速训练。
2023-11-21 cs.CL cs.LG
AF Adapter: Continual Pretraining for Building Chinese Biomedical Language Model
Shanghai AI Lab.(上海人工智能实验室)
提出Attention-FFN Adapter持续预训练方法,仅训练17%参数,在中文生物医学下游任务上平均提升0.6%-2%,并将灾难性遗忘缓解11%。
2023-10-20 cs.CL cs.LG
Patton: Language Model Pretraining on Text-Rich Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对文本丰富网络预训练方法缺乏的问题,提出Patton框架,通过结合网络上下文化掩码语言建模和掩码节点预测策略,捕捉文本属性与网络结构的依赖关系,在多个领域的下游任务中显著超越基线。
2023-05-20 cs.AI cs.CL cs.LG
Protoknowledge Shapes Behaviour of LLMs in Downstream Tasks: Memorization and Generalization with Knowledge Graphs
Human-centric ART, University of Rome Tor Vergata(罗马托维加塔大学人本艺术研究中心);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出原型知识概念,分类为词汇、层次和拓扑形式,通过知识激活任务度量,并研究其对文本到SPARQL性能的影响,为探索语义级数据污染提供实用工具。
2025-05-21 cs.AI cs.CL
Weight Decay Improves Language Model Plasticity
Broad Institute, Schmidt Center(Broad研究所,Schmidt中心);University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);Harvard University(哈佛大学)
本文通过系统实验表明,预训练中较大的权重衰减能提高模型的可塑性,使微调后下游性能更优,并揭示了其促进线性可分表示、正则化注意力矩阵和减少过拟合的机制。
2026-05-28 cs.AI cs.CL cs.LG
Rethinking the Role of Text Complexity in Language Model Pretraining
Samsung R&D Institute Philippines(三星菲律宾研发中心)
该研究探究文本复杂度对语言模型的影响,通过在原始与简化文本上预训练不同规模的因果模型并评估,发现模型容量与文本复杂度的交互影响困惑度,且不同复杂度文本适配不同下游任务,为数据定制筛选提供了参考。
2025-10-04 cs.AI cs.CL
Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training
Apple(苹果公司)
本文提出直接框架建模LLM训练预算与下游任务性能的缩放关系,发现幂律可准确描述log准确率,且优于传统两阶段方法。
2025-12-09 cs.AI cs.CL cs.LG
Deep Bidirectional Language-Knowledge Graph Pretraining
Stanford University(斯坦福大学);EPFL(洛桑联邦理工学院)
在文本上预训练语言模型(LM)已被证明有助于各种下游NLP任务。最近的工作表明,知识图谱(KG)可以补充文本数据,提供结构化的背景知识,为推理提供了一个有用的支架。然而,这些作品没有预先训练来学习两种模式的深度融合,限制了获得文本和KG的完全联合表示的潜力。在这里,我们提出了DRAGON(Deep Bidirectional Language-知识图谱预训练),这是一种自监督的方法,可以从文本和KG中预训练深度联合的语言知识基础模型。具体来说,我们的模型将成对的文本片段和相关的KG子图作为输入,并双向融合来自两种模式的信息。我们通过统一两个自监督推理任务来预训练该模型,掩蔽语言建模和KG链接预测。DRAGON在各种下游任务(包括通用和生物医学领域的问答)上优于现有的LM和LM + KG模型,平均绝对增益为+5%。特别是,DRAGON在关于语言和知识的复杂推理(在涉及长上下文或多步推理的问题上+10%)和低资源QA(在OBQA和RiddleSense上+8%)方面取得了显着的性能,并在各种BioNLP任务上取得了最新的成果。我们的代码和训练模型可以在www.example.com上找到。
2022-10-19 cs.AI cs.CL cs.LG
Guiding Pretraining in Reinforcement Learning with Large Language Models
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院);Inria(法国国家信息与自动化研究所)
本文提出 ELLM 方法,利用大型语言模型的背景知识为强化学习智能体提供目标奖励,从而在无需人类参与的情况下改善预训练阶段的探索效率,并在下游任务中保持或提升性能。
2023-09-15 cs.AI cs.CL cs.LG
CodeBPE: Investigating Subtokenization Options for Large Language Model Pretraining on Source Code
HSE University(高等经济大学);Naver Labs Europe(Naver欧洲实验室);University of Amsterdam(阿姆斯特丹大学)
本研究探究源代码大型语言模型预训练中不同子词切分选项的影响,提出一种结合代码特性的子词切分方法,在将平均长度缩短17%且不降低下游性能的同时,还可通过优化切分使质量提升0.5-2%。
2023-08-01 cs.CL cs.LG cs.SE
Output Embedding Centering for Stable LLM Pretraining
AI Sweden
本文提出输出嵌入中心化(OEC)方法,通过分析输出嵌入几何特性,解决预训练中的输出logit发散问题,提升训练稳定性。
2026-09-11 cs.AI cs.CL cs.LG
A Comparative Study of Pretrained Language Models on Thai Social Text Categorization
Chulalongkorn University(朱拉隆功大学)
社交媒体上用户生成内容的数据量不断增长,即使在资源稀缺的语言中,也提供了几乎无限的未标记数据语料库。在本文中,我们证明了两个泰国社会文本分类任务的最先进的结果,可以实现预训练语言模型上的一个大的嘈杂的泰国社会媒体语料库超过12.6亿令牌,后来微调的下游分类任务。由于内容的语言噪音和特定领域的性质,我们为泰国社交媒体设计的独特数据预处理步骤被用来简化模型的训练理解。我们比较了四种现代语言模型:ULMFiT、ELMo与biLSTM、OpenAI GPT和BERT。我们系统地比较了不同维度的模型,包括预训练和微调的速度,困惑,下游分类基准以及有限预训练数据的性能。
2019-12-17 cs.CL cs.LG stat.ML
Continued Pretraining of FinBERT on Finnish Histopathological Reports: Train-Time Signals and Proxy Downstream Correlations
Digital Workforce Services(数字劳动力服务);Heart and Lung Center, Helsinki University Hospital(赫尔辛基大学医院心脏和肺中心);Central Finland Biobank(中央芬兰生物库);Wellbeing Services County of Central Finland(中央芬兰县福祉服务)
本文探讨了在芬兰医疗文本上微调FinBERT模型的观察结果,并分析了通过观察嵌入变化几何结构预测领域特定预训练效益的方法。
2026-09-25 cs.CL
Meta-learning for downstream aware and agnostic pretraining
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能研究院);National Taiwan University(台湾大学)
神经网络预训练由于其在自然语言处理应用中的突出表现而受到关注。然而,预训练通常利用预定义的任务序列来学习一般的语言线索。在预训练过程中缺乏选择适当任务的机制,使得学习和知识编码效率低下。因此,我们建议使用元学习来选择在每一集预训练中提供最多信息的学习信号的任务。通过所提出的方法,我们的目标是在保持性能的同时,为预训练过程和生成的网络实现更好的计算和内存使用效率。在这项初步工作中,我们讨论了该方法的算法及其两个变体,下游感知和下游不可知的预训练。最后,本文也对实验计划进行了总结,并将实验结果与我们今后的工作进行分享.
2021-06-06 cs.AI cs.CL
Downstream Datasets Make Surprisingly Good Pretraining Corpora
Carnegie Mellon University(卡内基梅隆大学)
本文通过大规模自预训练实验证明,使用下游数据同时进行预训练和微调可在多个分类及结构化预测任务上媲美甚至超越BookWiki标准预训练,表明预训练目标本身而非海量外部数据是性能提升的关键。
2023-05-26 cs.CL cs.LG
From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Xi’an Jiaotong University(西安交通大学)
本文提出新方法测量预训练语言模型中的政治偏见及其对下游仇恨言论和错误信息检测任务公平性的影响,发现预训练数据中的政治偏见会通过语言模型传播到下游任务,强化极化并导致不公平的NLP模型。
2023-07-06 cs.CL
Are we pretraining it right? Digging deeper into visio-linguistic pretraining
Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
最近的许多工作都提出了预训练通用的非语言表征,然后对它们进行微调,以用于下游的视觉和语言任务。虽然架构和目标函数的设计选择受到了关注,但预训练数据集的选择却很少受到关注。在这项工作中,我们的问题,在文学的一些默认的选择。例如,我们系统地研究了预训练数据集域(文本和视觉)与下游域之间的不同相似性如何影响性能。令人惊讶的是,我们表明,自动生成的数据在一个域更接近下游任务(例如,VQA v2)是比“自然”数据更好的预训练选择,但域略有不同(例如,概念字幕)。另一方面,一些看似合理的预训练数据集的选择被发现对一些下游任务完全无效。这表明,尽管最近做出了许多努力,但视觉和语言预训练还没有完全“开箱即用”。总的来说,作为我们研究的副产品,我们发现预训练中的简单设计选择可以帮助我们在下游任务中实现接近最先进的结果,而无需任何架构更改。
2020-04-19 cs.CL cs.CV
BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model
Tsinghua University(清华大学);International Digital Economy Academy(国际数字经济研究院)
预训练语言模型是自然语言处理的重要基础。最近,域内预训练已被证明有利于各种特定领域的下游任务。在生物医学领域,自然语言生成(NLG)任务是至关重要的,但研究不足。自然语言理解通过约束语言生成或语言提示在一般领域中实现令人满意的性能。我们强调,缺乏领域内的生成语言模型和非系统的生成下游基准在生物医学领域,阻碍了研究社区的发展。在这项工作中,我们介绍了生成语言模型BioBART适应BART的生物医学领域。我们整理了各种生物医学语言生成任务,包括对话,摘要,实体链接,和命名实体识别。与BART相比,在PubMed摘要上预训练的BioBART提高了性能,并在几项任务上设置了强大的基线。此外,我们对BioBART的预训练任务进行了消融研究,发现句子排列对下游任务有负面影响。
2022-04-22 cs.CL
How does the task complexity of masked pretraining objectives affect downstream performance?
Hitachi, Ltd.(日立制作所);Hitachi America Ltd.(日立美国有限公司)
本文探究掩码预训练目标的任务复杂度对下游性能的影响,发现更复杂的掩码目标能取得更好的下游结果,且至少需达到 MLM 一半的复杂度才能与之相当。
2023-05-18 cs.AI cs.CL
Good Pretraining, Bad SFT: Checkpoint Quality Across the Training Stack
Aleph Alpha(阿莱夫阿尔法)
本文发现,在30B混合专家训练中,预训练损失或基准分数最高的检查点并非后续训练的最佳起点,而解密度更高的检查点在下游训练后表现更优。
2026-09-09 cs.AI cs.CL
Does Pretraining Teach Chemical Language Models Chemistry?
Harvard University(哈佛大学)
该研究在64个分子属性预测数据集上系统评估化学语言模型(CLMs)的预训练效果,发现其预训练增益不随规模扩大而提升,仅基于传统物理化学描述符的监督式预训练可稳定提升性能,且CLMs仅学到少量额外化学知识。
2026-10-15 cs.CL cs.LG physics.chem-ph
WangchanBERTa: Pretraining transformer-based Thai Language Models
School of Information Science and Technology, Vidyasirimedhi Institution of Science and Technology(威集玛迪科学技术大学信息科学技术学院);PyThaiNLP
基于transformer的语言模型,更具体地说,基于BERT的体系结构在许多下游任务中实现了最先进的性能。然而,对于相对低资源的语言(如泰语),模型的选择仅限于基于小得多的数据集训练基于BERT的模型或微调多语言模型,这两种模型都会产生次优的下游性能。此外,大规模的多语言预训练没有考虑到泰语的语言特定功能。为了克服这些限制,我们基于RoberTa-base架构在一个大型的,消除重复的,清洁的训练集(总大小为78 GB)上预训练语言模型,该训练集来自社交媒体帖子,新闻文章和其他公开可用的数据集的不同领域。我们应用特定于泰语的文本处理规则,最重要的是保留空格,这是在子词标记化之前泰语中的重要块和句子边界。我们还使用较小的数据集进行了单词级,音节级和SentencePiece标记化的实验,以探索标记化对下游性能的影响。我们在78.5GB数据集上训练的模型wangchanberta-base-att-spm-uncased在人类注释的单语言环境中的序列分类和令牌分类任务上都优于强基线(NBSVM,CRF和ULMFit)和多语言模型(XLMR和mBERT)。
2021-03-20 cs.CL
Medical Vision Language Pretraining: A survey
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII));Rochester Institute of Technology(罗切斯特理工学院);University of Aberdeen(阿伯丁大学)
本文综述医学视觉语言预训练,从预训练目标、架构、下游任务与数据集梳理现有工作,并分析挑战、解决方案及未来方向。
2023-12-11 cs.CL cs.CV
Difference-Masking: Choosing What to Mask in Continued Pretraining
Carnegie Mellon University(卡内基梅隆大学)
针对持续预训练中随机掩码的局限,提出 Difference-Masking 策略,通过考量任务领域与预训练领域的差异自动选择掩码内容,在四个纯语言和多模态视频任务上显著优于基线。
2023-10-17 cs.CL cs.LG
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data
University of Washington(华盛顿大学)
大型预训练的语言模型通过提示在各种下游任务中表现得越来越好。然而,目前还不清楚模型从哪里学习特定于任务的知识,特别是在zero-shot设置中。在这项工作中,我们希望从预训练中找到模型特定于任务的能力的证据,并且特别感兴趣的是定位一个非常小的预训练数据子集,这些数据直接支持任务中的模型。我们呼吁这样一个子集支持数据证据,并提出了一种新的方法ORCA有效地识别它,通过迭代使用梯度信息相关的下游任务。这个支持数据证据提供了关于提示语言模型的有趣见解:在情感分析和文本蕴涵的任务中,BERT显示出对BookCorpus的大量依赖,这是BERT的两个预训练语料库中较小的语料库,以及预训练示例,这些示例掩盖了任务动词的同义词。
2022-05-25 cs.CL cs.LG
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation and Understanding
China University of Petroleum (East China)(中国石油大学(华东));JD Explore Academy(京东探索研究院)
对于多语言序列到序列预训练语言模型在多语言Seq 2Seq PLM(多语言Seq 2Seq PLM),例如mBART中,自监督预训练任务在广泛的单语语言上训练,例如来自CommonCrawl的25种语言,而下游跨语言任务通常在双语语言子集上进行,例如英语-德语,使得存在数据差异,即域差异,在预训练阶段和微调阶段存在跨语言学习目标差异,即任务差异。为了弥合上述跨语言领域和任务的差距,我们扩展了vanilla pretrain-finetune管道,增加了额外的代码切换恢复任务。具体而言,第一阶段采用自监督代码切换恢复任务作为借口任务,允许多语言Seq 2Seq PLM获取一些域内对齐信息。在第二阶段,我们通常对下游数据进行模型微调。NLG评估(12个双语翻译任务,30个zero-shot翻译任务和2个跨语言摘要任务)和NLU评估(7个跨语言自然语言推理任务)的实验表明,我们的模型始终优于采用标准微调策略的强基线mBART。分析表明,我们的方法可以缩小跨语言句子表示的欧氏距离,并提高模型的泛化能力与微小的计算成本。我们在https://github.com/zanchangtong/CSR4mBART上发布代码。
2022-09-21 cs.CL
Unleashing the Power of Neural Discourse Parsers -- A Context and Structure Aware Approach Using Large Scale Pretraining
University of British Columbia(不列颠哥伦比亚大学)
基于RST的语篇分析是一项重要的自然语言处理任务,具有许多下游应用,如摘要,机器翻译和意见挖掘。在本文中,我们展示了一个简单的,但高度准确的话语分析器,结合最近的上下文语言模型。我们的解析器建立了新的国家的最先进的(SOTA)性能预测的结构和核的两个关键数据集,RST-DT和Instr-DT。我们进一步证明,预训练我们的解析器上最近可用的大规模“银标准”话语树库MEGA-DT提供更大的性能优势,这表明在话语分析领域的一个新的和有前途的研究方向。
2020-11-06 cs.CL
Variational Pretraining for Semi-supervised Text Classification
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了VAMPIRE,一个轻量级的预训练框架,用于在数据和计算资源有限的情况下进行有效的文本分类。我们预训练一个unigram文档模型作为域内未标记数据的变分自编码器,并使用其内部状态作为下游分类器的特征。从经验上讲,我们显示了VAMPIRE对计算昂贵的上下文嵌入和低资源设置下的其他流行的半监督基线的相对强度。我们还发现,在有限的监督下工作时,对域内数据进行微调对于从上下文嵌入中获得良好的性能至关重要。我们在本文中附带了预训练代码,并在下游任务中使用VAMPIRE嵌入。
2019-06-05 cs.CL cs.LG
Token Dropping for Efficient BERT Pretraining
Google(谷歌);New York University(纽约大学);University of Maryland, College Park(马里兰大学帕克分校)
基于转换器的模型通常为给定序列中的每个令牌分配相同的计算量。我们开发了一种简单但有效的“令牌丢弃”方法来加速Transformer模型(如BERT)的预训练,而不会降低其在下游任务上的性能。简而言之,我们从模型的中间层开始丢弃不重要的标记,使模型专注于重要的标记;丢弃的标记稍后由模型的最后一层拾取,以便模型仍然产生全长序列。我们利用已经内置的掩码语言建模(MLM)损失来识别不重要的令牌,几乎没有计算开销。在我们的实验中,这种简单的方法将BERT的预训练成本降低了25%,同时在标准下游任务上实现了类似的整体微调性能。
2022-03-24 cs.CL cs.LG
Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning
Indiana University Bloomington(印第安纳大学伯明顿分校);Alibaba Group(阿里巴巴集团)
多角色对话理解包括各种各样的任务,如问答,行为分类,对话摘要等,而对话语料库是丰富的,标记的数据,为特定的学习任务,可以是非常稀缺和昂贵的。在这项工作中,我们研究了对话上下文表示学习与各种类型的无监督的预训练任务,其中的训练目标是自然地根据话语的性质和结构的多角色会话。同时,为了定位对话摘要/提取的必要信息,预训练过程使外部知识集成。通过三个不同的对话数据集以及一些下游对话挖掘任务,对所提出的微调预训练机制进行了全面评估。结果表明,所提出的预训练机制显着有助于所有的下游任务没有歧视不同的编码器。
2020-02-27 cs.CL cs.LG stat.ML
Improving In-Context Few-Shot Learning via Self-Supervised Training
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta AI
自我监督的预训练使少样本学习成为许多NLP任务的可能。但是预训练目标通常并不特别适用于上下文少样本学习。在本文中,我们建议在预训练和下游Few-Shot使用之间的中间训练阶段使用自我监督,目的是教模型执行上下文内的少样本学习。我们提出了四个自我监督的目标,并评估两个基准。我们发现,中间的自我监督阶段产生的模型,优于强基线。烧蚀研究表明,有几个因素影响下游的性能,如训练数据的数量和自我监督目标的多样性。人类注释的跨任务监督和自我监督是互补的。定性分析表明,自我监督训练的模型更好地遵循任务要求。
2022-06-06 cs.CL
A Balanced Data Approach for Evaluating Cross-Lingual Transfer: Mapping the Linguistic Blood Bank
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Charles University in Prague(布拉格查理大学)
我们表明,预训练语言的选择影响下游跨语言迁移的BERT模型。我们在平衡数据条件下检查zero-shot性能以减轻数据大小混淆,将提高下游性能的预训练语言分类为捐助者,并将zero-shot性能提高的语言分类为接受者。我们开发了一种在语言数量上具有二次时间复杂度的方法来估计这些关系,而不是对所有可能的组合进行指数穷举计算。我们发现,我们的方法是有效的一组不同的语言跨越不同的语言特征和两个下游任务。我们的研究结果可以为大规模多语言语言模型的开发人员提供更好的预训练配置。
2022-05-09 cs.AI cs.CL
IGOT: Information Gain Optimized Tokenizer on Domain Adaptive Pretraining
Tsinghua University(清华大学)
针对大语言模型领域适配缺乏通用范式的问题,提出信息增益优化分词器IGOT,通过构建领域特定分词器开展持续预训练,有效提升训练效率与领域任务收敛表现。
2024-05-16 cs.AI cs.CL
No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance
Tübingen AI Center(蒂宾根人工智能中心);University of Tübingen(蒂宾根大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学)
该研究探究多模态模型下游性能与预训练概念频率的关系,发现其需指数级数据才能实现线性性能提升,长尾表现差,质疑现有“零样本”泛化的真实性并贡献了相关基准。
2024-10-29 cs.CL cs.CV cs.LG
ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction
University of Toronto(多伦多大学);Reverie Labs;DeepChem
GNN和化学指纹是代表分子进行属性预测的主要方法。然而,在NLP中,由于其强大的下游任务转移,Transformers已经成为表示学习的事实标准。与此同时,围绕Transformers的软件生态系统正在迅速成熟,HuggingFace和BertViz等库可以简化培训和自省。在这项工作中,我们首次尝试通过我们的ChemBERTa模型系统地评估Transformers器对分子性质预测任务的影响。ChemBERTa可以很好地扩展预训练数据集的大小,在MoleculeNet上提供有竞争力的下游性能和有用的基于注意力的可视化模式。我们的研究结果表明,Transformers提供了一个有前途的途径,未来的工作,分子表示学习和属性预测。为了促进这些努力,我们从PubChem发布了一个适合大规模自我监督预训练的77M SMILES的策划数据集。
2020-10-23 cs.CL cs.LG physics.chem-ph
Understanding the Downstream Instability of Word Embeddings
Stanford University(斯坦福大学);SambaNova Systems(桑巴诺瓦系统公司)
许多工业机器学习(ML)系统需要频繁的再培训,以跟上不断变化的数据。这种再训练加剧了ML系统今天面临的一个巨大挑战:模型训练不稳定,即,训练数据中的小的变化可以引起模型预测中的显著变化。在本文中,我们致力于深入了解这种不稳定性,重点关注现代自然语言处理(NLP)管道的核心构建块-预训练的词嵌入-如何影响下游NLP模型的不稳定性。我们首先经验性地揭示了稳定性和内存之间的权衡:将嵌入内存增加2倍可以将由于训练数据的微小变化而导致的预测不一致减少5%至37%(相对)。为了从理论上解释这种权衡,我们引入了一个新的嵌入不稳定性的措施-本征空间不稳定性措施-我们证明界的下游预测的变化引入的词嵌入的分歧。实际上,我们证明了特征空间不稳定性测度可以是一种具有成本效益的方法来选择嵌入参数,以最大限度地减少不稳定性,而无需训练下游模型,优于其他嵌入距离测度,并与基于最近邻的测度竞争。最后,我们证明了所观察到的稳定性-记忆权衡也扩展到其他类型的嵌入,包括知识图谱和上下文词嵌入。
2020-02-29 cs.CL cs.LG stat.ML
Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
Department of Computer Science, Stellenbosch University(斯瓦茨堡大学计算机科学系)
本文研究了在低资源NLP中预训练时应用BPE Dropout对下游性能的影响,发现随机分词在预训练和微调时均优于仅在微调时应用,尤其在数据较少时表现更佳。
2026-05-13 cs.CL cs.LG
Lifelong Language Pretraining with Distribution-Specialized Experts
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
针对语言模型在持续学习中面临的灾难性遗忘问题,提出可动态增加专家容量的Lifelong-MoE架构,在保持计算成本不变的前提下,有效适应数据分布偏移并保留旧知识,在19个下游NLP任务中取得更优的少样本性能。
2023-05-20 cs.CL cs.LG
DeVLBert: Learning Deconfounded Visio-Linguistic Representations
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学);Alibaba Group(阿里巴巴集团)
在本文中,我们建议研究域外语言预训练的问题,其中预训练数据分布与预训练模型将被微调的下游数据的分布不同。现有的方法对于这个问题是纯粹的可能性为基础的,导致虚假的相关性和伤害的泛化能力时,转移到域外的下游任务。所谓虚假相关,我们的意思是一个标记(对象或单词)给定另一个标记的条件概率可能很高(由于数据集偏差),而它们之间没有鲁棒的(因果)关系。为了减轻这种数据集偏差,我们提出了一个Deconfounded Visio-Linguistic BERT框架,简称为DeVLBert,以执行基于干预的学习。我们借用了因果关系研究领域的后门调整的思想,并提出了几种基于神经网络的架构,用于伯特式的域外预训练。在三个下游任务,图像检索(IR),Zero-shot IR,和视觉问答的定量结果,通过提高泛化能力的DeVLBert的有效性。
2020-10-02 cs.CL cs.CV
To Pretrain or Not to Pretrain: Examining the Benefits of Pretraining on Resource Rich Tasks
Faceboook AI(脸书人工智能实验室)
使用Masked语言模型(MLM)目标的变体预训练NLP模型最近在许多任务上都有了显着的改进。本文研究了预训练模型作为下游任务中使用的训练样本数量的函数的好处。在几个文本分类任务中,我们发现,随着训练样本的数量增长到数百万,微调基于BERT的模型和从头开始训练普通LSTM之间的准确率差距缩小到1%以内。我们的研究结果表明,基于MLM的模型可能会达到一个收益递减点,因为监督数据的大小显着增加。
2020-06-15 cs.CL cs.LG stat.ML