Large Batch Optimization for Deep Learning: Training BERT in 76 minutes
Google Brain（谷歌大脑）；Google（谷歌）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
在海量数据集上训练大型深度神经网络在计算上非常具有挑战性。最近，人们对使用大批量随机优化方法来解决这个问题的兴趣激增。在这一研究领域最突出的算法是LARS，它通过采用分层自适应学习率，在几分钟内在ImageNet上训练ResNet。然而，LARS对于像BERT这样的注意力模型表现不佳，这表明它的性能增益在不同任务之间并不一致。在本文中，我们首先研究了一种原则性的分层自适应策略，以加速使用大型小批量的深度神经网络的训练。使用这种策略，我们开发了一种新的分层自适应大批量优化技术，称为LAMB，然后我们提供LAMB以及LARS的收敛性分析，显示收敛到一个固定点在一般的非凸设置。我们的实证结果证明了LAMB在各种任务（如BERT和ResNet-50训练）中的卓越性能，并且几乎没有超参数调整。特别是，对于BERT训练，我们的优化器可以使用32868的超大批量，而不会降低性能。通过将批量大小增加到TPUv 3 Pod的内存限制，BERT训练时间可以从3天缩短到76分钟（表1）。LAMB实现可在https://github.com/tensorflow/addons/blob/master/tensorflow_addons/optimizers/lamb.py上获得
2020-01-03 cs.AI cs.CL cs.LG
KoreALBERT: Pretraining a Lite BERT Model for Korean Language Understanding
Samsung SDS（三星SDS）
Lite BERT（ALBERT）已经被引入以扩展用于自然语言的深度双向表示学习。由于缺乏针对韩语的预训练的ALBERT模型，最佳实践是多语言模型或诉诸于任何其他基于BERT的模型。在本文中，我们开发和预训练KoreALBERT，一个单语ALBERT模型，专门为韩国语言理解。我们引入了一个新的训练目标，即词序预测（WOP），并与现有的MLM和SOP标准一起使用相同的架构和模型参数。尽管模型参数明显较少（因此，训练更快），但我们预先训练的KoreAL BERT在6个不同的NLU任务上优于其BERT对应物。与Lan等人的英语经验结果一致，KoreALBERT似乎可以提高涉及韩语多句编码的下游任务性能。预先训练的KoreALBERT是公开的，以鼓励韩国NLP的研究和应用开发。
2021-01-27 cs.CL cs.LG
How to Train BERT with an Academic Budget
Intel Labs（英特尔实验室）；Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）
虽然大语言模型BERT在NLP中无处不在，但对它们进行预训练被认为是一种奢侈，只有少数资金充足的行业实验室才能负担得起。如何用更少的预算来训练这样的模特呢？我们提出了一个使用单个低端深度学习服务器在24小时内预训练掩蔽语言模型的方法。我们证明，通过软件优化，设计选择和超参数调整的组合，可以以原始预训练成本的一小部分产生与BERT-基于GLUE任务竞争的模型。
2021-09-09 cs.AI cs.CL cs.LG
Bootstrapped Masked Autoencoders for Vision BERT Pretraining
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了自举掩码自编码器（BootMAE），一种新的方法，视觉BERT预训练。BootMAE通过两个核心设计改进了原始的掩码自编码器（MAE）：1）动量编码器，提供在线特征作为额外的BERT预测目标; 2）目标感知解码器，试图减少编码器在BERT预训练中记忆目标特定信息的压力。第一种设计的动机是观察到使用预训练的MAE提取特征作为掩码令牌的BERT预测目标可以实现更好的预训练性能。因此，我们添加了一个与原始MAE编码器并行的动量编码器，它通过使用自己的表示作为BERT预测目标来提升预训练性能。在第二种设计中，我们引入目标特定信息（例如，未掩蔽的块的像素值）直接从编码器传送到解码器，以减少存储目标特定信息的编码器上的压力。因此，编码器专注于语义建模，这是BERT预训练的目标，并且不需要浪费其容量来记忆与预测目标相关的未屏蔽令牌的信息。通过大量的实验，我们的BootMAE在具有ViT-B主干的ImageNet-1 K上达到了$84.2\%$ Top-1的准确率，在相同的预训练时期下，比MAE高出$+0.8\%$。BootMAE还在ADE 20 K上的语义分割方面获得了$+1.0$ mIoU改进，并在COCO数据集上的目标检测和分割方面获得了$+1.3$ box AP、$+1.4$ mask AP改进。代码发布于https://github.com/LightDXY/BootMAE。
2022-07-14 cs.CV cs.LG
Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech
Lehrstuhl für Data Science（数据科学讲席教授组）
自然语言处理的最新发展导致了最先进的神经语言模型的引入，该模型支持无监督可转移学习，使用不同的预训练目标。虽然这些模型在下游NLP任务上取得了优异的结果，但各种领域自适应技术可以提高它们在特定领域任务上的性能。我们比较和分析了预训练的神经语言模型，XLNet（自回归）和BERT（自动编码器）。结果表明，XLNet模型在我们的法律意见分类的序列分类任务上表现更好，而BERT在NER任务上产生更好的结果。我们使用特定于领域的预训练和额外的法律词汇来使BERT模型进一步适应法律领域。我们准备了BERT模型的多种变体，使用两种方法及其组合。比较我们的变体的BERT模型，专门在法律领域，我们的结论是，额外的预训练和词汇技术提高了BERT模型的法律意见分类任务的性能。额外的法律词汇提高了BERT在NER任务上的表现。结合预训练和词汇技术进一步提高了最终结果。我们的Legal-Vocab-BERT模型在法律意见任务上给出了最好的结果，优于较大的预训练通用语言模型，即，BERT-Base和XLNet-Base。
2021-03-12 cs.CL cs.LG
Multi-node Bert-pretraining: Cost-efficient Approach
University of Toronto（多伦多大学）；Vector Institute（向量研究院）
最近，大规模基于transformer的语言模型，如BERT，GPT-2和XLNet，为许多自然语言处理（NLP）任务带来了令人兴奋的飞跃。这些最新模型中的一个共同趋势是模型复杂性的显着增加，这引入了更多的权重和计算。此外，随着大规模无监督数据集的出现，由于单个训练时期内数据样本量的增加，训练时间进一步延长。因此，为了在合理的时间内训练这些模型，机器学习（ML）程序员通常需要高级硬件设置，例如支持GPU的高级NVIDIA DGX工作站或专用加速器，例如Google的TPU Pods。我们的工作解决了这一限制，并证明了通过仔细的算法和软件优化，BERT预训练模型可以在2周内在学术规模的广泛可用的GPU集群上训练。在本文中，我们提出了这些优化如何提高单个设备的训练吞吐量，分布在多个节点和GPU的训练工作量，并克服了大量的数据交换通过网络引入的通信瓶颈。我们表明，我们能够在合理的时间预算（12天）内在学术环境中对BERT进行预训练，但与之前基于NVIDIA DGX机器或Google TPU Pods的工业环境相比，硬件资源要求要便宜得多。
2020-08-01 cs.CL cs.LG stat.ML
Improving BERT Pretraining with Syntactic Supervision
University of Groningen（格罗宁根大学）；Utrecht Institute of Linguistics OTS, Utrecht University（乌得勒支大学乌得勒支语言学研究所OTS）
双向蒙面Transformers已经成为当前NLP领域的核心主题。尽管它们的基准令人印象深刻，但最近研究中反复出现的一个主题是质疑这些模型的句法泛化能力。在这项工作中，我们试图通过在标准的无监督预训练中添加一个有监督的标记级超级标记目标来解决这个问题，从而能够将句法偏差明确地纳入网络的训练动态中。我们的方法是简单的实现，诱导边际计算开销，是一般足以适应各种设置。我们应用我们的方法论拉稀大，一个自动注释语料库的书面荷兰语。我们的实验表明，尽管Lassy Large比常用的语料库小一个数量级，但我们的语法感知模型的性能与既定的基线相当。
2021-04-21 cs.CL cs.LG
Large-Scale Differentially Private BERT
Google Research（谷歌研究院）；Google Inc（谷歌公司）
在这项工作中，我们研究了BERT-Large的大规模预训练与差分私有SGD（DP-SGD）。我们表明，结合仔细的实现，将批量大小扩展到数百万（即，mega-batches）改进了BERT的DP-SGD步骤的效用;我们还通过使用增加批量大小的时间表来提高其效率。我们的实现建立在[SVK 20]最近的工作基础上，他证明了通过有效使用JAX [BFH+18，FJL 18]原语以及XLA编译器[XLA 17]，DP-SGD步骤的开销最小化。我们的实现实现达到了一个掩蔽的语言模型准确率为60.5%，在一个批量大小为2 M，为$ε= 5.36$。为了正确地看待这个数字，非私有BERT模型实现了$\sim$ 70%的准确性。
2021-08-03 cs.CL cs.CR cs.LG
MosaicBERT: A Bidirectional Encoder Optimized for Fast Pretraining
MosaicML；Databricks
MosaicBERT通过融合FlashAttention、ALiBi、GLU等高效模块并优化训练方案，在保持GLUE得分79.6的同时将BERT预训练成本降至约20美元，实现快速且帕累托最优的预训练。
2024-01-16 cs.CL cs.LG
MMBERT: Multimodal BERT Pretraining for Improved Medical VQA
IIIT Hyderabad（海得拉巴国际信息技术学院）
医学领域的图像与一般领域的图像有着本质的不同。因此，它是不可行的，直接采用一般领域的视觉问答（VQA）模型的医疗领域。此外，医学图像注释是一个昂贵且耗时的过程。为了克服这些限制，我们提出了一个解决方案，灵感来自于对NLP，Vision和语言任务的Transformer风格架构的自我监督预训练。我们的方法涉及学习更丰富的医学图像和文本的语义表示使用掩码语言建模（MLM）与图像特征作为借口任务的大型医学图像+字幕数据集。该解决方案在两个放射学图像VQA数据集（VQA-Med 2019和VQA-RAD）上实现了新的最先进性能，甚至优于以前最佳解决方案的集成模型。此外，我们的解决方案提供了注意力地图，有助于模型的可解释性。代码可在https://github.com/VirajBagal/MMBERT上获得
2021-04-03 cs.CL cs.CV cs.LG
IsoBN: Fine-Tuning BERT with Isotropic Batch Normalization
University of Southern California（南加州大学）
微调预训练语言模型（PTLM），如BERT及其更好的变体RoBERTa，已经成为提高自然语言理解（NLU）任务性能的常见做法。表示学习的最新进展表明，各向同性（即，单位方差和不相关）嵌入可以显著提高下游任务的性能，具有更快的收敛和更好的泛化。然而，PTLM中预先训练的嵌入的各向同性相对未被探索。在本文中，我们通过直观的可视化分析了PTLM的预训练[CLS]嵌入的各向同性，并指出了两个主要问题：标准差的高方差和不同维度之间的高相关性。我们还提出了一种新的网络正则化方法，各向同性批量归一化（IsoBN）来解决这个问题，通过动态惩罚主导主成分来学习更多的各向同性表示。这种简单而有效的微调方法在七个NLU任务的平均值上产生约1.0的绝对增量。
2021-02-04 cs.CL cs.LG
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
已经存在各种类型的预训练架构，包括自动编码模型（例如，BERT）、自回归模型（例如，GPT）和编码器-解码器模型（例如，T5）。然而，没有一个预训练框架在三个主要类别的所有任务中表现最好，包括自然语言理解（NLU），无条件生成和条件生成。我们提出了一个通用的语言模型（GLM）的基础上自回归空白填充，以解决这一挑战。GLM通过添加2D位置编码并允许任意顺序预测跨度来改进空白填充预训练，从而在NLU任务上获得超过BERT和T5的性能增益。同时，GLM可以通过改变空格的数量和长度来针对不同类型的任务进行预训练。在NLU、条件和无条件生成的各种任务上，GLM在给定相同模型大小和数据的情况下优于BERT、T5和GPT，并且在单个预训练模型中实现了最佳性能，其中参数为BERT Large的1.25倍，证明了其对不同下游任务的可推广性。
2022-03-17 cs.AI cs.CL cs.LG
Is BERT Blind? Exploring the Effect of Vision-and-Language Pretraining on Visual Language Understanding
Tel Aviv University（特拉维夫大学）
该研究提出VLU任务集与Stroop零样本探测法，验证了视觉-语言预训练能让文本编码器获得视觉推理能力，在隐含视觉推理的纯文本任务中表现更优，为多模态学习中文本编码器的选择提供参考。
2023-11-02 cs.CL cs.CV cs.LG
Frustratingly Simple Pretraining Alternatives to Masked Language Modeling
Hitachi, Ltd.（日立制作所）；University of Sheffield（谢菲尔德大学）
掩蔽语言模型（MLM）是一种自监督的预训练目标，广泛应用于自然语言处理中学习文本表示。MLM训练一个模型来预测输入标记的随机样本，这些标记在整个词汇表的多类设置中被[MASK]占位符替换。在预训练时，通常在标记或序列级别上使用MLM其他辅助目标来提高下游性能（例如下一句预测）。然而，到目前为止，还没有以前的工作试图在检查是否其他简单的语言直观的目标可以单独作为主要的预训练目标。在本文中，我们探索了五个简单的预训练目标的基础上标记级分类任务的MLM的替代品。在GLUE和SQuAD上的实验结果表明，我们提出的方法使用BERT-BASE架构实现了与MLM相当或更好的性能。我们使用更小的模型进一步验证了我们的方法，结果表明，使用BERT-BASE的41%参数预训练模型，BERT-MEDIUM只会导致我们最好目标的GLUE分数下降1%。
2021-09-04 cs.AI cs.CL cs.LG
BEVT: BERT Pretraining of Video Transformers
Microsoft Cloud + AI（微软云与人工智能部门）
研究了视频Transformers的BERT预训练问题。这是一个简单的，但需要深入研究的扩展，因为最近BERT预训练图像Transformers取得了成功。我们引入BEVT，它将视频表示学习扩展到空间表示学习和时间动态学习。具体地，BEVT首先对图像数据进行掩码图像建模，然后对视频数据联合进行掩码图像建模和掩码视频建模。这种设计的动机是两个观察：1）在图像数据集上学习的Transformers提供了适当的空间先验，这可以简化视频Transformers的学习，如果从头开始训练，视频变换器通常是计算密集型的; 2）区分性线索，即，由于大的类内和类间变化，进行正确预测所需的空间和时间信息在不同视频之间变化。我们在三个具有挑战性的视频基准上进行了广泛的实验，BEVT取得了非常有希望的结果。在Kinetics 400上，识别主要依赖于有区别的空间表示，BEVT实现了与强监督基线相当的结果。在包含依赖于时间动态的视频的Something-Something-V2和Diving 48上，BEVT的表现明显优于所有替代基线，并分别以71.4%和87.2%的Top-1准确度实现了最先进的性能。代码将在\url{https://github.com/xyzforever/BEVT}上提供。
2022-03-03 cs.CV cs.LG
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data
University of Washington（华盛顿大学）
大型预训练的语言模型通过提示在各种下游任务中表现得越来越好。然而，目前还不清楚模型从哪里学习特定于任务的知识，特别是在zero-shot设置中。在这项工作中，我们希望从预训练中找到模型特定于任务的能力的证据，并且特别感兴趣的是定位一个非常小的预训练数据子集，这些数据直接支持任务中的模型。我们呼吁这样一个子集支持数据证据，并提出了一种新的方法ORCA有效地识别它，通过迭代使用梯度信息相关的下游任务。这个支持数据证据提供了关于提示语言模型的有趣见解：在情感分析和文本蕴涵的任务中，BERT显示出对BookCorpus的大量依赖，这是BERT的两个预训练语料库中较小的语料库，以及预训练示例，这些示例掩盖了任务动词的同义词。
2022-05-25 cs.CL cs.LG
CERT: Contrastive Self-supervised Learning for Language Understanding
UC San Diego（加州大学圣迭戈分校）；VMware（威睿公司）
预训练的语言模型如BERT、GPT在语言理解中表现出很好的效果。现有的预训练方法中的辅助预测任务大多定义在令牌上，因此可能无法很好地捕获事件级语义。为了解决这个问题，我们提出了CERT：来自Transformers的对比自监督编码器表示，它使用句子级别的对比自监督学习来预训练语言表示模型。CERT使用回译创建原始句子的扩充。然后，它微调预训练的语言编码器（例如，BERT）通过预测两个增强的句子是否源自同一个句子。CERT使用简单，可以灵活地插入任何预训练-微调NLP管道。我们在GLUE基准测试中对CERT在11个自然语言理解任务上进行了评估，其中CERT在7个任务上优于BERT，在2个任务上达到了与BERT相同的性能，在2个任务上表现不如BERT。在11个任务的平均得分上，CERT优于BERT。数据和代码可在https://github.com/UCSD-AI4H/CERT上获得
2020-06-18 cs.CL cs.LG stat.ML
Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
针对LLM预训练中批大小调度的理论缺失，提出广义BG-$a$噪声模型并推导复杂度界限，设计自适应批调度器，在OLMo2预训练中以更少迭代取得更低验证损失。
2026-10-05 cs.LG math.OC
Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings
University of Oslo（奥斯陆大学）
本文研究潜在自举法在低资源语言模型预训练中的有效性，基于BabyLM共享任务实验表明，利用上下文化嵌入的自监督方式在有限资源下可获取语言知识。
2023-10-30 cs.CL cs.LG
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Microsoft Research（微软研究院）
预训练大型神经语言模型，如BERT，已经在许多自然语言处理（NLP）任务上取得了令人印象深刻的进展。然而，大多数预训练工作集中在一般领域语料库，如新闻专线和Web。一个普遍的假设是，即使是特定领域的预训练也可以从通用领域的语言模型开始。在本文中，我们挑战了这一假设，证明了对于具有大量未标记文本的领域，如生物医学，从头开始预训练语言模型比一般领域语言模型的持续预训练有很大的收益。为了促进这项调查，我们从公开的数据集中编译了一个全面的生物医学NLP基准。我们的实验表明，特定于领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础，从而全面带来了新的最先进的结果。此外，在对建模选择进行彻底评估时，无论是预训练还是特定于任务的微调，我们发现BERT模型中的一些常见做法是不必要的，例如在命名实体识别（NER）中使用复杂的标记方案。为了帮助加速生物医学NLP的研究，我们为社区发布了最先进的预训练和特定任务模型，并在https://aka.ms/BLURB上创建了一个排行榜，其中包括我们的BLURB基准（生物医学语言理解和推理基准的缩写）。
2021-09-16 cs.CL cs.LG
To Pretrain or Not to Pretrain: Examining the Benefits of Pretraining on Resource Rich Tasks
Faceboook AI（脸书人工智能实验室）
使用Masked语言模型（MLM）目标的变体预训练NLP模型最近在许多任务上都有了显着的改进。本文研究了预训练模型作为下游任务中使用的训练样本数量的函数的好处。在几个文本分类任务中，我们发现，随着训练样本的数量增长到数百万，微调基于BERT的模型和从头开始训练普通LSTM之间的准确率差距缩小到1%以内。我们的研究结果表明，基于MLM的模型可能会达到一个收益递减点，因为监督数据的大小显着增加。
2020-06-15 cs.CL cs.LG stat.ML
HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；AGH University of Science and Technology（AGH科技大学）
基于BERT的模型目前被用于解决几乎所有的自然语言处理（NLP）任务，并且大多数情况下都能获得最先进的结果。因此，NLP社区对理解这些模型进行了广泛的研究，但最重要的是设计有效和高效的培训程序。已经进行了几项消融研究，调查如何训练BERT类模型，但其中绝大多数只涉及英语。为英语设计的培训程序不一定是通用的，也不一定适用于其他类型上特别不同的语言。因此，本文提出了第一个消融研究集中在波兰语，这与孤立的英语语言，是一个融合的语言。我们设计并全面评估了将知识从多语言模型转移到单语言BERT模型的预训练过程。除了多语言模型初始化之外，还探讨了可能影响预训练的其他因素，即训练目标、语料库大小、BPE-Dropout和预训练长度。基于所提出的过程，波兰BERT为基础的语言模型- HerBERT -训练。该模型在多个下游任务上实现了最先进的结果。
2021-05-04 cs.CL cs.LG
Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance
Harvard University（哈佛大学）；Google Research（谷歌研究院）
文本自动评估指标的最新进展表明，深度上下文化的单词表示（例如由BERT编码器生成的单词表示）有助于设计与人类判断良好相关的指标。与此同时，有人认为，语境化的单词表示表现出次优的统计特性，用于编码单词或句子之间的真实相似性。在本文中，我们提出了两种技术，用于改善编码表示的相似性度量：一个批量平均中心化策略，提高统计特性;和一个计算效率的回火词移动距离，更好地融合的信息在上下文的单词表示。我们进行了数值实验，证明了我们的技术的鲁棒性，报告结果在各种BERT骨干学习指标，并实现了最先进的相关性与人类评级的几个基准。
2020-10-13 cs.CL cs.LG
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining
Westlake University（西湖大学）；Westlake Institute for Optoelectronics（西湖光电研究院）
Neuro-BERT 提出基于傅里叶域掩码自编码和傅里叶反演预测任务的自监督预训练框架，无需数据增强即可在睡眠分期和手势识别等神经信号下游任务中大幅提升性能。
2024-07-03 cs.LG eess.SP q-bio.NC
Frontier LLMs are effective batch optimizers: Assessing reasoning models in continuous and discrete settings
Prescient Design, Genentech（基因泰克公司的Prescient Design部门）
该研究评估前沿LLMs在连续与离散场景下作为批量优化器的性能，发现其在数值测试函数上具竞争力但性能较脆弱，在语义丰富场景中表现显著更优，凸显其在特定离散空间优化的有效性。
2026-09-04 cs.LG
Concept-Aware Batch Sampling Improves Language-Image Pretraining
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）；University of Trento（特伦托大学）；LAION；Stanford University（斯坦福大学）
本研究提出CABS方法，通过概念感知的批量采样提升语言-图像预训练效果，提供灵活的任务适应性数据整理方案。
2025-11-25 cs.CV cs.LG
ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；LIONS, EPFL（EPFL 系统研究所）；AGI Foundations, Amazon（人工智能基础，亚马逊）
提出ESLM，一种通过在线令牌级风险价值阈值选择实现高效预训练的风险规避算法，显著降低训练FLOPs并保持性能。
2026-09-22 cs.CL cs.LG
Practical Efficiency of Muon for Pretraining
Essential AI
该研究证明二阶优化器Muon在预训练的计算-时间权衡上拓展了优于AdamW的帕累托前沿，结合muP实现高效超参数迁移，提出低开销伸缩算法，经40亿参数规模实验验证可实现更经济的大批量训练。
2025-05-20 cs.LG stat.ML
Patent Language Model Pretraining with ModernBERT
Clarivate
针对通用语言模型在专利领域性能下降的问题，基于ModernBERT架构用超6000万专利记录预训练领域专属模型，在专利分类任务上取得更优或相当性能且推理速度提升超3倍。
2025-11-18 cs.AI cs.CL cs.LG
1-bit LAMB: Communication Efficient Large-Scale Large-Batch Training with LAMB's Convergence Speed
Microsoft（微软）；University of Rochester（罗切斯特大学）
为了在数百个GPU上训练大型模型（如BERT和GPT-3），通信已成为主要瓶颈，特别是在具有有限带宽TCP网络的商品系统上。一方面，提出了大批量优化算法，如LAMB算法，以减少通信的频率。另一方面，通信压缩算法（如1位Adam）有助于减少每次通信的容量。然而，我们发现，简单地使用其中一种技术是不足以解决通信的挑战，特别是在低网络带宽。出于这一动机，我们的目标是结合大批量优化和通信压缩的力量，但我们发现，现有的压缩策略不能直接应用于LAMB由于其独特的自适应分层学习率。为此，我们设计了一个新的通信效率的算法，1位LAMB，它引入了一种新的方式来支持自适应分层学习率压缩。此外，我们还介绍了一种新的系统实现，用于使用PyTorch分布式的NCCL后端进行压缩通信，从而提高了可用性和性能。对于批量大小从8 K到64 K的BERT-Large预训练任务，我们对多达256个GPU的评估表明，与未压缩的LAMB相比，具有基于NCCL的后端的1位LAMB能够实现高达4.6倍的通信量减少，高达2.8倍的端到端时间加速，以及相同的样本收敛速度（以及相同的微调任务精度）。
2021-10-06 cs.DC cs.LG
Scaling Distributed Training with Adaptive Summation
Microsoft Research（微软研究院）；Microsoft（微软）
随机梯度下降（SGD）是一种固有的顺序训练算法--在批量$i$中计算梯度取决于从批量$i-1$中学习的模型参数。打破这种依赖性的现有方法不尊重它们（例如，对每个批次的梯度求和，这不是顺序SGD将做的），并且因此潜在地遭受差的收敛。本文介绍了一种新的方法来结合梯度称为Adasum（自适应总和），收敛速度比以前的工作。Adasum易于实现，几乎与简单的梯度求和一样高效，并且集成到开源工具包Horovod中。本文首先提供了一个正式的理由Adasum，然后实证证明Adasum是更准确的比以前的梯度累积方法。然后介绍了一系列案例研究，以展示Adasum与多个框架（TensorFlow和PyTorch）一起工作，将多个优化器（Momentum-SGD，Adam和LAMB）扩展到更大的批量，同时仍然提供良好的下游准确性。最后证明了Adasum收敛性。总而言之，Adasum在通信之前将MLPerf Resnet 50基准测试中的Momentum-SGD扩展到64 K示例（没有MLPerf v0.5条目收敛超过16 K），Adam优化器在BERT-LARGE上通信之前达到64 K示例（之前的工作表明Adam在16 K时停止扩展），LAMB优化器在BERT-LARGE上通信之前扩展到128 K（先前的工作使用64 K），同时保持下游的准确性指标。最后，如果用户不需要扩展，我们在BERT-LARGE上展…
2020-06-04 cs.DC cs.LG
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing
Microsoft Research（微软研究院）
动机：生物医学研究人员和临床从业人员面临的一个长期挑战是跟上出版物和医学笔记的快速增长。自然语言处理（NLP）已经成为驯服信息过载的一个有前途的方向。特别是，大型神经语言模型通过对未标记文本进行预训练来促进迁移学习，例如BERT模型在各种NLP应用中的成功。然而，为最终任务微调这些模型仍然具有挑战性，特别是对于生物医学NLP中常见的小标记数据集。结果：我们对生物医学自然语言处理中的微调稳定性进行了系统的研究。我们表明，微调性能可能是敏感的预训练设置，特别是在低资源域。大型模型有可能获得更好的性能，但增加模型大小也会加剧微调的不稳定性。因此，我们进行了全面的探索技术解决微调不稳定性。我们表明，这些技术可以大大提高微调性能低资源的生物医学NLP应用。具体来说，冻结较低层对标准BERT-BASE模型有帮助，而逐层衰减对BERT-LARGE和ELECTRA模型更有效。对于低资源文本相似性任务（如BIOSSES），重新初始化顶层是最佳策略。总体而言，特定领域的词汇和预训练有助于更强大的模型进行微调。基于这些发现，我们在广泛的生物医学NLP应用中建立了最新的技术水平。可用性和实施：为了促进生物医学NLP的进步，我们发布了最先进的预训练和微调模型：https://aka.ms/BLURB。
2021-12-15 cs.CL cs.LG
Pretraining Text Encoders with Adversarial Mixture of Training Signal Generators
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）
我们提出了一个新的框架AMOS，它通过来自多个辅助生成器的混合信号来预训练具有对抗性学习课程的文本编码器。在ELECTRA风格的预训练之后，主编码器被训练为一个检测器，以检测由辅助掩码语言模型（MLMs）生成的替换标记。与ELECTRA将一个MLM训练为发电机不同，我们联合训练多个不同大小的MLM，以提供不同难度的训练信号。为了推动学习者更好地学习具有挑战性的替换令牌，我们通过Gumbel-Softmax从学习者反向传播梯度来学习辅助MLM输出上的混合权重，以最大化学习者损失。为了更好的预训练效率，我们提出了一种将多个MLM组装成一个统一的辅助模型的方法。AMOS在BERT基础大小模型的GLUE基准测试中比ELECTRA和最新的最先进的预训练模型高出约1个点。
2022-04-07 cs.CL cs.LG
Multi-CLS BERT: An Efficient Alternative to Traditional Ensembling
Amazon（亚马逊公司）；UMass（马萨诸塞大学）
提出Multi-CLS BERT，通过多CLS token实现高效集成，在保持近单模型效率的同时显著提升准确率与置信度估计。
2023-05-20 cs.CL cs.LG
Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD
City University of Hong Kong（香港城市大学）；Microsoft（微软公司）；NVIDIA Research（英伟达研究院）
该研究发现总体梯度流会错误预测有限批次SGD，在双单元ReLU回归任务中，小步长与长预训练的联合极限会导致在线SGD失效，需满足特定样本与批次大小条件才能恢复。
2026-10-09 cs.LG math.OC stat.ML
Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Northwestern University（西北大学）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
本文提出兼容数据并行与模型并行、具备理论收敛保证的自适应批量大小调度，并基于 FSDP 实现，验证其在 Llama 2 小模型预训练中优于恒定与启发式预热策略。
2025-03-16 cs.LG math.OC stat.ML
Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss
Eindhoven University of Technology（埃因霍温理工大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Freiburg（弗赖堡大学）；LAION；Open-Ψ (Open-Sci) Collective（Open-Ψ（开放科学）集体）；University of Turku（图尔库大学）；OpenEuroLLM
该研究针对OpenEuroLLM模型，探究预训练时学习率与批量大小的缩放规律，开发相关模型并评估损失的缩放形式，建立基线与缩放程序并开源预训练运行集合。
2026-09-01 cs.AI cs.LG
Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室）；Meituan, Beijing（美团（北京））；AI for Science Institute, Beijing（北京人工智能科学研究院）
本文通过函数缩放定律揭示了大规模深度学习中最优批量大小调度的理论机制，表明在困难任务中后期切换大批次可提升效率并减少数据消耗。
2026-02-23 cs.LG math.OC stat.ML
Embedding And Clustering Your Data Can Improve Contrastive Pretraining
Snowflake Inc.（雪花公司）
本研究利用预训练文本嵌入模型和 k-means 聚类算法，将训练数据按来源内部的语义簇进一步分层拆分，显著提升了基于 BERT 的模型在 MSMARCO 数据集上的 NDCG@10 指标，并统一了 TAS-B 和 ANCE 方法，为对比预训练数据组织提供了新视角。
2024-07-26 cs.CL cs.LG
Efficient Neural Network Training via Subset Pretraining
University of St.Gallen (HSG)（圣加仑大学）
本文提出子集预训练方法，利用训练集子集的最小值近似整体损失最小值，在MNIST、CIFAR-10和CIFAR-100上验证可将计算开销降至十分之一以内且达到与传统训练相当的效果。
2024-10-29 cs.CV cs.LG stat.CO
Demystifying BERT: Implications for Accelerator Design
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Advanced Micro Devices Inc.（超威半导体公司）
自然语言处理（NLP）中的迁移学习，如使用BERT（来自Transformer的双向编码器表示）等模型实现的，已经通过可以解决具有挑战性的语言问题的模型显着改善了语言表示。因此，这些应用正在推动未来系统的需求。因此，我们专注于BERT，最流行的NLP迁移学习算法之一，以确定其算法行为如何指导未来的加速器设计。为此，我们仔细分析了BERT训练，并确定了加速器设计中值得注意的关键算法行为。我们观察到，虽然表现为矩阵乘法的计算主导了BERT的整体运行时间，但与许多卷积神经网络一样，内存密集型计算也很突出。我们描述这些计算，迄今为止很少受到关注。此外，我们还确定计算密集型BERT计算的异构性，并讨论软件和可能的硬件机制，以进一步优化这些计算。最后，我们讨论了这些行为的影响，随着网络变得越来越大，并使用分布式训练环境，以及如何技术，如微训练和混合精度训练规模。总的来说，我们的分析确定了整体解决方案，以优化系统的BERT类模型。
2021-04-14 cs.AR cs.DC cs.LG
NarrowBERT: Accelerating Masked Language Model Pretraining and Inference
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文提出 NarrowBERT，通过让自注意力查询和前馈层仅处理被掩码 token 来稀疏化 transformer 编码器，从而将预训练吞吐量提升逾 2 倍、推理吞吐量最高提升 3.5 倍，并在多项 NLU/NER 任务上保持接近 BERT 的性能。
2023-06-05 cs.CL cs.LG
Accelerating Large Batch Training via Gradient Signal to Noise Ratio (GSNR)
Meituan Group（美团集团）
本文提出基于梯度信噪比的方差缩减梯度下降技术 VRGD，以提升大批量训练速度并缩小泛化差距，在 BERT、DLRM 和 ImageNet 上显著扩大批量上限并改善精度。
2023-09-24 cs.LG
BatteryBERT for Realistic Battery Fault Detection Using Point-Masked Signal Modeling
Department of Automation Tsinghua University Beijing, China（自动化系 清华大学 北京中国）
针对锂离子电池故障检测，提出BatteryBERT框架，通过点级掩码信号建模预训练和定制时间序列表示，提升分类准确性，AUROC达0.945。
2025-05-31 cs.AI cs.LG
RescoreBERT: Discriminative Speech Recognition Rescoring with BERT
Amazon Alexa（亚马逊Alexa）
第二遍重评分是自动语音识别（ASR）系统中的重要组成部分，其用于通过实现格重评分或$n$ -最佳重排序来改善来自第一遍解码器的输出。虽然使用掩蔽语言模型（MLM）目标进行预训练在各种自然语言理解（NLU）任务中取得了巨大成功，但它并没有作为ASR的重新评分模型获得关注。具体而言，尚未探索在诸如最小WER（MWER）的判别性目标上训练双向模型（如BERT）。在这里，我们展示了如何训练具有MWER损失的基于BERT的重新评分模型，以将区分损失的改进纳入ASR的深度双向预训练模型的微调中。具体来说，我们提出了一种融合策略，将MLM融入到判别训练过程中，以有效地从预训练模型中提取知识。我们进一步提出了一种替代的歧视性损失。这种方法，我们称之为RescoreBERT，相对于LibriSpeech干净/其他测试集，在没有歧视性目标的BERT基线上，将WER降低了6.6%/3.4%。我们还在来自会话代理的内部数据集上评估了我们的方法，发现它在LSTM重新评分模型上减少了延迟和WER（相对减少了3%到8%）。
2022-02-18 cs.CL cs.LG cs.SD
Benchmarking Optimizers for Large Language Model Pretraining
EPFL（瑞士联邦理工学院）
针对大语言模型预训练优化方法缺乏统一对比标准的问题，该研究在标准化场景下系统调控变量开展全面评估，给出优化器选择指导，指明研究方向并公开可复现代码以支撑领域发展。
2025-09-01 cs.LG
SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales
NVIDIA（英伟达）
研究针对高阶优化器在大规模语言模型预训练中的挑战，通过改进预处理梯度方法、统一实证研究不同优化器、引入分层分布式优化器及系统级改进，提升训练效果，最终发布含新兴优化算法的代码库。
2026-07-24 cs.AI cs.LG
Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学 Kempner 机构）；University of California, Berkeley（加州大学伯克利分校）
研究如何加速大语言模型预训练，提出Seesaw框架，通过平衡学习率和批量调度，在保留损失动态时减少串行步骤。理论上给出相关等效性证明并扩展，实验表明该框架能在相同浮点运算量下减少时钟时间，接近理论极限。
2026-07-28 cs.AI cs.LG math.OC
HeterCSI: Channel-Adaptive Heterogeneous CSI Pretraining Framework for Generalized Wireless Foundation Models
National Engineering Research Center for Mobile Network Technologies, Beijing University of Posts and Telecommunications（中国移动网络技术国家工程研究中心，北京邮电大学）；Department of Broadband Communication, Pengcheng Laboratory（宽带通信系，鹏城实验室）；Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE, Minzu University of China（民族语言智能分析与安全治理重点实验室，中央民族大学）；China Telecom Corporation Limited Gansu Branch（中国电信集团甘肃分公司）
HeterCSI通过解决CSI尺度异质性和场景多样性问题，提出一种通道自适应的异构CSI预训练框架，提升无线基础模型的泛化能力和效率。
2026-01-26 cs.AI cs.LG
