BERT vs GPT for financial engineering
University College London(伦敦大学学院)
本文对比了BERT与GPT在金融工程中新闻情感判断任务的表现,发现微调BERT优于GPT,且CopBERT在可解释性上具有优势,是兼顾准确性与可解释性的有趣替代方案。
2024-04-24 cs.AI cs.CL q-fin.ST
(Chat)GPT v BERT: Dawn of Justice for Semantic Change Detection
University of Milan(米兰大学);Queen Mary University of London(伦敦大学玛丽皇后学院);University of Gothenburg(哥德堡大学)
本文评估(Chat)GPT与BERT在TempoWiC和HistoWiC任务上的语义变化检测能力,发现ChatGPT表现不如基础GPT,且在长期变化检测略逊BERT、短期检测显著更差。
2024-04-29 cs.CL
GPT or BERT: why not both?
University of Oslo(奥斯陆大学)
本文提出 GPT-BERT 混合训练目标,在单个 transformer 中融合掩码语言建模与因果语言建模,并在 BabyLM Challenge 2024 上验证其优于单一范式模型。
2024-12-29 cs.CL
Generating Knowledge Graphs from Large Language Models: A Comparative Study of GPT-4, LLaMA 2, and BERT
IITE Indus University(IITE因德大学)
该研究针对传统知识图谱构建的局限,提出利用GPT-4、LLaMA 2(13B)和BERT直接从非结构化数据生成知识图谱的方法,经多指标评估发现三类模型各有优势,为简化知识图谱创建、推进GraphRAG落地应用奠定基础。
2024-12-10 cs.AI cs.CL cs.DB
Enhancing Next-Generation Language Models with Knowledge Graphs: Extending Claude, Mistral IA, and GPT-4 via KG-BERT
STIH Laboratory, Sorbonne University(索邦大学STIH实验室);National Engineering School of Tunis(突尼斯国家工程学院);Faculty of Sciences of Tunis(突尼斯科学学院)
通过KG-BERT将知识图谱与Claude、Mistral IA和GPT-4结合,提升其事实可靠性与上下文感知能力。
2025-12-11 cs.CL
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Stanford University(斯坦福大学);University of Toronto(多伦多大学)
用上下文化的词表示代替静态的词嵌入,在许多NLP任务上都有了显著的改进。然而,ELMo和BERT等模型产生的语境化表示究竟有多语境化呢?每个词是否有无限多个上下文特定的表征,或者词本质上被分配了有限数量的词义表征之一?首先,我们发现所有单词的语境化表示在语境化模型的任何一层都不是各向同性的。虽然相同单词在不同上下文中的表示仍然比两个不同单词的表示具有更大的余弦相似性,但这种自相似性在上层中要低得多。这表明上下文化模型的上层产生更多的上下文特定的表示,就像LSTM的上层产生更多的任务特定的表示一样。在ELMo、BERT和GPT-2的所有层中,平均而言,一个词的上下文表示中只有不到5%的方差可以通过该词的静态嵌入来解释,这为上下文表示的成功提供了一些理由。
2019-09-02 cs.CL
Assessing Large Language Models for Online Extremism Research: Identification, Explanation, and New Knowledge
George Mason University(乔治梅森大学)
本研究评估了BERT和GPT模型在检测和分类在线极端主义帖子方面的性能,发现GPT模型在零样本设置下优于BERT,且不同GPT版本对不同意识形态极端主义分类表现各异。
2024-08-29 cs.AI cs.CL
Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet
Middle East Technical University(中东技术大学);Marmara University(马尔马拉大学);Koç University(科奇大学)
近年来,注意力机制的激增和自然语言生成(NLG)中Transformers的兴起。以前,最先进的NLG架构(如RNN和LSTM)遇到了消失梯度问题;随着句子变大,位置之间的距离保持线性,顺序计算阻碍了并行化,因为句子是逐词处理的。Transformers开创了一个新时代。在本文中,我们探讨了三个主要的基于transformer的模型,即GPT,BERT和XLNet,进行重大影响的领域。NLG是一个新兴的领域,现在得到了注意力机制快速发展的支持。从诗歌生成到摘要,文本生成得益于基于transformer的语言模型取得的突破性成果。
2021-02-16 cs.CL cs.LG
Automatic Text Summarization of COVID-19 Medical Research Articles using BERT and GPT-2
Rockefeller University(洛克菲勒大学)
随着COVID-19大流行,医学界越来越迫切需要跟上新冠病毒相关文献的加速增长。因此,COVID-19开放研究数据集挑战赛发布了一个学术文章语料库,并呼吁使用机器学习方法来帮助弥合研究人员与快速增长的出版物之间的差距。在这里,我们利用预训练的NLP模型BERT和OpenAI GPT-2的最新进展,通过对该数据集执行文本摘要来解决这一挑战。我们使用ROUGE评分和目视检查来评估结果。我们的模型提供了抽象和全面的信息的基础上提取的关键字从原始文章。我们的工作可以帮助医学界,通过提供摘要尚未提供的文章的简洁摘要。
2020-06-03 cs.CL cs.LG
Learning to Answer by Learning to Ask: Getting the Best of GPT-2 and BERT Worlds
SAP Machine Learning Research(SAP机器学习研究院)
自动问题生成的目的是从上下文中生成问题,相应的答案是给定段落的子跨度。然而,大多数方法主要依赖于启发式规则来生成问题,最近还提出了神经网络方法。在这项工作中,我们提出了一个变体的自我注意力Transformer网络架构模型,以产生有意义的和多样化的问题。为此,我们提出了一个易于使用的模型,该模型由Transformer解码器GPT-2模型与Transformer编码器BERT的结合组成,用于问答的下游任务。该模型以端到端的方式被训练,其中语言模型被训练以产生问题-答案感知的输入表示,该输入表示有助于生成答案集中的问题。我们从SQuAD 1.1数据集上的文本生成神经问题的结果表明,我们的方法可以生成语义正确和多样化的问题。此外,我们评估了我们所提出的方法的下游任务的问答的性能。分析表明,我们提出的生成和回答协作框架相对提高了这两个任务,特别是在半监督设置强大。研究结果进一步表明,一个强大的和简洁的管道,促进小数据制度的问题生成。
2019-11-06 cs.AI cs.CL cs.LG
Evaluating Named Entity Recognition Models for Russian Cultural News Texts: From BERT to LLM
University of Bologna(博洛尼亚大学)
本文基于SPbLitGuide数据集比较了BERT类模型与GPT系列LLM在俄语文化新闻人名识别上的表现,发现GPT-4o在JSON提示下F1达0.93,GPT-4.1后续评估F1达0.94,揭示了LLM在该领域的优势与快速进展。
2025-06-03 cs.AI cs.CL cs.IR
Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models
Children's Hospital of Philadelphia(费城儿童医院);University of Pennsylvania(宾夕法尼亚大学)
本研究发现BERT对反向诅咒免疫,而GPT在处理多集合逻辑推理时存在困难,揭示了两种模型在简单与复杂逻辑推理中的差异。
2024-07-01 cs.AI cs.CL cs.LG
Q8BERT: Quantized 8Bit BERT
Intel AI Lab(英特尔人工智能实验室)
最近,预训练的基于Transformer的语言模型,如BERT和GPT,在许多自然语言处理(NLP)任务中表现出很大的改进。然而,这些模型包含大量的参数。更大更精确的模型的出现,如GPT2和Megatron,表明大型预训练Transformer模型的趋势。然而,在生产环境中使用这些大型模型是一项复杂的任务,需要大量的计算、内存和电源资源。在这项工作中,我们展示了如何在BERT的微调阶段执行量化感知训练,以便通过$4\times$压缩BERT,同时将准确性损失降到最低。此外,所产生的量化模型,可以加快推理速度,如果它是最佳的支持8位的硬件。
2019-10-17 cs.CL cs.LG
bert2BERT: Towards Reusable Pretrained Language Models
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
近年来,研究人员倾向于预训练越来越大的语言模型,以探索深度模型的上限。然而,大语言模型的预训练需要耗费大量的计算资源,而且大多数模型都是从头开始训练,没有重用已有的预训练模型,这是一种浪费。在本文中,我们提出了bert 2BERT,它可以有效地转移现有的较小的预训练模型的知识(例如,BERT_BASE)到大型模型(例如,BERT_LARGE)通过参数初始化,显著提高了大模型的预训练效率。具体来说,我们扩展了以前的功能保持基于transformer的语言模型,并进一步改进它提出了先进的知识,为大型模型的初始化。此外,提出了一种两阶段的预训练方法,以进一步加快训练过程。我们对代表性的PLM进行了广泛的实验(例如,BERT和GPT)的测试结果表明:(1)与从头开始学习、Stack BERT和MPERT等基线相比,我们的方法可以节省大量的训练成本;(2)我们的方法具有通用性,适用于不同类型的预训练模型。特别是,bert 2 BERT通过重用几乎一半大小的模型,节省了预训练BERT_BASE和GPT_BASE的大约45%和47%的计算成本。源代码将在发布时公开提供。
2021-10-14 cs.CL
Supervised Fine-Tuning or In-Context Learning? Evaluating LLMs for Clinical NER
Andrei Baroian(独立研究者)
本研究在CADEC语料库上比较了BERT类编码器、GPT-4o的上下文学习与监督微调在临床NER中的表现,发现监督微调性能最优(F1约87.1%),且简化任务可提升准确率。
2025-10-25 cs.AI cs.CL
BERTs are Generative In-Context Learners
University of Oslo(奥斯陆大学)
该研究证明掩码语言模型也具备上下文学习能力,通过简单推理技术让DeBERTa无需改动即可执行生成任务,发现两类模型各有优势,指出结合二者的混合方法颇具前景。
2024-10-31 cs.AI cs.CL
NSP-BERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction
Army Engineering University of PLA(中国人民解放军陆军工程大学)
使用提示来利用语言模型来执行各种下游任务,也称为基于提示的学习或基于提示的学习,与预训练和微调范例相比,最近取得了显著的成功。尽管如此,实际上所有的基于完形填空的方法都是标记级的,这意味着它们都利用GPT的从左到右的语言模型或BERT的掩码语言模型来执行完形填空式的任务。在本文中,我们尝试在zero-shot场景中使用RoBERTa和其他模型放弃的BERT原始预训练任务-下一句预测(NSP)来完成几个NLP任务。与token级别的技术不同,我们的基于提示符级别的方法NSP-BERT不需要固定提示符的长度或要预测的位置,使其能够轻松处理实体链接等任务。基于NSP-BERT的特点,我们为各种下游任务提供了几个快速构建模板。我们提出了一个两阶段的提示方法,特别是词义消歧任务。我们的标签映射策略显着提高了模型在句子对任务上的表现。在FewCLUE基准测试中,我们的NSP-BERT在大多数任务上都优于其他zero-shot方法,并接近于Few-Shot方法。
2022-10-18 cs.AI cs.CL
Understanding BLOOM: An empirical study on diverse NLP tasks
Fidelity Investments(富达投资)
我们通过最近发布的BLOOM模型的镜头来查看大语言模型(LLM)的前景,以了解BLOOM和其他仅解码器LLM与BERT风格的仅编码器模型相比的性能。我们通过在几个NLP基准数据集和流行排行榜上评估较小的BLOOM模型变体(\textit{350m/560m}和\textit{1b3/1b7})来实现这一点。我们做了以下观察:(1)与GPT和BERT等其他LLM不同,BLOOM性能不随参数大小而变化。对BLOOM模型进行微调的实验表明,560 m变体的性能与1b 7变体相似或更好,(2)Zero-shot跨语言和多语言微调实验表明,BLOOM与单语言GPT-2模型相当或更差,(3)使用RealToxicityProblems数据集对基于Problems的文本生成进行毒性分析,结果表明,由BLOOM生成的文本至少有17%毒性低于GPT-2和GPT-3模型。
2023-03-15 cs.CL
OPTIC: Optimizing Patient-Provider Triaging & Improving Communications in Clinical Operations using GPT-4 Data Labeling and Model Distillation
Microsoft Health AI(微软健康人工智能);Johns Hopkins University(约翰斯·霍普金斯大学);Health Information Technology(健康信息技术);Johns Hopkins Medicine(约翰斯·霍普金斯医学);University of Washington(华盛顿大学);Microsoft(微软)
本研究提出OPTIC工具,利用GPT-4标注405,487条患者消息并蒸馏训练BERT模型进行行政/临床分诊,准确率达88.85%,已成功部署于Epic云平台以减轻医生负担。
2025-02-05 cs.CL cs.LG
Fake News Detection: Comparative Evaluation of BERT-like Models and Large Language Models with Generative AI-Annotated Data
Vector Institute(向量研究院);Toronto Metropolitan University(多伦多都会大学)
本研究比较了BERT-like模型与LLMs在假新闻检测中的表现,引入GPT-4标注并经人工验证的数据集进行微调,发现BERT-like模型分类更优而LLMs鲁棒性更强,且AI结合人工监督的标签效果优于弱标签。
2024-12-20 cs.AI cs.CL
Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts
Technische Universität Berlin(柏林工业大学)
本文通过GPT-5测试了厚引用上下文分析中提示支架和框架对解读和词汇的影响。
2026-02-25 cs.AI cs.CL
Distilling Named Entity Recognition Models for Endangered Species from Large Language Models
该研究通过上下文学习从GPT-4蒸馏知识,构建了包含3.6K句子的濒危物种NER和RE数据集,并微调BERT模型,有效实现了濒危物种文本检测。
2024-03-13 cs.CL
Classification of Hope in Textual Data using Transformer-Based Models
Department of Computer Science, Texas Tech University, Lubbock, Texas, United States(计算机科学系,德克萨斯科技大学,德克萨斯州,美国)
本文针对文本希望表达分类任务,对比BERT、GPT-2、DeBERTa三种Transformer模型的性能,发现BERT准确率更高、计算成本更低,为情感检测相关应用提供参考框架。
2025-11-17 cs.AI cs.CL cs.LG
Multilingual Translation via Grafting Pre-trained Language Models
ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
一种语言的预训练BERT和另一种语言的GPT可以粘在一起翻译文本吗?仅使用单语数据的自我监督训练已经导致了许多NLP任务中预训练(掩蔽)语言模型的成功。然而,直接连接BERT作为编码器和GPT作为解码器在机器翻译中可能具有挑战性,因为类似GPT的模型缺乏seq2seq解码器中所需的交叉注意组件。在本文中,我们提出了Gramformer移植单独的预训练(掩蔽)语言模型的机器翻译。使用单语数据进行预训练,并行数据进行嫁接训练,我们最大限度地利用了这两种类型数据的使用。在60个方向上的实验表明,与相同大小的多语言Transformer相比,该方法在x2en方向上平均提高了5.8 BLEU,在en2x方向上平均提高了2.9 BLEU。
2021-09-11 cs.CL
Enhancing TinyBERT for Financial Sentiment Analysis Using GPT-Augmented FinBERT Distillation
本文提出利用GPT-4 Omni生成领域数据增强FinBERT,并通过两层知识蒸馏策略训练紧凑模型TinyFinBERT,在金融情感分析中实现与FinBERT相当的性能且效率更高。
2024-09-19 cs.CL cs.LG
Knowledge Graph - Deep Learning: A Case Study in Question Answering in Aviation Safety Domain
IIT Bombay(印度理工学院孟买分校);Honeywell(霍尼韦尔);IIT Patna(印度理工学院巴特那分校)
在商业航空领域,有大量的文件,如事故报告(NTSB,ASRS)和监管指令(AD)。需要一个系统来有效地访问这些不同的存储库,以满足航空业的需求,如维护,合规性和安全性。在本文中,我们提出了一个知识图谱(KG)引导的基于深度学习(DL)的问答(QA)系统,用于航空安全。我们从飞机事故报告中构建知识图谱,并将此资源贡献给研究人员社区。该资源的有效性通过上述QA系统进行了测试和证明。由上述文档构造的自然语言查询被转换成SPARQL(RDF图数据库的接口语言)查询并被应答。在DL方面,我们有两种不同的QA模型:(i)BERT QA,它是段落检索(基于句子BERT)和问答(基于BERT)的管道,以及(ii)最近发布的GPT-3。我们评估我们的系统上的一组查询创建的事故报告。我们的组合QA系统的准确性比GPT-3提高了9.3%,比BERT QA提高了40.3%。因此,我们推断KG-DL比单独使用更好。
2022-06-09 cs.AI cs.CL cs.LG
Scaling BERT Models for Turkish Automatic Punctuation and Capitalization Correction
Yildiz Technical University(伊尔德兹理工大学)
本文评估五种规模的 BERT 模型在土耳其语标点与大小写自动纠正中的表现,发现 Base 模型精确率最高,并为按资源和需求选型提供框架。
2024-12-03 cs.AI cs.CL cs.LG
UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
提出UR-BERT,一种基于罗马化转录的TTS编码器,通过统一书写系统为罗马化表示,结合语音标记预测目标,在495种语言上实现高效多语言TTS,优于现有基线并泛化到未见语言。
2026-06-12 cs.CL cs.SD
LightPAFF: A Two-Stage Distillation Framework for Pre-training and Fine-tuning
Nanjing University of Science and Technology(南京理工大学);Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
在预训练和微调时,例如,BERT~ \citep{devlin2018bert}、GPT-2~ \citep{radford2019language}等在语言理解和生成任务中取得了巨大的成功,但由于预训练模型的存储空间和推理速度都很大,无法在线部署,影响了它们的实际在线使用。在本文中,我们提出了LightPAFF,一个轻量级的预训练和微调框架,它利用两个阶段的知识蒸馏,在预训练和微调阶段将知识从一个大的教师模型转移到一个轻量级的学生模型。通过这种方式,轻量级模型可以达到与大型教师模型相似的精度,但参数要少得多,因此在线推理速度更快。LightPAFF可以支持不同的预训练方法(如BERT、GPT-2和MASS~ \citep{song2019mass}),并可应用于许多下游任务。在三个语言理解任务、三个语言建模任务和三个序列到序列生成任务上的实验表明,LightPAFF在使用大BERT、GPT-2和MASS模型实现类似准确性的同时,将模型大小减少了近5倍,并将在线推理速度提高了5倍至7倍。
2020-04-27 cs.CL cs.LG
Pragmatic inference of scalar implicature by LLMs
Sungkyunkwan University(成均馆大学)
本研究通过两组实验探究BERT和GPT-2对等级含义的语用推理能力,发现BERT符合默认模型、表现稳定,GPT-2符合语境驱动模型、在特定语境下存在推理困难。
2024-08-13 cs.CL
MT-Clinical BERT: Scaling Clinical Information Extraction with Multitask Learning
Virginia Commonwealth University(弗吉尼亚联邦大学)
临床记录包含大量重要但不易获得的患者信息。自动提取该信息的系统依赖于大量的训练数据,对于这些训练数据,它们存在有限的资源来创建。此外,它们是分开开发的;这意味着特定任务系统之间不能共享信息。这个瓶颈不必要地使实际应用复杂化,降低了每个单独解决方案的性能能力,并且关联了管理多个信息抽取系统的工程债务。我们通过开发多任务临床BERT来解决这些挑战:一个单一的深度学习模型,通过在任务之间共享表示,同时执行八个临床任务,包括实体提取,PHI识别,语言蕴涵和相似性。我们发现我们的单一系统与所有最先进的特定任务系统相比具有竞争力,同时还受益于大量的计算优势。
2020-04-21 cs.CL cs.IR cs.LG
Understanding the Interplay of Scale, Data, and Bias in Language Models: A Case Study with BERT
Institute for Experiential AI, Northeastern University(东北大学体验式人工智能研究所);Oracle Labs(甲骨文实验室)
本文以 BERT 为案例,研究模型规模与预训练数据如何共同影响语言模型的社会偏见,发现上游偏见受数据来源显著影响,而下游偏见随规模增大普遍减少。
2024-07-25 cs.AI cs.CL
Utilizing Large Language Models for Named Entity Recognition in Traditional Chinese Medicine against COVID-19 Literature: Comparative Study
China Academy of Chinese Medical Sciences(中国中医科学院);GESIS—Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所);University of Bonn(波恩大学);Capital Medical University(首都医科大学)
本研究比较了ChatGPT等LLMs与BERT模型在中医药抗COVID-19文献NER任务中的表现,发现LLMs性能因实体类型和场景而异,GPT-4在模糊匹配上占优,但严谨场景下均非理想工具。
2024-08-24 cs.CL cs.IR
Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective
North Carolina State University(北卡罗来纳州立大学);South China University of Technology(华南理工大学);Yeshiva University(叶史瓦大学);Guangxi University(广西大学)
本文从情感分析视角对比了Mean、Max和Weighted Sum等池化机制在BERT和GPT架构上的性能,发现不同机制各有优劣,强调需根据具体应用需求选择池化方法以优化下游任务。
2025-02-01 cs.AI cs.CL
A Symbolic Framework for Evaluating Mathematical Reasoning and Generalisation with Transformers
University of Manchester(曼彻斯特大学);Idiap Research Institute(伊迪亚普研究所)
提出基于符号引擎生成并扰动方程推导的评估框架,揭示 BERT 与 GPT 在分布外数学推理及间接数学实体引用上的共同弱点。
2024-04-08 cs.CL cs.LG
Conceptor-Aided Debiasing of Large Language Models
University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
本文提出基于conceptors软投影的两种LLM去偏方法:后处理NOT投影和CI-BERT架构,在保持GLUE性能的同时实现SoTA去偏效果,并强调精心构建偏见子空间的重要性。
2023-10-30 cs.AI cs.CL
FairPy: A Toolkit for Evaluation of Prediction Biases and their Mitigation in Large Language Models
Purdue University(普渡大学)
针对BERT、GPT-2等大型预训练语言模型(LLMs)存在的token预测偏差问题,本文综述相关量化、识别与缓解技术,并提出模块化可扩展工具包Fairpy,支持现有去偏算法实现,助力模型偏差评估。
2025-04-15 cs.AI cs.CL cs.LG
Improving Next Tokens via Second-to-Last Predictions with Generate and Refine
University of Liechtenstein(列支敦士登大学)
针对自回归与自编码模型的局限,提出仅解码器架构预测倒数第二个token,通过结构化掩码提升训练效率,结合“生成再优化”方法显著提升GPT的下一个token预测准确率。
2025-02-13 cs.CL cs.LG
Life after BERT: What do Other Muppets Understand about Language?
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
现有的预训练的Transformer分析工作通常一次只关注一个或两个模型族,忽略了架构和预训练目标的可变性。在我们的工作中,我们利用oLMpics基准测试和心理语言学探测数据集,用于包括T5,BART和ALBERT在内的29种模型。此外,我们还将oLMpics zero-shot设置用于自回归模型,并评估不同大小的GPT网络。我们的研究结果表明,这些模型都不能以zero-shot的方式解决组合问题,这表明使用现有的预训练目标无法学习这种技能。此外,我们发现,全局模型决策,如架构,方向性,数据集大小和预训练目标并不能预测模型的语言能力。
2022-09-29 cs.CL
Cerebras-GPT: Open Compute-Optimal Language Models Trained on the Cerebras Wafer-Scale Cluster
Cerebras Systems(Cerebras系统公司)
结合高效预训练与扩展技术,提出参数规模111M至13B的开源计算最优语言模型Cerebras-GPT,遵循Chinchilla规则在Eleuther Pile上训练,实现最先进训练效率并开源模型与代码。
2023-04-06 cs.CL cs.LG
A Multi-Level Framework for Accelerating Training Transformer Models
Tsinghua University(清华大学)
针对Transformer类大模型训练算力需求高、成本大的问题,本文提出基于合并、解合并和插值算子的多级V循环训练加速框架,在保证性能的同时显著降低训练计算成本。
2024-04-07 cs.CL cs.LG
DARE: Data Augmented Relation Extraction with GPT-2
Healx
现实世界的关系抽取(RE)任务是具有挑战性的处理,无论是由于有限的训练数据或类不平衡的问题。在这项工作中,我们提出了数据增强关系抽取(DARE),一个简单的方法来增加训练数据适当微调GPT-2生成特定关系类型的例子。生成的训练数据然后与黄金数据集结合使用,以训练基于BERT的RE分类器。在一系列的实验中,我们展示了我们的方法的优点,这导致了高达11个F1分数点对一个强大的基线的改进。此外,DARE在三个广泛使用的生物医学RE数据集上达到了最新的技术水平,平均超过了之前的最佳结果4.7个F1点。
2020-04-06 cs.CL cs.LG stat.ML
A Combined Encoder and Transformer Approach for Coherent and High-Quality Text Generation
New York University(纽约大学);Purdue University(普渡大学);Northeastern University(东北大学);George Washington University(乔治华盛顿大学);The Chinese University of Hong Kong(香港中文大学)
本文提出BERT-GPT-4混合模型,结合BERT的语义理解与GPT-4的生成能力,在困惑度和BLEU上超越GPT-3等传统模型,实现更连贯、接近人类的文本生成。
2024-11-19 cs.CL
Leveraging Large Language Models for Enhanced NLP Task Performance through Knowledge Distillation and Optimized Training Strategies
School of Politics and Public Administration, South China Normal University(华南师范大学政治与公共管理学院);University of Chinese Academy of Sciences(中国科学院大学);Shenyang institute of computing technology, Chinese academy of sciences(中国科学院沈阳计算技术研究所)
本研究提出三阶段训练策略,利用GPT-4标注数据蒸馏给BERT模型,发现蒸馏与原始数据的简单混合策略显著提升NER性能,降低标注成本。
2024-03-24 cs.CL
Not wacky vs. definitely wacky: A study of scalar adverbs in pretrained language models
University of Oxford(牛津大学)
本文系统研究了BERT、RoBERTa、GPT-2和GPT-3对标量副词逻辑语义的理解,发现尽管模型能区分情态、频率和程度等语义类别,但其表现仍远不及人类水平。
2023-10-22 cs.CL
Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
NVIDIA(英伟达)
最近在语言建模方面的工作表明,训练大型Transformer模型推进了自然语言处理应用的最新技术水平。然而,由于内存限制,非常大的模型可能非常难以训练。在这项工作中,我们提出了我们的技术训练非常大的Transformer模型,并实现了一个简单,高效的层内模型并行方法,使训练Transformer模型与数十亿的参数。我们的方法不需要新的编译器或库更改,与管道模型并行是正交和互补的,并且可以通过在原生PyTorch中插入一些通信操作来完全实现。我们通过使用512个GPU将基于Transformer的模型收敛到83亿个参数来说明这种方法。我们在整个应用程序中维持15.1 PetaFLOPs,扩展效率为76%,而强大的单GPU基线维持39 TeraFLOPs,是峰值FLOPs的30%。为了证明大语言模型可以进一步推进最新技术水平(SOTA),我们训练了一个类似于GPT-2的83亿参数的Transformer语言模型和一个类似于BERT的39亿参数模型。我们表明,仔细注意放置的层归一化BERT类模型是至关重要的,以实现提高性能的模型大小的增长。使用GPT-2模型,我们在WikiText 103(10.8,SOTA复杂度为15.8)和LAMBADA(66.5%,SOTA准确度为63.2%)数据集上实现了SOTA结果。我们的BERT模型在RACE数据集上实现了SOTA结果(90.9%,而SOTA…
2020-03-13 cs.CL
Does RoBERTa Perform Better than BERT in Continual Learning: An Attention Sink Perspective
Stony Brook University(石溪大学)
本研究从注意力汇视角探究高下游能力预训练模型的持续学习表现,发现注意力汇会干扰持续学习,提出预缩放机制提升无回放持续学习性能。
2024-10-08 cs.CL cs.LG
GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
Google(谷歌)
用更多的数据、计算和参数来缩放语言模型已经推动了自然语言处理的重大进展。例如,由于可扩展性,GPT-3能够在上下文学习任务上取得很好的结果。然而,训练这些大型密集模型需要大量的计算资源。在本文中,我们提出并开发了一个名为GLaM(Generalist Language Model)的语言模型家族,该语言模型使用稀疏激活的混合专家模型架构来扩展模型容量,同时与密集变体相比,训练成本也大大降低。最大的GLaM有1.2万亿个参数,大约是GPT-3的7倍。它消耗的能量仅为训练GPT-3所用能量的1/3,并且需要一半的计算失败用于推理,同时在29个NLP任务中仍然实现了更好的整体zero-shot和one-shot性能。
2022-08-01 cs.CL
Trained on 100 million words and still in shape: BERT meets British National Corpus
University of Oslo(奥斯陆大学)
本文探索使用英国国家语料库进行预训练,证明其性能优于原始BERT,并提出优化架构LTG-BERT,为语言建模提供数据高效的基准。
2023-05-05 cs.CL
SWAN-GPT: An Efficient and Scalable Approach for Long-Context Language Modeling
NVIDIA(英伟达)
SWAN-GPT通过交替使用无位置编码层和滑动窗口旋转位置编码注意力层,结合推理时注意力分数动态缩放,在不额外训练的情况下实现长上下文外推,并支持高效转换现有预训练模型。
2025-04-11 cs.CL
Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
Independent Researcher, USA(美国独立研究者);Independent Researcher, Japan(日本独立研究者)
本文通过评估预训练变换器嵌入在欺骗分类中的效果,发现BERT结合逻辑回归在LIAR数据集上表现最佳,证明了上下文自注意力编码的有效性。
2025-11-28 cs.AI cs.CL cs.LG
Multi-node Bert-pretraining: Cost-efficient Approach
University of Toronto(多伦多大学);Vector Institute(向量研究院)
最近,大规模基于transformer的语言模型,如BERT,GPT-2和XLNet,为许多自然语言处理(NLP)任务带来了令人兴奋的飞跃。这些最新模型中的一个共同趋势是模型复杂性的显着增加,这引入了更多的权重和计算。此外,随着大规模无监督数据集的出现,由于单个训练时期内数据样本量的增加,训练时间进一步延长。因此,为了在合理的时间内训练这些模型,机器学习(ML)程序员通常需要高级硬件设置,例如支持GPU的高级NVIDIA DGX工作站或专用加速器,例如Google的TPU Pods。我们的工作解决了这一限制,并证明了通过仔细的算法和软件优化,BERT预训练模型可以在2周内在学术规模的广泛可用的GPU集群上训练。在本文中,我们提出了这些优化如何提高单个设备的训练吞吐量,分布在多个节点和GPU的训练工作量,并克服了大量的数据交换通过网络引入的通信瓶颈。我们表明,我们能够在合理的时间预算(12天)内在学术环境中对BERT进行预训练,但与之前基于NVIDIA DGX机器或Google TPU Pods的工业环境相比,硬件资源要求要便宜得多。
2020-08-01 cs.CL cs.LG stat.ML
FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search
National University of Singapore(新加坡国立大学)
提出FineVerify细粒度自验证框架,将问题分解为可检查的子问题,对候选答案逐项验证并聚合得分,在四个智能搜索基准上显著优于标准扩展基线。
2026-09-02 cs.CL
On the Transformer Growth for Progressive BERT Training
Google Research(谷歌研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
由于大规模语言模型预训练的过度成本,已经做出了相当大的努力来逐步训练BERT-从劣质但低成本的模型开始,并逐渐增长模型以增加计算复杂性。我们的目标是促进对Transformer成长的理解,并发现指导渐进式训练的原则。首先,我们发现,类似于网络架构搜索,Transformer的增长也有利于复合缩放。具体来说,虽然现有方法仅在单个维度中进行网络增长,但我们观察到使用复合增长算子并平衡多个维度(例如,模型的深度、宽度和输入长度)。此外,我们还通过控制比较的方法,在每个维度上探索了可供选择的增长算子,为算子的选择提供了实际指导。根据我们的分析,所提出的方法加快了BERT预训练的73.6%和82.2%,分别为基础和大模型,同时达到可比的性能
2021-07-11 cs.CL cs.LG