A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT
Michigan State University（密歇根州立大学）；Lehigh University（理海大学）；Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）；Nanyang Technological University（南洋理工大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；Salesforce AI Research（Salesforce人工智能研究院）；Duke University（杜克大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
Ce Zhou, Qian Li, Chen Li, Jun Yu, Yixin Liu, Guangjing Wang, Kai Zhang, Cheng Ji, Qiben Yan, Lifang He, Hao Peng, Jianxin Li, Jia Wu, Ziwei Liu, Pengtao Xie, C… 展开作者
Ce Zhou, Qian Li, Chen Li, Jun Yu, Yixin Liu, Guangjing Wang, Kai Zhang, Cheng Ji, Qiben Yan, Lifang He, Hao Peng, Jianxin Li, Jia Wu, Ziwei Liu, Pengtao Xie, Caiming Xiong, Jian Pei, Philip S. Yu, Lichao Sun
预训练基础模型（Pretrained Foundation Models, PFMs）被视为支撑不同数据模态下各类下游任务的基础。一款PFM（例如BERT、ChatGPT和GPT-4）基于大规模数据训练，可为广泛的下游应用提供合理的参数初始化。BERT从Transformer中学习双向编码器表征，作为上下文语言模型在大型数据集上完成训练。类似地，生成式预训练Transformer（generative pretrained transformer, GPT）方法采用Transformer作为特征提取器，并在大型数据集上以自回归范式训练。近期，ChatGPT在大语言模型领域展现出可观的成效，它采用带有零样本或少样本提示的自回归语言模型。\nPFM的显著成就为人工智能各领域带来了重大突破。大量研究提出了不同方法，也催生了对最新综述的需求。本研究对文本、图像、图及其他数据模态下PFM的最新研究进展、挑战与机遇进行了全面梳理。综述涵盖了自然语言处理、计算机视觉和图学习领域的基础组件及现有预训练方法。此外，还探讨了面向不同数据模态的先进PFM，以及兼顾数据质量与数量的统一PFM。综述同时讨论了与PFM基础相关的研究，例如模型效率与压缩、安全与隐私。最后，本研究提出了PFM领域的关键启示、未来研究方向、挑战与开放性问题。总体而言，本综述旨在为面向通用人工智能的PFM在可扩展性、安全性、逻辑推理能力、跨域学习能力以及用户友好交互能力方面的研究提供参考。
英文摘要：
Pretrained Foundation Models (PFMs) are regarded as the foundation for various downstream tasks with different data modalities. A PFM (e.g., BERT, ChatGPT, and GPT-4) is trained on large-scale data which provides a reasonable parameter initialization for a wide range of downstream applications. BERT learns bidirectional encoder representations from Transformers, which are trained on large datasets as contextual language models. Similarly, the generative pretrained transformer (GPT) method employs Transformers as the feature extractor and is trained using an autoregressive paradigm on large datasets. Recently, ChatGPT shows promising success on large language models, which applies an autoregressive language model with zero shot or few shot prompting. The remarkable achievements of PFM have brought significant breakthroughs to various fields of AI. Numerous studies have proposed different methods, raising the demand for an updated survey. This study provides a comprehensive review of recent research advancements, challenges, and opportunities for PFMs in text, image, graph, as well as other data modalities. The review covers the basic components and existing pretraining methods used in natural language processing, computer vision, and graph learning. Additionally, it explores advanced PFMs used for different data modalities and unified PFMs that consider data quality and quantity. The review also discusses research related to the fundamentals of PFMs, such as model efficiency and compression, security, and privacy. Finally, the study provides key implications, future research directions, challenges, and open problems in the field of PFMs. Overall, this survey aims to shed light on the research of the PFMs on scalability, security, logical reasoning ability, cross-domain learning ability, and the user-friendly interactive ability for artificial general intelligence.
BERT-kNN: Adding a kNN Search Component to Pretrained Language Models for Better QA
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
Khandelwal等人。（2020）使用k最近邻（kNN）组件来提高语言模型性能。我们表明，这种想法是有益的开放域的问答（QA）。为了提高对训练过程中遇到的事实的回忆，我们结合了BERT（Devlin et al.，2019）与传统的信息检索步骤（IR）和在嵌入式文本集合的大范围上的kNN搜索。我们的贡献如下：i）BERT-kNN在完形填空式问答中的性能大大优于BERT，无需任何进一步的训练。ii）我们表明，BERT经常识别正确的响应类别（例如，美国城市），但只有kNN恢复事实上正确的答案（例如，"Miami"）。iii）与BERT相比，BERT-kNN在罕见事实方面表现出色。iv）BERT-kNN可以很容易地处理BERT的训练集没有覆盖的事实，例如，最近的事件。
FinBERT: A Pretrained Language Model for Financial Communications
Hong Kong University of Science and Technology（香港科技大学）
上下文预训练语言模型，例如BERT（Devlin et al.，2019年），通过对大规模未标记文本资源的训练，在各种NLP任务中取得了重大突破。金融领域也积累了大量的金融沟通文本。但是，没有预训练的金融特定语言模型可用。在这项工作中，我们解决了需要通过预训练金融领域特定的BERT模型，FinBERT，使用大规模的金融通信语料库。在三个金融情感分类任务上的实验证实了FinBERT模型相对于一般领域BERT模型的优势。代码和预训练模型可在https://github.com/yya518/FinBERT上获得。我们希望这对从事金融NLP任务的从业者和研究人员有用。
Xu at SemEval-2022 Task 4: Pre-BERT Neural Network Methods vs Post-BERT RoBERTa Approach for Patronizing and Condescending Language Detection
University of Tübingen（图宾根大学）
本文介绍了我参与SemEval-2022任务4：赞助和居高临下的语言检测。我参与了两个子任务：Patronizing and Condensing Language（PCL）Identification和Patronizing and Condensing Language Categorization，主要关注子任务1。实验将基于BERT前神经网络（NN）的系统与BERT后预训练的语言模型RoBERTa进行比较。这项研究发现，与预训练的语言模型相比，实验中基于NN的系统在任务上的表现更差。在子任务1中，表现最好的RoBERTa系统在78个团队中排名第26位（F1分数：54.64），在子任务2中，在49个团队中排名第23位（F1分数：30.03）。
SciBERT: A Pretrained Language Model for Scientific Text
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
为科学领域的NLP任务获取大规模注释数据是具有挑战性和昂贵的。我们发布了SciBERT，一种基于BERT的预训练语言模型（Devlin et al.，2018年），以解决缺乏高质量，大规模的标记科学数据。SciBERT利用大型多领域科学出版物语料库的无监督预训练来提高下游科学NLP任务的性能。我们评估了一套任务，包括序列标记，句子分类和依存句法分析，从各种科学领域的数据集。我们证明了统计上显着的改进，超过BERT，并实现了新的国家的最先进的结果，这些任务。代码和预训练模型可在https://github.com/allenai/scibert/上获得。
Differentiate ChatGPT-generated and Human-written Medical Texts
South China University of Technology（华南理工大学）；University of Georgia（佐治亚大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Massachusetts General Hospital and Harvard Medical School（马萨诸塞总医院和哈佛医学院）
Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets
Exploiting ChatGPT for Diagnosing Autism-Associated Language Disorders and Identifying Distinct Features
University at Albany（奥尔巴尼大学）；West Virginia University（西弗吉尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Camas High School（卡马斯高中）；California Institute of Technology（加州理工学院）
BERT-ERC: Fine-tuning BERT is Enough for Emotion Recognition in Conversation
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Xiaomi AI Lab（小米人工智能实验室）；School of Psychological and Cognitive Sciences and Beijing Key Laboratory of Behavior and Mental Health, Peking University（北京大学心理与认知科学学院及行为与心理健康北京市重点实验室）
