The standard BERT adopts subword-based tokenization, which may break a word into two or more wordpieces (e.g., converting "lossless" to "loss" and "less"). This will bring inconvenience in following situations: (1) what is the best way to obtain the contextual vector of a word that is divided into multiple wordpieces? (2) how to predict a word via cloze test without knowing the number of wordpieces in advance? In this work, we explore the possibility of developing BERT-style pretrained model over a vocabulary of words instead of wordpieces. We call such word-level BERT model as WordBERT. We train models with different vocabulary sizes, initialization configurations and languages. Results show that, compared to standard wordpiece-based BERT, WordBERT makes significant improvements on cloze test and machine reading comprehension. On many other natural language understanding tasks, including POS tagging, chunking and NER, WordBERT consistently performs better than BERT. Model analysis indicates that the major advantage of WordBERT over BERT lies in the understanding for low-frequency words and rare words. Furthermore, since the pipeline is language-independent, we train WordBERT for Chinese language and obtain significant gains on five natural language understanding datasets. Lastly, the analyse on inference speed illustrates WordBERT has comparable time cost to BERT in natural language understanding tasks.
E-BERT: Efficient-Yet-Effective Entity Embeddings for BERT
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们提出了一种将关于实体的事实知识注入到预训练的BERT模型中的新方法（Devlin等人，2019）：我们对齐Wikipedia 2 Vec实体向量（Yamada等人，2016）与BERT的原生词段向量空间，并使用对齐的实体向量，就好像它们是词段向量一样。得到的实体增强版本的BERT（称为E-BERT）在精神上类似于ERNIE（Zhang et al.，2019）和KnowBert（Peters等人，2019），但它不需要对BERT编码器进行昂贵的进一步预训练。我们评估E-BERT的无监督问答（QA），监督关系分类（RC）和实体链接（EL）。在所有三项任务中，E-BERT的表现都优于BERT和其他基准。我们还定量地表明，原始的BERT模型过度依赖于实体名称的表面形式（例如，猜一个名字听起来像意大利语的人会说意大利语），而E-BERT减轻了这个问题。
CharacterBERT: Reconciling ELMo and BERT for Word-Level Open-Vocabulary Representations From Characters
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（LIMSI实验室）；CEA（法国原子能和替代能源委员会）；List（List研究所）；Artificial Intelligence Research Center (AIRC)（人工智能研究中心）；AIST（日本产业技术综合研究所）
MVP-BERT: Redesigning Vocabularies for Chinese BERT and Multi-Vocab Pretraining
East China Normal University（华东师范大学）
尽管预训练语言模型（PLM）的发展显著提高了各种中文自然语言处理（NLP）任务的性能，但这些中文PLM的词汇仍然是Google Chinese BERT \cite{devlin2018bert}提供的基于汉字的词汇。第二，掩蔽语言模型预训练基于单个词汇，这限制了其下游任务性能。在这项工作中，我们首先提出了一种新的方法，\emph{seg\_tok}，形成汉语BERT的词汇，与中文分词（CWS）和子词标记的帮助。然后，我们提出了三个版本的多词汇预训练（MVP），以提高模型的表达能力。实验表明：（a）与基于字符的词汇表相比，\emph{seg\_tok}不仅提高了中文PLM在句子级任务上的性能，而且还提高了效率：（b）MVP提高了PLM的下游性能，特别是提高了\emph{seg\_tok}在序列标注任务上的性能。
Learning Faster with Better Tokens: Parameter-Efficient Vocabulary Adaptation for Specialized Text Summarization
Dept. of Computer Science and Engg., IIT Kharagpur（印度Kharagpur理工学院计算机科学与工程系）；Dept. of Medicine (Biomedical Informatics), Stanford University（斯坦福大学医学院（生物医学信息学））
OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Bosch Center for Artificial Intelligence（博世人工智能中心）
Parsing with Multilingual BERT, a Small Corpus, and a Small Treebank
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Department of Linguistics, University of Washington（华盛顿大学语言学系）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
MarkBERT: Marking Word Boundaries Improves Chinese BERT
Tencent AI Lab（腾讯人工智能实验室）
我们提出了一个中文的BERT模型称为马克BERT，在这项工作中使用的词信息。现有的基于词的BERT模型以词为基本单位，但由于BERT的词汇量限制，只能覆盖高频词，遇到词汇表外（out-of-vocabulary，OOV）词时又退回到字符级。与现有的作品不同，MarkBERT保持词汇是汉字，并在相邻的单词之间插入边界标记。这种设计使得模型能够以相同的方式处理任何单词，无论它们是否是OOV单词。此外，我们的模型还有两个额外的好处：第一，它可以方便地在标记上添加单词级学习目标，这是对传统字符和单词级预训练任务的补充;第二，它可以通过用特定于POS标签的标记替换通用标记来轻松地整合更丰富的语义，例如单词的POS标签。通过简单的标记插入，MarkBERT可以提高各种下游任务的性能，包括语言理解和序列标记。\footnote{All the codes and models will be made publicly available at \url{https://github.com/daiyongya/markbert}}
To Each Language Its Tokenizer: Modular Tokenizers for Efficient Multilingual LLMs
Kyutai；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institute of Intelligent Systems and Robotics（智能系统与机器人研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）
Beyond Atomic Tokens: Factorizing Syllables for Language Model Pretraining
University of Information Technology, Vietnam National University, Ho Chi Minh city（胡志明市越南国立大学信息技术大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
A Language Model from 1913: Pretraining on Historical Text
University of Waterloo（多伦多大学）；Vector Institute（向量研究所）；AIML, Adelaide University（AIML，阿德莱德大学）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Oxford Centre for Economic and Social History, University of Oxford（牛津大学经济与社会史中心）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）
An Empirical Comparison of Vocabulary Expansion and Initialization Approaches for Language Models
Indian Institute of Technology Madras（印度马德拉斯理工学院）；National Institute of Information and Communications Technology, Japan（日本信息通信研究机构）；Indian Institute of Technology Bombay（印度孟买理工学院）；IT University of Copenhagen, Denmark（丹麦哥本哈根信息技术大学）；Microsoft India（微软印度公司）；Nilekani Centre at AI4Bharat（AI4Bharat的尼莱卡尼中心）
本文针对多语言语言模型分词器词汇扩展中的嵌入初始化问题，提出无需跨语言嵌入的约束 Word2Vec（CW2V）方法，并在 RoBERTa 和 LLaMA 2 上验证其与先进方法相当甚至更优。
Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models
LUMIA Lab（LUMIA实验室）；School of Artificial Intelligence（人工智能学院）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Department of Electronic Engineering（电子工程系）；College of Artificial Intelligence（人工智能学院）；Tsinghua University（清华大学）；Shanghai Innovation Institute（上海创新研究院）
