随着自然语言处理（Natural Language Processing，NLP）技术的发展，越来越多的系统希望在用户界面模块中采用NLP技术来处理用户输入，从而以自然的方式与用户进行交流。然而，这带来了速度问题。也就是说，如果NLP模块不能在持久的时间延迟内处理句子，用户将永远不会使用系统。因此，对处理时间要求严格的系统，如对话系统、Web搜索系统、自动客服系统，特别是实时系统，为了获得更快的系统响应，不得不放弃NLP模块。本文旨在解决速度问题。本文首先介绍了一个基于语料库机器学习和统计模型的句法分析器的构造，然后对该句法分析器及其算法的速度问题进行了分析。在此基础上，提出了两种加速方法：压缩词性集和句法模式剪枝，有效地提高了NLP模块中句法分析的时间效率。为了评估加速算法中的不同参数，引入了两个新的因素，PT和RT，并详细解释。最后通过实验对这些方法进行了验证，为自然语言处理的应用提供了理论依据。
英文摘要：
With the development of Natural Language Processing (NLP), more and more systems want to adopt NLP in User Interface Module to process user input, in order to communicate with user in a natural way. However, this raises a speed problem. That is, if NLP module can not process sentences in durable time delay, users will never use the system. As a result, systems which are strict with processing time, such as dialogue systems, web search systems, automatic customer service systems, especially real-time systems, have to abandon NLP module in order to get a faster system response. This paper aims to solve the speed problem. In this paper, at first, the construction of a syntactic parser which is based on corpus machine learning and statistics model is introduced, and then a speed problem analysis is performed on the parser and its algorithms. Based on the analysis, two accelerating methods, Compressed POS Set and Syntactic Patterns Pruning, are proposed, which can effectively improve the time efficiency of parsing in NLP module. To evaluate different parameters in the accelerating algorithms, two new factors, PT and RT, are introduced and explained in detail. Experiments are also completed to prove and test these methods, which will surely contribute to the application of NLP.
Beijing Language and Culture University（北京语言大学）；Tsinghua University（清华大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Beijing Jiaotong University（北京交通大学）
Multi-Task Learning by using Contextualized Word Representations for Syntactic Parsing of a Morphologically Rich Language
VTT Technical Research Centre of Finland Ltd.（芬兰VTT技术研究中心有限公司）；University of Konstanz（康斯坦茨大学）；Al-Khawarizmi Institute of Computer Science（花剌子密计算机科学研究所）；University of Engineering and Technology（工程技术大学）；Umm Al-Qura University（乌姆·库拉大学）；Copenhagen University（哥本哈根大学）
On the Inductive Bias of Masked Language Modeling: From Statistical to Syntactic Dependencies
Stanford University（斯坦福大学）
我们研究了如何以无监督的方式掩蔽和预测令牌可以产生语言结构和下游性能增益。最近的理论表明，预训练的语言模型通过隐含地充当下游任务的完形填空缩减的掩码来获得有用的归纳偏差。虽然有吸引力，我们表明，在实践中使用的随机掩蔽策略的成功，不能解释这样的完形填空式的面具。我们使用三个不同分类数据集的特定任务词典构建了类似完形填空的掩码，并表明大多数预训练的性能增益来自与词典无关的通用掩码。为了解释这些通用面具的经验成功，我们证明了掩蔽语言模型（MLM）的目标和现有的方法之间的对应关系，学习统计依赖的图形模型。使用此，我们推导出一种方法，用于提取这些学习的统计依赖MLMs，并表明这些依赖编码有用的归纳偏见的形式的句法结构。在无监督解析评估中，简单地在隐含的统计依赖结构上形成最小生成树优于无监督解析的经典方法（58.74 vs. 55.91 UUAS）。
A Pilot Study of Text-to-SQL Semantic Parsing for Vietnamese
NVIDIA（英伟达）；VinAI Research（越南人工智能研究院）
语义解析是自然语言处理的一项重要任务。然而，越南语在这一研究领域是一种低资源语言。在本文中，我们提出了第一个公共的大规模文本到SQL语义解析数据集越南。我们扩展并评估了两个强大的语义解析基线EditSQL（Zhang等人，2019）和IRNet（Guo et al.，2019年，在我们的数据集上。我们比较了两个基线的关键配置，发现：自动越南语分词提高了两个基线的分析结果;归一化逐点互信息（NPMI）得分（Bouma，2009）是有用的模式链接;潜在的句法特征提取的神经依赖分析越南语也改善了结果;用于越南语的单语语言模型PhoBERT（Nguyen和Nguyen，2020）有助于产生比最近最好的多语言语言模型XLM-R（Conneau等人，2020年）。
