多情感情感分类是一个自然语言处理(NLP)问题,具有真实世界数据的有价值用例。我们证明了大规模无监督语言建模与微调相结合,为困难数据集上的这一任务提供了一个实用的解决方案,包括那些具有标签类不平衡和特定领域上下文的数据集。通过在40 GB的文本(亚马逊评论)(McAuley et al. 2015)上训练基于注意力的Transformer网络(Vaswani et al. 2017)并对训练集进行微调,我们的模型在SemEval任务1:E-c多维情感分类问题(Mohammad et al. 2018)上获得了0.69 F1分数,基于Plutchik轮情感(Plutchik 1979)。这些结果与最先进的模型相比具有竞争力,包括在困难(情绪)类别(如恐惧(0.73),厌恶(0.77)和愤怒(0.78))上的强大F1分数,以及在罕见类别(如预期(0.42)和惊喜(0.37))上的竞争结果。此外,我们展示了我们的应用程序在现实世界中的文本分类任务。我们创建了一个严格收集的关于几个主题的真实推文的文本数据集,并表明我们的微调模型在此数据集上的情感和多维情感分类方面优于通用商业API。我们还进行了各种额外的研究,调查深度学习架构,数据集和算法的属性,以实现实用的多维情感分类。总的来说,我们发现无监督语言建模和微调是一个简单的框架,可以在现实世界的情感分类中获得高质量的结果。
英文摘要:
Multi-emotion sentiment classification is a natural language processing (NLP) problem with valuable use cases on real-world data. We demonstrate that large-scale unsupervised language modeling combined with finetuning offers a practical solution to this task on difficult datasets, including those with label class imbalance and domain-specific context. By training an attention-based Transformer network (Vaswani et al. 2017) on 40GB of text (Amazon reviews) (McAuley et al. 2015) and fine-tuning on the training set, our model achieves a 0.69 F1 score on the SemEval Task 1:E-c multi-dimensional emotion classification problem (Mohammad et al. 2018), based on the Plutchik wheel of emotions (Plutchik 1979). These results are competitive with state of the art models, including strong F1 scores on difficult (emotion) categories such as Fear (0.73), Disgust (0.77) and Anger (0.78), as well as competitive results on rare categories such as Anticipation (0.42) and Surprise (0.37). Furthermore, we demonstrate our application on a real world text classification task. We create a narrowly collected text dataset of real tweets on several topics, and show that our finetuned model outperforms general purpose commercially available APIs for sentiment and multidimensional emotion classification on this dataset by a significant margin. We also perform a variety of additional studies, investigating properties of deep learning architectures, datasets and algorithms for achieving practical multidimensional sentiment classification. Overall, we find that unsupervised language modeling and finetuning is a simple framework for achieving high quality results on real-world sentiment classification.
LMSpell: Spell Correction with Pre-Trained Language Models
Department of Computer Science and Engineering, University of Moratuwa(穆塔瓦大学计算机科学与工程系);School of Mathematical and Computational Sciences, Massey University(马希大学数学与计算科学学院)
Knowledge Inheritance for Pre-trained Language Models
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能研究院);Tencent Inc.(腾讯公司)
Distilling Knowledge from Pre-trained Language Models via Text Smoothing
Baidu Inc.(百度公司)
本文研究压缩预训练的语言模型,如BERT(Devlin et al.,2019),通过师生知识蒸馏。以前的工作通常迫使学生模型严格模仿教师BERT预测的平滑标签。作为替代方案,我们提出了一种新的BERT蒸馏方法,即,要求教师生成平滑的词ID而不是标签,用于在知识蒸馏中教授学生模型。我们称这种方法为文本平滑。实际上,我们使用BERT中的掩蔽语言模型(MLM)的softmax预测来生成给定文本的单词分布,并使用预测的软单词id来平滑这些输入文本。我们假设平滑后的标签和文本都可以隐式地扩充输入语料库,而文本平滑由于可以在一个神经网络前向步骤中生成更多的实例,因此直观上更有效,在GLUE和SQuAD上的实验结果表明,与现有的BERT提取方法相比,我们的解决方案可以获得有竞争力的结果。
An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding Generation
IBM Research(IBM研究院);The University of Melbourne(墨尔本大学)
最近,Le和Mikolov(2014)提出了doc2vec作为word2vec的扩展(Mikolov et al.,2013a)学习文档级嵌入。尽管原始论文中的结果很有希望,但其他人一直在努力重现这些结果。本文提出了一个严格的实证评估doc2vec在两个任务。我们将doc2vec与两个基线和两种最先进的文档嵌入方法进行了比较。我们发现,当使用在大型外部语料库上训练的模型时,doc2vec表现稳健,并且可以通过使用预训练的词嵌入来进一步改进。我们还为通用应用程序的超参数设置提供了建议,并发布了源代码,以使用我们训练的doc2vec模型来诱导文档嵌入。
A Comprehensive Empirical Study of Vision-Language Pre-trained Model for Supervised Cross-Modal Retrieval
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
最近的最先进的摘要方法利用大型预训练的Transformer模型。将这些模型提炼成更小的学生模型对于实际应用来说已经变得至关重要;然而,NLP文献提出了许多不同的提炼方法。最近的工作蒸馏BERT的分类和回归任务显示出强大的性能,使用直接知识蒸馏。或者,机器翻译从业者使用伪标记进行提取,其中小模型在较大模型的翻译上进行训练。第三种更简单的方法是“收缩和微调”(SFT),它通过将参数复制到较小的学生模型然后进行微调来避免任何显式蒸馏。我们比较了这三种方法对Pegasus和BART的蒸馏,当前和以前的最新技术水平,预训练的摘要模型,并发现SFT在CNN/DailyMail数据集上优于知识蒸馏和伪标记,但在更抽象的XSUM数据集上表现不佳。PyTorch代码和不同大小的检查点可以通过Hugging Face Transformers获得,网址为http://tiny.cc/4iy0tz。
Sequence-to-sequence models in peer-to-peer learning: A practical application
Faculty of Informatics Juraj Dobrila University of Pula(伊斯特拉大学普拉分校信息学院);Faculty of Informatics and Digital Technologies University of Rijeka(里耶卡大学信息与数字技术学院)