Universal Text Representation from BERT: An Empirical Study
AWS AI Labs(AWS人工智能实验室)
我们提出了一个系统的调查逐层BERT激活通用文本表示,以了解他们捕获的语言信息,以及如何转移他们在不同的任务。句子级嵌入是针对SentEval的下游和探测任务的两个最先进的模型进行评估的,而句子级嵌入是在学习排名问题设置下的四个问答(QA)数据集上进行评估的。预训练的BERT模型的嵌入在语义相似度和句子表面信息探测任务中表现不佳。对自然语言推理数据的微调BERT极大地提高了嵌入的质量。组合来自不同BERT层的嵌入可以进一步提高性能。BERT嵌入在通道水平上的模拟QA数据集上的表现显著优于BM 25基线,但在非模拟数据集上的表现未能优于BM 25。对于所有QA数据集,基于嵌入的方法和域内微调的BERT之间存在差距(我们报告了两个数据集的最新结果),这表明问题和答案对之间的深度交互对于这些硬任务至关重要。
2019-10-23 cs.CL cs.LG
Finding Universal Grammatical Relations in Multilingual BERT
Stanford University(斯坦福大学)
最近的研究发现,多语种BERT(mBERT),一个基于transformer的多语种掩蔽语言模型,能够zero-shot跨语言迁移,这表明其表示的某些方面是跨语言共享。为了更好地理解这种重叠,我们将最近在神经网络内部表示中寻找语法树的工作扩展到多语言环境。我们发现,子空间的mBERT表示恢复语法树的距离,在英语以外的语言,这些子空间大约是跨语言共享。受这些结果的启发,我们提出了一种无监督的分析方法,提供证据mBERT学习表示的句法依赖标签,在很大程度上同意与通用的依赖分类的集群的形式。这一证据表明,即使没有明确的监督,多语言掩蔽语言模型学习某些语言共性。
2020-05-20 cs.CL cs.LG
FlowBERT: Prompt-tuned BERT for variable flow field prediction
School of Computer Engineering and Science, Shanghai University, Shanghai 200444, China(计算机工程与科学学院,上海大学,上海200444,中国)
本文提出 FlowBERT 框架,融合 POD 降维、预训练 LLM 微调与流体专用文本模板,实现可变流场的少样本高精度秒级预测。
2025-05-20 cs.LG physics.flu-dyn
Latent Universal Task-Specific BERT
Amobee Inc.(Amobee公司)
本文描述了一种语言表示模型,该模型将Devlin等人(2018)中描述的Transformers(BERT)学习机制的双向编码器表示与Dehghani等人(2018)中描述的通用Transformer模型的泛化相结合。我们进一步改进了这个模型,增加了一个潜在的变量,代表人物和作家的兴趣为每个训练样本的主题。我们还描述了一个简单的方法,以提高我们的语言表示在特定领域的解决问题的有用性,其概括到其他领域的能力为代价。最后,我们发布了一个针对社交文本的预训练语言表示模型,该模型是在1亿条推文上训练的。
2019-05-16 cs.CL cs.LG stat.ML
Universal Dependencies according to BERT: both more specific and more general
本文通过从自注意力中提取标记依赖树,分析了BERT所捕获的句法抽象的形式和程度。以前的工作表明,个人BERT头往往编码特定的依赖关系类型。我们通过明确比较BERT关系与通用自相似性(UD)注释来扩展这些发现,表明它们通常不一一匹配。我们提出了一种关系识别和句法树构造的方法。我们的方法比以前的工作产生更一致的依赖树,表明它更好地解释了BERT的语法抽象。与此同时,它可以成功地应用于只有少量的监督和推广以及跨语言。
2020-10-06 cs.CL
Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders
University of Cambridge(剑桥大学)
近年来,预训练的掩蔽语言模型(MLMs)已经彻底改变了NLP。然而,以前的工作表明,现成的MLMs是不是有效的通用词汇或句子编码器,没有进一步的任务特定的微调NLI,句子相似性,或释义任务,使用注释的任务数据。在这项工作中,我们证明,它是可以把MLMs有效的通用词汇和句子编码器,即使没有任何额外的数据,没有任何监督。我们提出了一种非常简单,快速和有效的对比学习技术,称为BPERT,它转换MLMs(例如,BERT和RoBERTa)在20-30秒内转换成这样的编码器,而无需任何额外的外部知识。BERT-BERT依赖于完全相同或稍微修改的字符串对作为正(即,同义)微调的例子,并旨在最大限度地提高他们的相似性,在身份微调。我们报告了在不同领域和不同语言的词汇级和词汇级任务中,与使用E-BERT的现成MLMs相比的巨大收益。值得注意的是,在标准句子语义相似性(STS)任务中,我们的自监督Sentence-BERT模型甚至与先前工作中任务调整的Sentence-BERT模型的性能相匹配。最后,我们深入研究了MLMs的内部工作原理,并提出了一些证据,说明为什么这种简单的方法可以产生有效的通用词汇和句子编码器。
2021-09-09 cs.AI cs.CL cs.LG
75 Languages, 1 Model: Parsing Universal Dependencies Universally
Charles University(查理大学);Saarland University(萨尔兰大学)
我们提出了UDify,一个多语言的多任务模型,能够准确地预测通用的词性,形态特征,词元和依赖树同时为所有124个通用的相似性树库在75种语言。通过利用在104种语言上预训练的多语言BERT自我注意力模型,我们发现在所有数据集上对它进行微调,并为每个UD任务使用简单的softmax分类器,可以产生最先进的UPOS,UFeats,Lemmas,UAS和LAS分数,而不需要任何循环或语言特定的组件。我们评估了用于多语言学习的UDify,表明低资源语言从跨语言注释中受益最多。我们还对零样本学习进行了评估,结果表明,即使对于UDify和BERT都没有接受过训练的语言,多语言训练也能提供强大的UD预测。UDify的代码可在https://github.com/hyperparticle/udify上获得。
2019-08-25 cs.CL cs.LG
BURT: BERT-inspired Universal Representation from Twin Structure
Shanghai Jiao Tong University(上海交通大学)
预先训练的上下文化语言模型,如BERT,在广泛的下游自然语言处理(NLP)任务中表现出极大的有效性。然而,由模型提供的有效表示针对序列内的每个令牌而不是每个序列,并且微调步骤涉及同时输入两个序列,导致具有不同粒度的各种序列的不令人满意的表示。特别是,由于在这些模型中,作为完整的训练上下文的语义级表示,在较低级别的语言单元(短语和单词)上的性能较差。在这项工作中,我们提出了BURT(BERT inspired Universal Representation from Twin Structure),它能够为任何粒度的输入序列生成通用的,固定大小的表示,即,单词、短语和句子,使用具有多个训练目标的大规模自然语言推理和释义数据。我们提出的BURT采用Siamese网络,分别从自然语言推理数据集和释义数据集学习句子级表示和单词/短语级表示。我们在不同粒度的文本相似性任务中评估了BURT,包括STS任务,SemEval 2013任务5(a)和一些常用的单词相似性任务,其中BURT在文本级数据集上的表现大大优于其他表示模型,并在单词/短语级表示方面取得了显着改进。
2020-08-03 cs.CL
BURT: BERT-inspired Universal Representation from Learning Meaningful Segment
Shanghai Jiao Tong University(上海交通大学)
尽管预先训练的语境化语言模型(如BERT)在各种下游任务上取得了显著的性能,但当前的语言表示仍然仅关注特定粒度的语言目标,这在同时涉及多个级别的语言单元时可能不适用。因此,本工作介绍和探讨了普遍的表示学习,即,在统一向量空间中嵌入不同层次的语言单位。我们提出了一个通用的表示模型,BURT(BERT-inspired Universal Representation from learning meaningful segmentT),将不同层次的语言单位编码到同一个向量空间中。具体来说,我们提取和屏蔽有意义的部分的基础上逐点互信息(PMI),将不同的粒度目标到预训练阶段。我们在英语和汉语的数据集上进行了实验,包括GLUE和CLUE基准测试,我们的模型在广泛的下游任务上超越了其基线和替代方案。我们提出了我们的方法来构建类比数据集的单词,短语和句子和实验与多个表示模型,通过任务独立的评估来检查学习向量空间的几何属性。最后,我们在两个真实的文本匹配场景中验证了我们的统一预训练策略的有效性。因此,我们的模型显着优于现有的信息检索(IR)方法,并产生通用的表示,可以直接应用到检索为基础的问答和自然语言生成任务。
2020-12-31 cs.CL
NLP-ADBench: NLP Anomaly Detection Benchmark
University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学)
针对NLP中异常检测研究不足的问题,提出最全面的基准NLP-ADBench,含8个数据集和19种算法,发现两步法优于端到端法,OpenAI嵌入优于BERT,并开源统一框架。
2025-10-09 cs.CL cs.LG
Is Multilingual BERT Fluent in Language Generation?
University of Turku(图尔库大学)
多语言BERT模型在104种语言上进行训练,旨在作为一种通用的语言模型和句子编码工具。我们探讨如何以及该模型在几种语言上执行几个任务:一个诊断分类探测嵌入一个特定的句法属性,完形填空任务测试的语言建模能力,以填补句子中的空白,和一个自然语言生成任务测试的能力,以产生连贯的文本拟合给定的上下文。我们发现,目前可用的多语言BERT模型显然不如单语同行,在许多情况下,不能作为一个训练有素的单语模型的替代品。我们发现,英语和德语模型表现良好的一代,而多语言模型是缺乏,特别是北欧语言。
2019-10-09 cs.CL cs.LG
UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
提出UR-BERT,一种基于罗马化转录的TTS编码器,通过统一书写系统为罗马化表示,结合语音标记预测目标,在495种语言上实现高效多语言TTS,优于现有基线并泛化到未见语言。
2026-06-12 cs.CL cs.SD
Towards Non-task-specific Distillation of BERT via Sentence Representation Approximation
Tencent(腾讯);Peking University(北京大学)
最近,由于其有效性和通用性,BERT已成为各种NLP深度模型的重要组成部分。然而,BERT的在线部署往往是其大规模的参数和高计算成本的阻碍。大量的研究表明,知识蒸馏可以有效地将知识从BERT转移到具有较小参数的模型中。然而,目前的BERT提取方法主要集中在特定任务的提取,这样的方法导致BERT的通用语义知识的通用性的可用性损失。在本文中,我们提出了一个句子表示近似定向蒸馏框架,可以将预训练的BERT蒸馏成一个简单的基于LSTM的模型,而无需指定任务。与BERT一致,我们的蒸馏模型能够通过微调来执行迁移学习,以适应任何并行级下游任务。此外,我们的模型可以进一步配合特定任务的蒸馏过程。来自GLUE基准测试的多个NLP任务的实验结果表明,我们的方法优于其他特定于任务的蒸馏方法,甚至更大的模型,即,ELMO,效率大大提高。
2020-04-07 cs.CL
Spam and Sentiment Detection in Arabic Tweets Using MARBERT Model
Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·法伊塞尔大学);Saudi Telecom Company(沙特电信公司);Saudi Aramco Cybersecurity Chair(沙特阿美网络安全主席)
本研究利用MARBERT模型对阿拉伯语推文进行情感分析,以提升沙特电信公司客户服务,在24,513条推文数据集上取得了优于现有技术的准确率。
2026-06-25 cs.AI cs.CL
Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
预训练的通用特征提取器,例如用于自然语言处理的BERT和用于计算机视觉的VGG,已经成为改进深度学习模型而不需要更多标记数据的有效方法。虽然有效,但像BERT这样的特征提取器对于某些部署场景可能过大。我们探索了BERT的权重修剪,并问:预训练期间的压缩如何影响迁移学习?我们发现,修剪影响迁移学习在三个广泛的制度。低水平的修剪(30-40%)根本不会影响训练前的损失或转移到下游任务。中等水平的修剪会增加预训练损失,并阻止有用的预训练信息被转移到下游任务。高水平的修剪还会阻止模型拟合下游数据集,导致进一步退化。最后,我们观察到,微调BERT在一个特定的任务并没有提高其可修剪性。我们的结论是,BERT可以在预训练期间修剪一次,而不是在不影响性能的情况下为每个任务单独修剪。
2020-05-14 cs.CL
Semantic Tagging with LSTM-CRF
在本文中,提出了两个模型,即LSTM-CRF和BERT-LSTM-CRF的通用语义标签数据集的语义标记。实验表明,第一种模型更容易收敛,而第二种模型利用BERT嵌入,需要很长的时间来收敛,并且需要大的数据集才能有效地进行语义标注。
2023-01-28 cs.CL
HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所);AGH University of Science and Technology(AGH科技大学)
基于BERT的模型目前被用于解决几乎所有的自然语言处理(NLP)任务,并且大多数情况下都能获得最先进的结果。因此,NLP社区对理解这些模型进行了广泛的研究,但最重要的是设计有效和高效的培训程序。已经进行了几项消融研究,调查如何训练BERT类模型,但其中绝大多数只涉及英语。为英语设计的培训程序不一定是通用的,也不一定适用于其他类型上特别不同的语言。因此,本文提出了第一个消融研究集中在波兰语,这与孤立的英语语言,是一个融合的语言。我们设计并全面评估了将知识从多语言模型转移到单语言BERT模型的预训练过程。除了多语言模型初始化之外,还探讨了可能影响预训练的其他因素,即训练目标、语料库大小、BPE-Dropout和预训练长度。基于所提出的过程,波兰BERT为基础的语言模型- HerBERT -训练。该模型在多个下游任务上实现了最先进的结果。
2021-05-04 cs.CL cs.LG
Latin BERT: A Contextual Language Model for Classical Philology
School of Information(信息学院);University of California, Berkeley(加利福尼亚大学伯克利分校);Department of Classics(古典学系);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了拉丁语BERT,这是一个拉丁语的上下文语言模型,训练了从古典时代到21世纪的各种来源的6.427亿个单词。在一系列的案例研究中,我们说明了这种语言特定的模型的启示,无论是在拉丁语的自然语言处理工作中,还是在传统学术研究中使用计算方法:我们表明,拉丁语BERT在拉丁语的所有三个通用依赖数据集上实现了词性标记的最新技术水平,并且可以用于预测丢失的文本(包括关键校正),我们创建了一个新的数据集,用于评估拉丁语的词义消歧,并证明拉丁语BERT优于静态词嵌入,我们表明,它可以用于语义知情搜索查询上下文最近的邻居。我们公开发布经过训练的模型,以帮助推动该领域的未来工作。
2020-09-21 cs.CL
Retraining DistilBERT for a Voice Shopping Assistant by Using Universal Dependencies
Walmart Labs(沃尔玛实验室)
在这项工作中,我们在零售领域特定的数据上重新训练了沃尔玛语音购物助手的蒸馏BERT语言模型。我们还注入了通用的语法依赖,以进一步提高模型的性能。当今可用的语音助理的自然语言理解(NLU)组件严重依赖于用于各种任务的语言模型。通用语言模型,如BERT和RoBERTa是有用的领域无关的助手,但有局限性,当他们迎合特定的领域。例如,在购物领域中,标记“horizon”表示品牌,而不是其字面意义。通用模型无法捕捉这些微妙之处。因此,在这项工作中,我们重新训练了BERT语言模型的提炼版本,用于沃尔玛的语音购物助手的零售领域特定数据。我们还在再训练过程中包含了基于通用依赖性的功能,以进一步提高模型在下游任务上的性能。我们评估了再训练语言模型在四个下游任务上的性能,包括意图实体检测,情感分析,语音标题缩短和主动意图建议。我们观察到所有下游任务的性能平均提高了1.31%。
2021-03-29 cs.AI cs.CL
The Lottery Ticket Hypothesis for Pre-trained BERT Networks
University of Texas at Austin(得克萨斯大学奥斯汀分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
在自然语言处理(NLP)中,像BERT这样的巨大的预训练模型已经成为一系列下游任务训练的标准起点,类似的趋势也出现在深度学习的其他领域。与此同时,对彩票假设的研究表明,NLP和计算机视觉的模型包含较小的匹配子网络,能够单独训练到完全准确并转移到其他任务。在这项工作中,我们结合这些观察来评估这种可训练,可转移的子网络是否存在于预先训练的BERT模型中。对于一系列下游任务,我们确实找到了40%到90%稀疏度的匹配子网络。我们在(预先训练的)初始化时发现这些子网络,这与之前的NLP研究不同,因为它们只在经过一定量的训练后才会出现。在掩蔽语言建模任务(用于预训练模型的相同任务)中发现的子网络普遍转移;在其他任务中发现的子网络以有限的方式转移。随着大规模预训练成为深度学习中越来越重要的范式,我们的研究结果表明,主要的彩票观察结果在这种情况下仍然是相关的。代码可在https://github.com/VITA-Group/BERT-Tickets获得。
2020-10-18 cs.CL cs.LG cs.NE
L3Cube-MahaPOS: A Marathi Part-of-Speech Tagging Dataset and BERT Models
Department of Information Technology, PICT, Pune, India(印度浦那PICT信息技术系);Indian Institute of Technology Madras, Chennai, India(印度理工学院马德拉斯分校);L3 Cube Labs, Pune, India(印度浦那L3 Cube实验室)
针对资源匮乏的马拉地语,构建了32,354句人工标注的词性标注数据集MahaPOS,基于16标签UD对齐方案,并评测了HMM、CRF、BiLSTM、MuRIL等模型,最佳系统达到88.67%准确率。
2026-06-24 cs.CL cs.LG
Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);WeChat AI, Tencent Inc(腾讯微信人工智能部)
最近对彩票假说(LTH)的研究表明,像BERT这样的预训练语言模型(PLM)包含与原始PLM具有相似迁移学习性能的匹配子网络。这些子网络使用基于幅度的修剪。在本文中,我们发现,BERT子网络有更多的潜力比这些研究表明。首先,我们发现幅度修剪的成功可以归因于保留的预训练性能,这与下游可移植性相关。受此启发,我们建议直接优化子网络结构,以实现预训练目标,这可以更好地保持预训练性能。具体来说,我们在预训练任务上通过模型权重训练二进制掩码,目的是保持子网络的通用可转移性,这对任何特定的下游任务都是不可知的。然后,我们在GLUE基准和SQuAD数据集上微调子网络。结果表明,与幅度剪枝相比,掩码训练能有效地发现BERT子网络,提高了下游任务的整体性能。此外,我们的方法在搜索子网络时也更有效,并且在一定范围内的数据稀缺性进行微调时更有利。我们的代码可在https://github.com/llyx97/TAMT上获得。
2022-05-29 cs.CL
Syntax-augmented Multilingual BERT for Cross-lingual Transfer
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Facebook AI(脸书人工智能研究院)
近年来,我们已经看到了巨大的努力,在预训练多语言文本编码器使用大规模语料库在许多语言,以促进跨语言迁移学习。然而,由于语言之间的类型差异,跨语言迁移是具有挑战性的。然而,语言语法,例如,句法依赖,可以弥合类型学的差距。以前的工作表明,预先训练的多语言编码器,如mBERT \cite{devlin-etal-2019-bert},捕获语言语法,帮助跨语言迁移。这项工作表明,明确提供语言语法和训练mBERT使用辅助目标编码的通用依赖树结构有助于跨语言迁移。我们对四个NLP任务进行了严格的实验,包括文本分类,问答,命名实体识别和面向任务的语义解析。实验结果表明,语法增强的mBERT提高跨语言迁移在流行的基准测试,如PAWS-X和MLQA,平均1.4和1.6点,在所有语言。在\emph{generalized}转移设置中,表现显著提升,PAWS-X和MLQA的平均得分分别为3.9和3.1分。
2021-06-03 cs.CL
Semantic similarity estimation for domain specific data using BERT and other techniques
Fidelity Business Services India Pvt. Ltd.(富达业务服务印度私人有限公司)
本文使用USE、InferSent和BERT等先进技术估计语义相似度,在领域特定和Quora数据集上实验,发现BERT性能最优,证明其适用于领域特定数据。
2025-06-23 cs.CL stat.AP
Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers
University of Science and Technology Beijing(北京科技大学);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院)
我们提出Pixel-BERT,通过深度多模态Transformers将图像像素与文本对齐,这些转换器在统一的端到端框架中共同学习视觉和语言嵌入。我们的目标是直接从图像和句子对中建立图像像素和语言语义之间更准确和彻底的联系,而不是使用基于区域的图像特征作为最近的视觉和语言任务。我们的Pixel-BERT在像素和文本级别对齐语义连接,解决了视觉和语言任务的特定任务视觉表示的限制。该方法还减轻了限界框标注的开销,克服了视觉任务中语义标签与语言语义之间的不平衡。为了为下游任务提供更好的表示,我们使用Visual Genome数据集和MS-COCO数据集的图像和句子对预训练了一个通用的端到端模型。我们建议使用随机像素采样机制来增强视觉表示的鲁棒性,并将掩蔽语言模型和图像-文本匹配作为预训练任务。在下游任务上的大量实验表明,我们的方法在下游任务中表现出最先进的水平,包括视觉问答(VQA),图像-文本检索,用于真实视觉推理的自然语言(NLVR)。特别是,在公平比较下,与SOTA相比,我们将VQA任务中单个模型的性能提高了2.17个点。
2020-06-22 cs.CL cs.CV cs.LG
A text autoencoder from transformer for fast encoding language representation
Nanyang Technological University(南洋理工大学)
近年来,BERT在自然语言处理任务中显示出明显的优势和巨大的潜力。然而,无论是训练还是应用BERT都需要大量的时间和资源来计算上下文语言表示,这阻碍了它的通用性和适用性。为了克服这一瓶颈,我们提出了一个深度双向语言模型,在注意层使用窗口掩蔽机制。这项工作计算上下文语言表示没有随机掩蔽在BERT,并保持像BERT深双向架构。为了计算相同的句子表示,我们的方法显示O(n)的复杂度低于其他基于转换器的模型O($n^2$)。为了进一步证明其优越性,在CPU环境下进行计算上下文语言表示,通过使用所提出的方法的嵌入,逻辑回归在SMS分类方面显示出更高的准确性。此外,所提出的方法在语义相似性任务中也取得了显着的更高性能。
2021-11-04 cs.AI cs.CL
Enhanced Offensive Language Detection Through Data Augmentation
Dartmouth College(达特茅斯学院)
检测社交媒体上的攻击性语言是一项重要任务。ICWSM-2020数据挑战任务2旨在使用包含10万条标记推文的众包数据集识别攻击性内容。然而,数据集存在类别不平衡,与其他类别相比,某些标签非常罕见(例如,仇恨类仅占数据的5%)。在这项工作中,我们提出了Dager(数据增强器),一个基于生成的数据增强方法,提高了不平衡和低资源数据,如攻击性语言数据集的分类性能。Dager提取给定类的词法特征,并使用这些特征来指导生成基于GPT-2的条件生成器。然后,可以将生成的文本作为增强数据添加到训练集中。我们表明,当我们使用整个数据集的1%进行训练(使用BERT进行分类)时,应用Dager可以将数据挑战的F1得分提高11%;此外,生成的数据也很好地保留了原始标签。我们在四种不同的分类器(BERT,CNN,Bi-LSTM with attention和Transformer)上测试了Dager,观察到检测的普遍改进,表明我们的方法是有效的,并且与分类器无关。
2020-12-05 cs.CL cs.LG
From Universal Language Model to Downstream Task: Improving RoBERTa-Based Vietnamese Hate Speech Detection
Sun Asterisk Inc(太阳星公司);Le Quy Don Technical University(黎贵敦技术大学)
自然语言处理是人工智能的一个快速发展的领域。自2017年Google推出Transformer以来,BERT、GPT、ELMo等大量语言模型都受到了该架构的启发。这些模型在巨大的数据集上进行了训练,并在自然语言理解方面取得了最先进的结果。然而,针对下游任务在小得多的数据集上微调预训练的语言模型需要精心设计的流水线以减轻数据集的问题,例如缺乏训练数据和不平衡的数据。在本文中,我们提出了一个管道,以适应通用的RoBERTa语言模型的一个特定的文本分类任务:越南仇恨语音检测。我们首先通过在Masked语言模型任务上重新训练模型来调整数据集上的PhoBERT;然后,我们使用其编码器进行文本分类。为了在学习新特征表示的同时保留预训练的权重,我们进一步利用了不同的训练技术:层冻结,块式学习率和标签平滑。我们的实验证明,我们提出的管道显着提高了性能,实现了一个新的国家的最先进的越南仇恨语音检测活动与0.7221 F1得分。
2021-02-24 cs.CL cs.LG
LaoPLM: Pre-trained Language Models for Lao
School of Information Science and Technology, Guangdong University of Foreign Studies(广东外语外贸大学信息科学与技术学院);School of Mathematics and Statistics, Guangdong University of Foreign Studies(广东外语外贸大学数学与统计学院);Guangzhou Key Laboratory of Multilingual Intelligent Processing, Guangdong University of Foreign Studies(广东外语外贸大学广州市多语言智能处理重点实验室)
预训练语言模型(PLMs)在大规模语料库上进行训练,可以捕获上下文中不同层次的概念,从而生成通用的语言表示。它们可以使多个下游自然语言处理(NLP)任务受益。尽管PTM已被广泛用于大多数NLP应用程序,特别是英语等高资源语言,但它在老挝NLP研究中的代表性不足。以前关于老挝语的工作由于缺乏注释数据集和语言资源稀少而受到阻碍。在这项工作中,我们构建了一个文本分类数据集,以缓解资源稀缺的情况下,老挝语。我们还提出了老挝语的第一个基于transformer的PTM,有四个版本:BERT-small,BERT-base,ELECTRA-small和ELECTRA-base,并在两个下游任务上进行评估:词性标记和文本分类。实验证明了我们的老挝模型的有效性。我们将向社区发布我们的模型和数据集,希望促进老挝NLP应用程序的未来发展。
2021-10-14 cs.CL
IndicSUPERB: A Speech Processing Universal Performance Benchmark for Indian languages
Indian Institute of Technology, Madras(马德拉斯印度理工学院);AI4Bharat;Microsoft(微软)
人工智能研究的一个基石是创建和采用标准化的训练和测试数据集,以标记最先进模型的进展。一个特别成功的例子是用于训练和评估英语自然语言理解(NLU)模型的GLUE数据集。围绕基于自监督BERT的语言模型的大量研究都围绕着GLUE中NLU任务的性能改进。为了评估其他语言的语言模型,创建了几个特定于语言的GLUE数据集。言语语言理解(SLU)领域也遵循类似的轨迹。大型自监督模型(如wav 2 vec 2)的成功使语音模型的创建相对容易访问未标记的数据。然后可以在SLU任务上评估这些模型,例如SUPERB基准。在这项工作中,我们通过发布IndicSUPERB基准测试将其扩展到印度语言。具体而言,我们做出以下三点贡献。(i)我们收集了来自印度203个地区的1,218名贡献者的Kathbath,其中包含1,684小时的12种印度语言的标记语音数据。(ii)使用Kathbath,我们创建了6个语音任务的基准测试:自动语音识别,说话人验证,说话人辨识(单声道/多声道),语言识别,按示例查询,以及12种语言的关键字定位。(iii)在发布的基准测试中,我们训练和评估不同的自监督模型以及常用的基线FBANK。我们发现,语言特定的微调模型在大多数任务上比基线更准确,包括语言识别任务的76%的大差距。然而,对于说话人辨识,在大数据集上训练的自监督模型表现出优势。我们希望IndicSUPERB有助于为印度语言开…
2022-12-15 cs.CL cs.SD eess.AS
Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection
Alibaba Group(阿里巴巴集团)
随着COVID-19的大流行,相关假新闻在社交媒体上铺天盖地。不加区别地相信他们会给人们的生活带来很大的麻烦。然而,通用语言模型在这些假新闻检测中可能表现较弱,因为缺乏大规模的注释数据和对特定领域知识的足够语义理解。而在相应的语料库上训练的模型也因学习不足而表现平平。在本文中,我们提出了一种新的基于transformer的语言模型微调方法来检测这些假新闻。首先,针对专业短语的实际语义,扩展了个体模型的表征词汇。其次,我们采用了加热的softmax loss来区分硬挖掘样本,这对于假新闻来说很常见,因为短文本的消歧。然后,我们使用对抗训练来提高模型的鲁棒性。最后,将通用语言模型RoBERTa和特定领域模型CT-BERT提取的预测特征通过一个多层感知融合,实现了细粒度和高层次的特定表示。在现有的COVID-19假新闻数据集上评估的定量实验结果显示,在各种评估指标中,与最先进的方法相比,其性能优越。此外,最好的加权平均F1得分达到99.02%。
2023-02-10 cs.AI cs.CL
A Transfer Learning Approach for Dialogue Act Classification of GitHub Issue Comments
University of Central Florida(中佛罗里达大学)
社交编码平台,如GitHub,是研究开源软件开发中协作解决问题的实验室;一个关键特征是它们能够支持团队讨论任务和想法的问题报告。分析团队成员之间的对话,如问题评论中所表达的,可以产生关于虚拟团队绩效的重要见解。本文提出了一种迁移学习方法,用于对问题评论进行对话行为分类。由于不存在GitHub问题评论的大型标记语料库,因此采用迁移学习使我们能够将标准对话行为数据集与我们自己的GitHub评论数据集结合使用。我们比较了几个单词和句子级编码模型的性能,包括单词表示的全局矢量(GloVe),通用句子编码器(USE)和双向编码器表示Transformers(BERT)。能够将问题评论映射到对话行为是理解认知团队过程的有用垫脚石。
2020-11-10 cs.CL cs.SI