A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
最近,多语言BERT在跨语言迁移任务上表现得非常好,优于静态非上下文词嵌入。在这项工作中,我们提供了一个深入的实验研究,以补充现有的跨语言能力的文献。我们用相同的数据比较了非语境化和语境化表示模型的跨语言能力。我们发现数据大小和上下文窗口大小是影响可移植性的关键因素。我们还观察到语言特定的信息在多语言BERT。通过对潜在表征的操作,可以控制多语言BERT的输出语言,实现无监督的令牌翻译。我们进一步表明,基于观察,有一个计算成本低,但有效的方法来提高跨语言能力的多语种BERT。
2020-04-20 cs.CL
HASOCOne@FIRE-HASOC2020: Using BERT and Multilingual BERT models for Hate Speech Detection
International Institute of Information Technology - Hyderabad(海得拉巴国际信息技术学院)
由于社交媒体的指数增长,仇恨和有毒内容已成为当今世界的一个重大问题。仇恨言论和有害内容的增加促使研究人员在仇恨内容识别的挑战性方向上投入大量精力。在这项任务中,我们提出了一种方法来自动分类仇恨言论和攻击性内容。我们使用了从FIRE 2019和2020共享任务中获得的数据集。我们利用迁移学习模型进行实验。我们观察到预训练的BERT模型和多语言BERT模型给出了最好的结果。该代码可在https://github.com/suman101112/hasoc-fire-2020上免费获得。
2021-01-22 cs.CL
Are Multilingual BERT models robust? A Case Study on Adversarial Attacks for Multilingual Question Answering
IBM Research AI(IBM研究院AI);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
最近的方法利用单语问答(QA)模型的弱点,通过添加对抗性陈述的通道。这些攻击导致最先进的性能降低了近50%。在本文中,我们首次探索并成功攻击了一个多语言QA(MLQA)系统,该系统使用多种攻击策略对多语言BERT进行了预训练,使对抗性语句的性能降低了85%。我们表明,该模型优先考虑英语和语言的问题,而不管其他语言的QA对。此外,我们还表明,在训练过程中添加我们的攻击策略有助于减轻攻击。
2021-04-15 cs.CL
What makes multilingual BERT multilingual?
National Taiwan University(台湾大学)
最近,多语言BERT在跨语言迁移任务上表现得非常好,优于静态非上下文词嵌入。在这项工作中,我们提供了一个深入的实验研究,以补充现有的跨语言能力的文献。我们用相同的数据比较了非语境化和语境化表示模型的跨语言能力。我们发现数据大小和上下文窗口大小是影响可移植性的关键因素。
2020-10-20 cs.CL cs.LG
Extending Multilingual BERT to Low-Resource Languages
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Duolingo(多邻国);University of Pennsylvania(宾夕法尼亚大学)
多语言BERT(M-BERT)在监督学习和zero-shot跨语言迁移学习方面都取得了巨大的成功。然而,这一成功只集中在维基百科上的前104名语言,它是训练。在本文中,我们提出了一个简单而有效的方法来扩展M-BERT(E-BERT),使它可以受益于任何新的语言,并表明我们的方法,已经在M-BERT以及受益的语言。我们在27种语言上进行了一组广泛的命名实体识别(NER)实验,其中只有16种是M-BERT,并且在已经在M-BERT中的语言上平均增加了约6%F1,在新语言上增加了23%F1。
2020-04-28 cs.CL
Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization
National Taiwan University(台湾大学)
多语言BERT(m-BERT)中的标记嵌入包含语言和语义信息。我们发现,一种语言的表示可以通过简单地平均嵌入的语言的令牌。给定这种语言表示,我们通过操纵令牌嵌入来控制多语言BERT的输出语言,从而实现无监督的令牌翻译。我们进一步提出了一个计算成本低,但有效的方法来提高跨语言的能力m-BERT基于这一观察。
2021-11-01 cs.AI cs.CL
SJ_AJ@DravidianLangTech-EACL2021: Task-Adaptive Pre-Training of Multilingual BERT models for Offensive Language Identification
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学);Electrical and Computer Engineering(电气与计算机工程学院)
在本文中,我们提出了我们提交的EACL 2021-共享任务在达罗毗荼语攻击性语言识别。我们的最终系统是mBERT和XLM-RoBERTa模型的集成,这些模型利用多语言BERT模型的任务自适应预训练,并具有掩蔽语言建模目标。我们的系统在卡纳达语中排名第一,在马拉雅拉姆语中排名第二,在泰米尔语中排名第三。
2021-03-12 cs.CL
To What Degree Can Language Borders Be Blurred In BERT-based Multilingual Spoken Language Understanding?
Amazon Alexa(亚马逊Alexa)
本文讨论的问题,在何种程度上基于BERT的多语言口语语言理解(SLU)模型可以跨语言的知识转移。通过实验,我们将表明,虽然它的工作相当不错,即使在遥远的语言群体,仍然有一个理想的多语言性能的差距。此外,我们提出了一种新的基于BERT的对抗模型架构,以学习多语言SLU的语言共享和语言特定的表示。我们的实验结果证明,该模型是能够缩小差距,理想的多语言性能。
2020-11-10 cs.AI cs.CL
Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis
虽然以前的研究基于情感分析(ABSA)的印尼酒店领域的评论已经进行了使用CNN和XGBoost,其模型并没有推广以及在测试数据和大量的OOV字导致错误分类的情况下。如今,大多数NLP任务的最新结果都是通过使用预训练的语言表示来实现的。在本文中,我们打算采用最重要的语言表示模型之一,BERT,在印度尼西亚评论数据集执行ABSA。通过将多语言BERT(m-BERT)与任务转换方法相结合,我们成功地实现了与我们以前的研究结果相比,F1分数显著提高了8%。
2021-03-05 cs.CL
How multilingual is Multilingual BERT?
Google Research(谷歌研究院)
在本文中,我们证明了由Devlin等人(2018)发布的多语言BERT(M-BERT)作为从104种语言的单语语料库中预训练的单语言模型,在zero-shot跨语言模型迁移方面表现得非常出色,其中一种语言中的特定于任务的注释用于微调模型以用于另一种语言的评估。为了理解为什么,我们提出了大量的探索实验,表明转移是可能的,甚至在不同的脚本语言,转移类型相似的语言之间的效果最好,单语语料库可以训练模型的代码转换,该模型可以找到翻译对。从这些结果中,我们可以得出结论,M-BERT确实创建了多语言表示,但这些表示表现出影响某些语言对的系统缺陷。
2019-06-04 cs.AI cs.CL cs.LG
Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models
Stanford University(斯坦福大学)
本文发现多语言BERT存在语法结构偏差,即英语等高资源语言的语法会渗入低资源语言,并通过西班牙语代词省略和希腊语主谓顺序实验证明其偏向英语式结构,呼吁更关注语言学意识的流利度评估。
2023-04-13 cs.CL
LightMBERT: A Simple Yet Effective Method for Multilingual BERT Distillation
Huazhong University of Science and Technology(华中科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
多语言预训练语言模型(例如mBERT,XLM和XLM-R)在跨语言自然语言理解任务中表现出令人印象深刻的性能。然而,这些模型是计算密集型的,并且难以部署在资源受限的设备上。在本文中,我们提出了一个简单而有效的蒸馏方法(LightMBERT)的跨语言泛化能力的多语种BERT到一个小的学生模型。实验结果实证证明LightMBERT的效率和有效性,这是显着优于基线,并表现出与教师mBERT。
2021-03-11 cs.CL
BERT Based Multilingual Machine Comprehension in English and Hindi
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
多语言机器理解(MMC)是一个问答(QA)子任务,涉及从给定的片段中引用问题的答案,其中问题和片段可以是不同的语言。最近发布的BERT(m-BERT)的多语言变体,预先训练了104种语言,在多语言任务的zero-shot和微调设置中表现良好;然而,它还没有用于英语-印地语MMC。因此,我们在这篇文章中介绍了我们在zero-shot,单语言(例如印地语-印地语)和跨语言(例如英语-印地语)微调设置中使用MMC的m-BERT实验。这些模型变体在所有可能的多语言设置上进行评估,并将结果与这些语言的当前最先进的顺序QA系统进行比较。实验表明,经过微调的m-BERT可以提高先前模型使用的两个数据集的所有评估设置的性能,因此将基于m-BERT的MMC确立为英语和印地语的最新技术水平。我们还在最近发布的XQuAD数据集的扩展版本上发布了我们的结果,我们建议将其用作未来研究的评估基准。
2020-06-02 cs.CL
Word-order typology in Multilingual BERT: A case study in subordinate-clause detection
University of Stuttgart(斯图加特大学)
BERT和类似模型的能力和局限性在学习语法抽象时仍然不清楚,特别是在跨语言学习时。在本文中,我们使用的任务内和跨语言的从属子句检测探测这些属性。我们发现,这项任务是看似简单,容易的收益抵消了长尾的困难情况下,和BERT的zero-shot性能占主导地位的词序效应,反映了SVO/VSO/SOV类型。
2022-05-24 cs.CL
Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
最近的研究表明,BERT在广泛的自然语言处理任务中显示出潜力。它被许多先进的自动汇总系统采用作为编码器,实现了优异的性能。然而,到目前为止,为越南人做的工作并不多。在本文中,我们展示了如何BERT可以实现提取文本摘要越南语多文档。我们介绍了不同的多语言和单语言BERT模型之间的一种新的比较。实验结果表明,与其他多语种模型和以往的越南语文本摘要模型相比,单语模型产生了令人满意的结果。
2021-10-16 cs.AI cs.CL
Multilingual is not enough: BERT for Finnish
University of Turku(图尔库大学)
在大型未注释文本语料库上预训练的基于深度学习的语言模型已被证明可以有效地进行自然语言处理的迁移学习,最近的方法(如基于transformer的BERT模型)在各种任务中推进了最新技术水平。虽然这些模型的大多数工作都集中在高资源语言上,特别是英语,但最近的一些努力引入了多语言模型,可以进行微调以解决大量不同语言的任务。然而,我们仍然缺乏对这些模型的能力的全面了解,特别是对于资源较少的语言。在本文中,我们专注于芬兰语,并在一系列任务上彻底评估多语言BERT模型,将其与从头开始训练的新芬兰语BERT模型进行比较。新的语言特定的模型被证明是系统和明显优于多语言。虽然多语言模型在很大程度上未能达到以前提出的方法的性能,自定义芬兰BERT模型建立了新的国家的最先进的结果对所有语料库的所有参考任务:词性标注,命名实体识别,和依存句法分析。我们在https://turkunlp.org/finbert上以开放许可证发布模型和为此研究创建的所有相关资源。
2019-12-15 cs.CL
ESCOXLM-R: Multilingual Taxonomy-driven Pre-training for the Job Market Domain
IT University of Copenhagen(哥本哈根信息技术大学);LMU Munich(慕尼黑大学)
提出基于XLM-R的多语言模型ESCOXLM-R,利用ESCO分类体系进行领域自适应预训练,在就业市场多项任务的多数数据集上达到SOTA。
2023-05-20 cs.CL
ANDES at SemEval-2020 Task 12: A jointly-trained BERT multilingual model for offensive language detection
ICC, CONICET(阿根廷国家科学与技术研究理事会计算机与通信研究所);Universidad de Buenos Aires(布宜诺斯艾利斯大学);University of Chile(智利大学);IMFD, Chile(智利千禧数据基金会);CONICET(阿根廷国家科学与技术研究理事会);Universidad Nacional de Córdoba(国立科尔多瓦大学)
本文介绍了我们参与SemEval-2020任务12:多语言攻击性语言检测。我们通过微调多语言BERT来联合训练单个模型,以解决所有拟议语言的任务:英语,丹麦语,土耳其语,希腊语和阿拉伯语。我们的单一模型具有竞争力的结果,尽管在所有语言中共享相同的参数,但其性能接近最高性能的系统。此外,还进行了Zero-shot和Few-Shot实验来分析这些语言之间的迁移性能。我们公开我们的代码以供进一步研究
2020-08-13 cs.CL
Is a Prestigious Job the same as a Prestigious Country? A Case Study on Multilingual Sentence Embeddings and European Countries
Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院)
本研究探讨多语言句子嵌入如何捕捉欧洲国家与职业,发现嵌入主要反映东欧与西欧的地缘政治区别及国家GDP,且多数模型中职业声望与国家维度不相关,仅小型蒸馏模型存在基于国籍歧视的潜在风险。
2023-10-25 cs.CL
EstBERT: A Pretrained Language-Specific BERT for Estonian
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本文介绍了EstBERT,一个大型的预训练的基于transformer的语言特定的BERT模型爱沙尼亚语。最近的工作评估了爱沙尼亚任务的多语言BERT模型,发现它们的表现优于基线。尽管如此,基于对其他语言的现有研究,特定于语言的BERT模型预计将优于多语言模型。我们首先描述了EstBERT的预训练过程,然后提出了基于微调的EstBERT模型的多个NLP任务的结果,包括POS和形态标记,命名实体识别和文本分类。评估结果表明,基于EstBERT的模型在六个任务中的五个任务上优于多语言BERT模型,进一步证明了即使多语言模型可用,训练特定语言的BERT模型仍然有用。
2021-04-28 cs.CL
Measuring Shifts in Attitudes Towards COVID-19 Measures in Belgium Using Multilingual BERT
KU Leuven(鲁汶大学);TU Berlin(柏林工业大学);Weizenbaum Institute(魏茨鲍姆研究所)
我们使用多语言BERT对比利时7个月的COVID相关推文进行分类,并将其与政府的COVID措施相关联。我们根据推文对比利时政府宵禁措施的看法(太严格,好,太宽松)对推文进行分类。我们会参考相关事件(如实施新措施或媒体发布的COVID-19相关公告)的日期,审视所讨论的议题及表达的意见随时间的变化。
2021-04-20 cs.CL cs.SI
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的,在微调过程中看不到。尽管取得了令人鼓舞的成果,但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析,我们表明,多语言BERT,一个流行的多语言语言模型,可以被看作是两个子网络的堆叠:一个多语言编码器,然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要,并且在微调期间基本保持不变,但任务预测器对迁移的重要性很小,并且可以在微调期间重新初始化。我们提出了广泛的实验,三个不同的任务,17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
LIIR at SemEval-2020 Task 12: A Cross-Lingual Augmentation Approach for Multilingual Offensive Language Identification
KU Leuven(鲁汶大学)
本文介绍了我们的系统,题为“LIIR”的SemEval-2020任务12在社交媒体中的多语言攻击性语言识别(OffensEval 2)。我们参加了英语、丹麦语、希腊语、阿拉伯语和土耳其语的分任务A。我们分别针对英语和非英语语言调整和微调了Google AI提供的BERT和多语言Bert模型。对于英语语言,我们使用两个微调的BERT模型的组合。对于其他语言,我们提出了一种跨语言的增强方法,以丰富训练数据,我们使用多语言BERT获得句子表示。LIIR在希腊语、土耳其语、英语、阿拉伯语和丹麦语中的排名分别为14/38、18/47、24/86、24/54和25/40。
2020-07-17 cs.CL
Multi$^2$OIE: Multilingual Open Information Extraction Based on Multi-Head Attention with BERT
Korea University(高丽大学)
在本文中,我们提出了多$^2$ OIE,它执行开放信息抽取(开放IE)结合BERT与多头注意力。我们的模型是一个序列标记系统,具有高效和有效的参数提取方法。我们使用查询,键和值设置的灵感来自多模态Transformer,以取代以前使用的双向长短期记忆体系结构与多头注意力。Multi $^2$ OIE在两个基准评估数据集Re-OIE 2016和CaRB上的性能优于现有的序列标记系统,具有高计算效率。此外,我们提出的方法应用到多语言开放的IE使用多语言BERT。针对两种语言(西班牙语和葡萄牙语)引入的新基准数据集的实验结果表明,我们的模型在没有目标语言训练数据的情况下优于其他多语言系统。
2020-10-07 cs.CL cs.LG
What's so special about BERT's layers? A closer look at the NLP pipeline in monolingual and multilingual models
University of Groningen(格罗宁根大学)
窥视BERT的内部工作方式表明,它的层类似于经典的NLP管道,越来越复杂的任务集中在后面的层中。为了研究这些结果在多大程度上也适用于英语以外的语言,我们探索了荷兰语基于BERT的模型和荷兰语NLP任务的多语言BERT模型。此外,通过对词性标记的更深入分析,我们发现,在给定的任务中,信息也分布在网络的不同部分,管道可能不像看起来那么整齐。每个层都有不同的专业化,因此将来自不同层的信息组合起来可能更有用,而不是基于最佳整体性能选择单个层。
2020-10-12 cs.CL
Are All Languages Created Equal in Multilingual BERT?
Johns Hopkins University(约翰斯·霍普金斯大学)
在104种语言上训练的多语言BERT(mBERT)在几个NLP任务上表现出令人惊讶的良好跨语言性能,即使没有明确的跨语言信号。然而,这些评估都集中在高资源语言的跨语言迁移上,只覆盖了mBERT覆盖语言的三分之一。我们探索mBERT如何在更广泛的语言上表现,重点关注低资源语言的表示质量,通过语言内性能来衡量。我们考虑三个任务:命名实体识别(99种语言),词性标记,和依存句法分析(54种语言)。mBERT在高资源语言上比基线更好,但在低资源语言上要差得多。此外,这些语言的单语BERT模型甚至更差。与类似的语言配对,单语BERT和mBERT之间的性能差距可以缩小。我们发现,低资源语言的更好模型需要更有效的预训练技术或更多的数据。
2020-10-01 cs.CL
LT@Helsinki at SemEval-2020 Task 12: Multilingual or language-specific BERT?
University of Helsinki(赫尔辛基大学)
本文介绍了LT@Helsinki团队为SemEval 2020共享任务12提交的不同模型。我们的团队参与了子任务A和C;分别名为攻击性语言识别和攻击目标识别。在这两种情况下,我们都使用了来自Transformer(BERT)的所谓双向编码器表示,这是一个由Google预先训练并由我们在OLID和SOLID数据集上进行微调的模型。结果表明,攻击性推文分类是BERT可以实现最先进结果的几个基于语言的任务之一。
2020-08-03 cs.CL
It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT
Computer Science Department, Bar Ilan University(巴伊兰大学计算机科学系);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
最近的工作表明,多语言BERT(mBERT)学习丰富的跨语言表示,允许跨语言的传输。我们研究了嵌入在mBERT中的单词级翻译信息,并提出了两种简单的方法,这些方法无需微调即可显示出色的翻译功能。结果表明,这些信息中的大部分是以非线性方式编码的,而其中一些信息也可以用纯线性工具恢复。作为我们分析的一部分,我们测试的假设,mBERT学习表示,其中包含一个语言编码组件和一个抽象的,跨语言的组件,并明确确定一个经验的语言身份子空间内mBERT表示。
2020-10-16 cs.CL
AMU-EURANOVA at CASE 2021 Task 1: Assessing the stability of multilingual BERT
EURA NOVA(欧瑞诺瓦(EURA NOVA));Aix Marseille Univ(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心)
本文介绍了我们参与CASE 2021共享任务的任务1。这个任务是关于从新闻中提取多语言事件的。我们重点研究子任务4,事件信息抽取。这个子任务有一个小的训练数据集,我们微调了一个多语言BERT来解决这个子任务。我们研究了数据集的不稳定性问题,并试图减轻它。
2021-08-04 cs.AI cs.CL
Probing Multilingual BERT for Genetic and Typological Signals
University of North Texas(北德克萨斯大学);VU Amsterdam(阿姆斯特丹自由大学);TU Darmstadt(达姆施塔特工业大学)
我们探测层的多语言BERT(mBERT)的系统发育和地理语言信号在100种语言和计算语言距离的基础上的mBERT表示。我们1)使用语言距离来推断和评估语言树,发现它们在四元组树距离方面接近参考家谱,2)进行距离矩阵回归分析,发现语言距离最能用系统发育解释,最不能用结构因素解释; 3)提出了一种新的测量历时意义稳定性的方法(基于跨语言表示可变性),其与基于语言方法的已发布排名列表显著相关。我们的研究结果有助于跨语言文本表征的类型学可解释性的新生领域。
2020-11-04 cs.CL
Finding Universal Grammatical Relations in Multilingual BERT
Stanford University(斯坦福大学)
最近的研究发现,多语种BERT(mBERT),一个基于transformer的多语种掩蔽语言模型,能够zero-shot跨语言迁移,这表明其表示的某些方面是跨语言共享。为了更好地理解这种重叠,我们将最近在神经网络内部表示中寻找语法树的工作扩展到多语言环境。我们发现,子空间的mBERT表示恢复语法树的距离,在英语以外的语言,这些子空间大约是跨语言共享。受这些结果的启发,我们提出了一种无监督的分析方法,提供证据mBERT学习表示的句法依赖标签,在很大程度上同意与通用的依赖分类的集群的形式。这一证据表明,即使没有明确的监督,多语言掩蔽语言模型学习某些语言共性。
2020-05-20 cs.CL cs.LG
Is Multilingual BERT Fluent in Language Generation?
University of Turku(图尔库大学)
多语言BERT模型在104种语言上进行训练,旨在作为一种通用的语言模型和句子编码工具。我们探讨如何以及该模型在几种语言上执行几个任务:一个诊断分类探测嵌入一个特定的句法属性,完形填空任务测试的语言建模能力,以填补句子中的空白,和一个自然语言生成任务测试的能力,以产生连贯的文本拟合给定的上下文。我们发现,目前可用的多语言BERT模型显然不如单语同行,在许多情况下,不能作为一个训练有素的单语模型的替代品。我们发现,英语和德语模型表现良好的一代,而多语言模型是缺乏,特别是北欧语言。
2019-10-09 cs.CL cs.LG
CAMeMBERT: Cascading Assistant-Mediated Multilingual BERT
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
具有数亿甚至数十亿参数的大语言模型在各种自然语言处理(NLP)任务上表现得非常好。然而,它们的广泛使用和采用受到缺乏足够大的计算资源的可用性和可移植性的阻碍。本文提出了一种知识蒸馏(KD)技术的工作的LightMBERT,多语言BERT(mBERT)的学生模型的建设。CAMeMBERT的目标是通过不断压缩的教师助理网络反复提取mBERT,以改善mBERT的时间和空间复杂度,同时将准确度损失保持在可接受的阈值以下。目前,CAMeMBERT的平均精度约为60.1%,在未来对微调中使用的超参数进行改进后,这一精度可能会发生变化。
2022-12-22 cs.CL
HMS-BERT: Hybrid Multi-Task Self-Training for Multilingual and Multi-Label Cyberbullying Detection
本文提出HMS-BERT框架,结合预训练多语言BERT与手工特征,实现多语言多标签网络欺凌检测,通过自训练策略提升低资源语言性能,实验显示在多标签任务中宏F1达0.9847。
2026-03-13 cs.CL stat.ML
How Language-Neutral is Multilingual BERT?
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院)
多语言BERT(mBERT)提供了104种语言的句子表示,这对许多多语言任务都很有用。以前的工作探讨了mBERT的跨语言使用zero-shot迁移学习的形态和句法任务。相反,我们专注于mBERT的语义属性。我们表明,mBERT表示可以分为语言特定的组件和语言中立的组件,语言中立的组件是足够一般的建模语义,允许高精度的单词对齐和句子检索,但还不够好,更困难的任务MT质量估计。我们的工作提出了有趣的挑战,必须解决,以建立更好的语言中立的表示,特别是对于需要语义的语言转移的任务。
2019-11-08 cs.CL
On the Prunability of Attention Heads in Multilingual BERT
Robert Bosch Centre for Data Science and Artificial Intelligence (RBC-DSAI)(罗伯特·博世数据科学与人工智能中心(RBC-DSAI));IIT Madras(印度理工学院马德拉斯分校)
大型的多语言模型,如mBERT,在跨语言迁移中表现出了希望。在这项工作中,我们采用修剪来量化mBERT的鲁棒性和解释逐层重要性。在四个GLUE任务中,由于修剪而导致的准确性的相对下降在mBERT和BERT上具有几乎相同的结果,这表明多语言模型的注意力能力降低不会影响修剪的鲁棒性。对于跨语言任务XNLI,我们报告了更高的准确性下降,修剪表明跨语言传输的鲁棒性较低。此外,编码器层的重要性敏感地取决于语言家族和预训练语料库的大小。顶层受微调影响相对较大,编码类似英语(SVO)的语言的重要信息,而底层受微调影响相对较小,对粘着和低资源语言特别重要。
2021-09-26 cs.CL
Video Games as a Corpus: Sentiment Analysis using Fallout New Vegas Dialog
University of Helsinki(赫尔辛基大学);École Normale Supérieure(巴黎高等师范学院)
我们提出了一种方法,用于从Fallout New Vegas中提取多语言情感注释对话数据集。游戏开发者已经在游戏中的每一行对话中预先注释了8种不同情感之一:\textit{anger, disgust, fear, happy, neutral, pained, sad }和\textit{surprised}。该游戏已被翻译成英语,西班牙语,德语,法语和意大利语。我们使用多语言BERT,XLMRoBERTa和语言特定的BERT模型提取的数据集上进行多语言,多标签情感分析的实验。在我们的实验中,对于大多数语言,多语言BERT的性能优于XLMRoBERTa,对于大多数语言,语言特定模型也略优于多语言BERT。最好的整体准确率为54%,它是通过使用西班牙语数据的多语言BERT。提取的数据集提出了一个具有挑战性的任务,情感分析。我们已经在Zenodo上公开发布了数据,包括测试和训练部分。由于版权原因,数据集被打乱了。
2022-12-05 cs.CL
Harnessing Multilingual Resources to Question Answering in Arabic
Rootroo Ltd(Rootroo有限公司)
这篇论文的目的是预测一段古兰经中问题的答案。答案总是在文章中找到的,所以模型的任务是预测答案从哪里开始,在哪里结束。由于初始数据集对于训练来说相当小,因此我们使用多语言BERT,以便我们可以通过使用阿拉伯语以外的语言可用的数据来增强训练数据。此外,我们抓取了一个大型的阿拉伯语语料库,这是特定于宗教话语的领域。我们的方法包括两个步骤,首先我们训练一个BERT模型来预测一组可能的答案。最后,我们使用另一个基于BERT的模型来对第一个BERT模型产生的候选答案进行排名。
2022-05-16 cs.CL
L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence representations using multilingual BERT
MKSSS’ Cummins College of Engineering for Women(MKSSS康明斯女子工程学院);L3Cube Pune(浦那L3Cube);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出通过聚合翻译 NLI/STS 数据并微调普通多语言 BERT 的简单方法,构建并发布面向 10 种印度语言的 L3Cube-IndicSBERT,在跨语言与单语相似度任务上优于多个基线。
2023-04-22 cs.CL cs.LG
TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations at Twitter
The University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Twitter Cortex(推特Cortex)
针对现有预训练语言模型未适配社交媒体文本、未利用社交互动数据的问题,提出融合文本自监督与TwHIN社交目标的多语言模型TwHIN-BERT,在多类任务上取得显著提升并开源相关资源。
2023-08-27 cs.CL
Feature Aggregation in Zero-Shot Cross-Lingual Transfer Using Multilingual BERT
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院)
多语言BERT(mBERT)是一种在大型多语言语料库上预训练的语言模型,具有令人印象深刻的zero-shot跨语言迁移能力,在zero-shot词性标注和命名实体识别(NER)以及跨语言模型迁移方面表现令人惊讶。目前,解决跨语言下游任务的主流方法都是使用mBERT最后一个Transformer层的输出作为语言信息的表示。在这项工作中,我们探讨了mBERT的最后一个Transformer层的低层的互补性。提出了一种基于注意力机制的特征聚合模块,用于融合mBERT中不同层次的信息。在四个zero-shot跨语言迁移数据集上进行了实验,所提方法在关键多语言基准任务XNLI(+1.5%)、PAWS-X(+2.4%)、NER(+1.2 F1)和POS(+1.5 F1)上获得了性能提升。通过对实验结果的分析,我们证明了mBERT最后一层之前的层可以为跨语言的下游任务提供额外的有用信息,并从经验上探讨了mBERT的可解释性。
2022-05-17 cs.CL
Sentiment Classification in Swahili Language Using Multilingual BERT
Soonchunhyang University(顺天乡大学)
互联网的发展增加了人们在不同平台上表达的信息量。这些信息可以是产品评论、论坛讨论或社交媒体平台。这些意见和人们的感受的可访问性打开了意见挖掘和情感分析的大门。随着语言和语音技术的发展,已经使用了许多语言,并获得了最佳模型。然而,由于语言多样性和缺乏数据集,非洲语言被抛在后面。在这项研究中,通过使用当前国家的最先进的模型,多语言BERT,我们进行情绪分类斯瓦希里语数据集。这些数据是通过提取和注释不同社交媒体平台上的8.2k评论和评论以及ISOMEMORY情感数据集创建的。数据分为阳性或阴性。对模型进行了微调,达到了87.59%的最佳精度。
2021-04-19 cs.CL
Dependency Annotation of Ottoman Turkish with Multilingual BERT
Boğaziçi University(博阿济济大学);Medeniyet University(梅德尼耶特大学)
本研究提出基于多语言BERT的迭代标注方法,通过伪标注、人工校正与模型微调加速构建首个奥斯曼土耳其语依存树库,促进该历史语言的自动化分析。
2024-08-22 cs.CL
RUBERT: A Bilingual Roman Urdu BERT Using Cross Lingual Transfer Learning
NUCES (FAST)(巴基斯坦国家计算机与新兴科学大学(FAST))
在最近的研究中,已经表明,多语言语言模型表现不如单语言模型。众所周知,为每种语言训练和维护单语模型是一个昂贵且耗时的过程。罗马乌尔都语是一种资源匮乏的语言,在社交媒体平台和聊天应用程序上流行。在这项研究中,我们提出了一个新的数据集,其中包含5400万个令牌和300万个句子。此外,我们还提出了RUBERT一个双语罗马乌尔都语模型创建额外的预训练英语BERT。我们将其性能与从头开始训练的单语罗马乌尔都语BERT和通过多语言BERT的额外预训练创建的多语言罗马乌尔都语BERT进行比较。我们通过我们的实验表明,额外的预训练的英语BERT产生最显着的性能改善。
2021-02-22 cs.CL
BERTje: A Dutch BERT Model
University of Groningen(格罗宁根大学)
基于transformer的预训练语言模型BERT有助于提高许多自然语言处理(NLP)任务的最新性能。使用相同的架构和参数,我们开发和评估了一个单语荷兰语BERT模型称为BERTje。与多语言BERT模型(包括荷兰语,但仅基于维基百科文本)相比,BERTje基于24亿个令牌的大型多样性数据集。BERTje在下游NLP任务(词性标记、命名实体识别、语义角色标注和情感分析)上的表现一直优于同等大小的多语言BERT模型。我们的预训练荷兰BERT模型可在https://github.com/wietsedv/bertje上获得。
2019-12-19 cs.CL
Load What You Need: Smaller Versions of Multilingual BERT
Geotrend(吉创科技(Geotrend))
预训练的基于transformer的模型在各种自然语言处理数据集上实现了最先进的结果。然而,这些模型的大小通常是它们在实际生产应用程序中部署的一个缺点。在多语言模型的情况下,大多数参数都位于嵌入层。因此,减少词汇量应该对参数总数有重要影响。在本文中,我们建议根据目标语料库生成更小的模型,处理更少的语言。我们提出了一个较小版本的多语言BERT的XNLI数据集的评估,但我们相信,这种方法可以应用于其他多语言的Transformers。所获得的结果证实,我们可以生成更小的模型,保持可比的结果,同时减少高达45%的参数总数。我们将我们的模型与Distilm BERT(多语言BERT的蒸馏版本)进行了比较,结果表明,与语言简化不同,蒸馏导致XNLI数据集的整体准确性下降了1.7%至6%。所提出的模型和代码是公开的。
2020-10-12 cs.AI cs.CL cs.LG
Parsing with Multilingual BERT, a Small Corpus, and a Small Treebank
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Department of Linguistics, University of Washington(华盛顿大学语言学系);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
预训练的多语言上下文表示已经取得了巨大的成功,但由于其预训练数据的限制,它们的好处并不平等地适用于所有语言品种。这对这些模型不熟悉的语言种类提出了挑战,其标记的\emph{and unlabeled}数据太有限,无法有效地训练单语模型。我们建议使用额外的语言特定的预训练和词汇增强,以适应低资源设置的多语言模型。使用依存句法分析的四个不同的低资源的语言品种作为案例研究,我们表明,这些方法显着提高性能超过基线,特别是在最低资源的情况下,并证明了这种模型的预训练数据和目标语言品种之间的关系的重要性。
2022-06-18 cs.CL
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务,因此我们使用多语言BERT解决了这个问题,该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文,大大提高了单词对齐的准确性。在使用中文,日语,德语,罗马尼亚语,法语和英语之间的五个单词对齐数据集的实验中,我们表明,所提出的方法显着优于以前的监督和无监督的单词对齐方法,而无需使用任何双文本进行预训练。例如,我们对中英文数据的F1得分为86.7,比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
How Do Multilingual Encoders Learn Cross-lingual Representation?
The Johns Hopkins University(约翰斯·霍普金斯大学)
NLP系统通常需要支持多种语言。由于不同的语言具有不同的监督量,因此跨语言迁移通过从其他语言迁移而使具有很少或没有训练数据的语言受益。从工程角度来看,多语言NLP通过单个系统服务多种语言而有利于开发和维护。跨语言迁移和多语言自然语言处理都依赖于作为基础的跨语言表示。随着BERT彻底改变了表示学习和NLP,它也彻底改变了跨语言表示和跨语言迁移。多语言BERT是作为单语言BERT的替代品发布的,使用104种语言的维基百科数据进行训练。令人惊讶的是,在没有任何明确的跨语言信号的情况下,多语言BERT除了学习单个语言的表征之外,还学习跨语言的表征。这篇论文首先显示了这种令人惊讶的跨语言的有效性相比,现有技术的各种任务。自然,它提出了一系列问题,最值得注意的是这些多语言编码器如何学习跨语言表示。在探索这些问题的过程中,本文将分析多语言模型在高资源语言和低资源语言的各种设置中的行为。我们还研究了如何将不同的跨语言信号注入到多语言编码器中,以及使用这些模型的跨语言迁移的优化行为。它们一起提供了对多语言编码器在跨语言迁移上的更好理解。我们的发现将引导我们对多语言编码器和跨语言迁移提出改进建议。
2022-07-12 cs.CL
Mono vs Multilingual BERT for Hate Speech Detection and Text Classification: A Case Study in Marathi
Pune Institute of Computer Technology(浦那计算机技术学院);L3Cube Pune(浦那L3Cube);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
Transformers是用于各种自然语言处理任务的最杰出的体系结构。这些模型在大型文本语料库上进行了预训练,旨在为文本分类等任务提供最先进的结果。在这项工作中,我们进行了单语和多语BERT模型之间的比较研究。我们专注于马拉地语,并在马拉地语的仇恨言论检测,情感分析和简单文本分类的数据集上评估模型。我们使用标准的多语言模型,如mBERT,indicBERT和xlm-RoBERTa,并与MahaBERT,MahaALBERT和MahaRoBERTa,马拉地语的单语模型进行比较。我们进一步表明,马拉地语单语模型优于多语言的BERT变体在五个不同的下游微调实验。我们还通过冻结BERT编码器层来评估来自这些模型的句子嵌入。我们表明,单语MahaBERT为基础的模型提供了丰富的表示相比,多语言同行的句子嵌入。然而,我们观察到这些嵌入不够通用,并且在域外社交媒体数据集上不起作用。我们考虑两个马拉地仇恨言论数据集L3 Cube-MahaHate,HASOC-2021,马拉地情绪分类数据集L3 Cube-MahaSent和马拉地标题,文章分类数据集。
2022-04-19 cs.CL cs.LG
Syntax-augmented Multilingual BERT for Cross-lingual Transfer
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Facebook AI(脸书人工智能研究院)
近年来,我们已经看到了巨大的努力,在预训练多语言文本编码器使用大规模语料库在许多语言,以促进跨语言迁移学习。然而,由于语言之间的类型差异,跨语言迁移是具有挑战性的。然而,语言语法,例如,句法依赖,可以弥合类型学的差距。以前的工作表明,预先训练的多语言编码器,如mBERT \cite{devlin-etal-2019-bert},捕获语言语法,帮助跨语言迁移。这项工作表明,明确提供语言语法和训练mBERT使用辅助目标编码的通用依赖树结构有助于跨语言迁移。我们对四个NLP任务进行了严格的实验,包括文本分类,问答,命名实体识别和面向任务的语义解析。实验结果表明,语法增强的mBERT提高跨语言迁移在流行的基准测试,如PAWS-X和MLQA,平均1.4和1.6点,在所有语言。在\emph{generalized}转移设置中,表现显著提升,PAWS-X和MLQA的平均得分分别为3.9和3.1分。
2021-06-03 cs.CL
Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer?
Fudan University(复旦大学);Max Planck Institute for Evolutionary Anthropology(马克斯·普朗克进化人类学研究所)
多语言BERT(mBERT)已经显示出相当大的跨语言句法能力,由此它能够实现句法知识的有效zero-shot跨语言迁移。有些语言之间的迁移比较成功,但尚不清楚是什么导致了这种差异,以及它是否公平地反映了语言之间的差异。在这项工作中,我们调查的语法关系的分布从mBERT在24个类型不同的语言的背景下。我们表明,不同语言的分布之间的距离是高度一致的语法差异的语言形式主义。这种通过自我监督学习的差异在zero-shot迁移中起着至关重要的作用,并且可以通过语言之间的形态句法特性的变化来预测。这些结果表明,mBERT正确地编码语言的方式与语言的多样性和跨语言迁移的机制提供了见解。
2022-12-21 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP(理化学研究所先进智能项目中心);Tohoku University(东北大学);Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用,允许大规模多语言NLP。然而,虽然并不缺乏预训练的嵌入,但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中,我们进行了广泛的评估比较非上下文子词嵌入,即FastText和BPEmb,和上下文表示方法,即BERT,多语言命名实体识别和词性标注。我们发现,总的来说,BERT,BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点:多语言BERT在中高资源语言中表现良好,但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Clickbait Headline Detection in Indonesian News Sites using Multilingual Bidirectional Encoder Representations from Transformers (M-BERT)
Universitas Airlangga(艾尔朗加大学)
点击次数与在线广告商支付给新闻网站的金额有关。这种商业模式迫使一些新闻网站采用了一种肮脏的点击诱饵伎俩,即,在标题中使用夸张而有趣的词语,有时甚至是未完成的句子来故意戏弄读者。一些印尼在线新闻网站也加入了点击诱饵的行列,这间接降低了其他知名新闻网站的可信度。一个神经网络与预先训练的语言模型M-BERT,作为嵌入层,然后与100个节点的隐藏层相结合,并与一个sigmoid分类器顶部进行训练,以检测点击诱饵标题。在总共6632个标题作为训练数据集的情况下,分类器表现得非常好。通过5倍交叉验证进行评估,其准确度评分为0.914,f1评分为0.914,精密度评分为0.916,ROC-AUC为0.92。在印度尼西亚文本分类任务中使用多语言BERT进行了测试,并有可能进一步增强。未来的可能性,社会影响,和clickbait检测的局限性进行了讨论。
2021-02-02 cs.CL