Tag Recommendation for Online Q&A Communities based on BERT Pre-Training Technique
Sharif University of Technology（谢里夫理工大学）
首次将BERT预训练技术应用于在线问答和开源社区的标签推荐任务，提出TagBERT模型，在freecode数据集上准确率优于深度学习等基线方法，并解决了增加推荐数量导致性能下降的稳定性问题。
2020-10-10 cs.CL cs.IR
Language Identification of Hindi-English tweets using code-mixed BERT
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）；Aligarh Muslim University（阿里加尔穆斯林大学）
社交媒体文本的语言识别近年来一直是一个有趣的研究问题。社交媒体信息主要是在非英语国家混合的代码。通过预训练上下文嵌入的现有知识已经显示了一系列下游任务的最新结果。最近，诸如BERT之类的模型已经表明，使用大量未标记的数据，预训练的语言模型对于学习公共语言表示更加有益。本文提出了利用迁移学习和微调BERT模型来识别Twitter上的语言的广泛实验。这项工作利用了一个数据汇集的印地语-英语-乌尔都语代码混合文本的语言预训练和印地语-英语代码混合为随后的词级语言分类。结果表明，在混合数据上预训练的表示产生更好的结果，由他们的单语对应。
2021-07-02 cs.CL cs.LG
Translation as a Computationally Efficient Bridge: Feasibility of English BERT for Low-Resource Languages
Leiden University Medical Center（莱顿大学医学中心）；LIACS, Leiden University（莱顿大学LIACS）
研究基于翻译的微调在低资源语言NLP中的可行性，通过六个任务、五种语言数据集比较其与母语BERT性能，发现该方法对特定任务和语言有效，为扩展NLP到低资源语言提供可扩展、高效途径，推进语言包容性和可持续性。
2026-07-15 cs.CL
How BERT Speaks Shakespearean English? Evaluating Historical Bias in Contextual Language Models
Università degli Studi di Cassino e del Lazio Meridionale（卡西诺和南拉齐奥大学）；Università degli Studi di Milano（米兰大学）
本文通过填空测试和加权评分，评估基于 BERT 的上下文语言模型对早期现代英语与现代英语的历史适配度，揭示其历史偏见。
2024-02-07 cs.CL cs.CY
Abstraction not Memory: BERT and the English Article System
University of Sheffield（谢菲尔德大学）；University of Birmingham（伯明翰大学）
文章预测是一项长期以来一直挑战精确语言描述的任务。因此，这项任务非常适合评估模型模仿母语直觉的能力。为此，我们比较了英语母语者和预训练模型在设置为三种选择（a/an，the，zero）的文章预测任务上的表现。我们对BERT的实验表明，在所有文章中，BERT在这项任务上的表现都优于人类。特别是，BERT在检测零文章方面远远优于人类，这可能是因为我们使用深度神经模型可以轻松获取的规则插入它们。更有趣的是，我们发现，BERT往往同意更多的注释者比语料库时，注释者间的协议是高的，但切换到同意更多的语料库作为注释者间的协议下降。我们认为，尽管在语料库上进行了训练，但这种与注释者的对齐表明，BERT并不是记忆文章的使用，而是捕获了类似于人类直觉的文章使用的高水平概括。
2022-06-08 cs.CL
Mixed-Distil-BERT: Code-mixed Language Modeling for Bangla, English, and Hindi
George Mason university（乔治梅森大学）
本文提出Tri-Distil-BERT和Mixed-Distil-BERT，通过两阶段预训练和代码混合微调，在孟加拉语、英语和印地语上实现高效的多语言与代码混合文本分类，性能媲美大型模型。
2024-03-14 cs.CL
LIIR at SemEval-2020 Task 12: A Cross-Lingual Augmentation Approach for Multilingual Offensive Language Identification
KU Leuven（鲁汶大学）
本文介绍了我们的系统，题为“LIIR”的SemEval-2020任务12在社交媒体中的多语言攻击性语言识别（OffensEval 2）。我们参加了英语、丹麦语、希腊语、阿拉伯语和土耳其语的分任务A。我们分别针对英语和非英语语言调整和微调了Google AI提供的BERT和多语言Bert模型。对于英语语言，我们使用两个微调的BERT模型的组合。对于其他语言，我们提出了一种跨语言的增强方法，以丰富训练数据，我们使用多语言BERT获得句子表示。LIIR在希腊语、土耳其语、英语、阿拉伯语和丹麦语中的排名分别为14/38、18/47、24/86、24/54和25/40。
2020-07-17 cs.CL
Bridge Diffusion Model: Bridge Chinese Text-to-Image Diffusion Model with English Communities
本文提出桥扩散模型，通过端到端结构学习中文语义并保持潜在空间与英文文本到图像模型的兼容性，实现中英文语义融合生成。
2026-03-17 cs.AI cs.CL
On the use of BERT for Neural Machine Translation
NAVER LABS Europe（NAVER欧洲实验室）；NAVER Corp.（NAVER公司）
最近，利用大型预训练模型进行各种NMT任务已经获得了很多可见性。在这项工作中，我们研究了如何利用BERT预训练模型进行监督神经机器翻译。我们比较了将预训练的BERT模型与NMT模型相结合的各种方法，并研究了用于BERT训练的单语数据对最终翻译质量的影响。我们使用WMT-14英语-德语，IWSLT 15英语-德语和IWSLT 14英语-俄语数据集进行这些实验。除了标准任务测试集评估之外，我们还对域外测试集和噪声注入测试集进行评估，以评估BERT预训练表示如何影响模型鲁棒性。
2019-09-27 cs.CL cs.LG
Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models
Stanford University（斯坦福大学）
本文发现多语言BERT存在语法结构偏差，即英语等高资源语言的语法会渗入低资源语言，并通过西班牙语代词省略和希腊语主谓顺序实验证明其偏向英语式结构，呼吁更关注语言学意识的流利度评估。
2023-04-13 cs.CL
Not-NUTs at W-NUT 2020 Task 2: A BERT-based System in Identifying Informative COVID-19 English Tweets
University of Washington（华盛顿大学）；University of Rochester（罗切斯特大学）
截至二零二零年，当COVID-19疫情在全球范围内全面爆发时，人们获取有关COVID-19的合法信息的需求比以往任何时候都更加迫切，尤其是通过在线媒体，大量无关信息掩盖了更有价值的信息。针对这种情况，我们提出了一个模型，该模型可以自动识别一条英文推文是否包含有关COVID-19的信息内容。通过整合不同的BERTweet模型配置，我们已经取得了有竞争力的结果，在信息类的F1得分方面，这些结果仅比表现最好的团队少大约1%。在比赛后的阶段，我们还尝试了各种其他方法，这些方法可能会提高对新数据集的泛化能力。
2020-09-14 cs.CL cs.IR cs.LG
From English To Foreign Languages: Transferring Pre-trained Language Models
Amazon Alexa AI（亚马逊Alexa AI）
预训练模型在许多下游自然语言处理（NLP）任务中已经证明了它们的有效性。多语言预训练模型的可用性使NLP任务从高资源语言到低资源语言的zero-shot转移成为可能。然而，最近关于改进预训练模型的研究主要集中在英语上。虽然可以从头开始为其他语言训练最新的神经架构，但由于所需的计算量，这是不可取的。在这项工作中，我们解决了在有限的计算预算下将现有的预训练模型从英语转移到其他语言的问题。使用单个GPU，我们的方法可以在一天内获得外国BERT基础模型，并在两天内获得外国BERT大型模型。此外，评估我们的模型在六种语言，我们证明了我们的模型是优于多语言BERT的两个zero-shot任务：自然语言推理和依存句法分析。
2020-04-29 cs.CL
Design of intelligent proofreading system for English translation based on CNN and BERT
General Hospital of Tisco（太钢总医院）；Sixth Hospital of Shanxi Medical University（山西医科大学第六医院）；China University of Mining and Technology（中国矿业大学）
本文提出一种融合CNN局部n-gram特征与BERT上下文表示的英德翻译智能校对系统，通过错误检测与GRU校正模块实现端到端训练，在WMT和OpenSubtitles上取得90%准确率、89.37% F1和16.24% MSE，整体性能超过近期方法10%以上。
2025-06-05 cs.CL
L3Cube-HingCorpus and HingBERT: A Code Mixed Hindi-English Dataset and BERT Language Models
Sri Jayachamarajendra College of Engineering（斯里·贾亚查马拉杰德拉工程学院）；L3Cube；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
语码转换发生在一个句子或对话中混合使用一种以上的语言。这种现象在社交媒体平台上更为突出，随着时间的推移，其采用率越来越高。因此，代码混合NLP在文献中得到了广泛的研究。随着预训练的基于transformer的架构越来越受欢迎，我们观察到真正的代码混合数据很少用于预训练大语言模型。我们提出了L3立方体HingCorpus，第一个大规模的真正的印地语-英语代码混合数据的罗马脚本。它由5293万个句子和104亿个标记组成，这些标记来自Twitter。我们进一步介绍了HingBERT、HingMBERT、HingRoBERTA和HingGPT。BERT模型已经使用掩蔽语言建模目标在代码混合的HingCorpus上进行了预训练。我们展示了这些BERT模型在后续下游任务上的有效性，如代码混合情感分析、POS标记、NER和来自GLUECoS基准的LID。HingGPT是一个基于GPT 2的生成式Transformer模型，能够生成完整的tweet。我们还发布了L3 Cube-HingLID语料库，这是最大的代码混合印地语-英语语言识别（LID）数据集，以及HingBERT-LID，这是一个生产质量的LID模型，用于使用本工作中概述的过程来捕获更多代码混合数据。数据集和模型可在https://github.com/l3cube-pune/code-mixed-nlp上获得。
2022-04-18 cs.CL cs.LG
Probing BERT for German Compound Semantics
Institute for Natural Language Processing, University of Stuttgart（自然语言处理研究所，斯图加特大学）
该研究探究德语BERT对名词复合词语义的编码能力，通过不同配置预测868个金标准复合词的组合性，发现组合性信息在早期层易提取，但德语任务难度高于英语，或因德语复合构词产率更高、成分歧义更多。
2025-05-20 cs.CL
Incorporating BERT into Parallel Sequence Decoding with Adapters
University of Science and Technology of China（中国科学技术大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；IFLYTEK Co., Ltd.（科大讯飞股份有限公司）
虽然大规模预训练语言模型（如BERT）在各种自然语言理解任务上取得了巨大成功，但如何高效地将它们整合到序列到序列模型和相应的文本生成任务中仍然是一个重要的问题。在本文中，我们提出了解决这个问题，采取两种不同的BERT模型分别作为编码器和解码器，并通过引入简单和轻量级的适配器模块，插入之间的BERT层和任务特定的数据集进行微调。通过这种方式，我们获得了一个灵活而高效的模型，该模型能够联合利用源端和目标端BERT模型中包含的信息，同时绕过灾难性遗忘问题。框架中的每个组件都可以被视为一个插件单元，这使得框架具有灵活性和任务不可知性。该框架基于Mask-Predict并行序列译码算法，充分考虑了BERT的双向性和条件独立性，并能很容易地适应于传统的自回归解码。我们对神经机器翻译任务进行了广泛的实验，其中所提出的方法始终优于自回归基线，同时将推理延迟减少一半，并在IWSLT 14德语-英语/WMT 14德语-英语翻译上实现了$36.49$ / $33.57$ BLEU分数。当适应自回归解码时，所提出的方法在WMT 14英语-德语/英语-法语翻译上实现了$30.60$ / $43.56$ BLEU分数，与最先进的基线模型相当。
2020-10-13 cs.CL
Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID
Bandung Institute of Technology（万隆理工学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本研究针对印尼语-英语语码转换问题，通过在 STEN-TTS 中引入基于微调 BERT 的逐词语言识别组件并移除语言嵌入，实现了优于单语基线模型的自然度和可懂度。
2024-12-26 cs.AI cs.CL cs.SD
RUBERT: A Bilingual Roman Urdu BERT Using Cross Lingual Transfer Learning
NUCES (FAST)（巴基斯坦国家计算机与新兴科学大学（FAST））
在最近的研究中，已经表明，多语言语言模型表现不如单语言模型。众所周知，为每种语言训练和维护单语模型是一个昂贵且耗时的过程。罗马乌尔都语是一种资源匮乏的语言，在社交媒体平台和聊天应用程序上流行。在这项研究中，我们提出了一个新的数据集，其中包含5400万个令牌和300万个句子。此外，我们还提出了RUBERT一个双语罗马乌尔都语模型创建额外的预训练英语BERT。我们将其性能与从头开始训练的单语罗马乌尔都语BERT和通过多语言BERT的额外预训练创建的多语言罗马乌尔都语BERT进行比较。我们通过我们的实验表明，额外的预训练的英语BERT产生最显着的性能改善。
2021-02-22 cs.CL
Re-Evaluating GermEval17 Using German Pre-Trained Language Models
Ludwig-Maximilians-Universität（路德维希-马克西米利安大学）
缺乏常用的基准数据集（集合），例如（超级）GLUE（Wang等人，2018，2019）用于评估非英语预训练语言模型是当前以英语为中心的NLP研究的严重不足。它集中了很大一部分的研究英语，忽略了不确定性时，发现的结论转移到其他语言的英语。我们评估了目前通过huggingface Transformers库在GermEval 17研讨会的四个任务上提供的德语和多语言基于BERT的模型的性能。我们将它们与BERT之前的架构（Wojatzki等人，2017; Schmitt等人，2018; Attia等人，2018）以及基于ELMO的架构（Biesialska等人，2020）和基于BERT的方法（Guhr等人，2020年）。观察到的改进与英语语言的类似任务和类似模型（前BERT与BERT为基础）的改进有关，以便得出关于观察到的改进是否可转移到德语或其他相关语言的初步结论。
2021-07-05 cs.CL cs.LG
Comparative Study of Pre-Trained BERT Models for Code-Mixed Hindi-English Data
Pune Institute of Computer Technology（浦那计算机技术学院）
本文对比了多种预训练Transformer模型在低资源印地语-英语代码混合任务上的表现，发现专门在真实代码混合文本上预训练的HingBERT系列模型显著优于普通BERT等模型，并在情感分析、情绪识别和仇恨言论识别等任务上取得最先进结果。
2023-05-26 cs.CL cs.LG
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
Cooking Is All About People: Comment Classification On Cookery Channels Using BERT and Classification Models (Malayalam-English Mix-Code)
School of Computing（计算学院）；Dublin Business School（都柏林商学院）；ADAPT Centre, School of Computing（ADAPT中心，计算学院）；Dublin City University（都柏林城市大学）
谷歌通过其视频分发平台YouTube推广的利润丰厚的职业范围吸引了大量用户成为内容创作者。这项工作的一个重要方面是以评论的形式收到的反馈，这些评论显示了受众对内容的接受程度。然而，大量的评论加上垃圾邮件和有限的评论分类工具，使得创建者几乎不可能浏览每一条评论并收集建设性的反馈。即使对于已建立的分类模型，评论的自动分类也是一个挑战，因为评论通常具有可变的长度，充满了俚语，符号和缩写。这是一个更大的挑战，评论是多语言的，因为信息往往充斥着各自的方言。在这项工作中，我们已经评估了表现最好的分类模型，用于对英语和马拉雅拉姆语（仅英语，仅马拉雅拉姆语以及英语和马拉雅拉姆语的混合）的不同组合的评论进行分类。结果的统计分析表明，多项式朴素贝叶斯，K-最近邻（KNN），支持向量机（SVM），随机森林和决策树提供类似的评论分类的准确性水平。此外，我们还评估了3种基于多语言Transformer的语言模型（BERT，DISTILBERT和XLM），并将其性能与传统的机器学习分类技术进行了比较。XLM是表现最好的BERT模型，准确率为67.31。随机森林与词频矢量是最好的表现出所有的传统分类模型的准确率为63.59。
2020-07-22 cs.CL cs.IR cs.LG
Let's Play Mono-Poly: BERT Can Reveal Words' Polysemy Level and Partitionability into Senses
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS, LISN（法国国家科学研究中心，LISN）；University of Helsinki（赫尔辛基大学）
预训练的语言模型（LM）编码了丰富的语言结构信息，但它们对词汇多义的认识仍然不清楚。我们提出了一种新的实验装置，专门训练用于不同语言（英语，法语，西班牙语和希腊语）和多语种BERT的LM分析这种知识。我们对精心设计的数据集进行分析，以反映不同的意义分布，并控制与多义词高度相关的参数，如频率和语法类别。我们证明，BERT派生的表征反映了词的多义性水平和他们的分割成意义。英语BERT嵌入中的多义词相关信息更清晰，但其他语言中的模型也设法在不同的多义词水平上建立相关的区别。我们的研究结果有助于更好地理解语境化表征中编码的知识，并为多语言词汇语义研究开辟了新的途径。
2021-04-29 cs.CL
Distilling Knowledge Learned in BERT for Text Generation
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
以BERT为代表的大规模预训练语言模型在语言理解任务中取得了巨大的成功。然而，如何利用BERT进行语言生成仍然是一个悬而未决的问题。在本文中，我们提出了一种新的方法，条件屏蔽语言建模（C-MLM），使微调的目标生成任务的BERT。微调的BERT（教师）被用作额外的监督，以改善传统的Seq 2Seq模型（学生），以获得更好的文本生成性能。通过利用BERT独特的双向性质，提取在BERT中学习的知识可以鼓励自回归Seq 2Seq模型提前计划，为连贯的文本生成实施全局序列级监督。实验表明，该方法在多个机器翻译和文本摘要等语言生成任务上的性能明显优于强Transformer基线。我们提出的模型也实现了新的最先进的IWITOS德国-英语和英语-越南MT数据集。代码可在https://github.com/ChenRocks/Distill-BERT-Textgen上获得。
2020-07-17 cs.CL cs.LG
Cross-lingual Information Retrieval with BERT
Raytheon BBN Technologies（雷神BBN技术公司）；University of Pittsburgh（匹兹堡大学）
最近已经开发了多个神经语言模型，例如，BERT和XLNet，并取得了令人印象深刻的结果，在各种自然语言处理任务，包括句子分类，问答和文档排序。在本文中，我们探讨了使用流行的双向语言模型，BERT，建模和学习英语查询和外语文档之间的相关性，跨语言信息检索的任务。介绍了一种基于BERT的深度相关匹配模型，并利用自制的CLIR训练数据对预先训练好的弱监督多语种BERT模型进行训练。立陶宛文文档检索对短英语查询的实验结果表明，我们的模型是有效的，优于竞争力的基线方法。
2020-04-24 cs.CL cs.IR cs.LG
Shayona@SMM4H23: COVID-19 Self diagnosis classification using BERT and LightGBM models
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；National Institute of Technology, Surat（苏拉特国立理工学院）
Shayona团队结合BERT和LightGBM模型，在SMM4H-23的COVID-19推文和社交焦虑Reddit帖子二元分类任务中，于任务1取得0.94的最高F1分数。
2024-01-04 cs.AI cs.CL
Sexism Prediction in Spanish and English Tweets Using Monolingual and Multilingual BERT and Ensemble Models
Universitat Politècnica de València（瓦伦西亚理工大学）；Escola Politécnica da Universidade de São Paulo（圣保罗大学）
社交媒体的普及带来了仇恨言论和性别歧视等问题。识别和分类社交媒体中的性别歧视是非常相关的任务，因为它们将有助于建立一个更健康的社会环境。然而，这些任务相当具有挑战性。这项工作提出了一个系统，使用多语言和单语言的BERT和数据点翻译和合奏策略的性别歧视识别和分类在英语和西班牙语。它是在伊比利亚语言评估论坛（IberLEF）提出的2021年社交网络共享（EXIST 2021）任务中进行的。本文介绍了所提出的系统及其主要组成部分，并进行了深入的超参数分析。观察到的主要结果是：（i）该系统获得了比基线模型（多语言BERT）更好的结果;（ii）集成模型获得了比单语言模型更好的结果;（iii）考虑到所有单个模型和最佳标准化值的集成模型获得了两项任务的最佳准确度和F1分数。这项工作在EXIST的两项任务中均获得第一名，准确率最高（任务1为0.780，任务2为0.658），F1得分最高（任务1的F1二进制为0.780，任务2的F1宏为0.579）。
2021-11-08 cs.AI cs.CL cs.CY
Evaluating Transferability of BERT Models on Uralic Languages
SZTAKI（匈牙利计算机科学与控制研究所）；Eötvös Loránd University（罗兰大学）
基于transformer的语言模型（如BERT）在大量英语基准测试中的表现优于以前的模型，但它们的评估通常仅限于英语或少数资源丰富的语言。在这项工作中，我们评估单语，多语言，并随机初始化的语言模型从BERT家庭的各种乌拉尔语言，包括爱沙尼亚语，芬兰语，匈牙利语，Erzya，Moksha，卡累利阿语，Livvi，科米Permyak，科米Zyrian，北萨米语和斯科尔特萨米语。当单语模型可用时（目前只有et，fi，hu），这些模型在母语上表现得更好，但一般来说，它们比多语言模型或共享相同字符集的基因无关语言模型传递得更差。值得注意的是，即使没有对超参数优化进行特别的努力，高资源模型的直接传输也会产生针对少数民族乌拉尔语言的最先进的POS和NER工具，这些语言有足够的数据进行微调。
2021-11-23 cs.CL
Designing Speech Technologies for Australian Aboriginal English: Opportunities, Risks and Participation
Google Research Australia（谷歌澳大利亚研究部）；University of Western Australia（西澳大学）；Australian National University（澳大利亚国立大学）
本文以澳大利亚原住民英语语音技术项目为案例，探讨技术机遇与风险，并论证通过文化适宜和社区参与式设计实践可有效降低风险、支持原住民语言变体。
2025-05-07 cs.CL
Japanese-English Sentence Translation Exercises Dataset for Automatic Grading
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究提出第二语言学习早期阶段的句子翻译练习自动评分任务，构建含21道题、3498份作答的日英翻译练习数据集，实验显示微调BERT对正确作答分类F1约90%、错误作答不足80%，少样本GPT表现更差，该任务对大模型具挑战性。
2024-03-06 cs.CL
Unbabel's Submission to the WMT2019 APE Shared Task: BERT-based Encoder-Decoder for Automatic Post-Editing
Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
本文介绍了Unbabel提交给WMT 2019 APE共享任务的英语-德语语言对。随着最近大型、强大的预训练模型的兴起，我们对BERT预训练模型进行了调整，以在编码器-解码器框架中执行自动后期编辑。类似于双编码器架构，我们开发了一个基于BERT的编码器-解码器（BED）模型，其中单个预训练的BERT编码器接收源src和机器翻译tgt字符串。此外，我们探索了一个保守性因素，以限制APE系统执行更少的编辑。正如官方结果所示，当在域内和人工训练数据的加权组合上进行训练时，我们的具有保守性惩罚的BED系统分别在TER和BLEU方面通过$-0.78$和$+1.23$显着提高了强大神经机器翻译系统的翻译。最后，我们的提交达到了一个新的国家的最先进的，前aequo，在英语-德语APE的NMT。
2019-06-29 cs.CL
Assessing BERT's Syntactic Abilities
Computer Science Department, Bar Ilan University（巴伊兰大学计算机科学系）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文使用（1）自然发生的主谓一致刺激，（2）“无色的绿色想法”主谓一致刺激，即自然句子中的实词被具有相同词性和屈折变化的词随机替换，（3）“绿色想法”主谓一致刺激，对最近引入的BERT模型捕捉英语句法现象的程度进行了评估。（3）手工制作主谓一致和反身回指现象的刺激。BERT模型在所有情况下都表现得非常好。
2019-01-16 cs.CL
Exploring Hate Speech Detection with HateXplain and BERT
Carnegie Mellon University（卡内基梅隆大学）
仇恨言论以多种形式针对社区进行贬损性评论，并使人类在社会进步中后退一步。HateXplain是最近发布的第一个数据集，它以基本原理的形式使用注释的跨度，以及语音分类类别和目标社区，使分类更人性化，可解释，准确和更少偏见。我们调整BERT以理由和类别预测的形式执行此任务，并比较我们在准确性、可解释性和偏差等不同指标上的表现。我们的创新有三个方面。首先，我们实验了具有不同重要性值的合并的基本类丢失。其次，我们广泛地实验了基本原理的地面真理注意力值。通过引入保守和宽松的注意力，我们比较了模型在HateXplain上的性能，并验证了我们的假设。第三，为了改善我们模型中的非预期偏见，我们使用了目标社区词的掩蔽，并注意到偏见和可解释性指标的改善。总的来说，我们成功地实现了模型的可扩展性，偏差消除和几个增量改进的原始BERT实现。
2022-08-09 cs.CL
Phonemer at WNUT-2020 Task 2: Sequence Classification Using COVID Twitter BERT and Bagging Ensemble Technique based on Plurality Voting
Flipkart Private Limited（Flipkart私人有限公司）
本文介绍了我们用于解决EMNLP WNUT-2020共享任务2：识别信息丰富的COVID-19英语推文的方法。这项任务是开发一个系统，自动识别与新型冠状病毒（COVID-19）相关的英文推文是否具有信息性。我们分三个阶段解决这个问题。第一阶段涉及通过仅过滤相关信息来预处理数据集。接下来是试验多种深度学习模型，如CNN、RNN和基于Transformer的模型。在最后一个阶段，我们提出了在所提供数据集的不同子集上训练的最佳模型的集合。我们最终的方法获得了0.9037的F1分数，以F1分数作为评估标准，我们在总体上排名第六。
2020-10-15 cs.CL
Neural Language Models for Nineteenth-Century English
The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦玛丽女王大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了四种类型的神经语言模型，这些模型是在1760-1900年间出版的英语书籍的大型历史数据集上训练的，由约51亿个令牌组成。语言模型架构包括静态模型（word 2 vec和fastText）和上下文模型（BERT和Flair）。对于每个架构，我们使用整个数据集训练模型实例。此外，我们为两个静态模型训练了1850年之前出版的文本的单独实例，并为BERT训练了考虑不同时间片的四个实例。我们的模型已经被用于各种下游任务中，它们不断提高性能。在本文中，我们描述了如何创建的模型，并概述了其重用的潜力。
2021-05-24 cs.CL cs.LG
Using BERT for Word Sense Disambiguation
Tsinghua University（清华大学）
词义消歧是自然语言处理中的一个长期难题，其目的是确定一个多义词的正确词义。在本文中，我们提出了使用BERT提取更好的多义词表示的词义消歧和探索的几种方式结合BERT和分类器。我们还利用意义定义训练一个统一的分类器的所有的话，这使得模型，以消除歧义看不见的多义词。实验表明，该模型在标准英语全词词义消歧评价上取得了较好的效果。
2019-09-18 cs.CL
Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias
University of Groningen（格罗宁根大学）；University of Malta（马耳他大学）
语境化的词嵌入已经取代标准嵌入，成为NLP系统中选择的表征性知识源。由于之前在标准词嵌入中发现了各种偏见，因此评估其替换中编码的偏见也至关重要。关注BERT（Devlin等人，2018），我们通过研究英语和德语中表示性别的目标词与职业名称之间的关联来衡量性别偏见，并将研究结果与现实世界的劳动力统计数据进行比较。我们通过在GAP语料库上微调BERT来减轻偏差（Webster等人，2018），在应用反事实数据替代（CDS）（Maudslay等人，2019年）。我们表明，我们的方法测量偏见是适当的语言，如英语，但不适合语言丰富的形态和性别标记，如德语。我们的研究结果强调了跨语言调查偏见和缓解技术的重要性，特别是考虑到目前对大规模，多语言语言模型的重视。
2020-10-27 cs.CL
Detecting Potential Topics In News Using BERT, CRF and Wikipedia
Dailyhunt（每日猎讯）
对于Dailyhunt这样的新闻内容分发平台，命名实体识别是构建更好的用户推荐和通知算法的关键任务。除了从13种以上的印度语言的新闻中识别名称，位置，组织并在算法中使用它们之外，我们还需要识别不一定适合命名实体定义的n元语法，但它们很重要。例如，“我也是运动”、“牛肉禁令”、“alwar暴民私刑”。在这个练习中，给定一个英语文本，我们试图检测传达重要信息并可用作新闻主题和/或主题标签的无大小写n元语法。模型的建立使用维基百科的标题数据，私人英语新闻语料库和BERT多语言预训练模型，Bi-GRU和CRF架构。与行业最佳的Flair，Spacy和Stanford-caseless-NER相比，它在F1，特别是Recall方面显示出令人鼓舞的结果。
2020-02-28 cs.CL
Evaluating the Efficacy of Summarization Evaluation across Languages
The University of Melbourne（墨尔本大学）
虽然为英语开发的自动摘要评估方法通常应用于其他语言，但这是首次尝试系统地量化其泛语言功效。我们采用八种不同语言的摘要语料库，并手动注释生成的摘要，以获得焦点（精确度）和覆盖率（召回率）。在此基础上，我们评估了19个摘要评估指标，发现在BERTScore中使用多语言BERT在所有语言中表现良好，高于英语。
2021-06-02 cs.CL
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务，因此我们使用多语言BERT解决了这个问题，该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文，大大提高了单词对齐的准确性。在使用中文，日语，德语，罗马尼亚语，法语和英语之间的五个单词对齐数据集的实验中，我们表明，所提出的方法显着优于以前的监督和无监督的单词对齐方法，而无需使用任何双文本进行预训练。例如，我们对中英文数据的F1得分为86.7，比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Towards Emotion Recognition in Hindi-English Code-Mixed Data: A Transformer Based Approach
Netaji Subhas University of Technology（贾瓦哈拉尔·尼赫鲁技术大学）；Department of Computer Engineering（计算机工程系）
在过去的几年中，社交媒体文本中的情感检测已经成为一个流行的问题，因为它在更好地理解消费者，心理学，帮助人类与计算机交互，设计智能系统等方面的广泛应用，由于社交媒体中经常用于表达情感和意见的大量数据的可用性，这个问题已经引起了极大的关注。在本文中，我们提出了一个标记为情绪检测的Hinglish数据集。我们强调了一种基于深度学习的方法，用于检测印地语-英语代码混合推文中的情绪，使用来自FastText和Word 2 Vec方法的双语词嵌入，以及基于Transformer的模型。我们尝试了各种深度学习模型，包括CNN、LSTM、双向LSTM（有注意力和无注意力），以及BERT、RoBERTa和ALBERT等Transformers。基于Transformer的BERT模型优于所有其他模型，其精度为71.43%。
2021-02-28 cs.CL
Adversarial Learning with Contextual Embeddings for Zero-resource Cross-lingual Classification and NER
Amazon Inc.（亚马逊公司）
上下文词嵌入（例如GPT、BERT、ELMo等）在各种NLP任务上表现出最先进的性能。最近对多语言版本的BERT的研究表明，该模型在zero-shot和零资源跨语言设置中表现非常好，其中仅使用标记的英语数据来微调模型。我们通过对抗学习来改进多语言BERT的零资源跨语言性能。我们报告的多语言MLDoc文本分类和CoNLL 2002/2003命名实体识别任务的改进幅度。此外，我们表明，语言对抗训练鼓励BERT对齐英语文档及其翻译的嵌入，这可能是观察到的性能增益的原因。
2020-03-19 cs.CL cs.LG
The LIG system for the English-Czech Text Translation Task of IWSLT 2019
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔理工学院、信息与信号处理实验室）
在本文中，我们介绍了我们提交的IWEST 2019英语到捷克语文本翻译任务。我们的系统旨在研究如何使用预训练的语言模型作为输入嵌入，可以改进在少量数据上训练的专用机器翻译系统。因此，我们实现了一个基于transformer的编码器-解码器神经系统，该系统能够使用预训练的语言模型的输出作为输入嵌入，并比较了三种配置下的性能：1）没有任何预先训练的语言模型（受约束的），2）使用在允许的英语-捷克语数据的单语部分上训练的语言模型（受约束的），以及3）使用在大量外部单语数据上训练的语言模型（不受约束的）。我们使用BERT作为外部预训练语言模型（配置3），并使用BERT架构训练我们自己的语言模型（配置2）。关于训练数据，我们在少量的平行文本上训练我们的MT系统：一组仅由提供的Must-C语料库组成，另一组由Must-C语料库和WMT的新闻评论语料库组成。我们观察到，使用外部预训练的BERT将我们的系统在开发集上的分数提高了BLEU的+0.8到+1.5，在测试集上提高了BLEU的+0.97到+1.94。然而，使用我们自己的语言模型只在允许的并行数据上训练，似乎只有当系统在最小的数据集上训练时，才能提高机器翻译的性能。
2019-11-07 cs.CL
UPB at SemEval-2020 Task 12: Multilingual Offensive Language Detection on Social Media by Fine-tuning a Variety of BERT-based Models
University Politehnica of Bucharest（布加勒斯特理工大学）
攻击性语言检测是自然语言处理领域中最具挑战性的问题之一，这是由于在线社交媒体中这种现象的不断增加而引起的。本文描述了我们基于transformer的解决方案，用于识别Twitter上五种语言的攻击性语言（即，英语、阿拉伯语、丹麦语、希腊语和土耳其语），用于Offenseval 2020共享任务的子任务A。几种神经架构（即，BERT、mBERT、Roberta、XLM-Roberta和ALBERT），使用单语言和多语言语料库进行预训练，使用多种数据集组合进行微调和比较。最后，得分最高的模型被用于我们在比赛中提交的作品，我们的团队在英语、阿拉伯语、丹麦语、希腊语和土耳其语中分别排名85位中的第21位、53位中的第28位、39位中的第19位、37位中的第16位和46位中的第10位。
2020-10-27 cs.CL cs.LG
KEIS@JUST at SemEval-2020 Task 12: Identifying Multilingual Offensive Tweets Using Weighted Ensemble and Fine-Tuned BERT
Jordan University of Science and Technology（约旦科技大学）
这项研究介绍了我们的团队KEIS@JUST参与SemEval-2020任务12，该任务代表了多语言攻击性语言的共享任务。我们参与了所有子任务提供的所有语言，除了英语的子任务A。已经开发了两种主要方法，第一种是处理阿拉伯语和英语两种语言，加权集成包括Bi-GRU和CNN，然后是高斯噪声和全局池化层乘以权重以提高整体性能。第二种是对其他语言进行的，除了循环神经网络（如Bi-LSTM和Bi-GRU）之外，还从BERT进行了迁移学习，然后是全局平均池化层。词嵌入和上下文嵌入已被用作特征，此外，数据增强仅用于阿拉伯语。
2020-05-15 cs.CL cs.LG
Classification of Radiological Text in Small and Imbalanced Datasets in a Non-English Language
Rigshospitalet（哥本哈根大学医院（ Rigshospitalet））；Medical University of Innsbruck（因斯布鲁克医科大学）；Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
针对丹麦语放射学报告小样本不平衡数据，比较类BERT、SetFit和LLM模型，发现领域预训练的类BERT表现最佳，但均不足以实现无监督分类，仅可用于辅助数据过滤以减少人工标注。
2024-09-30 cs.AI cs.CL
BERT based Transformers lead the way in Extraction of Health Information from Social Media
Manipal Institute of Technology, Manipal Academy of Higher Education（曼尼帕尔理工学院，曼尼帕尔高等教育学院）
本文介绍了我们提交的2021年健康社交媒体挖掘（SMM 4 H）共享任务。我们参与了两项任务：（1）对英文推文中提及的药物不良反应（ADE）进行分类、提取和标准化（任务1）;（2）对包含症状的COVID-19推文进行分类（任务6）。我们的第一个任务的方法使用的语言表示模型RoBERTa与二进制分类头。对于第二个任务，我们使用基于RoBERTa的BERTweet。对这两个任务的预训练模型进行微调。模型被放置在定制的特定于域的处理管道之上。我们的系统在子任务1（a）的所有提交中排名第一，F1分数为61%。对于子任务1（b），我们的系统获得了50%的F1分数，比所有提交的平均分数提高了+8%F1。BERTweet模型在SMM 4 H 2021 Task-6上取得94%的F1分数。
2021-04-15 cs.CL cs.SI
HYBRINFOX at CheckThat! 2024 -- Task 2: Enriching BERT Models with the Expert System VAGO for Subjectivity Detection
Université de Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；IRISA（雷恩信息、信号与图像研究所）；LIP6（巴黎第六大学信息学实验室）；Sorbonne Université（索邦大学）；Institut Jean-Nicod（让·尼科研究所）；ENS-PSL（巴黎高等师范学院-巴黎文理研究大学）；EHESS（法国高等社会科学研究院）
HYBRINFOX 通过融合微调 RoBERTa、冻结 sBERT 与专家系统 VAGO 的模糊性/主观性分数，在 CheckThat! 2024 任务 2 英文主观性检测中以 0.7442 宏 F1 排名第一，并探讨了多语言扩展的改进方向。
2024-07-04 cs.AI cs.CL
Does BERT agree? Evaluating knowledge of structure dependence through agreement relations
University of California, Berkeley（加州大学伯克利分校）
学习能够准确建模语义的表示是自然语言处理研究的一个重要目标。许多语义现象都依赖于句法结构。最近的工作研究了最先进的预训练表征模型（如BERT）在多大程度上捕捉到了这种结构依赖现象，但主要限于英语中的一种现象：主语和动词之间的数字一致性。我们评估BERT的敏感性，四种类型的结构依赖的协议关系，在一个新的半自动策划的数据集，在26种语言。我们表明，无论是单语言和多语言BERT模型捕捉语法敏感的协议模式，以及一般，但我们也强调了具体的语言环境中，他们的性能下降。
2019-08-26 cs.CL
BERT Has Uncommon Sense: Similarity Ranking for Word Sense BERTology
Georgetown University（乔治城大学）
关于诸如BERT之类的上下文化词嵌入（CWE）模型的一个重要问题是它们能在多大程度上表示不同的词义，特别是那些在长尾中的不常见词义。而不是建立一个WSD系统在以前的工作中，我们直接调查上下文嵌入的邻居，制定一个查询的例子最近邻检索任务，并检查排名性能的单词和意义在不同的频带。在两个英语词义标注语料库的评估中，我们发现，几个流行的CWE模型都优于随机基线，即使是比例罕见的意义，没有明确的意义监督。然而，即使在具有相似架构和预训练机制的模型之间，性能也有很大差异，其中罕见词义的差异尤其大，这表明CWE模型在接近其原生表征中的词义时并不都是平等的。
2021-09-20 cs.CL
AMBERT: A Pre-trained Language Model with Multi-Grained Tokenization
ByteDance（字节跳动）
预先训练的语言模型，如BERT，在自然语言理解（NLU）的许多任务中表现出显着的性能。模型中的标记通常是细粒度的，对于像英语这样的语言，它们是单词或子单词，而对于像中文这样的语言，它们是字符。例如，在英语中，存在形成自然词汇单元的多词表达，因此粗粒度标记化的使用似乎也是合理的。事实上，细粒度和粗粒度标记化对于预训练的语言模型的学习都有优点和缺点。在本文中，我们提出了一种新的预训练的语言模型，称为AM BERT（多粒度BERT），细粒度和粗粒度的标记化的基础上。对于英语，AMBERT将单词序列（细粒度标记）和短语序列（粗粒度令牌）作为令牌化之后的输入，采用一个编码器来处理单词序列，而另一个编码器来处理短语序列，利用两个编码器之间的共享参数，并最终创建单词的上下文化表示序列和短语的上下文化表示序列。实验在中英文基准数据集CLUE、GLUE、SQuAD和RACE上进行。实验结果表明，在所有情况下，AM BERT的性能都优于BERT，特别是对中国人的改进是显著的。我们还开发了一种方法，以提高效率的AM BERT的推理，它仍然表现得比BERT与BERT相同的计算成本。
2021-05-27 cs.CL cs.LG
HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；AGH University of Science and Technology（AGH科技大学）
基于BERT的模型目前被用于解决几乎所有的自然语言处理（NLP）任务，并且大多数情况下都能获得最先进的结果。因此，NLP社区对理解这些模型进行了广泛的研究，但最重要的是设计有效和高效的培训程序。已经进行了几项消融研究，调查如何训练BERT类模型，但其中绝大多数只涉及英语。为英语设计的培训程序不一定是通用的，也不一定适用于其他类型上特别不同的语言。因此，本文提出了第一个消融研究集中在波兰语，这与孤立的英语语言，是一个融合的语言。我们设计并全面评估了将知识从多语言模型转移到单语言BERT模型的预训练过程。除了多语言模型初始化之外，还探讨了可能影响预训练的其他因素，即训练目标、语料库大小、BPE-Dropout和预训练长度。基于所提出的过程，波兰BERT为基础的语言模型- HerBERT -训练。该模型在多个下游任务上实现了最先进的结果。
2021-05-04 cs.CL cs.LG
Playing with Words at the National Library of Sweden -- Making a Swedish BERT
National Library of Sweden（瑞典国家图书馆）
本文介绍了瑞典国家图书馆（KB）KBLab为数据驱动研究开发的瑞典语BERT（“KB-BERT”）。在最近为英语以外的语言创建基于transformer的BERT模型的基础上，我们解释了如何使用KB的集合为瑞典语创建和训练一个新的特定于语言的BERT模型。我们还提出了我们的模型与现有模型的比较结果-主要是由瑞典公共就业服务，Arbetsförmedlingen和谷歌的多语言M-BERT -在那里我们证明KB-BERT优于这些在一系列的NLP任务从命名实体识别（NER）的词性标记（POS）。我们的讨论强调了由于缺乏训练数据和像瑞典语这样的小语言的测试平台而继续存在的困难。我们在这里发布我们的模型以供进一步探索和研究：https://github.com/Kungbib/swedish-bert-models。
2020-07-03 cs.CL
Towards Fully Bilingual Deep Language Modeling
University of Turku（图尔库大学）
近年来，基于深度神经网络的语言模型促进了自然语言处理和理解任务的巨大进步。虽然已经引入了涵盖大量语言的模型，但它们的多语言性是以单语言性能为代价的，并且在不涉及跨语言迁移的大多数任务中性能最好的模型仍然是单语言的。在本文中，我们考虑的问题是，是否有可能预先训练两种远程相关语言的双语模型，而不影响任何一种语言的性能。我们收集预训练数据，创建芬兰-英语双语BERT模型，并在用于评估相应单语模型的数据集上评估其性能。我们的双语模型在GLUE上的表现与谷歌的原始英语BERT相当，在一系列芬兰NLP任务上的表现几乎与单语芬兰语BERT相当，明显优于多语言BERT。我们发现，当模型词汇量增加时，BERT-Base架构有足够的能力学习两种远程相关语言，达到与单语模型相当的性能水平，这证明了训练完全双语深度语言模型的可行性。该模型及其创建过程中涉及的所有工具均可在www.example.com上免费获得
2020-10-22 cs.CL
