AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21
Alibaba Group(阿里巴巴集团)
首字母缩略词识别的重点是发现首字母缩略词和被缩写的短语,这对于科学文档理解任务至关重要。然而,手动标注的数据集的有限大小阻碍了问题的进一步改善。最近在大型语料库上预训练的语言模型的突破清楚地表明,无监督的预训练可以大大提高下游任务的性能。在本文中,我们提出了一种名为AT-BERT的对抗性训练BERT方法,这是我们为AAAI 2021年科学文档理解(SDU)挑战赛的首字母缩略词识别任务提供的获胜解决方案。具体地,采用预训练的BERT来捕获更好的语义表示。然后,我们将FGM对抗训练策略融入到BERT的微调中,使模型更具鲁棒性和通用性。此外,一个集成机制,设计涉及从多个BERT变量学习的表示。将所有这些组件组装在一起,在SciAI数据集上的实验结果表明,我们提出的方法优于所有其他具有竞争力的最先进的方法。
2021-01-12 cs.CL
Does BERT Learn as Humans Perceive? Understanding Linguistic Styles through Lexica
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院);University of Minnesota(明尼苏达大学)
人们通过所写文章的语言风格来表达自己的意图和态度。在这项研究中,我们通过两个镜头调查跨风格的词汇使用情况:人类感知和机器词的重要性,因为词的风格线索,他们提供的强度不同。为了收集人类感知的标签,我们在基准风格数据集的基础上策划了一个新的数据集Hummingbird。我们让人群工作者突出文本中的代表性词语,使他们认为文本具有以下风格:礼貌,情感,攻击性和五种情感类型。然后,我们将这些人类单词标签与来自流行的微调风格分类器(如BERT)的单词重要性进行比较。我们的研究结果表明,BERT经常发现与目标风格不相关的内容词作为风格预测中使用的重要词,但即使对于某些风格(例如,积极的情绪和喜悦)人类和机器识别的单词对于某些风格共享显著的重叠。
2021-11-12 cs.CL
Roof-Transformer: Divided and Joined Understanding with Knowledge Enhancement
Academia Sinica(中央研究院)
最近的工作增强BERT为基础的语言表示模型与知识图谱(KG)和知识库(KBs)在多个NLP任务取得了可喜的成果。最先进的方法通常将原始输入句子与KG三元组集成,并将组合表示馈送到BERT模型中。然而,由于BERT模型的序列长度是有限的,这样的框架支持除了原始输入句子之外的很少的知识,并且因此被迫丢弃一些知识。这个问题对于输入是长段落甚至是文档的下游任务(例如QA或阅读理解任务)尤其严重。我们用Roof-Transformer解决这个问题,这是一个有两个底层BERT和一个融合层的模型。一个底层BERT对知识资源进行编码,另一个底层BERT对原始输入语句进行编码,融合层将两种编码结果进行融合。QA任务和GLUE基准测试的实验结果证明了该模型的有效性。
2022-10-20 cs.CL
Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets
National Center for Biotechnology Information(国家生物技术信息中心);National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆)
受通用语言理解评估基准成功的启发,我们引入了生物医学语言理解评估(BLUE)基准,以促进生物医学领域中预训练语言表征开发的研究。该基准测试由五个任务和十个数据集组成,涵盖了不同数据集大小和难度的生物医学和临床文本。我们还评估了基于BERT和ELMo的几个基线,发现在PubMed摘要和MIMIC-III临床笔记上预训练的BERT模型达到了最佳结果。我们在https://github.com/ncbi-nlp/BLUE_Benchmark上公开提供数据集、预训练模型和代码。
2019-06-18 cs.CL
Cost-Sensitive BERT for Generalisable Sentence Classification with Imbalanced Data
University of Birmingham(伯明翰大学);University of Warwick(华威大学);Alan Turing Institute(阿兰·图灵研究所)
近年来,由于新闻产生和消费方式的技术和社会变化,宣传的自动识别变得越来越重要。使用BERT可以有效地解决这个任务,这是一个强大的新架构,可以针对文本分类任务进行微调,这并不奇怪。然而,与处理新闻文档和其他形式的非情境化社交通信(例如,情感分析)的其他任务一样,宣传检测固有地处理其类别同时不平衡和不相似的数据。我们表明,BERT,而能够处理不平衡的类,没有额外的数据增强,不概括以及当训练和测试数据是足够不相似的(通常是新闻来源的情况下,其主题随着时间的推移而演变)。我们展示了如何通过提供数据集之间的相似性的统计度量和当训练集和测试集不相似时将成本加权纳入BERT的方法来解决这个问题。我们测试这些方法上的宣传技术语料库(PTC),并实现了第二高的分数对宣传级别的分类。
2020-03-16 cs.CL cs.LG stat.ML
What does BERT Learn from Multiple-Choice Reading Comprehension Datasets?
River Valley High School(立化中学);Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
多项选择阅读理解(MCRC)要求模特阅读文章和问题,并在给定的选项中选择正确的答案。最近最先进的模型在多个MCRC数据集上取得了令人印象深刻的性能。然而,这样的性能可能并不反映模型的真正的语言理解和推理能力。在这项工作中,我们采用了两种方法来研究BERT从MCRC数据集中学习到什么:1)不可读的数据攻击,其中我们添加关键字来混淆BERT,导致显着的性能下降; 2)不可回答的数据训练,其中我们在部分或混洗输入上训练BERT。在不可回答的数据训练下,BERT实现了意想不到的高性能。基于我们在5个关键MCRC数据集上的实验-- RACE、MCTest、MCScript、MCScript2.0、DREAM --我们观察到:1)微调后的BERT主要学习关键词如何导致正确的预测,而不是学习语义理解和推理; 2)BERT不需要正确的句法信息来解决任务; 3)在这些数据集中存在伪像,使得即使没有完整的上下文也可以解决它们。
2019-10-28 cs.CL
YNU-HPCC at SemEval-2020 Task 11: LSTM Network for Detection of Propaganda Techniques in News Articles
本文总结了我们在SemEval-2020任务11中对新闻文章宣传检测技术的研究。此任务分为SI和TC子任务。我们实现了GloVe单词表示、BERT预训练模型和LSTM模型架构来完成这项任务。我们的方法在SI和TC子任务上都取得了很好的效果。SI子任务的宏观F1分数为0.406,TC子任务的微观F1分数为0.505。我们的方法显著优于官方发布的基线方法,SI和TC子任务分别在测试集上排名第17位和第22位。本文还比较了不同深度学习模型架构(如Bi-LSTM、LSTM、BERT和XGBoost模型)在检测新闻推广技术方面的性能。本文的代码可在https://github.com/daojiaxu/semeval_11上获得。
2020-08-25 cs.CL cs.IR
BERT Goes to Law School: Quantifying the Competitive Advantage of Access to Large Legal Corpora in Contract Understanding
Lexion
在特定领域的语料库上微调语言模型,如BERT,已被证明在科学论文和生物医学文本等领域有价值。在本文中,我们表明,微调BERT的法律文件同样提供了宝贵的改善自然语言处理任务的法律领域。证明这一结果对于分析商业协议具有重要意义,因为由于其机密性,获得大型法律语料库具有挑战性。因此,我们表明,能够访问大型法律语料库是商业应用和分析合同的学术研究的竞争优势。
2019-11-01 cs.AI cs.CL cs.LG
MultiProSE: A Multi-label Arabic Dataset for Propaganda, Sentiment, and Emotion Detection
King Saud University(沙特国王大学);Majmaah University(迈迈大学);Imam Mohammad Ibn Saud Islamic University(伊玛目穆罕默德·本·沙特伊斯兰大学);Alfaisal University(费萨尔大学)
本文构建首个多标签阿拉伯语宣传、情感与情绪检测数据集 MultiProSE,含8,000篇标注新闻,并基于LLM和PLM建立基线。
2025-02-12 cs.CL
CyberWallE at SemEval-2020 Task 11: An Analysis of Feature Engineering for Ensemble Models for Propaganda Detection
Seminar für Sprachwissenschaft(语言学系);Eberhard Karls Universität Tübingen(蒂宾根大学)
本文介绍了我们参与SemEval-2020任务检测新闻文章中的宣传技巧。我们参与两个子任务:跨度识别(SI)和技术分类(TC)。我们在SI子任务中使用双LSTM架构,并为TC子任务训练复杂的集成模型。我们的架构是使用来自BERT的嵌入并结合额外的词汇特征和广泛的标签后处理来构建的。我们的系统在SI子任务(F1分数:43.86%)和TC子任务(F1分数:57.37%)中的31支球队中的8支球队中实现了排名。
2020-08-22 cs.CL cs.LG
Neural Architectures for Fine-Grained Propaganda Detection in News
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文介绍了我们的系统(MIC-CIS)的细节和参与细粒度宣传检测共享任务2019的结果。为了解决句子(SLC)和片段级(FLC)宣传检测的任务,我们探索了不同的神经架构(例如,CNN、LSTM-CRF和BERT)并提取语言(例如,词性、命名实体、可读性、情感、情绪等),布局和专题功能。具体来说,我们设计了多粒度和多任务神经架构,以联合执行句子和片段级别的宣传检测。此外,我们研究了不同的集成方案,如多数表决,松弛表决等,以提高整体系统的性能。与其他参与系统相比,我们的提交在FLC和SLC任务中分别排名第三和第四。
2019-09-13 cs.CL cs.IR cs.LG
BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text
Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
人们越来越有兴趣了解人类如何发起和进行对话。会话的情感理解关注的是说话者如何利用情感对情景和彼此做出反应的问题。在CL-Aff共享任务中,组织者发布了Get it #OffMyChest数据集,其中包含来自休闲和忏悔对话的Reddit评论,标记为披露和保密特征。在本文中,我们介绍了一个预测集成模型,利用微调的上下文词嵌入,罗伯特和阿尔伯特。我们表明,我们的模型在所有考虑的指标优于基础模型,实现了$3\%$的F1分数的改善。我们进一步进行统计分析,并概述对给定数据集的更深入见解,同时为数据集提供新的影响特征。
2020-06-01 cs.CL cs.SI
Towards Detection of Subjective Bias using Contextualized Word Embeddings
NSIT Delhi(德里内塔吉·苏巴斯理工学院);IIIT Hyderabad(海得拉巴印度信息技术学院)
主观偏见检测对于宣传检测、内容推荐、情感分析和偏见中和等应用至关重要。这种偏见是通过煽动性的词语和短语在自然语言中引入的,对事实产生怀疑,并预先假定真相。在这项工作中,我们使用基于BERT的模型在维基中立语料库(WNC)上进行全面的实验来检测主观偏见。数据集由$360k$标记的实例组成,这些实例来自维基百科编辑,删除了各种偏倚实例。我们进一步提出了基于BERT的合奏,优于国家的最先进的方法,如$BERT_{large}$的利润率为$5.6$ F1分数。
2020-02-16 cs.CL
Spelling Error Correction with Soft-Masked BERT
ByteDance AI Lab(字节跳动人工智能实验室);Fudan University(复旦大学)
拼写纠错是一项重要而又具有挑战性的任务,因为要圆满地解决拼写错误,需要具备人类水平的语言理解能力。在不失一般性的前提下,本文研究了汉语拼写纠错问题。用于该任务的最先进的方法基于语言表示模型BERT从候选列表中选择用于在句子的每个位置处进行校正(包括不校正)的字符。然而,该方法的准确性可能是次优的,因为BERT不具有足够的能力来检测每个位置处是否存在错误,这显然是由于使用掩码语言建模对其进行预训练的方式。在这项工作中,我们提出了一种新的神经架构,以解决上述问题,其中包括一个网络的错误检测和错误校正的基础上BERT的网络,与前者被连接到后者,我们称之为软屏蔽技术。我们使用“软屏蔽BERT”的方法是通用的,它可以用于其他语言检测校正问题。在两个数据集上的实验结果表明,我们提出的方法的性能显着优于基线,包括一个单独的基础上BERT。
2020-05-15 cs.CL cs.LG
Attention Is (not) All You Need for Commonsense Reasoning
SAP Machine Learning Research(SAP机器学习研究院)
最近引入的BERT模型在几个语言理解基准测试中表现出很强的性能。在本文中,我们描述了一个简单的重新实现BERT的常识推理。我们表明,由BERT产生的注意力可以直接用于代词消歧问题和Winograd模式挑战等任务。我们提出的注意力引导的常识推理方法在概念上简单,但经验上强大。对多个数据集的实验分析表明,我们提出的系统在所有情况下都表现得非常好,同时比以前报道的最先进的系统表现得更好。虽然结果表明,BERT似乎隐含地学习建立实体之间的复杂关系,解决常识推理任务可能需要更多的从巨大的文本语料库学习的无监督模型。
2019-05-31 cs.AI cs.CL
TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue
Salesforce Research(Salesforce研究院)
普通文本和任务型对话在语言模式上的根本差异使得现有的预训练语言模型在实践中用处不大。在这项工作中,我们统一了9个人与人之间的多回合面向任务的对话数据集,用于语言建模。为了在预训练期间更好地建模对话行为,我们将用户和系统令牌纳入掩蔽语言建模。我们提出了一个对比的目标函数来模拟反应选择任务。我们预先训练的面向任务的对话BERT(TOD-BERT)在四个下游面向任务的对话应用上的性能优于BERT等强基线,包括意图识别,对话状态跟踪,对话行为预测和响应选择。我们还表明,TOD-BERT具有更强的Few-Shot能力,可以缓解面向任务的对话的数据稀缺问题。
2020-10-01 cs.CL
Semantics-aware BERT for Language Understanding
Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院人工智能教育部重点实验室);College of Zhiyuan, Shanghai Jiao Tong University(上海交通大学致远学院)
语言表征的最新工作将语境化特征仔细地集成到语言模型训练中,这使得一系列成功,特别是在各种机器阅读理解和自然语言推理任务中。然而,现有的语言表示模型,包括ELMo,GPT和BERT只利用普通的上下文相关的功能,如字符或词嵌入。他们很少考虑将结构化的语义信息,可以提供丰富的语义语言表示。为了促进自然语言理解,我们建议将显式的上下文语义从预先训练的语义角色标注,并引入一个改进的语言表示模型,语义感知BERT(SemBERT),这是能够明确地吸收上下文语义的BERT骨干。SemBERT以轻微的微调方式保持了其BERT前身的方便可用性,而无需进行大量的特定于任务的修改。与BERT相比,语义感知的BERT概念简单,但功能更强大。它在十项阅读理解和语言推理任务中获得了新的最先进的技术或大大提高了结果。
2020-02-04 cs.CL
Natural Language Understanding with Privacy-Preserving BERT
Google(谷歌)
隐私保护仍然是数据采掘和自然语言理解(NLU)中的一个关键挑战。以往的研究表明,输入文本甚至文本嵌入都可能泄露隐私信息。这种关注激发了我们对预训练语言模型(LM)的有效隐私保护方法的研究。我们调查的隐私和实用程序的影响,应用dx隐私,局部差分隐私的变体,BERT微调在NLU应用程序。更重要的是,我们进一步提出了隐私自适应LM预训练方法,并表明我们的方法可以显着提高BERT的效用,同时保持相同的隐私保护水平。我们还量化了隐私保护的水平,并提供了隐私配置的指导。我们的实验和研究结果奠定了基础,为未来探索隐私保护NLU与预训练LM。
2021-08-19 cs.CL
Robustness and Sensitivity of BERT Models Predicting Alzheimer's Disease from Text
Winterlight Labs
了解从文本预测阿尔茨海默病的BERT模型的鲁棒性和灵敏度对于开发更好的分类模型以及了解其能力和局限性都很重要。在本文中,我们分析了如何控制所需的和不需要的文本更改量的影响性能的BERT。我们表明,BERT是强大的文本中的自然语言的变化。另一方面,我们表明,BERT是不敏感的临床重要信息从文本中删除。
2021-10-26 cs.CL
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Google AI Language(谷歌 AI 语言部门)
我们介绍了一种新的语言表示模型称为BERT,它代表双向编码器表示从Transformers。与最近的语言表示模型不同,BERT旨在通过联合调节所有层中的左上下文和右上下文,从未标记文本中预训练深度双向表示。因此,预训练的BERT模型只需一个额外的输出层即可进行微调,从而为各种任务(如问答和语言推理)创建最先进的模型,而无需对特定于任务的架构进行实质性修改。BERT在概念上很简单,但在经验上很强大。它在11个自然语言处理任务上获得了新的最先进的结果,包括将GLUE得分提高到80.5%(绝对提高7.7%),MultiNLI准确率达到86.7%(绝对改善4.6%),SQuAD v1.1问答测试F1为93.2(绝对改善1.5分),SQuAD v2.0测试F1为83.1(绝对改善5.1分)。
2019-05-24 cs.CL
MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding
University of Science and Technology of China(中国科学技术大学);Microsoft(微软)
近年来,用于多方会话(MPC)的各种神经模型在诸如收信人识别、说话人辨识和响应预测等任务上取得了令人印象深刻的改进。然而,这些现有的MPC的方法通常表示单独的对话者和话语,忽略了MPC中固有的复杂结构,可以提供关键的对话者和话语语义,并将加强会话理解过程。为此,我们提出了MPC-BERT,这是一种用于MPC理解的预训练模型,它考虑在具有多个精心设计的自监督任务的统一模型中学习谁对谁说了什么。具体地,这些任务通常可以被分类为(1)对话者结构建模,包括回复话语识别、相同说话者搜索和指针一致性区分,以及(2)话语语义建模,包括掩蔽共享话语恢复和共享节点检测。我们评估MPC BERT的三个下游任务,包括收件人识别,说话人辨识和响应选择。实验结果表明,MPC-BERT优于以前的方法的大幅度,并实现了新的国家的最先进的性能在所有三个下游任务在两个基准测试。
2021-06-03 cs.CL
Understanding Pre-trained BERT for Aspect-based Sentiment Analysis
Institute for Data Science, Tsinghua University(清华大学数据科学研究院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文分析了基于方面的情感分析(ABSA)任务中从BERT上的评论中学习到的预训练隐藏表示。我们的工作是基于BERT的ABSA语言模型的最新进展。然而,目前还不清楚如何(掩蔽)语言模型的一般代理任务上训练的未标记的语料库没有方面或意见的注释可以提供重要的功能,在ABSA的下游任务。通过利用ABSA中的注释数据集,我们研究了评论预训练的BERT的注意力和学习表示。我们发现,BERT使用很少的自我注意中心词来编码上下文词(如介词或代词,指示一个方面)和意见词的一个方面。方面表示中的大多数特性都致力于领域(或产品类别)和方面本身的细粒度语义,而不是从其上下文中携带总结的意见。我们希望这项研究能够帮助未来的研究,以改善自监督学习,无监督学习和微调ABSA。预训练的模型和代码可以在https://github.com/howardhsu/BERT-for-RRC-ABSA上找到。
2020-10-31 cs.CL
Cracking the Contextual Commonsense Code: Understanding Commonsense Reasoning Aptitude of Deep Contextual Representations
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
预训练的深度上下文表示在各种常识性的NLP任务上已经发展到了最先进的水平,但我们对这些模型的能力缺乏具体的了解。因此,我们调查和挑战BERT的常识表示能力的几个方面。首先,我们探讨了BERT的能力,分类的各种对象属性,证明了BERT显示了强大的能力,在其嵌入空间中的各种常识特征的编码,但仍然是在许多领域的不足。接下来,我们表明,通过用与缺陷属性相关的额外数据来增强BERT的预训练数据,我们能够在使用最少量数据的同时提高下游常识推理任务的性能。最后,我们开发了一种方法,微调知识图嵌入旁边的BERT和显式知识图谱的持续重要性。
2019-10-04 cs.CL
DecBERT: Enhancing the Language Understanding of BERT with Causal Attention Masks
Hong Kong Baptist University(香港浸会大学);NetEase Inc.(网易公司);Jilin University(吉林大学)
自2017年以来,基于transformer的模型在各种下游自然语言处理任务中发挥着关键作用。然而,Transformer Encoder中使用的注意力机制的一个共同限制是它不能自动捕获词序信息,因此通常需要将显式位置嵌入馈送到目标模型中。相比之下,Transformer Decoder具有因果注意面具,对词序自然敏感。在这项工作中,我们专注于提高BERT的位置编码能力的因果注意面具。此外,我们提出了一个新的预训练的语言模型DecBERT和评估它的GLUE基准。实验结果表明:(1)因果注意掩模对BERT在语言理解任务上是有效的;(2)我们的DecBERT模型在GLUE基准测试中获得了相当的性能;(3)我们的修改加速了预训练过程,并且在使用相同计算资源的预训练时,DecBERT w/ PE获得了比基线系统更好的整体性能。
2022-04-19 cs.CL
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的,在微调过程中看不到。尽管取得了令人鼓舞的成果,但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析,我们表明,多语言BERT,一个流行的多语言语言模型,可以被看作是两个子网络的堆叠:一个多语言编码器,然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要,并且在微调期间基本保持不变,但任务预测器对迁移的重要性很小,并且可以在微调期间重新初始化。我们提出了广泛的实验,三个不同的任务,17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
From BERT to LLMs: Comparing and Understanding Chinese Classifier Prediction in Language Models
Department of Language Science and Technology, The Hong Kong Polytechnic University(语言科学与技术系,香港理工大学)
本研究评估大语言模型在中文量词预测任务上的表现,发现即使经过微调,LLMs仍不如BERT,双向注意力机制因能利用后续名词信息而更具优势。
2025-11-02 cs.CL
Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT
Wuhan University(武汉大学);JD Explore Academy, JD.com Inc.(京东公司京东探索研究院);University of Sydney(悉尼大学)
最近,ChatGPT引起了人们的极大关注,因为它可以对人类查询生成流畅和高质量的响应。先前的几项研究表明,ChatGPT与现有模型相比具有显着的生成能力。然而,ChatGPT的理解能力的定量分析一直很少受到关注。在这份报告中,我们通过在最流行的GLUE基准测试中评估ChatGPT,并将其与4个代表性的微调BERT风格模型进行比较,来探索ChatGPT的理解能力。我们发现:1)ChatGPT在处理释义和相似性任务方面存在不足; 2)ChatGPT在推理任务上的表现远远优于所有BERT模型; 3)ChatGPT在情感分析和问答任务上的表现与BERT相当。此外,通过结合一些先进的提示策略,我们表明,ChatGPT的理解能力可以进一步提高。
2023-03-02 cs.CL
Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning
Institute for Applied Artificial Intelligence (IAAI)(应用人工智能研究所(IAAI));Hochschule der Medien Stuttgart(斯图加特媒体大学);Institute for Natural Language Processing (IMS)(自然语言处理研究所(IMS));University of Stuttgart(斯图加特大学)
最近,在下游利用预先训练的基于Transformer的语言模型,任务特定模型已经在自然语言理解任务中取得了先进的技术水平。然而,只有很少的研究探索了这种方法在低资源设置中的适用性,其中训练数据点少于1,000。在这项工作中,我们探索了BERT的微调方法-一个预先训练的基于Transformer的语言模型-通过利用基于池的主动学习来加快训练,同时保持标记新数据的成本不变。我们在GLUE数据集上的实验结果表明,当从未标记数据池中查询时,通过最大化模型的近似知识增益,模型性能具有优势。最后,我们展示并分析了在微调期间冻结语言模型的层以减少可训练参数的数量,使其更适合于低资源设置的好处。
2020-12-04 cs.CL
Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文提出通过词汇匹配将BERT能力从高资源语言迁移到低资源语言,并在西里西亚语和卡舒比语上验证了该方法在训练数据极少时仍能有效提升模型性能。
2024-02-22 cs.CL
Incorporating BERT into Neural Machine Translation
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Sun Yat-sen University(中山大学);Peking University(北京大学)
最近提出的BERT在文本分类、阅读理解等多种自然语言理解任务中表现出强大的能力,但如何将BERT有效地应用于神经机器翻译(NMT)还缺乏足够的探索。虽然BERT更常用于微调,而不是用于下游语言理解任务的上下文嵌入,但在NMT中,我们初步探索使用BERT作为上下文嵌入比用于微调更好。这促使我们思考如何沿着这个方向更好地利用BERT进行NMT。提出了一种新的BERT融合模型,该模型首先利用BERT提取输入序列的表示,然后通过注意力机制将表示与NMT模型的编码器和解码器的每一层进行融合。我们对监督(包括文档级和文档级翻译),半监督和无监督机器翻译进行了实验,并在七个基准数据集上取得了最先进的结果。我们的代码可在\url{https://github.com/bert-nmt/bert-nmt}上获得。
2020-02-17 cs.CL
Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words
标准BERT采用基于子词的标记化,其可以将词分成两个或更多个词段(例如,将“无损”转换为“损失”和“较少”)。这将在以下情况下带来不便:(1)如何获得一个词被分成多个词块的上下文向量?(2)在不知道单词个数的情况下,如何通过完形填空预测单词?在这项工作中,我们探索了在单词词汇表而不是单词片段上开发BERT风格的预训练模型的可能性。我们把这种词级的BERT模型称为词级BERT。我们训练具有不同词汇大小、初始化配置和语言的模型。实验结果表明,与标准的基于词块的BERT相比,WordBERT在完形填空测试和机器阅读理解测试中有显著的提高。在许多其他自然语言理解任务中,包括POS标记,组块和NER,WordBERT始终比BERT表现得更好。模型分析表明,WordBERT相对于BERT的主要优势在于对低频词和生僻词的理解。此外,由于管道是独立于语言的,我们训练WordBERT中文语言,并获得五个自然语言理解数据集的显着收益。最后,通过对推理速度的分析,说明在自然语言理解任务中,WordBERT与BERT具有相当的时间开销。
2022-02-24 cs.CL
How to Fine-Tune BERT for Text Classification?
Fudan University(复旦大学)
语言模型预训练已被证明是有用的学习通用语言表示。BERT(Bidirectional Encoder Representations from Transformers)作为一种最先进的语言模型预训练模型,在许多语言理解任务中取得了令人惊叹的成绩。本文针对文本分类任务,对BERT的不同微调方法进行了详尽的实验研究,并给出了BERT微调的一般解决方案。最后,提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最先进的结果。
2020-02-05 cs.CL
On the Difference of BERT-style and CLIP-style Text Encoders
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hong Kong University of Science and Technology(香港科技大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文通过通用文本理解、视觉中心文本理解和文本到图像生成三项实验,比较 BERT 与 CLIP 风格文本编码器,揭示后者虽通用理解较弱,却具有更接近人类的跨模态联觉能力。
2023-06-06 cs.CL
Understanding patient complaint characteristics using contextual clinical BERT embeddings
Medius Health
在临床会话应用中,所提取的实体倾向于捕获患者的主诉的主要主题,即症状或疾病。然而,他们大多未能认识到投诉的特征,如时间,发病和严重程度。例如,如果输入是“我头痛,而且很严重”,那么最先进的模型仅识别主要症状实体-头痛,但忽略表征头痛的“严重”的严重性因素。在本文中,我们设计了一个两阶段的方法来检测实体的特征,如一般用户在上下文中,他们会描述他们的症状,临床医生提出的症状。我们使用Word 2 Vec和BERT对患者提供的临床文本进行编码。我们转换输出并将任务重新构建为多标签分类问题。最后,我们将处理后的编码与线性判别分析(LDA)算法相结合,对主要实体的特征进行分类。实验结果表明,我们的方法实现了40-50%的提高的准确性比国家的最先进的模型。
2020-02-14 cs.CL
BERTnesia: Investigating the capture and forgetting of knowledge in BERT
L3S Research Center(L3S研究中心)
探索复杂的语言模型最近揭示了一些见解的语言和语义模式中发现的学习表示。在本文中,我们专门探讨了BERT,以理解和测量它在参数记忆中捕获的关系知识。虽然对语言理解的探索通常应用于BERT的所有层以及微调模型,但这还没有用于事实知识。我们利用现有的知识库完成任务(LAMA)来探测每一层的预训练以及微调的BERT模型(排名,问答,NER)。我们的研究结果表明,知识不仅包含在BERT的最后几层。中间层在所发现的知识总量中占相当大的比例(17-60%)。探索中间层还揭示了不同类型的知识是如何以不同的速度出现的。当BERT被微调时,关系知识被遗忘了。遗忘的程度受微调目标和训练数据的影响。我们发现,与掩蔽语言建模和问答相比,排名模型在最后一层忘记的最少,保留的知识更多。然而,掩蔽语言建模在从训练数据获取新知识方面表现最好。当涉及到学习事实时,我们发现容量和事实密度是关键因素。我们希望这一初步的工作将促进进一步的研究,了解参数记忆的语言模型和实际知识的训练目标的影响。重复实验的代码在GitHub上公开。
2021-09-08 cs.CL
Exploring Transformers in Emotion Recognition: a comparison of BERT, DistillBERT, RoBERTa, XLNet and ELECTRA
Brazilian Network Information Center (NIC.br)(巴西网络信息中心 (NIC.br));Pontifical Catholic University of São Paulo (PUC-SP)(圣保罗天主教大学 (PUC-SP))
本文研究了如何将自然语言理解(NLU)应用于情感计算中的一个特定任务--情感识别。我们使用细粒度的情感数据集对不同的Transformers语言模型(BERT、DistilBERT、RoBERTa、XLNet和ELECTRA)进行了微调,并根据性能(f1分数)和完成时间对它们进行了评估。
2021-04-05 cs.CL
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut(贝鲁特美国大学)
阿拉伯语是一种形态丰富的语言,与英语相比,资源相对较少,语法探索较少。考虑到这些限制,阿拉伯语自然语言处理(NLP)任务,如情感分析(SA)、命名实体识别(NER)和问答(QA),已经被证明是非常具有挑战性的。最近,随着基于Transformers的模型的激增,基于语言特定的BERT的模型已经被证明在语言理解方面非常有效,只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中,我们专门针对阿拉伯语预先训练了BERT,以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明,新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开,希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
To What Degree Can Language Borders Be Blurred In BERT-based Multilingual Spoken Language Understanding?
Amazon Alexa(亚马逊Alexa)
本文讨论的问题,在何种程度上基于BERT的多语言口语语言理解(SLU)模型可以跨语言的知识转移。通过实验,我们将表明,虽然它的工作相当不错,即使在遥远的语言群体,仍然有一个理想的多语言性能的差距。此外,我们提出了一种新的基于BERT的对抗模型架构,以学习多语言SLU的语言共享和语言特定的表示。我们的实验结果证明,该模型是能够缩小差距,理想的多语言性能。
2020-11-10 cs.AI cs.CL
Breaking BERT: Understanding its Vulnerabilities for Named Entity Recognition through Adversarial Attack
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学高级计算机科学研究所)
通用和特定领域的BERT模型都被广泛用于自然语言处理(NLP)任务。本文研究了BERT模型在对抗攻击中对命名实体识别(NER)输入数据变化的脆弱性。实验结果表明,BERT模型容易受到实体上下文变化的影响,有20.2%~ 45.0%的实体预测完全错误,另有29.3%~ 53.3%的实体预测部分错误。BERT模型似乎最容易受到实体的本地上下文的变化的影响,并且通常单个变化就足以欺骗模型。从头开始训练的特定于领域的BERT模型(SciBERT)比原始BERT模型或保留BERT词汇的特定于领域的模型(BioBERT)更脆弱。我们还发现,BERT模型是特别容易受到紧急实体。我们的研究结果图表BERT模型NER的弱点,并强调进一步研究发现和减少这些弱点的重要性。
2022-01-31 cs.CL cs.IR
Understanding the Behaviors of BERT in Ranking
Tsinghua University(清华大学);Microsoft Research(微软研究院)
研究了BERT在排序任务中的性能和行为。我们探索了几种不同的方法来利用预训练的BERT,并在两个排名任务上对其进行微调:MS MARCO段落重新排名和TREC Web Track ad hoc文档排序。在MS MARCO上的实验结果证明了BERT在问答式段落排序任务中的有效性,同时也证明了BERT是一种基于强交互的seq2seq匹配模型。TREC上的实验结果显示了在周围上下文上预训练的BERT与ad hoc文档排序的需求之间的差距。分析说明了BERT如何在其Transformer层中的查询文档标记之间分配注意力,它如何偏好释义标记之间的语义匹配,以及这与点击训练的神经排名器学习的软匹配模式有何不同。
2019-04-26 cs.CL cs.IR
ST-BERT: Cross-modal Language Model Pre-training For End-to-end Spoken Language Understanding
NAVER CLOVA;NAVER AI LAB(NAVER人工智能实验室)
语言模型预训练在各种下游任务中显示出有希望的结果。在这种情况下,我们引入了一个跨模态的预训练语言模型,称为语音-文本BERT(ST-BERT),以解决端到端口语语言理解(E2 E SLU)任务。以音素后验和子词级文本为输入,ST-BERT通过我们提出的两个预训练任务:跨模态掩蔽语言建模(CM-MLM)和跨模态条件语言建模(CM-CLM)来学习上下文化的跨模态对齐。三个基准测试的实验结果表明,我们的方法是有效的各种SLU数据集,并显示出令人惊讶的边际性能下降,即使当1%的训练数据可用。此外,我们的方法通过使用特定领域的语音-文本对数据进行领域自适应预训练,进一步提高了SLU性能。
2021-04-11 cs.CL cs.LG
Jointly Encoding Word Confusion Network and Dialogue Context with BERT for Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学)
口语语言理解(SLU)是将自动语音识别器(ASR)中的假设转换为结构化的语义表示。ASR识别错误会严重降低后续SLU模块的性能。为了解决这个问题,单词混淆网络(WCN)已被用来编码的输入SLU,它包含比1-最好或n-最好的假设列表更丰富的信息。为了进一步消除歧义,对话上下文的最后一个系统动作也被用作附加输入。本文提出了一种基于BERT的SLU模型(WCN-BERT SLU),用于对WCN和对话上下文进行联合编码。它可以在BERT架构中集成WCN的结构信息和ASR后验概率。在DSTC 2上的实验结果表明,该方法是有效的,可以显着优于以前的最先进的模型。
2020-09-08 cs.CL cs.LG
LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding
Alibaba Group(阿里巴巴集团)
以BERT为代表的预训练模型在各种自然语言处理问题中取得了很好的效果。然而,大量的参数需要大量的内存和推理时间的消耗,这使得很难将它们部署在边缘设备上。本文提出了一种基于对比学习的知识蒸馏方法LRC-BERT,从角度距离的角度拟合中间层的输出,这是现有蒸馏方法没有考虑的。此外,我们在训练阶段引入了一种基于梯度扰动的训练结构,以提高LRC-BERT的鲁棒性,这是知识蒸馏的第一次尝试。此外,为了更好地捕捉中间层的分布特征,我们设计了一种两阶段的总蒸馏损失训练方法。最后,通过在通用语言理解评测(GLUE)上对8个数据集进行验证,结果表明,本文提出的LRC-BERT方法的性能优于现有的最新方法,证明了本文方法的有效性。
2020-12-14 cs.AI cs.CL
Visualizing and Understanding the Effectiveness of BERT
Beihang University(北京航空航天大学);Microsoft Research(微软研究院)
语言模型预训练,如BERT,在许多NLP任务中取得了显著的效果。然而,目前还不清楚为什么预训练-然后微调范式可以提高不同任务的性能和泛化能力。在本文中,我们提出了可视化的损失景观和优化轨迹的微调BERT在特定的数据集。首先,我们发现预训练在下游任务中达到了一个很好的初始点,与从头开始训练相比,这导致了更广泛的最优值和更容易的优化。我们还证明了微调过程是强大的过拟合,即使BERT是高度过参数化的下游任务。其次,可视化结果表明,微调BERT倾向于更好地推广,因为平坦和广泛的最优值,以及训练损失曲面和泛化误差曲面之间的一致性。第三,BERT的较低层在微调过程中更具不变性,这表明接近输入的层学习更多可转移的语言表示。
2019-08-15 cs.CL cs.LG
Investigating Cross-Domain Behaviors of BERT in Review Understanding
University of Notre Dame(圣母大学)
本研究探究了BERT在产品评论理解中的跨域行为,发现在多域数据、未微调的单域数据及整体平均表现上,多域模型优于单域模型,能在略微牺牲准确率的条件下显著降低计算资源与成本。
2023-06-28 cs.CE cs.CL
KoreALBERT: Pretraining a Lite BERT Model for Korean Language Understanding
Samsung SDS(三星SDS)
Lite BERT(ALBERT)已经被引入以扩展用于自然语言的深度双向表示学习。由于缺乏针对韩语的预训练的ALBERT模型,最佳实践是多语言模型或诉诸于任何其他基于BERT的模型。在本文中,我们开发和预训练KoreALBERT,一个单语ALBERT模型,专门为韩国语言理解。我们引入了一个新的训练目标,即词序预测(WOP),并与现有的MLM和SOP标准一起使用相同的架构和模型参数。尽管模型参数明显较少(因此,训练更快),但我们预先训练的KoreAL BERT在6个不同的NLU任务上优于其BERT对应物。与Lan等人的英语经验结果一致,KoreALBERT似乎可以提高涉及韩语多句编码的下游任务性能。预先训练的KoreALBERT是公开的,以鼓励韩国NLP的研究和应用开发。
2021-01-27 cs.CL cs.LG
Unified BERT for Few-shot Natural Language Understanding
International Digital Economy Academy(国际数字经济学院);South China University of Technology(华南理工大学)
即使预先训练的语言模型共享语义编码器,自然语言理解也会受到输出模式多样性的影响。本文在BERT框架的基础上,提出了一种统一的双向语言理解模型UBERT,它可以通过一个双仿射网络对不同自然语言理解任务的训练对象进行统一建模。具体而言,UBERT从各个方面对先验知识进行编码,统一构建跨多个NLU任务的学习表示,有利于增强捕捉共同语义理解的能力。通过使用双仿射来建模原始文本的开始和结束位置的分数对,可以将各种分类和提取结构转换为通用的跨度解码方法。实验表明,UBERT在2022 AIWIN -世界人工智能创新大赛、中国保险Few-Shot多任务赛道中斩获一等奖,实现了广泛信息抽取和语言推理任务的统一。
2022-08-13 cs.AI cs.CL
BERT & Family Eat Word Salad: Experiments with Text Understanding
University of Utah(犹他大学)
在本文中,我们研究了来自BERT家族的大型模型对不连贯输入的响应,这些不连贯输入会使任何声称理解自然语言的模型感到困惑。我们定义了简单的算法来构造这样的例子。我们的实验表明,最先进的模型始终无法识别它们是病态的,而是对它们进行高置信度的预测。由于这种现象,在具有随机排列词序的句子上训练的模型的性能接近最先进的模型。为了缓解这些问题,我们证明,如果模型被明确训练来识别无效输入,它们可以对此类攻击具有鲁棒性,而不会降低性能。
2021-03-17 cs.AI cs.CL
ParsBERT: Transformer-based Model for Persian Language Understanding
Islamic Azad University North Tehran Branch(伊斯兰阿扎德大学北德黑兰分校);Queensland University of Technology(昆士兰科技大学);Umeå University(于默奥大学)
预训练语言模型的激增已经开始了自然语言处理(NLP)领域的新时代,使我们能够构建强大的语言模型。在这些模型中,基于transformer的模型(如BERT)由于其最先进的性能而变得越来越受欢迎。然而,这些模型通常专注于英语,将其他语言留给资源有限的多语言模型。本文提出了一个单语BERT的波斯语(ParsBERT),这表明其最先进的性能相比,其他架构和多语言模型。此外,由于波斯语中可用于NLP任务的数据量非常有限,因此组成了用于不同NLP任务以及预训练模型的大量数据集。ParsBERT在所有数据集(包括现有数据集和组合数据集)中获得了更高的分数,并通过在情感分析、文本分类和命名实体识别任务中优于多语言BERT和其他先前的作品来提高最先进的性能。
2020-05-31 cs.CL
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
基于转换器的模型广泛用于自然语言理解(NLU)任务,多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功,同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后,所提出的XDBERT(跨模态蒸馏BERT)在一般语言理解评估(GLUE),对抗生成(SWAG)基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能,以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding
Embibe;University of South Carolina(南卡罗来纳大学)
由最先进的基于转换器的语言模型(TLM)(如BERT、GPT、T5等)学习的上下文实体表示,利用注意力机制从训练数据语料库中学习数据上下文。然而,这些模型不使用知识背景。知识上下文可以理解为知识图谱中实体及其与相邻实体之间关系的语义。我们提出了一种新的和有效的技术,注入知识上下文从多个知识图谱的概念和模糊的实体到TLM在微调。该算法将知识图谱嵌入到齐次向量空间中,为实体引入新的标记类型,对齐实体位置ID,并引入选择性注意力机制。我们以BERT为基准模型,通过注入ConceptNet和WordNet中的知识上下文实现了“知识注入的BERT”,在GLUE基准测试的8个不同子任务上,该模型的性能明显优于BERT和其他最近的知识感知BERT变体,如ERNIE,SenseBERT和BERT_CS。KI-BERT-base模型甚至在特定领域的任务(如SciTail和QQP、QNLI和MNLI的学术子集)上的表现明显优于BERT-large。
2021-09-03 cs.AI cs.CL cs.LG
Healing Powers of BERT: How Task-Specific Fine-Tuning Recovers Corrupted Language Models
Columbia University(哥伦比亚大学);Zhejiang University(浙江大学)
本研究通过策略性损坏 BERT 参数并微调恢复,发现模型难以完全恢复性能,底层损坏影响更大,为构建韧性 NLP 系统提供指导。
2025-07-08 cs.CL
Fine-Tuning BERT for Schema-Guided Zero-Shot Dialogue State Tracking
University of Science and Technology of China(中国科学技术大学)
我们在对话系统技术挑战8(DSTC 8)中介绍了我们在轨道4上的工作。DSTC 8-Track 4旨在在zero-shot设置下执行对话状态跟踪(DST),其中模型需要在给定这些目标API的模式定义的情况下对看不见的服务API进行泛化。作为Siri、Alexa和Google Assistant等众多虚拟助手的核心,DST跟踪用户的目标和对话历史中发生的事情,主要包括意图预测、槽填充和用户状态跟踪,测试模型的自然语言理解能力。最近,预训练的语言模型已经取得了最先进的结果,并在各种NLP任务上显示出令人印象深刻的泛化能力,这为语言理解提供了一种很有前途的零样本学习方法。在此基础上,我们提出了一个模式引导的范例zero-shot对话状态跟踪(SGP-DST)微调BERT,最流行的预训练语言模型之一。SGP-DST系统包含四个模块,分别用于意图预测、时隙预测、时隙转移预测和用户状态汇总。根据官方评估结果,我们的SGP-DST(team 12)在25个参赛团队中,在联合目标准确性(排名提交的主要评估指标)方面排名第三,在所需的F1位置上排名第一。
2020-02-01 cs.CL
Enhancing Slot Tagging with Intent Features for Task Oriented Natural Language Understanding using BERT
Samsung R&D Institute(三星研发院);Indian Institute of Technology(印度理工学院)
最近的联合意图检测和插槽标记模型与单独的模型相比,性能有所提高。在许多真实世界的数据集中,槽标签和值与其意图标签有很强的相关性。在这种情况下,意图标签信息可以充当槽标记模型的有用特征。在本文中,我们通过3种技术在联合意图和插槽检测模型的插槽标记任务中研究了利用意图标签特征的效果。我们在基准口语数据集SNIPS和ATIS以及大型私人Bixby数据集上评估了我们的技术,并观察到在最先进的模型上改进了插槽标记性能。
2022-05-23 cs.AI cs.CL