A More Efficient Chinese Named Entity Recognition base on BERT and Syntactic Analysis
Zhejiang Informatization Development Institute, Hangzhou Dianzi University(杭州电子科技大学浙江信息化发展研究院)
提出了一种新的命名实体识别(NER)方法,有效地利用了词性标注、汉语分词和句法分析的结果,同时避免了由于词性标注错误而导致的命名实体识别错误。首先利用Stanford自然语言处理工具对大规模无标记数据进行标注,以减少对标记数据的依赖;然后设计一种新的NLP模型g-BERT模型,对Transformers(BERT)模型中的双向编码器表示进行压缩,以减少计算量;最后基于中国NER数据集对该模型进行评估。实验结果表明,与BERT模型相比,g-BERT模型的计算量减少了60%,性能提高了2%,测试F1为96.5。
2021-01-11 cs.CL
Floods Relevancy and Identification of Location from Twitter Posts using NLP Techniques
DCSE, University of Engineering and Technology, Peshawar, Pakistan(巴基斯坦白沙瓦工程与技术大学DCSE);Abasyn University Islamabad Campus, Pakistan(巴基斯坦阿巴辛大学伊斯兰堡校区);Department of AI, AJOU University, South Korea(韩国亚洲大学人工智能系);Department of Computer Science, Munster Technological University, Cork, Ireland(爱尔兰科克芒斯特理工大学计算机科学系)
本文介绍了我们在DisasterMM上的MediaEval 2022任务的解决方案。该任务由两个子任务组成,即(i)Twitter帖子的相关性分类(RCTP)和(ii)从Twitter文本中提取位置(LETT)。RCTP子任务旨在区分洪水相关和非相关社交帖子,而LETT是命名实体识别(NER)任务,旨在从文本中提取位置信息。对于RCTP,我们提出了基于BERT、RoBERTa、Distil BERT和AL BERT的四种不同的解决方案,分别获得了0.7934、0.7970、0.7613和0.7924的F1分数。对于LETT,我们使用了三个模型,即BERT、RoBERTa和Distil BERTa,分别获得了0.6256、0.6744和0.6723的F1分数。
2023-01-01 cs.CL
Composable NLP Workflows for BERT-based Ranking and QA System
UC San Diego(加州大学圣迭戈分校)
针对现实NLP系统跨任务交互繁琐的问题,本工作基于可组合NLP工具包Forte构建端到端排序与问答系统,集成BERT等模型,在MS-MARCO等数据集上验证,模块化设计降低复杂应用构建难度。
2025-04-13 cs.AI cs.CL
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut(贝鲁特美国大学)
阿拉伯语是一种形态丰富的语言,与英语相比,资源相对较少,语法探索较少。考虑到这些限制,阿拉伯语自然语言处理(NLP)任务,如情感分析(SA)、命名实体识别(NER)和问答(QA),已经被证明是非常具有挑战性的。最近,随着基于Transformers的模型的激增,基于语言特定的BERT的模型已经被证明在语言理解方面非常有效,只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中,我们专门针对阿拉伯语预先训练了BERT,以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明,新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开,希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
Positional Attention for Efficient BERT-Based Named Entity Recognition
Georgia Institute of Technology(佐治亚理工学院)
本文提出在BERT命名实体识别中引入位置注意力机制,利用预训练参数进行高效定制,在Kaggle数据集上以更少训练轮数保持高准确率并降低训练成本。
2025-05-03 cs.CL
An Approach for Resource Sharing in Multilingual NLP
在本文中,我们描述了一种方法,用于分析文件在德语和英语的共享资源池。对于德国文件的分析,我们使用一个文件套件,它支持用户的任务,如信息检索和信息抽取。文档套件的核心是基于我们的工具XDOC。现在我们也想利用这些方法来分析英语文档。为此,我们需要资源的多语言演示格式。这些资源必须转换成一个统一的格式,我们可以根据分析的文件设置有关语言特征的附加信息。在本文中,我们描述了这样一个基于XML的多语言资源交换模型的方法。
2003-04-23 cs.CL
Fine-Tuning BERT for Domain-Specific Question Answering: Toward Educational NLP Resources at University Scale
Dept. of Electronic & Computer Engineering, University of Limerick(电子与计算机工程系,利默里克大学)
本研究通过微调BERT模型,针对大学课程材料开发了首个领域特定问答系统,展示了基础模型在教育领域的应用潜力。
2025-12-04 cs.AI cs.CL
Bioformer: an efficient transformer language model for biomedical text mining
Sun Yat-sen University(中山大学);National Institutes of Health(美国国立卫生研究院);University of Pennsylvania(宾夕法尼亚大学)
预训练的语言模型,如来自Transformers的双向编码器表示(BERT),在自然语言处理(NLP)任务中实现了最先进的性能。最近,BERT已被应用于生物医学领域。尽管有效,但这些模型具有数亿个参数,并且在应用于大规模NLP应用时计算昂贵。我们假设原始BERT的参数数量可以大大减少,对性能的影响很小。在这项研究中,我们提出了Bioformer,一个紧凑的BERT模型的生物医学文本挖掘。我们预训练了两个Bioformer模型(名为Bioformer 8L和Bioformer 16 L),与BERTBase相比,它们将模型大小减少了60%。Bioformer使用生物医学词汇表,并在PubMed摘要和PubMed Central全文文章上从头开始进行预训练。我们全面评估了Bioformer以及现有生物医学BERT模型(包括BioBERT和PubMed BERT)在四种不同生物医学NLP任务(命名实体识别、关系抽取、问答和文档分类)的15个基准数据集上的性能。结果表明,在参数减少60%的情况下,Bioformer 16 L的准确度仅比PubMedBERT低0.1%,而Bioformer 8L的准确度比PubMedBERT低0.9%。Bioformer 16 L和Bioformer 8L的性能均优于BioBERTBase-v1.1。此外,Bioformer 16 L和Bioformer 8…
2023-02-03 cs.CL
Clinical Trial Information Extraction with BERT
Data Science and AI, Novartis(诺华数据科学与人工智能部门);Global Drug Development, Novartis Pharma AG(诺华制药全球药物开发部)
临床试验文件的自然语言处理(NLP)在新的试验设计中可能很有用。在这里,我们确定相关的临床试验设计的实体类型,并提出了一个框架,称为CT-BERT从临床试验文本的信息提取。我们训练命名实体识别(NER)模型,通过微调一组预先训练好的BERT模型来提取合格标准实体。然后,我们将CT-BERT的性能与最近的基线方法进行了比较,包括基于注意力的BiLSTM和Criteria 2 Query。结果证明了CT-BERT在临床试验NLP中的优越性。
2021-09-11 cs.CL cs.LG q-bio.QM
Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院)
越来越多的文献声称,深度神经网络在处理恶意创建的对抗性示例时是脆弱的。然而,目前还不清楚这些模型在经常存在\textit{natural rather than malicious}对抗实例的现实场景中将如何表现。本文系统地探讨了BERT(NLP中最先进的Transformer风格模型)在处理噪声数据(特别是无意中出现的键盘输入错误)时的鲁棒性。对情感分析和问答基准的密集实验表明:(i)句子中各个单词的错别字影响不相等。信息词中的错别字是造成损害的最主要因素,其次是插入、删除等; (iii)人类和机器在识别对抗攻击方面有不同的侧重点。
2020-02-27 cs.CL
VisBERT: Hidden-State Visualizations for Transformers
Beuth University of Applied Sciences Berlin(柏林贝uth应用科学大学)
可解释性和可解释性是两个重要的概念,缺乏这两个概念可能并且应该阻碍性能良好的神经网络应用于现实世界的问题。与此同时,它们很难被纳入大型的黑盒模型中,这些模型在众多的NLP任务中实现了最先进的结果。来自Transformers的双向编码器表示(BERT)就是这样一种黑盒模型。它已经成为解决许多不同NLP任务的主要架构,并启发了许多相关的Transformer模型。了解这些模型如何得出结论对于它们的改进和应用至关重要。我们提出VisBERT,一个可视化的上下文令牌表示在BERT的任务(多跳)问答的工具,这一挑战作出贡献。而不是分析注意力权重,我们专注于隐藏的状态,从每个编码器块内的BERT模型。通过这种方式,我们可以观察语义表示在模型的各个层中是如何转换的。VisBERT使用户能够深入了解模型的内部状态,并探索其推理步骤或潜在的缺点。该工具允许我们识别BERT转换中的不同阶段,这些阶段类似于传统的NLP管道,并在预测失败时提供见解。
2020-11-09 cs.CL
EstBERT: A Pretrained Language-Specific BERT for Estonian
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本文介绍了EstBERT,一个大型的预训练的基于transformer的语言特定的BERT模型爱沙尼亚语。最近的工作评估了爱沙尼亚任务的多语言BERT模型,发现它们的表现优于基线。尽管如此,基于对其他语言的现有研究,特定于语言的BERT模型预计将优于多语言模型。我们首先描述了EstBERT的预训练过程,然后提出了基于微调的EstBERT模型的多个NLP任务的结果,包括POS和形态标记,命名实体识别和文本分类。评估结果表明,基于EstBERT的模型在六个任务中的五个任务上优于多语言BERT模型,进一步证明了即使多语言模型可用,训练特定语言的BERT模型仍然有用。
2021-04-28 cs.CL
KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);PricewaterhouseCoopers GmbH(普华永道有限责任公司)
我们提出了KPI-BERT,一个系统,它采用新的方法命名实体识别(NER)和关系抽取(RE)提取和链接的关键绩效指标(KPI),如“收入”或“利息支出”,公司从现实世界的德国金融文件。具体来说,我们引入了一种端到端的可训练架构,该架构基于来自Transformers的双向编码器表示(BERT),将递归神经网络(RNN)与条件标签掩蔽相结合,以便在对实体的关系进行分类之前顺序标记实体。我们的模型还引入了一个可学习的基于RNN的池机制,并通过显式过滤不可能的关系来整合领域专家知识。我们在一个新的德国财务报告的实际数据集上实现了更高的预测性能,超过了几个强大的基线,包括竞争的最先进的基于跨度的实体标记方法。
2022-08-03 cs.AI cs.CL cs.LG
CFO: A Framework for Building Production NLP Systems
IBM Watson(IBM 沃森);IBM Research AI(IBM 研究院人工智能部门)
本文介绍了一种新的编排框架,称为CFO(流程编排器),用于构建,实验和部署交互式NLP(自然语言处理)和IR(信息检索)系统的生产环境。然后,我们展示了一个问答系统使用这个框架,它结合了最先进的基于BERT MRC(机器阅读理解)与IR组件,使端到端的答案检索。从演示系统的结果被证明是高品质的学术和工业领域的特定设置。最后,我们讨论了在生产系统中(预)训练基于BERT的MRC模型时的最佳实践。
2020-06-19 cs.CL cs.IR
German's Next Language Model
deepset;Bayerische Staatsbibliothek(巴伐利亚州立图书馆)
在这项工作中,我们提出的实验,导致我们的BERT和ELECTRA基于德语语言模型,GBERT和GELECTRA的创建。通过改变输入训练数据、模型大小和整词掩码(WWM)的存在,我们能够在一组文档分类和命名实体识别(NER)任务中为基本模型和大模型获得SoTA性能。我们采用评估驱动的方法来训练这些模型,我们的结果表明,增加更多的数据和利用WWM提高模型的性能。通过对现有的德国模型进行基准测试,我们表明这些模型是迄今为止最好的德国模型。我们训练的模型将公开提供给研究界。
2020-12-03 cs.CL cs.LG
Effectiveness of Deep Networks in NLP using BiDAF as an example architecture
Stanford Center for Professional Development(斯坦福专业发展中心)
通过高级模型架构的发展,如BERT和Birobot,以及更早的基于单词、字符和上下文的嵌入,NLP的问答已经取得了进展。由于BERT已经跨越了模型的准确性,下一个前沿领域的一个元素可以是引入深度网络和训练它们的有效方法。在这种情况下,我探索了深度网络的有效性,重点是Biodynamic的模型编码器层。具有异构层的Bioscience不仅提供了探索深度网络的有效性的机会,而且还提供了评估在较低层中进行的改进是否可以添加到模型架构的上层中进行的改进的机会。我相信NLP中下一个最伟大的模型实际上会像BERT一样融合在一个坚实的语言建模中,它具有一个复合架构,除了通用语言建模之外,它还将带来改进,并将拥有一个更广泛的分层架构。我试验了Bypass网络、Residual Highway网络和DenseNet架构。此外,我还评估了集成网络最后几层的有效性。我还研究了将字符嵌入添加到词嵌入中所产生的差异,以及这种影响是否与深度网络叠加。我的研究表明,深度网络实际上是有效的。此外,像嵌入这样的底层改进可以通过添加到通过深度网络获得的收益中。
2021-08-31 cs.CL cs.LG
BERTaú: Itaú BERT for digital customer service
Itaú Unibanco(伊塔乌联合银行)
在过去的几年里,三个主要主题受到了越来越多的关注:深度学习,NLP和会话代理。将这三个主题结合在一起,创造出令人惊叹的数字客户体验,并真正部署到生产中,解决现实世界的问题,这是一种创新和颠覆性的东西。我们引入了一个新的葡萄牙语金融领域的语言表示模型称为BERTaú。BERTaú是一个未封装的BERT基础,使用Itaú虚拟助手聊天机器人解决方案的数据从头开始训练。我们的新贡献是BERTaú预训练的语言模型需要更少的数据,在三个NLP任务中达到了最先进的性能,并生成了一个更小更轻的模型,使部署变得可行。我们开发了三个任务来验证我们的模型:使用Itaú银行的常见问题(FAQ)进行信息检索,从我们的虚拟助理数据进行情感分析,以及NER解决方案。所有建议的任务都是在我们的环境中生产的真实解决方案,与Google BERT多语言和Facebook的DPRCNET编码器相比,专家模型的使用被证明是有效的,可在Hugging Face获得。BERTaú在FAQ检索MRR指标中提高了22%的性能,在情感分析F1得分中提高了2.1%,在NER F1得分中提高了4.4%,并且与“货架模型”相比,还可以用多达66%的令牌表示相同的序列。
2021-07-25 cs.AI cs.CL cs.LG
PEL-BERT: A Joint Model for Protocol Entity Linking
University of Chinese Academy of Sciences(中国科学院大学);The Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Sichuan University(四川大学);Beijing Jiaotong University(北京交通大学)
预训练模型(如BERT)广泛用于NLP任务,并经过微调以持续提高各种NLP任务的性能。然而,在我们的协议语料库上训练的微调BERT模型在实体链接(EL)任务上仍然表现较弱。在本文中,我们提出了一个模型,关节微调语言模型与RFC领域模型。首先,我们设计了一个协议知识库作为协议EL的指导。其次,我们提出了一种新的模型,PEL-BERT,连接命名实体的协议知识库中的类别。最后,我们对预训练的语言模型在描述性文本和抽象概念上的性能进行了全面的研究。实验结果表明,我们的模型在我们的注释数据集上实现了最先进的EL性能,优于所有基线。
2020-01-28 cs.AI cs.CL cs.LG
Distant Reading of the German Coalition Deal: Recognizing Policy Positions with BERT-based Text Classification
University of Göttingen(哥廷根大学);Max Planck Institute for Empirical Aesthetics(马克斯·普朗克经验美学研究所)
自动文本分析已成为政治学中广泛使用的工具。在这项研究中,我们使用一个BERT模型训练德国政党宣言,以确定各个政党对2021年联盟协议的贡献。
2022-12-30 cs.CL
White-Box Attacks on Hate-speech BERT Classifiers in German with Explicit and Implicit Character Level Defense
在这项工作中,我们评估了在德国仇恨语音数据集上训练的BERT模型的对抗鲁棒性。我们还补充了我们的评估与两个新的白盒字符和单词级攻击,从而有助于攻击的范围。此外,我们还进行了两个新的字符级防御策略的比较,并评估其鲁棒性与彼此。
2022-02-14 cs.CL
Do NLP Models Know Numbers? Probing Numeracy in Embeddings
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Peking University(北京大学);University of California, Irvine(加州大学欧文分校)
理解和处理数字的能力(计算能力)对于许多复杂的推理任务至关重要。目前,大多数NLP模型以与其他标记相同的方式处理文本中的数字-它们将其嵌入为分布式向量。这是否足以说明数学的重要性?我们首先调查的数字推理能力的最先进的问答模型的DROP数据集。我们发现这个模型在需要数值推理的问题上表现出色,即,它已经捕捉到了计算能力。为了理解这种能力是如何出现的,我们探讨了令牌嵌入方法(例如,BERT,GloVe)在合成列表最大化,数字解码和加法任务上的应用。在标准嵌入中,自然存在令人惊讶的计算能力。例如,GloVe和word 2 vec可以准确地对最大为1000的数字进行幅度编码。此外,字符级嵌入更加精确--ELMo捕获了所有预训练方法中最好的计算能力--但使用子字单元的BERT不太精确。
2019-09-18 cs.CL cs.LG
GERNERMED -- An Open German Medical NER Model
与使用传统的基于非结构化文本的患者数据文档相比,采用结构良好的电子健康记录和集成用于以结构化格式存储医疗患者数据的数字方法的当前状态通常被认为是较差的。医学数据分析领域的数据采掘往往需要仅仅依靠对非结构化数据的处理来检索相关数据。在自然语言处理(NLP)中,统计模型已经在诸如词性标注、关系抽取(RE)和命名实体识别(NER)的各种任务中被证明是成功的。在这项工作中,我们提出了GERNERMED,第一个开放的神经NLP模型NER任务,致力于检测德语文本数据中的医疗实体类型。在这里,我们通过在自定义数据集上训练我们的模型,避免了保护敏感患者数据免受训练数据提取和发布统计模型权重的冲突目标,该自定义数据集由预训练的神经机器翻译模型从公开可用的外语数据集翻译而来。示例代码和统计模型可在以下网址获得:https://github.com/frankkramer-lab/GERNERMED
2021-12-10 cs.AI cs.CL cs.IR
Probing BERT for German Compound Semantics
Institute for Natural Language Processing, University of Stuttgart(自然语言处理研究所,斯图加特大学)
该研究探究德语BERT对名词复合词语义的编码能力,通过不同配置预测868个金标准复合词的组合性,发现组合性信息在早期层易提取,但德语任务难度高于英语,或因德语复合构词产率更高、成分歧义更多。
2025-05-20 cs.CL
MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling
University of Montreal(蒙特利尔大学);Mila - Quebec AI(Mila - 魁北克人工智能研究所);Intel Labs(英特尔实验室)
提出材料科学NLP基准MatSci-NLP,涵盖七项任务,验证科学预训练语言模型优势,并引入文本到模式多任务学习方法,优于传统微调。
2023-05-14 cond-mat.mtrl-sci cs.AI cs.CL
Cross-lingual Information Retrieval with BERT
Raytheon BBN Technologies(雷神BBN技术公司);University of Pittsburgh(匹兹堡大学)
最近已经开发了多个神经语言模型,例如,BERT和XLNet,并取得了令人印象深刻的结果,在各种自然语言处理任务,包括句子分类,问答和文档排序。在本文中,我们探讨了使用流行的双向语言模型,BERT,建模和学习英语查询和外语文档之间的相关性,跨语言信息检索的任务。介绍了一种基于BERT的深度相关匹配模型,并利用自制的CLIR训练数据对预先训练好的弱监督多语种BERT模型进行训练。立陶宛文文档检索对短英语查询的实验结果表明,我们的模型是有效的,优于竞争力的基线方法。
2020-04-24 cs.CL cs.IR cs.LG
What's so special about BERT's layers? A closer look at the NLP pipeline in monolingual and multilingual models
University of Groningen(格罗宁根大学)
窥视BERT的内部工作方式表明,它的层类似于经典的NLP管道,越来越复杂的任务集中在后面的层中。为了研究这些结果在多大程度上也适用于英语以外的语言,我们探索了荷兰语基于BERT的模型和荷兰语NLP任务的多语言BERT模型。此外,通过对词性标记的更深入分析,我们发现,在给定的任务中,信息也分布在网络的不同部分,管道可能不像看起来那么整齐。每个层都有不同的专业化,因此将来自不同层的信息组合起来可能更有用,而不是基于最佳整体性能选择单个层。
2020-10-12 cs.CL
BrAIcht, a theatrical agent that speaks like Bertolt Brecht's characters
LAMSADE, Paris Dauphine - PSL(巴黎第九大学-PSL大学LAMSADE实验室);ZHDK, Zurich Univ. of the Arts(苏黎世艺术大学ZHDK);LIASD Univ. Paris 8(巴黎第八大学LIASD实验室)
本项目提出名为BrAIcht的AI对话智能体,基于70亿参数的德语LeoLM模型,利用QLoRA技术并在936部戏剧数据集上微调,成功实现了以布莱希特风格生成对话。
2025-04-29 cs.CL
GeistBERT: Breathing Life into German NLP
Technical University of Munich(慕尼黑工业大学);University of Augsburg(奥格斯堡大学)
通过在大规模德语语料库上使用 RoBERTa 架构和 Whole Word Masking 进行增量预训练,GeistBERT 在多项德语 NLP 任务上取得了领先性能,并在 GermEval 2018 细粒度文本分类中达到新 SOTA。
2026-06-01 cs.CL
Noisy Text Data: Achilles' Heel of BERT
Vahan Inc(Vahan公司)
由于BERT在各种NLP任务和基准数据集上取得了惊人的成功,行业从业者正在积极尝试微调BERT,以构建用于解决行业用例的NLP应用程序。对于从业者用于构建工业NLP应用程序的大多数数据集,很难保证数据中没有任何噪音。虽然BERT在将学习从一个用例转移到另一个用例方面表现得非常好,但仍不清楚BERT在对噪声文本进行微调时的表现如何。在这项工作中,我们探讨了BERT的数据中的噪声的敏感性。我们的工作与最常见的噪音(拼写错误,错别字),并表明这会导致显着退化的性能BERT。我们目前的实验结果表明,BERT的基本NLP任务,如情感分析和文本相似性的性能显着下降的存在下(模拟)噪声的基准数据集,即IMDB电影评论,STS-B,SST-2。此外,我们确定的缺点,在现有的BERT管道,负责这种性能下降。我们的研究结果表明,从业者需要在微调BERT以解决行业用例时,对数据集中存在的噪声进行调整。
2020-10-18 cs.CL
Fine-tune BERT for Extractive Summarization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
BERT是一个预训练的Transformer模型,在多个NLP任务上取得了突破性的性能。在本文中,我们描述了BERTSUM,一个简单的变种BERT,提取摘要。我们的系统在CNN/Dailymail数据集上是最先进的,在ROUGE-L上比以前性能最好的系统高出1.65。可在https://github.com/nlpyang/BertSum上获得重现我们结果的代码
2019-09-05 cs.CL
BERTje: A Dutch BERT Model
University of Groningen(格罗宁根大学)
基于transformer的预训练语言模型BERT有助于提高许多自然语言处理(NLP)任务的最新性能。使用相同的架构和参数,我们开发和评估了一个单语荷兰语BERT模型称为BERTje。与多语言BERT模型(包括荷兰语,但仅基于维基百科文本)相比,BERTje基于24亿个令牌的大型多样性数据集。BERTje在下游NLP任务(词性标记、命名实体识别、语义角色标注和情感分析)上的表现一直优于同等大小的多语言BERT模型。我们的预训练荷兰BERT模型可在https://github.com/wietsedv/bertje上获得。
2019-12-19 cs.CL
Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News
University of Graz(格拉茨大学);Technical University of Graz(格拉茨技术大学)
针对德语气候新闻句子级框架检测,比较了微调BERT(句子对分类)与少样本LLM提示(Llama 4)方法,BERT在F1上达到0.83,优于LLM的0.78。
2026-06-26 cs.CL
AI-assisted German Employment Contract Review: A Benchmark Dataset
Technical University of Munich(慕尼黑工业大学)
本研究发布了一个匿名化的德国雇佣合同条款基准数据集,用于评估NLP在合同合法性与公平性审查中的应用效果。
2025-01-27 cs.CL
Large-Scale News Classification using BERT Language Model: Spark NLP Approach
Brawijaya University(布拉维贾亚大学)
在NLP之上的大数据分析的兴起增加了大规模文本处理的计算负担。NLP面临的问题是非常高维的文本,因此需要大量的计算资源。MapReduce允许大型计算的并行化,并且可以提高文本处理的效率。本研究旨在研究基于深度学习方法的大数据处理对自然语言处理任务的影响。我们使用预先训练好的模型对BERT进行微调,对新闻主题的大文本进行分类。在本研究中使用了具有不同数量参数的五个预训练模型。为了衡量这种方法的效率,我们将BERT的性能与Spark NLP的流水线进行了比较。结果表明,与使用Spark NLP的BERT相比,使用Spark NLP的BERT具有更高的精度。使用BERT的所有模型的平均精度和训练时间为0.9187和35分钟,而使用Spark NLP管道的BERT为0.8444和9分钟。模型越大,需要的计算资源越多,完成任务的时间也越长。然而,与没有Spark NLP的BERT相比,使用Spark NLP的BERT的准确率平均仅下降了5.7%,而训练时间则显著减少了62.9%。
2021-07-15 cs.CC cs.CL cs.LG
SwissDial: Parallel Multidialectal Corpus of Spoken Swiss German
ETH Z\" u rich, Department of Computer Science, Switzerland
瑞士德语是一个方言连续体,其母语习得的方言与语言的正式变体显著不同。这些方言主要用于口头交流,没有标准的正字法。这导致了注释数据集的缺乏,使得许多NLP方法的使用变得不可行。在本文中,我们介绍了第一个注释平行语料库的瑞士德语口语跨越8个主要方言,加上标准德语参考。我们的目标是创建并提供一个基本的数据集,用于在瑞士德语中使用数据驱动的NLP应用程序。我们详细介绍了我们的数据汇集过程,并通过与最近的语音合成神经模型进行实验来验证我们的语料库的质量。
2021-03-21 cs.CL
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks
Samsung SDS(三星SDS)
来自预训练的语言模型的上下文表示是实现下游NLP任务的高性能的核心。预训练的BERT和A Lite BERT(ALBERT)模型可以进行微调,以在语义文本相似性(STS)和自然语言推理(NLI)等配对回归中给出最先进的结果。虽然基于BERT的模型产生的[CLS]令牌向量作为一个合理的句子嵌入,寻找一个最佳的句子嵌入计划仍然是一个活跃的研究领域,在计算语言学。本文探讨了BERT和ALBERT的句子嵌入模型。特别地,我们采用具有连体和三重网络结构的修改的BERT网络,称为句子-BERT(SBERT),并用AL BERT替换BERT,以创建句子-AL BERT(SAL BERT)。我们还对SBERT和SALBERT的外部CNN嵌入式网络进行了实验。我们使用STS和NLI数据集评估所有嵌入模型的性能。实证结果表明,我们的CNN架构改善ALBERT模型大大超过BERT模型的STS基准。尽管模型参数明显较少,但ALBERT句子嵌入在下游NLP评估中与BERT相比具有很强的竞争力。
2021-01-26 cs.AI cs.CL
G-SciEdBERT: A Contextualized LLM for Science Assessment Tasks in German
AI4STEM Education Center(AI4STEM教育中心);University of Georgia(佐治亚大学);IPN–Leibniz-Institute for Science and Mathematics Education(莱布尼茨科学与数学教育研究所(IPN));Technical University of Munich(慕尼黑工业大学)
针对标准G-BERT缺乏科学领域知识、不匹配学生写作风格,难以准确评分德语科学作答的问题,研究基于G-BERT在PISA 2018等语料上预训练微调得到专用模型G-SciEdBERT,其二次加权Kappa值较G-BERT提升10.2%,为教育AI领域做贡献。
2024-08-16 cs.AI cs.CL
BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks
Tencent Corp(腾讯公司);Sina Weibo Corp(新浪微博公司)
作为预先训练的Transformer模型,BERT(来自Transformers的双向编码器表示)在多个NLP任务上取得了突破性的性能。另一方面,Boosting是一种流行的集成学习技术,它结合了许多基本分类器,并已被证明在许多机器学习任务中产生更好的泛化性能。已有研究表明,集成BERT可以进一步提高应用性能。然而,目前的集成方法集中在装袋或堆叠,并没有太多的努力探索提升。在这项工作中,我们提出了一种新的Boosting BERT模型,将多类Boosting集成到BERT中。我们提出的模型使用预训练的Transformer作为基础分类器来选择更难的训练集进行微调,并在NLP任务中获得预训练语言知识和增强集成的好处。我们在GLUE数据集和3个流行的中国NLU基准上评估了所提出的模型。实验结果表明,我们提出的模型显着优于BERT在所有数据集上,并证明了它在许多NLP任务的有效性。Boosting BERT将BERT基础替换为RoBERTa作为基础分类器,在几个NLP任务中实现了新的最先进的结果。我们还使用“教师-学生”框架内的知识蒸馏,以减少BoostingBERT的计算开销和模型存储,同时保持其实际应用的性能。
2020-09-13 cs.AI cs.CL
Nürnberg NLP @ GermEval Shared Task 2026: Harmful Content Detection in German Social Media through Error-Independent LLM Voters
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学)
该研究针对德语社交媒体有害内容检测的类别不平衡挑战,构建了含三个正交维度的九投票器集成系统,在2026年GermEval共享任务四个子任务中均获第一。
2026-08-25 cs.CL
HUBERT Untangles BERT to Improve Transfer across NLP Tasks
Stanford University(斯坦福大学);Microsoft Research(微软研究院);Johns Hopkins University(约翰霍普金斯大学)
我们介绍了HUBERT,它结合了张量积表示(TPR)和BERT的结构化表示能力,Transformer是一个预训练的双向语言模型。我们发现,HUBERT(而不是BERT)能够学习和利用的不同NLP数据集之间存在共享结构。我们验证了我们的模型在GLUE基准测试和HANS数据集上的有效性。我们的实验结果表明,从一般的语言结构中解开数据特定的语义是NLP任务之间更好地传输的关键。
2021-04-25 cs.CL cs.LG stat.ML
Incorporating BERT into Parallel Sequence Decoding with Adapters
University of Science and Technology of China(中国科学技术大学);Alibaba DAMO Academy(阿里巴巴达摩院);IFLYTEK Co., Ltd.(科大讯飞股份有限公司)
虽然大规模预训练语言模型(如BERT)在各种自然语言理解任务上取得了巨大成功,但如何高效地将它们整合到序列到序列模型和相应的文本生成任务中仍然是一个重要的问题。在本文中,我们提出了解决这个问题,采取两种不同的BERT模型分别作为编码器和解码器,并通过引入简单和轻量级的适配器模块,插入之间的BERT层和任务特定的数据集进行微调。通过这种方式,我们获得了一个灵活而高效的模型,该模型能够联合利用源端和目标端BERT模型中包含的信息,同时绕过灾难性遗忘问题。框架中的每个组件都可以被视为一个插件单元,这使得框架具有灵活性和任务不可知性。该框架基于Mask-Predict并行序列译码算法,充分考虑了BERT的双向性和条件独立性,并能很容易地适应于传统的自回归解码。我们对神经机器翻译任务进行了广泛的实验,其中所提出的方法始终优于自回归基线,同时将推理延迟减少一半,并在IWSLT 14德语-英语/WMT 14德语-英语翻译上实现了$36.49$ / $33.57$ BLEU分数。当适应自回归解码时,所提出的方法在WMT 14英语-德语/英语-法语翻译上实现了$30.60$ / $43.56$ BLEU分数,与最先进的基线模型相当。
2020-10-13 cs.CL
NLPineers@ NLU of Devanagari Script Languages 2025: Hate Speech Detection using Ensembling of BERT-based models
Nepal Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII));IRIT, Universite Toulouse III Paul Sabatier (UT3)(图卢兹第三大学保罗·萨巴蒂埃分校IRIT实验室)
本研究针对天城文书写的印地语与尼泊尔语仇恨言论检测任务,采用回译数据增强结合余弦相似度保标签一致性的策略,集成多语言BERT类模型,在COLING 2025相关共享任务中取得召回率第三的成绩,为该领域研究提供基础。
2024-12-12 cs.CL
German Parliamentary Corpus (GerParCor)
Goethe University Frankfurt(法兰克福歌德大学)
议会辩论是一个巨大的、部分尚未开发的、可供公众查阅的文本宝库。在德语区,国家和联邦一级覆盖所有德语议会的统一可访问和注释的语料库存在一定的不足。为了解决这个问题,我们引入了德国议会语料库(GerParCor)。GerParCor是一个特定类型的语料库(主要是历史)德语议会协议,来自三个世纪和四个国家,包括州和联邦级别的数据。此外,GerParCor还包含扫描协议的转换,特别是通过基于Tesseract的OCR过程转换的Fraktur协议。所有协议都通过spaCy3的NLP管道进行预处理,并自动使用关于其会话日期的元数据进行注释。GerParCor以UIMA项目的XMI格式提供。通过这种方式,GerParCor可以用作政治传播领域的大型历史文本语料库,用于NLP中的各种任务。
2022-04-21 cs.CL
Re-Evaluating GermEval17 Using German Pre-Trained Language Models
Ludwig-Maximilians-Universität(路德维希-马克西米利安大学)
缺乏常用的基准数据集(集合),例如(超级)GLUE(Wang等人,2018,2019)用于评估非英语预训练语言模型是当前以英语为中心的NLP研究的严重不足。它集中了很大一部分的研究英语,忽略了不确定性时,发现的结论转移到其他语言的英语。我们评估了目前通过huggingface Transformers库在GermEval 17研讨会的四个任务上提供的德语和多语言基于BERT的模型的性能。我们将它们与BERT之前的架构(Wojatzki等人,2017; Schmitt等人,2018; Attia等人,2018)以及基于ELMO的架构(Biesialska等人,2020)和基于BERT的方法(Guhr等人,2020年)。观察到的改进与英语语言的类似任务和类似模型(前BERT与BERT为基础)的改进有关,以便得出关于观察到的改进是否可转移到德语或其他相关语言的初步结论。
2021-07-05 cs.CL cs.LG
BERT Cannot Align Characters
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学语言信息处理中心(CIS),慕尼黑大学)
在以前的工作中,它已被证明,BERT可以充分对齐跨语言的句子在词的水平。在这里,我们调查是否BERT也可以作为一个字符级对齐。所研究的语言是英语、假英语、德语和希腊语。我们发现,两种语言越接近,BERT就越能在字符级别上对齐它们。BERT确实在英语到假英语对齐中工作得很好,但这并不能在同样的程度上推广到自然语言。然而,两种语言的接近似乎确实是一个因素。英语与德语的关系比与希腊语的关系更密切,这反映在BERT对它们的对齐程度上;英语与德语的关系比英语与希腊语的关系更好。我们研究了多个设置,并表明自然语言的相似性矩阵显示较弱的关系,进一步除了两种语言。
2021-09-20 cs.AI cs.CL
Mixed-Distil-BERT: Code-mixed Language Modeling for Bangla, English, and Hindi
George Mason university(乔治梅森大学)
本文提出Tri-Distil-BERT和Mixed-Distil-BERT,通过两阶段预训练和代码混合微调,在孟加拉语、英语和印地语上实现高效的多语言与代码混合文本分类,性能媲美大型模型。
2024-03-14 cs.CL
Evaluating Multilingual BERT for Estonian
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学研究所)
最近,大型预训练语言模型,如BERT,在许多自然语言处理任务中已经达到了最先进的性能,但对于许多语言,包括爱沙尼亚语,BERT模型还不可用。然而,存在几种多语言BERT模型,可以同时处理多种语言,并且也在爱沙尼亚数据上进行了训练。在本文中,我们评估了四种多语言模型-多语言BERT,多语言蒸馏BERT,XLM和XLM-RoBERTa-在几个自然语言处理任务,包括POS和形态标记,NER和文本分类。我们的目标是建立这些多语言BERT模型和现有的基线神经模型之间的比较,这些任务。我们的结果表明,多语言BERT模型可以很好地概括不同的爱沙尼亚NLP任务,在POS、形态标记和文本分类方面的表现优于所有基线模型,并达到了与NER最佳基线相当的水平,其中XLM-RoBERTa取得了最高的结果与其他多语言模型相比。
2021-01-08 cs.CL
Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
像BERT这样的预训练语言模型在各种NLP任务中实现了卓越的性能,而无需显式考虑语法信息。同时,句法信息也被证明是自然语言处理成功的关键。然而,如何有效地将语法树合并到预先训练的Transformers中仍然没有解决。在本文中,我们解决这个问题,提出了一个新的框架命名为语法BERT。该框架以即插即用的方式工作,适用于基于Transformer架构的任意预训练检查点。在各种自然语言理解数据集上的实验验证了语法树的有效性,并在多个预训练模型(包括BERT,RoBERTa和T5)上实现了一致的改进。
2021-03-07 cs.CL
What the [MASK]? Making Sense of Language-Specific BERT Models
Bocconi University(博科尼大学)
近年来,自然语言处理(NLP)在许多领域都取得了令人瞩目的进展,这是由于新的、预先训练的上下文表示模型的出现。特别是,Devlin等人(2019)提出了一种称为BERT(来自Transformers的双向编码器表示)的模型,该模型使研究人员能够通过微调其数据集和任务的表示来获得众多NLP任务的最先进性能,而无需开发和训练高度特定的架构。作者还发布了多语言BERT(mBERT),这是一个在104种语言的语料库上训练的模型,可以作为一个通用的语言模型。该模型在一个zero-shot跨语言自然推理任务上取得了令人印象深刻的结果。在BERT模型潜力的推动下,NLP社区已经开始研究和生成大量的BERT模型,这些模型在特定的语言上进行训练,并在特定的数据域和任务上进行测试。这使我们能够通过将mBERT与这些更具体的模型的性能进行比较来评估mBERT作为通用语言模型的真正潜力。本文介绍了语言特定的BERT模型的最新技术水平,提供了一个关于不同维度(即架构,数据域和任务)的整体画面。我们的目标是提供一个直接和直接的概述特定于语言的BERT模型和mBERT之间的共性和差异。我们还提供了一个互动和不断更新的网站,可用于探索我们收集的信息,在https://bertlang.unibocconi.it。
2020-03-05 cs.CL
Evaluating German Transformer Language Models with Syntactic Agreement Tests
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心 (DFKI))
预训练的Transformer语言模型(TLM)最近重新塑造了自然语言处理(NLP):大多数最先进的NLP模型现在都在TLM之上运行,以受益于上下文和知识归纳。为了解释他们的成功,科学界进行了大量的分析。除其他方法外,句法一致性测试被用来分析TLM。然而,大多数研究都是针对英语进行的。在这项工作中,我们分析德国的TLM。为此,我们设计了许多协议任务,其中一些考虑到德语的特殊性。我们的实验结果表明,国家的最先进的德国TLM一般表现良好的协议任务,但我们也确定和讨论的句法结构,将它们推向极限。
2020-07-07 cs.CL
GERNERMED++: Transfer Learning in German Medical NLP
University of Augsburg(奥格斯堡大学);Institute and Outpatient Clinic for Occupational, Social and Environmental Medicine(职业、社会与环境医学研究所及门诊诊所)
我们提出了一个统计模型,德国医疗自然语言处理训练命名实体识别(NER)作为一个开放的,公开可用的模型。该工作是我们第一个GERNERMED模型的精致继承者,该模型的性能大大优于我们的工作。我们通过对预训练的深度语言模型(LM)、单词对齐和神经机器翻译进行迁移学习,展示了将多种技术相结合以实现实体识别性能的有效性。由于德语文本的开放公共医学实体识别模型的情况很少,这项工作为德国研究社区提供了医学NLP作为基线模型的好处。由于我们的模型是基于公共英语数据,其权重的提供没有法律限制的使用和分布。示例代码和统计模型可在以下网址获得:www.example.com
2022-10-09 cs.AI cs.CL cs.LG
The Effects of In-domain Corpus Size on pre-training BERT
Microsoft Corporation(微软公司);Coleridge Initiative(科尔里奇倡议组织)
许多先前的语言建模工作已经表明,在域内语料库上进行预训练可以显着提高下游特定领域NLP任务的性能。然而,与收集足够的域内数据相关的困难可能会阻止研究人员接近这个预训练任务。在本文中,我们进行了一系列的实验,预训练双向编码器表示从Transformers(BERT)与不同大小的生物医学语料库。结果表明,与在一般语料库上预训练的微调模型相比,在相对少量的域内数据(4GB)上进行预训练,训练步骤有限,可以在下游特定领域的NLP任务上获得更好的性能。
2022-12-15 cs.CL
Unbabel's Submission to the WMT2019 APE Shared Task: BERT-based Encoder-Decoder for Automatic Post-Editing
Unbabel(Unbabel公司);Instituto de Telecomunicações(电信研究所)
本文介绍了Unbabel提交给WMT 2019 APE共享任务的英语-德语语言对。随着最近大型、强大的预训练模型的兴起,我们对BERT预训练模型进行了调整,以在编码器-解码器框架中执行自动后期编辑。类似于双编码器架构,我们开发了一个基于BERT的编码器-解码器(BED)模型,其中单个预训练的BERT编码器接收源src和机器翻译tgt字符串。此外,我们探索了一个保守性因素,以限制APE系统执行更少的编辑。正如官方结果所示,当在域内和人工训练数据的加权组合上进行训练时,我们的具有保守性惩罚的BED系统分别在TER和BLEU方面通过$-0.78$和$+1.23$显着提高了强大神经机器翻译系统的翻译。最后,我们的提交达到了一个新的国家的最先进的,前aequo,在英语-德语APE的NMT。
2019-06-29 cs.CL
LEGAL-BERT: The Muppets straight out of Law School
Athens University of Economics and Business(雅典经济与商业大学);NCSR “Demokritos”(德谟克利特国家科学研究中心);University of Sheffield(谢菲尔德大学)
BERT在几个NLP任务中取得了令人印象深刻的性能。然而,在专门领域对其适应指南的研究有限。在这里,我们专注于法律领域,在那里我们探索了几种方法,将BERT模型应用于下游法律任务,在多个数据集上进行评估。我们的研究结果表明,以前的预训练和微调的指导方针,往往盲目遵循,并不总是概括以及在法律领域。因此,我们提出了一个系统的调查时,适用于专门领域的BERT的可用策略。这些是:(a)使用开箱即用的原始BERT,(b)通过在特定领域语料库上进行额外的预训练来适应BERT,以及(c)在特定领域语料库上从头开始预训练BERT。我们还提出了一个更广泛的超参数搜索空间时,微调下游任务,我们发布了法律-BERT,一个家庭的BERT模型,旨在协助法律NLP研究,计算法,法律技术应用。
2020-10-06 cs.CL