Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn(波恩大学);Ruhr University Bochum(波鸿鲁尔大学);Fraunhofer IAIS(弗劳恩霍夫应用信息技术研究所)
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上,这些架构使用预训练的词嵌入。最近的研究表明,微调预训练的Transformer网络(例如BERT)可以在各种自然语言处理任务上优于以前的方法。在这项工作中,我们调查如何以及BERT执行SimpleQuestions,并提供了一个评估的BERT和BiLSTM为基础的模型,在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Conceptor-Aided Debiasing of Large Language Models
University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
本文提出基于conceptors软投影的两种LLM去偏方法:后处理NOT投影和CI-BERT架构,在保持GLUE性能的同时实现SoTA去偏效果,并强调精心构建偏见子空间的重要性。
2023-10-30 cs.AI cs.CL
BERTologyNavigator: Advanced Question Answering with BERT-based Semantics
Universität Hamburg(汉堡大学);Vellore Institute of Technology(韦洛尔理工学院)
提出两阶段系统 BERTologyNavigator,结合关系抽取、BERT CLS 嵌入与启发式规则导航 DBLP 知识图谱,并在 Scholarly QALD 问答任务中取得相应 F1 表现。
2024-01-17 cs.AI cs.CL
The Death of Feature Engineering? BERT with Linguistic Features on SQuAD 2.0
Stanford University(斯坦福大学)
本文提出融合 BERT 与额外语言特征的端到端问答模型,在 SQuAD 2.0 上显著提升 EM 与 F1,并能纠正 BERT 对可回答问题的“No Answer”误判。
2024-04-04 cs.AI cs.CL
Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa
该研究针对文本摘要任务,对比分析BERT、RoBERTa、BART三款Transformer模型的架构、预训练策略及在抽取式、生成式摘要任务中的适用性,为相关应用提供参考。
2026-08-21 cs.AI cs.CL
LegalPro-BERT: Classification of Legal Provisions by fine-tuning BERT Large Language Model
针对合同法律条款分类中专业词汇与标注数据不足的问题,本文提出并微调基于 BERT 的 LegalPro-BERT,实验表明其优于现有基准。
2024-04-15 cs.AI cs.IR cs.LG
Bio+Clinical BERT, BERT Base, and CNN Performance Comparison for Predicting Drug-Review Satisfaction
University of California, Berkeley(加州大学伯克利分校)
本文比较了 Bio+Clinical BERT、BERT Base 和 CNN 在药物评论满意度三分类任务上的表现,发现医学领域专用的 Bio+Clinical BERT 显著优于通用 BERT,宏平均 f1 和召回率提升 11%,并指出两类模型各具优势。
2023-08-02 cs.AI cs.CL cs.LG
Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
情感分析是自然语言处理领域的一项重要任务,它是对用户对某一特定问题的反馈数据进行评价和分析。已经提出了许多深度学习模型来解决这个任务,包括最近引入的双向编码器表示来自Transformers(BERT)模型。在本文中,我们在越南评论数据集上实验了两种BERT微调方法用于语义分析任务:1)仅使用[CLS]标记作为附加前馈神经网络的输入的方法,以及2)另一种方法,其中所有BERT输出向量都用作分类的输入。在两个数据集上的实验结果表明,使用BERT的模型性能略优于使用GloVe和FastText的模型。此外,对于本研究中使用的数据集,我们提出的BERT微调方法产生的模型具有更好的性能比原来的BERT微调方法。
2020-11-20 cs.CL cs.LG
COVID-Twitter-BERT: A Natural Language Processing Model to Analyse COVID-19 Content on Twitter
EPFL(洛桑联邦理工学院);FISABIO-Public Health(FISABIO公共卫生机构)
在这项工作中,我们发布了COVID-Twitter-BERT(CT-BERT),这是一个基于transformer的模型,在关于COVID-19的大型Twitter消息语料库上进行了预训练。我们的模型在五个不同的分类数据集上显示出与其基础模型BERT-Large相比10-30%的边际改进。最大的改进是在目标域上。预训练的Transformer模型,如CT-BERT,在特定的目标领域进行训练,可用于各种自然语言处理任务,包括分类,问答和聊天机器人。CT-BERT经过优化,可用于COVID-19内容,特别是来自Twitter的社交媒体帖子。
2020-05-15 cs.CL cs.LG cs.SI
Aspect-Based Sentiment Analysis for Future Tourism Experiences: A BERT-MoE Framework for Persian User Reviews
本文提出一种BERT-MoE框架,用于波斯语旅游评论的基于方面的情感分析,实现90.6%的ABSA F1分数,同时提升计算效率,支持可持续AI发展。
2026-02-13 cs.CL cs.LG
Enhancing Plagiarism Detection in Marathi with a Weighted Ensemble of TF-IDF and BERT Embeddings for Low-Resource Language Processing
COEP Technological University(COEP理工大学)
针对低资源马拉地语抄袭检测,本文提出结合 BERT 句子嵌入与 TF-IDF 特征的加权投票集成方法,以融合统计、语义和句法信息并提升检测准确率。
2025-01-09 cs.AI cs.CL cs.LG
Online Fake Review Detection Using Supervised Machine Learning And BERT Model
CU Kashmir(克什米尔中央大学);IIT Patna(印度理工学院巴特那分校)
在过去的几年里,网上购物商店稳步增长。由于这些业务的大量增长,虚假评论的检测引起了人们的关注。虚假评论严重地试图误导客户,从而破坏在线购物环境的诚实性和真实性。到目前为止,已经提出了各种假评论分类器,这些分类器考虑了评论的实际内容。为了提高现有的虚假评论分类或检测方法的准确性,我们提出使用BERT(Bidirectional Encoder Representation from Transformers)模型从文本(即评论)中提取词嵌入。词嵌入可以通过各种基本方法获得,例如SVM(支持向量机)、随机森林、朴素贝叶斯等。还考虑了混淆矩阵方法来评价和图形化表示结果。结果表明,SVM分类器在准确率和f1得分方面优于其他分类器,准确率为87.81%,比以前研究中使用的分类器高7.6%[5]。
2023-01-09 cs.AI cs.CL cs.IR
BERT Fine-Tuning for Sentiment Analysis on Indonesian Mobile Apps Reviews
Brawijaya University(布拉维贾亚大学)
用户评论对于开发的移动应用程序的成功至关重要。文本形式的用户评论是非结构化数据,在处理情感分析时会产生非常高的复杂性。以前使用的方法往往忽视审查的背景。此外,相对较小的数据使得模型过拟合。一种新的方法,BERT,已被引入作为一个迁移学习模型与预先训练的模型,先前已被训练,具有更好的上下文表示。本研究使用两种不同的预训练模型来检验微调BERT用于情感分析的有效性。除了多语言预训练模型外,我们还使用仅用印度尼西亚语训练的预训练模型。使用的数据集是印度尼西亚用户对Google Play网站中2020年十大最佳应用的评论。我们还执行超参数调整以找到最佳训练模型。两个训练数据标记方法也进行了测试,以确定该模型的有效性,这是基于分数和基于词典。实验结果表明,用印度尼西亚语训练的预训练模型在基于词汇的数据上具有更好的平均准确率。预训练的印度尼西亚模型的最高准确率为84%,25个epoch,训练时间为24分钟。这些结果优于所有机器学习和多语言预训练模型。
2021-07-14 cs.CL cs.LG
Enhancing Pharmacovigilance with Drug Reviews and Social Media
University of California, Berkeley(加州大学伯克利分校)
本文探讨了是否可以利用药物评论和社交媒体作为药物不良反应(ADR)药物警戒的潜在替代来源。我们检查了BERT的性能以及在生物医学论文BioBERT 7和临床笔记Clinical BERT 8上训练的两个变体。对各种8种不同的BERT模型进行微调,并在三个不同的任务中进行比较,以评估它们在ADR任务中彼此的相对表现。这些任务包括药物评论的情感分类、Twitter帖子中ADR的存在以及Twitter帖子中ADR的命名实体识别。BERT在所有三种不同的药物警戒相关任务中表现出高性能的灵活性。
2020-04-18 cs.CL cs.IR cs.LG
ALL-IN-ONE: Multi-Task Learning BERT models for Evaluating Peer Assessments
North Carolina State University(北卡罗来纳州立大学)
在过去的几十年里,同行评估在不同的学术领域得到了广泛的应用,并证明了其有效性。然而,只有通过高质量的同行审查才能发挥同行评估的优势。以前的研究发现,高质量的评论通常包括几个特征(例如,包含建议,提及问题,使用积极的语气)。因此,研究人员试图通过使用各种机器学习和深度学习模型检测不同的特征来评估同行评审评论。然而,没有一项研究使用多任务学习(MTL)模型同时检测多个特征。本文提出了两个MTL模型来评估同行评审评论,利用最先进的预训练语言表示模型BERT和Distil BERT。我们的研究结果表明,基于BERT的模型在检测单个特征的任务中,F1得分明显优于以前基于GloVe的方法约6%,MTL在减少模型大小的同时进一步提高了性能。
2021-10-08 cs.AI cs.CL
Deep Learning for Medical Text Processing: BERT Model Fine-Tuning and Comparative Study
Tulane University(杜兰大学);Northeastern University(东北大学);San Francisco State University(旧金山州立大学);Brandeis University(布兰迪斯大学);University of California, Los Angeles(加州大学洛杉矶分校);Johns Hopkins University(约翰斯·霍普金斯大学)
针对医学信息爆炸下的文献摘要需求,本文微调并优化 BERT,比较多种模型,验证其在 Rouge 和 Recall 上的优势及知识蒸馏潜力。
2024-10-28 cs.CL cs.LG
The Topological BERT: Transforming Attention into Topology for Natural Language Processing
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
近年来,Transformer模型的引入引发了自然语言处理(NLP)的革命。BERT是第一个只使用注意力机制而不使用任何重复部分的文本编码器之一,在许多NLP任务上实现了最先进的结果。本文介绍了一种基于拓扑数据分析的文本分类器。我们使用BERT的注意力地图转换成注意力图作为该分类器的唯一输入。该模型可以解决诸如区分垃圾邮件和业余消息,识别句子是否语法正确,或评估电影评论为负面或正面等任务。它的性能接近BERT基准,并且在某些任务上优于它。此外,我们提出了一种新的方法来减少BERT的注意头部的拓扑分类器,这使我们能够修剪的头部的数量从144下降到少至10没有减少性能。我们的工作还表明,拓扑模型显示出更高的鲁棒性对抗攻击比原来的BERT模型,这是保持在修剪过程中。据我们所知,这项工作是第一个在NLP背景下面对基于拓扑的模型与对抗攻击的工作。
2022-06-30 cs.CL cs.LG math.AT
Investigating Cross-Domain Behaviors of BERT in Review Understanding
University of Notre Dame(圣母大学)
本研究探究了BERT在产品评论理解中的跨域行为,发现在多域数据、未微调的单域数据及整体平均表现上,多域模型优于单域模型,能在略微牺牲准确率的条件下显著降低计算资源与成本。
2023-06-28 cs.CE cs.CL
Automatic Speech Recognition with BERT and CTC Transformers: A Review
USTHB University(阿尔及利亚科学与技术大学);University of MEDEA(迈代阿大学);College of Engineering and Information Technology, University of Dubai(迪拜大学工程与信息技术学院)
本综述全面分析了BERT和CTC transformers在自动语音识别中的最新进展,阐述了其架构、应用、相关研究及局限性,为研究人员和从业者提供了有价值的见解。
2024-10-12 cs.CL eess.AS
A BERT based Ensemble Approach for Sentiment Classification of Customer Reviews and its Application to Nudge Marketing in e-Commerce
Walmart Global Tech(沃尔玛全球技术部门)
本文提出一种基于BERT的集成方法用于电商客户评论情感分类,并探讨其在助推营销中的应用,以提升顾客购买决策与平台互动。
2023-11-16 cs.CL cs.IR cs.LG
Hardware Acceleration of Fully Quantized BERT for Efficient Natural Language Processing
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
BERT是最新的基于transformer的模型,在各种NLP任务中实现了最先进的性能。在本文中,我们研究的硬件加速BERT在FPGA上的边缘计算。为了解决巨大的计算复杂性和内存占用的问题,我们提出了对BERT(B-BERT)进行完全的扩展,包括权重、激活、softmax、层归一化和所有的中间结果。实验结果表明,该算法可以实现7.94倍的权值压缩,而性能损失可以忽略不计。然后,我们提出了一个加速器量身定制的BERT和评估Xilinx ZCU 102和ZCU 111 FPGA。它可以实现3.18 fps/W的性能每瓦,这是28.91倍和12.72倍的英特尔(R)核心(TM)i7-8700 CPU和NVIDIA K80 GPU,分别。
2021-03-04 cs.AR cs.CL
Improving BERT Performance for Aspect-Based Sentiment Analysis
University of Parma(帕尔马大学)
基于情感的情感分析(ABSA)研究消费者对市场产品的看法。它涉及检查情感类型以及产品评论中表达的情感目标。分析评论中使用的语言是一项艰巨的任务,需要对语言有深刻的理解。近年来,深度语言模型,如BERT \cite{devlin2019bert},在这方面取得了很大的进展。在这项工作中,我们提出了两个简单的模块,称为并行聚合和层次聚合上的BERT的两个主要的ABSA任务,即方面提取(AE)和方面的情感分类(ASC),以提高模型的性能。我们表明,应用所提出的模型消除了进一步训练的BERT模型的需要。源代码可在网上获得,以便进一步研究和复制结果。
2021-03-01 cs.CL cs.LG
BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
问答在电子商务中起着重要的作用,因为它允许潜在客户主动寻求有关产品或服务的关键信息,以帮助他们做出购买决策。受最近机器阅读理解(MRC)在正式文档上的成功启发,本文探讨了将客户评论转化为可用于回答用户问题的大量知识来源的潜力。我们把这个问题称为复习阅读理解(RRC)。据我们所知,目前还没有关于RRC的工作。在这项工作中,我们首先建立一个RRC数据集称为ReviewRC基于流行的基准为基础的方面的情感分析。由于ReviewRC对RRC(以及基于方面的情感分析)的训练样本有限,因此我们在流行的语言模型BERT上探索了一种新的后训练方法,以增强RRC的BERT微调性能。为了显示该方法的通用性,所提出的后训练也适用于其他一些基于审查的任务,如方面提取和方面的情感分类在基于方面的情感分析。实验结果表明,所提出的后训练是非常有效的。数据集和代码可在https://www.cs.uic.edu/~hxu/上获得。
2019-05-04 cs.CL
A sentiment analysis model for car review texts based on adversarial training and whole word mask BERT
Beijing University of Posts and Telecommunications(北京邮电大学);Didi Research Institute, Didi Chuxing(滴滴出行滴滴研究院)
在汽车评价领域,越来越多的网友选择在互联网平台上发表自己的意见,而这些评论会影响到买家的决策和汽车口碑的走向。情感分析作为自然语言处理的一个重要分支,为分析海量汽车评论文本的情感类型提供了一种有效的研究方法。然而,由于汽车领域评论文本的词汇专业性和文本噪声大,当一般的情感分析模型应用于汽车评论时,模型的准确性会很差。为了克服上述挑战,我们针对汽车评论文本的情感分析任务。从词向量的角度出发,利用汽车领域专有词汇的全词掩码进行预训练,然后采用对抗训练集的策略进行训练数据。在此基础上,提出了一种基于对抗训练和整词掩码BERT的汽车评论文本情感分析模型(ATWWM-BERT)。
2022-06-06 cs.CL cs.IR
Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets
National Center for Biotechnology Information(国家生物技术信息中心);National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆)
受通用语言理解评估基准成功的启发,我们引入了生物医学语言理解评估(BLUE)基准,以促进生物医学领域中预训练语言表征开发的研究。该基准测试由五个任务和十个数据集组成,涵盖了不同数据集大小和难度的生物医学和临床文本。我们还评估了基于BERT和ELMo的几个基线,发现在PubMed摘要和MIMIC-III临床笔记上预训练的BERT模型达到了最佳结果。我们在https://github.com/ncbi-nlp/BLUE_Benchmark上公开提供数据集、预训练模型和代码。
2019-06-18 cs.CL
Fine-tuning BERT with Bidirectional LSTM for Fine-grained Movie Reviews Sentiment Analysis
University of Arkansas(阿肯色大学);University of Cincinnati(辛辛那提大学)
本文提出用BiLSTM微调BERT模型,在电影评论二元和细粒度情感分类上达到SOTA水平,IMDb准确率97.67%,SST-5准确率59.48%。
2025-02-28 cs.AI cs.CL
Lone Pine at SemEval-2021 Task 5: Fine-Grained Detection of Hate Speech Using BERToxic
Dartmouth College(达特茅斯学院)
本文描述了我们对有毒跨度检测问题(SemEval-2021任务5)的方法。我们提出了BERToxic,一个微调预训练的BERT模型的系统,以定位给定文本中的有毒文本跨度,并利用额外的后处理步骤来细化边界。后处理步骤包括(1)将连续有毒标记之间的字符偏移标记为有毒,以及(2)将有毒标签分配给具有至少一个标记为有毒的标记的单词。通过实验,我们表明,这两个后处理步骤提高了我们的模型的性能4.16%的测试集。我们还研究了数据增强和集成建模策略对我们的系统的影响。我们的系统明显优于提供的基线,并取得了0.683的F1分数,在比赛的91支球队中排名第17位。我们的代码可在https://github.com/Yakoob-Khan/Toxic-Spans-Detection上获得
2021-04-08 cs.CL cs.LG
Large-Scale News Classification using BERT Language Model: Spark NLP Approach
Brawijaya University(布拉维贾亚大学)
在NLP之上的大数据分析的兴起增加了大规模文本处理的计算负担。NLP面临的问题是非常高维的文本,因此需要大量的计算资源。MapReduce允许大型计算的并行化,并且可以提高文本处理的效率。本研究旨在研究基于深度学习方法的大数据处理对自然语言处理任务的影响。我们使用预先训练好的模型对BERT进行微调,对新闻主题的大文本进行分类。在本研究中使用了具有不同数量参数的五个预训练模型。为了衡量这种方法的效率,我们将BERT的性能与Spark NLP的流水线进行了比较。结果表明,与使用Spark NLP的BERT相比,使用Spark NLP的BERT具有更高的精度。使用BERT的所有模型的平均精度和训练时间为0.9187和35分钟,而使用Spark NLP管道的BERT为0.8444和9分钟。模型越大,需要的计算资源越多,完成任务的时间也越长。然而,与没有Spark NLP的BERT相比,使用Spark NLP的BERT的准确率平均仅下降了5.7%,而训练时间则显著减少了62.9%。
2021-07-15 cs.CC cs.CL cs.LG
Goldilocks: Just-Right Tuning of BERT for Technology-Assisted Review
HLTCOE, Johns Hopkins University(约翰斯·霍普金斯大学人类语言技术卓越中心);University of Glasgow(格拉斯哥大学);Reveal-Brainspace(Reveal-Brainspace 公司);IRLab, Georgetown University(乔治城大学信息检索实验室)
技术辅助审阅(TAR)是指在高召回率检索(HRR)任务中用于文档审阅的迭代主动学习工作流。TAR研究和大多数商业TAR软件都将线性模型(如逻辑回归)应用于词汇特征。具有监督调优的基于transformer的模型可以提高许多文本分类任务的有效性,建议在TAR中使用它们。我们确实发现,在RCV 1-v2新闻专线集合上模拟的TAR工作流中,预训练的BERT模型将审查成本降低了10%到15%。相比之下,我们同样确定,线性模型优于BERT的模拟法律发现主题的杰布布什电子邮件收集。这表明Transformer预训练语料库和任务域之间的匹配比通常理解的更重要。此外,我们表明,在开始主动学习之前,对任务集合进行正确的语言模型微调是至关重要的。太少或太多的微调会影响性能,甚至比线性模型更差,即使对于RCV 1-v2这样的有利语料库也是如此。
2022-01-19 cs.CL cs.IR
Mediators in Determining what Processing BERT Performs First
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
探测神经模型使用其激活模式执行下游任务的能力通常用于定位网络的哪些部分专门执行哪些任务。然而,很少有工作涉及这种比较中的潜在中介因素。作为测试用例的中介因素,我们考虑预测的上下文长度,即跨度的长度,其处理是执行预测所需的最低限度。我们发现,不控制上下文长度可能会导致矛盾的结论,网络的本地化模式,这取决于探测数据集的分布。事实上,当用七个任务探测BERT时,我们发现,当操纵探测数据集中上下文长度的分布时,它们之间有可能得到196个不同的排名。最后,我们提出了在未来进行这种比较的最佳实践。
2021-04-13 cs.CL
Semantic Similarity Matching for Patent Documents Using Ensemble BERT-related Model and Novel Text Processing Method
The University of Chicago(芝加哥大学);Zhejiang University(浙江大学);Trine University(特里恩大学);The George Washington University(乔治·华盛顿大学)
本文针对专利文献语义相似度匹配问题,提出融合四个BERT相关模型的集成方法和面向专利文本的新型预处理方法,并在美国专利短语匹配数据集上验证了其有效性。
2024-01-06 cs.AI cs.CL
Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis
虽然以前的研究基于情感分析(ABSA)的印尼酒店领域的评论已经进行了使用CNN和XGBoost,其模型并没有推广以及在测试数据和大量的OOV字导致错误分类的情况下。如今,大多数NLP任务的最新结果都是通过使用预训练的语言表示来实现的。在本文中,我们打算采用最重要的语言表示模型之一,BERT,在印度尼西亚评论数据集执行ABSA。通过将多语言BERT(m-BERT)与任务转换方法相结合,我们成功地实现了与我们以前的研究结果相比,F1分数显著提高了8%。
2021-03-05 cs.CL
Fine-grained Sentiment Classification using BERT
Tribhuvan University(特里布万大学);Institute of Engineering, Tribhuvan University(特里布万大学工程学院)
情感分类是理解人们对产品、服务或主题的感知的重要过程。许多自然语言处理模型已经被提出来解决情感分类问题。然而,他们中的大多数都集中在二进制情感分类。在本文中,我们使用一种名为BERT的有前途的深度学习模型来解决细粒度的情感分类任务。实验表明,我们的模型优于其他流行的模型,没有复杂的架构,这项任务。我们还证明了迁移学习在自然语言处理中的有效性。
2019-10-04 cs.CL cs.LG stat.ML
Improving Knowledge Distillation for BERT Models: Loss Functions, Mapping Methods, and Weight Tuning
本研究针对大型Transformer模型计算成本高的问题,聚焦TinyBERT学生模型,通过优化损失函数、层映射方法及损失权重调优改进BERT知识蒸馏,在GLUE基准任务上验证效果,以提升蒸馏效率与模型性能。
2023-08-26 cs.AI cs.CL
KDLSQ-BERT: A Quantized Bert Combining Knowledge Distillation with Learned Step Size Quantization
Central Software Institute, Huawei(华为中央软件研究院)
最近,基于transformer的语言模型,如BERT,在一系列自然语言处理任务中表现出了巨大的性能提升。然而,这些语言模型在推理期间通常是计算昂贵和存储密集的。因此,很难将它们部署在资源受限的设备上。为了提高推理性能,在保持模型精度的同时减小模型规模,提出了一种新的量化方法KDLSQ-BERT,该方法将知识蒸馏(KD)和学习步长量化(LSQ)相结合,用于语言模型的量化.我们的方法的主要思想是,KD技术是利用知识从一个“教师”模型转移到一个“学生”模型时,利用LSQ在量化训练过程中的“学生”模型。在GLUE基准测试和SQuAD上的大量实验结果表明,我们提出的KDLSQ-BERT不仅在进行不同比特(例如2-bit $\sim$ 8-bit)量化时表现有效,而且优于现有的BERT量化方法,甚至在获得14.9倍压缩比的同时达到了与全精度基线模型相当的性能。我们的代码将公开。
2021-01-15 cs.AI cs.CL cs.LG
Federated pretraining and fine tuning of BERT using clinical notes from multiple silos
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
近年来,大规模上下文表示模型,如BERT,极大地促进了自然语言处理(NLP)。然而,在医疗保健等特定领域,由于隐私和监管原因,从多个机构访问各种大规模文本数据极具挑战性。在这篇文章中,我们展示了可以使用来自不同孤岛的临床文本以联邦方式预训练和微调BERT模型,而无需移动数据。
2020-02-20 cs.CL cs.LG
Multimodal Detection of Fake Reviews using BERT and ResNet-50
College of Business Administration Kansas State University Manhattan, USA(商学院学院 华盛顿州立大学 曼哈顿 美国);Department of Computer Science Kansas State University Manhattan, USA(计算机科学系 华盛顿州立大学 曼哈顿 美国)
针对单模态检测无法捕捉跨模态语义不一致的问题,提出集成 BERT 文本与 ResNet-50 图像特征的多模态虚假评论检测框架,在 21,142 张图像数据集上 F1 达 0.934,有效识别图文不一致的虚假评论。
2025-10-24 cs.AI cs.CL cs.CV
Dartmouth CS at WNUT-2020 Task 2: Informative COVID-19 Tweet Classification Using BERT
Dartmouth College(达特茅斯学院)
我们描述了为WNUT-2020共享任务2开发的系统,即识别信息丰富的COVID-19英语推文。BERT是一种高性能的自然语言处理模型。我们通过微调BERT并将其嵌入与推文特定特征相连接,并训练支持向量机(SVM)进行分类(以下称为BERT+),提高了BERT在此分类任务中的性能。我们将其性能与一套机器学习模型进行了比较。我们使用Twitter特定的数据清洗管道和单词级TF-IDF来提取非BERT模型的特征。BERT+是表现最好的模型,F1得分为0.8713。
2020-12-07 cs.CL cs.LG
Foundational Study on Authorship Attribution of Japanese Web Reviews for Actor Analysis
Faculty of Engineering and Design, Kagawa University(冈山大学工学及设计学部);Trend Micro, Inc.(趋势科技公司);JC3 Japan Cybercrime Control Center(日本网络犯罪防控中心)
本文研究了基于风格特征的作者归属技术在威胁情报分析中的应用,通过日本网购评论数据验证了BERT-FT方法的优越性,发现作者数量增加时TF-IDF+LR在准确率、稳定性及计算成本上更优,同时指出模板文本、主题依赖和短文本长度是导致误分类的主要因素。
2026-03-24 cs.CL cs.CR
Self-Supervised Contrastive BERT Fine-tuning for Fusion-based Reviewed-Item Retrieval
University of Toronto(多伦多大学);LG Electronics(LG电子)
针对评论项检索(RIR)任务缺乏标注数据的问题,提出利用自监督对比学习微调BERT嵌入,结合物品-评论两级结构和元数据进行正负样本选择,实验证明后期融合方法显著优于其他基线。
2023-08-01 cs.CL cs.IR cs.LG
Fast and Accurate FSA System Using ELBERT: An Efficient and Lightweight BERT
Nanjing University(南京大学)
随着深度学习和基于transformer的预训练模型(如BERT)的发展,许多NLP任务的准确性得到了显着提高。然而,大量的参数和计算也给它们的部署带来了挑战。例如,使用BERT可以提高金融情感分析(FSA)任务中的预测,但会降低预测速度,因为速度和准确性对利润同样重要。为了解决这些问题,我们首先提出了一个高效和轻量级的BERT(ELBERT)以及一个新的基于置信窗口(CWB)的早期退出机制。基于ELBERT,提出了一种GPU平台上加速文本处理的创新方法,解决了在大批量输入情况下如何使提前退出机制更有效地工作的难题。在此基础上,建立了一个快速、高精度的FSA系统。实验结果表明,在相同的计算代价下,CWB提前退出机制在BERT上的准确率明显高于现有的提前退出方法.通过使用这种加速方法,我们的FSA系统可以将处理速度提高近40倍,达到每秒1000多个文本,并且具有足够的准确性,这是FastBERT的近两倍,从而为现代交易系统提供更强大的文本处理能力。
2022-12-06 cs.CL
Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
最近的研究表明,BERT在广泛的自然语言处理任务中显示出潜力。它被许多先进的自动汇总系统采用作为编码器,实现了优异的性能。然而,到目前为止,为越南人做的工作并不多。在本文中,我们展示了如何BERT可以实现提取文本摘要越南语多文档。我们介绍了不同的多语言和单语言BERT模型之间的一种新的比较。实验结果表明,与其他多语种模型和以往的越南语文本摘要模型相比,单语模型产生了令人满意的结果。
2021-10-16 cs.AI cs.CL
BERTje: A Dutch BERT Model
University of Groningen(格罗宁根大学)
基于transformer的预训练语言模型BERT有助于提高许多自然语言处理(NLP)任务的最新性能。使用相同的架构和参数,我们开发和评估了一个单语荷兰语BERT模型称为BERTje。与多语言BERT模型(包括荷兰语,但仅基于维基百科文本)相比,BERTje基于24亿个令牌的大型多样性数据集。BERTje在下游NLP任务(词性标记、命名实体识别、语义角色标注和情感分析)上的表现一直优于同等大小的多语言BERT模型。我们的预训练荷兰BERT模型可在https://github.com/wietsedv/bertje上获得。
2019-12-19 cs.CL
An Accurate Model for Predicting the (Graded) Effect of Context in Word Similarity Based on Bert
Southeast University(东南大学)
近年来,自然语言处理(NLP)在语义分析中得到了广泛的应用。本文主要讨论了一种方法来分析上下文对人类感知相似词的影响,这是SemEval 2020的第三个任务。我们采用了几种方法来计算两个嵌入向量之间的距离产生的双向编码器表示从Transformer(BERT)。我们的团队will_go获得了subtask1芬兰语赛道第一名,subtask1英语赛道第二名。
2020-07-22 cs.CL cs.LG
Clinical Trial Information Extraction with BERT
Data Science and AI, Novartis(诺华数据科学与人工智能部门);Global Drug Development, Novartis Pharma AG(诺华制药全球药物开发部)
临床试验文件的自然语言处理(NLP)在新的试验设计中可能很有用。在这里,我们确定相关的临床试验设计的实体类型,并提出了一个框架,称为CT-BERT从临床试验文本的信息提取。我们训练命名实体识别(NER)模型,通过微调一组预先训练好的BERT模型来提取合格标准实体。然后,我们将CT-BERT的性能与最近的基线方法进行了比较,包括基于注意力的BiLSTM和Criteria 2 Query。结果证明了CT-BERT在临床试验NLP中的优越性。
2021-09-11 cs.CL cs.LG q-bio.QM
To BERT or Not To BERT: Comparing Speech and Language-based Approaches for Alzheimer's Disease Detection
Winterlight Labs Inc(温特莱特实验室公司);Vector Institute for Artificial Intelligence(矢量人工智能研究院);Li Ka Shing Knowledge Institute(李嘉诚知识研究所);St Michael’s Hospital(圣迈克尔医院)
鉴于AD的高患病率和传统方法的高成本,与自动检测阿尔茨海默病(AD)相关的研究非常重要。由于AD显著影响自发语音的内容和声学,因此自然语言处理和机器学习为可靠地检测AD提供了有前景的技术。我们在最近的ADReSS挑战数据集上比较和对比了两种用于AD检测的方法的性能:1)使用基于领域知识的手工制作的特征来捕获语言和声学现象,以及2)微调基于Transformer(BERT)的序列分类模型的双向编码器表示。我们还比较了多个基于特征的回归模型的神经心理评分任务的挑战。我们观察到,微调BERT模型,考虑到语言学在认知障碍检测中的相对重要性,在AD检测任务上优于基于特征的方法。
2020-07-26 cs.CL cs.LG
Automatic Mixed-Precision Quantization Search of BERT
Samsung Research America(三星美国研究院)
预先训练的语言模型,如BERT,在各种自然语言处理任务中表现出显着的有效性。然而,这些模型通常包含数百万个参数,这阻止了它们在资源受限的设备上的实际部署。知识蒸馏、权值修剪和量化是模型压缩的主要研究方向。然而,即使对于相对小的压缩比,通过知识蒸馏获得的紧凑模型也可能遭受显著的精度下降。另一方面,只有少数量化尝试是专门为自然语言处理任务设计的。它们遭受小压缩比或大出错率,因为需要手动设置超参数,并且不支持细粒度的子组量化。本文提出了一种适用于BERT的自动混合精度量化框架,该框架可以同时在子组级别上进行量化和剪枝。具体来说,我们提出的方法利用微分神经结构搜索来自动为每个子组中的参数分配规模和精度,同时修剪掉冗余的参数组。对BERT下游任务的广泛评估表明,我们提出的方法通过以更小的模型大小提供相同的性能而优于基线。我们还展示了通过将我们的解决方案与DistilBERT等正交方法相结合来获得极轻模型的可行性。
2021-12-30 cs.AI cs.CL
Text classification problems via BERT embedding method and graph convolutional neural network
CREATORY
本文提出了一种将BERT嵌入方法与图卷积神经网络相结合的新方法。这种组合被用来解决文本分类问题。首先,我们将BERT嵌入方法应用于文本(在BBC新闻数据集和IMDB电影评论数据集中),以便将所有文本转换为数值向量。然后,图卷积神经网络将被应用于这些数字向量,以将这些文本分类到其适当的类别/标签。实验表明,图卷积神经网络模型的性能优于BERT嵌入方法与经典机器学习模型相结合的性能。
2022-09-03 cs.CL cs.LG stat.ML
Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
Nanyang Technological University(南洋理工大学)
使用预先训练的语言模型(例如BERT)的领域自适应或迁移学习已被证明是许多自然语言处理任务的有效方法。在这项工作中,我们建议制定词义消歧作为一个相关性排名任务,并微调BERT序列对排名任务,以选择最可能的意义定义给定的上下文句子和候选意义定义的列表。我们还介绍了一个数据增强技术的WSD使用现有的例子从WordNet的句子。使用所提出的训练目标和数据增强技术,我们的模型能够在英语全词基准数据集上获得最先进的结果。
2020-10-01 cs.CL cs.LG
Q8BERT: Quantized 8Bit BERT
Intel AI Lab(英特尔人工智能实验室)
最近,预训练的基于Transformer的语言模型,如BERT和GPT,在许多自然语言处理(NLP)任务中表现出很大的改进。然而,这些模型包含大量的参数。更大更精确的模型的出现,如GPT2和Megatron,表明大型预训练Transformer模型的趋势。然而,在生产环境中使用这些大型模型是一项复杂的任务,需要大量的计算、内存和电源资源。在这项工作中,我们展示了如何在BERT的微调阶段执行量化感知训练,以便通过$4\times$压缩BERT,同时将准确性损失降到最低。此外,所产生的量化模型,可以加快推理速度,如果它是最佳的支持8位的硬件。
2019-10-17 cs.CL cs.LG
Transformer Encoder for Social Science
Princeton University(普林斯顿大学);Boston University(波士顿大学)
高质量的文本数据已经成为社会科学家的重要数据来源。我们已经见证了预训练的深度神经网络模型的成功,例如BERT和RoBERTa,在最近的社会科学研究中。在本文中,我们提出了一个紧凑的预训练深度神经网络,Transformer Encoder for Social Science(TESS),旨在解决社会科学研究中的文本处理任务。使用两个验证测试,我们证明了TESS优于BERT和RoBERTa平均16.7%的训练样本的数量是有限的(<1,000训练实例)。结果显示TESS在社会科学文本处理任务上优于BERT和RoBERTa。最后,我们讨论了我们的模型的局限性和未来的研究提出了建议。
2022-08-17 cs.AI cs.CL
SkIn: Skimming-Intensive Long-Text Classification Using BERT for Medical Corpus
Beijing Institute of Technology(北京理工大学)
BERT是自然语言处理中广泛使用的预训练模型。然而,由于BERT是文本长度的平方,BERT模型很难直接用于长文本语料库。在某些领域,收集的文本数据可能相当长,例如在医疗保健领域。因此,为了将BERT预先训练好的语言知识应用于长文本,本文模仿人类阅读长段落时的略读-精读方法,提出了略读-精读模型(SkIn)。它可以动态地选择文本中的关键信息,使输入BERT-Base模型的句子显著缩短,可以有效地节省分类算法的成本。实验表明,SkIn方法在医学领域的长文本分类数据集上取得了优于基线的准确率,而其时间和空间需求随着文本长度线性增加,缓解了基本BERT在长文本数据上的时间和空间溢出问题。
2022-09-24 cs.AI cs.CL
Topic mining based on fine-tuning Sentence-BERT and LDA
Inner Mongolia University(内蒙古大学)
本文提出微调Sentence-BERT结合LDA的主题挖掘方法,用于电商在线评论细粒度属性分析,主题一致性比对比模型高0.5,提升了主题提取准确性。
2025-04-07 cs.CL cs.IR
Understanding Pre-trained BERT for Aspect-based Sentiment Analysis
Institute for Data Science, Tsinghua University(清华大学数据科学研究院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文分析了基于方面的情感分析(ABSA)任务中从BERT上的评论中学习到的预训练隐藏表示。我们的工作是基于BERT的ABSA语言模型的最新进展。然而,目前还不清楚如何(掩蔽)语言模型的一般代理任务上训练的未标记的语料库没有方面或意见的注释可以提供重要的功能,在ABSA的下游任务。通过利用ABSA中的注释数据集,我们研究了评论预训练的BERT的注意力和学习表示。我们发现,BERT使用很少的自我注意中心词来编码上下文词(如介词或代词,指示一个方面)和意见词的一个方面。方面表示中的大多数特性都致力于领域(或产品类别)和方面本身的细粒度语义,而不是从其上下文中携带总结的意见。我们希望这项研究能够帮助未来的研究,以改善自监督学习,无监督学习和微调ABSA。预训练的模型和代码可以在https://github.com/howardhsu/BERT-for-RRC-ABSA上找到。
2020-10-31 cs.CL