Semantic Answer Type Prediction using BERT: IAI at the ISWC SMART Task 2020
University of Stavanger（斯塔万格大学）
本文总结了我们参与ISWC 2020挑战赛SMART任务的情况。我们有兴趣回答的一个特别问题是神经方法，特别是Transformer模型，如BERT，与传统方法相比，在答案类型预测任务上的表现如何。我们的主要发现是，粗粒度的答案类型可以有效地识别与标准的文本分类方法，超过95%的准确率，和BERT只能带来边际改进。另一方面，对于细粒度的类型检测，BERT明显优于以前的基于检索的方法。
2021-09-14 cs.AI cs.CL cs.IR
BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study
COEP Technological University（COEP理工大学）
本文评估BERTopic结合6种文档嵌入模型在印地语短文本上的主题建模效果，并与8种传统方法比较，发现其主题一致性表现持续最优。
2025-01-07 cs.CL cs.IR cs.LG
Selecting Between BERT and GPT for Text Classification in Political Science Research
Fudan University（复旦大学）
本研究比较了BERT微调与GPT提示工程在政治科学文本分类低数据场景下的表现，发现GPT零样本和少样本学习适合早期探索，但性能通常不及或至多持平BERT微调，并提供了实用指导。
2024-11-07 cs.AI cs.CL
KuBERT: Central Kurdish BERT Model and Its Application for Sentiment Analysis
Soran University（索兰大学）；University of Tehran（德黑兰大学）
本文提出 KuBERT，将 BERT 应用于低资源的中央库尔德语情感分析，利用其更强的词嵌入能力捕捉语义与上下文特征，为该语言情感分析建立新基准。
2025-09-20 cs.AI cs.CL
Empowering Interdisciplinary Research with BERT-Based Models: An Approach Through SciBERT-CNN with Topic Modeling
University of California, Berkeley（加州大学伯克利分校）
本文提出结合 SciBERT 和 CNN 的多段输入分类方法，通过引入类别权重解决类别不平衡问题，显著提升了学术文献多标签分类的 F1 分数与综述效率。
2024-04-23 cs.CL cs.LG
Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT
Dalhousie University（达尔豪斯大学）
本文提出 ChunkBERT，通过令牌分块与 CNN 层扩展 BERT，使其能高效处理任意长文本，在多种分类任务上以仅 6.25% 的内存占用实现一致性能。
2023-10-31 cs.AI cs.CL
To BERT or Not To BERT: Comparing Speech and Language-based Approaches for Alzheimer's Disease Detection
Winterlight Labs Inc（温特莱特实验室公司）；Vector Institute for Artificial Intelligence（矢量人工智能研究院）；Li Ka Shing Knowledge Institute（李嘉诚知识研究所）；St Michael’s Hospital（圣迈克尔医院）
鉴于AD的高患病率和传统方法的高成本，与自动检测阿尔茨海默病（AD）相关的研究非常重要。由于AD显著影响自发语音的内容和声学，因此自然语言处理和机器学习为可靠地检测AD提供了有前景的技术。我们在最近的ADReSS挑战数据集上比较和对比了两种用于AD检测的方法的性能：1）使用基于领域知识的手工制作的特征来捕获语言和声学现象，以及2）微调基于Transformer（BERT）的序列分类模型的双向编码器表示。我们还比较了多个基于特征的回归模型的神经心理评分任务的挑战。我们观察到，微调BERT模型，考虑到语言学在认知障碍检测中的相对重要性，在AD检测任务上优于基于特征的方法。
2020-07-26 cs.CL cs.LG
KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）
预训练模型被广泛用于微调下游任务，线性分类器通过交叉熵损失进行优化，这可能面临鲁棒性和稳定性问题。这些问题可以通过学习表示来改善，这些表示在进行预测时关注同一类中的相似性和不同类中的矛盾。在本文中，我们利用K-最近邻分类器进行预训练模型的微调。对于这个KNN分类器，我们引入了一个有监督的动量对比学习框架来学习有监督的下游任务的聚类表示。大量的文本分类任务和鲁棒性测试的实验表明，通过将KNN与传统的微调过程中，我们可以获得显着的提高清洁的准确性在丰富的源和Few-Shot设置，可以提高对对抗攻击的鲁棒性。\footnote{all codes is available at https://github.com/LinyangLee/KNN-BERT}
2021-10-06 cs.CL
BERT Lost Patience Won't Be Robust to Adversarial Slowdown
Oregon State University（俄勒冈州立大学）
本文提出WAFFLE攻击，系统评估多出口语言模型对对抗性减速的鲁棒性，发现机制越复杂越脆弱，对抗训练无效但ChatGPT输入净化有效，呼吁开发高效鲁棒的多出口模型。
2023-10-31 cs.CL cs.CR cs.LG
Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech
Lehrstuhl für Data Science（数据科学讲席教授组）
自然语言处理的最新发展导致了最先进的神经语言模型的引入，该模型支持无监督可转移学习，使用不同的预训练目标。虽然这些模型在下游NLP任务上取得了优异的结果，但各种领域自适应技术可以提高它们在特定领域任务上的性能。我们比较和分析了预训练的神经语言模型，XLNet（自回归）和BERT（自动编码器）。结果表明，XLNet模型在我们的法律意见分类的序列分类任务上表现更好，而BERT在NER任务上产生更好的结果。我们使用特定于领域的预训练和额外的法律词汇来使BERT模型进一步适应法律领域。我们准备了BERT模型的多种变体，使用两种方法及其组合。比较我们的变体的BERT模型，专门在法律领域，我们的结论是，额外的预训练和词汇技术提高了BERT模型的法律意见分类任务的性能。额外的法律词汇提高了BERT在NER任务上的表现。结合预训练和词汇技术进一步提高了最终结果。我们的Legal-Vocab-BERT模型在法律意见任务上给出了最好的结果，优于较大的预训练通用语言模型，即，BERT-Base和XLNet-Base。
2021-03-12 cs.CL cs.LG
Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach
The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
本文提出一种结合BERT文本特征与DINOv2图像特征的多模态情感分析架构，并设计三种融合模型，在三个数据集上验证了其可行性与实用性。
2025-03-11 cs.CL cs.CV
BERTopic-Driven Stock Market Predictions: Unraveling Sentiment Insights
Computer and Information Science FST（科技学院计算机与信息科学系）
本文提出利用BERTopic从股市评论中提取主题情感，并将其与深度学习模型结合以提升股票价格预测性能，验证了主题情感对市场波动和价格趋势的隐含价值。
2024-04-04 cs.CE cs.CL q-fin.ST
The Unreasonable Effectiveness of the Baseline: Discussing SVMs in Legal Text Classification
Jus Mundi
我们的目标是强调一个有趣的趋势，以促进正在进行的辩论，在法律自然语言处理的进步。最近，大多数法律文本分类任务的重点已经转向大型预训练的深度学习模型，如BERT。在本文中，我们表明，在LexGLUE基准测试中，基于支持向量机分类器的更传统方法与基于BERT的模型在分类任务上达到了令人惊讶的竞争性能。我们还强调，与一般语言任务相比，通过使用基于BERT的专业模型在基线上获得的错误减少在法律领域中明显较小。我们提出并讨论了三个假设作为这些结果的潜在解释，以支持未来的讨论。
2021-10-22 cs.CL
Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings
University of Colorado（科罗拉多大学）
本研究提出基于BERT嵌入的动态主题建模方法，应用于罗马文学语料库，发现神经模型虽定量指标略逊，但定性评估更优且对超参数不敏感，更适合历史研究。
2024-06-27 cs.CL
To BERT or Not to BERT: Comparing Task-specific and Task-agnostic Semi-Supervised Approaches for Sequence Tagging
Columbia University（哥伦比亚大学）；Amazon AI（亚马逊人工智能）
使用类似于transformer的架构（如BERT）利用大量未标记的数据，由于其在学习一般表示方面的有效性，近年来越来越受欢迎，然后可以为下游任务进一步微调，以取得更大的成功。然而，从经济和环境的角度来看，训练这些模型可能是昂贵的。在这项工作中，我们研究如何有效地使用未标记的数据：通过探索特定于任务的半监督方法，交叉视图训练（CVT），并将其与任务不可知的BERT在多个设置，包括领域和任务相关的英语数据进行比较。CVT使用一个更轻的模型架构，我们表明，它实现了类似的性能BERT的一组序列标记任务，具有较小的财政和环境影响。
2020-10-27 cs.CL
FinTextSim: Enhancing Financial Text Analysis with BERTopic
Hochschule Heilbronn（海尔布隆应用科学大学）；Universidad de la Rioja（拉里奥哈大学）；Beta Klinik GmbH（贝塔诊所有限公司）
本研究提出FinTextSim，一种针对金融领域优化的句子转换器，与BERTopic结合显著提升10-K文件主题聚类清晰度，增强金融文本分析质量。
2025-04-22 cs.CL cs.LG econ.GN
BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward
ETH Zürich（苏黎世联邦理工学院）
在许多学习框架中，根据一组参考来衡量生成的序列的质量是一个核心问题，无论是计算分数，分配奖励还是执行区分。尽管模型架构有了很大的进步，但独立于引用数量的度量仍然基于n-gram估计。我们表明，底层的操作，计数的话，比较计数，可以提升到嵌入的话，比较嵌入。对BERT嵌入的深入分析表明，经验表明，可以采用上下文嵌入来捕获所需的依赖关系，同时通过适当的修剪和平滑技术保持必要的可扩展性。我们将无条件生成作为一个强化学习问题，并表明我们的奖励函数在这个具有挑战性的设置中确实提供了比n元奖励更有效的学习信号。
2020-03-05 cs.CL cs.LG stat.ML
Interpretable Bangla Sarcasm Detection using BERT and Explainable AI
BRAC University（BRAC大学）
具有潜在负面动机的积极短语或句子通常被定义为讽刺，其广泛用于当今的社交媒体平台，例如Facebook、Twitter、Reddit等。近年来，社交媒体平台中的活跃用户急剧增加，这提高了对基于NLP的自动化系统的需求，该系统可以用于各种任务，例如确定市场需求、情感分析、威胁检测、然而，由于讽刺通常意味着相反的含义，并且其检测通常是一个具有挑战性的问题，通过基于NLP的模型的数据含义提取变得更加复杂。因此，在过去的几年里，有很多关于英语中的讽刺检测的研究，并且有明显的改进，但孟加拉语中的讽刺检测仍然是一样的。在本文中，我们提出了一个基于BERT的系统，可以达到99.60\%，而使用传统的机器学习算法只能达到89.93\%。此外，我们还采用了本地可解释的模型不可知的解释，介绍了我们的系统。此外，我们还利用了一个新收集的孟加拉语讽刺数据集，BanglaSarc是专门为评估本研究而构建的。该数据集由讽刺和非讽刺评论的新记录组成，其中大部分来自Facebook和YouTube评论部分。
2023-03-22 cs.AI cs.CL
Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation?
LASTIMI Laboratory, EST Salé（LASTIMI实验室，萨累高等技术学院）；Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
该研究针对摩洛哥购物场所情感分析任务，对比了微调BERT与拼接两种句子嵌入提升堆叠BiLSTM-BiGRU模型性能的方法，还开展了最优学习率搜索及不同嵌入组合的最优优化器对比。
2023-12-12 cs.AI cs.CL
Multi-CLS BERT: An Efficient Alternative to Traditional Ensembling
Amazon（亚马逊公司）；UMass（马萨诸塞大学）
提出Multi-CLS BERT，通过多CLS token实现高效集成，在保持近单模型效率的同时显著提升准确率与置信度估计。
2023-05-20 cs.CL cs.LG
Are Larger Pretrained Language Models Uniformly Better? Comparing Performance at the Instance Level
Computer Science Division, University of California, Berkeley（加利福尼亚大学伯克利分校计算机科学系）
平均而言，更大的语言模型具有更高的准确性，但它们在每个实例（数据点）上都更好吗？一些研究表明，较大的模型具有较高的分布外鲁棒性，而其他研究表明，它们在罕见的亚组中具有较低的准确性。为了理解这些差异，我们在单个实例的级别上研究这些模型。然而，一个主要的挑战是，个体预测对训练中随机性的噪声高度敏感。我们开发了统计上严格的方法来解决这个问题，在考虑了预训练和微调噪声之后，我们发现我们的BERT-Large在MNLI，SST-2和QQP中至少有1-4%的实例比BERT-Mini差，相比之下，整体精度提高了2- 10%。我们还发现，微调噪声随着模型大小的增加而增加，并且实例级精度具有动量：从BERT-Mini到BERT-Medium的改进与从BERT-Medium到BERT-Large的改进相关。我们的研究结果表明，实例级预测提供了丰富的信息来源;因此，我们建议研究人员用模型预测补充模型权重。
2021-05-13 cs.AI cs.CL cs.LG
From BERT to LLMs: Comparing and Understanding Chinese Classifier Prediction in Language Models
Department of Language Science and Technology, The Hong Kong Polytechnic University（语言科学与技术系，香港理工大学）
本研究评估大语言模型在中文量词预测任务上的表现，发现即使经过微调，LLMs仍不如BERT，双向注意力机制因能利用后续名词信息而更具优势。
2025-11-02 cs.CL
BERT Goes Shopping: Comparing Distributional Models for Product Representations
Bocconi University（博科尼大学）；Coveo；Coveo AI Labs（Coveo人工智能实验室）
词嵌入（例如，word 2 vec）已通过~ \textit{prod2vec}成功应用于电子商务产品。受最近上下文嵌入带来的几个NLP任务的性能改进的启发，我们建议将BERT类架构转移到电子商务中：我们的模型-- ~ \textit{Prod2BERT} --经过训练，通过掩码会话建模生成产品的表示。通过对多个商店、不同任务和一系列设计选择的广泛实验，我们系统地比较了~ \textit{Prod2BERT}和~ \textit{prod2vec}嵌入的准确性：虽然~ \textit{Prod2BERT}在几种情况下都是优越的，但我们强调了资源和超参数在最佳性能模型中的重要性。最后，我们提供了指导方针，从业人员在各种计算和数据的约束下训练嵌入。
2021-06-23 cs.CL cs.IR
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）
用上下文化的词表示代替静态的词嵌入，在许多NLP任务上都有了显著的改进。然而，ELMo和BERT等模型产生的语境化表示究竟有多语境化呢？每个词是否有无限多个上下文特定的表征，或者词本质上被分配了有限数量的词义表征之一？首先，我们发现所有单词的语境化表示在语境化模型的任何一层都不是各向同性的。虽然相同单词在不同上下文中的表示仍然比两个不同单词的表示具有更大的余弦相似性，但这种自相似性在上层中要低得多。这表明上下文化模型的上层产生更多的上下文特定的表示，就像LSTM的上层产生更多的任务特定的表示一样。在ELMo、BERT和GPT-2的所有层中，平均而言，一个词的上下文表示中只有不到5%的方差可以通过该词的静态嵌入来解释，这为上下文表示的成功提供了一些理由。
2019-09-02 cs.CL
Feature Engineering vs BERT on Twitter Data
St John’s College（圣约翰学院）；University College London（伦敦大学学院）
在本文中，我们在三个数据集上比较了使用特征工程和词向量的传统机器学习模型和使用词嵌入的最新语言模型BERT的性能。我们还考虑了时间和成本效率的特征工程相比，BERT。从我们的结果中，我们得出结论，使用BERT模型只值得我们用于比较的三个数据集之一的时间和成本权衡，其中BERT模型显着优于任何一种使用特征向量而不是嵌入的传统分类器。对其他数据集使用BERT模型，准确率和F1分数分别仅提高了0.03和0.05，这可以说是不值得使用GPU的时间和成本。
2022-10-28 cs.CL cs.LG
BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
我们表明，BERT（Devlin等人，2018）是马尔可夫随机场语言模型。这个公式让位于从BERT中抽取句子的自然过程。我们从BERT生成，发现它可以生成高质量、流畅的生成。与传统的从左到右的语言模型相比，BERT生成的句子更多样化，但质量略差。
2019-04-09 cs.CL cs.LG
Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News
University of Graz（格拉茨大学）；Technical University of Graz（格拉茨技术大学）
针对德语气候新闻句子级框架检测，比较了微调BERT（句子对分类）与少样本LLM提示（Llama 4）方法，BERT在F1上达到0.83，优于LLM的0.78。
2026-06-26 cs.CL
Clash of the models: Comparing performance of BERT-based variants for generic news frame detection
University of Bern（伯尔尼大学）
本文比较了BERT、RoBERTa、DeBERTa、DistilBERT和ALBERT在通用新闻框架检测中的性能，提出了多种经过微调的模型，并构建了一个基于瑞士选举语境的标注数据集以测试框架分析的上下文鲁棒性。
2026-03-27 cs.CL cs.CY
Bridging the gap in online hate speech detection: a comparative analysis of BERT and traditional models for homophobic content identification on X/Twitter
University of Limerick（利默里克大学）
本研究针对在线仇恨言论检测中恐同内容研究不足的问题，对比BERT与传统模型在X/Twitter恐同内容识别的性能，发布最大规模相关开源英文数据集，为提升在线包容性及后续仇恨言论分析研究奠定基础。
2024-05-15 cs.AI cs.CL cs.LG
Traditional Machine Learning Models and Bidirectional Encoder Representations From Transformer (BERT)-Based Automatic Classification of Tweets About Eating Disorders: Algorithm Development and Validation Study
University of León（莱昂大学）；Leibniz University of Hannover（汉诺威莱布尼茨大学）；Spanish National University for Distance Education（西班牙国家远程教育大学）
本研究收集三个月内105万条饮食失调推文，用传统机器学习与BERT等深度学习模型分类，发现基于变换器的模型F1分数最高（71.1%-86.4%），但计算资源消耗更大。
2024-02-08 cs.CL cs.LG
Syntax-Infused Transformer and BERT models for Machine Translation and Natural Language Understanding
Duke University（杜克大学）
基于注意力的模型在几个NLP任务中显示出比传统算法的显着改进。例如，Transformer是基于输入到编码器的令牌与序列中的所有令牌的关系来生成令牌的抽象表示的说明性示例。最近的研究表明，尽管这些模型能够纯粹通过查看示例来学习句法特征，但将这些信息显式地提供给深度学习模型可以显着提高其性能。利用句法信息（如词性（POS））在复杂模型（如Transformer）的有限训练数据设置中可能特别有益。我们表明，具有多个特征的语法注入的Transformer在完整的WMT 14英语到德语翻译数据集上训练时实现了0.7 BLEU的改进，并且在一小部分数据集上训练时最大提高了1.99 BLEU点。此外，我们发现，语法纳入BERT微调优于基线上的一些下游任务的GLUE基准。
2019-11-10 cs.CL cs.LG stat.ML
BERT Learns to Teach: Knowledge Distillation with Meta Learning
Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们提出了知识蒸馏与元学习（MetaDistil），一个简单而有效的替代传统的知识蒸馏（KD）的方法，教师模型是固定的培训。我们证明了教师网络可以学习更好地将知识传递给学生网络（即，学习教学），并具有来自元学习框架中的提炼学生网络的性能的反馈。此外，我们引入了一个试点更新机制，以提高对齐的内部学习者和元学习者之间的元学习算法，专注于一个改进的内部学习者。在各种基准测试上的实验表明，MetaDistil与传统KD算法相比，可以产生显著的改进，并且对不同学生容量和超参数的选择不太敏感，便于在不同任务和模型上使用KD。
2022-04-01 cs.AI cs.CL cs.CV
Cooking Is All About People: Comment Classification On Cookery Channels Using BERT and Classification Models (Malayalam-English Mix-Code)
School of Computing（计算学院）；Dublin Business School（都柏林商学院）；ADAPT Centre, School of Computing（ADAPT中心，计算学院）；Dublin City University（都柏林城市大学）
谷歌通过其视频分发平台YouTube推广的利润丰厚的职业范围吸引了大量用户成为内容创作者。这项工作的一个重要方面是以评论的形式收到的反馈，这些评论显示了受众对内容的接受程度。然而，大量的评论加上垃圾邮件和有限的评论分类工具，使得创建者几乎不可能浏览每一条评论并收集建设性的反馈。即使对于已建立的分类模型，评论的自动分类也是一个挑战，因为评论通常具有可变的长度，充满了俚语，符号和缩写。这是一个更大的挑战，评论是多语言的，因为信息往往充斥着各自的方言。在这项工作中，我们已经评估了表现最好的分类模型，用于对英语和马拉雅拉姆语（仅英语，仅马拉雅拉姆语以及英语和马拉雅拉姆语的混合）的不同组合的评论进行分类。结果的统计分析表明，多项式朴素贝叶斯，K-最近邻（KNN），支持向量机（SVM），随机森林和决策树提供类似的评论分类的准确性水平。此外，我们还评估了3种基于多语言Transformer的语言模型（BERT，DISTILBERT和XLM），并将其性能与传统的机器学习分类技术进行了比较。XLM是表现最好的BERT模型，准确率为67.31。随机森林与词频矢量是最好的表现出所有的传统分类模型的准确率为63.59。
2020-07-22 cs.CL cs.IR cs.LG
Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT
Wuhan University（武汉大学）；JD Explore Academy, JD.com Inc.（京东公司京东探索研究院）；University of Sydney（悉尼大学）
最近，ChatGPT引起了人们的极大关注，因为它可以对人类查询生成流畅和高质量的响应。先前的几项研究表明，ChatGPT与现有模型相比具有显着的生成能力。然而，ChatGPT的理解能力的定量分析一直很少受到关注。在这份报告中，我们通过在最流行的GLUE基准测试中评估ChatGPT，并将其与4个代表性的微调BERT风格模型进行比较，来探索ChatGPT的理解能力。我们发现：1）ChatGPT在处理释义和相似性任务方面存在不足; 2）ChatGPT在推理任务上的表现远远优于所有BERT模型; 3）ChatGPT在情感分析和问答任务上的表现与BERT相当。此外，通过结合一些先进的提示策略，我们表明，ChatGPT的理解能力可以进一步提高。
2023-03-02 cs.CL
Integrated ensemble of BERT- and features-based models for authorship attribution in Japanese literary works
Doshisha University（同志社大学）；Kyoto University of Advanced Science（京都先进科学大学）；Mejiro University（目白大学）
本研究针对小样本作者归属识别任务，提出将传统特征方法与BERT等预训练语言模型进行综合集成，实验表明该方法能显著提升分类性能，F1分数最高提升约14个百分点。
2025-04-11 cs.CL
Hybrid Machine Learning Model for Detecting Bangla Smishing Text Using BERT and Character-Level CNN
Department of Computer Science and Engineering（计算机科学与工程系）；World University of Bangladesh（孟加拉世界大学）；Department of Electrical and Electronics Engineering（电气与电子工程系）；Jashore University of Science and Technology（贾沙尔大学科学与技术学院）；Southern University Bangladesh（孟加拉南部大学）；Institute of Information Technology（信息技术研究所）；Noakhali Science and Technology University（诺阿基利科学与技术大学）
针对孟加拉语钓鱼短信检测问题，提出结合BERT上下文嵌入与字符级CNN特征的混合模型，通过注意力机制优先关键文本片段，实现98.47%准确率，优于传统分类器且多分类表现优异。
2025-02-03 cs.CL cs.LG cs.SI
On Importance of Layer Pruning for Smaller BERT Models and Low Resource Languages
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文研究层剪枝在低资源语言BERT模型中的效果，发现剪枝模型可在减少层数的同时保持性能并优于同规模从头训练模型，其中中间层剪枝策略尤为有效。
2025-01-01 cs.CL cs.LG
What the [MASK]? Making Sense of Language-Specific BERT Models
Bocconi University（博科尼大学）
近年来，自然语言处理（NLP）在许多领域都取得了令人瞩目的进展，这是由于新的、预先训练的上下文表示模型的出现。特别是，Devlin等人（2019）提出了一种称为BERT（来自Transformers的双向编码器表示）的模型，该模型使研究人员能够通过微调其数据集和任务的表示来获得众多NLP任务的最先进性能，而无需开发和训练高度特定的架构。作者还发布了多语言BERT（mBERT），这是一个在104种语言的语料库上训练的模型，可以作为一个通用的语言模型。该模型在一个zero-shot跨语言自然推理任务上取得了令人印象深刻的结果。在BERT模型潜力的推动下，NLP社区已经开始研究和生成大量的BERT模型，这些模型在特定的语言上进行训练，并在特定的数据域和任务上进行测试。这使我们能够通过将mBERT与这些更具体的模型的性能进行比较来评估mBERT作为通用语言模型的真正潜力。本文介绍了语言特定的BERT模型的最新技术水平，提供了一个关于不同维度（即架构，数据域和任务）的整体画面。我们的目标是提供一个直接和直接的概述特定于语言的BERT模型和mBERT之间的共性和差异。我们还提供了一个互动和不断更新的网站，可用于探索我们收集的信息，在https://bertlang.unibocconi.it。
2020-03-05 cs.CL
BERT Rediscovers the Classical NLP Pipeline
Google Research（谷歌研究院）；Brown University（布朗大学）
预先训练的文本编码器在许多NLP任务上迅速推进了最先进的技术。我们专注于这样一个模型，BERT，并旨在量化语言信息在网络中被捕获的位置。我们发现，该模型代表了传统的NLP管道的步骤，在一个可解释的和本地化的方式，负责每一步的区域出现在预期的顺序：POS标记，解析，NER，语义角色，然后共指。定性分析表明，该模型可以而且经常动态地调整这个管道，根据消除高层表示的歧义信息修改较低级别的决策。
2019-08-09 cs.CL
WER-BERT: Automatic WER Estimation with BERT in a Balanced Ordinal Classification Paradigm
Samsung R&D Institute India - Bangalore（三星印度班加罗尔研发研究院）
自动语音识别（ASR）系统使用字出错率（WER）来评估，字出错率（WER）是通过比较ASR系统的地面实况和转录之间的错误数量来计算的。然而，该计算需要手动转录语音信号以获得地面实况。由于转录音频信号是昂贵的过程，因此已经开发了自动WER评估（e-WER）方法，以仅依靠转录和语音信号特征来自动预测语音系统的WER。虽然WER是一个连续变量，但以前的工作表明，将e-WER定位为分类问题比回归更有效。然而，当转换到分类设置时，这些方法遭受严重的类不平衡。在本文中，我们提出了一个新的平衡模式，电子WER的分类设置。在这种模式下，我们还提出了WER-BERT，一个BERT为基础的架构与语音功能的电子WER。此外，我们引入了一个距离损失函数，以解决的顺序性质的e-WER分类。所提出的方法和范例在Librispeech数据集和商业（黑盒）ASR系统（Google Cloud的Speech-to-Text API）上进行了评估。结果和实验表明，WER-BERT建立了一个新的国家的最先进的自动WER估计。
2021-02-13 cs.CL cs.SD eess.AS
Applications of BERT Based Sequence Tagging Models on Chinese Medical Text Attributes Extraction
Tsinghua-iFlytek Joint Laboratory（清华大学科大讯飞联合实验室）
我们将中文医学文本属性抽取任务转化为序列标注或机器阅读理解任务。基于BERT预训练模型，我们不仅尝试了广泛使用的LSTM-CRF序列标记模型，还尝试了其他序列模型，如CNN，UCNN，WaveNet，SelfAttention等，这些模型达到了与LSTM+CRF相似的性能。这揭示了传统的序列标记模型。由于不同序列标记模型的重点方面差异很大，因此将这些模型集成在一起会增加最终系统的多样性。通过这样做，我们的系统在中文医学文本属性提取任务（CCKS 2019任务1的子任务2）上取得了良好的性能。
2020-08-22 cs.CL
Generating Knowledge Graphs from Large Language Models: A Comparative Study of GPT-4, LLaMA 2, and BERT
IITE Indus University（IITE因德大学）
该研究针对传统知识图谱构建的局限，提出利用GPT-4、LLaMA 2（13B）和BERT直接从非结构化数据生成知识图谱的方法，经多指标评估发现三类模型各有优势，为简化知识图谱创建、推进GraphRAG落地应用奠定基础。
2024-12-10 cs.AI cs.CL cs.DB
A Closer Look at How Fine-tuning Changes BERT
University of Utah（犹他大学）
鉴于在当今的NLP中普遍存在预先训练的语境化表征，人们已经做出了许多努力来了解它们包含哪些信息，以及为什么它们似乎普遍成功。使用这些表示的最常见方法是针对最终任务对其进行微调。然而，微调如何改变底层嵌入空间的研究较少。在这项工作中，我们研究了英语BERT家庭，并使用两种探测技术来分析微调如何改变空间。我们假设微调通过增加与不同标签相关的示例之间的距离来影响分类性能。我们证实了这一假设，精心设计的实验上五个不同的NLP任务。通过这些实验，我们还发现了一个例外，流行的智慧，“微调总是提高性能”。最后，通过比较微调前后的表示，我们发现微调不会对表示进行任意更改;相反，它会将表示调整到下游任务，同时在很大程度上保留数据点的原始空间结构。
2022-03-16 cs.CL
BERTChem-DDI : Improved Drug-Drug Interaction Prediction from text using Chemical Structure Information
Microsoft Research Lab（微软研究院）
从预训练语言模型获得的嵌入的传统生物医学版本最近在医学领域的关系抽取（RE）任务中显示了最先进的结果。在本文中，我们探讨如何将领域知识，可在药物的分子结构的形式，预测药物相互作用的文本语料库。我们提出了一种方法，BERTChem-DDI，有效地结合药物的丰富的化学结构与现成的特定领域的BioBERT嵌入为基础的RE架构获得的药物嵌入。在DDIExtraction 2013语料库上进行的实验清楚地表明，该策略将其他强基线架构提高了3.4%的宏F1分数。
2020-12-21 cs.AI cs.CL
Integrating extracted information from bert and multiple embedding methods with the deep neural network for humour detection
Toyohashi University of Technology（丰桥技术科学大学）
从句子中检测幽默是一个有趣的和具有挑战性的任务，在过去的几年里。为了突出幽默检测，大多数研究都是使用传统的嵌入方法进行的，例如，Word 2 Vec或手套。最近，BERT句子嵌入也被用于这一任务。在本文中，我们提出了一个框架，从新闻标题的短文本幽默检测。我们提出的框架（IBEN）尝试通过使用不同的BERT层从书面文本中提取信息。经过几次试验后，将权重分配给BERT模型的不同层。然后将提取的信息发送到Bi-GRU神经网络作为嵌入矩阵。我们利用了一些外部嵌入模型的性质。我们的神经网络中的多核卷积也被用来提取更高级别的句子表示。这个框架在幽默检测的任务上表现得非常好。
2021-05-11 cs.AI cs.CL
Credit Risk Meets Large Language Models: Building a Risk Indicator from Loan Descriptions in P2P Lending
Universidad Complutense de Madrid（马德里康普顿斯大学）；Johannes Gutenberg University Mainz（美因茨约翰内斯古腾堡大学）；Universidad de Alcalá de Henares（阿尔卡拉大学）
本研究针对P2P借贷信息不对称问题，用BERT基于贷款描述生成风险评分并整合进XGBoost分类器，提升了信用风险预测性能，同时揭示了文本特征与传统特征的交互作用及模型透明性需求。
2025-03-23 cs.AI cs.CL cs.LG
Construction of Historical Knowledge Graphs Based on BERT and Graph Neural Networks
Shandong Management University（山东管理大学）；Maria Curie-Sklodowska University（玛丽·居里-斯洛多夫斯卡大学）
本文提出结合BERT和图神经网络的高层架构，从历史文本中提取实体和关系，构建知识图谱，在精度、召回率和F1分数上优于传统方法和深度学习基线。
2026-06-01 cs.AI cs.CL
AutoRC: Improving BERT Based Relation Classification Models via Architecture Search
East China Normal University（华东师范大学）；Fudan University（复旦大学）；Pingan Health Tech（平安健康医疗科技）；Ping An Health Cloud Company Limited（平安健康云有限公司）；Ping An International Smart City Technology Co., Ltd（平安国际智慧城市科技股份有限公司）
尽管基于BERT的关系分类（RC）模型相对于传统的深度学习模型已经取得了显著的改进，但是对于什么是最佳架构似乎还不能达成共识。首先，存在用于实体跨度标识的多种备选方案。第二，存在池化操作的集合，以将实体和上下文的表示聚合成固定长度的向量。第三，很难手动决定哪些特征向量（包括它们的交互）有利于对关系类型进行分类。在这项工作中，我们设计了一个全面的搜索空间的BERT为基础的RC模型，并采用神经架构搜索（NAS）的方法来自动发现上述的设计选择。在7个基准RC任务上的实验表明，该方法比基于基准BERT的RC模型更有效。烧蚀实验验证了搜索空间设计的必要性和搜索方法的有效性。
2020-09-27 cs.CL
Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models
Stanford University（斯坦福大学）
本文发现多语言BERT存在语法结构偏差，即英语等高资源语言的语法会渗入低资源语言，并通过西班牙语代词省略和希腊语主谓顺序实验证明其偏向英语式结构，呼吁更关注语言学意识的流利度评估。
2023-04-13 cs.CL
A Comprehensive Study on NLP Data Augmentation for Hate Speech Detection: Legacy Methods, BERT, and LLMs
University of Oulu（奥卢大学）
本文系统比较了仇恨言论检测中传统与基于BERT和LLM的数据增强方法，并提出上下文余弦相似度过滤方案，在降低标签改变率的同时提升分类性能。
2024-03-30 cs.CL
Comparing Convolutional Neural Networks to Traditional Models for Slot Filling
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
我们解决的关系分类的背景下，插槽填充，寻找和评估的任务，如“史蒂夫乔布斯”的插槽X在“X创立苹果”。我们提出了一个卷积神经网络，它根据关系参数将输入句子分成三个部分，并将其与最先进的传统关系分类方法进行比较。最后，我们结合不同的方法，并表明组合优于单独的方法。我们还分析了体裁差异对表演的影响。
2016-04-04 cs.CL
A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss
Peking University（北京大学）
对于可读性评估，传统方法主要采用具有数百个语言特征的机器学习分类器。虽然深度学习模型已经成为几乎所有NLP任务的主要方法，但它在可读性评估方面的探索较少。在本文中，我们提出了一个基于BERT的模型与特征投影和长度平衡损失（BERT-FP-LBL）的可读性评估。特别地，我们提出了一种新的难度知识引导的半监督方法来提取主题特征，以补充传统的语言特征。从语言特征，我们采用投影滤波提取正交功能，以补充BERT表示。此外，我们设计了一个新的长度平衡的损失，以处理数据的长度分布变化很大。我们的模型在两个英文基准数据集和一个中文教科书数据集上取得了最先进的性能，并且在一个英文数据集上也达到了99%的近乎完美的准确率。此外，我们提出的模型获得了可比的结果与人类专家的一致性测试。
2023-03-04 cs.CL
Towards Arabic Sentence Simplification via Classification and Generative Approaches
University of Leeds（利兹大学）；Alexandria University（亚历山大大学）
本文试图建立一个现代标准阿拉伯语（MSA）的词典级简化系统。我们使用两种方法进行了句子简化实验：（i）一种分类方法，使用Arabic-BERT，一种预先训练的上下文模型以及一种fastText词嵌入模型来实现词汇简化管道;（ii）一种生成方法，通过应用多语言文本到文本传输Transformer mT5的Seq 2Seq技术。我们通过对齐国际知名阿拉伯小说《Saaq al-Bambuu》中的原始句子和简化句子来开发我们的训练语料库。我们评估这些方法的有效性，通过比较生成的简单句子的目标简单句子使用BERTScore评价指标。通过BERTScore，mT5模型产生的简单句子达到P 0.72，R 0.68和F-1 0.70，而结合Arabic-BERT和fastText达到P 0.97，R 0.97和F-1 0.97。此外，我们报告了这些实验的手动误差分析。\url{https://github.com/Nouran-Khallaf/Lexical_Simplification}
2022-04-20 cs.CL
A BERT based Sentiment Analysis and Key Entity Detection Approach for Online Financial Texts
Wuhan University of Technology（武汉理工大学）
互联网的出现和迅速发展给金融领域带来了越来越大的冲击。如何从海量的负面金融文本中快速、准确地挖掘出关键信息，成为投资者和决策者关注的关键问题之一。针对这一问题，提出了一种基于BERT的情感分析和关键实体检测方法，并将其应用于在线金融文本挖掘和社会媒体舆情分析。通过使用预训练模型，我们首先研究了情感分析，然后我们认为关键实体检测作为一个句子匹配或机器阅读理解（MRC）任务在不同的粒度。其中，我们主要关注负面情感信息。与传统的命名实体识别方法不同，本文提出的方法能够检测出特定的实体。此外，我们还使用集成学习来提高所提出的方法的性能。实验结果表明，在金融情感分析和关键实体检测数据集上，该方法的性能普遍高于SVM、LR、NBM和BERT。
2020-01-14 cs.CL
