Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Google AI Language（谷歌 AI 语言部门）
我们介绍了一种新的语言表示模型称为BERT，它代表双向编码器表示从Transformers。与最近的语言表示模型不同，BERT旨在通过联合调节所有层中的左上下文和右上下文，从未标记文本中预训练深度双向表示。因此，预训练的BERT模型只需一个额外的输出层即可进行微调，从而为各种任务（如问答和语言推理）创建最先进的模型，而无需对特定于任务的架构进行实质性修改。BERT在概念上很简单，但在经验上很强大。它在11个自然语言处理任务上获得了新的最先进的结果，包括将GLUE得分提高到80.5%（绝对提高7.7%），MultiNLI准确率达到86.7%（绝对改善4.6%），SQuAD v1.1问答测试F1为93.2（绝对改善1.5分），SQuAD v2.0测试F1为83.1（绝对改善5.1分）。
2019-05-24 cs.CL
BERT-based knowledge extraction method of unstructured domain text
University of Chinese Academy of Sciences（中国科学院大学）
随着知识图的发展和商业应用，从非结构化领域文档中提取知识图谱的实体和关系的需求越来越大。这使得领域文本的自动知识抽取具有重要意义。提出一种基于BERT的知识抽取方法，用于从非结构化的特定领域文本（如保险行业的保险条款）中自动抽取知识点，以节省构建知识图谱的人力。与常用的基于规则、模板或实体抽取模型的方法不同，本文将领域知识点转化为问题和答案对，并以文档中答案周围的文本作为上下文。该方法采用了一个基于BERT的模型，类似于BERT的SQuAD阅读理解任务。该模型是微调。并用于从更多的保险条款中直接提取知识点。根据测试结果，该模型性能良好。
2021-03-01 cs.CL cs.LG
Comparative Analysis of 47 Context-Based Question Answer Models Across 8 Diverse Datasets
School of Chemistry and Molecular Biology, The University of Queensland（化学与分子生物学学院，昆士兰大学）；Computational Biology and Clinical Informatics, Baker Heart and Diabetes Institute（计算生物学与临床信息学，贝克心脏病与糖尿病研究所）；Mechanical Engineering Department, Khalifa University（机械工程系，卡利法大学）
本文比较了47种基于上下文的问题回答模型在8种数据集上的表现，发现ahotrod/electra_large_discriminator_squad2_512在多个数据集上表现最佳。
2025-11-29 cs.AI cs.CL
End-to-End Open-Domain Question Answering with BERTserini
University of Waterloo（滑铁卢大学）
我们展示了一个端到端的问答系统，集成了BERT与开源的Anserini信息检索工具包。与当今大多数问答和阅读理解模型相比，这些模型在少量输入文本上运行，我们的系统将IR的最佳实践与基于BERT的阅读器集成在一起，以端到端的方式从维基百科文章的大型语料库中识别答案。我们报告了在标准基准测试集合上的先前结果的大幅改进，表明使用SQuAD微调预训练的BERT足以在识别答案跨度方面实现高准确度。
2019-09-18 cs.CL cs.IR
GREEK-BERT: The Greeks visiting Sesame Street
Athens University of Economics and Business（雅典经济与商业大学）
基于转换器的语言模型，如BERT及其变体，在通用基准数据自然语言处理（例如，胶水，SQUAD，RACE）。然而，这些模型大多被应用于资源丰富的英语语言。在本文中，我们提出了GREEK-BERT，一个单语BERT为基础的语言模型的现代希腊语。我们在三个NLP任务中评估其性能，即，词性标注、命名实体识别和自然语言推理，获得最先进的性能。有趣的是，在其中两个基准测试中，GREEK-BERT的表现优于两个基于多语言transformer的模型（M-BERT，XLM-R），以及在预训练的词嵌入上操作的较浅神经基线（5%-10%）。最重要的是，我们公开了GREEK-BERT和我们的训练代码，以及说明如何为下游NLP任务微调GREEK-BERT的代码。我们希望这些资源能够促进现代希腊语的NLP研究和应用。
2020-09-03 cs.CL
DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding
Georgia Institute of Technology（佐治亚理工学院）；Peking University（北京大学）；Microsoft（微软）；Siemens Corporate Technology（西门子企业技术）
最近的研究开放领域的问答已经取得了显着的性能提高使用预训练的语言模型，如BERT。最先进的方法通常遵循“检索和读取”管道，并采用基于BERT的重排序器来过滤检索到的文档，然后将其送入阅读器模块。BERT检索器将问题和每个检索到的文档的串联作为输入。尽管这些方法在QA准确性方面取得了成功，但由于级联，它们几乎无法处理每个具有大量检索文档的传入问题的高吞吐量。为了解决效率问题，我们提出了DC-BERT，一个解耦的上下文编码框架，具有双BERT模型：一个在线的BERT编码的问题只有一次，和离线的BERT预编码的所有文档和缓存他们的编码。在SQuAD Open和Natural Questions Open数据集上，DC-BERT在文档检索上实现了10倍的加速，同时与最先进的开放领域问答方法相比，保留了大部分（约98%）的QA性能。
2020-02-28 cs.CL
Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT
Wuhan University（武汉大学）；JD Explore Academy, JD.com Inc.（京东公司京东探索研究院）；University of Sydney（悉尼大学）
最近，ChatGPT引起了人们的极大关注，因为它可以对人类查询生成流畅和高质量的响应。先前的几项研究表明，ChatGPT与现有模型相比具有显着的生成能力。然而，ChatGPT的理解能力的定量分析一直很少受到关注。在这份报告中，我们通过在最流行的GLUE基准测试中评估ChatGPT，并将其与4个代表性的微调BERT风格模型进行比较，来探索ChatGPT的理解能力。我们发现：1）ChatGPT在处理释义和相似性任务方面存在不足; 2）ChatGPT在推理任务上的表现远远优于所有BERT模型; 3）ChatGPT在情感分析和问答任务上的表现与BERT相当。此外，通过结合一些先进的提示策略，我们表明，ChatGPT的理解能力可以进一步提高。
2023-03-02 cs.CL
Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking
University of Mannheim（曼海姆大学）
端到端实体链接系统的典型架构包括三个步骤：提及检测、候选生成和实体消歧。在这项研究中，我们调查了以下问题：（a）所有这些步骤都可以与上下文文本表示模型，即BERT（Devlin等人，2019年）？(b)预训练的BERT中已经包含了多少实体知识？(c)额外的实体知识是否提高了BERT在下游任务中的性能？为此，我们提出了一种对实体链接设置的极端简化，效果非常好：只需将其转换为整个实体词汇表（在我们的情况下超过70万个类）上的每个标记分类。我们在一个实体链接基准上表明：（i）该模型改进了普通BERT的实体表示，（ii）它优于单独优化任务的实体链接架构，以及（iii）它仅次于当前最先进的技术，即联合提到检测和实体消歧。此外，我们调查的有用性的实体感知令牌表示的文本理解基准GLUE，以及问答基准SQUAD V2和SWAG和EN-DE WMT 14机器翻译基准。令我们惊讶的是，我们发现这些基准测试中的大多数并没有从额外的实体知识中受益，除了一个具有非常小的训练数据的任务，即GLUE中的RTE任务，它提高了2%。
2020-03-11 cs.CL cs.LG
SpanBERT: Improving Pre-training by Representing and Predicting Spans
Facebook AI Research（Facebook人工智能研究院）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Allen Institute of Artificial Intelligence（艾伦人工智能研究所）
我们提出了SpanBERT，这是一种预训练方法，旨在更好地表示和预测文本的跨度。我们的方法通过以下方式扩展了BERT：（1）掩蔽连续的随机跨度，而不是随机标记，（2）训练跨度边界表示来预测掩蔽跨度的整个内容，而不依赖于其中的单个标记表示。Span BERT始终优于BERT和我们更好的调整基线，在问答和共指消解等跨度选择任务上有很大的收益。特别是，使用与BERT-large相同的训练数据和模型大小，我们的单个模型在SQuAD 1.1和2.0上分别获得94.6%和88.7%的F1。我们还实现了OntoNotes共指消解任务（79.6\% F1）的最新技术水平，在TACRED关系抽取基准测试中表现出色，甚至在GLUE测试中表现出色。
2020-01-18 cs.CL cs.LG
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务，因此我们使用多语言BERT解决了这个问题，该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文，大大提高了单词对齐的准确性。在使用中文，日语，德语，罗马尼亚语，法语和英语之间的五个单词对齐数据集的实验中，我们表明，所提出的方法显着优于以前的监督和无监督的单词对齐方法，而无需使用任何双文本进行预训练。例如，我们对中英文数据的F1得分为86.7，比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
University of California at Berkeley（加州大学伯克利分校）
基于Transformer的架构已经成为用于一系列自然语言处理任务的事实模型。特别是，基于BERT的模型在GLUE任务、CoNLL-03和SQuAD中实现了显著的精度增益。然而，基于BERT的模型具有过高的内存占用和延迟。因此，在资源受限的环境中部署基于BERT的模型已成为一项具有挑战性的任务。在这项工作中，我们进行了广泛的分析微调BERT模型使用二阶海森信息，我们使用我们的研究结果提出了一种新的方法量化BERT模型，以超低精度。特别是，我们提出了一种新的分组量化方案，我们使用基于Hessian的混合精度方法来进一步压缩模型。我们广泛测试我们提出的方法BERT下游任务的SST-2，MNLI，CoNLL-03，SQuAD。我们可以实现与基线相当的性能，最多$2.3\%$性能降级，甚至具有低至2位的超低精度量化，对应于模型参数的高达$13\times$压缩，以及嵌入表以及激活的高达$4\times$压缩。在所有任务中，我们观察到SQuAD上微调的BERT的性能损失最高。通过探讨基于Hessian的分析以及可视化，我们表明，这是有关的事实，目前的训练/微调策略的BERT不收敛SQuAD。
2019-09-25 cs.CL cs.LG
Learning to Answer by Learning to Ask: Getting the Best of GPT-2 and BERT Worlds
SAP Machine Learning Research（SAP机器学习研究院）
自动问题生成的目的是从上下文中生成问题，相应的答案是给定段落的子跨度。然而，大多数方法主要依赖于启发式规则来生成问题，最近还提出了神经网络方法。在这项工作中，我们提出了一个变体的自我注意力Transformer网络架构模型，以产生有意义的和多样化的问题。为此，我们提出了一个易于使用的模型，该模型由Transformer解码器GPT-2模型与Transformer编码器BERT的结合组成，用于问答的下游任务。该模型以端到端的方式被训练，其中语言模型被训练以产生问题-答案感知的输入表示，该输入表示有助于生成答案集中的问题。我们从SQuAD 1.1数据集上的文本生成神经问题的结果表明，我们的方法可以生成语义正确和多样化的问题。此外，我们评估了我们所提出的方法的下游任务的问答的性能。分析表明，我们提出的生成和回答协作框架相对提高了这两个任务，特别是在半监督设置强大。研究结果进一步表明，一个强大的和简洁的管道，促进小数据制度的问题生成。
2019-11-06 cs.AI cs.CL cs.LG
schuBERT: Optimizing Elements of BERT
Amazon AWS（亚马逊AWS）
Transformers \citep{vaswani2017attention}已逐渐成为许多最先进的自然语言表示模型的关键组件。最近基于Transformer的模型-BERT \citep{devlin2018bert}在各种自然语言处理任务上取得了最先进的结果，包括GLUE、SQuAD v1.1和SQuAD v2.0。然而，该模型在计算上是禁止的，并且具有大量的参数。在这项工作中，我们重新审视BERT的架构选择，努力获得一个更轻的模型。我们专注于减少参数的数量，但我们的方法可以应用于其他目标，如FLOP或延迟。我们表明，更有效的光BERT模型可以通过减少算法选择正确的架构设计尺寸，而不是减少Transformer编码器层的数量。特别是，我们的schu BERT在GLUE和SQuAD数据集上为$6.6\%$提供了更高的平均准确度，与具有三个编码器层的BERT相比，同时具有相同数量的参数。
2020-05-09 cs.CL cs.LG
Fine-Tuning BERT for Domain-Specific Question Answering: Toward Educational NLP Resources at University Scale
Dept. of Electronic & Computer Engineering, University of Limerick（电子与计算机工程系，利默里克大学）
本研究通过微调BERT模型，针对大学课程材料开发了首个领域特定问答系统，展示了基础模型在教育领域的应用潜力。
2025-12-04 cs.AI cs.CL
Evaluating Named Entity Recognition: A comparative analysis of mono- and multilingual transformer models on a novel Brazilian corporate earnings call transcripts dataset
Instituto Federal de São Paulo - IFSP（圣保罗联邦教育、科学和技术研究所（IFSP））；Universidade Estadual de Campinas - Unicamp（坎皮纳斯州立大学（Unicamp））
本文通过构建巴西金融NER数据集BraFiNER并比较BERTimbau、PTT5、mBERT和mT5在金融命名实体识别任务上的表现，发现BERT类模型优于T5类模型，且T5类模型易改变货币和百分比数值，强调了金融领域准确性的重要性。
2024-08-30 cs.AI cs.CL cs.LG
Look at the First Sentence: Position Bias in Question Answering
Korea University（高丽大学）
许多提取问答模型被训练来预测答案的开始和结束位置。选择预测答案作为立场主要是因为它的简单性和有效性。在这项研究中，我们假设当答案位置的分布在训练集中高度偏斜时（例如，答案仅存在于每个段落的第k个句子中），将答案预测为位置的QA模型可以学习虚假的位置线索，并且无法在不同的位置给出答案。我们首先在流行的提取QA模型（如Biobox和BERT）中说明这种位置偏差，并彻底研究位置偏差如何通过BERT的每一层传播。为了安全地传递位置信息而没有位置偏差，我们用各种去偏差方法包括熵正则化和偏差集成来训练模型。其中，我们发现使用答案位置的先验分布作为偏差模型在减少位置偏差方面非常有效，当在有偏差的SQuAD数据集上训练时，BERT的性能从37.48%恢复到81.64%。
2021-03-08 cs.CL
Molweni: A Challenge Multiparty Dialogues-based Machine Reading Comprehension Dataset with Discourse Structure
Harbin Institute of Technology（哈尔滨工业大学）；National University of Singapore（新加坡国立大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，对多党对话领域的研究有了相当大的增长。我们提出了Molweni数据集，一个机器阅读理解（MRC）数据集的话语结构建立在多方对话。Molweni的源代码样本来自Ubuntu聊天语料库，包括10，000个对话框，包含88，303个话语。我们在这个语料库上标注了30，066个问题，包括可回答和不可回答的问题。Molweni还在修改的分段话语表示理论（SDRT; Asher et al.，2016）风格，贡献了大规模（78，245注释话语关系）数据来承担多方对话话语解析的任务。我们的实验表明，Molweni对于当前MRC模型来说是一个具有挑战性的数据集：BERT-wwm，一个当前强大的SQuAD 2.0性能，在Molweni的问题上只实现了67.7%的F1，与其SQuAD 2.0性能相比，显著下降了20%以上。
2020-11-07 cs.CL
Synthetic Dataset Creation and Fine-Tuning of Transformer Models for Question Answering in Serbian
School of Electrical Engineering（电气工程学院）；University in Belgrade（贝尔格莱德大学）
本研究采用改进的翻译-对齐-检索方法构建了含8.7万余样本、含两种文字版本的塞尔维亚语最大合成问答数据集SQuAD-sr，微调BERTić模型在XQuAD塞尔维亚语版上取得优于零样本基线的效果，验证了该数据集的可用性。
2024-04-12 cs.CL
A Comparative Study of Transformer-Based Language Models on Extractive Question Answering
University of Arkansas（阿肯色大学）；Army Educational Outreach Program UNITE（陆军教育拓展计划联合项目）
问答（QA）是自然语言处理中的一项任务，在Transformers出现后得到了相当大的发展。QA数据集的数量激增，这些数据集被提出来挑战自然语言处理模型，以提高人类和现有模型的性能。许多预先训练的语言模型已被证明在提取问答任务中非常有效。然而，普遍性仍然是大多数这些模型的一个挑战。也就是说，一些数据集需要模型比其他数据集更多地进行推理。在本文中，我们训练各种预先训练的语言模型，并在不同难度的多个问答数据集上对其进行微调，以确定哪些模型能够在不同数据集上最全面地推广。此外，我们提出了一种新的架构BERT-BiLSTM，并将其与其他语言模型进行比较，以确定增加更多的双向性是否可以提高模型性能。使用F1分数作为我们的度量标准，我们发现RoBERTa和BART预训练模型在所有数据集上表现最好，并且我们的BERT-BiLSTM模型优于基线BERT模型。
2021-10-07 cs.CL
UQuAD1.0: Development of an Urdu Question Answering Training Data for Machine Reading Comprehension
近年来，低资源的机器阅读理解（MRC）取得了显著的进展，模型在各种语言数据集上都取得了显著的性能。然而，这些模型都没有为乌尔都语定制。这项工作探索了半自动创建乌尔都语问答数据集（UQuAD 1.0），将机器翻译的SQuAD与来自维基百科文章的人工生成样本和来自剑桥O级书籍的乌尔都语RC样本相结合。UQuAD 1.0是一个大规模的乌尔都语数据集，用于提取机器阅读理解任务，由49 k个问题答案对组成，包括问题，段落和答案格式。在UQuAD 1.0中，通过原始SQuAD 1.0的机器翻译生成了45000对QA，通过众包生成了大约4000对QA。在这项研究中，我们使用了两种类型的MRC模型：基于规则的基线和基于高级转换器的模型。然而，我们发现后者的性能优于其他架构;因此，我们决定只关注基于transformer的架构。使用XLMRoBERTa和多语言BERT，我们获得的F1得分分别为0.66和0.63。
2021-11-02 cs.AI cs.CL
Assessing Reliability of BERT-Based Models on Question Answering Tasks
Malaviya National Institute of Technology（马拉维亚国家理工学院）；Central University of Rajasthan（拉贾斯坦中央大学）；University of Ljubljana（卢布尔雅那大学）
本研究评估BERT及其变体在问答任务上的可靠性，发现RoBERTa可靠性更高，ALBERT与DistilBERT存在显著不一致，验证了MCD作为可靠性指标的有效性，强调需同时评估QA模型的准确性与稳定性。
2026-08-12 cs.CL
Improving Question Answering Performance Using Knowledge Distillation and Active Learning
Sharif University of Technology（谢里夫理工大学）；University of Guilan（吉兰大学）；University of Augsburg（奥格斯堡大学）
当代的问答（QA）系统，包括基于变换器的架构，遭受增加的计算和模型复杂性，这使得它们对于具有有限资源的现实世界应用是低效的。此外，训练甚至微调这些模型需要大量的标记数据，这些数据通常无法用于手头的任务。在本文中，我们对上述挑战进行了全面分析，并提出了适当的对策。我们提出了一种新的知识蒸馏（KD）的方法，以减少参数和模型的复杂性的预训练的BERT系统，并利用多个主动学习（AL）的策略，极大地减少注释工作。特别是，我们证明了我们的模型达到了6层TinyBERT和DistilBERT的性能，同时只使用了它们总参数的2%。最后，通过将我们的AL方法集成到BERT框架中，我们表明，当我们只使用20%的训练数据时，可以在SQuAD数据集上实现最先进的结果。
2021-09-26 cs.CL cs.IR cs.LG
Learning to Ask Unanswerable Questions for Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）；Peng Cheng Laboratory（鹏城实验室）
带无法回答问题的机器阅读理解是一项具有挑战性的任务。在这项工作中，我们提出了一个数据增强技术，自动生成相关的无法回答的问题，根据一个可回答的问题与其相应的段落，包含答案配对。我们引入了一个对序列模型无法回答的问题生成，有效地捕捉问题和段落之间的相互作用。我们还提出了一种方法来构建训练数据，我们的问题生成模型，利用现有的阅读理解数据集。实验结果表明，与序列到序列基线相比，配对到序列模型的性能始终更好。我们进一步使用自动生成的无法回答的问题作为SQuAD 2.0数据集上的数据增强的手段，使用BERT基础模型产生1.9的绝对F1改进，使用BERT大型模型产生1.7的绝对F1改进。
2019-06-14 cs.CL
Adapting and evaluating a deep learning language model for clinical why-question answering
Mayo Clinic（梅奥诊所）；Suez Canal University（苏伊士运河大学）
目的：调整和评估深度学习语言模型，以基于患者特定的临床文本回答为什么问题。材料与方法：使用不同的数据源训练来自Transformers（BERT）模型的双向编码器表示，以对临床笔记执行SQuAD 2.0风格的why-问答（why-QA）。评估的重点是：1）比较不同训练数据的优点，2）误差分析。结果：最佳模型的准确度为0.707（部分匹配为0.760）。针对临床语言定制的培训有助于提高6%的准确性。讨论内容：错误分析表明，该模型并没有真正执行深度推理，临床why-QA可能需要更复杂的解决方案。结论：BERT模型在临床why-QA中达到了中等准确度，应该从快速发展的技术中受益。尽管存在已识别的局限性，但它可以作为问题驱动的临床信息抽取的合格代理。
2019-11-13 cs.CL
Deep Learning Based Dense Retrieval: A Comparative Study
Georgia Institute of Technology（佐治亚理工学院）
本文比较 BERT、DPR、Contriever、SimCSE 与 ANCE 在分词器投毒下的表现，发现监督模型更脆弱、微小扰动即可显著降低检索准确率。
2024-10-27 cs.AI cs.CL
Improving Extraction of Clinical Event Contextual Properties from Electronic Health Records: A Comparative Study
King’s College London（伦敦国王学院）；Guy’s and St Thomas’ NHS Foundation Trust（盖伊和圣托马斯 NHS 基金会信托）；King’s College Hospital NHS Foundation Trust（国王学院医院 NHS 基金会信托）；University College London（伦敦大学学院）；Health Data Research UK London（英国健康数据研究伦敦中心）
本文比较多种医学文本分类模型，发现结合类别不平衡缓解技术的 BERT 在少数类别召回率上显著优于 Bi-LSTM 和基线 BERT，并已集成到 CogStack/MedCAT 框架中。
2024-08-30 cs.CL
Uncertainty-aware Language Modeling for Selective Question Answering
Themis AI Inc（泰米斯人工智能公司）
提出一种自动、与模型和数据无关的LLM转换方法，使模型能在每次预测时估计不确定性，并在选择性问答任务中通过弃权（不执行）机制显著提升准确率。
2023-11-26 cs.CL cs.LG
Pre-trained Transformer-Based Approach for Arabic Question Answering : A Comparative Study
本研究评估了三种预训练Transformer模型在四个阿拉伯语阅读理解数据集上的问答性能，通过微调比较并分析低性能原因，以推动阿拉伯语问答研究。
2025-08-05 cs.CL
Systematic Comparative Analysis of Large Pretrained Language Models on Contextualized Medication Event Extraction
Center of Excellence in Research and Education for Big Military Data Intelligence (CREDIT Center)（大数据智能卓越研究中心（CREDIT中心））；Department of Electrical and Computer Engineering（电气与计算机工程系）；Prairie View A&M University（普拉提维大学）；Texas A&M University System（德克萨斯A&M大学系统）
本研究系统比较多种预训练语言模型在电子健康记录上抽取用药事件及其情境信息的效果，发现临床预训练模型擅长检测用药事件，而通用预训练的Bert Base在情境分类上最优。
2025-09-23 cs.AI cs.CL
Harvesting and Refining Question-Answer Pairs for Unsupervised QA
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）
由于大规模数据集的可用性和神经模型的有效性，问答（QA）已经取得了巨大的成功。最近的研究工作试图将这些成功扩展到很少或没有标记数据的设置。在这项工作中，我们介绍了两种方法来提高无监督QA。首先，我们从维基百科上收集词汇和句法上不同的问题，以自动构建一个问答对语料库（命名为RefQA）。其次，我们利用QA模型来提取更合适的答案，从而通过RefQA迭代地细化数据。我们在SQuAD 1.1和NewsQA上进行实验，通过微调BERT，而无需访问手动注释的数据。我们的方法比以前的无监督方法有很大的优势，并且与早期的监督模型具有竞争力。我们还展示了我们的方法在少样本学习环境中的有效性。
2020-05-06 cs.CL
Utilizing Large Language Models for Named Entity Recognition in Traditional Chinese Medicine against COVID-19 Literature: Comparative Study
China Academy of Chinese Medical Sciences（中国中医科学院）；GESIS—Leibniz Institute for the Social Sciences（GESIS——莱布尼茨社会科学研究所）；University of Bonn（波恩大学）；Capital Medical University（首都医科大学）
本研究比较了ChatGPT等LLMs与BERT模型在中医药抗COVID-19文献NER任务中的表现，发现LLMs性能因实体类型和场景而异，GPT-4在模糊匹配上占优，但严谨场景下均非理想工具。
2024-08-24 cs.CL cs.IR
Frustratingly Easy Natural Question Answering
IBM Research AI（IBM研究院AI）
现有的关于问答（QA）的文献主要集中在算法新颖性、数据增强或越来越大的预训练语言模型（如XLNet和RoBERTa）上。此外，QA排行榜上的许多系统没有相关的研究文档，以便成功复制他们的实验。在本文中，我们概述了这些算法组件，例如Attention-over-Attention，再加上数据增强和集成策略，这些策略已被证明可以在SQuAD等基准数据集上产生最先进的结果，甚至实现超人的性能。与这些先前的结果相反，当我们对最近提出的Natural Questions基准数据集进行评估时，我们发现一种非常简单的BERT迁移学习方法的性能优于以前的最先进的系统，该系统比我们多训练了400万个样本，比我们多1.9个F1点。增加组合策略进一步提高了2.3个F1点。
2019-09-11 cs.CL
A Comparative Study of Lexical Substitution Approaches based on Neural Language Models
Samsung R&D Institute Russia（三星俄罗斯研发研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
上下文中的词汇替换是一种非常强大的技术，可以用作各种NLP应用程序的骨干，如词义归纳，词汇关系抽取，数据增强等。在本文中，我们提出了一个大规模的比较研究流行的神经语言和掩蔽语言模型（LMs和MLMs），如context 2 vec，ELMo，BERT，XLNet，适用于词汇替换的任务。我们表明，已经取得的SOTA LMs/MLMs的竞争力的结果，可以进一步提高，如果有关目标字的信息被适当地注入，并比较几个目标注入方法。此外，我们提供了不同的模型生成的目标和替代品之间的语义关系的类型的分析，提供洞察到什么样的话是真正生成或注释者作为替代品。
2020-05-29 cs.CL
Transformer Enhanced Relation Classification: A Comparative Analysis of Contextuality, Data Efficiency and Sequence Complexity
University of Manchester（曼彻斯特大学）
本文对比了Transformer与非Transformer架构在关系分类中的性能，发现Transformer模型在micro F1等指标上显著优于非Transformer模型，并回顾了监督关系分类的研究历程及大语言模型的作用。
2025-09-14 cs.AI cs.CL
A Comparative Analysis of Static Word Embeddings for Hungarian
Faculty of Natural Sciences, Budapest University of Technology and Economics（自然科学系，布达佩斯技术大学和经济学院）
本文系统比较匈牙利语传统静态词嵌入与从 BERT、ELMo 提取的静态表示，通过词类比及 NER、POS 任务揭示 FastText 与 X2Static、ELMo 的各自优势。
2025-05-12 cs.AI cs.CL
A Lightweight Method to Generate Unanswerable Questions in English
Saarland University（萨尔兰大学）
本文提出一种无需训练的轻量级数据增强方法，通过对可回答问题进行反义词和实体替换生成不可回答问题，在 SQuAD 2.0 和 TydiQA-MinSpan 上以 BERT-large 分别提升 1.6 和 9.3 个 F1 点，证明简单替换即可作为强基线。
2023-10-30 cs.CL
MaP: A Matrix-based Prediction Approach to Improve Span Extraction in Machine Reading Comprehension
School of Information Science and Technology, Southwest Jiaotong University（西南交通大学信息科学与技术学院）；Microsoft Cognitive Services Research Group（微软认知服务研究组）；Microsoft STCA NLP Group（微软STCA自然语言处理组）
广度抽取是机器阅读理解中的一个基本问题。现有的算法大多通过生成两个概率向量来预测答案跨度在给定的相应上下文中的开始和结束位置。在本文中，我们提出了一种新的方法，扩展的概率向量的概率矩阵。这样的矩阵可以覆盖更多的开始-结束位置对。准确地说，对于每个可能的开始索引，该方法总是生成结束概率向量。此外，我们提出了一种基于采样的训练策略，以解决矩阵训练阶段的计算成本和内存问题。我们评估我们的方法SQuAD 1.1和其他三个问答基准。利用最具竞争力的模型BERT和Bioblog作为骨干，我们提出的方法可以在所有数据集上得到一致的改进，证明了所提出的方法的有效性。
2020-09-29 cs.CL
Finnish SQuAD: A Simple Approach to Machine Translation of Span Annotations
University of Turku（图尔库大学）；TurkuNLP（图尔库自然语言处理实验室）
本文提出利用 DeepL MT 翻译格式化文档以迁移跨度标注的简单方法，构建芬兰语 SQuAD2.0 并训练 QA 模型，通过多种评估验证其数据质量与可推广性。
2025-01-10 cs.CL
EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up Knowledge Distillation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；DarkMatter AI Research（暗物质人工智能研究院）
预训练的语言模型在各种NLP任务中表现出了显着的效果。然而，由于它们体积庞大，推理速度慢，很难在边缘设备上部署它们。在本文中，我们有一个关键的洞察力，改善前馈网络（FFN）在BERT有一个更高的增益比改善多头注意力（MHA），因为FFN的计算成本是2 $\sim$ 3倍大于MHA。因此，紧凑的BERT，我们致力于设计高效的FFN，而不是以前的作品，注意MHA。由于FFN包括一个多层感知器（MLP），这是必不可少的BERT优化，我们进一步设计了一个彻底的搜索空间向先进的MLP和执行一个由粗到细的机制，以寻找一个有效的BERT架构。此外，为了加快搜索速度和增强模型的可移植性，我们在每个搜索阶段采用了一种新的预热知识蒸馏策略。大量的实验表明，我们所搜索的EfficientBERT是6.9 $\times$小，4.4 $\times$快于BERT $\rm_{BASE}$，并具有竞争力的性能在GLUE和SQuAD基准。具体而言，即使没有数据增强，EfficientBERT在GLUE \emph{test}上的平均得分为77.7，比MobileBERT $\rm_{TINY}$高0.7，在SQuAD v1.1/v2.0 \emph{dev}上的F1得分为85.3/74.5，比TinyBERT $_4$高3.2/2.7。该代码在https://github.com/cheneydon/effi…
2021-09-16 cs.AI cs.CL cs.LG
Deep Learning for Medical Text Processing: BERT Model Fine-Tuning and Comparative Study
Tulane University（杜兰大学）；Northeastern University（东北大学）；San Francisco State University（旧金山州立大学）；Brandeis University（布兰迪斯大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对医学信息爆炸下的文献摘要需求，本文微调并优化 BERT，比较多种模型，验证其在 Rouge 和 Recall 上的优势及知识蒸馏潜力。
2024-10-28 cs.CL cs.LG
Non-Contextual BERT or FastText? A Comparative Analysis
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；L3Cube Labs（L3Cube实验室）
本文针对马拉地语低资源 NLP，比较 MuRIL、MahaBERT 的非上下文嵌入与 IndicFT、MahaFT 及其上下文、压缩变体，发现首层非上下文 BERT 嵌入优于 FastText。
2025-02-20 cs.CL cs.LG
Efficient Fine-Tuning Methods for Portuguese Question Answering: A Comparative Study of PEFT on BERTimbau and Exploratory Evaluation of Generative LLMs
Institute of Science and Technology（科学技术研究院）；Federal University of São Paulo (UNIFESP)（圣保罗联邦大学）
本文比较了PEFT在BERTimbau上的表现，并探索了生成式LLMs在葡萄牙问答任务中的效果，发现PEFT方法在计算成本上更高效，适合可持续发展。
2026-03-22 cs.AI cs.CL cs.LG
Comparative Study of Pre-Trained BERT Models for Code-Mixed Hindi-English Data
Pune Institute of Computer Technology（浦那计算机技术学院）
本文对比了多种预训练Transformer模型在低资源印地语-英语代码混合任务上的表现，发现专门在真实代码混合文本上预训练的HingBERT系列模型显著优于普通BERT等模型，并在情感分析、情绪识别和仇恨言论识别等任务上取得最先进结果。
2023-05-26 cs.CL cs.LG
Accelerated Large Batch Optimization of BERT Pretraining in 54 minutes
Amazon Web Services（亚马逊云科技）
BERT最近在自然语言理解（NLU）领域引起了广泛的关注，并在各种NLU任务中取得了最先进的结果。然而，它的成功需要大的深度神经网络和大量的数据，这导致训练时间长，阻碍了开发进度。使用随机梯度方法与大的小批量一直提倡作为一种有效的工具，以减少训练时间。沿着这条研究路线，LAMB是一个突出的例子，它将TPUv3 Pod上的BERT训练时间从3天减少到76分钟。在本文中，我们提出了一种加速梯度方法称为LANS，以提高使用大的小批量训练的效率。由于学习率在理论上由函数的Lipschitz常数的倒数限定上限，因此不能总是通过选择较大的学习率来减少优化迭代的次数。为了使用更大的小批量而不损失精度，我们开发了一种新的学习率调度器，克服了使用大学习率的困难。使用所提出的LANS方法和学习率方案，我们在BERT预训练的第1和第2阶段分别将小批量大小扩大到96K和33K。在SQuAD v1.1上，192个AWS EC2 P3dn.24xlarge实例需要54分钟才能达到90.5或更高的目标F1分数，实现了云中最快的BERT训练时间。
2020-09-18 cs.CL cs.DC cs.LG
BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study
COEP Technological University（COEP理工大学）
本文评估BERTopic结合6种文档嵌入模型在印地语短文本上的主题建模效果，并与8种传统方法比较，发现其主题一致性表现持续最优。
2025-01-07 cs.CL cs.IR cs.LG
Comparative Study of Pre-Trained BERT and Large Language Models for Code-Mixed Named Entity Recognition
Dept. of Computer Engineering, Pune Institute of Computer Technology, Pune, India（计算机工程系，普那计算机技术研究所，普那，印度）；Indian Institute of Technology Madras, Chennai, India（印度理工学院马德拉斯学院，钦奈，印度）；L3Cube Labs, Pune, Maharashtra, India（L3Cube实验室，普那，马哈拉施特拉邦，印度）
本研究对比了语码混合预训练模型、多语言预训练模型及零样本大语言模型在印地语-英语混合语NER任务上的表现，发现专用语码混合模型性能最优，同时验证了大语言模型的零样本泛化潜力。
2025-09-02 cs.CL cs.LG
Fake News Detection: Comparative Evaluation of BERT-like Models and Large Language Models with Generative AI-Annotated Data
Vector Institute（向量研究院）；Toronto Metropolitan University（多伦多都会大学）
本研究比较了BERT-like模型与LLMs在假新闻检测中的表现，引入GPT-4标注并经人工验证的数据集进行微调，发现BERT-like模型分类更优而LLMs鲁棒性更强，且AI结合人工监督的标签效果优于弱标签。
2024-12-20 cs.AI cs.CL
Sentiment Classification of Gaza War Headlines: A Comparative Analysis of Large Language Models and Arabic Fine-Tuned BERT Models
Anmat Media
本文通过加沙战争头条数据，比较大型语言模型与阿拉伯语微调BERT模型在情感分类中的表现，揭示模型架构对情感解读的影响及系统性差异。
2026-03-18 cs.CL cs.LG
Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa
该研究针对文本摘要任务，对比分析BERT、RoBERTa、BART三款Transformer模型的架构、预训练策略及在抽取式、生成式摘要任务中的适用性，为相关应用提供参考。
2026-08-21 cs.AI cs.CL
A Comparative Study on COVID-19 Fake News Detection Using Different Transformer Based Models
Ahsanullah University of Science and Technology（阿赫桑努拉科技大学）；Brac University（BRAC大学）
本研究比较了BERT、ALBERT、RoBERTa等五种基于Transformer的模型在COVID-19假新闻数据集上的检测性能，发现RoBERTa在真实和虚假类别中均达到0.98的F1分数，表现最佳。
2022-08-02 cs.CL cs.LG
Comparative Evaluation of Expressive Japanese Character Text-to-Speech with VITS and Style-BERT-VITS2
Columbia University, RoleGaku（哥伦比亚大学、RoleGaku）；Columbia University（哥伦比亚大学）
本文比较了VITS和Style-BERT-VITS2 JP Extra在生成表达性日语字符语音中的表现，发现SBV2JE在自然度和可懂度方面表现更优，适用于语言学习和角色对话生成。
2025-11-30 cs.CL cs.SD eess.AS
Bridging the gap in online hate speech detection: a comparative analysis of BERT and traditional models for homophobic content identification on X/Twitter
University of Limerick（利默里克大学）
本研究针对在线仇恨言论检测中恐同内容研究不足的问题，对比BERT与传统模型在X/Twitter恐同内容识别的性能，发布最大规模相关开源英文数据集，为提升在线包容性及后续仇恨言论分析研究奠定基础。
2024-05-15 cs.AI cs.CL cs.LG
EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）
严重过度参数化的语言模型，如BERT，XLNet和T5，在许多NLP任务中取得了令人印象深刻的成功。然而，它们的高模型复杂性需要巨大的计算资源和极长的训练时间来进行预训练和微调。许多工作已经研究了大型NLP模型上的模型压缩，但仅关注于减少推理时间，同时仍然需要昂贵的训练过程。其他作品使用非常大的批量来缩短预训练时间，代价是更高的计算资源需求。在本文中，受最近研究的计算机视觉任务的早鸟彩票的启发，我们提出了EarlyBERT，一种通用的计算效率高的训练算法，适用于大规模语言模型的预训练和微调。通过精简Transformer内部的自注意力和全连接子层，我们是第一个在BERT训练的早期阶段识别结构化中奖彩票的人。我们将这些票应用于有效的BERT训练，并对GLUE和SQuAD下游任务进行全面的预训练和微调实验。我们的实验结果表明，EarlyBERT达到了与标准BERT相当的性能，而训练时间减少了35~45%。代码可在https://github.com/VITA-Group/EarlyBERT上获得。
2021-06-07 cs.AI cs.CL
