Mono vs Multilingual BERT: A Case Study in Hindi and Marathi Named Entity Recognition
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
命名实体识别（NER）是对文本中的重要信息（实体）进行识别和分类的过程。专有名词，如人名、组织名称或位置名称，都是实体的示例。NER是人力资源、客户支持、搜索引擎、内容分类和学术界等应用程序中的重要模块之一。在这项工作中，我们考虑NER为低资源的印度语言，如印地语和马拉地语。基于transformer的模型已被广泛用于NER任务。我们考虑不同的变化BERT像基地BERT，RoBERTa，和Al BERT和基准他们公开可用的印地语和马拉地语NER数据集。我们提供了一个详尽的比较不同的单语和多语种的转换器为基础的模型，并建立简单的基线目前在文献中缺失。我们发现，单语MahaRoBERTa模型表现最好的马拉地语NER，而多语言XLM-RoBERTa表现最好的印地语NER。我们还进行跨语言评估，并提出混合观察。
2022-03-24 cs.CL cs.LG
Assessing Reliability of BERT-Based Models on Question Answering Tasks
Malaviya National Institute of Technology（马拉维亚国家理工学院）；Central University of Rajasthan（拉贾斯坦中央大学）；University of Ljubljana（卢布尔雅那大学）
本研究评估BERT及其变体在问答任务上的可靠性，发现RoBERTa可靠性更高，ALBERT与DistilBERT存在显著不一致，验证了MCD作为可靠性指标的有效性，强调需同时评估QA模型的准确性与稳定性。
2026-08-12 cs.CL
ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering
Seoul National University（首尔国立大学）；Hanshin University（韩神大学）
最近，预先训练的语言表示模型，如来自transformers的双向编码器表示（BERT），在常识问答（CSQA）中表现良好。然而，存在的问题是，模型不直接使用外部存在的知识源的显式信息。为了增强这一点，已经提出了其他方法，例如知识感知图网络（KagNet）和多跳图关系网络（MHGRN）。在这项研究中，我们建议使用最新的预训练的语言模型，一个精简的双向编码器表示从变压器（ALBERT）与知识图谱信息抽取技术。我们还提出了新的方法，模式图扩展到最近的语言模型。然后，我们分析了基于知识图谱的知识抽取技术应用于最近的预训练语言模型的效果，并证实模式图扩展在一定程度上是有效的。此外，我们表明，我们提出的模型可以实现更好的性能比现有的KagNet和MHGRN模型在CommonsenseQA数据集。
2022-11-14 cs.AI cs.CL
BERTology Meets Biology: Interpreting Attention in Protein Language Models
Salesforce Research（Salesforce研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Transformer架构已被证明可以学习用于蛋白质分类和生成任务的有用表示。然而，这些表示在可解释性方面提出了挑战。在这项工作中，我们展示了一套方法来分析蛋白质Transformer模型，通过镜头的注意。我们表示关注：（1）捕获蛋白质的折叠结构，连接在基础序列中相距较远但在三维结构中空间上接近的氨基酸，（2）靶向结合位点，蛋白质的关键功能组分，以及（3）随着层深度的增加，关注逐渐更复杂的生物物理特性。我们发现这种行为在三种Transformer架构（BERT，AL BERT，XLNet）和两种不同的蛋白质数据集上是一致的。我们还提出了一个三维可视化的注意力和蛋白质结构之间的相互作用。可视化和分析代码可在https://github.com/salesforce/provis上获得。
2021-03-28 cs.CL cs.LG q-bio.BM
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks
Samsung SDS（三星SDS）
来自预训练的语言模型的上下文表示是实现下游NLP任务的高性能的核心。预训练的BERT和A Lite BERT（ALBERT）模型可以进行微调，以在语义文本相似性（STS）和自然语言推理（NLI）等配对回归中给出最先进的结果。虽然基于BERT的模型产生的[CLS]令牌向量作为一个合理的句子嵌入，寻找一个最佳的句子嵌入计划仍然是一个活跃的研究领域，在计算语言学。本文探讨了BERT和ALBERT的句子嵌入模型。特别地，我们采用具有连体和三重网络结构的修改的BERT网络，称为句子-BERT（SBERT），并用AL BERT替换BERT，以创建句子-AL BERT（SAL BERT）。我们还对SBERT和SALBERT的外部CNN嵌入式网络进行了实验。我们使用STS和NLI数据集评估所有嵌入模型的性能。实证结果表明，我们的CNN架构改善ALBERT模型大大超过BERT模型的STS基准。尽管模型参数明显较少，但ALBERT句子嵌入在下游NLP评估中与BERT相比具有很强的竞争力。
2021-01-26 cs.AI cs.CL
Optimizing small BERTs trained for German NER
University of Rostock（罗斯托克大学）；Institute of Mathematics（数学研究所）；Planet AI GmbH（Planet AI 公司）
目前，用于训练语言模型的最广泛的神经网络架构是所谓的BERT，其导致各种自然语言处理（NLP）任务的改进。一般来说，BERT模型中的参数越多，在这些NLP任务中获得的结果就越好。不幸的是，内存消耗和训练持续时间随着这些模型的大小而急剧增加。在本文中，我们研究了较小的BERT模型的各种训练技术：我们结合了其他BERT变体（如ALBERT、RoBERTa和相对位置编码）的不同方法。此外，我们提出了两个新的微调修改，导致更好的性能：类开始结束标记和修改形式的线性链条件随机场。此外，我们还引入了全字注意力，与经典的多头注意力相比，它减少了BERT的内存使用，并导致性能的小幅提高。我们评估这些技术的五个公共德国命名实体识别（NER）的任务，其中两个介绍了本文。
2021-11-01 cs.AI cs.CL
ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文介绍了我们的系统SemEval-2021的任务4：阅读理解的抽象意义（ReCAM）。我们参与了所有的子任务，主要目标是预测一个陈述中缺少的抽象词。我们微调了预先训练的掩蔽语言模型，即BERT和AL BERT，并将其作为我们在子任务1（ReCAM-不可感知性）和子任务2（ReCAM-非特异性）上提交的系统。对于子任务3（ReCAM-Intersection），我们提交了ALBERT模型，因为它给出了最好的结果。我们尝试了多种方法，发现基于Masked Language Modeling（MLM）的方法效果最好。
2021-04-04 cs.AI cs.CL cs.LG
Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition
Texas A&M University（德克萨斯农工大学）；Fudan University（复旦大学）
疾病的知识包括疾病的各个方面的信息，例如体征和症状，诊断和治疗。这种疾病知识对于许多健康相关和生物医学任务至关重要，包括消费者健康问答、医学语言推理和疾病名称识别。虽然像BERT这样的预训练语言模型在从文本中捕获语法、语义和世界知识方面取得了成功，但我们发现它们可以通过症状、诊断、治疗和其他疾病方面的知识等特定信息来进一步补充。因此，我们将BERT与疾病知识相结合，以改善这些重要的任务。具体而言，我们提出了一个新的疾病知识注入训练过程，并评估了一套BERT模型，包括BERT，BioBERT，SciBERT，ClinicalBERT，BlueBERT，和ALBERT。三个任务的实验表明，这些模型几乎在所有情况下都可以得到增强，证明了疾病知识注入的可行性。例如，BioBERT对消费者健康问答的准确率从68.29%提高到72.09%，同时在两个数据集中观察到新的SOTA结果。我们免费提供我们的数据和代码。
2020-10-08 cs.CL
SplaXBERT: Leveraging Mixed Precision Training and Context Splitting for Question Answering
National University of Singapore, School of Computing（新加坡国立大学计算机学院）
本研究提出基于ALBERT-xlarge的SplaXBERT模型，结合上下文切分与混合精度训练，在SQuAD v1.1长文本问答任务中准确率与资源效率均优于传统BERT类模型。
2024-12-07 cs.CL cs.LG
Grid Search Hyperparameter Benchmarking of BERT, ALBERT, and LongFormer on DuoRC
University of California Merced（加州大学默塞德分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
该项目的目的是在名为DuoRC的问答数据集上评估名为BERT、ALBERT和LongFormer的三种语言模型。语言模型任务有两个输入，一个问题和一个上下文。上下文是一个段落或整个文档，而输出是基于上下文的答案。目标是使用DuoRC执行网格搜索超参数微调。模型的预训练权重取自Huggingface库。不同的超参数集用于使用两个版本的DuoRC（SelfRC和ParaphraseRC）对模型进行微调。结果显示，ALBERT（使用SQuAD 1数据集进行预训练）在SelfRC数据集上进行微调后，F1得分为76.4，准确度得分为68.52。Longformer模型（使用SQuAD和SelfRC数据集进行预训练）在ParaphraseRC数据集上进行微调后，F1得分为52.58，准确度得分为46.60。当前结果优于DuoRC先前模型的结果。
2021-03-29 cs.CL cs.LG
Floods Relevancy and Identification of Location from Twitter Posts using NLP Techniques
DCSE, University of Engineering and Technology, Peshawar, Pakistan（巴基斯坦白沙瓦工程与技术大学DCSE）；Abasyn University Islamabad Campus, Pakistan（巴基斯坦阿巴辛大学伊斯兰堡校区）；Department of AI, AJOU University, South Korea（韩国亚洲大学人工智能系）；Department of Computer Science, Munster Technological University, Cork, Ireland（爱尔兰科克芒斯特理工大学计算机科学系）
本文介绍了我们在DisasterMM上的MediaEval 2022任务的解决方案。该任务由两个子任务组成，即（i）Twitter帖子的相关性分类（RCTP）和（ii）从Twitter文本中提取位置（LETT）。RCTP子任务旨在区分洪水相关和非相关社交帖子，而LETT是命名实体识别（NER）任务，旨在从文本中提取位置信息。对于RCTP，我们提出了基于BERT、RoBERTa、Distil BERT和AL BERT的四种不同的解决方案，分别获得了0.7934、0.7970、0.7613和0.7924的F1分数。对于LETT，我们使用了三个模型，即BERT、RoBERTa和Distil BERTa，分别获得了0.6256、0.6744和0.6723的F1分数。
2023-01-01 cs.CL
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Google Research（谷歌研究院）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
在预训练自然语言表示时增加模型大小通常会提高下游任务的性能。然而，在某些时候，由于GPU/TPU内存限制和较长的训练时间，进一步的模型增加变得更加困难。为了解决这些问题，我们提出了两个参数减少技术，以降低内存消耗，提高BERT的训练速度。综合的经验证据表明，我们提出的方法导致模型的规模比原来的BERT更好。我们还使用了一个自我监督的损失，专注于建模句间连贯性，并表明它始终有助于下游任务与多句输入。因此，我们的最佳模型在GLUE、RACE和\squad基准测试中建立了新的最先进的结果，同时与BERT-large相比具有更少的参数。代码和预训练模型可在https://github.com/google-research/ALBERT上获得。
2020-02-09 cs.AI cs.CL
KoreALBERT: Pretraining a Lite BERT Model for Korean Language Understanding
Samsung SDS（三星SDS）
Lite BERT（ALBERT）已经被引入以扩展用于自然语言的深度双向表示学习。由于缺乏针对韩语的预训练的ALBERT模型，最佳实践是多语言模型或诉诸于任何其他基于BERT的模型。在本文中，我们开发和预训练KoreALBERT，一个单语ALBERT模型，专门为韩国语言理解。我们引入了一个新的训练目标，即词序预测（WOP），并与现有的MLM和SOP标准一起使用相同的架构和模型参数。尽管模型参数明显较少（因此，训练更快），但我们预先训练的KoreAL BERT在6个不同的NLU任务上优于其BERT对应物。与Lan等人的英语经验结果一致，KoreALBERT似乎可以提高涉及韩语多句编码的下游任务性能。预先训练的KoreALBERT是公开的，以鼓励韩国NLP的研究和应用开发。
2021-01-27 cs.CL cs.LG
Elbert: Fast Albert with Confidence-Window Based Early Exit
Nanjing University（南京大学）
尽管在自然语言处理（NLP）领域取得了巨大的成功，但由于大量的参数和缓慢的推理速度，像BERT这样的大型预训练语言模型并不适合资源受限或实时应用。近年来，压缩和加速BERT已成为重要的课题。通过引入参数共享策略，ALBERT大大减少了参数的数量，同时实现了具有竞争力的性能。尽管如此，ALBERT仍然遭受了很长的推理时间。在这项工作中，我们提出了ELBERT，由于所提出的基于置信窗口的早期退出机制，与ALBERT相比，它显着提高了平均推理速度，而不引入额外的参数或额外的训练开销。实验结果表明，ELBERT实现了自适应推理加速从2 $\times$到10 $\times$与ALBERT相比，在各种数据集上的精度下降可以忽略不计。此外，ELBERT比现有的提前退出方法加速BERT在相同的计算成本下，实现了更高的精度。此外，为了理解提前退出机制的原理，我们还在ELBERT中可视化了提前退出机制的决策过程。
2021-07-01 cs.CL
Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation
Amazon（亚马逊）
对于自监督语音处理，使用预训练模型作为语音表示提取器至关重要。在最近的工作中，增加模型的大小已被用于声学模型训练，以实现更好的性能。在本文中，我们提出了音频ALBERT，一个精简版的自监督语音表示模型。我们使用的表示与两个下游的任务，说话人识别和音素分类。我们表明，音频ALBERT是能够实现具有竞争力的性能与这些巨大的模型在下游的任务，同时利用91%的参数少。此外，我们使用一些简单的探测模型来衡量有多少说话人和音素的信息被编码在潜在的表征。在探测实验中，我们发现潜在表征比最后一层包含了更丰富的音素和说话人信息。
2021-05-03 cs.CL cs.SD eess.AS
Transient Chaos in BERT
The University of Tokyo（东京大学）
语言是人类复杂的、动态的交互活动的产物，因此自然语言处理技术是建立在人类语言活动的基础上的。来自Transformers的双向编码器表示（BERT）最近通过在几个NLP基准测试中建立最先进的分数而受到欢迎。Lite BERT（ALBERT）的字面特征是BERT的轻量级版本，其中通过重复应用称为Transformer的编码器层的相同神经网络来减少BERT参数的数量。通过使用大量自然语言数据预训练参数，ALBERT可以将输入句子转换为通用的高维向量，从而有可能解决多个NLP任务。从这个意义上说，ALBERT可以被看作是一个设计良好的高维动力系统，其算子是Transformer的编码器，因此人类语言的基本结构有望被封装在其动力学。在这项研究中，我们研究了ALBERT的嵌入特性，以揭示如何通过利用其动态来有效地解决NLP任务。因此，我们的目的是探索人类语言的自然语言处理模型的动态表达。我们的短期分析表明，预先训练的模型稳定地产生具有更高维度的轨迹，这将增强NLP任务所需的表达能力。此外，我们的长期分析表明，ALBERT本质上表现出瞬态混沌，这是一种典型的非线性现象，仅在其瞬态中表现出混沌动力学，与随机初始化的模型相比，预训练的ALBERT模型往往会在更长的时间内产生混沌轨迹。我们的研究结果表明，局部混沌性将有助于提高NLP性能，揭示了混沌动力学在人类语言行为中的作用的一个新方面。
2021-06-09 cs.AI cs.CL cs.LG
Measuring Domain Portability and ErrorPropagation in Biomedical QA
Google（谷歌公司）
在这项工作中，我们提出了谷歌提交的BioASQ 7生物医学问答（QA）任务（特别是任务7 b，阶段B）。我们系统的核心是基于BERT QA模型，特别是\cite{alberti2019bert}模型。在这份报告中，通过我们的提交，我们旨在调查两个研究问题。我们首先研究领域可移植性是如何在一般文本上进行预训练和微调的QA系统，例如，Wikipedia.我们通过两个提交来衡量。第一种是非适应模型，它使用公共预训练的BERT模型，并在Natural Questions数据集\cite{kwiatkowski2019natural}上进行微调。第二个系统采用这种非适应模型，并用BioASQ训练数据对其进行微调。接下来，我们研究了端到端检索和QA系统中错误传播的影响。我们再次通过两次提交来测试这一点。第一个使用人类注释的相关文档和片段作为模型的输入，第二个使用预测的文档和片段。我们的主要发现是，域特定的微调可以受益于生物医学QA。然而，最大的质量瓶颈是在检索阶段，当使用非黄金输入到QA模型时，我们看到度量的大幅下降-超过10 pts绝对值。
2019-09-24 cs.AI cs.CL cs.LG
Transformers: "The End of History" for NLP?
HSE University（高等经济大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
神经架构的最新进展，如Transformer，加上大规模预训练模型（如BERT）的出现，彻底改变了自然语言处理（NLP）领域，推动了许多NLP任务的发展。已经提出了这些模型的丰富的变体系列，例如RoBERTa，ALBERT和XLNet，但从根本上讲，它们在对某些类型的信息建模的能力方面仍然有限，并且它们无法处理某些信息源，这对于先前存在的模型来说很容易。因此，在这里，我们的目标是阐明一些重要的理论限制的预训练的BERT风格的模型，这是固有的一般Transformer架构。首先，我们在实践中证明了两种一般类型的任务-分割和段标记-以及四个数据集，这些限制确实是有害的，即使以一些非常简单和天真的方式解决它们，也可以比香草RoBERTa和XLNet模型产生相当大的改进。然后，我们对未来添加到Transformer架构中以提高其表现力的必要性进行了更一般的讨论，我们希望这可以帮助设计下一代深度NLP架构。
2021-09-23 cs.CL cs.IR cs.LG
Rethinking the Objectives of Extractive Question Answering
Brno University of Technology（布尔诺理工大学）
这项工作表明，使用具有独立性假设的目标对跨度概率$P(a_s,a_e) = P(a_s)P(a_e)$进行建模，跨度从位置$a_s$开始并在位置$a_e$结束，具有不利影响。因此，我们提出了多种方法来建模联合概率$P(a_s,a_e)$直接。其中，我们提出了一个复合目标，由联合概率组成，同时仍然保持目标与独立性假设作为辅助目标。我们发现，复合目标是一致优于或等于其他假设的精确匹配。此外，我们还识别了由独立性假设引起的常见错误，并手动检查了对应的预测，证明了复合目标对真实示例的影响。我们的研究结果是通过实验支持三个提取QA模型（BIDAF，BERT，AL BERT）在六个数据集和我们的代码，个人的结果和手动分析可在线。
2021-10-12 cs.AI cs.CL cs.LG
CEEBERT: Cross-Domain Inference in Early Exit BERT
IIT Bombay（印度理工学院孟买分校）
提出CeeBERT在线学习算法，动态决定BERT/ALBERT模型样本的早期退出层，平衡准确性与延迟，无需标记数据，在五个数据集上实现2-3.5倍加速且性能损失极小。
2024-05-23 cs.CL cs.LG
Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks
Federal University of Rio Grande do Sul（南里奥格兰德州联邦大学）
BERT（Bidirectional Encoder Representations from Transformers）和ALBERT（A Lite BERT）是用于预训练语言模型的方法，这些语言模型稍后可以针对各种自然语言理解任务进行微调。这些方法已被应用到一些这样的任务（主要是在英语），取得的结果，优于国家的最先进的。在本文中，我们的贡献是双重的。首先，我们为葡萄牙语提供经过训练的BERT和Albert模型。其次，我们比较了我们的单语和标准的多语言模型，使用实验在语义文本相似性，识别文本蕴涵，文本类别分类，情感分析，攻击性评论检测和假新闻检测，以评估生成的语言表示的有效性。结果表明，单语言和多语言模型都能够达到最先进的水平，并且训练单个语言模型的优势（如果有的话）很小。
2020-07-19 cs.CL cs.LG
Using Adversarial Attacks to Reveal the Statistical Bias in Machine Reading Comprehension Models
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
预先训练的语言模型在许多机器阅读理解（MRC）任务中已经达到了人类水平的性能，但目前还不清楚这些模型是否真正理解语言或通过利用数据集中的统计偏差来回答问题。在这里，我们展示了一种简单而有效的方法来攻击MRC模型，并揭示这些模型中的统计偏差。我们将该方法应用于RACE数据集，其中每个MRC问题的答案从4个选项中选择。研究发现，包括BERT、ALBERT和RoBERTa在内的几种预训练语言模型对某些选项表现出一致的偏好，即使这些选项与问题无关。当受到这些无关选项的干扰时，MRC模型的性能会从人的水平降低到机会水平。然而，人类读者并不明显受到这些无关选项的影响。最后，我们提出了一种增强的训练方法，可以大大减少模型的统计偏差。
2021-05-25 cs.CL
AMPLIFY:Attention-based Mixup for Performance Improvement and Label Smoothing in Transformer
School of Information Science and Technology, Yunnan Normal University（云南师范大学信息科学与技术学院）
针对Mixup易传播噪声且计算成本高的问题，本文提出AMPLIFY，利用Transformer自身注意力抑制异常特征影响，并在7个文本分类基准上以更低开销超越其他Mixup方法。
2024-05-08 cs.CL cs.LG
A Comparative Study on COVID-19 Fake News Detection Using Different Transformer Based Models
Ahsanullah University of Science and Technology（阿赫桑努拉科技大学）；Brac University（BRAC大学）
本研究比较了BERT、ALBERT、RoBERTa等五种基于Transformer的模型在COVID-19假新闻数据集上的检测性能，发现RoBERTa在真实和虚假类别中均达到0.98的F1分数，表现最佳。
2022-08-02 cs.CL cs.LG
San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it's variants
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等研究院）
本研究基于天城体梵语语料库开发BERT及其变体模型，通过特征提取、降维与聚类技术实现梵语文档的抽取式摘要，并公开发布了相关语料库。
2023-04-04 cs.CL
Accelerating Attention through Gradient-Based Learned Runtime Pruning
University of California, San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
自注意力是各种基于transformer的自然语言处理模型的最新准确性的关键推动因素。该注意力机制计算句子中每个单词相对于其他单词的相关性分数。通常，只有一小部分单词与关注的单词高度相关，这仅在运行时确定。因此，由于注意力分数低，大量的计算是无关紧要的，并且可以潜在地被修剪。主要的挑战是找到分数的阈值，低于该阈值，随后的计算将是无关紧要的。虽然这样的阈值是离散的，本文制定其搜索通过软微分正则化集成到损失函数的训练。该公式依赖于反向传播训练，以同时分析性地共同优化阈值和权重，在准确性和计算修剪之间取得形式上的最佳平衡。为了最好地利用这一数学创新，我们设计了一个位串行架构，被称为LeOPard，Transformer语言模型位级提前终止微架构机制。我们在MemN 2N、BERT、AL BERT、GPT-2和视觉Transformer模型的43个后端任务中评估我们的设计。布局后的结果表明，平均而言，LeOPard分别产生1.9倍和3.9倍的加速和能量减少，同时保持平均准确度几乎不变（<0.2%的退化）
2022-04-15 cs.AR cs.CL cs.LG
Compressing Transformer-Based Semantic Parsing Models using Compositional Code Embeddings
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon Alexa（亚马逊 Alexa）
当前最先进的面向任务的语义解析模型使用BERT或RoBERTa作为预训练的编码器;这些模型具有巨大的内存占用。这对他们在内存预算有限的边缘设备上部署Amazon Alexa和Google Assistant等语音助手提出了挑战。我们建议学习组合代码嵌入，以大大减少BERT-base和RobERTa-base的大小。我们还将该技术应用于DistilBERT，ALBERT-基地，和ALBERT-大，三个已经压缩的BERT变种，达到类似的最先进的性能语义解析与小得多的模型大小。在保持97.5%以上语义解析性能的同时，嵌入压缩率为95.15% ~ 98.46%，编码压缩率为20.47% ~ 34.22%。我们提供了训练的配方，并分析了代码嵌入大小和下游性能之间的权衡。
2020-10-10 cs.CL
DECK: Behavioral Tests to Improve Interpretability and Generalizability of BERT Models Detecting Depression from Text
从文本中准确检测抑郁症的模型是应对大流行后心理健康危机的重要工具。基于BERT的分类器有前途的性能和现成的可用性使它们成为这项任务的理想候选者。然而，已知这些模型遭受性能不一致和较差的泛化。在本文中，我们介绍了DECK（抑郁症患者Klist），抑郁症特定的模型行为测试，允许更好的解释性和提高概括性的BERT分类器在抑郁症领域。我们创建了23个测试来评估BERT，RoBERTa和AL BERT抑郁分类器在三个数据集上，两个基于Twitter和一个基于临床访谈。我们的评估表明，这些模型：1）对文本中某些性别敏感的变化具有鲁棒性; 2）依赖于第一人称代词使用增加的重要抑郁语言标记; 3）未能检测到其他一些抑郁症状，如自杀意念。我们还证明了DECK测试可以用于将特定于训练数据的信息整合到训练数据中，并始终如一地提高所有三个BERT模型的泛化能力，分布外F1分数增加高达53.93%。
2022-09-12 cs.CL
Variants of BERT, Random Forests and SVM approach for Multimodal Emotion-Target Sub-challenge
Chonnam National University（全南国立大学）
近年来，情感识别已成为计算机视觉的一个主要问题，研究人员为克服这一难题做了大量的工作。在情感计算领域，情感识别有着广泛的应用，例如医疗保健、机器人、人机交互等。由于其对其他任务的实际重要性，许多技术和方法已被研究用于不同的问题和各种数据源。然而，如何将视听和语言两种形式全面融合，并从中获益，仍然是一个亟待解决的问题。在本文中，我们提出并讨论了我们的分类方法MuSe主题子挑战，以及数据和结果。对于主题分类，我们集成了两个语言模型ALBERT和RoBERTa来预测10类主题。此外，对于效价和唤醒的分类，SVM和随机森林与特征选择相结合，以提高性能。
2020-07-28 cs.CL cs.CV cs.LG
Why Can You Lay Off Heads? Investigating How BERT Heads Transfer
National Taiwan University（台湾大学）
广泛使用的BERT系列模型的巨大规模导致了最近关于模型蒸馏的努力。蒸馏的主要目标是创建一个与任务无关的预训练模型，该模型可以在下游任务上进行微调，而无需对其全尺寸版本进行微调。尽管蒸馏的进展，在何种程度上，以及出于何种原因，可以从蒸馏创建一个任务不可知模型还没有得到很好的研究。此外，这些BERT模型的迁移学习背后的机制也没有得到很好的研究。因此，本工作着重于分析蒸馏时可接受的扣除，以指导未来的蒸馏程序。具体来说，我们首先使用Michel等人（2019）提出的头部重要性估计来检查RoBERTa和ALBERT中Transformer头部的可修剪性，然后检查预训练任务和下游任务之间重要头部的一致性。因此，在提取模型时，可以从结果中得出预训练任务的可接受性能推断，并且我们进一步比较了微调前后修剪模型的行为。我们的研究为BERT族模型蒸馏的未来发展方向提供了指导。
2021-06-14 cs.CL
Comparative Study of Pre-Trained BERT Models for Code-Mixed Hindi-English Data
Pune Institute of Computer Technology（浦那计算机技术学院）
本文对比了多种预训练Transformer模型在低资源印地语-英语代码混合任务上的表现，发现专门在真实代码混合文本上预训练的HingBERT系列模型显著优于普通BERT等模型，并在情感分析、情绪识别和仇恨言论识别等任务上取得最先进结果。
2023-05-26 cs.CL cs.LG
Identification of Potentially Misclassified Crash Narratives using Machine Learning (ML) and Deep Learning (DL)
Department of Civil, Construction and Environmental Engineering（土木、建设与环境工程系）；Iowa State University（爱荷华州立大学）；Department of Computer Science（计算机科学系）
本文利用ML和DL模型检测警方报告中错误分类的交叉口事故叙述，发现Albert模型与专家判断一致性最高，并通过多模态集成将错误率降低54.2%，为提升事故数据质量提供了混合方法。
2025-07-03 cs.AI cs.CL
BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text
Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
人们越来越有兴趣了解人类如何发起和进行对话。会话的情感理解关注的是说话者如何利用情感对情景和彼此做出反应的问题。在CL-Aff共享任务中，组织者发布了Get it #OffMyChest数据集，其中包含来自休闲和忏悔对话的Reddit评论，标记为披露和保密特征。在本文中，我们介绍了一个预测集成模型，利用微调的上下文词嵌入，罗伯特和阿尔伯特。我们表明，我们的模型在所有考虑的指标优于基础模型，实现了$3\%$的F1分数的改善。我们进一步进行统计分析，并概述对给定数据集的更深入见解，同时为数据集提供新的影响特征。
2020-06-01 cs.CL cs.SI
Detecting Insincere Questions from Text: A Transfer Learning Approach
Pune Institute of Computer Technology（浦那计算机技术学院）
今天的互联网已经成为一个无与伦比的信息来源，人们在Quora、Reddit、StackOverflow和Twitter等基于内容的网站上交谈，提出疑问，并与世界分享知识。这些网站出现的一个主要问题是有毒评论或不真诚的情况激增，其中用户不是保持真诚的动机，而是沉迷于传播有毒和分裂的内容。应对这种情况的直接行动是事先检测此类内容并防止其在线存在。近年来，自然语言处理中的迁移学习得到了前所未有的发展。今天，随着Transformers和各种最先进的创新的存在，各种NLP领域已经取得了巨大的增长。BERT的引入在NLP社区引起了不小的轰动。如前所述，当发布时，BERT主导了性能基准测试，从而激励了许多其他作者对其进行实验并发布类似的模型。这导致了整个BERT家族的发展，每个成员都专注于不同的任务。在本文中，我们解决了不真诚的问题分类问题，微调四个切割年龄模型，即BERT，RoBERTa，蒸馏BERT和ALBERT。
2020-12-07 cs.AI cs.CL cs.LG
Learning Dynamic BERT via Trainable Gate Variables and a Bi-modal Regularizer
Seoul National University（首尔大学）
BERT模型已经在各种自然语言处理任务上显示出显著的成功。然而，由于沉重的模型大小和高计算成本，该模型遭受高延迟，这是致命的，其部署在资源有限的设备。为了解决这个问题，我们提出了一个动态推理方法BERT通过可训练的门变量应用于输入令牌和正则化，具有双峰属性。我们的方法在GLUE数据集上以最小的性能下降降低了计算成本。此外，该模型调整与性能和计算成本与用户指定的超参数之间的权衡。
2021-02-19 cs.AI cs.CL
PhyloTransformer: A Discriminative Model for Mutation Prediction Based on a Multi-head Self-attention Mechanism
Harvard University（哈佛大学）；Tsinghua University（清华大学）
严重急性呼吸综合征冠状病毒2（SARS-CoV-2）已导致持续的大流行，截至2021年10月19日，感染了2.19亿人，死亡率为3.6%。自然选择可以产生具有改进的适应性优势的有利突变;然而，已鉴定的冠状病毒可能是冰山一角，随着时间的推移，可能会出现更致命的变异。迫切需要了解新出现的VOC的模式并预测可能导致功能获得或免疫逃逸的突变。在这里，我们开发了PhyloTransformer，这是一种基于Transformer的判别模型，它采用多头自我注意机制来模拟可能导致病毒繁殖优势的基因突变。为了识别每个输入序列的元素之间的复杂依赖关系，PhyloTransformer利用了先进的建模技术，包括Performer的一种新的通过正正交随机特征的快速注意方法（FAVOR+），以及来自Transformers的双向编码器表示（BERT）的掩蔽语言模型（MLM）。PhyloTransformer使用从全球流感数据共享倡议（GISAID）数据库检索的1，765，297个基因序列进行训练。首先，我们使用广泛的基线模型比较了新突变和新组合的预测准确性;我们发现PhyloTransformer优于具有统计学显著性的每种基线方法。其次，我们检查了受体结合基序（RBM）的每个核苷酸突变的预测，我们发现我们的预测是精确和准确的。第三，我们预测了N-糖基化位点的修饰，以鉴定与糖基化改变相关的突变，这些突变可能…
2021-11-03 cs.LG q-bio.QM
SparseOptimizer: Sparsify Language Models through Moreau-Yosida Regularization and Accelerate via Compiler Co-design
Harvard University（哈佛大学）；Lotus AGI（莲花通用人工智能）
本研究提出即插即用的SparseOptimizer优化器，通过带解析解的嵌入式收缩算子结合Moreau-Yosida正则化诱导大语言模型稀疏性，还提出优化器-编译器协同设计策略，在参数量显著减少的同时保持性能并实现最高7.15倍推理加速。
2023-07-18 cs.AI cs.CC cs.CL
Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets
University College Dublin（都柏林大学学院）
主动学习已被证明是一种有效的方法，可以减轻在利用大量未标记数据进行机器学习任务时所需的一些工作，而无需完全标记它们。然而，在执行主动学习时，用于表示文本文档的表示机制对该过程的有效性具有重要影响。虽然简单的向量表示（如词袋）和基于word 2 vec等技术的基于嵌入的表示已被证明是在主动学习期间表示文档的有效方法，但基于自然语言处理研究中流行的预训练的基于transformer的神经网络模型（例如BERT）的表示机制的出现提供了一种有前途的，但尚未完全探索的替代方案。本文描述了一种基于预训练的基于transformer的语言模型的主动学习表示的有效性的综合评估。该评估表明，基于transformer的模型，特别是BERT类模型，尚未在主动学习中广泛使用，与更常用的向量表示（如词袋或其他经典的词嵌入，如word 2 vec）相比，取得了显着的改进。本文还研究了基于BERT变体（如Roberta，Albert）的表示的有效性，并比较了[CLS]令牌表示和使用BERT类模型生成的聚合表示的有效性。最后，我们提出了一种自适应调整主动学习的方法。我们的实验表明，在主动学习中获得的有限的标签信息，不仅可以用于训练分类器，但也可以自适应地改善BERT类语言模型以及生成的嵌入。
2020-04-21 cs.CL cs.IR cs.LG
Towards Emotion Recognition in Hindi-English Code-Mixed Data: A Transformer Based Approach
Netaji Subhas University of Technology（贾瓦哈拉尔·尼赫鲁技术大学）；Department of Computer Engineering（计算机工程系）
在过去的几年中，社交媒体文本中的情感检测已经成为一个流行的问题，因为它在更好地理解消费者，心理学，帮助人类与计算机交互，设计智能系统等方面的广泛应用，由于社交媒体中经常用于表达情感和意见的大量数据的可用性，这个问题已经引起了极大的关注。在本文中，我们提出了一个标记为情绪检测的Hinglish数据集。我们强调了一种基于深度学习的方法，用于检测印地语-英语代码混合推文中的情绪，使用来自FastText和Word 2 Vec方法的双语词嵌入，以及基于Transformer的模型。我们尝试了各种深度学习模型，包括CNN、LSTM、双向LSTM（有注意力和无注意力），以及BERT、RoBERTa和ALBERT等Transformers。基于Transformer的BERT模型优于所有其他模型，其精度为71.43%。
2021-02-28 cs.CL
Fine-Tuned Transformers Show Clusters of Similar Representations Across Layers
New York University（纽约大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
尽管针对下游自然语言理解（NLU）任务成功地微调了像BERT这样的预训练语言编码器，但人们仍然对微调后神经网络的变化知之甚少。在这项工作中，我们使用中心内核对齐（CKA），一种比较学习表示的方法，来测量跨层任务调整模型中表示的相似性。在12个NLU任务的实验中，我们发现了一个一致的块对角结构，在微调的RoBERTa和ALBERT模型中表示的相似性，在早期和后期层的集群中具有很强的相似性，但在它们之间没有。后期层表示的相似性意味着后期层对任务性能的贡献很小，并且我们在实验中验证了微调的Transformers的顶部几层可以在不损害性能的情况下被丢弃，即使没有进一步的调整。
2021-09-20 cs.CL
