KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding
Embibe;University of South Carolina(南卡罗来纳大学)
由最先进的基于转换器的语言模型(TLM)(如BERT、GPT、T5等)学习的上下文实体表示,利用注意力机制从训练数据语料库中学习数据上下文。然而,这些模型不使用知识背景。知识上下文可以理解为知识图谱中实体及其与相邻实体之间关系的语义。我们提出了一种新的和有效的技术,注入知识上下文从多个知识图谱的概念和模糊的实体到TLM在微调。该算法将知识图谱嵌入到齐次向量空间中,为实体引入新的标记类型,对齐实体位置ID,并引入选择性注意力机制。我们以BERT为基准模型,通过注入ConceptNet和WordNet中的知识上下文实现了“知识注入的BERT”,在GLUE基准测试的8个不同子任务上,该模型的性能明显优于BERT和其他最近的知识感知BERT变体,如ERNIE,SenseBERT和BERT_CS。KI-BERT-base模型甚至在特定领域的任务(如SciTail和QQP、QNLI和MNLI的学术子集)上的表现明显优于BERT-large。
2021-09-03 cs.AI cs.CL cs.LG
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group(阿里巴巴集团)
由于电子健康记录(EHR)系统的广泛采用,医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性,如长度的多样性、文本类型的混合性、医学术语的大量使用等,给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果,例如文本分类和问答。然而,独立的BERT模型不能处理医学文本的复杂性,特别是冗长的临床笔记。在此,我们开发了一个新的模型称为KG-MTT-BERT(知识图增强多类型文本BERT)通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组(DRG)分类中的表现优于所有基线和其他最先进的模型,这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
Distilling the Knowledge of Romanian BERTs Using Multiple Teachers
Research Institute for Artificial Intelligence, Romanian Academy(罗马尼亚科学院人工智能研究所)
在计算受限的环境中运行大规模预训练语言模型仍然是一个有待解决的挑战性问题,而从这些模型中进行迁移学习在自然语言处理任务中已经变得普遍。之前已经提出了几种解决方案,包括知识蒸馏,网络量化或网络修剪;然而,这些方法主要集中在英语语言上,从而在考虑低资源语言时扩大了差距。在这项工作中,我们介绍了三个轻型和快速版本的蒸馏BERT模型的罗马尼亚语:蒸馏BERT-基-ro,蒸馏-RoBERT-基,蒸馏多BERT-基-ro。前两个模型导致从两个基础版本的罗马尼亚BERT文献中的知识的个人蒸馏,而最后一个是通过蒸馏他们的合奏。据我们所知,这是第一次尝试创建公开可用的罗马尼亚蒸馏BERT模型,这是彻底评估的五个任务:词性标记,命名实体识别,情感分析,语义文本相似性,和方言识别。我们的实验结果表明,这三种蒸馏模型的性能与它们的老师相当,而在GPU上的速度是老师的两倍,体积小了约35%。此外,我们进一步测试我们的学生与他们的老师的预测之间的相似性,通过测量他们的标签和概率忠诚度,以及回归忠诚度-在这项工作中引入的一个新的度量。
2022-04-13 cs.CL cs.LG
Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability
National Taiwan University(台湾大学)
本文研究了在文本数据上预训练的模型(如BERT)的能力是否可以转移到一般的令牌序列分类应用中。为了验证预训练模型的可移植性,我们在文本分类任务上测试了预训练模型,这些文本分类任务具有标记不匹配的含义,以及真实世界的非文本标记序列分类数据,包括氨基酸,DNA和音乐。我们发现,即使在非文本数据上,在文本上预训练的模型收敛得更快,比随机初始化的模型表现更好,并且只比使用特定任务知识的模型略差。我们还发现,文本和非文本预训练模型的表示具有非平凡的相似性。
2022-04-19 cs.CL cs.LG
Distilling Task-Specific Knowledge from BERT into Simple Neural Networks
University of Waterloo(滑铁卢大学)
在自然语言处理文献中,神经网络正变得越来越深入和复杂。这一趋势的最新代表是深度语言表示模型,其中包括BERT、ELMo和GPT。这些发展使人们相信,上一代用于语言理解的浅层神经网络已经过时了。然而,在本文中,我们证明了基本的,轻量级的神经网络仍然可以在没有架构变化,外部训练数据或额外的输入功能的情况下具有竞争力。我们建议将知识从BERT(一种最先进的语言表示模型)中提取到单层BiLSTM中,以及用于双对任务的连体对应物中。在释义、自然语言推理和情感分类的多个数据集上,我们实现了与ELMo相当的结果,同时使用了大约少100倍的参数和少15倍的推理时间。
2019-03-28 cs.CL cs.LG
Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking
University of Mannheim(曼海姆大学)
端到端实体链接系统的典型架构包括三个步骤:提及检测、候选生成和实体消歧。在这项研究中,我们调查了以下问题:(a)所有这些步骤都可以与上下文文本表示模型,即BERT(Devlin等人,2019年)?(b)预训练的BERT中已经包含了多少实体知识?(c)额外的实体知识是否提高了BERT在下游任务中的性能?为此,我们提出了一种对实体链接设置的极端简化,效果非常好:只需将其转换为整个实体词汇表(在我们的情况下超过70万个类)上的每个标记分类。我们在一个实体链接基准上表明:(i)该模型改进了普通BERT的实体表示,(ii)它优于单独优化任务的实体链接架构,以及(iii)它仅次于当前最先进的技术,即联合提到检测和实体消歧。此外,我们调查的有用性的实体感知令牌表示的文本理解基准GLUE,以及问答基准SQUAD V2和SWAG和EN-DE WMT 14机器翻译基准。令我们惊讶的是,我们发现这些基准测试中的大多数并没有从额外的实体知识中受益,除了一个具有非常小的训练数据的任务,即GLUE中的RTE任务,它提高了2%。
2020-03-11 cs.CL cs.LG
KDLSQ-BERT: A Quantized Bert Combining Knowledge Distillation with Learned Step Size Quantization
Central Software Institute, Huawei(华为中央软件研究院)
最近,基于transformer的语言模型,如BERT,在一系列自然语言处理任务中表现出了巨大的性能提升。然而,这些语言模型在推理期间通常是计算昂贵和存储密集的。因此,很难将它们部署在资源受限的设备上。为了提高推理性能,在保持模型精度的同时减小模型规模,提出了一种新的量化方法KDLSQ-BERT,该方法将知识蒸馏(KD)和学习步长量化(LSQ)相结合,用于语言模型的量化.我们的方法的主要思想是,KD技术是利用知识从一个“教师”模型转移到一个“学生”模型时,利用LSQ在量化训练过程中的“学生”模型。在GLUE基准测试和SQuAD上的大量实验结果表明,我们提出的KDLSQ-BERT不仅在进行不同比特(例如2-bit $\sim$ 8-bit)量化时表现有效,而且优于现有的BERT量化方法,甚至在获得14.9倍压缩比的同时达到了与全精度基线模型相当的性能。我们的代码将公开。
2021-01-15 cs.AI cs.CL cs.LG
BERTnesia: Investigating the capture and forgetting of knowledge in BERT
L3S Research Center(L3S研究中心)
探索复杂的语言模型最近揭示了一些见解的语言和语义模式中发现的学习表示。在本文中,我们专门探讨了BERT,以理解和测量它在参数记忆中捕获的关系知识。虽然对语言理解的探索通常应用于BERT的所有层以及微调模型,但这还没有用于事实知识。我们利用现有的知识库完成任务(LAMA)来探测每一层的预训练以及微调的BERT模型(排名,问答,NER)。我们的研究结果表明,知识不仅包含在BERT的最后几层。中间层在所发现的知识总量中占相当大的比例(17-60%)。探索中间层还揭示了不同类型的知识是如何以不同的速度出现的。当BERT被微调时,关系知识被遗忘了。遗忘的程度受微调目标和训练数据的影响。我们发现,与掩蔽语言建模和问答相比,排名模型在最后一层忘记的最少,保留的知识更多。然而,掩蔽语言建模在从训练数据获取新知识方面表现最好。当涉及到学习事实时,我们发现容量和事实密度是关键因素。我们希望这一初步的工作将促进进一步的研究,了解参数记忆的语言模型和实际知识的训练目标的影响。重复实验的代码在GitHub上公开。
2021-09-08 cs.CL
KG-BERT: BERT for Knowledge Graph Completion
Northwestern University(西北大学)
知识图谱是许多人工智能任务的重要资源,但往往遭受不完整性。在这项工作中,我们建议使用预先训练的语言模型来完成知识图谱。本文将知识图谱中的三元组视为文本序列,提出了一种新的知识图谱双向编码器表示Transformer(KG-BERT)框架来建模这些三元组。该方法以三元组的实体描述和关系描述为输入,利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图谱上的实验结果表明,该方法在三重分类、链接预测和关系预测等任务中均能取得较好的性能.
2019-09-11 cs.AI cs.CL
BERT-of-Theseus: Compressing BERT by Progressive Module Replacing
University of California, San Diego(加州大学圣地亚哥分校);Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的模型压缩方法,通过渐进的模块替换来有效地压缩BERT。我们的方法首先将原来的BERT分为几个模块,并建立他们的紧凑的替代品。然后,我们随机替换原来的模块与他们的替代品,训练紧凑的模块,模仿原来的模块的行为。我们通过训练逐步增加替换的概率。通过这种方式,我们的方法在原始模型和紧凑模型之间带来了更深层次的交互。与以往的BERT压缩的知识蒸馏方法相比,我们的方法没有引入任何额外的损失函数。该方法在GLUE测试中的性能优于现有的知识蒸馏方法,为模型压缩提供了一个新的视角.
2020-10-03 cs.CL cs.LG
E-BERT: A Phrase and Product Knowledge Enhanced Language Model for E-commerce
Rutgers University(罗格斯大学);NEC Laboratories America, Inc.(NEC美国实验室公司);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
预先训练的语言模型,如BERT,在广泛的自然语言处理任务中取得了巨大的成功。然而,BERT由于缺乏两个层次的领域知识而不能很好地支持电子商业相关任务,即,短语级和产品级。一方面,许多电子商业任务需要对领域短语的准确理解,而这种细粒度的短语级知识并没有被BERT的训练目标明确地建模。另一方面,产品级知识,如产品关联,可以增强电子商业的语言建模,但他们不是事实知识,因此不加区别地使用它们可能会引入噪音。为了解决这个问题,我们提出了一个统一的预训练框架,即E-BERT。具体来说,为了保留短语级知识,我们引入了自适应混合掩码,它允许模型根据两种模式的拟合进度自适应地从学习初步单词知识切换到学习复杂短语。为了利用产品级知识,我们引入了Neighbor Product Reconstruction,它训练E-BERT通过去噪交叉注意层来预测产品的相关邻居。我们的调查显示,在四个下游任务,即,基于评论的问答、方面提取、方面情感分类和产品分类。
2021-12-17 cs.AI cs.CL cs.LG
Mixture-of-Partitions: Infusing Large Biomedical Knowledge Graphs into BERT
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
将事实知识注入预先训练的模型是许多知识密集型任务的基础。在本文中,我们提出了混合分区(MoP),一种注入方法,可以处理一个非常大的知识图谱(KG)划分成更小的子图,并注入他们的特定知识到各种BERT模型使用轻量级适配器。为了利用目标任务的整体事实知识,这些子图适配器与底层的BERT一起通过混合层进一步微调。我们评估我们的MoP与三个生物医学BERT(SciBERT,BioBERT,PubmedBERT)的六个下游任务(包括。NLI,QA,Classification),结果表明,我们的MoP在任务性能方面始终增强了底层BERT,并在五个评估数据集上实现了新的SOTA性能。
2021-09-10 cs.CL
Can We Use Probing to Better Understand Fine-tuning and Knowledge Distillation of the BERT NLU?
Samsung R&D Poland Institute(三星波兰研发研究院);Warsaw University of Technology(华沙理工大学)
本文使用探针研究基于BERT的NLU模型在微调与知识蒸馏中的现象,发现现有探针范式未考虑信息可解码性,无法有效解答微调与蒸馏的实际问题,指出量化信息可解码性对探针实际应用至关重要。
2023-01-27 cs.CL cs.LG
ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference
University of Sheffield(谢菲尔德大学);University of Durham(杜伦大学)
神经语言表示模型,如BERT,在大规模非结构化语料库上进行预训练,缺乏对现实世界常识知识的明确基础,并且通常无法记住推理和推断所需的事实。自然语言推理(NLI)是一个具有挑战性的推理任务,它依赖于人类对语言的共同理解和现实世界的常识知识。我们引入了一个新的模型NLI称为外部知识增强BERT(ExBERT),丰富的上下文表示与现实世界的常识知识,从外部知识源,并提高BERT的语言理解和推理能力。ExBERT充分利用从BERT中获得的上下文词表示,并使用它们从知识图谱中检索相关的外部知识,并对检索到的外部知识进行编码。我们的模型自适应地结合了推理输入所需的外部知识背景。在具有挑战性的SciTail和SNLI基准测试上进行的大量实验证明了ExBERT的有效性:与之前的最新技术相比,我们在SciTail上获得了95.9%的准确率,在SNLI上获得了91.5%的准确率。
2021-08-03 cs.CL
Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation
Fudan University(复旦大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
微调预训练的语言模型(如BERT)已成为NLP中的一种有效方法,并在许多下游任务中产生最先进的结果。最近关于BERT适应新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据和知识。微调战略本身还有待充分探讨。本文采用自系综和自蒸馏两种有效的机制对BERT的微调进行改进。在文本分类和自然语言推理任务上的实验表明,我们提出的方法可以显着提高BERT的适应性,无需任何外部数据或知识。
2020-02-24 cs.CL cs.LG
Enriching BERT with Knowledge Graph Embeddings for Document Classification
DFKI GmbH(德国人工智能研究中心);University of Konstanz(康斯坦茨大学)
在本文中,我们专注于使用简短的描述性文本(封面简介)和附加元数据的图书分类。在深度神经语言模型BERT的基础上,我们演示了如何将文本表示与元数据和知识图谱嵌入相结合,这些嵌入对作者信息进行编码。与标准的BERT方法相比,我们取得了更好的分类任务的结果。对于使用8个标签的更粗粒度的分类,我们获得了87.20的F1分数,而使用343个标签的详细分类产生了64.70的F1分数。我们公开了实验的源代码和训练模型
2019-09-18 cs.CL cs.IR cs.LG
Commonsense Knowledge + BERT for Level 2 Reading Comprehension Ability Test
Nanyang Technological University(南洋理工大学);Victoria University(维多利亚大学)
当我们阅读时,常识知识起着重要的作用。BERT在SQuAD数据集上的性能表明,BERT的准确性可以优于人类用户。然而,这并不意味着计算机在阅读理解方面可以超越人类。CommonsenseQA是基于常识知识设计的大规模数据集。BERT的准确率仅为55.9%,说明计算机不能像人类那样运用常识知识来回答问题。理解能力测试(CAT)将阅读理解能力分为四个层次。我们可以逐步达到人类的理解能力。BERT在不需要常识的1级中表现良好。在这项研究中,我们提出了一个系统,其目的是让计算机阅读文章,并回答相关的问题,像人类一样的常识知识CAT 2级。该系统由三部分组成。首先构建常识知识图谱,然后根据图谱自动构建常识知识试题集,最后将BERT与常识知识相结合,实现CAT 2级阅读理解能力测试。实验表明,只要在知识库中包含所需的公共知识,就可以通过CAT。
2019-09-08 cs.CL
Patient Knowledge Distillation for BERT Model Compression
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预先训练的语言模型(如BERT)已被证明对自然语言处理(NLP)任务非常有效。然而,训练此类模型对计算资源的高需求阻碍了其在实践中的应用。为了缓解大规模模型训练中的这种资源饥饿,我们提出了一种患者知识蒸馏方法,将原始的大模型(教师)压缩成同样有效的轻量级浅层网络(学生)。与以往的知识蒸馏方法不同,这些方法只使用教师网络最后一层的输出进行蒸馏,我们的学生模型耐心地从教师模型的多个中间层学习,以进行增量知识提取,遵循两种策略:($i$)PKD-Last:从最后一个$k$层学习;和($ii$)PKD-Skip:从每个$k$层学习。这两个耐心的蒸馏方案使教师的隐藏层中的丰富信息的开发,并鼓励学生模型耐心地学习和模仿教师通过多层蒸馏过程。从经验上讲,这可以转化为多个NLP任务的改进结果,在不牺牲模型准确性的情况下显著提高训练效率。
2019-08-25 cs.CL cs.LG
LadaBERT: Lightweight Adaptation of BERT through Hybrid Model Compression
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
BERT是一种经过大型语料库预训练的前沿语言表示模型,在各种自然语言理解任务上都取得了优异的性能。然而,将BERT应用于在线服务的一个主要阻塞问题是,它是内存密集型的,并且导致用户请求的不令人满意的延迟,从而提高了模型压缩的必要性。现有的解决方案利用知识蒸馏框架来学习模仿BERT行为的较小模型。然而,知识蒸馏的训练过程本身是昂贵的,因为它需要足够的训练数据来模仿教师模型。在本文中,我们解决这个问题,提出了一个混合的解决方案,名为拉达BERT(轻量级适应BERT通过混合模型压缩),它结合了不同的模型压缩方法的优点,包括重量修剪,矩阵分解和知识蒸馏。LadaBERT在各种公共数据集上实现了最先进的准确性,同时训练开销可以减少一个数量级。
2020-10-21 cs.CL cs.LG
KG-BERTScore: Incorporating Knowledge Graph into BERTScore for Reference-Free Machine Translation Evaluation
Huawei Technologies Co., Ltd.(华为技术有限公司)
BERTScore是一种有效的、鲁棒的基于参考的机器翻译评价自动度量方法。本文将多语言知识图谱引入BERTScore,提出了一种基于多语言知识图谱的无参考机器翻译评价指标KG-BERTScore。从WMT 19 QE作为无参考共享任务的度量的实验结果来看,我们的度量KG-BERTScore与人类判断的总体相关性高于当前最先进的无参考机器翻译评估度量。1此外,本文还研究了KG-BERTScore使用的预训练多语言模型和线性组合参数。
2023-01-30 cs.AI cs.CL
Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis and Natural Language Inference
School of Data and Computer Science(数据与计算机学院);Sun Yat-sen University(中山大学);Guangzhou, China(中国广州(注:此为地址信息,非机构,根据规则应忽略,此处原文本可能存在排版问题,正确机构应为前两项))
基于方面的情感分析旨在识别文本中对特定方面的情感倾向。预训练的BERT的微调在此任务上表现出色,并实现了最先进的性能。现有的基于BERT的工作只利用BERT的最后一个输出层,而忽略了中间层的语义知识。本文探讨了利用BERT中间层来增强BERT的微调性能的潜力。据我们所知,目前还没有关于这项研究的工作。为了说明该方法的通用性,我们还将其应用于一个自然语言推理任务。实验结果证明了该方法的有效性和通用性。
2020-02-12 cs.CL cs.LG
Story Ending Prediction by Transferable BERT
Harbin Institute of Technology(哈尔滨工业大学)
最近的进展,如GPT和BERT,已经成功地结合了预先训练的Transformer语言模型和微调操作,以改善下游NLP系统。然而,这个框架仍然有一些基本的问题,有效地将其他相关任务的监督知识。在这项研究中,我们研究了一个可转移的BERT(transBERT)训练框架,它不仅可以从大规模的未标记数据中转移一般的语言知识,而且可以从各种语义相关的监督任务中转移特定种类的知识,用于目标任务。特别地,我们提出利用三种转移任务,包括自然语言推理,情感分类和下一个动作预测,以进一步训练BERT的基础上预先训练的模型。这使模型能够为目标任务获得更好的初始化。我们以故事结局预测为目标任务进行实验。最终结果的准确率为91.8%,大大优于以前最先进的基线方法。几个对比实验为迁移任务的选择提供了有益的建议。误差分析显示了基于BERT的故事结局预测模型的优点和缺点。
2019-05-21 cs.CL cs.LG
Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition
Texas A&M University(德克萨斯农工大学);Fudan University(复旦大学)
疾病的知识包括疾病的各个方面的信息,例如体征和症状,诊断和治疗。这种疾病知识对于许多健康相关和生物医学任务至关重要,包括消费者健康问答、医学语言推理和疾病名称识别。虽然像BERT这样的预训练语言模型在从文本中捕获语法、语义和世界知识方面取得了成功,但我们发现它们可以通过症状、诊断、治疗和其他疾病方面的知识等特定信息来进一步补充。因此,我们将BERT与疾病知识相结合,以改善这些重要的任务。具体而言,我们提出了一个新的疾病知识注入训练过程,并评估了一套BERT模型,包括BERT,BioBERT,SciBERT,ClinicalBERT,BlueBERT,和ALBERT。三个任务的实验表明,这些模型几乎在所有情况下都可以得到增强,证明了疾病知识注入的可行性。例如,BioBERT对消费者健康问答的准确率从68.29%提高到72.09%,同时在两个数据集中观察到新的SOTA结果。我们免费提供我们的数据和代码。
2020-10-08 cs.CL
Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks
Jilin University(吉林大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们研究了将先验知识纳入基于transformer的深度模型的问题,即,双向编码器表示从Transformers(BERT),以提高其性能的语义文本匹配任务。通过探索和分析BERT在解决这个任务时已经知道的知识,我们可以更好地理解BERT最需要什么特定的知识,以及在哪里最需要。分析进一步激励我们采取不同于大多数现有作品的方法。我们没有使用先验知识来创建新的训练任务来微调BERT,而是直接将知识注入BERT的多头注意力机制。这使我们找到了一种简单而有效的方法,该方法具有快速的训练阶段,因为它使模型免于在主任务以外的其他数据或任务上进行训练。大量的实验表明,所提出的知识增强的BERT是能够不断提高语义文本匹配性能比原来的BERT模型,性能优势是最显着的训练数据是稀缺的。
2021-02-22 cs.AI cs.CL
Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models
Kata.ai Research Team(Kata.ai 研究团队);University of Indonesia(印度尼西亚大学)
我们从特定于任务的BERT教师模型到各种学生模型执行知识蒸馏(KD)基准测试:BiLSTM,CNN,BERT-Tiny,BERT-Mini和BERT-Small。我们的实验涉及12个数据集分为两个任务:文本分类和序列标记在印度尼西亚语。我们还比较了各个方面的蒸馏,包括使用词嵌入和无标记的数据增强。我们的实验表明,尽管基于transformer的模型越来越受欢迎,但与修剪的BERT模型相比,使用BiLSTM和CNN学生模型在性能和计算资源(CPU,RAM和存储)之间提供了最佳权衡。我们进一步提出了一些快速的胜利,通过有效的KD训练机制,包括简单的选择损失函数,词嵌入,和未标记的数据准备执行KD产生小型NLP模型。
2022-01-03 cs.CL
KVL-BERT: Knowledge Enhanced Visual-and-Linguistic BERT for Visual Commonsense Reasoning
Beijing Institute of Technology(北京理工大学)
推理是实现完整视觉理解的关键能力。为了开发具有认知级视觉理解和推理能力的机器,引入了视觉常识推理(VCR)任务。在VCR中,给出一个关于图像的挑战性问题,机器必须正确回答,然后提供一个合理的理由来证明它的答案。采用功能强大的BERT模型作为学习图像内容和自然语言联合表示的骨干的方法在VCR上显示出有希望的改进。然而,现有的方法都没有利用常识知识的视觉常识推理,我们相信这将是非常有帮助的这项任务。在常识知识的支持下,即使图像中没有描述所需的信息,复杂的问题也可以通过认知推理来回答。因此,我们将常识知识融入到跨模态BERT中,提出了一种新的知识增强的视觉和语言BERT(Knowledge Enhanced Visual-and-Linguistic,简称KVL-BERT)模型。除了将视觉和语言内容作为输入外,还将从ConceptNet中提取的外部常识知识集成到多层Transformer中。为了保留原句子的结构信息和语义表征,本文提出利用相对位置嵌入和掩蔽自我注意来削弱注入的常识知识与输入序列中其他无关成分之间的影响。与其他特定于任务的模型和一般任务不可知的预训练模型相比,我们的KVL-BERT的性能大大优于它们。
2020-12-13 cs.AI cs.CL
Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
许多NLP任务都受益于从上下文化的词嵌入中转移知识,然而,转移的知识类型的图片是不完整的。本文研究了会话问答任务中语言模型所解释的语言现象类型。我们通过系统的错误分析-基本的算术(计数短语),成分语义(否定和语义角色标注),词汇语义(反义词和反义),确定了微调的RoBERTa,BERT和DistilBERT模型的问题领域。当通过多任务学习增强相关的语言知识时,模型的性能会提高。增强模型的集合在F1整体得分上提高了2.2到2.7分,在最难的问题类上提高了42.1分。结果表明,RoBERTa、BERT和DistilBERT在表征成分和词汇信息的能力上存在差异。
2020-09-17 cs.CL cs.LG
GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);Imperial College London(伦敦帝国理工学院);Queen Mary University of London(伦敦玛丽女王大学)
像BERT这样的大型预训练语言模型是最近许多NLP任务改进背后的驱动力。然而,BERT只被训练来预测缺失的单词-无论是在面具后面还是在下一个句子中-并且除了通过无监督的预训练获得的信息之外,没有词汇,句法或语义信息的知识。我们提出了一种新的方法来显式地将语言知识以词嵌入的形式注入到预训练的BERT的任何层中。当注入基于依赖性和反拟合嵌入时,我们在多个语义相似性数据集上的性能改进表明这些信息是有益的,并且目前在原始模型中缺失。我们的定性分析表明,反拟合嵌入注入特别有助于涉及同义词对的情况下。
2020-10-23 cs.CL
Does BERT agree? Evaluating knowledge of structure dependence through agreement relations
University of California, Berkeley(加州大学伯克利分校)
学习能够准确建模语义的表示是自然语言处理研究的一个重要目标。许多语义现象都依赖于句法结构。最近的工作研究了最先进的预训练表征模型(如BERT)在多大程度上捕捉到了这种结构依赖现象,但主要限于英语中的一种现象:主语和动词之间的数字一致性。我们评估BERT的敏感性,四种类型的结构依赖的协议关系,在一个新的半自动策划的数据集,在26种语言。我们表明,无论是单语言和多语言BERT模型捕捉语法敏感的协议模式,以及一般,但我们也强调了具体的语言环境中,他们的性能下降。
2019-08-26 cs.CL
GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge
Fudan University(复旦大学)
词义消歧(WSD)的目的是找出一个歧义词在特定语境中的确切含义。传统的有监督方法很少考虑WordNet等在基于知识的方法中被广泛使用的词汇资源。最近的研究表明,将光泽(意义定义)到神经网络的词义消歧的有效性。然而,与传统的词专家监督方法相比,它们并没有取得太大的改进。在本文中,我们专注于如何更好地利用光泽知识的监督神经词义消歧系统。我们构建上下文光泽对,并提出了三个基于BERT的模型的词义消歧。我们在SemCor3. 0训练语料库上对预训练好的BERT模型进行了微调,在多个英文全词WSD基准数据集上的实验结果表明,该方法的性能优于现有的系统。
2020-01-05 cs.CL
RefBERT: Compressing BERT by Referencing to Pre-computed Representations
University of California, Santa Barbara(加州大学圣巴巴拉分校);Ping An Life Insurance Company of China, Ltd.(中国平安人寿保险股份有限公司)
最近开发的大型预训练语言模型,例如,BERT在许多下游自然语言处理应用中取得了显著的性能。这些预先训练的语言模型通常包含数亿个参数,并且在现实世界的应用中遭受高计算和延迟。期望减少模型的计算开销以用于快速训练和推理,同时保持模型在下游应用中的性能。几条工作线利用知识蒸馏来将教师模型压缩成更小的学生模型。然而,他们往往丢弃教师的知识时,推理。因此,在本文中,我们提出RefBERT来利用从教师那里学到的知识,即,促进对参考样本的预先计算的BERT表示,并将BERT压缩成较小的学生模型。为了保证我们的建议,我们提供的损失函数和参考样本的使用理论的理由。值得注意的是,理论结果表明,包括预先计算的教师对参考样本的表示确实增加了学习学生模型时的互信息。最后,我们进行了实证评估,并表明我们的RefBERT可以击败香草TinyBERT超过8.1\%,并实现了超过94\%的性能$\BERTBASE$在GLUE基准。同时,RefBERT比BERT $_{\rm BASE}$小7.4倍,推理速度快9.5倍。
2021-06-11 cs.CL cs.LG
Marginal Utility Diminishes: Exploring the Minimum Knowledge for BERT Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Inc(腾讯公司)
近年来,知识蒸馏(KD)在BERT压缩中取得了巨大的成功。研究人员发现,BERT隐藏层中包含的丰富信息有利于学生的表现,而不是像传统KD那样只从教师的软标签中学习。为了更好地利用隐藏的知识,一种常见的做法是迫使学生以逐层的方式深度模仿教师的所有标记的隐藏状态。然而,在本文中,我们观察到,虽然提取教师的隐藏状态知识(HSK)是有帮助的,性能增益(边际效用)迅速减少,因为更多的HSK是蒸馏。为了理解这种影响,我们进行了一系列的分析。具体来说,我们将BERT的HSK分为三个维度,即深度、长度和宽度。我们首先研究了各种策略来提取每个维度的关键知识,然后联合压缩三个维度。通过这种方式,我们表明:1)学生的成绩可以通过提取和提炼关键的HSK来提高,2)使用HSK的一小部分可以达到与广泛的HSK蒸馏相同的成绩。基于第二个发现,我们进一步提出了一个有效的KD范式来压缩BERT,它不需要加载教师在培训学生。对于两种学生模型和计算设备,所提出的KD范式产生了2.7x ~ 3.4x的训练加速比。
2021-06-10 cs.CL
Open Sesame: Getting Inside BERT's Linguistic Knowledge
Yale University(耶鲁大学)
BERT如何以及在多大程度上编码语法敏感的层次信息或位置敏感的线性信息?最近的研究表明,像BERT这样的语境表征在需要对语言结构敏感的任务中表现良好。我们在这里提出了两项研究,旨在提供一个更好的理解的性质BERT的表示。其中第一个重点是使用诊断分类器的结构定义的元素的识别,而第二个探讨BERT的表示主语-动词协议和照应词-先行词的依赖关系,通过自我注意向量的定量评估。在这两种情况下,我们发现,BERT编码的位置信息的单词标记以及在其较低的层,但切换到一个面向层次的编码更高的层。我们的结论是,BERT的表征确实模型的层次结构的语言相关方面,虽然他们似乎并没有表现出尖锐的敏感性,层次结构中发现人类处理的反身回指。
2019-06-04 cs.CL
Knowledge Augmented BERT Mutual Network in Multi-turn Spoken Dialogues
Georgia Institute of Technology(佐治亚理工学院)
现代口语语言理解(SLU)系统依赖于在单个话语中揭示的复杂语义概念来检测意图和槽。然而,他们缺乏在对话中建模多回合动态的能力,特别是在长期的插槽上下文中。在没有外部知识的情况下,依赖于词序列内有限的语言合法性可能会忽略对话轮之间的深层语义信息。在本文中,我们建议装备一个基于BERT的联合模型与知识注意力模块,以相互利用两个SLU任务之间的对话上下文。门控机制被进一步用来过滤掉不相关的知识三元组,并避免分心的理解。在两个复杂的多轮对话数据集上的实验结果表明,通过对两个SLU任务进行相互建模,过滤知识和对话上下文,我们的方法与几个竞争对手的基线相比有很大的改进。
2022-02-23 cs.CL
Injecting linguistic knowledge into BERT for Dialogue State Tracking
the Chinese University of Hong Kong(香港中文大学)
针对对话状态跟踪模型数据需求大、可解释性弱的问题,提出用无监督框架提取语言知识注入BERT的方法,借助CPM提取关联句法语义的特征,在多任务基准上实现准确率提升并增强模型可解释性。
2024-07-03 cs.AI cs.CL cs.LG
SKDBERT: Compressing BERT via Stochastic Knowledge Distillation
Meituan(美团)
在本文中,我们提出了随机知识蒸馏(SKD)获得紧凑的BERT风格的语言模型称为SKDBERT。在每次迭代中,SKD从预定义的教师集合中抽取教师模型,该教师集合由多个具有多级能力的教师模型组成,以一对一的方式将知识传递到学生模型中。抽样分布在SKD中起着重要的作用。我们简要地提出了三种类型的抽样分布分配适当的概率多层次的教师模型。SKD有两个优点:1)通过在每次迭代中随机抽取单个教师模型,可以保持多级教师模型的多样性; 2)当教师模型和学生模型之间存在较大容量差距时,通过多级教师模型可以提高知识蒸馏的效率。在GLUE基准测试上的实验结果表明,SKDBERT在保持99.5%的语言理解性能的同时,将BERT $_{\rm BASE}$模型的规模减小了40%,并且速度提高了100%.
2022-11-29 cs.CL
Syntactic Knowledge via Graph Attention with BERT in Machine Translation
University of Leeds(利兹大学)
针对Transformer深层句法建模不足的问题,提出SGB方法,利用GAT与BERT将句法依存特征作为显式知识融入机器翻译,实验证明其在三个任务中提升了翻译质量且未损失BLEU分数。
2023-05-22 cs.CL
AxBERT: An Interpretable Chinese Spelling Correction Method Driven by Associative Knowledge Network
Jiangsu Key Laboratory of Media Design and Software Technology(江苏省媒体设计与软件技术重点实验室)
针对深度学习模型不可解释性限制文本纠错应用的问题,提出可解释中文拼写纠错模型AxBERT,通过构建并对齐联想知识网络与翻译器矩阵调节BERT注意力,在SIGHAN数据集上实现了高精度与良好可解释性。
2025-03-04 cs.CL cs.LG
VLC-BERT: Visual Question Answering with Contextualized Commonsense Knowledge
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所)
人们对解决视觉问答(VQA)任务越来越感兴趣,这些任务要求模型在图像中存在的内容之外进行推理。在这项工作中,我们专注于需要常识推理的问题。与以前的方法,注入静态知识库的知识,我们调查的背景下的知识,使用常识Transformer(COMET),现有的知识模型训练的人类策划的知识库。我们提出了一种方法来生成,选择和编码外部常识知识以及视觉和文本线索在一个新的预训练的视觉语言常识Transformer模型,VLC-BERT。通过我们对知识密集型OK-VQA和A-OKVQA数据集的评估,我们表明VLC-BERT能够优于利用静态知识库的现有模型。此外,通过详细的分析,我们解释了哪些问题受益,哪些不受益,从上下文常识知识彗星。
2022-10-24 cs.CL cs.CV
SpikeBERT: A Language Spikformer Learned from BERT with Knowledge Distillation
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室)
本文改进Spikformer并提出两阶段知识蒸馏方法,从BERT蒸馏知识训练脉冲神经网络SpikeBERT,在英中文本分类上以更低能耗达到与BERT相当的性能。
2024-02-21 cs.CL
A Contextualized BERT model for Knowledge Graph Completion
School of Digital Science(数字科学学院);Universiti Brunei Darussalam(文莱达鲁萨兰大学)
本研究提出一种上下文BERT模型用于知识图谱补全,利用相邻实体和关系的上下文信息预测尾实体,无需实体描述和负采样,在FB15k-237和WN18RR上分别将Hit@1提升5.3%和4.88%,优于现有方法。
2024-12-15 cs.CL cs.LG
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn(波恩大学);Ruhr University Bochum(波鸿鲁尔大学);Fraunhofer IAIS(弗劳恩霍夫应用信息技术研究所)
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上,这些架构使用预训练的词嵌入。最近的研究表明,微调预训练的Transformer网络(例如BERT)可以在各种自然语言处理任务上优于以前的方法。在这项工作中,我们调查如何以及BERT执行SimpleQuestions,并提供了一个评估的BERT和BiLSTM为基础的模型,在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Roof-Transformer: Divided and Joined Understanding with Knowledge Enhancement
Academia Sinica(中央研究院)
最近的工作增强BERT为基础的语言表示模型与知识图谱(KG)和知识库(KBs)在多个NLP任务取得了可喜的成果。最先进的方法通常将原始输入句子与KG三元组集成,并将组合表示馈送到BERT模型中。然而,由于BERT模型的序列长度是有限的,这样的框架支持除了原始输入句子之外的很少的知识,并且因此被迫丢弃一些知识。这个问题对于输入是长段落甚至是文档的下游任务(例如QA或阅读理解任务)尤其严重。我们用Roof-Transformer解决这个问题,这是一个有两个底层BERT和一个融合层的模型。一个底层BERT对知识资源进行编码,另一个底层BERT对原始输入语句进行编码,融合层将两种编码结果进行融合。QA任务和GLUE基准测试的实验结果证明了该模型的有效性。
2022-10-20 cs.CL
Distilling the Knowledge of BERT for Sequence-to-Sequence ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
基于注意力的序列到序列(seq 2seq)模型在自动语音识别(ASR)中取得了令人鼓舞的结果。然而,由于这些模型以从左到右的方式解码,因此它们无法访问右侧的上下文。我们利用左和右上下文,通过知识蒸馏将BERT作为外部语言模型应用于seq 2seq ASR。在我们提出的方法中,BERT生成软标签来指导seq 2seq ASR的训练。此外,我们利用当前话语之外的上下文作为BERT的输入。实验结果表明,我们的方法显着提高了ASR性能从seq 2seq基线上的语料库的自发日语(CSJ)。从BERT的知识蒸馏优于从仅查看左上下文的Transformer LM的知识提取。我们还显示了利用上下文超出当前话语的有效性。我们的方法优于其他LM应用程序的方法,如n-best rescoring和浅融合,而它不需要额外的推理成本。
2020-08-09 cs.CL eess.AS
OAG-BERT: Towards A Unified Backbone Language Model For Academic Knowledge Services
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);Zhipu AI(智谱AI);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
学术知识服务通过提供大量有效的研究工具,极大地促进了科学事业的发展。然而,许多应用程序高度依赖于ad-hoc模型和昂贵的人工标记来理解科学内容,阻碍了部署到实际产品中。为了为不同的知识密集型学术应用构建统一的骨干语言模型,我们预先训练了一个学术语言模型OAG-BERT,它集成了开放学术图(OAG)中的异构实体知识和科学语料库-迄今为止最大的公共学术图。在OAG-BERT中,我们开发了预训练文本和实体数据的策略以及zero-shot推理技术。在OAG-BERT中,我们开发了预训练文本和实体数据的策略以及zero-shot推理技术。其zero-shot功能进一步减少了对昂贵注释的需求。OAG-BERT已被部署用于实际应用,例如中国国家自然科学基金委员会(NSFC)的审稿人推荐功能-中国最大的资助机构之一-以及AMiner中的论文标记。所有代码和预训练模型都可以通过CogDL工具包获得。
2022-10-03 cs.CL
BIG MOOD: Relating Transformers to Explicit Commonsense Knowledge
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
我们介绍了一种简单而有效的方法,集成上下文嵌入与常识图嵌入,被称为BERT注入图:匹配其他嵌入。首先,我们介绍了一种预处理方法,以提高查询知识库的速度。然后,我们开发了一种从每个知识库创建知识嵌入的方法。我们介绍了一种方法对齐两个未对齐的标记化方法之间的标记。最后,结合知识库嵌入,给出了一种BERT的上下文化方法。我们还显示BERT倾向于纠正准确性较低的问题类型。我们的模型实现了比BERT更高的准确率,我们在共享任务的官方排行榜上得分第五,在没有任何额外的语言模型预训练的情况下得分最高。
2019-10-17 cs.CL
LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding
Alibaba Group(阿里巴巴集团)
以BERT为代表的预训练模型在各种自然语言处理问题中取得了很好的效果。然而,大量的参数需要大量的内存和推理时间的消耗,这使得很难将它们部署在边缘设备上。本文提出了一种基于对比学习的知识蒸馏方法LRC-BERT,从角度距离的角度拟合中间层的输出,这是现有蒸馏方法没有考虑的。此外,我们在训练阶段引入了一种基于梯度扰动的训练结构,以提高LRC-BERT的鲁棒性,这是知识蒸馏的第一次尝试。此外,为了更好地捕捉中间层的分布特征,我们设计了一种两阶段的总蒸馏损失训练方法。最后,通过在通用语言理解评测(GLUE)上对8个数据集进行验证,结果表明,本文提出的LRC-BERT方法的性能优于现有的最新方法,证明了本文方法的有效性。
2020-12-14 cs.AI cs.CL
Enhancing Next-Generation Language Models with Knowledge Graphs: Extending Claude, Mistral IA, and GPT-4 via KG-BERT
STIH Laboratory, Sorbonne University(索邦大学STIH实验室);National Engineering School of Tunis(突尼斯国家工程学院);Faculty of Sciences of Tunis(突尼斯科学学院)
通过KG-BERT将知识图谱与Claude、Mistral IA和GPT-4结合,提升其事实可靠性与上下文感知能力。
2025-12-11 cs.CL
BERT-EMD: Many-to-Many Layer Mapping for BERT Compression with Earth Mover's Distance
Beijing Ultrapower Software Co.,Ltd.(北京超图软件股份有限公司);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
预先训练的语言模型(例如,BERT)在各种自然语言处理(NLP)任务中取得了显著的成功。然而,高存储和计算成本阻碍了预训练的语言模型有效地部署在资源受限的设备上。在本文中,我们提出了一种新的BERT蒸馏方法的基础上多对多层映射,它允许每个中间学生层从任何中间教师层学习。通过这种方式,我们的模型可以自适应地从不同的教师层学习各种NLP任务。%的动机是直觉,不同的NLP任务需要不同水平的语言知识包含在BERT的中间层。此外,我们利用地球移动器的距离(EMD)来计算必须支付的最小累积成本,将知识从教师网络到学生网络。EMD使得多对多层映射的有效匹配成为可能。%EMD可以应用于不同大小的网络层,有效地测量教师网络和学生网络之间的语义距离。此外,我们还提出了一种成本注意力机制来自动学习EMD中使用的层权值,以进一步提高模型的性能并加快收敛时间。在GLUE基准测试上的大量实验表明,与强大的竞争对手相比,我们的模型在准确性和模型压缩方面都具有竞争力的性能。
2020-10-13 cs.CL cs.LG
Investigation of BERT Model on Biomedical Relation Extraction Based on Revised Fine-tuning Mechanism
Department of Computer and Information Science University of Delaware(特拉华大学计算机与信息科学系);University of Delaware(特拉华大学);Department of Computer and Information Science(计算机与信息科学系)
随着生物医学文献的爆炸式增长,设计自动化的文献信息抽取工具对生物医学研究具有重要意义。最近,基于变压器的BERT模型适应于生物医学领域已经产生了领先的结果。然而,所有现有的BERT模型的关系分类只利用部分知识的最后一层。在本文中,我们将研究的方法,利用整个层的微调过程中的BERT模型。据我们所知,我们是第一个探索这种方法的。实验结果表明,我们的方法提高了BERT模型的性能,并优于国家的最先进的方法在三个基准数据集的不同关系抽取任务。进一步分析表明,关于关系的关键知识可以从BERT模型的最后一层学习。
2020-11-01 cs.CL
Knowledge Distillation for BERT Unsupervised Domain Adaptation
Hanyang University(汉阳大学);Vision AI Labs(视觉人工智能实验室);SK Telecom(SK电讯)
预先训练的语言模型BERT在一系列自然语言处理任务中带来了显着的性能提升。由于该模型是在不同主题的大型语料库上训练的,因此它在训练(源数据)和测试(目标数据)的数据分布不同但具有相似性的域转移问题上表现出了强大的性能。尽管与以前的模型相比,它有很大的改进,但由于域转移,它仍然遭受性能下降。为了缓解这些问题,我们提出了一个简单而有效的无监督领域自适应方法,对抗适应蒸馏(AAD),它结合了对抗歧视性领域自适应(ADDA)框架与知识蒸馏。我们评估了我们的方法在30个域对的跨域情感分类任务,推进了文本情感分类中无监督领域自适应的最新性能。
2020-10-23 cs.CL
Weight Squeezing: Reparameterization for Knowledge Transfer and Model Compression
VK Lab(VK实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Tinkoff
在这项工作中,我们提出了一种新的方法,同时知识转移和模型压缩称为重量挤压。通过这种方法,我们通过学习从教师模型的权重到较小的学生模型权重的映射来执行教师模型的知识转移。我们将权重压缩应用于基于BERT-Medium模型的预训练文本分类模型,并将我们的方法与其他各种知识转移和模型压缩方法在GLUE多任务基准上进行了比较。我们观察到,我们的方法产生了更好的结果,同时比其他训练学生模型的方法快得多。我们还提出了一种称为Gated Weight Squeezing的Weight Squeezing变体,其中我们结合了BERT-Medium模型的微调和BERT-Base权重的学习映射。我们表明,使用门控权重压缩的微调优于BERT-Medium模型的普通微调以及其他并发SoTA方法,同时更容易实现。
2021-08-30 cs.CL cs.LG stat.ML
Distilling the Knowledge of BERT for CTC-based ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
在自动语音识别(ASR)中,基于连接主义时态分类(CTC)的模型因其快速推理而备受关注。语言模型(LM)集成方法,如浅层融合和重评分,可以提高识别准确率的CTC为基础的ASR利用文本语料库中的知识。然而,它们显著减慢了CTC的推断。在这项研究中,我们建议提取BERT的知识,基于CTC的ASR,扩展我们以前的研究,基于注意力的ASR。基于CTC的ASR在训练过程中学习BERT的知识,在测试过程中不使用BERT,保持了CTC的快速推理能力。与基于注意力的模型不同,基于CTC的模型进行帧级预测,因此它们需要与BERT的标记级预测对齐以进行蒸馏。我们建议通过计算最合理的CTC路径来获得对齐。在自然日语语料库(CSJ)和TED-LIUM 2上的实验结果表明,该方法在不影响推理速度的前提下,提高了基于CTC的自动识别的性能。
2022-09-05 cs.CL cs.SD eess.AS
Improving Knowledge Distillation for BERT Models: Loss Functions, Mapping Methods, and Weight Tuning
本研究针对大型Transformer模型计算成本高的问题,聚焦TinyBERT学生模型,通过优化损失函数、层映射方法及损失权重调优改进BERT知识蒸馏,在GLUE基准任务上验证效果,以提升蒸馏效率与模型性能。
2023-08-26 cs.AI cs.CL