A Stack-Propagation Framework with Token-Level Intent Detection for Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）
意图检测和槽填充是构建口语语言理解（SLU）系统的两个主要任务。这两个任务紧密相连，插槽通常高度依赖于意图。在本文中，我们提出了一个新的框架SLU更好地纳入意图信息，进一步指导槽填充。在我们的框架中，我们采用了一个联合模型与堆栈传播，可以直接使用的意图信息作为输入槽填充，从而捕捉意图语义知识。此外，为了进一步减轻错误传播，我们执行堆栈传播框架的令牌级意图检测。在两个公开数据集上的实验表明，我们的模型达到了最先进的性能，并大大优于其他以前的方法。最后，我们使用双向编码器表示从Transformer（BERT）模型在我们的框架中，这进一步提高了我们在SLU任务的性能。
2019-09-05 cs.CL
Joint Intent Detection and Slot Filling with Wheel-Graph Attention Networks
Guangdong University of Technology（广东工业大学）
意图检测和槽填充是构建口语语言理解系统的两个基本任务。多个基于深度学习的联合模型在这两项任务上都表现出了出色的效果。在本文中，我们提出了一个新的联合模型与轮图注意力网络（Wheel-GAT），它能够建模相关的连接直接的意图检测和插槽填充。为了构建话语的图形结构，我们创建意图节点、槽节点和有向边。意图节点可以提供用于槽填充的话语级语义信息，而槽节点还可以提供用于意图的本地关键字信息。实验表明，我们的模型在两个公共数据集上的性能优于多个基线。此外，我们还证明，使用双向编码器表示从Transformer（BERT）模型进一步提高了SLU任务的性能。
2021-02-09 cs.AI cs.CL
Knowledge Augmented BERT Mutual Network in Multi-turn Spoken Dialogues
Georgia Institute of Technology（佐治亚理工学院）
现代口语语言理解（SLU）系统依赖于在单个话语中揭示的复杂语义概念来检测意图和槽。然而，他们缺乏在对话中建模多回合动态的能力，特别是在长期的插槽上下文中。在没有外部知识的情况下，依赖于词序列内有限的语言合法性可能会忽略对话轮之间的深层语义信息。在本文中，我们建议装备一个基于BERT的联合模型与知识注意力模块，以相互利用两个SLU任务之间的对话上下文。门控机制被进一步用来过滤掉不相关的知识三元组，并避免分心的理解。在两个复杂的多轮对话数据集上的实验结果表明，通过对两个SLU任务进行相互建模，过滤知识和对话上下文，我们的方法与几个竞争对手的基线相比有很大的改进。
2022-02-23 cs.CL
Distilling the Knowledge of BERT for CTC-based ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
在自动语音识别（ASR）中，基于连接主义时态分类（CTC）的模型因其快速推理而备受关注。语言模型（LM）集成方法，如浅层融合和重评分，可以提高识别准确率的CTC为基础的ASR利用文本语料库中的知识。然而，它们显著减慢了CTC的推断。在这项研究中，我们建议提取BERT的知识，基于CTC的ASR，扩展我们以前的研究，基于注意力的ASR。基于CTC的ASR在训练过程中学习BERT的知识，在测试过程中不使用BERT，保持了CTC的快速推理能力。与基于注意力的模型不同，基于CTC的模型进行帧级预测，因此它们需要与BERT的标记级预测对齐以进行蒸馏。我们建议通过计算最合理的CTC路径来获得对齐。在自然日语语料库（CSJ）和TED-LIUM 2上的实验结果表明，该方法在不影响推理速度的前提下，提高了基于CTC的自动识别的性能。
2022-09-05 cs.CL cs.SD eess.AS
Towards Non-task-specific Distillation of BERT via Sentence Representation Approximation
Tencent（腾讯）；Peking University（北京大学）
最近，由于其有效性和通用性，BERT已成为各种NLP深度模型的重要组成部分。然而，BERT的在线部署往往是其大规模的参数和高计算成本的阻碍。大量的研究表明，知识蒸馏可以有效地将知识从BERT转移到具有较小参数的模型中。然而，目前的BERT提取方法主要集中在特定任务的提取，这样的方法导致BERT的通用语义知识的通用性的可用性损失。在本文中，我们提出了一个句子表示近似定向蒸馏框架，可以将预训练的BERT蒸馏成一个简单的基于LSTM的模型，而无需指定任务。与BERT一致，我们的蒸馏模型能够通过微调来执行迁移学习，以适应任何并行级下游任务。此外，我们的模型可以进一步配合特定任务的蒸馏过程。来自GLUE基准测试的多个NLP任务的实验结果表明，我们的方法优于其他特定于任务的蒸馏方法，甚至更大的模型，即，ELMO，效率大大提高。
2020-04-07 cs.CL
CG-BERT: Conditional Text Generation with BERT for Generalized Few-shot Intent Detection
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Florida State University（佛罗里达州立大学）
在本文中，我们制定了一个更现实和困难的问题设置的意图检测任务在自然语言理解，即广义Few-Shot意图检测（GFSID）。GFSID旨在区分由具有足够标记数据的现有意图和每个类别只有几个示例的新意图组成的联合标签空间。为了解决这个问题，我们提出了一个新的模型，条件文本生成与BERT（CG-BERT）。CG-BERT有效地利用大型预训练语言模型来生成以意图标签为条件的文本。通过用变分推理对话语分布进行建模，CG-BERT可以为新意图生成不同的话语，即使只有几个可用的话语。实验结果表明，CG-BERT在两个真实世界数据集上的1次和5次设置的GFSID任务上实现了最先进的性能。
2020-04-04 cs.CL cs.LG
Phoneme-BERT: Joint Language Modelling of Phoneme Sequence and ASR Transcript
近年来，在识别口语的ASR系统中已经见证了显著的改进。然而，它仍然是一个具有挑战性的任务，噪声和域外数据，其中替换和删除错误是普遍存在的转录文本。这些错误会显著降低下游任务的性能。在这项工作中，我们提出了一个BERT风格的语言模型，称为PhonemeBERT，学习一个联合语言模型与音素序列和ASR成绩单学习语音感知表示，是强大的ASR错误。我们表明，PhonemeBERT可以用于下游任务使用音素序列作为附加功能，也可以在低资源设置，我们只有ASR转录的下游任务没有可用的音素信息。我们通过为三个基准数据集生成噪声数据来广泛评估我们的方法-斯坦福情绪树库，TREC和ATIS分别用于情绪，问题和意图分类任务。所提出的方法的结果在每个数据集上全面击败了最先进的基线。
2021-06-15 cs.CL eess.AS
Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models
Kata.ai Research Team（Kata.ai 研究团队）；University of Indonesia（印度尼西亚大学）
我们从特定于任务的BERT教师模型到各种学生模型执行知识蒸馏（KD）基准测试：BiLSTM，CNN，BERT-Tiny，BERT-Mini和BERT-Small。我们的实验涉及12个数据集分为两个任务：文本分类和序列标记在印度尼西亚语。我们还比较了各个方面的蒸馏，包括使用词嵌入和无标记的数据增强。我们的实验表明，尽管基于transformer的模型越来越受欢迎，但与修剪的BERT模型相比，使用BiLSTM和CNN学生模型在性能和计算资源（CPU，RAM和存储）之间提供了最佳权衡。我们进一步提出了一些快速的胜利，通过有效的KD训练机制，包括简单的选择损失函数，词嵌入，和未标记的数据准备执行KD产生小型NLP模型。
2022-01-03 cs.CL
BERT for Joint Intent Classification and Slot Filling
Speech Lab, DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团，语音实验室）
意图分类和槽填充是自然语言理解的两个基本任务。它们通常受到小规模人类标记的训练数据的影响，导致泛化能力差，特别是对于稀有词。最近，一种新的语言表示模型，BERT（来自Transformers的双向编码器表示），有助于在大规模未标记语料库上预训练深度双向表示，并在简单的微调后为各种各样的自然语言处理任务创建了最先进的模型。然而，还没有太多的努力，探索BERT的自然语言的理解。本文提出了一种基于BERT的联合意图分类和时隙填充模型。实验结果表明，与基于注意力的递归神经网络模型和槽门模型相比，该模型在多个公共基准数据集上的意图分类准确率、槽填充F1和句子级语义框架准确率都有显著提高.
2019-02-28 cs.CL
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
Beihang University（北京航空航天大学）
本文提出MLKD-BERT，通过在教师-学生框架中蒸馏多层级知识并灵活设置学生注意力头数量，在GLUE和抽取式问答任务上超越现有知识蒸馏方法，同时显著降低推理时间。
2024-07-03 cs.CL cs.LG
Bengali Intent Classification with Generative Adversarial BERT
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；Chittagong University of Engineering and Technology（吉大港工程技术大学）
该研究构建了包含30个类别的孟加拉语意图分类数据集BNIntent30，并提出GAN-BnBERT模型，结合BERT上下文嵌入与GAN生成建模能力，在该数据集上性能优于Bi-LSTM和独立BERT分类模型。
2023-12-17 cs.CL
LightMBERT: A Simple Yet Effective Method for Multilingual BERT Distillation
Huazhong University of Science and Technology（华中科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
多语言预训练语言模型（例如mBERT，XLM和XLM-R）在跨语言自然语言理解任务中表现出令人印象深刻的性能。然而，这些模型是计算密集型的，并且难以部署在资源受限的设备上。在本文中，我们提出了一个简单而有效的蒸馏方法（LightMBERT）的跨语言泛化能力的多语种BERT到一个小的学生模型。实验结果实证证明LightMBERT的效率和有效性，这是显着优于基线，并表现出与教师mBERT。
2021-03-11 cs.CL
LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding
Alibaba Group（阿里巴巴集团）
以BERT为代表的预训练模型在各种自然语言处理问题中取得了很好的效果。然而，大量的参数需要大量的内存和推理时间的消耗，这使得很难将它们部署在边缘设备上。本文提出了一种基于对比学习的知识蒸馏方法LRC-BERT，从角度距离的角度拟合中间层的输出，这是现有蒸馏方法没有考虑的。此外，我们在训练阶段引入了一种基于梯度扰动的训练结构，以提高LRC-BERT的鲁棒性，这是知识蒸馏的第一次尝试。此外，为了更好地捕捉中间层的分布特征，我们设计了一种两阶段的总蒸馏损失训练方法。最后，通过在通用语言理解评测（GLUE）上对8个数据集进行验证，结果表明，本文提出的LRC-BERT方法的性能优于现有的最新方法，证明了本文方法的有效性。
2020-12-14 cs.AI cs.CL
Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation
Fudan University（复旦大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
微调预训练的语言模型（如BERT）已成为NLP中的一种有效方法，并在许多下游任务中产生最先进的结果。最近关于BERT适应新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据和知识。微调战略本身还有待充分探讨。本文采用自系综和自蒸馏两种有效的机制对BERT的微调进行改进。在文本分类和自然语言推理任务上的实验表明，我们提出的方法可以显着提高BERT的适应性，无需任何外部数据或知识。
2020-02-24 cs.CL cs.LG
Why Can You Lay Off Heads? Investigating How BERT Heads Transfer
National Taiwan University（台湾大学）
广泛使用的BERT系列模型的巨大规模导致了最近关于模型蒸馏的努力。蒸馏的主要目标是创建一个与任务无关的预训练模型，该模型可以在下游任务上进行微调，而无需对其全尺寸版本进行微调。尽管蒸馏的进展，在何种程度上，以及出于何种原因，可以从蒸馏创建一个任务不可知模型还没有得到很好的研究。此外，这些BERT模型的迁移学习背后的机制也没有得到很好的研究。因此，本工作着重于分析蒸馏时可接受的扣除，以指导未来的蒸馏程序。具体来说，我们首先使用Michel等人（2019）提出的头部重要性估计来检查RoBERTa和ALBERT中Transformer头部的可修剪性，然后检查预训练任务和下游任务之间重要头部的一致性。因此，在提取模型时，可以从结果中得出预训练任务的可接受性能推断，并且我们进一步比较了微调前后修剪模型的行为。我们的研究为BERT族模型蒸馏的未来发展方向提供了指导。
2021-06-14 cs.CL
Knowledge Distillation for BERT Unsupervised Domain Adaptation
Hanyang University（汉阳大学）；Vision AI Labs（视觉人工智能实验室）；SK Telecom（SK电讯）
预先训练的语言模型BERT在一系列自然语言处理任务中带来了显着的性能提升。由于该模型是在不同主题的大型语料库上训练的，因此它在训练（源数据）和测试（目标数据）的数据分布不同但具有相似性的域转移问题上表现出了强大的性能。尽管与以前的模型相比，它有很大的改进，但由于域转移，它仍然遭受性能下降。为了缓解这些问题，我们提出了一个简单而有效的无监督领域自适应方法，对抗适应蒸馏（AAD），它结合了对抗歧视性领域自适应（ADDA）框架与知识蒸馏。我们评估了我们的方法在30个域对的跨域情感分类任务，推进了文本情感分类中无监督领域自适应的最新性能。
2020-10-23 cs.CL
Improving Task-Agnostic BERT Distillation with Layer Mapping Search
Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）
知识蒸馏（KD）是将教师模型中的知识转化为学生模型中的知识的一种方法，近年来被广泛应用于BERT模型的压缩。除了原始KD中输出的监督之外，最近的工作表明，层级监督对学生BERT模型的性能至关重要。然而，先前的工作设计了层映射策略（例如，均匀或最后一层），这可能导致较差的性能。在本文中，我们提出了使用遗传算法（GA）自动搜索最佳层映射。为了加快搜索过程，我们进一步提出了一个代理设置，其中一小部分的训练语料库进行采样蒸馏，并选择三个代表性的任务进行评估。在获得最佳层映射后，我们用它对整个语料进行任务无关的BERT蒸馏，以构建一个紧凑的学生模型，该模型可以直接在下游任务上进行微调。在评估基准上的综合实验表明：1）层映射策略对任务无关的BERT提取有显著的影响，不同的层映射会导致不同的性能：2）所提出的搜索过程中的最优层映射策略始终优于其他启发式策略; 3）通过最佳层映射，我们的学生模型在GLUE任务上实现了最先进的性能。
2020-12-11 cs.CL
SKDBERT: Compressing BERT via Stochastic Knowledge Distillation
Meituan（美团）
在本文中，我们提出了随机知识蒸馏（SKD）获得紧凑的BERT风格的语言模型称为SKDBERT。在每次迭代中，SKD从预定义的教师集合中抽取教师模型，该教师集合由多个具有多级能力的教师模型组成，以一对一的方式将知识传递到学生模型中。抽样分布在SKD中起着重要的作用。我们简要地提出了三种类型的抽样分布分配适当的概率多层次的教师模型。SKD有两个优点：1）通过在每次迭代中随机抽取单个教师模型，可以保持多级教师模型的多样性; 2）当教师模型和学生模型之间存在较大容量差距时，通过多级教师模型可以提高知识蒸馏的效率。在GLUE基准测试上的实验结果表明，SKDBERT在保持99.5%的语言理解性能的同时，将BERT $_{\rm BASE}$模型的规模减小了40%，并且速度提高了100%.
2022-11-29 cs.CL
Improving Knowledge Distillation for BERT Models: Loss Functions, Mapping Methods, and Weight Tuning
本研究针对大型Transformer模型计算成本高的问题，聚焦TinyBERT学生模型，通过优化损失函数、层映射方法及损失权重调优改进BERT知识蒸馏，在GLUE基准任务上验证效果，以提升蒸馏效率与模型性能。
2023-08-26 cs.AI cs.CL
Automatic Assignment of Radiology Examination Protocols Using Pre-trained Language Models with Knowledge Distillation
University of Washington（华盛顿大学）
选择放射学检查协议是一个重复且耗时的过程。在本文中，我们提出了一种深度学习方法，通过预训练特定于领域的BERT模型（$BERT_{rad}$）来自动为计算机断层扫描检查分配协议。为了处理检查协议之间的高数据不平衡，我们使用了一种知识蒸馏方法，通过数据增强对少数类进行上采样。我们使用支持向量机（SVM），梯度提升机（GBM），随机森林（RF）分类器，以及谷歌的$BERT_{base}$模型的统计n-gram模型的分类性能进行了比较。SVM、GBM和RF的宏观平均F1评分分别为0.45、0.45和0.6，而$BERT_{base}$和$BERT_{rad}$分别为0.61和0.63。知识蒸馏提高了少数民族班的整体表现，达到了0.66的F1分数。
2021-07-06 cs.CL
Joint Multiple Intent Detection and Slot Filling via Self-distillation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
意图检测和槽填充是自然语言理解（NLU）中的两个主要任务，用于从用户的话语中识别用户的需求。这两项任务高度相关，经常联合训练。然而，大多数先前的作品假设每个话语仅对应于一个意图，忽略了用户话语在许多情况下可以包括多个意图的事实。在本文中，我们提出了一种新的自蒸馏联合NLU模型（SDJN）的多意图NLU。首先，我们将多意图检测作为一个弱监督问题，并采用多实例学习（MIL）方法。然后，我们通过自蒸馏设计了一个辅助循环，其中有三个顺序排列的解码器：初始槽解码器，MIL意图解码器和最终槽解码器。每个解码器的输出将作为下一个解码器的辅助信息。利用MIL Intent Decoder提供的辅助知识，我们将Final Slot Decoder设置为教师模型，将知识传递回Initial Slot Decoder以完成循环。辅助循环使意图和插槽能够相互深入指导，并进一步提高整体NLU性能。在两个公共多意图数据集上的实验结果表明，与其他模型相比，我们的模型具有很强的性能。
2021-08-18 cs.CL
Extract then Distill: Efficient and Effective Task-Agnostic BERT Distillation
Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
与任务无关的知识蒸馏是一个师生框架，已被证明是有效的BERT压缩。虽然在NLP任务上取得了很好的结果，但它需要大量的计算资源。在本文中，我们提出提取然后蒸馏（ETD），一个通用的和灵活的策略，以重用教师的参数，高效和有效的任务不可知蒸馏，它可以适用于任何规模的学生。具体来说，我们介绍了两个变种的ETD，ETD-Rand和ETD-Impt，提取教师的参数在一个随机的方式，并通过以下的重要性度量分别。这样，学生在蒸馏过程开始时就已经掌握了一些知识，这使得蒸馏过程收敛得更快。我们证明了ETD在GLUE基准和SQuAD上的有效性。实验结果表明：（1）与未采用ETD策略的基线算法相比，ETD算法可以节省70%的计算量。此外，当使用相同的计算资源时，它实现了比基线更好的结果。(2)ETD是通用的，并且已被证明对不同的蒸馏方法有效（例如，TinyBERT和MiniLM）和不同大小的学生。源代码将在发布时公开提供。
2021-04-24 cs.CL
SpikeBERT: A Language Spikformer Learned from BERT with Knowledge Distillation
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
本文改进Spikformer并提出两阶段知识蒸馏方法，从BERT蒸馏知识训练脉冲神经网络SpikeBERT，在英中文本分类上以更低能耗达到与BERT相当的性能。
2024-02-21 cs.CL
Enhancing Slot Tagging with Intent Features for Task Oriented Natural Language Understanding using BERT
Samsung R&D Institute（三星研发院）；Indian Institute of Technology（印度理工学院）
最近的联合意图检测和插槽标记模型与单独的模型相比，性能有所提高。在许多真实世界的数据集中，槽标签和值与其意图标签有很强的相关性。在这种情况下，意图标签信息可以充当槽标记模型的有用特征。在本文中，我们通过3种技术在联合意图和插槽检测模型的插槽标记任务中研究了利用意图标签特征的效果。我们在基准口语数据集SNIPS和ATIS以及大型私人Bixby数据集上评估了我们的技术，并观察到在最先进的模型上改进了插槽标记性能。
2022-05-23 cs.AI cs.CL
Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection
IBM Consulting Italy（IBM意大利咨询公司）；IBM Research Europe（IBM欧洲研究院）
本文提出 Zero-Shot-BERT-Adapters 两阶段零样本流水线，将多语言意图分类建模为 NLI，并在已知与未见意图任务上优于基线。
2023-12-08 cs.CL cs.LG
ESIE-BERT: Enriching Sub-words Information Explicitly with BERT for Joint Intent Classification and SlotFilling
Southwestern University of Finance and Economics（西南财经大学）；Innovation Research Institute of Digital Economy and Interdisciplinary Sciences（数字经济与交叉科学创新研究院）；School of Business Administration, Faculty of Business Administration（工商管理学院（工商管理学部））
自然语言理解（NLU）有两个核心任务：意图分类和槽填充。预训练语言模型的成功使这两项任务取得了重大突破。其中一个有前途的解决方案称为BERT，可以联合优化这两个任务。我们注意到，基于BERT的模型通过字段算法将每个复杂的令牌转换为多个子令牌，这会产生令牌和标签之间的长度不匹配。这导致基于BERT的模型在标签预测方面做得不好，限制了模型性能的提高。许多现有的模型可以兼容这个问题，但一些隐藏的语义信息被丢弃在微调过程中。我们解决这个问题，通过引入一种新的联合方法上的BERT显式模型的多个子令牌功能后的单词标记化，从而有助于这两个任务。我们的方法可以很好地提取复杂的令牌的子词注意力适配器（SAA），它保留了整体的话语信息的上下文特征。此外，我们提出了一个意图注意适配器（IAA），以获得完整的句子功能，以帮助用户预测意图。实验结果表明，我们提出的模型是显着改善两个公共基准数据集。特别是，在航空公司旅行信息系统（ATIS）数据集上，空位填充F1分数从96.1提高到98.2（绝对值2.1%）。
2023-02-02 cs.AI cs.CL
Multi-lingual Intent Detection and Slot Filling in a Joint BERT-based Model
Almawave（阿尔马维）
意图检测和槽填充是口语自然语言理解中的两个主要任务。常见的方法在基于注意力的递归框架中采用联合深度学习架构。在这项工作中，我们的目标是利用这些任务的“复发少”模型的成功。我们引入Bert-Joint，即，多语言联合文本分类和序列标记框架。两个著名的英语基准的实验评估表明，该模型可以获得强大的性能，即使在很少的注释数据。此外，我们为意大利语注释了一个新的数据集，我们观察到了类似的表现，而无需改变模型。
2019-07-05 cs.CL cs.LG
Task Conditioned BERT for Joint Intent Detection and Slot-filling
Universidade NOVA de Lisboa（新里斯本大学）；Farfetch（发发奇）
本文提出任务条件化BERT，通过在统一Transformer编码器上同时条件化意图和多种槽位推断，在MultiWOZ上使联合意图与槽位检测最高提升14.4%，并在真实对话中取得较高性能。
2023-08-11 cs.CL
TernaryBERT: Distillation-aware Ultra-low Bit BERT
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于transformer的预训练模型如BERT在许多自然语言处理任务中取得了显著的性能，但是这些模型的计算量和存储量都很大，阻碍了它们在资源受限的设备上的部署。在这项工作中，我们提出了Ternary BERT，它trinarizes在微调BERT模型的权重。具体来说，我们使用基于近似和损失感知的三端化方法和经验调查的三端化粒度的不同部分的BERT。此外，为了减少由于低比特容量较低而导致的精度下降，我们在训练过程中利用了知识蒸馏技术。在GLUE基准测试和SQuAD上的实验表明，我们提出的Ternary BERT优于其他BERT量化方法，甚至达到了与全精度模型相当的性能，同时比全精度模型小14.9倍。
2020-10-10 cs.CL cs.LG cs.SD
KDLSQ-BERT: A Quantized Bert Combining Knowledge Distillation with Learned Step Size Quantization
Central Software Institute, Huawei（华为中央软件研究院）
最近，基于transformer的语言模型，如BERT，在一系列自然语言处理任务中表现出了巨大的性能提升。然而，这些语言模型在推理期间通常是计算昂贵和存储密集的。因此，很难将它们部署在资源受限的设备上。为了提高推理性能，在保持模型精度的同时减小模型规模，提出了一种新的量化方法KDLSQ-BERT，该方法将知识蒸馏（KD）和学习步长量化（LSQ）相结合，用于语言模型的量化.我们的方法的主要思想是，KD技术是利用知识从一个“教师”模型转移到一个“学生”模型时，利用LSQ在量化训练过程中的“学生”模型。在GLUE基准测试和SQuAD上的大量实验结果表明，我们提出的KDLSQ-BERT不仅在进行不同比特（例如2-bit $\sim$ 8-bit）量化时表现有效，而且优于现有的BERT量化方法，甚至在获得14.9倍压缩比的同时达到了与全精度基线模型相当的性能。我们的代码将公开。
2021-01-15 cs.AI cs.CL cs.LG
Patient Knowledge Distillation for BERT Model Compression
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
预先训练的语言模型（如BERT）已被证明对自然语言处理（NLP）任务非常有效。然而，训练此类模型对计算资源的高需求阻碍了其在实践中的应用。为了缓解大规模模型训练中的这种资源饥饿，我们提出了一种患者知识蒸馏方法，将原始的大模型（教师）压缩成同样有效的轻量级浅层网络（学生）。与以往的知识蒸馏方法不同，这些方法只使用教师网络最后一层的输出进行蒸馏，我们的学生模型耐心地从教师模型的多个中间层学习，以进行增量知识提取，遵循两种策略：（$i$）PKD-Last：从最后一个$k$层学习;和（$ii$）PKD-Skip：从每个$k$层学习。这两个耐心的蒸馏方案使教师的隐藏层中的丰富信息的开发，并鼓励学生模型耐心地学习和模仿教师通过多层蒸馏过程。从经验上讲，这可以转化为多个NLP任务的改进结果，在不牺牲模型准确性的情况下显著提高训练效率。
2019-08-25 cs.CL cs.LG
Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Sun-Yat Sen University（中山大学）
尽管预先训练的语言模型（如BERT）在广泛的自然语言处理任务中取得了令人瞩目的性能，但在实时应用中部署它们在计算上是昂贵的。一种典型的方法是采用知识蒸馏将这些大的预训练模型（教师模型）压缩成小的学生模型。然而，对于一个目标域与稀缺的训练数据，教师很难传递有用的知识给学生，这会导致学生模型的性能下降。为了解决这个问题，我们提出了一种方法来学习，以增加数据稀缺域BERT知识蒸馏，通过学习一个跨域的操作计划，自动增加的目标与资源丰富的源域的帮助。具体而言，该方法产生的样本从一个固定的分布附近的目标数据，并采用了一个加强选择器自动细化增强策略，根据学生的表现。大量的实验表明，所提出的方法显着优于国家的最先进的基线在四个不同的任务，并为数据稀缺的领域，压缩的学生模型甚至比原来的大型教师模型，更少的参数（只有${\sim}13.3\%$）时，只有几个标记的例子。
2021-06-19 cs.CL
Marginal Utility Diminishes: Exploring the Minimum Knowledge for BERT Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
近年来，知识蒸馏（KD）在BERT压缩中取得了巨大的成功。研究人员发现，BERT隐藏层中包含的丰富信息有利于学生的表现，而不是像传统KD那样只从教师的软标签中学习。为了更好地利用隐藏的知识，一种常见的做法是迫使学生以逐层的方式深度模仿教师的所有标记的隐藏状态。然而，在本文中，我们观察到，虽然提取教师的隐藏状态知识（HSK）是有帮助的，性能增益（边际效用）迅速减少，因为更多的HSK是蒸馏。为了理解这种影响，我们进行了一系列的分析。具体来说，我们将BERT的HSK分为三个维度，即深度、长度和宽度。我们首先研究了各种策略来提取每个维度的关键知识，然后联合压缩三个维度。通过这种方式，我们表明：1）学生的成绩可以通过提取和提炼关键的HSK来提高，2）使用HSK的一小部分可以达到与广泛的HSK蒸馏相同的成绩。基于第二个发现，我们进一步提出了一个有效的KD范式来压缩BERT，它不需要加载教师在培训学生。对于两种学生模型和计算设备，所提出的KD范式产生了2.7x ~ 3.4x的训练加速比。
2021-06-10 cs.CL
Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection
Sofia University “St. Kliment Ohridski”（圣克莱门特·奥里季斯基索菲亚大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））
在自然语言理解中，检测用户的意图并在话语的词之间找到对应的槽是重要的任务。它们相互关联的性质使得它们的联合建模成为训练此类模型的标准部分。此外，缺乏数据和专门词汇也带来了额外的挑战。最近，预训练语言模型的进展，即ELMo和BERT等情境化模型，通过挖掘训练非常大的模型的潜力，对特定任务数据集进行几步微调，彻底改变了该领域。在这里，我们利用这样的模型，即BERT和RoBERTa，我们设计了一个新的架构上。此外，我们提出了一个意图池注意力机制，我们加强了插槽填充任务融合意图分布，文字功能，和令牌表示。在标准数据集上的实验结果表明，我们的模型的性能优于当前的非BERT技术水平以及一些更强的基于BERT的基线。
2021-10-05 cs.CL
MIND: Multimodal Shopping Intention Distillation from Large Vision-language Models for E-commerce Purchase Understanding
HKUST（香港科技大学）；Amazon.com Inc（亚马逊公司）
本文提出多模态框架MIND，利用大型视觉语言模型从多模态产品元数据中蒸馏以人为中心的购物意图，构建了大规模多模态意图知识库，并在两个意图理解任务中显著提升了大型语言模型的性能。
2024-10-12 cs.CL
How to Distill your BERT: An Empirical Study on the Impact of Weight Initialisation and Distillation Objectives
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文首次在任务特定与任务无关两种设置下全面评估BERT中间层蒸馏目标，发现注意力迁移总体最优，并证明用教师低层初始化学生模型可显著提升任务特定蒸馏性能，同时发布了高效Transformer蒸馏框架。
2023-05-24 cs.AI cs.CL cs.LG
SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking
Fudan University（复旦大学）
由于同音异义词的多义性，汉语拼写检查有着广泛的应用。现有系统通常利用BERT进行文本编码。然而，CSC要求模型同时考虑语音和字形信息。为了使BERT适应CSC任务，我们提出了一种标记级自蒸馏对比学习方法。我们使用BERT来编码损坏的句子和相应的正确句子。然后，我们使用对比学习损失规则化损坏的标记的隐藏状态，以接近正确句子中的对应物。在三个CSC数据集上，我们证实了我们的方法在基线上有显著的改进。
2022-11-07 cs.AI cs.CL
DistilHuBERT: Speech Representation Learning by Layer-wise Distillation of Hidden-unit BERT
National Center for High-performance Computing（国家高速网络与计算中心）；National Applied Research Laboratories（国家实验研究院）
像wav2vec 2.0和隐藏单元BERT（HuBERT）这样的自监督语音表示学习方法利用未标记的语音数据进行预训练，并为许多语音处理任务提供良好的表示。尽管这些方法取得了成功，但它们需要大量的内存和高昂的预训练成本，这使得学术界和小公司的研究人员无法使用它们。因此，本文引入了DistilHuBERT，一种新的多任务学习框架，直接从HuBERT模型中提取隐藏的表示。这种方法将HuBERT的大小减少了75%，同时在10个不同的任务中保持了最高的性能。此外，DistilHuBERT只需要很少的训练时间和数据，为预先训练个人和设备上的语音SSL模型提供了可能性。
2022-04-28 cs.CL eess.AS
Can We Use Probing to Better Understand Fine-tuning and Knowledge Distillation of the BERT NLU?
Samsung R&D Poland Institute（三星波兰研发研究院）；Warsaw University of Technology（华沙理工大学）
本文使用探针研究基于BERT的NLU模型在微调与知识蒸馏中的现象，发现现有探针范式未考虑信息可解码性，无法有效解答微调与蒸馏的实际问题，指出量化信息可解码性对探针实际应用至关重要。
2023-01-27 cs.CL cs.LG
Effectiveness of Pre-training for Few-shot Intent Classification
The Hong Kong Polytechnic University（香港理工大学）；Fano Labs（范诺实验室）
本研究针对少样本意图分类任务，发现仅用约千条公开标注数据微调BERT得到的IntentBERT，性能优于现有基于大规模无标注语料的预训练模型，证实了少样本意图检测的可行性与跨域泛化性。
2024-09-15 cs.CL
BERT Learns to Teach: Knowledge Distillation with Meta Learning
Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们提出了知识蒸馏与元学习（MetaDistil），一个简单而有效的替代传统的知识蒸馏（KD）的方法，教师模型是固定的培训。我们证明了教师网络可以学习更好地将知识传递给学生网络（即，学习教学），并具有来自元学习框架中的提炼学生网络的性能的反馈。此外，我们引入了一个试点更新机制，以提高对齐的内部学习者和元学习者之间的元学习算法，专注于一个改进的内部学习者。在各种基准测试上的实验表明，MetaDistil与传统KD算法相比，可以产生显著的改进，并且对不同学生容量和超参数的选择不太敏感，便于在不同任务和模型上使用KD。
2022-04-01 cs.AI cs.CL cs.CV
Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes
University of Groningen（格罗宁根大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；NVIDIA（英伟达）
提出意图感知训练方法，通过显式建模用户意图信号提升安全分类器鲁棒性，在多个训练机制下取得最优平均性能。
2026-10-19 cs.CL
Intent Recognition and Out-of-Scope Detection using LLMs in Multi-party Conversations
Université Paris-Saclay, CEA, List, Palaiseau, France（巴黎-萨克雷大学，CEA，List，Palaiseau，法国）
针对传统任务导向对话系统需大量标注数据的问题，提出结合BERT与大语言模型的混合方法，在零/少样本下实现多方对话的意图识别与域外检测，通过信息共享提升了系统性能。
2025-07-29 cs.CL cs.LG
Fin-ExBERT: User Intent based Text Extraction in Financial Context using Graph-Augmented BERT and trainable Plugin
Fidelity Investments（fidelity投资公司）
针对金融对话记录的句子级意图信息抽取难题，提出模块化 Fin-ExBERT 框架，结合领域适配 BERT、LoRA、渐进式解冻训练与动态阈值，在真实数据上取得良好精确率和 F1。
2025-09-27 cs.CL
Word Sense Induction with Knowledge Distillation from BERT
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出两阶段知识蒸馏方法，从 BERT 提取词义分布并训练注意力消歧机制，再迁移至 skip-gram 式多义词嵌入，在相似度、词义归纳及 ETM 下游任务中表现优异。
2023-04-20 cs.CL
MIKO: Multimodal Intention Knowledge Distillation from Large Language Models for Social-Media Commonsense Discovery
Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程学系）
本文提出 MIKO 框架，协同 LLM 与 MLLM 从图文社交媒体帖子中蒸馏用户意图，构建大规模意图知识库并验证其可提升讽刺检测等下游任务。
2024-02-29 cs.CL
One Teacher is Enough? Pre-trained Language Model Distillation from Multiple Teachers
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
预训练的语言模型在自然语言处理中取得了巨大的成功。然而，它们庞大的模型尺寸阻碍了它们在许多实际系统中的应用。知识蒸馏是一种流行的压缩PLM的技术，它从大型教师PLM中学习小型学生模型。然而，从单一教师那里学到的知识可能是有限的，甚至是有偏差的，从而导致低质量的学生模型。本文提出了一种多教师知识蒸馏框架MT-BERT，用于预训练语言模型压缩，可以从多教师PLM中训练出高质量的学生模型。在MT-BERT中，我们设计了一种多教师协同微调方法，通过共享池和预测层来联合微调下游任务中的多个教师PLM，以调整其输出空间，从而实现更好的协作教学。此外，我们提出了一个多教师隐藏损失和多教师蒸馏损失的隐藏状态和软标签从多个教师PLM的学生模型转移有用的知识。在三个基准数据集上的实验验证了MT-BERT压缩PLM的有效性。
2021-06-02 cs.CL
LadaBERT: Lightweight Adaptation of BERT through Hybrid Model Compression
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
BERT是一种经过大型语料库预训练的前沿语言表示模型，在各种自然语言理解任务上都取得了优异的性能。然而，将BERT应用于在线服务的一个主要阻塞问题是，它是内存密集型的，并且导致用户请求的不令人满意的延迟，从而提高了模型压缩的必要性。现有的解决方案利用知识蒸馏框架来学习模仿BERT行为的较小模型。然而，知识蒸馏的训练过程本身是昂贵的，因为它需要足够的训练数据来模仿教师模型。在本文中，我们解决这个问题，提出了一个混合的解决方案，名为拉达BERT（轻量级适应BERT通过混合模型压缩），它结合了不同的模型压缩方法的优点，包括重量修剪，矩阵分解和知识蒸馏。LadaBERT在各种公共数据集上实现了最先进的准确性，同时训练开销可以减少一个数量级。
2020-10-21 cs.CL cs.LG
BERT-of-Theseus: Compressing BERT by Progressive Module Replacing
University of California, San Diego（加州大学圣地亚哥分校）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的模型压缩方法，通过渐进的模块替换来有效地压缩BERT。我们的方法首先将原来的BERT分为几个模块，并建立他们的紧凑的替代品。然后，我们随机替换原来的模块与他们的替代品，训练紧凑的模块，模仿原来的模块的行为。我们通过训练逐步增加替换的概率。通过这种方式，我们的方法在原始模型和紧凑模型之间带来了更深层次的交互。与以往的BERT压缩的知识蒸馏方法相比，我们的方法没有引入任何额外的损失函数。该方法在GLUE测试中的性能优于现有的知识蒸馏方法，为模型压缩提供了一个新的视角.
2020-10-03 cs.CL cs.LG
Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs
Microsoft AI（微软人工智能）
针对大语言模型处理多方对话资源消耗高的问题，提出利用LLM知识蒸馏构建意图过滤器，用标注数据集微调MobileBERT实现多标签意图分类，仅传相关片段给LLM，在算力受限环境下显著降低运营成本。
2025-03-21 cs.AI cs.CL
MIDAS: Multi-level Intent, Domain, And Slot Knowledge Distillation for Multi-turn NLU
The University of Sydney（悉尼大学）；Kyung Hee University（庆熙大学）；The University of Melbourne（墨尔本大学）
本文提出MIDAS方法，通过多级意图、领域和槽位知识蒸馏构建多教师模型指导学生模型，有效提升多轮对话NLU性能。
2025-05-30 cs.CL
TinyBERT: Distilling BERT for Natural Language Understanding
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）
语言模型预训练，如BERT，已显着提高了许多自然语言处理任务的性能。然而，预先训练的语言模型通常在计算上是昂贵的，因此难以在资源受限的设备上有效地执行它们。为了在保持准确性的同时加快推理速度并减小模型大小，我们首先提出了一种新的Transformer蒸馏方法，该方法是专门为基于Transformer的模型的知识蒸馏（KD）而设计的。通过利用这种新的KD方法，编码在大型教师BERT中的大量知识可以有效地转移到小型学生Tiny-BERT中。然后，我们为TinyBERT引入了一个新的两阶段学习框架，该框架在预训练和特定任务学习阶段都进行了Transformer蒸馏。该框架保证了Tiny BERT既能获取BERT中的通用领域知识，又能获取任务特定知识。TinyBERT具有4层，经验上有效，在GLUE基准测试中达到了其老师BERTBASE的96.8%以上的性能，同时在推理上小7.5倍，快9.4倍。4层Tiny BERT在BERT蒸馏上也明显优于4层最先进的基线，只有约28%的参数和约31%的推理时间。此外，6层的TinyBERT与它的老师BERTBASE表现相当。
2020-10-16 cs.AI cs.CL cs.LG
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Extremely Small BERT Models from Mixed-Vocabulary Training
University of Pittsburgh（匹兹堡大学）；Google Research（谷歌研究院）；Kuaishou Technology（快手科技）；Google Brain（谷歌大脑）
像BERT这样的预训练语言模型在NLP任务上取得了很好的效果，但由于内存占用，在资源有限的设备上是不切实际的。这种占用的很大一部分来自具有大输入词汇表和嵌入维度的输入嵌入。现有的用于模型压缩的知识蒸馏方法不能直接应用于训练词汇量减少的学生模型。为此，我们提出了一种蒸馏方法，通过混合词汇训练来调整教师和学生的嵌入。我们的方法将BERT-LARGE压缩为具有较小词汇量和隐藏维度的任务不可知模型，该模型比其他蒸馏BERT模型小一个数量级，并且在语言理解基准测试以及实际对话任务上提供了更好的大小准确性权衡。
2021-02-06 cs.CL
