FiLLM -- A Filipino-optimized Large Language Model based on Southeast Asia Large Language Model (SEALLM)
本研究提出菲律宾语优化模型FiLLM，基于SeaLLM-7B 2.5并采用LoRA微调，在NER、POS、依存句法分析和摘要任务上与CalamanCy对比，后者表现更优，但FiLLM为菲律宾语NLP提供了高效可扩展方案。
2025-05-25 cs.AI cs.CL
ERNIE-Tiny : A Progressive Distillation Framework for Pretrained Transformer Compression
Baidu Inc.（百度公司）
预训练语言模型（PLM），如BERT，采用了一种训练范式，首先在一般数据中预训练模型，然后在特定任务数据中微调模型，最近取得了巨大的成功。然而，PLM因其庞大的参数和难以部署在现实生活中的应用程序是臭名昭著的。知识蒸馏通过在一组数据上将知识从一个大的教师转移到一个小得多的学生来解决这个问题。我们认为，三个关键组成部分，即教师，训练数据和学习目标的选择，是至关重要的蒸馏的有效性。因此，我们提出了一个四阶段渐进蒸馏框架ERNIE-Tiny来压缩PLM，它从一般级别到特定任务级别逐渐改变这三个组件。具体而言，第一阶段，一般蒸馏，在预先培训的教师的指导下进行蒸馏，一般数据和潜在的蒸馏损失。其次，广义强化蒸馏法将教师模式从预培训教师转变为精调教师。之后，任务自适应蒸馏将训练数据从一般数据转换为特定于任务的数据。最后，特定任务蒸馏增加了两个额外的损失，即软标签和硬标签损失到最后一个阶段。实验结果表明，基于GLUE的4层ERNIE-Tiny模型，其12层教师BERT的性能保持在98.0%以上，在相同参数的情况下，比最先进的SOTA模型提高了1.0%GLUE.此外，ERNIE-Tiny在五个中文NLP任务上实现了新的压缩SOTA，比BERT基准精度高0.4%，参数减少7.5倍，推理速度提高9.4倍。
2021-06-04 cs.CL
Transferable text data distillation by trajectory matching
Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出基于轨迹匹配的文本数据蒸馏方法，通过合成伪提示数据并匹配最近邻实现跨架构迁移，在ARC-Easy和MMLU基准上优于SOTA数据选择方法LESS，并展现出从OPT到Llama的良好可迁移性。
2025-04-24 cs.CL
LLMR: Knowledge Distillation with a Large Language Model-Induced Reward
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
提出LLMR，一种利用大语言模型诱导奖励函数进行知识蒸馏的新方法，在对话生成和摘要任务中优于传统KD方法。
2026-10-16 cs.AI cs.CL
BiLD: Bi-directional Logits Difference Loss for Large Language Model Distillation
KTH Royal Institute of Technology（瑞典皇家理工学院）；OPPO AI Center（OPPO AI中心）
针对大语言模型 logits 蒸馏中的长尾噪声与排序信息利用不足问题，本文提出仅用 top-k 并构建双向 logits 差异的 BiLD 损失，在13个数据集上优于多种基线方法。
2025-02-18 cs.AI cs.CL
A Short Study on Compressing Decoder-Based Language Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
预训练的语言模型（PLM）已经成功地用于广泛的自然语言处理（NLP）任务。然而，最先进的PLM非常大，无法在边缘设备上使用。因此，模型压缩在自然语言处理领域引起了越来越多的关注。现有的研究大多集中在压缩基于编码器的模型（tiny-BERT，distilBERT，distilRoBERTa等），然而，据我们所知，对基于解码器的模型（如GPT-2）的压缩研究并不多。本文旨在填补这一空白。具体而言，我们探索两个方向：1）我们采用当前最先进的知识蒸馏技术，以改善DistilGPT-2的微调。2)我们使用层截断来预训练压缩的GPT-2模型，并将其与基于蒸馏的方法（DistilGPT 2）进行比较。我们的压缩模型的训练时间明显少于DistilGPT-2，但当对下游任务进行微调时，它可以实现更好的性能。我们还展示了数据清洗对模型性能的影响。
2021-10-16 cs.CL
CoT2Align: Cross-Chain of Thought Distillation via Optimal Transport Alignment for Language Models with Different Tokenizers
Hanoi University of Science and Technology（河内理工大学）；Oraichain Labs Inc.（Oraichain实验室公司）；ByteDance Inc（字节跳动公司）；VNU University of Engineering and Technology（越南国家大学工程技术大学）；Monash University（莫纳什大学）；University of Oregon（俄勒冈大学）
提出CoT2Align通用知识蒸馏框架，通过集成思维链增强与Cross-CoT Alignment，结合序列级和层级最优传输对齐，解决了不同分词器模型间的推理感知蒸馏问题，显著提升了推理能力与鲁棒性。
2025-03-01 cs.CL
Mimic and Conquer: Heterogeneous Tree Structure Distillation for Syntactic NLP
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
语法已被证明对各种NLP任务很有用，而现有工作大多使用一个分层神经网络对单例语法树进行编码。在本文中，我们研究了一种简单有效的方法，知识蒸馏，集成异构结构的知识到一个统一的顺序LSTM编码器。在4个典型的依赖于语法的任务上的实验结果表明，该方法有效地整合了丰富的异构结构语法，同时减少了错误传播，在效率和准确性方面优于树编码器。
2020-09-16 cs.CL
MKD: a Multi-Task Knowledge Distillation Approach for Pretrained Language Models
University of Waterloo（滑铁卢大学）；Salesforce Research（赛富时研究院）
预训练的语言模型在许多NLP任务中带来了显着的性能提升。然而，密集的计算资源训练这样的模型仍然是一个问题。知识蒸馏通过学习一个轻量级学生模型来解决这个问题。到目前为止，蒸馏方法都是针对特定任务的。本文探讨了多任务学习环境下的知识蒸馏。学生在不同的任务中共同提炼。它通过多任务蒸馏获得更一般的表示能力，并可以进一步微调，以改善目标域中的模型。与其他专门为基于transformer架构设计的BERT提取方法不同，我们提供了一个通用的学习框架。我们的方法是模型不可知的，可以很容易地应用于不同的未来教师模型架构。我们在基于transformer和基于LSTM的学生模型上评估了我们的方法。与一个强大的，类似的基于LSTM的方法相比，我们在相同的计算约束下实现了更好的质量。与现有技术相比，我们以更快的推理速度达到了可比的结果。
2020-04-30 cs.CL cs.LG
Thesis Distillation: Investigating The Impact of Bias in NLP Models on Hate Speech Detection
Fraunhofer Research Institute (FOKUS)（弗劳恩霍夫研究所（FOKUS））
本文从可解释性、冒犯性刻板印象偏见和公平性三个视角研究自然语言处理模型偏见对仇恨言论检测的影响，并强调引入社会科学以突破当前偏见测量与缓解的局限。
2023-12-05 cs.CL
MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
Microsoft Research（微软研究院）
预先训练的语言模型（例如，BERT（Devlin等人，2018）及其变体）在各种NLP任务中取得了显着的成功。然而，这些模型通常由数亿个参数组成，由于延迟和容量限制，这给实际应用中的微调和在线服务带来了挑战。在这项工作中，我们提出了一种简单有效的方法来压缩大型Transformer（Vaswani等人，2017）基于预训练的模型，称为深度自我注意蒸馏。小模型（学生）是通过深度模仿大模型（教师）的自我注意模块来训练的，自我注意模块在Transformer网络中起着至关重要的作用。具体来说，我们建议提取教师的最后一层Transformer的自我注意力模块，这对学生来说是有效和灵活的。此外，除了注意力分布（即，查询和键的缩放点积）。此外，我们表明，引入教师助理（Mirzadeh等人，2019）还有助于提炼大型预训练的Transformer模型。实验结果表明，我们的单语模型优于国家的最先进的基线在不同的参数大小的学生模型。特别是，它在SQuAD 2.0和几个GLUE基准测试任务上保持了99%以上的准确性，使用了50%的Transformer参数和教师模型的计算。我们还在将深度自注意力蒸馏应用于多语言预训练模型方面取得了有竞争力的结果。
2020-04-06 cs.CL
Boosting LLM Translation Skills without General Ability Loss via Rationale Distillation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Department of Computer Science, University of Illinois at Chicago（芝加哥大学计算机科学系）
本文提出RaDis（理由蒸馏）方法，通过让LLM为训练数据生成并重放封装通用知识与安全原则的理由，在微调翻译能力时防止灾难性遗忘，从而在不损失通用能力和安全性的前提下提升机器翻译性能。
2024-10-17 cs.CL
Compressing Sentence Representation for Semantic Retrieval via Homomorphic Projective Distillation
UC Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）
如何学习高度紧凑但有效的句子表达？预训练的语言模型在许多NLP任务中是有效的。然而，这些模型通常是巨大的，并产生大的句子嵌入。此外，大型和小型模型之间存在很大的性能差距。在本文中，我们提出了同态投影蒸馏（HPD）学习压缩句子嵌入。我们的方法使用可学习的投影层来增强小型Transformer编码器模型，以产生紧凑的表示，同时模仿大型预训练的语言模型以保留句子表示质量。我们评估我们的方法与不同的模型大小的语义文本相似性（STS）和语义检索（SR）的任务。实验表明，我们的方法实现了2.7-4.5点的性能增益STS任务相比，以前最好的表示相同的大小。在SR任务中，我们的方法提高了检索速度（8.2 $\times$）和内存使用（8.0 $\times$）相比，国家的最先进的大型模型。
2022-03-15 cs.CL cs.IR
Language Model Distillation: A Temporal Difference Imitation Learning Perspective
本文提出一种基于时差学习的通用蒸馏框架，利用教师模型的分布稀疏性，通过缩减动作空间提升语言模型蒸馏效果。
2026-01-04 cs.AI cs.CL
A Patient-Doctor-NLP-System to contest inequality for less privileged
Indian Institute of Information Technology, Pune（浦那印度信息技术学院）
PDFTEMRA通过整合模型蒸馏、频域调制等技术，为低资源语言用户提供高效、可访问的医疗NLP解决方案。
2025-12-07 cs.AI cs.CL
Revisiting Intermediate Layer Distillation for Compressing Language Models: An Overfitting Perspective
KAIST（韩国科学技术院）
知识蒸馏（KD）是一种非常有前途的方法，用于减轻预训练语言模型（PLM）的计算问题。在各种KD方法中，中间层蒸馏（ILD）已成为NLP领域的事实标准KD方法。在本文中，我们发现现有的ILD方法容易过拟合训练数据集，尽管这些方法比原始KD传递更多的信息。接下来，我们提出了一些简单的观察来减轻ILD的过拟合：只提取最后一个Transformer层，并在补充任务上进行ILD。基于我们的两个发现，我们提出了一个简单而有效的一致性正则化ILD（CR-ILD），它可以防止学生模型过度拟合训练数据集。在GLUE基准数据集和多个合成数据集上提取BERT的大量实验表明，我们提出的ILD方法优于其他KD技术。我们的代码可在https://github.com/jongwooko/CR-ILD上获得。
2023-02-03 cs.AI cs.CL cs.LG
Distillation-Resistant Watermarking for Model Protection in NLP
University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们如何保护经过训练的NLP模型的知识产权？现代NLP模型很容易通过查询和提取其公开的API来窃取。然而，现有的保护方法，如水印只适用于图像，但不适用于文本。我们提出了抗蒸馏水印（DRW），这是一种保护NLP模型不被蒸馏窃取的新技术。DRW通过将水印注入到受害者的预测概率中来保护模型，该预测概率对应于秘密密钥，并且DRW能够通过探测可疑模型来检测这样的密钥。我们证明了受保护的模型在一定范围内仍然保持原来的精度。我们评估DRW在不同的NLP任务，包括文本分类，词性标注，和命名实体识别。实验表明，DRW保护了原始模型，并检测盗窃嫌疑人在所有四个任务的平均平均精度为100%，而以前的方法失败的两个。
2022-10-23 cs.CL cs.LG
A Comparative Analysis of Task-Agnostic Distillation Methods for Compressing Transformer Language Models
IBM Research AI（IBM研究院人工智能部门）
本文比较分析了任务无关蒸馏方法（OD、HS、MHA）压缩Transformer语言模型，发现基于MiniLMv2的MHA迁移最优，HS迁移有竞争力，OD迁移最差，并用于延迟关键型应用。
2023-10-13 cs.AI cs.CL
KroneckerBERT: Learning Kronecker Decomposition for Pre-trained Language Models via Knowledge Distillation
Huawei Technologies Canada（华为技术加拿大公司）；University of Waterloo（滑铁卢大学）
过度参数化的预训练语言模型的开发对自然语言处理的成功做出了重大贡献。虽然这些模型的过度参数化是其泛化能力的关键，但这使得它们不适合部署在低容量设备上。我们使用Kronecker分解推动了最先进的基于transformer的预训练语言模型压缩的极限。我们使用这种分解来压缩嵌入层、多头注意力中的所有线性映射以及Transformer层中的前馈网络模块。我们使用未压缩模型作为教师来执行中间层知识蒸馏，以提高压缩模型的性能。我们提出了我们的克罗内克BERT，压缩版本的BERT_BASE模型使用这个框架。我们在著名的NLP基准测试中评估了Kronecker BERT的性能，结果表明，对于19的高压缩因子（BERT_BASE模型大小的5%），我们的Kronecker BERT在GLUE上的性能优于最先进的压缩方法。实验结果表明，该模型具有良好的分布外鲁棒性，优于SQuAD上现有的压缩方法。
2021-09-13 cs.AI cs.CL
EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models
Alibaba Cloud Computing（阿里云计算）；Shanghai Jiao Tong University（上海交通大学）
本文提出EasyDistill工具包，支持大型语言模型黑白盒知识蒸馏，集成数据合成、微调、排序优化与强化学习等功能，并提供蒸馏模型、工业方案及开源数据集，无缝接入阿里云PAI平台。
2025-06-27 cs.AI cs.CL
Harness-Zero: Harness Distillation via Agent-as-Harness
提出Harness-Zero，通过智能体即框架将优化框架的行为蒸馏进模型权重，部署时移除专用框架，将任务成功率从23.3%提升至44.3%，并恢复82.3%的框架诱导行为。
2026-09-22 cs.AI cs.CL cs.NE
Can Model Compression Improve NLP Fairness
University of California, Los Angeles（加州大学洛杉矶分校）
模型压缩技术正受到越来越多的关注，然而，压缩对模型公平性的影响仍在探索之中。这是第一篇研究蒸馏和修剪对生成语言模型的毒性和偏见的影响的论文。我们在GPT 2模型上测试了知识蒸馏和修剪方法，发现了模型蒸馏后毒性和偏差减少的一致模式;这一结果可以通过现有的研究路线来解释，该研究路线将模型压缩描述为正则化技术;我们的工作不仅为压缩模型的安全部署提供了参考，而且还将“压缩作为正则化”的讨论扩展到神经LM的设置中，并暗示了使用压缩来开发更公平模型的可能性。
2022-01-21 cs.CL
Enhancing Romanian Offensive Language Detection through Knowledge Distillation, Multi-Task Learning, and Data Augmentation
Faculty of Automatic Control and Computers, National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工大学自动控制与计算机学院）
本文针对罗马尼亚语攻击性语言检测，提出结合知识蒸馏、多任务学习、数据增强与教师退火的方法，在保持性能的同时获得更小、更高效的 Transformer 模型。
2024-09-30 cs.CL
RoSearch: Search for Robust Student Architectures When Distilling Pre-trained Language Models
Beihang University（北京航空航天大学）
预训练的语言模型在NLP任务中表现出色。已经提出了各种知识蒸馏方法来减少预先训练的语言模型的繁重计算和存储需求。然而，从我们的观察，通过知识蒸馏获得的学生模型遭受对抗攻击，这限制了它们在安全敏感场景中的使用。为了克服这些安全问题，提出了一种综合框架RoSearch，用于在进行知识蒸馏时搜索具有更好对抗鲁棒性的学生模型。建立了一个基于有向无环图的搜索空间，并采用进化搜索策略指导搜索过程。每个搜索到的体系结构都是通过预训练的语言模型上的知识蒸馏来训练的，然后在鲁棒性、准确性和效率感知度量（如环境适应性）下进行评估。实验结果表明，RoSearch在不同的数据集上，学生模型的鲁棒性从7%~18%提高到45.8%~47.8%，其权重压缩比与现有的蒸馏方法相当（相对于教师模型BERT_BASE提高了4.6 $\times$ ~6.5 $\times$），准确率下降较小。此外，我们总结了学生架构和鲁棒性之间的关系，通过搜索模型的统计。
2021-06-07 cs.AI cs.CL cs.LG
RouteNLP: Closed-Loop LLM Routing with Conformal Cascading and Distillation Co-Optimization
The University of Hong Kong（香港大学）；Stellaris AI Limited（Stellaris AI有限公司）
RouteNLP通过闭环框架优化大语言模型在多样化NLP任务中的路由，减少成本并满足任务质量约束，通过级联和蒸馏协同优化实现显著成本降低。
2026-04-26 cs.CL cs.LG
Mixed Distillation Helps Smaller Language Model Better Reasoning
Zhejiang University（浙江大学）；Alibaba（阿里巴巴）；Dalian Medical University（大连医科大学）
本文提出混合蒸馏（MD）框架，融合大语言模型的思维程序与思维链能力并蒸馏到较小模型，显著提升其单路径和多路径推理性能，在SVAMP上LLaMA2-7B和CodeLlama-7B分别超过GPT-3.5-Turbo 2.5%和3.5%。
2024-02-25 cs.AI cs.CL
Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language
Bielik-Minitron-7B通过结构化剪枝和知识蒸馏将Bielik-11B-v3.0模型压缩至7.35B参数，优化波兰语性能，实现90%的性能恢复和50%的推理加速。
2026-03-12 cs.AI cs.CL
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation
Yonsei University（延世大学）；Deakin University（迪肯大学）；University of Oulu（奥卢大学）
本文提出语言导向语义通信（LSC）框架，通过语义信源编码、语义信道编码和语义知识蒸馏三种算法，在文本到图像生成任务中以更少传输次数实现更高感知相似度和更强噪声鲁棒性。
2023-09-20 cs.AI cs.CL eess.SP
Automatic Prompt Optimization with Prompt Distillation
Computer Technologies Laboratory（计算机技术实验室）；ITMO University（ITMO大学）
提出基于提示蒸馏的自动提示优化方法DistillPrompt，通过蒸馏、压缩和聚合操作探索提示空间，在文本分类和生成任务上平均提升20.12%。
2025-09-08 cs.AI cs.CL cs.LG
SwiftKV: Fast Prefill-Optimized Inference with Knowledge-Preserving Model Transformation
Snowflake AI Research（Snowflake人工智能研究院）
针对LLM长提示词推理成本高的问题，提出SwiftKV模型转换与蒸馏流程，通过跨层预填充KV cache跳过后续层并结合压缩技术，在减少25-50%预填充计算的同时保持生成质量，实现2倍吞吐量提升。
2025-06-02 cs.AI cs.CL cs.LG
Towards Non-task-specific Distillation of BERT via Sentence Representation Approximation
Tencent（腾讯）；Peking University（北京大学）
最近，由于其有效性和通用性，BERT已成为各种NLP深度模型的重要组成部分。然而，BERT的在线部署往往是其大规模的参数和高计算成本的阻碍。大量的研究表明，知识蒸馏可以有效地将知识从BERT转移到具有较小参数的模型中。然而，目前的BERT提取方法主要集中在特定任务的提取，这样的方法导致BERT的通用语义知识的通用性的可用性损失。在本文中，我们提出了一个句子表示近似定向蒸馏框架，可以将预训练的BERT蒸馏成一个简单的基于LSTM的模型，而无需指定任务。与BERT一致，我们的蒸馏模型能够通过微调来执行迁移学习，以适应任何并行级下游任务。此外，我们的模型可以进一步配合特定任务的蒸馏过程。来自GLUE基准测试的多个NLP任务的实验结果表明，我们的方法优于其他特定于任务的蒸馏方法，甚至更大的模型，即，ELMO，效率大大提高。
2020-04-07 cs.CL
Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations
University of Cambridge（剑桥大学）；Amazon（亚马逊）
在NLP中，大量的任务涉及两个序列之间的成对比较（例如句子相似性和释义识别）。主要地，两种公式用于双编码对任务：双编码器和交叉编码器。双编码器产生固定维度的句子表示，并且计算效率高，但是，它们通常不如交叉编码器。交叉编码器可以利用他们的注意力头来利用句子间的交互来获得更好的性能，但它们需要任务微调，并且计算成本更高。在本文中，我们提出了一个完全无监督的句子表示模型，称为Trans-Encoder，它将两种学习范式结合到一个迭代的联合框架中，同时学习增强的双向和交叉编码器。具体来说，在预训练的语言模型（PLM）之上，我们首先将其转换为无监督的双向编码器，然后在双向和交叉编码器任务公式之间交替。在每个交替中，一个任务制定将产生伪标签，其用作另一任务制定的学习信号。然后，我们提出了一个扩展，进行这种自蒸馏的方法在多个PLM并行，并使用其伪标签的平均相互蒸馏。据我们所知，Trans-Encoder创建了第一个完全无监督的交叉编码器，也是最先进的无监督双编码器，用于句子相似性。Trans-Encoder的双向编码器和交叉编码器公式在句子相似度基准上都优于最近提出的最先进的无监督句子编码器，如BERN-BERT和SimCSE，最高可达5%。
2022-03-13 cs.AI cs.CL cs.LG
KNOT: Knowledge Distillation using Optimal Transport for Solving NLP Tasks
Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
我们提出了一种新的方法，知识蒸馏使用最优传输（KNOT），提取自然语言语义知识从多个教师网络到学生网络。KNOT旨在训练（全局）学生模型，其方法是在学生模型不能访问教师模型的参数或训练数据的约束下，学习将其在标签上的分配概率分布的最优传输成本最小化为由（局部）教师模型预测的概率的加权和。为了评估知识转移的质量，我们引入了一个新的度量标准，语义距离（SD），它测量预测和地面真实标签分布之间的语义接近度。所提出的方法显示，在三个NLP任务中，全局模型的SD性能比基线有所改善，同时在标准精度和F1指标上与基于熵的蒸馏相媲美。与这项工作有关的实现可在https://github.com/declare-lab/KNOT上公开获得。
2022-09-17 cs.AI cs.CL cs.LG
Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates
Amazon AWS AI（亚马逊AWS人工智能）；University of Waterloo（滑铁卢大学）
深度神经网络的行为在不同版本之间可能不一致。模型更新过程中的回归是一个常见的问题，通常会超过准确性或效率增益的好处。这项工作的重点是量化，减少和分析NLP模型更新中的回归误差。使用负翻转率作为回归指标，我们表明，回归在GLUE基准测试中的任务中普遍存在。我们将无回归模型的更新问题转化为一个约束优化问题，并通过知识蒸馏训练方法将其转化为一个松弛形式的近似优化问题。我们实证分析模型集成如何减少回归。最后，我们进行CheckList行为测试，以了解语言现象中回归的分布，以及集成和蒸馏方法的有效性。
2021-05-07 cs.CL
A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP
Department of Health Outcomes and Biomedical Informatics, College of Medicine, University of Florida（佛罗里达大学医学院健康结果与生物医学信息学系）；Cancer Informatics Shared Resource, University of Florida Health Cancer Center（佛罗里达大学健康癌症中心癌症信息学共享资源）
本文提出多任务提示蒸馏与分解框架，通过学习共享元提示在临床NLP任务中实现高效迁移，参数更少且性能更优。
2026-04-08 cs.AI cs.CL
Few-Shot Optimized Framework for Hallucination Detection in Resource-Limited NLP Systems
Faculty of Computer Science, MSA University（MSA大学计算机科学学院）
本文提出一种面向资源受限NLP系统的幻觉检测框架，通过DeepSeek Few-shot优化与迭代提示工程生成高质量弱标签，并在其上微调Mistral-7B-Instruct-v0.3模型结合集成学习，在SHROOM任务测试集上达到85.5%准确率。
2025-01-28 cs.CL
Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains
Zhejiang Lab（之江实验室）；Alibaba Group（阿里巴巴集团）
预训练的语言模型已被应用于各种NLP任务，具有相当大的性能增益。然而，大的模型大小，加上较长的推理时间，限制了这种模型在实时应用中的部署。一种模型压缩方法考虑了知识蒸馏，将大型教师模型蒸馏成小型学生模型。这些研究大多集中在单一领域，忽略了其他领域的可转移知识。我们注意到，训练一个跨领域消化可转移知识的教师可以实现更好的泛化能力，以帮助知识蒸馏。因此，我们提出了一个Meta-知识蒸馏（Meta-KD）框架，建立一个元教师模型，捕获跨领域的可转移知识，并将这些知识传递给学生。具体来说，我们明确地迫使元教师从多个域中捕获实例级和特征级的可转移知识，然后提出一种元蒸馏算法，在元教师的指导下学习单域学生模型。在公共多领域自然语言处理任务上的实验表明了该框架的有效性和优越性。此外，我们还证明了元KD的能力，在设置中的训练数据是稀缺的。
2022-11-02 cs.CL
Adversarial Self-Supervised Data-Free Distillation for Text Classification
Zhejiang University（浙江大学）
大型预训练的基于transformer的语言模型在广泛的NLP任务上取得了令人印象深刻的结果。在过去的几年里，知识蒸馏（KD）已经成为一个流行的范式，压缩计算昂贵的模型，资源有效的轻量级模型。然而，大多数KD算法，特别是在NLP中，依赖于原始训练数据集的可访问性，由于隐私问题，这些数据集可能不可用。为了解决这个问题，我们提出了一种新的两阶段无数据蒸馏方法，称为对抗性自监督无数据蒸馏（AS-DFD），它被设计用于压缩大规模基于变换的模型（例如，BERT）。为了避免在离散空间中生成文本，我们引入了一种即插即用的嵌入猜测方法来从教师的隐藏知识中制作伪嵌入。同时，通过一个自我监督模块来量化学生的能力，我们以对抗训练的方式适应伪嵌入的难度。据我们所知，我们的框架是第一个为NLP任务设计的无数据蒸馏框架。我们在几个文本分类数据集上验证了该方法的有效性。
2020-10-10 cs.AI cs.CL
Self-Knowledge Distillation in Natural Language Processing
Handong Global University（韩东国际大学）
自从深度学习成为自然语言处理（NLP）的关键角色以来，许多深度学习模型在各种NLP任务中表现出了卓越的性能，在某些情况下，它们甚至超过了人类。如此高的性能可以通过深度学习模型的高效知识表示来解释。虽然已经提出了许多方法来学习更有效的表示，但从预训练的深度网络中知识蒸馏表明，我们可以使用来自软目标概率的更多信息来训练其他神经网络。在本文中，我们提出了一种新的知识蒸馏方法自知识蒸馏，基于训练模型本身的软目标概率，其中多模信息是从softmax层下面的词嵌入空间中提取的。由于时间复杂度，我们的方法近似的软目标概率。在实验中，我们将所提出的方法应用于两个不同的和基本的NLP任务：语言模型和神经机器翻译。实验结果表明，我们提出的方法提高了性能的任务。
2019-08-02 cs.CL cs.LG stat.ML
Learning ULMFiT and Self-Distillation with Calibration for Medical Dialogue System
Doti Health Ltd（多蒂健康有限公司）
医疗对话系统是医疗服务的重要组成部分，它提供基本的临床建议和诊断。它已经逐渐被医疗组织以对话机器人的形式采用和实践，这在很大程度上是由于NLP的进步。近年来，最先进的深度学习模型和迁移学习技术（如通用语言模型微调（ULMFiT）和知识蒸馏（KD））的引入在很大程度上有助于NLP任务的性能。然而，一些深度神经网络校准不良，错误地估计了不确定性。因此，该模型是不可信的，特别是在敏感的医疗决策系统和安全任务。在本文中，我们研究了在医疗对话系统中的ULMFiT和自蒸馏（SD）的良好校准模型。校准的ULMFiT（CULMFiT）是通过结合标签平滑（LS），一种常用的正则化技术，以实现良好的校准模型。此外，我们应用该技术重新校准的置信度得分称为温度标度（TS）与KD观察其与网络校准的相关性。为了进一步了解SD和校准之间的关系，我们使用固定温度和最佳温度来微调整个模型。所有实验都是在专家收集的咨询背痛数据集上进行的，然后使用大型公共媒体对话语料库进行进一步验证。我们的经验表明，我们提出的方法优于传统的方法在准确性和鲁棒性。
2021-07-20 cs.CL
Patient Knowledge Distillation for BERT Model Compression
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
预先训练的语言模型（如BERT）已被证明对自然语言处理（NLP）任务非常有效。然而，训练此类模型对计算资源的高需求阻碍了其在实践中的应用。为了缓解大规模模型训练中的这种资源饥饿，我们提出了一种患者知识蒸馏方法，将原始的大模型（教师）压缩成同样有效的轻量级浅层网络（学生）。与以往的知识蒸馏方法不同，这些方法只使用教师网络最后一层的输出进行蒸馏，我们的学生模型耐心地从教师模型的多个中间层学习，以进行增量知识提取，遵循两种策略：（$i$）PKD-Last：从最后一个$k$层学习;和（$ii$）PKD-Skip：从每个$k$层学习。这两个耐心的蒸馏方案使教师的隐藏层中的丰富信息的开发，并鼓励学生模型耐心地学习和模仿教师通过多层蒸馏过程。从经验上讲，这可以转化为多个NLP任务的改进结果，在不牺牲模型准确性的情况下显著提高训练效率。
2019-08-25 cs.CL cs.LG
Reinforced Multi-Teacher Selection for Knowledge Distillation
Microsoft STCA（微软STCA）
在自然语言处理（NLP）任务中，推理速度慢和GPU占用量大仍然是在生产中应用预训练深度模型的瓶颈。作为一种流行的模型压缩方法，知识蒸馏将知识从一个或多个大的（教师）模型转移到一个小的（学生）模型。当多个教师模型在蒸馏中可用时，最先进的方法在整个蒸馏中为教师模型分配固定的权重。此外，大多数现有方法为每个教师模型分配相等的权重。在本文中，我们观察到，由于训练样本的复杂性和学生模型能力的差异，从教师模型的差异学习可以导致更好的性能的学生模型提取。我们系统地开发了一种增强的方法来动态分配权重的教师模型为不同的训练实例，并优化学生模型的性能。我们在几个NLP任务上的大量实验结果清楚地验证了我们方法的可行性和有效性。
2020-12-14 cs.CL cs.LG
Towards Zero-Shot Knowledge Distillation for Natural Language Processing
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of British Columbia（不列颠哥伦比亚大学）
知识蒸馏（KD）是一种常见的知识转移算法，用于跨各种基于深度学习的自然语言处理（NLP）解决方案进行模型压缩。在其常规表现形式中，KD需要访问教师的训练数据以将知识转移到学生网络。然而，隐私问题、数据法规和所有权原因可能会阻止访问此类数据。我们目前，尽我们所知，Zero-Shot知识蒸馏的NLP，其中学生从更大的老师没有任何任务的具体数据学习的第一个工作。我们的解决方案结合了域外数据和对抗训练来学习教师的输出分布。我们调查了GLUE基准测试中的六个任务，并证明我们可以在压缩模型30倍的同时实现75%到92%的教师分类得分（准确度或F1）。
2020-12-31 cs.CL cs.LG
On Importance of Pruning and Distillation for Efficient Low Resource NLP
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对低资源语言马拉地语的NLP模型，本研究结合块移动剪枝与知识蒸馏技术，在保持基线精度的同时实现了2.56倍的计算加速，有效降低了计算需求并促进了可持续性。
2024-09-21 cs.CL cs.LG
Put Teacher in Student's Shoes: Cross-Distillation for Ultra-compact Model Compression Framework
City University of Hong Kong（香港城市大学）；City University of Hong Kong Hong Kong SAR China（香港城市大学香港特别行政区中国）
本文提出EI-BERT框架，通过硬令牌剪枝、交叉蒸馏和参数量化将BERT压缩至1.91MB，并在支付宝边缘推荐系统中服务840万日活设备。
2025-07-07 cs.CL
Transformer to CNN: Label-scarce distillation for efficient text classification
Red Dragon AI
自2018年初以来，自然语言处理（NLP）建模取得了重大进展。新方法允许准确的结果，即使在几乎没有标记数据的情况下，因为这些NLP模型可以从任务不可知和任务特定的未标记数据的训练中受益。然而，这些优点伴随着显著的尺寸和计算成本。这篇研讨会论文概述了我们提出的卷积学生架构如何通过大规模模型的蒸馏过程进行训练，可以实现300倍的推理加速和39倍的参数减少。在某些情况下，学生模型的性能超过其教师的学习任务。
2019-09-08 cs.CL cs.IR cs.LG
KoGNER: A Novel Framework for Knowledge Graph Distillation on Biomedical Named Entity Recognition
Washington University in St. Louis（圣路易斯华盛顿大学）
针对传统NER模型领域泛化差、数据稀疏的问题，提出融合知识图谱蒸馏的KoGNER框架，通过知识蒸馏和实体感知增强两步法提升性能，在基准数据集上取得SOTA效果，为知识感知NLP提供新方向。
2025-03-19 cs.CL
Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models
Kata.ai Research Team（Kata.ai 研究团队）；University of Indonesia（印度尼西亚大学）
我们从特定于任务的BERT教师模型到各种学生模型执行知识蒸馏（KD）基准测试：BiLSTM，CNN，BERT-Tiny，BERT-Mini和BERT-Small。我们的实验涉及12个数据集分为两个任务：文本分类和序列标记在印度尼西亚语。我们还比较了各个方面的蒸馏，包括使用词嵌入和无标记的数据增强。我们的实验表明，尽管基于transformer的模型越来越受欢迎，但与修剪的BERT模型相比，使用BiLSTM和CNN学生模型在性能和计算资源（CPU，RAM和存储）之间提供了最佳权衡。我们进一步提出了一些快速的胜利，通过有效的KD训练机制，包括简单的选择损失函数，词嵌入，和未标记的数据准备执行KD产生小型NLP模型。
2022-01-03 cs.CL
The Privileged Students: On the Value of Initialization in Multilingual Knowledge Distillation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文研究多语言知识蒸馏中初始化的重要性，提出直接复制教师模型权重以增强初始化，实验表明该方法比蒸馏过程本身贡献更大，且能保留低资源场景下的多语言能力。
2024-11-08 cs.CL
What is Lost in Knowledge Distillation?
Amazon（亚马逊公司）
针对知识蒸馏压缩过程可能存在信息损失的问题，本研究探究学生模型与教师模型的差异及损失规律，通过实验分析不同因素对KD敏感性的影响，为实现师生模型间最优信息传递的配置选择提供参考。
2023-11-07 cs.CL
Extract then Distill: Efficient and Effective Task-Agnostic BERT Distillation
Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
与任务无关的知识蒸馏是一个师生框架，已被证明是有效的BERT压缩。虽然在NLP任务上取得了很好的结果，但它需要大量的计算资源。在本文中，我们提出提取然后蒸馏（ETD），一个通用的和灵活的策略，以重用教师的参数，高效和有效的任务不可知蒸馏，它可以适用于任何规模的学生。具体来说，我们介绍了两个变种的ETD，ETD-Rand和ETD-Impt，提取教师的参数在一个随机的方式，并通过以下的重要性度量分别。这样，学生在蒸馏过程开始时就已经掌握了一些知识，这使得蒸馏过程收敛得更快。我们证明了ETD在GLUE基准和SQuAD上的有效性。实验结果表明：（1）与未采用ETD策略的基线算法相比，ETD算法可以节省70%的计算量。此外，当使用相同的计算资源时，它实现了比基线更好的结果。(2)ETD是通用的，并且已被证明对不同的蒸馏方法有效（例如，TinyBERT和MiniLM）和不同大小的学生。源代码将在发布时公开提供。
2021-04-24 cs.CL
Okay, Let's Do This! Modeling Event Coreference with Generated Rationales and Knowledge Distillation
Colorado State University（科罗拉多州立大学）
本文提出利用大语言模型生成的溯因自由文本理由作为远程监督，结合知识蒸馏训练小模型进行跨文档事件共指消解，在ECB+和GVC上取得SOTA效果。
2024-04-04 cs.CL
On-Policy Context Distillation for Language Models
Microsoft Research（微软研究院）
本文提出在线策略上下文蒸馏框架，通过训练学生模型在生成轨迹的同时最小化逆Kullback-Leibler散度，提升模型在数学推理、文本游戏等任务中的表现。
2026-03-23 cs.CL
