Understanding the Effect of Data Augmentation on Knowledge Distillation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了数据增强在知识蒸馏(KD)中的作用,发现与微调不同,KD偏好更多数据及更大语义偏移程度的增强数据,且最佳偏移程度随数据集规模增大而减小,为探索KD专属数据增强方法提供了新视角。
2023-05-21 cs.CL
QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation
Google Research(谷歌研究院);Google(谷歌)
大语言模型(LLM)在各种文本理解任务上显示出令人印象深刻的结果。然而,搜索查询却构成了一个独特的挑战,因为它们的长度很短,缺乏细微差别或上下文。复杂的特征工程工作并不总是导致下游的改进,因为它们的性能优势可能会被知识蒸馏的复杂性增加所抵消。因此,在本文中,我们做出了以下贡献:(1)我们证明了检索增强查询提供LLM有价值的额外的上下文,从而提高理解。虽然检索增强通常会增加LM的延迟(从而损害蒸馏效率),(2)我们提供了一种实用且有效的蒸馏检索增强LLM的方法。具体来说,我们使用了一种新的两阶段蒸馏方法,使我们能够进行检索增强的收益,而不会遭受通常与之相关的计算增加。(3)我们证明了所提出的方法(QUILL)的好处在十亿规模,现实世界的查询理解系统,从而产生巨大的收益。通过广泛的实验,包括公共基准测试,我们相信这项工作提供了一个实用的检索增强查询理解的配方。
2022-10-27 cs.CL cs.IR
Boosting Large Language Models for Mental Manipulation Detection via Data Augmentation and Distillation
Zhejiang University(浙江大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
通过数据增强和蒸馏提升大语言模型用于心理操控检测,提高检测准确率和F1指标
2026-01-29 cs.CL
Visual Program Distillation with Template-Based Augmentation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对视觉编程高标注与推理成本问题,提出低成本视觉程序蒸馏方法,通过解耦程序为模板及参数进行合成数据增强,使小模型能高效生成高质量专业视觉程序。
2025-11-04 cs.CL cs.CV
Towards Efficient and Explainable Hate Speech Detection via Model Distillation
IRLab, CITIC, Universidade da Coruña, Spain(IR实验室、 CITIC、科鲁纳大学、西班牙)
本文提出利用思维链蒸馏大型语言模型以提取仇恨言论分类解释,证明蒸馏后的小模型在分类性能上超越大模型且解释质量相当,从而提升检测的可负担性、可理解性和可操作性。
2024-12-18 cs.CL
PromptMix: A Class Boundary Augmentation Method for Large Language Model Distillation
University of Waterloo(滑铁卢大学);ServiceNow Research(ServiceNow研究院);Mila, McGill University(麦吉尔大学米拉研究所)
提出PromptMix方法,通过在类边界生成增强文本并利用LLM重新标记,有效将大型模型知识蒸馏至小型分类器,在少样本设置下优于多种基线方法。
2023-10-22 cs.AI cs.CL
Enhancing SLM via ChatGPT and Dataset Augmentation
Institute of Cognitive Science, Osnabrueck University(奥斯纳布吕克大学认知科学研究所)
本研究利用ChatGPT-3.5-Turbo生成合成推理来增强ANLI数据集,微调T5-Small,在NLI任务上分别提升1.3%和2.3%的准确率,展示了低成本利用LLM增强SLM性能的潜力。
2024-09-19 cs.CL
LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification
College of Science, National University of Defense Technology, Hunan, China(国防科技大学科学学院,湖南,中国);College of Computer, National University of Defense Technology, Hunan, China(国防科技大学计算机学院,湖南,中国);The CoAI Group, DCST, BNRist, Tsinghua University, Beijing(清华大学北京人工智能研究院,北京)
本文提出一种结合LLM和知识蒸馏的隐私数据增强方法,通过分布导师控制生成分布,提升医学文本分类的隐私保护与性能。
2024-02-26 cs.CL cs.CR
Distiller: A Systematic Study of Model Distillation Methods in Natural Language Processing
Northeastern University(东北大学);Amazon Web Services(亚马逊网络服务)
我们的目标是确定KD管道中的不同组件如何影响所产生的性能,以及最佳KD管道在不同数据集/任务中的变化程度,例如数据增强策略,损失函数以及教师和学生之间传输知识的中间表示。为了区分它们的影响,我们提出了Distiller,这是一个Meta KD框架,它系统地结合了KD管道不同阶段的各种技术,使我们能够量化每个组件的贡献。在Distiller中,我们统一了通用互信息(MI)目标下的中间表示蒸馏的常用目标,并提出了一类MI- $α$目标函数,具有更好的偏差/方差权衡,用于估计教师和学生之间的MI。在不同的NLP数据集上,通过大规模超参数优化来识别最佳Distiller配置。我们的实验表明:1)用于提取中间表示的方法是KD性能的最重要因素,2)在中间提取的不同目标中,MI- $α$表现最好,3)数据增强为小训练数据集或小学生网络提供了很大的提升。此外,我们发现不同的数据集/任务偏好不同的KD算法,因此提出了一个简单的AutoDistiller算法,可以为新数据集推荐一个好的KD管道。
2021-09-23 cs.CL
Distilling Robustness into Natural Language Inference Models with Domain-Targeted Augmentation
Imperial College London(伦敦帝国学院)
研究通过生成无标签样本增强蒸馏和对相似数据点上采样两种互补方法,提升自然语言推理学生模型在分布外领域的鲁棒性,实验证明其优于现有方案且泛化超越目标域。
2024-07-24 cs.CL cs.LG
Code-switching Sentence Generation by Generative Adversarial Networks and its Application to Data Augmentation
National Taiwan University(台湾大学)
语码转换是指在言语或文本中处理替代语言。它部分地依赖于说话人和领域,因此完全用语言规则来解释这一现象是具有挑战性的。与大多数单语任务相比,数据不足是语码转换的一个问题。为了在没有昂贵的人工注释的情况下缓解这个问题,我们提出了一种用于代码切换数据增强的无监督方法。通过使用生成对抗网络,我们可以从单语句子生成内部语码转换句子。将该方法应用于两个语料库,实验结果表明,生成的语码转换语句提高了语码转换语言模型的性能。
2019-06-19 cs.CL
Sentence-level Feedback Generation for English Language Learners: Does Data Augmentation Help?
Georgetown University(乔治城大学)
在本文中,我们提出了强大的基线的任务,反馈意见生成写作学习。给定一个句子和一个错误跨度,任务是生成一个解释错误的反馈评论。句子和反馈意见都是英文的。我们使用LLM进行实验,并为任务创建多个伪数据集,研究它如何影响我们系统的性能。我们提出了我们的研究结果的任务,以及广泛的分析所产生的评论,以帮助未来的研究反馈评论生成的英语语言学习者的目的。
2022-12-18 cs.CL
Reminding the Incremental Language Model via Data-Free Self-Distillation
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, China(中国科学院声学研究所语言声学与内容理解重点实验室);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学)
在神经网络中,使用伪数据的增量式语言学习可以缓解灾难性遗忘。然而,为了获得更好的性能,以前的方法对以前任务的伪数据有更高的要求。当使用较少的伪数据时,性能显著降低。此外,随着不同任务的顺序学习,伪数据的分布逐渐偏离真实数据。学习的任务越多,偏差越大,导致的灾难性遗忘越严重。为了解决这些问题,我们提出了提醒增量语言模型通过无数据自蒸馏(DFSD),其中包括自蒸馏的基础上的地球移动器的距离和隐藏的数据增强。通过估计GPT-2各层的知识分布并将其从教师模型转换为学生模型,基于地球移动器距离的自蒸馏可以显著减少对伪数据的需求。隐藏数据增强通过将伪数据的生成建模为隐藏数据增强过程,其中每个样本是所有训练任务数据的混合,可以极大地减轻偏差引起的灾难性遗忘。实验结果表明,我们的DFSD可以超过以前的国家的最先进的方法,即使在伪数据的最大减少是90%。
2021-10-17 cs.AI cs.CL cs.LG
Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models
Kata.ai Research Team(Kata.ai 研究团队);University of Indonesia(印度尼西亚大学)
我们从特定于任务的BERT教师模型到各种学生模型执行知识蒸馏(KD)基准测试:BiLSTM,CNN,BERT-Tiny,BERT-Mini和BERT-Small。我们的实验涉及12个数据集分为两个任务:文本分类和序列标记在印度尼西亚语。我们还比较了各个方面的蒸馏,包括使用词嵌入和无标记的数据增强。我们的实验表明,尽管基于transformer的模型越来越受欢迎,但与修剪的BERT模型相比,使用BiLSTM和CNN学生模型在性能和计算资源(CPU,RAM和存储)之间提供了最佳权衡。我们进一步提出了一些快速的胜利,通过有效的KD训练机制,包括简单的选择损失函数,词嵌入,和未标记的数据准备执行KD产生小型NLP模型。
2022-01-03 cs.CL
Automatic Assignment of Radiology Examination Protocols Using Pre-trained Language Models with Knowledge Distillation
University of Washington(华盛顿大学)
选择放射学检查协议是一个重复且耗时的过程。在本文中,我们提出了一种深度学习方法,通过预训练特定于领域的BERT模型($BERT_{rad}$)来自动为计算机断层扫描检查分配协议。为了处理检查协议之间的高数据不平衡,我们使用了一种知识蒸馏方法,通过数据增强对少数类进行上采样。我们使用支持向量机(SVM),梯度提升机(GBM),随机森林(RF)分类器,以及谷歌的$BERT_{base}$模型的统计n-gram模型的分类性能进行了比较。SVM、GBM和RF的宏观平均F1评分分别为0.45、0.45和0.6,而$BERT_{base}$和$BERT_{rad}$分别为0.61和0.63。知识蒸馏提高了少数民族班的整体表现,达到了0.66的F1分数。
2021-07-06 cs.CL
Sample, Translate, Recombine: Leveraging Audio Alignments for Data Augmentation in End-to-end Speech Translation
Heidelberg University(海德堡大学)
针对端到端语音翻译配对数据稀缺问题,提出基于音频对齐的Sample, Translate, Recombine数据增强法,仅用现成组件即可稳定提升多语言对BLEU值。
2022-03-16 cs.CL eess.AS
Explaining Matters: Leveraging Definitions and Semantic Expansion for Sexism Detection
Department of Computer Science, University of Warwick(沃里克大学计算机科学系);School of Computing, University of Leeds(利兹大学计算机学院)
本文针对在线性别歧视检测中的数据稀疏和类别不平衡问题,提出基于定义的数据增强和上下文语义扩展两种提示增强方法,并结合多模型集成策略,在 EDOS 数据集上取得最优性能。
2025-06-06 cs.CL
Knowledge Distillation for Quality Estimation
University of Sheffield(谢菲尔德大学);Imperial College London(帝国理工学院);University of Wolverhampton(伍尔弗汉普顿大学)
质量评估(QE)是在没有参考翻译的情况下自动预测机器翻译质量的任务,使其适用于实时设置,例如翻译在线社交媒体对话。QE最近的成功源于使用多语言预训练表示,其中非常大的模型导致了令人印象深刻的结果。然而,这种模型的推理时间,磁盘和内存要求不允许在现实世界中广泛使用。对于许多使用场景来说,在提取的预训练表示上训练的模型仍然非常大。相反,我们建议直接将知识从强大的QE教师模型转移到具有不同的更浅架构的更小的模型。我们表明,这种方法与数据增强相结合,可以产生轻量级的QE模型,这些模型与参数少8倍的蒸馏预训练表示相比具有竞争力。
2021-07-01 cs.CL
HarmAug: Effective Data Augmentation for Knowledge Distillation of Safety Guard Models
KAIST(韩国科学技术院);Theori;Université de Montréal(蒙特利尔大学);Mila – Québec AI Institute(米拉-魁北克人工智能研究所);Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡应用技术大学);CIFAR AI Chair(加拿大高级研究所人工智能主席项目)
HarmAug通过越狱LLM并添加肯定前缀生成多样化有害指令,增强知识蒸馏数据,使小模型在安全检测上达到大模型性能,且计算成本降低75%以上。
2025-02-24 cs.CL cs.LG
LM-mixup: Text Data Augmentation via Language Model based Mixup
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));BIAI, ZJUT & D5Data.ai(BIAI、ZJUT及D5Data.ai)
本文提出LM-Mixup方法,通过构建MIXTURE数据集并结合监督微调与GRPO强化学习,仅用3%的蒸馏数据即可高效增强低质量指令跟随数据,提升LLMs的指令微调效率与性能。
2026-08-04 cs.CL
How to Select One Among All? An Extensive Empirical Study Towards the Robustness of Knowledge Distillation in Natural Language Understanding
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·谢里登计算机科学学院);Department of Statistics and Actuarial Science, University of Waterloo(滑铁卢大学统计与精算科学系)
知识蒸馏(KD)是一种模型压缩算法,它有助于将大型神经网络的知识转移到较小的网络中。尽管KD在广泛的自然语言处理(NLP)应用中表现出了希望,但人们对一种KD算法与另一种KD算法的比较以及这些方法是否可以相互补充知之甚少。在这项工作中,我们评估了各种KD算法的域内,域外和对抗性测试。我们提出了一个框架来评估多个KD算法的对抗鲁棒性。此外,我们引入了一个新的KD算法,组合KD,它利用了两个有前途的方法(更好的训练方案和更有效的数据增强)。我们广泛的实验结果表明,与竞争方法相比,Combined-KD在GLUE基准测试、领域泛化和对抗鲁棒性方面取得了最先进的结果。
2021-09-20 cs.CL
CoT2Align: Cross-Chain of Thought Distillation via Optimal Transport Alignment for Language Models with Different Tokenizers
Hanoi University of Science and Technology(河内理工大学);Oraichain Labs Inc.(Oraichain实验室公司);ByteDance Inc(字节跳动公司);VNU University of Engineering and Technology(越南国家大学工程技术大学);Monash University(莫纳什大学);University of Oregon(俄勒冈大学)
提出CoT2Align通用知识蒸馏框架,通过集成思维链增强与Cross-CoT Alignment,结合序列级和层级最优传输对齐,解决了不同分词器模型间的推理感知蒸馏问题,显著提升了推理能力与鲁棒性。
2025-03-01 cs.CL
Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Sun-Yat Sen University(中山大学)
尽管预先训练的语言模型(如BERT)在广泛的自然语言处理任务中取得了令人瞩目的性能,但在实时应用中部署它们在计算上是昂贵的。一种典型的方法是采用知识蒸馏将这些大的预训练模型(教师模型)压缩成小的学生模型。然而,对于一个目标域与稀缺的训练数据,教师很难传递有用的知识给学生,这会导致学生模型的性能下降。为了解决这个问题,我们提出了一种方法来学习,以增加数据稀缺域BERT知识蒸馏,通过学习一个跨域的操作计划,自动增加的目标与资源丰富的源域的帮助。具体而言,该方法产生的样本从一个固定的分布附近的目标数据,并采用了一个加强选择器自动细化增强策略,根据学生的表现。大量的实验表明,所提出的方法显着优于国家的最先进的基线在四个不同的任务,并为数据稀缺的领域,压缩的学生模型甚至比原来的大型教师模型,更少的参数(只有${\sim}13.3\%$)时,只有几个标记的例子。
2021-06-19 cs.CL
When Chosen Wisely, More Data Is What You Need: A Universal Sample-Efficient Strategy For Data Augmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Waterloo(滑铁卢大学)
已知数据增强(DA)可以提高深度神经网络的泛化能力。大多数现有的DA技术天真地添加一定数量的增强样本,而不考虑这些样本的质量和增加的计算成本。为了解决这个问题,几种最先进的DA方法所采用的一种常见策略是在训练期间自适应地生成或重新加权关于任务目标的增强样本。然而,这些自适应DA方法:(1)计算量大,采样效率低,(2)仅针对特定设置而设计。在这项工作中,我们提出了一个通用的DA技术,称为闪光,以克服这两个问题。Glitter可以插入到任何DA方法中,使训练样本高效而不牺牲性能。从预先生成的增强样本池中,Glitter自适应地选择具有最大损失的最坏情况样本的子集,类似于对抗DA。在不改变训练策略的情况下,任务目标可以在所选子集上进行优化。我们在三种广泛使用的训练设置中对GLUE基准、SQuAD和HellaSwag进行了彻底的实验,包括一致性训练、自蒸馏和知识蒸馏,结果表明,与强大的基线相比,Glitter的训练速度更快,并实现了有竞争力的性能。
2022-03-17 cs.CL cs.LG
MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of British Columbia(英属哥伦比亚大学)
大规模预训练语言模型的出现促进了自然语言处理(NLP)领域的快速发展。虽然这些模型在标准基准测试中的性能随着规模的扩大而扩大,但知识蒸馏等压缩技术是使其实用化的关键。我们提出了一种新的基于文本的对抗训练算法MATE-KD,它提高了知识蒸馏的性能。MATE-KD首先训练一个基于掩码语言模型的生成器,通过最大化教师和学生logits之间的分歧来扰动文本。然后使用知识蒸馏,学生在原始和扰动的训练样本上进行训练。我们使用基于BERT的模型在GLUE基准测试中评估了我们的算法,并证明MATE-KD优于竞争对手的对抗性学习和数据增强基线。在GLUE测试集上,我们基于6层RoBERTa的模型优于BERT-Large。
2021-05-12 cs.CL cs.LG
Rethinking Data Augmentation for Robust Visual Question Answering
Columbia University(哥伦比亚大学);Zhejiang University(浙江大学)
数据增强(DA)--在原始训练集之外生成额外的训练样本--已被广泛用于当今无偏的VQA模型中,以减轻语言偏见。目前主流的DA策略是基于合成的方法,通过编辑一些视觉区域/单词或从头开始重新生成新的样本来合成新的样本。然而,这些合成的样本总是不自然的并且容易出错。为了避免这个问题,最近的DA工作通过随机配对原始图像和其他人类书写的问题来组成新的增强样本。不幸的是,为了保证增强样本具有合理的地面真理答案,他们手动设计了一套启发式规则,这极大地限制了其泛化能力。为此,我们提出了一个新的知识蒸馏为VQA的数据增强,被称为KDDAug。具体来说,我们首先放宽了合理的图像问题对的要求,这可以很容易地应用于任何问题类型。然后,我们设计了一个基于知识蒸馏(KD)的答案分配,以产生伪答案的所有组成的图像问题对,这是鲁棒的域内和外的分布设置。由于KDDAug是一种与模型无关的DA策略,因此它可以无缝地集成到任何VQA架构中。对多个主干和基准的广泛消融研究已经证明了KDDAug的有效性和推广能力。
2022-09-15 cs.AI cs.CL cs.CV
Not Far Away, Not So Close: Sample Efficient Nearest Neighbour Data Augmentation via MiniMax
University of Alberta(阿尔伯塔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在自然语言处理(NLP)中,寻找能够产生高质量人类可解释示例的数据增强技术一直是一项挑战。最近,利用kNN,从大型未标记句子库中检索增强的示例,朝着可解释的增强迈出了一步。受这种范式的启发,我们引入Minimax-kNN,一个样本有效的数据增强策略量身定制的知识蒸馏(KD)。我们利用一种基于KD的半监督方法在增强数据上训练模型。与现有的盲目合并所有样本的kNN增强技术相比,我们的方法动态地选择了一个增强样本的子集,使教师和学生模型之间的KL分歧最大化。此步骤旨在提取最有效的样本,以确保我们的增强数据覆盖输入空间中具有最大损失值的区域。我们在几个文本分类任务上评估了我们的技术,并证明了Minimax-kNN始终优于强基线。我们的研究结果表明,Minimax-kNN需要更少的增强的例子和更少的计算,以实现优越的性能比最先进的基于kNN的增强技术。
2021-06-02 cs.CL cs.LG
Guiding CTC Posterior Spike Timings for Improved Posterior Fusion and Knowledge Distillation
IBM Research - Tokyo(IBM东京研究院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
传统的自动语音识别(ASR)系统从帧级对齐训练可以很容易地利用后验融合来提高ASR的准确性,并建立一个更好的单一模型与知识蒸馏。使用连接时间分类(CTC)损失训练的端到端ASR系统不需要帧级对齐,因此简化了模型训练。然而,稀疏和任意的后验尖峰时间从CTC模型提出了一组新的挑战,后验融合从多个模型和知识蒸馏之间的CTC模型。我们提出了一种方法来训练一个CTC模型,使其尖峰时间的指导,以配合一个预先训练的指导CTC模型。因此,共享相同引导模型的所有模型具有对齐的尖峰定时。我们展示了我们的方法在各种场景下的优势,包括CTC模型的后验融合和具有不同架构的CTC模型之间的知识蒸馏。使用300小时的Switchboard训练数据,从多个模型中提取的单字CTC模型将Hub 5 2000 Switchboard/CallHome测试集上的单词出错率从14.9%/24.1%提高到13.7%/23.1%,而不使用任何数据增强、语言模型或复杂解码器。
2019-07-02 cs.AI cs.CL
One Category One Prompt: Dataset Distillation using Diffusion Models
Vanderbilt University(范德堡大学);University of California, Davis(加利福尼亚大学戴维斯分校)
针对传统数据集蒸馏方法可扩展性差、依赖大量图像增强及软标签存储的问题,提出基于扩散模型的数据集蒸馏范式D3M,利用文本反转技术学习文本提示以在固定内存预算下实现高效数据表示与生成,经多基准实验验证了有效性。
2024-03-11 cs.CL cs.CV cs.LG
Two-stage Textual Knowledge Distillation for End-to-End Spoken Language Understanding
Clova AI
端到端方法通过减轻传统管道系统的缺点,为更准确和有效的口语语言理解(SLU)系统开辟了新的途径。以前的作品利用文本信息的SLU模型通过预训练与自动语音识别或微调与知识蒸馏。为了更有效地利用文本信息,本文提出了一种两阶段的文本知识蒸馏方法,该方法在预训练和微调期间依次匹配两种模态的话语级表示和预测逻辑。我们使用vq-wav 2 vec BERT作为语音编码器,因为它捕获了一般和丰富的功能。此外,我们提高了性能,特别是在低资源的情况下,与数据增强方法随机掩蔽离散音频令牌和上下文隐藏表示的跨度。因此,我们推动了Fluent Speech Commands的最新技术,在完整数据集设置中实现了99.7%的测试准确率,在10%子集设置中实现了99.5%的测试准确率。在整个消融研究中,我们经验性地验证了所有使用的方法对最终表现至关重要,为口语语言理解提供了最佳实践。代码可在https://github.com/clovaai/textual-kd-slu上获得。
2021-06-10 cs.CL cs.LG cs.SD