COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
OVO: One-shot Vision Transformer Search with Online distillation
针对纯Transformer在中小型数据集上准确率不佳的问题,提出基于在线蒸馏的一次性视觉Transformer搜索框架OVO,通过为师生网络采样子网实现高效蒸馏,使超网中数千子网免微调即可充分训练,并在ImageNet和CIFAR-100上取得优异准确率。
2023-11-24 cs.CV
Self-Distillation for Further Pre-training of Transformers
KAIST(韩国科学技术院);AITRICS;National University of Singapore(新加坡国立大学)
针对Transformer跨域进一步预训练时视觉模型易过拟合的问题,提出将自蒸馏作为正则化手段,结合掩码自编码目标训练学生模型,在图文分类基准上优于相关基线,并通过理论分析解释其作用机制。
2023-06-09 cs.CV cs.LG
Training data-efficient image transformers & distillation through attention
Facebook AI(脸书人工智能研究院);Sorbonne University(索邦大学)
最近,纯粹基于注意力的神经网络被证明可以解决图像理解任务,例如图像分类。然而,这些视觉Transformers使用昂贵的基础设施使用数亿张图像进行预训练,从而限制了它们的采用。在这项工作中,我们只在Imagenet上训练,产生了一个有竞争力的无卷积Transformer。我们在不到3天的时间内就在一台计算机上对他们进行训练。我们的参考视觉Transformer(86 M参数)在ImageNet上实现了83.1%的顶级准确率(单作物评估),无需外部数据。更重要的是,我们引入了一个针对Transformers的师生策略。它依赖于一个蒸馏令牌,确保学生通过注意力从老师那里学习。我们展示了这种基于令牌的蒸馏的兴趣,特别是当使用convnet作为老师时。这使得我们报告的结果与convnets的Imagenet(在那里我们获得高达85.2%的准确率)和转移到其他任务时具有竞争力。我们共享代码和模型。
2021-01-15 cs.CV
torchdistill: A Modular, Configuration-Driven Framework for Knowledge Distillation
University of California, Irvine(加州大学尔湾分校)
虽然知识蒸馏(转移)一直吸引着研究界的关注,但该领域的最新发展提高了对可重复研究和高度通用框架的需求,以降低这种高质量,可重复的深度学习研究的障碍。一些研究人员自愿发表了他们在知识蒸馏研究中使用的框架,以帮助其他感兴趣的研究人员复制他们的原始工作。然而,这样的框架通常既不能很好地推广,也不能很好地维护,因此研究人员仍然需要编写大量的代码来重构/构建框架,以引入新的方法,模型,数据集和设计实验。在本文中,我们提出了我们开发的开源框架,建立在PyTorch和专用于知识蒸馏研究。该框架旨在使用户能够通过声明式PyYAML配置文件设计实验,并帮助研究人员完成最近提出的ML代码完整性检查表。使用开发的框架,我们展示了其各种有效的培训策略,并实现了各种知识蒸馏方法。我们还在ICLR、NeurIPS、CVPR和ECCV等主要机器学习会议上展示了他们在ImageNet和COCO数据集上的一些原始实验结果,包括最新的最先进的方法。所有源代码、配置、日志文件和训练模型权重都可以在https://github.com/yoshitomo-matsubara/torchdistill上公开获得。
2021-01-27 cs.CV cs.LG stat.ML
Distillation Dynamics: Towards Understanding Feature-Based Distillation in Vision Transformers
针对基于特征的知识蒸馏在ViT上效果不佳的问题,本文提出蒸馏动力学分析框架,揭示其失效根源为师生表征范式不匹配,为ViT压缩策略设计提供理论指导。
2025-11-15 cs.CV
DearKD: Data-Efficient Early Knowledge Distillation for Vision Transformers
ShanghaiTech University(上海科技大学);JD Explore Academy(京东探索研究院);Meituan Inc.(美团公司);The University of Sydney(悉尼大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海能效与定制人工智能集成电路工程技术研究中心)
由于Transformers具有强大的自注意建模能力,因此被成功应用于计算机视觉。然而,Transformers的优异性能在很大程度上取决于大量的训练图像。因此,迫切需要一种数据高效的Transformer解决方案。在这项工作中,我们提出了一个早期的知识蒸馏框架,这是被称为DearKD,以提高数据效率所需的Transformers器。我们的DearKD是一个两阶段的框架,首先从CNN的早期中间层中提取归纳偏差,然后通过训练而不蒸馏,充分发挥Transformer的作用。此外,我们的DearKD可以很容易地应用于没有真实图像的极端无数据情况。在这种情况下,我们提出了一种基于DeepInversion的边界保持内部发散损失,以进一步缩小与完整数据对应物的性能差距。在ImageNet、部分ImageNet、无数据设置和其他下游任务上的大量实验证明了DearKD相对于其基线和最先进方法的优越性。
2022-04-28 cs.CV
TASKED: Transformer-based Adversarial learning for human activity recognition using wearable sensors via Self-KnowledgE Distillation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Technische Universität Kaiserslautern(凯泽斯劳滕工业大学)
基于可穿戴传感器的人体活动识别(HAR)已成为一个主要的研究领域,并在各种应用中使用。近年来,随着人机交互应用的发展,基于深度学习的方法在HAR领域取得了显著的进步。然而,在标准卷积神经网络的过程中,它们仅限于在局部邻域中操作,并且忽略了不同传感器之间关于身体位置的相关性。此外,由于训练和测试数据分布的巨大差距以及受试者之间的行为差异,他们仍然面临着性能下降的重大挑战性问题。在这项工作中,我们提出了一种新的基于转换器的对抗性学习框架,用于通过自知识蒸馏(TASKED)使用可穿戴传感器进行人类活动识别,该框架考虑了单个传感器的方向以及空间和时间特征。所提出的方法能够使用对抗学习和最大平均差异(MMD)正则化来对齐多个域上的数据分布,从而从多个主题数据集学习跨域嵌入特征表示。该方法采用无教师自知识蒸馏的方法,提高了训练过程的稳定性和人体活动识别的性能。实验结果表明,TASKED不仅在四个真实世界的公共HAR数据集上(单独或组合)优于最先进的方法,而且有效地提高了主题泛化能力。
2022-12-08 cs.CV cs.LG
Unsupervised Transformer Pre-Training for Images: Self-Distillation, Mean Teachers, and Random Crops
Technical University Munich(慕尼黑技术大学)
本综述梳理图像无监督Transformer预训练方法DINOv2的核心技术(多裁剪增强、均值教师自蒸馏)的发展脉络,对比其与相关方法在下游任务的性能,介绍其特征涌现特性,并讨论局限性与未来方向。
2025-10-04 cs.CV cs.LG eess.IV
Attention Distillation: self-supervised vision transformer students need more guidance
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
自监督学习已被广泛应用于训练高质量的视觉Transformer。因此,在内存和计算受限的设备上释放其出色的性能是一个重要的研究课题。然而,如何将知识从一个自我监督的ViT提取到另一个还没有被探索。此外,现有的自监督知识蒸馏(SSKD)方法集中在基于ConvNet的架构是次优的ViT知识蒸馏。本文研究了自监督视觉Transformer(ViT-SSKD)的知识蒸馏。我们发现,直接从教师到学生的关键注意力机制中提取信息可以显着缩小两者之间的绩效差距。在ImageNet-Subset和ImageNet-1 K上的实验中,我们证明了我们的方法AttnDistill优于现有的自监督知识蒸馏(SSKD)方法,并与从头开始学习(使用ViT-S模型)的自监督学习(SSL)方法相比,实现了最先进的k-NN准确性。我们也是第一个将微型ViT-T模型应用于自监督学习的人。此外,AttnDistill算法不依赖于自监督学习算法,可以应用于基于ViT的SSL方法中,以提高性能。代码在这里:https://github.com/wangkai930418/attndistill
2022-10-03 cs.CV
Learning Efficient Vision Transformers via Fine-Grained Manifold Distillation
Beijing Institute of Technology(北京理工大学);Huawei Technologies(华为技术有限公司);Peking University(北京大学)
在过去的几年里,Transformers在各种计算机视觉任务上取得了令人满意的性能。不幸的是,大多数现有的视觉Transformer的巨大推理开销阻止了它们在边缘设备(如手机和智能手表)上的部署。知识蒸馏是一种广泛使用的范例,用于通过将信息传递给紧凑的学生来压缩繁琐的架构。然而,这些方法大多是针对卷积神经网络(CNN)设计的,没有充分研究视觉Transformer(ViT)的特性。在本文中,我们利用块级信息,并提出了一个细粒度的流形蒸馏方法。具体来说,我们训练一个小的学生模型,以匹配一个预先训练的教师模型在补丁级流形空间。然后,我们将流形匹配损失解耦为三项,并进行了精心设计,以进一步降低补丁关系的计算成本。配备了所提出的方法,包含5 M参数的DeiT-Tiny模型在ImageNet-1 k上实现了76.5%的top-1准确度,比以前的蒸馏方法高出2.0%。其他分类基准和下游视觉任务的迁移学习结果也证明了我们的方法优于最先进的算法。
2022-06-02 cs.CV
Weight Copy and Low-Rank Adaptation for Few-Shot Distillation of Vision Transformers
University of Bucharest(布加勒斯特大学);Norwegian University of Science and Technology(挪威科技大学);University of Medicine and Pharmacy “Carol Davila”(卡罗尔·达维拉医药大学)
针对小样本下视觉Transformer知识蒸馏问题,提出结合权重复制与增强版LoRA的蒸馏方法,经多领域多任务实验验证性能优于现有最优方案,且各组件均有效。
2024-10-30 cs.AI cs.CV cs.LG
A Transformer-in-Transformer Network Utilizing Knowledge Distillation for Image Recognition
University of Miami(迈阿密大学);Rajshahi University of Engineering & Technology (RUET)(拉杰沙希工程技术大学)
提出一种内-外Transformer架构(TITN),结合知识蒸馏实现高效图像分类,在MNIST、CIFAR10/100上取得领先的top-1/top-5准确率。
2025-02-24 cs.CV
KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling
Baidu VIS(百度视觉)
本文提出KD-DETR,首个面向DETR的通用知识蒸馏范式,通过引入专用object queries构建一致蒸馏点并解耦检测与蒸馏任务,支持同构和异构蒸馏,使学生模型性能提升2.1%-5.2%。
2025-06-25 cs.CV
Grid-Preserving Knowledge Distillation: Transferring Convolutional Inductive Bias to Vision Transformers under Data Scarcity
本文提出iBKD蒸馏框架,在数据稀缺场景下通过保留网格的核心模块向ViT迁移卷积归纳偏置,在多基准上优于相关方法且优势随数据减少而扩大。
2026-08-14 cs.CV
Analyzing Transformer Models and Knowledge Distillation Approaches for Image Captioning on Edge AI
本文研究在资源受限的边缘设备上部署Transformer图像描述模型,通过评估轻量级Transformer架构并结合知识蒸馏技术,在保持模型性能的同时加速推理,为工业自动化和自主机器人提供实时场景理解能力。
2025-06-04 cs.CV
InhibiDistilbert: Knowledge Distillation for a ReLU and Addition-based Transformer
本研究提出结合模型压缩与抑制注意力的优化方法,改进基于ReLU和加法的Transformer训练效率,经知识蒸馏在DistilBERT架构上验证,在GLUE等NLP基准上取得有竞争力的性能。
2025-03-20 cs.AI cs.CL cs.LG
Knowledge Distillation via Query Selection for Detection Transformer
Beihang University(北京航空航天大学);Baidu Inc(百度公司)
针对DETR模型部署成本高的问题,本文提出QSKD框架,通过基于GIoU的分组查询选择挖掘难负查询,并结合AGFD与LAPD进行知识蒸馏,在MS-COCO上以低计算开销显著提升多种DETR架构的AP。
2024-09-10 cs.CV
TransKD: Transformer Knowledge Distillation for Efficient Semantic Segmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hunan University(湖南大学);University of Stuttgart(斯图加特大学);ETH Zurich(苏黎世联邦理工学院);NIO(蔚来汽车)
本文提出TransKD框架,通过特征图蒸馏与patch嵌入蒸馏训练紧凑学生Transformer,在保持语义分割性能的同时将FLOPs降低85%以上,并优于现有蒸馏方法。
2024-09-05 cs.CV cs.RO eess.IV
Multi-Branch Mutual-Distillation Transformer for EEG-Based Seizure Subtype Classification
Huazhong University of Science and Technology(华中科技大学);Dongfeng Corporation Research & Development Institute(东风公司研发院);China Electronic System Technology Co., Ltd.(中国电子系统技术有限公司);Southern University of Science and Technology(南方科技大学)
本文提出多分支互蒸馏(MBMD)Transformer,通过多分支编码器块和原始EEG与不同频带小波间的互蒸馏策略,解决小样本下跨受试者癫痫发作亚型分类问题,性能优于现有方法。
2024-12-04 cs.LG eess.SP
Modular Transformers: Compressing Transformers into Modularized Layers for Flexible Efficient Inference
ETH Zurich(苏黎世联邦理工学院);Allen Institute for AI(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
针对静态压缩压缩比固定的问题,本文提出 Modular Transformers,通过模块替换与知识蒸馏训练可替换连续层的模块化层,一次训练后灵活组装以获得 1.1x 至 6x 压缩比。
2023-06-04 cs.CL cs.LG
Adaptive Knowledge Distillation for Classification of Hand Images using Explainable Vision Transformers
Monash University(莫纳什大学);Australian Federal Police(澳大利亚联邦警察)
本文提出基于可解释视觉Transformer的自适应知识蒸馏方法,用于手部图像分类,通过防止灾难性遗忘在跨域数据上取得优异性能,适用于访问控制等现实应用。
2024-08-20 cs.AI cs.CV cs.LG
Knowledge Distillation via the Target-aware Transformer
RMIT University(皇家墨尔本理工大学);ReLER, AAII, UTS(悉尼科技大学ReLER、AAII);Alibaba Group(阿里巴巴集团);Sun Yat-sen University(中山大学)
针对一对一空间匹配忽略师生网络架构差异的问题,提出基于 target-aware transformer 的一对多空间匹配知识蒸馏方法,在多个视觉基准上显著超越现有方法。
2024-04-08 cs.CV
TinyViT: Fast Pretraining Distillation for Small Vision Transformers
Microsoft Research(微软研究院);Microsoft Cloud+AI(微软云与人工智能部门)
视觉Transformer(Visiontransformer,ViT)由于其出色的建模能力,近年来在计算机视觉领域引起了广泛的关注。然而,大多数流行的ViT模型受到大量参数的影响,限制了它们在资源有限的设备上的适用性。为了缓解这个问题,我们提出了TinyViT,这是一个新的小型高效的小型视觉Transformer家族,它使用我们提出的快速蒸馏框架在大规模数据集上进行了预训练。其核心思想是将知识从大型预训练模型转移到小型模型,同时使小型模型能够获得大量预训练数据的红利。更具体地说,我们在知识转移的预培训期间应用蒸馏。大型教师模型的logit被稀疏化并预先存储在磁盘中,以节省内存开销和计算开销。微型学生Transformers是从具有计算和参数约束的大型预训练模型自动缩小的。综合实验证明了TinyViT的有效性。它在ImageNet-1 k上实现了84.8%的top-1准确率,只有21 M个参数,与在ImageNet-21 k上预训练的Swin-B相当,而使用的参数少了4.2倍。此外,提高图像分辨率,TinyViT可以达到86.5%的准确率,略优于Swin-L,而仅使用11%的参数。最后但并非最不重要的是,我们展示了TinyViT在各种下游任务上的良好传输能力。代码和模型可在https://github.com/microsoft/Cream/tree/main/TinyViT上获得…
2022-07-21 cs.CV
HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
知识蒸馏已被证明是一种强大的模型压缩方法,以促进在实践中部署预训练的语言模型。本文主要研究任务不可知的蒸馏。它产生一个紧凑的预训练模型,可以很容易地在各种任务上进行微调,计算成本和内存占用都很小。尽管有实际的好处,任务不可知的蒸馏是具有挑战性的。由于教师模型具有比学生模型大得多的容量和更强的表示能力,因此学生很难在大量的开放域训练数据上产生与教师相匹配的预测。如此大的预测差异往往会削弱知识蒸馏的好处。为了解决这一挑战,我们提出了同伦蒸馏(HomoDistil),一种新的任务不可知的蒸馏方法,配备了迭代修剪。具体来说,我们从教师模型初始化学生模型,并迭代地修剪学生的神经元,直到达到目标宽度。这种方法在整个提炼过程中保持了教师和学生预测之间的微小差异,这确保了知识转移的有效性。大量的实验表明,HomoDistil在现有的基线上实现了显着的改进。
2023-02-19 cs.CL cs.LG
From Multimodal to Unimodal Attention in Transformers using Knowledge Distillation
INRIA(法国国家信息与自动化研究所);Indian Institute of Information Technology, Allahabad(阿拉哈巴德印度信息技术学院);Université Côte d’Azur(蔚蓝海岸大学)
多模态深度学习已经引起了人们的极大兴趣,由于交叉注意机制,Transformers已经引发了新的方法。在这里,我们提出了一种方法来处理两个关键的现有挑战:高计算资源的需求和丢失的模态的问题。我们首次在Transformers中引入知识蒸馏的概念,在推理时只使用一种模态。我们报告了一个完整的研究,分析多个学生,教师配置,蒸馏应用的水平,和不同的方法。在最佳配置下,我们将最先进的精度提高了3%,将参数数量减少了2.5倍,推理时间减少了22%。这种性能计算的权衡可以利用在许多应用程序中,我们的目标是打开一个新的研究领域,部署复杂的模型与有限的资源是必需的。
2021-10-19 cs.CL cs.LG
Optimizing Knowledge Distillation in Transformers: Enabling Multi-Head Attention without Alignment Barriers
针对Transformer知识蒸馏中师生注意力头数量不对齐的问题,提出无需额外参数或架构修改的Squeezing-Heads Distillation方法,通过线性近似压缩多头注意力图实现不同头数模型间的无缝知识迁移,在多任务上优于基线并取得最先进结果。
2025-02-11 cs.CV
Vision Transformers for Small Histological Datasets Learned through Knowledge Distillation
University of Stavanger(斯塔万格大学);Erasmus MC Cancer Institute(伊拉斯谟医学中心癌症研究所);University Medical Center Rotterdam(鹿特丹大学医学中心)
本文提出学生-教师知识蒸馏方法训练视觉Transformer,用于全切片图像中的气泡伪影检测,相比单独训练MCC提升7%,为计算病理学系统提供了高效预处理新思路。
2023-05-27 cs.AI cs.CV cs.LG
Hierarchical Transformer-based Large-Context End-to-end ASR with Large-Context Knowledge Distillation
NTT Media Intelligence Laboratories, NTT Corporation(NTT公司NTT媒体情报实验室)
提出了一种基于知识蒸馏的大上下文端到端自动语音识别模型及其有效的训练方法。常见的E2 E-ASR模型主要关注话语级处理,其中每个话语都是独立转录的。另一方面,大上下文E2 E-ASR模型,它考虑到长范围的连续上下文超出话语边界,很好地处理一系列的话语,如话语和对话。然而,Transformer架构,它最近已经实现了国家的最先进的话语级ASR系统中的ASR性能,尚未被引入到大上下文的ASR系统。我们可以预期,Transformer架构不仅可以有效地捕获输入语音上下文,而且可以有效地捕获超出话语边界的长距离序列上下文。因此,本文提出了一种基于分层transformer的大上下文E2 E-ASR模型,该模型将Transformer架构与基于分层编解码器的大上下文建模相结合。此外,为了使所提出的模型能够使用长范围的顺序上下文,我们还提出了一个大上下文知识蒸馏,在训练阶段从预先训练的大上下文语言模型中提取知识。我们评估了所提出的模型和提出的训练方法对日语语篇ASR任务的有效性。
2021-02-16 cs.CL cs.LG
Multimodal Transformer Distillation for Audio-Visual Synchronization
National Taiwan University(台湾大学)
本文提出MTDVocaLiST模型,通过多模态Transformer蒸馏损失和不确定性加权,在显著缩小模型规模(减少83.52%)的同时,性能超越同规模SOTA模型,实现高效音视频同步。
2024-03-18 cs.CV cs.IR cs.SD
Supervised Masked Knowledge Distillation for Few-Shot Transformers
Columbia University(哥伦比亚大学)
针对少样本ViT易过拟合且自监督与监督方法间存在鸿沟的问题,提出监督掩码知识蒸馏模型SMKD,通过在类和patch token上进行类内知识蒸馏及跨图像掩码重建,在四个基准上取得最优。
2023-03-29 cs.AI cs.CV
Enhanced Knowledge Distillation for Detection Transformer via Teacher Prediction Refinement
Shanghai Jiao Tong University(上海交通大学)
针对DETR蒸馏中教师监督质量不佳的问题,提出TPRD模块,通过正预测校正和负预测抑制精化教师预测,并引入MDKP保留暗知识,在MS COCO和PASCAL VOC上验证了有效性。
2026-09-18 cs.CV
Multi-modal Anchor Gated Transformer with Knowledge Distillation for Emotion Recognition in Conversation
School of Computer Science and Technology, China University of Mining and Technology(计算机科学与技术学院,中国矿业大学);Mine Digitization Engineering Research Center of Ministry of Education, China University of Mining and Technology(教育部矿山数字化工程研究中心,中国矿业大学)
针对对话情感识别中模态贡献差异与帧级对齐复杂性问题,提出MAGTKD模型,利用提示学习增强文本表示、知识蒸馏强化弱模态,并通过多模态锚点门控Transformer整合话语级特征,在IEMOCAP和MELD数据集上达到SOTA。
2025-06-23 cs.CL cs.LG
D$^3$ETR: Decoder Distillation for Detection Transformer
Peking University(北京大学);Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
虽然基于CNN的检测器中的各种知识蒸馏(KD)方法在提高小学生方面表现出了有效性,但基于DETR的检测器的基线和配方尚未建立。本文主要研究基于DETR的检测器中的Transformer解码器,并探讨其KD方法。Transformer解码器的输出是随机的,这使得教师和学生的预测之间没有直接的对应关系,从而对知识蒸馏提出了挑战。为此,我们提出了MixMatcher来对齐基于DETR的教师和学生的解码器输出,它混合了两种教师-学生匹配策略,即,自适应匹配和固定匹配。具体地,自适应匹配应用二分匹配以自适应地匹配每个解码器层中的教师和学生的输出,而固定匹配固定具有相同对象查询的教师和学生的输出之间的对应关系,其中教师的固定对象查询作为辅助组被馈送到学生的解码器。在MixMatcher的基础上,我们构建了\textbf{D}编码器\textbf{D} istilation for \textbf{DE} tection \textbf{TR} ansformer(D $^3$ ETR),它将解码器预测和注意力地图中的知识从教师那里提取出来,传递给学生。D $^3$ ETR在具有不同主链的各种基于DETR的检测器上显示出优异的性能。例如,D $^3$ ETR在$12/50$ epoch训练设置下通过$\textbf{7.8}/\textbf{2.4}$ mAP改进条件DETR-R50-C5,条件…
2022-11-17 cs.CV
ClST: A Convolutional Transformer Framework for Automatic Modulation Recognition by Knowledge Distillation
Northwestern Polytechnical University(西北工业大学);University of Houston(休斯顿大学);Kyung Hee University(庆熙大学)
提出ClST框架和SKD蒸馏方法,解决复杂信道下数据不足和大模型部署难题,实现轻量高精度自动调制识别。
2023-12-29 cs.AI cs.LG eess.SP
Efficient Large-scale Audio Tagging via Transformer-to-CNN Knowledge Distillation
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出利用离线知识蒸馏从Transformer训练高效CNN(基于MobileNetV3),在AudioSet上实现0.483 mAP的新最先进性能,兼顾参数、计算效率与预测性能。
2023-06-23 cs.LG cs.SD eess.AS
Transformer-based ASR Incorporating Time-reduction Layer and Fine-tuning with Self-Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
端到端自动语音识别(ASR)与传统的ASR不同,它不具有从语音编码器学习语义表示的模块。此外,语音表示的较高帧率阻碍了模型正确地学习语义表示。因此,在较低帧率下构建的语音编码器模型具有较好的性能。对于基于transformer的ASR,较低的帧速率不仅对于学习更好的语义表示很重要,而且对于降低计算复杂性也很重要,因为自注意力机制在训练和推理中都具有O(n^2)阶的复杂性。在本文中,我们提出了一个基于transformer的ASR模型的时间减少层,其中我们将时间减少层内的Transformer编码器层除了传统的子采样方法输入的功能,进一步降低帧速率。这可以帮助降低用于训练和推理的自注意过程的计算成本,同时提高性能。此外,我们引入了一个微调的预训练ASR模型使用自知识蒸馏(S-KD),进一步提高了我们的ASR模型的性能。LibriSpeech数据集上的实验表明,我们提出的方法优于所有其他基于transformer的ASR系统。此外,通过语言模型(LM)融合,我们在没有任何外部数据的情况下,仅用3000万个参数训练基于Transformer的ASR模型,就实现了新的最先进的单词出错率(WER)结果。
2021-03-17 cs.AI cs.LG
Designing Parameter and Compute Efficient Diffusion Transformers using Distillation
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对 DiT 在边缘设备上参数与计算开销过大的问题,本文通过设计空间探索和 TA、MI1 两种特征蒸馏方法,构建性能、尺寸与速度可权衡的高效 DiT,并在真实边缘硬件上验证。
2025-02-20 cs.CV eess.IV
AI can evolve without labels: self-evolving vision transformer for chest X-ray diagnosis through knowledge distillation
KAIST(韩国科学技术院);Asan Medical Center(峨山医学中心);University of Ulsan College of Medicine(蔚山大学医学院);Yeungnam University(岭南大学);Kyungpook National University(庆北国立大学);Seoul National University(首尔国立大学)
虽然基于深度学习的计算机辅助诊断系统最近已经达到了专家级的性能,但开发一个强大的深度学习模型需要大量的高质量数据和手动注释,这是昂贵的。这种情况造成的问题是,由于缺乏专家的手工标记,医院每年收集的胸部X光片无法使用,特别是在贫困地区。为了解决这个问题,我们在这里提出了一个新的深度学习框架,该框架通过自监督学习和自训练来使用知识蒸馏,这表明使用少量标签训练的原始模型的性能可以随着更多的未标记数据而逐渐提高。实验结果表明,所提出的框架保持了令人印象深刻的鲁棒性对现实世界的环境,并具有普遍适用性的几个诊断任务,如结核病,气胸,和COVID-19。值得注意的是,我们证明了我们的模型比使用相同数量的标记数据训练的模型表现得更好。所提出的框架在医学成像方面具有很大的潜力,因为每年都会积累大量的数据,但获得地面实况注释的成本很高。
2022-02-13 cs.CV cs.LG eess.IV
Towards Optimal Trade-offs in Knowledge Distillation for CNNs and Vision Transformers at the Edge
Information Technology Institute CERTH(CERTH信息技术研究所)
本文系统研究了边缘设备上CNN与ViT知识蒸馏的四个关键方面,包括架构配置、学生模型大小、输入分辨率及下游微调,为AI从业者提供了优化KD过程的有效策略。
2024-06-25 cs.AI cs.CV
Importance-Aware Low-Rank Distillation of Diffusion Transformers
Heidelberg University(海德堡大学);Zuse School ELIZA(楚思ELIZA学院);TU Darmstadt(达姆施塔特工业大学)
针对DiTs部署效率问题,提出SVDtrunc两步块级压缩方案,在40%-90%参数压缩下优于基准方法,68%参数预算仍近全性能,57%仍具竞争力,可与步骤蒸馏互补。
2026-09-07 cs.CV
Cross-Architecture Knowledge Distillation
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Ant Financial Service Group(蚂蚁金融服务集团);PeopleAI, Inc.(PeopleAI公司);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
Transformer因其了解全球关系的能力和卓越的性能而备受关注。为了实现更高的性能,很自然地将互补知识从Transformer提取到卷积神经网络(CNN)。然而,现有的知识蒸馏方法大多只考虑同源结构的提取,如从CNN提取知识到CNN。它们可能不适合应用于跨架构场景,例如从Transformer到CNN。针对这一问题,提出了一种跨体系结构的知识蒸馏方法。具体而言,而不是直接模仿输出/中间功能的教师,部分交叉注意投影仪和分组线性投影仪被引入到学生的功能与教师的两个投影的特征空间。并进一步提出了一种多视图鲁棒训练方案,以提高框架的鲁棒性和稳定性。大量的实验表明,该方法优于14国家的最先进的小规模和大规模数据集。
2022-11-15 cs.CV
LoRA-Enhanced Vision Transformer for Single Image based Morphing Attack Detection via Knowledge Distillation from EfficientNet
Norwegian University of Science and Technology (NTNU)(挪威科学技术大学);Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉布尔希尼国家理工学院)
针对人脸识别系统易受变形攻击的问题,本文提出基于EfficientNet知识蒸馏、集成LoRA微调ViT的单图像变形攻击检测方法,实验证明其检测性能与计算效率优于现有最优方法。
2025-11-16 cs.CV
Transformer-Based Fault-Tolerant Control for Fixed-Wing UAVs Using Knowledge Distillation and In-Context Adaptation
Universidad Politécnica de Madrid(马德里理工大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出一种基于Transformer的固定翼无人机容错控制方法,利用上下文学习直接映射外环参考值到控制指令,并通过知识蒸馏训练部分观测学生智能体,在多种故障场景下优于传统飞控和强化学习方法。
2025-03-07 cs.LG cs.RO cs.SY
Knowledge Distillation in Vision Transformers: A Critical Review
Indian Institute of Technology Delhi(印度理工学院德里分校)
本文综述了基于知识蒸馏(KD)的Vision Transformers(ViTs)压缩方法,阐明了KD在降低模型计算与内存需求方面的作用,并指出了ViTs尚未解决的挑战。
2024-02-10 cs.CV
FAN-Trans: Online Knowledge Distillation for Facial Action Unit Detection
University of Nottingham(诺丁汉大学);Imperial College London(帝国理工学院)
由于其在面部行为分析中的重要性,面部动作单元(AU)检测越来越受到研究界的关注。利用在线知识蒸馏框架,我们提出了AU检测的“FANTrans”方法。我们的模型由卷积和Transformer块的混合网络组成,用于学习每个AU的特征并对AU同现进行建模。该模型使用预先训练的人脸对齐网络作为特征提取器。在通过一个小的可学习的附加卷积子网进行进一步变换之后,每个AU的特征被馈送到Transformer块中以增强它们的表示。由于多个AU经常一起出现,我们提出了一个可学习的注意力下降机制,在Transformer块学习不同AU的功能之间的相关性。我们还设计了一个分类器,通过考虑所有AU的特征来预测AU的存在,以显式地捕获标签依赖性。最后,我们尝试在训练阶段采用在线知识蒸馏,进一步提高了模型的性能。在BP 4D和DISFA数据集上的实验证明了该方法的有效性。
2022-11-11 cs.CV
LoReTrack: Efficient and Accurate Low-Resolution Transformer Tracking
University of North Texas(北得克萨斯大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出LoReTrack,通过双重知识蒸馏(QKV-KD和Disc-KD)从冻结的高分辨率Transformer跟踪器向低分辨率跟踪器迁移知识,在降低计算量的同时提升精度,实现高效准确的低分辨率跟踪。
2024-05-27 cs.CV
CausalGate: Causal Importance Distillation for Transformer Module Pruning
研究针对大语言模型自适应推理方法不足,提出CausalGate框架,在校准阶段隔离子层测量语义损伤,再用特定目标和损失将结构重要性提炼为标量门控,经实验验证其在多模型上优于基线,能降低硬件延迟且无操作开销。
2026-07-30 cs.CL cs.CV cs.LG
Efficient Transformer Knowledge Distillation: A Performance Review
Clemson University(克莱姆森大学);Giant Oak Inc.(巨橡公司)
本研究评估了高效注意力transformer通过知识蒸馏进行模型压缩的性能,引入了长上下文NER数据集GONERD,发现蒸馏后的模型在保留高达98.8%性能的同时将推理时间减少57.8%。
2023-11-22 cs.CL cs.LG
SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation
Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室);Tencent WeChat Pay Lab(腾讯微信支付实验室);MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学教育部人工智能重点实验室)
SDPose提出循环引导自蒸馏方法,通过多循环Transformer充分挖掘小模型潜力并将知识蒸馏到朴素前向模型,在MSCOCO上以极低参数量和计算量取得领先精度。
2024-04-04 cs.CV
Beyond Conventional Transformers: The Medical X-ray Attention (MXA) Block for Improved Multi-Label Diagnosis Using Knowledge Distillation
Department of Mathematics University of California, Los Angeles(数学系 加州大学洛杉矶分校)
针对胸部X射线多标签诊断需求,提出专用的医学X射线注意力(MXA)模块并嵌入EfficientViT架构,结合知识蒸馏技术,在CheXpert基准上实现AUC 0.85的性能,较基线显著提升。
2025-05-18 cs.AI cs.CV cs.LG
Let Video Teaches You More: Video-to-Image Knowledge Distillation using DEtection TRansformer for Medical Video Lesion Detection
FNii, CUHK-Shenzhen(香港中文大学(深圳)FNii机构);SSE, CUHK-Shenzhen(香港中文大学(深圳)工学院);SRIBD, CUHK-Shenzhen(香港中文大学(深圳)SRIBD机构);IHPC, A*STAR(新加坡科研局高性能计算研究院)
针对医学视频病变检测中基于图像模型缺乏帧间上下文而基于视频模型计算成本高的问题,提出V2I-DETR知识蒸馏框架,将视频多帧时间上下文蒸馏至单帧图像模型,在保持30 FPS实时推理速度的同时大幅超越现有最先进方法。
2024-08-26 cs.CV
Promoting CNNs with Cross-Architecture Knowledge Distillation for Efficient Monocular Depth Estimation
Zhejiang University(浙江大学);The University of Sydney(悉尼大学)
提出跨架构知识蒸馏方法DisDepth,通过局部-全局卷积模块和幽灵解码器使transformer教师模型特征适配CNN学生模型,并结合注意力蒸馏损失,在KITTI和NYU Depth V2上显著提升了高效CNN的单目深度估计性能。
2024-04-25 cs.CV
A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation
Manchester Metropolitan University(曼彻斯特城市大学);Brunel University(布鲁内尔大学)
本文提出一种能量高效的尖峰驱动Transformer网络(SDT),结合纯尖峰架构、融合深度估计头和基于DINOv2的跨模态知识蒸馏,首次实现事件相机深度估计,兼顾精度与低能耗。
2025-02-24 cs.AI cs.CV