Mini-ResEmoteNet: Leveraging Knowledge Distillation for Human-Centered Design
University of Khartoum（喀土穆大学）
本文通过知识蒸馏框架扩展 ResEmoteNet，开发出专为可用性测试设计的轻量级 Mini-ResEmoteNet 模型，在 FER2013 数据集上准确率达 76.33%，并在推理速度和内存占用上实现绝对提升。
2025-01-30 cs.CV
Single-Teacher View Augmentation: Boosting Knowledge Distillation via Angular Diversity
GIST（韩国科学技术院）；POSTECH（延世大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
提出一种单教师多分支生成角度多样视图的知识蒸馏增强方法，通过两个角度多样性损失提升集成多样性，理论降低损失上界，实验验证优于现有方法且即插即用。
2025-10-26 cs.AI cs.CV
Leveraging Normalization Layer in Adapters With Progressive Learning and Adaptive Distillation for Cross-Domain Few-Shot Learning
KAIST（韩国科学技术院）
针对跨域少样本学习中批量统计偏移和样本统计带噪问题，提出含两种适配器的ProLAD框架，结合渐进训练与自适应蒸馏，在标准基准上性能超越现有最优方法。
2023-12-18 cs.AI cs.CV
SO-DETR: Leveraging Dual-Domain Features and Knowledge Distillation for Small Object Detection
Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）
针对基于检测Transformer的方法在小目标检测中存在的低级特征融合不足、查询选择策略不匹配问题，提出SO-DETR模型，通过双域混合编码器、增强型查询选择机制及知识蒸馏策略，在相似计算需求下提升了小目标检测性能。
2025-04-11 cs.AI cs.CV
Delving Deep into Semantic Relation Distillation
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出SeRKD方法，利用超像素语义关系改进知识蒸馏，在视觉变换器上提升模型性能与泛化能力。
2025-03-27 cs.CV
Recurrent Distillation based Crowd Counting
Fuzhou University（福州大学）
近年来，随着深度学习技术的进步，人群计数得到了快速发展。在这项工作中，我们提出了一个简单而有效的人群计数框架，能够在各种拥挤的场景中实现最先进的性能。特别是，我们首先介绍了一种透视感知密度图生成方法，能够产生地面实况密度图从点注释到训练人群计数模型，以实现优于以前的密度图生成技术的性能。此外，利用我们的密度图生成方法，我们提出了一种迭代蒸馏算法，以逐步增强我们的模型与相同的网络结构，而不会显着牺牲输出密度图的维度。在实验中，我们证明，我们的简单的卷积神经网络架构加强了我们提出的训练算法，我们的模型是能够优于或与最先进的方法相媲美。此外，我们还评估了我们的密度图生成方法和蒸馏算法在消融研究中的应用。
2020-06-14 cs.CV
Leveraging Knowledge Distillation for Lightweight Skin Cancer Classification: Balancing Accuracy and Computational Efficiency
United International University（联合国际大学）；The University of Western Australia（西澳大学）；Bangladesh University of Business and Technology（孟加拉国商业与技术大学）；Ahsanullah University of Science and Technology（阿萨努拉科技大学）；Charles Darwin University（查尔斯达尔文大学）
皮肤癌是公共卫生的主要问题，占报告癌症的三分之一。如果没有及早发现，癌症有可能造成严重后果。认识到有效的皮肤癌分类的迫切需要，我们解决了现有模型的局限性，这些模型往往太大，无法部署在计算资源有限的地区。作为回应，我们提出了一个基于知识蒸馏的方法来创建一个轻量级的高性能分类器。所提出的解决方案涉及融合三个模型，即ResNet152V2，ConvNeXtBase和ViT Base，以创建一个有效的教师模型。教师模型，然后引导一个轻量级的学生模型的大小为2.03 MB。该学生模型使用16位量化进一步压缩至469.77 KB，从而能够顺利集成到边缘设备中。通过六阶段图像预处理，数据增强和严格的消融研究，该模型在HAM10000数据集上实现了98.75%的准确率，在Kaggle数据集上实现了98.94%的准确率，分类良性和恶性皮肤癌。由于其高准确性和紧凑的尺寸，我们的模型似乎是一个潜在的选择，准确的皮肤癌分类，特别是在资源有限的设置。
2024-06-28 cs.CV cs.LG eess.IV
Dynamic Weight Adjustment for Knowledge Distillation: Leveraging Vision Transformer for High-Accuracy Lung Cancer Detection and Real-Time Deployment
German Research Center for Artificial Intelligence（德国人工智能研究中心）；Intelligentx GmbH
提出FuzzyDistillViT-MobileNet模型，通过模糊逻辑动态调整知识蒸馏权重，结合ViT教师与MobileNet学生，在肺癌分类中达到99%以上准确率，并兼顾实时部署效率。
2025-10-23 cs.AI cs.CV
Knowledge Extraction and Distillation from Large-Scale Image-Text Colonoscopy Records Leveraging Large Language and Vision Models
School of Basic Medical Sciences, Fudan University（复旦大学基础医学院）；Shanghai Key Laboratory of MICCAI（上海市MICCAI重点实验室）；Data Science Institute, Imperial College London（伦敦帝国理工学院数据科学研究所）；Shanghai Collaborative Innovation Centre of Endoscopy（上海市内镜微创技术协同创新中心）；Endoscopy Centre and Endoscopy Research Institute, Zhongshan Hospital, Fudan University（复旦大学附属中山医院内镜中心及内镜研究所）；Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程学系）
针对结肠镜分析中数据标注昂贵的问题，提出EndoKED范式，利用大语言和视觉模型自动从大规模图像-文本记录中提取知识并生成像素级标注，验证表明其训练出的模型性能优越且可泛化。
2023-10-17 cs.AI cs.CV
Two-in-one Knowledge Distillation for Efficient Facial Forgery Detection
University of Sydney（悉尼大学）；UNSW Canberra（新南威尔士大学堪培拉分校）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61研究所）
人脸伪造检测是一个重要但极具挑战性的课题，随着伪造技术的快速发展，使得人工合成的人工制品变得高度不可区分。先前的工作表明，通过挖掘空间和频率信息，可以大大提高深度学习模型的伪造检测性能。然而，利用多种类型的信息通常需要神经网络中的多个分支，这使得模型变得沉重和繁琐。知识蒸馏作为一种有效建模的重要技术，可能是一种可能的补救措施。我们发现现有的知识蒸馏方法很难将双分支模型蒸馏成单分支模型。更具体地，在空间和频率分支上的知识蒸馏比仅在空间分支上的蒸馏具有劣化的性能。针对这一问题，本文提出了一种新的二合一知识蒸馏框架，该框架利用不同的特征投影器和梯度均匀化技术，将大型双分支网络中的信息平滑地合并到小型单分支网络中.在FaceForensics++和Celeb-DF两个数据集上的实验分析表明，该框架具有更少的参数，实现了更好的面部伪造检测性能。
2023-02-21 cs.CV
Classifier-guided CLIP Distillation for Unsupervised Multi-label Classification
Samsung Electronics（三星电子）；KAIST（韩国科学技术院）
针对CLIP用于无监督多标签分类时存在的视图依赖预测和固有偏差问题，提出分类器引导的CLIP蒸馏方法CCD，借助分类器CAM选择目标附近多视图并对CLIP伪标签去偏，在多数据集上取得优于现有方法的效果。
2025-03-21 cs.AI cs.CV
Domain Adaptable Fine-Tune Distillation Framework For Advancing Farm Surveillance
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；Fujairah Research Center（富查伊拉研究中心）
本研究提出用于骆驼农场监控的自动化框架，结合统一自动标注与微调蒸馏技术，将大模型知识转移至轻量级YOLOv8，实现高效实时目标检测。
2024-02-10 cs.CV
A Transformer-in-Transformer Network Utilizing Knowledge Distillation for Image Recognition
University of Miami（迈阿密大学）；Rajshahi University of Engineering & Technology (RUET)（拉杰沙希工程技术大学）
提出一种内-外Transformer架构（TITN），结合知识蒸馏实现高效图像分类，在MNIST、CIFAR10/100上取得领先的top-1/top-5准确率。
2025-02-24 cs.CV
Harmonizing knowledge Transfer in Neural Network with Unified Distillation
School of Computer Science, East China Normal University（华东师范大学计算机科学与技术学院）
本文提出统一蒸馏框架，将中间层特征聚合为综合表示并预测分布参数，通过统一分布约束实现不同阶段的知识蒸馏，提升知识迁移的全面性与连贯性。
2024-09-27 cs.CV
FAN-Trans: Online Knowledge Distillation for Facial Action Unit Detection
University of Nottingham（诺丁汉大学）；Imperial College London（帝国理工学院）
由于其在面部行为分析中的重要性，面部动作单元（AU）检测越来越受到研究界的关注。利用在线知识蒸馏框架，我们提出了AU检测的“FANTrans”方法。我们的模型由卷积和Transformer块的混合网络组成，用于学习每个AU的特征并对AU同现进行建模。该模型使用预先训练的人脸对齐网络作为特征提取器。在通过一个小的可学习的附加卷积子网进行进一步变换之后，每个AU的特征被馈送到Transformer块中以增强它们的表示。由于多个AU经常一起出现，我们提出了一个可学习的注意力下降机制，在Transformer块学习不同AU的功能之间的相关性。我们还设计了一个分类器，通过考虑所有AU的特征来预测AU的存在，以显式地捕获标签依赖性。最后，我们尝试在训练阶段采用在线知识蒸馏，进一步提高了模型的性能。在BP 4D和DISFA数据集上的实验证明了该方法的有效性。
2022-11-11 cs.CV
Multi-Head Distillation for Continual Unsupervised Domain Adaptation in Semantic Segmentation
Sorbonne Université（索邦大学）；Heuritech（赫瑞科技）
无监督领域自适应（UDA）是一种迁移学习任务，旨在通过利用标记的源域在未标记的目标域上进行训练。除了具有单一源域和单一目标域的传统UDA范围之外，现实世界的感知系统面临着各种各样的场景，从不同的照明条件到世界各地的许多城市。在这种情况下，具有多个域的UDA由于在不同靶域内增加了分布偏移而增加了挑战。这项工作的重点是一个新的框架，学习UDA，连续UDA，其中模型操作顺序发现的多个目标域，没有访问以前的目标域。我们提出了MuHDi，多头蒸馏，一种方法，解决了灾难性遗忘问题，固有的持续学习任务。MuHDi从以前的模型以及辅助目标专家分割头中进行多层次的蒸馏。我们报告了具有挑战性的多目标UDA语义分割基准的广泛消融和实验，以验证所提出的学习方案和架构。
2022-04-25 cs.CV
Self-Distillation from the Last Mini-Batch for Consistency Regularization
OPPO Research Institute（OPPO研究院）；Shanghai Jiao Tong University（上海交通大学）
知识蒸馏（KD）作为一种强大的正则化策略，通过利用学习的样本级软目标来提高泛化能力，显示出光明的前景。然而，在现有的KD中采用复杂的预先训练的教师网络或同伴学生的集合既耗时又计算成本高。已经提出了各种自KD方法来实现更高的蒸馏效率。然而，它们要么需要额外的网络架构修改，要么难以并行化。为了应对这些挑战，我们提出了一个有效的和可靠的自蒸馏框架，命名为自蒸馏从最后一个小批量（DLB）。具体地说，我们通过约束每个小批量的一半与前一次迭代一致来重新安排顺序采样。与此同时，剩下的一半将与即将到来的迭代相吻合。然后，前半个小批量提取在前一次迭代中生成的动态软目标。我们提出的机制指导训练的稳定性和一致性，从而提高对标签噪声的鲁棒性。此外，我们的方法很容易实现，不占用额外的运行时内存或需要修改模型结构。三个分类基准的实验结果表明，我们的方法可以始终优于国家的最先进的自蒸馏方法与不同的网络架构。此外，我们的方法通过获得额外的性能改进，显示出与增强策略的强大兼容性。该代码可在https://github.com/Meta-knowledge-Lab/DLB上获得。
2022-03-30 cs.CV
TIE-KD: Teacher-Independent and Explainable Knowledge Distillation for Monocular Depth Estimation
Korea University of Technology and Education (KOREATECH)（韩国技术与教育大学（KOREATECH））
针对单目深度估计高精度模型计算成本高的问题，提出基于深度概率图的TIE-KD框架，无需师生架构相似即可实现可解释的知识蒸馏，在KITTI数据集上性能优于传统方法且适配多种架构。
2024-02-22 cs.CV
JIT-Masker: Efficient Online Distillation for Background Matting
Stanford University（斯坦福大学）
我们设计了一个实时的人像抠图流水线，用于日常使用，特别是视频会议中的“虚拟背景”。现有的分割和抠图方法优先考虑的是准确性和质量，而不是吞吐量和效率，我们的管道通过利用输入视频流的在线蒸馏来实现可控的准确性和更好的吞吐量。我们在各种场景中构建了自己的模拟视频通话数据集，并表明我们的方法在非GPU加速设置中基于显着性检测的管道上提供了5倍的加速，同时提供了更高质量的结果。我们证明了在线蒸馏方法可以作为一般消费级产品的一部分作为“虚拟背景”工具。我们的公开实现位于https://github.com/josephch405/jit-masker。
2020-06-11 cs.CV cs.LG
Remote Sensing Image Classification with Decoupled Knowledge Distillation
Chongqing Qingshan Industry Co., LTD（重庆青山工业有限公司）；Chengdu Jinhui Rongzhi Data Service Co., LTD（成都金辉融智数据服务有限公司）
本文以 G-GhostNet 为骨干并引入解耦知识蒸馏，在 RSOD 和 AID 上以少 6.24 倍参数达到接近 VGG-16 的 Top-1 精度，实现遥感图像分类轻量化部署。
2025-06-09 cs.CV
Frequency Attention for Knowledge Distillation
Monash University（莫纳什大学）；University of Surrey（萨里大学）
针对现有空间域注意力蒸馏难以捕获全局信息的问题，提出频域注意力模块，通过可学习全局滤波器在教师特征指导下调整学生特征频率，并结合知识回顾构建增强蒸馏模型，在分类和检测任务上性能优于现有方法。
2024-03-09 cs.CV
Knowledge Distillation via Query Selection for Detection Transformer
Beihang University（北京航空航天大学）；Baidu Inc（百度公司）
针对DETR模型部署成本高的问题，本文提出QSKD框架，通过基于GIoU的分组查询选择挖掘难负查询，并结合AGFD与LAPD进行知识蒸馏，在MS-COCO上以低计算开销显著提升多种DETR架构的AP。
2024-09-10 cs.CV
Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection
Hunan University（湖南大学）；Beijing University of Technology（北京理工大学）；Stanford University（斯坦福大学）；University of Technology Sydney（悉尼大学）
本文提出一种考虑知识不确定性的特征蒸馏方法，通过蒙特卡洛滴答技术提升学生模型对潜在知识的探索能力，在多种检测策略和架构中验证了方法的有效性。
2024-06-11 cs.CV
CrossMatch: Enhance Semi-Supervised Medical Image Segmentation with Perturbation Strategies and Knowledge Distillation
Guilin University of Electronic Technology（桂林电子科技大学）
针对半监督医学图像分割中无标注数据利用不足的问题，提出结合图像级与特征级双重扰动及自知识蒸馏的CrossMatch框架，在不增加计算成本的前提下显著提升分割精度与泛化性，性能优于现有最优方法。
2024-08-07 cs.CV
DistilVPR: Cross-Modal Knowledge Distillation for Visual Place Recognition
Nanyang Technological University（南洋理工大学）；C3.AI（C3.ai公司）
针对VPR跨模态部署成本高的问题，提出DistilVPR蒸馏流水线，利用多智能体特征关系与多种曲率流形增强表征，实现单模态推理下的SOTA性能。
2023-12-17 cs.CV
How Knowledge Distillation Mitigates the Synthetic Gap in Fair Face Recognition
INESC TEC；Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Faculty of Electrical Engineering and Computer Science, University of Maribor（马里博尔大学电气工程与计算机科学学院）
本文提出利用知识蒸馏将真实数据训练的教师模型知识迁移到学生模型，以缓解人脸识别中合成数据与真实数据的性能差距，并通过33个模型的实验证明该方法能提升各民族的准确率并降低偏差。
2024-08-30 cs.CV
Novel Visual Category Discovery with Dual Ranking Statistics and Mutual Knowledge Distillation
Tongji University（同济大学）；The University of Hong Kong（香港大学）；Google Research（谷歌研究院）；University of Bristol（布里斯托大学）
在本文中，我们解决了新的视觉类别发现的问题，即，通过利用包含来自其他不同但相关类别的图像的标记数据集，将来自新类别的未标记图像分组到不同的语义分区中。这是一个比传统的半监督学习更现实和更具挑战性的设置。我们提出了一个两个分支的学习框架，这个问题，一个分支专注于本地部分级别的信息和其他分支专注于整体特征。为了将知识从标记数据转移到未标记数据，我们建议在两个分支上使用双排名统计来生成伪标签，用于在未标记数据上进行训练。我们进一步引入了一个相互的知识蒸馏方法，以允许信息交换，并鼓励发现新的类别，使我们的模型享受全球和本地功能的好处的两个分支之间的协议。我们在通用对象分类的公共基准上全面评估了我们的方法，以及用于细粒度视觉识别的更具挑战性的数据集，实现了最先进的性能。
2022-01-03 cs.CV
Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks
Monash University（莫纳什大学）；Bytedance（字节跳动）
知识蒸馏通过从繁琐的教师模型中提取知识来学习轻量级的学生模型，是学习紧凑的深度神经网络（DNN）的一种有吸引力的方法。最近的工作通过利用多个教师网络进一步提高了学生网络的性能。然而，大多数现有的基于知识蒸馏的多教师方法使用单独的预先培训的教师。这限制了教师之间的合作学习和师生之间的相互学习。网络量化是学习紧凑DNN的另一种有吸引力的方法。然而，大多数现有的网络量化方法的开发和评估没有考虑多教师支持，以提高量化的学生模型的性能。在本文中，我们提出了一种新的框架，利用多教师知识蒸馏和网络量化来学习低位宽DNN。该方法鼓励量化教师之间的协作学习和量化教师和量化学生之间的相互学习。在学习过程中，教师的知识在相应的层次上形成一个重要性感知的共享知识，作为后续层次教师的输入，也用于指导学生。我们在CIFAR100和ImageNet数据集上的实验结果表明，与其他最先进的方法相比，用我们的方法训练的紧凑量化学生模型取得了有竞争力的结果，在某些情况下，确实超过了全精度模型。
2022-10-27 cs.CV
Leveraging Different Learning Styles for Improved Knowledge Distillation in Biomedical Imaging
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
本文受人类学习风格启发，提出一种结合知识蒸馏与相互学习的单教师双学生框架，通过差异化传递预测与特征图提升生物医学图像分析性能。
2023-11-22 cs.CV cs.LG
IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation
本文提出IMS3方法，通过Inversion-Matching和Selective Subgroup Sampling提升数据集的判别性和泛化能力，解决扩散模型生成样本分布不均的问题。
2026-03-14 cs.CV
Robust feature knowledge distillation for enhanced performance of lightweight crack segmentation models
The University of Sydney（悉尼大学）；Hohai University（河海大学）
针对知识蒸馏轻量化裂缝分割模型抗噪性不足的问题，提出RFKD框架，融合教师模型logit与中间特征并使用干净/噪声混合图像训练0.5 M参数的PCT学生模型，噪声图像mDS较SOTA KD提升62%。
2024-04-09 cs.CV
SFKD: Spatial--Frequency Joint-Aware Heterogeneous Knowledge Distillation via Multi-Level Wavelet Spectral Interaction
Key Laboratory for Information Science of Electromagnetic Waves, Ministry of Education, Fudan University（复旦大学电磁波信息科学教育部重点实验室）；Discipline and Technology Center of Microwave Vision Intelligent Sensing, Fudan University（复旦大学微波视觉智能感知学科与技术中心）
提出空间-频率联合感知异质知识蒸馏框架SFKD，利用多级离散小波变换解耦空间信息，结合双流双阶段精化模块和高斯滤波频率损失，实现异质模型间的有效知识迁移。
2026-07-03 cs.CV
Large-Scale Generative Data-Free Distillation
Google Research（谷歌研究院）
知识蒸馏是知识转移、模型压缩和半监督学习中最流行和最有效的技术之一。大多数现有的蒸馏方法需要访问原始或增强的训练样本。但由于隐私、专有和可用性问题，这在实践中可能会有问题。最近的工作提出了一些方法来解决这个问题，但它们要么非常耗时，要么无法扩展到大型数据集。为此，我们提出了一种新的方法来训练生成的图像模型，利用训练后的教师网络的内在规范化层的统计数据。这使得我们能够构建一个没有训练数据的生成器集合，该生成器集合可以有效地产生用于后续蒸馏的替代输入。该方法将CIFAR-10和CIFAR-100的无数据精馏性能分别提高了95.02%和77.02%。此外，我们能够将其扩展到ImageNet数据集，据我们所知，在无数据设置中使用生成模型从未完成过。
2020-12-10 cs.CV cs.LG
Distill the Best, Ignore the Rest: Improving Dataset Distillation with Loss-Value-Based Pruning
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）
通过损失值基于剪枝改进数据集蒸馏，提升蒸馏质量并增强模型泛化能力。
2024-11-18 cs.AI cs.CV cs.LG
Spatio-Temporal Attention Mechanism and Knowledge Distillation for Lip Reading
The American University in Cairo（开罗美国大学）；Nahdet Misr AI（纳赫代特米斯尔人工智能公司）
尽管在音频和视听语音识别领域中取得了进步，但是由于某些音素的视觉模糊性，视觉语音识别系统仍然是相当不充分的。在这项工作中，我们提出了一个新的唇读模型，结合了三个贡献。首先，模型前端采用时空注意力机制来帮助从输入视觉帧中提取信息数据。其次，模型后端利用序列级和帧级知识蒸馏（KD）技术，其允许在视觉模型训练期间利用音频数据。第三，数据预处理流水线，其中包括面部特征点检测为基础的嘴唇对齐。在LRW唇读数据集上，时空注意、知识蒸馏和唇对齐的贡献率分别达到88.43%、88.64%和88.37%，显著提高了唇读的准确率。
2021-08-07 cs.AI cs.CV
Unveiling Incomplete Modality Brain Tumor Segmentation: Leveraging Masked Predicted Auto-Encoder and Divergence Learning
Shenzhen MSU-BIT University（深圳北理莫斯科大学）
本文针对多模态MRI脑肿瘤分割中模态缺失问题，提出掩码预测预训练结合Holder伪散度知识蒸馏的新策略，在BRATS2018和BRATS2020数据集上显著提升了分割性能。
2024-06-12 cs.CV cs.LG eess.IV
Multimodal Adaptive Distillation for Leveraging Unimodal Encoders for Vision-Language Tasks
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
视觉语言（VL）任务的跨模态编码器通常使用精心策划的视觉语言数据集进行预训练。虽然这些数据集达到了1000万个样本的数量级，但劳动力成本无法进一步扩大。相反，单峰编码器使用更简单的注释进行预训练，成本更低，实现了数亿到数十亿的规模。因此，单峰编码器在许多下游任务上实现了最先进的（SOTA）。然而，在应用于VL任务时仍然存在挑战。预训练数据对于跨模态架构不是最佳的，并且需要大量的计算资源。此外，单模态架构缺乏跨模态交互，这已经证明了VL任务的显着好处。因此，如何最好地利用预训练的单峰编码器进行VL任务仍然是一个活跃的研究领域。在这项工作中，我们提出了一种方法来利用单峰视觉和文本编码器的VL任务，增强现有的VL方法，同时保存计算复杂性。具体来说，我们提出了多模态自适应蒸馏（MAD），它自适应地从预训练的编码器中提取有用的知识到跨模态VL编码器。其次，为了更好地捕捉VL任务性能的细微差别的影响，我们引入了一个评估协议，包括视觉常识推理（VCR），视觉蕴涵（SNLI-VE），和视觉问答（VQA），在各种数据约束和条件的域转移。实验表明，MAD在VCR、SNLI-VE和VQA的低拍摄、域偏移和全监督条件下获得了一致的增益，与其他使用图像-文本数据预训练的单一模型相比，在VCR上实现了SOTA性能。最后，MAD使用CLIP的预训练视觉编码器优于并行工作。代码将提供。
2022-04-28 cs.AI cs.CL cs.CV
LiRCDepth: Lightweight Radar-Camera Depth Estimation via Knowledge Distillation and Uncertainty Guidance
Technical University of Munich（慕尼黑工业大学）；Infineon Technologies AG（英飞凌科技股份公司）
本文提出轻量级雷达-相机深度估计模型LiRCDepth，通过逐像素、逐对特征蒸馏及不确定性感知的深度间蒸馏损失，在nuScenes数据集上将MAE提升6.6%。
2024-12-27 cs.CV eess.IV
Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR
Georgia Tech（佐治亚理工学院）
最近在半监督学习领域的突破已经取得了与最先进的传统监督学习方法相匹配的结果。计算机视觉中最成功的半监督学习方法集中在利用大量未标记的数据，通过数据增强和转换学习一般表示，创建伪标签，实现不同的损失函数，并最终将这些知识转移到更特定于任务的较小模型。在本文中，我们的目标是进行我们的分析，在三个不同的方面Simplified，目前国家的最先进的半监督学习框架计算机视觉。首先，我们分析了对比学习在微调上的特性，因为我们知道对比学习是这种方法如此成功的原因。第二，通过教师强制范式研究知识蒸馏。我们观察到当教师和学生共享相同的基础模型时，知识蒸馏会取得更好的效果。最后，我们研究了迁移学习是如何工作的，以及它与不同数据集上的类数之间的关系。我们的研究结果表明，迁移学习表现得更好时，类的数量较少。
2021-08-02 cs.CV cs.LG
Boosting Medical Vision-Language Pretraining via Momentum Self-Distillation under Limited Computing Resources
Faculty of Information Technology, University of Science, Ho Chi Minh City, Vietnam（信息科技学院，科学大学，胡志明市，越南）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南）
本研究通过动量自蒸馏与梯度累积提升医学视觉-语言预训练效率，实现高效多模态学习并提升零样本分类和少量样本适应性能。
2025-12-02 cs.AI cs.CV
Online Distillation with Continual Learning for Cyclic Domain Shifts
KAUST（阿卜杜拉国王科技大学）
本文针对在线蒸馏在域偏移下的灾难性遗忘问题，将多种最先进持续学习方法融入师生在线蒸馏框架，并在循环域偏移场景验证其可提升鲁棒性与准确率。
2023-04-03 cs.CV cs.LG
Domain Adaptation-Based Crossmodal Knowledge Distillation for 3D Semantic Segmentation
School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学）
为降低3D LiDAR点云标注成本，提出UDAKD和FSKD两种跨模态知识蒸馏方法，利用2D预训练模型指导无标注3D网络训练，并通过自校准卷积实现领域适应，性能超越现有SOTA。
2025-08-30 cs.CV cs.RO
Early Exit and Multi Stage Knowledge Distillation in VLMs for Video Summarization
Department of Computer Science and Engineering, IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Center of Machine Intelligence and Data Science (C-MInDS), IIT Bombay（印度理工学院班加罗尔人工智能与数据科学中心）
本文提出DEEVISum，一种结合多阶段知识蒸馏与早期退出的轻量级视觉语言模型，用于分段视频摘要，在TVSum上以3B模型取得61.1的F1，兼顾性能与效率。
2025-09-11 cs.AI cs.CV
IMKD: Intensity-Aware Multi-Level Knowledge Distillation for Camera-Radar Fusion
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
IMKD通过多级知识蒸馏提升雷达-相机融合性能，实现67.0% NDS和61.0% mAP的高精度检测
2025-12-17 cs.CV cs.LG
Difficulty-guided Sampling: Bridging the Target Gap between Dataset Distillation and Downstream Tasks
Hokkaido University（北海道大学）；University of Toronto（多伦多大学）；The University of Tokyo（东京大学）
本文提出难度引导采样方法，通过引入难度概念和难度感知指导，弥合数据集蒸馏与下游任务之间的目标差距，提升蒸馏效果和下游任务性能。
2026-01-15 cs.AI cs.CV
On the effectiveness of multimodal privileged knowledge distillation in two vision transformer based diagnostic applications
Fraunhofer Heinrich-Hertz-Institut（弗劳恩霍夫 Heinrich-Hertz 研究所）；Universität Osnabrück（奥斯纳布吕克大学）
本文提出多模态特权知识蒸馏（MMPKD）策略，利用仅在训练时可用的额外模态指导单模态视觉Transformer模型，在胸部X光和乳腺X光诊断中提升了零样本ROI定位能力，但该效果不跨领域泛化。
2025-08-06 cs.CV cs.LG
Hierarchical Dense Correlation Distillation for Few-Shot Segmentation
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
Few-Shot语义分割（FSS）旨在形成与类别无关的模型，该模型仅使用少量注释来分割不可见的类别。以前的方法局限于语义特征和原型表示，存在分割粒度粗和训练集过拟合的问题。本文基于Transformer架构设计了分层解耦匹配网络（HDMNet）挖掘像素级支持度相关。自注意模块用于辅助建立层次密集特征，作为完成查询和支持特征之间级联匹配的一种手段。此外，我们提出了一个匹配模块，以减少训练集过拟合，并引入相关性蒸馏，利用粗分辨率的语义对应来提高细粒度分割。我们的方法在实验中表现得很好。我们实现了$50.0\%$ mIoU上的\coco ~数据集一杆设置和$56.0\%$上的五杆分割，分别。
2023-03-26 cs.AI cs.CV
Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
Indian Institute of Science Education and Research（印度科学教育与研究学院）
提出统一知识蒸馏框架，通过实例级嵌入蒸馏和关系成对相似性蒸馏，实现细粒度对齐与几何关系保持，在多基准上超越现有方法，学生模型甚至超越教师。
2025-08-15 cs.CV cs.LG
Confidence Conditioned Knowledge Distillation
Indian Institute of Science（印度科学学院）
本文提出了一种新的置信度条件知识蒸馏（CCKD）方案，用于将教师模型中的知识转移到学生模型中。现有的最先进的方法采用固定的损失函数用于此目的，并忽略了不同的样本需要转移的不同级别的信息。除此之外，这些方法在数据使用方面也是低效的。CCKD通过利用教师模型分配给正确类的置信度来设计样本特定的损失函数（CCKD-L公式）和目标（CCKD-T公式）来解决这些问题。此外，CCKD通过采用自我调节来阻止这些样本参与学生模型学习更快的蒸馏过程，从而提高了数据效率。对几个基准数据集的实证评估表明，CCKD方法至少达到了与其他最先进方法一样多的泛化性能水平，同时在过程中具有数据效率。通过CCKD方法训练的学生模型不会保留教师模型在训练集上犯下的大部分错误分类。与传统KD方法相比，通过CCKD方法进行的蒸馏提高了学生模型对对抗攻击的弹性。实验表明，MNIST和Fashion MNIST数据集的对抗攻击性能至少提高了3%，CIFAR 10数据集的性能至少提高了6%。
2021-07-06 cs.CV cs.LG
Self-Supervised Anomaly Detection by Self-Distillation and Negative Sampling
Heinrich Heine University（海因里希·海涅大学）
检测示例是否属于给定的内分布或外分布（OOD）需要识别特定于内分布的特征。在没有标签的情况下，这些特征可以通过自监督技术在一般假设下学习，即最抽象的特征是那些与来自相同域的其他分布相比在统计上最过度表示的特征。在这项工作中，我们表明，自蒸馏的分布训练集与对比来自辅助数据的移位变换的负面例子，大大提高了OOD检测。我们发现，这种改进取决于如何产生负样本。特别是，我们观察到，通过利用负样本，保持低级别特征的统计数据，同时改变高级语义，获得更高的平均检测性能。此外，良好的阴性抽样策略可以从OOD检测分数的灵敏度中识别。我们的方法的效率证明了在各种各样的OOD检测问题，在视觉领域的无监督OOD检测设置新的基准。
2022-01-17 cs.AI cs.CV
Consistent Flow Distillation for Text-to-3D Generation
UC San Diego（加利福尼亚大学圣迭戈分校）
针对SDS导致3D生成质量与多样性下降的问题，本文提出CFD，利用扩散ODE/SDE采样梯度和多视角一致高斯噪声实现跨视角一致流引导，并显著提升文本到3D生成效果。
2025-01-09 cs.AI cs.CV cs.LG
HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-training
KTH Royal Institute of Technology（瑞典皇家理工学院）；Linköping University（林雪平大学）；TRATON AB（TRATON公司）；Qualcomm Auto Ltd Sweden Filial（高通汽车有限公司瑞典分公司）
提出HilDA框架，通过分层蒸馏（多层蒸馏和全局上下文蒸馏）结合时间占用扩散目标，自监督预训练LiDAR骨干网络，在3D检测、场景流和语义占用预测任务上达到最先进水平。
2026-06-24 cs.AI cs.CV cs.RO
Multimodal Distribution Matching for Vision-Language Dataset Distillation
Visual Intelligence Lab., KAIST（韩国科学技术院视觉智能实验室）
提出多模态分布匹配（MDM）框架，通过数据、模型和损失层面的几何感知组件，高效压缩视觉-语言数据集并保持跨模态对齐。
2026-05-22 cs.AI cs.CV
Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
University of Alberta（阿尔伯塔大学）
针对弱监督组织病理学图像分割难题，提出基于MIL伪标签的迭代融合知识蒸馏框架，通过师生模型动态角色互换与加权损失优化，在公开数据集上显著提升现有MIL分割方法性能并达到新SOTA。
2024-07-14 cs.CV cs.LG
