Self-supervised Knowledge Distillation for Few-shot Learning
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
现实世界包含了大量的对象类，一次性学习所有这些对象类是不可行的。少样本学习是一种很有前途的学习范式，因为它能够快速学习无序分布，只需很少的样本。最近的工作[7，41]表明，简单地学习一个好的特征嵌入可以优于更复杂的元学习和度量学习算法，用于少样本学习。在本文中，我们提出了一种简单的方法来提高深度神经网络对少样本学习任务的表示能力。我们遵循两个阶段的学习过程：首先，我们训练一个神经网络，以最大化特征嵌入的熵，从而使用自监督辅助损失创建最佳输出流形。在第二阶段，我们通过将自我监督的双胞胎放在一起来最小化特征嵌入的熵，同时用学生-教师蒸馏来约束流形。我们的实验表明，即使在第一阶段，自我监督可以优于当前最先进的方法，我们的第二阶段蒸馏过程实现了进一步的收益。我们的代码可在https://github.com/brjathu/SKD上获得。
2020-08-04 cs.CV
Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental Learning
Australian National University（澳大利亚国立大学）；Data61-CSIRO Australia（澳大利亚联邦科学与工业研究组织Data61）；North South University Bangladesh（孟加拉国南北大学）；Monash University Australia（澳大利亚莫纳什大学）
Few-Shot类增量学习（FSCIL）描述了逐渐学习新概念的问题，其中每个概念只有几个示例可供学习者使用。由于用于训练的示例数量有限，为标准增量学习开发的技术不能逐字应用于FSCIL。在这项工作中，我们引入了一个蒸馏算法来解决FSCIL的问题，并建议在训练过程中利用语义信息。为此，我们利用词嵌入作为语义信息，这是廉价的获得，并促进蒸馏过程。此外，我们提出了一种基于视觉数据的多个并行嵌入的注意机制的方法，以对齐视觉和语义向量，从而减少了与灾难性遗忘相关的问题。通过在MiniImageNet、CUB200和CIFAR100数据集上的实验，我们通过优于现有方法建立了新的最先进的结果。
2021-03-31 cs.CV
Zero-Shot Distillation for Image Encoders: How to Make Effective Use of Synthetic Data
University of Tübingen（蒂宾根大学）；Bosch Center for Artificial Intelligence (BCAI), Robert Bosch GmbH（罗伯特·博世有限公司博世人工智能中心）
本文研究图像编码器的零样本蒸馏，发现合成数据在对比损失下泛化性差，改用基于图像特征的L2蒸馏损失，训练出在四个数据集上性能与ViT-B/32教师模型相当且参数减少92%的学生模型。
2024-04-25 cs.CV
RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
神经网络结构搜索（NAS）在有效神经网络结构的自动设计方面取得了巨大的进展，但存在计算量大的问题。One-shot NAS通过权重共享显著减轻了负担，并提高了计算效率。Zero-shot NAS通过从初始状态预测网络的性能进一步降低了成本，该状态不进行任何训练。这两种方法都旨在区分“好”和“坏”架构，即，预测和真实性能的一致性。本文提出了一种提高排序一致性的排序蒸馏单次NAS（RD-NAS）算法，该算法利用零成本代理作为廉价教师，采用边际排序损失提取排序知识。具体来说，我们提出了一个边缘子网采样器提取排名知识从zero-shot NAS到one-shot NAS通过引入组距离作为保证金。我们对NAS-Bench-201和基于ResNet的搜索空间的评估表明，RD-NAS的排名能力分别提高了10.7%和9.65%。我们的代码可在https://github.com/pprp/CVPR2022-NAS-competition-Track1-3th-solution上获得
2023-01-24 cs.CV
Data-Efficient Language-Supervised Zero-Shot Learning with Self-Distillation
UC Berkeley（加州大学伯克利分校）；Facebook Reality Labs（Facebook现实实验室）
传统的计算机视觉模型被训练来预测一组固定的预定义类别。最近，自然语言已被证明是一个更广泛和更丰富的监督来源，提供更精细的描述视觉概念比监督的“黄金”标签。以前的作品，如CLIP，使用一个简单的预训练任务来预测图像和文本标题之间的配对。然而，CLIP是数据饥渴的，需要超过4亿个图像文本对进行训练。我们提出了一种数据高效的对比蒸馏方法，使用软标签从嘈杂的图像-文本对中学习。我们的模型从预训练的图像和句子编码器中传输知识，仅用3 M图像文本对就实现了强大的性能，比CLIP小133倍。相对于ResNet 50图像编码器和DeCLUTR文本编码器，我们的方法在ImageNet 21 k +1 k上的一般零样本学习的SoTA超过了73%。在Google Open Images的zero-shot评估中，我们也以10.5%的优势击败了CLIP（19，958类）。
2021-04-18 cs.CV
Revealing the Two Sides of Data Augmentation: An Asymmetric Distillation-based Win-Win Solution for Open-Set Recognition
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Institute of Automation, CAS（中国科学院自动化研究所）；DIDI（滴滴）
本文针对数据增强在提升封闭集识别的同时损害开放集识别的问题，提出非对称蒸馏框架，并结合互信息损失与选择性重标记，在多个数据集上取得优于SOTA的开放集识别性能。
2024-04-28 cs.CV
Self Supervision to Distillation for Long-Tailed Visual Recognition
Nanjing University（南京大学）
深度学习在大规模平衡数据集上的视觉识别方面取得了显着进展，但在现实世界的长尾数据上仍然表现不佳。以往的方法通常采用类再平衡训练策略来有效缓解不平衡问题，但可能存在过拟合尾类的风险。最近的解耦方法通过使用多阶段训练方案克服了过拟合问题，然而，它仍然无法在特征学习阶段捕获尾类信息。在本文中，我们表明，软标签可以作为一个强大的解决方案，将标签相关到一个多阶段的训练计划长尾识别。软标签所体现的类之间的内在联系，有助于长尾识别，将知识从头部转移到尾部类。具体来说，我们提出了一个概念上简单但特别有效的多阶段训练计划，称为自监督蒸馏（SSD）。该方案由两部分组成。首先，我们介绍了一个自蒸馏框架的长尾识别，它可以自动挖掘标签关系。其次，提出了一种新的自监督引导的蒸馏标签生成模块。提取的标签集成了标签和数据域的信息，可以有效地建模长尾分布。我们进行了广泛的实验，我们的方法在三个长尾识别基准测试中取得了最先进的结果：ImageNet-LT，CIFAR 100-LT和iNaturalist 2018。我们的SSD在各种数据集上从$2.7\%$到$4.5\%$都优于强大的LWS基线。该代码可在https://github.com/MCG-NJU/SSD-LT上获得。
2021-09-09 cs.CV
Generative Model-based Feature Knowledge Distillation for Action Recognition
针对现有视频任务知识蒸馏方法忽略时空特征语义、模型压缩效果有限的问题，提出含特征表示与生成式特征蒸馏两阶段的生成模型知识蒸馏框架，在动作识别与检测任务上均取得性能提升。
2023-12-14 cs.CV
Towards Efficient Unconstrained Palmprint Recognition via Deep Distillation Hashing
深度掌纹识别已经成为一个新兴的问题，具有很大的潜力，在手持和可穿戴消费设备上的个人认证。以往的掌纹识别研究主要是基于受控环境下专用设备采集的受限数据集，这降低了掌纹识别的灵活性和便利性。此外，一般的深掌纹识别算法往往过于繁重，难以满足嵌入式系统的实时性要求。本文建立了一个新的掌纹基准，它由5个品牌的智能手机以无约束的方式采集的2万多幅图像组成。每幅图像都被手动标记了14个关键点，用于感兴趣区域（ROI）提取。此外，被称为深度蒸馏散列（DDH）的方法被提出作为高效的深度掌纹识别的基准。为了提高特征匹配的效率，将掌纹图像转换为二进制代码。在知识蒸馏的基础上，构造新的蒸馏损失函数，对深度模型进行压缩，进一步提高了轻网络上特征提取的效率。在有约束和无约束的掌纹数据库上进行了全面的实验。使用DDH算法，掌纹识别的准确率最高可提高11.37%，掌纹验证的等出错率最高可降低3.11%。结果表明，我们的数据库的可行性，DDH可以优于其他基线，以达到最先进的性能。收集的数据集和相关源代码可在http://gr.xjtu.edu.cn/web/bell/resource上公开获得。
2020-04-07 cs.CV
GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition
The City University of New York（纽约城市大学）；Wuhan University（武汉大学）；Beijing Jiaotong University（北京交通大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Oulu（奥卢大学）
本文提出GaitKD框架，通过解耦决策级和边界级蒸馏提升姿态识别性能，支持异构教师-学生模型，实验显示其优于现有基线。
2026-04-29 cs.CV
Distillation Improves Visual Place Recognition for Low Quality Images
New York University（纽约大学）
本文提出基于知识蒸馏的方法，通过通道间相关性知识蒸馏（ICKD）损失、均方误差（MSE）损失和Triplet损失，从高质量图像学习特征表示，以提升低质量图像的全局描述子判别力，显著改善资源受限环境下的视觉位置识别召回率。
2025-04-03 cs.CV
Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot Image Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；MICC, University of Florence（佛罗伦萨大学MICC）；Huawei Kirin Solution（华为麒麟解决方案）
大多数元学习方法假设存在一个非常大的标记数据集，可用于基础知识的情景元学习。这与更现实的持续学习范式形成对比，在这种范式中，数据以包含不相交类的任务的形式递增地到达。在本文中，我们考虑这个问题的增量元学习（IML）中，类增量离散任务。我们提出了一种IML的方法，我们称之为情节重放蒸馏（ERD），它将当前任务中的类与以前任务中的类样本混合在一起进行元学习。然后，这些片段被用于知识蒸馏，以最小化灾难性遗忘。在四个数据集上的实验表明，ERD超越了最先进的水平。特别是，在更具挑战性的一次性长任务序列增量元学习场景中，我们将IML和联合训练上限之间的差距从当前最先进的3.5% / 10.1% / 13.4%缩小到2.6% / 2.9% / 5.0%，ImageNet / Mini-ImageNet / CIFAR100。
2021-11-11 cs.CV
VLM-KD: Knowledge Distillation from VLM for Long-Tail Visual Recognition
Cruise LLC（Cruise有限责任公司）
本文提出 VLM-KD 框架，利用现成视觉语言模型生成新颖文本监督并蒸馏到随机初始化的视觉编码器中，在多个长尾视觉识别基准上超越现有最先进方法。
2024-08-29 cs.CV
TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation
Faculty of Robot Science and Engineering, Northeastern University（东北大学机器人科学与工程学院）；College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）；SIASUN Robot& Automation Co., Ltd（新松机器人自动化股份有限公司）
针对视觉位置识别中现有大模型计算资源消耗高的问题，提出TSCM师生蒸馏框架，通过跨度量知识蒸馏缩小师生模型性能差距，在多个大规模数据集上实现精度与参数效率的双提升。
2025-01-11 cs.CV
Filtering, Distillation, and Hard Negatives for Vision-Language Pre-Training
Meta AI；CTU in Prague（布拉格捷克理工大学）
在大规模噪声数据上通过对比学习训练的视觉语言模型越来越受欢迎，用于zero-shot识别问题。本文从数据集噪声、模型初始化和训练目标三个方面对对比预训练流水线进行了改进。首先，我们提出了一个简单的过滤策略，名为复杂性，动作和文本发现（CAT），显着减少数据集的大小，同时实现跨zero-shot视觉语言任务的性能提高。接下来，我们提出了一种名为概念蒸馏的方法，利用强单峰表示进行对比训练，这种方法不会增加训练复杂性，同时优于先前的工作。最后，我们修改了传统的对比对齐目标，并提出了一种重要性采样方法来上采样硬否定的重要性，而不增加额外的复杂性。在29个任务的广泛zero-shot基准上，与基线相比，我们的蒸馏和硬负训练（DiHT）方法在20个任务上有所改进。此外，对于Few-Shot线性探测，我们提出了一种新的方法，弥合了zero-shot和Few-Shot性能之间的差距，大大提高了以前的工作。模型可在https://github.com/facebookresearch/diht上获得。
2023-03-29 cs.CV
Enhancing Action Recognition from Low-Quality Skeleton Data via Part-Level Knowledge Distillation
Shenyang Aerospace University（沈阳航空航天大学）；Shenyang Aircraft Design and Research Institute（沈阳飞机设计研究所）
本文提出一种通用的知识蒸馏框架，利用教师-学生模型和基于部位的骨架匹配策略，通过部位矩阵与多样本对比损失实现从高质量到低质量骨架的知识转移，有效提升了低质量骨架数据的动作识别性能。
2024-04-28 cs.CV
Unlimited Knowledge Distillation for Action Recognition in the Dark
A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）；Nanyang Technological University (NTU)（南洋理工大学）
针对黑暗视频动作识别中多教师知识整合显存消耗过高的问题，提出UKD，以低显存整合不限数量教师模型的知识，并在ARID上使单流网络性能超过双流网络。
2023-08-18 cs.CV
MimicGait: A Model Agnostic approach for Occluded Gait Recognition using Correlational Knowledge Distillation
Johns Hopkins University（约翰斯·霍普金斯大学）
针对野外步态识别中的遮挡问题，提出模型无关方法MimicGait，通过多实例相关性蒸馏损失与辅助可见性估计网络捕获序列间和序列内相关性，在GREW、Gait3D和BRIAR数据集上验证了有效性。
2025-01-26 cs.CV
How Knowledge Distillation Mitigates the Synthetic Gap in Fair Face Recognition
INESC TEC；Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Faculty of Electrical Engineering and Computer Science, University of Maribor（马里博尔大学电气工程与计算机科学学院）
本文提出利用知识蒸馏将真实数据训练的教师模型知识迁移到学生模型，以缓解人脸识别中合成数据与真实数据的性能差距，并通过33个模型的实验证明该方法能提升各民族的准确率并降低偏差。
2024-08-30 cs.CV
Self-distillation Regularized Connectionist Temporal Classification Loss for Text Recognition: A Simple Yet Effective Approach
Huawei Technologies Co., Ltd（华为技术有限公司）
针对CTC损失忽略字符级学习导致精度下降的问题，提出自蒸馏正则化CTC损失（DCTC），引入帧级正则化项并利用最大后验估计解决蒸馏不一致性，无需额外参数或数据，可提升文本识别准确率高达2.6%。
2023-12-29 cs.CV
Text is Text, No Matter What: Unifying Text Recognition using Knowledge Distillation
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
文本识别仍然是计算机视觉中一个基本的和广泛的研究课题，这主要是由于其广泛的商业应用。然而，这个问题的挑战性决定了研究工作的碎片化：场景文本识别（STR）处理日常场景中的文本，手写文本识别（HTR）处理手写文本。在本文中，我们首次主张它们的统一--我们的目标是建立一个能够与两个独立的最先进的STR和HTR模型竞争的单一模型。我们首先表明，STR和HTR模型的交叉利用会引发显着的性能下降，由于其固有的挑战的差异。然后，我们通过引入一个基于知识蒸馏（KD）的框架来处理它们的联合。然而，这是不平凡的，主要是由于文本序列的可变长度和顺序性质，这使得主要与全局固定长度数据一起工作的现成KD技术不足。为此，我们提出了三种蒸馏损失，所有这些损失都是专门设计来应对上述文本识别的独特特征的。经验证据表明，我们提出的统一模型与单独的模型表现相当，甚至在某些情况下超过它们。消融研究表明，天真的基线，如两阶段的框架，和域适应/泛化的替代方案不工作，以及进一步验证我们的设计的适当性。
2021-07-27 cs.CV
Multi-Teacher Knowledge Distillation with Reinforcement Learning for Visual Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出MTKD-RL，利用强化学习优化多教师知识蒸馏中的教师权重，在视觉识别任务上达到最先进性能。
2025-02-22 cs.CV
DistilVPR: Cross-Modal Knowledge Distillation for Visual Place Recognition
Nanyang Technological University（南洋理工大学）；C3.AI（C3.ai公司）
针对VPR跨模态部署成本高的问题，提出DistilVPR蒸馏流水线，利用多智能体特征关系与多种曲率流形增强表征，实现单模态推理下的SOTA性能。
2023-12-17 cs.CV
From Skeletons to Pixels: Few-Shot Precise Event Spotting via Representation and Prediction Distillation
Department of Business Analytics（商业分析系）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
本文提出两种互补的蒸馏策略，通过多模态蒸馏提升少样本精确事件定位的泛化能力，实验表明在网球和花样滑冰数据集中均优于单一模态基线。
2026-04-21 cs.AI cs.CV
End-to-End Zero-Shot HOI Detection via Vision and Language Knowledge Distillation
Tencent（腾讯）；Youtu Lab, Tencent（腾讯优图实验室）
现有的大多数人-物交互（HOI）检测方法严重依赖于具有预定义HOI类别的完整注释，这在多样性上是有限的，并且进一步扩展的成本很高。我们的目标是推进zero-shot HOI检测，以同时检测可见和不可见的HOI。根本的挑战是发现潜在的人-物体对并识别新的HOI类别。为了克服上述挑战，我们提出了一种新的端到端的zero-shot HOI检测（EoID）框架，通过视觉语言知识蒸馏。我们首先设计了一个交互评分模块，结合两阶段二分匹配算法，以动作不可知的方式实现人-物对的交互。然后，我们从预先训练的视觉语言教师的动作概率分布以及所看到的地面真相HOI模型，以实现zero-shot HOI分类。在HICO-Det数据集上的大量实验表明，我们的模型发现了潜在的交互对，并能够识别看不见的HOI。最后，我们的方法在UA设置下对看不见的mAP和整体mAP分别比之前的SOTA高出8.92%和10.18%，在UC设置下对看不见的mAP和整体mAP分别高出6.02%和9.1%。此外，我们的方法是推广到大规模的目标检测数据，以进一步扩大行动集。源代码将在https://github.com/mrwu-mac/EoID上提供。
2022-11-24 cs.CV
Sample-level Adaptive Knowledge Distillation for Action Recognition
针对动作识别中知识蒸馏存在的难迁移样本问题，提出样本级自适应知识蒸馏框架，通过评估样本蒸馏难度并自适应调整蒸馏比例，在降低计算成本的同时提升学生模型性能。
2025-04-01 cs.CV
Evaluation-oriented Knowledge Distillation for Deep Face Recognition
Tencent（腾讯）
知识蒸馏（KD）是一种广泛使用的技术，它利用大型网络来提高紧凑模型的性能。以前的KD方法通常旨在引导学生在表示空间中完全模仿老师的行为。然而，这种一对一的对应约束可能会导致从教师到学生的知识转移不灵活，特别是那些模型能力低的学生。受KD方法最终目标的启发，我们提出了一种新的面向评价的KD方法（EKD），用于深度人脸识别，以直接减少训练过程中教师和学生模型之间的性能差距。具体来说，我们采用人脸识别中常用的评价指标，即，以假阳性率（FPR）和真阳性率（TPR）作为性能指标。根据评估协议，选出导致师生模型TPR和FPR差异的关键对关系。然后，在学生的关键关系的约束，以近似相应的教师的一个新的基于等级的损失函数，给更多的灵活性，以低容量的学生。在流行的基准上进行的大量实验结果表明，我们的EKD优于最先进的竞争对手。
2022-06-06 cs.CV
Continuous sign language recognition based on cross-resolution knowledge distillation
Harbin Engineering University（哈尔滨工程大学）；Northwest Institute of Mechanical and Electrical Engineering（西北机电工程研究所）
连续手语识别研究的目标是将连续手语识别模型作为一种交流工具应用于实际生活中，对模型的实时性要求很高。在本文中，我们解决了模型的实时性问题，通过交叉分辨率知识蒸馏。在我们的研究中，我们发现保持学生网络和教师网络输出之间的帧级特征尺度一致比恢复帧级特征尺寸以进行特征提取更好。基于这一发现，我们提出了一种新的帧级特征提取器，它使输出的帧级特征与教师网络的输出保持相同的尺度。我们进一步结合TSCM+2D混合卷积，形成了一个新的轻量级端到端CSL R网络-低分辨率输入网络（LRINet）。然后将交叉分辨知识蒸馏与传统的知识蒸馏方法相结合，形成了基于交叉分辨知识蒸馏（CRKD）的CSLR模型。CRKD使用高分辨率帧作为教师网络的输入进行训练，训练后锁定权重，然后使用低分辨率帧作为学生网络LRINet的输入，分别对帧级特征和分类特征进行知识蒸馏。在两个大规模连续手语数据集上的实验证明了CRKD的有效性。与以高分辨率数据为输入的模型相比，在保证模型精度的同时，在相同的实验条件下，该模型的计算量、参数量和推理时间都有了显著减少，与其他先进方法相比取得了非常有竞争力的结果。
2023-03-13 cs.CV
Exploiting CLIP for Zero-shot HOI Detection Requires Knowledge Distillation at Multiple Levels
KU Leuven（鲁汶大学）
本文研究零样本人-物交互检测任务，提出利用大规模预训练模型 CLIP 在全局图像、局部联合区域和个体实例多层级进行知识蒸馏，设计多分支网络学习表示，在 HICO-DET 基准上取得媲美部分全监督和弱监督方法的性能。
2023-09-10 cs.CV
Learn More for Food Recognition via Progressive Self-Distillation
AI Lab, Lenovo Research（联想研究院人工智能实验室）
针对弱监督食物识别中区域定位误差问题，本文提出渐进式自蒸馏PSD，通过共享嵌入网络的师生结构和遮挡修改图像，促使网络逐步挖掘更多判别性区域，并在三个数据集上达到最先进性能。
2023-08-15 cs.CV
Hierarchical Dense Correlation Distillation for Few-Shot Segmentation-Extended Abstract
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出分层解耦匹配网络HDMNet，利用transformer架构挖掘像素级支持相关性，结合自注意力模块和相关性蒸馏技术，解决了少样本分割中分割粒度粗糙和训练集过拟合的问题，在COCO数据集上取得了优异表现。
2023-06-27 cs.CV
Enhancing Low-resolution Face Recognition with Feature Similarity Knowledge Distillation
Gwangju Institute of Science and Technology（光州科学技术院）
本文提出一种基于余弦相似度的特征知识蒸馏框架，将高分辨率人脸识别网络的知识迁移到低分辨率网络，在AgeDB-30上较先前最优方法提升3%，并保持高分辨率性能。
2023-04-11 cs.CV
Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
少样本学习中的大多数现有工作依赖于在大的基础数据集上对网络进行元学习，该基础数据集通常来自与目标数据集相同的域。我们解决了跨域少样本学习的问题，其中在基础域和目标域之间存在较大的偏移。跨域Few-Shot识别与未标记的目标数据的问题在很大程度上是未解决的文献。STARTUP是第一个使用自我训练来解决这个问题的方法。然而，它使用在标记的基础数据集上预训练的固定教师来为未标记的目标样本创建软标签。由于基础数据集和未标记数据集来自不同的域，因此使用固定的预训练模型在基础数据集的类域中投影目标图像可能是次优的。我们提出了一个简单的动态蒸馏为基础的方法，以促进未标记的图像从新的/基础数据集。我们通过计算来自教师网络的未标记图像的弱增强版本的预测，并将其与来自学生网络的相同图像的强增强版本进行匹配，来实施一致性正则化。教师网络的参数更新为学生网络参数的指数移动平均。我们表明，所提出的网络学习的表示，可以很容易地适应目标域，即使它没有在预训练阶段与目标特定的类进行训练。在BSCD-FSL基准测试中，我们的模型在1次分类和5次分类方面分别比当前最先进的方法高出4.4%和3.6%，并且在传统的域内少样本学习任务上也表现出了竞争力。
2021-11-01 cs.CV
Fair Feature Distillation for Visual Recognition
Sungkyunkwan University（成均馆大学）；Seoul National University（首尔国立大学）
公平性是计算机视觉中一个越来越重要的问题，尤其是在与人相关的决策系统中。然而，实现算法公平性，这使得一个模型产生对受保护群体不加区别的结果，仍然是一个悬而未决的问题。在本文中，我们设计了一个系统的方法，通过特征蒸馏视觉识别任务，被称为基于MMD的公平蒸馏（MFD），以减少算法的偏见。虽然蒸馏技术已被广泛用于提高预测精度，但据我们所知，还没有明确的工作试图通过蒸馏来提高公平性。并从理论上证明了MFD对知识蒸馏和公平性的影响。在整个广泛的实验中，我们表明我们的MFD显着减轻了对特定少数群体的偏见，而不会损失合成和真实世界人脸数据集的准确性。
2021-06-10 cs.AI cs.CV
Grouped Knowledge Distillation for Deep Face Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人中心）
针对人脸识别中轻量级学生网络难以拟合目标logits的问题，提出分组知识蒸馏方法GKD，通过将logits分组并保留主要知识蒸馏与分布一致性损失、省略次要知识蒸馏，显著提升了性能。
2023-04-10 cs.CV
Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）
给定一个使用大规模基础数据集进行良好训练的模型，Few-Shot类增量学习（FSCIL）旨在通过避免过拟合来从一些标记样本中增量学习新类，而不会灾难性地忘记之前遇到的所有类。目前，利用自由可用的未标记数据来补偿有限的标记数据的半监督学习技术可以提高许多视觉任务的性能，这可以应用于解决FSCIL中的问题，即，半监督FSCIL（Semi-FSCIL）到目前为止，非常有限的工作集中在半FSCIL任务，留下的适应性问题的半监督学习的FSCIL任务尚未解决。在本文中，我们专注于这个适应性问题，并提出了一个简单而有效的半FSCIL框架命名为不确定性感知蒸馏与类平衡（UaD-CE），包括两个模块UaD和CE。具体来说，当将未标记的数据纳入每个增量会话时，我们引入了CE模块，该模块采用类平衡的自训练，以避免易于分类的类在伪标签生成上逐渐占据主导地位。为了从参考模型中提取可靠的知识，我们进一步实现了UaD模块，该模块将不确定性引导的知识精炼与自适应蒸馏相结合。在三个基准数据集上的综合实验表明，该方法可以提高半监督学习技术在FSCIL任务中对未标记数据的适应性。
2023-01-24 cs.CV
MobiAct: Efficient MAV Action Recognition Using MobileNetV4 with Contrastive Learning and Knowledge Distillation
School of Aerospace Engineering, Engineering Campus, Universiti Sains Malaysia（航空航天工程学院，工程校区，马来西亚理科大学）
针对微型飞行器平台资源受限、动作识别精度与速度难以兼顾的问题，提出轻量级框架MobiAct，结合MobileNetV4、分阶段正交知识蒸馏等技术，在低能耗下实现了更快的高精度动作识别。
2025-10-22 cs.CV
DL-KDD: Dual-Light Knowledge Distillation for Action Recognition in the Dark
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对暗光视频动作识别中增强方法丢失信息与双流方法计算成本高的问题，提出DL-KDD师生框架，通过知识蒸馏让模型在训练时结合原始与增强视频，推理时仅需原始视频，在多个数据集上性能优于现有方法。
2024-06-04 cs.CV
MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning
Huazhong University of Science and Technology (HUST)（华中科技大学）；Nanjing University of Science and Technology（南京理工大学）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Institute of North Electronic Equipment（北方电子设备研究所）
零样本学习（zero-shot learning，ZNL）的关键挑战是如何推断可见类的视觉特征和属性特征之间的潜在语义知识，从而实现对不可见类的知识转移。现有的工作要么简单地将图像的全局特征与其相关联的类别语义向量对齐，要么利用单向注意来学习有限的潜在语义表示，这不能有效地发现内在语义知识，例如，属性语义）之间的视觉和属性的功能。为了解决上述困境，我们提出了一个相互语义蒸馏网络（MSDN），它逐步提炼的视觉和属性特征之间的内在语义表示为语义学习。MSDN合并了学习基于属性的视觉特征的属性$\rightarrow$视觉注意力子网和学习基于视觉的属性特征的视觉$\rightarrow$属性注意力子网。通过进一步引入语义蒸馏损失，两个相互注意子网能够在整个训练过程中协作学习并相互教学。拟议的MSDN在强大的基线基础上取得了显着的改进，在三个流行的具有挑战性的基准上实现了新的最先进的性能，即，CUB、SUN和AWA 2。我们的代码可在以下网址获得：\url{https://github.com/shiming-chen/MSDN}。
2022-04-22 cs.CV
Joint Architecture and Knowledge Distillation in CNN for Chinese Text Recognition
University of Science and Technology of China（中国科学技术大学）；National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）
蒸馏技术有助于将笨重的神经网络转换为紧凑的网络，以便模型可以部署在替代硬件设备上。基于蒸馏的方法的主要优点包括简单的训练过程，由大多数现成的深度学习软件支持，并且对硬件没有特殊要求。在本文中，我们提出了一个同时提取预训练标准CNN的架构和知识的指导方针。我们首先对基线网络进行了定量分析，包括不同组件的计算成本和存储开销。然后根据分析结果，对全连通层的压缩采用可选的策略。对于vanilla卷积层，建议的简约卷积（ParConv）块仅由dependency可分离卷积和逐点卷积组成，用作直接替代，而无需其他调整，例如网络中的宽度和深度。最后，采用多重损失的知识蒸馏来提高紧凑型CNN的性能.该算法首先在离线手写中文文本识别（HCTR）上进行了验证，其中CNN的特征在于数万个输出节点，并由数亿个训练样本进行训练。与最先进系统中的CNN相比，我们提出的联合架构和知识蒸馏可以将计算成本降低> 10倍，模型大小降低> 8倍，而精度损失可以忽略不计。然后，通过对最流行的数据集之一：MNIST进行实验，我们证明了所提出的方法也可以成功地应用于主流骨干网络。
2020-10-26 cs.CV
DS_FusionNet: Dynamic Dual-Stream Fusion with Bidirectional Knowledge Distillation for Plant Disease Recognition
Yunnan Normal University（云南师范大学）
本文提出DS_FusionNet，通过双骨干架构、可变形动态融合模块和双向知识蒸馏，在仅用10% PlantDisease和CIFAR-10数据时实现超90%准确率，并在PlantWild上保持85%准确率，有效解决小样本、遮挡、光照变化和类间相似度高等植物病害识别难题。
2025-07-05 cs.CV
Uncertainty-Aware Multi-Shot Knowledge Distillation for Image-Based Object Re-Identification
Microsoft Research Asia（微软亚洲研究院）
目标重新识别（re-id）旨在跨时间或摄像机视图识别特定目标，其中人re-id和车辆re-id是研究最广泛的应用。由于视点、（人类）姿势和遮挡的变化，Re-id具有挑战性。同一物体的多个镜头可以覆盖不同的视点/姿态，从而提供更全面的信息。在本文中，我们提出利用同一身份的多个镜头来指导每个单独图像的特征学习。具体来说，我们设计了一个不确定性感知的多拍教师-学生（UMTS）网络。它由一个教师网络（T-net）和一个学生网络（S-net）组成，教师网络从同一对象的多个图像中学习综合特征，学生网络将单个图像作为输入。特别是，我们考虑到数据相关的异方差不确定性，有效地将知识从T-网转移到S-网。据我们所知，我们是第一个利用多个镜头的对象，在师生学习的方式，有效地提高了单一的图像为基础的re-id。我们验证了我们的方法的有效性流行的车辆re-id和人re-id数据集。在推理中，仅S-net的性能明显优于基线，并达到了最先进的性能。
2020-01-21 cs.CV
AnchorHOI: Zero-shot Generation of 4D Human-Object Interaction via Anchor-based Prior Distillation
AnchorHOI通过基于锚点的先验蒸馏策略，结合视频扩散模型提升4D人-物交互生成的多样性和泛化能力。
2025-12-16 cs.CV
Mask-invariant Face Recognition through Template-level Knowledge Distillation
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
全球COVID-19疫情的出现为生物识别技术带来了新的挑战。不仅非接触式生物识别选项变得越来越重要，人脸识别最近也面临着频繁佩戴口罩的问题。这些面具影响了以前的人脸识别系统的性能，因为它们隐藏了重要的身份信息。在本文中，我们提出了一个面具不变的人脸识别解决方案（MaskInv），利用模板级的知识蒸馏内的训练范式，目的是在生产的蒙面脸，类似于那些非蒙面的脸相同的身份嵌入。除了提取的知识之外，学生网络还受益于基于边缘的身份分类损失的额外指导，ElasticFace，使用掩蔽和非掩蔽的面孔。在两个真实的面具人脸数据库和五个主流数据库与合成面具逐步消融研究，我们证明了我们的MaskInv方法的合理性。在最近的MFRC-21挑战中，我们提出的解决方案在两种情况下（掩蔽与掩蔽和掩蔽与非掩蔽）都优于以前的最先进（SOTA）学术解决方案，并且在MFR 2数据集上也优于以前的解决方案。此外，我们证明了该模型仍然可以很好地执行未掩蔽的面孔，只有一个轻微的损失，在验证性能。代码、训练模型以及综合掩蔽数据的评估协议可在https://github.com/fdbtrs/Masked-Face-Recognition-KD上公开获得。
2021-12-10 cs.CV
HTR-JAND: Handwritten Text Recognition with Joint Attention Network and Knowledge Distillation
École de Technologie Supérieure (ÉTS), University of Quebec（魁北克大学蒙特利尔分校工程学院（ÉTS））
本文提出HTR-JAND框架，结合FullGatedConv2d、Combined Attention与知识蒸馏，在IAM等数据集上实现SOTA的CER，并将模型参数减少48%。
2024-12-24 cs.CV
Visual Place Recognition in Forests with Depth-Aware Distillation
CSIRO Robotics, Brisbane, Australia（澳大利亚联邦科学与工业研究组织机器人实验室，布里斯班，澳大利亚）；University of Queensland, Brisbane, Australia（昆士兰大学，布里斯班，澳大利亚）；Queensland University of Technology, Brisbane, Australia（昆士兰科技大学，布里斯班，澳大利亚）
针对森林环境中视觉地点识别因植被重复、结构线索弱及外观变化大而困难的问题，提出轻量级深度感知蒸馏框架，将几何线索注入DINOv2模型，在WildCross基准上提升鲁棒性。
2026-06-12 cs.CV cs.RO
Tiny models from tiny data: Textual and null-text inversion for few-shot distillation
Chalmers University of Technology（查尔姆斯理工大学）
针对少样本蒸馏中无标注数据不足的问题，提出结合文本反转多样性与空文本反转特异性的扩散模型反转技术TINT，提升了小型学生模型准确率与速度，并通过理论分析降低评估计算量。
2025-03-20 cs.CV cs.LG
A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition
National Central University（国立中央大学）；Thai Nguyen University（太原大学）
知识蒸馏是将知识从重网络（教师）有效地转移到小网络（学生），以提高学生的表现。自知识蒸馏，知识蒸馏的特殊情况下，已被提出删除大型教师网络的培训过程，同时保持学生的表现。本文介绍了一种新的自我知识蒸馏方法，通过连体表示学习，最小化来自给定样本的两个不同视图的两个表示向量之间的差异。我们提出的方法，SKD-SRL，利用软标签蒸馏和相似性的表示向量。因此，SKD-SRL可以在同一数据点的各种视图中生成更一致的预测和表示。我们的基准已经在各种标准数据集上进行了评估。实验结果表明，SKD-SRL显着提高了准确性相比，现有的监督学习和知识蒸馏方法，无论网络。
2022-09-03 cs.AI cs.CV
Supervised Masked Knowledge Distillation for Few-Shot Transformers
Columbia University（哥伦比亚大学）
针对少样本ViT易过拟合且自监督与监督方法间存在鸿沟的问题，提出监督掩码知识蒸馏模型SMKD，通过在类和patch token上进行类内知识蒸馏及跨图像掩码重建，在四个基准上取得最优。
2023-03-29 cs.AI cs.CV
A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection
Huazhong University of Science and Technology（华中科技大学）
表面缺陷检测是工业质量检测的重要环节之一。基于深度学习的表面缺陷检测方法已经显示出巨大的潜力。然而，性能良好的模型通常需要大量的训练数据，并且只能检测在训练阶段出现的缺陷。当缺陷检测模型面对增量Few-Shot数据时，不可避免地会出现灾难性遗忘和误分类问题。为了解决这些问题，本文提出了一种新的知识蒸馏网络，称为双知识对齐网络（DKAN）。所提出的DKAN方法遵循预训练-微调迁移学习范式，并设计了用于微调的知识蒸馏框架。具体来说，提出了一种增量RCNN来实现不同类别的解耦稳定特征表示。在此框架下，在类无关特征图之间设计特征知识对齐（FKA）损失以解决灾难性遗忘问题，在logit分布之间部署Logit知识对齐（LKA）损失以解决误分类问题.在增量式Few-Shot NEU-DET数据集上的实验结果表明，DKAN算法在不同的Few-Shot场景下的平均精度指标达到6.65%，优于其他方法，证明了该方法的有效性。
2022-09-01 cs.AI cs.CV
Hierarchical Dense Correlation Distillation for Few-Shot Segmentation
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
Few-Shot语义分割（FSS）旨在形成与类别无关的模型，该模型仅使用少量注释来分割不可见的类别。以前的方法局限于语义特征和原型表示，存在分割粒度粗和训练集过拟合的问题。本文基于Transformer架构设计了分层解耦匹配网络（HDMNet）挖掘像素级支持度相关。自注意模块用于辅助建立层次密集特征，作为完成查询和支持特征之间级联匹配的一种手段。此外，我们提出了一个匹配模块，以减少训练集过拟合，并引入相关性蒸馏，利用粗分辨率的语义对应来提高细粒度分割。我们的方法在实验中表现得很好。我们实现了$50.0\%$ mIoU上的\coco ~数据集一杆设置和$56.0\%$上的五杆分割，分别。
2023-03-26 cs.AI cs.CV
Iterative Distillation for Better Uncertainty Estimates in Multitask Emotion Recognition
Hong Kong University of Science and Technology（香港科技大学）
当识别情绪时，情绪表现中的细微差别会产生情绪感知的模糊性或不确定性。情感不确定性以前被解释为多个注释者之间的评分者之间的分歧。在本文中，我们考虑了一个更常见和更具挑战性的场景：当只有单个情感标签可用时，对情感不确定性进行建模。从贝叶斯的角度来看，我们建议使用深度集成来捕获多个情感描述符的不确定性，即，动作单元、离散表达式标签和连续描述符。我们进一步应用迭代自蒸馏。多代迭代蒸馏显著提高了情感识别和不确定性估计的性能。我们的方法生成单个学生模型，该模型为域内样本提供准确的不确定性估计，并且生成可以检测域外样本的学生集合。我们使用Aff-wild 2数据集进行的情感识别和不确定性估计的实验表明，我们的算法比Temperature Scaling和Monte Carol Dropout给出了更可靠的不确定性估计。
2021-10-17 cs.CV cs.LG
Multitask Emotion Recognition Model with Knowledge Distillation and Task Discriminator
Kookmin University（国民大学）
由于大数据的收集和深度学习的发展，预测野外人类情绪的研究正在积极进行。我们设计了一个多任务模型，使用ABAW数据集，预测效价唤醒，表情和行动单位，通过音频数据和人脸图像在现实世界中。利用知识蒸馏技术对不完全标注进行训练。教师模型采用监督学习方法进行训练，学生模型采用教师模型的输出作为软标签进行训练。因此，我们在多任务学习任务验证数据集中获得了2.40。
2022-03-24 cs.CV eess.IV
Label-Guided Knowledge Distillation for 3D-CNNs in Action Recognition
National Engineering Laboratory for Big Data Analytics (NEL-BDA)（大数据分析国家工程实验室）
针对3D-CNN动作识别中特征蒸馏忽视时间维度的问题，提出标签引导知识蒸馏（LGKD），通过样本级与类别级蒸馏学习教师特征，在UCF101和HMDB51上取得竞争力结果。
2026-09-14 cs.AI cs.CV
