Learning from a Teacher using Unlabeled Data
Google AI（谷歌人工智能）
知识蒸馏是模型压缩的一种广泛使用的技术。我们认为，在蒸馏设置中使用的教师模型捕获了类之间的关系，这些关系超出了原始数据集。我们的经验表明，即使在{ \it out-of-distribution}数据集上，教师模型也可以将这些知识转移到学生模型。使用这种方法，我们使用来自不同来源的未标记图像数据在MNIST，CIFAR-10和Caltech-256数据集上显示了有希望的结果。我们的结果是令人鼓舞的，并有助于进一步阐明从理解知识蒸馏和利用未标记的数据，以提高模型质量的角度。
2019-11-13 cs.AI cs.CV cs.LG
Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）
给定一个使用大规模基础数据集进行良好训练的模型，Few-Shot类增量学习（FSCIL）旨在通过避免过拟合来从一些标记样本中增量学习新类，而不会灾难性地忘记之前遇到的所有类。目前，利用自由可用的未标记数据来补偿有限的标记数据的半监督学习技术可以提高许多视觉任务的性能，这可以应用于解决FSCIL中的问题，即，半监督FSCIL（Semi-FSCIL）到目前为止，非常有限的工作集中在半FSCIL任务，留下的适应性问题的半监督学习的FSCIL任务尚未解决。在本文中，我们专注于这个适应性问题，并提出了一个简单而有效的半FSCIL框架命名为不确定性感知蒸馏与类平衡（UaD-CE），包括两个模块UaD和CE。具体来说，当将未标记的数据纳入每个增量会话时，我们引入了CE模块，该模块采用类平衡的自训练，以避免易于分类的类在伪标签生成上逐渐占据主导地位。为了从参考模型中提取可靠的知识，我们进一步实现了UaD模块，该模块将不确定性引导的知识精炼与自适应蒸馏相结合。在三个基准数据集上的综合实验表明，该方法可以提高半监督学习技术在FSCIL任务中对未标记数据的适应性。
2023-01-24 cs.CV
Few-shot Class-Incremental Semantic Segmentation via Pseudo-Labeling and Knowledge Distillation
Minjiang University（闽江学院）；Wuyi University（武夷学院）；Fuzhou University（福州大学）；European University Cyprus（塞浦路斯欧洲大学）
本文针对小样本类增量语义分割提出由粗到细的伪标签策略扩充训练数据，并结合知识蒸馏保留旧类知识，在自动驾驶数据集上验证了有效性。
2023-08-05 cs.CV
Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation
Pohang University of Science Technology (POSTECH)（浦项科技大学）
半监督领域自适应（Semi-supervised domain adaptation，SSDA）是指在给定一个大的标注数据集的情况下，利用少量的标注样本使学习器适应新的领域。在本文中，我们提出了一种基于对的SSDA方法，该方法使用样本对自蒸馏将模型适应于目标域。每个样本对由来自标记数据集的教师样本组成（即，源或标记的目标）及其来自未标记数据集的学生样本（即，未标记的目标）。我们的方法通过在教师和学生之间传递中间风格来生成辅助特征，然后通过最小化学生和辅助特征之间的输出差异来训练模型。在培训过程中，助理逐渐弥合这两个领域之间的差异，从而使学生能够轻松地向老师学习。标准基准测试的实验结果表明，我们的方法有效地最大限度地减少了域间和域内的差异，从而实现了显着的改进，最近的方法。
2021-11-29 cs.CV
MUSE: Multi-Scale Dense Self-Distillation for Nucleus Detection and Classification
DAMO Academy, Alibaba Group（阿里集团 DAMO 院）
MUSE通过多尺度密集自蒸馏方法，有效解决组织病理学中核检测与分类的核心挑战，提升细粒度核级表示能力。
2025-12-17 cs.CV
Self-Distillation for Further Pre-training of Transformers
KAIST（韩国科学技术院）；AITRICS；National University of Singapore（新加坡国立大学）
针对Transformer跨域进一步预训练时视觉模型易过拟合的问题，提出将自蒸馏作为正则化手段，结合掩码自编码目标训练学生模型，在图文分类基准上优于相关基线，并通过理论分析解释其作用机制。
2023-06-09 cs.CV cs.LG
KD-FixMatch: Knowledge Distillation Siamese Neural Networks
Amazon Inc.（亚马逊公司）
提出KD-FixMatch算法，通过结合知识蒸馏与孪生神经网络的顺序和同时训练，利用高置信度采样和深度嵌入聚类生成可信伪标签，有效解决了FixMatch早期伪标签噪声导致的性能退化问题，在四个公开数据集上均优于FixMatch。
2023-09-11 cs.CV cs.LG
Self-Cooperation Knowledge Distillation for Novel Class Discovery
Shanghai Engineering Research Center of AI & Robotics（上海人工智能与机器人工程研究中心）；Academy for Engineering & Technology, Fudan University（复旦大学工程技术学院）
针对新类发现中已知类与新类样本不平衡导致的回顾与发现权衡难题，提出自协作知识蒸馏方法，利用每个样本构建两个不相交表示空间并通过空间互信息进行自协作学习，在六个数据集上取得最先进性能。
2024-07-03 cs.CV
Training a Student Expert via Semi-Supervised Foundation Model Distillation
Texas A&M University（德克萨斯农工大学）
本文提出半监督知识蒸馏框架，利用有限标注和大量未标注数据压缩预训练视觉基础模型，提升实例分割性能，通过对比学习和多目标损失提升学生模型效果。
2026-04-04 cs.CV
Overcoming Catastrophic Forgetting with Unlabeled Data in the Wild
University of Michigan（密歇根大学）；KAIST（韩国科学技术院）
众所周知，使用深度神经网络进行终身学习会遭受灾难性遗忘：当学习新任务时，先前任务的性能会急剧下降。为了减轻这种影响，我们建议利用大量的未标记的数据流很容易在野外获得。特别是，我们设计了一个新的类增量学习方案（a）一个新的蒸馏损失，称为全局蒸馏，（b）一个学习策略，以避免过拟合到最近的任务，和（c）一个基于置信度的采样方法，以有效地利用未标记的外部数据。我们在包括CIFAR和ImageNet在内的各种数据集上的实验结果证明了所提出的方法优于现有方法，特别是当可访问未标记数据流时：与最先进的方法相比，我们的方法显示出高达15.8%的准确率和46.5%的遗忘率。该代码可在https://github.com/kibok90/iccv2019-inc上获得。
2019-10-26 cs.CV cs.LG stat.ML
Knowledge Distillation for Human Action Anticipation
Stony Brook University（石溪大学）
我们考虑的任务是训练一个神经网络来预测视频中的人类动作。考虑到视频数据的复杂性、未来的随机性以及带注释的训练数据的有限量，该任务具有挑战性。在本文中，我们提出了一种新的知识蒸馏框架，使用一个动作识别网络来监督动作预测网络的训练，指导后者参加正确预测未来的行动所需的相关信息。这个框架是可能的，由于一个新的损失函数，以考虑在动态视频中的语义概念的位置转移。知识蒸馏框架是自监督学习的一种形式，它利用了未标记的数据。在JHMDB和EPIC-KITCHENS数据集上的实验结果表明了该方法的有效性。
2021-10-03 cs.CV
Unsupervised Cross-Modal Distillation for Thermal Infrared Tracking
Northwestern Polytechnical University（西北工业大学）；Air Force Engineering University（空军工程大学）；wrnch（wrnch公司）；Nanchang University（南昌大学）
利用卷积神经网络学习的目标表征在热红外跟踪中起着重要的作用。目前，大多数性能最好的TIR跟踪器仍然采用通过在RGB数据上训练的模型学习的表示。然而，这种表示没有考虑TIR模态本身中的信息，限制了TIR跟踪的性能。为了解决这个问题，我们提出了从RGB模态中提取TIR模态的表示，并在大量未标记的成对RGB-TIR数据上进行跨模态提取（CMD）。我们利用基线跟踪器的两个分支架构，即DiMP，对跟踪器的两个组件进行跨模态蒸馏。具体来说，我们使用一个分支作为教师模块，将模型学习的表示提取到另一个分支中。受益于RGB模态中的强大模型，跨模态提取可以学习TIR特定的表示以促进TIR跟踪。所提出的方法可以方便地纳入不同的基线跟踪器作为一个通用的和独立的组件。此外，成对的RGB和TIR图像的语义一致性被用作跨模态知识转移的蒸馏损失中的监督信号。在实践中，探索了三种不同的方法来生成具有相同语义的成对RGB-TIR补丁，以用于以无监督的方式进行训练。很容易扩展到更大规模的未标记训练数据。在LSOTB-TIR数据集和PTB-TIR数据集上的大量实验表明，我们提出的跨模态蒸馏方法有效地学习了从RGB模态转移的TIR特定目标表示。我们的跟踪器优于基线跟踪器，分别实现了2.3%的成功率，2.7%的精度和2.5%的归一化精度的绝对增益。
2021-07-31 cs.CV
Revisiting Knowledge Distillation for Object Detection
Huawei Technologies Canada Co Ltd.（加拿大华为技术有限公司）
用于目标检测提取的现有解决方案依赖于教师模型和地面实况标签两者的可用性。我们提出了一个新的视角来放松这一约束。在我们的框架中，学生首先使用教师生成的伪标签进行训练，然后使用标记数据（如果有的话）进行微调。大量的实验表明，改进现有的目标检测蒸馏算法。此外，在这个框架中将教师和地面实况蒸馏解耦提供了有趣的特性，例如：作为1）使用未标记的数据来进一步提高学生的表现，2）组合不同架构的多个教师模型，甚至具有不同的对象类别，以及3）减少对标记数据的需求（只有20%的COCO标签，这种方法实现了与在整个标签集上训练的模型相同的性能）。此外，这种方法的副产品是领域自适应的潜在用途。我们通过大量的实验验证这些属性。
2021-05-22 cs.CV
ISD: Self-Supervised Learning by Iterative Similarity Distillation
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of Bern（伯尔尼大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
最近，对比学习在自监督学习中取得了很大的成果，其主要思想是将图像的两个增强（正对）与其他随机图像（负对）相比更接近。我们认为，并非所有的随机图像是平等的。因此，我们引入了一个自监督学习算法，我们使用软相似性的负像，而不是一个二元之间的区别，积极和消极的对。我们通过捕获查询图像与一些随机图像的相似性并将该知识传递给学生，迭代地将缓慢进化的教师模型提取为学生模型。我们认为，我们的方法是较少的限制相比，最近的对比学习方法，所以它可以学习更好的功能。具体来说，我们的方法应该比现有的对比学习方法更好地处理不平衡和未标记的数据，因为随机选择的否定集可能包括许多语义上与查询图像相似的样本。在这种情况下，我们的方法将它们标记为高度相似，而标准对比方法将它们标记为负对。我们的方法取得了与最先进的模型相当的结果。我们还表明，我们的方法在未标记数据不平衡的情况下表现得更好。我们的代码可以在这里找到：https://github.com/UMBCvision/ISD。
2021-09-10 cs.CV
Divide-and-Conquer for Enhancing Unlabeled Learning, Stability, and Plasticity in Semi-supervised Continual Learning
Nanjing University（南京大学）；Southeast University（东南大学）
提出USP分而治之框架，通过特征空间预留、分而治之伪标签和类均值锚定蒸馏，协同增强半监督持续学习中的可塑性、无标签学习和稳定性，最后准确率提升达5.94%。
2025-08-07 cs.CV cs.LG
KD-SCFNet: Towards More Accurate and Efficient Salient Object Detection via Knowledge Distillation
现有的显著性目标检测（SOD）模型结构复杂、庞大，难以应用。虽然提出了一些轻量级的模型，精度勉强令人满意。在本文中，我们设计了一种新的语义引导的上下文融合网络（SCFNet），专注于多层次特征的交互式融合，以准确和高效的显着目标检测。在此基础上，我们将知识蒸馏应用于SOD任务，并提供了一个大规模的数据集KD-SOD 80 K。详细地说，我们通过未标记的图像将经验丰富的教师的丰富知识转移到未经训练的SCFNet，使SCFNet能够学习强大的泛化能力，以更准确地检测显著对象。基于知识蒸馏的SCFNet（KDSCFNet）实现了与最先进的重量级方法相当的准确性，具有不到1M的参数和174 FPS的实时检测速度。大量的实验证明了所提出的蒸馏方法和SOD框架的鲁棒性和有效性。代码和数据：www.example.com。
2022-11-21 cs.CV
Semi-Supervised Learning via Weight-aware Distillation under Class Distribution Mismatch
Renmin University of China（中国人民大学）
针对类别分布不匹配下半监督学习性能受损的问题，提出权重感知蒸馏框架WAD，通过点互信息获取自适应权重与高质量伪标注，理论上证明其总体风险上界更紧，实验中在多个数据集上优于现有方法。
2023-08-23 cs.CV
Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文提出多级知识蒸馏和动态自监督学习，用于解决持续学习中的类别增量问题，通过利用未标记数据提升模型稳定性与可塑性，实验显示在CVPR CLVISION挑战中取得第二名。
2026-03-31 cs.AI cs.CV cs.LG
CAST: Contrastive Adaptation and Distillation for Semi-Supervised Instance Segmentation
Texas A&M University（德克萨斯大学）
CAST通过对比适应与蒸馏，利用半监督知识蒸馏将视觉基础模型压缩为紧凑专家，在Cityscapes和ADE20K上以约11倍小的模型超越教师和最先进SSKD方法。
2025-10-08 cs.AI cs.CV
VPBSD:Vessel-Pattern-Based Semi-Supervised Distillation for Efficient 3D Microscopic Cerebrovascular Segmentation
本文提出基于血管模式的半监督蒸馏流水线VpbSD，通过构建血管模式码本并融合知识蒸馏与半监督学习，有效解决了3D显微脑血管分割中高分辨率、标注难和数据量大的挑战。
2024-11-14 cs.CV
Weighted Knowledge Distillation for Semi-Supervised Segmentation of Maxillary Sinus in Panoramic X-ray Images
Division of Electronics and Information Engineering, College of Engineering, Jeonbuk National University（全罗国立大学电子与信息工程系）；Manufacturing AI Research Center, Korea Institute of Industrial Technology (KITECH)（韩国工业技术研究院制造人工智能研究中心）；KITECH School, University of Science and Technology, Cheonan（科技大学校KITECH学院）；The Graduate School of Advanced Imaging Science, Multimedia & Film, Chung-Ang University（Chung-Ang大学高级影像科学研究生院，多媒体与电影）；Department of Oral and Maxillofacial Radiology and Wonkwang Dental Research Institute, College of Dentistry, Wonkwang University（Wonkwang大学口腔颌面放射科及Wonkwang牙科研究所）
本文提出一种半监督分割框架，利用带权知识蒸馏和SinusCycle-GAN提升全景X射线图像中maxillary sinus的分割性能，实验表明其在有限标注数据下具有更高的Dice分数和更小的边界误差。
2026-04-22 cs.CV
TinyHD: Efficient Video Saliency Prediction with Heterogeneous Decoders using Hierarchical Maps Distillation
Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Dublin City University（都柏林城市大学）；University of Catania（卡塔尼亚大学）
视频显着性预测最近引起了研究界的关注，因为它是一些实际应用的上游任务。然而，当前的解决方案在计算上要求特别高，特别是由于时空3D卷积的广泛使用。我们观察到，虽然不同的模型架构在基准测试中实现了类似的性能，但预测的显着性图之间的视觉变化仍然很明显。受这种直觉的启发，我们提出了一个轻量级的模型，采用多个简单的异构解码器，并采用了几种实用的方法，以提高准确性，同时保持计算成本低，如分层多地图知识蒸馏，多输出显着性预测，未标记的辅助数据集和教师辅助监督的通道减少。我们的方法在DFH 1 K，UCF-Sports和Hollywood 2基准上实现了与最先进的方法相当或更好的显着性预测准确性，同时显着提高了模型的效率。代码在https://github.com/feiyanhu/tinyHD上
2023-01-11 cs.CV
ADROIT: A Self-Supervised Framework for Learning Robust Representations for Active Learning
IIT Kanpur（印度理工学院坎普尔分校）；Amazon（亚马逊公司）
ADROIT提出基于VAE的统一主动学习框架，融合重建、对抗、自监督、知识蒸馏和分类损失，通过VAE与状态判别器的竞争机制选择信息丰富的无标签样本，实验验证其有效性。
2025-03-10 cs.CV cs.LG
Multi-Head Distillation for Continual Unsupervised Domain Adaptation in Semantic Segmentation
Sorbonne Université（索邦大学）；Heuritech（赫瑞科技）
无监督领域自适应（UDA）是一种迁移学习任务，旨在通过利用标记的源域在未标记的目标域上进行训练。除了具有单一源域和单一目标域的传统UDA范围之外，现实世界的感知系统面临着各种各样的场景，从不同的照明条件到世界各地的许多城市。在这种情况下，具有多个域的UDA由于在不同靶域内增加了分布偏移而增加了挑战。这项工作的重点是一个新的框架，学习UDA，连续UDA，其中模型操作顺序发现的多个目标域，没有访问以前的目标域。我们提出了MuHDi，多头蒸馏，一种方法，解决了灾难性遗忘问题，固有的持续学习任务。MuHDi从以前的模型以及辅助目标专家分割头中进行多层次的蒸馏。我们报告了具有挑战性的多目标UDA语义分割基准的广泛消融和实验，以验证所提出的学习方案和架构。
2022-04-25 cs.CV
Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Haihe Laboratory of Information Technology Application Innovation（海河信息技术应用创新实验室）
针对半监督持续学习中未标注数据分布不可靠导致训练不稳定、性能受影响的问题，提出动态子图蒸馏方法，结合语义与结构信息实现稳定蒸馏，适配多种场景，经多数据集验证可有效缓解灾难性遗忘。
2025-01-14 cs.CV cs.LG
Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model
University of Central Florida（中佛罗里达大学）；Google（谷歌）
我们研究如何通过以数据高效的方式从黑盒教师模型中提取知识来训练学生深度神经网络进行视觉识别。在这个问题上的进展可以显着减少对大规模数据集的依赖，以学习高性能的视觉识别模型。有两大挑战。一个是应该最小化对教师模型的查询的数量以节省计算和/或财务成本。另一个是用于知识蒸馏的图像的数量应该很小;否则，它违背了我们减少对大规模数据集的依赖的期望。为了应对这些挑战，我们提出了一种方法，混合mixup和主动学习。前者通过从原始图像的凸包中采样的大量合成图像有效地增加了少数未标记的图像，而后者主动地从池中为学生神经网络选择硬样本，并从教师模型中查询它们的标签。我们验证我们的方法与广泛的实验。
2020-03-31 cs.CV
Resolution-Based Distillation for Efficient Histology Image Classification
Dartmouth College（达特茅斯学院）；Dartmouth-Hitchcock Medical Center（达特茅斯-希区柯克医疗中心）；Geisel School of Medicine at Dartmouth（达特茅斯盖塞尔医学院）
开发深度学习模型来分析组织学图像在计算上具有挑战性，因为图像的巨大尺寸会对计算管道的所有部分造成过度的压力。本文提出了一种新的基于深度学习的方法，用于提高组织学图像分类的计算效率。当使用具有降低的输入分辨率的图像时，所提出的方法是鲁棒的，并且可以用有限的标记数据有效地训练。在原始高分辨率（HR）图像上进行预训练后，我们的方法使用知识蒸馏（KD）将学习到的知识从教师模型转移到以低得多的分辨率在相同图像上训练的学生模型。为了解决缺乏大规模标记的组织学图像数据集的问题，我们以自我监督的方式执行KD。我们评估了我们的方法与腹腔疾病（CD）和肺腺癌（LUAD）相关的两个组织学图像数据集。我们的研究结果表明，KD和自我监督的组合允许学生模型接近，在某些情况下，超过教师的分类精度，同时更有效。此外，我们观察到学生分类性能随着未标记数据集大小的增加而增加，这表明有可能进一步扩展。对于CD数据，我们的模型优于HR教师模型，同时需要的计算量减少了4倍。对于LUAD数据，我们的学生模型在1.25倍放大率下的结果在10倍放大率下的教师模型的3%以内，计算成本降低了64倍。此外，我们的CD结果受益于使用更多未标记数据的性能扩展。对于0.625x放大倍数，使用未标记数据将准确度提高了4%。因此，我们的方法可以通过标准计算硬件提高数字病理学深度学习解决方案的可行性。
2021-01-11 cs.CV eess.IV
DMT: Comprehensive Distillation with Multiple Self-supervised Teachers
DAMO Academy（达摩院）
针对现有自监督模型预训练未考虑表征互补性的问题，提出多自监督教师综合蒸馏方法DMT，利用多现成自监督模型优势实现模型压缩，在分类及密集预测任务上均取得更优性能。
2023-12-19 cs.CV
Technical Report for the 5th CLVision Challenge at CVPR: Addressing the Class-Incremental with Repetition using Unlabeled Data -- 4th Place Solution
Tech Hive Labs（Tech Hive实验室）；National Technical University of Athens（雅典国家技术大学）；Archimedes/Athena Research Center（阿基米德/雅典娜研究中心）
本研究针对CVPR第五届CLVision挑战赛的带重复类别增量场景，提出结合知识蒸馏与伪标记、利用无标注数据缓解灾难性遗忘的方法，准确率显著优于基线，获赛事第四名。
2025-03-19 cs.CV
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
Deakin University（迪肯大学）；Champion Data（冠军数据公司）；Paralympics Australia（澳大利亚残奥委员会）
研究体育视频中精确事件定位问题，提出时间特征蒸馏半监督目标及Transformer Gate Shift模块，通过对齐主干特征保留关键线索，实验显示在多数据集上相比基线有显著提升，减少标注数据仍能取得良好效果。
2026-07-14 cs.CV
Isolating to Harness: Cross-Division Distillation for Fully Unsupervised Anomaly Detection
针对训练数据含未标记异常的完全无监督异常检测场景，提出跨分区蒸馏框架，通过隔离异常影响并跨分区协作生成伪监督，在噪声AD数据集上性能优于基线。
2026-07-31 cs.CV
Decentralized Learning with Multi-Headed Distillation
Google Research（谷歌研究院）
私有数据的分散学习是机器学习的核心问题。我们提出了一种新的基于蒸馏的分散学习技术，允许多个代理与私人非iid数据相互学习，而不必共享他们的数据，权重或权重更新。我们的方法是有效的通信，利用未标记的公共数据集，并为每个客户端使用多个辅助头，大大提高了异构数据情况下的训练效率。这种方法允许单个模型保持和增强其私有任务的性能，同时也大大提高了其在全局聚合数据分布上的性能。我们研究了数据和模型体系结构的异质性和底层通信图拓扑结构对学习效率的影响，并表明我们的代理可以显着提高其性能相比，孤立学习。
2022-11-28 cs.CV cs.LG
ReLKD: Inter-Class Relation Learning with Knowledge Distillation for Generalized Category Discovery
School of Data Science \& Engineering, East China Normal University, Shanghai, China
ReLKD通过跨类关系学习和知识蒸馏提升通用类别发现的分类性能，尤其在标注数据有限时表现优异。
2025-12-08 cs.CV
Self-Distillation for Unsupervised 3D Domain Adaptation
University of Bologna（博洛尼亚大学）
点云分类是三维视觉中的一项重要任务。然而，以前的作品，通常假设点云在测试时获得相同的程序或传感器在训练时。相反，无监督领域自适应（UDA）打破了这一假设，并试图解决一个未标记的目标域上的任务，只利用一个有监督的源域。对于点云分类，最近的UDA方法试图通过辅助任务（如点云重建）跨域对齐特征，但这并没有优化特征空间中目标域的区分能力。相比之下，在这项工作中，我们专注于获得一个判别特征空间的目标域之间的点云和它的增强版本执行一致性。然后，我们提出了一种新的迭代自训练方法，该方法利用UDA上下文中的图神经网络来改进伪标签。我们进行了大量的实验，并设置了新的国家的最先进的标准UDA基准点云分类。最后，我们展示了我们的方法可以扩展到更复杂的任务，如部分分割。
2022-10-15 cs.CV
Self-Improving 4D Perception via Self-Distillation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Impossible Research；Harvard（哈佛大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；UC Berkeley（加州大学伯克利分校）；UBC（不列颠哥伦比亚大学）
本文提出SelfEvo框架，通过自蒸馏方案提升多视角重建模型性能，无需外部标注，在动态场景中实现显著改进，视频深度估计提升36.5%，相机估计提升20.1%。
2026-04-09 cs.CV
Instance-aware Model Ensemble With Distillation For Unsupervised Domain Adaptation
基于线性集成的策略，即，已经提出了平均集成，以提高无监督领域自适应任务中的性能。然而，一个典型的UDA任务通常是挑战动态变化的因素，如可变的天气，视图和背景中的未标记的目标域。大多数以前的集成策略忽略了UDA的动态和不可控的挑战，面临有限的特征表示和性能瓶颈。为了增强模型的域间适应性和降低集成模型部署时的计算成本，提出了一种新的框架，即实例感知的模型集成与蒸馏，IMED，它根据不同的实例自适应地融合多个UDA组件模型，并将这些组件蒸馏成一个小模型。IMED的核心思想是一种动态的实例感知集成策略，对于每个实例，学习一个非线性融合子网络，融合多个组件模型的提取特征和预测标签。非线性融合方法可以帮助集成模型处理动态变化的因素。在学习了一个对不同变化因素具有良好适应性的大容量集成模型后，我们利用集成教师模型通过知识蒸馏来指导一个紧凑的学生模型的学习。此外，我们提供了理论分析的有效性IMED的UDA。在各种UDA基准数据集上进行了广泛的实验，例如，Office 31，Office Home和VisDA 2017显示了基于IMED的模型在可比计算成本下优于最先进的方法。
2022-11-15 cs.CV
Multi-Granularity Class Prototype Topology Distillation for Class-Incremental Source-Free Unsupervised Domain Adaptation
Hangzhou Dianzi University（杭州电子科技大学）；Macao Polytechnic University（澳门理工大学）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对类增量无源无监督域适应中的知识干扰与遗忘问题，提出多粒度类原型拓扑蒸馏算法，通过自组织与拓扑蒸馏有效迁移知识，在三个公共数据集上达到最优性能。
2025-05-27 cs.CV
Knowledge Distillation Meets Open-Set Semi-Supervised Learning
University of Cambridge（剑桥大学）；University of Surrey（萨里大学）；Samsung AI Centre（三星人工智能中心）；Queen Mary University London（伦敦玛丽女王大学）
该研究提出语义表征蒸馏（SRD）方法，利用教师分类器作为语义评判器蒸馏含高阶结构信息的表征知识，并扩展至开集半监督场景，在多类任务上均优于现有方法。
2024-07-15 cs.CV
CustomKD: Customizing Large Vision Foundation for Edge Model Improvement via Knowledge Distillation
Qualcomm AI Research（高通人工智能研究部门）
针对大型视觉基础模型与边缘模型差异大导致知识蒸馏效果受限的问题，提出CustomKD方法，通过对齐师生特征减少模型差异，在无监督域适应和半监督学习场景中显著提升边缘模型性能，达到新SOTA。
2025-03-23 cs.CV
Multimodal Knowledge Expansion
Shanghai Qi Zhi Institute（上海期智研究院）；UT Austin（德克萨斯大学奥斯汀分校）；South China University of Technology（华南理工大学）；MIT（麻省理工学院）；Tsinghua University（清华大学）
多模态传感器的普及和互联网的可访问性给我们带来了大量的未标记的多模态数据。由于现有的数据集和经过良好训练的模型主要是单峰的，因此单峰网络和未标记的多模态数据之间的模态差距提出了一个有趣的问题：如何将预先训练的单峰网络转移到未标记的多模态数据上执行相同的任务？在这项工作中，我们提出了多模态知识扩展（MKE），一个知识蒸馏为基础的框架，有效地利用多模态数据，而不需要标签。与传统的知识蒸馏相反，学生被设计成轻量级的，不如老师，我们观察到，一个多模态的学生模型始终去噪伪标签和概括比老师。四个任务和不同的模式进行了广泛的实验验证了这一发现。此外，我们将MKE的机制与半监督学习联系起来，并提供经验和理论解释来理解多模态学生的去噪能力。
2021-10-29 cs.CV cs.LG cs.MM
Dual-Teacher: Integrating Intra-domain and Inter-domain Teachers for Annotation-efficient Cardiac Segmentation
The Chinese University of Hong Kong（香港中文大学）；Stanford University（斯坦福大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
医学图像注释是非常耗时和昂贵的获得。为了缓解注释稀缺性，已经开发了许多方法来有效地利用额外信息，例如，半监督学习进一步挖掘大量的未标记数据，领域自适应包括多模态学习和无监督领域自适应借助附加模态的先验知识。在本文中，我们的目标是调查的可行性，同时利用丰富的未标记的数据和完善的跨模态数据的注释有效的医学图像分割。为此，我们提出了一种新的半监督领域自适应方法，即Dual-Teacher，其中学生模型不仅从标记的目标数据（例如，CT），而且还探索未标记的目标数据和标记的源数据（例如，（二）教师的两种模式。具体而言，学生模型通过鼓励预测一致性从域内教师学习未标记目标数据的知识，以及通过知识蒸馏从域间教师学习嵌入在标记源数据中的形状先验。因此，学生模型可以有效地利用来自所有三个数据资源的信息，并全面整合它们，以提高性能。我们在MM-WHS 2017数据集上进行了大量的实验，证明了我们的方法能够同时利用未标记数据和跨模态数据，性能优越，优于半监督学习和领域自适应方法。
2020-07-13 cs.CV
You Are Your Best Teacher: Semi-Supervised Surgical Point Tracking with Cycle-Consistent Self-Distillation
University of Tübingen（图宾根大学）
本文提出 SurgTracker，通过固定教师生成伪标签并结合循环一致性过滤的自蒸馏方法，仅用 80 个未标注手术视频即可将合成训练的点跟踪器有效适配到高偏移的手术场景。
2025-05-09 cs.CV
Temporal Self-Distillation: Learning Visual State Tracking in Videos Without Supervision
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿尔托大学）
本文提出首个完全自包含的连续视频状态跟踪框架S$^3$T，利用时间采样密度作为特权信息实现无监督训练，在LLaVA-OneVision-2-8B等基准上显著提升VSTAT等任务性能，且可迁移至真实视频。
2026-09-04 cs.CV
Auxiliary Learning for Self-Supervised Video Representation via Similarity-based Knowledge Distillation
University of Bristol（布里斯托大学）
尽管用于视频表示学习的自监督预训练方法取得了巨大的成功，但当用于预训练的未标记数据集很小时，或者源任务（预训练）中的未标记数据与目标任务（微调）中的标记数据之间的域差异很大时，它们的泛化能力很差。为了缓解这些问题，我们提出了一种新的方法，通过辅助预训练阶段来补充自我监督预训练，基于知识相似性蒸馏auxSKD，以更好地概括更少量的视频数据，例如Kinetics-100而不是Kinetics-400。我们的方法部署了一个教师网络，通过捕获未标记视频数据段之间的相似性信息，迭代地将其知识提取到学生模型中。学生模型同时解决了一个借口任务，利用这种先验知识。我们还引入了一个新的借口任务，视频段节奏预测或VSPP，这需要我们的模型来预测输入视频的随机选择段的回放速度，以提供更可靠的自我监督表示。我们的实验结果显示，在苹果对苹果的比较中，在K100上进行预训练时，在UCF 101和HMDB 51数据集上的结果优于现有技术。此外，我们还证明了我们的辅助预训练auxSKD，当作为额外的预训练阶段添加到最新的自监督方法（即VCOP，VideoPace和RSPNet）中时，可以改善他们在UCF 101和HMDB 51上的结果。我们的代码可在https://github.com/Plrbear/auxSKD上获得。
2022-04-25 cs.CV
EvDistill: Asynchronous Events to End-task Learning via Bidirectional Reconstruction-guided Cross-modal Knowledge Distillation
KAIST（韩国科学技术院）；Imperial College London（帝国理工学院）
事件摄像机可感知每像素的强度变化，并产生具有高动态范围和较少运动模糊的异步事件流，显示出优于传统摄像机的优势。训练基于事件的模型的一个障碍是缺乏大量定性标记数据。以往的工作学习的最终任务大多依赖于标记或伪标记的数据集从有源像素传感器（APS）帧，然而，这样的数据集的质量是远远不能媲美那些基于规范的图像。在本文中，我们提出了一种新的方法，称为\textbf{EvDistill}，通过知识蒸馏（KD），从大规模的，标记的图像数据（源模态）训练的教师网络上的未标记和未配对的事件数据（目标模态）学习学生网络。为了使KD跨未配对的模态，我们首先提出了一个双向模态重建（BMR）模块来桥接两种模态，并同时利用它们通过精心制作的对来提取知识，从而在推理中不产生额外的计算。通过端到端方式的端任务和KD损失来改进BMR。其次，我们利用两种模态的结构相似性，并通过匹配它们的分布来适应知识。此外，由于大多数先验特征KD方法是单峰的，不太适用于我们的问题，我们建议利用亲和图KD损失来提高蒸馏。我们对语义分割和对象识别的广泛实验表明，EvDistill实现了比以前的作品和KD只有事件和APS帧的显着更好的结果。
2021-11-24 cs.CV
Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation
University at Buffalo（布法罗大学）；United Imaging Intelligence（联影智能）
联邦学习（FL）是一种机器学习范例，其中本地节点协作地训练中央模型，而训练数据保持分散。现有的FL方法通常共享模型参数或采用共蒸馏来解决数据分布不平衡的问题。然而，他们受到通信瓶颈的困扰。更重要的是，他们冒着隐私泄露的风险。在这项工作中，我们开发了一个隐私保护和通信有效的方法在FL框架与一次性离线知识蒸馏使用未标记的，跨域的公共数据。我们提出了一个量化和噪声合奏的本地预测从完全训练的本地模型更强的隐私保证，而不牺牲准确性。基于对图像分类和文本分类任务的大量实验，我们表明，我们的隐私保护方法优于基线FL算法，在准确性和通信效率方面都具有优异的性能。
2022-09-10 cs.CR cs.CV cs.LG
Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR
Georgia Tech（佐治亚理工学院）
最近在半监督学习领域的突破已经取得了与最先进的传统监督学习方法相匹配的结果。计算机视觉中最成功的半监督学习方法集中在利用大量未标记的数据，通过数据增强和转换学习一般表示，创建伪标签，实现不同的损失函数，并最终将这些知识转移到更特定于任务的较小模型。在本文中，我们的目标是进行我们的分析，在三个不同的方面Simplified，目前国家的最先进的半监督学习框架计算机视觉。首先，我们分析了对比学习在微调上的特性，因为我们知道对比学习是这种方法如此成功的原因。第二，通过教师强制范式研究知识蒸馏。我们观察到当教师和学生共享相同的基础模型时，知识蒸馏会取得更好的效果。最后，我们研究了迁移学习是如何工作的，以及它与不同数据集上的类数之间的关系。我们的研究结果表明，迁移学习表现得更好时，类的数量较少。
2021-08-02 cs.CV cs.LG
ZeroFlow: Scalable Scene Flow via Distillation
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Motional（莫申公司）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Georgia Tech（佐治亚理工学院）
ZeroFlow通过蒸馏框架利用无标签优化方法生成伪标签训练前馈模型，实现零人工标注的场景流估计，速度比优化方法快千倍以上，成本大幅降低。
2024-03-14 cs.CV cs.LG
Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation
Zhejiang University（浙江大学）；Hunan University（湖南大学）；National University of Defense Technology（国防科技大学）；Ant Group（蚂蚁集团）
研究针对无约束事件-图像特征匹配问题，提出双阶段训练范式，先进行无标签蒸馏预训练，再引入极线引导自蒸馏框架，在新的跨模态评估基准上实验，取得领先的姿态估计性能。
2026-08-06 cs.CV cs.MM cs.RO
From Skeletons to Pixels: Few-Shot Precise Event Spotting via Representation and Prediction Distillation
Department of Business Analytics（商业分析系）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
本文提出两种互补的蒸馏策略，通过多模态蒸馏提升少样本精确事件定位的泛化能力，实验表明在网球和花样滑冰数据集中均优于单一模态基线。
2026-04-21 cs.AI cs.CV
Domain Adaptation-Based Crossmodal Knowledge Distillation for 3D Semantic Segmentation
School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学）
为降低3D LiDAR点云标注成本，提出UDAKD和FSKD两种跨模态知识蒸馏方法，利用2D预训练模型指导无标注3D网络训练，并通过自校准卷积实现领域适应，性能超越现有SOTA。
2025-08-30 cs.CV cs.RO
SEED: Self-supervised Distillation For Visual Representation
Arizona State University（亚利桑那州立大学）；Microsoft Corporation（微软公司）
本文研究了小模型的自监督学习。这个问题的动机是我们的实证研究，虽然广泛使用的对比自监督学习方法在大模型训练方面取得了很大的进展，但它对小模型的效果并不好。为了解决这个问题，我们提出了一种新的学习范式，名为自监督蒸馏（SEED），在这种范式中，我们利用一个更大的网络（作为教师）以自我监督的方式将其表征知识转移到一个更小的架构（作为学生）中。我们不是直接从未标记的数据中学习，而是训练学生编码器来模仿教师在一组实例上推断的相似性分数分布。我们表明，种子显着提高下游任务的小型网络的性能。与自监督基线相比，SEED将EfficientNet-B 0上的前1准确率从42.2%提高到67.6%，并将MobileNet-v3-Large上ImageNet-1 k数据集的前1准确率从36.3%提高到68.2%。
2021-04-15 cs.AI cs.CV
Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning
National Cancer Center（国家癌症中心）
提出Retro方法，通过为学生模型重用教师投影头解决嵌入蒸馏中的尺寸不匹配问题，在轻量级模型上显著优于现有技术并减少参数量。
2024-08-24 cs.AI cs.CV
Distill-2MD-MTL: Data Distillation based on Multi-Dataset Multi-Domain Multi-Task Frame Work to Solve Face Related Tasksks, Multi Task Learning, Semi-Supervised Learning
Seoul National University（首尔大学）
提出了一种基于多任务学习和数据蒸馏的人脸相关任务半监督学习方法。所提出的方法利用具有不同标签的多个数据集来执行不同但相关的任务，例如同时进行年龄，性别，种族，面部表情估计。具体来说，当多个相关任务中只有少数标记良好的数据时，我们利用不同领域中其他相关任务的标签。我们的方法是由（1）一个新的MTL方法，可以处理弱标记的数据集，并同时执行多个任务，（2）MTL为基础的数据蒸馏框架，使网络泛化的训练和测试数据从不同的领域。实验表明，所提出的多任务系统执行每个任务比基线单任务。它还表明，使用不同的域数据集与主数据集可以提高网络的泛化能力，克服数据集之间的域差异。此外，比较基线和MTL框架上的数据蒸馏，后者对来自不同领域的未标记数据显示出更准确的预测。此外，通过提出一种新的学习率优化方法，我们提出的网络能够动态调整其学习率。
2019-07-09 cs.CV cs.LG
