Knowledge Distillation Using Hierarchical Self-Supervision Augmented Distribution
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
知识蒸馏（KD）是一个有效的框架，旨在将有意义的信息从大的教师转移到小的学生。一般来说，知识共享通常涉及如何定义和转移知识。以前的KD方法通常侧重于挖掘各种形式的知识，例如，特征图和细化信息。然而，知识是从主要的监督任务中获得的，因此具有高度的任务特异性。受最近自我监督表示学习成功的启发，我们提出了一个辅助的自我监督增强任务，以指导网络学习更有意义的特征。因此，我们可以从KD的这个任务中推导出软自监督增广分布作为更丰富的暗知识。与以前的知识不同，这种分布对来自监督和自监督特征学习的联合知识进行编码。除了知识探索，我们建议在各个隐藏层附加几个辅助分支，以充分利用分层特征映射。每个辅助分支被引导学习自我监督增强任务，并提取从教师到学生的分布。总体而言，我们称我们的KD方法为分层自我监督增强知识蒸馏（HSSAKD）。对标准图像分类的实验表明，离线和在线HSSAKD都达到了KD领域最先进的性能。进一步的目标检测迁移实验进一步验证了HSSAKD可以引导网络学习更好的特征。该代码可在https://github.com/winycg/HSAKD上获得。
2022-07-23 cs.CV
Classifier-guided CLIP Distillation for Unsupervised Multi-label Classification
Samsung Electronics（三星电子）；KAIST（韩国科学技术院）
针对CLIP用于无监督多标签分类时存在的视图依赖预测和固有偏差问题，提出分类器引导的CLIP蒸馏方法CCD，借助分类器CAM选择目标附近多视图并对CLIP伪标签去偏，在多数据集上取得优于现有方法的效果。
2025-03-21 cs.AI cs.CV
Boosting Multi-Label Image Classification with Complementary Parallel Self-Distillation
Chongqing University（重庆大学）；San Diego State University（圣地亚哥州立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
多标签图像分类（MLIC）方法通常利用标签相关性来实现良好的性能。然而，强调相关性（如同现）可能会忽略目标本身的区别性特征，导致模型过拟合，从而破坏性能。在这项研究中，我们提出了一个通用的框架，名为并行自蒸馏（PSD），以提高MLIC模型。PSD通过共现图划分（CGP）和离散图划分（DGP）两种互补的任务分解策略，将原始MLIC任务分解为若干个较简单的MLIC子任务。然后，用这些子任务并行训练较少类别的MLIC模型，分别学习联合模式和类别特定的标签模式。最后，利用知识蒸馏来学习具有这些学习到的模式的完整类别的紧凑的全局集合，以用于调和标签相关性利用和模型过拟合。在MS-COCO和NUS-WIDE数据集上的大量结果表明，我们的框架可以很容易地插入到许多MLIC方法中，并提高了最近最先进方法的性能。可解释的视觉研究也进一步验证了我们的方法能够学习类别特定和共现特征。源代码发布于https://github.com/Robbie-Xu/CPSD。
2022-05-23 cs.AI cs.CV
Hierarchical Self-supervised Augmented Knowledge Distillation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
知识蒸馏通常涉及如何有效地定义知识并将知识从教师转移到学生。虽然最近的自监督对比知识实现了最佳性能，但强迫网络学习此类知识可能会损害原始类别识别任务的表示学习。因此，我们采用一种替代的自监督增强任务来引导网络学习原始识别任务和自监督辅助任务的联合分布。它被证明是一个更丰富的知识，以提高表示能力，而不失去正常的分类能力。此外，它是不完整的，以前的方法只传递的概率知识之间的最后层。我们建议将几个辅助分类器添加到分层中间特征映射中，以生成各种自监督知识，并执行一对一的传输以彻底教授学生网络。我们的方法显著超过了之前的SOTA SSKD，在CIFAR-100上平均提高了2.56\%，在广泛使用的网络对上ImageNet上提高了0.77\%。代码可在https://github.com/winycg/HSAKD上获得。
2022-07-23 cs.CV
CEKD:Cross Ensemble Knowledge Distillation for Augmented Fine-grained Data
Hangzhou Dianzi University（杭州电子科技大学）；University of Sydney（悉尼大学）；UBTECH Sydney AI Centre（优必选悉尼人工智能中心）；Australian Centre for Field Robotics（澳大利亚现场机器人研究中心）
数据增强已被证明在训练深度模型方面是有效的。现有的数据增强方法通过混合图像对并根据混合像素的统计信息融合相应的标签来解决细粒度问题，这会产生额外的噪声，对网络的性能有害。基于此，我们提出了一个简单而有效的交叉集成知识蒸馏（CEKD）模型的细粒度特征学习。我们创新性地提出了一个交叉蒸馏模块，以提供额外的监督，以减轻噪音问题，并提出了一个协作集成模块，以克服目标冲突问题。所提出的模型可以以端到端的方式进行训练，并且只需要图像级标签监督。广泛使用的细粒度基准测试的大量实验证明了我们提出的模型的有效性。具体来说，在ResNet-101的基础上，CEKD在三个数据集上的准确率分别为89.59%、95.96%和94.56%，比最先进的API-Net高出0.99%、1.06%和1.16%。
2022-03-13 cs.CV
D3O: Dynamic Distribution Distillation for Ordinal Regression
Zhejiang University（浙江大学）
针对序数回归中因主观标注产生的问题，提出D3O动态分布蒸馏框架，通过自蒸馏用序数标签分布的训练驱动演化取代静态监督，引入对比序数感知标签增强模块和基于CDF的跨层交互蒸馏机制，实验证明其优于现有方法。
2026-07-28 cs.AI cs.CV
Robust Noisy Label Learning via Two-Stream Sample Distillation
针对噪声标签学习问题，提出名为TSSD的双流样本蒸馏框架，通过PSD和MSP两个模块从噪声训练集中蒸馏高质量样本，在四个基准数据集上取得了当前最优的效果。
2024-04-16 cs.AI cs.CV
Soft Label Pruning and Quantization for Large-Scale Dataset Distillation
CFAR, Agency for Science, Technology and Research, Singapore（新加坡科技研究局应用科学与技术研究院）；IHPC, Agency for Science, Technology and Research, Singapore（新加坡科技研究局信息与通信技术研究院）；National University of Singapore（新加坡国立大学）
本文提出LPQLD方法，通过增强图像多样性与监督多样性，减少软标签存储量并提升准确率，适用于大规模数据集蒸馏。
2026-04-20 cs.AI cs.CV cs.LG
Knowledge Distillation from Single to Multi Labels: an Empirical Study
OPPO Research Institute（OPPO研究院）；Fudan University（复旦大学）
知识蒸馏（KD）在单标记图像分类中得到了广泛的研究。然而，其多标签分类的功效仍然相对未被探索。在这项研究中，我们首先研究了经典的KD技术，包括基于logit和基于特征的方法，多标签分类的有效性。我们的研究结果表明，基于logit的方法是不适合多标签分类，教师未能提供类别间的相似性信息或正则化效果的学生模型的训练。此外，我们观察到，基于特征的方法很难同时传达多个标签的紧凑信息。鉴于这些限制，我们建议合适的暗知识应该包含类信息，并与最终分类结果高度相关。为了解决这些问题，我们介绍了一种新的蒸馏方法的基础上类激活图（CAM），这是有效的和简单的实现。在广泛的设置范围内，基于CAM的蒸馏始终优于其他方法。
2023-03-15 cs.CV
MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation
University of Geneva（日内瓦大学）
提出基于多视图与多表示（MV-MR）的自监督学习与知识蒸馏通用框架，通过最大化依赖性并引入多表示正则化，在STL10和ImageNet-1K上取得SOTA性能。
2024-06-02 cs.CV
AGCN: Augmented Graph Convolutional Network for Lifelong Multi-label Image Recognition
Suzhou University of Science and Technology（苏州科技大学）；Tianjin University（天津大学）
终身多标签（LML）图像识别是在连续的多标签图像识别数据流中建立一个在线类增量分类器。LML图像识别的关键挑战是在训练数据的部分标签上构建标签关系和旧类上的灾难性遗忘，导致泛化能力差。为了解决这一问题，提出了一种增强图卷积网络（AGCN）模型，该模型能够构建跨序列识别任务的标签关系，并支持灾难性遗忘。首先，我们在所有可见的类中构建一个增强相关矩阵（ACM），其中任务内关系来自硬标签统计数据，而任务间关系利用来自数据和构建的专家网络的硬标签和软标签。然后，基于ACM，建议AGCN捕获标签依赖与动态增强结构，并产生有效的类表示。最后，为了抑制遗忘的标签依赖在旧的任务，我们提出了一个关系保持损失作为约束的标签关系的建设。使用两个多标签图像基准测试对所提出的方法进行了评估，实验结果表明，所提出的方法对LML图像识别是有效的，即使先前任务的标签丢失，也可以在任务之间建立令人信服的相关性。我们的代码可在https://github.com/Kaile-Du/AGCN上获得。
2022-03-11 cs.AI cs.CV
Multi-Label Continual Learning using Augmented Graph Convolutional Network
Suzhou University of Science and Technology（苏州科技大学）；Tianjin University（天津大学）；Suzhou Institute of Trade & Commerce（苏州经贸职业技术学院）
多标签持续学习（MLCL）在序列多标签图像识别数据流中建立了一个类增量的框架。MLCL的关键挑战是在训练数据的过去缺失和未来缺失的部分标签上构建标签关系，以及对旧类的灾难性遗忘，导致泛化能力差。针对上述问题，提出了一种增强的图卷积网络（AGCN++），该网络可以在MLCL中构建跨任务的标签关系，并支持灾难性遗忘。首先，我们在所有可见的类中建立一个增强相关矩阵（ACM），其中任务内关系来自硬标签统计。相比之下，任务间关系利用来自数据的硬标签和软标签以及构建的专家网络。然后，我们提出了一种新的部分标签编码器（PLE）MLCL，它可以提取动态类表示为每个部分标签图像作为图节点，并帮助生成软标签，以创建一个更有说服力的ACM和抑制遗忘。最后，为了抑制标签依赖在旧任务之间的遗忘，我们提出了一个关系保持约束来构建标签关系。类间拓扑可以自动扩充，这也产生了有效的类表示。该方法使用两个多标签图像基准进行评估。实验结果表明，该方法是有效的MLCL图像识别，即使以前的任务的标签丢失，也可以建立令人信服的相关性。
2022-11-27 cs.AI cs.CV
Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis
School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）
针对无样本类增量学习中的灾难性遗忘问题，提出旋转增强蒸馏（RAD）方法，通过互补指标详细分析，在可塑性与稳定性间取得优越平衡，达到顶级性能。
2024-03-16 cs.CV
Revisiting Knowledge Distillation for Object Detection
Huawei Technologies Canada Co Ltd.（加拿大华为技术有限公司）
用于目标检测提取的现有解决方案依赖于教师模型和地面实况标签两者的可用性。我们提出了一个新的视角来放松这一约束。在我们的框架中，学生首先使用教师生成的伪标签进行训练，然后使用标记数据（如果有的话）进行微调。大量的实验表明，改进现有的目标检测蒸馏算法。此外，在这个框架中将教师和地面实况蒸馏解耦提供了有趣的特性，例如：作为1）使用未标记的数据来进一步提高学生的表现，2）组合不同架构的多个教师模型，甚至具有不同的对象类别，以及3）减少对标记数据的需求（只有20%的COCO标签，这种方法实现了与在整个标签集上训练的模型相同的性能）。此外，这种方法的副产品是领域自适应的潜在用途。我们通过大量的实验验证这些属性。
2021-05-22 cs.CV
Soft-Label Dataset Distillation and Text Dataset Distillation
University of Waterloo（滑铁卢大学）
数据集蒸馏是一种通过学习包含大数据集所有信息的少量合成样本来减少数据集大小的方法。这有几个好处，例如加快模型训练，降低能耗，减少所需的存储空间。目前，每个合成样本被分配一个单一的“硬”标签，而且，数据集蒸馏目前只能用于图像数据。我们建议同时提取图像和它们的标签，从而为每个合成样本分配一个“软”标签（标签的分布）。我们的算法提高了2-4%的准确性比原来的算法的几个图像分类任务。使用“软”标签还可以使提取的数据集由比类少的样本组成，因为每个样本可以为多个类编码信息。例如，用10个提取图像（每个类一个）训练LeNet模型，在MNIST上的准确率超过96%，在5个提取图像上训练时，准确率接近92%。我们还扩展了数据集蒸馏算法，以提取包括文本的序列数据集。我们证明了文本蒸馏在多个数据集上优于其他方法。例如，模型在IMDB情感分析任务中仅使用20个提取的句子就达到了几乎其原始的准确性。我们的代码可以在$\href{https://github.com/ilia10000/dataset-distillation}{\text{https://github.com/ilia10000/dataset-distillation}}$中找到。
2020-05-05 cs.AI cs.LG stat.ML
Incomplete Multi-View Multi-Label Classification via Shared Codebook and Fused-Teacher Self-Distillation
College of Information Engineering, Shanghai Maritime University（上海海事大学信息工程学院）；School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院）
本文提出一种结构化机制，通过多视图共享代码本和跨视图重建学习一致表示，并设计权重估计方法和融合教师自蒸馏框架，以提升缺失标签条件下的模型泛化能力。
2026-04-05 cs.AI cs.CV
Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective
Horizon Robotics（地平线机器人）；University at Buffalo（布法罗大学）；Tsinghua University（清华大学）
知识蒸馏是一种有效的方法，利用一个训练有素的网络或他们的集合，命名为教师，指导训练的学生网络。教师网络的输出被用作软标签，用于监督新网络的训练。最近的研究\citep{muller2019does,yuan2020revisiting}揭示了软标签的一个有趣的特性，使标签变软可以作为学生网络的一个很好的正则化。从统计学习的角度来看，正则化的目的是减少方差，但是对于软标签训练，偏差和方差如何变化尚不清楚。在本文中，我们研究了软标签蒸馏带来的偏差-方差权衡。具体来说，我们观察到在训练过程中，偏差-方差权衡随样本而变化。此外，在相同的蒸馏温度设置下，我们观察到蒸馏性能与一些特定样本的数量负相关，这些特定样本被称为正则化样本，因为这些样本导致偏差增加和方差减小。然而，我们根据经验发现，完全过滤掉正则化样本也会降低蒸馏性能。我们的发现启发我们提出了新的加权软标签，以帮助网络自适应地处理样本偏差-方差权衡。在标准评测基准上的实验验证了该方法的有效性。我们的代码可在\url{https://github.com/bellymonster/Weighted-Soft-Label-Distillation}上找到。
2021-02-01 cs.CV cs.LG
Multi-Label Knowledge Distillation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）；RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目研究中心）；The University of Tokyo（东京大学）
针对多标签场景预测概率和不为1及特征图易忽略次要类别的问题，提出一种多标签知识蒸馏方法，通过将问题拆分为二元分类并利用标签级嵌入结构信息，有效避免标签间知识抵消并提升性能。
2023-08-12 cs.AI cs.CV cs.LG
Vector-Quantized Soft Label Compression for Dataset Distillation
Vanderbilt University（范德比大学）；University of California, Davis（加州大学戴维斯分校）
本文提出一种向量量化自动编码器，用于压缩数据集蒸馏中的软标签，实现显著压缩并保持性能。
2026-03-04 cs.CV
Interpret the Predictions of Deep Networks via Re-Label Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出一种基于重标签蒸馏的自监督方法，通过在 VAE 子空间生成合成图像并训练线性学生模型近似深度网络标注，直观解释黑盒网络预测的局部分类机制。
2024-09-20 cs.AI cs.CR cs.CV
Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study
CMU（卡内基梅隆大学）；HKUST（香港科技大学）；Peking University（北京大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
这项工作的目的是实证澄清最近发现的观点，标签平滑是不兼容的知识蒸馏。我们首先介绍如何提出这种不兼容性背后的动机，即，标签平滑擦除教师日志之间的相关信息。我们提供了一个新的连接标签平滑如何影响语义相似和不相似的类的分布。然后，我们提出了一个度量标准来定量衡量删除的信息在样本的表示的程度。然后，通过对图像分类、二进制网络和神经机器翻译的大量分析、可视化和综合实验，研究了不相容观的片面性和不完善性。最后，我们广泛地讨论了几种情况下，标签平滑确实会失去其有效性。项目页面：http://zhiqiangshen.com/projects/LS_and_KD/index.html。
2021-04-01 cs.AI cs.CL cs.CV
Label-Consistent Dataset Distillation with Detector-Guided Refinement
University of Toyama（东浓大学）；Hokkaido University（北海道大学）；Niigata University（新潟大学）；Toyohashi University of Technology（toyohashi技术大学）
本文提出一种检测器引导的数据集蒸馏方法，通过利用预训练检测器识别并精修异常合成样本，提升数据集的标签一致性和图像质量，实现更优的下游性能。
2026-02-18 cs.CV
Heavy Labels Out! Dataset Distillation with Label Space Lightening
National University of Singapore（新加坡国立大学）
针对现有数据集蒸馏方法依赖海量软标签导致存储开销高的问题，提出HeLlO标签轻量化框架，通过基础模型加类LoRA微调构建图像到标签投影器在线生成标签，大幅降低存储需求且性能持平SOTA。
2024-08-15 cs.CV
Compressed Gastric Image Generation Based on Soft-Label Dataset Distillation for Medical Data Sharing
Hokkaido University（北海道大学）
背景和目的：为了实现医疗信息的跨机构流动和构建高精度的计算机辅助诊断系统，需要共享医疗数据。然而，大尺寸的医疗数据集、保存的深度卷积神经网络（DCNN）模型的大量内存以及患者的隐私保护都是可能导致医疗数据共享效率低下的问题。因此，本研究提出一种新的软标签数据集蒸馏方法，用于医疗数据共享。研究方法：该方法提取医学图像数据的有效信息，生成多幅具有不同数据分布的压缩图像，实现匿名医学数据共享。此外，我们的方法可以提取DCNN模型的基本权重，以减少存储训练模型所需的内存，从而实现高效的医疗数据共享。结果如下：所提出的方法可以将数万张图像压缩成几张软标签图像，并将训练模型的大小减小到原始大小的百分之几。在蒸馏后获得的压缩图像已经在视觉上匿名化;因此，它们不包含患者的私人信息。此外，我们可以用少量的压缩图像实现高检测性能。结论：实验结果表明，该方法可以提高医疗数据共享的效率和安全性。
2022-11-01 cs.AI cs.CV cs.LG
A Label is Worth a Thousand Images in Dataset Distillation
Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）
本研究通过消融实验发现，数据集蒸馏方法性能优异的关键在于使用软标签而非合成技术，且软标签需含结构化信息，并提供了经验缩放定律与帕累托前沿，挑战了传统观念。
2025-01-19 cs.CV cs.LG
Make a Strong Teacher with Label Assistance: A Novel Knowledge Distillation Approach for Semantic Segmentation
Fudan University（复旦大学）；Bosch Corporate Research（博世企业研究中心）；Mogo.ai Information and Technology Co., Ltd（摩技人工智能信息技术有限公司）
提出一种无需复杂教师模型或额外传感器信息的标签辅助蒸馏方法，通过向标签添加噪声并融入输入训练轻量级教师，配合双路径一致性策略，在多个数据集和模型上验证了有效性和泛化性。
2024-07-18 cs.CV
Knowledge Distillation for Semantic Segmentation: A Label Space Unification Approach
University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
提出一种知识蒸馏方法统一语义分割标签空间，通过教师模型生成约束伪标签训练学生模型，在城市和越野驾驶领域超越教师，构建最大自动驾驶复合数据集。
2025-02-26 cs.CV
Efficient One Pass Self-distillation with Zipf's Label Smoothing
MEGVII Technology（旷视科技）
自蒸馏在训练过程中利用了自身的非统一软监督，并在没有任何运行时成本的情况下提高了性能。然而，训练过程中的开销往往被忽视，然而在巨型模型时代，减少训练过程中的时间和内存开销变得越来越重要。提出了一种有效的自蒸馏方法Zipf's Label Smoothing（Zipf's LS），该方法利用网络的动态预测生成符合Zipf分布的软监督，无需使用任何对比样本或辅助参数。我们的想法来自于一个经验观察，即当网络经过适当的训练时，网络最终softmax层的输出值，在按大小排序并在样本之间取平均值后，应该遵循一个分布，让人想起自然语言词频统计中的齐普夫定律。通过在样本水平和整个训练期间强制执行此属性，我们发现可以大大提高预测精度。在INAT 21细粒度分类数据集上使用ResNet50，与vanilla基线相比，我们的技术实现了+3.61%的准确率增益，与之前的标签平滑或自蒸馏策略相比，增益增加了0.88%。该实现可在https://github.com/megvii-research/zipfls上公开获得。
2022-07-26 cs.CV
Retrieval-Augmented Score Distillation for Text-to-3D Generation
Korea Univeristy（韩国大学）；Runway（Runway公司）
本文提出ReDream框架，通过检索语义相关的三维资产并将其几何先验融入分数蒸馏优化过程，同时利用二维扩散模型的表达能力，显著提升了文本到三维生成的几何一致性和保真度。
2024-05-02 cs.CV cs.LG
PHI-S: Distribution Balancing for Label-Free Multi-Teacher Distillation
NVIDIA（英伟达）
针对无标签异构多教师知识蒸馏中的教师激活分布失配问题，本文提出基于 Hadamard 矩阵的各向同性 PHI-S 标准化方法，并在多种方法中取得最佳学生模型。
2024-10-02 cs.AI cs.CV cs.LG
Learning from Noisy Labels with Distillation
从噪声标签中学习的能力在许多视觉识别任务中非常有用，因为大量带有噪声标签的数据相对容易获得。传统上，标签噪声被视为统计离群值，并提出了重要性重新加权和自举等方法来缓解这个问题。根据我们的观察，真实世界中的噪声标签表现出多模式特性作为真正的标签，而不是表现得像独立的随机离群值。在这项工作中，我们提出了一个统一的蒸馏框架，使用边信息，包括一个小的干净的数据集和标签关系的知识图谱，“对冲风险”的学习噪声标签。此外，与基于模拟标签噪声评估的传统方法不同，我们在体育，物种和人工制品领域提出了一套新的基准数据集，以评估在实际环境中从噪声标签中学习的任务。实证研究表明，我们提出的方法在所有领域的有效性。
2017-04-07 cs.CV cs.LG stat.ML
Are Large-scale Soft Labels Necessary for Large-scale Dataset Distillation?
CFAR, Agency for Science, Technology and Research, Singapore（新加坡科技研究局CFAR）；National University of Singapore（新加坡国立大学）；IHPC, Agency for Science, Technology and Research, Singapore（新加坡科技研究局IHPC）
针对大规模数据集蒸馏中软标签存储量过大的问题，提出类内组批的类内监督方法提升浓缩图像类内多样性，仅用随机剪枝即可实现40倍软标签压缩且性能提升2.6%。
2024-11-03 cs.CV
Label-guided Attention Distillation for Lane Segmentation
Megvii Technology Limited（旷视科技有限公司）；Beihang University（北京航空航天大学）
针对FCNs难以捕捉车道标记长距离上下文的问题，提出标签引导注意力蒸馏（LGAD）方法，利用教师网络提取标签结构注意力图监督学生网络，显著提升分割性能且不增加推理时间。
2023-04-04 cs.CV
A Fast Knowledge Distillation Framework for Visual Recognition
CMU（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
虽然知识蒸馏（KD）已被认为是许多视觉任务中的有用工具，如监督分类和自监督表示学习，但普通KD框架的主要缺点是其机制，该机制消耗了通过巨型教师网络转发的大部分计算开销，使得整个学习过程效率低下且成本高昂。最近提出的解决方案ReLabel建议为整个图像创建标签映射。在训练过程中，它通过在预先生成的整个标签映射上对齐RoI来接收裁剪的区域级标签，从而无需多次通过教师即可实现高效的监督生成。然而，由于KD教师来自传统的多作物培训，在该技术中，存在各种全球标签地图和区域级标签之间的不匹配，导致性能恶化。在这项研究中，我们提出了一个快速知识蒸馏（FKD）框架，该框架复制了蒸馏训练阶段，并使用多作物KD方法生成软标签，同时训练速度比ReLabel更快，因为没有使用RoI对齐和softmax操作等后处理。当在同一图像中进行多裁剪以进行数据加载时，我们的FKD甚至比传统的图像分类框架更有效。在ImageNet-1 K上，我们使用ResNet-50获得了79.8%，比ReLabel快了约1.0%。在自监督学习任务上，我们也证明了FKD具有效率优势。我们的项目页面：http：//zhiqiangshen.com/projects/FKD/index.html，源代码和模型可以在https://github.com/szq0214/FKD上找到。
2021-12-02 cs.AI cs.CV cs.LG
Data-Augmented Quantization-Aware Knowledge Distillation
Oakland University（奥克兰大学）
针对量化感知知识蒸馏中数据增强选择未被探究的问题，提出基于上下文互信息与标签预测准确性的度量指标，可低开销自动选择数据增强，兼容各类KD与QAT算法，显著提升低比特模型性能。
2025-09-04 cs.CV cs.LG
The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework
China Academy of Railway Sciences（中国铁道科学研究院）；NVIDIA（英伟达）
针对视频分类知识蒸馏中蒸馏方法与师生结构关系被忽视的问题，提出弱监督分阶段蒸馏框架，融合渐进级联训练、伪标签优化和特征分布损失，提升学生模型效率与准确率。
2023-07-16 cs.CV
Unsupervised Representation Learning Meets Pseudo-Label Supervised Self-Distillation: A New Approach to Rare Disease Classification
Xiamen University（厦门大学）；Tencent Jarvis Lab（腾讯贾维斯实验室）
罕见病的特点是发病率低，往往是慢性衰弱或危及生命。由于训练样本的严重短缺，基于成像的罕见疾病分类具有挑战性。少样本学习（FSL）方法通过从常见疾病和正常对照的大基础数据集中提取可推广的先验知识并将知识转移到罕见疾病来解决这一挑战。然而，大多数现有的方法需要对基础数据集进行标记，并且没有充分利用罕见疾病的宝贵实例。为此，我们在这项工作中提出了一种新的混合方法来罕见疾病分类，具有针对上述缺点的两个关键的新颖性。首先，我们采用基于自监督对比损失的无监督表示学习（URL），从而消除标记基础数据集的开销。其次，我们将URL与伪标签监督分类相结合，以有效地对罕见疾病知识进行自升华，构成一种混合方法，该方法在基础数据集上同时利用无监督和（伪）监督学习。罕见皮肤病变分类的实验结果表明，我们的混合方法大大优于现有的FSL方法（包括那些使用完全监督的基础数据集），通过有效整合的URL和伪标签驱动的自蒸馏罕见疾病分类，从而建立了一个新的最先进的。
2021-10-09 cs.CV
Adapting Models to Signal Degradation using Distillation
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
模型压缩和知识蒸馏已成功应用于跨体系结构和跨领域的迁移学习。然而，一个关键的要求是训练样本在域之间是对应的。我们表明，在许多情况下的实际重要性，这样的对齐数据可以综合使用计算机图形管道，允许通过蒸馏领域自适应。我们应用这种技术来学习模型，用于识别低分辨率图像使用标记的高分辨率图像，非本地化的对象使用标记的本地化对象，线条画使用标记的彩色图像等各种细粒度识别数据集上的实验表明，该技术提高了识别性能的低质量的数据和节拍强基线领域自适应。最后，我们通过可视化技术的工作原理，并将其与现有的文献。
2017-08-29 cs.CV
From Knowledge Distillation to Self-Knowledge Distillation: A Unified Approach with Normalized Loss and Customized Soft Labels
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；International Digital Economy Academy (IDEA)（国际数字经济研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出统一 KD 与自 KD 的 NKD 损失及 USKD 定制软标签框架，在 ImageNet 等基准上显著提升 CNN 与 ViT 性能。
2023-07-17 cs.CV
Label Semantic Knowledge Distillation for Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）
场景图生成（SGG）任务旨在检测给定图像中的所有对象及其成对视觉关系。虽然SGG在过去几年中取得了显着的进步，但几乎所有现有的SGG模型都遵循相同的训练范式：它们将SGG中的对象和谓词分类视为单标签分类问题，并且地面事实是一个热目标标签。然而，这种流行的训练范式忽略了当前SGG数据集的两个特点：1）对于正样本，某些特定的主体-客体实例可能具有多个合理谓词。2)对于阴性样本，有许多注释缺失。无论这两个特性如何，SGG模型都容易被混淆，并做出错误的预测。为此，我们提出了一种新的模型无关的标签语义知识蒸馏（LS-KD）的无偏SGG。具体而言，LS-KD通过将预测的标签语义分布（LSD）与其原始的独热目标标签融合，为每个主体-对象实例动态地生成软标签。LSD反映了这个实例和多个谓词类别之间的相关性。同时，我们提出了两种不同的策略来预测LSD：迭代自KD和同步自KD。三个SGG任务的广泛消融和结果证明了我们提出的LS-KD的优越性和通用性，它可以在不同的谓词类别之间始终实现体面的权衡性能。
2022-08-07 cs.CV
Self Supervision to Distillation for Long-Tailed Visual Recognition
Nanjing University（南京大学）
深度学习在大规模平衡数据集上的视觉识别方面取得了显着进展，但在现实世界的长尾数据上仍然表现不佳。以往的方法通常采用类再平衡训练策略来有效缓解不平衡问题，但可能存在过拟合尾类的风险。最近的解耦方法通过使用多阶段训练方案克服了过拟合问题，然而，它仍然无法在特征学习阶段捕获尾类信息。在本文中，我们表明，软标签可以作为一个强大的解决方案，将标签相关到一个多阶段的训练计划长尾识别。软标签所体现的类之间的内在联系，有助于长尾识别，将知识从头部转移到尾部类。具体来说，我们提出了一个概念上简单但特别有效的多阶段训练计划，称为自监督蒸馏（SSD）。该方案由两部分组成。首先，我们介绍了一个自蒸馏框架的长尾识别，它可以自动挖掘标签关系。其次，提出了一种新的自监督引导的蒸馏标签生成模块。提取的标签集成了标签和数据域的信息，可以有效地建模长尾分布。我们进行了广泛的实验，我们的方法在三个长尾识别基准测试中取得了最先进的结果：ImageNet-LT，CIFAR 100-LT和iNaturalist 2018。我们的SSD在各种数据集上从$2.7\%$到$4.5\%$都优于强大的LWS基线。该代码可在https://github.com/MCG-NJU/SSD-LT上获得。
2021-09-09 cs.CV
Cross Modal Distillation for Supervision Transfer
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一种技术，从不同的方式之间的图像转移监督。我们使用从一个大的标记模态学习的表示作为监督信号，用于训练表示一个新的未标记的成对模态。我们的方法可以学习未标记模态的丰富表示，并且可以用作具有有限标记数据的新模态的预训练过程。我们展示了实验结果，其中我们将监督从标记的RGB图像转移到未标记的深度和光流图像，并展示了这些跨模态监督转移的巨大改进。代码、数据和预训练模型可在https://github.com/s-gupta/fast-rcnn/tree/distillation上获得
2015-11-25 cs.CV
Multi-Label Image Classification via Knowledge Distillation from Weakly-Supervised Detection
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong（香港中文大学-商汤联合实验室）；SenseTime Research（商汤科技研究院）
多标签图像分类是一个基本的，但具有挑战性的任务，对一般的视觉理解。现有的方法发现了区域级线索（例如，来自RoI的特征）可以促进多标签分类。然而，这样的方法通常需要费力的对象级注释（即，对象标签和边界框），用于有效学习对象级视觉特征。在本文中，我们提出了一种新的，有效的深度框架，以提高多标签分类，从弱监督检测任务中提取知识，没有限界框注释。具体而言，给定图像级注释，（1）我们首先开发一个弱监督检测（WSD）模型，然后（2）构建一个端到端的多标签图像分类框架，该框架由知识蒸馏模块增强，该模块根据整个图像的类级预测和对象ROI的对象级视觉特征，通过WSD模型指导分类模型。WSD模型是教师模型，分类模型是学生模型。在这种跨任务知识蒸馏之后，分类模型的性能得到显著改善，并且由于WSD模型可以在测试阶段安全地丢弃，因此保持了效率。在两个大规模数据集（MS-COCO和NUS-WIDE）上的实验表明，我们的框架在性能和效率方面都优于现有的方法。
2019-02-21 cs.AI cs.CV cs.LG
Cross Modal Distillation for Flood Extent Mapping
Google Research（谷歌研究院）
洪水的强度和频率不断增加是气候变化的诸多后果之一。在这项工作中，我们探索ML技术，提高洪水检测模块的业务预警系统。我们的方法利用成对的多光谱和合成孔径雷达（SAR）图像的未标记的数据集，以减少纯粹的监督学习方法的标记要求。以前的作品通过创建弱标签来使用未标记的数据。然而，从我们的实验中，我们注意到这样的模型最终仍然会学习那些弱标签中的标签错误。出于知识蒸馏和半监督学习的动机，我们探讨了使用教师训练学生的帮助下，一个小手标记的数据集和一个大的未标记的数据集。与传统的自蒸馏设置不同，我们提出了一个跨模态蒸馏框架，该框架将监督从在更丰富的模态（多光谱图像）上训练的教师转移到在SAR图像上训练的学生模型。然后在Sen 1Floods 11数据集上测试训练好的模型。我们的模型在弱标记SAR图像上训练的Sen 1Floods 11基线模型在测试分割上的绝对优势为6.53% Intersection-over-Union（IoU）。
2023-02-16 cs.CV cs.LG
A Three-phase Augmented Classifiers Chain Approach Based on Co-occurrence Analysis for Multi-Label Classification
North China Electric Power University（华北电力大学）
分类器链作为一种非常流行的多标签分类方法，近年来被广泛应用于多标签分类任务中。然而，现有的分类器链方法很难建模和利用标签空间中的底层依赖关系，并且经常遭受无序链和错误传播的问题。在本文中，我们提出了一个三阶段的增广分类器链方法的基础上共现分析的多标签分类。首先，我们提出了一个共生矩阵的方法来模拟标签和它的先例之间的潜在相关性，并进一步确定一个链的头标签。其次，我们提出了两种优化链的标签顺序的扩展策略，以近似标签空间中的底层标签相关性，包括贪婪顺序分类器链和三元顺序分类器链。在六个基准数据集上进行了大量的实验，实验结果表明，与CC及其流行的分类器链变体相比，所提出的增强CC方法可以显着提高多标签分类的性能，特别是保持较低的计算成本，同时实现优异的性能。
2022-04-13 cs.AI
Isotonic Data Augmentation for Knowledge Distillation
Shanghai University of Finance and Economics（上海财经大学）
知识蒸馏使用教师模型预测的真实硬标签和软标签作为监督。直觉上，我们希望软标签和硬标签与w.r.t.一致。概率的顺序。然而，我们发现在增强样本中硬标签和软标签之间存在严重的顺序违反。例如，对于增强样本$x=0.7*panda+0.3*cat$，我们期望有意义的软标签的顺序为$P_\text{soft}(panda|x)>P_\text{soft}(cat|x)>P_\text{soft}(other|x)$。但真正的软标签通常违反顺序，例如$P_\text{soft}(tiger|x)>P_\text{soft}(panda|x)>P_\text{soft}(cat|x)$。我们将此归因于教师的泛化能力不令人满意，这导致了增强样本的预测误差。从经验上看，我们发现违规行为是常见的，损害了知识转移。本文在知识蒸馏的数据增广中引入序限制，称之为保序数据增强（IDA）。我们使用保序回归（IR）-一个经典的技术，从统计-消除秩序的侵犯。我们表明，IDA可以建模为一个树结构的IR问题。因此，我们适应经典的IRT-BIN算法的最优解与$O(c \log c)$的时间复杂度，其中$c$是标签的数量。为了进一步降低时间复杂度，我们还提出了一个GPU友好的近似线性时间复杂度。我们已经验证了不同的数据集和数据增强技术，我们提出的IDA算法有效地提高了知识蒸馏的准确性，通过消除秩违规。
2021-07-06 cs.AI cs.LG
Soft-Label Anonymous Gastric X-ray Image Distillation
The University of Tokyo Hospital（东京大学医院）；Graduate School of Medicine, The University of Tokyo（东京大学医学院）；Junpukai Health Maintenance Center（顺会健康体检中心）；Hokkaido University（北海道大学）
本文提出一种基于梯度下降的软标签匿名胃部X光图像蒸馏方法，通过生成微小且分布不同的蒸馏数据集并优化图像、标签和学习率，在压缩数据的同时保护隐私，提升医疗数据共享的效率与安全性。
2024-03-21 cs.CV eess.IV
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比，我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中，我们探讨了使用多实例学习（MIL）设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子，我们建议重新使用最初为袋子级别分类训练的MIL模型，以产生单个实例的可靠预测，即，尺寸为$1$的袋子。为此，我们引入了一种新的正则化策略，基于虚拟对抗训练，以改善MIL训练，并随后开发了一种知识蒸馏技术，用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究，我们证明了所提出的方法可以产生高质量的实例级预测，并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
FOLK: Fast Open-Vocabulary 3D Instance Segmentation via Label-guided Knowledge Distillation
提出FOLK方法，通过教师模型蒸馏开放词汇知识至3D学生模型，实现快速开放词汇3D实例分割，在ScanNet200上达SOTA（AP50 35.7），速度提升6-152倍。
2025-10-09 cs.CV
Synergic Adversarial Label Learning for Grading Retinal Diseases via Knowledge Distillation and Multi-task Learning
Monash University（莫纳什大学）；Airdoc；Kyushu Institute of Technology（九州工业大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）
长期以来，人们已经认识到需要用于视网膜图像分类的综合和自动筛选方法。合格的医生注释的图像是非常昂贵的，并且只有有限的数据可用于各种视网膜疾病，如年龄相关性黄斑变性（AMD）和糖尿病视网膜病变（DR）。有研究表明AMD和DR具有一些共同的特征，如出血点和渗出，但大多数分类算法只对这些疾病模型进行独立的训练。受知识蒸馏的启发，其中来自各种来源的附加监测信号有利于用少得多的数据训练鲁棒模型。我们提出了一种称为协同对抗标签学习（SALL）的方法，该方法利用语义和特征空间中的相关视网膜疾病标签作为额外的信号，并以协作的方式训练模型。在DR和AMD眼底图像分类任务上的实验表明，该方法可以显著提高模型的疾病分级精度。此外，我们进行额外的实验，以显示SALL的有效性，从医学成像应用的背景下的可靠性和可解释性方面。
2021-01-30 cs.CV
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
Deakin University（迪肯大学）；Champion Data（冠军数据公司）；Paralympics Australia（澳大利亚残奥委员会）
研究体育视频中精确事件定位问题，提出时间特征蒸馏半监督目标及Transformer Gate Shift模块，通过对齐主干特征保留关键线索，实验显示在多数据集上相比基线有显著提升，减少标注数据仍能取得良好效果。
2026-07-14 cs.CV
Knowledge Distillation for Action Anticipation via Label Smoothing
University of Padova（帕多瓦大学）；University of Catania（卡塔尼亚大学）
人类通过视觉观察和非语言线索预测不久的将来的能力对于开发需要与人交互的智能系统至关重要。一些研究领域，如人机交互（HRI），辅助生活或自动驾驶，需要预见未来的事件，以避免碰撞或帮助人们。自我中心的场景是经典的例子，其中行动预期是由于其众多的应用程序。这种具有挑战性的任务需要捕获域的隐藏结构并对其建模，以减少预测的不确定性。由于多个行动可能同样发生在未来，我们把行动预期作为一个多标签的问题，缺少标签扩展标签平滑的概念。这个想法类似于知识蒸馏过程，因为有用的信息在训练期间被注入模型。我们实现了一个基于长短期记忆（LSTM）网络的多模态框架，以总结过去的观察结果并在不同的时间步长进行预测。我们在EPIC-Kitchener和EGTEA Gaze+数据集上进行了广泛的实验，分别包括2500多个和100多个动作类。实验表明，标签平滑系统地提高了最先进的动作预测模型的性能。
2020-12-18 cs.CV cs.LG
A Graph-Augmented knowledge Distillation based Dual-Stream Vision Transformer with Region-Aware Attention for Gastrointestinal Disease Classification with Explainable AI
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出一种结合图增强知识蒸馏的双流视觉Transformer与区域感知注意力机制，用于胃肠道疾病分类，通过软标签蒸馏实现高效且准确的诊断，同时保证模型的可解释性。
2026-04-27 cs.CV eess.IV
Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation
Pohang University of Science Technology (POSTECH)（浦项科技大学）
半监督领域自适应（Semi-supervised domain adaptation，SSDA）是指在给定一个大的标注数据集的情况下，利用少量的标注样本使学习器适应新的领域。在本文中，我们提出了一种基于对的SSDA方法，该方法使用样本对自蒸馏将模型适应于目标域。每个样本对由来自标记数据集的教师样本组成（即，源或标记的目标）及其来自未标记数据集的学生样本（即，未标记的目标）。我们的方法通过在教师和学生之间传递中间风格来生成辅助特征，然后通过最小化学生和辅助特征之间的输出差异来训练模型。在培训过程中，助理逐渐弥合这两个领域之间的差异，从而使学生能够轻松地向老师学习。标准基准测试的实验结果表明，我们的方法有效地最大限度地减少了域间和域内的差异，从而实现了显着的改进，最近的方法。
2021-11-29 cs.CV
