Label-Augmented Dataset Distillation
Yonsei University（延世大学）；KAIST AI（韩国科学技术院人工智能研究院）
提出标签增强的数据集蒸馏框架LADD，通过对合成图像子采样生成密集标签，在极小存储开销下显著提升训练效率、准确率及跨架构鲁棒性。
2024-09-24 cs.AI cs.CV
Efficient One Pass Self-distillation with Zipf's Label Smoothing
MEGVII Technology（旷视科技）
自蒸馏在训练过程中利用了自身的非统一软监督，并在没有任何运行时成本的情况下提高了性能。然而，训练过程中的开销往往被忽视，然而在巨型模型时代，减少训练过程中的时间和内存开销变得越来越重要。提出了一种有效的自蒸馏方法Zipf's Label Smoothing（Zipf's LS），该方法利用网络的动态预测生成符合Zipf分布的软监督，无需使用任何对比样本或辅助参数。我们的想法来自于一个经验观察，即当网络经过适当的训练时，网络最终softmax层的输出值，在按大小排序并在样本之间取平均值后，应该遵循一个分布，让人想起自然语言词频统计中的齐普夫定律。通过在样本水平和整个训练期间强制执行此属性，我们发现可以大大提高预测精度。在INAT 21细粒度分类数据集上使用ResNet50，与vanilla基线相比，我们的技术实现了+3.61%的准确率增益，与之前的标签平滑或自蒸馏策略相比，增益增加了0.88%。该实现可在https://github.com/megvii-research/zipfls上公开获得。
2022-07-26 cs.CV
Are Large-scale Soft Labels Necessary for Large-scale Dataset Distillation?
CFAR, Agency for Science, Technology and Research, Singapore（新加坡科技研究局CFAR）；National University of Singapore（新加坡国立大学）；IHPC, Agency for Science, Technology and Research, Singapore（新加坡科技研究局IHPC）
针对大规模数据集蒸馏中软标签存储量过大的问题，提出类内组批的类内监督方法提升浓缩图像类内多样性，仅用随机剪枝即可实现40倍软标签压缩且性能提升2.6%。
2024-11-03 cs.CV
Label-guided Attention Distillation for Lane Segmentation
Megvii Technology Limited（旷视科技有限公司）；Beihang University（北京航空航天大学）
针对FCNs难以捕捉车道标记长距离上下文的问题，提出标签引导注意力蒸馏（LGAD）方法，利用教师网络提取标签结构注意力图监督学生网络，显著提升分割性能且不增加推理时间。
2023-04-04 cs.CV
The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework
China Academy of Railway Sciences（中国铁道科学研究院）；NVIDIA（英伟达）
针对视频分类知识蒸馏中蒸馏方法与师生结构关系被忽视的问题，提出弱监督分阶段蒸馏框架，融合渐进级联训练、伪标签优化和特征分布损失，提升学生模型效率与准确率。
2023-07-16 cs.CV
Unsupervised Representation Learning Meets Pseudo-Label Supervised Self-Distillation: A New Approach to Rare Disease Classification
Xiamen University（厦门大学）；Tencent Jarvis Lab（腾讯贾维斯实验室）
罕见病的特点是发病率低，往往是慢性衰弱或危及生命。由于训练样本的严重短缺，基于成像的罕见疾病分类具有挑战性。少样本学习（FSL）方法通过从常见疾病和正常对照的大基础数据集中提取可推广的先验知识并将知识转移到罕见疾病来解决这一挑战。然而，大多数现有的方法需要对基础数据集进行标记，并且没有充分利用罕见疾病的宝贵实例。为此，我们在这项工作中提出了一种新的混合方法来罕见疾病分类，具有针对上述缺点的两个关键的新颖性。首先，我们采用基于自监督对比损失的无监督表示学习（URL），从而消除标记基础数据集的开销。其次，我们将URL与伪标签监督分类相结合，以有效地对罕见疾病知识进行自升华，构成一种混合方法，该方法在基础数据集上同时利用无监督和（伪）监督学习。罕见皮肤病变分类的实验结果表明，我们的混合方法大大优于现有的FSL方法（包括那些使用完全监督的基础数据集），通过有效整合的URL和伪标签驱动的自蒸馏罕见疾病分类，从而建立了一个新的最先进的。
2021-10-09 cs.CV
Adapting Models to Signal Degradation using Distillation
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
模型压缩和知识蒸馏已成功应用于跨体系结构和跨领域的迁移学习。然而，一个关键的要求是训练样本在域之间是对应的。我们表明，在许多情况下的实际重要性，这样的对齐数据可以综合使用计算机图形管道，允许通过蒸馏领域自适应。我们应用这种技术来学习模型，用于识别低分辨率图像使用标记的高分辨率图像，非本地化的对象使用标记的本地化对象，线条画使用标记的彩色图像等各种细粒度识别数据集上的实验表明，该技术提高了识别性能的低质量的数据和节拍强基线领域自适应。最后，我们通过可视化技术的工作原理，并将其与现有的文献。
2017-08-29 cs.CV
From Knowledge Distillation to Self-Knowledge Distillation: A Unified Approach with Normalized Loss and Customized Soft Labels
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；International Digital Economy Academy (IDEA)（国际数字经济研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出统一 KD 与自 KD 的 NKD 损失及 USKD 定制软标签框架，在 ImageNet 等基准上显著提升 CNN 与 ViT 性能。
2023-07-17 cs.CV
Label Semantic Knowledge Distillation for Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）
场景图生成（SGG）任务旨在检测给定图像中的所有对象及其成对视觉关系。虽然SGG在过去几年中取得了显着的进步，但几乎所有现有的SGG模型都遵循相同的训练范式：它们将SGG中的对象和谓词分类视为单标签分类问题，并且地面事实是一个热目标标签。然而，这种流行的训练范式忽略了当前SGG数据集的两个特点：1）对于正样本，某些特定的主体-客体实例可能具有多个合理谓词。2)对于阴性样本，有许多注释缺失。无论这两个特性如何，SGG模型都容易被混淆，并做出错误的预测。为此，我们提出了一种新的模型无关的标签语义知识蒸馏（LS-KD）的无偏SGG。具体而言，LS-KD通过将预测的标签语义分布（LSD）与其原始的独热目标标签融合，为每个主体-对象实例动态地生成软标签。LSD反映了这个实例和多个谓词类别之间的相关性。同时，我们提出了两种不同的策略来预测LSD：迭代自KD和同步自KD。三个SGG任务的广泛消融和结果证明了我们提出的LS-KD的优越性和通用性，它可以在不同的谓词类别之间始终实现体面的权衡性能。
2022-08-07 cs.CV
Self Supervision to Distillation for Long-Tailed Visual Recognition
Nanjing University（南京大学）
深度学习在大规模平衡数据集上的视觉识别方面取得了显着进展，但在现实世界的长尾数据上仍然表现不佳。以往的方法通常采用类再平衡训练策略来有效缓解不平衡问题，但可能存在过拟合尾类的风险。最近的解耦方法通过使用多阶段训练方案克服了过拟合问题，然而，它仍然无法在特征学习阶段捕获尾类信息。在本文中，我们表明，软标签可以作为一个强大的解决方案，将标签相关到一个多阶段的训练计划长尾识别。软标签所体现的类之间的内在联系，有助于长尾识别，将知识从头部转移到尾部类。具体来说，我们提出了一个概念上简单但特别有效的多阶段训练计划，称为自监督蒸馏（SSD）。该方案由两部分组成。首先，我们介绍了一个自蒸馏框架的长尾识别，它可以自动挖掘标签关系。其次，提出了一种新的自监督引导的蒸馏标签生成模块。提取的标签集成了标签和数据域的信息，可以有效地建模长尾分布。我们进行了广泛的实验，我们的方法在三个长尾识别基准测试中取得了最先进的结果：ImageNet-LT，CIFAR 100-LT和iNaturalist 2018。我们的SSD在各种数据集上从$2.7\%$到$4.5\%$都优于强大的LWS基线。该代码可在https://github.com/MCG-NJU/SSD-LT上获得。
2021-09-09 cs.CV
Cross Modal Distillation for Supervision Transfer
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一种技术，从不同的方式之间的图像转移监督。我们使用从一个大的标记模态学习的表示作为监督信号，用于训练表示一个新的未标记的成对模态。我们的方法可以学习未标记模态的丰富表示，并且可以用作具有有限标记数据的新模态的预训练过程。我们展示了实验结果，其中我们将监督从标记的RGB图像转移到未标记的深度和光流图像，并展示了这些跨模态监督转移的巨大改进。代码、数据和预训练模型可在https://github.com/s-gupta/fast-rcnn/tree/distillation上获得
2015-11-25 cs.CV
Understanding the Role of Mixup in Knowledge Distillation: An Empirical Study
Arizona State University（亚利桑那州立大学）
Mixup是一种流行的数据增强技术，基于通过在两个给定数据样本之间进行线性插值来创建新样本，以提高训练模型的泛化性和鲁棒性。另一方面，知识蒸馏（KD）广泛用于模型压缩和迁移学习，其涉及使用较大网络的隐式知识来指导较小网络的学习。乍一看，这两种技术似乎非常不同，然而，我们发现“平滑”是两者之间的连接纽带，也是理解KD与mixup相互作用的关键属性。虽然已经提出了许多混淆变体和蒸馏方法，但关于混淆在知识蒸馏中的作用仍有许多有待理解。本文对混淆与知识蒸馏相容性的各个重要维度进行了详细的实证研究。我们还通过对图像分类的广泛分析、可视化和综合实验，根据知识蒸馏，仔细检查了用混合训练的网络的行为。最后，根据我们的研究结果，我们提出了改进策略，以指导学生网络，以提高其有效性。此外，本研究的结果为通常使用KD技术的研究人员和从业人员提供了有见地的建议。我们的代码可在www.example.com上获得。
2022-11-09 cs.CV
Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective
Horizon Robotics（地平线机器人）；University at Buffalo（布法罗大学）；Tsinghua University（清华大学）
知识蒸馏是一种有效的方法，利用一个训练有素的网络或他们的集合，命名为教师，指导训练的学生网络。教师网络的输出被用作软标签，用于监督新网络的训练。最近的研究\citep{muller2019does,yuan2020revisiting}揭示了软标签的一个有趣的特性，使标签变软可以作为学生网络的一个很好的正则化。从统计学习的角度来看，正则化的目的是减少方差，但是对于软标签训练，偏差和方差如何变化尚不清楚。在本文中，我们研究了软标签蒸馏带来的偏差-方差权衡。具体来说，我们观察到在训练过程中，偏差-方差权衡随样本而变化。此外，在相同的蒸馏温度设置下，我们观察到蒸馏性能与一些特定样本的数量负相关，这些特定样本被称为正则化样本，因为这些样本导致偏差增加和方差减小。然而，我们根据经验发现，完全过滤掉正则化样本也会降低蒸馏性能。我们的发现启发我们提出了新的加权软标签，以帮助网络自适应地处理样本偏差-方差权衡。在标准评测基准上的实验验证了该方法的有效性。我们的代码可在\url{https://github.com/bellymonster/Weighted-Soft-Label-Distillation}上找到。
2021-02-01 cs.CV cs.LG
FOLK: Fast Open-Vocabulary 3D Instance Segmentation via Label-guided Knowledge Distillation
提出FOLK方法，通过教师模型蒸馏开放词汇知识至3D学生模型，实现快速开放词汇3D实例分割，在ScanNet200上达SOTA（AP50 35.7），速度提升6-152倍。
2025-10-09 cs.CV
Synergic Adversarial Label Learning for Grading Retinal Diseases via Knowledge Distillation and Multi-task Learning
Monash University（莫纳什大学）；Airdoc；Kyushu Institute of Technology（九州工业大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）
长期以来，人们已经认识到需要用于视网膜图像分类的综合和自动筛选方法。合格的医生注释的图像是非常昂贵的，并且只有有限的数据可用于各种视网膜疾病，如年龄相关性黄斑变性（AMD）和糖尿病视网膜病变（DR）。有研究表明AMD和DR具有一些共同的特征，如出血点和渗出，但大多数分类算法只对这些疾病模型进行独立的训练。受知识蒸馏的启发，其中来自各种来源的附加监测信号有利于用少得多的数据训练鲁棒模型。我们提出了一种称为协同对抗标签学习（SALL）的方法，该方法利用语义和特征空间中的相关视网膜疾病标签作为额外的信号，并以协作的方式训练模型。在DR和AMD眼底图像分类任务上的实验表明，该方法可以显著提高模型的疾病分级精度。此外，我们进行额外的实验，以显示SALL的有效性，从医学成像应用的背景下的可靠性和可解释性方面。
2021-01-30 cs.CV
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
Deakin University（迪肯大学）；Champion Data（冠军数据公司）；Paralympics Australia（澳大利亚残奥委员会）
研究体育视频中精确事件定位问题，提出时间特征蒸馏半监督目标及Transformer Gate Shift模块，通过对齐主干特征保留关键线索，实验显示在多数据集上相比基线有显著提升，减少标注数据仍能取得良好效果。
2026-07-14 cs.CV
Label-Guided Knowledge Distillation for 3D-CNNs in Action Recognition
National Engineering Laboratory for Big Data Analytics (NEL-BDA)（大数据分析国家工程实验室）
针对3D-CNN动作识别中特征蒸馏忽视时间维度的问题，提出标签引导知识蒸馏（LGKD），通过样本级与类别级蒸馏学习教师特征，在UCF101和HMDB51上取得竞争力结果。
2026-09-14 cs.AI cs.CV
Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation
Pohang University of Science Technology (POSTECH)（浦项科技大学）
半监督领域自适应（Semi-supervised domain adaptation，SSDA）是指在给定一个大的标注数据集的情况下，利用少量的标注样本使学习器适应新的领域。在本文中，我们提出了一种基于对的SSDA方法，该方法使用样本对自蒸馏将模型适应于目标域。每个样本对由来自标记数据集的教师样本组成（即，源或标记的目标）及其来自未标记数据集的学生样本（即，未标记的目标）。我们的方法通过在教师和学生之间传递中间风格来生成辅助特征，然后通过最小化学生和辅助特征之间的输出差异来训练模型。在培训过程中，助理逐渐弥合这两个领域之间的差异，从而使学生能够轻松地向老师学习。标准基准测试的实验结果表明，我们的方法有效地最大限度地减少了域间和域内的差异，从而实现了显着的改进，最近的方法。
2021-11-29 cs.CV
Few-shot Class-Incremental Semantic Segmentation via Pseudo-Labeling and Knowledge Distillation
Minjiang University（闽江学院）；Wuyi University（武夷学院）；Fuzhou University（福州大学）；European University Cyprus（塞浦路斯欧洲大学）
本文针对小样本类增量语义分割提出由粗到细的伪标签策略扩充训练数据，并结合知识蒸馏保留旧类知识，在自动驾驶数据集上验证了有效性。
2023-08-05 cs.CV
A Label is Worth a Thousand Images in Dataset Distillation
Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）
本研究通过消融实验发现，数据集蒸馏方法性能优异的关键在于使用软标签而非合成技术，且软标签需含结构化信息，并提供了经验缩放定律与帕累托前沿，挑战了传统观念。
2025-01-19 cs.CV cs.LG
Exploring Generalisability of Self-Distillation with No Labels for SAR-Based Vegetation Prediction
Universitat de València（瓦伦西亚大学）；European Space Agency（欧洲空间局）；Universidad Nacional de Colombia（哥伦比亚国立大学）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Universidad de Antioquia（安蒂奥基亚大学）
本文通过在中国、Conus和欧洲三个区域的S1GRD与GSSIC数据集上预训练DINO-ViT模型，研究自监督模型嵌入空间与跨区域植被预测泛化能力的关系，发现嵌入距离越大对陌生区域误差越高。
2023-12-02 cs.CV
Enhancing Dataset Distillation via Label Inconsistency Elimination and Learning Pattern Refinement
School of Mechanical and Aerospace Engineering, NTU（南洋理工大学机械与航天工程学院）；Duke-NUS Medical School, NUS（新加坡国立大学杜克-新加坡国立大学医学院）；School of Electrical and Electronic Engineering, NTU（南洋理工大学电子与电气工程学院）
本文提出 M-DATM 方法，通过移除软标签以消除标签不一致，并缩小匹配范围以优化学习模式，在 ECCV-2024 数据蒸馏挑战赛 IPC 赛道中取得第一名。
2024-10-17 cs.CV
Rectifying Soft-Label Entangled Bias in Long-Tailed Dataset Distillation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）
ADSA通过校正长尾数据集蒸馏中的软标签纠缠偏见，显著提升尾部类别准确率和整体准确率。
2025-11-22 cs.AI cs.CV
Blind Knowledge Distillation for Robust Image Classification
Leibniz University Hannover（汉诺威莱布尼茨大学）
提出 Blind Knowledge Distillation 师生框架，通过遮蔽教师真实标签相关输出识别泛化到过拟合的临界点，并结合 Otsu 算法与加权交叉熵提升 CIFAR-N 噪声标签检测。
2022-11-21 cs.CV
Mixed Sample Augmentation for Online Distillation
OPPO Research Institute（OPPO研究院）
混合样本正则化（MSR），如MixUp或CutMix，是一种强大的数据增强策略，用于泛化卷积神经网络。先前的经验分析已经说明了MSR和传统的离线知识蒸馏（KD）之间的正交性能增益。更具体地说，在序列蒸馏的训练阶段，学生网络可以通过MSR的参与来增强。然而，MSR和在线知识蒸馏之间的相互作用，其中一个合奏的同龄学生相互学习，仍然没有探索。为了弥补这一差距，我们首次尝试将CutMix纳入在线蒸馏，在那里我们根据经验观察到显着的改进。受这一事实的鼓舞，我们提出了一个更强大的MSR专门用于在线蒸馏，命名为切\textsuperscript{n}混合。此外，一个新的在线蒸馏框架上切\textsuperscript{n}混合设计，以提高蒸馏与特征级的相互学习和自集成教师。对CIFAR10和CIFAR100的六种网络结构的综合评估表明，我们的方法可以始终优于最先进的蒸馏方法。
2023-03-02 cs.CV
Knowledge Distillation with Adaptive Asymmetric Label Sharpening for Semi-supervised Fracture Detection in Chest X-rays
PAII Inc.（PAII公司）；Chang Gung Memorial Hospital（长庚纪念医院）；Ping An Technology（平安科技）
利用可用的医疗记录通过半监督学习（SSL）设置来训练高性能计算机辅助诊断（CAD）模型正在出现，以解决大规模医学图像注释中涉及的过高的劳动力成本。尽管SSL受到广泛关注，但以前的方法未能1）解释病历中的低疾病患病率和2）利用病历中指示的图像级诊断。这两个问题都是CAD模型的SSL所独有的。在这项工作中，我们提出了一种新的知识蒸馏方法，有效地利用大规模的图像级标签提取的医疗记录，增强有限的专家注释区域级标签，训练肋骨和锁骨骨折CAD模型的胸部X射线（CXR）。我们的方法利用教师-学生模型的范例，并具有一种新的自适应非对称标签锐化（AALS）算法，以解决标签不平衡的问题，特别是在医疗领域。我们的方法对匿名医院创伤登记处9年（2008-2016年）内最常见的肋骨和锁骨骨折的所有CXR（N = 65，845）进行了广泛评价。实验结果表明，我们的方法达到了最先进的裂缝检测性能，即，肋骨骨折的受试者工作特征曲线下面积（AUROC）为0.9318，自由反应受试者工作特征（FROC）评分为0.8914，显著优于先前的方法，AUROC差距为1.63%，FROC改善3.74%。对于锁骨骨折检测也观察到一致的性能增益。
2021-02-16 cs.CV
The Emotions of the Crowd: Learning Image Sentiment from Tweets via Cross-modal Distillation
Università di Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；IIT-CNR（意大利国家研究委员会信息技术研究所）
针对社交媒体图像情感极性预测依赖人工标注训练集的问题，提出基于跨模态蒸馏的自动化方法，用文本教师模型指导视觉学生模型训练，构建约150万张的弱标注数据集，在五个基准上超越当前最优水平。
2023-04-28 cs.CV
Classifier-guided CLIP Distillation for Unsupervised Multi-label Classification
Samsung Electronics（三星电子）；KAIST（韩国科学技术院）
针对CLIP用于无监督多标签分类时存在的视图依赖预测和固有偏差问题，提出分类器引导的CLIP蒸馏方法CCD，借助分类器CAM选择目标附近多视图并对CLIP伪标签去偏，在多数据集上取得优于现有方法的效果。
2025-03-21 cs.AI cs.CV
Trust-Aware Diversion for Data-Effective Distillation
The University of Queensland（昆士兰大学）；Auckland University of Technology（奥克兰理工大学）；Jilin University（吉林大学）
本文提出信任感知分流（TAD）数据集蒸馏方法，通过迭代双环优化划分可信与不可信空间并重新校准错误标注样本，在多个错误标注场景下显著提升现有蒸馏方法性能。
2025-02-07 cs.CV
Learning from Noisy Labels with Distillation
从噪声标签中学习的能力在许多视觉识别任务中非常有用，因为大量带有噪声标签的数据相对容易获得。传统上，标签噪声被视为统计离群值，并提出了重要性重新加权和自举等方法来缓解这个问题。根据我们的观察，真实世界中的噪声标签表现出多模式特性作为真正的标签，而不是表现得像独立的随机离群值。在这项工作中，我们提出了一个统一的蒸馏框架，使用边信息，包括一个小的干净的数据集和标签关系的知识图谱，“对冲风险”的学习噪声标签。此外，与基于模拟标签噪声评估的传统方法不同，我们在体育，物种和人工制品领域提出了一套新的基准数据集，以评估在实际环境中从噪声标签中学习的任务。实证研究表明，我们提出的方法在所有领域的有效性。
2017-04-07 cs.CV cs.LG stat.ML
CrossMatch: Enhance Semi-Supervised Medical Image Segmentation with Perturbation Strategies and Knowledge Distillation
Guilin University of Electronic Technology（桂林电子科技大学）
针对半监督医学图像分割中无标注数据利用不足的问题，提出结合图像级与特征级双重扰动及自知识蒸馏的CrossMatch框架，在不增加计算成本的前提下显著提升分割精度与泛化性，性能优于现有最优方法。
2024-08-07 cs.CV
Cross Modal Distillation for Flood Extent Mapping
Google Research（谷歌研究院）
洪水的强度和频率不断增加是气候变化的诸多后果之一。在这项工作中，我们探索ML技术，提高洪水检测模块的业务预警系统。我们的方法利用成对的多光谱和合成孔径雷达（SAR）图像的未标记的数据集，以减少纯粹的监督学习方法的标记要求。以前的作品通过创建弱标签来使用未标记的数据。然而，从我们的实验中，我们注意到这样的模型最终仍然会学习那些弱标签中的标签错误。出于知识蒸馏和半监督学习的动机，我们探讨了使用教师训练学生的帮助下，一个小手标记的数据集和一个大的未标记的数据集。与传统的自蒸馏设置不同，我们提出了一个跨模态蒸馏框架，该框架将监督从在更丰富的模态（多光谱图像）上训练的教师转移到在SAR图像上训练的学生模型。然后在Sen 1Floods 11数据集上测试训练好的模型。我们的模型在弱标记SAR图像上训练的Sen 1Floods 11基线模型在测试分割上的绝对优势为6.53% Intersection-over-Union（IoU）。
2023-02-16 cs.CV cs.LG
Novel Visual Category Discovery with Dual Ranking Statistics and Mutual Knowledge Distillation
Tongji University（同济大学）；The University of Hong Kong（香港大学）；Google Research（谷歌研究院）；University of Bristol（布里斯托大学）
在本文中，我们解决了新的视觉类别发现的问题，即，通过利用包含来自其他不同但相关类别的图像的标记数据集，将来自新类别的未标记图像分组到不同的语义分区中。这是一个比传统的半监督学习更现实和更具挑战性的设置。我们提出了一个两个分支的学习框架，这个问题，一个分支专注于本地部分级别的信息和其他分支专注于整体特征。为了将知识从标记数据转移到未标记数据，我们建议在两个分支上使用双排名统计来生成伪标签，用于在未标记数据上进行训练。我们进一步引入了一个相互的知识蒸馏方法，以允许信息交换，并鼓励发现新的类别，使我们的模型享受全球和本地功能的好处的两个分支之间的协议。我们在通用对象分类的公共基准上全面评估了我们的方法，以及用于细粒度视觉识别的更具挑战性的数据集，实现了最先进的性能。
2022-01-03 cs.CV
Soft Label Pruning and Quantization for Large-Scale Dataset Distillation
CFAR, Agency for Science, Technology and Research, Singapore（新加坡科技研究局应用科学与技术研究院）；IHPC, Agency for Science, Technology and Research, Singapore（新加坡科技研究局信息与通信技术研究院）；National University of Singapore（新加坡国立大学）
本文提出LPQLD方法，通过增强图像多样性与监督多样性，减少软标签存储量并提升准确率，适用于大规模数据集蒸馏。
2026-04-20 cs.AI cs.CV cs.LG
Soft-Label Anonymous Gastric X-ray Image Distillation
The University of Tokyo Hospital（东京大学医院）；Graduate School of Medicine, The University of Tokyo（东京大学医学院）；Junpukai Health Maintenance Center（顺会健康体检中心）；Hokkaido University（北海道大学）
本文提出一种基于梯度下降的软标签匿名胃部X光图像蒸馏方法，通过生成微小且分布不同的蒸馏数据集并优化图像、标签和学习率，在压缩数据的同时保护隐私，提升医疗数据共享的效率与安全性。
2024-03-21 cs.CV eess.IV
Boosting Multi-Label Image Classification with Complementary Parallel Self-Distillation
Chongqing University（重庆大学）；San Diego State University（圣地亚哥州立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
多标签图像分类（MLIC）方法通常利用标签相关性来实现良好的性能。然而，强调相关性（如同现）可能会忽略目标本身的区别性特征，导致模型过拟合，从而破坏性能。在这项研究中，我们提出了一个通用的框架，名为并行自蒸馏（PSD），以提高MLIC模型。PSD通过共现图划分（CGP）和离散图划分（DGP）两种互补的任务分解策略，将原始MLIC任务分解为若干个较简单的MLIC子任务。然后，用这些子任务并行训练较少类别的MLIC模型，分别学习联合模式和类别特定的标签模式。最后，利用知识蒸馏来学习具有这些学习到的模式的完整类别的紧凑的全局集合，以用于调和标签相关性利用和模型过拟合。在MS-COCO和NUS-WIDE数据集上的大量结果表明，我们的框架可以很容易地插入到许多MLIC方法中，并提高了最近最先进方法的性能。可解释的视觉研究也进一步验证了我们的方法能够学习类别特定和共现特征。源代码发布于https://github.com/Robbie-Xu/CPSD。
2022-05-23 cs.AI cs.CV
Knowledge Distillation for Action Anticipation via Label Smoothing
University of Padova（帕多瓦大学）；University of Catania（卡塔尼亚大学）
人类通过视觉观察和非语言线索预测不久的将来的能力对于开发需要与人交互的智能系统至关重要。一些研究领域，如人机交互（HRI），辅助生活或自动驾驶，需要预见未来的事件，以避免碰撞或帮助人们。自我中心的场景是经典的例子，其中行动预期是由于其众多的应用程序。这种具有挑战性的任务需要捕获域的隐藏结构并对其建模，以减少预测的不确定性。由于多个行动可能同样发生在未来，我们把行动预期作为一个多标签的问题，缺少标签扩展标签平滑的概念。这个想法类似于知识蒸馏过程，因为有用的信息在训练期间被注入模型。我们实现了一个基于长短期记忆（LSTM）网络的多模态框架，以总结过去的观察结果并在不同的时间步长进行预测。我们在EPIC-Kitchener和EGTEA Gaze+数据集上进行了广泛的实验，分别包括2500多个和100多个动作类。实验表明，标签平滑系统地提高了最先进的动作预测模型的性能。
2020-12-18 cs.CV cs.LG
D3O: Dynamic Distribution Distillation for Ordinal Regression
Zhejiang University（浙江大学）
针对序数回归中因主观标注产生的问题，提出D3O动态分布蒸馏框架，通过自蒸馏用序数标签分布的训练驱动演化取代静态监督，引入对比序数感知标签增强模块和基于CDF的跨层交互蒸馏机制，实验证明其优于现有方法。
2026-07-28 cs.AI cs.CV
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比，我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中，我们探讨了使用多实例学习（MIL）设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子，我们建议重新使用最初为袋子级别分类训练的MIL模型，以产生单个实例的可靠预测，即，尺寸为$1$的袋子。为此，我们引入了一种新的正则化策略，基于虚拟对抗训练，以改善MIL训练，并随后开发了一种知识蒸馏技术，用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究，我们证明了所提出的方法可以产生高质量的实例级预测，并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
Selective Cross-Task Distillation
Nanjing University（南京大学）
各种预训练模型的大量涌现为知识蒸馏提供了丰富的教师资源，但缺乏一个成熟的机制来充分利用这些教师。有了一个由经过不同任务培训的教师组成的庞大的模型库，我们在使用知识蒸馏学习新任务时必须克服两个障碍。首先，给定一个固定的计算预算，它是负担不起的尝试每个教师和训练学生反复，使之有必要寻找最有贡献的教师准确和有效。第二，由于教师和目标学生接受的培训任务不同，他们之间存在语义差距。因此，我们需要从一个可能与学生不同的一般标签空间中提取知识。面对这两个挑战，我们研究了一个新的设置命名为选择性跨任务蒸馏，包括教师评价和广义知识重用。我们通过最优传输将教师的标签空间和学生的标签空间连接起来。从教师的预测到学生的预测的运输成本测量两个任务之间的相关性，并作为蒸馏的目标。我们的方法重用来自不同标签空间的跨任务知识，并在不枚举模型库的情况下有效地评估教师。实验证明了该方法的有效性。
2022-09-28 cs.CV cs.LG
Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study
CMU（卡内基梅隆大学）；HKUST（香港科技大学）；Peking University（北京大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
这项工作的目的是实证澄清最近发现的观点，标签平滑是不兼容的知识蒸馏。我们首先介绍如何提出这种不兼容性背后的动机，即，标签平滑擦除教师日志之间的相关信息。我们提供了一个新的连接标签平滑如何影响语义相似和不相似的类的分布。然后，我们提出了一个度量标准来定量衡量删除的信息在样本的表示的程度。然后，通过对图像分类、二进制网络和神经机器翻译的大量分析、可视化和综合实验，研究了不相容观的片面性和不完善性。最后，我们广泛地讨论了几种情况下，标签平滑确实会失去其有效性。项目页面：http://zhiqiangshen.com/projects/LS_and_KD/index.html。
2021-04-01 cs.AI cs.CL cs.CV
Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
University of Alberta（阿尔伯塔大学）
针对弱监督组织病理学图像分割难题，提出基于MIL伪标签的迭代融合知识蒸馏框架，通过师生模型动态角色互换与加权损失优化，在公开数据集上显著提升现有MIL分割方法性能并达到新SOTA。
2024-07-14 cs.CV cs.LG
Multi-Label Knowledge Distillation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）；RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目研究中心）；The University of Tokyo（东京大学）
针对多标签场景预测概率和不为1及特征图易忽略次要类别的问题，提出一种多标签知识蒸馏方法，通过将问题拆分为二元分类并利用标签级嵌入结构信息，有效避免标签间知识抵消并提升性能。
2023-08-12 cs.AI cs.CV cs.LG
An Empirical Analysis of the Impact of Data Augmentation on Knowledge Distillation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
使用经验风险最小化训练的深度学习模型的泛化性能可以通过使用数据增强策略（如简单转换）或使用混合样本来显著提高。我们试图实证分析的影响，这种策略的教师和学生之间的模型的蒸馏设置的泛化转移。我们观察到，如果教师使用任何混合样本增强策略（如MixUp或CutMix）进行训练，则从中提取的学生模型的泛化能力会受损。我们假设这样的策略限制了模型学习特定于示例的特征的能力，导致在蒸馏过程中监督信号的质量损失。我们提出了一种新的类歧视度量定量测量这种二分法的性能，并将其链接到网络的潜在空间上的不同策略引起的歧视能力。
2020-06-09 cs.AI cs.CV cs.LG
Robust Noisy Label Learning via Two-Stream Sample Distillation
针对噪声标签学习问题，提出名为TSSD的双流样本蒸馏框架，通过PSD和MSP两个模块从噪声训练集中蒸馏高质量样本，在四个基准数据集上取得了当前最优的效果。
2024-04-16 cs.AI cs.CV
Federated Learning with Label-Masking Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, UCAS（中国科学院大学网络空间安全学院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
针对联邦学习中的标签分布倾斜问题，提出标签掩码蒸馏方法 FedLMD，通过屏蔽多数标签预测使全局模型专注保留少数标签知识，并设计无需额外教师的轻量级变体 FedLMD-Tf，实现最优性能。
2024-09-20 cs.CR cs.CV cs.LG
Interpret the Predictions of Deep Networks via Re-Label Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出一种基于重标签蒸馏的自监督方法，通过在 VAE 子空间生成合成图像并训练线性学生模型近似深度网络标注，直观解释黑盒网络预测的局部分类机制。
2024-09-20 cs.AI cs.CR cs.CV
Unifying Dataset Pruning and Distillation for Efficient Large-scale Compression
University of Science and Technology of China（中国科学技术大学）
本文提出一个统一的数据集压缩基准，探讨数据集剪枝与蒸馏的收敛趋势，发现软标签蒸馏在小数据集上表现不如剪枝，提出基于硬标签的数据集压缩方法，通过PCA框架提升图像质量和存储效率。
2026-06-04 cs.CV cs.LG
Distill-2MD-MTL: Data Distillation based on Multi-Dataset Multi-Domain Multi-Task Frame Work to Solve Face Related Tasksks, Multi Task Learning, Semi-Supervised Learning
Seoul National University（首尔大学）
提出了一种基于多任务学习和数据蒸馏的人脸相关任务半监督学习方法。所提出的方法利用具有不同标签的多个数据集来执行不同但相关的任务，例如同时进行年龄，性别，种族，面部表情估计。具体来说，当多个相关任务中只有少数标记良好的数据时，我们利用不同领域中其他相关任务的标签。我们的方法是由（1）一个新的MTL方法，可以处理弱标记的数据集，并同时执行多个任务，（2）MTL为基础的数据蒸馏框架，使网络泛化的训练和测试数据从不同的领域。实验表明，所提出的多任务系统执行每个任务比基线单任务。它还表明，使用不同的域数据集与主数据集可以提高网络的泛化能力，克服数据集之间的域差异。此外，比较基线和MTL框架上的数据蒸馏，后者对来自不同领域的未标记数据显示出更准确的预测。此外，通过提出一种新的学习率优化方法，我们提出的网络能够动态调整其学习率。
2019-07-09 cs.CV cs.LG
Adversary-Aware Partial label learning with Label distillation
University of Technology Sydney（悉尼科技大学）；A*STAR Centre for Frontier AI Research（新加坡科技研究局前沿人工智能研究中心）
针对高比例噪声部分标签学习问题，提出对抗感知部分标签学习方法并引入竞争标签，结合动量内对抗教师消歧算法获得一致的分类器和风险函数，在多个数据集上取得优异结果。
2023-04-02 cs.CV cs.LG
Knowledge Distillation from Cross Teaching Teachers for Efficient Semi-Supervised Abdominal Organ Segmentation in CT
Armed Forces Yangju Hospital（杨州武装部队医院）；Seoul National University（首尔国立大学）
对于用于医学图像分割的深度学习模型的更多临床应用，必须解决对标记数据和计算资源的高要求。该研究提出了一个由粗到细的框架，其中包含两个教师模型和一个学生模型，该框架结合了知识蒸馏和交叉教学，基于伪标签的一致性正则化，用于有效的半监督学习。在MICCAI FLARE 2022挑战下，在CT图像中的腹部多器官分割任务上证明了所提出的方法，验证集和测试集中的平均Dice分数分别为0.8429和0.8520。
2022-11-11 cs.CV eess.IV
Multitask Emotion Recognition Model with Knowledge Distillation and Task Discriminator
Kookmin University（国民大学）
由于大数据的收集和深度学习的发展，预测野外人类情绪的研究正在积极进行。我们设计了一个多任务模型，使用ABAW数据集，预测效价唤醒，表情和行动单位，通过音频数据和人脸图像在现实世界中。利用知识蒸馏技术对不完全标注进行训练。教师模型采用监督学习方法进行训练，学生模型采用教师模型的输出作为软标签进行训练。因此，我们在多任务学习任务验证数据集中获得了2.40。
2022-03-24 cs.CV eess.IV
Revisiting Knowledge Distillation via Label Smoothing Regularization
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
知识蒸馏（KD）旨在将繁琐的教师模型中的知识蒸馏成轻量级的学生模型。它的成功通常归因于教师模型提供的类别之间相似性的特权信息，从这个意义上说，只有强大的教师模型才能在实践中教授较弱的学生。在这项工作中，我们通过以下实验观察来挑战这种普遍的信念：1）除了承认教师可以提高学生之外，学生也可以通过逆转KD程序来显着提高教师; 2）一个训练不足的教师，准确性比学生低得多，仍然可以显着提高后者。为了解释这些观察结果，我们提供了KD和标签平滑正则化之间的关系的理论分析。我们证明了1）KD是一种学习的标签平滑正则化，2）标签平滑正则化为KD提供了一个虚拟的教师模型。从这些结果中，我们认为KD的成功并不完全是由于教师的类别之间的相似性信息，但也要正则化的软目标，这是同样重要，甚至更重要。基于这些分析，我们进一步提出了一种新的无教师知识蒸馏（Tf-KD）框架，其中学生模型从自身或手动设计的正则化分布中学习。Tf-KD实现了与来自优秀教师的正常KD相当的性能，这在更强的教师模型不可用时很好地应用。同时，Tf-KD是通用的，可以直接用于训练深度神经网络。在没有任何额外计算成本的情况下，Tf-KD在ImageNet上实现了0.65%的改进，优于标签平滑正则化。
2021-03-04 cs.CV cs.LG
Incomplete Multi-View Multi-Label Classification via Shared Codebook and Fused-Teacher Self-Distillation
College of Information Engineering, Shanghai Maritime University（上海海事大学信息工程学院）；School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院）
本文提出一种结构化机制，通过多视图共享代码本和跨视图重建学习一致表示，并设计权重估计方法和融合教师自蒸馏框架，以提升缺失标签条件下的模型泛化能力。
2026-04-05 cs.AI cs.CV
