Boosting Multi-Label Image Classification with Complementary Parallel Self-Distillation
Chongqing University(重庆大学);San Diego State University(圣地亚哥州立大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
多标签图像分类(MLIC)方法通常利用标签相关性来实现良好的性能。然而,强调相关性(如同现)可能会忽略目标本身的区别性特征,导致模型过拟合,从而破坏性能。在这项研究中,我们提出了一个通用的框架,名为并行自蒸馏(PSD),以提高MLIC模型。PSD通过共现图划分(CGP)和离散图划分(DGP)两种互补的任务分解策略,将原始MLIC任务分解为若干个较简单的MLIC子任务。然后,用这些子任务并行训练较少类别的MLIC模型,分别学习联合模式和类别特定的标签模式。最后,利用知识蒸馏来学习具有这些学习到的模式的完整类别的紧凑的全局集合,以用于调和标签相关性利用和模型过拟合。在MS-COCO和NUS-WIDE数据集上的大量结果表明,我们的框架可以很容易地插入到许多MLIC方法中,并提高了最近最先进方法的性能。可解释的视觉研究也进一步验证了我们的方法能够学习类别特定和共现特征。源代码发布于https://github.com/Robbie-Xu/CPSD。
2022-05-23 cs.AI cs.CV
Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective
Horizon Robotics(地平线机器人);University at Buffalo(布法罗大学);Tsinghua University(清华大学)
知识蒸馏是一种有效的方法,利用一个训练有素的网络或他们的集合,命名为教师,指导训练的学生网络。教师网络的输出被用作软标签,用于监督新网络的训练。最近的研究\citep{muller2019does,yuan2020revisiting}揭示了软标签的一个有趣的特性,使标签变软可以作为学生网络的一个很好的正则化。从统计学习的角度来看,正则化的目的是减少方差,但是对于软标签训练,偏差和方差如何变化尚不清楚。在本文中,我们研究了软标签蒸馏带来的偏差-方差权衡。具体来说,我们观察到在训练过程中,偏差-方差权衡随样本而变化。此外,在相同的蒸馏温度设置下,我们观察到蒸馏性能与一些特定样本的数量负相关,这些特定样本被称为正则化样本,因为这些样本导致偏差增加和方差减小。然而,我们根据经验发现,完全过滤掉正则化样本也会降低蒸馏性能。我们的发现启发我们提出了新的加权软标签,以帮助网络自适应地处理样本偏差-方差权衡。在标准评测基准上的实验验证了该方法的有效性。我们的代码可在\url{https://github.com/bellymonster/Weighted-Soft-Label-Distillation}上找到。
2021-02-01 cs.CV cs.LG
D3O: Dynamic Distribution Distillation for Ordinal Regression
Zhejiang University(浙江大学)
针对序数回归中因主观标注产生的问题,提出D3O动态分布蒸馏框架,通过自蒸馏用序数标签分布的训练驱动演化取代静态监督,引入对比序数感知标签增强模块和基于CDF的跨层交互蒸馏机制,实验证明其优于现有方法。
2026-07-28 cs.AI cs.CV
Revisiting Knowledge Distillation for Object Detection
Huawei Technologies Canada Co Ltd.(加拿大华为技术有限公司)
用于目标检测提取的现有解决方案依赖于教师模型和地面实况标签两者的可用性。我们提出了一个新的视角来放松这一约束。在我们的框架中,学生首先使用教师生成的伪标签进行训练,然后使用标记数据(如果有的话)进行微调。大量的实验表明,改进现有的目标检测蒸馏算法。此外,在这个框架中将教师和地面实况蒸馏解耦提供了有趣的特性,例如:作为1)使用未标记的数据来进一步提高学生的表现,2)组合不同架构的多个教师模型,甚至具有不同的对象类别,以及3)减少对标记数据的需求(只有20%的COCO标签,这种方法实现了与在整个标签集上训练的模型相同的性能)。此外,这种方法的副产品是领域自适应的潜在用途。我们通过大量的实验验证这些属性。
2021-05-22 cs.CV
Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study
CMU(卡内基梅隆大学);HKUST(香港科技大学);Peking University(北京大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
这项工作的目的是实证澄清最近发现的观点,标签平滑是不兼容的知识蒸馏。我们首先介绍如何提出这种不兼容性背后的动机,即,标签平滑擦除教师日志之间的相关信息。我们提供了一个新的连接标签平滑如何影响语义相似和不相似的类的分布。然后,我们提出了一个度量标准来定量衡量删除的信息在样本的表示的程度。然后,通过对图像分类、二进制网络和神经机器翻译的大量分析、可视化和综合实验,研究了不相容观的片面性和不完善性。最后,我们广泛地讨论了几种情况下,标签平滑确实会失去其有效性。项目页面:http://zhiqiangshen.com/projects/LS_and_KD/index.html。
2021-04-01 cs.AI cs.CL cs.CV
Multi-Label Knowledge Distillation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanyang Technological University(南洋理工大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究所先进智能项目研究中心);The University of Tokyo(东京大学)
针对多标签场景预测概率和不为1及特征图易忽略次要类别的问题,提出一种多标签知识蒸馏方法,通过将问题拆分为二元分类并利用标签级嵌入结构信息,有效避免标签间知识抵消并提升性能。
2023-08-12 cs.AI cs.CV cs.LG
Robust Noisy Label Learning via Two-Stream Sample Distillation
针对噪声标签学习问题,提出名为TSSD的双流样本蒸馏框架,通过PSD和MSP两个模块从噪声训练集中蒸馏高质量样本,在四个基准数据集上取得了当前最优的效果。
2024-04-16 cs.AI cs.CV
Vector-Quantized Soft Label Compression for Dataset Distillation
Vanderbilt University(范德比大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种向量量化自动编码器,用于压缩数据集蒸馏中的软标签,实现显著压缩并保持性能。
2026-03-04 cs.CV
A Label is Worth a Thousand Images in Dataset Distillation
Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
本研究通过消融实验发现,数据集蒸馏方法性能优异的关键在于使用软标签而非合成技术,且软标签需含结构化信息,并提供了经验缩放定律与帕累托前沿,挑战了传统观念。
2025-01-19 cs.CV cs.LG
Federated Learning with Label-Masking Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, UCAS(中国科学院大学网络空间安全学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
针对联邦学习中的标签分布倾斜问题,提出标签掩码蒸馏方法 FedLMD,通过屏蔽多数标签预测使全局模型专注保留少数标签知识,并设计无需额外教师的轻量级变体 FedLMD-Tf,实现最优性能。
2024-09-20 cs.CR cs.CV cs.LG
Label-Consistent Dataset Distillation with Detector-Guided Refinement
University of Toyama(东浓大学);Hokkaido University(北海道大学);Niigata University(新潟大学);Toyohashi University of Technology(toyohashi技术大学)
本文提出一种检测器引导的数据集蒸馏方法,通过利用预训练检测器识别并精修异常合成样本,提升数据集的标签一致性和图像质量,实现更优的下游性能。
2026-02-18 cs.CV
Learning from Noisy Labels with Distillation
从噪声标签中学习的能力在许多视觉识别任务中非常有用,因为大量带有噪声标签的数据相对容易获得。传统上,标签噪声被视为统计离群值,并提出了重要性重新加权和自举等方法来缓解这个问题。根据我们的观察,真实世界中的噪声标签表现出多模式特性作为真正的标签,而不是表现得像独立的随机离群值。在这项工作中,我们提出了一个统一的蒸馏框架,使用边信息,包括一个小的干净的数据集和标签关系的知识图谱,“对冲风险”的学习噪声标签。此外,与基于模拟标签噪声评估的传统方法不同,我们在体育,物种和人工制品领域提出了一套新的基准数据集,以评估在实际环境中从噪声标签中学习的任务。实证研究表明,我们提出的方法在所有领域的有效性。
2017-04-07 cs.CV cs.LG stat.ML
Heavy Labels Out! Dataset Distillation with Label Space Lightening
National University of Singapore(新加坡国立大学)
针对现有数据集蒸馏方法依赖海量软标签导致存储开销高的问题,提出HeLlO标签轻量化框架,通过基础模型加类LoRA微调构建图像到标签投影器在线生成标签,大幅降低存储需求且性能持平SOTA。
2024-08-15 cs.CV
Make a Strong Teacher with Label Assistance: A Novel Knowledge Distillation Approach for Semantic Segmentation
Fudan University(复旦大学);Bosch Corporate Research(博世企业研究中心);Mogo.ai Information and Technology Co., Ltd(摩技人工智能信息技术有限公司)
提出一种无需复杂教师模型或额外传感器信息的标签辅助蒸馏方法,通过向标签添加噪声并融入输入训练轻量级教师,配合双路径一致性策略,在多个数据集和模型上验证了有效性和泛化性。
2024-07-18 cs.CV
Knowledge Distillation for Semantic Segmentation: A Label Space Unification Approach
University of the Bundeswehr Munich(慕尼黑联邦国防军大学)
提出一种知识蒸馏方法统一语义分割标签空间,通过教师模型生成约束伪标签训练学生模型,在城市和越野驾驶领域超越教师,构建最大自动驾驶复合数据集。
2025-02-26 cs.CV
Incomplete Multi-View Multi-Label Classification via Shared Codebook and Fused-Teacher Self-Distillation
College of Information Engineering, Shanghai Maritime University(上海海事大学信息工程学院);School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院)
本文提出一种结构化机制,通过多视图共享代码本和跨视图重建学习一致表示,并设计权重估计方法和融合教师自蒸馏框架,以提升缺失标签条件下的模型泛化能力。
2026-04-05 cs.AI cs.CV
Efficient One Pass Self-distillation with Zipf's Label Smoothing
MEGVII Technology(旷视科技)
自蒸馏在训练过程中利用了自身的非统一软监督,并在没有任何运行时成本的情况下提高了性能。然而,训练过程中的开销往往被忽视,然而在巨型模型时代,减少训练过程中的时间和内存开销变得越来越重要。提出了一种有效的自蒸馏方法Zipf's Label Smoothing(Zipf's LS),该方法利用网络的动态预测生成符合Zipf分布的软监督,无需使用任何对比样本或辅助参数。我们的想法来自于一个经验观察,即当网络经过适当的训练时,网络最终softmax层的输出值,在按大小排序并在样本之间取平均值后,应该遵循一个分布,让人想起自然语言词频统计中的齐普夫定律。通过在样本水平和整个训练期间强制执行此属性,我们发现可以大大提高预测精度。在INAT 21细粒度分类数据集上使用ResNet50,与vanilla基线相比,我们的技术实现了+3.61%的准确率增益,与之前的标签平滑或自蒸馏策略相比,增益增加了0.88%。该实现可在https://github.com/megvii-research/zipfls上公开获得。
2022-07-26 cs.CV
PHI-S: Distribution Balancing for Label-Free Multi-Teacher Distillation
NVIDIA(英伟达)
针对无标签异构多教师知识蒸馏中的教师激活分布失配问题,本文提出基于 Hadamard 矩阵的各向同性 PHI-S 标准化方法,并在多种方法中取得最佳学生模型。
2024-10-02 cs.AI cs.CV cs.LG
Are Large-scale Soft Labels Necessary for Large-scale Dataset Distillation?
CFAR, Agency for Science, Technology and Research, Singapore(新加坡科技研究局CFAR);National University of Singapore(新加坡国立大学);IHPC, Agency for Science, Technology and Research, Singapore(新加坡科技研究局IHPC)
针对大规模数据集蒸馏中软标签存储量过大的问题,提出类内组批的类内监督方法提升浓缩图像类内多样性,仅用随机剪枝即可实现40倍软标签压缩且性能提升2.6%。
2024-11-03 cs.CV
Label-guided Attention Distillation for Lane Segmentation
Megvii Technology Limited(旷视科技有限公司);Beihang University(北京航空航天大学)
针对FCNs难以捕捉车道标记长距离上下文的问题,提出标签引导注意力蒸馏(LGAD)方法,利用教师网络提取标签结构注意力图监督学生网络,显著提升分割性能且不增加推理时间。
2023-04-04 cs.CV
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);IBM Research(IBM研究院)
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比,我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中,我们探讨了使用多实例学习(MIL)设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子,我们建议重新使用最初为袋子级别分类训练的MIL模型,以产生单个实例的可靠预测,即,尺寸为$1$的袋子。为此,我们引入了一种新的正则化策略,基于虚拟对抗训练,以改善MIL训练,并随后开发了一种知识蒸馏技术,用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究,我们证明了所提出的方法可以产生高质量的实例级预测,并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
A Fast Knowledge Distillation Framework for Visual Recognition
CMU(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
虽然知识蒸馏(KD)已被认为是许多视觉任务中的有用工具,如监督分类和自监督表示学习,但普通KD框架的主要缺点是其机制,该机制消耗了通过巨型教师网络转发的大部分计算开销,使得整个学习过程效率低下且成本高昂。最近提出的解决方案ReLabel建议为整个图像创建标签映射。在训练过程中,它通过在预先生成的整个标签映射上对齐RoI来接收裁剪的区域级标签,从而无需多次通过教师即可实现高效的监督生成。然而,由于KD教师来自传统的多作物培训,在该技术中,存在各种全球标签地图和区域级标签之间的不匹配,导致性能恶化。在这项研究中,我们提出了一个快速知识蒸馏(FKD)框架,该框架复制了蒸馏训练阶段,并使用多作物KD方法生成软标签,同时训练速度比ReLabel更快,因为没有使用RoI对齐和softmax操作等后处理。当在同一图像中进行多裁剪以进行数据加载时,我们的FKD甚至比传统的图像分类框架更有效。在ImageNet-1 K上,我们使用ResNet-50获得了79.8%,比ReLabel快了约1.0%。在自监督学习任务上,我们也证明了FKD具有效率优势。我们的项目页面:http://zhiqiangshen.com/projects/FKD/index.html,源代码和模型可以在https://github.com/szq0214/FKD上找到。
2021-12-02 cs.AI cs.CV cs.LG
Cross Modal Distillation for Flood Extent Mapping
Google Research(谷歌研究院)
洪水的强度和频率不断增加是气候变化的诸多后果之一。在这项工作中,我们探索ML技术,提高洪水检测模块的业务预警系统。我们的方法利用成对的多光谱和合成孔径雷达(SAR)图像的未标记的数据集,以减少纯粹的监督学习方法的标记要求。以前的作品通过创建弱标签来使用未标记的数据。然而,从我们的实验中,我们注意到这样的模型最终仍然会学习那些弱标签中的标签错误。出于知识蒸馏和半监督学习的动机,我们探讨了使用教师训练学生的帮助下,一个小手标记的数据集和一个大的未标记的数据集。与传统的自蒸馏设置不同,我们提出了一个跨模态蒸馏框架,该框架将监督从在更丰富的模态(多光谱图像)上训练的教师转移到在SAR图像上训练的学生模型。然后在Sen 1Floods 11数据集上测试训练好的模型。我们的模型在弱标记SAR图像上训练的Sen 1Floods 11基线模型在测试分割上的绝对优势为6.53% Intersection-over-Union(IoU)。
2023-02-16 cs.CV cs.LG
The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework
China Academy of Railway Sciences(中国铁道科学研究院);NVIDIA(英伟达)
针对视频分类知识蒸馏中蒸馏方法与师生结构关系被忽视的问题,提出弱监督分阶段蒸馏框架,融合渐进级联训练、伪标签优化和特征分布损失,提升学生模型效率与准确率。
2023-07-16 cs.CV
Unsupervised Representation Learning Meets Pseudo-Label Supervised Self-Distillation: A New Approach to Rare Disease Classification
Xiamen University(厦门大学);Tencent Jarvis Lab(腾讯贾维斯实验室)
罕见病的特点是发病率低,往往是慢性衰弱或危及生命。由于训练样本的严重短缺,基于成像的罕见疾病分类具有挑战性。少样本学习(FSL)方法通过从常见疾病和正常对照的大基础数据集中提取可推广的先验知识并将知识转移到罕见疾病来解决这一挑战。然而,大多数现有的方法需要对基础数据集进行标记,并且没有充分利用罕见疾病的宝贵实例。为此,我们在这项工作中提出了一种新的混合方法来罕见疾病分类,具有针对上述缺点的两个关键的新颖性。首先,我们采用基于自监督对比损失的无监督表示学习(URL),从而消除标记基础数据集的开销。其次,我们将URL与伪标签监督分类相结合,以有效地对罕见疾病知识进行自升华,构成一种混合方法,该方法在基础数据集上同时利用无监督和(伪)监督学习。罕见皮肤病变分类的实验结果表明,我们的混合方法大大优于现有的FSL方法(包括那些使用完全监督的基础数据集),通过有效整合的URL和伪标签驱动的自蒸馏罕见疾病分类,从而建立了一个新的最先进的。
2021-10-09 cs.CV
Soft-Label Anonymous Gastric X-ray Image Distillation
The University of Tokyo Hospital(东京大学医院);Graduate School of Medicine, The University of Tokyo(东京大学医学院);Junpukai Health Maintenance Center(顺会健康体检中心);Hokkaido University(北海道大学)
本文提出一种基于梯度下降的软标签匿名胃部X光图像蒸馏方法,通过生成微小且分布不同的蒸馏数据集并优化图像、标签和学习率,在压缩数据的同时保护隐私,提升医疗数据共享的效率与安全性。
2024-03-21 cs.CV eess.IV
Multi-Label Image Classification via Knowledge Distillation from Weakly-Supervised Detection
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong(香港中文大学-商汤联合实验室);SenseTime Research(商汤科技研究院)
多标签图像分类是一个基本的,但具有挑战性的任务,对一般的视觉理解。现有的方法发现了区域级线索(例如,来自RoI的特征)可以促进多标签分类。然而,这样的方法通常需要费力的对象级注释(即,对象标签和边界框),用于有效学习对象级视觉特征。在本文中,我们提出了一种新的,有效的深度框架,以提高多标签分类,从弱监督检测任务中提取知识,没有限界框注释。具体而言,给定图像级注释,(1)我们首先开发一个弱监督检测(WSD)模型,然后(2)构建一个端到端的多标签图像分类框架,该框架由知识蒸馏模块增强,该模块根据整个图像的类级预测和对象ROI的对象级视觉特征,通过WSD模型指导分类模型。WSD模型是教师模型,分类模型是学生模型。在这种跨任务知识蒸馏之后,分类模型的性能得到显著改善,并且由于WSD模型可以在测试阶段安全地丢弃,因此保持了效率。在两个大规模数据集(MS-COCO和NUS-WIDE)上的实验表明,我们的框架在性能和效率方面都优于现有的方法。
2019-02-21 cs.AI cs.CV cs.LG
Towards Generalized Multi-stage Clustering: Multi-view Self-distillation
Nankai University(南开大学);Xingchuang Haihe Laboratory(兴创海河实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Stony Brook University(石溪大学)
针对多阶段聚类中过度自信伪标签导致偏差累积的问题,提出引入多视图自蒸馏的DistilMVC框架,通过对比学习挖语义、互信息取伪标签、教师网络蒸馏暗知识监督学生网络,提升聚类性能与泛化鲁棒性。
2023-12-16 cs.AI cs.CV
Adapting Models to Signal Degradation using Distillation
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
模型压缩和知识蒸馏已成功应用于跨体系结构和跨领域的迁移学习。然而,一个关键的要求是训练样本在域之间是对应的。我们表明,在许多情况下的实际重要性,这样的对齐数据可以综合使用计算机图形管道,允许通过蒸馏领域自适应。我们应用这种技术来学习模型,用于识别低分辨率图像使用标记的高分辨率图像,非本地化的对象使用标记的本地化对象,线条画使用标记的彩色图像等各种细粒度识别数据集上的实验表明,该技术提高了识别性能的低质量的数据和节拍强基线领域自适应。最后,我们通过可视化技术的工作原理,并将其与现有的文献。
2017-08-29 cs.CV
From Knowledge Distillation to Self-Knowledge Distillation: A Unified Approach with Normalized Loss and Customized Soft Labels
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);International Digital Economy Academy (IDEA)(国际数字经济研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出统一 KD 与自 KD 的 NKD 损失及 USKD 定制软标签框架,在 ImageNet 等基准上显著提升 CNN 与 ViT 性能。
2023-07-17 cs.CV
Label Semantic Knowledge Distillation for Unbiased Scene Graph Generation
Zhejiang University(浙江大学);Columbia University(哥伦比亚大学)
场景图生成(SGG)任务旨在检测给定图像中的所有对象及其成对视觉关系。虽然SGG在过去几年中取得了显着的进步,但几乎所有现有的SGG模型都遵循相同的训练范式:它们将SGG中的对象和谓词分类视为单标签分类问题,并且地面事实是一个热目标标签。然而,这种流行的训练范式忽略了当前SGG数据集的两个特点:1)对于正样本,某些特定的主体-客体实例可能具有多个合理谓词。2)对于阴性样本,有许多注释缺失。无论这两个特性如何,SGG模型都容易被混淆,并做出错误的预测。为此,我们提出了一种新的模型无关的标签语义知识蒸馏(LS-KD)的无偏SGG。具体而言,LS-KD通过将预测的标签语义分布(LSD)与其原始的独热目标标签融合,为每个主体-对象实例动态地生成软标签。LSD反映了这个实例和多个谓词类别之间的相关性。同时,我们提出了两种不同的策略来预测LSD:迭代自KD和同步自KD。三个SGG任务的广泛消融和结果证明了我们提出的LS-KD的优越性和通用性,它可以在不同的谓词类别之间始终实现体面的权衡性能。
2022-08-07 cs.CV
Self Supervision to Distillation for Long-Tailed Visual Recognition
Nanjing University(南京大学)
深度学习在大规模平衡数据集上的视觉识别方面取得了显着进展,但在现实世界的长尾数据上仍然表现不佳。以往的方法通常采用类再平衡训练策略来有效缓解不平衡问题,但可能存在过拟合尾类的风险。最近的解耦方法通过使用多阶段训练方案克服了过拟合问题,然而,它仍然无法在特征学习阶段捕获尾类信息。在本文中,我们表明,软标签可以作为一个强大的解决方案,将标签相关到一个多阶段的训练计划长尾识别。软标签所体现的类之间的内在联系,有助于长尾识别,将知识从头部转移到尾部类。具体来说,我们提出了一个概念上简单但特别有效的多阶段训练计划,称为自监督蒸馏(SSD)。该方案由两部分组成。首先,我们介绍了一个自蒸馏框架的长尾识别,它可以自动挖掘标签关系。其次,提出了一种新的自监督引导的蒸馏标签生成模块。提取的标签集成了标签和数据域的信息,可以有效地建模长尾分布。我们进行了广泛的实验,我们的方法在三个长尾识别基准测试中取得了最先进的结果:ImageNet-LT,CIFAR 100-LT和iNaturalist 2018。我们的SSD在各种数据集上从$2.7\%$到$4.5\%$都优于强大的LWS基线。该代码可在https://github.com/MCG-NJU/SSD-LT上获得。
2021-09-09 cs.CV
Cross Modal Distillation for Supervision Transfer
University of California, Berkeley(加州大学伯克利分校)
在这项工作中,我们提出了一种技术,从不同的方式之间的图像转移监督。我们使用从一个大的标记模态学习的表示作为监督信号,用于训练表示一个新的未标记的成对模态。我们的方法可以学习未标记模态的丰富表示,并且可以用作具有有限标记数据的新模态的预训练过程。我们展示了实验结果,其中我们将监督从标记的RGB图像转移到未标记的深度和光流图像,并展示了这些跨模态监督转移的巨大改进。代码、数据和预训练模型可在https://github.com/s-gupta/fast-rcnn/tree/distillation上获得
2015-11-25 cs.CV
Knowledge Distillation for Action Anticipation via Label Smoothing
University of Padova(帕多瓦大学);University of Catania(卡塔尼亚大学)
人类通过视觉观察和非语言线索预测不久的将来的能力对于开发需要与人交互的智能系统至关重要。一些研究领域,如人机交互(HRI),辅助生活或自动驾驶,需要预见未来的事件,以避免碰撞或帮助人们。自我中心的场景是经典的例子,其中行动预期是由于其众多的应用程序。这种具有挑战性的任务需要捕获域的隐藏结构并对其建模,以减少预测的不确定性。由于多个行动可能同样发生在未来,我们把行动预期作为一个多标签的问题,缺少标签扩展标签平滑的概念。这个想法类似于知识蒸馏过程,因为有用的信息在训练期间被注入模型。我们实现了一个基于长短期记忆(LSTM)网络的多模态框架,以总结过去的观察结果并在不同的时间步长进行预测。我们在EPIC-Kitchener和EGTEA Gaze+数据集上进行了广泛的实验,分别包括2500多个和100多个动作类。实验表明,标签平滑系统地提高了最先进的动作预测模型的性能。
2020-12-18 cs.CV cs.LG
Adversarial Distillation for Ordered Top-k Attacks
North Carolina State University(北卡罗来纳州立大学)
深度神经网络(DNN)容易受到对抗攻击的攻击,尤其是白盒攻击。学习攻击的一种方案是设计适当的对抗性目标函数,其导致任何测试图像的不可感知的扰动(例如,Carlini-Wagner(C&W)方法)。大多数方法都以Top-1方式解决有针对性的攻击。在本文中,我们提出学习有序Top-k攻击(k>= 1)用于图像分类任务,即强制对抗性示例的Top-k预测标签为k(随机)选择和有序标签(地面真实标签是排他性的)。为此,我们提出了一个对抗蒸馏框架:首先,我们计算任何给定的有序Top-k目标标签相对于测试图像的地面真实的对抗概率分布。然后,我们通过最小化Kullback-Leibler(KL)散度以及扰动能量惩罚来学习对抗性示例,这与网络蒸馏方法的精神相似。我们探讨如何利用标签语义相似性计算的目标分布,导致知识导向的攻击。在实验中,我们使用两个使用干净的ImageNet-1000训练数据集训练的流行DNN,ResNet-50和DenseNet-121,在ImageNet-1000验证数据集中彻底测试Top-1和Top-5攻击。对于这两种模型,我们提出的对抗蒸馏方法在Top-1设置中优于C&W方法以及其他基线方法。我们的方法显示出显着的改善,在前5名的设置对一个强大的修改C&W方法。
2019-05-25 cs.CR cs.CV cs.LG
FOLK: Fast Open-Vocabulary 3D Instance Segmentation via Label-guided Knowledge Distillation
提出FOLK方法,通过教师模型蒸馏开放词汇知识至3D学生模型,实现快速开放词汇3D实例分割,在ScanNet200上达SOTA(AP50 35.7),速度提升6-152倍。
2025-10-09 cs.CV
Synergic Adversarial Label Learning for Grading Retinal Diseases via Knowledge Distillation and Multi-task Learning
Monash University(莫纳什大学);Airdoc;Kyushu Institute of Technology(九州工业大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
长期以来,人们已经认识到需要用于视网膜图像分类的综合和自动筛选方法。合格的医生注释的图像是非常昂贵的,并且只有有限的数据可用于各种视网膜疾病,如年龄相关性黄斑变性(AMD)和糖尿病视网膜病变(DR)。有研究表明AMD和DR具有一些共同的特征,如出血点和渗出,但大多数分类算法只对这些疾病模型进行独立的训练。受知识蒸馏的启发,其中来自各种来源的附加监测信号有利于用少得多的数据训练鲁棒模型。我们提出了一种称为协同对抗标签学习(SALL)的方法,该方法利用语义和特征空间中的相关视网膜疾病标签作为额外的信号,并以协作的方式训练模型。在DR和AMD眼底图像分类任务上的实验表明,该方法可以显著提高模型的疾病分级精度。此外,我们进行额外的实验,以显示SALL的有效性,从医学成像应用的背景下的可靠性和可解释性方面。
2021-01-30 cs.CV
Selective Cross-Task Distillation
Nanjing University(南京大学)
各种预训练模型的大量涌现为知识蒸馏提供了丰富的教师资源,但缺乏一个成熟的机制来充分利用这些教师。有了一个由经过不同任务培训的教师组成的庞大的模型库,我们在使用知识蒸馏学习新任务时必须克服两个障碍。首先,给定一个固定的计算预算,它是负担不起的尝试每个教师和训练学生反复,使之有必要寻找最有贡献的教师准确和有效。第二,由于教师和目标学生接受的培训任务不同,他们之间存在语义差距。因此,我们需要从一个可能与学生不同的一般标签空间中提取知识。面对这两个挑战,我们研究了一个新的设置命名为选择性跨任务蒸馏,包括教师评价和广义知识重用。我们通过最优传输将教师的标签空间和学生的标签空间连接起来。从教师的预测到学生的预测的运输成本测量两个任务之间的相关性,并作为蒸馏的目标。我们的方法重用来自不同标签空间的跨任务知识,并在不枚举模型库的情况下有效地评估教师。实验证明了该方法的有效性。
2022-09-28 cs.CV cs.LG
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
Deakin University(迪肯大学);Champion Data(冠军数据公司);Paralympics Australia(澳大利亚残奥委员会)
研究体育视频中精确事件定位问题,提出时间特征蒸馏半监督目标及Transformer Gate Shift模块,通过对齐主干特征保留关键线索,实验显示在多数据集上相比基线有显著提升,减少标注数据仍能取得良好效果。
2026-07-14 cs.CV
Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification
University of Macau(澳门大学)
针对隐私敏感和资源受限场景,联合评估联邦学习与知识蒸馏在3D点云分类中的性能,发现极端非独立同分布标签偏移下联邦学习性能下降,蒸馏可压缩模型且避免标签泄露问题。
2026-07-03 cs.AI cs.CV cs.DC
On the Impact of Knowledge Distillation for Model Interpretability
Seoul National University(首尔国立大学);Seoul National University of Science and Technology(首尔科技大学);ZIOVISION Inc.(ZIOVISION公司)
本文研究知识蒸馏除提升准确率外对模型可解释性的影响,发现教师模型传递的类别相似性信息能够增强学生模型的可解释性,并通过多数据集、多KD方法和多度量标准的实验验证了KD模型在各类应用中的可靠性。
2023-05-25 cs.AI cs.CV cs.LG
FerKD: Surgical Label Adaptation for Efficient Distillation
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
提出FerKD高效知识蒸馏框架,结合部分软硬标签适应与区域校准机制,并引入稳定SelfMix增强,显著提升ImageNet-1K等任务性能。
2023-12-29 cs.AI cs.CV cs.LG
Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
University of Alberta(阿尔伯塔大学)
针对弱监督组织病理学图像分割难题,提出基于MIL伪标签的迭代融合知识蒸馏框架,通过师生模型动态角色互换与加权损失优化,在公开数据集上显著提升现有MIL分割方法性能并达到新SOTA。
2024-07-14 cs.CV cs.LG
Beyond Conventional Transformers: The Medical X-ray Attention (MXA) Block for Improved Multi-Label Diagnosis Using Knowledge Distillation
Department of Mathematics University of California, Los Angeles(数学系 加州大学洛杉矶分校)
针对胸部X射线多标签诊断需求,提出专用的医学X射线注意力(MXA)模块并嵌入EfficientViT架构,结合知识蒸馏技术,在CheXpert基准上实现AUC 0.85的性能,较基线显著提升。
2025-05-18 cs.AI cs.CV cs.LG
Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation
Pohang University of Science Technology (POSTECH)(浦项科技大学)
半监督领域自适应(Semi-supervised domain adaptation,SSDA)是指在给定一个大的标注数据集的情况下,利用少量的标注样本使学习器适应新的领域。在本文中,我们提出了一种基于对的SSDA方法,该方法使用样本对自蒸馏将模型适应于目标域。每个样本对由来自标记数据集的教师样本组成(即,源或标记的目标)及其来自未标记数据集的学生样本(即,未标记的目标)。我们的方法通过在教师和学生之间传递中间风格来生成辅助特征,然后通过最小化学生和辅助特征之间的输出差异来训练模型。在培训过程中,助理逐渐弥合这两个领域之间的差异,从而使学生能够轻松地向老师学习。标准基准测试的实验结果表明,我们的方法有效地最大限度地减少了域间和域内的差异,从而实现了显着的改进,最近的方法。
2021-11-29 cs.CV
Few-shot Class-Incremental Semantic Segmentation via Pseudo-Labeling and Knowledge Distillation
Minjiang University(闽江学院);Wuyi University(武夷学院);Fuzhou University(福州大学);European University Cyprus(塞浦路斯欧洲大学)
本文针对小样本类增量语义分割提出由粗到细的伪标签策略扩充训练数据,并结合知识蒸馏保留旧类知识,在自动驾驶数据集上验证了有效性。
2023-08-05 cs.CV
Metric Learning with Progressive Self-Distillation for Audio-Visual Embedding Learning
KDDI Research, Inc.(KDDI研究所)
针对标签引导音视频表示对齐难以利用模态分布潜在关系的问题,提出融合跨模态三元组损失与渐进式自蒸馏的架构,以动态细化概率性软对齐并提升嵌入学习性能。
2025-01-16 cs.AI cs.CV cs.IR
Unifying Dataset Pruning and Distillation for Efficient Large-scale Compression
University of Science and Technology of China(中国科学技术大学)
本文提出一个统一的数据集压缩基准,探讨数据集剪枝与蒸馏的收敛趋势,发现软标签蒸馏在小数据集上表现不如剪枝,提出基于硬标签的数据集压缩方法,通过PCA框架提升图像质量和存储效率。
2026-06-04 cs.CV cs.LG
Distill-2MD-MTL: Data Distillation based on Multi-Dataset Multi-Domain Multi-Task Frame Work to Solve Face Related Tasksks, Multi Task Learning, Semi-Supervised Learning
Seoul National University(首尔大学)
提出了一种基于多任务学习和数据蒸馏的人脸相关任务半监督学习方法。所提出的方法利用具有不同标签的多个数据集来执行不同但相关的任务,例如同时进行年龄,性别,种族,面部表情估计。具体来说,当多个相关任务中只有少数标记良好的数据时,我们利用不同领域中其他相关任务的标签。我们的方法是由(1)一个新的MTL方法,可以处理弱标记的数据集,并同时执行多个任务,(2)MTL为基础的数据蒸馏框架,使网络泛化的训练和测试数据从不同的领域。实验表明,所提出的多任务系统执行每个任务比基线单任务。它还表明,使用不同的域数据集与主数据集可以提高网络的泛化能力,克服数据集之间的域差异。此外,比较基线和MTL框架上的数据蒸馏,后者对来自不同领域的未标记数据显示出更准确的预测。此外,通过提出一种新的学习率优化方法,我们提出的网络能够动态调整其学习率。
2019-07-09 cs.CV cs.LG
Exploring Generalisability of Self-Distillation with No Labels for SAR-Based Vegetation Prediction
Universitat de València(瓦伦西亚大学);European Space Agency(欧洲空间局);Universidad Nacional de Colombia(哥伦比亚国立大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学);Universidad de Antioquia(安蒂奥基亚大学)
本文通过在中国、Conus和欧洲三个区域的S1GRD与GSSIC数据集上预训练DINO-ViT模型,研究自监督模型嵌入空间与跨区域植被预测泛化能力的关系,发现嵌入距离越大对陌生区域误差越高。
2023-12-02 cs.CV
Enhancing Dataset Distillation via Label Inconsistency Elimination and Learning Pattern Refinement
School of Mechanical and Aerospace Engineering, NTU(南洋理工大学机械与航天工程学院);Duke-NUS Medical School, NUS(新加坡国立大学杜克-新加坡国立大学医学院);School of Electrical and Electronic Engineering, NTU(南洋理工大学电子与电气工程学院)
本文提出 M-DATM 方法,通过移除软标签以消除标签不一致,并缩小匹配范围以优化学习模式,在 ECCV-2024 数据蒸馏挑战赛 IPC 赛道中取得第一名。
2024-10-17 cs.CV
Blind Knowledge Distillation for Robust Image Classification
Leibniz University Hannover(汉诺威莱布尼茨大学)
提出 Blind Knowledge Distillation 师生框架,通过遮蔽教师真实标签相关输出识别泛化到过拟合的临界点,并结合 Otsu 算法与加权交叉熵提升 CIFAR-N 噪声标签检测。
2022-11-21 cs.CV
Adversary-Aware Partial label learning with Label distillation
University of Technology Sydney(悉尼科技大学);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
针对高比例噪声部分标签学习问题,提出对抗感知部分标签学习方法并引入竞争标签,结合动量内对抗教师消歧算法获得一致的分类器和风险函数,在多个数据集上取得优异结果。
2023-04-02 cs.CV cs.LG
AI can evolve without labels: self-evolving vision transformer for chest X-ray diagnosis through knowledge distillation
KAIST(韩国科学技术院);Asan Medical Center(峨山医学中心);University of Ulsan College of Medicine(蔚山大学医学院);Yeungnam University(岭南大学);Kyungpook National University(庆北国立大学);Seoul National University(首尔国立大学)
虽然基于深度学习的计算机辅助诊断系统最近已经达到了专家级的性能,但开发一个强大的深度学习模型需要大量的高质量数据和手动注释,这是昂贵的。这种情况造成的问题是,由于缺乏专家的手工标记,医院每年收集的胸部X光片无法使用,特别是在贫困地区。为了解决这个问题,我们在这里提出了一个新的深度学习框架,该框架通过自监督学习和自训练来使用知识蒸馏,这表明使用少量标签训练的原始模型的性能可以随着更多的未标记数据而逐渐提高。实验结果表明,所提出的框架保持了令人印象深刻的鲁棒性对现实世界的环境,并具有普遍适用性的几个诊断任务,如结核病,气胸,和COVID-19。值得注意的是,我们证明了我们的模型比使用相同数量的标记数据训练的模型表现得更好。所提出的框架在医学成像方面具有很大的潜力,因为每年都会积累大量的数据,但获得地面实况注释的成本很高。
2022-02-13 cs.CV cs.LG eess.IV