A Self-Distillation Embedded Supervised Affinity Attention Model for Few-Shot Segmentation
Beihang University(北京航空航天大学);Beijing University of Technology(北京工业大学)
Few-Shot分割是一种利用有限的标注样本来分割未知对象的方法。然而,现有的方法仍然面临两个主要挑战。首先,支持图像和查询图像之间巨大的特征差异导致知识传递障碍,这损害了分割性能。其次,有限的支持原型不能充分表达支持对象的特征,难以指导高质量的查询分割。针对这两个问题,本文提出了自升华嵌入式监督仿射注意力模型来提高Few-Shot分割任务的性能。具体来说,自升华引导原型模块使用自升华来对齐支持和查询的特征。有监督的亲和注意力模块生成高质量的查询注意力图,以提供足够的对象信息。大量的实验证明,我们的模型显着提高了性能相比,现有的方法。全面的消融实验和可视化研究也表明,我们的方法对Few-Shot分割任务的显着效果。在COCO-20 i数据集上,我们获得了新的最先进的结果。训练代码和预训练模型可在https://github.com/cv516Buaa/SD-AANet上获得。
2023-03-20 cs.CV
On the Efficacy of Small Self-Supervised Contrastive Models without Distillation Signals
OPPO Research Institute(OPPO研究院)
在自监督对比学习的范式下,小模型的表现相当差,这是一个共识。现有的方法通常采用一个大的现成的模型,通过蒸馏将知识转移到小的。尽管基于蒸馏的方法有效,但由于部署大型模型的巨大计算费用,因此可能不适合某些资源受限的场景。在本文中,我们研究了训练自监督的小模型没有蒸馏信号的问题。我们首先评估小模型的表示空间,并进行两个不可忽略的观察:(i)尽管容量有限,但小模型可以在不过度拟合的情况下完成借口任务;(ii)它们普遍存在过度聚类的问题。然后,我们验证了多个假设,被认为是减轻过聚类现象。最后,我们结合了验证的技术,并提高了五个小架构的基线性能,具有相当大的利润,这表明即使没有蒸馏信号,训练小型自监督对比模型也是可行的。代码可在\textit{https://github.com/WOWNICE/ssl-small}上获得。
2021-12-13 cs.CV cs.LG
The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework
China Academy of Railway Sciences(中国铁道科学研究院);NVIDIA(英伟达)
针对视频分类知识蒸馏中蒸馏方法与师生结构关系被忽视的问题,提出弱监督分阶段蒸馏框架,融合渐进级联训练、伪标签优化和特征分布损失,提升学生模型效率与准确率。
2023-07-16 cs.CV
VPBSD:Vessel-Pattern-Based Semi-Supervised Distillation for Efficient 3D Microscopic Cerebrovascular Segmentation
本文提出基于血管模式的半监督蒸馏流水线VpbSD,通过构建血管模式码本并融合知识蒸馏与半监督学习,有效解决了3D显微脑血管分割中高分辨率、标注难和数据量大的挑战。
2024-11-14 cs.CV
Knowledge Distillation from Cross Teaching Teachers for Efficient Semi-Supervised Abdominal Organ Segmentation in CT
Armed Forces Yangju Hospital(杨州武装部队医院);Seoul National University(首尔国立大学)
对于用于医学图像分割的深度学习模型的更多临床应用,必须解决对标记数据和计算资源的高要求。该研究提出了一个由粗到细的框架,其中包含两个教师模型和一个学生模型,该框架结合了知识蒸馏和交叉教学,基于伪标签的一致性正则化,用于有效的半监督学习。在MICCAI FLARE 2022挑战下,在CT图像中的腹部多器官分割任务上证明了所提出的方法,验证集和测试集中的平均Dice分数分别为0.8429和0.8520。
2022-11-11 cs.CV eess.IV
Hierarchical Self-supervised Augmented Knowledge Distillation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
知识蒸馏通常涉及如何有效地定义知识并将知识从教师转移到学生。虽然最近的自监督对比知识实现了最佳性能,但强迫网络学习此类知识可能会损害原始类别识别任务的表示学习。因此,我们采用一种替代的自监督增强任务来引导网络学习原始识别任务和自监督辅助任务的联合分布。它被证明是一个更丰富的知识,以提高表示能力,而不失去正常的分类能力。此外,它是不完整的,以前的方法只传递的概率知识之间的最后层。我们建议将几个辅助分类器添加到分层中间特征映射中,以生成各种自监督知识,并执行一对一的传输以彻底教授学生网络。我们的方法显著超过了之前的SOTA SSKD,在CIFAR-100上平均提高了2.56\%,在广泛使用的网络对上ImageNet上提高了0.77\%。代码可在https://github.com/winycg/HSAKD上获得。
2022-07-23 cs.CV
DMT: Comprehensive Distillation with Multiple Self-supervised Teachers
DAMO Academy(达摩院)
针对现有自监督模型预训练未考虑表征互补性的问题,提出多自监督教师综合蒸馏方法DMT,利用多现成自监督模型优势实现模型压缩,在分类及密集预测任务上均取得更优性能。
2023-12-19 cs.CV
MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation
University of Geneva(日内瓦大学)
提出基于多视图与多表示(MV-MR)的自监督学习与知识蒸馏通用框架,通过最大化依赖性并引入多表示正则化,在STL10和ImageNet-1K上取得SOTA性能。
2024-06-02 cs.CV
Supervised Masked Knowledge Distillation for Few-Shot Transformers
Columbia University(哥伦比亚大学)
针对少样本ViT易过拟合且自监督与监督方法间存在鸿沟的问题,提出监督掩码知识蒸馏模型SMKD,通过在类和patch token上进行类内知识蒸馏及跨图像掩码重建,在四个基准上取得最优。
2023-03-29 cs.AI cs.CV
Semi-supervised Semantic Segmentation with Mutual Knowledge Distillation
Alibaba Group(阿里巴巴集团);The University of Adelaide(阿德莱德大学)
提出一种结合数据与特征增强的相互知识蒸馏框架,通过两个平均教师模型生成伪标签监督学生网络,在多种半监督设置下超越现有最先进方法。
2023-08-30 cs.CV
Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University(杭州电子科技大学);Baidu Inc.(百度公司);Zhejiang International Studies University(浙江外国语学院)
提出了一种无需事件句标注的密集视频描述(DVC)方法。首先,我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后,我们将通常应用于跨模态检索任务的对比损失和循环一致性损失,以建立建议和句子之间的语义匹配,最终用于训练字幕生成模块。此外,匹配模块的参数通过预训练的基础上标注的图像进行初始化,以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明,基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义,并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
Self-supervised Knowledge Distillation for Few-shot Learning
Inception Institute of Artificial Intelligence(起源人工智能研究院);Linköping University(林雪平大学);University of Central Florida(中佛罗里达大学)
现实世界包含了大量的对象类,一次性学习所有这些对象类是不可行的。少样本学习是一种很有前途的学习范式,因为它能够快速学习无序分布,只需很少的样本。最近的工作[7,41]表明,简单地学习一个好的特征嵌入可以优于更复杂的元学习和度量学习算法,用于少样本学习。在本文中,我们提出了一种简单的方法来提高深度神经网络对少样本学习任务的表示能力。我们遵循两个阶段的学习过程:首先,我们训练一个神经网络,以最大化特征嵌入的熵,从而使用自监督辅助损失创建最佳输出流形。在第二阶段,我们通过将自我监督的双胞胎放在一起来最小化特征嵌入的熵,同时用学生-教师蒸馏来约束流形。我们的实验表明,即使在第一阶段,自我监督可以优于当前最先进的方法,我们的第二阶段蒸馏过程实现了进一步的收益。我们的代码可在https://github.com/brjathu/SKD上获得。
2020-08-04 cs.CV
Self-Knowledge Distillation based Self-Supervised Learning for Covid-19 Detection from Chest X-Ray Images
Hokkaido University(北海道大学)
2019冠状病毒(COVID-19)的全球爆发使全球医疗系统不堪重负。用于COVID-19快速检测和患者分诊的计算机辅助诊断变得至关重要。提出了一种新的基于自知识提取的自监督学习方法,用于从胸部X射线图像中检测COVID-19。我们的方法可以使用基于图像视觉特征相似性的图像自我知识进行自我监督学习。实验结果表明,我们的方法在最大的开放COVID-19胸部X射线数据集上获得了0.988的HM评分、0.999的AUC和0.957的准确度。
2022-06-07 cs.CV cs.LG eess.IV
Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning
National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学)
给定一个使用大规模基础数据集进行良好训练的模型,Few-Shot类增量学习(FSCIL)旨在通过避免过拟合来从一些标记样本中增量学习新类,而不会灾难性地忘记之前遇到的所有类。目前,利用自由可用的未标记数据来补偿有限的标记数据的半监督学习技术可以提高许多视觉任务的性能,这可以应用于解决FSCIL中的问题,即,半监督FSCIL(Semi-FSCIL)到目前为止,非常有限的工作集中在半FSCIL任务,留下的适应性问题的半监督学习的FSCIL任务尚未解决。在本文中,我们专注于这个适应性问题,并提出了一个简单而有效的半FSCIL框架命名为不确定性感知蒸馏与类平衡(UaD-CE),包括两个模块UaD和CE。具体来说,当将未标记的数据纳入每个增量会话时,我们引入了CE模块,该模块采用类平衡的自训练,以避免易于分类的类在伪标签生成上逐渐占据主导地位。为了从参考模型中提取可靠的知识,我们进一步实现了UaD模块,该模块将不确定性引导的知识精炼与自适应蒸馏相结合。在三个基准数据集上的综合实验表明,该方法可以提高半监督学习技术在FSCIL任务中对未标记数据的适应性。
2023-01-24 cs.CV
SEED: Self-supervised Distillation For Visual Representation
Arizona State University(亚利桑那州立大学);Microsoft Corporation(微软公司)
本文研究了小模型的自监督学习。这个问题的动机是我们的实证研究,虽然广泛使用的对比自监督学习方法在大模型训练方面取得了很大的进展,但它对小模型的效果并不好。为了解决这个问题,我们提出了一种新的学习范式,名为自监督蒸馏(SEED),在这种范式中,我们利用一个更大的网络(作为教师)以自我监督的方式将其表征知识转移到一个更小的架构(作为学生)中。我们不是直接从未标记的数据中学习,而是训练学生编码器来模仿教师在一组实例上推断的相似性分数分布。我们表明,种子显着提高下游任务的小型网络的性能。与自监督基线相比,SEED将EfficientNet-B 0上的前1准确率从42.2%提高到67.6%,并将MobileNet-v3-Large上ImageNet-1 k数据集的前1准确率从36.3%提高到68.2%。
2021-04-15 cs.AI cs.CV
Reversing the cycle: self-supervised deep stereo through enhanced monocular distillation
University of Bologna(博洛尼亚大学);China Agricultural University(中国农业大学)
在许多领域,自监督学习解决方案正在迅速发展,并填补了监督方法的空白。这一事实发生在基于单眼或立体的深度估计中,后者通常为前者提供有效的自我监督源。相比之下,软化典型的立体声文物,我们提出了一种新的自我监督范式扭转两者之间的联系。有目的地,为了训练深度立体网络,我们通过单眼完成网络提取知识。该架构利用传统立体算法提供的单图像线索和少量稀疏点,通过多个估计的共识机制来估计密集而准确的视差图。我们用流行的立体数据集彻底评估了不同监督信号的影响,显示了用我们的范式训练的立体网络如何优于现有的自监督框架。最后,我们的建议实现了显着的泛化能力处理域转移问题。代码可在https://github.com/FilippoAleotti/Reversing获得
2020-08-17 cs.CV
Relational Self-supervised Distillation with Compact Descriptors for Image Copy Detection
Sogang University(西江大学)
提出关系型自监督蒸馏与紧凑描述符方法,用轻量网络实现图像复制检测,在DISC2021上微平均精度提升5.0%-5.9%。
2024-11-09 cs.CV
Boost Self-Supervised Dataset Distillation via Parameterization, Predefined Augmentation, and Approximation
National Yang Ming Chiao Tung University(国家阳明交通大学);Macronix International Co., Ltd.(宏碁国际公司)
本文提出一种自监督数据集蒸馏方法,通过低维基参数化、预定义增强和轻量网络近似,提升蒸馏效率与跨架构泛化能力。
2025-08-05 cs.AI cs.CV
Poster: Self-Supervised Quantization-Aware Knowledge Distillation
Arizona State University(亚利桑那州立大学)
针对现有QAT依赖标签且量化导致精度下降的问题,提出自监督SQAKD框架,通过统一量化动态并协同优化KL损失与离散化误差,显著提升多种QAT方法性能。
2023-09-22 cs.AI cs.CV
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
Deakin University(迪肯大学);Champion Data(冠军数据公司);Paralympics Australia(澳大利亚残奥委员会)
研究体育视频中精确事件定位问题,提出时间特征蒸馏半监督目标及Transformer Gate Shift模块,通过对齐主干特征保留关键线索,实验显示在多数据集上相比基线有显著提升,减少标注数据仍能取得良好效果。
2026-07-14 cs.CV
Unsupervised Representation Learning Meets Pseudo-Label Supervised Self-Distillation: A New Approach to Rare Disease Classification
Xiamen University(厦门大学);Tencent Jarvis Lab(腾讯贾维斯实验室)
罕见病的特点是发病率低,往往是慢性衰弱或危及生命。由于训练样本的严重短缺,基于成像的罕见疾病分类具有挑战性。少样本学习(FSL)方法通过从常见疾病和正常对照的大基础数据集中提取可推广的先验知识并将知识转移到罕见疾病来解决这一挑战。然而,大多数现有的方法需要对基础数据集进行标记,并且没有充分利用罕见疾病的宝贵实例。为此,我们在这项工作中提出了一种新的混合方法来罕见疾病分类,具有针对上述缺点的两个关键的新颖性。首先,我们采用基于自监督对比损失的无监督表示学习(URL),从而消除标记基础数据集的开销。其次,我们将URL与伪标签监督分类相结合,以有效地对罕见疾病知识进行自升华,构成一种混合方法,该方法在基础数据集上同时利用无监督和(伪)监督学习。罕见皮肤病变分类的实验结果表明,我们的混合方法大大优于现有的FSL方法(包括那些使用完全监督的基础数据集),通过有效整合的URL和伪标签驱动的自蒸馏罕见疾病分类,从而建立了一个新的最先进的。
2021-10-09 cs.CV
Distill on the Go: Online knowledge distillation in self-supervised learning
Advanced Research Lab NavInfo Europe(四维图新欧洲高级研究实验室)
自监督学习解决了不需要注释来学习特征表示的借口预测任务。对于视觉任务,仅从输入数据创建诸如预测旋转、解决拼图的借口任务。然而,预测这些已知信息有助于学习对下游任务有用的表示。然而,最近的研究表明,更广泛和更深入的模型比更小的模型更受益于自监督学习。为了解决较小模型的自监督预训练问题,我们提出了Distill-on-the-Go(DoGo),这是一种自监督学习范式,使用单阶段在线知识蒸馏来提高较小模型的表示质量。我们采用深度相互学习策略,其中两个模型相互协作学习以改进彼此。具体来说,每个模型都是使用自监督学习和蒸馏来训练的,蒸馏将每个模型的相似性分数的softmax概率与对等模型的相似性分数对齐。我们在多个基准数据集,学习目标和架构上进行了广泛的实验,以证明我们所提出的方法的潜力。我们的研究结果表明,在存在噪声和有限的标签和泛化到分布外的数据显着的性能增益。
2021-06-30 cs.AI cs.CV cs.LG
Data-Efficient Language-Supervised Zero-Shot Learning with Self-Distillation
UC Berkeley(加州大学伯克利分校);Facebook Reality Labs(Facebook现实实验室)
传统的计算机视觉模型被训练来预测一组固定的预定义类别。最近,自然语言已被证明是一个更广泛和更丰富的监督来源,提供更精细的描述视觉概念比监督的“黄金”标签。以前的作品,如CLIP,使用一个简单的预训练任务来预测图像和文本标题之间的配对。然而,CLIP是数据饥渴的,需要超过4亿个图像文本对进行训练。我们提出了一种数据高效的对比蒸馏方法,使用软标签从嘈杂的图像-文本对中学习。我们的模型从预训练的图像和句子编码器中传输知识,仅用3 M图像文本对就实现了强大的性能,比CLIP小133倍。相对于ResNet 50图像编码器和DeCLUTR文本编码器,我们的方法在ImageNet 21 k +1 k上的一般零样本学习的SoTA超过了73%。在Google Open Images的zero-shot评估中,我们也以10.5%的优势击败了CLIP(19,958类)。
2021-04-18 cs.CV
Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning
Tianjin University(天津大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Haihe Laboratory of Information Technology Application Innovation(海河信息技术应用创新实验室)
针对半监督持续学习中未标注数据分布不可靠导致训练不稳定、性能受影响的问题,提出动态子图蒸馏方法,结合语义与结构信息实现稳定蒸馏,适配多种场景,经多数据集验证可有效缓解灾难性遗忘。
2025-01-14 cs.CV cs.LG
CrossMatch: Enhance Semi-Supervised Medical Image Segmentation with Perturbation Strategies and Knowledge Distillation
Guilin University of Electronic Technology(桂林电子科技大学)
针对半监督医学图像分割中无标注数据利用不足的问题,提出结合图像级与特征级双重扰动及自知识蒸馏的CrossMatch框架,在不增加计算成本的前提下显著提升分割精度与泛化性,性能优于现有最优方法。
2024-08-07 cs.CV
Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation
Pohang University of Science Technology (POSTECH)(浦项科技大学)
半监督领域自适应(Semi-supervised domain adaptation,SSDA)是指在给定一个大的标注数据集的情况下,利用少量的标注样本使学习器适应新的领域。在本文中,我们提出了一种基于对的SSDA方法,该方法使用样本对自蒸馏将模型适应于目标域。每个样本对由来自标记数据集的教师样本组成(即,源或标记的目标)及其来自未标记数据集的学生样本(即,未标记的目标)。我们的方法通过在教师和学生之间传递中间风格来生成辅助特征,然后通过最小化学生和辅助特征之间的输出差异来训练模型。在培训过程中,助理逐渐弥合这两个领域之间的差异,从而使学生能够轻松地向老师学习。标准基准测试的实验结果表明,我们的方法有效地最大限度地减少了域间和域内的差异,从而实现了显着的改进,最近的方法。
2021-11-29 cs.CV
CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
本文提出跨模态互蒸馏框架CMD,通过近邻相似性分布建模和非对称教师-学生配置实现骨架模态间双向知识蒸馏,在多个三维动作识别数据集上超越现有自监督方法并刷新纪录。
2023-05-25 cs.CV
Bi-directional Weakly Supervised Knowledge Distillation for Whole Slide Image Classification
Fudan University(复旦大学)
基于全切片图像分类的计算机辅助病理诊断在临床实践中发挥着重要作用,通常将其描述为弱监督多实例学习问题。现有的方法从包分类或实例分类的角度解决了这个问题。在本文中,我们提出了一个端到端的弱监督知识蒸馏框架(WENO)的WSI分类,它集成了一个袋分类器和一个实例分类器的知识蒸馏框架,以相互提高两个分类器的性能。具体地,基于注意力的袋分类器被用作教师网络,其用弱袋标签训练,并且实例分类器被用作学生网络,其使用从教师网络获得的归一化注意力分数作为正袋中的实例的软伪标签来训练。教师和学生之间共享一个实例特征提取器,以进一步加强他们之间的知识交流。此外,我们提出了一种基于学生网络输出的硬正例挖掘策略,以迫使教师网络继续挖掘硬正例。WENO是一个即插即用的框架,可以很容易地应用于任何现有的基于注意力的袋子分类方法。在五个数据集上的实验证明了WENO的有效性。代码可在https://github.com/miccaiif/WENO上获得。
2022-10-10 cs.CV
Ensemble Manifold Segmentation for Model Distillation and Semi-supervised Learning
ETH Zurich(苏黎世联邦理工学院)
流形理论一直是许多学习方法的核心概念。然而,学习具有流形结构的现代CNN并没有引起应有的关注,主要是因为将流形结构强加到CNN的架构上是不方便的。在本文中,我们提出了ManifoldNet,这是一种鼓励学习流形感知表示的新方法。我们的方法将输入流形分割成一组片段。通过将相应的分割id作为伪标签分配给每个样本,我们将保持局部流形结构的问题转化为逐点分类任务。由于其无监督的性质,分割往往是嘈杂的。我们通过引入集成流形分割(EMS)来缓解这一问题。EMS通过将训练数据划分为包含局部接近度样本的分类训练集的集合来说明流形结构。CNN在多任务学习框架下在这些集合上进行训练,以符合流形。ManifoldNet可以只使用伪标签或与特定任务的标签一起训练。我们在两个不同的任务上评估ManifoldNet:网络模仿(蒸馏)和半监督学习。我们的实验表明,流形结构有效地利用无监督和半监督学习。
2018-04-06 cs.CV
Asymmetric Dual Self-Distillation for 3D Self-Supervised Representation Learning
Department of AI, University of Groningen(人工智能系,格罗宁根大学)
提出AsymDSD框架,通过在潜在空间统一掩码建模与不变性学习,采用非对称设置、禁用掩码查询注意力、多掩码及多裁剪增强,在ScanObjectNN上达到SOTA性能。
2025-06-26 cs.CV
Cross-Level Multi-Instance Distillation for Self-Supervised Fine-Grained Visual Categorization
University of Amsterdam(阿姆斯特丹大学);Wuhan University(武汉大学);Yale University(耶鲁大学);Monash University(墨尔本大学);School of Artificial Intelligence(人工智能学院);National Engineering Research Center for Multimedia Software(多媒体软件国家工程研究中心);School of Computer Science(计算机科学学院);State Key Lab. LIESMARS(国家重点实验室)
针对自监督细粒度分类中关键块信息利用不足的问题,提出跨层级多实例蒸馏框架,通过层级内外多实例蒸馏提升表示质量,在多个基准上显著超越现有方法。
2025-06-24 cs.CV
Auxiliary Learning for Self-Supervised Video Representation via Similarity-based Knowledge Distillation
University of Bristol(布里斯托大学)
尽管用于视频表示学习的自监督预训练方法取得了巨大的成功,但当用于预训练的未标记数据集很小时,或者源任务(预训练)中的未标记数据与目标任务(微调)中的标记数据之间的域差异很大时,它们的泛化能力很差。为了缓解这些问题,我们提出了一种新的方法,通过辅助预训练阶段来补充自我监督预训练,基于知识相似性蒸馏auxSKD,以更好地概括更少量的视频数据,例如Kinetics-100而不是Kinetics-400。我们的方法部署了一个教师网络,通过捕获未标记视频数据段之间的相似性信息,迭代地将其知识提取到学生模型中。学生模型同时解决了一个借口任务,利用这种先验知识。我们还引入了一个新的借口任务,视频段节奏预测或VSPP,这需要我们的模型来预测输入视频的随机选择段的回放速度,以提供更可靠的自我监督表示。我们的实验结果显示,在苹果对苹果的比较中,在K100上进行预训练时,在UCF 101和HMDB 51数据集上的结果优于现有技术。此外,我们还证明了我们的辅助预训练auxSKD,当作为额外的预训练阶段添加到最新的自监督方法(即VCOP,VideoPace和RSPNet)中时,可以改善他们在UCF 101和HMDB 51上的结果。我们的代码可在https://github.com/Plrbear/auxSKD上获得。
2022-04-25 cs.CV
Weakly-Supervised Domain Adaptation of Deep Regression Trackers via Reinforced Knowledge Distillation
University of Udine(乌迪内大学)
深度回归跟踪器是最快的跟踪算法之一,因此适合实时机器人应用。然而,由于分布偏移和过拟合,它们的精度在许多领域是不够的。在本文中,我们克服了这样的局限性,提出了第一种方法域适应这样一类的跟踪器。为了减少标签的努力,我们提出了一个弱监督的适应策略,其中强化学习是用来表示弱监督作为一个标量的应用程序相关的和时间延迟的反馈。同时,采用知识蒸馏来保证学习稳定性,并压缩和传输来自功能更强大但速度更慢的跟踪器的知识。五个不同的机器人视觉领域的广泛实验证明了我们的方法的相关性。在嵌入式设备和没有GPU的机器上实现了实时速度,同时精度也达到了显著的效果。
2021-03-26 cs.CV cs.RO
Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation
The Chinese University of Hong Kong(香港中文大学);Huya AI(虎牙AI)
我们提出了DistillFlow,一个知识蒸馏的方法来学习光流。DistillFlow训练多个教师模型和一个学生模型,其中将具有挑战性的变换应用于学生模型的输入,以生成幻觉遮挡以及不太自信的预测。然后,构建了一个自监督学习框架:来自教师模型的置信预测作为注释,以引导学生模型学习光流,用于那些不太置信的预测。自监督学习框架使我们能够有效地学习光流从未标记的数据,不仅为非遮挡像素,但也为遮挡像素。DistillFlow在KITTI和Sintel数据集上实现了最先进的无监督学习性能。我们的自监督预训练模型还为监督微调提供了一个很好的初始化,这与当前高度依赖于合成数据预训练的监督学习方法相比,提出了一种替代的训练范式。在撰写本文时,我们的微调模型在KITTI 2015基准测试中的所有单眼方法中排名第一,并且在Sintel Final基准测试中优于所有已发布的方法。更重要的是,我们展示了三个方面的泛化能力:框架泛化,对应泛化和跨数据集泛化的DistillFlow。
2021-06-08 cs.AI cs.CV
Weakly Supervised Change Detection via Knowledge Distillation and Multiscale Sigmoid Inference
University of Connecticut(康涅狄格大学)
针对全监督变化检测需像素级标签成本高的问题,提出结合知识蒸馏与多尺度Sigmoid推理的弱监督方法,利用图像级标签与CAM实现,在三个公开数据集上性能超越现有最优水平。
2024-03-09 cs.CV
Knowledge Distillation Meets Open-Set Semi-Supervised Learning
University of Cambridge(剑桥大学);University of Surrey(萨里大学);Samsung AI Centre(三星人工智能中心);Queen Mary University London(伦敦玛丽女王大学)
该研究提出语义表征蒸馏(SRD)方法,利用教师分类器作为语义评判器蒸馏含高阶结构信息的表征知识,并扩展至开集半监督场景,在多类任务上均优于现有方法。
2024-07-15 cs.CV
Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
University of Alberta(阿尔伯塔大学)
针对弱监督组织病理学图像分割难题,提出基于MIL伪标签的迭代融合知识蒸馏框架,通过师生模型动态角色互换与加权损失优化,在公开数据集上显著提升现有MIL分割方法性能并达到新SOTA。
2024-07-14 cs.CV cs.LG
Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation
organization= School of Computer Science
针对现有无数据知识蒸馏方法存在的样本类别分布模糊、多样性不足等问题,提出CPSC-DFKD范式,通过条件生成对抗网络与伪监督对比学习提升学生模型及生成器性能。
2025-10-03 cs.CV cs.LG
HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-training
KTH Royal Institute of Technology(瑞典皇家理工学院);Linköping University(林雪平大学);TRATON AB(TRATON公司);Qualcomm Auto Ltd Sweden Filial(高通汽车有限公司瑞典分公司)
提出HilDA框架,通过分层蒸馏(多层蒸馏和全局上下文蒸馏)结合时间占用扩散目标,自监督预训练LiDAR骨干网络,在3D检测、场景流和语义占用预测任务上达到最先进水平。
2026-06-24 cs.AI cs.CV cs.RO
Distill-2MD-MTL: Data Distillation based on Multi-Dataset Multi-Domain Multi-Task Frame Work to Solve Face Related Tasksks, Multi Task Learning, Semi-Supervised Learning
Seoul National University(首尔大学)
提出了一种基于多任务学习和数据蒸馏的人脸相关任务半监督学习方法。所提出的方法利用具有不同标签的多个数据集来执行不同但相关的任务,例如同时进行年龄,性别,种族,面部表情估计。具体来说,当多个相关任务中只有少数标记良好的数据时,我们利用不同领域中其他相关任务的标签。我们的方法是由(1)一个新的MTL方法,可以处理弱标记的数据集,并同时执行多个任务,(2)MTL为基础的数据蒸馏框架,使网络泛化的训练和测试数据从不同的领域。实验表明,所提出的多任务系统执行每个任务比基线单任务。它还表明,使用不同的域数据集与主数据集可以提高网络的泛化能力,克服数据集之间的域差异。此外,比较基线和MTL框架上的数据蒸馏,后者对来自不同领域的未标记数据显示出更准确的预测。此外,通过提出一种新的学习率优化方法,我们提出的网络能够动态调整其学习率。
2019-07-09 cs.CV cs.LG
Better and Faster: Knowledge Transfer from Multiple Self-supervised Learning Tasks via Graph Distillation for Video Classification
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
视频表示学习是视频分类中的一个重要问题。近年来出现了一种很有前途的无监督学习范式--自监督学习,它通过解决辅助任务来挖掘隐含在海量数据中的内在监督信号,进行特征学习。然而,在这方面的现有方法在扩展到视频分类时受到两个限制。首先,它们只关注单个任务,而忽略了不同任务特定特征之间的互补性,从而导致次优的视频表示。其次,高计算和内存成本阻碍了它们在现实世界场景中的应用。在本文中,我们提出了一个基于图的蒸馏框架来解决这些问题:(1)我们提出了Logits图和表示图来传递来自多个自监督任务的知识,其中前者通过解决多分布联合匹配问题来提取分类器级知识,后者从成对组合表示中提取内部特征知识,解决不同特征之间的异质性挑战。特征;(2)采用教师-学生框架的建议可以大大减少从教师那里学到的知识的冗余,从而导致更轻的学生模型,更有效地解决分类任务。在3个视频数据集上的实验结果验证了我们的建议不仅有助于学习更好的视频表示,而且还可以压缩模型以加快推理。
2018-04-26 cs.CV
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
Modality-Aware Contrastive Instance Learning with Self-Distillation for Weakly-Supervised Audio-Visual Violence Detection
Fudan University(复旦大学)
弱监督的视听暴力检测旨在用视频级标签区分包含多模态暴力事件的片段。许多先前的研究都是以早期或中期的方式进行视听整合和互动,但忽略了弱监督环境下的模态异质性。本文分析了多示例学习过程中的模态混淆和未区分示例现象,并进一步探讨了其对弱监督视听学习的负面影响。为了解决这些问题,我们提出了一个模态感知的对比实例学习与自蒸馏(MACIL-SD)策略。具体来说,我们利用一个轻量级的双流网络来生成音频和视觉包,其中单峰背景,暴力和正常实例以无监督的方式聚集到半包中。然后,音频和视觉的暴力半袋表征组装为积极的对,和暴力半袋与背景和正常的情况下,在相反的模态作为对比的消极对相结合。此外,一个自蒸馏模块被应用到单模态视觉知识转移到视听模型,消除噪音和关闭单模态和多模态特征之间的语义差距。实验表明,我们的框架优于以前的方法,具有较低的复杂性,在大规模的XD-Violence数据集。结果还表明,我们提出的方法可以作为插件模块,以提高其他网络。代码可在https://github.com/JustinYuu/MACIL_SD上获得。
2022-07-12 cs.CV cs.MM
Bag of Instances Aggregation Boosts Self-supervised Distillation
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司);Huazhong University of Science & Technology(华中科技大学)
自监督学习的最新进展经历了显着的进步,特别是对于基于对比学习的方法,它将每个图像及其增强视为一个单独的类,并试图将它们与所有其他图像区分开来。然而,由于大量的样本,这种借口任务本质上遭受缓慢的收敛和难以优化。这对于小规模模型尤其如此,我们发现与监督模型相比,性能急剧下降。在本文中,我们提出了一个简单而有效的无监督学习的蒸馏策略。其亮点在于,相似样本之间的关系很重要,可以无缝地转移到学生身上,以提高成绩。我们的方法,被称为BINGO,是Bag of InstaNces aggregatiOn的缩写,旨在将教师学到的关系转移到学生身上。这里的实例包表示教师构建的一组相似样本,并分组在一个包中,蒸馏的目标是聚合学生关于包中实例的紧凑表示。值得注意的是,BINGO在小规模模型上实现了新的最先进性能,即,在ImageNet上分别使用ResNet-18和ResNet-34作为主干进行线性评估,获得了65.5%和68.9%的top-1准确率,显著超过了基线(52.5%和57.4%的top-1准确率)。该代码可在https://github.com/haohang96/bingo上获得。
2022-03-17 cs.CV
Self-supervised Knowledge Distillation Using Singular Value Decomposition
Inha University(仁荷大学)
为了解决深度神经网络(DNN)训练数据量大、计算量大的问题,提出了将师生(T-S)DNN的知识转化为S-DNN的方法。然而,现有的T-S-DNN具有有限的使用范围,并且T-DNN的知识没有充分地转移到S-DNN。为了提高从T-DNN转移的知识的质量,我们提出了一种新的知识蒸馏使用奇异值分解(SVD)。此外,我们将知识转移定义为一个自我监督的任务,并提出了一种从T-DNN连续接收信息的方法。仿真结果表明,S-DNN的计算量仅为T-DNN的1/5,在分类精度上比T-DNN提高了1.1%.同样假设相同的计算成本,我们的S-DNN优于由最先进的蒸馏驱动的S-DNN,性能优势为1.79%。代码可以在https://github.com/sseung0703/SSKD\_SVD上找到。
2018-07-18 cs.CV cs.LG stat.ML
Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning
National Cancer Center(国家癌症中心)
提出Retro方法,通过为学生模型重用教师投影头解决嵌入蒸馏中的尺寸不匹配问题,在轻量级模型上显著优于现有技术并减少参数量。
2024-08-24 cs.AI cs.CV
SCKD: Semi-Supervised Cross-Modality Knowledge Distillation for 4D Radar Object Detection
Zhejiang University(浙江大学);Zhejiang Provincial Key Laboratory of Multi-Modal Communication Networks and Intelligent Information Processing(浙江省多模态通信网络与智能信息处理重点实验室);China North Artificial Intelligence & Innovation Research Institude(北方人工智能创新研究院)
本文提出SCKD方法,通过半监督跨模态知识蒸馏从Lidar-雷达融合教师网络向仅雷达学生模型转移知识,显著提升了4D雷达3D目标检测性能。
2024-12-19 cs.AI cs.CV eess.IV
Domain-Agnostic Clustering with Self-Distillation
University of Guelph(圭尔夫大学);Vector Institute for AI(人工智能向量研究所);University of Calgary(卡尔加里大学)
自监督学习的最新进展缩小了监督学习和无监督表示学习之间的差距。然而,大多数自监督和深度聚类技术严重依赖于数据增强,使得它们对于许多学习任务无效,其中不存在用于执行增强的领域知识。提出了一种新的基于自蒸馏的领域不可知聚类算法。我们的方法建立在现有的深度聚类框架之上,不需要单独的学生模型。所提出的方法优于现有的域不可知(扩增自由)算法CIFAR-10。我们的经验表明,知识蒸馏可以提高无监督的表示学习提取更丰富的“暗知识”的模型比单独使用预测标签。初步的实验还表明,自蒸馏提高了Deepadminter-v2的收敛性。
2021-12-20 cs.AI cs.CV cs.LG
Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR
Georgia Tech(佐治亚理工学院)
最近在半监督学习领域的突破已经取得了与最先进的传统监督学习方法相匹配的结果。计算机视觉中最成功的半监督学习方法集中在利用大量未标记的数据,通过数据增强和转换学习一般表示,创建伪标签,实现不同的损失函数,并最终将这些知识转移到更特定于任务的较小模型。在本文中,我们的目标是进行我们的分析,在三个不同的方面Simplified,目前国家的最先进的半监督学习框架计算机视觉。首先,我们分析了对比学习在微调上的特性,因为我们知道对比学习是这种方法如此成功的原因。第二,通过教师强制范式研究知识蒸馏。我们观察到当教师和学生共享相同的基础模型时,知识蒸馏会取得更好的效果。最后,我们研究了迁移学习是如何工作的,以及它与不同数据集上的类数之间的关系。我们的研究结果表明,迁移学习表现得更好时,类的数量较少。
2021-08-02 cs.CV cs.LG
Depth-Guided Self-Supervised Human Keypoint Detection via Cross-Modal Distillation
Queen’s University Ontario Canada(皇后大学)
提出跨模态知识蒸馏框架Distill-DKP,利用深度图指导RGB图像进行自监督人体关键点检测,有效减少背景误检并在多个数据集上显著降低误差。
2025-08-12 cs.AI cs.CV
Training a Student Expert via Semi-Supervised Foundation Model Distillation
Texas A&M University(德克萨斯农工大学)
本文提出半监督知识蒸馏框架,利用有限标注和大量未标注数据压缩预训练视觉基础模型,提升实例分割性能,通过对比学习和多目标损失提升学生模型效果。
2026-04-04 cs.CV
Three Pillars improving Vision Foundation Model Distillation for Lidar
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(法国国立路桥大学、古斯塔夫·埃菲尔大学、法国国家科学研究中心联合信息与数学科学研究所);Kyutai
本文研究图像到激光雷达蒸馏的三大支柱(三维骨干、二维预训练骨干和预训练数据集),提出可扩展蒸馏方法ScaLR,通过扩大模型规模与多样化预训练显著提升三维特征质量并缩小与全监督特征的差距。
2024-02-19 cs.CV
Self-Supervised Anomaly Detection by Self-Distillation and Negative Sampling
Heinrich Heine University(海因里希·海涅大学)
检测示例是否属于给定的内分布或外分布(OOD)需要识别特定于内分布的特征。在没有标签的情况下,这些特征可以通过自监督技术在一般假设下学习,即最抽象的特征是那些与来自相同域的其他分布相比在统计上最过度表示的特征。在这项工作中,我们表明,自蒸馏的分布训练集与对比来自辅助数据的移位变换的负面例子,大大提高了OOD检测。我们发现,这种改进取决于如何产生负样本。特别是,我们观察到,通过利用负样本,保持低级别特征的统计数据,同时改变高级语义,获得更高的平均检测性能。此外,良好的阴性抽样策略可以从OOD检测分数的灵敏度中识别。我们的方法的效率证明了在各种各样的OOD检测问题,在视觉领域的无监督OOD检测设置新的基准。
2022-01-17 cs.AI cs.CV
Self-Supervised Quantization-Aware Knowledge Distillation
Arizona State University(亚利桑那州立大学)
本文提出自监督量化感知知识蒸馏框架SQAKD,统一量化函数动态,协同优化KL损失与离散化误差,无需标签监督,显著优于现有QAT和KD方法。
2024-03-17 cs.AI cs.CV cs.LG