Multi-Granularity Distillation Scheme Towards Lightweight Semi-Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；ByteDance Inc（字节跳动公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
尽管在半监督语义分割领域取得了不同程度的进展，但其最近的大部分成功都涉及笨拙的模型，并且轻量级解决方案尚未探索。我们发现，现有的知识蒸馏技术更注重从标记数据的像素级的概念，这未能采取更多的信息线索内未标记的数据考虑。因此，我们提供了第一次尝试，通过一种新的多粒度蒸馏（MGD）计划，其中多粒度是从三个方面捕获：i）互补的教师结构; ii）标记-未标记的数据合作蒸馏; iii）分层和多级损失设置提供轻量级SSSS模型。具体来说，MGD被制定为一个标记-未标记的数据合作蒸馏计划，这有助于充分利用不同的数据特性，是必不可少的半监督设置。图像级的语义敏感损失，区域级的内容感知损失，和像素级的一致性损失的设置，以丰富层次蒸馏抽象通过结构互补的教师。在PASCAL VOC 2012和Cityscapes上的实验结果表明，在不同的分区协议下，MGD可以大大优于竞争方法。例如，ResNet-18和MobileNet-v2骨干网的性能在Cityscapes上的1/16分区协议下分别提升了11.5%和4.6%。虽然模型主干的FLOP压缩了3.4-5.3x（ResNet-18）和38.7-59.6x（MobileNetv 2），但该模型仍能获得令人满意的分割结果。
2022-08-22 cs.CV
Diffusion-Guided Knowledge Distillation for Weakly-Supervised Low-Light Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Nanjing Forestry University（南京林业大学）
针对低光下弱监督语义分割受图像退化与弱标注约束导致伪标签不可靠的问题，提出DGKD-WLSS框架，融合扩散知识蒸馏与深度先验，实现最先进性能。
2025-07-23 cs.CV
Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation
The Chinese University of Hong Kong（香港中文大学）；Guangdong Provincial Key Laboratory of Computer Vision and Virtual Reality Technology, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院广东省计算机视觉与虚拟现实技术重点实验室）
深度学习方法在重叠宫颈细胞实例分割方面显示出有希望的结果。然而，为了训练具有良好泛化能力的模型，需要大量的像素级注释，这是相当昂贵和耗时的获取。在本文中，我们提出了利用标记和未标记的数据实例分割与知识蒸馏提高准确性。我们提出了一种新的面具指导的平均教师框架与扰动敏感的样本挖掘（MMT-PSM），其中包括一个教师和一个学生网络在训练过程中。鼓励两个网络在小扰动下在特征和语义层次上保持一致。教师的自我集成预测从$K$时间增强样本被用来构建可靠的伪标签优化的学生。我们设计了一种新的策略来估计每个建议对扰动的敏感性，并从大量案例中选择信息丰富的样本，以促进快速有效的语义蒸馏。此外，为了消除背景区域中不可避免的噪声，我们建议使用预测的分割掩模作为指导，在前景区域中执行特征提取。实验结果表明，与仅从标记数据中学习的监督方法相比，该方法的性能得到了显著提高，并且优于现有的半监督方法。
2020-07-21 cs.CV
WSOD^2: Learning Bottom-up and Top-down Objectness Distillation for Weakly-supervised Object Detection
Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
我们研究了弱监督目标检测（WSOD），它在减轻人类参与对象级注释中起着至关重要的作用。主要的工作集成区域建议机制与卷积神经网络（CNN）。尽管CNN精通于提取有区别的局部特征，但是仍然存在巨大的挑战来测量包含完整对象的限界框的可能性（即，"客体"）。在本文中，我们提出了一个新的WSOD框架与对象蒸馏（即，WSOD ^2）通过为弱监督目标检测设计定制的训练机制。通过联合考虑来自低水平测量的自下而上（BU）和自上而下（TD）对象性以及具有自适应线性组合的CNN置信度来具体确定多个回归目标。由于边界框回归可以促进区域建议学习在训练期间以高对象性接近其回归目标，因此可以通过优化将从自底向上证据学习的深度对象性表示逐渐提取到CNN中。我们探索了BU/TD对象的不同自适应训练曲线，并表明所提出的WSOD ^[2]可以实现最先进的结果。
2019-09-11 cs.CV
UFO$^2$: A Unified Framework towards Omni-supervised Object Detection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
现有的目标检测工作通常依赖于单一形式的注释：使用准确但昂贵的边界框或更便宜但表达力较低的图像级标签来训练模型。然而，现实世界中的注释往往是多种多样的形式，这挑战了这些现有的工作。在本文中，我们提出了UFO $^2$，一个统一的目标检测框架，可以同时处理不同形式的监督。具体而言，UFO $^2$包含强监管（例如，框），各种形式的部分监督（例如，类标记、点和涂写）和未标记的数据。通过严格的评估，我们证明了每种形式的标签都可以用于从头开始训练模型或进一步改进预训练模型。我们还使用UFO $^2$来研究具有感知能力的全方位监督学习，即，在固定的注释预算下研究了各种注释策略：我们表明，竞争性能不需要所有数据的强标签。最后，我们展示了UFO $^2$的泛化，检测超过1,000个不同的对象，而无需限界框注释。
2020-10-21 cs.AI cs.CV cs.LG
Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Institute of High-Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出KnowSAM框架，通过多视图协同训练、可学习提示策略微调SAM，并利用SAM诱导知识蒸馏减轻伪标签噪声，显著提升了半监督医学图像分割性能且可无缝集成至其他方法。
2024-12-18 cs.CV
Correlation-Aware Mutual Learning for Semi-supervised Medical Image Segmentation
Deepwise AI Lab（深睿医疗人工智能实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对半监督医学图像分割忽视标注数据潜力的问题，提出CAML框架，通过CMA与OCC模块实现标注引导的互学习，并在心房分割数据集上取得优于现有方法的性能。
2023-07-12 cs.CV
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University（卡内基梅隆大学）
弱监督目标检测（WSOD）已经成为一种有效的工具，训练对象检测器使用的图像级类别标签。然而，如果没有对象级别的标签，WSOD检测器很容易检测到显着的对象，聚类对象和歧视性的对象部分的边界框。此外，图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题，我们提出了一个全面的注意力自我蒸馏（CASD）训练方法的WSOD。为了平衡所有对象实例之间的特征学习，CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督，CASD在WSOD网络上进行自蒸馏，使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG
Scale-Equivalent Distillation for Semi-Supervised Object Detection
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）
最近的半监督目标检测（SS-OD）方法主要基于自训练，即，通过教师模型在未标记的数据上生成硬伪标记作为监督信号。虽然他们取得了一定的成功，有限的标记数据在半监督学习规模的目标检测的挑战。我们分析了这些方法遇到的挑战与实证实验结果。我们发现大量的假阴性样本和较差的定位精度缺乏考虑。此外，对象大小和类不平衡的大方差（即，背景和对象之间的极端比例）阻碍了现有技术的表现。此外，我们克服了这些挑战，通过引入一种新的方法，规模等效蒸馏（SED），这是一个简单而有效的端到端的知识蒸馏框架强大的大对象大小的变化和类的不平衡。与以前的作品相比，SED有几个吸引人的好处。(1)SED施加一致性正则化来处理大规模方差问题。(2)SED消除了假阴性样本的噪声问题和较差的定位精度。(3)重新加权策略可以隐式地筛选未标记数据的潜在前景区域，以减少类别不平衡的影响。大量的实验表明，SED始终优于最近的国家的最先进的方法在不同的数据集显着的利润率。例如，当在MS-COCO上使用5%和10%的标记数据时，它超过了有监督的对应物超过10 mAP。
2022-03-26 cs.AI cs.CV
O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding
University of Bristol（布里斯托大学）；Memories.ai Research（Memories.ai研究院）；University of Central Florida（佛罗里达中央大学）
提出O-MARC框架，通过无训练压缩方法OMAC保留视觉记忆和音频锚点，并利用压缩蒸馏使紧凑模型鲁棒，在多个基准上提升性能并降低推理成本。
2026-05-26 cs.CV
Guided Distillation for Semi-Supervised Instance Segmentation
FAIR, Meta（Meta 基础人工智能研究院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
针对实例分割依赖全标注数据的问题，提出带引导预热阶段的师生蒸馏半监督方法，结合未标注数据利用，在Cityscapes、COCO数据集低标注比例下实现mask-AP大幅提升。
2023-12-14 cs.AI cs.CV cs.LG
Bootstrapping Semi-supervised Medical Image Segmentation with Anatomical-aware Contrastive Distillation
New York University（纽约大学）；Yale University（耶鲁大学）
对比学习在医学图像分割的背景下已经显示出对注释稀缺问题的巨大希望。现有的方法通常假设一个平衡的类分布标记和未标记的医学图像。然而，现实中的医学图像数据通常是不平衡的（即，多类别标签不平衡），这自然会产生模糊的轮廓，并且通常会错误地标记稀有对象。此外，目前还不清楚是否所有阴性样本都是阴性的。在这项工作中，我们提出了行动，解剖意识的ConTrastive dIstillatiON框架，半监督医学图像分割。具体来说，我们首先开发了一个迭代对比蒸馏算法，通过软标签的负面，而不是二元监督之间的积极和消极的对。我们还从随机选择的阴性集合中捕获与阳性集合相比语义上更相似的特征，以加强采样数据的多样性。其次，我们提出了一个更重要的问题：我们真的可以处理不平衡的样本，以产生更好的性能？因此，ACTION的关键创新是以最小的额外内存占用来学习整个数据集的全局语义关系和相邻像素之间的局部解剖特征。在训练过程中，我们通过主动采样一组稀疏的硬负像素来引入解剖对比度，这可以生成更平滑的分割边界和更准确的预测。在两个基准数据集和不同的未标记设置上的广泛实验表明，ACTION显著优于当前最先进的半监督方法。
2023-03-10 cs.AI cs.CV cs.LG
OMNIA Faster R-CNN: Detection in the wild through dataset merging and soft distillation
Heuritech（赫锐科技）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机实验室）
对象检测器往往在新的或开放的领域中表现不佳，并且需要从完全标记的数据集进行详尽但昂贵的注释。我们的目标是从几个具有不同类别但没有额外标签的数据集中受益，不仅可以增加检测到的类别数量，还可以利用迁移学习并增强域独立性。我们的数据集合并过程首先在不同的数据集上训练几个初始的Faster R-CNN，同时考虑互补数据集的图像进行领域自适应。与自训练方法类似，这些初始检测器的预测减轻了补充数据集上缺失的注释。最终的OMNIA Faster R-CNN是在预测丰富的数据集的联合上使用所有类别进行训练的。联合训练以一种软监督的方式处理不安全的目标，并使用一种名为SoftSig的新分类损失。实验结果表明，在野外图像的时尚检测的情况下，合并Modanet与COCO在mAP中的最终性能从45.5%提高到57.4%。将我们的软蒸馏应用于GTA和Cityscapes之间的域转移检测任务，可以以5.3分的优势击败最先进的技术。我们的方法可以解锁目标检测的现实世界的应用程序，没有巨大的数据集。
2019-03-25 cs.CV
Omnimodal Dataset Distillation via High-order Proxy Alignment
University of Science and Technology of China（中国科学技术大学）；Xidian University（西安电子科技大学）；National University of Singapore（新加坡国立大学）；The University of Sydney（悉尼大学）
本文提出HoPA方法，通过紧凑代理捕捉高阶跨模态对齐，解决多模态数据集蒸馏中的异质性和复杂跨模态交互问题，实现可扩展的联合蒸馏。
2026-04-12 cs.CL cs.CV cs.LG
Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
提出Omni-Embed-Mini，通过密集蒸馏和共享骨干网络，在不更新文本参数的情况下将多模态嵌入对齐到统一空间，保持文本检索性能并显著减小模型规模。
2026-10-02 cs.CV
ProS: Facial Omni-Representation Learning via Prototype-based Self-Distillation
ProtagoLabs Inc.（ProtagoLabs公司）；Michigan State University（密歇根州立大学）；Rice University（莱斯大学）
针对监督人脸表征学习依赖标注数据的痛点，提出基于原型的自蒸馏方法ProS，通过双视觉Transformer、人脸感知检索和原型匹配损失实现无监督预训练，在多类人脸任务全/少样本场景下达SOTA，合成数据预训练也表现优异。
2023-11-07 cs.CV
Benchmarking Omni-Vision Representation through the Lens of Visual Realms
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
虽然在特定的视觉领域（如人脸、狗和地点）已经取得了令人印象深刻的性能，但推广到许多自然视觉领域的全方位视觉表示是非常可取的。但是，现有的基准是有偏见的，效率低下，以评估全方位视觉表示-这些基准要么只包括几个特定的领域，或覆盖大多数领域的代价包含大量的数据集，具有广泛的领域重叠。在本文中，我们提出了Omni-Realm Benchmark（OmniBenchmark）。它包括21个领域数据集，包含7，372个概念和1，074，346个图像。这些数据集没有语义重叠，全面而有效地覆盖了大多数视觉领域。此外，我们提出了一个新的监督对比学习框架，即关系对比学习（ReCo），更好的全方位视觉表示。除了将来自同一概念的两个实例拉得更近（典型的监督对比学习框架）之外，ReCo还将来自同一语义领域的两个实例拉得更近，对概念之间的语义关系进行编码，并促进全视表示学习。我们在OmniBenchmark上对ReCo和其他全视表示研究的进展进行了基准测试，这些研究在体系结构（从CNN到Transformers）和学习范式（从监督学习到自监督学习）方面有所不同。我们说明了ReCo优于其他监督对比学习方法，并揭示了多个实际观察，以方便未来的研究。
2022-07-15 cs.CV
Omni-sourced Webly-supervised Learning for Video Recognition
The Chinese University of Hong Kong（香港中文大学）；Amazon AI（亚马逊人工智能）；Sensetime Research（商汤科技研究院）
我们介绍OmniSource，一个新的框架，利用网络数据训练视频识别模型。OmniSource克服了数据格式之间的障碍，如图像、短视频和长的未经修剪的视频，用于网络监督学习。首先，具有多种格式的数据样本，由特定于任务的数据汇集管理，并由教师模型自动过滤，转换为统一的形式。针对网络监督学习中多数据源和多数据格式之间的领域差异，提出了一种联合训练策略。在联合训练中采用了几种良好的做法，包括数据平衡、重新排序和跨数据集混合。实验表明，通过利用来自多个来源和格式的数据，OmniSource在训练中具有更高的数据效率。仅从互联网上抓取了350万张图像和80万分钟的视频，而没有人工标记（不到之前作品的2%），我们使用OmniSource学习的模型在Kinetics-400基准测试中分别将2D和3D-ConvNet基线模型的Top-1精度提高了3.0%和3.9%。使用OmniSource，我们使用不同的视频识别预训练策略建立了新的记录。我们最好的模型在Kinetics-400基准测试中分别实现了从头训练、ImageNet预训练和IG-65 M预训练的80.4%、80.5%和83.6 Top-1准确率。
2020-08-25 cs.CV
Towards Omni-supervised Referring Expression Segmentation
Xiamen University（厦门大学）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Contemporary Amperex Technology Co. Limited (CATL)（宁德时代新能源科技股份有限公司）
提出Omni-RES任务，利用无标签、全标签和弱标签数据，通过师生学习选择高质量伪掩码，实现高效低成本的指代表达分割训练并达到SOTA性能。
2023-11-27 cs.CV
Towards Omni-Supervised Face Alignment for Large Scale Unlabeled Videos
Ningxia University（宁夏大学）；Shanghai University（上海大学）
在本文中，我们提出了一个时空关系推理网络（STRRN）的方法来研究全监督的视频人脸对齐问题。与现有的完全监督的方法依赖于手工的大量注释不同，我们的学习器利用大规模未标记的视频加上可用的标记数据来生成辅助的合理训练注释。由于相邻的面部标志通常在连续帧中是相关和连贯的，因此我们的方法自动推理出地标之间的区别性时空关系，以实现稳定的面部跟踪。具体来说，我们仔细开发了一个可解释的和高效的网络模块，它解开每个静态帧的面部几何关系，同时强制执行跨相邻帧的双向循环一致性，从而允许从原始面部序列的内在时空关系的建模。大量的实验结果表明，我们的方法超越了最完全监督的最先进的性能。
2019-12-16 cs.CV
OmniSat: Self-Supervised Modality Fusion for Earth Observation
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM实验室、巴黎桥路学校、古斯塔夫·埃菲尔大学、法国国家科学研究中心）；CNES（法国国家太空研究中心）；IGN（法国国家地理学会）；Univ Gustave Eiffel, IGN, ENSG, LASTIG（古斯塔夫·埃菲尔大学、法国国家地理学会、法国国家地理与学校测绘学院、LASTIG实验室）
OmniSat提出一种自监督多模态融合架构，利用模态对齐学习无标签特征，在林业、土地覆盖和作物制图任务中达到最优性能，并支持单模态推理。
2024-07-17 cs.CV
From Semi-supervised to Omni-supervised Room Layout Estimation Using Point Clouds
Tsinghua University（清华大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Peking University（北京大学）；Intel Labs（英特尔实验室）
房间布局估计是一个长期存在的机器人视觉任务，有利于环境传感和运动规划。然而，布局估计使用点云（PC）仍然遭受数据稀缺，由于注释困难。因此，我们基于模型指数移动平均的思想来解决这个任务的半监督设置。但是，使该方案适应用于基于PC的布局估计的最先进的（SOTA）解决方案并不简单。为此，我们定义了一个四集匹配策略和几个一致性损失的基础上量身定制的布局四边形的指标。此外，我们提出了一个新的在线伪标签收获算法，分解成两个组件之间的四边形和PC的混合距离测量的分布。该技术不需要手动阈值选择，并且直观地鼓励四边形与可靠的布局点对齐。令人惊讶的是，这个框架也适用于完全监督的设置，在ScanNet基准上实现了新的SOTA。最后但并非最不重要的是，我们还将半监督设置推到现实的全监督设置，在新注释的ARKitScenes测试集上展示了显着提升的性能。我们的代码、数据和模型都在这个存储库中发布。
2023-01-31 cs.CV
Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models
Simon Fraser University（西蒙菲莎大学）；Meta
Omni-Diffusion-Distill是一种两阶段蒸馏框架，可将统一多模态扩散大语言模型的图像生成与多模态理解解码步骤大幅减少，实现高效推理并保持最优性能权衡。
2026-10-09 cs.CV cs.LG
Simple Distillation Baselines for Improving Small Self-supervised Models
University of Munich（慕尼黑大学）；Tencent（腾讯）；MIT（麻省理工学院）
虽然大型自监督模型的性能与其监督模型的性能不相上下，但小型模型仍在苦苦挣扎。在本报告中，我们探索了通过蒸馏改进小型自监督模型的简单基线，称为SimDis。具体来说，我们提出了一个离线蒸馏基线，它建立了一个新的国家的最先进的，和一个在线蒸馏基线，它实现了类似的性能与最小的计算开销。我们希望这些基线将为未来的相关研究提供有益的经验。代码可在：https://github.com/JindongGu/SimDis/
2021-06-21 cs.CV
OXnet: Omni-supervised Thoracic Disease Detection from Chest X-rays
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology（香港科技大学）；Imsight AI Research Lab（Imsight人工智能研究实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
胸部X射线（CXR）是最典型的诊断性X射线检查，用于筛查各种胸部疾病。从CXR中自动定位病变有望减轻放射科医生的阅读负担。然而，CXR数据集通常具有大量的图像级注释和稀缺的病变级注释，并且更经常地，没有注释。到目前为止，统一不同的监督粒度开发胸部疾病检测算法尚未得到全面解决。在本文中，我们介绍了OXnet，这是第一个深度全监督胸部疾病检测网络，据我们所知，它使用尽可能多的可用监督进行CXR诊断。我们首先通过一个单阶段检测模型引入监督学习。然后，我们将全局分类头注入到检测模型中，并提出双注意力对齐来引导全局梯度到局部检测分支，这使得能够从图像级注释中学习病变检测。我们还将类内紧致性和类间可分性与全局原型对齐结合起来，以进一步增强全局信息学习。此外，我们利用软焦点损失来提取教师模型生成的未标记数据的软伪标签。在大规模胸部X射线数据集上的大量实验表明，所提出的OXnet优于具有显着利润率的竞争方法。此外，我们研究了各种注释粒度下的全方位监督，证实OXnet是缓解医学图像诊断注释短缺困境的一个有前途的选择。
2021-07-08 cs.CV
Omni-supervised Point Cloud Segmentation via Gradual Receptive Field Component Reasoning
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Xiamen University（厦门大学）
神经网络中的隐藏特征通常无法学习用于3D分割的信息表示，因为仅对输出预测进行监督，而这可以通过对中间层进行全尺度监督来解决。在本文中，我们带来了第一个全方位的监督方法，点云分割通过建议逐步接受场组件推理（RFCR），其中目标接受场组件代码（RFCC）的目的是记录类别内的感受野编码器中的隐藏单元。然后，目标RFCC将监督解码器以由粗到细的类别推理方式逐步推断RFCC，并最终获得语义标签。由于许多隐藏的功能是不活跃的微小的幅度，并作出微小的贡献，重油催化裂化预测，我们提出了一个离心的潜力，以获得更明确的功能，它实际上相当于熵正则化的功能。更活跃的功能可以进一步释放我们全方位监督方法的潜力。我们将我们的方法嵌入到四个流行的骨干和三个具有挑战性的基准测试。我们的方法可以显着改善所有三个数据集的骨干。具体来说，我们的方法为S3DIS和Semantic3D带来了新的最先进的性能，并在所有基于点的方法中在ScanNet基准中排名第一。代码将在https://github.com/azuki-miho/RFCR上公开发布。
2021-05-21 cs.CV
Omni-Supervised Motion Editing: Balancing Change and Invariance through Positive-Negative Learning
Shanghai Institute of Artificial Intelligence for Education, East China Normal University, China（上海人工智能教育研究院，华东师范大学，中国）；School of Computer Science and Technology, East China Normal University, China（华东师范大学计算机科学与技术学院，中国）；School of Statistics, East China Normal University, China（华东师范大学统计学院，中国）；The 27th Research Institute of CETC, Zhengzhou, China（中国电子科技集团第27研究所，郑州，中国）；Key Laboratory of Advanced Theory and Application in Statistics and Data Science, MOE, China（教育部统计与数据科学先进理论与应用重点实验室，中国）；Shanghai Key Laboratory of Computer Software Evaluating and Testing, China（上海计算机软件评测测试重点实验室，中国）；School of Computer Science, Shanghai Jiao Tong University, China（上海交通大学计算机科学学院，中国）
提出OmniME框架，通过正负学习结合回顾特征监督、运动保持机制和三元组语义对齐，平衡运动编辑中的变化与不变性，在MotionFix和STANCE Adjustment数据集上达到最优性能。
2026-05-29 cs.CV
Attention Distillation: self-supervised vision transformer students need more guidance
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
自监督学习已被广泛应用于训练高质量的视觉Transformer。因此，在内存和计算受限的设备上释放其出色的性能是一个重要的研究课题。然而，如何将知识从一个自我监督的ViT提取到另一个还没有被探索。此外，现有的自监督知识蒸馏（SSKD）方法集中在基于ConvNet的架构是次优的ViT知识蒸馏。本文研究了自监督视觉Transformer（ViT-SSKD）的知识蒸馏。我们发现，直接从教师到学生的关键注意力机制中提取信息可以显着缩小两者之间的绩效差距。在ImageNet-Subset和ImageNet-1 K上的实验中，我们证明了我们的方法AttnDistill优于现有的自监督知识蒸馏（SSKD）方法，并与从头开始学习（使用ViT-S模型）的自监督学习（SSL）方法相比，实现了最先进的k-NN准确性。我们也是第一个将微型ViT-T模型应用于自监督学习的人。此外，AttnDistill算法不依赖于自监督学习算法，可以应用于基于ViT的SSL方法中，以提高性能。代码在这里：https://github.com/wangkai930418/attndistill
2022-10-03 cs.CV
Multi-Mode Online Knowledge Distillation for Self-Supervised Visual Representation Learning
Megvii Technology（旷视科技）
本文提出多模式在线知识蒸馏方法 MOKD，通过自蒸馏与交叉蒸馏相结合，并引入交叉注意力特征搜索策略，使两个异构模型在自监督学习中相互促进，从而提升视觉表示学习性能。
2023-06-01 cs.CV
SimReg: Regression as a Simple Yet Effective Tool for Self-supervised Knowledge Distillation
University of California, Davis（加利福尼亚大学戴维斯分校）
特征回归是一种将大型神经网络模型提取为较小模型的简单方法。我们表明，通过对网络架构的简单更改，回归可以胜过更复杂的最先进的方法，用于从自监督模型中提取知识蒸馏。令人惊讶的是，在CNN主干中添加多层感知器头是有益的，即使仅在蒸馏期间使用并在下游任务中丢弃。因此，更深的非线性投影可以用来准确地模仿教师，而不改变推理架构和时间。此外，我们利用独立的投影头同时提取多个教师网络。我们还发现，使用相同的弱增强图像作为教师和学生网络的输入有助于蒸馏。ImageNet数据集上的实验证明了在各种自监督蒸馏设置中所提出的变化的有效性。
2022-01-13 cs.CV
OmViD: Omni-supervised active learning for video action detection
Microsoft（微软）
针对视频动作检测时空标注成本高的问题，本文提出OmViD全监督主动学习方法，通过主动策略确定样本所需标注类型，结合3D超像素生成伪标签，在降低标注成本的同时保证检测性能。
2025-08-19 cs.CV
KD-MVS: Knowledge Distillation Based Self-supervised Learning for Multi-view Stereo
Megvii Research（旷视研究院）；Tsinghua University（清华大学）
针对有监督多视图立体方法需大量真实深度数据的难题，提出基于知识蒸馏的自监督训练框架KD-MVS，经自监督教师训练与概率知识迁移，学生模型性能超越教师及有监督方法。
2023-08-20 cs.CV
Omni-supervised Facial Expression Recognition via Distilled Data
Center for Frontier AI Research, Agency for Science, Technology, and Research（新加坡科技研究局前沿人工智能研究中心）；Institute of information science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Pattern Recognition and Intelligent System Laboratory, Beijing University of Posts and Telecommunications（北京邮电大学模式识别与智能系统实验室）；InnoPeak Technology Inc.
面部表情在理解人类情感方面起着重要作用。最近，基于深度学习的方法在面部表情识别方面表现出了很大的潜力。然而，当前最先进的面部表情识别（FER）方法的性能与用于训练的标记数据直接相关。为了解决这个问题，现有技术采用预训练和微调策略，即，利用大量未标记的数据对网络进行预训练，然后通过标记数据对其进行微调。由于标记数据量较小，最终的网络性能仍然受到限制。从不同的角度来看，我们建议执行全方位监督学习，直接利用大量未标记数据中的可靠样本进行网络训练。具体地，首先使用在少量标记样本上训练的原始模型来构建新的数据集，以从人脸数据集中选择具有高置信度分数的样本，即，MS-Celeb-1 M，基于特征相似性。我们通过实验验证，以这种全监督方式创建的新数据集可以显着提高学习的FER模型的泛化能力。然而，随着训练样本数量的增加，计算成本和训练时间急剧增加。为了解决这个问题，我们建议应用数据集蒸馏策略将创建的数据集压缩成几个信息丰富的类图像，从而显着提高训练效率。我们已经进行了广泛的实验，广泛使用的基准测试，一致的性能增益可以在各种设置下使用所提出的框架。更重要的是，经过提炼的数据集已经显示出其提高FER性能的能力，而额外的计算成本可以忽略不计。
2021-12-09 cs.CV
Diverse Deep Feature Ensemble Learning for Omni-Domain Generalized Person Re-identification
Nanyang Technological University（南洋理工大学）
针对跨数据集性能下降及领域泛化方法在单数据集上表现不佳的问题，提出全领域泛化行人重识别范式ODG-ReID，并通过自集成生成多样化深度特征的D2FEL方法，在主要泛化与监督基准上达到SOTA性能。
2024-10-11 cs.CV
OnPoint: Offline-to-Online Multi-Level Distillation for Point-Supervised Online Temporal Action Localization
Northeastern University（东北大学）；Dolby Laboratories, Inc.（杜比实验室公司）；Georgia Institute of Technology（佐治亚理工学院）
提出点监督在线时序动作定位任务，并设计离线到在线多级蒸馏框架，通过伪段实例、类激活序列和窗口级蒸馏转移知识，结合点标签和注意力校准，在五个数据集上优于基线。
2026-07-02 cs.CV
Knowledge Distillation for Road Detection based on cross-model Semi-Supervised Learning
School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
针对小型模型在遥感道路检测中特征提取能力有限的问题，提出结合知识蒸馏与半监督学习的SSLKD方法，利用大型教师模型处理未标记数据并指导学生模型，显著提升了道路分割性能。
2024-03-25 cs.CV
Deep Omni-supervised Learning for Rib Fracture Detection from Chest Radiology Images
Imsight AI Research Lab（Imsight AI 研究实验室）；The Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院）；The Chinese University of Hong Kong（香港中文大学）
针对肋骨骨折检测中标注成本高的问题，提出 ORF-Netv2 全监督检测框架，融合全标注、弱标注与无标注数据，并通过协同训练动态标签分配提升性能。
2024-01-20 cs.CV
Complete-to-Partial 4D Distillation for Self-Supervised Point Cloud Sequence Representation Learning
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
最近的工作4D点云序列吸引了大量的关注。然而，获得详尽标记的4D数据集通常非常昂贵和费力，因此研究如何利用原始未标记数据尤为重要。然而，大多数现有的自监督点云表示学习方法只考虑静态快照的几何形状，忽略了动态场景的连续观察可以揭示更全面的几何细节的事实。视频表示学习框架大多将运动建模为图像空间流，更不用说3D几何感知了。为了克服这些问题，本文提出了一种新的4D自监督预训练方法，称为完全到部分4D蒸馏。我们的核心思想是制定4D自我监督表示学习作为师生知识蒸馏的框架，让学生学习有用的4D表示与教师的指导。实验表明，该方法在广泛的4D点云序列理解任务（包括室内和室外场景）上的性能明显优于以前的预训练方法。
2022-12-20 cs.CV
FisheyeDistill: Self-Supervised Monocular Depth Estimation with Ordinal Distillation for Fisheye Cameras
OPPO US Research Center（OPPO美国研究中心）；InnoPeak Technology, Inc.（InnoPeak技术公司）；Wing LLC（Wing有限责任公司）
在本文中，我们处理的问题，单目深度估计鱼眼相机在一个自我监督的方式。自监督深度估计的已知问题是其在低光/过度曝光条件下和在大的均匀区域中受到影响。为了解决这个问题，我们提出了一种新的序数蒸馏损失，从一个大的教师模型中提取序数信息。这样的教师模型，因为已经在大量不同的数据上训练，可以很好地捕获深度排序信息，但缺乏保持准确的场景几何形状。结合自监督损失，我们证明了我们的模型不仅可以在具有挑战性的环境中生成合理的深度图，而且可以更好地恢复场景几何形状。我们进一步利用AR眼镜设备的鱼眼摄像头来收集室内数据集，以便于评估。
2022-05-05 cs.CV
A Self-Distillation Embedded Supervised Affinity Attention Model for Few-Shot Segmentation
Beihang University（北京航空航天大学）；Beijing University of Technology（北京工业大学）
Few-Shot分割是一种利用有限的标注样本来分割未知对象的方法。然而，现有的方法仍然面临两个主要挑战。首先，支持图像和查询图像之间巨大的特征差异导致知识传递障碍，这损害了分割性能。其次，有限的支持原型不能充分表达支持对象的特征，难以指导高质量的查询分割。针对这两个问题，本文提出了自升华嵌入式监督仿射注意力模型来提高Few-Shot分割任务的性能。具体来说，自升华引导原型模块使用自升华来对齐支持和查询的特征。有监督的亲和注意力模块生成高质量的查询注意力图，以提供足够的对象信息。大量的实验证明，我们的模型显着提高了性能相比，现有的方法。全面的消融实验和可视化研究也表明，我们的方法对Few-Shot分割任务的显着效果。在COCO-20 i数据集上，我们获得了新的最先进的结果。训练代码和预训练模型可在https://github.com/cv516Buaa/SD-AANet上获得。
2023-03-20 cs.CV
The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework
China Academy of Railway Sciences（中国铁道科学研究院）；NVIDIA（英伟达）
针对视频分类知识蒸馏中蒸馏方法与师生结构关系被忽视的问题，提出弱监督分阶段蒸馏框架，融合渐进级联训练、伪标签优化和特征分布损失，提升学生模型效率与准确率。
2023-07-16 cs.CV
VPBSD:Vessel-Pattern-Based Semi-Supervised Distillation for Efficient 3D Microscopic Cerebrovascular Segmentation
本文提出基于血管模式的半监督蒸馏流水线VpbSD，通过构建血管模式码本并融合知识蒸馏与半监督学习，有效解决了3D显微脑血管分割中高分辨率、标注难和数据量大的挑战。
2024-11-14 cs.CV
Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning
Institute of Medical Technology, Health Science Center of Peking University（北京大学医学部医学技术研究院）；National Institute of Health Data Science, Peking University（北京大学健康医疗大数据国家研究院）
无监督/自监督图表示学习对于下游节点和图级分类任务至关重要。图的全局结构有助于区分表示，现有方法主要通过施加额外的监督来利用全局结构。然而，它们的全局语义通常对于所有节点/图是不变的，并且它们未能显式地嵌入全局语义以丰富表示。在本文中，我们提出了全粒度自我语义传播自监督图表示学习（OEPG）。具体来说，我们引入实例自适应全局感知自我语义描述符，利用每个节点/图和整个图数据集的分层全局集群之间的一阶和二阶特征差异。描述符可以作为新的邻居节点显式地集成到局部图卷积中。此外，我们设计了一个全粒度的规范化的整个规模和层次的自我语义分配注意力的权重，每个描述符从全粒度的角度。专门的借口任务和交叉迭代动量更新进一步发展为本地-全球相互适应。在下游任务中，OEPG在跨尺度和跨领域的多个数据集上始终获得最佳性能，精度增益为2%~6%。值得注意的是，OEPG还推广到数量和拓扑不平衡的场景。
2022-05-31 cs.AI cs.CV cs.LG
Hierarchical Self-supervised Augmented Knowledge Distillation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
知识蒸馏通常涉及如何有效地定义知识并将知识从教师转移到学生。虽然最近的自监督对比知识实现了最佳性能，但强迫网络学习此类知识可能会损害原始类别识别任务的表示学习。因此，我们采用一种替代的自监督增强任务来引导网络学习原始识别任务和自监督辅助任务的联合分布。它被证明是一个更丰富的知识，以提高表示能力，而不失去正常的分类能力。此外，它是不完整的，以前的方法只传递的概率知识之间的最后层。我们建议将几个辅助分类器添加到分层中间特征映射中，以生成各种自监督知识，并执行一对一的传输以彻底教授学生网络。我们的方法显著超过了之前的SOTA SSKD，在CIFAR-100上平均提高了2.56\%，在广泛使用的网络对上ImageNet上提高了0.77\%。代码可在https://github.com/winycg/HSAKD上获得。
2022-07-23 cs.CV
OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
针对音视频联合推理评估不足与能力未激发的问题，提出基准OmniReasoningBench、数据引擎OmniQA及模态因子自蒸馏方法，显著提升模型性能。
2026-10-27 cs.AI cs.CV
DMT: Comprehensive Distillation with Multiple Self-supervised Teachers
DAMO Academy（达摩院）
针对现有自监督模型预训练未考虑表征互补性的问题，提出多自监督教师综合蒸馏方法DMT，利用多现成自监督模型优势实现模型压缩，在分类及密集预测任务上均取得更优性能。
2023-12-19 cs.CV
Reconstruction-Aware Prior Distillation for Semi-supervised Point Cloud Completion
Renmin University of China（中国人民大学）；Nreal；Tsinghua University（清华大学）
针对点云补全依赖大量成对训练数据的问题，本文提出半监督方法 RaPD，通过两阶段先验学习与蒸馏及自监督补全模块，在同源和异源场景下均取得优于以往方法的效果。
2023-07-24 cs.CV
MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation
University of Geneva（日内瓦大学）
提出基于多视图与多表示（MV-MR）的自监督学习与知识蒸馏通用框架，通过最大化依赖性并引入多表示正则化，在STL10和ImageNet-1K上取得SOTA性能。
2024-06-02 cs.CV
Semi-supervised Semantic Segmentation with Mutual Knowledge Distillation
Alibaba Group（阿里巴巴集团）；The University of Adelaide（阿德莱德大学）
提出一种结合数据与特征增强的相互知识蒸馏框架，通过两个平均教师模型生成伪标签监督学生网络，在多种半监督设置下超越现有最先进方法。
2023-08-30 cs.CV
Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University（杭州电子科技大学）；Baidu Inc.（百度公司）；Zhejiang International Studies University（浙江外国语学院）
提出了一种无需事件句标注的密集视频描述（DVC）方法。首先，我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后，我们将通常应用于跨模态检索任务的对比损失和循环一致性损失，以建立建议和句子之间的语义匹配，最终用于训练字幕生成模块。此外，匹配模块的参数通过预训练的基础上标注的图像进行初始化，以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明，基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义，并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
Self-supervised Knowledge Distillation for Few-shot Learning
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
现实世界包含了大量的对象类，一次性学习所有这些对象类是不可行的。少样本学习是一种很有前途的学习范式，因为它能够快速学习无序分布，只需很少的样本。最近的工作[7，41]表明，简单地学习一个好的特征嵌入可以优于更复杂的元学习和度量学习算法，用于少样本学习。在本文中，我们提出了一种简单的方法来提高深度神经网络对少样本学习任务的表示能力。我们遵循两个阶段的学习过程：首先，我们训练一个神经网络，以最大化特征嵌入的熵，从而使用自监督辅助损失创建最佳输出流形。在第二阶段，我们通过将自我监督的双胞胎放在一起来最小化特征嵌入的熵，同时用学生-教师蒸馏来约束流形。我们的实验表明，即使在第一阶段，自我监督可以优于当前最先进的方法，我们的第二阶段蒸馏过程实现了进一步的收益。我们的代码可在https://github.com/brjathu/SKD上获得。
2020-08-04 cs.CV
Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）
给定一个使用大规模基础数据集进行良好训练的模型，Few-Shot类增量学习（FSCIL）旨在通过避免过拟合来从一些标记样本中增量学习新类，而不会灾难性地忘记之前遇到的所有类。目前，利用自由可用的未标记数据来补偿有限的标记数据的半监督学习技术可以提高许多视觉任务的性能，这可以应用于解决FSCIL中的问题，即，半监督FSCIL（Semi-FSCIL）到目前为止，非常有限的工作集中在半FSCIL任务，留下的适应性问题的半监督学习的FSCIL任务尚未解决。在本文中，我们专注于这个适应性问题，并提出了一个简单而有效的半FSCIL框架命名为不确定性感知蒸馏与类平衡（UaD-CE），包括两个模块UaD和CE。具体来说，当将未标记的数据纳入每个增量会话时，我们引入了CE模块，该模块采用类平衡的自训练，以避免易于分类的类在伪标签生成上逐渐占据主导地位。为了从参考模型中提取可靠的知识，我们进一步实现了UaD模块，该模块将不确定性引导的知识精炼与自适应蒸馏相结合。在三个基准数据集上的综合实验表明，该方法可以提高半监督学习技术在FSCIL任务中对未标记数据的适应性。
2023-01-24 cs.CV
Reversing the cycle: self-supervised deep stereo through enhanced monocular distillation
University of Bologna（博洛尼亚大学）；China Agricultural University（中国农业大学）
在许多领域，自监督学习解决方案正在迅速发展，并填补了监督方法的空白。这一事实发生在基于单眼或立体的深度估计中，后者通常为前者提供有效的自我监督源。相比之下，软化典型的立体声文物，我们提出了一种新的自我监督范式扭转两者之间的联系。有目的地，为了训练深度立体网络，我们通过单眼完成网络提取知识。该架构利用传统立体算法提供的单图像线索和少量稀疏点，通过多个估计的共识机制来估计密集而准确的视差图。我们用流行的立体数据集彻底评估了不同监督信号的影响，显示了用我们的范式训练的立体网络如何优于现有的自监督框架。最后，我们的建议实现了显着的泛化能力处理域转移问题。代码可在https://github.com/FilippoAleotti/Reversing获得
2020-08-17 cs.CV
Relational Self-supervised Distillation with Compact Descriptors for Image Copy Detection
Sogang University（西江大学）
提出关系型自监督蒸馏与紧凑描述符方法，用轻量网络实现图像复制检测，在DISC2021上微平均精度提升5.0%-5.9%。
2024-11-09 cs.CV
