Semi-Supervised Semantic Segmentation with Cross Teacher Training
Ningbo University（宁波大学）；Ningbo Institute of Materials Technology & Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所）；Jiaochuan Academy（蛟川书院）
卷积神经网络在语义分割任务中可以取得显著的性能。然而，这种神经网络方法严重依赖于昂贵的像素级注释。半监督学习是解决这一问题的有效方法，但其性能仍远远落后于全监督学习。这项工作提出了一个跨教师培训框架，三个模块，显着改善传统的半监督学习方法。其核心是一个跨教师模块，它可以同时减少对等网络之间的耦合和教师和学生网络之间的错误积累。此外，我们提出了两个互补的对比学习模块。高级模块可以将高质量的知识从标记数据转移到未标记数据，并促进特征空间中类之间的分离。低层模块可以鼓励低质量特征从对等网络中的高质量特征学习。在实验中，跨教师模块显着提高了传统的学生-教师方法的性能，我们的框架在基准数据集上的性能优于最先进的方法。我们的CTT源代码将被发布。
2022-09-03 cs.CV
Dual Teacher-Student Learning for Semi-supervised Medical Image Segmentation
Center for Applied Mathematics, Tianjin University（应用数学中心，天津大学）；Department of Radiology, Tianjin Hospital of Tianjin University（放射科，天津大学医院）；Department of Hip Trauma, Tianjin Hospital of Tianjin University（骨科创伤科，天津大学医院）
本文提出双教师-学生学习（DTSL）方法，通过组内时间平均信号与跨架构学生信号的一致性生成伪标签，实现半监督医学图像分割的自步学习，在多个基准上超越现有方法。
2025-11-07 cs.CV
Humble Teachers Teach Better Students for Semi-Supervised Object Detection
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊云科技）
我们提出了一个半监督的方法，当代对象检测器以下的师生双模型框架。我们的方法的特点是：1）指数移动平均策略，以在线更新教师从学生，2）使用大量的区域建议和软伪标签作为学生的训练目标，和3）一个轻量级的检测特定的数据集成，为教师生成更可靠的伪标签。与最近的国家的最先进的- STAC，它使用稀疏选择的硬伪样本的硬标签，在我们的模型中的教师暴露更丰富的信息，学生与软标签的许多建议。当使用VOC 12作为未标记数据时，我们的模型在VOC 07 val集上实现了53.04%的COCO风格AP，比STAC好8.4%。在MS-COCO上，当只有一小部分数据被标记时，它的性能优于以前的工作。它在MS-COCO测试开发中也达到了53.8%的AP，比完全监督的ResNet-152级联R-CNN有3.1%的增益，通过利用与标记数据大小相似的未标记数据。
2021-06-19 cs.CV
Dense Teacher: Dense Pseudo-Labels for Semi-supervised Object Detection
MEGVII Technology（旷视科技）；Harbin Institute of Technology（哈尔滨工业大学）；Waseda University（早稻田大学）
迄今为止，最强大的半监督对象检测器（SS-OD）是基于伪框的，这需要一系列具有微调超参数的后处理。在这项工作中，我们建议用密集预测代替稀疏伪框作为统一和直接的伪标签形式。与伪盒相比，我们的密集伪标签（DPL）不涉及任何后处理方法，从而保留了更丰富的信息。我们还介绍了一个区域选择技术，突出的关键信息，同时抑制密集标签携带的噪声。我们将我们提出的利用DPL的SS-OD算法命名为Dense Teacher。在COCO和VOC上，与基于伪框的方法相比，Dense Teacher在各种设置下都表现出优异的性能。
2022-07-19 cs.CV
Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders
Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
基于视觉Transformer的视觉表征自监督学习~（SSL）中，掩码图像建模（MIM）已成为一种流行的策略。一个代表性的MIM模型，掩蔽自动编码器（MAE），随机屏蔽图像补丁的子集，并重建被掩蔽的补丁给定的未掩蔽的补丁。同时，自监督学习中的许多最近的作品利用学生/教师范例，其基于由先前学生的指数移动平均（EMA）组成的教师的输出为学生提供额外的目标。虽然常见的，相对较少的学生和教师之间的互动的动态所知。通过对一个简单的线性模型的分析，我们发现，教师有条件地删除以前的梯度方向的基础上的特征相似性，有效地作为一个条件动量正则化。从这个分析中，我们提出了一个简单的SSL方法，重建一致性掩蔽自动编码器（RC-MAE），通过添加一个EMA教师MAE。我们发现，RC-MAE收敛速度更快，需要更少的内存使用比国家的最先进的自蒸馏方法在预训练，这可能会提供一种方法来提高昂贵的自监督学习的实用性的视觉Transformer模型。此外，我们还证明了RC-MAE在ImageNet-1 K分类、目标检测和实例分割等下游任务上比MAE具有更高的鲁棒性和更好的性能。
2022-10-05 cs.CV
DualFete: Revisiting Teacher-Student Interactions from a Feedback Perspective for Semi-supervised Medical Image Segmentation
针对半监督医学图像分割中师生范式易受错误监督导致自我强化偏差的问题，本研究引入反馈机制及双教师反馈模型，通过学生反馈优化教师伪标签，在三个基准上有效缓解错误传播。
2025-11-12 cs.CV
Temporal Self-Ensembling Teacher for Semi-Supervised Object Detection
Keya Medical Technology（科亚医疗科技）；Cambricon（寒武纪）；Tencent（腾讯）；National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文主要研究半监督目标检测（SSOD）。知识蒸馏（KD）已广泛应用于半监督图像分类。然而，为裁军特别联大调整这些方法有以下障碍。(1)教师模型充当教师和学生的双重角色，使得教师对未标记图像的预测可能非常接近学生的预测，这限制了学生的上限。(2)SSOD中的班级不平衡问题阻碍了教师向学生的有效知识转移。为了解决这些问题，我们提出了一种新的方法时间自我集成教师（TSE-T）的SSOD。与以前基于KD的方法不同，我们设计了一个时间进化的教师模型。首先，我们的教师模型在随机扰动下对未标记图像进行时间预测。其次，我们的教师模型集成其时间模型权重与学生模型权重的指数移动平均（EMA），这使得教师逐渐从学生学习。这些自集成策略增加了数据和模型的多样性，从而提高了教师对未标记图像的预测。最后，我们使用焦点损失来制定一致性正则化项来处理数据不平衡问题，这是一种更有效的方式来利用来自未标记图像的有用信息，而不是简单的硬阈值方法，该方法仅保留置信预测。在广泛使用的VOC和COCO基准测试中，我们的方法在VOC 2007测试集和COCO 2014 minval 5 k集上的mAP分别达到80.73%和40.52%，比强全监督检测器高出2.37%和1.49%。在VOC 2007测试集上，我们的方法比基线SSOD方法提高了1.44%。这项工作的源代码可在http://github.com/syangdong/…
2020-09-02 cs.CV
DTG-SSOD: Dense Teacher Guidance for Semi-Supervised Object Detection
Nanjing University of Science Technology（南京理工大学）；SenseTime Research（商汤科技研究院）
在半监督目标检测（SSOD）中，均值-教师（MT）方案被广泛采用。在MT中，由教师的最终预测提供的稀疏伪标签（例如，在非最大抑制（NMS）后处理之后），通过手工制作的标签分配用于对学生的密集监督。然而，稀疏到密集的范式使SSOD的管道复杂化，同时忽视了强大的直接，密集的教师监督。在本文中，我们试图直接利用教师的密集指导来监督学生的培训，即，密集到密集的模式。具体来说，我们提出了反向NMS聚类（INC）和排名匹配（RM）来实例化密集监督，而无需广泛使用的传统稀疏伪标签。INC引导学生像教师一样在NMS中对候选框进行聚类，这是通过学习教师在NMS过程中透露的分组信息来实现的。在通过INC获得与教师相同的分组方案后，学生通过秩匹配进一步模仿教师在聚类候选人上的秩分布。通过拟议的INC和RM，我们将密集教师指导集成到半监督目标检测（称为DTG-SSOD）中，成功地放弃了稀疏的伪标签，并在未标记的数据上实现了更多信息的学习。在COCO基准上，我们的DTG-SSOD在各种标签比率下均达到最先进的性能。例如，在10%的标签比率下，DTG-SSOD将监督基线从26.9 mAP提高到35.9 mAP，比之前最好的方法Soft Teacher高出1.9个点。
2022-07-12 cs.AI cs.CV
Semi-Supervised Biomedical Image Segmentation via Diffusion Models and Teacher-Student Co-Training
本文提出了一种基于扩散模型的半监督生物医学图像分割框架，通过教师-学生协同训练和多轮伪标签生成策略，在有限标注数据下提升分割性能。
2026-09-02 cs.CV
Learning Efficient Detector with Semi-supervised Adaptive Distillation
Sensetime Research（商汤科技研究院）
知识蒸馏（KD）已被用于图像分类的模型压缩。然而，很少有研究将这种技术应用于单级物体检测器。焦点损失表明，容易分类的样本的累积误差在训练过程中占主导地位的整体损失。在检测任务中应用KD时也会遇到这个问题。对于KD来说，教师定义的硬样本比其他任何样本都重要。我们提出ADL来解决这个问题，通过自适应地模仿教师的逻辑，更多的注意力放在两种类型的硬样本：难以学习的样本，教师预测的低确定性和难以模仿的样本，教师和学生的预测之间有很大的差距。ADL扩大了难以学习和难以模仿的样品的蒸馏损失，并减少了占主导地位的简单样品的蒸馏损失，使蒸馏能够在单级检测器上首次工作，即使学生和教师是相同的。此外，ADL是有效的监督设置和半监督设置，即使当标记数据和未标记数据是来自不同的分布。对于未标记数据的蒸馏，ADL比现有的简单利用硬目标的数据蒸馏实现了更好的性能，使学生检测器超过其老师。在COCO数据库上，半监督自适应蒸馏（SAD）使得以ResNet-50为骨干的学生检测器超过以ResNet-101为骨干的老师检测器，而学生检测器的计算复杂度只有老师检测器的一半。该代码可在www.example.com上获得
2019-01-14 cs.CV
DiscoBox: Weakly Supervised Instance Segmentation and Semantic Correspondence from Box Supervision
University of Maryland, College Park（马里兰大学帕克分校）；NVIDIA（英伟达）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Caltech（加州理工学院）
我们介绍了DiscoBox，一个新的框架，共同学习实例分割和语义对应使用限界框监督。具体来说，我们提出了一个自我集成框架，其中实例分割和语义对应的结构化教师除了限界框监督共同指导。教师是一个结构化的能量模型，结合成对的潜力和跨图像的潜力，以模拟成对的像素关系内和跨框。最小化教师能量同时产生细化的对象掩码和类内对象之间的密集对应，它们被用作伪标签来监督任务网络，并为密集重复学习提供正/负对应对。我们展示了一种共生关系，这两项任务相互受益。我们的最佳模型在COCO实例分割上实现了37.9%的AP，超过了以前的弱监督方法，与监督方法相比具有竞争力。我们还获得了PASCAL VOC 12和PF-PASCAL上最先进的弱监督结果，并具有实时推理。
2021-06-05 cs.CV cs.LG
ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised Medical Image Segmentation
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）；Chinese Academy of Sciences（中国科学院）
在医学图像分析中，半监督学习是从少量标记数据和大量未标记数据中提取知识的有效方法。本文重点介绍了一种流行的管道，称为自学习，并指出了一个名为懒惰学习的弱点，指的是模型很难从自己生成的伪标签中学习。为了缓解这个问题，我们提出了ATSO，一个异步版本的师生优化。ATSO将未标记的数据划分为两个子集，并交替使用一个子集来微调模型并更新另一个子集上的标签。我们在两个流行的医学图像分割数据集上评估了ATSO，并在各种半监督设置中显示了其优越的性能。经过轻微修改，ATSO可以很好地转换为自动驾驶数据的自然图像分割。
2020-08-07 cs.CV
Dual-Teacher Ensemble Models with Double-Copy-Paste for 3D Semi-Supervised Medical Image Segmentation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；National Institute of Healthcare Data Science, Nanjing University（南京大学国家医疗数据科学研究院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications(Ministry of Education), Southeast University（东南大学新一代人工智能技术及交叉应用教育部重点实验室）；School of Data and Computer Science, Shandong Women’s University（山东女子学院数据与计算机科学学院）
针对3D半监督医学图像分割中师生模型的耦合问题，提出双重复制粘贴技术增强双教师模型多样性，并引入分阶段选择性集成模块优化伪标签质量，有效提升了分割精度。
2024-10-15 cs.CV
Efficient Teacher: Semi-Supervised Object Detection for YOLOv5
Alibaba Group（阿里巴巴集团）
半监督目标检测（SSOD）已经成功地提高了R-CNN系列和无锚检测器的性能。然而，单级锚点检测器缺乏生成高质量或灵活的伪标签的结构，导致SSOD中严重的不一致性问题。在本文中，我们提出了一个高效的教师框架，可扩展的和有效的一阶段基于锚的SSOD训练，由密集检测器，伪标签分配器，和时代适配器。Dense Detector是一个基线模型，它使用受YOLOv 5启发的密集采样技术扩展了RetinaNet。Efficient Teacher框架引入了一种新的伪标签分配机制，称为伪标签分配器，它可以更精确地使用来自Dense Detector的伪标签。Epoch Adaptor是一种为Dense Detector实现稳定和高效的端到端半监督训练计划的方法。伪标签分配器避免了师生互学机制中大量低质量伪标签对密集检测器的干扰而产生偏差，历元适配器利用域和分布自适应，使密集检测器学习全局分布的一致特征，使得训练与标签数据的比例无关。我们的实验表明，高效的教师框架实现了最先进的结果VOC，COCO标准，COCO附加使用更少的FLOP比以前的方法。据我们所知，这是首次尝试将半监督目标检测应用于YOLOv 5。代码可在https://github.com/AlibabaResearch/efficientteacher上找到
2023-03-14 cs.CV
BSNet: Box-Supervised Simulation-assisted Mean Teacher for 3D Instance Segmentation
University of Science and Technology of China（中国科学技术大学）；Deep Space Exploration Lab（深空探测实验室）
提出BSNet，通过引入仿真辅助均值教师和局部-全局感知注意力机制，生成高质量伪标签，实现更精确的弱监督3D实例分割。
2024-03-22 cs.CV
Credible Teacher for Semi-Supervised Object Detection in Open Scene
Sun Yat-sen University（中山大学）；Research Institute of Sun Yat-sen University in Shenzhen（中山大学深圳研究院）
针对开放场景半监督目标检测中未知目标增加预测不确定性并降低伪标签精度的问题，提出端到端框架Credible Teacher，采用交互式教学机制和灵活标签防止不确定伪标签误导模型，并利用可信伪标签逐步降低不确定性，显著优于现有方法。
2024-01-03 cs.CV
Power of Cooperative Supervision: Multiple Teachers Framework for Enhanced 3D Semi-Supervised Object Detection
DGIST（大邱庆北科学技术院）；FutureDrive Inc.（FutureDrive公司）
本文构建了多类3D LiDAR数据集，并提出基于多教师框架的3D半监督目标检测方法，通过类别专门化教师协作监督和PieAug增强技术提升伪标签质量，在多个数据集上优于现有方法。
2024-05-31 cs.CV
Seeking Flat Minima with Mean Teacher on Semi- and Weakly-Supervised Domain Generalization for Object Detection
Institute of Industrial Science（产业技术研究所）；The University of Tokyo（东京大学）
针对目标检测的域泛化问题，提出在半监督、弱监督两种设定下采用Mean Teacher框架训练检测器，从平坦极小值角度解释其有效性，并加入正则化进一步提升性能。
2024-10-07 cs.CV
Scribble-Supervised Medical Image Segmentation with Dynamic Teacher Switching and Hierarchical Consistency
1 Carnegie Mellon University, PA 15213, United States 2 PASSIO Lab, North Carolina A\&T State University, NC 27401, United States 3 University of Houston, TX 77004, United States 4 Northwestern University, IL 60611, United States
SDT-Net通过动态教师切换和层次一致性机制，提升人工书写监督下医学图像分割的准确性和解剖合理性。
2026-01-23 cs.CV
Unbiased Subclass Regularization for Semi-Supervised Semantic Segmentation
Singtel Cognitive and Artificial Intelligence Lab for Enterprises, Nanyang Technological University（新加坡南洋理工大学新电信企业认知与人工智能实验室）
半监督语义分割从少量标记图像和大量未标记图像中学习，随着深度神经网络的最新进展，它已经取得了令人印象深刻的进展。然而，它经常遭受严重的类偏差问题，而探索未标记的图像，主要是由于在标记的图像中的清晰的像素级的类不平衡。本文提出了一种无偏子类正则化网络（USRN），通过从平衡子类分布中学习类无偏分割来解决类不平衡问题。我们通过将每个原始类的像素聚类成多个大小相似的子类来构建平衡的子类分布，这提供了类平衡的伪监督来正则化类偏置分割。此外，我们设计了一个基于熵的门机制来协调原始类和聚类子类之间的学习，通过抑制不自信的子类预测来有效地促进子类正则化。在多个公共基准上的大量实验表明，USRN实现了优越的性能相比，国家的最先进的。
2022-03-26 cs.CV
CW-BASS v2: Saturation-Aware Pseudo-Label Selection for Semi-Supervised Segmentation under Foundation-Model Teachers
Ebenworks Systems（埃本沃克斯系统公司）
CW-BASS v2是一种感知饱和度的伪标签选择方法，它针对DINOv2教师模型的置信饱和问题，结合预留校准等技术，在6个基准数据集上恢复UniMatch V2操作点并提升性能。
2026-08-14 cs.CV cs.LG eess.IV
A Teacher-Student Framework for Semi-supervised Medical Image Segmentation From Mixed Supervision
Xiamen University（厦门大学）；Chinese PLA General Hospital（中国人民解放军总医院）；Deepwise AI Laboratory（深度智耀人工智能实验室）
基于全监督卷积网络的医学图像标准分割需要精确的密集注释。这种学习框架建立在费力的手动注释上，对专业知识的要求有限，导致高质量标签不足。为了克服这种局限性，利用大量的弱标记数据，我们放松了严格的标记要求，并开发了一个半监督学习框架的基础上，教师-学生的时尚与部分密集标记的监督和补充松散的边界盒监督，更容易获得的器官和病变分割。在大多数情况下，观察器官及其内部病变的几何关系，我们提出了一个分层的器官病变（O2 L）注意模块在教师分割器产生伪标签。然后，用手动标记和伪标记注释的组合训练学生分割器。我们进一步提出了一个定位分支，通过在深度解码器中聚合高级特征来预测器官和病变的位置，从而丰富了学生分割器的精确定位信息。我们通过消融研究在LiTS挑战数据集上验证了我们模型中的每个设计，并与最近的方法相比显示了其最先进的性能。我们证明了我们的模型对限界框的质量是鲁棒的，并且与全监督学习方法相比具有相当的性能。
2020-10-23 cs.CV
MixTeacher: Mining Promising Labels with Mixed Scale Teacher for Semi-Supervised Object Detection
Ningbo Research Institute, Zhejiang University（浙江大学宁波研究院）；Rongcheer Co., Ltd（融澈有限公司）；Youtu Lab, Tencent（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）
跨对象实例的尺度变化仍然是目标检测任务中的关键挑战。尽管现代检测模型取得了显着的进步，但这种挑战在半监督的情况下尤其明显。虽然现有的半监督目标检测方法依赖于严格的条件来过滤网络预测中的高质量伪标签，但我们观察到，具有极端规模的对象往往具有较低的置信度，从而导致缺乏对这些对象的积极监督。在本文中，我们提出了一种新的框架，通过引入混合规模教师来改善伪标签生成和规模不变学习，从而解决规模变化问题。此外，我们建议使用跨尺度预测的分数提升来挖掘伪标签，这得益于混合尺度特征的更好预测。我们在各种半监督设置下对MS COCO和PASCAL VOC基准进行了广泛的实验，证明我们的方法达到了最先进的性能。代码和型号可在\url{https://github.com/lliuz/MixTeacher}上获得。
2023-03-16 cs.CV
ACT-Net: Asymmetric Co-Teacher Network for Semi-supervised Memory-efficient Medical Image Segmentation
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
虽然深度模型在医学图像分割方面表现出了良好的性能，但它们严重依赖于大量注释良好的数据，这些数据很难访问，特别是在临床实践中。另一方面，高精度深度模型通常具有较大的模型大小，限制了它们在真实场景中的应用。在这项工作中，我们提出了一种新的非对称的合作教师框架，ACT-Net，以减轻负担昂贵的注释和计算成本的半监督知识蒸馏。我们推进师生学习与合作教师网络，以促进不对称的知识蒸馏从大模型到小的交替学生和教师的角色，获得微小的，但准确的模型，为临床就业。为了验证我们的ACT-Net的有效性，我们在实验中使用ACDC数据集进行心脏子结构分割。大量的实验结果表明，ACT-Net优于其他知识提取方法，并以少250倍的参数实现无损分割性能。
2022-07-05 cs.AI cs.CV eess.IV
DetMatch: Two Teachers are Better Than One for Joint 2D and 3D Semi-Supervised Object Detection
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）
虽然许多3D检测工作利用RGB图像和点云之间的互补关系，但半监督对象识别的更广泛框架的发展仍然不受多模态融合的影响。当前的方法开发了用于2D和3D半监督学习的独立管道，尽管成对的图像和点云帧是可用的。观察到每个传感器的独特特性导致它们偏向于检测不同的对象，我们提出了DetMatch，一个灵活的框架，联合半监督学习的2D和3D模式。通过识别在两个传感器中检测到的对象，我们的管道生成了一组更干净，更强大的伪标签，既展示了更强的性能，又阻止了单模态错误传播。此外，我们利用RGB图像更丰富的语义来纠正不正确的3D类别预测并改进3D框的本地化。在具有挑战性的KITTI和Waymo数据集上进行评估，我们改进了强半监督学习方法，并观察到更高质量的伪标签。代码将在https://github.com/Divadi/DetMatch上发布
2022-03-17 cs.AI cs.CV cs.LG
MVAT: Multi-View Aware Teacher for Weakly Supervised 3D Object Detection
Université Paris-Saclay, CEA, List（巴黎-萨克雷大学、欧洲原子能机构、List）
针对弱监督3D检测中2D框投影歧义和单视角部分可见问题，提出MVAT框架，利用时序多视图聚合和教师-学生蒸馏生成伪标签，在nuScenes和Waymo上达到SOTA，缩小与全监督差距。
2025-09-09 cs.CV
Perturbed and Strict Mean Teachers for Semi-supervised Semantic Segmentation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；Universität Ulm（乌尔姆大学）
使用输入图像、特征或网络扰动的一致性学习在半监督语义分割中显示出显著的效果，但这种方法可能受到未标记训练图像的不准确预测的严重影响。这些不准确的预测有两个后果：1）基于“严格”交叉熵（CE）损失的训练很容易过拟合预测错误，导致确认偏差; 2）应用于这些不准确预测的扰动将使用潜在的错误预测作为训练信号，降低一致性学习。在本文中，我们解决的预测精度问题的一致性学习方法与新的扩展的均值-教师（MT）模型，其中包括一个新的辅助教师，并更换MT的均方误差（MSE）由一个更严格的置信加权交叉熵（Conf-CE）损失。该模型的准确预测使我们能够使用网络，输入数据和特征扰动的具有挑战性的组合来提高一致性学习泛化，其中特征扰动由新的对抗性扰动组成。公共基准测试的结果表明，我们的方法取得了显着的改进，在该领域的以前的SOTA方法。我们的代码可在https://github.com/yyliu01/PS-MT上获得。
2022-03-26 cs.CV
A New Teacher-Reviewer-Student Framework for Semi-supervised 2D Human Pose Estimation
针对半监督二维人体姿态估计忽视历史训练信息的问题，提出 Teacher-Reviewer-Student 框架，并结合多层次特征学习与 Keypoint-Mix 增强，显著提升性能。
2025-01-16 cs.CV
Semi-supervised Semantic Segmentation for Remote Sensing Images via Multi-scale Uncertainty Consistency and Cross-Teacher-Student Attention
Faculty of Data Science, City University of Macau（数据科学学院，澳门城市大学）；WMG, University of Warwick（沃里克大学工程学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航天信息研究所）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子、电气与通信工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）
针对遥感图像多尺度特征丰富且类间相似度高的问题，提出半监督MUCA模型，通过多尺度不确定性一致性正则化与跨教师-学生注意力机制，结合弱强增强策略，有效提升了无标签数据上的分割性能与相似目标区分能力。
2025-07-01 cs.AI cs.CV
Cycle Self-Training for Semi-Supervised Object Detection with Distribution Consistency Reweighting
State Grid Smart Grid Research Institute Co., Ltd.（国网智能电网研究院有限公司）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，许多半监督目标检测（SSOD）方法采用师生框架，取得了很好的效果。然而，教师网络与学生网络紧密耦合，因为教师是学生的指数移动平均（EMA），这导致了性能瓶颈。为了解决耦合问题，我们提出了一个循环自我训练（CST）框架SSOD，其中包括两个教师T1和T2，两个学生S1和S2。在此基础上建立了循环自训练机制，S1 ${\rightarrow}$ T1 ${\rightarrow}$ S2 ${\rightarrow}$ T2 ${\rightarrow}$ S1.对于S ${\rightarrow}$ T，我们还利用学生的EMA权重来更新教师。对于T ${\rightarrow}$ S，教师T1（T2）不是直接为其自己的学生S1（S2）提供监督，而是为学生S2（S1）生成伪标签，这失去了耦合效应。此外，由于EMA的性质，教师最有可能积累来自学生的偏见，使错误不可逆转。为了缓解这个问题，我们还提出了一种分布一致性重新加权策略，其中伪标签基于教师T1和T2之间的分布一致性进行重新加权。通过该策略，两个学生S2和S1可以用噪声伪标签进行鲁棒训练，以避免确认偏差。大量的实验证明了CST的优越性，通过不断提高AP超过基线，并通过2.1%的绝对AP改进与稀缺的标记数据超过最先进的方法。
2022-07-12 cs.CV
Semi-supervised 3D Object Detection with Proficient Teachers
Baidu Research（百度研究院）；National Engineering Laboratory of Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；University of Macau（澳门大学）；University of Technology Sydney（悉尼科技大学）；Beijing Institute of Technology（北京理工大学）
自动驾驶场景中基于点云的3D物体检测器主要依赖于大量准确标记的样本，然而，点云中的3D标注非常繁琐，昂贵且耗时。为了减少对大监督的依赖，已经提出了基于半监督学习（SSL）的方法。伪标签方法通常用于SSL框架，然而，教师模型的低质量预测严重限制了其性能。在这项工作中，我们提出了一个新的伪标记框架的半监督三维目标检测，通过增强教师模型，一个熟练的几个必要的设计。首先，为了提高伪标签的召回率，提出了一个时空Entrance（STE）模块来生成足够的种子框。其次，为了提高召回盒子的准确率，设计了一个基于聚类的盒子投票（CBV）模块，从聚类的种子盒子中获得聚合投票。这也消除了选择伪标签的复杂阈值的必要性。此外，为了减少错误的伪标记样本在训练过程中的负面影响，提出了一种软监督信号，考虑盒式对比学习（BCL）。我们的模型的有效性在ONCE和Waymo数据集上都得到了验证。例如，在ONCE上，我们的方法将基线显著提高了9.51 mAP。此外，在半注释的情况下，我们的模型在Waymo上的性能优于带有完整注释的Oracle模型。
2022-07-26 cs.CV
Collaboration of Teachers for Semi-supervised Object Detection
针对半监督目标检测中教师-学生权重耦合导致未标注数据利用不足和伪标签确认偏差的问题，提出教师协作框架CTF，通过多对师生模型及DPCO模块选择最优伪标签指导其他学生，提升了数据利用率和检测精度。
2024-05-22 cs.AI cs.CV
Improving Localization for Semi-Supervised Object Detection
University of Parma（帕尔马大学）
如今，半监督目标检测（SSOD）是一个热门话题，因为，虽然它是相当容易收集图像创建一个新的数据集，标记它们仍然是一个昂贵和耗时的任务。在半监督学习（Semi-Supervised Learning，SSL）环境下利用原始图像的成功方法之一是Mean Teacher技术，其中教师的伪标记操作和从学生到教师的知识转移同时发生。然而，通过阈值化的伪标记不是最佳解决方案，因为置信度值与预测不确定性不严格相关，不允许安全地过滤预测。在本文中，我们为限界框定位引入了一个额外的分类任务，以改善预测边界框的过滤，并在学生训练中获得更高的质量。此外，我们的经验证明，限界框回归的无监督的一部分，可以同样有助于训练类别分类。我们的实验表明，我们的IL-网络（改进定位网络）提高了1.14% AP在有限的注释制度COCO数据集上的SSOD性能。代码可在https://github.com/IMPLabUniPr/unbiased-teacher/tree/ilnet上获得
2022-06-21 cs.CV
S$^2$Teacher: Step-by-step Teacher for Sparsely Annotated Oriented Object Detection
School of Informatics, Xiamen University（厦门大学信息学院）
针对稀疏标注定向目标检测（SAOOD）的过拟合和假阴性干扰问题，提出S²Teacher模型，通过从易到难挖掘伪标签及损失重加权，在DOTA数据集仅用10%标注即接近全监督性能，平衡精度与效率。
2025-04-15 cs.CV
Semi-Supervised 2D Human Pose Estimation Driven by Position Inconsistency Pseudo Label Correction Module
Beijing University of Posts and Telecommunications（北京邮电大学）；Beike（贝壳）
在本文中，我们深入研究了半监督的2D人体姿态估计。以前的方法忽略了两个问题：（1）在进行大模型和轻量级模型之间的交互训练时，轻量级模型的伪标签将用于指导大模型。(ii)噪声伪标签对训练的负面影响。此外，用于2D人体姿态估计的标签相对复杂：关键点类别和关键点位置。为了解决上述问题，我们提出了一个半监督的二维人体姿态估计框架驱动的位置不一致伪标签校正模块（SSPCM）。我们引入了一个额外的辅助教师，并使用两个教师模型在不同时期产生的伪标签来计算不一致性得分并去除离群值。然后，通过交互式训练来更新两个教师模型，并且使用由两个教师生成的伪标签来更新学生模型。为了进一步提高学生模型的性能，我们使用了基于伪关键点感知的半监督切割-遮挡算法来生成更多的硬有效样本。此外，我们还提出了一个新的室内开销鱼眼人体关键点数据集WEPDTOF-Pose。大量的实验表明，我们的方法优于以前最好的半监督2D人体姿态估计方法。我们将在https://github.com/hlz0606/SSPCM上发布代码和数据集。
2023-03-08 cs.CV
Weakly Supervised Teacher-Student Framework with Progressive Pseudo-mask Refinement for Gland Segmentation
本文提出一种弱监督教师-学生框架，通过稀疏病理科标注和指数移动平均稳定教师网络生成精细伪掩码，提升腺体分割的准确性和泛化能力。
2026-03-13 cs.AI cs.CV
Harmonizing Generalization and Specialization: Uncertainty-Informed Collaborative Learning for Semi-supervised Medical Image Segmentation
AGI Institute, School of Computer Science, Shanghai Jiao Tong University（AGI研究院，计算机科学学院，上海交通大学）
本文提出UnCoL框架，通过双教师机制协调半监督医学图像分割中的泛化与专门化，利用不确定性指导伪标签学习以提升分割性能。
2026-02-12 cs.AI cs.CV cs.LG
Pose-MUM : Reinforcing Key Points Relationship for Semi-Supervised Human Pose Estimation
SNUAILAB（首尔大学人工智能实验室）；Seoul National University（首尔国立大学）
在半监督学习的师生框架中，设计良好的强弱增强策略和稳定的教师生成可靠的伪标签是必不可少的。考虑到这些，为了适应半监督人体姿态估计（SSHPE）任务，我们提出了一种新的方法，称为Pose-MUM，它修改了Mix/UnMix（MUM）增强。与密集预测任务中的MUM一样，所提出的Pose-MUM对姿态估计进行了强弱增强，并通过以随机方式在中间层中添加混合过程，使网络能够比传统方法更好地学习每个人体关键点之间的关系。此外，我们采用指数移动平均归一化（EMAN）老师，这是稳定的，非常适合SSL框架，并进一步提高性能。MS-COCO数据集上的大量实验表明，我们提出的方法的优越性，不断提高性能比以前的方法以下SSHPE基准。
2022-03-15 cs.CV
RS-MTDF: Multi-Teacher Distillation and Fusion for Remote Sensing Semi-Supervised Semantic Segmentation
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）；Ministry of Education Key Lab of Intelligent Network Security, Xi’an Jiaotong University（西安交通大学教育部长江网络安全重点实验室）；School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学学院）；Pazhou Laboratory (Huangpu)（黄埔实验室）
本文提出RS-MTDF框架，利用多个冻结视觉基础模型作为教师进行特征蒸馏与知识融合，以缓解遥感半监督语义分割中的分布不匹配，并在多个数据集和标注比例下取得最优性能。
2025-06-11 cs.CV
Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation
The Chinese University of Hong Kong（香港中文大学）
训练深度卷积神经网络通常需要大量的标记数据。然而，它是昂贵的和耗时的注释数据的医学图像分割任务。在本文中，我们提出了一种新的不确定性意识的半监督框架，从三维MR图像的左心房分割。我们的框架可以有效地利用未标记的数据，鼓励在不同的扰动下对相同的输入进行一致的预测。具体地，该框架由学生模型和教师模型组成，并且学生模型通过最小化关于教师模型的目标的分割损失和一致性损失来从教师模型学习。我们设计了一个新的不确定性感知方案，使学生模型逐渐学习有意义的和可靠的目标，利用不确定性信息。实验表明，我们的方法实现了高性能增益，通过合并未标记的数据。我们的方法优于最先进的半监督方法，证明了我们的框架具有挑战性的半监督问题的潜力。
2019-07-16 cs.CV
Cross-Domain Adaptive Teacher for Object Detection
Carnegie Mellon University（卡内基梅隆大学）；Meta (Facebook)（Meta（原Facebook））；Georgia Tech（佐治亚理工学院）；Waymo（Waymo公司）
我们解决了目标检测中的领域自适应任务，其中在具有注释的域（源）和没有注释的感兴趣的域（目标）之间存在域间隙。作为一种有效的半监督学习方法，教师-学生框架（学生模型由教师模型的伪标签监督）在跨域目标检测中也产生了很大的准确性增益。然而，它遭受域移位并且生成许多低质量的伪标签（\textit{e.g.,}假阳性），这导致次优性能。为了缓解这个问题，我们提出了一个名为自适应教师（AT）的师生框架，该框架利用领域对抗学习和弱-强数据增强来解决领域差距。具体来说，我们在学生模型中采用特征级对抗训练，允许从源域和目标域导出的特征共享相似的分布。此过程确保学生模型生成域不变特征。此外，我们在教师模型（从目标领域获取数据）和学生模型（从两个领域获取数据）之间应用弱-强增强和相互学习。这使得教师模型能够从学生模型学习知识，而不会偏向源域。我们表明，AT表现出优于现有的方法，甚至Oracle（全监督）模型的大幅度。例如，我们在Foggy Cityscape（Clipart 1 K）上实现了50.9%（49.3%）的mAP，分别比之前的最先进技术和Oracle高出9.2%（5.2%）和8.2%（11.0%）。
2022-05-11 cs.CV
Alternate Diverse Teaching for Semi-supervised Medical Image Segmentation
Shanghai AI Lab（上海人工智能实验室）；University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对半监督医学图像分割中师生范式方法的确认偏差问题，提出含RPA和CCM模块的AD-MT交替多样化教学方法，经多基准多设置实验验证其有效性与优越性。
2024-07-12 cs.CV
OFD-Net: Teacher-Free Reliable Semi-supervised Medical Image Segmentation with Orthogonal Feature Disentanglement Net of Foreground-Background
Key Laboratory of Nondestructive Testing, Ministry of Education, Nanchang Hangkong University（南昌航空大学无损检测技术教育部重点实验室）
研究针对医学图像分割标注有限问题，提出无教师单网络框架OFD-Net。通过正交特征解缠模块和引导模块，有效减少误差积累。并开发可靠性感知伪标签学习机制，降低不可靠区域权重。实验验证其有效性，建立了高效可靠的训练范式。
2026-07-21 cs.AI cs.CV
Semi-Supervised Object Detection with Object-wise Contrastive Learning and Regression Uncertainty
KAIST（韩国科学技术院）；The University of Sheffield（谢菲尔德大学）；Imperial College London（帝国理工学院）
半监督目标检测（SSOD）旨在通过利用额外的未标记数据来提高检测性能。教师-学生框架已被证明对SSOD很有前途，其中教师网络为未标记的数据生成伪标签，以帮助训练学生网络。由于伪标签是嘈杂的，过滤伪标签是至关重要的，以利用这种框架的潜力。与现有的次优方法不同，我们提出了一个两步的伪标签过滤的分类和回归头在教师和学生的框架。对于分类头，OCL（Object-wise对比学习）通过提高分类分数的区分度来正则化利用未标记数据的对象表示学习以改进伪标记过滤。这被设计为将同一个类中的对象拉到一起，并将不同类中的对象推开。对于回归头，我们进一步提出了RUPL（回归不确定性引导的伪标签）来学习标签过滤对象定位的任意不确定性。通过联合过滤分类头和回归头的伪标签，学生网络从教师网络获得更好的指导，以执行目标检测任务。在Pascal VOC和MS-COCO数据集上的实验结果表明，与现有方法相比，该方法具有很好的性能。
2022-12-06 cs.CV
Semi-Supervised 3D Object Detection with Channel Augmentation using Transformation Equivariance
KAIST（韩国科学技术院）；Imperial College London（伦敦帝国学院）；LG Electronics（LG电子）
提出一种基于变换等变检测器（TED）的师生框架，利用多通道增强进行3D半监督目标检测，在KITTI数据集上显著超越SOTA模型。
2024-09-22 cs.CV
End-to-End Semi-Supervised Object Detection with Soft Teacher
Huazhong University of Science and Technology（华中科技大学）；Microsoft（微软）
本文提出了一种端到端的半监督目标检测方法，与以前更复杂的多阶段方法相比。端到端训练在课程期间逐渐提高伪标签质量，并且越来越准确的伪标签反过来有利于目标检测训练。我们还提出了两个简单而有效的技术在这个框架内：一个软教师机制，其中每个未标记的限界框的分类损失是由教师网络产生的分类得分加权;框抖动的方法来选择可靠的伪框的学习框回归。在COCO标准测试中，该方法在不同的标记率（1%、5%和10%）下的性能都明显优于已有的方法.此外，我们的方法被证明在标记数据量相对较大时也表现良好。例如，通过利用COCO的123 K未标记图像，它可以将使用完整COCO训练集训练的40.9 mAP基线检测器提高+3.6 mAP，达到44.5 mAP。在最先进的基于Swin Transformer的对象检测器（测试开发时为58.9 mAP）上，它仍然可以将检测精度显著提高+1.5 mAP，达到60.4 mAP，并将实例分割精度提高+1.2 mAP，达到52.4 mAP。进一步结合Object 365预训练模型，检测精度达到61.3 mAP，实例分割精度达到53.0 mAP，推动了新的技术水平。
2021-08-06 cs.AI cs.CV
LoANs: Weakly Supervised Object Detection with Localizer Assessor Networks
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
最近，深度神经网络在目标检测和识别任务上取得了令人瞩目的表现。这种成功的原因主要是基于大规模的、完全注释的数据集的可用性，但是创建这样的数据集是一项复杂且昂贵的任务。在本文中，我们提出了一种新的弱监督目标检测的方法，简化了收集数据的过程中训练的对象检测器。我们训练一个由两个模特组成的团体，以学生-教师的方式一起工作。我们的学生（定位器）是学习定位对象的模型，教师（评估器）评估定位的质量并向学生提供反馈。学生使用这种反馈来学习如何定位对象，因此完全由教师监督，因为我们没有使用标签来训练定位器。在我们的实验中，我们证明了我们的模型对噪声非常鲁棒，并且与最先进的完全监督方法相比具有竞争力的性能。我们还展示了基于一些视频（例如从YouTube下载的）和人工生成的数据创建新数据集的简单性。
2018-11-15 cs.CV
Seminar Learning for Click-Level Weakly Supervised Semantic Segmentation
Southern University of Science and Technology（南方科技大学）；University of Amsterdam（阿姆斯特丹大学）；Xiamen University（厦门大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
标注负担已经成为语义分割的最大障碍之一。因此，基于点击级注释的方法由于其在监督和注释成本之间的优越权衡而引起了越来越多的关注。在本文中，我们提出了研讨会学习，一个新的学习范式语义分割与点击级监督。研讨会学习的基本原理是利用来自不同网络的知识来弥补点击级注释中提供的信息不足。模仿研讨会，我们的研讨会学习涉及教师-学生和学生-学生模块，学生可以从熟练的教师和其他学生那里学习。教师-学生模块使用基于指数移动平均的教师网络来指导学生网络的训练。在学生-学生模块中，提出了异构伪标签，以弥合学生之间的知识转移，以提高彼此的表现。实验结果证明了研讨会学习的有效性，它实现了72.51%（mIOU）的最新性能，在Pascal VOC 2012数据集上超过了以前的方法高达16.88%。
2021-08-30 cs.CV
Adaptive Knowledge Transferring with Switching Dual-Student Framework for Semi-Supervised Medical Image Segmentation
North Carolina A&T State University（北卡罗来纳农工州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Ho Chi Minh University of Technology（胡志明市理工大学）；University of Pittsburgh（匹兹堡大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文提出了一种切换双学生框架，通过动态选择可靠学生和损失感知移动平均策略，提升半监督医学图像分割的性能。
2026-02-04 cs.CV
Momentum^2 Teacher: Momentum Teacher with Momentum Statistics for Self-Supervised Learning
MEGVII Technology（旷视科技）
在本文中，我们提出了一种新的方法，动量$^2$教师，学生-教师为基础的自监督学习。该方法对网络权值和批量归一化（BN）统计量进行动量更新。教师的权重是学生的动量更新，而教师的BN统计是历史上那些的动量更新。Momentum $^2$ Teacher简单高效。它可以在使用小批量（\eg，128）的ImageNet线性评估协议下实现最先进的结果（74.5%），而不需要在TPU等特殊硬件上进行大批量训练或低效的跨GPU操作（\eg，洗牌BN，同步BN）。我们的实现和预训练模型将在GitHub \footnote{https://github.com/zengarden/momentum2-teacher}上提供。
2021-01-19 cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition
University of Bucharest（布加勒斯特大学）；Politehnica University of Bucharest（布加勒斯特理工大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
JEDI提出一种多数据集半监督学习方法，通过联合端到端的学生-教师蒸馏框架融合多个专家知识，在四个视频动作识别数据集上显著提升了模型泛化性能。
2023-08-09 cs.CV cs.LG
Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach
Zhejiang University（浙江大学）；Fudan University（复旦大学）
最近，一个新提出的自监督框架Bootstrap Your Own Latent（BYOL）严重挑战了对比学习框架中负样本的必要性。BYOL的工作原理就像一个魅力，尽管它完全丢弃了负面样本，并且没有任何措施来防止其训练目标的崩溃。在本文中，我们建议从我们提出的可解释的自监督学习框架，逃离你的老师（RAFT）的角度来理解BYOL。RAFT同时优化了两个目标：（i）将相同数据的两个视图对齐到相似的表示，以及（ii）远离模型的均值教师（MT，历史模型的指数移动平均值），而不是BYOL的运行。RAFT的第二项明确地防止了表示坍塌，从而使RAFT成为概念上更可靠的框架。我们提供了基本的基准RAFT CIFAR10验证我们的方法的有效性。此外，我们证明了BYOL在一定条件下等价于RAFT，为BYOL的反直觉成功提供了坚实的推理。
2020-11-22 cs.CV cs.LG
Snowball: Iterative Model Evolution and Confident Sample Discovery for Semi-Supervised Learning on Very Small Labeled Datasets
University of Missouri（密苏里大学）
在这项工作中，我们开发了一个联合样本发现和迭代模型进化方法的半监督学习非常小的标记训练集。我们提出了一个主-师-生模型框架，在模型演化过程中提供多层次的指导，多次迭代和生成。教师模型是通过对从过去的训练步骤中获得的学生模型进行指数移动平均来构建的。主网络将学生和教师模型的知识与对新发现样本的额外访问相结合。然后，主模型和教师模型通过加强它们对未标记样本的预测之间的一致性来指导学生网络的训练，并在发现越来越多的样本时进化所有模型。我们大量的实验表明，从未标记数据集中发现置信样本，一旦与上述主-教师-学生网络进化相结合，可以显着提高整体半监督学习性能。例如，在CIFAR-10数据集上，使用250个标记样本的非常小的集合，我们的方法实现了11.81%的出错率，比最先进的方法Mean-Teacher（49.91%）低38%以上。
2019-09-04 cs.CV cs.LG
