Auxiliary Learning for Self-Supervised Video Representation via Similarity-based Knowledge Distillation
University of Bristol（布里斯托大学）
尽管用于视频表示学习的自监督预训练方法取得了巨大的成功，但当用于预训练的未标记数据集很小时，或者源任务（预训练）中的未标记数据与目标任务（微调）中的标记数据之间的域差异很大时，它们的泛化能力很差。为了缓解这些问题，我们提出了一种新的方法，通过辅助预训练阶段来补充自我监督预训练，基于知识相似性蒸馏auxSKD，以更好地概括更少量的视频数据，例如Kinetics-100而不是Kinetics-400。我们的方法部署了一个教师网络，通过捕获未标记视频数据段之间的相似性信息，迭代地将其知识提取到学生模型中。学生模型同时解决了一个借口任务，利用这种先验知识。我们还引入了一个新的借口任务，视频段节奏预测或VSPP，这需要我们的模型来预测输入视频的随机选择段的回放速度，以提供更可靠的自我监督表示。我们的实验结果显示，在苹果对苹果的比较中，在K100上进行预训练时，在UCF 101和HMDB 51数据集上的结果优于现有技术。此外，我们还证明了我们的辅助预训练auxSKD，当作为额外的预训练阶段添加到最新的自监督方法（即VCOP，VideoPace和RSPNet）中时，可以改善他们在UCF 101和HMDB 51上的结果。我们的代码可在https://github.com/Plrbear/auxSKD上获得。
2022-04-25 cs.CV
Self-supervised pretraining for an iterative image size agnostic vision transformer
INSAIT, Sofia University "St. Kliment Ohridski", Bulgaria（INSAIT，索菲亚大学"圣克莱门特·奥赫里迪斯"，保加利亚）
本文提出基于DINO自蒸馏目标的新型序列到全局自监督学习框架，通过高效积分图像补丁提取方法实现图像尺寸无关的视觉编码器大规模预训练，取得ImageNet-1K和下游分类任务的竞争力表现。
2026-04-22 cs.CV
Self-supervised Pretraining and Finetuning for Monocular Depth and Visual Odometry
Naver Labs Europe（欧洲Naver实验室）
本文提出两阶段自监督 transformer 训练框架，结合 CroCo 预训练与无标注视频微调，在六类数据集上同时提升单目深度和视觉里程计性能。
2024-06-16 cs.CV
Faster Training, Fewer Labels: Self-Supervised Pretraining for Fine-Grained BEV Segmentation
University of Wuppertal（乌珀塔尔大学）；APTIV（APTIV公司）
本文提出一种自监督预训练方法，通过减少标注数据和训练时间，提升细粒度BEV分割性能。
2026-02-20 cs.CV
Differencing based Self-supervised pretraining for Scene Change Detection
Advanced Research Lab, NavInfo Europe（NavInfo欧洲高级研究实验室）
场景变化检测（SCD）是一项重要的感知任务，通过比较不同时间拍摄的场景来识别变化。SCD是具有挑战性的，由于噪声的变化，照明，季节变化，和跨一对视图的视角差异。基于深度神经网络的解决方案需要大量的注释数据，获得这些注释数据是繁琐且昂贵的。另一方面，来自大数据集的迁移学习会导致域转移。为了解决这些挑战，我们提出了一种新的\textit{Differencing self-supervised pretraining (DSP)}方法，该方法使用特征差分来学习与变化区域相对应的歧视性表示，同时通过强制执行跨视图的时间不变性来处理噪声变化。我们在SCD数据集上的实验结果证明了我们的方法的有效性，特别是对于相机视点和光照条件的差异。与自我监督的Barlow Twins和使用超过一百万个额外标记图像的标准ImageNet预训练相比，DSP可以在不使用任何额外数据的情况下超越它。我们的研究结果也证明了DSP的鲁棒性自然腐败，分布偏移，有限的标记数据下的学习。
2022-08-11 cs.CV
Self-Supervised Pretraining for Fine-Grained Plankton Recognition
LUT University, Computer Vision and Pattern Recognition Laboratory（卢霍斯大学）；Finnish Environment Institute（芬兰环境研究所）；Brno University of Technology, Faculty of Information Technology（布拉格技术大学）
本文研究利用大规模多样化浮游生物图像进行掩码自编码器自监督预训练，再以极少标注样本微调，从而在数据有限时显著提升细粒度浮游生物识别准确率。
2025-05-09 cs.CV
Weakly-guided Self-supervised Pretraining for Temporal Activity Detection
Wormpex AI Research（Wormpex人工智能研究院）
时间活动检测旨在预测每帧的活动类别，与活动分类中的视频级预测（即，活动认可）。由于检测所需的昂贵的帧级注释，检测数据集的规模是有限的。因此，通常，先前关于时间活动检测的工作诉诸于微调在大规模分类数据集上预训练的分类模型（例如，动力学-400）。然而，由于预训练和下游微调任务之间的差异，这种预训练模型对于下游检测并不理想。在这项工作中，我们提出了一种新的“弱引导自我监督”的预训练方法检测。我们利用弱标签（分类），通过生成帧级伪标签，多动作帧和动作片段来引入自我监督的借口任务（检测）。简单地说，我们设计了一个类似于下游的检测任务，在大规模分类数据上，没有额外的注释。我们发现，使用弱引导自监督检测任务预训练的模型在多个具有挑战性的活动检测基准测试中表现优于先前的工作，包括Charades和MultiTHUMOS。我们广泛的消融进一步提供了关于何时以及如何使用所提出的模型进行活动检测的见解。代码可在https://github.com/kkahatapitiya/SSDet上获得。
2023-02-05 cs.CV
Understanding Self-Supervised Pretraining with Part-Aware Representation Learning
Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education, China（高可信软件技术教育部重点实验室（北京大学））；School of Computer Science, Peking University（北京大学计算机学院）；School of AI, Peking University（北京大学人工智能学院）；University of Hong Kong（香港大学）；School of EIC, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Baidu（百度）；UC Berkeley（加州大学伯克利分校）
本文通过部分感知表示学习视角解释自监督预训练，指出对比学习是部分到整体任务、掩码图像建模是部分到部分任务，并实验证明自监督方法在部分级识别上优于全监督方法，二者结合可进一步提升性能。
2024-01-23 cs.CV
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo（滑铁卢大学）
本综述总结自监督预训练在放射影像诊断任务中的效果，发现其通常优于全监督学习，尤其在未标记数据多时，并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
A Study on Self-Supervised Pretraining for Vision Problems in Gastrointestinal Endoscopy
University of Central Lancashire（中央兰开夏大学）
本研究比较了自监督与监督预训练在胃肠内窥镜视觉任务中的效果，发现自监督预训练通常更优，且ImageNet-1k预训练优于专用数据集，但深度估计例外，并指出不同骨干架构适用于不同任务。
2024-05-28 cs.CV cs.LG
Self-Supervised Pretraining for 2D Medical Image Segmentation
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
监督机器学习为各种计算机视觉问题提供了最先进的解决方案。然而，对大量标记的训练数据的需要限制了这些算法在这种输入稀缺或昂贵的情况下的能力。自监督学习提供了一种方法，通过在未标记数据上为特定领域预训练模型来降低对手动注释数据的需求。在这种方法中，仅需要标记数据来微调下游任务的模型。医学图像分割是一个领域，标记数据需要专业知识，收集大型标记数据集是具有挑战性的，因此，自监督学习算法承诺在这一领域的实质性改进。尽管如此，自监督学习算法很少用于预训练医学图像分割网络。在本文中，我们阐述和分析了监督和自我监督预训练方法对下游医学图像分割的有效性，重点是收敛性和数据效率。我们发现，在自然图像和特定于目标域的图像上进行自监督预训练可以实现最快、最稳定的下游收敛。在我们对ACDC心脏分割数据集的实验中，与ImageNet预训练模型相比，这种预训练方法实现了4-5倍的微调收敛。我们还表明，这种方法只需要对特定领域的数据进行不到五个时期的预训练，就可以在下游收敛时间上实现这种改进。最后，我们发现，在低数据场景中，有监督的ImageNet预训练达到了最佳的准确性，只需要不到100个带注释的样本就可以实现接近最小的错误。
2022-09-01 cs.CV cs.LG
On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）；Oslo University（奥斯陆大学）；Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
在越来越多的医疗用例中，基于深度神经网络的分类算法达到了与人类医学专家竞争的性能水平。为了缓解小数据集的挑战，这些系统通常依赖于预训练。在这项工作中，我们的目标是评估这些方法的更广泛的影响。对于作为示例性用例的糖尿病视网膜病变分级，我们比较了不同训练程序的影响，包括最近建立的基于对比学习的自监督预训练方法。为此，我们调查不同的方面，如定量性能，统计学的学习特征表示，可解释性和鲁棒性图像失真。我们的研究结果表明，从ImageNet预训练初始化的模型在性能、泛化和对图像失真的鲁棒性方面都有显着提高。特别是，自监督模型显示出对监督模型的进一步好处。从ImageNet预训练初始化的自监督模型不仅报告了更高的性能，而且还减少了对大病变的过度拟合，同时考虑到指示疾病进展的微小病变。从更广泛的意义上理解预训练的效果，而不仅仅是简单的性能比较，这对于更广泛的医学成像社区来说至关重要，而不仅仅是本工作中考虑的用例。
2021-06-25 cs.CV
Exploring the Utility of Self-Supervised Pretraining Strategies for the Detection of Absent Lung Sliding in M-Mode Lung Ultrasound
University of Waterloo（滑铁卢大学）；Deep Breathe；Western University（韦仕敦大学）
本研究提出了一种耦合M型图像的新颖成对关系，验证了自监督预训练在M型肺超声肺滑动分类任务中优于全监督，能显著提升未用ImageNet预训练权重模型的性能与泛化能力。
2023-04-05 cs.CV cs.LG
SPeCiaL: Self-Supervised Pretraining for Continual Learning
McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
本文介绍了SPeciaL：一种为持续学习量身定制的表示的无监督预训练方法。我们的方法设计了一个元学习目标，通过顺序学习过程区分。具体来说，我们训练一个线性模型的表示，以匹配不同的增强视图相同的图像在一起，每个视图顺序呈现。然后评估线性模型对它刚刚看到的图像进行分类的能力，以及对来自先前迭代的图像进行分类的能力。这就产生了有利于快速记忆知识和最小遗忘的表征。我们在连续少样本学习设置中评估SPeciaL，并表明它可以匹配或优于其他监督预训练方法。
2021-06-16 cs.CV cs.LG
MaskLRF: Self-supervised Pretraining via Masked Autoencoding of Local Reference Frames for Rotation-invariant 3D Point Set Analysis
University of Yamanashi（山梨大学）
针对现有掩码点建模缺乏旋转不变性的问题，提出MaskLRF框架，通过局部参考帧内的掩码自编码学习旋转不变特征，并在多个下游任务上取得最先进精度。
2024-05-22 cs.CV
Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future
Laboratory for Machine Perception and Learning（机器感知与学习实验室）；University of Central Florida（中佛罗里达大学）
在本文中，我们回顾了自监督深度网络的对抗性预训练，包括卷积神经网络和视觉Transformer。与访问标记示例的对抗训练不同，对抗预训练很复杂，因为它只能访问未标记的示例。为了在输入或特征级别上将对手纳入预训练模型，我们发现现有的方法主要分为两组：无记忆的实例攻击对单个示例施加最坏情况的扰动，以及基于记忆的对手在迭代过程中跨示例共享。特别是，我们回顾了几个有代表性的对抗性预训练模型的基础上对比学习（CL）和掩码图像建模（MIM），分别在文献中流行的两种自监督预训练方法。我们还回顾了有关计算开销，输入/特征级对手以及上述两组之外的其他对抗性预训练方法的各种问题。最后，我们讨论了对抗和合作预训练之间的关系，统一对抗CL和MIM预训练，以及对抗预训练中准确性和鲁棒性之间的权衡的新兴趋势和未来方向。
2022-10-23 cs.AI cs.CV cs.LG
A Tutorial on ALOS2 SAR Utilization: Dataset Preparation, Self-Supervised Pretraining, and Semantic Segmentation
National Institute of Advanced Industrial Science（国家先进工业科学促进机构）
本文介绍如何利用ALOS2 SAR数据进行预训练和语义分割，通过改进的预训练方法减少噪声影响，提升分割性能。
2026-03-18 cs.CV
Masked Event Modeling: Self-Supervised Pretraining for Event Cameras
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对事件数据标注昂贵的问题，提出掩码事件建模（MEM）自监督预训练框架，在无标注事件上预训练神经网络，微调后显著提升分类与分割任务精度，达到最先进水平。
2023-12-23 cs.CV
Self-Supervised Pretraining for RGB-D Salient Object Detection
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）；Tiwaki Co.,Ltd.（Tiwaki株式会社）
现有的基于CNN的RGB-D显着目标检测（SOD）网络都需要在ImageNet上进行预训练，以学习层次特征，这有助于提供良好的初始化。然而，大规模数据集的收集和注释是耗时且昂贵的。在本文中，我们利用自监督表示学习（SSL）设计两个借口任务：跨模态自动编码器和深度轮廓估计。我们的借口任务只需要少量未标记的RGB-D数据集来执行预训练，这使得网络能够捕获丰富的语义上下文，并减少两种模态之间的差距，从而为下游任务提供有效的初始化。此外，针对RGB-D SOD中跨模态融合的固有问题，我们提出了一个一致性差异聚合（CDA）模块，该模块将单个特征融合分解为多路径融合，以实现对一致性和差异性信息的充分感知。CDA模块具有通用性，适用于跨模态、跨层次的特征融合。在六个基准数据集上进行的大量实验表明，我们的自监督预训练模型与大多数在ImageNet上预训练的最先进方法相比表现良好。源代码将在\textcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/SSLSOD}}上公开。
2021-12-03 cs.CV
Depth Contrast: Self-Supervised Pretraining on 3DPM Images for Mining Material Classification
Luleå Tekniska Universitet（吕勒奥理工大学）；Optimation Advanced Measurements AB（Optimation高级测量公司）；Kyushu University（九州大学）
这项工作提出了一种新的自我监督的表示学习方法来学习有效的表示，没有标签的图像从3D传感器（三维颗粒测量;估计材料的粒度分布）利用RGB图像和深度图的采矿材料的传送带。在传感器生成的数据上对材料类别进行人工注释是稀缺且成本密集的。目前，没有人类注释的表示学习仍然没有被探索用于挖掘材料，并且没有利用传感器生成的数据。所提出的方法，深度对比度，使自监督学习的表示没有标签的3D数据集，利用深度图和感应传输。该方法在完全监督学习设置中优于ImageNet迁移学习性能的材料分类，并达到了0.73的F1分数。此外，当仅使用20%的标签进行微调时，所提出的方法在半监督设置中产生F1得分为0.65，比ImageNet迁移学习性能提高11%。最后，所提出的方法展示了改进的线性评估性能泛化。该方法的实现可以在GitHub上找到。
2022-10-18 cs.CV
Self-Supervised Pretraining and Controlled Augmentation Improve Rare Wildlife Recognition in UAV Images
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）；DLR（德国航空航天中心）
利用航空图像进行自动动物普查是野生动物保护的重要组成部分。最近的模型通常基于深度学习，因此需要大量的训练数据。由于它们的稀缺性和微小的尺寸，在航空图像中注释动物是一个非常繁琐的过程。在这个项目中，我们提出了一种方法来减少所需的训练数据的数量，通过采取自我监督预训练。详细地说，我们研究了最近的对比学习方法的组合，如动量对比（MoCo）和跨级别实例组判别（CLD），以在不需要标签的情况下在航空图像上调节我们的模型。我们发现，MoCo、CLD和几何增强的组合比在ImageNet上预先训练的传统模型表现更好。至关重要的是，即使我们将训练动物的数量减少到10%，我们的方法仍然会产生有利的结果，在这一点上，我们最好的模型分数在相似的精度下将基线的召回率提高了一倍。这有效地允许将所需注释的数量减少到一小部分，同时仍然能够在如此具有高度挑战性的环境中训练高准确度模型。
2021-08-17 cs.CV
Hierarchical Self-supervised Representation Learning for Movie Understanding
Amazon（亚马逊公司）；Meta AI；AWS AI Labs（AWS人工智能实验室）
大多数自监督视频表示学习方法都集中在动作识别上。相比之下，在本文中，我们专注于电影理解的自监督视频学习，并提出了一种新的分层自监督预训练策略，该策略分别预训练我们的分层电影理解模型的每个级别（基于[37]）。具体来说，我们建议使用对比学习目标来预训练低级别的视频骨干，同时使用事件掩码预测任务来预训练更高级别的视频上下文，这使得能够使用不同的数据源来预训练层次结构的不同级别。我们首先表明，我们的自我监督预训练策略是有效的，并导致VidSitu基准测试[37]上所有任务和指标的性能提高（例如，将语义角色预测从47%提高到61%CIDER分数）。我们进一步证明了我们的情境化事件特征在LVU任务上的有效性[54]，无论是单独使用还是与实例特征结合使用，都显示了它们的互补性。
2022-04-06 cs.CV
How Useful is Self-Supervised Pretraining for Visual Tasks?
Princeton University（普林斯顿大学）
最近的进展在自我监督的视觉预训练方面取得了令人难以置信的进展。我们调查哪些因素可能发挥作用，这些预培训方法的实用性从业者。为此，我们在一系列综合的合成数据集和下游任务中评估了各种自监督算法。我们准备了一套合成数据，可以无休止地提供注释图像，并完全控制数据集的难度。我们的实验提供了洞察自我监督的效用如何随着可用标签数量的增长而变化，以及效用如何随着下游任务和训练数据的属性而变化。我们还发现，线性评价与微调性能无关。代码和数据可在\href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy}上获得。
2020-03-31 cs.CV cs.LG
Learning to diagnose cirrhosis from radiological and histological labels with joint self and weakly-supervised pretraining strategies
Guerbet Research（盖尔贝特研究中心）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Sorbonne Université（索邦大学）
识别肝硬化是正确评估肝脏健康的关键。然而，肝硬化的金标准诊断需要医疗干预以获得组织学确认，例如METAVIR评分，因为放射学表现可能不明确。在这项工作中，我们建议利用来自放射科医生注释的大型数据集的迁移学习（我们认为这是弱注释）来预测小型附件数据集上可用的组织学评分。为此，我们建议比较不同的预训练方法，即弱监督和自监督方法，以提高对肝硬化的预测。最后，我们引入了一个损失函数，它结合了监督和自监督框架来进行预训练。该方法优于METAVIR评分的基线分类，达到0.84的AUC和0.75的平衡准确度，而基线分类器为0.77和0.72。
2023-02-16 cs.AI cs.CV
SenPa-MAE: Sensor Parameter Aware Masked Autoencoder for Multi-Satellite Self-Supervised Pretraining
University of the Bundeswehr Munich（德国联邦国防军慕尼黑大学）
SenPa-MAE提出一种传感器参数感知的Transformer架构，通过编码传感器参数并在多卫星图像上预训练，实现传感器无关的地球观测基础模型，支持跨传感器训练与推理。
2024-08-20 cs.CV
Consecutive Pretraining: A Knowledge Transfer Learning Strategy with Relevant Unlabeled Data for Remote Sensing Domain
Beijing Institute of Technology（北京理工大学）；Peking University（北京大学）
目前，在监督学习下，由大规模自然场景数据集预训练然后在一些特定任务标记数据上进行微调的模型是主导知识迁移学习的范式。遥感领域任务感知模型训练问题已达到共识解的状态。然而，由于遥感影像数据的类别不同以及数据标注的困难，目前还没有一个足够大且统一的遥感数据集来支持RSD的大规模预训练。此外，通过监督学习在大规模自然场景数据集上预训练模型，然后直接对不同的下游任务进行微调，这似乎是一种粗糙的方法，很容易受到不可避免的标签噪声，严重的领域差距和任务感知差异的影响。因此，本文基于自然语言处理（NLP）中不停止预训练的思想，结合自监督预训练和强大的视觉Transformer（ViT）架构，提出了一种简洁有效的知识迁移学习策略--连续预训练（CSPT），能够逐步弥合领域鸿沟，将自然场景领域的知识迁移到RSD领域。CSPT还可以释放未标记数据的巨大潜力，用于任务感知模型训练。最后，在RSD中的12个数据集上进行了广泛的实验，涉及三种类型的下游任务（例如，场景分类、目标检测和土地覆盖分类）和两种类型的成像数据（例如，光学和SAR）。结果表明，通过利用所提出的CSPT进行任务感知模型训练，RSD中的几乎所有下游任务都可以优于以前的监督预训练-然后微调的方法，甚至超过最先进的（SOTA）性能，而无需任何昂贵的标记消耗和仔细的模型设计。
2022-09-14 cs.CV
SSP-RACL: Classification of Noisy Fundus Images with Self-Supervised Pretraining and Robust Adaptive Credal Loss
Fudan University（复旦大学）
针对眼底图像标签噪声损害深度模型性能的问题，提出SSP-RACL框架，结合MAE自监督预训练与RACL超集学习抑制记忆效应，并通过临床知识驱动的非对称噪声模拟验证其优于现有方法。
2024-10-24 cs.CV
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec（魁北克大学国立科学研究院-能源、材料与电信）；Salesforce Research（赛富时研究院）
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明，使用自监督学习获得的功能是可比的，或优于，监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组，并证明了多任务学习兼容的借口任务提高领域泛化性能相比，单独训练的任务。当训练和测试分布之间存在较大的域偏移时，与其监督对应物相比，通过自监督学习的特征可以更好地泛化到不可见的域，甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合，以进一步提高性能。
2020-03-30 cs.CV cs.LG
DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining
Fordham University（福特汉姆大学）；Rutgers University（罗格斯大学）；Pioneer Centre for AI（先锋人工智能中心）；Cold Spring Harbor Laboratory（冷泉港实验室）；Brown University（布朗大学）；University of Copenhagen（哥本哈根大学）
DIET-CP是一种轻量、数据高效的自我监督持续预训练方法，无需标签且超参数少，仅用1000张图像即可显著提升DINOv3等基础模型在新领域上的性能。
2025-09-02 cs.CV cs.LG
Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
大多数现代无监督领域自适应（UDA）方法都植根于领域对齐，即，学习对齐源和目标特征以使用源标签来学习目标域分类器。在半监督领域自适应（SSDA）中，当学习器可以访问很少的目标领域标签时，现有方法遵循UDA理论使用领域对齐进行学习。我们表明，SSDA的情况是不同的，一个好的目标分类器可以学习，而不需要对齐。我们使用自监督预训练（通过旋转预测）和一致性正则化来实现良好分离的目标聚类，帮助学习低错误目标分类器。通过我们的预训练和一致性（PAC）方法，我们在这个半监督领域自适应任务上实现了最先进的目标准确性，超越了多个数据集上的多个对抗性领域对齐方法。PAC虽然使用简单的技术，但在大型且具有挑战性的SSDA基准测试（如DomainNet和Visda-17）上表现非常出色，经常以相当大的幅度超过最新的技术水平。我们的实验代码可以在https://github.com/venkatesh-saligrama/PAC上找到
2021-11-26 cs.CV cs.LG
Self-Supervised Pretraining Improves Performance and Inference Efficiency in Multiple Lung Ultrasound Interpretation Tasks
University of Waterloo（滑铁卢大学）
本研究验证了自监督预训练能提升多任务肺部超声分类的AUC并显著降低推理时间，尤其在低标签场景下优势明显。
2023-09-05 cs.CV cs.LG
Dual-Domain Masked Image Modeling: A Self-Supervised Pretraining Strategy Using Spatial and Frequency Domain Masking for Hyperspectral Data
Queensland University of Technology（昆士兰技术大学）；CSIRO Robotics, Data61, CSIRO（CSIRO机器人部、Data61、CSIRO）
本文提出SFMIM自监督预训练策略，通过空间域和频率域双域掩码重建，使Transformer编码器学习高阶光谱-空间相关性，并在三个高光谱分类基准上取得最先进性能且微调收敛迅速。
2025-05-06 cs.CV
Self-Supervised Pretraining for Aerial Road Extraction
FZI Research Center for Information Technology（FZI信息技术研究中心）；Institute of Applied Informatics and Formal Description Methods, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院应用信息学与形式化描述方法研究所）
针对航空图像道路提取标注数据稀缺问题，提出基于图像修复的自监督预训练方法，通过重建缺失区域学习图像固有结构，显著提升低数据量下的分割精度与泛化能力。
2025-04-01 cs.CV cs.LG
CNN-JEPA: Self-Supervised Pretraining Convolutional Neural Networks Using Joint Embedding Predictive Architecture
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
本文提出CNN-JEPA，将联合嵌入预测架构成功应用于CNN，通过稀疏编码器、深度可分离卷积预测器和改进掩码策略，在ImageNet-100上以ResNet-50达到73.3%线性top-1准确率，且训练时间比同类方法减少17-35%。
2025-03-11 cs.CV
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
SlideCheck: Guiding Self-Supervised Pretraining of Pathology Foundation Models via Dataset Distributions
Beijing University of Chemical Technology（北京化工大学）；South China Normal University（华南师范大学）；Tsinghua University（清华大学）
提出SlideCheck工具，利用冻结病理基础模型的特征，通过双头MLP评分异常和恶性证据，引导自监督预训练数据筛选，实验表明数据分布影响模型下游性能。
2026-05-28 cs.AI cs.CV
Self-Supervised Pretraining for Differentially Private Learning
Indiana University（印第安纳大学）
我们证明了自监督预训练（SSP）是一种具有差分隐私（DP）的深度学习的可扩展解决方案，无论图像分类中可用公共数据集的大小如何。当面对缺乏公共数据集时，我们展示了SSP在一张图像上生成的特征，使私有分类器在相同的隐私预算下获得比非学习手工特征更好的效用。当一个中等或大规模的公共数据集可用时，SSP产生的特征大大优于在相同的私有预算下在各种复杂的私有数据集上使用标签训练的特征。我们还比较了多个支持DP的训练框架，以在SSP生成的特征上训练私有分类器。最后，我们报告了一个非平凡的实用程序25.3\%的私人ImageNet-1 K数据集时，$ε=3$。我们的源代码可以在\url{https://github.com/UnchartedRLab/SSP}上找到。
2022-08-05 cs.CR cs.CV
FaultSeg Swin-UNETR: Transformer-Based Self-Supervised Pretraining Model for Fault Recognition
本文提出FaultSeg Swin-UNETR模型，通过自监督预训练与多尺度解码融合技术，有效解决了实际地震数据断层识别性能下降的问题，并在Thebe数据集上达到SOTA。
2024-01-09 cs.CV eess.IV
Subimage Overlap Prediction: Task-Aligned Self-Supervised Pretraining For Semantic Segmentation In Remote Sensing Imagery
Instacart；New York University（纽约大学）；University of Washington（华盛顿大学）
本文提出子图像重叠预测任务，通过少量预训练数据提升遥感图像语义分割性能，实现更快收敛和同等或更优的mIoU表现。
2026-01-05 cs.AI cs.CV cs.LG
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research（Facebook AI研究院）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆塔纳实验室）
最近，自监督学习方法，如MoCo，Simploy，BYOL和SwAV，已经缩小了与监督方法的差距。这些结果是在控制环境中实现的，即高度策划的ImageNet数据集。然而，自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中，我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督（SEER）模型，一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY，达到了84.2%的top-1准确率，超过了最好的自监督预训练模型1%，并证实了自监督学习在现实世界中的工作环境。有趣的是，我们还观察到自监督模型是很好的Few-Shot学习者，在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码：https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
PASS: An ImageNet replacement for self-supervised pretraining without humans
University of Oxford（牛津大学）
计算机视觉长期以来一直依赖ImageNet和其他从互联网上采样的大型图像数据集来进行预训练模型。然而，这些数据集存在道德和技术缺陷，例如包含未经同意获取的个人信息，许可使用不明确，偏见，甚至在某些情况下，有问题的图像内容。另一方面，目前最先进的预训练是通过无监督方法获得的，这意味着像ImageNet这样的标记数据集对于模型预训练来说可能不是必要的，甚至可能不是最佳的。因此，我们提出了一个无标签的数据集PASS：图片没有humAns的自我监督。PASS仅包含具有CC-BY许可证的图像和完整的归属元数据，解决了版权问题。最重要的是，它根本不包含人物图像，也避免了其他类型的图像，这些图像对数据保护或道德有问题。我们表明，PASS可以用于预训练的方法，如MoCo-v2，SwAV和DINO。在迁移学习设置中，即使在涉及人类的任务（例如人类姿势估计）上，它也会产生与ImageNet预训练相似的下游性能。PASS不会使现有的数据集过时，例如它不足以进行基准测试。然而，它表明，在使用更安全的数据时，模型预训练通常是可能的，并且它还为预训练方法的更鲁棒评估提供了基础。
2021-09-27 cs.CV cs.CY
ViT-2SPN: Vision Transformer-based Dual-Stream Self-Supervised Pretraining Networks for Retinal OCT Classification
The University of Arizona（亚利桑那大学）；University of Arizona（亚利桑那大学）
提出ViT-2SPN框架，通过监督预训练、自监督预训练和监督微调三阶段流程，利用ViT-Base和负余弦相似度损失增强特征提取，在OCTMNIST数据集上实现高诊断准确率并优于现有方法。
2025-01-28 cs.AI cs.CV cs.LG
OccFeat: Self-supervised Occupancy Feature Prediction for Pretraining BEV Segmentation Networks
ISIR, Sorbonne Université（索邦大学ISIR研究所）；Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（布拉格捷克理工大学捷克信息学、机器人学与控制论研究所）；FEE CTU（捷克技术大学电气工程系）；CIIRC CTU（捷克技术大学捷克信息学、机器人学与控制论研究所）；Kyutai（Kyutai公司）；LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（法国国家科学研究中心-古斯塔夫·埃菲尔大学巴黎路桥学院LIGM实验室）
本文提出 OccFeat 自监督预训练方法，通过三维占据预测结合图像基础模型特征蒸馏，为相机-only BEV 分割网络注入几何与语义信息，显著提升低数据场景下的分割性能。
2024-06-12 cs.CV cs.LG
A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
German Research Center for AI（德国人工智能研究中心）；University of Copenhagen（哥本哈根大学）
现代自然语言处理（NLP）方法采用自监督预训练目标，如掩蔽语言建模，以提高各种应用程序任务的性能。这些预训练方法经常扩展为递归、对抗或语言属性掩蔽，最近还扩展为对比学习目标。对比自监督训练目标通过学习将增强图像的输入-输入对对比为相似或不相似，使最近在图像表示预训练中取得了成功。然而，在NLP中，自动创建文本输入增强仍然非常具有挑战性，因为单个令牌可以颠倒句子的含义。出于这个原因，一些对比NLP预训练方法使用来自度量学习和基于能量的模型的方法来对比输入-标签对，而不是输入-输入对。在这项调查中，我们总结了最近的自监督和监督对比NLP预训练方法，并描述了它们用于改进语言建模，少量或零样本学习，预训练数据效率和特定NLP最终任务的地方。我们介绍了关键的对比学习概念，从以前的研究和结构工程的应用和跨领域的关系。最后，我们指出了对比NLP面临的挑战和未来的发展方向，以鼓励对比NLP预训练更接近最近在图像表示预训练中取得的成功。
2021-02-25 cs.AI cs.CL cs.CV
Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
RIT（罗切斯特理工学院）；University of Aberdeen（阿伯丁大学）；NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
本文研究仅用自监督预训练初始化模型以应对医学图像分类中的噪声标签问题，在NCT-CRC-HE-100K和COVID-QU-Ex数据集上验证了对比式与前置任务式预训练能学习更优特征并提升鲁棒性。
2023-08-08 cs.CV cs.LG eess.IV
SatDINO: A Deep Dive into Self-Supervised Pretraining for Remote Sensing
University of West Bohemia in Pilsen（西波西米亚大学）
本文提出面向遥感影像的自监督表征模型 SatDINO，基于 DINO 预训练并加入 GSD 编码与自适应视图采样，在多数据集基准上优于基于 MAE 的方法。
2025-08-29 cs.CV cs.LG
Learning to segment with limited annotations: Self-supervised pretraining with regression and contrastive loss in MRI
University of Arizona（亚利桑那大学）；Houston Methodist Hospital（休斯顿卫理公会医院）
获取大型数据集的手动注释以用于深度学习（DL）模型的监督训练是具有挑战性的。与标记数据集相比，大型未标记数据集的可用性促使使用自监督预训练来初始化后续分割任务的DL模型。在这项工作中，我们考虑了两种用于驱动DL模型学习不同表示的预训练方法：a）利用图像内的空间依赖性的回归损失和b）利用图像对之间的语义相似性的对比损失。在使用磁共振（MR）图像的两个下游分割应用中评估预训练技术的效果：a）腹部T2加权MR图像中的肝脏分割和b）前列腺T2加权MR图像中的前列腺分割。我们观察到，使用自我监督预训练的DL模型可以用更少的标记数据集进行微调，以获得相当的性能。此外，我们还观察到，使用基于对比损失的预训练初始化DL模型的性能优于回归损失。
2022-05-26 cs.AI cs.CV cs.LG
Semi-supervised learning for joint SAR and multispectral land cover classification
Politecnico di Torino（都灵理工大学）
半监督学习技术由于其构建有效模型的能力而越来越受欢迎，即使在标记数据稀缺的情况下也是如此。在本文中，我们提出了一个框架和具体任务的自我监督预训练的\textit{multichannel}模型，如多光谱和合成孔径雷达图像的融合。我们表明，所提出的自监督方法在学习与土地覆盖分类标签相关的特征方面非常有效。这是通过预训练任务的明确设计实现的，该任务促进弥合感测模态和利用输入的光谱特性之间的差距。在半监督设置中，当有限的标签可用时，使用所提出的自监督预训练，然后使用SAR和多光谱数据对土地覆盖分类进行监督微调，优于传统方法，如纯监督学习，ImageNet训练初始化和其他最近的自监督方法。
2022-07-28 cs.CV eess.IV
Self-supervised Pretraining of Cell Segmentation Models
School of Computer Science, Georgia Institute of Technology（佐治亚理工学院计算机科学学院）；School of Materials Science and Engineering, Georgia Institute of Technology（佐治亚理工学院材料科学与工程学院）；Department of Biomedical Engineering, Georgia Institute of Technology（佐治亚理工学院生物医学工程系）；School of Mechanical Engineering, Georgia Institute of Technology（佐治亚理工学院机械工程学院）
本文提出DINOCell，通过自监督学习和微调提升细胞实例分割性能，实验显示其在LIVECell基准上表现优于现有模型。
2026-04-12 cs.CV q-bio.QM
Animal behavioral analysis and neural encoding with transformer-based self-supervised pretraining
Columbia University（哥伦比亚大学）；International Brain Laboratory（国际脑实验室）
BEAST通过自监督预训练的变换器框架，提升动物行为分析和神经编码的性能，适用于多种神经行为任务。
2026-02-27 cs.CV q-bio.NC
Selfie: Self-supervised Pretraining for Image Embedding
Google Brain（谷歌大脑）
我们引入了一种名为Selfie的预训练技术，它代表SELFie监督图像嵌入。Selfie概括了BERT的掩蔽语言建模的概念（Devlin等人，2019）通过利用对比预测编码损失（Oord等人，2018年）。给定输入图像中的屏蔽补丁，我们的方法学习选择正确的补丁，从同一图像中采样的其他“干扰”补丁，以填充屏蔽位置。该分类目标回避了预测目标块的精确像素值的需要。Selfie的预训练架构包括一个卷积块网络来处理补丁，然后是一个注意力池网络来总结未屏蔽补丁的内容，然后再预测屏蔽补丁。在微调过程中，我们重复使用预训练找到的卷积权重。我们在三个基准测试（CIFAR-10，ImageNet 32 x 32和ImageNet 224 x 224）上评估了Selfie，其中包含不同数量的标记数据，从5%到100%的训练集。与相同网络的标准监督训练相比，我们的预训练方法在所有设置中对ResNet-50进行了一致的改进。值得注意的是，在ImageNet 224 x 224上，每个类有60个示例（5%），我们的方法将ResNet-50的平均准确率从35.6%提高到46.7%，绝对准确率提高了11.1个点。我们的预训练方法还通过显着降低不同运行中测试准确度的标准差，提高了ResNet-50的训练稳定性，特别是在低数据状态下。
2019-07-27 cs.CV cs.LG eess.IV
Supervised level-wise pretraining for recurrent neural network initialization in multi-class classification
IRSTEA（法国国家环境与农业科技研究院）；UMR TETIS（TETIS联合研究单位）；LIRMM（蒙彼利埃计算机科学与机器人实验室）；Univ. of Montpellier（蒙彼利埃大学）；CIRAD（法国国际农业发展研究中心）
递归神经网络（RNN）可能会受到初始参数分配的严重影响，这可能会导致对新的未知数据的泛化性能较差。为了解决这一关键问题，在基于RNN的分类背景下，我们提出了一种新的监督分层预训练策略来初始化网络参数。所提出的方法利用数据感知的策略，该策略建立了由模型行为自动导出的分类问题的分类。据我们所知，尽管人们对基于RNN的分类非常感兴趣，但这是第一个处理此类模型初始化的数据感知策略。拟议的战略已在来自两个不同领域的四个基准上进行了测试，即，语音识别与遥感。结果强调了我们的方法的意义，并指出，数据感知策略积极支持基于递归神经网络的分类模型的初始化。
2019-11-04 cs.CV cs.LG stat.ML
FactoFormer: Factorized Hyperspectral Transformers with Self-Supervised Pretraining
Robotics and Autonomous Systems, DATA61, CSIRO（CSIRO DATA61 机器人与自主系统）；Queensland University of Technology (QUT)（昆士兰科技大学）
提出分解式光谱-空间Transformer结合自监督预训练，解决高光谱图像空间信息利用不足与数据依赖问题，在六个数据集上达到SOTA。
2024-01-04 cs.AI cs.CV
Mitigating Overfitting in Medical Imaging: Self-Supervised Pretraining vs. ImageNet Transfer Learning for Dermatological Diagnosis
Dpt. of Signal Theory and Communications University of Seville（信号理论与通信系塞维利亚大学）；Department of Dermatology Hospital Universitario Virgen Macarena（皮肤科部门塞维利亚大学医院）；Department of Dermatology Hospital Quirón Salud Sevilla（皮肤科部门Quirón Salud Sevilla医院）
本研究比较了自监督预训练与ImageNet迁移学习在皮肤病诊断中的效果，发现自监督方法能有效缓解过拟合，实现更稳定的泛化性能，凸显了领域特定特征提取在医学影像中的关键作用。
2025-05-22 cs.AI cs.CV
