Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec（魁北克大学国立科学研究院-能源、材料与电信）；Salesforce Research（赛富时研究院）
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明，使用自监督学习获得的功能是可比的，或优于，监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组，并证明了多任务学习兼容的借口任务提高领域泛化性能相比，单独训练的任务。当训练和测试分布之间存在较大的域偏移时，与其监督对应物相比，通过自监督学习的特征可以更好地泛化到不可见的域，甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合，以进一步提高性能。
2020-03-30 cs.CV cs.LG
DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining
Fordham University（福特汉姆大学）；Rutgers University（罗格斯大学）；Pioneer Centre for AI（先锋人工智能中心）；Cold Spring Harbor Laboratory（冷泉港实验室）；Brown University（布朗大学）；University of Copenhagen（哥本哈根大学）
DIET-CP是一种轻量、数据高效的自我监督持续预训练方法，无需标签且超参数少，仅用1000张图像即可显著提升DINOv3等基础模型在新领域上的性能。
2025-09-02 cs.CV cs.LG
Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
大多数现代无监督领域自适应（UDA）方法都植根于领域对齐，即，学习对齐源和目标特征以使用源标签来学习目标域分类器。在半监督领域自适应（SSDA）中，当学习器可以访问很少的目标领域标签时，现有方法遵循UDA理论使用领域对齐进行学习。我们表明，SSDA的情况是不同的，一个好的目标分类器可以学习，而不需要对齐。我们使用自监督预训练（通过旋转预测）和一致性正则化来实现良好分离的目标聚类，帮助学习低错误目标分类器。通过我们的预训练和一致性（PAC）方法，我们在这个半监督领域自适应任务上实现了最先进的目标准确性，超越了多个数据集上的多个对抗性领域对齐方法。PAC虽然使用简单的技术，但在大型且具有挑战性的SSDA基准测试（如DomainNet和Visda-17）上表现非常出色，经常以相当大的幅度超过最新的技术水平。我们的实验代码可以在https://github.com/venkatesh-saligrama/PAC上找到
2021-11-26 cs.CV cs.LG
Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future
Laboratory for Machine Perception and Learning（机器感知与学习实验室）；University of Central Florida（中佛罗里达大学）
在本文中，我们回顾了自监督深度网络的对抗性预训练，包括卷积神经网络和视觉Transformer。与访问标记示例的对抗训练不同，对抗预训练很复杂，因为它只能访问未标记的示例。为了在输入或特征级别上将对手纳入预训练模型，我们发现现有的方法主要分为两组：无记忆的实例攻击对单个示例施加最坏情况的扰动，以及基于记忆的对手在迭代过程中跨示例共享。特别是，我们回顾了几个有代表性的对抗性预训练模型的基础上对比学习（CL）和掩码图像建模（MIM），分别在文献中流行的两种自监督预训练方法。我们还回顾了有关计算开销，输入/特征级对手以及上述两组之外的其他对抗性预训练方法的各种问题。最后，我们讨论了对抗和合作预训练之间的关系，统一对抗CL和MIM预训练，以及对抗预训练中准确性和鲁棒性之间的权衡的新兴趋势和未来方向。
2022-10-23 cs.AI cs.CV cs.LG
Self-Supervised Pretraining Improves Performance and Inference Efficiency in Multiple Lung Ultrasound Interpretation Tasks
University of Waterloo（滑铁卢大学）
本研究验证了自监督预训练能提升多任务肺部超声分类的AUC并显著降低推理时间，尤其在低标签场景下优势明显。
2023-09-05 cs.CV cs.LG
Self-Supervised Pretraining for Aerial Road Extraction
FZI Research Center for Information Technology（FZI信息技术研究中心）；Institute of Applied Informatics and Formal Description Methods, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院应用信息学与形式化描述方法研究所）
针对航空图像道路提取标注数据稀缺问题，提出基于图像修复的自监督预训练方法，通过重建缺失区域学习图像固有结构，显著提升低数据量下的分割精度与泛化能力。
2025-04-01 cs.CV cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
OccFeat: Self-supervised Occupancy Feature Prediction for Pretraining BEV Segmentation Networks
ISIR, Sorbonne Université（索邦大学ISIR研究所）；Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（布拉格捷克理工大学捷克信息学、机器人学与控制论研究所）；FEE CTU（捷克技术大学电气工程系）；CIIRC CTU（捷克技术大学捷克信息学、机器人学与控制论研究所）；Kyutai（Kyutai公司）；LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（法国国家科学研究中心-古斯塔夫·埃菲尔大学巴黎路桥学院LIGM实验室）
本文提出 OccFeat 自监督预训练方法，通过三维占据预测结合图像基础模型特征蒸馏，为相机-only BEV 分割网络注入几何与语义信息，显著提升低数据场景下的分割性能。
2024-06-12 cs.CV cs.LG
SatDINO: A Deep Dive into Self-Supervised Pretraining for Remote Sensing
University of West Bohemia in Pilsen（西波西米亚大学）
本文提出面向遥感影像的自监督表征模型 SatDINO，基于 DINO 预训练并加入 GSD 编码与自适应视图采样，在多数据集基准上优于基于 MAE 的方法。
2025-08-29 cs.CV cs.LG
Subimage Overlap Prediction: Task-Aligned Self-Supervised Pretraining For Semantic Segmentation In Remote Sensing Imagery
Instacart；New York University（纽约大学）；University of Washington（华盛顿大学）
本文提出子图像重叠预测任务，通过少量预训练数据提升遥感图像语义分割性能，实现更快收敛和同等或更优的mIoU表现。
2026-01-05 cs.AI cs.CV cs.LG
Efficient Visual Pretraining with Contrastive Detection
DeepMind（深度思维）
自我监督的预训练已被证明可以为迁移学习产生强大的表示。然而，这些性能的提高是以巨大的计算成本为代价的，最先进的方法需要比监督预训练多一个数量级的计算。我们通过引入一种新的自监督目标，对比检测，它的任务表示与识别对象级功能的增强来解决这个计算瓶颈。该目标为每幅图像提取丰富的学习信号，从而在各种下游任务上实现最先进的传输精度，同时所需的预训练减少多达10倍。特别是，我们最强的ImageNet预训练模型的性能与SEER相当，SEER是迄今为止最大的自监督系统之一，它使用了1000倍的预训练数据。最后，我们的目标无缝地处理更复杂图像的预训练，例如COCO中的图像，缩小了从COCO到PASCAL的监督迁移学习的差距。
2021-08-05 cs.CV
ViT-2SPN: Vision Transformer-based Dual-Stream Self-Supervised Pretraining Networks for Retinal OCT Classification
The University of Arizona（亚利桑那大学）；University of Arizona（亚利桑那大学）
提出ViT-2SPN框架，通过监督预训练、自监督预训练和监督微调三阶段流程，利用ViT-Base和负余弦相似度损失增强特征提取，在OCTMNIST数据集上实现高诊断准确率并优于现有方法。
2025-01-28 cs.AI cs.CV cs.LG
Can we Adopt Self-supervised Pretraining for Chest X-Rays?
Wadhwani Institute for Artificial Intelligence (Wadhwani AI)（瓦德瓦尼人工智能研究所（瓦德瓦尼AI））
胸片（或胸部X射线，CXR）是一种流行的医学成像模式，被世界各地的放射科医生用于诊断心脏或肺部疾病。在过去的十年中，卷积神经网络（CNN）在识别CXR图像中的病理方面取得了成功。通常，这些CNN是在标准的ImageNet分类任务上进行预训练的，但这假设了大规模注释数据集的可用性。在这项工作中，我们分析了使用各种算法和多种设置对未标记的ImageNet或胸部X射线（CXR）数据集进行预训练的效用。我们工作的一些发现包括：（i）使用标记的ImageNet进行监督训练，学习难以击败的强表示;（ii）ImageNet上的自我监督预训练（约100万张图像）显示出与CXR数据集上的自监督预训练相似的性能（~ 100 K图像）;以及（iii）在监督ImageNet上训练的CNN可以进一步用自监督CXR图像训练，从而导致改进，特别是当下游数据集是几千个图像的数量级时。
2022-11-23 cs.CV
Nucleus-aware Self-supervised Pretraining Using Unpaired Image-to-image Translation for Histopathology Images
Beihang University（北京航空航天大学）
本文提出一种细胞核感知的自监督预训练框架，通过无配对图像到图像转换和实例分割引导策略捕获细胞核形态、分布及实例级信息，在多个分类、密集预测和半监督任务上优于监督及其他自监督方法。
2023-09-14 cs.CV
Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
RIT（罗切斯特理工学院）；University of Aberdeen（阿伯丁大学）；NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
本文研究仅用自监督预训练初始化模型以应对医学图像分类中的噪声标签问题，在NCT-CRC-HE-100K和COVID-QU-Ex数据集上验证了对比式与前置任务式预训练能学习更优特征并提升鲁棒性。
2023-08-08 cs.CV cs.LG eess.IV
A Large-scale Evaluation of Pretraining Paradigms for the Detection of Defects in Electroluminescence Solar Cell Images
School of Computer Science and Applied Mathematics（计算机科学与应用数学学院）；University of the Witwatersrand（威特沃特斯兰德大学）
本文大规模评估了多种预训练范式在电致发光太阳能电池缺陷检测中的效果，发现监督、自监督和半监督预训练在mIoU上统计等效，并取得SCDD新最优结果，同时发布了大规模无标注和带标注EL数据集。
2024-02-27 cs.CV
Self-Supervised Pretraining of 3D Features on any Point-Cloud
Facebook AI Research（脸书人工智能研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在大型标记数据集上进行预训练是在许多计算机视觉任务（如2D对象识别、视频分类等）中实现良好性能的先决条件。然而，预训练并没有广泛用于3D识别任务，其中最先进的方法是从头开始训练模型。一个主要原因是缺乏大型注释数据集，因为3D数据既难以获取又耗时标记。我们提出了一个简单的自我监督相关的方法，可以与任何3D数据-单或多视图，室内或室外，由不同的传感器获得，没有3D注册。我们预训练标准点云和基于体素的模型架构，并表明联合预训练进一步提高了性能。我们在目标检测、语义分割和对象分类的9个基准上评估了我们的模型，它们实现了最先进的结果，并且可以优于监督预训练。我们为ScanNet（69.0% mAP）和SNORGBD（63.5% mAP）上的目标检测设置了新的最先进技术。我们的预训练模型是标签高效的，并提高了具有少量示例的类的性能。
2021-01-07 cs.CV
Self-Supervised Pretraining on Satellite Imagery: a Case Study on Label-Efficient Vehicle Detection
Preligens（普雷利根斯）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；MINES Paris - PSL University（巴黎矿业学院-PSL大学）
针对卫星影像车辆检测标注稀缺的问题，研究利用世界功能地图数据集和扩展动量对比框架开展域内自监督预训练，在低标签场景下性能优于ImageNet预训练。
2022-10-21 cs.CV cs.LG
Deep Clustering with Features from Self-Supervised Pretraining
The Hong Kong University of Science and Technology（香港科技大学）
深度聚类模型在概念上由将数据点映射到潜在空间的特征提取器和将数据点分组到潜在空间中的聚类头组成。虽然这两个组成部分过去是以端到端的方式联合训练的，但最近的工作证明，分两个阶段分别对它们进行训练是有益的。在第一阶段中，特征提取器通过自监督学习进行训练，这使得能够保存数据点之间的聚类结构。为了更好地保留聚类结构，我们建议用另一个模型代替第一阶段，该模型通过自监督学习在更大的数据集上进行预训练。该方法简单，但可能会受到域移位的影响。尽管如此，我们的经验表明，它可以实现卓越的聚类性能。当使用视觉Transformer（ViT）架构进行特征提取时，我们的方法在CIFAR-10、CIFAR-100和STL-10上的聚类准确率分别达到94.0%、55.6%和97.9%。相应的既往最新技术水平结果分别为84.3%、47.7%和80.8%。我们的代码将在网上提供的文件的出版物。
2022-07-27 cs.CV cs.LG
Self-supervised Pretraining for Cardiovascular Magnetic Resonance Cine Segmentation
Eindhoven University of Technology（埃因霍温理工大学）
本研究评估了自监督预训练在CMR短轴电影分割中的作用，发现在标记数据稀缺时（如仅10名受试者）MIM方法能显著提升分割性能，但在数据充足时无额外增益。
2024-09-26 cs.CV cs.LG
Auxiliary Learning for Self-Supervised Video Representation via Similarity-based Knowledge Distillation
University of Bristol（布里斯托大学）
尽管用于视频表示学习的自监督预训练方法取得了巨大的成功，但当用于预训练的未标记数据集很小时，或者源任务（预训练）中的未标记数据与目标任务（微调）中的标记数据之间的域差异很大时，它们的泛化能力很差。为了缓解这些问题，我们提出了一种新的方法，通过辅助预训练阶段来补充自我监督预训练，基于知识相似性蒸馏auxSKD，以更好地概括更少量的视频数据，例如Kinetics-100而不是Kinetics-400。我们的方法部署了一个教师网络，通过捕获未标记视频数据段之间的相似性信息，迭代地将其知识提取到学生模型中。学生模型同时解决了一个借口任务，利用这种先验知识。我们还引入了一个新的借口任务，视频段节奏预测或VSPP，这需要我们的模型来预测输入视频的随机选择段的回放速度，以提供更可靠的自我监督表示。我们的实验结果显示，在苹果对苹果的比较中，在K100上进行预训练时，在UCF 101和HMDB 51数据集上的结果优于现有技术。此外，我们还证明了我们的辅助预训练auxSKD，当作为额外的预训练阶段添加到最新的自监督方法（即VCOP，VideoPace和RSPNet）中时，可以改善他们在UCF 101和HMDB 51上的结果。我们的代码可在https://github.com/Plrbear/auxSKD上获得。
2022-04-25 cs.CV
Supervised level-wise pretraining for recurrent neural network initialization in multi-class classification
IRSTEA（法国国家环境与农业科技研究院）；UMR TETIS（TETIS联合研究单位）；LIRMM（蒙彼利埃计算机科学与机器人实验室）；Univ. of Montpellier（蒙彼利埃大学）；CIRAD（法国国际农业发展研究中心）
递归神经网络（RNN）可能会受到初始参数分配的严重影响，这可能会导致对新的未知数据的泛化性能较差。为了解决这一关键问题，在基于RNN的分类背景下，我们提出了一种新的监督分层预训练策略来初始化网络参数。所提出的方法利用数据感知的策略，该策略建立了由模型行为自动导出的分类问题的分类。据我们所知，尽管人们对基于RNN的分类非常感兴趣，但这是第一个处理此类模型初始化的数据感知策略。拟议的战略已在来自两个不同领域的四个基准上进行了测试，即，语音识别与遥感。结果强调了我们的方法的意义，并指出，数据感知策略积极支持基于递归神经网络的分类模型的初始化。
2019-11-04 cs.CV cs.LG stat.ML
Meta-Learning and Self-Supervised Pretraining for Real World Image Translation
MIT EECS（麻省理工学院电气工程与计算机科学系）；MIT Lincoln Lab（麻省理工学院林肯实验室）；MIT CSAIL & BCS（麻省理工学院计算机科学与人工智能实验室及脑与认知科学系）；MIT Physics（麻省理工学院物理系）
深度学习的最新进展，特别是在硬件进步和大数据的支持下，在计算机视觉、自然语言或强化学习等广泛的计算问题上提供了令人印象深刻的结果。然而，这些改进中的许多局限于需要大量人力来收集的大规模策展数据集的问题。此外，这些模型在轻微的分布变化和低数据制度下往往概括性很差。近年来，元学习或自监督学习等新兴领域通过将深度学习扩展到半监督和Few-Shot领域，缩小了概念验证结果与机器学习实际应用之间的差距。我们遵循这一工作路线，并在最近引入的图像到图像翻译问题中探索时空结构，以便：i）制定一种新的多任务Few-Shot图像生成基准，ii）在图像翻译下游任务的对比预训练中探索数据增强。我们提出了几个基线的Few-Shot的问题，并讨论不同的方法之间的权衡。我们的代码可在https://github.com/irugina/meta-image-translation上获得。
2021-12-22 cs.CV cs.LG
Learning to segment with limited annotations: Self-supervised pretraining with regression and contrastive loss in MRI
University of Arizona（亚利桑那大学）；Houston Methodist Hospital（休斯顿卫理公会医院）
获取大型数据集的手动注释以用于深度学习（DL）模型的监督训练是具有挑战性的。与标记数据集相比，大型未标记数据集的可用性促使使用自监督预训练来初始化后续分割任务的DL模型。在这项工作中，我们考虑了两种用于驱动DL模型学习不同表示的预训练方法：a）利用图像内的空间依赖性的回归损失和b）利用图像对之间的语义相似性的对比损失。在使用磁共振（MR）图像的两个下游分割应用中评估预训练技术的效果：a）腹部T2加权MR图像中的肝脏分割和b）前列腺T2加权MR图像中的前列腺分割。我们观察到，使用自我监督预训练的DL模型可以用更少的标记数据集进行微调，以获得相当的性能。此外，我们还观察到，使用基于对比损失的预训练初始化DL模型的性能优于回归损失。
2022-05-26 cs.AI cs.CV cs.LG
UniTable: Towards a Unified Framework for Table Recognition via Self-Supervised Pretraining
Georgia Tech（佐治亚理工学院）；ADP, Inc.（ADP公司）
UniTable提出统一表格识别框架，通过自监督预训练和语言建模目标，在四个最大数据集上达到SOTA，超越现有方法及GPT-4o等视觉语言模型。
2024-05-27 cs.CV cs.LG
A Comparison of Self-Supervised Pretraining Approaches for Predicting Disease Risk from Chest Radiograph Images
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Columbia University（哥伦比亚大学）
针对医学风险预测标注数据稀缺的问题，该研究对比了多种半监督与自监督预训练方法在胸部X光片死亡风险预测任务上的效果，发现半监督自编码器在内外验证中均优于对比学习和迁移学习。
2023-06-15 cs.CV cs.LG eess.IV
Self-supervised pretraining for an iterative image size agnostic vision transformer
INSAIT, Sofia University "St. Kliment Ohridski", Bulgaria（INSAIT，索菲亚大学"圣克莱门特·奥赫里迪斯"，保加利亚）
本文提出基于DINO自蒸馏目标的新型序列到全局自监督学习框架，通过高效积分图像补丁提取方法实现图像尺寸无关的视觉编码器大规模预训练，取得ImageNet-1K和下游分类任务的竞争力表现。
2026-04-22 cs.CV
Selfie: Self-supervised Pretraining for Image Embedding
Google Brain（谷歌大脑）
我们引入了一种名为Selfie的预训练技术，它代表SELFie监督图像嵌入。Selfie概括了BERT的掩蔽语言建模的概念（Devlin等人，2019）通过利用对比预测编码损失（Oord等人，2018年）。给定输入图像中的屏蔽补丁，我们的方法学习选择正确的补丁，从同一图像中采样的其他“干扰”补丁，以填充屏蔽位置。该分类目标回避了预测目标块的精确像素值的需要。Selfie的预训练架构包括一个卷积块网络来处理补丁，然后是一个注意力池网络来总结未屏蔽补丁的内容，然后再预测屏蔽补丁。在微调过程中，我们重复使用预训练找到的卷积权重。我们在三个基准测试（CIFAR-10，ImageNet 32 x 32和ImageNet 224 x 224）上评估了Selfie，其中包含不同数量的标记数据，从5%到100%的训练集。与相同网络的标准监督训练相比，我们的预训练方法在所有设置中对ResNet-50进行了一致的改进。值得注意的是，在ImageNet 224 x 224上，每个类有60个示例（5%），我们的方法将ResNet-50的平均准确率从35.6%提高到46.7%，绝对准确率提高了11.1个点。我们的预训练方法还通过显着降低不同运行中测试准确度的标准差，提高了ResNet-50的训练稳定性，特别是在低数据状态下。
2019-07-27 cs.CV cs.LG eess.IV
Self-supervised Pretraining and Finetuning for Monocular Depth and Visual Odometry
Naver Labs Europe（欧洲Naver实验室）
本文提出两阶段自监督 transformer 训练框架，结合 CroCo 预训练与无标注视频微调，在六类数据集上同时提升单目深度和视觉里程计性能。
2024-06-16 cs.CV
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT（罗切斯特理工学院成像科学中心）；University of Aberdeen（阿伯丁大学）；NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所）；Biomedical Engineering, RIT（罗切斯特理工学院生物医学工程系）
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响，发现DermNet数据集最具挑战性但更鲁棒，并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
Learning to diagnose cirrhosis from radiological and histological labels with joint self and weakly-supervised pretraining strategies
Guerbet Research（盖尔贝特研究中心）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Sorbonne Université（索邦大学）
识别肝硬化是正确评估肝脏健康的关键。然而，肝硬化的金标准诊断需要医疗干预以获得组织学确认，例如METAVIR评分，因为放射学表现可能不明确。在这项工作中，我们建议利用来自放射科医生注释的大型数据集的迁移学习（我们认为这是弱注释）来预测小型附件数据集上可用的组织学评分。为此，我们建议比较不同的预训练方法，即弱监督和自监督方法，以提高对肝硬化的预测。最后，我们引入了一个损失函数，它结合了监督和自监督框架来进行预训练。该方法优于METAVIR评分的基线分类，达到0.84的AUC和0.75的平衡准确度，而基线分类器为0.77和0.72。
2023-02-16 cs.AI cs.CV
Faster Training, Fewer Labels: Self-Supervised Pretraining for Fine-Grained BEV Segmentation
University of Wuppertal（乌珀塔尔大学）；APTIV（APTIV公司）
本文提出一种自监督预训练方法，通过减少标注数据和训练时间，提升细粒度BEV分割性能。
2026-02-20 cs.CV
Differencing based Self-supervised pretraining for Scene Change Detection
Advanced Research Lab, NavInfo Europe（NavInfo欧洲高级研究实验室）
场景变化检测（SCD）是一项重要的感知任务，通过比较不同时间拍摄的场景来识别变化。SCD是具有挑战性的，由于噪声的变化，照明，季节变化，和跨一对视图的视角差异。基于深度神经网络的解决方案需要大量的注释数据，获得这些注释数据是繁琐且昂贵的。另一方面，来自大数据集的迁移学习会导致域转移。为了解决这些挑战，我们提出了一种新的\textit{Differencing self-supervised pretraining (DSP)}方法，该方法使用特征差分来学习与变化区域相对应的歧视性表示，同时通过强制执行跨视图的时间不变性来处理噪声变化。我们在SCD数据集上的实验结果证明了我们的方法的有效性，特别是对于相机视点和光照条件的差异。与自我监督的Barlow Twins和使用超过一百万个额外标记图像的标准ImageNet预训练相比，DSP可以在不使用任何额外数据的情况下超越它。我们的研究结果也证明了DSP的鲁棒性自然腐败，分布偏移，有限的标记数据下的学习。
2022-08-11 cs.CV
Self-Supervised Pretraining for Fine-Grained Plankton Recognition
LUT University, Computer Vision and Pattern Recognition Laboratory（卢霍斯大学）；Finnish Environment Institute（芬兰环境研究所）；Brno University of Technology, Faculty of Information Technology（布拉格技术大学）
本文研究利用大规模多样化浮游生物图像进行掩码自编码器自监督预训练，再以极少标注样本微调，从而在数据有限时显著提升细粒度浮游生物识别准确率。
2025-05-09 cs.CV
Energy-Inspired Self-Supervised Pretraining for Vision Models
Purdue University（普渡大学）；Microsoft Corporation（微软公司）
基于深度网络的前向和后向传递自然形成输入和输出表示之间的对称映射这一事实，我们引入了一个简单而有效的自监督视觉模型预训练框架，该框架受到基于能量的模型（EBM）的启发。在所提出的框架中，我们将能量估计和数据恢复建模为单个网络的前向和后向传递，而没有任何辅助组件，例如，额外的解码器对于前向传递，我们将网络拟合到一个能量函数，该函数将低能量分数分配给属于未标记数据集的样本，否则将高能量。对于向后传递，我们使用基于梯度的优化沿着能量最小化的方向迭代地从损坏的版本恢复数据。通过这种方式，我们自然地将广泛用于掩码图像建模的编码器-解码器架构折叠到单个视觉模型的前向和后向通道中。因此，我们的框架现在接受各种各样的借口任务与不同的数据损坏方法，并允许模型从掩码图像建模，补丁排序和图像复原，包括超分辨率，去噪和着色进行预训练。我们通过大量的实验来支持我们的研究结果，并表明与最先进的自监督视觉模型预训练方法相比，所提出的方法可以提供相当甚至更好的性能，并且训练时间明显更少。我们的研究结果为进一步探索自监督视觉模型预训练和掩码图像建模之外的任务提供了启发。
2023-02-02 cs.CV
Weakly-guided Self-supervised Pretraining for Temporal Activity Detection
Wormpex AI Research（Wormpex人工智能研究院）
时间活动检测旨在预测每帧的活动类别，与活动分类中的视频级预测（即，活动认可）。由于检测所需的昂贵的帧级注释，检测数据集的规模是有限的。因此，通常，先前关于时间活动检测的工作诉诸于微调在大规模分类数据集上预训练的分类模型（例如，动力学-400）。然而，由于预训练和下游微调任务之间的差异，这种预训练模型对于下游检测并不理想。在这项工作中，我们提出了一种新的“弱引导自我监督”的预训练方法检测。我们利用弱标签（分类），通过生成帧级伪标签，多动作帧和动作片段来引入自我监督的借口任务（检测）。简单地说，我们设计了一个类似于下游的检测任务，在大规模分类数据上，没有额外的注释。我们发现，使用弱引导自监督检测任务预训练的模型在多个具有挑战性的活动检测基准测试中表现优于先前的工作，包括Charades和MultiTHUMOS。我们广泛的消融进一步提供了关于何时以及如何使用所提出的模型进行活动检测的见解。代码可在https://github.com/kkahatapitiya/SSDet上获得。
2023-02-05 cs.CV
Understanding Self-Supervised Pretraining with Part-Aware Representation Learning
Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education, China（高可信软件技术教育部重点实验室（北京大学））；School of Computer Science, Peking University（北京大学计算机学院）；School of AI, Peking University（北京大学人工智能学院）；University of Hong Kong（香港大学）；School of EIC, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Baidu（百度）；UC Berkeley（加州大学伯克利分校）
本文通过部分感知表示学习视角解释自监督预训练，指出对比学习是部分到整体任务、掩码图像建模是部分到部分任务，并实验证明自监督方法在部分级识别上优于全监督方法，二者结合可进一步提升性能。
2024-01-23 cs.CV
SlideCheck: Guiding Self-Supervised Pretraining of Pathology Foundation Models via Dataset Distributions
Beijing University of Chemical Technology（北京化工大学）；South China Normal University（华南师范大学）；Tsinghua University（清华大学）
提出SlideCheck工具，利用冻结病理基础模型的特征，通过双头MLP评分异常和恶性证据，引导自监督预训练数据筛选，实验表明数据分布影响模型下游性能。
2026-05-28 cs.AI cs.CV
Self-Supervised Pretraining for Differentially Private Learning
Indiana University（印第安纳大学）
我们证明了自监督预训练（SSP）是一种具有差分隐私（DP）的深度学习的可扩展解决方案，无论图像分类中可用公共数据集的大小如何。当面对缺乏公共数据集时，我们展示了SSP在一张图像上生成的特征，使私有分类器在相同的隐私预算下获得比非学习手工特征更好的效用。当一个中等或大规模的公共数据集可用时，SSP产生的特征大大优于在相同的私有预算下在各种复杂的私有数据集上使用标签训练的特征。我们还比较了多个支持DP的训练框架，以在SSP生成的特征上训练私有分类器。最后，我们报告了一个非平凡的实用程序25.3\%的私人ImageNet-1 K数据集时，$ε=3$。我们的源代码可以在\url{https://github.com/UnchartedRLab/SSP}上找到。
2022-08-05 cs.CR cs.CV
A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
German Research Center for AI（德国人工智能研究中心）；University of Copenhagen（哥本哈根大学）
现代自然语言处理（NLP）方法采用自监督预训练目标，如掩蔽语言建模，以提高各种应用程序任务的性能。这些预训练方法经常扩展为递归、对抗或语言属性掩蔽，最近还扩展为对比学习目标。对比自监督训练目标通过学习将增强图像的输入-输入对对比为相似或不相似，使最近在图像表示预训练中取得了成功。然而，在NLP中，自动创建文本输入增强仍然非常具有挑战性，因为单个令牌可以颠倒句子的含义。出于这个原因，一些对比NLP预训练方法使用来自度量学习和基于能量的模型的方法来对比输入-标签对，而不是输入-输入对。在这项调查中，我们总结了最近的自监督和监督对比NLP预训练方法，并描述了它们用于改进语言建模，少量或零样本学习，预训练数据效率和特定NLP最终任务的地方。我们介绍了关键的对比学习概念，从以前的研究和结构工程的应用和跨领域的关系。最后，我们指出了对比NLP面临的挑战和未来的发展方向，以鼓励对比NLP预训练更接近最近在图像表示预训练中取得的成功。
2021-02-25 cs.AI cs.CL cs.CV
FaultSeg Swin-UNETR: Transformer-Based Self-Supervised Pretraining Model for Fault Recognition
本文提出FaultSeg Swin-UNETR模型，通过自监督预训练与多尺度解码融合技术，有效解决了实际地震数据断层识别性能下降的问题，并在Thebe数据集上达到SOTA。
2024-01-09 cs.CV eess.IV
On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）；Oslo University（奥斯陆大学）；Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
在越来越多的医疗用例中，基于深度神经网络的分类算法达到了与人类医学专家竞争的性能水平。为了缓解小数据集的挑战，这些系统通常依赖于预训练。在这项工作中，我们的目标是评估这些方法的更广泛的影响。对于作为示例性用例的糖尿病视网膜病变分级，我们比较了不同训练程序的影响，包括最近建立的基于对比学习的自监督预训练方法。为此，我们调查不同的方面，如定量性能，统计学的学习特征表示，可解释性和鲁棒性图像失真。我们的研究结果表明，从ImageNet预训练初始化的模型在性能、泛化和对图像失真的鲁棒性方面都有显着提高。特别是，自监督模型显示出对监督模型的进一步好处。从ImageNet预训练初始化的自监督模型不仅报告了更高的性能，而且还减少了对大病变的过度拟合，同时考虑到指示疾病进展的微小病变。从更广泛的意义上理解预训练的效果，而不仅仅是简单的性能比较，这对于更广泛的医学成像社区来说至关重要，而不仅仅是本工作中考虑的用例。
2021-06-25 cs.CV
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research（Facebook AI研究院）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆塔纳实验室）
最近，自监督学习方法，如MoCo，Simploy，BYOL和SwAV，已经缩小了与监督方法的差距。这些结果是在控制环境中实现的，即高度策划的ImageNet数据集。然而，自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中，我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督（SEER）模型，一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY，达到了84.2%的top-1准确率，超过了最好的自监督预训练模型1%，并证实了自监督学习在现实世界中的工作环境。有趣的是，我们还观察到自监督模型是很好的Few-Shot学习者，在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码：https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
PASS: An ImageNet replacement for self-supervised pretraining without humans
University of Oxford（牛津大学）
计算机视觉长期以来一直依赖ImageNet和其他从互联网上采样的大型图像数据集来进行预训练模型。然而，这些数据集存在道德和技术缺陷，例如包含未经同意获取的个人信息，许可使用不明确，偏见，甚至在某些情况下，有问题的图像内容。另一方面，目前最先进的预训练是通过无监督方法获得的，这意味着像ImageNet这样的标记数据集对于模型预训练来说可能不是必要的，甚至可能不是最佳的。因此，我们提出了一个无标签的数据集PASS：图片没有humAns的自我监督。PASS仅包含具有CC-BY许可证的图像和完整的归属元数据，解决了版权问题。最重要的是，它根本不包含人物图像，也避免了其他类型的图像，这些图像对数据保护或道德有问题。我们表明，PASS可以用于预训练的方法，如MoCo-v2，SwAV和DINO。在迁移学习设置中，即使在涉及人类的任务（例如人类姿势估计）上，它也会产生与ImageNet预训练相似的下游性能。PASS不会使现有的数据集过时，例如它不足以进行基准测试。然而，它表明，在使用更安全的数据时，模型预训练通常是可能的，并且它还为预训练方法的更鲁棒评估提供了基础。
2021-09-27 cs.CV cs.CY
MaskLRF: Self-supervised Pretraining via Masked Autoencoding of Local Reference Frames for Rotation-invariant 3D Point Set Analysis
University of Yamanashi（山梨大学）
针对现有掩码点建模缺乏旋转不变性的问题，提出MaskLRF框架，通过局部参考帧内的掩码自编码学习旋转不变特征，并在多个下游任务上取得最先进精度。
2024-05-22 cs.CV
A Tutorial on ALOS2 SAR Utilization: Dataset Preparation, Self-Supervised Pretraining, and Semantic Segmentation
National Institute of Advanced Industrial Science（国家先进工业科学促进机构）
本文介绍如何利用ALOS2 SAR数据进行预训练和语义分割，通过改进的预训练方法减少噪声影响，提升分割性能。
2026-03-18 cs.CV
Masked Event Modeling: Self-Supervised Pretraining for Event Cameras
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对事件数据标注昂贵的问题，提出掩码事件建模（MEM）自监督预训练框架，在无标注事件上预训练神经网络，微调后显著提升分类与分割任务精度，达到最先进水平。
2023-12-23 cs.CV
Self-Supervised Pretraining for RGB-D Salient Object Detection
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）；Tiwaki Co.,Ltd.（Tiwaki株式会社）
现有的基于CNN的RGB-D显着目标检测（SOD）网络都需要在ImageNet上进行预训练，以学习层次特征，这有助于提供良好的初始化。然而，大规模数据集的收集和注释是耗时且昂贵的。在本文中，我们利用自监督表示学习（SSL）设计两个借口任务：跨模态自动编码器和深度轮廓估计。我们的借口任务只需要少量未标记的RGB-D数据集来执行预训练，这使得网络能够捕获丰富的语义上下文，并减少两种模态之间的差距，从而为下游任务提供有效的初始化。此外，针对RGB-D SOD中跨模态融合的固有问题，我们提出了一个一致性差异聚合（CDA）模块，该模块将单个特征融合分解为多路径融合，以实现对一致性和差异性信息的充分感知。CDA模块具有通用性，适用于跨模态、跨层次的特征融合。在六个基准数据集上进行的大量实验表明，我们的自监督预训练模型与大多数在ImageNet上预训练的最先进方法相比表现良好。源代码将在\textcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/SSLSOD}}上公开。
2021-12-03 cs.CV
Depth Contrast: Self-Supervised Pretraining on 3DPM Images for Mining Material Classification
Luleå Tekniska Universitet（吕勒奥理工大学）；Optimation Advanced Measurements AB（Optimation高级测量公司）；Kyushu University（九州大学）
这项工作提出了一种新的自我监督的表示学习方法来学习有效的表示，没有标签的图像从3D传感器（三维颗粒测量;估计材料的粒度分布）利用RGB图像和深度图的采矿材料的传送带。在传感器生成的数据上对材料类别进行人工注释是稀缺且成本密集的。目前，没有人类注释的表示学习仍然没有被探索用于挖掘材料，并且没有利用传感器生成的数据。所提出的方法，深度对比度，使自监督学习的表示没有标签的3D数据集，利用深度图和感应传输。该方法在完全监督学习设置中优于ImageNet迁移学习性能的材料分类，并达到了0.73的F1分数。此外，当仅使用20%的标签进行微调时，所提出的方法在半监督设置中产生F1得分为0.65，比ImageNet迁移学习性能提高11%。最后，所提出的方法展示了改进的线性评估性能泛化。该方法的实现可以在GitHub上找到。
2022-10-18 cs.CV
Self-Supervised Pretraining and Controlled Augmentation Improve Rare Wildlife Recognition in UAV Images
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）；DLR（德国航空航天中心）
利用航空图像进行自动动物普查是野生动物保护的重要组成部分。最近的模型通常基于深度学习，因此需要大量的训练数据。由于它们的稀缺性和微小的尺寸，在航空图像中注释动物是一个非常繁琐的过程。在这个项目中，我们提出了一种方法来减少所需的训练数据的数量，通过采取自我监督预训练。详细地说，我们研究了最近的对比学习方法的组合，如动量对比（MoCo）和跨级别实例组判别（CLD），以在不需要标签的情况下在航空图像上调节我们的模型。我们发现，MoCo、CLD和几何增强的组合比在ImageNet上预先训练的传统模型表现更好。至关重要的是，即使我们将训练动物的数量减少到10%，我们的方法仍然会产生有利的结果，在这一点上，我们最好的模型分数在相似的精度下将基线的召回率提高了一倍。这有效地允许将所需注释的数量减少到一小部分，同时仍然能够在如此具有高度挑战性的环境中训练高准确度模型。
2021-08-17 cs.CV
The Hidden Uniform Cluster Prior in Self-Supervised Learning
Meta AI (FAIR)（Meta人工智能（基础人工智能研究））；McGill University（麦吉尔大学）；Mila, Quebec AI Institute（米拉-魁北克人工智能研究所）；Universite de Montreal（蒙特利尔大学）
表示学习中的一个成功范例是使用基于小批量统计的任务（例如，Simplified、VICReg、SwAV、MSN）。我们表明，在制定所有这些方法是一个被忽视的学习功能，使统一的数据聚类。虽然这种先验在对类平衡数据（如ImageNet）进行预训练时导致了显着的语义表示，但我们证明了在对类不平衡数据进行预训练时，它会妨碍性能。通过远离传统的一致性先验，而不是更喜欢幂律分布的特征集群，我们表明，可以提高真实世界的类不平衡数据集上的学习表示的质量。为了证明这一点，我们开发了一个扩展的屏蔽暹罗网络（MSN）的方法，以支持使用任意功能先验。
2022-10-13 cs.AI cs.CV cs.LG
Hierarchical Self-supervised Representation Learning for Movie Understanding
Amazon（亚马逊公司）；Meta AI；AWS AI Labs（AWS人工智能实验室）
大多数自监督视频表示学习方法都集中在动作识别上。相比之下，在本文中，我们专注于电影理解的自监督视频学习，并提出了一种新的分层自监督预训练策略，该策略分别预训练我们的分层电影理解模型的每个级别（基于[37]）。具体来说，我们建议使用对比学习目标来预训练低级别的视频骨干，同时使用事件掩码预测任务来预训练更高级别的视频上下文，这使得能够使用不同的数据源来预训练层次结构的不同级别。我们首先表明，我们的自我监督预训练策略是有效的，并导致VidSitu基准测试[37]上所有任务和指标的性能提高（例如，将语义角色预测从47%提高到61%CIDER分数）。我们进一步证明了我们的情境化事件特征在LVU任务上的有效性[54]，无论是单独使用还是与实例特征结合使用，都显示了它们的互补性。
2022-04-06 cs.CV
Semi-supervised learning for joint SAR and multispectral land cover classification
Politecnico di Torino（都灵理工大学）
半监督学习技术由于其构建有效模型的能力而越来越受欢迎，即使在标记数据稀缺的情况下也是如此。在本文中，我们提出了一个框架和具体任务的自我监督预训练的\textit{multichannel}模型，如多光谱和合成孔径雷达图像的融合。我们表明，所提出的自监督方法在学习与土地覆盖分类标签相关的特征方面非常有效。这是通过预训练任务的明确设计实现的，该任务促进弥合感测模态和利用输入的光谱特性之间的差距。在半监督设置中，当有限的标签可用时，使用所提出的自监督预训练，然后使用SAR和多光谱数据对土地覆盖分类进行监督微调，优于传统方法，如纯监督学习，ImageNet训练初始化和其他最近的自监督方法。
2022-07-28 cs.CV eess.IV
SenPa-MAE: Sensor Parameter Aware Masked Autoencoder for Multi-Satellite Self-Supervised Pretraining
University of the Bundeswehr Munich（德国联邦国防军慕尼黑大学）
SenPa-MAE提出一种传感器参数感知的Transformer架构，通过编码传感器参数并在多卫星图像上预训练，实现传感器无关的地球观测基础模型，支持跨传感器训练与推理。
2024-08-20 cs.CV
