Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
The Graduate Center, The City University of New York（纽约市立大学研究生中心）
大规模标记数据通常需要训练深度神经网络，以便在从图像或视频学习视觉特征以用于计算机视觉应用中获得更好的性能。为了避免采集和标注大规模数据集的巨大成本，作为无监督学习方法的一个子集，自监督学习方法被提出来从大规模未标注数据中学习一般图像和视频特征，而不使用任何人工标注的标签。本文对基于深度学习的图像或视频自监督一般视觉特征学习方法进行了广泛的回顾。首先，该领域的动机，一般管道，和术语进行了描述。然后总结了用于自监督学习的常用深度神经网络结构。接下来，回顾了自监督学习方法的主要组成部分和评价指标，然后是常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，对基准数据集上的评价方法的定量性能比较进行了总结和讨论，用于图像和视频特征学习。最后，对本文进行了总结，并提出了自监督视觉特征学习的未来发展方向。
2019-02-16 cs.CV
EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations
Purdue University（普渡大学）；University of Rochester（罗切斯特大学）；Futurewei Seattle Cloud Lab（华为西雅图云实验室）
深度神经网络已成功应用于许多现实世界的应用。然而，这样的成功在很大程度上依赖于大量的标记数据，而这些数据的获取成本很高。近年来，人们提出了许多半监督学习的方法，并取得了很好的效果。在这项研究中，我们提出了一个新的EnAET框架，以进一步改善现有的半监督方法与自我监督的信息。据我们所知，目前所有的半监督方法都通过预测一致性和置信度来提高性能。我们是第一个探索{ \bf自我监督}表示在{ \bf半监督}学习中的作用的丰富的家庭的转换。因此，我们的框架可以集成自监督信息作为正则化项，以进一步改进{ \it all}当前的半监督方法。在实验中，我们使用MixMatch，这是当前最先进的半监督学习方法，作为基线来测试所提出的EnAET框架。在不同的数据集上，我们采用相同的超参数，这大大提高了EnAET框架的泛化能力。在不同数据集上的实验结果表明，所提出的EnAET框架大大提高了现有半监督算法的性能.此外，该框架还可以大幅提高{ \bf监督学习}，包括每个类只有10张图像的极具挑战性的场景。代码和实验记录可在\url{https://github.com/maple-research-lab/EnAET}中获得。
2021-02-01 cs.CV
KD-MVS: Knowledge Distillation Based Self-supervised Learning for Multi-view Stereo
Megvii Research（旷视研究院）；Tsinghua University（清华大学）
针对有监督多视图立体方法需大量真实深度数据的难题，提出基于知识蒸馏的自监督训练框架KD-MVS，经自监督教师训练与概率知识迁移，学生模型性能超越教师及有监督方法。
2023-08-20 cs.CV
Distilling Visual Priors from Self-Supervised Learning
Megvii Research Nanjing（旷视科技南京研究院）；Tongji University（同济大学）
卷积神经网络（CNN）容易过拟合小的训练数据集。我们提出了一种新的两阶段管道，利用自监督学习和知识蒸馏，以提高CNN模型的泛化能力，在数据不足的情况下，图像分类。第一阶段是通过自监督学习来学习具有丰富且可推广的视觉表示的教师模型，第二阶段是以自蒸馏的方式将表示提取为学生模型，同时微调学生模型以用于图像分类任务。我们还提出了一种新的边缘损失的自监督对比学习代理任务，以更好地学习数据不足的情况下的表示。与其他技巧一起，我们在VIPriors图像分类挑战中实现了有竞争力的性能。
2020-08-01 cs.CV
Hierarchical Self-supervised Representation Learning for Movie Understanding
Amazon（亚马逊公司）；Meta AI；AWS AI Labs（AWS人工智能实验室）
大多数自监督视频表示学习方法都集中在动作识别上。相比之下，在本文中，我们专注于电影理解的自监督视频学习，并提出了一种新的分层自监督预训练策略，该策略分别预训练我们的分层电影理解模型的每个级别（基于[37]）。具体来说，我们建议使用对比学习目标来预训练低级别的视频骨干，同时使用事件掩码预测任务来预训练更高级别的视频上下文，这使得能够使用不同的数据源来预训练层次结构的不同级别。我们首先表明，我们的自我监督预训练策略是有效的，并导致VidSitu基准测试[37]上所有任务和指标的性能提高（例如，将语义角色预测从47%提高到61%CIDER分数）。我们进一步证明了我们的情境化事件特征在LVU任务上的有效性[54]，无论是单独使用还是与实例特征结合使用，都显示了它们的互补性。
2022-04-06 cs.CV
A Learnable Self-supervised Task for Unsupervised Domain Adaptation on Point Clouds
Fudan University（复旦大学）
深度神经网络在监督点云应用中已经取得了很好的性能，但是在监督学习方案中，手动注释是极其昂贵和耗时的。无监督领域自适应（UDA）通过仅使用源域中的标记数据训练模型，但使模型在目标域中具有良好的泛化能力来解决这个问题。现有的研究表明，使用源和目标域数据的自监督学习可以帮助提高训练模型的适应性，但它们都依赖于手工设计的自监督任务。在本文中，我们提出了一个可学习的自我监督的任务，并将其集成到一个基于自我监督的点云UDA架构。具体来说，我们提出了一个可学习的非线性变换，变换的一部分点云，以产生丰富和复杂的点云，同时保留原始的语义信息，和建议的自我监督的任务是重建原始点云从变换的。在UDA架构中，编码器在网络之间共享，用于自监督任务和点云分类或分割的主要任务，因此可以训练编码器以提取适合源和目标域数据的特征。在PointDA-10和PointSegDA数据集上的实验表明，该方法在点云UDA的分类和分割任务上都取得了新的性能。代码将公开提供。
2021-04-12 cs.CV
Reversing the cycle: self-supervised deep stereo through enhanced monocular distillation
University of Bologna（博洛尼亚大学）；China Agricultural University（中国农业大学）
在许多领域，自监督学习解决方案正在迅速发展，并填补了监督方法的空白。这一事实发生在基于单眼或立体的深度估计中，后者通常为前者提供有效的自我监督源。相比之下，软化典型的立体声文物，我们提出了一种新的自我监督范式扭转两者之间的联系。有目的地，为了训练深度立体网络，我们通过单眼完成网络提取知识。该架构利用传统立体算法提供的单图像线索和少量稀疏点，通过多个估计的共识机制来估计密集而准确的视差图。我们用流行的立体数据集彻底评估了不同监督信号的影响，显示了用我们的范式训练的立体网络如何优于现有的自监督框架。最后，我们的建议实现了显着的泛化能力处理域转移问题。代码可在https://github.com/FilippoAleotti/Reversing获得
2020-08-17 cs.CV
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec（魁北克大学国立科学研究院-能源、材料与电信）；Salesforce Research（赛富时研究院）
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明，使用自监督学习获得的功能是可比的，或优于，监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组，并证明了多任务学习兼容的借口任务提高领域泛化性能相比，单独训练的任务。当训练和测试分布之间存在较大的域偏移时，与其监督对应物相比，通过自监督学习的特征可以更好地泛化到不可见的域，甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合，以进一步提高性能。
2020-03-30 cs.CV cs.LG
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research（Facebook AI研究院）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆塔纳实验室）
最近，自监督学习方法，如MoCo，Simploy，BYOL和SwAV，已经缩小了与监督方法的差距。这些结果是在控制环境中实现的，即高度策划的ImageNet数据集。然而，自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中，我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督（SEER）模型，一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY，达到了84.2%的top-1准确率，超过了最好的自监督预训练模型1%，并证实了自监督学习在现实世界中的工作环境。有趣的是，我们还观察到自监督模型是很好的Few-Shot学习者，在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码：https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
Self-Supervised Models are Continual Learners
University of Trento（特伦托大学）；Inria（法国国家信息与自动化研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
当在大规模的未标记数据上进行离线训练时，自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而，在持续学习（CL）场景中，它们的功效会灾难性地降低，其中数据按顺序呈现给模型。在本文中，我们表明，自我监督的损失函数可以无缝地转换成CL蒸馏机制，通过添加一个预测网络，映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架，（i）显着提高学习表示的质量，（ii）与几个最先进的自监督目标兼容，（iii）几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo（滑铁卢大学）
本综述总结自监督预训练在放射影像诊断任务中的效果，发现其通常优于全监督学习，尤其在未标记数据多时，并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
SEED: Self-supervised Distillation For Visual Representation
Arizona State University（亚利桑那州立大学）；Microsoft Corporation（微软公司）
本文研究了小模型的自监督学习。这个问题的动机是我们的实证研究，虽然广泛使用的对比自监督学习方法在大模型训练方面取得了很大的进展，但它对小模型的效果并不好。为了解决这个问题，我们提出了一种新的学习范式，名为自监督蒸馏（SEED），在这种范式中，我们利用一个更大的网络（作为教师）以自我监督的方式将其表征知识转移到一个更小的架构（作为学生）中。我们不是直接从未标记的数据中学习，而是训练学生编码器来模仿教师在一组实例上推断的相似性分数分布。我们表明，种子显着提高下游任务的小型网络的性能。与自监督基线相比，SEED将EfficientNet-B 0上的前1准确率从42.2%提高到67.6%，并将MobileNet-v3-Large上ImageNet-1 k数据集的前1准确率从36.3%提高到68.2%。
2021-04-15 cs.AI cs.CV
Proxyless Neural Architecture Adaptation for Supervised Learning and Self-Supervised Learning
Inha University（仁荷大学）；Kakao Enterprise（Kakao企业）
最近，神经结构搜索（NAS）方法已经被引入，并在许多基准测试中表现出令人印象深刻的性能。在这些NAS研究中，神经架构Transformer（NAT）旨在适应给定的神经架构，以提高性能，同时保持计算成本。然而，NAT缺乏可重复性，并且在网络权重训练之前需要额外的架构自适应过程。在本文中，我们提出了无代理的神经架构适应，是可再生的和有效的。我们的方法可以应用于监督学习和自监督学习。所提出的方法在各种架构上表现出稳定的性能。在两个数据集上进行了广泛的再现性实验，即，CIFAR-10和Tiny Imagenet的实验结果表明，该方法的性能明显优于NAT，并且适用于其他模型和数据集。
2022-05-15 cs.CV cs.LG
Self-supervised Domain Adaptation for Computer Vision Tasks
自监督视觉表示学习的最新进展在许多具有挑战性的计算机视觉基准测试上取得了显著的成功。然而，这些技术是否可以用于领域自适应还没有被探索。在这项工作中，我们提出了一种通用的方法，自我监督领域自适应，使用对象识别和语义分割的城市场景作为用例。针对简单的托词/辅助任务（如图像旋转预测），我们评估了不同的学习策略，以提高领域自适应的有效性，通过自我监督。此外，我们提出了两个互补的策略，以进一步提高领域自适应的准确性语义分割在我们的方法，包括预测层对齐和批量归一化校准。实验结果表明，适应水平相媲美的大多数研究领域自适应方法，从而，使自我监督作为一种新的替代达到领域自适应。该代码可在https://github.com/Jiaolong/self-supervised-da上获得。
2019-12-10 cs.CV cs.LG
Self-Knowledge Distillation based Self-Supervised Learning for Covid-19 Detection from Chest X-Ray Images
Hokkaido University（北海道大学）
2019冠状病毒（COVID-19）的全球爆发使全球医疗系统不堪重负。用于COVID-19快速检测和患者分诊的计算机辅助诊断变得至关重要。提出了一种新的基于自知识提取的自监督学习方法，用于从胸部X射线图像中检测COVID-19。我们的方法可以使用基于图像视觉特征相似性的图像自我知识进行自我监督学习。实验结果表明，我们的方法在最大的开放COVID-19胸部X射线数据集上获得了0.988的HM评分、0.999的AUC和0.957的准确度。
2022-06-07 cs.CV cs.LG eess.IV
Scaling and Benchmarking Self-Supervised Visual Representation Learning
Facebook AI Research（脸书人工智能研究院）
自监督学习的目标是在没有明确的人工监督的情况下从数据本身学习表示。现有的努力忽略了自监督学习的一个关键方面-扩展到大量数据的能力，因为自监督不需要手动标签。在这项工作中，我们重新审视了这一原则，并将两种流行的自监督方法扩展到1亿张图像。我们表明，通过在各个轴上进行缩放（包括数据大小和问题“硬度”），可以在很大程度上匹配甚至超过监督预训练在各种任务上的性能，例如使用强化学习进行目标检测，表面法线估计（3D）和视觉导航。扩展这些方法也提供了许多有趣的见解，目前的自我监督技术和评估的局限性。我们的结论是，目前的自我监督的方法是不够“硬”，以充分利用大规模的数据，似乎没有学习有效的高层次的语义表示。我们还介绍了一个跨9个不同数据集和任务的广泛基准。我们认为，要取得有意义的进展，就必须有这样一个基准以及可比较的评价环境。代码在：https://github.com/facebookresearch/fair_self_supervision_benchmark。
2019-06-06 cs.AI cs.CV cs.LG
Self-supervised Neural Architecture Search
Tel Aviv University（特拉维夫大学）
神经结构搜索（NAS）最近已被用于实现各种任务的性能提高，最突出的是在图像分类。然而，当前的搜索策略依赖于大的标记数据集，这限制了它们在仅注释了一小部分数据的情况下的使用。自监督学习在使用未标记数据训练神经网络方面显示出巨大的前景。在这项工作中，我们提出了一种自监督神经结构搜索（SSNAS），它允许在不需要标记数据的情况下找到新的网络模型。我们表明，这样的搜索导致类似的结果，监督训练与“完全标记”NAS，它可以提高性能的自监督学习。此外，我们证明了所提出的方法的优点时，在搜索中的标签的数量相对较小。
2020-07-03 cs.CV cs.LG stat.ML
Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach
NavInfo Europe（四维图新欧洲）
非平稳数据流上的持续学习（CL）仍然是深度神经网络（DNN）中长期存在的挑战之一，因为它们容易发生灾难性遗忘。CL模型可以从自我监督的预训练中受益，因为它可以学习更多可推广的任务不可知特征。然而，自我监督预训练的效果随着任务序列长度的增加而减弱。此外，预训练数据分布和任务分布之间的域移位降低了学习表示的泛化能力。为了解决这些局限性，我们提出了任务不可知表征整合（TARC），这是一种两阶段的CL训练范式，它将任务不可知和任务特定的学习交织在一起，其中自我监督训练之后是每个任务的监督学习。为了进一步限制在自监督阶段从学习的表示的偏差，我们在监督阶段采用任务不可知的辅助损失。我们表明，我们的训练范式可以很容易地添加到内存或正则化为基础的方法，并提供一致的性能增益在更具挑战性的CL设置。我们进一步表明，它会导致更强大和良好的校准模型。
2022-07-13 cs.AI cs.CV cs.LG
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology（华中科技大学）
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中，我们专注于应用自我监督方法的力量，以提高半监督行动建议生成。特别地，我们设计了一个有效的自监督半监督时态动作建议（SSTAP）框架。SSTAP包含两个关键分支，即，时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型，即，时间特征转移和时间特征翻转，在平均教师框架。自监督分支定义了两个托词任务，包括掩蔽特征重构和裁剪顺序预测，以学习时间线索之间的关系。通过这种方式，SSTAP可以更好地探索未标记的视频，并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明，SSTAP显着优于最先进的半监督方法，甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
Accelerating Self-Supervised Learning via Efficient Training Strategies
University of Edinburgh（爱丁堡大学）
最近，计算机视觉社区的焦点已经从昂贵的监督学习转向视觉表示的自监督学习。虽然监督和自我监督之间的性能差距一直在缩小，但训练自我监督深度网络的时间仍然比监督深度网络大一个数量级，这阻碍了进步，增加了碳成本，并限制了拥有大量资源的机构的社会效益。出于这些问题的动机，本文研究了通过各种尚未用于此问题的模型无关策略来减少最近自监督方法的训练时间。特别是，我们研究了三种策略：一个可扩展的循环学习率调度，一个匹配的渐进增强幅度和图像分辨率的时间表，和一个硬积极的挖掘策略的基础上增强难度。我们发现，所有这三种方法相结合导致了2.7倍的速度在几个自监督的方法的训练时间，同时保持可比性能的标准自监督学习设置。
2022-12-11 cs.CV
Gated Self-supervised Learning For Improving Supervised Learning
Brawijaya University（布劳爪哇大学）
在过去的图像分类的自监督学习的研究中，使用旋转作为增强已经很常见。然而，仅仅依靠旋转作为自监督变换可能会限制模型从数据中学习丰富特征的能力。在本文中，我们提出了一种新的方法，自监督学习的图像分类使用几个本地化的增广结合门控方法。除了旋转之外，我们的方法还使用了翻转和洗牌通道增强，允许模型从数据中学习丰富的功能。此外，门控混合网络用于权衡每个自监督学习对损失函数的影响，使模型能够专注于最相关的分类转换。
2023-01-14 cs.CV
How Well Do Self-Supervised Models Transfer?
University of Edinburgh（爱丁堡大学）；Samsung AI Research Cambridge（三星剑桥人工智能研究院）
自监督视觉表示学习最近取得了巨大的进展，但没有大规模的评估比较了许多模型现在可用。我们评估了13个顶级自监督模型在40个下游任务上的传输性能，包括多镜头和Few-Shot识别，目标检测和密集预测。我们将它们的性能与监督基线进行比较，结果表明，在大多数任务中，最好的自监督模型优于监督，证实了文献中最近观察到的趋势。我们发现ImageNet Top-1的准确性与向多镜头识别的转移高度相关，但对于Few-Shot、目标检测和密集预测，这种相关性越来越小。没有一种自我监督的方法在整体上占主导地位，这表明通用的预训练仍然没有解决。我们的功能分析表明，顶级的自我监督学习者未能保留颜色信息以及监督的替代品，但往往会导致更好的分类器校准，和不太注意过拟合比监督学习者。
2021-03-29 cs.CV
Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology（哈尔滨工业大学）
本工作提出自监督半监督学习框架Color-$S^{4}L$，通过引入图像着色代理任务，在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV
Super-Selfish: Self-Supervised Learning on Images with PyTorch
Technical University of Darmstadt（达姆施塔特工业大学）
Super-Selfish是一个易于使用的PyTorch框架，用于基于图像的自监督学习。特征可以通过13种算法来学习，从简单的分类到更复杂的对比性借口任务。该框架易于使用，仅需两行代码即可预训练任何PyTorch神经网络。同时，通过模块化设计选择保持充分的灵活性。代码可以在https://github.com/MECLabTUDA/Super_Selfish上找到，并使用pip install super-selfish安装。
2020-12-07 cs.CV
Self-supervised AutoFlow
Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）
提出自监督 AutoFlow，利用自监督损失作为搜索指标，在无真实标签的真实世界视频中表现优异，并在（半）监督设置中取得竞争性结果。
2023-05-22 cs.CV
Can Semantic Labels Assist Self-Supervised Visual Representation Learning?
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）
近年来，对比学习极大地推动了无监督视觉表示学习的发展。在ImageNet上进行预训练后，与完全监督的方法相比，一些自监督算法报告了更高的迁移学习性能，似乎传递了这样一个信息，即人类标签几乎无助于学习可迁移的视觉特征。在本文中，我们为语义标签的有用性辩护，但指出全监督和自监督方法追求不同类型的特征。为了缓解这个问题，我们提出了一个新的算法命名为监督对比调整邻域（SCAN），最大限度地防止语义指导破坏外观特征嵌入。在一系列的下游任务中，SCAN实现了比以前的全监督和自监督方法更优越的性能，有时增益是显著的。更重要的是，我们的研究表明，语义标签在辅助自我监督方法方面很有用，为社区开辟了一个新的方向。
2020-11-17 cs.CV
Semi-supervised learning made simple with self-supervised clustering
University of Trento（特伦托大学）；Inria（法国国家信息与自动化研究所）；SAP AI Research（SAP人工智能研究院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本研究提出一种将基于聚类的自监督方法转化为半监督学习器的简易多任务框架，融合监督与自监督目标，在CIFAR100和ImageNet上取得了最优性能。
2023-06-13 cs.CV
Self-Supervised Learning of Remote Sensing Scene Representations Using Contrastive Multiview Coding
University of Banja Luka（巴尼亚卢卡大学）
近年来，自监督学习已成为无监督表示学习的一个有前途的候选者。在视觉领域，其应用主要是在自然场景图像的背景下研究的。然而，它的适用性在特定领域特别有趣，如遥感和医学，在这些领域很难获得大量的标记数据。本文对自监督学习在遥感图像分类中的应用进行了深入的分析。我们分析了用于自监督预训练的图像的数量和域对下游任务性能的影响。我们表明，对于遥感图像分类的下游任务，使用自监督的遥感图像预训练可以得到更好的结果比使用监督的预训练的图像的自然场景。此外，我们还表明，自我监督的预训练可以很容易地扩展到多光谱图像，在我们的下游任务中产生更好的结果。
2021-06-03 cs.CV
Semi-supervised Learning: Fusion of Self-supervised, Supervised Learning, and Multimodal Cues for Tactical Driver Behavior Detection
Honda Research Institute, USA（美国本田研究院）
在本文中，我们提出了一个初步的研究，从未经修剪的自然驾驶记录的战术驾驶员行为检测。虽然基于监督学习的检测是一种常见的方法，但当标记数据稀缺时，它会受到影响。手动注释既耗时又昂贵。为了强调这个问题，我们在一个104小时的真实自然驾驶数据集上进行了实验，其中标注了一组预定义的驾驶行为。数据集中有三个挑战。首先，预定义的驾驶行为在自然驾驶环境中是稀疏的。第二，驾驶行为的分布是长尾的。第三，观察到巨大的类内变化。为了解决这些问题，最近的自我监督和监督学习和融合的多模态线索利用到我们的架构设计。初步的实验和讨论报告。
2018-07-02 cs.CV
How Well Do Self-Supervised Methods Perform in Cross-Domain Few-Shot Learning?
Artificial Intelligence Research Institute, Zhejiang Lab（之江实验室人工智能研究院）；College of Computer and Information Engineering, Zhejiang Gongshang University（浙江工商大学计算机与信息工程学院）
本文评估了自监督表示学习在跨域小样本学习（CDFSL）中的作用，发现自监督方法即使使用浅层架构或小数据集也能媲美SOTA方法，且比监督方法更具鲁棒性，并建议将Prototypical Classifier作为CDFSL的标准评估方案。
2025-01-25 cs.CV
3D Object Detection with a Self-supervised Lidar Scene Flow Backbone
Technical University of Munich（慕尼黑工业大学）；Tongji University（同济大学）
最先进的基于激光雷达的3D目标检测方法依赖于监督学习和大型标记数据集。然而，注释激光雷达数据是消耗资源的，并且仅依赖于监督学习限制了训练模型的适用性。自我监督训练策略可以通过学习下游3D视觉任务的通用点云骨干模型来缓解这些问题。在此背景下，我们展示了自监督多帧流表示和单帧3D检测假设之间的关系。我们的主要贡献是利用学习的流和运动表示，并将自监督骨干与监督3D检测头相结合。首先，一个自我监督的场景流估计模型的训练与循环一致性。然后，该模型的点云编码器被用作单帧三维目标检测头部模型的骨干。该第二3D目标检测模型学习利用运动表示来区分呈现不同运动模式的动态对象。在KITTI和nuScenes基准测试上的实验表明，所提出的自监督预训练显著提高了3D检测性能。https://github.com/emecercelik/ssl-3d-detection.git
2022-07-19 cs.CV
SERE: Exploring Feature Self-relation for Self-supervised Transformer
Nankai University（南开大学）
本文提出SERE方法，利用空间和通道维度的特征自关系训练自监督ViT，以增强其关系建模能力，从而稳定提升多个下游任务性能。
2023-09-18 cs.CV
Tasting the cake: evaluating self-supervised generalization on out-of-distribution multimodal MRI data
Georgia Institute of Technology（佐治亚理工学院）；TReNDS Center（TReNDS中心）；Delft University of Technology（代尔夫特理工大学）
自监督学习在自然图像基准测试方面取得了显著的进步。然而，在这一领域的医学成像领域的工作较少。各种备选方案中的最佳模式尚未确定。此外，很少有工作评估了新的自我监督方法的当前适用性限制。在本文中，我们评估了一系列目前的对比自我监督方法的分布外泛化，以评估其适用于医学成像。我们表明，自监督模型并不像预期的那样强大，基于他们的结果在自然成像基准，可以优于监督学习与辍学。我们还表明，这种行为可以反击广泛的增强。我们的研究结果强调了需要分布外泛化标准和基准，以在医学成像界采用自我监督的方法。
2022-05-23 cs.CV
Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
本文提出跨尺度预训练方法，利用高分辨率数据提升低分辨率图像的表示学习和分割性能，通过设计空间亲和组件改进自监督学习框架。
2026-05-02 cs.CV
ViewCLR: Learning Self-supervised Video Representation for Unseen Viewpoints
Stony Brook University（石溪大学）
学习自监督视频表示主要集中在从简单的数据增强方案产生的判别实例。然而，学习的表示往往无法推广到看不见的相机视点。为此，我们提出了Viewbatch，它学习对相机视点变化不变性的自监督视频表示。我们引入了一个视图生成器，可以被认为是一个可学习的增强任何自我监督的预文本任务，生成潜在的观点表示的视频。ViewView使潜在视点表示与其来自原始视点的表示之间的相似性最大化，使得学习的视频编码器能够在看不见的相机视点上进行概括。在包括NTU RGB + D数据集在内的跨视图基准数据集上的实验表明，Viewbatch是一种最先进的视点不变自监督方法。
2021-12-07 cs.CV
RealMonoDepth: Self-Supervised Monocular Depth Estimation for General Scenes
University of Surrey（萨里大学）
我们提出了一种广义的自监督学习方法，用于在1- 100米的不同深度范围内对场景的真实深度进行单目估计。用于单目深度估计的现有监督方法需要精确的深度测量用于训练。这种限制导致引入了自监督方法，该方法在具有固定相机基线的立体图像对上进行训练，以估计视差，该视差在给定已知校准的情况下被变换为深度。自我监督的方法已经证明了令人印象深刻的结果，但并没有推广到具有不同深度范围或相机基线的场景。在本文中，我们介绍了RealMonoDepth一个自我监督的单目深度估计方法，学习估计真实场景深度的各种室内和室外场景。提出了一种新的基于相对深度缩放和扭曲的场景真实深度损失函数。这允许具有多个数据集的单个网络的自我监督训练，用于具有来自立体对和野生移动相机数据集的不同深度范围的场景。对五个基准数据集的全面性能评估表明，RealMonoDepth提供了一个经过训练的网络，可以在室内和室外场景中进行深度估计，始终优于以前的自监督方法。
2020-04-14 cs.CV
An Evaluation of Self-Supervised Pre-Training for Skin-Lesion Analysis
Institute of Computing (IC)（计算研究所）；University of Campinas（坎皮纳斯大学）；School of Electrical and Computing Engineering (FEEC)（电气与计算机工程学院）
对于迁移学习，自监督预训练似乎是监督预训练的有利替代方案。通过在借口任务上合成注释，自我监督允许在大量伪标签上预训练模型，然后在目标任务上对其进行微调。在这项工作中，我们评估自我监督皮肤病变的诊断，比较三个自我监督的管道，一个具有挑战性的监督基线，在五个测试数据集，包括在分布和分布外的样本。我们的研究结果表明，自我监督在提高准确性和减少结果的变异性方面都具有竞争力。自我监督证明对于低训练数据场景（$<1\,500$和$<150$样本）特别有用，其中其稳定结果的能力对于提供合理的结果至关重要。
2022-08-20 cs.CV
Occlusion Guided Self-supervised Scene Flow Estimation on 3D Point Clouds
Tel Aviv University（特拉维夫大学）
理解两个连续时间帧之间稀疏采样点的3D空间流动是现代几何驱动系统的核心，如VR/AR，机器人和自动驾驶。由于缺乏真实的、非模拟的、标记的数据，因此强调了自我或无监督的深度架构的重要性。本文提出了一种新的自监督训练方法和一种用于遮挡情况下的三维场景流估计的体系结构。在这里，我们表明，智能流量预测和遮挡检测之间的多层融合优于传统架构的遮挡和非遮挡的情况下，由一个很大的利润。我们报告了Flyingthings 3D和KITTI数据集的最新结果，用于监督和自我监督训练。
2021-10-17 cs.CV
Self-supervision of Feature Transformation for Further Improving Supervised Learning
University of Electronic Science and Technology of China（电子科技大学）
自监督学习通过预先设计的任务自动构造标签，近年来被应用于加强监督学习。由于以前的自我监督借口任务是基于输入的，它们可能会产生巨大的额外训练开销。在本文中，我们发现CNN中的特征也可以用于自我监督。因此，我们创造性地设计了\emph{feature-based pretext task}，它只需要少量的额外的训练开销。在我们的任务中，我们丢弃不同的特定区域的特征，然后训练模型来区分这些不同的特征。为了充分应用我们的基于特征的借口任务在监督学习，我们还提出了一个新的学习框架，包含多分类器进一步改进。原始标签将通过特征转换的自我监督扩展为联合标签。通过我们的自监督任务提供更多的语义信息，这种方法可以更有效地训练CNN。在各种监督学习任务上的大量实验证明了该方法的准确性和广泛的适用性。
2021-06-09 cs.CV
Understanding Self-Supervised Features for Learning Unsupervised Instance Segmentation
University of Oxford（牛津大学）
本文研究无监督实例分割中的自监督特征，发现不同SSL方法的实例感知水平存在差异，DINO特征在分离实例的敏感性上落后于MAE特征。
2023-11-24 cs.CV
SPLIT: Self-supervised Partitioning for Learned Inversion in Nonlinear Tomography
本文提出SPLIT框架，通过自监督学习在无地面真值数据的情况下重建非线性断层扫描图像，理论证明其与监督学习在期望上等价，并在多光谱CT中验证了其高重建质量与噪声鲁棒性。
2026-04-17 cs.CV
Emerging Properties in Self-Supervised Vision Transformers
Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）；Sorbonne University（索邦大学）
在本文中，我们质疑自监督学习是否为视觉Transformer（ViT）提供了与卷积网络（convnets）相比突出的新属性。除了自监督方法适应这种架构特别好的事实，我们做了以下观察：第一，自监督ViT功能包含明确的信息的语义分割的图像，这并不清楚地出现与监督ViT，也与convnets。其次，这些特征也是优秀的k-NN分类器，在ImageNet上达到了78.3%的top-1，具有较小的ViT。我们的研究还强调了动量编码器，多作物训练以及使用ViTs小补丁的重要性。我们将我们的发现应用到一个简单的自我监督方法中，称为DINO，我们将其解释为一种没有标签的自我蒸馏形式。我们通过在ImageNet上使用ViT-Base进行线性评估时达到80.1%的top-1，展示了DINO和ViTs之间的协同作用。
2021-05-24 cs.CV
MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views
UC San Diego（加州大学圣地亚哥分校）；Qualcomm（高通公司）
本文提出MonoSelfRecon框架，利用体素-SDF、可泛化NeRF和新型自监督损失，首次从单目RGB实现纯自监督、显式且可泛化的室内三维网格重建。
2024-04-10 cs.CV
Self-EMD: Self-Supervised Object Detection without ImageNet
MEGVII Technology（旷视科技）
在本文中，我们提出了一种新的自监督表示学习方法，自经验模态分解，目标检测。我们的方法直接在未标记的非图标图像数据集（如COCO）上进行训练，而不是像ImageNet这样常用的图标对象图像数据集。我们保留卷积特征映射作为图像嵌入以保留空间结构，并采用地球移动器距离（EMD）计算两个嵌入之间的相似度。我们的Faster R-CNN（ResNet 50-FPN）基线在COCO上实现了39.8%的mAP，这与在ImageNet上预训练的最先进的自监督方法相当。更重要的是，它可以进一步提高到40.4% mAP，使用更多的未标记图像，显示出其利用更容易获得的未标记数据的巨大潜力。代码将提供。
2021-03-22 cs.CV
Self-Supervised Point Cloud Completion based on Multi-View Augmentations of Single Partial Point Cloud
Hunan University（湖南大学）
本文针对点云补全中监督依赖真值、无监督需完整点云等问题，提出基于单一部分点云多视图增强的自监督方法，并首次引入Mamba提升生成质量，在合成与真实数据集上取得最优结果。
2025-09-26 cs.CV
SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）
在野外，单目深度估计固有地预测未知尺度的深度。为了解决尺度模糊问题，我们提出了一种学习算法，利用单目同时定位与地图构建（SLAM）与本体感受传感器。这样的单目SLAM系统可以提供度量缩放的相机姿态。给定这些度量姿态和单目序列，我们提出了一种用于预训练的监督单目深度网络的自监督学习方法，以实现度量缩放的深度估计。我们的方法是基于师生公式，指导我们的网络预测高质量的深度。我们证明，我们的方法是有用的，如移动机器人导航的各种应用，并适用于不同的环境。我们的完整系统显示了对最近的自监督深度估计和完成方法在EuRoC，OpenLORIS和ScanNet数据集上的改进。
2022-03-10 cs.CV
Self-supervised Feature Enhancement: Applying Internal Pretext Task to Supervised Learning
University of Electronic Science and Technology of China（电子科技大学）
传统的自监督学习要求CNN使用外部借口任务（即，基于图像或视频的任务）来编码高级语义视觉表示。在本文中，我们证明了CNN中的特征变换也可以被视为监督信号来构建自监督任务，称为\emph{internal pretext task}。这样的任务可以应用于监督学习的增强。具体来说，我们首先通过丢弃不同的通道来转换内部特征图，然后定义一个额外的内部借口任务来识别丢弃的通道。CNN被训练来预测由自监督标签和原始标签的组合生成的联合标签。通过这样做，我们让CNN知道在分类时丢失了哪些通道，希望挖掘更丰富的特征信息。大量的实验表明，我们的方法是有效的各种模型和数据集。值得注意的是，我们只会产生微不足道的计算开销。此外，我们的方法也可以与其他方法兼容，以获得更好的结果。
2021-06-09 cs.CV
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National University of Singapore（新加坡国立大学）
我们考虑的问题，半监督的3D动作识别，以前很少探索。它的主要挑战在于如何有效地从未标记的数据中学习运动表示。自监督学习（Self-supervised learning，SSL）是一种非常有效的学习方法。然而，对于3D动作识别，几乎没有有效的自监督方法存在，并且直接将SSL应用于半监督学习遭受从SSL和监督学习任务学习的表示的不对准。为了解决这些问题，我们提出了对抗性自监督学习（ASSL），一个新的框架，紧密耦合SSL和半监督方案通过邻居关系探索和对抗性学习。具体来说，我们设计了一个有效的SSL方案，以提高3D动作识别的学习表示的鉴别能力，通过探索一个邻域内的数据关系。我们进一步提出了对抗性正则化来对齐标记和未标记样本的特征分布。为了证明所提出的ASSL在半监督3D动作识别中的有效性，我们在NTU和N-UCLA数据集上进行了广泛的实验。结果证实了其优越的性能超过国家的最先进的半监督方法在几个标签制度的3D动作识别。
2020-07-12 cs.CV
A high-precision self-supervised monocular visual odometry in foggy weather based on robust cycled generative adversarial networks and multi-task learning aided depth estimation
North University of China（中北大学）
本文提出了一种高精度的自监督单目VO，这是专门设计用于雾天导航。设计了一种循环生成对抗网络，通过强制前向和后向半循环输出一致的估计，获得高质量的自监督损失。此外，基于梯度的损失和感知损失的引入，以消除复杂的光度变化的自我监督损失在雾天的干扰。为解决深度估计的不适定性问题，基于雾天图像深度估计与透射图计算之间的强相关性，设计了一种自监督多任务学习辅助深度估计模块。在人工雾天KITTI数据集上的实验结果表明，本文提出的自监督单目VO在深度和姿态估计方面优于文献中其他最先进的单目VO，表明所设计的方法更适合雾天。
2022-03-09 cs.CV
Two Stream Self-Supervised Learning for Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Honda Research Institute, USA（本田美国研究院）
我们提出了一个自我监督的方法，使用视频帧之间的时空信号的动作识别。一个两流架构被用来纠缠空间和时间的表示学习。我们的任务被制定为序列验证和时空比对任务。前者需要运动时间结构的理解，而后者耦合的空间表示与学习的运动。在动作识别任务上验证了自监督预训练权值的有效性。定量评估显示了三个数据集上的自监督方法能力：HMDB51，UCF101和本田驾驶数据集（HDD）。进一步的研究，以提高性能和推广的有效性仍然需要。
2018-06-16 cs.CV
Functional Knowledge Transfer with Self-supervised Representation Learning
Luleå Tekniska Universitet（吕勒奥理工大学）；CCET, Punjab University（旁遮普大学CCET学院）；Kyushu University（九州大学）
本文提出一种联合训练框架，通过同时优化自监督伪任务与监督任务实现功能性知识迁移，在三个小规模公开视觉数据集上验证了分类性能的稳定提升。
2023-07-10 cs.CV
Self-supervised Learning of Depth Inference for Multi-view Stereo
Australian National University（澳大利亚国立大学）；NVIDIA（英伟达）
最近的监督多视图深度估计网络取得了可喜的成果。与所有监督方法类似，这些网络在训练期间需要地面实况数据。然而，收集大量的多视图深度数据是非常具有挑战性的。在这里，我们提出了一个自监督学习框架，利用伪标签从输入数据的多视图立体视觉。我们开始学习估计深度图作为初始伪标签下的无监督学习框架依赖于图像重建损失作为监督。然后，我们使用精心设计的流水线，利用从更高分辨率的图像和相邻视图推断的深度信息来细化初始伪标签。我们使用这些高质量的伪标签作为监督信号来训练网络，并通过自训练迭代地提高其性能。在DTU数据集上的大量实验表明，我们提出的自监督学习框架的性能大大优于现有的无监督多视图立体视觉网络，并且与有监督的框架相比，性能相当。代码可在https://github.com/JiayuYANG/Self-supervised-CVP-MVSNet上获得。
2021-04-07 cs.CV
Dynamic Channel Selection in Self-Supervised Learning
Insight Centre for Data Analytics（洞察数据分析中心）；Dublin City University（都柏林城市大学）
虽然使用自监督方法构建的计算机视觉模型现在很常见，但仍然存在一些重要的问题。自监督模型是否学习高度冗余的通道特征？如果一个自我监督的网络可以动态地选择重要的通道并删除不必要的通道，那会怎么样？目前，与计算机视觉中的监督对应物相比，用自我监督预训练的convnets在下游任务上获得了相当的性能。然而，自监督模型也有缺点，包括其大量的参数，计算昂贵的训练策略以及对下游任务的快速推理的明确需求。在这项工作中，我们的目标是通过研究如何将为监督学习开发的标准通道选择方法应用于自我监督训练的网络来解决后者。我们验证了我们在不同数据集（特别是CIFAR-10，CIFAR-100和ImageNet-100）的图像分类任务的通道计算的一系列目标预算$t_{d}$上的研究结果，在选择所有通道时获得了与原始网络相当的性能，但在FLOP方面报告的计算量显着减少。
2022-12-16 cs.CV
