ScatSimCLR: self-supervised contrastive learning with pretext task regularization for small-scale datasets
University of Geneva（日内瓦大学）
在本文中，我们考虑了一个问题的自监督学习的小规模数据集之间的对比损失的数据的多个视图，这表明了国家的最先进的分类任务的性能。尽管报告的结果，这样的因素，如训练的复杂性，需要复杂的架构，所需的数量的意见产生的数据增强，其对分类精度的影响是研究不足的问题。为了建立这些因素的作用，我们考虑的对比损失系统的架构，如Simplified，其中基线模型被替换为几何不变的“手工制作”的网络ScatNet与小的可训练的适配器网络，并认为整个系统的参数的数量和视图的数量可以大大减少，同时实际上保持相同的分类精度。此外，我们研究了正则化策略的影响，使用借口任务学习的基础上估计的参数增强变换，如旋转和拼图置换的传统基线模型和基于ScatNet的模型。最后，我们证明了所提出的架构与借口任务学习正则化实现了国家的最先进的分类性能与较少数量的可训练参数和减少的视图数量。
2021-08-31 cs.CV
Self-supervision of Feature Transformation for Further Improving Supervised Learning
University of Electronic Science and Technology of China（电子科技大学）
自监督学习通过预先设计的任务自动构造标签，近年来被应用于加强监督学习。由于以前的自我监督借口任务是基于输入的，它们可能会产生巨大的额外训练开销。在本文中，我们发现CNN中的特征也可以用于自我监督。因此，我们创造性地设计了\emph{feature-based pretext task}，它只需要少量的额外的训练开销。在我们的任务中，我们丢弃不同的特定区域的特征，然后训练模型来区分这些不同的特征。为了充分应用我们的基于特征的借口任务在监督学习，我们还提出了一个新的学习框架，包含多分类器进一步改进。原始标签将通过特征转换的自我监督扩展为联合标签。通过我们的自监督任务提供更多的语义信息，这种方法可以更有效地训练CNN。在各种监督学习任务上的大量实验证明了该方法的准确性和广泛的适用性。
2021-06-09 cs.CV
Automatic Shortcut Removal for Self-Supervised Representation Learning
Google Research（谷歌研究院）
在自监督视觉表示学习中，特征提取器是在“借口任务”上训练的，对于该任务，可以廉价地生成标签，而无需人工注释。这种方法的一个核心挑战是特征提取器快速学习利用低级视觉特征，如色差或水印，然后无法学习有用的语义表示。许多工作都是为了识别这种“捷径”功能和手工设计方案，以减少其影响。在这里，我们提出了一个通用的框架，用于减轻快捷功能的影响。我们的关键假设是，那些首先被用来解决借口任务的特征也可能是最容易受到训练，使任务更难的对手。我们通过训练一个“镜头”网络来进行小的图像改变，从而最大限度地降低借口任务的性能，从而证明了这种假设在常见的借口任务和数据集上都成立。在所有测试案例中，使用修改后的图像学习的表示优于那些没有学习的表示。此外，镜头所做的修改揭示了借口任务和数据集的选择如何影响通过自我监督学习的特征。
2020-06-30 cs.CV
Self-supervised visual feature learning with curriculum
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
自监督学习技术已经显示出它们学习有意义的特征表示的能力。这是通过在借口任务上训练模型来实现的，这些任务只需要找到输入或部分输入之间的相关性。然而，需要仔细地手动选择这样的借口任务，以避免可能使这些借口任务变得微不足道的低电平信号。此外，删除这些快捷方式往往会导致一些语义上有价值的信息的丢失。我们表明，它直接影响下游任务的学习速度。在本文中，我们从课程学习中获得灵感，逐步去除低电平信号，并表明它显着提高了下游任务的收敛速度。
2020-01-16 cs.CV
Improved skin lesion recognition by a Self-Supervised Curricular Deep Learning approach
Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
用于皮肤病变识别的最先进的深度学习方法通常需要在更大和更多样化的数据集上进行预训练，以克服由皮肤病变成像数据集的减小尺寸所产生的泛化限制。ImageNet通常用作预训练数据集，但其传输潜力受到源数据集和目标皮肤镜场景之间的域差距的阻碍。在这项工作中，我们介绍了一种新的预训练方法，顺序训练一系列的自监督学习借口任务，只需要未标记的皮肤病变成像数据。我们提出了一个简单的方法来建立一个定义借口任务课程的排序。对于多类皮肤病变分类问题和ISIC-2019数据集，我们提供的实验证据表明：i）通过借口任务课程预训练的模型优于通过单个借口任务预训练的模型，ii）通过最佳借口任务课程预训练的模型优于在ImageNet上预训练的模型。我们证明，这种性能增益与这样一个事实有关，即借口任务的课程更好地将最终模型的注意力集中在皮肤病变上。除了性能提高之外，这种策略还可以大大减少ImageNet预训练的训练时间，这对于针对特定问题定制的网络架构特别有利。
2021-12-22 cs.CV
From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning
School of Computer Science & Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；School of Medicine, Huaqiao University（华侨大学医学院）
本文提出一种批次自适应自监督学习方法，通过批次数据降维重构实现批内通信并自适应增强特征编码，在ImageNet-1k和ImageNet-100上取得SOTA性能，为数据驱动自监督学习提供新视角。
2024-03-26 cs.CV
ViSS-R1: Self-Supervised Reinforcement Video Reasoning
City University of Hong Kong（香港城市大学）；Baidu Inc.（百度公司）；Tsinghua University（清华大学）；The University of Sydney（悉尼大学）
针对现有R1类方法在视频推理中视觉利用不足、易产生幻觉的问题，提出Pretext-GRPO算法与ViSS-R1框架，通过代理任务驱动的自监督强化学习提升模型视觉中心推理能力，在六个基准上验证了优越性。
2025-11-17 cs.CV
Tailoring Self-Supervision for Supervised Learning
Sungkyunkwan University（成均馆大学）
最近，研究表明，部署适当的自我监督是一种有前景的方式来提高监督学习的性能。然而，自我监督的好处并没有得到充分利用，因为以前的借口任务专门用于无监督的表示学习。为此，我们首先提出了三个理想的属性，这样的辅助任务，以协助监督的目标。首先，任务需要引导模型学习丰富的功能。第二，自我监督所涉及的转变不应显著改变培训分布。第三，为了对现有技术的高度适用性，任务优选是轻的和通用的。随后，为了展示现有的借口任务如何实现这些目标并为监督学习量身定制，我们提出了一个简单的辅助自我监督任务，预测可定位旋转（LoRot）。我们详尽的实验验证了LoRot作为监督学习的借口任务在鲁棒性和泛化能力方面的优点。我们的代码可在https://github.com/wjun0830/Localizable-Rotation上获得。
2022-07-20 cs.CV
Learning to Perceive "Where": Spatial Pretext Tasks for Robust Self-Supervised Learning
Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Warsaw University of Technology, Poland（华沙理工大学，波兰）
本文提出空间预测任务，通过建模部分间关系提升自监督学习中的空间感知能力，改进了图像识别、细粒度分类等任务的性能。
2026-05-11 cs.CV
Multi-Pretext Attention Network for Few-shot Learning with Self-supervision
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）
少样本学习是一项有趣且具有挑战性的研究，它使机器能够像人类一样从很少的样本中学习。现有的研究很少从大量的未标记数据中利用辅助信息。自监督学习是一种利用未标记数据的有效方法。现有的自监督学习方法往往依赖于对单个样本进行几何变换的组合增强，而严重忽略了对任务同样重要的不同样本间的内生相关信息。在这项工作中，我们提出了一个图驱动聚类（GC），一种新的增强的自监督学习，它不依赖于任何辅助样本，并利用输入样本之间的内源性相关信息的方法。此外，我们提出了多借口注意力网络（MAN），它利用一个特定的注意力机制，结合传统的增强依赖的方法和我们的GC，自适应学习他们的优化权重，以提高性能，使特征提取器，以获得更普遍的表示。我们在miniImageNet和tieredImageNet数据集上对MAN进行了广泛的评估，结果表明所提出的方法优于最先进的（SOTA）相关方法。
2021-03-10 cs.CV
Self-Supervised Learning for Medical Image Data with Anatomy-Oriented Imaging Planes
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Jarvis Research Center, Tencent YouTu Lab（腾讯优图实验室贾维斯研究中心）
针对具有解剖学导向成像平面的医学图像，提出基于平面相对方向与切片位置回归的两个互补自监督代理任务，提升分割和分类迁移性能。
2024-04-07 cs.CV
Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks
University of Montreal（蒙特利尔大学）；Mila – Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）
最近的工作少样本学习\cite{tian2020rethinking}表明，学习表示的质量起着重要的作用，在Few-Shot分类性能。另一方面，自监督学习的目标是在不使用类别标签的情况下恢复数据的有用语义信息。在这项工作中，我们利用这两种模式的互补性，通过多任务框架，我们利用最近的自我监督的方法作为辅助任务。我们发现，将多个任务结合起来通常是有益的，同时解决它们可以有效地完成。我们的研究结果表明，自我监督的辅助任务是有效的数据依赖的正则化表示学习。我们的代码可在：\url{https://github.com/nathanielsimard/improving-fs-ssl} .
2021-01-24 cs.CV cs.LG
Text-DIAE: A Self-Supervised Degradation Invariant Autoencoders for Text Recognition and Document Enhancement
Computer Vision Center（计算机视觉中心）；Digital Research Center of Sfax（斯法克斯数字研究中心）
在本文中，我们提出了一个文本退化不变自动编码器（Text-DIAE），一个自监督模型，旨在解决两个任务，文本识别（手写或场景文本）和文档图像增强。我们首先采用基于transformer的架构，该架构将三个借口任务作为学习目标，在预训练期间进行优化，而不使用标记数据。每个借口目标都是为最终的下游任务专门定制的。我们进行了几个消融实验，确认所选的借口任务的设计选择。重要的是，所提出的模型没有表现出以前的国家的最先进的方法的基础上的对比损失的限制，而在同一时间需要大大减少数据样本收敛。最后，我们证明了我们的方法超越了现有的监督和自监督设置在手写和场景文本识别和文档图像增强的最先进的。我们的代码和训练模型将在~ \url{ http://Upon_Acceptance}上公开发布。
2022-08-18 cs.CV
Boosting Self-Supervised Learning via Knowledge Transfer
University of Bern（伯尔尼大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
在自监督学习中，人们训练模型来解决数据集上的所谓借口任务，而不需要人工注释。然而，主要目标是将该模型转移到目标域和任务。目前，最有效的转移策略是微调，这限制了一个使用相同的模型或其部分的借口和目标任务。在本文中，我们提出了一个新的自监督学习框架，克服了设计和比较不同的任务，模型和数据域的局限性。特别是，我们的框架将自监督模型的结构从最终的特定于任务的微调模型中分离出来。这使我们能够：1）定量评估以前不兼容的模型，包括手工制作的功能; 2）表明更深的神经网络模型可以从相同的借口任务中学习更好的表示; 3）将使用深度模型学习的知识转移到较浅的模型，从而提高其学习能力。我们使用这个框架来设计一个新的自我监督的任务，实现了国家的最先进的性能在PASCAL VOC 2007年，ILSVRC 12和地方的共同基准显着保证金。在PASCAL VOC 2007上的目标检测中，我们的学习功能将通过自监督学习和监督学习训练的模型之间的mAP差距从5.9%缩小到2.6%。
2018-05-01 cs.CV
Self-Supervised 3D Monocular Object Detection by Recycling Bounding Boxes
NIT Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）；SASTRA University（沙斯特拉大学）；Navya（纳维亚公司）；Valeo（法雷奥集团）
现代目标检测架构正朝着采用自监督学习（SSL）来提高相关借口任务的性能检测的方向发展。单目3D目标检测的前置任务尚未在文献中探索。研究了以标记随机窗口为前提任务建立的自监督限界框回收方法的应用。3D检测器的分类器头被训练为对包含不同比例的地面实况对象的随机窗口进行分类，从而处理前景-背景不平衡。我们使用RTM3D检测模型作为基线，在有和没有应用数据增强的情况下评估借口任务。我们证明了使用SSL的mAP 3D和0.9 - 1.5%BEV评分比基线评分提高了2 - 3%。我们提出了逆类频率重新加权（ICFW）mAP得分，突出了在具有长尾的类不平衡数据集中检测低频类的改进。我们证明了ICFW mAP 3D和BEV评分的改进，以考虑KITTI验证数据集中的类别不平衡。我们看到，在借口任务下，国际家庭妇女理事会的指标增加了4 - 5%。
2022-06-25 cs.CV cs.LG
Combining General and Domain-Specific Pretext Tasks for Brain MR Image Segmentation
University of Calgary（卡尔加里大学）
本研究提出结合领域特定（脑龄预测）与通用（图像修复）自监督预文本任务的多任务预训练框架，用于脑部MR图像分割，在三个下游任务上优于单任务预训练和从头训练，展示了其提升模型泛化能力的潜力。
2026-09-28 cs.AI cs.CV
Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Youtu Lab, Tencent（腾讯优图实验室）；Snap Inc.（Snap公司）；North China Electric Power University（华北电力大学）；Xiamen University（厦门大学）；Kuaishou Technology（快手科技）
视觉审美评价是一个活跃的研究领域几十年。尽管最新的方法在基准数据集上取得了令人鼓舞的性能，但它们通常依赖于大量的手动注释，包括美学标签和相关的图像属性。在本文中，我们重新审视的问题，图像美学评估的自监督特征学习的角度来看。我们的动机是，一个合适的特征表示图像美学评估应该能够区分不同的专家设计的图像操作，这与负面的审美效果有密切的关系。为此，我们设计了两个新的借口任务，以确定应用于合成实例的编辑操作的类型和参数。然后，我们的借口任务的功能，适用于一层线性分类器，以评估性能的二进制美学分类。我们在三个基准数据集上进行了广泛的定量实验，并证明了我们的方法可以忠实地提取美学感知特征，并优于其他借口方案。此外，我们实现了与使用ImageNet中1000万个标签的最先进的监督方法相当的结果。
2019-11-26 cs.CV
Boundary-aware Self-supervised Learning for Video Scene Segmentation
Kakao Brain；Seoul National University（首尔大学）；Hanyang University（汉阳大学）
自监督学习通过其在没有地面实况注释的情况下学习域内表示的有效性引起了人们的注意;特别地，已经表明适当设计的借口任务（例如，对比预测任务）为下游任务（例如，分类任务）。受此启发，我们解决视频场景分割，这是一个任务的时间定位场景边界的视频，与自监督学习框架，我们主要集中在设计有效的借口任务。在我们的框架中，我们通过将镜头序列分成两个连续的、不重叠的子序列来发现伪边界，并利用伪边界来促进预训练。在此基础上，我们介绍了三个新的边界感知借口任务：1）镜头场景匹配（SSM），2）上下文组匹配（CGM）和3）伪边界预测（PP）; SSM和CGM引导模型最大化场景内相似性和场景间区分度，而PP鼓励模型识别过渡时刻。通过综合分析，我们实证表明，预训练和转移上下文表示都是提高视频场景分割性能的关键。最后，我们在MovieNet-SSeg基准上实现了新的最先进的技术。该代码可在https://github.com/kakaobrain/bassl上获得。
2022-01-14 cs.CV
Which Pretext Task Transfers? Self-Supervised Pretraining Objectives for Lung Ultrasound
University of British Columbia（不列颠哥伦比亚大学）；Rutgers Cancer Institute of New Jersey（新泽西州罗格斯癌症研究所）
本研究在肺超声上比较对比学习、掩码重建和JEPA三类自监督目标，发现POCUS上VideoMAE和V-JEPA优于MoCo，但跨数据集时排名反转，MoCo迁移最佳，表明单一数据集探针准确率不足以判断迁移性能。
2026-09-16 cs.CV
Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification
监督学习中的数据标注被认为是一种昂贵的工具，在某些情况下是不可行的。提出了自监督学习方法来解决具有较少标记数据的学习有效性，然而，对实现足够结果所需的标记数据的大小缺乏信心。这项研究的目的是绘制一个基线的标记数据的比例，模型可以欣赏，以产生合格的准确性相比，训练与额外的标签。该研究实现了www.example.com 'cats-vs-dogs数据集Mnist和Fashion-Mnist，通过在原始数据集上实现随机旋转增强来研究自监督学习任务。为了揭示自监督学习中借口过程的真实有效性，原始数据集被分成较小的批次，并且在每个批次上重复学习，有和没有借口预训练。结果表明，与普通监督学习相比，自监督学习中的借口过程在下游分类任务中提高了约15%的准确率。
2021-08-17 cs.CV cs.LG
Image Enhanced Rotation Prediction for Self-Supervised Learning
NTT Software Innovation Center（NTT软件创新中心）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
旋转预测（Rotation）是自监督学习（SSL）的一个简单的预文本任务，其中模型通过解决预文本任务来学习目标视觉任务的有用表示。虽然旋转捕获对象的形状信息，但它几乎不能捕获纹理信息。为了解决这个问题，我们引入了一种新的预文本任务，称为图像增强旋转预测（IE-Rot）的SSL。IE-Rot同时解决旋转和另一个基于图像增强的预文本任务（例如，锐化和日晒），同时保持简单性。通过旋转和图像增强的同时预测，模型学习表示来捕获对象形状和纹理的信息。我们的实验结果表明，IE-Rot模型在各种标准基准测试中的表现优于Rotation，包括ImageNet分类，PASCAL-VOC检测和COCO检测/分割。
2021-06-04 cs.CV cs.LG stat.ML
MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network
Imperial College London（帝国理工学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出了一种新的半监督环境下的条件生成对抗网络（GANs）自监督学习方法。与先前的自我监督方法不同，这些方法通常涉及图像空间上的几何增强，例如预测旋转角度，我们的借口任务利用了标签空间。我们通过从可用的少数标记示例的标签空间中随机采样敏感标签，并将其作为目标标签分配给来自与标记示例相同的分布的丰富的未标记示例来执行增强。然后将图像翻译并按其目标标签分组为正对和负对，作为我们的借口任务的训练样本，该任务涉及优化搜索者一侧的辅助匹配损失。我们在两个具有挑战性的基准测试中测试了我们的方法，CelebA和RaFD，并使用标准指标评估了结果，包括Fréchet Inception Distance，Inception Score和Attribute Classification Rate。广泛的实证评估表明，我们提出的方法的有效性，竞争力的基线和现有的艺术。特别是，我们的方法超过了基线，只有20%的标记的例子用于训练基线。
2020-10-08 cs.CV
Distribution Estimation to Automate Transformation Policies for Self-Supervision
Qualcomm AI Research（高通AI研究）；Qualcomm Technologies, Inc.（高通技术公司）
在最近的视觉自我监督工作中，一个模仿的分类目标，称为托词任务，通过分配标签到变换或增强的输入图像。托词的目标可以是预测对图像应用什么变换。然而，据观察，数据集中已经存在的图像变换在学习这种自监督表示时可能不太有效。基于这一观察，我们提出了一个基于生成对抗网络的框架，以自动找到输入数据集中不存在的转换，从而有效地进行自监督学习。这种自动化策略允许估计数据集的转换分布，并构建其互补分布，从中对训练对进行采样以用于借口任务。我们使用几个视觉识别数据集来评估我们的框架，以显示我们的自动转换策略的有效性。
2021-11-24 cs.CV
Self-Supervised Pretext Tasks for Alzheimer's Disease Classification using 3D Convolutional Neural Networks on Large-Scale Synthetic Neuroimaging Dataset
University of Waikato（怀卡托大学）
本研究针对AD分类监督训练缺分割标注的问题，用LDM100K合成MRI数据训练3D CNN的多种自监督前置任务，验证了合成数据训练特征提取器的可行性与数据增强的效果。
2024-06-20 cs.CV cs.LG eess.IV
Extending global-local view alignment for self-supervised learning with remote sensing imagery
针对遥感图像自监督学习，提出基于全局-局部视图对齐的 DINO-MC 模型，通过多尺寸裁剪缓解目标尺寸变化，在仅用 10% 数据预训练下性能超越现有最优方法。
2024-04-24 cs.CV
A Point in the Right Direction: Vector Prediction for Spatially-aware Self-supervised Volumetric Representation Learning
University of Notre Dame（圣母大学）；First Affiliated Hospital of Anhui Medical University（安徽医科大学第一附属医院）
密集3D医学成像任务的高注释成本和有限标签最近激发了各种3D自监督预训练方法，这些方法可以提高迁移学习性能。然而，这些方法通常缺乏空间意识，尽管它在实现有效的3D图像分析中处于中心地位。更具体地说，位置、比例和方向不仅提供信息，而且在生成用于训练的图像裁剪时自动可用。然而，到目前为止，还没有工作提出了一个借口任务，提取所有关键的空间特征。为了满足这一需求，我们开发了一种新的自监督方法VectorPOSE，它通过两个新的借口任务来促进更好的空间理解：矢量预测（VP）和边界聚焦重建（BFR）。VP侧重于全局空间概念（即，3D补丁的属性），而BFR解决了最近重建方法的弱点，以学习更有效的局部表示。我们在三个3D医学图像分割任务上评估了VectorPOSE，结果表明它通常优于最先进的方法，特别是在有限的注释设置中。
2022-11-15 cs.CV
Instance Localization for Self-supervised Detection Pretraining
Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）
先前对自监督学习的研究已经在图像分类方面取得了相当大的进展，但在目标检测方面的传递性能往往会下降。本文的目标是推进自监督预训练模型，专门用于目标检测。基于分类和检测之间的固有差异，我们提出了一种新的自监督借口任务，称为实例定位。图像实例以各种位置和比例粘贴到背景图像上。前提任务是预测给定合成图像以及前景边界框的实例类别。我们表明，边界框集成到预训练促进更好的任务对齐和架构对齐的迁移学习。此外，我们提出了一种增强方法的边界框，以进一步提高特征对齐。因此，我们的模型在Imagenet语义分类方面变得较弱，但在图像块定位方面变得较强，并且具有用于目标检测的整体更强的预训练模型。实验结果表明，我们的方法产生的状态的最先进的迁移学习结果的目标检测PASCAL VOC和MSCOCO。
2021-04-06 cs.CV
A Multi-view Perspective of Self-supervised Learning
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
自监督学习（Self-supervised learning，SSL）作为一种新兴的无监督学习范式，近年来受到了广泛的关注。在它的帮助下，SSL有效地学习了对下游任务有益的特征表示。因此，托词任务起着关键作用。然而，目前对它的设计，特别是它的本质的研究还处于开放状态。在本文中，我们借用多视图的角度来解耦一类流行的借口任务到视图数据增强（VDA）和视图标签分类（VLC）的组合，在那里我们试图探索这种借口任务的本质，同时提供一些见解，其设计。具体而言，一个简单的多视图学习框架（SSL-MV）是专门设计的，它有助于通过增强视图上的相同任务的下游任务（原始视图）的特征学习。SSL-MV专注于VDA，而放弃VLC，根据经验发现是VDA而不是通常认为的VLC主导了此类SSL的性能。此外，由于用VDA任务取代了VLC，SSL-MV还可以实现集成推理，结合来自增强视图的预测，进一步提高性能。在多个基准数据集上的实验证明了该方法的优越性。
2020-05-15 cs.CV cs.LG stat.ML
Digging into Uncertainty in Self-supervised Multi-view Stereo
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）；Pazhou Laboratory（琶洲实验室）；Shanghai AI Laboratory（上海人工智能实验室）
以图像重建为任务的自监督多视图立体视觉（MVS）近年来取得了重大进展。然而，以前的方法是建立在直觉，缺乏全面的解释的有效性，自我监督MVS的借口任务。为此，我们建议估计自我监督MVS中的认知不确定性，考虑模型忽略的内容。具体而言，可以将其分为两类：前台监督不明确和后台监督无效。为了解决这些问题，我们提出了一种新的不确定性减少多视图立体视觉（UMVS）框架的自监督学习。为了减轻前景中的模糊监督，我们涉及额外的通信流深度一致性损失之前。光流的密集2D对应被用于正则化MVS中的3D立体对应。为了处理背景中的无效监督，我们使用Monte-Carlo Dropout来获得不确定性图，并进一步过滤无效区域上的不可靠监督信号。在DTU和Tank&Temples基准上的大量实验表明，我们的U-MVS框架在无监督MVS方法中取得了最好的性能，与有监督的对手相比具有竞争力的性能。
2021-09-08 cs.CV
Self-Supervised Representation Learning for Detection of ACL Tear Injury in Knee MR Videos
Indian Statistical Institute（印度统计研究所）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
基于深度学习的模型在计算机视觉应用中的成功需要大规模的人类注释数据，而这些数据的生成通常是昂贵的。自监督学习是无监督学习的一个子集，它通过从未标记的图像或视频数据中学习有意义的特征来处理这个问题。在本文中，我们提出了一个自监督学习的方法来学习可转移的功能，从MR视频剪辑，通过强制执行的模型来学习解剖特征。托词任务模型被设计为预测MR视频帧被划分成的混乱图像块的正确排序。据我们所知，从MR视频执行损伤分类任务的监督学习模型中没有一个为模型所做的决定提供任何解释，因此使我们的工作成为MR视频数据上的第一个同类工作。实验表明，该方法使模型能够学习空间上下文不变特征，这有助于在下游任务中实现可靠和可解释的性能，例如膝关节MRI前交叉韧带撕裂损伤的分类。本文提出的新型卷积神经网络的效率反映在下游任务中获得的实验结果中。
2020-12-14 cs.CV
ESPT: A Self-Supervised Episodic Spatial Pretext Task for Improving Few-Shot Learning
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；Sanya Science and Education Innovation Park, Wuhan University of Technology（武汉理工大学三亚科教创新园）；Hainan Yazhou Bay Seed Laboratory（海南崖州湾种子实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出自监督情景空间代理任务ESPT，通过约束原始与几何变换情景间的局部空间关系一致性，增强小样本学习特征表示，并在三个基准上达到最先进性能。
2023-04-26 cs.AI cs.CV
A generic self-supervised learning (SSL) framework for representation learning from spectra-spatial feature of unlabeled remote sensing imagery
Manchester Metropolitan University（曼彻斯特城市大学）
本文提出一种通用自监督学习框架，从无标签遥感影像的光谱-空间特征中学习表示，通过两个新预文本任务在Sentinel-2和超光谱数据集上显著提升下游任务性能。
2023-06-27 cs.CV
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec（魁北克大学国立科学研究院-能源、材料与电信）；Salesforce Research（赛富时研究院）
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明，使用自监督学习获得的功能是可比的，或优于，监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组，并证明了多任务学习兼容的借口任务提高领域泛化性能相比，单独训练的任务。当训练和测试分布之间存在较大的域偏移时，与其监督对应物相比，通过自监督学习的特征可以更好地泛化到不可见的域，甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合，以进一步提高性能。
2020-03-30 cs.CV cs.LG
SKID: Self-Supervised Learning for Knee Injury Diagnosis from MRI Data
Indian Statistical Institute（印度统计研究所）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
在医学图像分析中，获取高质量数据及其专家注释的成本是许多医学应用的障碍。所使用的大多数技术都是基于监督学习框架的，需要大量的注释数据才能达到令人满意的性能。作为一种替代方案，在本文中，我们提出了一种自监督学习（SSL）的方法来学习的空间解剖表示从帧的磁共振（MR）的视频剪辑诊断膝关节的医疗条件。Prefect模型学习有意义的空间上下文不变表示。本文的下游任务是类不平衡多标签分类。不同的实验表明，由借口模型学习的特征在下游任务中提供了有竞争力的性能。此外，从结果中可以看出，所提出的借口模型在学习少数类的表示方面的效率和可靠性，而无需对数据集中的不平衡应用任何策略。据我们所知，这项工作是同类工作中的第一个显示的有效性和可靠性的自监督学习算法在类不平衡的多标签分类任务的MR视频。拟议工作的评价准则见https://github.com/sadimanna/skid。
2022-10-19 cs.CV cs.LG
TransformNet: Self-supervised representation learning through predicting geometric transformations
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
深度神经网络需要大量的训练数据，而在现实世界中，可用于训练目的的数据稀缺。为了解决这个问题，使用无监督方法来训练有限的数据。在这份报告中，我们描述了无监督的语义特征学习方法，用于识别应用于输入数据的几何变换。我们方法的基本概念是，如果某人不知道图像中的对象，他/她将无法定量预测应用于它们的几何变换。该自监督机制基于前置任务和下游任务。量化几何变换的借口分类任务应该迫使CNN学习对图像分类有用的对象的高级显著特征。在我们的基线模型中，我们将图像旋转定义为90度的倍数。在此前提任务上训练的CNN将用于CIFAR-10数据集中的图像分类，作为下游任务。我们使用各种模型运行基线方法，包括ResNet，DenseNet，VGG-16和NIN，在特征提取和微调设置中具有不同的旋转次数。在这个基线模型的扩展中，我们在借口任务中尝试了旋转以外的变换。我们比较了所选模型在各种设置中的性能，这些设置具有应用于图像的不同变换、各种数据增强技术以及使用不同的优化器。这一系列不同类型的实验将帮助我们证明我们的自监督模型在应用于下游分类任务时的识别准确性。
2022-02-08 cs.CV cs.LG
Investigating Self-Supervised Methods for Label-Efficient Learning
Surrey Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）；Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
本文系统研究了对比学习、聚类和掩码图像建模等自监督前置任务在低样本下游任务中的表现，并提出一个结合掩码图像建模与聚类的框架，在低样本和全规模数据集上均取得性能提升。
2024-06-25 cs.CV
Patch-level instance-group discrimination with pretext-invariant learning for colitis scoring
Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所）；Big Data Institute, University of Oxford（牛津大学大数据研究所）；School of Computing, University of Leeds（利兹大学计算学院）；NIHR Oxford Biomedical Research Centre（NIHR牛津生物医学研究中心）；John Radcliffe Hospital, University of Oxford（牛津大学约翰·拉德克利夫医院）
炎症性肠道疾病（IBD），特别是溃疡性结肠炎（UC），由内窥镜医师进行分级，该评估是风险分层和治疗监测的基础。目前，内窥镜表征在很大程度上依赖于操作者，导致IBD患者有时出现不良临床结局。我们专注于梅奥内镜评分（MES）系统，该系统被广泛使用，但需要可靠地识别粘膜炎症的细微变化。大多数现有的深度学习分类方法无法检测这些细粒度的变化，这使得UC分级成为一项具有挑战性的任务。在这项工作中，我们介绍了一种新的补丁级的实例组歧视与上下文不变表示学习（PLD-PIRL）的自监督学习（SSL）。我们的实验表明，与基线监督网络和几种最先进的SSL方法相比，提高了准确性和鲁棒性。与基线（ResNet 50）监督分类相比，我们提出的PLD-PIRL在保持测试数据上获得了4.75%的改进，在看不见的中心测试数据上获得了6.64%的改进。
2022-07-11 cs.AI cs.CV cs.MM
Task-driven Self-supervised Bi-channel Networks for Diagnosis of Breast Cancers with Mammography
Shanghai University（上海大学）
深度学习可以促进基于乳腺X线摄影的乳腺癌计算机辅助诊断（CAD），但它通常存在小样本问题。自监督学习（SSL）在有限训练样本的医学图像分析中显示出其有效性。然而，在传统的SSL框架中，由于托词任务和微调机制的限制，网络模型有时不能很好地预训练。在这项工作中，任务驱动的自监督双通道网络（TSBN）的框架，提出了提高分类模型的性能，乳腺摄影为基础的CAD。特别是，一个新的灰度图像映射（GSIM）被设计为托辞任务，它嵌入到图像恢复任务的类别标签信息，以提高判别特征表示的乳房X线照片。TSBN创新性地将不同的网络架构，包括图像恢复网络和分类网络，集成到一个统一的SSL框架中。它联合训练双通道网络模型，并协作地将知识从前提任务网络传输到下游任务网络，从而提高诊断准确性。在公开的INbreast乳房X线摄影数据集上对所提出的TSBN进行评价。实验结果表明，它优于传统的SSL和多任务学习算法的乳腺癌诊断有限的样本。
2021-08-30 cs.CV eess.IV
LoDisc: Learning Global-Local Discriminative Features for Self-Supervised Fine-Grained Visual Recognition
Faculty of Information Science and Engineering, Ocean University of China（信息科学与工程学院，中国海洋大学）
本文提出LoDisc，一种自监督全局-局部对比学习框架，通过局部判别前置任务增强细粒度特征，提升细粒度及通用物体识别性能。
2025-10-08 cs.CV
Auxiliary Learning for Self-Supervised Video Representation via Similarity-based Knowledge Distillation
University of Bristol（布里斯托大学）
尽管用于视频表示学习的自监督预训练方法取得了巨大的成功，但当用于预训练的未标记数据集很小时，或者源任务（预训练）中的未标记数据与目标任务（微调）中的标记数据之间的域差异很大时，它们的泛化能力很差。为了缓解这些问题，我们提出了一种新的方法，通过辅助预训练阶段来补充自我监督预训练，基于知识相似性蒸馏auxSKD，以更好地概括更少量的视频数据，例如Kinetics-100而不是Kinetics-400。我们的方法部署了一个教师网络，通过捕获未标记视频数据段之间的相似性信息，迭代地将其知识提取到学生模型中。学生模型同时解决了一个借口任务，利用这种先验知识。我们还引入了一个新的借口任务，视频段节奏预测或VSPP，这需要我们的模型来预测输入视频的随机选择段的回放速度，以提供更可靠的自我监督表示。我们的实验结果显示，在苹果对苹果的比较中，在K100上进行预训练时，在UCF 101和HMDB 51数据集上的结果优于现有技术。此外，我们还证明了我们的辅助预训练auxSKD，当作为额外的预训练阶段添加到最新的自监督方法（即VCOP，VideoPace和RSPNet）中时，可以改善他们在UCF 101和HMDB 51上的结果。我们的代码可在https://github.com/Plrbear/auxSKD上获得。
2022-04-25 cs.CV
Super-Selfish: Self-Supervised Learning on Images with PyTorch
Technical University of Darmstadt（达姆施塔特工业大学）
Super-Selfish是一个易于使用的PyTorch框架，用于基于图像的自监督学习。特征可以通过13种算法来学习，从简单的分类到更复杂的对比性借口任务。该框架易于使用，仅需两行代码即可预训练任何PyTorch神经网络。同时，通过模块化设计选择保持充分的灵活性。代码可以在https://github.com/MECLabTUDA/Super_Selfish上找到，并使用pip install super-selfish安装。
2020-12-07 cs.CV
PAL : Pretext-based Active Learning
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Microsoft Research, India（微软研究院印度分部）
基于池的主动学习的目标是明智地从池中选择固定大小的未标记样本子集来查询它们的标签，以最大化监督学习器的准确性。然而，在大多数情况下，预言机应该总是分配正确的标签的未说出口的要求是不合理的。我们提出了一种用于深度神经网络的主动学习技术，该技术比以前提出的技术对错误标记更鲁棒。以前的技术依赖于任务网络本身来估计未标记样本的新颖性，但学习任务（泛化）和选择样本（分布外检测）可能是相互冲突的目标。我们使用一个单独的网络来对未标记的样本进行评分以进行选择。评分网络依赖于自我监督来对标记样本的分布进行建模，以减少对潜在噪声标签的依赖。为了解决数据不足的问题，我们还在评分网络上部署了另一个头，通过多任务学习进行正则化，并使用了一个不寻常的自平衡混合评分函数。此外，我们将每个查询划分为子查询之前标记，以确保查询有不同的样本。除了具有更高的容忍度错误标记的样本的预言，所得到的技术也产生竞争力的准确性，在标签噪声的情况下。该技术还通过临时增加这些类的采样率来很好地处理新类的动态引入。
2021-03-28 cs.CV cs.LG
Affinity-Graph-Guided Contractive Learning for Pretext-Free Medical Image Segmentation with Minimal Annotation
University of Oxford（牛津大学）
提出亲和图引导的半监督对比学习框架Semi-AGCL，通过图块间采样和亲和图损失在无需前置任务下缓解过拟合，仅用5%-10%标注即接近或超越全标注基线。
2024-10-14 cs.AI cs.CV
C-arm Guidance: A Self-supervised Approach To Automated Positioning During Stroke Thrombectomy
University of Vermont（佛蒙特大学）；Univeristy of Vermont Medical Center（佛蒙特大学医学中心）；Cleveland Clinic（克利夫兰诊所）；Neurological Institute（神经医学研究所）
针对卒中取栓术资源与人员密集的问题，提出基于回归预训练任务的自监督骨骼标志分类框架，提升回归与分类性能，并为自主C臂控制奠定基础。
2025-10-17 cs.CV
Self-Supervised Pretraining for RGB-D Salient Object Detection
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）；Tiwaki Co.,Ltd.（Tiwaki株式会社）
现有的基于CNN的RGB-D显着目标检测（SOD）网络都需要在ImageNet上进行预训练，以学习层次特征，这有助于提供良好的初始化。然而，大规模数据集的收集和注释是耗时且昂贵的。在本文中，我们利用自监督表示学习（SSL）设计两个借口任务：跨模态自动编码器和深度轮廓估计。我们的借口任务只需要少量未标记的RGB-D数据集来执行预训练，这使得网络能够捕获丰富的语义上下文，并减少两种模态之间的差距，从而为下游任务提供有效的初始化。此外，针对RGB-D SOD中跨模态融合的固有问题，我们提出了一个一致性差异聚合（CDA）模块，该模块将单个特征融合分解为多路径融合，以实现对一致性和差异性信息的充分感知。CDA模块具有通用性，适用于跨模态、跨层次的特征融合。在六个基准数据集上进行的大量实验表明，我们的自监督预训练模型与大多数在ImageNet上预训练的最先进方法相比表现良好。源代码将在\textcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/SSLSOD}}上公开。
2021-12-03 cs.CV
Image Synthesis as a Pretext for Unsupervised Histopathological Diagnosis
University of Ljubljana（卢布尔雅那大学）；XLAB d.o.o.（XLAB公司）
视觉数据中的异常检测是指区分异常外观和正常情况的问题。监督方法已经成功地应用于不同的领域，但需要大量的标记数据。由于异常发生的性质及其潜在的生成过程，很难对其进行表征和标记。基于深度生成的模型的最新进展引发了人们对将此类方法应用于无监督异常检测的兴趣，并在医疗和工业检测领域显示出有希望的结果。在这项工作中，我们评估了无监督视觉异常检测管道的关键部分，这是正常外观建模所需的，以及重建最接近的正常和肿瘤样本的能力。我们适应和评估不同的高分辨率国家的最先进的生成模型，从人脸合成域，并证明其优越性，目前使用的方法在一个具有挑战性的领域的数字病理学。在生成的图像的质量和分辨率方面证明了图像合成的多重改进，也对监督模型进行了验证。
2021-04-28 cs.CV eess.IV
Bi-Level Optimization for Self-Supervised AI-Generated Face Detection
Jiangxi University of Finance and Economics（江西财经大学）；City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）；Yunnan United Vision Technology（云南联合视界科技）
针对监督学习训练的AI生成人脸检测器泛化性受限的问题，提出基于双层优化的自监督方法，通过内外层循环优化前置任务权重并结合两种检测方式，实现了对未知生成器更强的泛化检测性能。
2025-07-30 cs.CV
Energy-Inspired Self-Supervised Pretraining for Vision Models
Purdue University（普渡大学）；Microsoft Corporation（微软公司）
基于深度网络的前向和后向传递自然形成输入和输出表示之间的对称映射这一事实，我们引入了一个简单而有效的自监督视觉模型预训练框架，该框架受到基于能量的模型（EBM）的启发。在所提出的框架中，我们将能量估计和数据恢复建模为单个网络的前向和后向传递，而没有任何辅助组件，例如，额外的解码器对于前向传递，我们将网络拟合到一个能量函数，该函数将低能量分数分配给属于未标记数据集的样本，否则将高能量。对于向后传递，我们使用基于梯度的优化沿着能量最小化的方向迭代地从损坏的版本恢复数据。通过这种方式，我们自然地将广泛用于掩码图像建模的编码器-解码器架构折叠到单个视觉模型的前向和后向通道中。因此，我们的框架现在接受各种各样的借口任务与不同的数据损坏方法，并允许模型从掩码图像建模，补丁排序和图像复原，包括超分辨率，去噪和着色进行预训练。我们通过大量的实验来支持我们的研究结果，并表明与最先进的自监督视觉模型预训练方法相比，所提出的方法可以提供相当甚至更好的性能，并且训练时间明显更少。我们的研究结果为进一步探索自监督视觉模型预训练和掩码图像建模之外的任务提供了启发。
2023-02-02 cs.CV
SSTFB: Leveraging self-supervised pretext learning and temporal self-attention with feature branching for real-time video polyp segmentation
University of Oxford（牛津大学）；University of Leeds（利兹大学）
本文提出SSTFB视频息肉分割方法，通过自监督辅助任务、时空自注意力与特征分支实现端到端联合优化，在多个指标上显著超越现有方法并具备良好泛化性。
2024-06-14 cs.AI cs.CV cs.MM
Group-DINOmics: Incorporating People Dynamics into DINO for Self-supervised Group Activity Feature Learning
Toyota Technological Institute（丰田工业大学）
本文提出无需群体活动标注的群体活动特征学习方法，通过动态感知和群体感知的预训练任务，结合DINO提供的局部和全局特征，提升群体活动识别与检索性能。
2026-04-06 cs.CV
CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View Completion
NAVER LABS Europe（NAVER LABS欧洲）
掩码图像建模（MIM）是近年来发展起来的一种有效的预训练方法。通过掩蔽输入图像中的补丁来构造借口任务，然后通过使用可见补丁作为唯一输入的神经网络来预测该掩蔽的内容。当针对高级语义任务（例如图像分类和目标检测）进行微调时，这种预训练会带来最先进的性能。在本文中，我们试图学习能够很好地转移到各种3D视觉和较低级别的几何下游任务（如深度预测或光流估计）的表示。受MIM的启发，我们提出了一个无监督的表示学习任务，从不同的视角显示同一场景的图像对训练。更准确地说，我们提出了交叉视图完成的借口任务，其中第一输入图像被部分掩蔽，并且这个掩蔽的内容必须从可见内容和第二图像中重建。在单视图MIM中，被屏蔽的内容通常不能仅从可见部分精确地推断，因此模型学习充当受高级语义影响的先验。相反，这种模糊性可以通过从第二未掩蔽图像的交叉视图完成来解决，条件是模型能够理解两个图像之间的空间关系。我们的实验表明，我们的借口任务导致单目3D视觉下游任务，如深度估计的性能显着提高。此外，我们的模型可以直接应用于双目下游任务，如光流或相对相机姿态估计，对于这些任务，我们获得了具有竞争力的结果，而没有花里胡哨的东西，即，使用通用架构而没有任何特定于任务的设计。
2023-01-12 cs.CV
A Large-Scale Analysis on Self-Supervised Video Representation Learning
CRCV；University of Central Florida（中佛罗里达大学）；BITS Pilani（pilani比特学院）；Microsoft Research（微软研究院）
该研究构建了统一的视频自监督学习基准，系统分析了数据集规模、复杂度等五个关键方面，并提出仅需少量训练数据即可超越使用10倍预训练数据的SOTA方法。
2023-11-20 cs.CV
Self-Supervised Visual Representation Learning Using Lightweight Architectures
Pune Institute of Computer Technology（浦那计算机技术学院）；Whirlpool Corporation（惠而浦公司）
在自监督学习中，使用机器创建注释的数据集来训练模型以解决借口任务。目标是将训练的权重转移到目标域中执行下游任务。我们批判性地研究了从图像数据中提取特征的最显著的借口任务，并进一步在资源受限的网络上进行实验，这有助于更快的实验和部署。我们研究了保持所有其他参数一致的各种自监督技术的性能。我们研究了通过改变模型类型、大小和对骨干进行的预训练量而出现的模式，并建立了一个标准，以供将来的研究进行比较。我们还进行了全面的研究，以了解不同架构学习的表示质量。
2021-10-21 cs.CV cs.LG
SS-VAERR: Self-Supervised Apparent Emotional Reaction Recognition from Video
Meta Reality Labs（Meta现实实验室）；Imperial College London（帝国理工学院）
这项工作的重点是明显的情绪反应识别（AERR）从视频只有输入，在自我监督的方式进行。该网络首先在不同的自我监督借口任务上进行预训练，然后在下游目标任务上进行微调。自监督学习有助于使用预训练的架构和较大的数据集，这些数据集可能被认为不适合目标任务，但可能有助于学习信息表示，因此提供有用的初始化，以进一步微调更小更合适的数据。我们提出的贡献是两方面的：（1）分析不同的国家的最先进的（SOTA）借口任务的视频只有明显的情绪反应识别架构，以及（2）分析的各种组合的回归和分类损失，可能会进一步提高性能。这两个贡献一起导致当前最先进的性能的视频只有自发的明显的情绪反应识别与连续的注释。
2022-10-20 cs.CV cs.LG
