CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明，较大的模型比较小的模型从自监督学习中受益更多。因此，对于较大的模型，监督学习和自监督学习之间的差距已经大大缩小。在这项工作中，我们没有为自监督学习设计新的伪任务，而是开发了一种模型压缩方法，将已经学习的深度自监督模型（教师）压缩为较小的模型（学生）。我们对学生模型进行训练，使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet，我们的方法优于所有以前的方法，包括ImageNet线性评估（59.0%与56.5%相比）和最近邻评估（50.7%与41.4%相比）的完全监督模型。据我们所知，这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到：https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，基于变换的自监督学习已被应用于生成对抗网络（GANs），以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而，在现有的自监督GANs中，单独的自监督任务会导致与生成建模不一致的目标，因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题，我们提出了一种新的自监督GAN，它通过自监督数据转换来增强GAN标签（真实或虚假），从而将GAN任务与自监督任务相结合。具体地说，原始的分类器和自监督分类器被统一成一个标签增强的分类器，该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布，然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲，我们表明，所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven（鲁汶大学）
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标，它集成了自监督和结构学习。此外，我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明，与传统的自监督学习相比，该框架在下游分类任务中实现了更高的泛化性能，并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay
Columbia University（哥伦比亚大学）
自监督学习因其不需要数据标注就能学习有意义的表示而成为近年来的热门方法。本文提出了一种新的图像增强技术，叠加图像，这还没有被广泛应用于自监督学习。此方法旨在为模型提供更好的指导，以理解底层信息，从而产生更有用的表示。所提出的方法使用对比学习进行评估，对比学习是一种广泛使用的自监督学习方法，在下游任务中表现出良好的性能。实验结果表明，所提出的增强技术在提高自监督模型的性能方面是有效的。
2023-01-23 cs.CV cs.LG
Self-Adaptive Training: Bridging Supervised and Self-Supervised Learning
The University of Tokyo（东京大学）；Peking University（北京大学）；University of Waterloo（滑铁卢大学）
我们提出了自适应训练-一种统一的训练算法，通过模型预测动态校准和增强训练过程，而不会产生额外的计算成本-以推进深度神经网络的监督学习和自监督学习。我们在训练数据上分析深度网络的训练动态，这些数据被以下因素破坏，例如，随机噪声和对抗性示例。我们的分析表明，模型预测能够放大数据中有用的底层信息，即使在没有任何标签信息的情况下，这种现象也会广泛发生，这突出表明模型预测可以大大有利于训练过程：自适应训练提高了噪声下深度网络的泛化能力，并增强了自监督表示学习。该分析还有助于理解深度学习，例如，对最近发现的经验风险最小化中的双下降现象和最先进的自监督学习算法的崩溃问题的潜在解释。在CIFAR，STL和ImageNet数据集上的实验验证了我们的方法在三个应用中的有效性：标签噪声分类，选择性分类和线性评估。为了方便今后的研究，该守则已在https://github.com/LayneH/self-adaptive-training上公布。
2022-10-14 cs.CV cs.LG
Self-Supervised Models are Continual Learners
University of Trento（特伦托大学）；Inria（法国国家信息与自动化研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
当在大规模的未标记数据上进行离线训练时，自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而，在持续学习（CL）场景中，它们的功效会灾难性地降低，其中数据按顺序呈现给模型。在本文中，我们表明，自我监督的损失函数可以无缝地转换成CL蒸馏机制，通过添加一个预测网络，映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架，（i）显着提高学习表示的质量，（ii）与几个最先进的自监督目标兼容，（iii）几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
Self-supervised Video Object Segmentation
Fudan University（复旦大学）；University of Oxford（牛津大学）；West Virginia University（西弗吉尼亚大学）
本文的目标是自监督的表示学习，目标是解决半监督视频对象分割（a.k.a.密集跟踪）。本文的主要贡献如下：（1）改进了现有的自监督匹配方法，提出了一种简单有效的长时匹配记忆机制，解决了对象消失和再现带来的挑战;（ii）通过用在线自适应模块增强自监督方法，我们的方法成功地消除了由时空不连续性引起的跟踪器漂移，例如，遮挡或不遮挡，快速运动;（iii）我们探索了自监督表示学习用于密集跟踪的效率，令人惊讶的是，我们证明了一个强大的跟踪模型可以用少至100个原始视频剪辑来训练（相当于11分钟的持续时间），表明低级别的统计数据已经对跟踪任务有效;（iv）我们在DAVIS-2017和YouTube-VOS上展示了自监督方法的最新结果，并超越了使用数百万手动分割注释训练的大多数方法，进一步弥合了自监督学习和监督学习之间的差距。发布代码以促进任何进一步的研究（https：//github.com/fangruizhu/self_sup_semiVOS）。
2020-06-22 cs.CV cs.LG
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo（滑铁卢大学）
本综述总结自监督预训练在放射影像诊断任务中的效果，发现其通常优于全监督学习，尤其在未标记数据多时，并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
UC Berkeley（加州大学伯克利分校）；BAIR（伯克利人工智能研究中心）；Weill Neurosciences Institute（威尔神经科学研究所）；UCSF（加州大学旧金山分校）
无监督表示学习中的一个常见做法是使用标记数据来评估学习表示的质量。然后，该监督评估用于指导训练过程的关键方面，例如选择数据增强策略。然而，通过监督评估来引导无监督训练过程对于实际上不包含标签的真实世界数据是不可能的（例如，在诸如医学成像的隐私敏感领域中可能是这种情况）。因此，在这项工作中，我们表明，评估学习表示与自我监督的图像旋转任务是高度相关的一组标准的监督评价（秩相关$> 0.94$）。我们在数百种增强策略、训练设置和网络架构之间建立了这种相关性，并提供了一种算法（SelfAugment）来自动有效地选择增强策略，而无需使用监督评估。尽管没有使用任何标记的数据，学习的增强策略执行与使用穷举监督评估确定的增强策略的交互。
2021-05-17 cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
自监督学习方法在计算机视觉中获得越来越多的关注，这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理（NLP）中，自监督学习和Transformers已经是首选的方法。最近的文献表明，Transformers在计算机视觉中也变得越来越流行。到目前为止，视觉Transformer已经被证明在使用大规模监督数据或某种共同监督（例如，在教师网络方面）进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中，我们调查的优点自监督学习预训练图像/视觉Transformer，然后使用它们的下游分类任务。我们提出了自监督视觉Transformer（SiT），并讨论了几种自监督训练机制，以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明，预训练的SiT可以在小规模数据集上进行下游分类任务的微调，这些数据集由几千张图像组成，而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习，并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Self-Supervised Learning for Large-Scale Unsupervised Image Clustering
Technion – Israel Institute of Technology（以色列理工学院）
无监督学习一直吸引着机器学习研究人员和从业者，使他们能够避免昂贵而复杂的数据标记过程。然而，复杂数据的无监督学习具有挑战性，即使是最好的方法也比有监督的方法表现出更弱的性能。自监督深度学习已经成为计算机视觉中表示学习的强大工具。然而，这些方法尚未在完全无监督的环境中进行评估。在本文中，我们提出了一个简单的计划，基于自监督表示的无监督分类。我们使用几种最近的自监督方法对所提出的方法进行了评估，结果表明它在ImageNet分类方面取得了有竞争力的结果（ImageNet上1000个聚类的准确率为39%，过聚类的准确率为46%）。我们建议将无监督评估添加到自监督学习的标准基准中。代码可在https://github.com/Randl/kmeans_selfsuper上获得
2020-11-09 cs.CV cs.LG
Self-Supervised Learning of Pretext-Invariant Representations
Facebook AI Research（脸书人工智能研究院）
从图像中进行自监督学习的目标是通过不需要对大型图像训练集进行语义注释的借口任务来构建语义上有意义的图像表示。许多借口任务导致与图像变换协变的表示。我们认为，相反，语义表示在这种变换下应该是不变的。具体来说，我们开发了Pretext-Invariant表示学习（PIRL，发音为“pearl”），它基于借口任务学习不变表示。我们将PIRL用于一个常用的借口任务，包括解决拼图游戏。我们发现，PIRL大大提高了学习的图像表示的语义质量。我们的方法设置了一个新的国家的最先进的自监督学习从图像上的几个流行的基准自监督学习。尽管是无监督的，但PIRL在学习目标检测的图像表示方面优于有监督的预训练。总之，我们的研究结果表明，自监督学习的图像表示具有良好的不变性的潜力。
2019-12-04 cs.CV cs.LG
Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification
监督学习中的数据标注被认为是一种昂贵的工具，在某些情况下是不可行的。提出了自监督学习方法来解决具有较少标记数据的学习有效性，然而，对实现足够结果所需的标记数据的大小缺乏信心。这项研究的目的是绘制一个基线的标记数据的比例，模型可以欣赏，以产生合格的准确性相比，训练与额外的标签。该研究实现了www.example.com 'cats-vs-dogs数据集Mnist和Fashion-Mnist，通过在原始数据集上实现随机旋转增强来研究自监督学习任务。为了揭示自监督学习中借口过程的真实有效性，原始数据集被分成较小的批次，并且在每个批次上重复学习，有和没有借口预训练。结果表明，与普通监督学习相比，自监督学习中的借口过程在下游分类任务中提高了约15%的准确率。
2021-08-17 cs.CV cs.LG
SelFlow: Self-Supervised Learning of Optical Flow
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
我们提出了一种自监督学习方法的光流。我们的方法从未被遮挡的像素中提取可靠的流量估计，并使用这些预测作为基础事实来学习幻觉遮挡的光流。我们进一步设计了一个简单的CNN，利用时间信息从多个帧更好的流量估计。这两个原则导致了一种方法，该方法在具有挑战性的基准测试（包括MPI Sintel，KITTI 2012和2015）上为无监督光流学习提供了最佳性能。更值得注意的是，我们的自监督预训练模型为监督微调提供了一个很好的初始化。我们的微调模型在所有三个数据集上都实现了最先进的结果。在撰写本文时，我们在Sintel基准测试中实现了EPE = 4.26，优于所有提交的方法。
2019-04-19 cs.CV cs.LG
Sli2Vol: Annotate a 3D Volume from a Single Slice with Self-Supervised Learning
University of Oxford（牛津大学）
这项工作的目的是分割任何任意结构的利益（SOI）在3D体积中，仅注释一个单一的切片，（即半自动3D分割）。我们表明，通过简单地传播2D切片分割与连续切片之间的亲和矩阵，可以实现高精度，这可以学习在一个自我监督的方式，即切片重建。具体来说，我们比较了所提出的框架，称为Sli 2sites，与监督方法和其他两种无监督/自监督切片配准方法，在8个公共数据集（CT和MRI扫描），跨越9个不同的SOI。在没有任何参数调整的情况下，相同的模型在大多数基准测试中获得了超过80的Dice得分（0-100标度），包括在训练过程中看不到的那些。我们的研究结果显示了所提出的方法在来自不同机器和不同SOI的数据中的通用性：半自动分割方法的主要用例，其中完全监督的方法通常会很难。源代码将在https://github.com/pakheiyeung/Sli2Vol上公开。
2021-07-08 cs.CV cs.LG
BotSSCL: Social Bot Detection with Self-Supervised Contrastive Learning
University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）
针对现有社交机器人检测方法在复杂机器人识别、特征易受操纵及泛化性差的问题，提出基于自监督对比学习的BotSSCL框架，通过嵌入空间区分机器人与人类，在两个数据集上F1比SOTA高约6%和8%，跨数据集F1达67%，且仅允许4%对抗逃避成功率。
2024-02-06 cs.CY cs.LG cs.SI
Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action for Post-Traumatic Epilepsy Prediction
University of Southern California（南加州大学）
提出一种结合元学习与自监督学习的基础模型训练策略，提升从正常到临床特征的泛化能力，并在小规模临床数据集及零样本PTE预测中显著改善性能。
2023-12-21 cs.LG eess.IV q-bio.NC
Pretraining ECG Data with Adversarial Masking Improves Model Generalizability for Data-Scarce Tasks
Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
医疗数据集通常面临数据稀缺的问题，因为地面真实标签必须由医疗专业人员生成。一种缓解策略是使用自监督学习（SSL）在大型未标记数据集上预训练深度学习模型。数据增强对于提高SSL训练模型的泛化能力至关重要，但它们通常是手工制作和手动调整的。我们使用对抗模型来生成掩码作为12导联心电图（ECG）数据的增强，其中掩码学习遮挡ECG的诊断相关区域。与随机增强相比，对抗性掩蔽在转移到两个不同的下游目标时达到更好的准确性：心律失常分类和性别分类。与最先进的ECG增强方法3KG相比，对抗性掩蔽在数据稀缺的情况下表现更好，证明了我们模型的普遍性。
2022-11-15 cs.AI cs.LG eess.SP
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University（哥伦比亚大学）
最近，自监督学习在各种机器学习任务中出现了爆炸性增长和使用，因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献，并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成，跨模态预训练，循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?
DeepMind（深度思维）；Twitter Cortex（推特科泰克斯）
尽管自监督方法最近在残差网络的表示学习方面取得了进展，但它们在ImageNet分类基准上的表现仍然低于监督学习，限制了它们在性能关键设置中的适用性。基于来自ReLIC的先前理论见解[Mitrovic等人，2021]，我们将额外的归纳偏差纳入自监督学习。我们提出了一种新的自我监督的表示学习方法，ReLICv 2，它结合了一个明确的不变性损失与对比的目标，在一组不同的适当构造的数据视图，以避免学习虚假的相关性，并获得更多的信息表示。在ResNet 50上进行线性评估时，ReLICv 2在ImageNet上实现了$77.1\%$ top- $1$精度，从而通过绝对$+1.5\%$改进了先前的最先进技术;在更大的ResNet模型上，ReLICv 2实现了高达$80.6\%$的性能，优于先前的自监督方法，其裕度高达$+2.3\%$。最值得注意的是，ReLICv 2是第一个无监督的表示学习方法，在一系列ResNet架构的同类比较中始终优于监督基线。使用ReLICv 2，我们还学习了更强大和可转移的表示，这些表示比以前的工作更好地概括了分布，无论是在图像分类还是语义分割方面。最后，我们表明，尽管使用ResNet编码器，ReLICv 2与最先进的自监督Vision Transformers相当。
2022-11-03 cs.CV cs.LG stat.ML
Low-Trace Adaptation of Zero-shot Self-supervised Blind Image Denoising
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）
提出低迹自适应Noise2Noise（LoTA-N2N）模型，通过迹约束损失弥合自监督与监督去噪差距，实现零样本自监督盲去噪的最优性能。
2024-03-19 cs.CV cs.LG eess.IV
Self-Knowledge Distillation based Self-Supervised Learning for Covid-19 Detection from Chest X-Ray Images
Hokkaido University（北海道大学）
2019冠状病毒（COVID-19）的全球爆发使全球医疗系统不堪重负。用于COVID-19快速检测和患者分诊的计算机辅助诊断变得至关重要。提出了一种新的基于自知识提取的自监督学习方法，用于从胸部X射线图像中检测COVID-19。我们的方法可以使用基于图像视觉特征相似性的图像自我知识进行自我监督学习。实验结果表明，我们的方法在最大的开放COVID-19胸部X射线数据集上获得了0.988的HM评分、0.999的AUC和0.957的准确度。
2022-06-07 cs.CV cs.LG eess.IV
Big Self-Supervised Models Advance Medical Image Classification
Google Research and Health（谷歌研究与健康）
自我监督预训练，然后进行监督微调，在图像识别中取得了成功，特别是当标记的例子很少时，但在医学图像分析中受到的关注有限。本文研究了自监督学习作为医学图像分类预训练策略的有效性。我们对两个不同的任务进行了实验：数码相机图像的皮肤病皮肤状况分类和多标签胸部X射线分类，并证明了ImageNet上的自监督学习，然后对未标记的特定领域医学图像进行额外的自监督学习，显着提高了医学图像分类器的准确性。我们介绍了一种新的多实例对比学习（MICLe）方法，该方法使用每个患者病例的基础病理的多个图像，当可用时，为自我监督学习构建更多信息的阳性对。结合我们的贡献，我们在皮肤病学和胸部X射线分类上分别实现了6.7%的top-1准确率和1.1%的平均AUC提高，优于ImageNet上预训练的强监督基线。此外，我们还证明了大型自监督模型对分布偏移具有鲁棒性，并且可以使用少量标记的医学图像进行有效学习。
2021-04-01 cs.CV cs.LG eess.IV
Scaling and Benchmarking Self-Supervised Visual Representation Learning
Facebook AI Research（脸书人工智能研究院）
自监督学习的目标是在没有明确的人工监督的情况下从数据本身学习表示。现有的努力忽略了自监督学习的一个关键方面-扩展到大量数据的能力，因为自监督不需要手动标签。在这项工作中，我们重新审视了这一原则，并将两种流行的自监督方法扩展到1亿张图像。我们表明，通过在各个轴上进行缩放（包括数据大小和问题“硬度”），可以在很大程度上匹配甚至超过监督预训练在各种任务上的性能，例如使用强化学习进行目标检测，表面法线估计（3D）和视觉导航。扩展这些方法也提供了许多有趣的见解，目前的自我监督技术和评估的局限性。我们的结论是，目前的自我监督的方法是不够“硬”，以充分利用大规模的数据，似乎没有学习有效的高层次的语义表示。我们还介绍了一个跨9个不同数据集和任务的广泛基准。我们认为，要取得有意义的进展，就必须有这样一个基准以及可比较的评价环境。代码在：https://github.com/facebookresearch/fair_self_supervision_benchmark。
2019-06-06 cs.AI cs.CV cs.LG
Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty
UC Berkeley（加州大学伯克利分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
自我监督为下游任务提供了有效的表示，而不需要标签。然而，现有的方法落后于完全监督的训练，并且通常被认为除了消除或减少对注释的需求之外没有好处。我们发现，自我监督可以通过多种方式使鲁棒性受益，包括对抗性示例的鲁棒性，标签腐败和常见的输入腐败。此外，自监督极大地有利于对困难的、接近分布的离群值的分布外检测，以至于它超过了完全监督方法的性能。这些结果证明了自我监督的承诺，提高鲁棒性和不确定性估计，并建立这些任务作为新的轴的评价，为未来的自监督学习研究。
2019-10-29 cs.CV cs.LG stat.ML
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services（亚马逊云科技）
我们提出了一个插件替代批量归一化（BN）称为指数移动平均归一化（EMAN），它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同，在每个批次中计算统计数据，教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性，增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时，EMAN将自监督学习的强基线提高了4-6/1-2个点，半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的，证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
Wildlife Target Re-Identification Using Self-supervised Learning in Non-Urban Settings
Institute for Intelligent Systems University of Johannesburg（智能系统研究所 乌姆西阿布大学）
本文研究利用相机陷阱时间图像对进行自监督学习的野生动物重识别方法，证明自监督特征在数据有限时更鲁棒，并在所有下游任务中优于监督特征。
2025-07-03 cs.AI cs.CV cs.LG
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney（悉尼大学）；North University of China（中北大学）；University of Technology Sydney（悉尼科技大学）
针对医学图像标注数据稀缺问题，提出将自监督BYOL集成到半监督模型的方法，经无标注预训练、伪标与标注数据合并训练及迭代微调，在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
On the surprising similarities between supervised and self-supervised models
University of Tübingen（图宾根大学）；IMPRS-IS（国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注：IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所，但根据常见中文译法及上下文，此处保留缩写更准确)）
人类如何学习获得强大、灵活和健壮的对象表示？虽然这个过程的大部分仍然未知，但很明显，人类不需要数百万个对象标签。令人兴奋的是，自监督学习的最新算法进步现在使卷积神经网络（CNN）能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破，我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型，这些数据集有大规模的人类行为数据（130 K高度受控的心理物理试验）。令人惊讶的是，目前的自监督CNN具有监督CNN的四个关键特征：（1）相对较差的噪声鲁棒性（Simplified的显著例外），（2.）非人类类别级错误模式，（3.）非人类图像级错误模式（与监督模型错误的高度相似性）和（4.）对质地的偏爱总的来说，这些结果表明，通过今天的监督和自我监督训练目标学习的策略最终惊人地相似，但与人类行为相去甚远。话虽如此，我们显然只是处于所谓的机器视觉自监督革命的开始，我们希望未来的自监督模型与监督模型的行为不同，并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology（快手科技）
近年来，从大量未标记数据中学习，特别是自监督学习，逐渐兴起并受到广泛关注。自监督学习，然后对一些标记的示例进行监督微调，可以显着提高标记效率，并优于使用完全注释数据的标准监督训练。在这项工作中，我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说，我们设计了一个学生-教师网络来生成自监督学习数据的多视图，并将硬负对挖掘集成到训练中。然后，我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST（韩国科学技术院）
本研究通过将自监督表示学习表述为监督学习目标的近似，推导出与InfoNCE相关的损失函数，引入原型表示偏差和平衡对比损失概念，从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中，自监督学习（SSL）已经成为一个重要的研究方向。事实证明，SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面，监督多任务学习（MTL）是另一种表示学习范式，已被证明在计算机视觉（CV）和自然语言处理（NLP）中有效。然而，在语音处理中，还没有系统的研究，一般表示学习模型的监督MTL训练。在本文中，我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性，以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks
自监督学习目前正受到广泛关注，因为它允许神经网络从大量未标记的数据中学习鲁棒的表示。此外，多任务学习可以通过在相关任务上同时训练网络来进一步改进表示学习，从而显著提高性能。在本文中，我们提出了三个新的自我监督的辅助任务，训练基于图的神经网络模型在多任务的方式。由于图卷积网络是用于捕获结构化数据点之间的关系的最有前途的方法之一，因此我们使用它们作为构建块，以在标准半监督图分类任务上实现有竞争力的结果。
2020-12-04 cs.LG
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon AWS AI（亚马逊云科技人工智能）
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性，值得探索。在这项研究中，我们提出了一个有效的自监督学习框架和一个新的正则化策略，以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同，所提出的自监督正则化（SSReg）只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略，所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力，并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明，通过添加有效的自监督正则化，我们提出的自监督方法获得了23.4%的相对改进，并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning
本文简要回顾了元学习和自监督学习之间的联系。元学习可用于提高模型泛化能力和构造通用的人工智能算法。自监督学习利用原始数据的自监督，通过无监督的预训练或对比损失目标的优化来提取更高级别的可概括特征。在自监督学习中，数据增强技术被广泛应用，并且不需要数据标签，因为可以从类似任务的训练模型中估计伪标签。元学习旨在调整训练的深度模型以解决各种任务并开发通用AI算法。我们回顾了元学习与生成和对比自监督学习模型的关联。来自多个源的未标记数据可以联合考虑，即使数据源非常不同。我们表明，整合元学习和自监督学习模型可以最好地提高模型的泛化能力。由元学习者引导的自监督学习和在自监督下的一般元学习算法都是可能的组合的示例。
2021-11-16 cs.AI cs.LG
Homomorphic Self-Supervised Learning
Apple（苹果公司）
在这项工作中，我们观察到，许多现有的自监督学习算法可以统一和推广时，通过等变表示的镜头。具体来说，我们介绍了一个一般的框架，我们称之为同态自监督学习，并从理论上展示了它如何可能substrate的使用输入增强提供了一个增强同态特征提取器。我们验证了这个理论的实验简单的增强，演示了框架失败时，代表性结构被删除，并进一步实证探索如何这个框架的参数与传统的基于增强的自监督学习。最后，我们讨论了这种新的视角对自监督学习的潜在好处。
2022-11-15 cs.AI cs.LG
MAST: A Memory-Augmented Self-supervised Tracker
Visual Geometry Group, Department of Engineering Science（工程科学系视觉几何组）；University of Oxford（牛津大学）
最近对自监督密集跟踪的兴趣已经取得了快速进展，但性能仍然远远低于监督方法。我们提出了一个在没有任何注释的视频上训练的密集跟踪模型，它在现有基准上超过了以前的自监督方法（+15%），并实现了与监督方法相当的性能。在本文中，我们首先通过进行彻底的实验来重新评估用于自我监督训练和重建损失的传统选择，最终阐明最佳选择。其次，我们进一步改善现有的方法，通过增加我们的架构与一个关键的内存组件。第三，我们对大规模半监督视频对象分割（又名。密集跟踪），并提出了一个新的度量：泛化。我们的前两个贡献产生了一个自监督网络，这是第一次在密集跟踪的标准评估指标上与监督方法竞争。在衡量泛化能力时，我们发现自监督方法实际上优于大多数监督方法。我们相信这种新的可推广性度量可以更好地捕捉密集跟踪的真实用例，并将激发人们对这一研究方向的新兴趣。
2020-02-26 cs.CV cs.LG
Intrinsically Motivated Self-supervised Learning in Reinforcement Learning
Peking University（北京大学）；Tsinghua University（清华大学）
在基于视觉的强化学习（RL）任务中，为了获得更多的语义表示并提高样本效率，通常采用代理自监督损失来分配辅助任务。然而，由于表示学习部分和决策部分被分离，自监督辅助任务中的丰富信息被忽视。为了充分利用辅助任务中的信息，我们提出了一个简单而有效的想法，采用自我监督损失作为内在奖励，称为强化学习中的内在激励自监督学习（IM-SSR）。我们正式表明，自我监督的损失可以分解为探索新的状态和鲁棒性的提高，从滋扰消除。IM-SSR可以毫不费力地插入任何具有自监督辅助目标的强化学习，几乎没有额外的成本。结合IM-SSR，以前的底层算法在DeepMind控制套件的各种基于视觉的机器人任务中，特别是在奖励信号稀疏时，在样本效率和泛化方面都取得了显着的改进。
2022-05-13 cs.AI cs.LG
Self-supervised Learning from a Multi-view Perspective
Carnegie Mellon University（卡内基梅隆大学）
作为无监督表示学习的一个子集，自监督表示学习采用自定义信号作为监督，并将学习到的表示用于下游任务，例如目标检测和图像描述。许多提出的用于自监督学习的方法自然地遵循多视图视角，其中输入（例如，原始图像）和自监督信号（例如，增强图像）可以被看作数据的两个冗余视图。从这个多视角的角度来看，本文提供了一个信息理论的框架，以更好地理解的属性，鼓励成功的自监督学习。具体来说，我们证明了自监督学习表示可以提取任务相关的信息和丢弃任务无关的信息。我们的理论框架为自监督学习目标设计的更大空间铺平了道路。特别是，我们提出了一个复合目标，弥合了以前的对比和预测学习目标之间的差距，并引入了一个额外的目标项，以丢弃任务无关的信息。为了验证我们的分析，我们进行对照实验，以评估复合目标的影响。我们还探讨了我们的框架的经验泛化超越多视图的角度来看，跨视图冗余可能不会被清楚地观察到。
2021-03-22 cs.LG stat.ML
Self-supervised Learning: Generative or Contrastive
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology (TNList)（清华信息科学与技术国家实验室）；Anhui University（安徽大学）；Renmin University of China（中国人民大学）
深度监督学习在过去十年中取得了巨大的成功。然而，其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法，在过去的几年里，由于其在表示学习方面的出色表现，吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督，并使几乎所有类型的下游任务受益。在这篇综述中，我们将探讨新的自监督学习方法，用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法，并根据其目标将其归纳为三个主要类别：生成，对比和生成对比（对抗）。我们进一步研究相关的理论分析工作，提供更深层次的思考自监督学习是如何工作的。最后，我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
Self-supervised self-supervision by combining deep learning and probabilistic logic
MIT（麻省理工学院）；Microsoft Research（微软研究院）
大规模标记训练样本是机器学习中的一个长期挑战。自我监督方法通过利用先验知识自动生成带噪声标记的示例来弥补直接监督的不足。深度概率逻辑（DPL）是用于自监督学习的统一框架，其将未知标签表示为潜在变量，并使用概率逻辑来结合多样的自监督，以使用变分EM来训练端到端的深度神经网络。虽然DPL成功地结合了预先指定的自我监督，但手动制作自我监督以获得高准确性可能仍然是繁琐和具有挑战性的。在本文中，我们提出了自我监督的自我监督（S4），它增加了DPL自动学习新的自我监督的能力。从初始“种子”开始，S4迭代地使用深度神经网络来提出新的自我监督。它们要么直接添加（一种结构化的自我训练形式），要么由人类专家验证（如基于特征的主动学习）。实验表明，S4能够自动提出准确的自我监督，并且通常可以用人类努力的一小部分来接近监督方法的准确性。
2020-12-23 cs.LG stat.ML
Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University（斯坦福大学）
本文提出自引导掩码自编码器SMA，通过可学习的掩码采样消除领域特定假设，实现完全领域无关的自监督学习，并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University（杜克大学）
自监督学习显著提高了许多NLP任务的性能。然而，自监督学习如何发现有用的表示，以及为什么它比概率模型等传统方法更好，在很大程度上仍然是未知的。在本文中，我们专注于主题建模的背景下，并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时，自监督学习可以忽略特定的模型，因此不太容易受到模型误指定。特别是，我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲，我们表明，相同的目标可以执行与后验推理使用正确的模型，而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review
New York University（纽约大学）；Meta AI - FAIR
本文从信息理论视角审视自监督学习方法，引入统一框架涵盖自监督信息理论学习问题，探讨当代方法论、研究方向及信息理论量的经验评估，提供信息理论、自监督学习与深度神经网络交叉领域的详尽综述。
2023-11-21 cs.IT cs.LG math.IT
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook（脸书）
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行，但很少有作品全面分析非语音音频任务的音频表示学习。在本文中，我们提出了一种自监督的音频表示学习方法，并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架，它已经成功地在自监督学习的语音任务，参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中，我们实现了0.415的平均精度（mAP）得分，这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
Self-supervised Learning for ECG-based Emotion Recognition
Queen's University（女王大学）
我们提出了一个基于心电图（ECG）的情感识别系统，使用自监督学习。我们提出的架构包括两个主要的网络，信号转换识别网络和情感识别网络。首先，未标记的数据被用来成功地训练前网络，以检测特定的预定信号变换的自监督学习步骤。接下来，该网络的卷积层的权重被转移到情感识别网络，并训练两个密集层以分类唤醒和效价分数。我们表明，我们的自监督方法可以帮助模型学习情感识别所需的心电图特征流形，其性能等于或优于模型的全监督版本。我们提出的方法优于最先进的心电图为基础的情感识别与两个公开可用的数据集，SWELL和AMIGOS。进一步的分析强调了我们的自我监督方法的优势，即需要更少的数据来实现可接受的结果。
2020-04-05 cs.AI cs.LG eess.SP
Equivariance-based self-supervised learning for audio signal recovery from clipped measurements
CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；UCLouvain（天主教鲁汶大学）
针对从削波测量中恢复音频信号的非线性逆问题，提出一种基于等变性的自监督学习方法，仅需削波数据训练即可取得媲美全监督学习的性能。
2024-09-03 cs.IR cs.LG cs.SD
Group-based Learning of Disentangled Representations with Generalizability for Novel Contents
ATR International（ATR国际研究所）
感官数据通常由独立的内容和转换因子组成。例如，面部图像可以具有作为内容的形状和作为变换的姿势。为了从给定的数据中分别推断出这些因素，人们提出了各种"解开“模型。然而，其中许多是监督或半监督的，要么需要通常不可用的属性标签，要么不允许对新内容进行泛化。在这项研究中，我们引入了一种新的深度生成模型，称为基于组的变分自编码器。在这一点上，我们假设没有明确的标签，而是一种较弱的结构形式，将具有相同内容但不同变换的数据实例分组在一起;因此，我们分别估计一个组公共因子作为内容，一个实例特定因子作为变换。这种方法允许学习表示内容的一般连续空间，其可以容纳看不见的内容。尽管简单，我们的模型成功地学习，从五个数据集，内容表示是高度分离的转换表示和推广到数据与新的内容。我们进一步提供了详细的分析的潜在内容代码，并显示洞察我们的模型如何获得显着的转换不变性和内容的概括性。
2021-01-25 cs.AI cs.CV cs.LG
DiCoM -- Diverse Concept Modeling towards Enhancing Generalizability in Chest X-Ray Studies
Universidad Politécnica de Madrid（马德里理工大学）；CVSSP, University of Surrey（萨里大学CVSSP学院）；George Washington University（乔治华盛顿大学）
针对胸部X光医学影像预训练的特殊性，本研究提出采用学生-教师框架的自监督预训练范式DiCoM，通过建模图像内所有固有概念学习有效表征，在多数据集下游任务中性能与收敛速度均优于现有最优策略，有望成为胸部X光基础模型。
2024-07-24 cs.CV cs.LG eess.IV
Enhancing convolutional neural network generalizability via low-rank weight approximation
North Carolina State University（北卡罗来纳州立大学）；Duke University（杜克大学）
本文提出一种基于Tucker低秩张量近似的自监督图像去噪框架，仅用单张图像和更少参数训练卷积神经网络，在提升泛化能力的同时降低数据采集成本，并在合成与真实噪声图像上优于多种无监督和非学习方法。
2024-08-01 cs.CV cs.LG stat.AP
Deep Learning for Automated Classification of Tuberculosis-Related Chest X-Ray: Dataset Specificity Limits Diagnostic Performance Generalizability
Chulalongkorn University（朱拉隆功大学）；Thai Health AI Foundation（泰国健康人工智能基金会）；Johns Hopkins Bloomberg School of Public Health（约翰斯·霍普金斯大学布隆伯格公共卫生学院）
机器学习已经成为传染病各个方面的新兴工具，包括结核病监测和检测。然而，世卫组织没有就使用计算机辅助结核病检测软件提出建议，原因是研究数量少、方法上的局限性以及研究结果的普遍性有限。为了量化机器学习模型的通用性，我们使用一个人群（国家医学图书馆深圳第三医院）的TB特异性CXR数据集开发了深度卷积神经网络（DCNN）模型，并使用另一个人群（国家卫生研究院临床中心）的非TB特异性CXR数据集对其进行了测试。研究结果表明，使用来自一个人群的训练数据集开发的监督式深度学习模型在另一个人群中可能不具有相同的诊断性能。在其他环境中实施之前，应检查CXR图像的技术规范、疾病严重程度分布、过拟合和过度诊断。
2018-12-28 cs.CV cs.LG stat.ML
SADT: Combining Sharpness-Aware Minimization with Self-Distillation for Improved Model Generalization
University of Vaasa（瓦萨大学）
改善深度神经网络训练时间和模型概括性的方法包括各种数据增强、正则化和优化方法，这些方法往往对超参数设置敏感，并使再现性更具挑战性。这项工作联合考虑了两个最近的训练策略，解决模型的泛化：尖锐意识最小化，和自蒸馏，并提出了新的培训策略的尖锐意识蒸馏教师（SADT）。这项工作的实验部分表明，SADT在模型收敛时间，测试时间性能和模型泛化能力方面始终优于先前发表的训练策略，这些训练策略适用于各种神经架构，数据集和超参数设置。
2022-11-01 cs.LG
