Can Pretext-Based Self-Supervised Learning Be Boosted by Downstream Data? A Theoretical Analysis
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于预文本的自监督学习通过手工构造的预文本任务在未标记数据上学习语义表示，然后将学习到的表示用于下游任务，有效地降低了条件独立条件下下游任务的样本复杂度。然而，如果CI条件不成立，下游样本复杂度会变得更糟。一个有趣的问题是，我们是否可以通过使用下游数据来改进未标记数据以促进自监督学习，从而使CI条件成立。乍一看，人们可能会认为提前看到下游数据总是会提高下游的表现。然而，我们表明，这不是直观上正确的，并指出，在某些情况下，它反而损害了最终的性能。特别是，我们证明了用于数据细化的下游样本的数量的模型自由和模型依赖的下界。此外，我们在合成和真实世界的数据集上进行了各种实验，以验证我们的理论结果。
2022-02-23 cs.AI cs.LG stat.ML
Synergistic Self-supervised and Quantization Learning
Nanjing University（南京大学）；MEGVII Technology（旷视科技）
随着自监督学习（SSL）的成功，对自监督预训练模型进行微调以提高下游任务的性能已成为主流范式。然而，我们发现，目前的SSL模型遭受严重的精度下降时，执行低比特量化，禁止其部署在资源受限的应用程序。在本文中，我们提出了一种称为协同自监督和量化学习（SSQL）的方法来预训练量化友好的自监督模型，以促进下游部署。SSQL以自我监督的方式对比量化模型和全精度模型的特征，其中量化模型的位宽在每个步骤中随机选择。SSQL不仅在量化为较低位宽时显著提高了精度，而且在大多数情况下还提高了全精度模型的精度。通过只训练一次，SSQL可以同时在不同的位宽上受益于各种下游任务。此外，在没有额外存储开销的情况下实现了位宽灵活性，在训练和推理期间仅需要一个权重副本。我们从理论上分析了SSQL的优化过程，并在各种基准测试上进行了详尽的实验，以进一步证明我们的方法的有效性。我们的代码可在https://github.com/megvii-research/SSQL-ECCV2022上获得。
2022-07-12 cs.CV cs.LG
MAST: Masked Augmentation Subspace Training for Generalizable Self-Supervised Priors
Apple Inc.（苹果公司）
最近的自监督学习（SSL）方法能够学习对不同数据增强不变的特征表示，然后可以将其转移到感兴趣的下游任务。然而，不同的下游任务需要不同的不变性才能获得最佳性能，因此SSL增强的最佳选择取决于目标任务。在本文中，我们的目标是学习自我监督的特征，这些特征在各种下游任务（例如，对象分类、检测和实例分割）而无需预先知道任何任务信息。我们通过掩蔽增强子空间训练（MAST）来实现这一点，以因子分解的方式在单个特征空间中对来自不同数据增强的先验进行编码。具体来说，我们将特征空间分解为单独的子空间，每个子空间由一个可学习的掩码诱导，该掩码选择相关的特征维度来对特定增强的不变性进行建模。我们展示了MAST在联合捕获来自不同扩增的可推广先验方面的成功，使用跨子空间的独特和共享功能。我们进一步表明，MAST受益于不确定性建模重新加权模糊的样本，从强增强，可能会导致相似性不匹配，在每个子空间。实验表明，MAST一致地提高了各种下游任务的泛化能力，同时在SSL期间是任务不可知的和高效的。我们还提供了关于不同的增强是如何相关的，以及不确定性如何反映学习困难的有趣见解。
2023-03-07 cs.CV cs.LG
Self-Supervised Metric Learning in Multi-View Data: A Downstream Task Perspective
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自监督度量学习是一种成功的方法，用于从未标记的数据集学习距离。所得到的距离对于改进各种基于距离的下游任务是广泛有用的，即使在度量学习阶段中没有利用来自下游任务的信息。为了深入了解这种方法，我们开发了一个统计框架，从理论上研究自我监督度量学习如何在多视图数据的背景下使下游任务受益。在这个框架下，我们证明了度量学习的目标距离满足下游任务的几个期望属性。另一方面，我们的研究表明，目标距离可以通过调节每个方向的权重来进一步提高。此外，我们的分析精确地描述了四个常用的下游任务：样本识别，双样本测试，$k$ -均值聚类和$k$ -最近邻分类的自监督度量学习的改进。当距离是从未标记的数据集估计时，我们建立了距离估计精度的上限和足够用于下游任务改进的样本数量。最后，通过数值实验验证了理论分析的正确性.
2022-03-17 cs.LG math.ST stat.ME
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
自监督学习方法在计算机视觉中获得越来越多的关注，这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理（NLP）中，自监督学习和Transformers已经是首选的方法。最近的文献表明，Transformers在计算机视觉中也变得越来越流行。到目前为止，视觉Transformer已经被证明在使用大规模监督数据或某种共同监督（例如，在教师网络方面）进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中，我们调查的优点自监督学习预训练图像/视觉Transformer，然后使用它们的下游分类任务。我们提出了自监督视觉Transformer（SiT），并讨论了几种自监督训练机制，以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明，预训练的SiT可以在小规模数据集上进行下游分类任务的微调，这些数据集由几千张图像组成，而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习，并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Learning Downstream Task by Selectively Capturing Complementary Knowledge from Multiple Self-supervisedly Learning Pretexts
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
自监督学习（Self-supervised learning，SSL）作为一种新兴的无监督表示学习范式，通常遵循两个阶段的学习流水线：1）学习具有自动标注借口的不变和区分表示，然后2）将表示转移到辅助下游任务。这两个阶段通常是分开实现的，使得学习的表示对于下游任务是不可知的。目前，大多数的著作都致力于探索第一阶段。然而，如何利用已经学习的表示学习具有有限标记数据的下游任务的研究较少。特别是，它是至关重要的和具有挑战性的选择性地利用互补表示从不同的借口，下游的任务。在本文中，我们在技术上提出了一种新的解决方案，利用注意力机制自适应挤压合适的任务表示。同时，借助信息论，我们从理论上证明了从多种借口中收集表征比单一的借口更有效。大量的实验验证，我们的计划显着超过目前流行的基于预文本匹配的方法在收集知识和减轻负迁移的下游任务。
2022-08-21 cs.CL cs.LG
Contrasting Contrastive Self-Supervised Representation Learning Pipelines
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
在过去的几年里，我们目睹了自监督表示学习方面的显着突破。尽管通过这种范式学习的表示方法取得了成功并被采用，但关于不同的训练方法和数据集如何影响下游任务的性能，还有很多问题有待了解。在本文中，我们分析了对比方法作为自监督表示学习的最成功和最流行的变体之一。我们从训练算法、预训练数据集和最终任务的角度进行分析。我们检查了700多个训练实验，包括30个编码器，4个预训练数据集和20个不同的下游任务。我们的实验解决了各种问题，自我监督模型的性能相比，他们的监督同行，目前的基准用于评估，以及预训练数据对最终任务性能的影响。我们的可视化表示基准（ViRB）可在https://github.com/allenai/virb上获得。
2021-08-18 cs.CV cs.LG
Evaluating Contrastive Learning on Wearable Timeseries for Downstream Clinical Outcomes
University of Cambridge（剑桥大学）
大量的个人生成的健康数据（可穿戴设备）被收集，但注释以馈送到机器学习模型的过程是不切实际的。本文讨论了使用对比度损失的自监督方法，如Simplified和BYOL，以前应用于视觉领域，可以应用于高维健康信号，用于跨越睡眠，心脏和代谢条件的各种疾病的下游分类任务。为此，我们调整数据增强步骤和整体架构，以适应数据的时间性质（可穿戴痕迹），并通过比较其他最先进的方法，包括监督学习和对抗性无监督表示学习方法，对5个下游任务进行评估。我们表明，Simplified在大多数下游评估任务中优于对抗方法和全监督方法，并且所有自监督方法都优于全监督方法。这项工作为应用于可穿戴时间序列领域的对比方法提供了一个全面的基准，显示了下游临床结果的任务不可知表示的前景。
2021-11-13 cs.LG eess.SP
Self-Supervised Learning for 3D Medical Image Analysis using 3D SimCLR and Monte Carlo Dropout
Technical University of Berlin, Germany（柏林工业大学（德国））；Hasso Plattner Institute for Digital Engineering, University of Potsdam, Germany（波茨坦大学哈索普拉特纳数字工程研究所（德国））；Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai, NYC, USA（西奈山伊坎医学院哈索普拉特纳数字健康研究所（美国纽约市））
自监督学习方法可用于从未标记的数据中学习有意义的表示，这些表示可被转移到受监督的下游任务，以减少对标记数据的需求。在本文中，我们提出了一个3D的自我监督的方法，是基于对比（Simplified）的方法。此外，我们表明，在推理阶段采用贝叶斯神经网络（蒙特卡洛丢弃）可以进一步增强下游任务的结果。我们在两个医学成像分割任务上展示了我们的模型：i）3D MRI的脑肿瘤分割，ii）3D CT的胰腺肿瘤分割。我们的实验结果证明了我们提出的方法在下游数据效率和性能方面的优势。
2021-10-01 cs.CV cs.LG eess.IV
Random Field Augmentations for Self-Supervised Representation Learning
Google Research（谷歌研究院）；Vector Institute（向量研究所）
针对自监督表示学习中数据增强技术探索不足的问题，提出基于高斯随机场的局部图像增强变换，在ImageNet和iNaturalist下游分类任务上取得准确率提升，同时指出需平衡增强的多样性与强度以优化表示泛化性。
2023-11-07 cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
Memorization in Self-Supervised Learning Improves Downstream Generalization
CISPA（CISPA亥姆霍兹信息安全中心）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
针对监督学习的记忆定义无法迁移到自监督学习（SSL）的问题，提出SSLMem框架定义SSL中的记忆现象，证实即使有大规模数据和强增强，SSL仍存在显著记忆，且该记忆对下游任务泛化性能提升至关重要。
2024-06-18 cs.LG
Encoder-Decoder Networks for Self-Supervised Pretraining and Downstream Signal Bandwidth Regression on Digital Antenna Arrays
DeepSig, Inc.（DeepSig公司）
本文首次将自监督学习用于数字天线阵列数据，通过通道修复任务预训练编码器-解码器网络，再迁移到少量标注数据上训练带宽回归任务，证明预训练能显著提升下游回归性能。
2023-07-06 cs.LG eess.SP
Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所革新智能综合研究中心）
实例判别式自监督表示学习由于其无监督性质和下游任务的信息特征表示而受到关注。在实践中，它通常使用比监督类的数量更多的负样本。然而，在现有的分析中存在不一致性;理论上，大量的负样本会降低下游监督任务的分类性能，而经验上，它们会提高性能。我们提供了一个新的框架来分析这一实证结果，关于负样本使用优惠券收集器的问题。我们的界限可以通过增加负样本的数量来隐含地将下游任务的监督损失纳入自监督损失。我们确认，我们提出的分析在真实世界的基准数据集上成立。
2022-01-14 cs.LG stat.ML
SupCL-Seq: Supervised Contrastive Learning for Downstream Optimized Sequence Representations
DSIG - Bayer Pharmaceuticals（拜耳制药 DSIG）；New York University（纽约大学）；Michigan State University（密歇根州立大学）
虽然对比学习被证明是计算机视觉中一种有效的训练策略，但自然语言处理（NLP）直到最近才将其作为掩蔽语言建模（MLM）的自监督替代方案，以改进序列表示。本文介绍了SupCL-Seq，它将有监督的对比学习从计算机视觉扩展到NLP中序列表示的优化。通过改变标准Transformer架构中的丢弃掩码概率，对于每个表示（锚），我们生成增强的改变视图。然后利用监督对比损失来最大化系统将相似样本拉在一起的能力（例如，锚和它们改变的视图）并推开属于其他类的样本。尽管它很简单，但与标准BERTbase相比，SupCLSeq在GLUE基准上的许多序列分类任务中都有很大的收益，包括CoLA上6%的绝对改进，MRPC上5.4%，RTE上4.7%和STSB上2.6%。我们还显示出一致的收益超过自我监督的对比学习表示，特别是在非语义任务。最后，我们表明，这些收益不仅仅是由于增强，而是下游优化的序列表示。代码：https://github.com/hooman650/SupCL-Seq
2021-09-15 cs.CL cs.LG
Q-Match: Self-Supervised Learning by Matching Distributions Induced by a Queue
Google（谷歌）；Google Research（谷歌研究院）
在半监督学习中，学生-教师分布匹配已经成功地提高了使用未标记数据结合少量标记样本的模型的性能。在本文中，我们的目标是在自我监督设置中复制这一成功，在这种设置中，我们在预训练期间无法访问任何标记数据。我们介绍了我们的算法，Q-Match，并表明它是可能的，通过使用一个队列的嵌入的样本从未标记的数据集的下游类没有任何知识，诱导学生-教师分布。我们的研究集中在表格数据集上，并表明Q-Match在测量下游分类性能时优于以前的自监督学习技术。此外，我们还证明了我们的方法是样本高效的--就下游训练所需的标签和预训练所需的未标记数据量而言--并且可以很好地扩展到标记和未标记数据的大小。
2023-02-22 cs.LG
Self-Supervised Audio-Visual Representation Learning with Relaxed Cross-Modal Synchronicity
Queen’s University（女王大学）；Vector Institute（向量研究所）
我们提出了CrissCross，一个用于学习视听表示的自我监督框架。在我们的框架中引入了一个新的概念，除了学习模态内和标准的“同步”跨模态关系，CrissCross还学习“异步”跨模态关系。我们进行了深入的研究，表明通过放松音频和视觉模态之间的时间同步性，网络学习了对各种下游任务有用的强广义表示。为了预训练我们提出的解决方案，我们使用了3个不同大小的数据集，Kinetics-Sound，Kinetics 400和AudioSet。学习的表示进行评估的一些下游任务，即动作识别，声音分类和动作检索。我们的实验表明，CrissCross在动作识别和动作检索方面优于或达到了与当前最先进的自监督方法（UCF 101和HMDB 51）以及声音分类（ESC 50和DCASE）相当的性能。此外，CrissCross在Kinetics-Sound上进行预训练时优于完全监督的预训练。代码和预训练模型可在项目网站上获得。
2022-11-25 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven（鲁汶大学）
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标，它集成了自监督和结构学习。此外，我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明，与传统的自监督学习相比，该框架在下游分类任务中实现了更高的泛化性能，并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning
Duke University（杜克大学）
计算机视觉中的自监督学习旨在使用大量未标记的图像或（图像，文本）对来预训练图像编码器。预训练的图像编码器然后可以被用作特征提取器，以利用少量或没有标记的训练数据来构建用于许多下游任务的下游分类器。在这项工作中，我们提出了BadEncoder，这是对自监督学习的第一次后门攻击。特别是，我们的BadEncoder将后门注入到预先训练的图像编码器中，使得基于后门图像编码器为不同下游任务构建的下游分类器同时继承后门行为。我们制定我们的BadEncoder作为一个优化问题，我们提出了一个基于梯度下降的方法来解决它，它产生一个后门的图像编码器从一个干净的。我们对多个数据集的广泛经验评估结果表明，我们的BadEncoder在保持下游分类器准确性的同时，实现了高攻击成功率。我们还展示了BadEncoder使用两个公开可用的真实图像编码器的有效性，即，Google的图像编码器在ImageNet上进行了预训练，OpenAI的对比图像预训练（CLIP）图像编码器在从互联网上收集的4亿对（图像，文本）上进行了预训练。此外，我们考虑的防御包括神经净化和MNTD（经验防御）以及PatchGuard（可证明的防御）。我们的研究结果表明，这些防御措施不足以抵御BadEncoder，突出了对BadEncoder的新防御措施的需求。我们的代码可在https://github.com/jjy1994/BadEncode…
2021-08-01 cs.CR cs.CV cs.LG
Group-disentangled Representation Learning with Weakly-Supervised Regularization
Autodesk AI Lab（欧特克人工智能实验室）；Imperial College London（伦敦帝国理工学院）
学习可解释和人类可控的表示，揭示数据中的变化因素，仍然是表示学习中的一个持续的关键挑战。我们研究学习组的因素与弱监督的解纠缠表示。解决这一挑战的现有技术仅仅通过对共享组的观察进行平均来约束近似后验。因此，具有共同变化集的观察被编码为不同的潜在表示，降低了它们分解和推广到下游任务的能力。与以前的工作相比，我们提出了GroupVAE，一个简单而有效的Kullback-Leibler（KL）分歧为基础的正则化共享的潜在表示，以执行一致和解开表示。我们进行了彻底的评估，并证明我们的GroupVAE显着提高了群体解纠缠。此外，我们证明了学习组解缠表示改进了下游任务，包括公平分类和3D形状相关任务，如重建，分类和迁移学习，并且与监督方法相比具有竞争力。
2021-10-23 cs.CV cs.LG
On the Surrogate Gap between Contrastive and Supervised Losses
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
对比表示学习鼓励数据表示使语义相似的对比随机抽取的负样本更接近，这在视觉、语言和图形等各个领域都取得了成功。最近的理论研究试图解释的好处，大负样本量的上限下游分类损失的对比损失。然而，以前的替代边界有两个缺点：它们只适用于有限范围的负样本大小，即使在该范围内也过大。由于这些缺点，在负样本量理论上如何与下游分类性能相关方面仍然没有达成共识。根据简化设置，其中从真实分布中提取阳性对（不是通过数据增强生成的;如先前研究中所假设的），本研究为所有阴性样本量的下游分类损失建立了替代上限和下限，最好地解释了早期研究中阴性样本量的经验观察结果。我们的界限表明，对比损失可以被视为下游损失的替代目标，较大的负样本量可以改善下游分类，因为对比损失和监督损失之间的替代差距衰减。我们验证了我们的理论与合成，视觉和语言数据集上的实验是一致的。
2022-05-30 cs.LG
Measuring Self-Supervised Representation Quality for Downstream Classification using Discriminative Features
University of Maryland, College Park（马里兰大学学院公园分校）；Meta AI
该研究针对自监督学习表示的失效模式与可解释性问题，发现无监督判别特征，提出Q-Score预测分类错误、优化表示，还定义了可解释性指标，证实特征增强可提升表示可解释性。
2023-12-12 cs.AI cs.CV cs.LG
ESTAS: Effective and Stable Trojan Attacks in Self-supervised Encoders with One Target Unlabelled Sample
University of Central Florida（中佛罗里达大学）
新兴的自监督学习（SSL）已经成为一种流行的图像表示编码方法，以减少对标记数据的依赖，并从大规模、无处不在的未标记数据中学习丰富的表示。然后，可以在预先训练的SSL图像编码器之上训练具有很少或没有标记的下游数据的下游分类器。虽然大量的工作表明，SSL已经取得了显着的和有竞争力的性能在不同的下游任务，其安全问题，如木马攻击SSL编码器，仍然没有得到很好的研究。在这项工作中，我们提出了一种新的木马攻击方法，表示为ESTAS，可以使一个有效的和稳定的攻击SSL编码器只有一个目标未标记的样本。特别是，我们在ESTAS中提出了一致的触发器中毒和级联优化，以提高攻击效率和模型精度，并消除了从大规模无序未标记数据中提取目标类数据样本的昂贵过程。我们在多个数据集上的大量实验表明，ESTAS在一个目标类样本下稳定地实现了> 99%的攻击成功率（ASR）。与以往的工作相比，ESTAS实现了> 30%的ASR提高和> 8.3%的准确性提高的平均水平。
2023-01-24 cs.CR cs.CV cs.LG
Self-Supervised Learning of Context-Aware Pitch Prosody Representations
Stanford University（斯坦福大学）
在音乐和演讲中，意义是在多层次的语境中产生的。例如，情感可以通过短的声音标记和较长时间窗口（如整个录音）上的声音模式来推断。在这封信中，我们专注于从这种语境的二分法中推断意义。我们展示了如何短唱声乐行的上下文表示可以隐式地从基频（$F_0$）学习，从而被用作下游音乐信息检索（MIR）任务的一个有意义的特征空间。我们提出了三种自我监督的深度学习范式，它们利用这两个层次的上下文的伪任务学习来产生潜在的表示空间。我们通过将看不见的音高轮廓嵌入到每个空间中并进行下游分类任务来评估这些表示的有用性。我们的研究结果表明，上下文表示可以提高下游分类多达15%相比，使用传统的统计轮廓特征。
2021-08-01 cs.CV cs.IR cs.LG
Reducing self-supervised learning complexity improves weakly-supervised classification performance in computational pathology
University Hospital and Faculty of Medicine Carl Gustav Carus, TUD Dresden University of Technology（德累斯顿工业大学卡尔·古斯塔夫·卡鲁斯大学医院及医学院）；National Center for Tumor Diseases (NCT), University Hospital Heidelberg（海德堡大学医院国家肿瘤疾病中心）；Leeds Institute of Medical Research at St James’s, University of Leeds（利兹大学圣詹姆斯利兹医学研究所）
针对计算病理学中自监督学习资源需求高的问题，研究通过调整数据量、架构与算法，在消费级硬件上实现训练时长减少90%的同时提升弱监督分类性能，提出适配低资源环境的方案。
2024-03-12 cs.AI cs.CV cs.LG
Wildlife Target Re-Identification Using Self-supervised Learning in Non-Urban Settings
Institute for Intelligent Systems University of Johannesburg（智能系统研究所 乌姆西阿布大学）
本文研究利用相机陷阱时间图像对进行自监督学习的野生动物重识别方法，证明自监督特征在数据有限时更鲁棒，并在所有下游任务中优于监督特征。
2025-07-03 cs.AI cs.CV cs.LG
RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank
Meta AI - FAIR（Meta人工智能实验室（基础人工智能研究部））；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Courant Institute, New York University（纽约大学柯朗研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
本研究提出了RankMe，一种基于有效秩的无监督评估标准，无需标签即可准确评估JE-SSL表示的下游性能并选择超参数，且不增加计算负担。
2023-06-26 cs.AI cs.CV cs.LG
Subimage Overlap Prediction: Task-Aligned Self-Supervised Pretraining For Semantic Segmentation In Remote Sensing Imagery
Instacart；New York University（纽约大学）；University of Washington（华盛顿大学）
本文提出子图像重叠预测任务，通过少量预训练数据提升遥感图像语义分割性能，实现更快收敛和同等或更优的mIoU表现。
2026-01-05 cs.AI cs.CV cs.LG
An Experimental Comparison Of Multi-view Self-supervised Methods For Music Tagging
Deezer Research（Deezer研究院）
该研究针对音乐标注任务，对比了多种自监督预训练方法的性能，开源了在百万级曲目上训练的ResNet模型，证实对比学习在下游任务中表现更优，且在数据有限场景下依然成立。
2024-04-14 cs.LG cs.SD eess.AS
Multi-view Contrastive Self-Supervised Learning of Accounting Data Representations for Downstream Audit Tasks
University of St. Gallen（圣加仑大学）；Deutsche Bundesbank（德国联邦银行）
国际审计标准要求直接评估财务报表的基本会计事项，即日记账分录。近年来，在人工智能发展的推动下，受深度学习启发的审计技术在审计大量期刊条目数据领域出现。如今，大多数此类方法依赖于一组专门的模型，每个模型都针对特定的审计任务进行了训练。与此同时，在进行财务报表审计时，审计小组面临着（一）具有挑战性的时间预算限制，（二）大量的文件义务，以及（三）严格的模型可解释性要求。因此，审计员在整个审计工作中倾向于只采用一种最好是“多用途”的模式。我们提出了一个对比自监督学习框架，旨在学习审计任务不变的会计数据表示，以满足这一要求。该框架包括利用日志条目数据的属性特征的故意交互数据增强策略。我们在两个真实世界的城市支付数据集上评估了该框架，并将学习到的表示转移到三个下游审计任务：异常检测，审计抽样和审计文档。我们的实验结果提供了经验证据，该框架提供了学习丰富的和可解释的“多任务”表示，以提高审计效率的能力。
2021-09-23 cs.CE cs.LG
Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
本文探索了生成对抗网络在电子显微镜数据上的自监督预训练，证明其能提升多种下游任务性能，低复杂度微调模型优于高复杂度随机初始化模型，尤其在标注数据有限时优势显著。
2024-07-18 cond-mat.mtrl-sci cs.AI cs.CV
Automatic Data Augmentation Selection and Parametrization in Contrastive Self-Supervised Speech Representation Learning
对比学习通过最大化相似信号段的潜在表示之间的相似性，使得能够学习有用的音频和语音表示而无需地面实况标签。在这个框架中，通常利用各种数据增强技术来帮助在学习的表示中执行所需的不变性，由于更鲁棒的嵌入，提高了各种音频任务的性能。现在，选择最相关的增强已被证明是改善下游性能的关键。因此，这项工作介绍了一种基于条件独立性的方法，该方法允许从一组预定义的增强及其参数化的选择中自动选择合适的分布，用于对比自监督预训练。这是针对感兴趣的下游任务执行的，因此节省了昂贵的超参数搜索。在两个不同的下游任务上进行的实验验证了所提出的方法，显示出比没有增强或基线增强的实验更好的结果。此外，我们根据所考虑的最终下游数据集对自动选择的增强及其变化进行定性分析。
2022-04-08 cs.LG cs.SD eess.AS
Scalable Self-Supervised Representation Learning from Spatiotemporal Motion Trajectories for Multimodal Computer Vision
Apple（苹果公司）
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征，这些特征可以方便地转移以解决各种各样的下游监督任务。在这项工作中，我们提出了一个自我监督的方法来学习表示的地理位置从未标记的GPS轨迹，以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像般的表示，称为可达性摘要，瓷砖和他们的邻居之间的空间连接模式所隐含的观察到的马尔可夫路径。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示，称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示，作为监督语义分割问题，我们定量地证明了可达性嵌入是语义上有意义的表示，并导致4-23%的性能增益，使用精确-召回曲线下的面积（AUPRC）度量，当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的张量表示，这些张量表示可以与其他图像源相结合，旨在促进地理空间计算机视觉中的多模态学习。
2022-10-07 cs.AI cs.CV cs.LG
Self-Supervised Siamese Autoencoders
Leuphana University of Lüneburg（吕讷堡莱布尼茨大学）；Uppsala University（乌普萨拉大学）；Linköping University（林雪平大学）
本文提出孪生去噪自编码器SidAE，融合孪生网络与去噪自编码器的互补优势，在少标注数据条件下于多个图像分类数据集上超越自监督基线。
2025-04-08 cs.CV cs.LG stat.ML
Hodge-Aware Contrastive Learning
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能研究所）
提出Hodge感知对比学习，通过Hodge分解和单纯神经网络编码不变性并重加权负样本，生成反映频谱特性的嵌入，在边流分类任务中优于监督学习。
2023-09-14 cs.AI cs.LG eess.SP
CellCLAT: Preserving Topology and Trimming Redundancy in Self-Supervised Cellular Contrastive Learning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对胞元复形自监督学习中的结构约束和语义冗余问题，提出CellCLAT框架，通过参数扰动增强保留拓扑，并利用双层元学习的胞元修剪调度器移除冗余，显著优于现有方法。
2025-05-27 cs.AI cs.LG
Conditional independence for pretext task selection in Self-supervised speech representation learning
通过解决借口任务，自监督学习（SSL）利用未标记的数据来提取有用的潜在表示，以取代下游任务中的传统输入特征。一个常见的借口任务包括在从原始信号中导出的伪标签上预训练SSL模型。该技术特别与语音数据相关，其中各种有意义的信号处理特征可以用作伪标签。然而，为语音或其他类型的数据选择伪标签的过程仍然是未开发的，目前依赖于观察最终下游任务的结果。然而，由于大量的计算（因此碳）成本，这种方法在规模上是不可持续的。因此，本文介绍了一个实用的和理论的框架来选择相关的伪标签相对于一个给定的下游任务。更确切地说，我们提出了一个基于条件独立理论的伪标签效用函数估计器，它不需要任何训练。对说话人识别和自动语音识别进行的实验验证了我们的估计器，显示出在下游任务上观察到的性能与我们的方法获得的效用估计之间的显着相关性，促进了自监督语音表示学习的相关伪标签的前景。
2021-07-01 cs.LG cs.SD eess.AS
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple（苹果公司）
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征，这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中，我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹，以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量，称为可达性摘要，瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示，称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示，作为监督语义分割问题，我们定量地证明了可达性嵌入是语义上有意义的表示，并导致4-23%的性能增益，同时使用高达67%的轨迹数据，如使用精确度-召回曲线下的面积（AUPRC）度量所测量的，当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示，这些张量表示可以与其他图像源相结合，并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
SSL-Cleanse: Trojan Detection and Mitigation in Self-Supervised Learning
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Samsung Research America（三星美国研究院）；University of Central Florida（中佛罗里达大学）
针对自监督学习编码器中的木马攻击，提出SSL-Cleanse方法，在未知下游任务和无标签数据下检测并缓解后门，在ImageNet-100上达到82.2%检测成功率，缓解后攻击成功率降至0.3%。
2024-07-16 cs.CR cs.CV cs.LG
MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations
University of Edinburgh（爱丁堡大学）；Thales UK RTI（泰雷兹英国研究与技术研究所）
针对不同下游任务所需的特征不变性存在差异的问题，提出多任务自监督框架MT-SLVR，以参数高效的方式学习变体与不变特征，在多个音频领域少样本分类任务上实现性能提升。
2024-01-26 cs.LG cs.SD eess.AS
Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
Department of Intelligent Systems, Delft University of Technology（智能系统系，代尔夫特理工大学）
针对聚合物标注数据集稀缺问题，研究在聚合物分子图上应用JEPA进行自监督预训练，证明该方法在标注数据稀缺时显著提升了下游任务性能。
2025-06-22 cs.LG
InferCode: Self-Supervised Learning of Code Representations by Predicting Subtrees
Singapore Management University（新加坡管理大学）；The Open University（开放大学）
在源代码上构建深度学习模型已经在许多软件工程应用中取得了成功，如代码搜索、代码注释生成、bug检测、代码迁移等，然而，当前的学习技术存在一个主要缺点，即这些模型大多是在标记为特定下游任务的数据集上训练的，代码表示可能不适合其他任务。虽然一些技术从未标记的代码中产生表示，但当应用于下游任务时，它们远远不能令人满意。尽管某些技术在应用于下游任务时从未标记的代码生成表示，但它们远不能令人满意。本文提出的InferCode通过采用自监督学习机制来建立源代码模型，以克服这一局限性。关键的新颖之处在于通过预测自动识别的子树从AST的上下文中训练代码表示。AST中的子树被InferCode视为训练代码表示的标签，而无需任何人工标记工作或昂贵的图形构造开销，并且训练的表示不再与任何特定的下游任务或代码单元绑定。我们使用基于树的CNN作为大量Java代码的编码器训练了一个InferCode模型实例，并将其应用于下游无监督任务，如代码聚类，代码克隆检测，跨语言代码搜索或在迁移学习方案下重用，以继续训练有监督任务的模型权重，如代码分类和方法名称预测。与以前的代码学习技术应用于相同的下游任务，如Code2Vec，Code2Seq，ASTNN相比，使用我们的预训练的InferCode模型实现了更高的性能结果，对于大多数任务，包括涉及不同程序设计语言的任务，具有显着的裕度。
2020-12-15 cs.AI cs.LG cs.PL
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务，由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文，这转化为在下游任务（如问答）中的性能提高。在这项工作中，我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频，视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明，与基线相比，这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
Lead-agnostic Self-supervised Learning for Local and Global Representations of Electrocardiogram
KAIST（韩国科学技术院）；Medical AI Inc.（医疗人工智能公司）
近年来，自监督学习方法在使用未标记数据进行预训练方面取得了显着的进步，并已被证明对心电图信号很有帮助。然而，大多数以前的心电图预训练方法集中在捕捉只有全局上下文表示。这抑制了模型学习心电图的有效表示，从而导致下游任务的性能较差。此外，他们不能用任意一组心电图导联微调模型，除非模型是在同一组导联上预先训练的。在这项工作中，我们提出了一种ECG预训练方法，该方法可以学习局部和全局上下文表示，以提高下游任务的泛化能力和性能。此外，我们提出了随机铅掩蔽作为ECG特定的增强方法，使我们提出的模型鲁棒性的任意一组导线。两个下游任务，心律失常分类和患者识别的实验结果表明，我们提出的方法优于其他国家的最先进的方法。
2022-03-18 cs.LG eess.SP
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；The Chinese University of Hong Kong（香港中文大学）
一个名为Speech processing Universal Permeable Benchmark（SUPERB）的排行榜，其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习（SSL）语音模型的性能进行基准测试，推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注，表征这种模型的对抗鲁棒性具有重要意义。在本文中，我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明，SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性，零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
Computational Pathology at Health System Scale -- Self-Supervised Foundation Models from Three Billion Images
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
本研究利用超过30亿张病理图像预训练视觉基础模型，比较MAE与DINO算法，在六个临床任务上验证了病理预训练优于自然图像预训练，DINO泛化更佳，推动了计算病理学规模化发展。
2023-10-10 cs.AI cs.CV cs.LG
Multi-Task Self-Supervised Time-Series Representation Learning
Korea University（高丽大学）
时间序列表示学习可以从具有时间动态和稀疏标签的数据中提取表示。当标记数据稀疏但未标记数据丰富时，对比学习，即，一种用于学习潜在空间的框架已经显示出出色的性能，在该潜在空间中，相似的样本彼此接近，而不相似的样本彼此远离。这种策略可以鼓励不同的时间序列表示的一致性，这取决于积极的对选择和对比损失。我们提出了一种新的时间序列表示学习方法，结合了自监督任务的上下文，时间和转换一致性的优势。它允许网络学习各种下游任务和域的一般表示。具体来说，我们首先采用数据预处理，为每个自监督任务生成积极和消极对。然后，该模型执行上下文，时间和变换对比学习，并使用它们的对比损失联合优化。我们进一步研究了一种不确定性加权方法，通过考虑每个一致性的贡献来实现有效的多任务学习。我们评估了三个下游任务的建议框架：时间序列分类，预测和异常检测。实验结果表明，该方法不仅在这些下游任务上优于基准模型，而且在跨域迁移学习中也显示出有效性。
2023-03-02 cs.AI cs.LG
Leveraging Time Irreversibility with Order-Contrastive Pre-training
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MSKCC（纪念斯隆凯特琳癌症中心）
标签稀缺的高维领域，如医疗保健，对现代机器学习技术提出了挑战。为了克服缺乏标记数据所带来的困难，我们探索了一种“顺序对比”方法，用于纵向数据的自监督预训练。我们对成对的时间段进行采样，切换其中一半的顺序，并训练一个模型来预测给定的时间段对是否处于正确的顺序。直观地说，排序任务允许模型关注时间可逆性最小的特征（例如，指示慢性疾病进展的特征）。相同的功能通常对下游感兴趣的任务有用。为了量化这一点，我们研究了一个简单的理论设置，在这个设置中，我们证明了用顺序对比预训练学习的表示的下游误差的有限样本保证。从经验上讲，在合成和纵向医疗保健环境中，我们证明了小数据制度中的顺序对比预训练优于监督学习和其他自我监督预训练基线的有效性。我们的研究结果表明，为特定类别的分布和下游任务设计的预训练方法可以提高自监督学习的性能。
2022-03-29 cs.LG
Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning
Meta AI Research（Meta人工智能研究院）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
该研究针对自监督学习中移除投影层反而提升下游泛化性能的现象，将其命名为Guillotine Regularization，揭示了其生效的根本原因，分析了最优层的影响因素，并给出了减少投影层需求的思路。
2023-06-09 cs.LG
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research（Meta人工智能研究院）；NYU（纽约大学）
自监督学习（SSL）推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑：在许多模态\dots中优于监督方法，但理论基础有限，方法特定，并且未能为从业者提供原则性的设计指南。在本文中，我们提出了一个统一的框架下的频谱流形学习，以解决这些限制。通过这项研究的过程中，我们将严格证明VICReg，Simplified，BarlowTwins等。对应于epsilon谱方法，如Laplacian Eigenmaps，Multidimensional Scaling等。这种统一将使我们能够获得（i）每种方法的闭合形式最佳表示，（ii）每种方法的线性区域中的闭合形式最佳网络参数，（iii）训练过程中使用的成对关系对每个量和下游任务性能的影响，最重要的是，（iv）对比和非对比方法之间的第一个理论桥梁，分别通向全局和局部谱嵌入方法，暗示每个方法的优点和局限性。例如，（i）如果成对关系与下游任务对齐，则可以成功地采用任何SSL方法并将恢复监督方法，但在低数据状态下，VICReg的不变性超参数应该较高;（ii）如果成对关系与下游任务不对齐，则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
TERA: Self-Supervised Learning of Transformer Encoder Representation for Speech
National Taiwan University（国立台湾大学）；Amazon AI（亚马逊人工智能）
我们介绍了一种自监督的语音预训练方法，称为TERA，它代表来自Alteration的Transformer Encoder Representations。最近的方法通常通过使用单个辅助任务来学习，如对比预测，自回归预测或掩码重建。与以前的方法不同，我们使用沿三个正交轴的改变来在大量未标记的语音上预训练Transformer编码器。该模型通过从改变的对应物中重建声学帧来学习，在那里我们使用随机策略来改变各个维度：时间，频率和幅度。TERA可用于语音表示提取或与下游模型进行微调。我们评估TERA的几个下游任务，包括音素分类，关键字定位，说话人识别，和语音识别。我们对各种自监督模型进行了大规模的比较。TERA通过改进表面特征并优于以前的模型，在比较中实现了强大的性能。在我们的实验中，我们研究了应用不同的更改技术，对更多数据进行预训练以及对各种特征进行预训练的效果。我们分析了不同的模型大小，发现较小的模型比较大的模型更强的表示学习器，而较大的模型比较小的模型更有效地进行下游微调。此外，我们还证明了所提出的方法可以转移到预训练中未使用的下游数据集。
2021-08-04 cs.CL cs.LG eess.AS
Making Self-supervised Learning Robust to Spurious Correlation via Learning-speed Aware Sampling
NYU Center for Data Science（纽约大学数据科学中心）；Stanford University（斯坦福大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
针对自监督学习易受敏感属性虚假相关影响的问题，本文提出学习速度感知采样方法LA-SSL，通过以与学习速度成反比的概率采样训练数据，提升预训练表示在下游分类任务中的鲁棒性。
2023-11-29 cs.LG
CoLES: Contrastive Learning for Event Sequences with Self-Supervision
AIRI（人工智能研究所）；Sber AI Lab（俄罗斯联邦储蓄银行人工智能实验室）；MIPT（莫斯科物理技术学院）；New York University（纽约大学）
我们解决的问题，自监督学习的离散事件序列产生的现实世界的用户。自监督学习将来自原始数据的复杂信息合并到低维固定长度的向量表示中，可以很容易地应用于各种下游机器学习任务。在本文中，我们提出了一种新的方法“CoLES”，适应对比学习，以前用于音频和计算机视觉域，在自监督设置的离散事件序列域。我们基于欧洲大型金融服务公司的交易序列部署了CoLES嵌入。CoLES嵌入的使用显著提高了现有模型在下游任务上的性能，并产生了显著的财务收益，每年可达数亿美元。我们还在几个公共事件序列数据集上评估了CoLES，并表明CoLES表示在不同的下游任务上始终优于其他方法。
2022-07-22 cs.LG
Pretext Tasks selection for multitask self-supervised speech representation learning
Avignon Université（阿维尼翁大学）；Télécom Paris（巴黎电信学院）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）
通过解决借口任务，自监督学习利用未标记的数据来提取有用的潜在表示，以取代下游任务中的传统输入特征。在音频/语音信号处理中，通过几十年的研究工作设计出了各种各样的特征。事实证明，学习预测这些特征（也称为伪标签）已被证明是一个特别相关的借口任务，导致有用的自我监督表示，这些表示被证明对下游任务有效。然而，用于组合这些借口任务以更好地执行下游任务的方法和常见实践尚未被适当地探索和理解。事实上，这个过程几乎完全依赖于一个计算量很大的实验过程，随着借口任务数量的增加，这个过程变得很棘手。本文介绍了一种从候选任务集中选择一组任务的方法。我们提出的方法估计校准权的部分损失所考虑的借口任务在自我监督的训练过程中。在自动语音识别、说话人和情感识别上进行的实验验证了我们的方法，因为用我们的方法选择和加权的组比经典的基线表现得更好，从而便于选择和组合相关的伪标签进行自监督表示学习。
2022-11-11 cs.LG cs.SD eess.AS
