Self-Supervised Learning of Disentangled Representations for Multivariate Time-Series
本文提出TimeDRL框架，通过双层解耦嵌入、时间戳预测与实例对比任务，并避免数据增强引入的归纳偏置，在多元时间序列预测和分类任务中优于现有方法，且在有限标注数据的半监督场景下表现良好。
2024-10-21 cs.AI cs.LG
Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University（斯坦福大学）
本文提出自引导掩码自编码器SMA，通过可学习的掩码采样消除领域特定假设，实现完全领域无关的自监督学习，并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting
University of Science and Technology of China（中国科学技术大学）；Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院）；Jiaxing University（嘉兴学院）
大规模自监督预训练Transformer架构显著提升了自然语言处理（NLP）和计算机视觉（CV）中各种任务的性能。然而，利用预训练好的Transformer处理多变量时间序列的研究还比较缺乏，尤其是针对自监督学习的时间序列掩蔽问题的研究更是空白。与语言和图像处理不同，时间序列的信息密度增加了研究的难度。挑战进一步与无效的先前补丁嵌入和掩模方法。本文针对多元时间序列的数据特点，提出了一种补丁嵌入方法，并提出了一种基于掩码自编码器（MAE）的自监督预训练方法MTSMAE，该方法与无需预训练的监督学习相比，可以显著提高学习性能。在不同领域、不同特征的多变量时间序列数据集上的实验结果表明，该方法的性能明显优于目前最好的方法。
2022-10-04 cs.AI cs.LG
LiPCoT: Linear Predictive Coding based Tokenizer for Self-supervised Learning of Time Series Data via Language Models
University of California San Francisco（加利福尼亚大学旧金山分校）
本研究提出基于线性预测编码的时间序列分词器LiPCoT，将时间序列编码为词元以适配语言模型自监督学习，在帕金森病EEG分类任务中多项指标优于现有CNN方法。
2024-08-14 cs.AI cs.LG eess.SP
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University（哥伦比亚大学）
最近，自监督学习在各种机器学习任务中出现了爆炸性增长和使用，因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献，并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成，跨模态预训练，循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
Self-supervised learning for fast and scalable time series hyper-parameter tuning
Purdue University（普渡大学）；Facebook Inc.（脸书公司）
时间序列模型的超参数在时间序列分析中起着重要的作用。对于给定的模型，超参数的微小差异可能导致非常不同的预测结果，因此，选择好的超参数值是必不可少的。现有的大多数通用超参数整定方法，如网格搜索、随机搜索、贝叶斯最优搜索，都是基于一个关键部分-搜索，因此它们计算量大，并且不能应用于快速和可扩展的时间序列超参数整定（HPT）。我们提出了一个HPT的自监督学习框架（SSL-HPT），它使用时间序列特征作为输入，并产生最优的超参数。与其他基于搜索的算法相比，SSL-HPT算法在获得超参数方面的速度快6- 20倍，同时在各种应用中产生相当准确的预测结果。
2021-02-10 cs.LG
Time Series Change Point Detection with Self-Supervised Contrastive Predictive Coding
RMIT University（皇家墨尔本理工大学）；Data61, CSIRO（联邦科学与工业研究组织Data61研究院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）
变化点检测（CPD）方法识别与时间序列数据的趋势和属性变化相关的时间，以描述系统的基本行为。例如，检测与Web服务使用、应用程序使用或人类行为相关的变化和异常可以为下游建模任务提供有价值的见解。提出了一种基于对比预测编码的自监督时间序列变点检测方法（TS-CP^2）。TS-CP^2是第一种通过学习嵌入式表示来对CPD采用对比学习策略的方法，该嵌入式表示将时间相邻间隔的嵌入对与跨时间分离的间隔嵌入对分开。通过对三个不同的，广泛使用的时间序列数据集进行广泛的实验，我们证明了我们的方法优于五种最先进的CPD方法，其中包括无监督和半监督方法。TS-CP^2将使用手工统计或时间特征的方法的性能提高了79.4%，将基于深度学习的方法的性能提高了17.0%。
2021-03-05 cs.AI cs.CV cs.LG
Scaling and Benchmarking Self-Supervised Visual Representation Learning
Facebook AI Research（脸书人工智能研究院）
自监督学习的目标是在没有明确的人工监督的情况下从数据本身学习表示。现有的努力忽略了自监督学习的一个关键方面-扩展到大量数据的能力，因为自监督不需要手动标签。在这项工作中，我们重新审视了这一原则，并将两种流行的自监督方法扩展到1亿张图像。我们表明，通过在各个轴上进行缩放（包括数据大小和问题“硬度”），可以在很大程度上匹配甚至超过监督预训练在各种任务上的性能，例如使用强化学习进行目标检测，表面法线估计（3D）和视觉导航。扩展这些方法也提供了许多有趣的见解，目前的自我监督技术和评估的局限性。我们的结论是，目前的自我监督的方法是不够“硬”，以充分利用大规模的数据，似乎没有学习有效的高层次的语义表示。我们还介绍了一个跨9个不同数据集和任务的广泛基准。我们认为，要取得有意义的进展，就必须有这样一个基准以及可比较的评价环境。代码在：https://github.com/facebookresearch/fair_self_supervision_benchmark。
2019-06-06 cs.AI cs.CV cs.LG
Self-Supervised Time Series Representation Learning by Inter-Intra Relational Reasoning
Harbin University of Science and Technology（哈尔滨理工大学）；Tsinghua University（清华大学）
自监督学习通过从未标记的数据中提取有用的表示，在许多领域取得了优异的性能。然而，大多数传统的自监督方法主要集中在探索样本间的结构，而较少的努力集中在底层的时间内结构，这是重要的时间序列数据。本文提出了SelfTime：一个通用的自监督时间序列表示学习框架，通过探索时间序列的样本间关系和时间内关系来学习未标记时间序列的底层结构特征。具体来说，我们首先通过对给定锚样本的正样本和负样本进行采样来生成样本间关系，并通过从该锚样本中采样时间片来生成时间内关系。然后，基于采样关系，采用一个共享的特征提取主干和两个独立的关系推理头，分别量化样本间关系推理的样本对关系和时间片内关系推理的时间片对关系.最后，在关系推理头的监督下，从主干中提取有用的时间序列表示。在多个真实时间序列数据集上的实验结果表明了该方法的有效性。代码和数据可在https://haoyfan.github.io/上公开获取。
2020-11-27 cs.LG
Computer Vision Self-supervised Learning Methods on Time Series
Norwegian University of Science and Technology（挪威科技大学）；Abelee
该研究验证了计算机视觉领域的孪生网络架构自监督学习框架在时间序列任务上的有效性，同时基于VICReg方法提出优化协方差项、新增迭代归一化层的改进方案，可加速模型收敛。
2024-01-26 cs.AI cs.LG stat.ML
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services（亚马逊云科技）
我们提出了一个插件替代批量归一化（BN）称为指数移动平均归一化（EMAN），它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同，在每个批次中计算统计数据，教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性，增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时，EMAN将自监督学习的强基线提高了4-6/1-2个点，半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的，证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
Wildlife Target Re-Identification Using Self-supervised Learning in Non-Urban Settings
Institute for Intelligent Systems University of Johannesburg（智能系统研究所 乌姆西阿布大学）
本文研究利用相机陷阱时间图像对进行自监督学习的野生动物重识别方法，证明自监督特征在数据有限时更鲁棒，并在所有下游任务中优于监督特征。
2025-07-03 cs.AI cs.CV cs.LG
Self-Supervised Learning for Time Series: Contrastive or Generative?
RMIT（皇家墨尔本理工大学）；University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校）
本文全面比较了时间序列中对比式与生成式自监督学习方法，通过公平实验分析其优劣，为选择合适方法提供实用建议。
2024-03-14 cs.AI cs.ET cs.LG
MAD: Self-Supervised Masked Anomaly Detection Task for Multivariate Time Series
GE Research（通用电气研究院）
在本文中，我们介绍了掩蔽异常检测（MAD），一个通用的自监督学习任务的多元时间序列异常检测。随着来自工业系统的传感器数据的可用性的增加，能够从多变量时间序列数据流中检测异常是非常重要的。由于在现实世界中的应用异常的稀缺性，大多数文献一直专注于建模的正常性。学习的正常表示可以增强异常检测，因为模型已经学会捕获某些关键的底层数据。一个典型的公式是学习预测模型，即，使用时间序列数据窗口来预测未来的数据值。在本文中，我们提出了另一种自监督学习任务。通过随机屏蔽一部分输入并训练模型来使用剩余的输入来估计它们，MAD是对传统的从左到右的下一步预测（NSP）任务的改进。我们的实验结果表明，MAD可以实现更好的异常检测率比传统的NSP方法时，使用完全相同的神经网络（NN）的基础模型，并可以修改运行速度NSP模型在测试时间在相同的硬件，从而使其成为一个理想的升级许多现有的基于NSP的NN异常检测模型。
2022-05-04 cs.AI cs.LG cs.NE
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney（悉尼大学）；North University of China（中北大学）；University of Technology Sydney（悉尼科技大学）
针对医学图像标注数据稀缺问题，提出将自监督BYOL集成到半监督模型的方法，经无标注预训练、伪标与标注数据合并训练及迭代微调，在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
Self-supervised Learning for ECG-based Emotion Recognition
Queen's University（女王大学）
我们提出了一个基于心电图（ECG）的情感识别系统，使用自监督学习。我们提出的架构包括两个主要的网络，信号转换识别网络和情感识别网络。首先，未标记的数据被用来成功地训练前网络，以检测特定的预定信号变换的自监督学习步骤。接下来，该网络的卷积层的权重被转移到情感识别网络，并训练两个密集层以分类唤醒和效价分数。我们表明，我们的自监督方法可以帮助模型学习情感识别所需的心电图特征流形，其性能等于或优于模型的全监督版本。我们提出的方法优于最先进的心电图为基础的情感识别与两个公开可用的数据集，SWELL和AMIGOS。进一步的分析强调了我们的自我监督方法的优势，即需要更少的数据来实现可接受的结果。
2020-04-05 cs.AI cs.LG eess.SP
On the surprising similarities between supervised and self-supervised models
University of Tübingen（图宾根大学）；IMPRS-IS（国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注：IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所，但根据常见中文译法及上下文，此处保留缩写更准确)）
人类如何学习获得强大、灵活和健壮的对象表示？虽然这个过程的大部分仍然未知，但很明显，人类不需要数百万个对象标签。令人兴奋的是，自监督学习的最新算法进步现在使卷积神经网络（CNN）能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破，我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型，这些数据集有大规模的人类行为数据（130 K高度受控的心理物理试验）。令人惊讶的是，目前的自监督CNN具有监督CNN的四个关键特征：（1）相对较差的噪声鲁棒性（Simplified的显著例外），（2.）非人类类别级错误模式，（3.）非人类图像级错误模式（与监督模型错误的高度相似性）和（4.）对质地的偏爱总的来说，这些结果表明，通过今天的监督和自我监督训练目标学习的策略最终惊人地相似，但与人类行为相去甚远。话虽如此，我们显然只是处于所谓的机器视觉自监督革命的开始，我们希望未来的自监督模型与监督模型的行为不同，并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
Towards Good Practices in Self-supervised Representation Learning
Amazon Inc.（亚马逊公司）
自监督表示学习在过去几年中取得了显著的进展。最近，对比实例学习与其监督学习同行相比显示出令人印象深刻的结果。然而，即使对对比实例学习的兴趣越来越大，但这些方法为什么能如此有效，在很大程度上仍然不清楚。在本文中，我们的目的是解开他们成功背后的一些奥秘，这是良好的做法。通过广泛的实证分析，我们希望不仅提供见解，而且还制定了一套最佳实践，导致最近的工作在自我监督表示学习的成功。
2020-12-01 cs.AI cs.CV cs.LG
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology（快手科技）
近年来，从大量未标记数据中学习，特别是自监督学习，逐渐兴起并受到广泛关注。自监督学习，然后对一些标记的示例进行监督微调，可以显着提高标记效率，并优于使用完全注释数据的标准监督训练。在这项工作中，我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说，我们设计了一个学生-教师网络来生成自监督学习数据的多视图，并将硬负对挖掘集成到训练中。然后，我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Symbol-Temporal Consistency Self-supervised Learning for Robust Time Series Classification
Department of Computer Science, University of Texas Rio Grande Valley（计算机科学系，德克萨斯大学里奥格兰德谷分校）
针对数字健康中时间序列数据分布偏移问题，提出利用符号袋表示的自监督学习框架，以增强模型对噪声和偏移的鲁棒性，实验证明在显著偏移下性能更优。
2025-09-24 cs.LG
Self-supervised Contrastive Representation Learning for Semi-supervised Time-Series Classification
Nanyang Technological University（南洋理工大学）；Agency for Science, Technology and Research（新加坡科技研究局）；Institute for Infocomm Research（资讯通信研究院）；Centre for Frontier AI Research（前沿人工智能研究中心）
提出TS-TCC框架，通过时间与上下文对比学习从无标签时间序列数据中学习表示，并扩展至半监督CA-TCC，利用伪标签实现类感知对比损失，性能媲美全监督训练。
2023-09-03 cs.LG
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST（韩国科学技术院）
本研究通过将自监督表示学习表述为监督学习目标的近似，推导出与InfoNCE相关的损失函数，引入原型表示偏差和平衡对比损失概念，从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon AWS AI（亚马逊云科技人工智能）
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性，值得探索。在这项研究中，我们提出了一个有效的自监督学习框架和一个新的正则化策略，以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同，所提出的自监督正则化（SSReg）只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略，所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力，并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明，通过添加有效的自监督正则化，我们提出的自监督方法获得了23.4%的相对改进，并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
A Review on Self-Supervised Learning for Time Series Anomaly Detection: Recent Advances and Open Challenges
University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）
本文综述了时间序列异常检测中自监督学习的最新方法，提出分类体系以理解其多样性，并提供GitHub仓库供后续更新。
2025-07-29 cs.LG stat.ML
TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）
TimeMAE通过解耦掩码自编码器和语义单元提升，提升时间序列自监督表示的性能，尤其在数据稀缺和迁移学习场景中表现优异。
2026-02-27 cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
SentimentArcs: A Novel Method for Self-Supervised Sentiment Analysis of Time Series Shows SOTA Transformers Can Struggle Finding Narrative Arcs
Digital Humanities Colab（数字人文合作实验室）；Integrated Program for Humane Studies（人文研究综合项目）；Kenyon College（凯尼恩学院）
SOTA Transformer和DNN短文本情感分类器在IMDB电影评论等狭窄领域的准确率超过97%。现实世界的性能显着较低，因为传统模型过拟合基准，并且对不同或更开放的领域文本的概括性较差。本文介绍了SentimentArcs，一种新的自监督时间序列情感分析方法，它解决了传统监督情感分析的两个主要局限性：有限的标记训练数据集和泛化能力差。大量不同模型的集合为自监督学习提供了合成的基础事实。新的度量共同优化了在每个可能的语料库中的穷举搜索：模型组合。对语料库和模型的联合优化解决了泛化问题。简单的可视化利用了叙述中的时间结构，因此领域专家可以快速发现趋势，识别关键特征，并注意到数百个弧和数百万个数据点的异常。据我们所知，这是第一个用于时间序列情感分析的自监督方法，也是直接比较长形式叙述的真实世界模型性能的最大调查。
2021-10-18 cs.CL cs.LG
Ti-MAE: Self-Supervised Masked Time Series Autoencoders
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Huawei Technologies Ltd.（华为技术有限公司）
多变量时间序列预测在各种应用和场景中越来越受欢迎。最近，对比学习和基于transformer的模型在许多长期序列预测任务中取得了良好的性能。然而，在现有的方法中仍然存在一些问题。首先，对比学习的训练范式与下游预测任务不一致，导致预测结果不准确。第二，现有的基于变换器的模型，诉诸于历史时间序列数据中的相似模式来预测未来值，通常会引起严重的分布偏移问题，并且与自监督方法相比，不能充分利用序列信息。为了解决这些问题，我们提出了一个新的框架，名为Ti-MAE，其中输入的时间序列被假定为遵循一个完整的分布。具体来说，Ti-MAE随机屏蔽嵌入的时间序列数据，并学习自动编码器在点级别重建它们。Ti-MAE采用掩模建模（而不是对比学习）作为辅助任务，在现有的表示学习和基于生成式变换器的方法之间架起了桥梁，在保持原始时间序列数据利用率的同时，减少了上下游预测任务之间的差异。在几个公开的真实世界数据集上的实验表明，我们的掩码自动编码框架可以直接从原始数据中学习强表示，从而在时间序列预测和分类任务中获得更好的性能。
2023-01-21 cs.LG
CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明，较大的模型比较小的模型从自监督学习中受益更多。因此，对于较大的模型，监督学习和自监督学习之间的差距已经大大缩小。在这项工作中，我们没有为自监督学习设计新的伪任务，而是开发了一种模型压缩方法，将已经学习的深度自监督模型（教师）压缩为较小的模型（学生）。我们对学生模型进行训练，使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet，我们的方法优于所有以前的方法，包括ImageNet线性评估（59.0%与56.5%相比）和最近邻评估（50.7%与41.4%相比）的完全监督模型。据我们所知，这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到：https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks
自监督学习目前正受到广泛关注，因为它允许神经网络从大量未标记的数据中学习鲁棒的表示。此外，多任务学习可以通过在相关任务上同时训练网络来进一步改进表示学习，从而显著提高性能。在本文中，我们提出了三个新的自我监督的辅助任务，训练基于图的神经网络模型在多任务的方式。由于图卷积网络是用于捕获结构化数据点之间的关系的最有前途的方法之一，因此我们使用它们作为构建块，以在标准半监督图分类任务上实现有竞争力的结果。
2020-12-04 cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，基于变换的自监督学习已被应用于生成对抗网络（GANs），以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而，在现有的自监督GANs中，单独的自监督任务会导致与生成建模不一致的目标，因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题，我们提出了一种新的自监督GAN，它通过自监督数据转换来增强GAN标签（真实或虚假），从而将GAN任务与自监督任务相结合。具体地说，原始的分类器和自监督分类器被统一成一个标签增强的分类器，该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布，然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲，我们表明，所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven（鲁汶大学）
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标，它集成了自监督和结构学习。此外，我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明，与传统的自监督学习相比，该框架在下游分类任务中实现了更高的泛化性能，并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
本文探索了生成对抗网络在电子显微镜数据上的自监督预训练，证明其能提升多种下游任务性能，低复杂度微调模型优于高复杂度随机初始化模型，尤其在标注数据有限时优势显著。
2024-07-18 cond-mat.mtrl-sci cs.AI cs.CV
Learning Beyond Similarities: Incorporating Dissimilarities between Positive Pairs in Self-Supervised Time Series Learning
Technical University of Denmark（丹麦技术大学）
本文提出DEBS框架，通过整合正样本对间的差异性超越传统相似性建模，在ECG信号分析中将AFib检测准确率提升10%，为时间序列自监督学习提供新范式。
2023-09-14 cs.LG
Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay
Columbia University（哥伦比亚大学）
自监督学习因其不需要数据标注就能学习有意义的表示而成为近年来的热门方法。本文提出了一种新的图像增强技术，叠加图像，这还没有被广泛应用于自监督学习。此方法旨在为模型提供更好的指导，以理解底层信息，从而产生更有用的表示。所提出的方法使用对比学习进行评估，对比学习是一种广泛使用的自监督学习方法，在下游任务中表现出良好的性能。实验结果表明，所提出的增强技术在提高自监督模型的性能方面是有效的。
2023-01-23 cs.CV cs.LG
TriBYOL: Triplet BYOL for Self-Supervised Representation Learning
Hokkaido University（北海道大学）
本文提出了一种新的自监督学习方法，学习更好的小批量表示。许多基于某种形式的连体网络的自监督学习方法已经出现并受到了极大的关注。然而，这些方法需要使用大批量来学习良好的表示，并需要大量的计算资源。我们提出了一个新的三重网络结合三重视图损失，以提高性能的自监督表示学习与小批量。实验结果表明，在小批量情况下，我们的方法在多个数据集上的性能可以大大优于最先进的自监督学习方法。我们的方法提供了一个可行的解决方案，自监督学习与现实世界的高分辨率图像，使用小批量。
2022-06-07 cs.AI cs.CV
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research（Facebook AI研究院）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆塔纳实验室）
最近，自监督学习方法，如MoCo，Simploy，BYOL和SwAV，已经缩小了与监督方法的差距。这些结果是在控制环境中实现的，即高度策划的ImageNet数据集。然而，自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中，我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督（SEER）模型，一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY，达到了84.2%的top-1准确率，超过了最好的自监督预训练模型1%，并证实了自监督学习在现实世界中的工作环境。有趣的是，我们还观察到自监督模型是很好的Few-Shot学习者，在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码：https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
Self-Adaptive Training: Bridging Supervised and Self-Supervised Learning
The University of Tokyo（东京大学）；Peking University（北京大学）；University of Waterloo（滑铁卢大学）
我们提出了自适应训练-一种统一的训练算法，通过模型预测动态校准和增强训练过程，而不会产生额外的计算成本-以推进深度神经网络的监督学习和自监督学习。我们在训练数据上分析深度网络的训练动态，这些数据被以下因素破坏，例如，随机噪声和对抗性示例。我们的分析表明，模型预测能够放大数据中有用的底层信息，即使在没有任何标签信息的情况下，这种现象也会广泛发生，这突出表明模型预测可以大大有利于训练过程：自适应训练提高了噪声下深度网络的泛化能力，并增强了自监督表示学习。该分析还有助于理解深度学习，例如，对最近发现的经验风险最小化中的双下降现象和最先进的自监督学习算法的崩溃问题的潜在解释。在CIFAR，STL和ImageNet数据集上的实验验证了我们的方法在三个应用中的有效性：标签噪声分类，选择性分类和线性评估。为了方便今后的研究，该守则已在https://github.com/LayneH/self-adaptive-training上公布。
2022-10-14 cs.CV cs.LG
Self-Supervised Models are Continual Learners
University of Trento（特伦托大学）；Inria（法国国家信息与自动化研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
当在大规模的未标记数据上进行离线训练时，自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而，在持续学习（CL）场景中，它们的功效会灾难性地降低，其中数据按顺序呈现给模型。在本文中，我们表明，自我监督的损失函数可以无缝地转换成CL蒸馏机制，通过添加一个预测网络，映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架，（i）显着提高学习表示的质量，（ii）与几个最先进的自监督目标兼容，（iii）几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
Self-supervised Video Object Segmentation
Fudan University（复旦大学）；University of Oxford（牛津大学）；West Virginia University（西弗吉尼亚大学）
本文的目标是自监督的表示学习，目标是解决半监督视频对象分割（a.k.a.密集跟踪）。本文的主要贡献如下：（1）改进了现有的自监督匹配方法，提出了一种简单有效的长时匹配记忆机制，解决了对象消失和再现带来的挑战;（ii）通过用在线自适应模块增强自监督方法，我们的方法成功地消除了由时空不连续性引起的跟踪器漂移，例如，遮挡或不遮挡，快速运动;（iii）我们探索了自监督表示学习用于密集跟踪的效率，令人惊讶的是，我们证明了一个强大的跟踪模型可以用少至100个原始视频剪辑来训练（相当于11分钟的持续时间），表明低级别的统计数据已经对跟踪任务有效;（iv）我们在DAVIS-2017和YouTube-VOS上展示了自监督方法的最新结果，并超越了使用数百万手动分割注释训练的大多数方法，进一步弥合了自监督学习和监督学习之间的差距。发布代码以促进任何进一步的研究（https：//github.com/fangruizhu/self_sup_semiVOS）。
2020-06-22 cs.CV cs.LG
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo（滑铁卢大学）
本综述总结自监督预训练在放射影像诊断任务中的效果，发现其通常优于全监督学习，尤其在未标记数据多时，并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
UC Berkeley（加州大学伯克利分校）；BAIR（伯克利人工智能研究中心）；Weill Neurosciences Institute（威尔神经科学研究所）；UCSF（加州大学旧金山分校）
无监督表示学习中的一个常见做法是使用标记数据来评估学习表示的质量。然后，该监督评估用于指导训练过程的关键方面，例如选择数据增强策略。然而，通过监督评估来引导无监督训练过程对于实际上不包含标签的真实世界数据是不可能的（例如，在诸如医学成像的隐私敏感领域中可能是这种情况）。因此，在这项工作中，我们表明，评估学习表示与自我监督的图像旋转任务是高度相关的一组标准的监督评价（秩相关$> 0.94$）。我们在数百种增强策略、训练设置和网络架构之间建立了这种相关性，并提供了一种算法（SelfAugment）来自动有效地选择增强策略，而无需使用监督评估。尽管没有使用任何标记的数据，学习的增强策略执行与使用穷举监督评估确定的增强策略的交互。
2021-05-17 cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
自监督学习方法在计算机视觉中获得越来越多的关注，这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理（NLP）中，自监督学习和Transformers已经是首选的方法。最近的文献表明，Transformers在计算机视觉中也变得越来越流行。到目前为止，视觉Transformer已经被证明在使用大规模监督数据或某种共同监督（例如，在教师网络方面）进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中，我们调查的优点自监督学习预训练图像/视觉Transformer，然后使用它们的下游分类任务。我们提出了自监督视觉Transformer（SiT），并讨论了几种自监督训练机制，以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明，预训练的SiT可以在小规模数据集上进行下游分类任务的微调，这些数据集由几千张图像组成，而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习，并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Self-supervised Learning from a Multi-view Perspective
Carnegie Mellon University（卡内基梅隆大学）
作为无监督表示学习的一个子集，自监督表示学习采用自定义信号作为监督，并将学习到的表示用于下游任务，例如目标检测和图像描述。许多提出的用于自监督学习的方法自然地遵循多视图视角，其中输入（例如，原始图像）和自监督信号（例如，增强图像）可以被看作数据的两个冗余视图。从这个多视角的角度来看，本文提供了一个信息理论的框架，以更好地理解的属性，鼓励成功的自监督学习。具体来说，我们证明了自监督学习表示可以提取任务相关的信息和丢弃任务无关的信息。我们的理论框架为自监督学习目标设计的更大空间铺平了道路。特别是，我们提出了一个复合目标，弥合了以前的对比和预测学习目标之间的差距，并引入了一个额外的目标项，以丢弃任务无关的信息。为了验证我们的分析，我们进行对照实验，以评估复合目标的影响。我们还探讨了我们的框架的经验泛化超越多视图的角度来看，跨视图冗余可能不会被清楚地观察到。
2021-03-22 cs.LG stat.ML
Self-Supervised Learning for Large-Scale Unsupervised Image Clustering
Technion – Israel Institute of Technology（以色列理工学院）
无监督学习一直吸引着机器学习研究人员和从业者，使他们能够避免昂贵而复杂的数据标记过程。然而，复杂数据的无监督学习具有挑战性，即使是最好的方法也比有监督的方法表现出更弱的性能。自监督深度学习已经成为计算机视觉中表示学习的强大工具。然而，这些方法尚未在完全无监督的环境中进行评估。在本文中，我们提出了一个简单的计划，基于自监督表示的无监督分类。我们使用几种最近的自监督方法对所提出的方法进行了评估，结果表明它在ImageNet分类方面取得了有竞争力的结果（ImageNet上1000个聚类的准确率为39%，过聚类的准确率为46%）。我们建议将无监督评估添加到自监督学习的标准基准中。代码可在https://github.com/Randl/kmeans_selfsuper上获得
2020-11-09 cs.CV cs.LG
UniTS: A Universal Time Series Analysis Framework Powered by Self-Supervised Representation Learning
Harbin Institute of Technology（哈尔滨工业大学）；CnosDB Inc.（CnosDB公司）
针对现有时间序列分析方法任务定制化、难应对部分标注与域偏移等问题，研究提出融合自监督表示学习、类sklearn API且带友好GUI的UniTS通用框架，在多任务和实际场景中性能优于传统任务特定方法。
2024-08-17 cs.DB cs.LG
Interactive Contrastive Learning for Self-supervised Entity Alignment
Tsinghua University（清华大学）；Beijing University of Chemical Technology（北京化工大学）；Singapore Management University（新加坡管理大学）；Information Research Center of Military Science（军事科学院信息研究中心）；China Mobile Research Institute（中国移动研究院）
自监督实体对齐（EA）的目标是在没有种子对齐的情况下将不同知识图谱（KG）之间的等价实体链接起来。当前的SOTA自监督EA方法从对比学习中获得灵感，该方法最初是基于实例判别和对比损失在计算机视觉中设计的，并且存在两个缺点。首先，它单向强调将采样的负实体推得很远，而不是像在完善的监督EA中那样将正对齐的对拉得很近。其次，KG包含丰富的边信息（例如，实体描述），以及如何有效地利用这些信息还没有得到充分的研究，在自我监督EA。在本文中，我们提出了一个互动的对比学习模型的自我监督EA。该模型不仅对实体的结构和语义（包括实体名称、实体描述和实体邻域）进行编码，而且通过建立伪对齐的实体对进行跨KG对比学习。实验结果表明，我们的方法优于以前的最好的自我监督的结果由一个大的利润率（超过9%的平均改善），并表现出与以前的SOTA监督同行，展示了互动对比学习的有效性自我监督EA。
2022-10-10 cs.AI cs.CL
Self-supervised Learning: Generative or Contrastive
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology (TNList)（清华信息科学与技术国家实验室）；Anhui University（安徽大学）；Renmin University of China（中国人民大学）
深度监督学习在过去十年中取得了巨大的成功。然而，其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法，在过去的几年里，由于其在表示学习方面的出色表现，吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督，并使几乎所有类型的下游任务受益。在这篇综述中，我们将探讨新的自监督学习方法，用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法，并根据其目标将其归纳为三个主要类别：生成，对比和生成对比（对抗）。我们进一步研究相关的理论分析工作，提供更深层次的思考自监督学习是如何工作的。最后，我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
TS-MoCo: Time-Series Momentum Contrast for Self-Supervised Physiological Representation Learning
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；TU Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；TU Graz（格拉茨工业大学）；Silicon Austria Labs（奥地利硅实验室）
针对标记生理数据不足的问题，提出基于动量对比的自监督时间序列表征学习框架TS-MoCo，采用Transformer架构，在两类公开生理数据集上验证了其学习判别特征、支撑下游分类任务的有效性。
2023-06-10 cs.HC cs.LG eess.SP
Masked Scene Modeling: Narrowing the Gap Between Supervised and Self-Supervised Learning in 3D Scene Understanding
TU Wien（维也纳技术大学）；Ulm University（乌尔姆大学）
本文提出掩码场景建模自监督方法及稳健评估协议，使3D场景理解中仅用现成特征即可达到与有监督模型相当的性能，并大幅超越现有自监督方法。
2025-04-09 cs.AI cs.CV
CARLA: Self-supervised Contrastive Representation Learning for Time Series Anomaly Detection
Monash University（莫纳什大学）；Griffith University（格里菲斯大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
CARLA 提出一种自监督对比表示学习方法，通过注入异常作为负样本并利用邻居信息，在七个真实时间序列异常检测数据集上优于现有方法。
2024-08-08 cs.LG cs.NE
