Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
对比自监督学习在许多下游任务（如分割和目标检测）上的表现优于监督预训练。然而，目前的方法仍然主要应用于像ImageNet这样的策展数据集。在本文中，我们首先研究数据集中的偏差如何影响现有的方法。我们的研究结果表明，目前的对比方法在以下几个方面的效果令人惊讶：（i）对象与场景为中心，（ii）统一与长尾，以及（iii）一般与特定领域的数据集。其次，考虑到该方法的一般性，我们试图通过微小的修改来实现进一步的收益。我们表明，学习额外的不变性-通过使用多尺度裁剪，更强的增强和最近的邻居-提高了表示。最后，我们观察到MoCo在使用多作物策略进行训练时学习空间结构化表示。该表示可用于语义段检索和视频实例分割而无需微调。此外，结果与专业模型相当。我们希望这项工作能为其他研究人员提供有益的研究。代码和模型可在https://github.com/wvangansbeke/Revisiting-Contrastive-SSL上获得。
2021-12-14 cs.CV cs.LG
Hierarchically Decoupled Spatial-Temporal Contrast for Self-supervised Video Representation Learning
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们提出了一种新的自监督视频表示学习的技术：（a）解耦的学习目标分为两个对比的子任务，分别强调空间和时间特征，（b）执行它的层次，以鼓励多尺度的理解。出于它们在监督学习中的有效性，我们首先将时空特征学习解耦和分层学习引入到无监督视频学习的背景中。我们通过实验表明，可以将增强操作作为正则化来引导网络在对比学习中学习所需的语义，并且我们提出了一种方法，使模型能够在多个尺度上分别捕获空间和时间特征。我们还介绍了一种方法来克服不同层次的实例不变性的发散水平的问题，通过建模的不变性作为损失权重的客观重新加权。在UCF101和HMDB51上的下游动作识别基准上的实验表明，我们提出的分层解耦时空对比度（HDC）在整体上比直接学习时空特征有了实质性的改进，并且与其他最先进的无监督方法相比，具有竞争力的性能。代码将提供。
2021-08-31 cs.AI cs.CV cs.LG
CGCL: Collaborative Graph Contrastive Learning without Handcrafted Graph Data Augmentations
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）；Chinese Academy of Sciences（中国科学院）
本文提出协作图对比学习框架CGCL，通过多个互补图编码器观察图并以其特征作为对比视图，避免手工图增强带来的不稳定扰动，从而提升无监督图级表示学习性能。
2024-04-01 cs.AI cs.LG
Domain Confused Contrastive Learning for Unsupervised Domain Adaptation
Nanyang Technological University（南洋理工大学）
在这项工作中，我们研究了无监督领域自适应（UDA）在一个具有挑战性的自我监督的方法。其中一个难点是如何在没有目标标签的情况下学习任务区分。与以往文献中直接对齐跨域分布或利用反向梯度不同，我们提出了域混淆对比学习（DCCL），通过域拼图来桥接源域和目标域，并在适应后保留区分性表示。从技术上讲，DCCL搜索最具领域挑战性的方向，并将领域混淆的增强作为正对进行精细加工，然后对比鼓励模型将表示拉向另一个领域，从而学习更稳定和有效的领域不变性。我们还研究了在进行其他数据增强时，对比学习是否一定有助于UDA。大量的实验表明，DCCL显着优于基线。
2022-07-10 cs.CL cs.LG
Self-Supervised Learning from Structural Invariance
Mila - Québec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；CHU Sainte-Justine（圣约斯特医院）；HEC Montréal（蒙特利尔高等商学院）；CIFAR AI Chair（CIFAR人工智能 chair）
研究自监督学习中一对多映射问题，引入潜变量处理条件不确定性，推导变分下界，得出正则项，所提AdaSSL方法适用于多种自监督目标，在多领域有应用。
2026-07-07 cs.LG
RoPAD: Robust Presentation Attack Detection through Unsupervised Adversarial Invariance
USC Information Sciences Institute（南加州大学信息科学研究所）
对于企业、个人和社会应用，现在对使用计算机视觉从图像自动认证身份的需求越来越大。然而，目前的认证技术仍然容易受到呈现攻击。我们提出了RoPAD，这是一种用于呈现攻击检测的端到端深度学习模型，它采用无监督对抗不变性来忽略图像中的视觉干扰物，以提高鲁棒性并减少过拟合。实验结果表明，该框架在多个基准数据集上表现出最先进的表现攻击检测性能。
2019-03-20 cs.CV cs.LG
Info3D: Representation Learning on 3D Objects using Mutual Information Maximization and Contrastive Learning
Autodesk AI Lab（Autodesk AI 实验室）
计算机视觉的一个主要任务是从三维数据中表示、理解和提取结构。为了实现这一目标，无监督学习是一个强大而必要的工具。目前用于3D形状分析的大多数无监督方法使用对齐的数据集，需要重建对象，并且在下游任务上性能恶化。为了解决这些问题，我们建议扩展InfoMax和3D形状的对比学习原则。我们表明，我们可以最大限度地提高3D对象和他们的“块”之间的互信息，以改善对齐数据集的表示。此外，我们可以通过最大化3D对象与其几何变换版本之间的互信息来实现SO ${(3)}$群中的旋转不变性。最后，我们进行了聚类、迁移学习、形状检索等实验，取得了较好的效果。
2020-08-22 cs.CV cs.LG eess.IV
Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration
JD AI Research（京东人工智能研究院）；Sun Yat-sen University（中山大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们的工作揭示了现有主流自监督学习方法的结构性缺陷。鉴于自监督学习框架通常认为流行的完美实例级不变性假设是理所当然的，我们仔细研究了背后的陷阱。特别是，我们认为，现有的增强管道生成多个积极的意见，自然会引入外的分布（OOD）的样本，破坏下游任务的学习。对投入产生各种积极的增加并不总是有利于下游任务。为了克服这个固有的缺陷，我们引入了一个轻量级的潜变量模型UOTA，针对自监督学习的视图采样问题。UOTA自适应地搜索最重要的采样区域产生视图，为鲁棒的自监督学习方法提供了可行的选择。我们的方法直接推广到许多主流的自监督学习方法，无论损失的性质是否具有对比性。我们经验表明，UOTA的优势，国家的最先进的自我监督的范例与明显的利润率，这很好地证明了存在的面向对象的样本问题嵌入在现有的方法。特别是，我们从理论上证明了该建议的优点归结为保证估计方差和偏差减少。代码可在https://github.com/ssl-codelab/uota获得。
2021-12-15 cs.AI cs.CV cs.LG
Multi-Domain Causal Representation Learning via Weak Distributional Invariances
FAIR at Meta（Meta人工智能研究院）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Michigan（密歇根大学）
针对多域因果表征学习中过度简化的单节点完美干预假设，本文利用潜在变量在支撑集、方差等分布性质上的弱不变性，证明自编码器可识别稳定潜在变量集合。
2023-12-11 cs.LG stat.ML
Delving into Spectral Clustering with Vision-Language Representations
本文提出基于预训练视觉语言模型的神经切线核谱聚类方法，通过跨模态对齐提升图像聚类性能，实验表明在16个基准数据集上显著优于现有方法。
2026-03-15 cs.CV
Adversarial Unsupervised Representation Learning for Activity Time-Series
University of Minnesota（明尼苏达大学）；Nanyang Technological University（南洋理工大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
充足的体力活动和宁静的睡眠在预防和治疗许多慢性疾病方面发挥着重要作用。能够主动筛查和监测这些慢性疾病将是整体健康的一大步。可穿戴设备的快速普及提供了一个重要的新来源，使实时跟踪用户的生活方式成为可能。在本文中，我们提出了一种新的无监督表示学习技术称为activity2vec，学习和“总结”离散值的活动时间序列。它学习具有三个组成部分的表示：（i）时间段中活动水平的共同出现和幅度，（ii）时间段的相邻上下文，以及（iii）通过对抗训练促进主体不变性。我们评估我们的方法使用线性分类器的四个障碍预测任务。实证评估表明，我们提出的方法的规模和性能优于许多强大的基线。对抗机制通过提升主体不变特征来帮助提高我们表示的泛化能力。我们还表明，在一天的水平上使用表示效果最好，因为人类活动是按照日常惯例进行的
2018-11-14 cs.LG stat.ML
Learning Without Augmenting: Unsupervised Time Series Representation Learning via Frame Projections
ETH Zürich（苏黎世联邦理工学院）
本文提出一种通过帧投影生成视图的无监督时间序列表示学习方法，无需数据增强即可提升性能，适用于多个时间序列任务。
2026-01-15 cs.AI cs.LG
Spatiotemporal Contrastive Video Representation Learning
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）
我们提出了一种自监督的对比视频表示学习（CVRL）方法来学习时空视觉表示从未标记的视频。我们的表示是使用对比损失来学习的，其中来自同一短视频的两个增强剪辑在嵌入空间中被拉到一起，而来自不同视频的剪辑被推开。我们研究了视频自监督学习的良好数据增强，发现空间和时间信息都是至关重要的。我们仔细设计了涉及空间和时间线索的数据增强。具体地说，我们提出了一个时间上一致的空间增强方法施加强大的空间增强视频的每一帧，同时保持跨帧的时间一致性。我们还提出了一个基于采样的时间增强方法，以避免过度强制执行的剪辑是遥远的时间上的不变性。在Kinetics-600上，在CVRL学习的表示上训练的线性分类器在3D-ResNet-50（R3 D-50）主干上实现了70.4%的前1准确率，比ImageNet监督预训练高出15.7%，比Simplified无监督预训练高出18.8%。CVRL的性能可以通过更大的R3 D-152（2x过滤器）主干进一步提高到72.9%，显著缩小了无监督和有监督视频表示学习之间的差距。我们的代码和模型将在https://github.com/tensorflow/models/tree/master/official/上提供。
2021-04-05 cs.CV cs.LG
Improving Transferability of Representations via Augmentation-Aware Self-Supervision
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊云科技）；LG AI Research（LG人工智能研究院）
最近的无监督表示学习方法已被证明是有效的，在一系列的视觉任务，通过学习表示不变的数据增强，如随机裁剪和颜色抖动。然而，如果下游任务依赖于数据增强的特性，例如，位置或颜色敏感。这不仅仅是无监督学习的问题;我们发现即使在监督学习中也会发生这种情况，因为它也学会为实例的所有增强样本预测相同的标签。为了避免这样的失败并获得更通用的表示，我们建议优化一个辅助的自监督损失，称为AugSelf，它学习增强参数的差异（例如，裁剪位置、颜色调整强度）。我们的直觉是，AugSelf鼓励在学习表征中保留增强感知信息，这可能有利于它们的可转移性。此外，AugSelf可以很容易地融入到最近最先进的表示学习方法中，而额外的训练成本可以忽略不计。大量的实验表明，我们简单的想法一致地提高了在各种迁移学习场景中通过监督和无监督方法学习的表示的可迁移性。该代码可在https://github.com/hankook/AugSelf上获得。
2021-11-18 cs.AI cs.CV cs.LG
OBoW: Online Bag-of-Visual-Words Generation for Self-Supervised Learning
University of Crete（克里特大学）；Sorbonne Université（索邦大学）
在没有人类监督的情况下学习图像表示是一个重要而活跃的研究领域。最近的几种方法已经成功地利用了在不同类型的扰动下使这种表示不变的想法，特别是通过基于对比的实例判别训练。虽然有效的视觉表示确实应该表现出这种不变性，但还有其他重要的特征，例如编码上下文推理技能，替代的基于重建的方法可能更适合。考虑到这一点，我们提出了一个师生计划，通过训练卷积网络来重建图像的视觉词袋（BoW）表示来学习表示，并将同一图像的扰动版本作为输入。我们的策略对教师网络（其作用是生成BoW目标）和学生网络（其作用是学习表征）进行在线训练，同时在线更新视觉词汇（用于BoW目标）。这个想法有效地实现了完全在线的BoW引导的无监督学习。大量的实验表明，我们的BoW为基础的战略，超越了以前的国家的最先进的方法（包括对比为基础的）在几个应用程序的兴趣。例如，在Pascal目标检测、Pascal分类和Places205分类等下游任务中，我们的方法改进了所有先前的无监督方法，从而建立了新的最先进的结果，这些结果甚至比有监督的预训练的结果要好得多。我们在https://github.com/valeoai/obow上提供了实现代码。
2021-10-29 cs.CV cs.LG
Self-Supervised Learning of Pretext-Invariant Representations
Facebook AI Research（脸书人工智能研究院）
从图像中进行自监督学习的目标是通过不需要对大型图像训练集进行语义注释的借口任务来构建语义上有意义的图像表示。许多借口任务导致与图像变换协变的表示。我们认为，相反，语义表示在这种变换下应该是不变的。具体来说，我们开发了Pretext-Invariant表示学习（PIRL，发音为“pearl”），它基于借口任务学习不变表示。我们将PIRL用于一个常用的借口任务，包括解决拼图游戏。我们发现，PIRL大大提高了学习的图像表示的语义质量。我们的方法设置了一个新的国家的最先进的自监督学习从图像上的几个流行的基准自监督学习。尽管是无监督的，但PIRL在学习目标检测的图像表示方面优于有监督的预训练。总之，我们的研究结果表明，自监督学习的图像表示具有良好的不变性的潜力。
2019-12-04 cs.CV cs.LG
CLDG: Contrastive Learning on Dynamic Graphs
Beihang University（北京航空航天大学）
针对动态图对比学习中增强导致语义变化的问题，提出CLDG框架，利用时间平移不变性提取持久信号，在七个数据集上超越八个无监督基线，并大幅减少参数与训练时间。
2024-12-19 cs.AI cs.LG
SE-VGAE: Unsupervised Disentangled Representation Learning for Interpretable Architectural Layout Design Graph Generation
National University of Singapore（新加坡国立大学）；National Supercomputing Centre, Singapore（新加坡国家超级计算中心）；Singapore Data Science Consortium（新加坡数据科学联盟）
本文提出无监督解耦表示学习框架SE-VGAE，通过集成边增强编码器、潜在空间解耦模块和风格解码器生成建筑布局图，并贡献大规模基准数据集，开创了该领域的解耦表示学习。
2024-06-25 cs.AI cs.LG
Towards Histopathological Stain Invariance by Unsupervised Domain Augmentation using Generative Adversarial Networks
University of Strasbourg（斯特拉斯堡大学）；University of Belgrade（贝尔格莱德大学）；University of Kragujevac（克拉古耶瓦茨大学）；Hannover Medical School（汉诺威医学院）；University Clinic, Freiburg（弗赖堡大学诊所）
监督式深度学习方法在数字病理学中的应用受到限制，因为它们对域转移敏感。数字病理学是一个容易因许多来源而产生高度变异性的领域，包括评价使用不同染色方案染色的几个连续组织切片的常见做法。获得每个染色剂的标签是非常昂贵和耗时的，因为它需要高水平的领域知识。在这篇文章中，我们提出了一种基于对抗性图像到图像翻译的无监督增强方法，这有助于训练染色不变的监督卷积神经网络。通过在一种常用的染色模式上训练网络，并将其应用于包括相应但不同染色的组织结构的图像，所提出的方法证明了对其他方法的显着改进。这些益处在七种不同染色模式（PAS、Jones H&E、CD 68、天狼星红、CD 34、H&E和CD 3）中的肾小球分割问题中得到说明，并且对所学习的表示的分析证明了它们的染色不变性。
2020-12-22 cs.CV cs.LG eess.IV
Unsupervised Human Action Recognition with Skeletal Graph Laplacian and Self-Supervised Viewpoints Invariance
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；University of Trento（特伦托大学）
本文提出了一种新的端到端的方法的问题，基于神经网络的无监督人体动作识别。我们提出了一个新的架构与卷积自动编码器，使用图形拉普拉斯正则化模型的动作的时间动态的骨架几何。我们的方法是强大的视点变化，包括一个自我监督的梯度反转层，确保泛化跨相机视图。该方法在NTU-60和NTU-120大规模数据集上进行了验证，在跨主题，跨视图和跨设置协议上，该方法优于所有先前的基于无监督模型的方法。虽然是无监督的，但我们的可学习表示允许我们的方法甚至超过一些基于监督的基于动作的动作识别方法。该代码可在：www.example.com
2022-04-21 cs.CV
Learning Invariance from Generated Variance for Unsupervised Person Re-identification
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；European Systems Integration（欧洲系统集成公司）
本文主要研究人的再识别（ReID）中的无监督表示学习。最近的自监督对比学习方法通过最大化同一图像的两个增强视图之间的表示相似性来学习不变性。然而，传统的数据增强可能会带来不希望的身份特征失真，这在身份敏感的ReID任务中并不总是有利的。在本文中，我们提出用生成对抗网络（GAN）取代传统的数据增强，该网络的目标是生成用于对比学习的增强视图。提出了一种三维网格引导的人物图像生成器，将人物图像分解为身份相关和身份无关的特征。与以前基于GAN的ReID方法只在与id无关的空间（姿势和相机风格）中工作不同，我们对与id无关和与id相关的特征进行基于GAN的增强。我们进一步提出了具体的对比损失，以帮助我们的网络学习不变性的身份无关和身份相关的扩增。通过联合训练生成模块和对比模块，我们的方法在主流大规模基准测试中实现了新的最先进的无监督人员ReID性能。
2023-01-02 cs.CV
Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervised Learning
CMU（卡内基梅隆大学）；NYU（纽约大学）
针对I-JEPA的完全坍缩与均值学习不足问题，本文提出融合VICReg的C-JEPA框架，并在ImageNet-1K上验证其表征稳定性、质量及收敛性能提升。
2024-10-25 cs.AI cs.CV cs.LG
Exploiting Spatial Invariance for Scalable Unsupervised Object Tracking
Mila（米拉研究所）；McGill University（麦吉尔大学）
在视觉世界中检测和跟踪对象的能力是任何智能代理的关键技能，因为它是任何对象级推理过程的必要前提。此外，重要的是，智能体学会在没有监督的情况下跟踪对象（即不访问带注释的训练视频），因为这将允许智能体在最少的人工帮助下开始在新环境中操作。近年来，学习发现和跟踪视频中的对象的任务（我们称之为\textit{unsupervised object tracking}）越来越突出;然而，解决这个问题的大多数架构仍然难以处理包含许多对象的大型场景。在目前的工作中，我们提出了一个架构，以及采用空间不变的计算（卷积和空间注意力）和表示（空间局部对象规范方案）的大场景，多对象设置的规模。在一系列实验中，我们展示了我们的架构的一些有吸引力的功能;最值得注意的是，它在跟踪具有许多对象的杂乱场景中的对象时优于竞争方法，并且它可以很好地推广到比训练期间遇到的视频更大和/或包含更多对象的视频。
2019-11-20 cs.CV cs.LG stat.ML
TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting
Carnegie Mellon University（卡内基梅隆大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）；CUHK（香港中文大学）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）
我们提出了一个轻量级的视频运动重定向方法transMoMo，能够将运动的人在源视频逼真地转移到另一个视频的目标人。在不使用任何成对数据进行监督的情况下，所提出的方法可以通过利用包括运动、结构和视角的三个正交变化因素的不变性来以无监督的方式进行训练。具体来说，损失函数仔细推导出的基础上的不变性，我们训练自动编码器，以解开这些因素的潜在表示给定的源和目标视频剪辑。这允许我们选择性地将从源视频中提取的运动无缝地传输到目标视频，而不管源和目标之间的结构和视角差异。配对数据的宽松假设允许我们的方法在大量视频上进行训练，而无需手动注释源-目标配对，从而提高了对视频中大的结构变化和极端运动的鲁棒性。我们证明了我们的方法的有效性超过国家的最先进的方法。代码、模型和数据在我们的项目页面（https：//yzhq97.github.io/transmomo）上公开。
2020-04-01 cs.CV
PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）
我们提出了一个新的框架，语义分割没有注释通过聚类。现成的聚类方法仅限于策展的、单标签的和以对象为中心的图像，而现实世界的数据主要是未策展的、多标签的和以场景为中心的。我们将聚类从图像扩展到像素，并将单独的聚类成员分配给每个图像中的不同实例。然而，仅仅依靠像素级特征相似性无法学习高级语义概念，并且过度适应低级视觉线索。我们提出了一种方法，将几何一致性作为一种归纳偏差，以学习光度和几何变化的不变性和等变性。通过我们新颖的学习目标，我们的框架可以学习高级语义概念。我们的方法PiCIE（使用不变性和等方差的像素级特征聚类）是第一种能够分割事物和材料类别的方法，无需任何超参数调整或特定于任务的预处理。我们的方法在COCO和Cityscapes上的表现大大优于现有基线，分别为+17.5 Acc.和+4.5 mIoU。我们表明，PiCIE为标准监督训练提供了更好的初始化。该代码可在https://github.com/janghyuncho/PiCIE上获得。
2021-03-30 cs.CV
Unsupervised Visual Attention and Invariance for Reinforcement Learning
UC Berkeley / ICSI（加州大学伯克利分校 / 国际计算机科学研究所）
基于视觉的强化学习（RL）是成功的，但如何将其推广到未知的测试环境仍然具有挑战性。现有的方法专注于训练一个通用于改变视觉领域的RL策略，而我们专注于提取通用的视觉前景，为RL策略学习器提供干净的不变视觉。我们的方法是完全无监督的，没有手动注释或访问环境内部。给定训练环境中的动作视频，我们学习如何通过无监督的关键点检测提取前景，然后通过无监督的视觉注意自动生成每个视频帧的前景遮罩。然后，我们可以引入人工干扰项并训练模型以从噪声观测中重建干净的前景掩模。在测试过程中只需要这个学习模型来为RL策略学习器提供无干扰的视觉输入。我们的视觉注意力和不变性（VAI）方法在视觉领域泛化方面的表现明显优于最先进的方法，在DeepMind Control（我们的DrawerWorld Manipulation）基准测试中，每集的累积奖励增加了15%到49%（61%到229%）。我们的研究结果表明，不仅可以在没有任何监督的情况下学习域不变视觉，而且将RL从视觉干扰中解放出来也使策略更加集中，从而更好。
2021-04-16 cs.CV cs.RO
Learning to Perceive the World Through Control: Empowerment-Based Representation Learning
Princeton University, USA（普林斯顿大学，美国）
本文通过最大化赋能目标，研究如何学习仅捕捉环境控制相关特征的表示，并证明赋能代理诱导的前向和后向表示对控制无关特征具有不变性。
2026-05-28 cs.LG
Contrastive Unsupervised Learning of World Model with Invariant Causal Features
Cambridge Research Laboratory（剑桥研究实验室）；Toshiba Europe Limited（东芝欧洲有限公司）；University of Cambridge（剑桥大学）
在本文中，我们提出了一个世界模型，学习因果关系的特点，使用不变性原则。特别是，我们使用对比无监督学习来学习不变的因果特征，这使得不相关部分或观察风格的增强具有不变性。基于世界模型的强化学习方法独立地优化表示学习和策略。因此，由于缺乏对表示学习模块的监督信号，天真的对比损失实现崩溃。我们提出了一个干预不变的辅助任务，以减轻这个问题。具体来说，我们利用深度预测来明确地执行不变性，并使用数据增强作为对RGB观察空间的样式干预。我们的设计利用无监督表示学习来学习具有不变因果特征的世界模型。我们提出的方法在iGibson数据集上的分布点导航任务上显着优于当前最先进的基于模型和无模型强化学习方法。此外，我们提出的模型擅长于我们的感知学习模块的仿真到现实迁移。最后，我们在DeepMind控制套件上评估了我们的方法，并且由于深度不可用，因此只能隐式地执行不变性。尽管如此，我们提出的模型与最先进的对应模型表现相当。
2022-09-29 cs.AI cs.CV cs.LG
Robustness and Adaptation to Hidden Factors of Variation
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
我们在这里解决了AI鲁棒性的一个具体的、尚未得到广泛解决的方面，即寻求模型性能对数据中隐藏的变化因素的不变性/不敏感性。为此，我们采用了两步策略，a）通过生成模型进行无监督发现导致模型表现不佳的敏感因素，b）干预模型，使其性能不受这些敏感因素的影响。我们考虑3个独立的干预鲁棒性，包括：数据增强，语义一致性和对抗对齐。我们使用衡量不变性（不敏感性）和整体性能（效用）之间的权衡的指标来评估我们的方法，并显示我们的方法在3种设置（无监督，半监督和泛化）下的好处。
2022-03-03 cs.CV cs.LG
Modality-Aware Bias Mitigation and Invariance Learning for Unsupervised Visible-Infrared Person Re-Identification
本文提出模态感知的偏见缓解与不变性学习方法，通过改进的Jaccard距离和分割与对比策略，在无监督可见-红外人重识别中实现更可靠的跨模态关联和判别性表示学习。
2025-12-08 cs.CV
Learning robust visual representations using data augmentation invariance
University of Osnabrück（奥斯纳布吕克大学）；MRC Cognition and Brain Sciences Unit, University of Cambridge（剑桥大学MRC认知与脑科学组）
为图像对象分类训练的深度卷积神经网络与灵长类动物腹侧视觉流中发现的表征表现出显着的相似性。然而，人工和生物网络仍然表现出重要的差异。在这里，我们调查这样一个属性：增加不变性，以保持身份的图像变换发现沿腹流。尽管有理论证据表明不变性应该从优化过程中自然出现，但我们提出的经验证据表明，为对象分类训练的卷积神经网络的激活对数据增强中常用的身份保持图像变换并不鲁棒。作为一种解决方案，我们提出了数据增强不变性，一个无监督学习的目标，提高了鲁棒性的学习表示，通过促进增强图像样本的激活之间的相似性。我们的研究结果表明，这种方法是一种简单而有效的（训练时间增加10%）方法，可以提高模型的不变性，同时获得类似的分类性能。
2019-06-11 cs.CV cs.LG
Beyond Supervised vs. Unsupervised: Representative Benchmarking and Analysis of Image Representation Learning
University of Maryland, College Park（马里兰大学帕克分校）
通过利用对比学习、聚类和其他借口任务，用于学习图像表示的无监督方法在标准基准测试中取得了令人印象深刻的结果。结果是一个拥挤的领域-许多具有实质性不同实现的方法在流行的基准测试中产生的结果似乎几乎相同，例如ImageNet上的线性评估。然而，一个单一的结果并不能说明整个故事。在本文中，我们比较方法使用基于性能的基准，如线性评估，最近邻分类，聚类几个不同的数据集，证明缺乏一个明确的领跑者在当前的最先进的。在以前的工作，只进行监督与无监督比较，我们比较几个不同的无监督方法对彼此。为了丰富这种比较，我们分析嵌入的测量，如均匀性，公差，和中心内核对齐（CKA），并提出了我们自己的两个新的指标：最近邻图相似性和线性预测重叠。通过我们的分析，我们发现，在孤立的情况下，单一的流行方法不应该被视为好像他们代表了整个领域，未来的工作应该考虑如何利用这些方法的互补性。我们还利用CKA提供了一个框架来稳健地量化增强不变性，并提醒人们某些类型的不变性对于下游任务来说是不可取的。
2022-06-16 cs.CV
CLICv2: Image Complexity Representation via Content Invariance Contrastive Learning
XAUAT（西安建筑科技大学）
CLICv2通过移位分块、逐块对比损失和熵恢复掩码图像建模，在无监督图像复杂度表示中消除正样本对偏差并抑制内容干扰，在IC9600上显著超越现有方法。
2025-03-09 cs.CV
Cluster-guided Asymmetric Contrastive Learning for Unsupervised Person Re-Identification
Beijing University of Posts and Telecommunications（北京邮电大学）
无监督的人再识别（Re-ID）的目的是匹配行人图像从不同的相机视图在无监督的设置。现有的无监督人Re-ID方法通常建立在聚类的伪标签上。然而，聚类的质量在很大程度上取决于学习的特征的质量，这些特征绝大多数由图像中的颜色主导，特别是在无监督设置中。在本文中，我们提出了一个引导的非对称对比学习（CACL）方法的无监督的人的Re-ID，其中集群结构的杠杆作用，以指导在一个适当设计的非对称对比学习框架的特征学习。具体来说，我们提出了一种新的集群级对比损失，以帮助暹罗网络有效地挖掘特征学习的不变性相对于不同的数据增强视图内和之间的集群结构，分别。在三个基准数据集上进行的大量实验表明，我们的建议具有优越的性能。
2022-05-09 cs.CV
Improving Content-Invariance in Gated Autoencoders for 2D and 3D Object Rotation
Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究院）；Johannes Kepler University（约翰内斯·开普勒大学）
GAE学习的映射代码的内容不变性是各种关系学习任务的有用特征。在本文中，我们表明，内容不变性的映射代码的图像的2D和3D旋转的对象，可以大大提高延长标准的GAE损失（对称重建误差）的正则化项，惩罚对称交叉重建误差。这个误差项涉及到用从表现出类似变换的其他对获得的映射码来重建对。虽然这主要需要训练对所表现出的变换的知识，但我们的实验表明，自举方法可以回避这个问题，并且正则化项可以有效地用于无监督设置。
2017-07-05 cs.AI cs.CV cs.LG
Unsupervised Learning of Landmarks by Descriptor Vector Exchange
Unitary；VGG, University of Oxford（牛津大学VGG）；University of Edinburgh（爱丁堡大学）
随机图像变换的等方差是一种有效的方法来学习对象类别的地标，例如面部中的眼睛和鼻子，而无需人工监督。然而，这种方法并不能明确地保证所学习的地标与同一对象的不同实例之间的变化（例如不同的面部身份）一致。在本文中，我们开发了一个新的视角的等方差的方法，注意到密集的地标检测器可以被解释为本地图像描述符配备了不变性的类别内的变化。然后，我们提出了一个直接的方法来执行这样的标准等变损失的不变性。我们这样做，交换描述符向量之间的图像不同的对象实例之前，匹配它们的几何。以这种方式，相同的向量必须工作，而不管所考虑的特定对象标识。我们使用这种方法来学习可以同时被解释为局部描述符和密集地标的向量，结合两者的优点。在标准基准上的实验表明，这种方法可以匹配，在某些情况下，超过了现有的方法，学习地标没有监督的最先进的性能。代码可在www.robots.ox.ac.uk/~vgg/research/DVE/上获得。
2019-08-18 cs.CV
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina（北卡罗来纳大学）
利用生成扩散模型的多阶段特征，通过三种损失训练无监督分割网络，将三维生物医学图像分解为嵌套层次结构，在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
SiCL: Silhouette-Driven Contrastive Learning for Unsupervised Person Re-Identification with Clothes Change
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
针对无监督长期换装行人重识别难题，提出融合RGB与轮廓信息的SiCL对比学习框架，在六个基准上显著优于现有无监督方法。
2024-04-07 cs.CV
Augmented Skeleton Based Contrastive Action Learning with Momentum LSTM for Unsupervised Action Recognition
基于三维骨架数据的动作识别是近年来新兴的重要课题。大多数现有的方法要么提取手工制作的描述符，要么通过需要大量标记数据的监督学习范例来学习动作表示。在本文中，我们首次提出了一种名为AS-CAL的对比动作学习范式，它可以利用未标记骨架数据的不同增强来以无监督的方式学习动作表示。具体来说，我们首先提出了对比增强实例（查询和键）的输入骨架序列，这是由多个新的增强策略，学习不同的骨架变换的固有动作模式（“模式不变”）之间的相似性。其次，为了鼓励学习具有更一致动作表示的模式不变性，我们提出了一种动量LSTM，它被实现为基于LSTM的查询编码器的基于动量的移动平均，以编码键序列的长期动作动态。第三，我们引入了一个队列来存储编码的键，这使得我们的模型可以灵活地重用进行键，并建立一个更一致的字典，以提高对比学习。最后，通过对查询编码器学习到的隐藏动作状态进行时间平均，提出了一种新的动作表示方法--对比动作编码（CAE）。大量的实验表明，我们的方法通常可以将现有的手工方法提高10-50%的top-1准确率，并且可以实现与许多监督学习方法相当甚至更好的性能。
2021-04-02 cs.CV
Joint Generative and Contrastive Learning for Unsupervised Person Re-identification
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；European Systems Integration（欧洲系统集成公司）
最近的自监督对比学习通过从输入的不同视图（变换版本）学习不变性，为无监督的人重新识别（ReID）提供了一种有效的方法。在本文中，我们将生成对抗网络（GAN）和对比学习模块合并到一个联合训练框架中。虽然GAN为对比学习提供在线数据增强，但对比模块学习用于生成的视图不变特征。在这种情况下，我们提出了一个基于网格的视图生成器。具体地，网格投影用作生成人的新颖视图的参考。此外，我们提出了一个视图不变的损失，以促进原始和生成的意见之间的对比学习。与以前基于GAN的涉及领域自适应的无监督ReID方法不同，我们不依赖于标记的源数据集，这使得我们的方法更加灵活。大量的实验结果表明，我们的方法显着优于国家的最先进的方法下，完全无监督和无监督域自适应设置几个大规模的ReID数据集。
2021-03-30 cs.CV
Unsupervised Part-Based Disentangling of Object Shape and Appearance
Heidelberg University（海德堡大学）
大的类内变化是多个对象特征变化的结果。然而，图像只显示不同可变因素的叠加，如外观或形状。因此，学习如何区分和表示这些不同的特征是一个很大的挑战，特别是在无监督的情况下。此外，大型对象的连接需要一个灵活的基于零件的模型。我们提出了一种无监督的方法，通过在一个类别的所有实例中一致地学习部分来解开外观和形状。我们的模型学习对象表示的训练，同时利用不变性和等方差约束之间的综合变换的图像。由于不需要零件注释或对象类的先验信息，因此该方法适用于任意类。我们评估我们的方法在广泛的对象类别和不同的任务，包括姿态预测，解开图像合成，视频到视频的翻译。该方法在无监督关键点预测方面优于最先进的方法，甚至在形状和外观转移任务上与有监督方法相比也毫不逊色。
2019-06-17 cs.CV
BID: Boundary-Interior Decoding for Unsupervised Temporal Action Localization Pre-Trainin
The University of Hong Kong（香港大学）；Meta Reality Labs（元宇宙现实实验室）
针对基于骨架的运动表征脱离上下文易歧义的问题，提出首个无监督预训练框架BID，可将骨架运动序列划分为有语义的预动作片段，少量标注微调后性能大幅优于现有最优方法。
2024-03-12 cs.CV
TraIL-Det: Transformation-Invariant Local Feature Networks for 3D LiDAR Object Detection with Unsupervised Pre-Training
Durham University（杜伦大学）
本文提出TraIL-Det架构与变换不变局部特征，利用LiDAR各向同性辐射适应点密度变化，并结合多头自注意力编码器处理几何关系，在KITTI和Waymo数据集多种标签比例下mAP优于现有自监督3D目标检测方法。
2024-08-25 cs.CV cs.LG cs.RO
Imitating Targets from all sides: An Unsupervised Transfer Learning method for Person Re-identification
由于数据集间偏差（例如完全不同的身份和背景）和数据集内差异（例如相机不变性），人员重新识别（Re-ID）模型在一个数据集上训练并在另一个数据集上测试时通常表现出有限的性能。针对这一问题，在给定标记源训练集和未标记目标训练集的情况下，我们提出了一种无监督的迁移学习方法，其特点是：1）通过提出的ImitateModel同时弥合数据集间偏差和数据集内差异; 2）将无监督的人的Re-ID问题看作是一个由双分类损失公式化的半监督学习问题，以学习跨领域的判别表示; 3）从类风格空间中挖掘不同领域之间的潜在共性，以提高re-ID模型的泛化能力。在Market-1501和DukeMTMC-reID两个广泛使用的基准上进行了大量的实验，实验结果表明，该方法可以实现与其他最先进的无监督Re-ID方法相比具有竞争力的性能。
2021-04-28 cs.CV
Unsupervised Learning of Invariant Representations in Hierarchical Architectures
机器学习的当前阶段的特征在于依赖于大量标记示例（$n \to \infty$）的监督学习算法。下一阶段可能会集中在能够从很少的标记示例（$n \to 1$）中学习的算法上，就像人类似乎能够做到的那样。我们提出了一种解决这个问题的方法，并描述了基本理论，基于无监督，自动学习的“好”的表示监督学习，其特征在于小样本复杂性（$n$）。我们考虑视觉对象识别的情况下，虽然该理论适用于其他领域。出发点是猜想，证明在特定情况下，图像表示是不变的平移，缩放和其他变换可以大大降低学习的样本复杂性。我们证明了一个不变的和唯一的（歧视性）签名可以计算每个图像补丁，$I$，$I$和无监督学习期间存储的一组模板之间的点积的经验分布。一个执行过滤和合并的模块，就像Hubel和Wielton描述的简单和复杂的细胞一样，可以计算这样的估计。由这种基本的Hubel-Wielman模数组成的分层架构继承了其不变性，稳定性和可辨别性的特性，同时捕获了视觉世界的整体和部分组成组织。该理论扩展了现有的用于图像和语音识别的深度学习卷积架构。它还表明，视觉皮层腹侧流的主要计算目标是提供新对象/图像的分层表示，该表示对于变换是不变的，稳定的，并且对于识别是有区别的，并且这种表示可以在发展和视觉体验期间以无监督的方式不断学习。
2014-03-11 cs.CV cs.LG
Learning Visual Features Under Motion Invariance
University of Siena（锡耶纳大学）
人类不断地接触到具有自然时间结构的视觉数据流。然而，大多数成功的计算机视觉算法都是在图像级工作的，完全丢弃了运动所携带的宝贵信息。在本文中，我们声称，处理视觉流自然会导致制定运动不变性原理，这使得一个新的学习理论，起源于变分原理的建设，就像在物理学。这种原则性的方法非常适合于讨论视觉中出现的一些有趣的问题，并且它为在视网膜上发现卷积滤波器提供了一个适定性的计算方案。与需要大规模监督的传统卷积网络不同，所提出的理论为视频信号的无监督处理提供了一个真正的新场景，其中特征在具有运动不变性的多层架构中提取。虽然该理论能够实现新颖的计算机视觉系统，但它也揭示了基于信息的原则在推动可能的生物解决方案方面的作用。
2020-04-24 cs.CV
Unsupervised Joint Image Transfer and Uncertainty Quantification Using Patch Invariant Networks
University of Innsbruck（因斯布鲁克大学）
在大量成对训练数据不丰富的应用中，无监督图像传输能够实现模态内和模态间图像转换。为了确保从输入到目标域的结构保持映射，用于不成对图像传输的现有方法通常基于循环一致性，由于逆映射的学习而导致额外的计算资源和不稳定性。本文提出了一种新的方法，不依赖于任何配对的训练数据的单向域映射。通过使用GAN结构和基于补丁不变性的新的发电机损耗来实现适当的转移。更具体地说，在不同的尺度上对发生器输出进行评估和比较，这也导致对高频细节的关注增加以及隐含的数据增强。这种新的补丁损失也提供了可能性，准确地预测任意的不确定性，通过建模的输入依赖的比例尺地图的补丁残差。所提出的方法进行了全面评估三个完善的医疗数据库。与四种最先进的方法相比，我们在这些数据集上观察到了更高的准确性，这表明所提出的方法在考虑不确定性的情况下用于未配对图像传输的巨大潜力。建议框架的实现在这里发布：\url{https://github.com/anger-man/unsupervised-image-transfer-and-uq}。
2022-09-02 cs.CV cs.LG eess.IV
Motion Invariance in Visual Environments
University of Florence（佛罗伦萨大学）；SAILab；University of Siena（锡耶纳大学）
当我们意识到大多数成功的方法都是在图像层面上工作时，计算机视觉的难题可能会找到新的具有挑战性的解决方案，这比直接处理视觉流要困难得多，就像自然界中发生的那样。在本文中，我们声称它们的处理自然会导致制定运动不变性原则，这使得基于卷积特征的视觉学习新理论的构建成为可能。该理论解决了自然视觉中出现的许多有趣的问题，并为发现视网膜上的卷积滤波器提供了适定的计算方案。它们是由欧拉-拉格朗日微分方程驱动的，该方程来自与力学定律平行的最小认知作用原理。与需要大量监督的传统卷积网络不同，所提出的理论提供了一个真正的新场景，其中通过对视频信号的无监督处理进行特征学习。该理论的实验报告，我们表明，运动不变性下提取的特征产生的改进，可以通过测量信息为基础的指数进行评估。
2018-07-14 cs.CV
Unsupervised Cardiac Segmentation Utilizing Synthesized Images from Anatomical Labels
Fudan University（复旦大学）；University of Oxford（牛津大学）；Chung-Ang University（中央大学）
心脏分割在临床实践中有很大的需求。由于手工描绘的巨大劳动，期望无监督分割。该任务的不适定优化问题本质上是具有挑战性的，需要精心设计的约束。在这项工作中，我们提出了一个无监督的框架，多类分割的强度和形状的约束。首先，我们扩展了一个传统的非凸能量函数作为强度约束，并实现了它与U-Net。对于形状约束，通过图像到图像转换从解剖标签生成合成图像，作为分割网络的形状监督。此外，应用增强不变性以便于分割网络学习形状方面的潜在特征。我们使用MICCAI 2019 MSCMR Challenge的公共数据集评估了拟议的框架，并在Myo、LV和RV的心脏MRI上取得了令人鼓舞的结果，Dice评分分别为0.5737、0.7796和0.6287。
2023-01-15 cs.CV eess.IV
AIR-DA: Adversarial Image Reconstruction for Unsupervised Domain Adaptive Object Detection
Southeast University（东南大学）；Graz University of Technology（格拉茨技术大学）
无监督域自适应目标检测是一项具有挑战性的视觉任务，其中目标检测器从标签丰富的源域适应到未标记的目标域。最近的进展证明了基于对抗的域对齐的有效性，其中特征提取器和域对齐器之间的对抗训练导致特征空间中的域不变性。然而，由于域的变化，域的歧视，特别是在低级别的功能，是一个容易的任务。这导致了域训练器和特征提取器之间的对抗训练的不平衡。在这项工作中，我们通过引入辅助正则化任务来改善训练平衡，从而实现更好的域对齐。具体来说，我们提出了对抗性图像重建（AIR）作为正则化器，以促进特征提取器的对抗性训练。我们进一步设计了一个多层次的特征对齐模块，以提高自适应性能。我们对几个具有挑战性的域转移数据集的评估表明，在大多数情况下，所提出的方法优于所有以前的方法，无论是一个阶段还是两个阶段。
2023-03-27 cs.CV
Small Data Challenges in Big Data Era: A Survey of Recent Progress on Unsupervised and Semi-Supervised Methods
Futurewei Technologies（未来技术公司）；University of Rochester（罗切斯特大学）
由于深度神经网络的成功通常依赖于大量的标记数据的可用性，因此使用小标记数据的表示学习已经出现了许多问题。为了解决这个问题，已经在无监督和半监督方式下使用少量标记数据训练复杂模型。本文将对这两大类方法的最新进展进行综述。一个广泛的模型将被归类在一个大的图片，在那里我们将展示他们如何相互作用，以激发新的想法的探索。我们将回顾学习变换等变、解纠缠、自监督和半监督表示的原理，所有这些都是最近进展的基础。许多无监督和半监督生成模型的实现都是在这些标准的基础上开发的，通过探索未标记数据的分布以获得更强大的表示，极大地扩展了现有自编码器、生成对抗网络（GANs）和其他深度网络的领域。我们将通过揭示无监督学习和半监督学习之间的内在联系来讨论新出现的主题，并提出未来的方向，以弥合无监督学习的变换等变性和监督学习的监督不变性之间的算法和理论差距，并统一无监督预训练和监督微调。我们还将对未来的方向提供更广阔的前景，以统一表示学习的变换和实例等方差，连接无监督和半监督增强，并探索自监督正则化在许多学习问题中的作用。
2021-01-02 cs.CV
Unsupervised Image Segmentation by Mutual Information Maximization and Adversarial Regularization
AmirKabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）；Monash University（莫纳什大学）
语义分割是自主智能体场景理解的基本任务之一。监督机器学习和神经网络的最新发展在增强用于该任务的最先进技术的性能方面取得了巨大成功。然而，它们的卓越性能高度依赖于大规模注释数据集的可用性。在本文中，我们提出了一种新的完全无监督的语义分割方法，所谓的信息最大化和对抗正则化分割（InMARS）。受人类感知的启发，将场景解析为感知组，而不是单独分析每个像素，我们提出的方法首先将输入图像划分为有意义的区域（也称为超像素）。接下来，它利用互信息最大化，然后采用对抗训练策略将这些区域聚类为语义上有意义的类。为了针对该问题定制对抗性训练方案，我们将对抗性像素噪声与空间扰动结合起来，以在深度神经网络上施加光度和几何不变性。我们的实验表明，我们的方法达到了最先进的性能上两个常用的无监督语义分割数据集，COCO-Stuff，波茨坦。
2021-07-01 cs.CV
Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
手术手势自动识别在机器人辅助微创手术中具有重要意义。然而，现有的方法假设训练和测试数据来自同一个域，这遭受严重的性能下降时，域间隙存在，如模拟器和真实的机器人。在本文中，我们提出了一种新的无监督领域自适应框架，可以同时转移多模态知识，即，从模拟器到真实机器人的运动学和视觉数据。它通过使用视频中的时间线索和多模态中的固有相关性来识别手势，从而利用增强的可转移特征来弥补域差距。具体来说，我们首先提出了一个MDO-K来对齐运动学，它利用时间连续性来传输具有较小间隙而不是位置值的运动方向，从而减轻适应负担。此外，我们提出了一个KV-Relation-ATT来传递运动学和视觉的共生信号。这些特征伴随着相关相似性，为增强模型的域不变性提供了更多的信息。两种特征对齐策略在端到端学习过程中使模型相互受益。我们广泛地评估我们的手势识别方法，使用DESK数据集与peg传输过程。实验结果表明，在不使用任何注释的情况下，该方法在ACC和F1评分中分别提高了12.91%和20.16%。
2021-07-17 cs.CV cs.LG cs.RO
Robust Equivariant Imaging: a fully unsupervised framework for learning to image from noisy and partial measurements
University of Edinburgh（爱丁堡大学）
深度网络在从医学成像到计算摄影的多个成像逆问题中提供最先进的性能。然而，大多数现有的网络都是用干净的信号训练的，这些信号通常很难或不可能获得。等变成像（EI）是最近的自监督学习框架，利用存在于信号分布中的组不变性来仅从部分测量数据学习重建函数。虽然EI结果令人印象深刻，但其性能会随着噪音的增加而下降。在本文中，我们提出了一个鲁棒等变成像（REI）框架，可以学习图像从噪声部分测量单独。该方法使用Stein的无偏风险估计（SURE）来获得对噪声具有鲁棒性的完全无监督的训练损失。我们表明，REI在线性和非线性逆问题上带来了可观的性能提升，从而为深度网络的鲁棒无监督成像铺平了道路。代码可在：https://github.com/edongdongchen/REI.
2022-03-15 cs.CV eess.IV eess.SP
