Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning
Xidian University(西安电子科技大学)
成分零次学习(Compositional Zero-Shot Learning,CNOL)的目的是在训练过程中识别由可见状态和对象形成的不可见成分。由于相同的态在与不同的物体纠缠时,在视觉上可能会有不同的表现,因此,量子纠缠仍然是一个具有挑战性的任务。一些方法使用两个训练好的分类器识别状态和对象,忽略了对象和状态之间的交互影响;另一些方法试图学习状态-对象组合的联合表示,导致可见和不可见组合集之间的域间隙。在本文中,我们提出了一种新的暹罗对比嵌入网络(SCEN)(代码:https://github.com/XDUxyLi/SCEN-master),用于不可见成分识别。考虑到状态和对象之间的纠缠,我们将视觉特征嵌入到一个暹罗对比空间中,分别捕获它们的原型,减轻了状态和对象之间的相互作用。此外,我们设计了一个状态转换模块(STM),以增加训练成分的多样性,提高识别模型的鲁棒性。大量的实验表明,我们的方法显着优于三个具有挑战性的基准数据集,包括最近提出的C-QGA数据集的最先进的方法。
2022-06-29 cs.CV
Exploring Localization for Self-supervised Fine-grained Contrastive Learning
Westlake University(西湖大学);Zhejiang University(浙江大学)
自监督对比学习在学习视觉表征方面表现出巨大的潜力。尽管它们在诸如图像分类和目标检测等各种下游任务中取得了成功,但用于细粒度场景的自监督预训练尚未得到充分探索。我们指出,目前的对比方法是容易记忆的背景/前景纹理,因此有一个局限性,在定位前景物体。分析表明,学习提取有区别的纹理信息和定位对于细粒度的自监督预训练同样重要。基于我们的研究结果,我们介绍了跨视图显着性对齐(CVSA),一个对比学习框架,首先作物和交换显着区域的图像作为一个新的视图生成,然后引导模型本地化前景对象通过跨视图对齐损失。在小规模和大规模细粒度分类基准上的大量实验表明,CVSA显着提高了学习的表示。
2022-10-11 cs.CV
CrossVideo: Self-supervised Cross-modal Contrastive Learning for Point Cloud Video Understanding
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对点云视频理解中监督学习数据稀缺、标签难获取的问题,提出CrossVideo自监督跨模态对比学习方法,利用点云与图像视频的跨模态关系,结合模态内、跨模态及多层次对比策略,性能超越现有最优方法。
2024-01-17 cs.CV
Focalized Contrastive View-invariant Learning for Self-supervised Skeleton-based Action Recognition
University of Oxford(牛津大学);City University of Hong Kong(香港城市大学);University of Glasgow(格拉斯哥大学);Durham University(杜伦大学)
本文提出FoCoViL框架,通过最大化多视角样本对之间的对比损失互信息来学习视角不变的骨架动作表示,并引入自适应聚焦化方法增强聚类边界,在无监督和有监督分类器上均表现优异。
2023-04-03 cs.CV
Tuned Contrastive Learning
UC San Diego(加州大学圣迭戈分校)
该研究提出新型TCL对比损失函数,支持批次内多正负样本、可调节难样本梯度响应,经理论和实验验证,在监督与自监督视觉表示学习场景下均达SOTA水平。
2023-05-30 cs.CV
EqCo: Equivalent Rules for Self-supervised Contrastive Learning
MEGVII Technology(旷视科技);The Chinese University of Hong Kong(香港中文大学)
在本文中,我们提出了EqCo(对比学习的等效规则),使自监督学习无关的负样本的数量在对比学习框架。受InfoMax原理的启发,我们指出对比损失中的边缘项需要根据负对的数量自适应地缩放,以保持稳定的互信息界和梯度幅值。EqCo弥合了广泛的负样本量之间的性能差距,因此,我们第一次可以只使用少数负对(例如,每个查询16个)来对ImageNet等大规模视觉数据集进行自监督对比训练,同时几乎没有准确性下降。这与当前实践中广泛使用的大批量训练或存储体机制形成鲜明对比。配备了EqCo,我们的简化MoCo(SiMo)在ImageNet(线性评估协议)上实现了与MoCov2相当的准确性,而每个查询只涉及16个阴性对,而不是65536个,这表明大量的阴性样本不是对比学习框架中的关键因素。
2023-02-26 cs.CV
CLAF: Contrastive Learning with Augmented Features for Imbalanced Semi-Supervised Learning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
针对不平衡半监督学习中伪标签偏差问题,提出CLAF方法,通过类依赖特征增强和从标记数据选择正负样本计算对比损失,在不平衡图像分类数据集上验证了有效性。
2023-12-24 cs.CV
Semi-Supervised Semantic Segmentation with Pixel-Level Contrastive Learning from a Class-wise Memory Bank
Universidad de Zaragoza(萨拉戈萨大学);Magic Leap(Magic Leap公司);Bitbrain(Bitbrain公司)
本文提出了一种新的半监督语义分割方法。这种方法的关键元素是我们的对比学习模块,该模块强制分割网络为整个数据集的同类样本产生类似的像素级特征表示。为了实现这一点,我们保持一个存储体不断更新的相关和高质量的特征向量标记的数据。在端到端训练中,来自标记数据和未标记数据的特征被优化为与来自存储体的同类样本相似。我们的方法在众所周知的公共基准上优于当前最先进的半监督语义分割和半监督领域自适应,在最具挑战性的场景上有更大的改进,即,更少的可用标记数据。https://github.com/Shathe/SemiSeg-Contrastive
2021-08-06 cs.CV
Multi-Domain Features Guided Supervised Contrastive Learning for Radar Target Detection
Shanghai Jiao Tong University(上海交通大学)
针对海杂波中小目标检测泛化不足的问题,提出MDFG_SCL融合多域统计特征与监督对比深度特征,在真实数据上实现跨海况稳健检测并优于主流对比学习方法。
2025-01-09 cs.CV
Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
大多数先进的面部表情识别工作的成功在很大程度上依赖于大规模的注释数据集。然而,它提出了很大的挑战,在获得干净和一致的面部表情数据集的注释。另一方面,自监督对比学习由于其简单而有效的实例区分训练策略而获得了极大的普及,该策略可以潜在地规避注释问题。然而,实例级鉴别仍然存在固有的缺点,当面对复杂的面部表示时,这甚至更具挑战性。在本文中,我们重新审视了自我监督对比学习的使用,并探讨了三个核心策略,以执行特定的表达,并尽量减少其他面部属性,如身份和面部造型的干扰。实验结果表明,我们提出的方法优于当前国家的最先进的自监督学习方法,在分类和维度的面部表情识别任务。
2022-10-08 cs.CV
A Survey on Contrastive Self-supervised Learning
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
自监督学习因其能够避免注释大规模数据集的成本而受到欢迎。它能够采用自定义的伪标签作为监督,并将学习到的表示用于多个下游任务。具体而言,对比学习最近已经成为计算机视觉、自然语言处理(NLP)和其他领域的自监督学习方法中的主导组成部分。它旨在嵌入同一样本的增强版本,同时试图推开来自不同样本的嵌入。本文提供了一个广泛的审查自我监督的方法,遵循对比的方法。这项工作解释了对比学习设置中常用的借口任务,然后是迄今为止提出的不同架构。接下来,我们对多个下游任务(如图像分类、目标检测和动作识别)的不同方法进行了性能比较。最后,我们总结了当前方法的局限性,以及需要进一步的技术和未来的方向,以取得实质性进展。
2021-02-07 cs.CV
COARSE3D: Class-Prototypes for Contrastive Learning in Weakly-Supervised 3D Point Cloud Segmentation
South China University of Technology(华南理工大学);Inria(法国国家信息与自动化研究所)
大规模3D数据的注释是出了名的麻烦和昂贵。作为替代方案,弱监督学习通过将注释减少几个数量级来满足这种需要。我们提出了COARSE 3D,一种新的架构不可知的对比学习战略的3D分割。由于对比学习需要丰富多样的例子作为键和锚,我们利用一个原型存储体有效地捕获类全局数据集信息到少量的原型作为键。然后,熵驱动的采样技术允许我们从预测中选择好的像素作为锚点。在三个基于投影的主干上的实验表明,我们在三个具有挑战性的真实户外数据集上的表现优于基线,使用低至0.001%的注释。
2022-10-08 cs.CV
Self-supervised Contrastive Learning for Cross-domain Hyperspectral Image Representation
DEVCOM Army Research Laboratory (ARL)(美国陆军作战能力发展司令部陆军研究实验室(ARL))
近年来,自监督学习由于其在不使用语义标签的情况下获得分类任务的有意义表示的显着能力而引起了人们的关注。本文介绍了一个自监督学习框架,适用于高光谱图像,本质上是具有挑战性的注释。所提出的框架架构利用跨域CNN,允许从不同的高光谱图像中学习表示,具有不同的光谱特性,没有像素级注释。在该框架中,通过对比学习来学习跨域表示,其中同一图像中的相邻光谱向量在包含多个高光谱图像的公共表示空间中聚类在一起。相反,在不同的高光谱图像的光谱矢量分离到不同的集群在空间中。为了验证通过对比学习学习的表示有效地转移到下游任务中,我们对高光谱图像执行分类任务。实验结果表明,所提出的自监督表示的优势,从零开始训练的模型或其他迁移学习方法。
2022-02-08 cs.CV
MuSCLe: A Multi-Strategy Contrastive Learning Framework for Weakly Supervised Semantic Segmentation
Loughborough University(拉夫堡大学);Cardiff University(卡迪夫大学);Central South University(中南大学)
弱监督语义分割(WSSS)已经获得了显着的普及,因为它只依赖于弱标签,如图像级注释,而不是像素级注释所需的监督语义分割(SSS)方法。尽管注释成本大大降低,但从WSSS学习的典型特征表示仅代表对象的一些突出部分,并且由于训练期间的弱指导,与SSS相比不太可靠。在本文中,我们提出了一种新的多策略对比学习(MuSCLe)框架,以获得增强的特征表示,并通过利用图像,区域,像素和对象边界级别的对比样本对的相似性和不相似性,提高WSSS性能。大量的实验证明了我们的方法的有效性,并表明MuSCLe在广泛使用的PASCAL VOC 2012数据集上的性能优于当前最先进的技术。
2022-01-18 cs.CV
Weakly Supervised Contrastive Learning
University of Science and Technology of China(中国科学技术大学);SenseTime Research(商汤科技研究院);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);The University of Sydney(悉尼大学)
无监督视觉表示学习由于对比学习近年来取得的成就而受到计算机视觉界的广泛关注。现有的对比学习框架大多采用实例判别作为前提任务,将每一个实例作为一个不同的类来处理。然而,这样的方法将不可避免地导致类冲突问题,这损害了学习表示的质量。出于这一观察的动机,我们引入了一个弱监督的对比学习框架(WCL)来解决这个问题。具体来说,我们提出的框架是基于两个投影头,其中一个将执行常规的实例判别任务。另一个头将使用基于图的方法来探索相似的样本并生成弱标签,然后基于弱标签执行有监督的对比学习任务,以将相似的图像拉近。我们进一步引入了一个基于K-近邻的多作物策略来扩大阳性样本的数量。大量的实验结果表明,WCL提高了跨不同数据集的自监督表示的质量。值得注意的是,我们得到了半监督学习的一个新的最先进的结果。只有1\%和10\%的标记示例,WCL使用ResNet 50实现了65\%和72\%的ImageNet Top-1准确度,甚至高于使用ResNet 101的SimCLRv 2。
2021-10-10 cs.CV
A Broad Study on the Transferability of Visual Representations with Contrastive Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
视觉表示学习已经取得了巨大的进步,特别是最近自我监督的对比学习方法的成功。监督式对比学习也被证明通过利用标签来选择对比位置而优于其交叉熵同行。然而,很少有研究探讨对比学习向不同领域的迁移能力。在本文中,我们进行了一个全面的研究,学习表示的不同对比方法的线性评估,全网络传输,和Few-Shot识别12个下游数据集从不同的领域,和目标检测任务MSCOCO和VOC 0712的可移植性。结果表明,对比的方法学习表示,很容易转移到一个不同的下游任务。我们进一步观察到,自监督对比度损失与交叉熵/监督对比度损失的联合目标导致这些模型比监督模型具有更好的可移植性。我们的分析表明,从对比方法中学习到的表示比交叉熵模型包含更多的低/中级语义,这使它们能够快速适应新任务。我们的代码和模型将公开,以促进未来的研究视觉表征的可转移性。
2021-08-16 cs.CV
CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
无监督领域自适应(UDA)的目的是将标记的源分布与未标记的目标分布对齐,以获得领域不变的预测模型。然而,众所周知的UDA方法的应用在半监督领域自适应(SSDA)场景中不能很好地推广,其中来自目标域的标记样本很少。在本文中,我们提出了一个简单的对比学习框架,半监督领域自适应(CLDA),试图弥合标记和未标记的目标分布之间的域内差距和源和未标记的目标分布之间的域间差距在SSDA。我们建议采用类的对比学习,以减少域间的差距和实例级对比对准之间的原始(输入图像)和强烈增强的未标记的目标图像,以尽量减少域内的差异。我们的经验表明,这两个模块相互补充,以实现卓越的性能。三个著名的领域自适应基准数据集,即DomainNet的,家庭,和B2B 31上的实验证明了我们的方法的有效性。CLDA在所有上述数据集上都取得了最先进的结果。
2021-11-10 cs.CV
Supervised Contrastive Learning on Blended Images for Long-tailed Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院)
真实世界的数据通常具有长尾分布,其中每个类的样本数量在训练类中不相等。不平衡的数据形成有偏的特征空间,这恶化了识别模型的性能。在本文中,我们提出了一种新的长尾识别方法来平衡潜在的特征空间。首先,我们引入了一种基于MixUp的数据增强技术来减少长尾数据的偏差。此外,我们提出了一种新的监督对比学习方法,命名为监督对比学习混合类(SMC),混合图像。SMC根据原始图像的类别标签创建一组阳性图像。阳性的组合比率对训练损失中的阳性进行加权。基于类混合损失的SMC探索了更多样的数据空间,增强了模型的泛化能力。在各种基准测试上的大量实验表明了我们的一阶段训练方法的有效性。
2022-11-22 cs.CV
Semi-Supervised Confidence-Level-based Contrastive Discrimination for Class-Imbalanced Semantic Segmentation
The Chinese University of Hong Kong(香港中文大学)
为了克服数据饥饿的挑战,我们提出了一个半监督的对比学习框架的类不平衡的语义分割的任务。首先,为了使模型能够以半监督的方式运行,提出了基于置信度的对比学习方法,以显式的方式实现实例判别,并使低置信度的低质量特征与高置信度的特征相匹配。此外,针对裂缝分割和道路成分提取中的类不平衡问题,提出了数据不平衡损失代替传统的像素级语义分割中的交叉熵损失。最后,我们还提出了一种有效的多级融合网络结构,以提高语义分割的性能。在实际工业裂缝分割和道路分割上的大量实验证明了该框架的优越性。我们提出的方法可以提供令人满意的分割结果,即使只有3.5%的标记数据。
2022-11-28 cs.CV
Guided Point Contrastive Learning for Semi-supervised Point Cloud Semantic Segmentation
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
3D语义分割的快速发展与深度网络模型的进步密不可分,深度网络模型高度依赖大规模注释数据进行训练。为了解决三维点云标注的高成本和挑战,提出了一种半监督点云语义分割方法,采用未标注的点云进行训练,以提高模型的性能。受最近自监督任务中的对比度损失的启发,我们提出了引导点对比度损失,以增强半监督环境中的特征表示和模型泛化能力。对未标记点云的语义预测在我们的损失中充当伪标签指导,以避免相同类别中的负对。此外,我们设计了置信度指导,以确保高质量的特征学习。此外,提出了一种类别平衡的抽样策略来收集正样本和负样本,以缓解类别不平衡问题。在三个数据集(ScanNet V2,S3DIS和SemanticKITTI)上的大量实验表明,我们的半监督方法可以有效地提高未标记数据的预测质量。
2021-10-15 cs.CV
Improving Fine-tuning of Self-supervised Models with Contrastive Initialization
South China University of Technology(华南理工大学);Guangdong University of Education(广东第二师范学院)
自监督学习(SSL)在预训练模型方面取得了显着的性能,这些模型可以通过微调进一步用于下游任务。然而,这些自监督模型可能无法捕获有意义的语义信息,因为属于同一类的图像总是被视为对比度损失中的负对。因此,同一类别的图像通常在学习的特征空间中彼此远离,这将不可避免地妨碍微调过程。为了解决这个问题,我们试图通过增强语义信息来为自监督模型提供更好的初始化。为此,我们提出了一种对比度优化(COIN)方法,该方法通过在微调之前引入额外的初始化阶段来打破标准的微调管道。大量的实验表明,通过丰富的语义,我们的COIN在不引入额外训练成本的情况下显着优于现有方法,并在多个下游任务上设置了新的最先进技术。
2022-07-30 cs.CV
Semi-supervised Contrastive Learning for Label-efficient Medical Image Segmentation
University of Notre Dame(圣母大学);Guangdong Provincial People’s Hospital(广东省人民医院)
深度学习方法在医学图像分割任务中的成功很大程度上取决于大量的标记数据来监督训练。另一方面,生物医学图像的注释需要领域知识并且可能是费力的。近年来,对比学习在学习图像的潜在表征方面显示出巨大的潜力,即使没有任何标签。现有的工作已经探索了其应用到生物医学图像分割,其中只有一小部分的数据被标记,通过预训练阶段的基础上自监督对比学习,而不使用任何标签,随后由一个监督微调阶段的标记部分的数据。在本文中,我们建立了通过在预训练阶段包括有限的标签信息,有可能提高对比学习的性能。我们提出了一个监督的局部对比度损失,利用有限的像素方式的注释,迫使具有相同标签的像素聚集在嵌入空间。这种损失需要逐像素计算,这对于大图像来说可能是昂贵的,我们进一步提出了两种策略,下采样和块划分,以解决这个问题。我们评估我们的方法对两个公共的不同形式的生物医学图像数据集。对于不同数量的标记数据,我们的方法始终优于最先进的基于对比度的方法和其他半监督学习技术。
2021-09-28 cs.CV
Transferability of Representations Learned using Supervised Contrastive Learning Trained on a Multi-Domain Dataset
Nanyang Technological University(南洋理工大学)
本文利用监督对比学习在多域 DomainNet 上训练表征,并通过 7 个下游数据集的固定特征线性评估,证明其平均性能比交叉熵基线高 6.05%。
2023-09-27 cs.CV
IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised Medical Image Segmentation
Stony Brook University(石溪大学);Jadavpur University(贾达普大学);University of Toronto(多伦多大学);Kyungpook National University(庆北国立大学)
由于标记数据的稀缺性,对比自监督学习(SSL)框架最近在一些医学图像分析任务中显示出巨大的潜力。然而,现有的对比机制是次优的密集像素级分割任务,由于他们无法挖掘本地功能。为此,我们将度量学习的概念扩展到分割任务,使用密集(不)相似性学习来预训练深度编码器网络,并采用半监督范式来微调下游任务。具体来说,我们提出了一个简单的卷积投影头来获得密集的像素级特征,以及一个新的对比损失来利用这些密集的投影,从而改善局部表示。下游任务设计了一个双向一致性正则化机制,包括两个流模型训练。经过比较,我们的IDEAL方法在心脏MRI分割上的公平边缘优于SoTA方法。可用代码:https://github.com/hritam-98/IDEAL-ICASSP23
2023-03-02 cs.CV
Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions
MIT(麻省理工学院);CIIRC CTU(捷克理工大学计算机科学与人工智能研究所);Adobe(奥多比)
我们介绍了弱监督学习的任务,用于检测视频中的人和对象的交互。我们的任务带来了独特的挑战,因为系统不知道视频中存在什么类型的人与物体的交互,也不知道人与物体的实际时空位置。为了解决这些挑战,我们引入了一种对比性弱监督训练损失,旨在将视频中的时空区域与动作和对象词汇相关联,并鼓励移动对象的视觉外观的时间连续性作为自我监督的一种形式。为了训练我们的模型,我们引入了一个数据集,该数据集包括超过6.5k个带有人机交互注释的视频,这些注释是从与视频相关的句子标题中半自动策划的。我们证明了在弱监督基线上改进的性能,这些基线适合我们在视频数据集上的任务。
2021-10-07 cs.CV
Dcl-Net: Dual Contrastive Learning Network for Semi-Supervised Multi-Organ Segmentation
College of Computer Science, Sichuan University(四川大学计算机学院);Southwest China Institute of Electronic Technology(西南电子技术研究所);College of Computer Science, Chengdu University of Information Technology(成都信息工程大学计算机学院)
针对半监督多器官分割中图像与类别关系利用不足的问题,提出两阶段Dcl-Net,通过全局与器官感知局部对比学习及掩码中心压缩提升分割性能。
2024-03-06 cs.CV
Self-Contrastive Learning with Hard Negative Sampling for Self-supervised Point Cloud Learning
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Lane Department of Computer Science and Electrical Engineering, West Virginia University(西弗吉尼亚大学计算机科学与电气工程系)
点云越来越受到人们的关注。点云分析方法已经取得了重大进展,这往往需要昂贵的人工注释作为监督。为了解决这个问题,我们提出了一种新的自对比学习的自监督点云表示学习,旨在捕捉局部几何模式和非局部语义基元的基础上的点云的非局部自相似性。贡献是双重的:一方面,而不是在对比学习中常用的不同点云之间进行对比,我们利用单个点云内的自相似点云补丁作为正样本,否则为负样本,以促进对比学习的任务。另一方面,我们主动学习接近正样本的硬负样本,以进行区分性特征学习。实验结果表明,该方法在自监督点云分割和迁移学习分类方面具有良好的性能。
2021-08-29 cs.CV
Global-Supervised Contrastive Loss and View-Aware-Based Post-Processing for Vehicle Re-Identification
Qiannan Normal University for Nationalities(黔南民族师范学院);Guizhou University(贵州大学);Peng Cheng Laboratory(鹏城实验室);Guangxi Normal University(广西师范大学)
在本文中,我们提出了一个全局监督对比损失和基于视图感知的后处理(VABPP)方法的车辆重新识别领域。传统的有监督对比损失算法计算的是批内特征间的距离,具有局部性。虽然提出的全局监督对比损失具有新的性质,具有良好的全局属性,但训练过程中每个锚点的正负特征来自整个训练集。本文提出的VABPP方法是第一次将基于视觉感知的方法作为后处理方法应用于车辆再识别领域。VABPP的优点是,首先,它只在测试过程中使用,不影响训练过程。其次,作为一种后处理方法,它可以很容易地集成到其他训练的re-id模型中。将训练好的模型计算出的视对距离缩放系数矩阵直接应用于另一个训练好的re-id模型,VABPP方法大大提高了其性能,验证了VABPP方法的可行性。
2022-04-17 cs.CV
An Evaluation of Non-Contrastive Self-Supervised Learning for Federated Medical Image Analysis
Jadavpur University(贾达沃普尔大学);University of Toronto(多伦多大学)
隐私和标注瓶颈是深刻影响基于机器学习的医学图像分析实用性的两大问题。虽然在这些领域取得了重大进展,但这些问题尚未完全解决。在本文中,我们试图解决这些问题的正面和系统地探讨非对比度自监督学习(SSL)算法下的联邦学习(FL)模拟医学图像分析的适用性。我们进行彻底的实验,最近提出的国家的最先进的非对比框架下的标准FL设置。以SoTA对比学习算法Simplified作为我们的比较基准,我们对我们选择的4种非对比算法在非独立同分布下的性能进行了基准测试。数据条件和不同数量的客户端。我们提出了一个整体的评价,这些技术的6个标准化的医学成像数据集。我们进一步分析了从我们的研究结果中推断出的不同趋势,旨在根据我们的研究结果找到进一步研究的方向。据我们所知,我们是第一个对医学成像的联邦自监督学习进行如此彻底分析的人。我们所有的源代码将在论文被接受后公开。
2023-03-09 cs.CV
Scribble-supervised Cell Segmentation Using Multiscale Contrastive Regularization
Korea University(高丽大学);UNIST(蔚山科学技术院)
针对涂鸦监督细胞分割易过拟合的问题,提出多尺度对比正则化方法,通过提取网络中间层特征计算对比损失以分离不同尺度结构,有效提升了S2L的分割性能并达到监督学习水平。
2023-06-25 cs.CV
Find Beauty in the Rare: Contrastive Composition Feature Clustering for Nontrivial Cropping Box Regression
Huazhong University of Science and Technology(华中科技大学);Huawei(华为)
自动图像裁剪算法的目标是通过生成具有改进的合成质量的裁剪框来像人类摄影师一样重新合成图像。裁剪框回归方法从注释的裁剪框中学习构图之美。然而,注释的偏差导致了准平凡的重组结果,这有一个明显的倾向于平均位置的训练样本。这种困境的关键在于,该任务被天真地视为一个盒子回归问题,其中稀有样本可能被正常样本所支配,并且稀有样本的组成模式没有得到很好的利用。观察到相似的构图模式往往被标注得接近的裁剪边界所共享,我们认为通过聚类具有相似裁剪边界标注的样本,即相似构图模式,可以从稀有样本中发现构图之美。我们提出了一种新的对比组合聚类(C2C),通过对比动态建立的相似和不相似的组合特征。通过这种方式,可以更好地总结多个图像的常见组成模式,这特别有利于罕见的样本,并赋予我们的模型更好的泛化能力,以呈现非平凡的结果。大量的实验结果表明,我们的模型与现有技术相比的优越性。我们还用一个有趣的分析可视化来说明我们的设计理念。
2023-02-17 cs.CV
Pretext-Contrastive Learning: Toward Good Practices in Self-supervised Video Representation Leaning
近年来,基于预文本任务的自监督视频特征学习方法相继被提出。同时,对比学习方法也取得了良好的效果。通常,新的方法可以击败以前的方法,因为它们可以捕获“更好”的时间信息。然而,它们之间存在着设置差异,很难断定哪一个更好。相比之下,如果这些方法尽可能接近其性能极限,则会更有说服力。在本文中,我们从一个预文本任务基线开始,探索通过将其与对比学习、数据预处理和数据增强相结合,它能走多远。通过大量的实验发现了一个合适的设置,可以实现对基线的巨大改进,这表明联合优化框架可以同时促进借口任务和对比学习。我们将联合优化框架称为预文本-对比学习(PCL)。另外两个借口任务基线用于验证PCL的有效性。而且我们可以很容易地在相同的训练方式下超越当前最先进的方法,显示了我们建议的有效性和通用性。PCL作为一种标准的训练策略,可以方便地应用于自监督视频特征学习的许多其他工作。
2021-04-04 cs.CV
Semi-Supervised Dual-Threshold Contrastive Learning for Ultrasound Image Classification and Segmentation
College of Computer Science and Software Engineering, Shenzhen University, Shenzhen, China(深圳大学计算机科学与软件工程学院);Department of Thyroid and Breast Surgery, Affiliated Hospital Group of Guangdong Medical University Shenzhen Baoan Central Hospital, Shenzhen, China(广东医科大学深圳宝安中心医院甲状腺乳腺外科)
提出半监督双阈值对比学习策略Hermes,结合任务间注意力与一致性学习,解决超声图像分类与分割中的伪标签过拟合及任务关联问题,并在多个数据集上取得最优性能。
2025-08-04 cs.CV
Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for Self-Supervised Skeleton-Based Action Recognition
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院)
基于对比学习的自监督神经网络动作识别方法受到了广泛的关注。最近的文献表明,数据增强和大量对比对对于学习此类表示至关重要。在本文中,我们发现,直接扩展的对比对的基础上正常的增广带来的性能方面的回报有限,因为对比对的正常数据增强的损失的贡献越来越小,随着训练的进展。因此,我们深入研究了对比学习的硬对比对。混合增强策略的成功,提高了许多任务的性能,通过合成新的样本的动机,我们提出了SkeleMixtail:一个对比学习框架与时空骨架混合增强(SkeleMix),以补充当前的对比学习方法,通过提供硬对比样本。首先,SkeleMix利用骨架数据的拓扑信息,通过随机组合裁剪的骨架片段(修剪视图)与剩余的骨架序列(截断视图)来混合两个骨架序列。其次,应用时空掩模池来在特征级别分离这两个视图。第三,我们用这两种观点扩展对比对。SkeleMixtool利用修剪和截断的视图来提供丰富的硬对比对,因为它们由于图卷积操作而涉及彼此的一些上下文信息,这允许模型学习更好的运动表示以进行动作识别。在NTU-RGB+D、NTU 120-RGB+D和PKU-MMD数据集上进行的大量实验表明,SkeleMixtool实现了最先进的性能。代码可在https://github.com/czhaneva/SkeleMixCLR上获得。
2022-07-07 cs.CV
Multi-organ Self-supervised Contrastive Learning for Breast Lesion Segmentation
Universidade de Lisboa(里斯本大学);Faculdade de Ciências(科学学院);LASIGE(LASIGE(里斯本大学计算机科学与工程实验室))
本文提出利用多器官超声图像和自然图像进行对比学习预训练,以提升乳腺超声肿瘤分割性能,并证明仅用一半标注数据微调即可达到与全量监督相当的效果。
2024-02-21 cs.CV
Saliency Can Be All You Need In Contrastive Self-Supervised Learning
Leiden University(莱顿大学);Tel-Hai College(泰勒海学院);Migal Institute(米加尔研究所)
我们提出了一个增强政策的对比自监督学习(SSL)的形式已经建立了显着的图像分割技术,题为全球对比度为基础的显着区域检测。这种检测技术,这已经被设计用于无关的计算机视觉任务,经验观察到SSL协议中的增强促进剂的作用。这种观察植根于我们的实际尝试学习,通过SSL方式,太阳能电池板的航空图像,表现出具有挑战性的边界模式。在我们的问题域上成功地集成了这种技术后,我们制定了一个通用的程序,并进行了全面的,系统的性能评估与各种对比SSL算法的标准增强技术。在多个数据集上进行的这项评估表明,所提出的技术确实有助于SSL。我们假设显着的图像分割是否足以作为唯一的增强策略在对比SSL处理下游分割任务时。
2022-10-30 cs.CV
Generalized Supervised Contrastive Learning
Seoul National University Graduate School(首尔大学研究生院);University of Seoul(首尔市立大学);XAIMED Co., Ltd.(XAIMED有限公司)
本文提出广义监督对比损失,通过衡量标签相似性与潜在相似性间的交叉熵以充分利用标签分布,构建 GenSCL 框架并结合图像正则化与任意教师分类器,在 ImageNet、CIFAR10 和 CIFAR100 上取得新最优准确率。
2023-05-21 cs.CV cs.LG
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University(石溪大学);University of Washington(华盛顿大学);Tencent AI Lab(腾讯人工智能实验室)
标签是昂贵的,有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此,这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中,我们探讨了进一步的方式和优势,他们融合。具体来说,我们提出了CSSL,一个统一的对比半监督学习算法,和CoDiM(对比DivideMix),一种新的算法,用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能,并进一步适应CoDiM,它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明,CoDiM带来了一致的改进,并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services(亚马逊云科技);UMass Amherst(马萨诸塞大学阿默斯特分校);UCLA(加州大学洛杉矶分校)
少样本学习的目的是从一个任务中转移信息,以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中,我们调查的互补作用,这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习(SUPMOCO)。我们的方法避免了在监督学习中观察到的一个问题,即图像中与任务无关的信息被丢弃,这阻碍了它们对新任务的推广。我们表明,(自监督)对比学习和监督学习是互惠互利的,导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据,从而进一步改进。
2021-06-21 cs.CV cs.LG
Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University(斯坦福大学)
对比学习在计算机视觉方面取得了相当大的进展,在一系列下游数据集上的表现优于有监督的预训练。然而,对比学习是否在所有情况下都是更好的选择?我们证明了两种情况下,它不是。首先,在足够小的预训练预算下,ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明,在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次,即使预训练预算较大,我们也可以识别出监督学习占主导地位的任务,这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调,需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
WeCromCL: Weakly Supervised Cross-Modality Contrastive Learning for Transcription-only Supervised Text Spotting
Baidu Inc.(百度公司)
针对仅转录监督文本定位无需边界标注的需求,提出弱监督跨模态对比学习模型WeCromCL,通过逐字符细粒度对比学习检测转录文本锚点作为伪标签,在四个基准上取得优于现有方法的性能。
2025-01-13 cs.AI cs.CV
Self-Supervised Video Representation Learning with Motion-Contrastive Perception
Fudan University(复旦大学)
纯视觉自监督学习在视频表示学习中取得了显著的进步。现有的相关方法鼓励模型通过利用对比学习或设计特定的借口任务来学习视频表示。然而,一些模型可能会关注背景,这对于学习视频表示并不重要。为了缓解这个问题,我们提出了一个新的视图称为远程残差帧,以获得更多的运动特定的信息。在此基础上,我们提出了运动对比感知网络(MCPNet),它包括两个分支,即运动信息感知(MIP)和对比实例感知(CIP),通过关注视频中的变化区域来学习通用视频表示。具体而言,MIP分支旨在学习细粒度的运动特征,CIP分支执行对比学习以学习每个实例的整体语义信息。在两个基准数据集UCF-101和HMDB-51上的实验表明,我们的方法优于当前最先进的视觉自监督方法。
2022-04-10 cs.AI cs.CV
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute(Mila-魁北克人工智能研究所);McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);University of Montreal(蒙特利尔大学)
我们研究了一种策略,通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失,SuNCEt,基于噪声对比估计和邻域成分分析,其目的是区分不同类别的例子,除了自我监督的实例借口任务。在ImageNet上,我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性,同时使用不到一半的预训练和计算量。我们的主要观点是,在预训练期间,而不仅仅是在微调期间,即使是少量的标记数据,也可以提供一个重要的信号,可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
Variational Self-Supervised Contrastive Learning Using Beta Divergence
Sabanci University(萨班哲大学);Türkiye(土耳其)
针对多标签场景下未标注含噪数据的判别表示学习问题,提出结合 beta 散度的变分对比自监督方法 VCL,并在人脸理解多标签实验中取得优于现有自监督方法的准确率。
2024-05-08 cs.CV cs.LG
Explicit homography estimation improves contrastive self-supervised learning
School of Computer Science and Applied Mathematics(计算机科学与应用数学学院);University of the Witwatersrand(金山大学)
典型的对比自监督算法通过直接或间接地对比正像和负像,使用潜在空间中的相似性度量作为监督信号。尽管自监督算法的实用性最近有所提高,但仍然存在阻碍其广泛使用的瓶颈,例如所需的计算。在本文中,我们提出了一个模块,作为一个额外的目标,在自我监督的对比学习范例。我们展示了如何包含这个模块来回归仿射变换或单应性的参数,除了原始的对比目标,提高了性能和学习速度。重要的是,我们确保这个模块不会强制仿射变换的各个分量具有不变性,因为这并不总是理想的。我们证明了两个最近,流行的自我监督算法的额外目标的有效性。我们对所提出的方法进行了广泛的实验分析,并对所有考虑的数据集的性能进行了改进。此外,我们发现,虽然一般的单应性和仿射变换都足以提高性能和收敛性,仿射变换在所有情况下都表现得更好。
2021-01-12 cs.CV cs.LG
Volumetric Supervised Contrastive Learning for Seismic Semantic Segmentation
Georgia Institute of Technology(佐治亚理工学院)
在地震解释中,获得各种岩石结构的像素级标记可能是耗时且昂贵的。因此,通常存在大量未标记的数据,这些数据未被使用,这仅仅是因为传统的深度学习方法依赖于对完全标记的卷的访问。为了纠正这个问题,已经提出了使用自监督方法的对比学习方法,以便从未标记的数据中学习有用的表示。然而,传统的对比学习方法是基于来自自然图像域的假设,其不利用地震背景。为了将这一背景下的对比学习,我们提出了一种新的积极对选择策略的基础上的位置切片内的地震体积。我们表明,从我们的方法学习表示优于最先进的对比学习方法的状态中的语义分割任务。
2022-06-16 cs.CV physics.geo-ph
S5CL: Unifying Fully-Supervised, Self-Supervised, and Semi-Supervised Learning Through Hierarchical Contrastive Learning
Technical University Munich(慕尼黑工业大学);Helmholtz AI(亥姆霍兹人工智能研究院)
在计算病理学中,我们经常面临着缺乏注释和大量未标记数据的问题。处理这种情况的一种方法是半监督学习,它通常分为自我监督的借口任务和随后的模型微调。在这里,我们通过引入S5 CL将这两个阶段的训练压缩为一个,S5 CL是一个用于全监督、自监督和半监督学习的统一框架。通过为标记图像、未标记图像和伪标记图像定义三种对比度损失,S5 CL可以学习反映距离关系层次的特征表示:相似图像和增强嵌入最接近,其次是同一类的不同外观图像,而来自不同类的图像具有最大的距离。此外,S5 CL允许我们灵活地组合这些损失,以适应不同的场景。在两个公共组织病理学数据集上对我们的框架进行的评估显示,在稀疏标签的情况下,我们的框架有了很大的改进:对于H& E染色的结直肠癌数据集,与监督交叉熵损失相比,准确度提高了9%;对于来自白血病患者血涂片的单个白细胞的高度不平衡数据集,F1分数提高了6%。
2022-03-14 cs.CV stat.ML
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University(延世大学);Bank of Korea(韩国银行)
本文提出单纯形到单纯形嵌入模型(SSEM)作为理论框架,分析监督对比学习中超参数对表示的影响,并给出防止类别坍缩的实用指导,且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
Supervised Contrastive Learning and Feature Fusion for Improved Kinship Verification
Ecole Nationale Supérieure d’Informatique Algiers(阿尔及尔国立高等计算机学院)
人脸亲属关系验证是确定两张人脸图像之间的亲属关系程度的任务。它最近在法医学,社交媒体和人口统计学研究的各种应用中获得了很大的兴趣。在过去的十年中,基于深度学习的方法已经成为解决这个问题的一个有前途的解决方案,实现了最先进的性能。在本文中,我们提出了一种新的方法来解决亲属关系验证,通过使用监督对比学习,训练模型,以最大限度地提高相关个体之间的相似性,并最小化它之间的无关个体。我们的实验显示了最先进的结果,并在野生家族(FIW)数据集中达到了81.1%的准确率。
2023-02-19 cs.CV eess.IV
Contrasting Contrastive Self-Supervised Representation Learning Pipelines
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
在过去的几年里,我们目睹了自监督表示学习方面的显着突破。尽管通过这种范式学习的表示方法取得了成功并被采用,但关于不同的训练方法和数据集如何影响下游任务的性能,还有很多问题有待了解。在本文中,我们分析了对比方法作为自监督表示学习的最成功和最流行的变体之一。我们从训练算法、预训练数据集和最终任务的角度进行分析。我们检查了700多个训练实验,包括30个编码器,4个预训练数据集和20个不同的下游任务。我们的实验解决了各种问题,自我监督模型的性能相比,他们的监督同行,目前的基准用于评估,以及预训练数据对最终任务性能的影响。我们的可视化表示基准(ViRB)可在https://github.com/allenai/virb上获得。
2021-08-18 cs.CV cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech(加州理工学院);Google(谷歌);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所);University of Copenhagen(哥本哈根大学)
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解,但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步,我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度,我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果:(i)超过500k图像的额外预训练数据的好处是适度的,(ii)添加来自另一个域的预训练图像不会导致更一般的表示,(iii)损坏的预训练图像对监督和自监督预训练有不同的影响,(iv)对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
SPARC: SuperPixel-Aware Region Contrastive Learning for Self-Supervised Dense Prediction
University of Waterloo(滑铁卢大学)
SPARC提出一种基于超像素的区域级对比学习框架,通过区域对比分支与全局目标联合优化,在语义分割和检测上显著超越现有方法,提升密集预测性能。
2026-09-23 cs.CV cs.LG
Self-supervised Learning with Local Contrastive Loss for Detection and Semantic Segmentation
Nvidia(英伟达);Microsoft(微软);Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们提出了一种自监督学习(SSL)方法,适用于半全局任务,如目标检测和语义分割。我们通过在训练过程中最小化像素级局部对比度(LC)损失,来增强自学特征之间的局部一致性,这些特征代表同一图像的变换版本的相应图像位置。LC损失可以以最小的开销添加到现有的自监督学习方法中。我们评估我们的SSL方法的两个下游任务-目标检测和语义分割,使用COCO,PASCAL VOC和CityScapes数据集。我们的方法在COCO目标检测、PASCAL VOC检测和CityScapes分割上分别比现有的最先进的SSL方法高出1.9%、1.4%和0.6%。
2022-12-08 cs.AI cs.CV