Pixel-Wise Contrastive Distillation
Shopee(虾皮)
本文提出像素级自监督蒸馏框架 PCD,通过 SpatialAdaptor 和多头自注意力增强逐像素知识迁移,在 COCO 密集预测任务上超过既有自监督蒸馏方法。
2024-04-16 cs.CV
pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based Unsupervised Representation Learning Problems
Jadavpur University(贾达布尔大学);UiT The Arctic University of Norway(挪威UiT北极大学)
本文针对自监督表示学习中最近邻支撑集质量受限的问题,提出pNNCLR,通过伪最近邻随机采样和平滑权重更新提升性能,实验显示其较NNCLR最高提升8%。
2023-08-14 cs.AI cs.CV cs.LG
Contrastive Learning with Synthetic Positives
University of Notre Dame(内布拉斯加大学达灵顿分校);Guangdong Provincial People’s Hospital(广东省级人民医院)
提出CLSP方法,利用扩散模型生成合成正样本,提升对比学习性能,在多个基准上超越现有方法。
2025-04-24 cs.CV
THCRL: Trusted Hierarchical Contrastive Representation Learning for Multi-View Clustering
THCRL通过可信层次对比学习解决多视图聚类中的不可信融合问题,引入深度对称层次融合和平均K近邻对比学习模块,提升聚类性能。
2025-12-10 cs.CV
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
在线类增量持续学习(CL)研究从在线非平稳数据流中持续学习新类的问题,旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果,但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值(NCM)分类器在CL社区中被严重低估,但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差,并避免了新类的全连接层的结构变化。此外,我们观察到相当大的和一致的性能增益时,用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器,属于同一类的数据嵌入应该被聚类,并与具有不同类标签的数据嵌入很好地分离。为此,我们贡献了监督对比重放(SCR),它明确鼓励来自同一类的样本在嵌入空间中紧密聚类,同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说,我们观察到,我们提出的SCR大大减少了灾难性遗忘,并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
Unsupervised Multiview Contrastive Language-Image Joint Learning with Pseudo-Labeled Prompts Via Vision-Language Model for 3D/4D Facial Expression Recognition
提出 MultiviewVLM,通过伪标签文本提示、联合嵌入、稳定正负采样和梯度友好损失实现3D/4D面部表情的无监督多视图对比学习,性能超过现有方法。
2025-05-14 cs.CV
Graph Contrastive Clustering
DAMO Academy, Alibaba Group(阿里巴巴达摩院);Peking University(北京大学);Shandong University(山东大学)
最近,一些对比学习方法被提出来同时学习表示和聚类分配,取得了显着的改进。然而,这些方法没有考虑类别信息和聚类目标,因此学习的表示不是最佳的聚类和性能可能受到限制。针对这一问题,我们首先提出了一种新的图对比学习框架,然后将其应用于聚类任务,我们提出了图收缩聚类~(GCC)方法。与基本的对比聚类不同,它只假设图像及其增强应该共享相似的表示和聚类分配,我们提升了实例级的一致性,假设一个聚类中的样本及其增强都应该是相似的。具体来说,一方面,提出了基于图拉普拉斯算子的对比损失来学习更具区分性和聚类友好的特征。另一方面,提出了一种新的基于图的对比学习策略来学习更紧凑的聚类分配。这两种方法都引入了潜在的类别信息,以减少类内方差,同时增加类间方差。六个常用的数据集上的实验证明了我们所提出的方法比最先进的方法的优越性。
2021-04-03 cs.CV
Real-time End-to-End Video Text Spotter with Contrastive Representation Learning
视频文本识别(VTS)是一项需要同时检测、跟踪和识别视频文本的任务。现有的视频文本定位方法通常需要开发复杂的管道和多个模型,这对于实时的【形】应用来说是不友好的。在这里,我们提出了一个实时的【形】的端到端的视频文本spotter与对比表示学习(CoText)。我们的贡献是三方面的:1)CoText同时解决三个任务(例如,文本检测、跟踪、识别)。2)通过对比学习,CoText可以对长距离依赖关系进行建模,并在多帧中学习时间信息。3)设计了一个简单、轻量级的架构,以实现有效和准确的性能,包括GPU并行检测后处理、基于CTC的识别头和Masked RoI。大量的实验表明了该方法的优越性。特别是,CoText在ICDAR 2015视频上以41.0 FPS的速度实现了72.0%的视频文本识别IDF1,比之前最好的方法提高了10.5%和32.0 FPS。代码可以在github.com/weijiawu/CoText上找到。
2022-08-19 cs.CV
Contrastive Language-Image Learning with Augmented Textual Prompts for 3D/4D FER Using Vision-Language Model
Information & Computer Science Department, King Fahd University of Petroleum & Minerals(国王法赫德石油与矿物大学信息与计算机科学系);Center for Machine Vision and Signal Analysis, University of Oulu(奥卢大学机器视觉与信号分析中心)
本文提出视觉-语言模型AffectVLM,通过联合表示学习框架、梯度友好的损失函数、增强文本提示与混合视图增强技术,实现了对3D/4D面部情绪的高效理解,并在多个基准上表现卓越。
2025-04-28 cs.CV
Nearest Neighbor Normalization Improves Multimodal Retrieval
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
针对多模态预训练模型检索性能仍有不足的问题,提出无需额外训练的最近邻归一化(NNN)方法,可在多个对比模型和数据集上稳定提升图文检索准确率,且无需在参考数据库上训练。
2024-10-31 cs.AI cs.CL cs.CV
Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
掩码图像建模(MIM)学习具有非常好的微调性能的表示,掩盖了以前流行的预训练方法,例如图像分类,实例对比学习和图文对齐。在本文中,我们证明了这些预训练方法的低劣微调性能可以通过简单的特征蒸馏(FD)形式的后处理来显着改善。特征提取将旧的表示转换为新的表示,新的表示具有一些期望的属性,就像MIM产生的那些表示一样。这些属性,我们统称为优化友好性,识别和分析的一组注意力和优化相关的诊断工具。有了这些属性,新的表示显示出强大的微调性能。具体而言,对比自监督学习方法在微调方面与最先进的掩码图像建模(MIM)算法一样具有竞争力。CLIP模型的微调性能也得到了显着提高,CLIP ViT-L模型在ImageNet-1 K分类上达到了89.0%的top-1准确率。在30亿参数的SwinV 2-G模型上,微调精度在ADE 20 K语义分割和COCO目标检测上分别提高了+1.5 mIoU / +1.1 mAP至61.4 mIoU / 64.2 mAP,在两个基准测试上都创造了新的记录。更重要的是,我们的工作为未来的研究提供了一种方法,可以将更多的精力集中在学习表示的通用性和可扩展性上,而不必专注于优化友好性,因为它可以很容易地增强。该代码将在https://github.com/SwinTransformer/Feature-Distillation上提供。
2022-08-24 cs.CV cs.LG
Revisiting Contrastive Learning through the Lens of Neighborhood Component Analysis: an Integrated Framework
MIT(麻省理工学院);MSU(密歇根州立大学);IBM Research AI(IBM研究院人工智能中心);UCSD(加州大学圣地亚哥分校)
对比学习作为自监督表示学习的重要工具,近年来得到了前所未有的关注。本质上,对比学习旨在利用正负样本对进行表示学习,这涉及利用特征空间中的邻域信息。通过研究对比学习和邻域成分分析(NCA)之间的联系,提出了一种新的对比学习的随机最近邻观点,并提出了一系列优于现有对比学习的对比损失.在我们提出的框架下,我们展示了一种新的方法来设计综合对比损失,可以同时实现良好的准确性和鲁棒性的下游任务。在该框架下,标准精度提高了6%,鲁棒精度提高了17%.
2022-01-28 cs.CV cs.LG
Semi-supervised Contrastive Learning with Similarity Co-calibration
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
半监督学习是利用大量未标记数据的有效方法。在本文中,我们提出了一种新的训练策略,称为半监督对比学习(SsCL),它结合了著名的对比损失在自监督学习和交叉熵损失在半监督学习,并联合优化这两个目标在一个端到端的方式。与基于自训练的半监督学习对相同模型权值进行预测和再训练不同,SsCL在两个分支之间交换了对未标记数据的预测,从而制定了一个协同校准过程,我们发现这有利于更好地预测并避免陷入局部最小值。为了实现这个目标,对比损失分支使用从交叉熵分支生成的最近邻域对样本之间的成对相似性进行建模,并且进而用对比相似性校准交叉熵分支的预测分布。我们表明,SsCL产生更多的歧视性表示,是有益的少样本学习。值得注意的是,在以ResNet 50为主干的ImageNet上,SsCL分别在1%和10%的标记样本中实现了60.2%和72.1%的top-1准确率,显著优于基线,并且优于以前的半监督和自监督方法。
2021-05-16 cs.CV
Constrained Mean Shift for Representation Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of California, Davis(加利福尼亚大学戴维斯分校)
我们感兴趣的是从标记或未标记的数据中进行表示学习。受最近成功的自监督学习(SSL)的启发,我们开发了一种非对比表示学习方法,可以利用额外的知识。这种额外的知识可能来自监督设置中的注释标签或来自SSL设置中的另一模态的SSL模型。我们的主要思想是通过限制最近邻的搜索空间来推广均值漂移算法,从而得到语义上更纯的表示。我们的方法只是拉嵌入的实例更接近其最近的邻居在搜索空间,使用额外的知识约束。通过利用这种非对比损失,我们证明了使用我们的方法进行的监督ImageNet-1 k预训练与基线相比具有更好的传输性能。此外,我们证明了我们的方法是相对强大的标签噪声。最后,我们表明,它是可以使用的噪声约束跨模态训练自我监督的视频模型。
2021-10-19 cs.CV
Weakly Supervised Contrastive Learning
University of Science and Technology of China(中国科学技术大学);SenseTime Research(商汤科技研究院);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);The University of Sydney(悉尼大学)
无监督视觉表示学习由于对比学习近年来取得的成就而受到计算机视觉界的广泛关注。现有的对比学习框架大多采用实例判别作为前提任务,将每一个实例作为一个不同的类来处理。然而,这样的方法将不可避免地导致类冲突问题,这损害了学习表示的质量。出于这一观察的动机,我们引入了一个弱监督的对比学习框架(WCL)来解决这个问题。具体来说,我们提出的框架是基于两个投影头,其中一个将执行常规的实例判别任务。另一个头将使用基于图的方法来探索相似的样本并生成弱标签,然后基于弱标签执行有监督的对比学习任务,以将相似的图像拉近。我们进一步引入了一个基于K-近邻的多作物策略来扩大阳性样本的数量。大量的实验结果表明,WCL提高了跨不同数据集的自监督表示的质量。值得注意的是,我们得到了半监督学习的一个新的最先进的结果。只有1\%和10\%的标记示例,WCL使用ResNet 50实现了65\%和72\%的ImageNet Top-1准确度,甚至高于使用ResNet 101的SimCLRv 2。
2021-10-10 cs.CV
A Practical Contrastive Learning Framework for Single-Image Super-Resolution
Harbin Institute of Technology(哈尔滨工业大学)
针对单图像超分辨率,本文提出 PCL-SR 对比学习框架,通过频率空间正负样本构建和判别器式嵌入网络提升复原性能。
2023-07-16 cs.CV
MNN: Mixed Nearest-Neighbors for Self-Supervised Learning
Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出MNN框架,通过加权和图像混合优化最近邻样本对正样本的影响,解决对比自监督学习中假邻居问题,在四个基准数据集上展现卓越泛化性能和训练效率。
2023-11-13 cs.CV
Adaptive Similarity Bootstrapping for Self-Distillation based Representation Learning
EPFL(洛桑联邦理工学院);CHUV(洛桑大学附属医院);KU Leuven(鲁汶大学)
针对自蒸馏方案中引入最近邻自举导致性能下降的问题,提出基于潜在空间质量估计的自适应邻居自举方法,在多种自蒸馏组合与下游任务上实现一致性能提升。
2023-09-07 cs.CV
Contrastive Learning from Extremely Augmented Skeleton Sequences for Self-supervised Action Recognition
Key Laboratory of Machine Perception, Shenzhen Graduate School, Peking University(北京大学深圳研究生院机器感知重点实验室);The School of Intelligent Systems Engineering, Sun Yat-sen University(中山大学智能系统工程学院)
近年来,随着对比学习方法的发展,用于基于手势的动作识别的自监督表示学习得到了发展。现有的对比学习方法使用正常的增强来构造相似的正样本,这限制了探索新的运动模式的能力。在本文中,更好地利用极端扩增引入的运动模式,一个对比学习框架,利用丰富的信息挖掘的自我监督的行动表示(Aimmatis)的建议。首先,提出了极端增强和基于能量的注意力引导下降模块(EADM)来获得不同的正样本,这带来了新的运动模式,以提高学习表示的通用性。其次,由于原始恒等式的剧烈变化,直接使用极端增广可能无法提高性能,因此提出了双分布发散最小化损失(Dual DistributionalDivergenceMinimizationLoss,$^3$ M Loss),以更温和的方式最小化分布发散。第三,提出了最近邻挖掘(NNM),进一步扩大正样本,使丰富的信息挖掘过程更加合理。在NTU RGB+D 60,PKU-MMD,NTU RGB+D 120数据集上的详尽实验已经验证了我们的Aimestant可以在各种评估协议下显著优于最先进的方法,并观察到更高质量的动作表示。我们的代码可在https://github.com/Levigty/AimCLR上获得。
2021-12-07 cs.CV
All4One: Symbiotic Neighbour Contrastive Learning via Self-Attention and Redundancy Reduction
本文提出All4One,一种基于质心自注意力和多目标对比的自监督学习方法,在多个基准上超越实例判别方法,并在低维弱增强下优于NNCLR和Barlow Twins。
2023-03-16 cs.CV
Unsupervised visualization of image datasets using contrastive learning
University of Tübingen(蒂宾根大学)
提出一种名为 t-SimCNE 的新方法,结合对比学习与邻居嵌入,将高维像素空间参数化映射至二维,实现了与 SimCLR 相当的分类准确率,并生成了展示丰富聚类结构和异常值的图像数据集可视化。
2023-02-28 cs.CV cs.HC cs.LG
Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
对比自监督学习在许多下游任务(如分割和目标检测)上的表现优于监督预训练。然而,目前的方法仍然主要应用于像ImageNet这样的策展数据集。在本文中,我们首先研究数据集中的偏差如何影响现有的方法。我们的研究结果表明,目前的对比方法在以下几个方面的效果令人惊讶:(i)对象与场景为中心,(ii)统一与长尾,以及(iii)一般与特定领域的数据集。其次,考虑到该方法的一般性,我们试图通过微小的修改来实现进一步的收益。我们表明,学习额外的不变性-通过使用多尺度裁剪,更强的增强和最近的邻居-提高了表示。最后,我们观察到MoCo在使用多作物策略进行训练时学习空间结构化表示。该表示可用于语义段检索和视频实例分割而无需微调。此外,结果与专业模型相当。我们希望这项工作能为其他研究人员提供有益的研究。代码和模型可在https://github.com/wvangansbeke/Revisiting-Contrastive-SSL上获得。
2021-12-14 cs.CV cs.LG
DoubleTake: Contrastive Reasoning for Faithful Decision-Making in Medical Imaging
Rutgers University(罗格斯大学)
DoubleTake通过对比推理框架提升医学影像决策的准确性和可靠性,实现显著的性能提升。
2026-02-02 cs.CV cs.LG
GGNN: Graph-based GPU Nearest Neighbor Search
University of Tübingen(图宾根大学);Amazon(亚马逊)
高维近似最近邻(ANN)搜索是若干计算机视觉系统的组成部分,并且在具有显式记忆表示的深度学习中变得重要。由于PQT、FAISS和SONG开始利用GPU提供的大规模并行性,因此基于GPU的实现是当今最先进的ANN方法的关键资源。虽然这些方法中的大多数都允许更快的查询,但很少强调加速底层索引结构的构建。在本文中,我们提出了一种新的GPU友好的搜索结构的基础上最近邻图和图上的信息传播。我们的方法旨在利用GPU架构来加速索引结构的分层构造和执行查询。经验评估表明,GGNN在构建时间、准确性和搜索速度方面明显优于最先进的基于CPU和GPU的系统。
2022-04-07 cs.CV cs.DB cs.DS
Cycle-Contrast for Self-Supervised Video Representation Learning
Lumada Data Science Lab. Hitachi, Ltd.(日立有限公司卢马达数据科学实验室)
我们提出了循环对比学习(CCL),一种新的自我监督的方法学习视频表示。根据视频与其帧之间存在着一种属于和包含关系的性质,CCL被设计为分别考虑其域中的对比表示来发现帧和视频之间的对应关系。它与最近的方法不同,这些方法只是学习跨帧或剪辑的对应关系。在我们的方法中,帧和视频表示是从基于R3D架构的单个网络中学习的,在周期对比丢失之前,使用共享的非线性变换来嵌入帧和视频特征。我们证明了CCL学习的视频表示可以很好地转移到视频理解的下游任务中,在UCF 101,HMDB 51和MMAct上的最近邻检索和动作识别任务中优于以前的方法。
2020-10-28 cs.CV cs.LG
Multi-Centroid Representation Network for Domain Adaptive Person Re-ID
Huazhong University of Science and Technology(华中科技大学);Megvii Technology(旷视科技)
近年来,许多方法通过基于伪标签的对比学习来解决无监督域自适应人员重新识别(UDA re-ID)问题。在训练过程中,通过简单地平均来自具有相同伪标签的聚类的所有实例特征来获得单质心表示。然而,由于聚类结果的不完善,一个聚类可能包含不同身份的图像(标签噪声),这使得单质心表示不合适。在本文中,我们提出了一种新的多质心存储器(MCM),自适应地捕捉不同的身份信息的集群。MCM通过为查询图像选择合适的正/负质心,可以有效地缓解标签噪声问题。此外,我们进一步提出两种策略来改善对比学习的过程。首先,我们提出了一个特定领域的对比学习(DSCL)机制,通过比较来自同一领域的样本,充分探索域内信息。其次,我们提出了二阶最近插值(SONI),以获得丰富的和信息丰富的负样本。我们将MCM、DSCL和SONI集成到一个名为多重心表示网络(MCRN)的统一框架中。大量的实验证明了MCRN在多个UDA重新识别任务和完全无监督的重新识别任务上的优越性。
2021-12-22 cs.CV
Anomaly Detection in IR Images of PV Modules using Supervised Contrastive Learning
Forschungszentrum Jülich GmbH, Helmholtz-Institute Erlangen-Nuremberg for Renewable Energies (HI ERN)(于利希研究中心有限公司,埃尔朗根-纽伦堡可再生能源亥姆霍兹研究所);Pattern Recognition Lab, Department Informatik, Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学信息学系模式识别实验室);Institute Materials for Electronics and Energy Technology, Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学电子与能源技术材料研究所)
光伏(PV)厂的日益增加的部署需要用于在诸如红外(IR)图像的模态中自动检测故障PV模块的方法。最近,深度学习为此大受欢迎。然而,相关工作通常从相同的分布中采样训练和测试数据,忽略了不同光伏电站的数据之间的域偏移的存在。相反,我们框架故障检测更现实的无监督领域自适应问题,我们训练标记数据的一个源光伏发电厂和另一个目标工厂的预测。我们训练一个具有监督对比损失的ResNet-34卷积神经网络,在此基础上,我们采用k-最近邻分类器来检测异常。我们的方法在四个源和目标数据集的九种组合上实现了令人满意的接收器操作特征(AUROC)下的区域,其中292万张红外图像中有8.5%是异常的。在某些情况下,它甚至优于二进制交叉熵分类器。使用固定的决策阈值,这分别导致79.4%和77.1%的正确分类正常和异常图像。大多数错误分类的异常严重程度较低,例如热二极管和小热点。我们的方法对超参数设置不敏感,收敛速度快,可靠地检测未知类型的异常,使其非常适合实践。可能的用途是在自动光伏发电厂检查系统或通过过滤正常图像来简化IR数据集的手动标记。此外,我们的工作服务于社会更现实的观点,光伏组件故障检测使用无监督领域自适应开发更高性能的方法具有良好的泛化能力。
2021-12-06 cs.CV
Self-supervised Video Representation Learning with Cross-Stream Prototypical Contrasting
University of Amsterdam(阿姆斯特丹大学)
依赖于数据增强和对比损失函数的实例级对比学习技术在视觉表示学习领域取得了巨大的成功。然而,它们不适合利用视频的丰富动态结构,因为操作是在许多增强实例上完成的。在本文中,我们提出了“视频跨流原型对比”,一种新的方法,预测一致的原型分配从RGB和光流的意见,对样本集的操作。具体来说,我们交替优化过程;当优化一个流时,所有视图都映射到一组流原型向量。除了匹配预测的视图之外,每个赋值都将使用所有视图进行预测,从而使表示更接近其指定的原型。因此,学习具有根深蒂固的运动信息的更有效的视频嵌入,而不需要在推理期间明确地进行光流计算。我们在最近邻视频检索和动作识别方面获得了最先进的结果,使用S3 D主干(90.5% Top-1 acc)在UCF 101上的表现优于之前的最佳结果+3.2%,使用R(2+1)D主干在UCF 101上的表现优于之前的最佳结果+7.2%,在HMDB 51上的表现优于之前的最佳结果+15.1%。
2021-10-20 cs.CV
Self-supervised Video-centralised Transformer for Video Face Clustering
Imperial College London(帝国理工学院);Fudan University(复旦大学)
本文提出了一种新的方法,人脸聚类视频使用视频集中式Transformer。以前的工作通常采用对比学习来学习帧级表示,并使用平均池沿时间维度聚合的功能。这种方法可能无法完全捕获复杂的视频动态。此外,尽管最近的进展,基于视频的对比学习,很少有人试图学习一个自我监督聚类友好的人脸表示,有利于视频人脸聚类任务。为了克服这些限制,我们的方法采用了一个Transformer直接学习视频级的表示,可以更好地反映在视频中的人脸的时间变化的属性,而我们还提出了一个视频集中的自监督框架来训练的Transformer模型。我们还研究了以自我为中心的视频中的人脸聚类,这是一个快速发展的领域,在与人脸聚类相关的作品中还没有研究过。为此,我们提出并发布了第一个大规模以自我为中心的视频人脸聚类数据集,名为EasyCom-Clustering。我们在广泛使用的大爆炸理论(BBT)数据集和新的EasyCom-Clustering数据集上评估了我们提出的方法。结果表明,我们的视频集中的Transformer的性能已经超过了所有以前的国家的最先进的方法在这两个基准,表现出自我专注的面部视频的理解。
2023-02-15 cs.CV
Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for Severe Label Noise
University of British Columbia(不列颠哥伦比亚大学);Queen’s University(女王大学)
针对含ID与OOD噪声标签的训练数据,本文结合自监督嵌入、K近邻OOD过滤、Manifold DivideMix和MixEMatch半监督训练,提升严重标签噪声下的图像分类鲁棒性。
2023-08-13 cs.CV
MIM-Refiner: A Contrastive Learning Boost from Intermediate Pre-Trained Representations
ELLIS Unit Linz(ELLIS林茨单元);JKU Linz(约翰内斯·开普勒大学林茨分校);Emmi AI GmbH(Emmi AI有限公司);NXAI GmbH(NXAI有限公司);University of Vienna(维也纳大学)
本研究提出MIM-Refiner方法,利用连接MIM模型中间层的多对比头与改进最近邻目标构建语义簇,仅需少量训练轮次即可提升预训练MIM模型的下游任务性能,在多个基准上超越现有最先进SSL模型。
2025-02-20 cs.AI cs.CV cs.LG
CLIP-PING: Boosting Lightweight Vision-Language Models with Proximus Intrinsic Neighbors Guidance
Kyung Hee University(庆熙大学);The University of Danang—Vietnam-Korea University of Information and Communication Technology(岘港大学—越韩信息与通信技术大学);Digital Science and Technology Institute(数字科学技术研究院)
针对轻量级视觉语言模型仅靠图文对比学习性能不佳的问题,提出CLIP-PING训练范式,利用预训练编码器的近邻样本特征提供额外对比监督,以低开销提升模型跨模态对齐效果与零样本、检索及下游迁移性能。
2025-03-19 cs.AI cs.CV cs.ET
Contextuality Helps Representation Learning for Generalized Category Discovery
China University of Geosciences (Wuhan)(中国地质大学(武汉))
本文提出一种基于dual-context的GCD方法,通过整合instance-level和cluster-level的contextuality来增强特征学习,有效提升了未标记数据中known和novel categories的分类accuracy。
2024-07-29 cs.CV
Supervised Contrastive Learning for Few-Shot AI-Generated Image Detection and Attribution
Universidad Politécnica de Madrid (UPM)(西班牙马德里理工大学)
本文提出基于监督对比学习的两阶段框架,实现少样本AI生成图像检测与归因,准确率提升5.2个百分点,显著提高系统适应性。
2025-11-21 cs.AI cs.CV
Beyond Supervised vs. Unsupervised: Representative Benchmarking and Analysis of Image Representation Learning
University of Maryland, College Park(马里兰大学帕克分校)
通过利用对比学习、聚类和其他借口任务,用于学习图像表示的无监督方法在标准基准测试中取得了令人印象深刻的结果。结果是一个拥挤的领域-许多具有实质性不同实现的方法在流行的基准测试中产生的结果似乎几乎相同,例如ImageNet上的线性评估。然而,一个单一的结果并不能说明整个故事。在本文中,我们比较方法使用基于性能的基准,如线性评估,最近邻分类,聚类几个不同的数据集,证明缺乏一个明确的领跑者在当前的最先进的。在以前的工作,只进行监督与无监督比较,我们比较几个不同的无监督方法对彼此。为了丰富这种比较,我们分析嵌入的测量,如均匀性,公差,和中心内核对齐(CKA),并提出了我们自己的两个新的指标:最近邻图相似性和线性预测重叠。通过我们的分析,我们发现,在孤立的情况下,单一的流行方法不应该被视为好像他们代表了整个领域,未来的工作应该考虑如何利用这些方法的互补性。我们还利用CKA提供了一个框架来稳健地量化增强不变性,并提醒人们某些类型的不变性对于下游任务来说是不可取的。
2022-06-16 cs.CV
Quantifying and Enabling the Interpretability of CLIP-like Models
Intel Labs(英特尔实验室);UC Berkeley(加州大学伯克利分校)
本研究针对CLIP内部机制不透明的问题,用TEXTSPAN算法和上下文学习拆解注意力头,以新指标量化可解释性,发现大模型可解释性更强,还推出CLIP-InterpreT分析工具助力理解。
2024-09-10 cs.AI cs.CV
Linking Representations with Multimodal Contrastive Learning
Harvard University(哈佛大学);National Bureau of Economic Research(美国国家经济研究局)
针对跨数据集实体链接任务中传统字符串匹配方法精度不足、单模态方法易受OCR噪声或模态能力局限的问题,提出多模态对比学习框架CLIPPINGS,在历史企业记录链接任务上性能显著优于传统方法,且多模态预训练能提升单模态推理的效果。
2024-06-21 cs.CL cs.CV econ.GN
Contrastive Tuning: A Little Help to Make Masked Autoencoders Forget
Faculty of Computer Science, University of Vienna, Vienna, Austria(维也纳大学计算机科学学院);UniVie Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院);Institute of Advanced Research in Artificial Intelligence (IARAI)(高级人工智能研究所)
提出 MAE-CT 方法,结合 MIM 的效率与 ID 的对象聚焦能力,通过 NNCLR 目标在预训练 MAE 顶层诱导语义聚类,无需标签且计算开销低,在 ViT 模型上多项指标达 SOTA。
2023-09-14 cs.AI cs.CV cs.LG
Contrast and Clustering: Learning Neighborhood Pair Representation for Source-free Domain Adaptation
Jiaxing University(嘉兴学院);Zhejiang Normal University(浙江师范大学);Zhejiang Sci-Tech University(浙江理工大学)
针对无源域数据的无监督域适应场景,本文从对比学习视角出发,通过最近邻聚类、扩展邻域构造难负样本对、结合噪声对比估计的方法学习域不变特征,在三个基准数据集上取得了优于现有最优方法的效果。
2023-12-13 cs.CV cs.LG
Medical foundation models converge less under label supervision
RWTH Aachen University(亚琛工业大学);University Hospital RWTH Aachen(亚琛工业大学附属医院);Technical University of Munich(慕尼黑工业大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Technical University Dresden(德累斯顿工业大学);University Hospital Dresden(德累斯顿大学附属医院);University Hospital Heidelberg(海德堡大学附属医院)
研究探讨医学基础模型中表征趋同问题,通过对多个编码器剖析发现自我监督比临床监督更能驱动收敛,虽收敛有限但线性分类器可跨编码器转移,表明医学成像收敛由预训练目标决定,为互操作性设计与验证提供依据。
2026-10-12 cs.AI cs.CL cs.CV
SemPPL: Predicting pseudo-labels for better contrastive representations
DeepMind
提出半监督方法SemPPL,利用k近邻分类器预测伪标签扩展对比学习的正样本集,在ImageNet上以极少标签实现SOTA准确率及优异鲁棒性。
2024-01-10 cs.AI cs.CV cs.LG
CRD: Collaborative Representation Distance for Practical Anomaly Detection
Northwestern Polytechnical University(西北工业大学);University of Barcelona(巴塞罗那大学)
针对基于图像块的异常检测中最近邻搜索 O(n) 时空复杂度不利于边缘部署的问题,提出协同表示距离 CRD,用 L_2 松弛和闭式预计算实现数百倍加速并降低内存开销。
2023-12-20 cs.AI cs.CV cs.LG