CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Facebook AI Research(Facebook人工智能研究院);Amazon AWS AI(亚马逊云科技人工智能)
本文研究了领域增量学习(DIL)中的一系列方面情感分类(ASC)任务的持续学习(CL)。每个任务都来自不同的领域或产品。DIL设置特别适合ASC,因为在测试中,系统不需要知道测试数据所属的任务/域。据我们所知,这种设置之前没有研究过ASC。本文提出了一种新的模型CLASSIC。关键的新颖性是一个对比的持续学习方法,使跨任务的知识转移和知识蒸馏从旧的任务到新的任务,这消除了测试中的任务ID的需要。实验结果表明了CLASSIC算法的有效性。
2021-12-05 cs.AI cs.CL cs.LG
Seeing Objects in dark with Continual Contrastive Learning
Myntra(Myntra公司)
目标检测是计算机视觉的一个基本问题,在智能相机系统中具有极其重要的意义。然而,一个真正可靠的相机系统可以实现,当且仅当底层的目标检测组件是足够强大的,在不同的成像条件(或域),例如,不同的时间,一天中,恶劣的天气条件等,在努力实现一个可靠的相机系统,在本文中,我们试图训练这样一个强大的检测器。不幸的是,为了在不同的成像条件下构建性能良好的检测器,需要从大量的角落案例中标记训练图像(通常是大量的)。由于手动获得如此大的标记数据集可能是不可行的,我们建议使用合成图像来模拟不同的训练图像域。我们提出了一种新的,对比学习方法来对齐一对真实图像和合成图像的潜在表示,使检测器对不同的域具有鲁棒性。然而,我们发现,仅仅对比嵌入可能会导致灾难性遗忘的目标检测的基本信息。因此,我们采用基于持续学习的惩罚,以减轻遗忘的问题,同时对比表示。我们展示了我们提出的方法优于广泛的替代方案,以解决极具挑战性,但研究不足的情况下,目标检测在夜间。
2022-08-20 cs.AI cs.CV cs.LG
Contrastive Continual Multi-view Clustering with Filtered Structural Fusion
School of Computer, National University of Defense Technology(国防科技大学计算机学院);School of Computer Science and Technology, Harbin University of Science and Technology(哈尔滨理工大学计算机科学与技术学院)
针对多视图数据按序到达导致的灾难性遗忘问题,提出CCMVC-FSF,利用固定缓冲区保存过滤结构信息并通过对比学习指导新视图划分,理论关联半监督学习与知识蒸馏,实验验证其优越性能。
2024-03-04 cs.AI cs.CV cs.LG
Continual Contrastive Spoken Language Understanding
University of Trento(特伦托大学);Carnegie Mellon University(卡内基梅隆大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文研究口语理解在类增量学习设置下的持续学习问题,提出结合经验回放与对比学习的COCONUT方法,通过监督对比损失保留旧知识并利用多模态对比损失学习新数据,在SLU数据集上显著超越基线。
2024-06-04 cs.AI eess.AS
Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning
Rutgers University(罗格斯大学);Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能);Google DeepMind(谷歌DeepMind)
本文提出对比原型提示(CPP)方法,通过任务特定提示微调和对比学习解决持续学习中的语义漂移与原型干扰,在四个类增量基准上超越现有方法4%至6%,且无需重放缓冲区。
2023-11-12 cs.AI cs.CV cs.LG
Contrastive Consolidation of Top-Down Modulations Achieves Sparsely Supervised Continual Learning
Peter Grünberg Institute(彼得·格林贝格研究所);Forschungszentrum Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学)
任务调节对比学习通过上行调节实现稀疏监督下的连续学习,提升类别增量和迁移学习性能。
2026-01-26 cs.AI cs.LG q-bio.NC
Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks
University of Western Ontario(西安大略大学)
本文受大脑事件模型启发,提出任务边界处的前瞻选择性可塑性机制,利用对比损失冗余性和新任务少量样本保留关键迁移参数,在多种持续学习场景取得最先进性能。
2023-11-02 cs.AI cs.CV cs.LG
Continual Contrastive Finetuning Improves Low-Resource Relation Extraction
University of Southern California(南加州大学);Microsoft Research(微软研究院)
本文针对低资源关系抽取中预训练与微调目标不一致的问题,提出持续对比微调方法,并引入多中心对比损失,在 BioRED 和 Re-DocRED 上显著优于 PLM 分类器。
2023-05-31 cs.AI cs.CL cs.LG
Understanding Collapse in Non-Contrastive Siamese Representation Learning
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
对比方法导致了最近自我监督表示学习(SSL)性能的激增。最近的方法,如BYOL或SimSiam,据称将这些对比方法提炼到其本质,去除了对下游性能没有贡献的花里胡哨的东西,包括负面的例子。这些“非对比”方法在不使用否定的情况下工作得令人惊讶地好,即使全局最小值位于平凡崩溃。我们对这些非对比方法进行了实证分析,发现SimSiam对数据集和模型大小非常敏感。特别是,如果模型相对于数据集大小太小,SimSiam表示会发生部分维度崩溃。我们提出了一个度量标准来衡量这种崩溃的程度,并表明它可以用来预测下游任务的性能,没有任何微调或标签。我们进一步分析了建筑设计的选择及其对下游性能的影响。最后,我们证明了转换到持续学习设置可以作为正则化器并防止崩溃,并且连续和多时期训练之间的混合可以使用ImageNet上的ResNet-18将线性探测精度提高多达18个百分点。我们的项目页面位于https://alexanderli.com/noncontrastive-ssl/。
2022-11-02 cs.AI cs.CV cs.LG
Making Pre-trained Language Models Better Continual Few-Shot Relation Extractors
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出对比提示学习框架和记忆增强策略,利用预训练语言模型的隐式能力,有效缓解持续少样本关系抽取中的灾难性遗忘和过拟合问题,并在低资源场景下显著超越现有方法。
2024-02-24 cs.AI cs.CL
Contrastive-Based Deep Embeddings for Label Noise-Resilient Histopathology Image Classification
Primaa;Institut Curie(居里研究所);PSL University(巴黎文理研究大学)
针对组织病理学图像分类中标签噪声导致模型性能下降的问题,研究发现自监督对比学习训练的病理学基础模型提取的嵌入具备标签噪声鲁棒性,效果优于非对比嵌入及常用抗噪方法,代码已开源。
2024-04-11 cs.AI cs.CV
Continual Visual and Verbal Learning Through a Child's Egocentric Input
Agentic Learning AI Lab, New York University(代理学习人工智能实验室,纽约大学);Department of Psychology, Princeton University(心理学系,普林斯顿大学)
提出BabyCL持续多模态学习框架,在单一时间顺序处理SAYCam数据集,通过流式视觉表示学习和图像-文本对比目标,在SAYCam Labeled-S 4AFC基准上优于流式学习基线,缩小了与离线训练上限的差距。
2026-06-03 cs.AI cs.CL cs.CV
Exploring the Stability Gap in Continual Learning: The Role of the Classification Head
Warsaw University of Technology(华沙理工大学);IDEAS NCBR;Tooploox
针对持续学习中的稳定性差距(模型先快速下降后部分恢复性能)问题,研究聚焦分类头作用,引入最近均值分类器(NMC),提升了多种基准的训练稳定性与最终性能,揭示线性头是该现象主因。
2024-11-25 cs.AI cs.CV cs.LG
ExCon: Explanation-driven Supervised Contrastive Learning for Image Classification
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
对比学习已经导致用于诸如图像分类的任务的学习的嵌入表示的质量的实质性改进。然而,现有的对比增强方法的一个关键缺点是,它们可能会导致修改的图像内容,这可能会产生不希望的改变其语义。这可能会影响模型在下游任务上的性能。因此,在本文中,我们问我们是否可以增加图像数据在对比学习,这样的任务相关的语义内容的图像被保留。为此,我们建议利用基于显着性的解释方法来创建内容保持掩蔽增强对比学习。我们的新的解释驱动的监督对比学习(ExCon)方法严格地服务于鼓励附近的图像嵌入具有相似的内容和解释的双重目标。为了量化ExCon的影响,我们在CIFAR-100和Tiny ImageNet数据集上进行了实验。我们证明了ExCon在分类,解释质量,对抗鲁棒性以及分布偏移背景下的概率校准方面优于香草监督对比学习。
2022-04-18 cs.AI cs.CV cs.LG
Multi-Label Image Classification with Contrastive Learning
Faculty of Information Technology(信息技术学院);Monash University(莫纳什大学)
近年来,对比学习作为一种学习潜在表征的有效方法,在各个领域都得到了广泛的应用。主动学习在单标签分类中的成功促使我们利用这种学习框架来增强多标签图像分类的独特性,以获得更好的性能。在本文中,我们表明,直接应用对比学习很难提高在多标签的情况下。因此,我们提出了一个新的框架,多标签分类与对比学习在一个完全监督的设置,学习不同的标签的背景下的图像的多个表示。这使得我们的模型能够简单而直观地适应对比学习,以提高其在多标签图像分类中的性能。在两个基准数据集上的大量实验表明,与先进的多标签分类方法相比,所提出的框架实现了最先进的性能。
2021-07-24 cs.CV
ProCA: Progressive Contrastive Alignment for Robust EEG Visual Decoding
Tsinghua University(清华大学);School of Life Sciences, Tsinghua University(清华大学生命科学学院)
针对EEG视觉解码中固定锚点语义易失配的问题,提出ProCA框架,通过渐进式对比对齐与结构一致插值,在多EEG设置中实现显著性能提升。
2026-09-07 cs.AI
Probing Representation Forgetting in Supervised and Unsupervised Continual Learning
Concordia University(康考迪亚大学);Mila – Quebec AI Institute(米拉 - 魁北克人工智能研究所);Toyota Motor Europe(丰田汽车欧洲公司)
持续学习研究通常集中在解决神经网络中的灾难性遗忘现象。灾难性遗忘与当任务或更广泛地说数据分布在变化上训练时,模型先前学习的知识突然丢失有关。在监督学习问题中,这种遗忘是由模型表示的变化引起的,通常通过评估旧任务性能的下降来测量或观察。然而,模型的表示可以改变,而不会丢失关于先前任务的知识。在这项工作中,我们考虑表示遗忘的概念,观察到使用的最佳线性分类器的性能差异之前和之后引入一个新的任务。使用这个工具,我们重新审视了一些标准的持续学习基准,并观察到,通过这个镜头,没有任何显式控制遗忘训练的模型表示经常经历小的表示遗忘,有时可以与显式控制遗忘的方法相媲美,特别是在较长的任务序列中。我们还表明,表示遗忘可以导致新的见解的影响模型容量和损失函数中使用的持续学习。基于我们的研究结果,我们表明,一个简单而有竞争力的方法是学习表示不断与标准的监督对比学习,同时构建类样本的原型时,查询旧的样本。
2022-04-05 cs.AI cs.CV cs.LG
Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations
University of Padova(帕多瓦大学)
深度神经网络在学习新任务时会遇到灾难性遗忘旧任务的主要限制。在本文中,我们专注于类增量持续学习语义分割,新的类别是随着时间的推移,而以前的训练数据不保留。所提出的持续学习方案塑造潜在空间以减少遗忘,同时提高对新类的识别。我们的框架由三个新颖的组件驱动,我们还将它们毫不费力地结合在现有技术之上。首先,原型匹配在旧类上强制执行潜在空间一致性,约束编码器在后续步骤中为先前看到的类产生类似的潜在表示。其次,特征稀疏化允许在潜在空间中腾出空间来容纳新的类。最后,对比学习是根据他们的语义聚类功能,而撕裂除了那些不同的类。对Pascal VOC 2012和ADE 20 K数据集的广泛评估证明了我们方法的有效性,显著优于最先进的方法。
2021-11-24 cs.AI cs.CV cs.LG
Less is More: Selective Reduction of CT Data for Self-Supervised Pre-Training of Deep Learning Models with Contrastive Learning Improves Downstream Classification Performance
Ulm University(乌尔姆大学);Ulm University Medical Center(乌尔姆大学医学中心)
本文针对医学图像相似性影响对比学习效果的问题,提出基于深度嵌入、信息论和哈希的选择性数据削减策略,通过减少冗余提升预训练质量和效率,在多个医学图像分类任务上显著提高AUC并加速预训练。
2024-10-18 cs.AI cs.CV eess.IV
Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification
University of Wollongong(卧龙岗大学);University of Bristol(布里斯托尔大学);Nanjing University of Science and Technology(南京理工大学);Northwestern Polytechnical University(西北工业大学)
学习有区别的图像表示在长尾图像分类中起着至关重要的作用,因为它可以简化不平衡情况下的分类器学习。鉴于对比学习最近在表示学习中表现出的良好性能,在这项工作中,我们探索了有效的监督对比学习策略,并对其进行了调整,以从不平衡数据中学习更好的图像表示,从而提高分类精度。具体来说,我们提出了一种新的混合网络结构,由监督对比损失学习图像表示和交叉熵损失学习分类器组成,其中学习从特征学习逐步过渡到分类器学习,以体现更好的特征使分类器更好的想法。我们探索了特征学习的对比度损失的两种变体,它们的形式各不相同,但有一个共同的想法,即在归一化嵌入空间中将同一类的样本拉到一起,并将不同类的样本分开。其中之一是最近提出的监督对比(SC)损失,它是在最先进的无监督对比损失之上设计的,通过合并来自同一类的阳性样本。另一种是原型监督对比(PSC)学习策略,它解决了标准SC损失中的密集内存消耗,从而在有限的内存预算下显示出更多的希望。在三个长尾分类数据集上的大量实验证明了所提出的基于对比学习的混合网络在长尾分类中的优势。
2021-03-26 cs.CV
Cross-View-Prediction: Exploring Contrastive Feature for Hyperspectral Image Classification
Soochow University(苏州大学);Imperial College London(帝国理工学院);Zhejiang University(浙江大学)
针对高光谱图像分类,本文提出Cross-View-Prediction自监督方法,通过跨通道预测构建双视图并以对比学习优化互信息与条件熵,结合SVM达到无监督分类最先进性能。
2024-12-04 cs.CV
A Multi-label Continual Learning Framework to Scale Deep Learning Approaches for Packaging Equipment Monitoring
University of Padova(帕多瓦大学);Statwolf Data Science Srl(Statwolf数据科学公司);Galdi Srl(加尔迪公司)
持续学习的目的是从一连串的任务中学习,能够同时记住新的和旧的任务。虽然提出了许多方法用于单类分类,但连续场景中的多标签分类仍然是一个具有挑战性的问题。本文首次研究了领域增量学习场景下的多标签分类问题。此外,我们提出了一种有效的方法,具有对数复杂度方面的任务的数量,也可以应用于类增量学习的情况下。我们验证了我们的方法在现实世界中的多标签报警预测问题的包装行业。为了重现性,用于实验的数据集和代码是公开的。
2022-08-08 cs.AI cs.LG
Continual Model Routing in Evolving Model Hubs
Department of Computer Science, University of Pisa, Pisa, Italy(意大利比萨大学计算机科学系);LUISS University, Rome, Italy(意大利罗马大学)
针对模型库快速扩展带来的模型选择和路由更新挑战,提出持续模型路由(CMR)问题,构建大规模基准CMRBench,并设计基于对比嵌入的CARvE方法,通过检查点锚定和结构化重放实现高效路由,显著优于多种基线。
2026-05-27 cs.AI cs.LG
Label Contrastive Coding based Graph Neural Network for Graph Classification
Florida State University(佛罗里达州立大学)
图分类是一个重要的研究问题,在许多不同领域的应用。为了学习图分类模型,最广泛使用的监督组件是输出层以及分类损失(例如,交叉熵损失与softmax或边际损失一起)。事实上,实例之间的区分信息是更细粒度的,这可以有利于图分类任务。本文提出了一种新的基于标签对比编码的图神经网络(LCGNN),以更有效、更全面地利用标签信息。LCGNN仍然使用分类损失来确保类别的可区分性。同时,LCGNN利用自监督学习提出的标签对比损失来鼓励实例级的类内紧凑性和类间可分性。为了支持对比学习,LCGNN引入了动态标签存储体和动量更新编码器。我们对八个基准图数据集的广泛评估表明,LCGNN可以超越最先进的图分类模型。实验结果也证明了LCGNN能以较少的训练数据获得有竞争力的性能,因为LCGNN充分利用了标签信息。
2021-01-14 cs.AI cs.LG
About contrastive unsupervised representation learning for classification and its convergence
Université de Paris(巴黎大学);Université Paris-Dauphine(巴黎多芬纳大学);Ecole normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心)
对比表示学习最近被证明是非常有效的自我监督训练。这些方法已成功地用于训练编码器,该编码器对下游分类任务执行监督训练。一些工作已经开始围绕对比学习建立一个理论框架,其中可以证明其性能的保证。我们将这些结果扩展到多个阴性样本的训练和多路分类。此外,我们提供了收敛保证,以最小化过参数化深度神经编码器的梯度下降的对比训练误差,并提供了一些数值实验,以补充我们的理论发现
2020-12-02 cs.AI cs.LG stat.ML
CLLD: Contrastive Learning with Label Distance for Text Classification
Alibaba Group(阿里巴巴集团)
现有的预训练模型在各种文本分类任务上都取得了最先进的性能。这些模型已被证明是有用的学习通用语言表示。然而,相似文本之间的语义差异不能被先进的预训练模型有效区分,这对难以区分的类的性能有很大的影响。为了解决这个问题,我们提出了一种新的对比学习与标签距离(CLLD)在这项工作中。受对比学习最新进展的启发,我们专门设计了一种用于学习对比类的标签距离分类方法。CLLD确保了导致不同标签分配的细微差异的灵活性,并同时为具有相似性的每个类生成不同的表示。在公共基准和内部数据集上的大量实验表明,我们的方法提高了预训练模型在分类任务上的性能。重要的是,我们的实验表明,学习的标签距离减轻了类间的对抗性。
2022-01-06 cs.AI cs.LG
Using Contrastive Learning and Pseudolabels to learn representations for Retail Product Image Classification
Paralleldots, Inc.(Paralleldots公司)
零售产品图像分类问题通常是Few Shot分类问题,因为零售产品类别不能像猫、狗或树那样在图像之间具有变化类型。以前的工作已经显示了不同的方法来微调卷积神经网络,以实现更好的分类精度在这样的数据集。在这项工作中,我们试图解决问题的陈述:我们能否预训练一个卷积神经网络骨干,产生足够好的零售产品图像表示,以便在这些表示上训练一个简单的逻辑回归给我们好的分类器?我们使用对比学习和基于伪标签的噪声学生训练来学习表示,以获得准确性,从而微调零售产品图像分类的整个Convnet主干。
2021-10-07 cs.CV cs.LG
Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation
SKLSDE, School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院软件开发环境国家重点实验室);Beijing Advanced Institution on Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑机智能高精尖创新中心);School of Electrical Engineering and Computer Science, University of Ottawa(渥太华大学电气工程与计算机科学学院)
对比学习在无监督环境下通过自我监督的表示学习中取得了显著的成功。然而,有效地使对比学习适应监督学习任务在实践中仍然是一个挑战。在这项工作中,我们引入了一个双重对比学习(DualCL)框架,同时学习输入样本的特征和分类器的参数在同一个空间。DualCL将分类器的参数看作是与不同标签相关联的增强样本,然后利用输入样本和增强样本之间的对比学习。对五个基准文本分类数据集及其低资源版本的实证研究表明,分类精度有所提高,并证实了DualCL学习判别表示的能力。
2022-01-21 cs.AI cs.CL cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia(弗吉尼亚大学);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而,学习的表示可能会导致下游任务的性能差异,例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战,在这项工作中,我们研究了通过对比学习学习满足公平性概念的公平表示,即文本分类的均衡化几率。具体来说,我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系,然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验,以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外,我们还表明,所提出的方法是稳定的,在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
Few-shot Text Classification with Dual Contrastive Consistency
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们将探讨如何利用预先训练的语言模型来执行Few-Shot文本分类,其中每个类只给出几个注释的例子。由于在这种情况下使用传统的交叉熵损失对语言模型进行微调会导致严重的过拟合,导致模型泛化效果不佳,因此我们采用了对少量标记数据进行有监督对比学习,对大量未标记数据进行一致性正则化的方法。此外,我们提出了一种新的对比一致性,以进一步提高模型性能和改进句子表示。在四个数据集上进行了广泛的实验后,我们证明了我们的模型(FTCC)可以优于最先进的方法,并具有更好的鲁棒性。
2022-09-29 cs.AI cs.CL cs.LG
Fine-Grained Classification: Connecting Metadata via Cross-Contrastive Pre-Training
New York University(纽约大学)
本文提出通过跨对比预训练整合图像、文本与元数据的统一细粒度分类框架,在 NABirds 上以 84.44% top-1 准确率超过基线 7.83%,并优于强多模态方法。
2025-10-18 cs.CV cs.LG
Provable Contrastive Continual Learning
SEIEE, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Beijing Normal University(北京师范大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文为对比持续学习建立理论性能保证,揭示模型性能受先前任务训练损失约束,并据此提出使用自适应蒸馏系数的CILA算法,在标准基准上取得新的最先进性能。
2024-05-29 cs.AI cs.CV cs.LG
Fed-CPrompt: Contrastive Prompt for Rehearsal-Free Federated Continual Learning
Michigan Technological University(密歇根理工大学);University of Houston(休斯顿大学)
针对无重放联邦持续学习中的灾难性遗忘,提出基于提示学习的Fed-CPrompt,通过异步提示学习和对比持续损失处理异步任务与异构数据,实现通信高效的最优性能。
2023-09-05 cs.AI cs.CV cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh(爱丁堡大学);Cardiff University(卡迪夫大学)
针对现有层次多标签文本分类(HMTC)对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题,提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL,在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Co$^2$L: Contrastive Continual Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
自监督学习的最新突破表明,与依赖于特定任务监督的联合训练方法相比,这种算法学习的视觉表示可以更好地转移到看不见的任务中。在本文中,我们发现,类似的持有在持续学习的背景下:对比学习的表示更强大的灾难性遗忘比联合训练的表示。基于这种新的观察,我们提出了一个排练为基础的持续学习算法,专注于不断学习和维护可转移的表示。更具体地说,所提出的方案(1)使用对比学习目标来学习表示,以及(2)使用自监督蒸馏步骤来保存学习的表示。我们在流行的基准图像分类数据集下进行了广泛的实验验证,其中我们的方法设置了新的最先进的性能。
2021-06-28 cs.CV cs.LG
FALCON: Fairness Learning via Contrastive Attention Approach to Continual Semantic Scene Understanding
University of Arkansas(阿肯色大学);Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学);Mohammed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
针对持续语义场景分割中的公平性缺失、未知类别特征无区分度等问题,提出FALCON方法,通过公平性对比聚类损失和注意力视觉语法,在多个基准上取得最优性能并提升模型公平性。
2025-03-21 cs.CV
PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对在线类增量持续学习中的灾难性遗忘问题,提出基于代理的对比重放方法(PCR),通过用代理替换对比样本解决类别不平衡并加速收敛,在三个基准数据集上优于现有方法。
2023-04-10 cs.AI cs.CV cs.LG
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
在线类增量持续学习(CL)研究从在线非平稳数据流中持续学习新类的问题,旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果,但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值(NCM)分类器在CL社区中被严重低估,但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差,并避免了新类的全连接层的结构变化。此外,我们观察到相当大的和一致的性能增益时,用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器,属于同一类的数据嵌入应该被聚类,并与具有不同类标签的数据嵌入很好地分离。为此,我们贡献了监督对比重放(SCR),它明确鼓励来自同一类的样本在嵌入空间中紧密聚类,同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说,我们观察到,我们提出的SCR大大减少了灾难性遗忘,并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
CCL: Continual Contrastive Learning for LiDAR Place Recognition
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学与技术学院)
针对激光雷达地点识别的深度学习方法存在泛化差和灾难性遗忘问题,提出构建对比特征池、结合分布知识蒸馏的持续对比学习方法CCL,在多数据集上验证其性能优于现有最优持续学习方法。
2023-06-14 cs.CV cs.RO
Gradient Regularized Contrastive Learning for Continual Domain Adaptation
University of Sydney(悉尼大学);The Chinese University of Hong Kong(香港中文大学);Sensetime Group Limited(商汤集团有限公司)
人类可以通过利用学习经验快速适应环境变化。然而,通过机器学习算法使深度神经网络适应动态环境仍然是一个挑战。为了更好地理解这个问题,我们研究了连续领域自适应的问题,其中模型是由一个标记的源域和一系列未标记的目标域。这个问题的障碍是域转移和灾难性遗忘。我们提出了梯度正则化对比学习(GRCL)来解决这些障碍。在我们的方法的核心,梯度正则化起着两个关键作用:(1)强制梯度不损害源特征的区分能力,这反过来又有利于模型对目标域的适应能力;(2)约束梯度不增加旧目标域上的分类损失,这使得该模型在适应新的目标域时能够保持旧目标域上的性能。Digits,DomainNet和EST-Caltech基准上的实验表明,与其他最先进的方法相比,我们的方法具有很强的性能。
2021-03-23 cs.CV
Global Pre-fixing, Local Adjusting: A Simple yet Effective Contrastive Strategy for Continual Learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出GPLASC对比策略,通过全局预固定等角紧框架划分任务区域、局部调整任务内特征结构,同时缓解任务间与任务内混淆,提升持续学习性能。
2025-09-18 cs.CV cs.LG
CRISP: Contrastive Residual Injection and Semantic Prompting for Continual Video Instance Segmentation
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences(机器人与智能系统国家重点实验室,沈阳自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对持续视频实例分割中的混淆问题,提出CRISP框架,通过实例相关性损失、自适应残差语义提示及增量提示初始化策略,有效缓解灾难性遗忘并显著提升分割与分类性能。
2025-08-14 cs.CV
Rehearsal-free and Task-free Online Continual Learning With Contrastive Prompt
RMIT University(皇家墨尔本理工大学);Machine Intelligence Center(人工智能中心)
针对在线持续学习的灾难性遗忘难题,提出无排练无任务的F2OCL方法,结合提示学习与NCM分类器,在无需存储样本和任务信息的情况下实现有效学习,经双基准实验验证效果。
2025-10-01 cs.CV cs.LG
Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters
University of Oulu(奥卢大学);Nanyang Technological University(南洋理工大学);ByteDance(字节跳动);National University of Defense Technology(国防科技大学)
Few-Shot持续学习(FSCL)的目标是在有限的标记样本下增量学习新的任务,同时保持原有的能力,而目前的FSCL方法都是为了类增量的目的。而且,对FSCL解决方案的评价只是所有遇到的任务的累积性能,而没有探索领域泛化能力的工作。领域泛化是一个具有挑战性但又实用的任务,其目标是在训练领域之外进行泛化。在本文中,我们建立了一个广义的FSCL(GFSCL)协议,涉及类和领域的增量情况下,连同领域泛化评估。首先,新安排了两个基准数据集和协议,并为这种未探索的配置提供了详细的基线。我们发现,常见的持续学习方法在未知领域的泛化能力差,不能更好地应对交叉增量任务中的灾难性遗忘问题。通过这种方式,我们进一步提出了一个基于视觉Transformer(ViT)的无排练框架,称为适配器的对比混合(CMoA)。由于类增量和领域增量的优化目标不同,CMoA包含两个部分:(1)针对类增量问题,在ViT中引入了混合适配器(MoA)模块,并设计了余弦相似度正则化和动态权重,使每个适配器学习特定的知识,集中于特定的类。(2)对于领域相关问题和领域不变的表示学习,我们通过原型校准的对比学习来减轻类内变异。代码和协议可在https://github.com/yawencui/CMoA上获得。
2023-02-12 cs.CV
Gradient Regularized Contrastive Learning for Continual Domain Adaptation
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
人类可以通过利用学习经验快速适应环境变化。然而,适应动态环境的能力差仍然是人工智能模型面临的主要挑战。为了更好地理解这个问题,我们研究了连续领域自适应的问题,其中模型是由一个标记的源域和一系列未标记的目标域。在这个问题上有两个主要的障碍:领域转移和灾难性遗忘。在这项工作中,我们提出了梯度正则化对比学习,以解决上述障碍。在我们的方法的核心,梯度正则化起着两个关键作用:(1)强制对比损失的梯度不增加源域上的监督训练损失,这保持了学习特征的区分能力;(2)正则化新域上的梯度更新以不增加旧目标域上的分类损失,这使得模型能够适应即将到来的目标域,同时保持先前观察到的域的性能。因此,我们的方法可以与标记的源域和未标记的目标域联合学习语义区分和域不变的功能。在Digits、DomainNet和E-Caltech基准测试上的实验表明,与最先进的方法相比,我们的方法具有很强的性能。
2020-07-25 cs.CV cs.LG
AnaCP: Toward Upper-Bound Continual Learning via Analytic Contrastive Projection
Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系)
针对类别增量学习(CIL)中预训练模型固定特征提取器无法持续适配任务的局限,提出AnaCP方法,通过解析对比投影实现无需梯度训练的增量特征适配,消除灾难性遗忘,性能优于基线且达到联合训练(CIL上界)精度。
2025-11-17 cs.CV cs.LG
Towards Robust Feature Learning with t-vFM Similarity for Continual Learning
Chung-Ang University(中央大学)
针对持续学习中数据不平衡导致表征学习受限的问题,本文在监督对比损失中以 t-vFM 相似度替代余弦相似度,以增强特征鲁棒性,并在 Seq-CIFAR-10 上取得优于近期基线的结果。
2023-06-04 cs.CV cs.LG
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University(西安交通大学)
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言,使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题,我们提出了多个深度度量表示学习,通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外,我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广,平均平均类准确率(AMCA)64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Centre for Frontier AI Research, Institute of High Performance Computing, A*STAR(新加坡高性能计算研究院前沿人工智能研究中心(新加坡科技研究局))
针对在线持续学习中的灾难性遗忘问题,本文提出HPCR方法,通过对比组件、温度组件和蒸馏组件分别改进PCR在特征提取、泛化和抗遗忘方面的不足,并在四个数据集上验证了其优越性。
2025-01-03 cs.CV cs.LG
Patch-Based Contrastive Learning and Memory Consolidation for Online Unsupervised Continual Learning
Georgia Institute of Technology(佐治亚理工学院);CYENS Centre of Excellence(CYENS卓越中心);The Cyprus Institute(塞浦路斯研究所)
本文提出在线无监督持续学习范式O-UCL及方法PCMC,通过补丁级对比学习提取特征并聚类构建组合理解,在睡眠期巩固记忆以避免灾难性遗忘,在ImageNet和Places365数据流上表现优异。
2024-09-24 cs.CV cs.LG
Continual Learning: Less Forgetting, More OOD Generalization via Adaptive Contrastive Replay
University of Cambridge(剑桥大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
针对基于排练的持续学习方法存在的OOD泛化差、遗忘率高的问题,提出自适应对比重放方法ACR,通过双重优化、自适应填充错分类样本均衡表征,实现稳定性与可塑性平衡,在多个数据集上OOD泛化性能显著提升。
2024-10-09 cs.CV cs.LG
Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations
National Yang Ming Chiao Tung University(阳明交通大学);Macronix International Co., Ltd.(旺宏电子股份有限公司)
在线持续学习(Online Continuous Learning,OCL)的目标是在有限的系统规模和计算代价的约束下,从非平稳的数据流中不断地获取新知识并保留已学习的知识,其主要挑战来自“灾难性遗忘“问题--在学习新知识的同时不能很好地记住已学习的知识.特别关注类增量OCL场景,即用于分类的OCL,最近的进展结合了对比学习技术,用于学习更一般化的特征表示,以实现最先进的性能,但仍然无法完全解决灾难性遗忘。在本文中,我们遵循采用对比学习的策略,但进一步引入语义上不同的增强技术,其中它利用强增强来生成更多的数据样本,我们表明,在对比学习机制中,考虑这些样本在语义上不同于它们的原始类(因此与分布外的样本相关)有助于减轻遗忘并促进模型稳定性。此外,除了对比学习之外,我们的模型设计中还包括了典型的分类机制和目标(即softmax分类器和交叉熵损失),以实现更快的收敛并利用标签信息,但特别配备了采样策略来解决偏向新类的趋势(即模型偏向最近学习的类)。在CIFAR-10,CIFAR-100和Mini-Imagenet数据集上进行了广泛的实验后,我们提出的方法显示出对各种基线的优越性能。
2023-01-13 cs.CV
Beyond Classification: Dynamic Adapter Routing for Continual Multimodal Retrieval
NASK National Research Institute(NASK国家研究院);IDEAS Research Institute(IDEAS研究所);Warsaw University of Technology(华沙技术大学);Universitat Autonoma de Barcelona(巴塞罗那自治大学)
针对持续多模态检索(CMR)任务,提出基于原型路由和模型合并的动态适配器路由(DAR)方法,在跨域评估中取得优于现有基线的性能。
2026-05-29 cs.AI cs.CV
Continual Learning for Image Captioning through Improved Image-Text Alignment
IT & Engineering International University of Applied Sciences(IT与工程国际应用科学大学)
针对持续图像描述中的灾难性遗忘与图文对齐难题,提出融合三类对齐损失的多损失框架,在无推理额外开销的前提下,有效缓解遗忘并取得优于现有方法的语义对齐效果。
2025-11-18 cs.CV