Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners
Hikvision Research Institute(海康威视研究院)
在持续学习的SSLAD-Track 3B挑战赛中,我们提出了用Transformer进行持续学习的方法(COLT)。我们发现,Transformers遭受灾难性遗忘相比,卷积神经网络。我们的方法的主要原理是配备Transformer为基础的特征提取器与旧的知识蒸馏和头部扩展策略,以竞争灾难性遗忘。在这份报告中,我们首先介绍了目标检测的持续学习的总体框架。然后,分析了解决方案中关键要素对抵御灾难性遗忘的影响。我们的方法在SSLAD-Track 3B挑战测试集上实现了70.78 mAP。
2022-01-13 cs.CV
Rectification-based Knowledge Retention for Continual Learning
IIT Kanpur(印度理工学院坎普尔分校);University of Bath(巴斯大学)
当在增量学习环境中训练时,深度学习模型会遭受灾难性遗忘。在这项工作中,我们提出了一种新的方法来解决任务增量学习问题,其中包括训练一个模型的新任务,以增量的方式到达。当测试集包含不是训练集的一部分的类时,即,任务增量广义零样本学习问题。我们的方法可以用于zero-shot和非zero-shot任务增量学习设置。我们提出的方法使用权重校正和仿射变换,以适应模型的不同任务,依次到达。具体来说,我们通过“调整”从上一个任务中学习到的权重来调整网络权重,以适应新任务。我们使用很少的参数来学习这些权重校正。我们还学习了网络生成的输出的仿射变换,以便更好地适应新任务。我们在zero-shot和非zero-shot任务增量学习设置中对几个数据集进行了实验,并根据经验表明,我们的方法达到了最先进的结果。具体来说,我们的方法在CIFAR-100数据集上的性能优于最先进的非zero-shot任务增量学习方法超过5%。我们的方法还显著优于最先进的任务增量广义零样本学习方法,AWA 1和CUB数据集的绝对裕度分别为6.91%和6.33%。我们使用各种消融研究来验证我们的方法。
2021-03-30 cs.CV
Generative appearance replay for continual unsupervised domain adaptation
IBM Research Europe(IBM欧洲研究院);ETH Zurich(苏黎世联邦理工学院);Uppsala University(乌普萨拉大学)
深度学习模型在对大量标记数据进行训练时可以实现高精度。然而,现实世界的场景通常涉及几个挑战:训练数据可能会分期提供,可能来自多个不同的域,并且可能不包含用于训练的标签。某些设置,例如医疗应用,通常涉及由于隐私法规而禁止保留先前看到的数据的进一步限制。在这项工作中,为了解决这些挑战,我们研究了无监督分割在持续学习的情况下,涉及域转移。为此,我们引入了GarDA(连续领域自适应的生成外观重放),这是一种基于生成重放的方法,可以将分割模型顺序地适应于具有未标记数据的新领域。与单步无监督领域自适应(UDA)相比,对一系列领域的持续适应使得能够利用和整合来自多个领域的信息。与以前的增量UDA方法不同,我们的方法不需要访问以前看到的数据,使其适用于许多实际场景。我们在两个具有不同器官和模式的数据集上评估了GarDA,它大大优于现有技术。
2023-02-13 cs.AI cs.CV
Information-Theoretic Constraints for Continual Vision-Language-Action Alignment
Westlake University, China(西湖大学);University of Southampton, UK(南安普顿大学)
本文提出Info-VLA框架,通过两个互补约束保持跨模态信息结构,解决持续学习中视觉语言动作对齐退化问题,实验表明其在任务保持与适应性上优于现有方法。
2026-03-06 cs.AI cs.CV
Parameter Efficient Continual Learning for Sparse Event-Based Transformers
IIT Guwahati(古瓦哈蒂印度理工学院);SustainAI Lab, MFSDS&AI(SustainAI实验室、MFSDS&AI)
本文针对稀疏事件驱动视觉Transformer提出参数高效持续学习框架sLoTh,仅更新不足1%参数即可实现无重放的类增量与在线持续学习,能耗约为传统密集Transformer的1/6.5。
2026-08-28 cs.CV
MedPEFT-CL: Dual-Phase Parameter-Efficient Continual Learning with Medical Semantic Adapter and Bidirectional Memory Consolidation
University College London(伦敦大学学院)
MedPEFT-CL通过语义驱动适配器和双向记忆协调,实现医学视觉-语言任务中的参数高效持续学习,有效缓解灾难性遗忘。
2025-11-21 cs.CV
Online Continual Learning with Contrastive Vision Transformer
The University of Sydney(悉尼大学)
在线连续学习(Online Continuous Learning,CL)研究从无任务边界的在线数据流中学习顺序任务的问题,旨在适应新数据的同时减轻对过去任务的灾难性遗忘。本文提出了一个框架对比视觉Transformer(CVT),它设计了一个基于Transformer架构的焦点对比学习策略,以实现在线CL的更好的稳定性和可塑性权衡。具体而言,我们设计了一个新的外部注意力机制在线CL隐式捕获以前的任务的信息。此外,CVT包含每个类的可学习焦点,可以积累以前课程的知识,以减少遗忘。基于可学习的焦点,我们设计了一个焦点对比损失,以重新平衡新类和旧类之间的对比学习,并巩固以前学习的表征。此外,CVT包含一个双分类器结构,用于解耦学习当前类和平衡所有观察到的类。大量的实验结果表明,我们的方法实现了最先进的性能,甚至更少的参数在线CL基准,并有效地消除了灾难性遗忘。
2022-07-24 cs.AI cs.CV cs.LG
Online hand gesture recognition using Continual Graph Transformers
CESI LINEACT;LICIT-ECO7, ENTPE, Université Gustave Eiffel(古斯塔夫·埃菲尔大学);IMT Nord Europe(北加来海峡高等电信学院);University of Lille(里尔大学)
针对现有基于骨架的动作识别方法多为片段式、不适配实时连续场景的问题,提出融合S-GCN、TGE与持续学习机制的在线识别系统,在SHREC'21上达SOTA准确率且降低假阳性率,适用于多实时交互场景。
2025-02-20 cs.AI cs.CV
SPeCiaL: Self-Supervised Pretraining for Continual Learning
McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院)
本文介绍了SPeciaL:一种为持续学习量身定制的表示的无监督预训练方法。我们的方法设计了一个元学习目标,通过顺序学习过程区分。具体来说,我们训练一个线性模型的表示,以匹配不同的增强视图相同的图像在一起,每个视图顺序呈现。然后评估线性模型对它刚刚看到的图像进行分类的能力,以及对来自先前迭代的图像进行分类的能力。这就产生了有利于快速记忆知识和最小遗忘的表征。我们在连续少样本学习设置中评估SPeciaL,并表明它可以匹配或优于其他监督预训练方法。
2021-06-16 cs.CV cs.LG
CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning
Beijing Electronic Science and Technology Institute(北京电子科技学院);Jimei University(集美大学);Xidian University(西安电子科技大学);University of Science and Technology of China(中国科学技术大学)
针对深度学习复制-移动伪造检测方法依赖合成数据、面对新任务性能下降的问题,提出基于Transformer的CMFDFormer检测网络及PCSD持续学习框架,在公开数据集上验证了良好性能与框架有效性。
2026-10-20 cs.CV
Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks
University of Southern California(南加州大学)
针对现有持续学习方法多聚焦单模态、大型预训练Transformer微调成本高的问题,提出基于Transformer的TAM-CL框架,通过新增任务专属参数、知识蒸馏实现多模态任务持续学习,缓解灾难性遗忘,开销低且达SOTA性能。
2024-01-27 cs.CV
Empirical Evidences for the Effects of Feature Diversity in Open Set Recognition and Continual Learning
TU Berlin(柏林技术大学)
本文通过实验证明增强特征多样性既能提升开放集样本识别能力,又能促进持续学习中旧知识保留与新数据整合,为相关方法设计提供依据。
2025-08-18 cs.CV cs.LG
Soft-TransFormers for Continual Learning
School of Electrical Engineering (EE), Korea Advanced Institute of Science(电气工程学院(EE),韩国科学技术院)
Soft-TransFormers通过学习任务特定的乘法掩码实现持续学习,结合轻量级双提示机制,有效缓解灾难性遗忘并保持知识保留。
2026-07-22 cs.AI cs.CV cs.LG
BiRT: Bio-inspired Replay in Vision Transformers for Continual Learning
NavInfo Europe(四维图新欧洲);Eindhoven University of Technology(埃因霍温理工大学)
针对视觉Transformer持续学习中表征回放多样性不足导致的过拟合问题,提出BiRT方法,通过在各阶段引入建设性噪声并强制与指数移动平均预测一致,在多个基准上取得优于原始图像回放和朴素表征回放的性能,且内存高效、鲁棒。
2023-05-08 cs.CV cs.LG cs.NE
DPFormer: Dynamic Prompt Transformer for Continual Learning
Nvidia Corporation(英伟达公司);National Chung Hsing University(中原大学);National Yang Ming Chiao Tung University(阳明交通大学)
本文提出 DPFormer,通过动态提示方案和融合 BCE、蒸馏及辅助损失的统一分类模块,缓解持续学习中的灾难性遗忘、稳定性—可塑性困境及任务间混淆,并在多个类别增量基准上取得最优性能。
2025-06-09 cs.CV
Exemplar-Free Continual Transformer with Convolutions
IIT Kharagpur(印度理工学院克勒格布尔分校);IML Amazon India(亚马逊印度机器学习研究所);IISER Kolkata(印度科学教育与研究学院加尔各答分校)
针对视觉Transformer持续学习方法需存样本或推理要任务ID的问题,提出无样本方法ConTraCon,用卷积重加权Transformer注意力权重降参数量,结合增强熵法识别任务,实验显示其以更少参数超多个对比方法。
2023-08-22 cs.CV
Towards Exemplar-Free Continual Learning in Vision Transformers: an Account of Attention, Functional and Weight Regularization
Ca’ Foscari University(威尼斯福斯卡里大学);University of New South Wales(新南威尔士大学);Computer Vision Center(计算机视觉中心)
本文研究了视觉Transformer(ViT)在无样例情况下的持续学习,重点研究了如何有效地提取其关键的自我注意力机制(SAM)的知识。我们的工作迈出了第一步,对SAM的外科手术调查设计连贯的持续学习方法,在ViTs。我们首先对已建立的持续学习正则化技术进行评估。然后,我们研究了正则化在应用于SAM的两个关键使能因素时的效果:(a)上下文化嵌入层,用于捕获关于值的良好缩放表示的能力,以及(b)预缩放注意力图,用于携带与值无关的全局上下文信息。我们在两个图像识别基准测试(CIFAR100和ImageNet-32)上描述了每种提取策略的好处--同时(a)导致更好的整体准确性,(b)通过保持竞争力来帮助增强刚性。此外,我们确定了正则化损失的对称性所施加的限制。为了缓解这一点,我们提出了一个不对称的变体,并将其应用于适用于ViTs的合并输出蒸馏(POD)损失。我们的实验证实,将不对称性引入POD增强了其可塑性,同时保持了(a)和(b)的稳定性。此外,我们承认所有比较方法的遗忘测量值较低,表明ViTs可能是自然倾向于持续学习者
2022-05-05 cs.CV cs.LG
Exploring Kolmogorov-Arnold Network Expansions in Vision Transformers for Mitigating Catastrophic Forgetting in Continual Learning
Department of Computer Science and Artificial Intelligence(计算机科学与人工智能系);Dongguk University(东国大学);Seoul 04620, Republic of Korea(韩国首尔04620)
本文提出用Kolmogorov-Arnold网络替换视觉Transformer中的多层感知机,通过样条激活的局部可塑性缓解持续学习中的灾难性遗忘,并在MNIST和CIFAR100上验证其优于传统MLP方法。
2025-07-05 cs.CV
Exemplar-free Continual Learning of Vision Transformers via Gated Class-Attention and Cascaded Feature Drift Compensation
University of Pavia(帕维亚大学);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);University of Florence(佛罗伦萨大学)
针对ViT无样本持续学习中的灾难性遗忘问题,提出门控类注意力与级联特征漂移补偿方法,在无需任务ID和样本回放的情况下平衡可塑性与记忆,取得优于基于排练方法的竞争力表现。
2023-07-27 cs.CV
Continual Learning with Transformers for Image Classification
AWS(亚马逊云科技)
在许多现实场景中,用于训练机器学习模型的数据随着时间的推移变得可用。然而,神经网络模型很难在不忘记过去所学知识的情况下不断学习新概念。这种现象被称为灾难性遗忘,并且由于实际约束(例如,可以存储的数据量或可以使用的有限计算源),通常难以防止这种现象。此外,从头开始训练大型神经网络(诸如Transformers)是非常昂贵的,并且需要大量的训练数据,这在感兴趣的应用领域中可能是不可用的。最近的趋势表明,基于参数扩展的动态架构可以在持续学习中有效地减少灾难性遗忘,但这需要复杂的调整来平衡不断增长的参数数量,并且几乎不共享任务之间的任何信息。因此,他们很难在没有显著开销的情况下扩展到大量任务。在本文中,我们在计算机视觉领域验证了一种称为自适应蒸馏适配器(ADA)的最新解决方案,该解决方案旨在使用预先训练的Transformers和Adapters对文本分类任务进行持续学习。我们在不同的分类任务上经验性地证明,这种方法保持了良好的预测性能,而无需随着时间的推移重新训练模型或增加模型参数的数量。此外,与最先进的方法相比,它在推理时间上明显更快。
2022-06-28 cs.CV cs.LG
Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Hong Kong Generative AI Research and Development Center(香港生成式人工智能研究与开发中心)
本文提出RaPO方法,通过轨迹级奖励塑造缓解强化微调在连续学习中的遗忘问题,实验证明其在视觉连续学习中有效减少灾难性遗忘。
2026-10-14 cs.CV cs.LG
DyTox: Transformers for Continual Learning with DYnamic TOken eXpansion
Sorbonne Université(索邦大学);Heuritech;Meta AI
深度网络架构努力不断学习新任务,而不会忘记以前的任务。最近的趋势表明,基于参数扩展的动态结构可以有效地减少持续学习中的灾难性遗忘。然而,现有的方法通常需要在测试时的任务标识符,需要复杂的调整,以平衡不断增长的参数数量,几乎没有跨任务共享任何信息。因此,他们很难在没有显著开销的情况下扩展到大量任务。在本文中,我们提出了一个Transformer架构的基础上,一个专用的编码器/解码器框架。关键是,编码器和解码器在所有任务之间共享。通过特殊令牌的动态扩展,我们将解码器网络的每个转发专门用于任务分布。我们的策略可扩展到大量的任务,同时由于严格控制参数扩展,内存和时间开销可以忽略不计。此外,这种有效的策略不需要任何超参数调整来控制网络的扩展。我们的模型在CIFAR 100上达到了优异的结果,在大规模ImageNet 100和ImageNet 1000上达到了最先进的性能,同时具有比并发动态框架更少的参数。
2022-08-07 cs.CV cs.LG
On the Effectiveness of LayerNorm Tuning for Continual Learning in Vision Transformers
University of Trento(特伦托大学);Inria(法国国家信息与自动化研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出为每个持续学习任务调优 LayerNorm 的缩放与偏置参数,并通过键匹配选择及两阶段训练提升鲁棒性,在 ImageNet-R 和 CIFAR-100 上以更低计算成本达到 SOTA 水平。
2023-08-18 cs.CV
Do Your Best and Get Enough Rest for Continual Learning
Ajou University(亚洲大学);KAIST(韩国科学技术院)
本研究借鉴艾宾浩斯遗忘曲线理论,提出view-batch模型,通过最优回忆间隔重放与单样本自监督学习两种方法,有效缓解持续学习中的灾难性遗忘问题,显著提升了多种现有SOTA方法的性能。
2025-03-24 cs.CV cs.LG
Remembering Transformer for Continual Learning
Araya(阿莱雅);RIKEN AIP(理化学研究所人工智能项目);Microsoft Research(微软研究院);Tokyo Institute of Technology(东京工业大学)
针对持续学习中的灾难性遗忘问题,受大脑互补学习系统启发提出Remembering Transformer,通过适配器混合架构与新颖性检测机制结合知识蒸馏实现动态路由,在多类任务上取得SOTA性能且大幅降低内存占用。
2024-05-16 cs.CV cs.LG
ConSlide: Asynchronous Hierarchical Interaction Transformer with Breakup-Reorganize Rehearsal for Continual Whole Slide Image Analysis
The University of Hong Kong(香港大学);Zhejiang University(浙江大学);The Hong Kong Polytechnic University(香港理工大学);Stanford University(斯坦福大学)
本文提出首个全玻片图像持续分析框架ConSlide,通过分层交互Transformer、拆分-重组排练及异步更新机制,在4个TCGA数据集上实现了优于现有方法的性能,更好平衡了整体效果与灾难性遗忘问题。
2023-08-25 cs.CV
Neuromimetic metaplasticity for adaptive continual learning
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对深度神经网络的灾难性遗忘问题,提出受人类工作记忆启发的神经拟态元可塑性模型,通过混合不同灵活度的突触实现无预处理/后处理的持续学习,兼顾记忆容量与性能,且对数据投毒攻击具有鲁棒性。
2024-07-09 cs.AI cs.CV cs.LG
Integrating Curricula with Replays: Its Effects on Continual Learning
Hwa Chong Institution(华侨中学);Agency for Science, Technology, and Research(新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本研究受人类课程式学习行为启发,探索课程与重放方法整合对持续学习的影响,从交错频率、重放顺序、样例选择策略三方面设计课程,有效缓解灾难性遗忘并增强正向知识迁移。
2023-07-25 cs.AI cs.CV cs.LG
Continual Model Merging with Test-Time Adaptation for Whole-Slide Image Analysis
University of Information Technology(信息技术大学);Viet Nam National University Ho Chi Minh City(胡志明市越南国立大学);ETIS (UMR 8051), CY Cergy Paris University, ENSEA, CNRS, France(法国赛尔齐巴黎大学、ENSEA、法国国家科学研究中心的ETIS(UMR 8051))
研究通过整合独立微调模型进行连续模型合并,利用测试时自适应调整合并变量,在全切片图像分类中评估该方法,对比传统连续学习方法,发现其有优势但性能受任务顺序等影响。
2026-07-07 cs.CV
CLARE: Scalable Class-Incremental Continual Learning via a Sparsity-Based Framework
The University of Hong Kong(香港大学);Hong Kong Generative AI Research and Development Center(香港生成式人工智能研发中心)
本文提出稀疏驱动持续学习框架CLARE,通过两阶段稀疏掩码微调缓解任务间干扰,在Omnibenchmark-1k上显著提升最终准确率,实现可扩展的类增量学习。
2026-09-16 cs.CV cs.LG
Continual Learning on a Data Diet
Eindhoven University of Technology(埃因霍温理工大学)
本文探索在持续学习中通过核心集选择技术从重要样本学习,实证表明选择性样本能提升增量准确性、知识保留和表示质量。
2024-10-23 cs.CV cs.LG
Stop Marginalizing My Dreams: Model Inversion via Laplace Kernel for Continual Learning
Jagiellonian University(雅盖隆大学);IDEAS Research Institute(IDEAS研究院)
本文提出REMIX框架,通过拉普拉斯核参数化实现高效的全协方差建模,提升数据自由持续学习的性能和可扩展性。
2026-05-12 cs.CV cs.LG
Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning
Rowan University(罗文大学)
提出受神经科学启发的Robust Rehearsal框架,通过特征蒸馏与再巩固机制缓解持续学习中的灾难性遗忘,在多个数据集上优于基线方法。
2024-04-22 cs.CV cs.LG
Learning New Tasks via Reusable Skills: Skill-Compositional Experts for Embodied Continual Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shandong University(山东大学);Shenzhen Loop Area Institute(深圳河套学院)
提出技能组合专家(SCE)框架,通过组合技能基础(CSG)分解演示为可复用技能,并利用双执行-转换专家(DETE)实现新任务学习,有效缓解具身持续学习中的灾难性遗忘。
2026-09-29 cs.CV cs.RO
Forward-Only Continual Learning
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology(华南理工大学智能工程学院)
针对预训练模型持续学习中的灾难性遗忘及现有梯度方法计算量大的问题,提出仅前向、无梯度的FoRo方法,通过轻量提示调优和知识编码机制实现增量学习,降低遗忘率、提升准确率,减少内存与耗时,适用于资源受限的多媒体场景。
2025-09-01 cs.CV cs.LG
What Should World Models Forget? Stratified Retention for Continual Adaptation
University of Maryland, College Park(马里兰大学学院公园分校)
针对世界模型在持续适应中需区分可遗忘与不可遗忘知识的问题,提出按不变性时间尺度分层保留的差分保留方法,并联合报告不变量回归测试与修订延迟。
2026-11-16 cs.AI cs.CV cs.LG
Dual-Alignment Knowledge Retention for Continual Medical Image Segmentation
Sichuan University(四川大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出一种双对齐知识保留框架,通过跨网络对齐和跨表示对齐建立历史数据与当前网络间的复杂依赖关系,以缓解医学图像分割持续学习中的灾难性遗忘。
2025-07-04 cs.CV eess.IV
Continual Transformers: Redundancy-Free Attention for Online Inference
Aarhus University(奥胡斯大学)
针对Transformer在线时序推理中因序列重叠导致的计算冗余问题,提出计算顺序等价于原始Transformer Encoder的Continual Transformer Encoder,在保持预测性能的同时将单块和双块架构的浮点运算量分别降低达63倍和2.6倍。
2023-01-24 cs.AI cs.CV
MacVQA: Adaptive Memory Allocation and Global Noise Filtering for Continual Visual Question Answering
MacVQA通过适应性内存分配和全局噪声过滤提升持续视觉问答的性能,实现更高的准确率和更低的遗忘率。
2026-01-05 cs.CV
BBR-Net: Boundary-Balanced Replay for Continual Medical Image Segmentation
Department of Computer Science and Artificial Intelligence, Dongguk University(东国大学计算机科学与人工智能系)
提出边界平衡重放网络(BBR-Net),通过边界感知优先级和类别平衡选择重放样本,在连续心脏超声分割中减少灾难性遗忘并保持目标域适应能力。
2026-06-16 cs.CV
Continual Hippocampus Segmentation with Transformers
Technical University of Darmstadt(达姆施塔特工业大学)
在临床环境中,采集条件和患者人群会随着时间的推移而变化,持续学习是确保安全使用深度神经网络的关键。然而,大多数现有的工作集中在卷积架构和图像分类。相反,放射科医生更喜欢使用概述特定感兴趣区域的分割模型,基于transformer的架构正在获得牵引力。Transformers的自注意机制可能会减轻灾难性遗忘,为更鲁棒的医学图像分割开辟道路。在这项工作中,我们探讨了最近提出的Transformer机制的语义分割行为在顺序学习的情况下,并分析如何最好地适应这种设置的持续学习策略。我们对海马体分割的评估表明,与纯卷积架构相比,Transformer机制减轻了医学图像分割的灾难性遗忘,并表明应谨慎进行ViT模块的规则化。
2022-04-17 cs.CV eess.IV
MM-Prompt: Cross-Modal Prompt Tuning for Continual Visual Question Answering
Khoury College of Computer Sciences, Northeastern University(东北大学克劳尔计算机科学学院);New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别新实验室)
MM-Prompt通过跨模态提示查询与恢复,解决持续视觉问答中的模态不平衡问题,提升准确性与知识保留。
2025-09-11 cs.AI cs.CV cs.LG
DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams
Aarhus University(奥胡斯大学);Tampere University(坦佩雷大学)
本文提出DeepCoT,一种无需冗余的编码器注意力机制,适用于现有深度编码器架构,实现线性计算成本,显著提升实时推理效率。
2026-03-31 cs.CL cs.CV cs.LG
CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar Class-Incremental Learning
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所)
针对无样本类别增量学习中隐私限制引发的可塑性-稳定性困境与分类器偏差问题,提出CEAT架构,通过参数扩展吸收、原型对比损失和伪特征校正实现性能显著提升。
2024-03-12 cs.AI cs.CV
Towards Lifelong Aerial Autonomy: Geometric Memory Management for Continual Visual Place Recognition in Dynamic Environments
Department of Precision Instrument, Tsinghua University(清华大学精密仪器系);College of Instrument Science and Opto-electronics Engineering, Beijing Information Science and Technology University(北京信息科技大学仪器科学与光电工程学院);Key Laboratory of Complex System Intelligent Control and Decision Making, Beijing Institute of Technology(北京理工大学复杂系统智能控制与决策重点实验室);School of Aerospace Engineering, Beijing Institute of Technology(北京理工大学宇航学院)
本文提出一种异构记忆框架,通过静态卫星锚点和动态经验回放缓冲区,提升动态环境中连续视觉地点识别的鲁棒性与泛化能力。
2026-09-04 cs.CV cs.LG cs.RO
ConSept: Continual Semantic Segmentation via Adapter-based Vision Transformer
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);the Hong Kong Polytechnic University(香港理工大学)
本文提出ConSept方法,通过在普通ViT中集成轻量级注意力适配器,并结合确定性旧类别边界蒸馏与双重dice损失,有效缓解持续语义分割中的灾难性遗忘问题,同时提升新旧类别的分割性能。
2024-02-26 cs.CV
Continual Adaptation of Vision Transformers for Federated Learning
Georgia Institute of Technology(佐治亚理工学院)
本文研究持续联邦学习中的灾难性遗忘与数据异构性问题,提出基于Vision Transformers的参数高效提示方法与轻量级生成蒸馏方案,在无需存储数据且最小化开销的情况下,较现有方法提升性能达7%。
2024-09-22 cs.AI cs.CV cs.LG
T2I-ConBench: Text-to-Image Benchmark for Continual Post-training
Shanghai Jiao Tong University(上海交通大学);Huawei Project Page(华为项目)
针对文本到图像模型持续后训练缺乏标准评估的问题,提出统一基准T2I-ConBench,覆盖物品定制与领域增强,从四维度评估十种方法,发现无方法全能且跨任务泛化未解。
2025-05-22 cs.AI cs.CV cs.LG
Continual Detection Transformer for Incremental Object Detection
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Oxford(牛津大学)
本文提出持续检测 Transformer(CL-DETR)以解决基于 Transformer 的增量目标检测中知识蒸馏与样本回放效果不佳的问题,通过引入检测器知识蒸馏损失和样本回放校准策略,在 COCO 2017 上取得了最先进的结果。
2023-04-06 cs.CV
Rethinking Query-based Transformer for Continual Image Segmentation
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学);Sun Yat-sen University(中山大学);Wuhan University(武汉大学)
针对持续图像分割中解耦框架的可塑性丧失和数据顺序依赖问题,提出SimCIS基线,通过直接选择图像特征进行查询分配以保持客观性并促进可塑性,并引入跨阶段一致性和视觉查询重放机制对抗灾难性遗忘,在多种任务和设置上优于现有方法。
2025-07-10 cs.CV
The Empirical Impact of Forgetting and Transfer in Continual Visual Odometry
Politecnico di Milano(米兰理工大学)
本研究实证调查了具身环境下持续训练的视觉里程计神经网络中灾难性遗忘与知识迁移的影响,发现模型经历从高可迁移性到环境专门化的转变,常规正则化和增加容量无效,排练练习略有裨益但增加记忆成本,融入动作信息加速收敛却加剧专门化。
2024-06-03 cs.CV cs.RO
CoMFormer: Continual Learning in Semantic and Panoptic Segmentation
Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利技术研究院);Sorbonne Université(索邦大学);Heuritech(Heuritech公司);DeepMind(深度思维)
用于分割的持续学习最近受到越来越多的关注。然而,所有以前的工作集中在狭义的语义分割和忽视全景分割,一个重要的任务与现实世界的影响。%a在本文中,我们提出了第一个持续学习模型,能够操作语义和全景分割。最近的Transformer的方法,考虑作为一个掩码分类问题的分割的启发,我们设计的CoMFormer。我们的方法仔细地利用Transformer架构的属性来随着时间的推移学习新的类。具体来说,我们提出了一种新的自适应蒸馏损失以及基于掩码的伪标记技术,以有效地防止遗忘。为了评估我们的方法,我们在具有挑战性的ADE 20 K数据集上引入了一种新的连续全景分割基准。我们的CoMFormer通过忘记更少的旧类,同时更有效地学习新类,优于所有现有的基线。此外,我们还报告了一个广泛的评估,在大规模的连续语义分割的情况下,CoMFormer也显着优于国家的最先进的方法。
2022-11-25 cs.CV
Low-Rank Continual Pyramid Vision Transformer: Incrementally Segment Whole-Body Organs in CT with Light-Weighted Adaptation
DAMO Academy, Alibaba Group(阿里巴巴达摩院);State University of New York at Stony Brook(纽约州立大学石溪分校);Johns Hopkins University(约翰斯·霍普金斯大学);The First Affiliated Hospital Zhejiang University(浙江大学医学院附属第一医院)
针对临床中分割模型需增量扩展新器官分割且避免灾难性遗忘的需求,提出结合轻量级LoRA的持续金字塔视觉Transformer模型,在121个器官的多数据集上实现接近上限的精度,参数增长率远低于同类架构方法。
2024-10-07 cs.CV
Effects of Architectures on Continual Semantic Segmentation
Fraunhofer IOSB(弗劳恩霍夫光学、电子与医学技术研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
连续语义分割领域的研究主要是研究新的学习算法来克服神经网络的灾难性遗忘。最近的出版物都集中在改进学习算法,而不区分神经网络结构的选择所造成的影响,因此,我们研究神经网络结构的选择如何影响灾难性遗忘类和域增量语义分割。具体来说,我们将经过充分研究的CNN与最近提出的Transformers和Hybrid架构进行了比较,以及选择新型归一化层和不同解码器头的影响。我们发现,传统的CNN如ResNet具有高可塑性,但稳定性低,而Transformer架构则稳定得多。当CNN架构的电感偏置与混合架构中的Transformers相结合时,它会导致更高的可塑性和稳定性。这些模型的稳定性可以通过它们学习对分布偏移具有鲁棒性的一般特征的能力来解释。不同归一化层的实验表明,连续归一化在模型的适应性和稳定性方面达到了最佳平衡。在类增量设置中,规范化层的选择影响要小得多。我们的实验表明,正确的架构选择可以显着减少遗忘,即使是天真的微调,并确认,对于现实世界的应用程序,架构是一个重要的因素,在设计一个持续学习模型。
2023-02-21 cs.CV