Video Transformer for Deepfake Detection with Incremental Learning
Deepfake的面部伪造在互联网上广泛传播，这引起了严重的社会问题。在本文中，我们提出了一种新的视频Transformer，用于检测深度伪造视频。为了更好地对齐输入的人脸图像，我们使用3D人脸重建方法从单个输入人脸图像生成UV纹理。对齐的人脸图像还可以提供UV纹理图像中无法感知的姿势，眨眼和嘴巴运动信息，因此我们使用人脸图像及其UV纹理图来提取图像特征。我们提出了一种增量学习策略，可以在少量数据上微调所提出的模型，并实现更好的deepfake检测性能。在各种公开的deepfake数据集上的综合实验表明，所提出的具有增量学习的视频Transformer模型在deepfake视频检测任务中实现了最先进的性能，并从序列数据中增强了特征学习。
2021-08-11 cs.CV
TADIL: Task-Agnostic Domain-Incremental Learning through Task-ID Inference using Transformer Nearest-Centroid Embeddings
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Lenovo Infrastructure Solutions Group（联想基础设施方案集团）
本文提出TADIL，一种通过Transformer最近质心嵌入推断任务ID的无监督域增量学习流程，在SODA10M数据集上达到与真实标签方法相当的性能。
2023-06-21 cs.CV cs.LG
PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；LIST（（CEA）信息与系统技术实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Datakalab；Amanda
PlaStIL通过冻结初始特征提取器保证稳定性，并引入可插拔塑性层对近期类别进行部分微调，在无记忆类增量学习中实现塑性与稳定性的更好平衡，并在三个大规模数据集上验证了性能提升。
2023-07-04 cs.CV cs.LG
Hierarchical Neural Collapse Detection Transformer for Class Incremental Object Detection
针对类别增量目标检测中的灾难性遗忘、性能受限与推理缓慢问题，提出Hier-DETR框架，结合Neural Collapse和标签层级关系以兼顾效率与检测性能。
2025-06-10 cs.CV
Semantic-visual Guided Transformer for Few-shot Class-incremental Learning
Huazhong University of Science and Technology（华中科技大学）；JD Retail POMC（京东零售平台运营与营销中心）
Few-Shot类增量学习（FSCIL）近年来受到了各个领域的广泛关注。现有的FSCIL方法高度依赖于在基类上预先训练的特征骨干的鲁棒性。近年来，不同的Transformer变体在海量领域的特征表示学习中取得了显著的进展。尽管如此，Transformer在FSCIL场景中的进展迄今为止还没有达到在其他领域所承诺的潜力。在本文中，我们开发了一个语义视觉引导的Transformer（SV-T），以提高增量类的预训练特征骨干的特征提取能力。具体来说，我们首先利用基类提供的可视（图像）标签来监督Transformer的优化。然后，引入文本编码器，自动生成相应的语义（文本）标签为每个图像从基类。最后，将所构造的语义标签应用于Transformer，指导其超参数的更新.我们的SV-T可以充分利用更多的监督信息，从基类，并进一步提高训练的鲁棒性的特征骨干。更重要的是，我们的SV-T是一个独立的方法，它可以直接应用到现有的FSCIL架构，以获取各种增量类的嵌入。在三个基准测试、两个FSCIL架构和两个Transformer变体上的大量实验表明，与现有的最先进的FSCIL方法相比，我们提出的SV-T获得了显着的改进。
2023-03-27 cs.CV
D3Former: Debiased Dual Distilled Transformer for Incremental Learning
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Adobe Research（奥多比研究院）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
本文提出 D³Former，通过长尾去偏的动态 logits 调整与空间注意力保持机制，在不扩展架构的情况下提升 ViT 的类别增量学习性能。
2023-06-03 cs.CV cs.LG
A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning
Nanjing University（南京大学）
现实世界的应用程序需要分类模型适应新的类，而不会忘记旧的类。相应地，类增量学习（CIL）的目标是训练一个模型与有限的内存大小，以满足这一要求。典型的CIL方法倾向于保存以前类中的代表性样本以防止遗忘，而最近的研究发现，存储历史模型可以大大提高性能。然而，存储的模型不计入内存预算，这隐含地导致不公平的比较。我们发现，当将模型大小计入总预算并比较具有对齐内存大小的方法时，保存模型并不一致，特别是对于内存预算有限的情况。因此，我们需要在不同的内存尺度上全面评估不同的CIL方法，同时考虑测量的准确性和内存大小。另一方面，我们深入研究了内存缓冲区的构造，以提高内存效率。通过分析网络中不同层次的作用，我们发现CIL中的浅层和深层具有不同的特性。出于这个动机，我们提出了一个简单而有效的基线，表示为存储器高效可扩展模型的MEMO。MEMO基于共享的广义表示扩展了专门的层，以适度的成本有效地提取不同的表示并维护代表性样本。在基准数据集上的大量实验验证了MEMO的竞争性能。代码可在：https://github.com/wangkiw/ICLR23-MEMO
2023-02-16 cs.CV cs.LG
ISSTAD: Incremental Self-Supervised Learning Based on Transformer for Anomaly Detection and Localization
organization= School of Software Engineering,Xi'an Jiaotong University , addressline= 28 Xianning West Road , city= Xi'an , postcode= 710049 , state= Shaanxi , country= China
针对图像异常检测与定位任务，提出基于Transformer的两阶段增量自监督方法ISSTAD，通过MAE预训练结合像素级增强学习修复与分类，在MVTec AD数据集上AUC达97.6%，优于现有CNN方法。
2023-04-28 cs.CV cs.LG
A Comparative Study of Calibration Methods for Imbalanced Class Incremental Learning
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；CentraleSupélec（巴黎中央理工-高等电力学院）
深度学习方法在广泛的人工智能问题中取得了成功，特别是在视觉识别任务中。然而，仍然有开放的问题，其中是处理视觉信息流的能力和数据集中的类不平衡的管理。现有的研究方法，这两个问题分开，而他们共同出现在现实世界中的应用。在这里，我们研究了从不平衡数据集中增量学习的问题。我们专注于算法，有一个恒定的深度模型的复杂性，并使用有界内存存储样本的老类在增量状态。由于内存是有界的，因此旧类的学习图像比新类少，并且由于增量学习而导致的不平衡被添加到初始数据集不平衡中。出现有利于新类的得分预测偏差，我们评估了一套全面的得分校准方法，以减少it.Evaluation进行三个数据集，使用两个数据集不平衡配置和三个有界内存大小。结果表明，大多数校准方法有有益的效果，他们是最有用的下限内存大小，这是最有趣的实践。作为第二个贡献，我们从增量学习算法的损失函数中删除了通常的蒸馏成分。我们表明，更简单的香草微调是一个更强大的骨干不平衡增量学习算法。
2022-02-01 cs.CV cs.LG
Grow, Assess, Compress: Adaptive Backbone Scaling for Memory-Efficient Class Incremental Learning
Ikerlan Technology Research Center, Arrasate, Spain（西班牙阿拉萨特伊克兰技术研究中心）；University of the Basque Country UPV/EHU, Spain（西班牙巴斯克大学）
本文提出GRACE框架，通过动态调整模型容量，在类增量学习中平衡学习新任务的灵活性与防止灾难性遗忘的稳定性，实验显示其在多个基准上表现优异且内存占用降低73%。
2026-04-01 cs.CV cs.LG
Towards Realistic Incremental Scenario in Class Incremental Semantic Segmentation
Seoul National University（首尔大学）；New York University（纽约大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
本文指出连续增量语义分割的重叠式场景存在不真实问题且会导致技术评估偏差，提出分区式实用场景及样本记忆数据检索的代码修复方案，还提出基线方法MiB-AugM，在多类新类别学习任务中取得最优结果。
2024-07-11 cs.CV cs.LG
Learning a Condensed Frame for Memory-Efficient Video Class-Incremental Learning
Alibaba Group（阿里巴巴集团）
最近的增量学习动作识别通常存储代表性的视频，以减轻灾难性遗忘。然而，由于内存有限，只能存储一些庞大的视频。为了解决这个问题，我们提出了FrameMaker，一个内存高效的视频类增量学习方法，学习为每个选定的视频产生一个压缩帧。具体来说，FrameMaker主要由两个关键组件组成：Frame Condensing和Instance-Specific Prompt。前者是通过只保留一个压缩帧而不是整个视频来减少内存开销，而后者旨在补偿帧压缩阶段丢失的时空细节。通过这种方式，FrameMaker可以显著减少内存，但保留足够的信息，可以应用于后续的增量任务。多个具有挑战性的基准测试的实验结果，即，HMDB 51、UCF 101和Something-Something V2证明了FrameMaker可以在仅占用20%内存的情况下实现比最近的高级方法更好的性能。此外，在相同的内存消耗条件下，FrameMaker的性能明显优于现有的最先进技术。
2022-11-02 cs.CV
Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
Kyung Hee University（庆熙大学）；Yonsei University（延世大学）
本文提出FSCIL框架PriViLege，利用预训练视觉与语言Transformer结合提示函数、知识蒸馏及预训练知识调优，显著缓解灾难性遗忘和过拟合，并在多个基准上大幅超越现有方法。
2024-04-02 cs.CV
Incremental Task Learning with Incremental Rank Updates
University of California Riverside（加州大学河滨分校）；Rochester Institute of Technology（罗切斯特理工学院）；Air Force Research Laboratory（空军研究实验室）
增量任务学习（ITL）是一种持续学习，旨在为多个任务（一个接一个）训练单个网络，其中每个任务的训练数据仅在该任务的训练期间可用。神经网络在接受新任务训练时，往往会忘记旧任务;这种特性通常被称为灾难性遗忘。为解决这一问题，国际交易日志方法使用了情景记忆、参数正规化、掩蔽和修剪或可扩展的网络结构。在本文中，我们提出了一个新的增量任务学习框架的基础上低秩分解。特别地，我们将每层的网络权重表示为几个秩为1的矩阵的线性组合。为了更新网络以执行新任务，我们学习一个秩为1（或低秩）的矩阵，并将其添加到每一层的权重中。我们还引入了一个额外的选择器向量，它为之前任务学习的低秩矩阵分配不同的权重。我们表明，我们的方法在准确性和遗忘方面比目前最先进的方法表现得更好。我们的方法也提供了更好的记忆效率相比，情景记忆和面具为基础的方法。我们的代码将在https://github.com/CSIPlab/task-increment-rank-update.git上提供
2022-07-19 cs.CV cs.LG
S-Prompts Learning with Pre-trained Transformers: An Occam's Razor for Domain Incremental Learning
Xi’an Jiaotong University（西安交通大学）；Singapore Management University（新加坡管理大学）；Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
最先进的深度神经网络仍在努力解决持续学习中的灾难性遗忘问题。在本文中，我们提出了一个简单的范式（命名为S-学习）和两个具体的方法，以大大降低遗忘程度的一个最典型的持续学习的情况下，即，领域增量学习（DIL）。该范例的关键思想是使用预先训练的Transformers跨域独立学习提示，避免使用常规方法中常见的范例。这导致了一个双赢的游戏，其中提示可以实现每个域的最佳效果。跨域独立提示只需要一次交叉熵损失进行训练，一次简单的K-NN操作作为域标识符进行推理。该学习范式衍生出意象提示学习法和一种新颖的语言-意象提示学习法。拥有一个优秀的可扩展性（0.03%的参数增加每个域），我们的方法中最好的实现了显着的相对改善（平均约30%）超过最好的国家的最先进的无样本的方法为三个标准的DIL任务，甚至超过他们中最好的相对约6%，平均当他们使用样本。源代码可从\url{https://github.com/iamwangyabin/S-Prompts}获得。
2023-03-18 cs.CV cs.LG
RMM: Reinforced Memory Management for Class-Incremental Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Singapore Management University（新加坡管理大学）
类增量学习（CIL）[40]在严格的内存预算下训练分类器：在每个增量阶段，对新数据进行学习，其中大部分被放弃以释放下一阶段的空间。保存的数据是用于回放的样本。然而，现有的方法使用静态和特设的策略，这往往是次优的内存分配。在这项工作中，我们提出了一个动态的存储管理策略，优化的增量阶段和不同的对象类。我们称我们的方法为强化存储管理（RMM），利用强化学习。RMM训练与过去的CIL并不自然兼容，并且在增量阶段，未来的数据严格不可访问。我们通过在伪CIL任务上训练RMM的策略函数来解决这个问题，例如，任务建立在第0阶段的数据上，然后将其应用于目标任务。RMM传播两个级别的操作：级别1确定如何在旧类和新类之间分割内存，级别2为每个特定的类分配内存。本质上，它是一种可优化的通用存储管理方法，可以用于任何基于重放的CIL方法。为了进行评估，我们将RMM插入两个性能最好的基线（LUCIR+AANets和POD+AANets [30]），并在三个基准测试（CIFAR-100，ImageNet-Subset和ImageNet-Full）上进行实验。我们的研究结果显示了明显的改善，例如，在上述基准的25阶段设置中，POD+AANets分别提升3.6%、4.4%和1.9%。
2023-01-14 cs.CV
FearNet: Brain-Inspired Model for Incremental Learning
Rochester Institute of Technology（罗切斯特理工学院）；Carlson Center for Imaging Science（卡尔森成像科学中心）
增量类学习涉及从同一个类中连续地学习类。这违反了训练标准深度神经网络方法的假设，并将导致它们遭受灾难性遗忘。可以说，增量类学习的最佳方法是iCaRL，但它需要为每个类存储训练样本，这使得它难以扩展。在这里，我们提出FearNet用于增量类学习。FearNet是一个生成模型，不存储以前的示例，使其具有内存效率。FearNet使用了一个大脑启发的双记忆系统，其中新的记忆从哺乳动物海马复合体启发的近期记忆网络巩固到内侧前额叶皮层启发的长期存储网络。记忆巩固的灵感来自于睡眠期间发生的机制。FearNet还使用了一个受基底外侧杏仁核启发的模块来确定使用哪个记忆系统进行回忆。FearNet在图像（CIFAR-100，CUB-200）和音频分类（AudioSet）基准的增量类学习中实现了最先进的性能。
2018-02-23 cs.AI cs.CV cs.LG
Generative Binary Memory: Pseudo-Replay Class-Incremental Learning on Binarized Embeddings
Univ. Grenoble Alpes（格勒诺布尔大学）；CEA（法国原子能和替代能源委员会）；CEA, List（法国原子能和替代能源委员会 LIST）；CEA, Leti（法国原子能和替代能源委员会 LETI）
本文提出 GBM 伪回放方法，利用 BMM 在二元潜在空间生成伪样本，并通过专用二值化器兼容常规 DNN 与 BNN，在多个 CIL 基准上提升准确率并显著降低内存。
2025-03-13 cs.CV cs.LG
EW-DETR: Evolving World Object Detection via Incremental Low-Rank DEtection TRansformer
Sony Research India（索尼印度研究院）；IIIT Hyderabad（海德拉巴国际信息技术学院）
本文提出EW-DETR框架，结合增量学习、领域自适应和未知检测，在无示例约束下实现进化世界目标检测，通过三个协同模块提升性能，实验表明其在Pascal系列和多天气基准上表现优异。
2026-04-02 cs.CV
Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token
Yonsei University College of Medicine（延世大学医学院）
提出一种基于视觉变换器架构、利用任务特定令牌封装任务知识的方法，在不存储旧数据的情况下减少增量学习中的灾难性遗忘，并在基准测试中取得最优准确率和最低反向迁移。
2024-11-06 cs.CV cs.LG
Continual Detection Transformer for Incremental Object Detection
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Oxford（牛津大学）
本文提出持续检测 Transformer（CL-DETR）以解决基于 Transformer 的增量目标检测中知识蒸馏与样本回放效果不佳的问题，通过引入检测器知识蒸馏损失和样本回放校准策略，在 COCO 2017 上取得了最先进的结果。
2023-04-06 cs.CV
Memory-Efficient Incremental Learning Through Feature Adaptation
Google Research（谷歌研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍了一种增量学习的方法，它保留了以前学习过的类中训练图像的特征描述符，而不是图像本身，这与大多数现有的工作不同。保持图像的低维特征嵌入显著减少了内存占用。我们假设随着新数据的相继出现，模型会针对新类别进行增量更新，这需要在不访问相应原始训练图像的情况下，将先前存储的特征向量调整到更新后的特征空间。特征自适应是用多层感知器学习的，该感知器在训练图像上对与原始和更新网络的输出相对应的特征对进行训练。我们通过实验验证，这样的变换可以很好地推广到前一组类的特征，并将特征映射到特征空间中的判别子空间。因此，分类器在新类和旧类上联合优化，而不需要旧类图像。实验结果表明，我们的方法在增量学习基准测试中达到了最先进的分类精度，同时与图像保留策略相比，至少有一个数量级的内存占用。
2020-08-24 cs.CV
SGFormer++: Semantic Graph Transformer for Incremental 3D Scene Graph Generation
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室）
提出SGFormer++，通过图嵌入层和语义注入层实现全局消息传递，并引入空间引导特征适配器和级联二值预测头解决增量场景图生成中的灾难性遗忘问题，在3DSSG基准上达到最优性能。
2026-06-16 cs.CV
Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
Fudan University（复旦大学）
图像修补在近年来取得了显著的进展。然而，如何恢复出纹理逼真、结构合理的图像仍然是一个挑战。由于卷积神经网络（CNN）的有限感受野，一些特定的方法只能处理规则的纹理，而失去整体结构。另一方面，基于注意力的模型可以学习更好的长距离依赖性，用于结构恢复，但它们受到大图像尺寸的推理的繁重计算的限制。为了解决这些问题，我们建议利用一个额外的结构恢复，以促进图像修补增量。该模型在固定的低分辨率草图空间中使用基于注意力的Transformer模型恢复整体图像结构。这样的灰度空间很容易被上采样到更大的尺度，以传达正确的结构信息。我们的结构恢复器可以有效地与其他预训练的修复模型集成，并具有零初始化的残差加法。此外，掩蔽位置编码策略被用来提高性能与大的不规则的面具。在各种数据集上的大量实验验证了我们的模型与其他竞争对手相比的有效性。我们的代码发布在https://github.com/DQiaole/ZITS_inpainting。
2022-03-16 cs.CV
Initial Classifier Weights Replay for Memoryless Class Incremental Learning
CEA, LIST（法国原子能和替代能源委员会 LIST研究所）；IMT Atlantique（大西洋电信学院）
当人工系统需要处理数据流并且不能随时访问所有数据时，增量学习（IL）非常有用。最具挑战性的设置需要深度模型的恒定复杂性和增量模型更新，而无需访问过去数据的有限内存。然后，过去类的表示受到灾难性遗忘的强烈影响。为了减轻其负面影响，通常部署包括知识蒸馏的自适应微调。我们提出了一个不同的方法的基础上香草微调骨干。它利用了初始分类器权重，这些权重提供了过去类的强大表示，因为它们是用所有类数据训练的。然而，在不同状态下学习的分类器的大小是不同的，需要进行归一化以公平地处理所有类。通过标准化初始分类器权重来执行归一化，初始分类器权重被假设为正态分布。此外，通过使用状态级统计来完成预测分数的校准，以进一步提高分类公平性。我们在无记忆增量学习环境中对四个公共数据集进行了全面的评估。结果表明，我们的方法优于现有技术的大规模数据集的大幅度。
2020-08-31 cs.CV
MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
针对NeRF在内存受限设备上的灾难性遗忘问题，提出MEIL-NeRF框架，通过学习查询光线提取旧像素值并以自蒸馏方式训练，实现恒定内存消耗与竞争力的性能。
2025-09-16 cs.CV
Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation
WeChat AI（微信人工智能）；Tencent Inc（腾讯公司）
视觉对话是一项具有挑战性的任务，因为它需要在理解视觉环境的基础上回答一系列连贯的问题。以往的研究多集中于通过隐式地关注空间图像特征或对象层次的图像特征来探索多模态共指，而忽略了在视觉内容中显式地定位对象的重要性，这些对象与文本内容中的实体相关联。因此，本文提出了一种具有{\bf V}视觉{\bf G}舍入的{\bf M}多模态{\bf I}增量{\bf T}变换器，称为MITVG，它由两个关键部分组成：视觉接地和多模态增量Transformer。视觉基础的目的是明确地定位相关的对象在图像中的文本实体的指导下，这有助于模型排除不需要注意的视觉内容。多模态增量式Transformer在视觉接地的基础上，将多轮对话历史与视觉场景相结合，按照对话的先后顺序逐步进行编码，生成上下文一致、视觉连贯的应答。在VisDial v0.9和v1.0数据集上的实验结果证明了该模型的优越性，其性能相当。
2021-09-17 cs.CL cs.CV cs.MM
Memory Efficient Class-Incremental Learning for Image Classification
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海高等研究院）
在内存资源有限的约束下，类增量学习（CIL）在新类到达时更新联合分类模型时，通常会遇到“灾难性遗忘“问题。为了解决遗忘问题，许多CIL方法通过将一些样本保存到大小受限的内存缓冲区中来转移旧类的知识。为了更有效地利用内存缓冲区，我们建议保留更多辅助低保真样本样本，而不是原始的真实高保真样本。这样一个记忆效率的样本保存计划，使旧类知识转移更有效。然而，低保真度样本样本通常分布在与原始样本样本不同的域中，即域移位。为了缓解这个问题，我们提出了一个双重学习方案，旨在构建域兼容的特征提取器和分类器，这大大缩小了上述域的差距。结果，这些低保真度辅助样本样本具有以较低的存储器成本适度地替换原始样本样本的能力。此外，我们提出了一个强大的分类器自适应计划，进一步完善有偏分类器（学习的样本包含蒸馏标签知识的旧类）的帮助下，样本的纯真类标签。实验结果表明，这项工作对国家的最先进的方法的有效性。
2021-05-18 cs.CV cs.LG stat.ML
Few-shot Class-Incremental Learning via Generative Co-Memory Regularization
Institute of Information Engineering（信息工程研究所）；Chinese Academy of Sciences（中国科学院）；School of Cyber Security（网络安全学院）；University of Chinese Academy of Sciences（中国科学院大学）；Department of Communication Engineering（通信工程系）
本文提出基于生成共记忆正则化的少样本类增量学习方法，通过微调生成编码器和构建类记忆来提升模型在少量样本下的识别准确率，同时减少灾难性遗忘和过拟合。
2026-01-12 cs.AI cs.CV
ESSENTIAL: Episodic and Semantic Memory Integration for Video Class-Incremental Learning
Kyung Hee University（Kyung Hee 大学）；Danggeun Market Inc.（Danggeun Market 公司）；Intel Labs（Intel 实验室）；Korea University（韩国大学）
针对视频类增量学习中内存效率与性能的权衡问题，提出ESSENTIAL方法，通过情景记忆与语义记忆整合及记忆检索模块，在显著降低内存开销的同时保持良好性能。
2025-08-14 cs.CV
Association and Consolidation: Evolutionary Memory-Enhanced Incremental Multi-View Clustering
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院）；Visual Intelligence + X International Cooperation Joint Laboratory of MOE（教育部视觉智能+X国际合作联合实验室）；School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
针对视图增量场景中增量多视图聚类的稳定-可塑性困境，提出进化记忆增强方法EMIMC，通过快速关联、认知遗忘和知识巩固模块实现知识保留与适应，实验表明其优于现有先进方法。
2025-11-11 cs.CV
Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Huawei Technologies（华为技术有限公司）；Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
Few-Shot类增量学习（FSCIL）专注于设计学习算法，该算法可以从少量样本中连续学习一系列新任务，而不会忘记旧任务。困难在于，对来自新任务的有限数据序列进行训练会导致严重的过拟合问题，并导致众所周知的灾难性遗忘问题。现有的研究主要是利用图像信息，如存储先前任务的图像知识或限制分类器更新。然而，他们忽略了分析类标签的信息量和噪声较小的文本信息。在这项工作中，我们建议通过采用记忆提示来利用标签文本信息。记忆提示可以顺序地学习新的数据，同时存储以前的知识。此外，为了在不破坏存储知识的情况下优化记忆提示，我们提出了一种基于刺激的训练策略。它根据图像嵌入刺激，即图像嵌入元素的分布来优化记忆提示。实验表明，我们提出的方法优于所有现有的国家的最先进的方法，显着减轻灾难性遗忘和过拟合问题。
2022-07-03 cs.CV
UIFormer: A Unified Transformer-based Framework for Incremental Few-Shot Object Detection and Instance Segmentation
Hunan University（湖南大学）；Hunan Agricultural University（湖南农业大学）；Anhui University（安徽大学）；Swansea University（斯旺西大学）；Northwestern Polytechnical University（西北工业大学）；Guangxi Normal University（广西师范大学）；University of Western Australia（西澳大学）
本文提出基于 Transformer 的统一框架 UIFormer，通过将 Mask-DINO 扩展为两阶段增量学习并引入分类器选择策略与知识蒸馏，有效解决了增量小样本目标检测与实例分割中新类过拟合与基类灾难性遗忘问题，在 COCO 和 LVIS 数据集上显著超越现有方法。
2024-11-13 cs.CV
SR-CIS: Self-Reflective Incremental System with Decoupled Memory and Reasoning
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）
该研究提出SR-CIS，通过解耦的互补推理与记忆模块、在线异常检测、场景重放及短期到长期记忆重构，在低存储、少数据条件下提升增量学习性能。
2024-08-04 cs.AI cs.CV
Better Matching, Less Forgetting: A Quality-Guided Matcher for Transformer-based Incremental Object Detection
Hikrobot（海康威视）
本文提出了一种基于质量的匹配器，用于解决基于Transformer的增量物体检测中的背景前景化问题，通过优化匹配策略减少灾难性遗忘，提升模型性能。
2026-03-02 cs.CV
PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer
Zhejiang University（浙江大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Fudan University（复旦大学）
本文提出PECTP框架，通过提示保留模块和分类器头部保留模块，在内存受限且免排练的增量学习中平衡内存成本与跨任务性能。
2024-07-04 cs.CV
FeDMRA: Federated Incremental Learning with Dynamic Memory Replay Allocation
Huazhong University of Science and Technology（华中科技大学）；University of Washington（华盛顿大学）
本文提出动态内存分配策略，以应对联邦医疗系统中非独立同分布数据带来的挑战，通过合理分配存储资源提升模型性能。
2026-03-30 cs.AI cs.CV cs.DC
Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory
Institute of Data Science（数据科学研究院）；National University of Singapore（新加坡国立大学）；College of Computer Science and Technology（计算机科学与技术学院）；Zhejiang University（浙江大学）
提出DFedDGM框架，利用扩散模型生成稳定图像，结合平衡采样器和熵过滤，在无额外通信成本下显著提升联邦类增量学习性能。
2024-05-22 cs.CV cs.DC cs.LG
Dynamic Object Queries for Transformer-based Incremental Object Detection
Tsinghua University（清华大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出基于Transformer的DyQ-DETR模型，通过动态目标查询扩展表示能力、隔离二部匹配及风险平衡校准，有效解决增量目标检测中的灾难性遗忘问题，以有限参数开销显著超越现有方法。
2024-08-27 cs.AI cs.CV
Compressing History into Memory: Distilling Transformers into Recurrent Transformers
Naver Labs Europe
提出蒸馏方法，将全历史Transformer的压缩策略迁移至循环Transformer，通过瓶颈表示监督学生模型记忆，缩小性能差距并实现线性时间复杂度。
2026-10-02 cs.CV cs.LG
Neural Weight Search for Scalable Task Incremental Learning
King’s College London（伦敦国王学院）
任务增量学习的目的是使系统在学习新任务的同时保持对先前学习任务的性能，解决灾难性遗忘问题。一种有前途的方法是为未来的任务构建一个单独的网络或子网络。然而，由于为新任务节省了额外的权重，这导致了不断增长的内存，如何解决这个问题仍然是任务增量学习中的一个悬而未决的问题。在本文中，我们介绍了一种新的神经权重搜索技术，该技术设计了一个固定的搜索空间，可以搜索冻结权重的最佳组合，以端到端的方式为新任务建立新的模型，从而实现可扩展和可控的内存增长。在两个基准上进行了广泛的实验，即，Split-CIFAR-100和CUB-to-Sketches的实验结果表明，我们的方法在平均推理精度和总内存开销方面都达到了最先进的性能。
2022-11-24 cs.CV
Balanced Destruction-Reconstruction Dynamics for Memory-replay Class Incremental Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对记忆重放类增量学习中的灾难性遗忘问题，提出平衡破坏-重建模块（BDR），通过动态操纵梯度平衡新旧样本贡献，显著提升现有最先进方法的性能与泛化能力。
2023-08-03 cs.CV
SpotFast Networks with Memory Augmented Lateral Transformers for Lipreading
University of Maryland, College Park（马里兰大学帕克分校）
本文提出了一种新的用于单词级唇读的深度学习架构。以前的工作表明，有可能将预训练的深度3D卷积神经网络作为前端特征提取器。我们介绍了一个SpotFast网络，一个变种的国家的最先进的动作识别的SlowFast网络，它利用时间窗口作为一个点的途径和所有帧作为一个快速的途径。我们进一步将内存增强横向Transformers学习分类的顺序功能。我们在LRW数据集上评估了所提出的模型。实验表明，我们提出的模型优于各种最先进的模型，并且结合内存增强的横向Transformers使SpotFast网络提高了3.7%。
2020-05-21 cs.CV cs.LG
12 mJ per Class On-Device Online Few-Shot Class-Incremental Learning
ETH Zurich（苏黎世联邦理工学院）；IBM Research-Zurich（IBM苏黎世研究院）；University of Bologna（博洛尼亚大学）
针对边缘端电池供电、内存受限系统的小样本类别增量学习需求，提出基于冻结特征提取器+可扩展显式原型内存的O-FSCIL方法，在CIFAR100基准上达SOTA，且在GAP9微控制器上实现每新类仅12mJ的在线学习。
2024-03-12 cs.CV cs.LG
InfoDense: Density-Aware Regional Decisive Replay for Memory-Efficient Incremental Face Forgery Detection
Huazhong Agricultural University（华中农业大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Nantong University（南通大学）；Wuhan University（武汉大学）
针对人脸伪造技术发展带来的检测挑战及传统方法的问题，提出密度感知区域决定性重放策略InfoDense，通过定位决定性补丁、排序候选片段、自适应合并样本等步骤，有效减轻灾难性遗忘，提升跨域泛化能力。
2026-07-21 cs.CV
Index-Aligned Query Distillation for Transformer-based Incremental Object Detection
Beihang University（北航大学）
针对基于Transformer的增量目标检测中匈牙利匹配导致查询知识被重塑而遗忘旧类别的问题，本文提出索引对齐查询蒸馏（IAQD），通过同索引查询对齐并仅对关键查询蒸馏，在保留旧类别语义与空间编码能力的同时学习新类别，并在代表性基准上取得新的最先进性能。
2025-08-15 cs.CV
F-OAL: Forward-only Online Analytic Learning with Fast Training and Low Memory Footprint in Class Incremental Learning
South China University of Technology（华南理工大学）；The University of Hong Kong（香港大学）；Pazhou Lab（琶洲实验室）；The Hong Kong Polytechnic University（香港理工大学）
针对在线类别增量学习的灾难性遗忘问题，提出无样本的仅前向在线解析学习方法F-OAL，通过前向传播结合递归最小二乘更新分类器，兼顾高精度与低资源消耗，在基准数据集上表现鲁棒。
2024-11-04 cs.CV
Inherit with Distillation and Evolve with Contrast: Exploring Class Incremental Semantic Segmentation Without Exemplar Memory
Beihang University（北京航空航天大学）
针对无样本记忆的类别增量语义分割，提出IDEC框架，通过DADA蒸馏与ARCL区域对比同步缓解灾难性遗忘和语义漂移，并在多个数据集上取得最先进性能。
2023-09-27 cs.CV
ZITS++: Image Inpainting by Improving the Incremental Transformer on Structural Priors
Fudan University（复旦大学）
本文提出 ZITS++ 模型，通过改进基于结构先验的增量 Transformer，结合 TSR、SSU、FTR 和 ZeroRA 等模块，有效解决图像修复中纹理与结构恢复的挑战，并探讨了图像先验在高分辨率修复中的应用。
2023-05-24 cs.CV
ScaIL: Classifier Weights Scaling for Class Incremental Learning
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能与替代能源委员会）
如果人工智能智能体需要从流中整合数据，则增量学习非常有用。这个问题是不平凡的，如果代理运行在一个有限的计算预算，并有一个有限的内存过去的数据。在深度学习方法中，恒定的计算预算需要对所有增量状态使用固定的架构。有界内存产生有利于新类的数据不平衡，并出现对它们的预测偏差。这种偏差通常通过在基本网络训练之外引入数据平衡步骤来消除。我们离开这种方法，并提出了简单而有效的缩放过去的类分类器的权重，使他们更可比的新类。缩放利用增量状态级统计，并应用于在类的初始状态中学习的分类器，以便从其所有可用数据中获益。我们还质疑广泛使用的蒸馏损失组件的增量学习算法的实用性，通过比较它的香草微调存在一个有限的内存。使用四个公共数据集对照竞争基线进行评估。结果表明，分级权重的缩放和蒸馏的去除都是有益的。
2020-01-16 cs.CV
Structured Affinity for Unsupervised Visual Class-Incremental Memory in Deep Artificial Immune Networks
University of Johannesburg（约翰内斯堡大学）
该研究提出结构化亲和性等关键机制，构建无需重放、反向传播的深度人工免疫网络，在多视觉数据集上实现高效无监督视觉类增量记忆学习。
2026-08-21 cs.AI cs.CV cs.LG
Incremental Few-Shot Instance Segmentation
Utrecht University（乌得勒支大学）；Cyclomedia Technology（Cyclomedia技术公司）
当新类别的标记训练数据稀缺时，Few-Shot实例分割方法很有前途。然而，当前的方法不便于灵活地添加新类。它们还要求在训练和测试时提供每个类的示例，这是内存密集型的。在本文中，我们提出了第一个增量的方法来解决这些限制Few-Shot实例分割：iMTFA。我们学习合并到类代表的对象实例的判别嵌入。存储嵌入向量而不是图像有效地解决了内存开销问题。我们使用余弦相似度在ROI级别匹配这些类嵌入。这使我们能够添加新的类，而不需要进一步的训练或访问以前的训练数据。在一系列的实验中，我们始终优于目前的最先进的。此外，减少内存需求使我们能够评估，第一次，Few-Shot实例分割的性能在COCO中的所有类联合。
2021-05-11 cs.CV
Online Class-Incremental Continual Learning with Adversarial Shapley Value
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
随着基于图像的深度学习在从手机到智能手表的每一种设备上变得普遍，越来越需要开发不断从数据中学习的方法，同时最大限度地减少内存占用和功耗。虽然记忆回放技术已经显示出对于这种持续学习任务的特殊承诺，但是选择回放哪些缓冲图像的最佳方法仍然是一个悬而未决的问题。在本文中，我们特别关注在线类增量设置，其中模型需要从在线数据流中不断学习新类。为此，我们贡献了一种新的对抗Shapley值评分方法，该方法根据记忆数据样本保留先前观察到的类的潜在决策边界的能力（以保持学习稳定性并避免遗忘），同时干扰正在学习的当前类的潜在决策边界（以鼓励新类边界的可塑性和最佳学习）。总的来说，我们观察到，我们提出的ASER方法提供了竞争力或改进的性能相比，国家的最先进的重放为基础的持续学习方法在各种数据集。
2021-03-22 cs.CV cs.LG stat.ML
Incremental Learning of Structured Memory via Closed-Loop Transcription
University of California, Berkeley（加州大学伯克利分校）；The Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州））；Tsinghua-Berkeley Shenzhen Institute (TBSI), Tsinghua University（清华大学清华-伯克利深圳学院（TBSI））
本文提出 i-CTRL，通过单一固定容量自编码网络和率缩减极小极大目标建立类别与子空间的闭环转录，以更少资源缓解增量学习中的灾难性遗忘。
2023-06-07 cs.CV
