基于预训练视觉-语言模型的类增量学习
Class Incremental Learning with Pre-trained Vision-Language Models
AI总结：
本文研究如何将预训练视觉-语言模型 CLIP 用于类增量学习，提出在图像或文本编码器旁增加适配层，并引入基于参数重要性的保留方法，实验证明带参数保留的单个 Linear Adapter 效果最佳，并在多个基准上显著超越现有方法。
摘要：
随着大规模预训练模型的出现，人们对在持续学习场景中适配和利用这些模型的兴趣日益增长。本文提出了一种利用预训练视觉-语言模型（如 CLIP）的方法，该方法支持进一步适配，而不仅仅是对新任务使用零样本学习。我们在 Image Encoder 之后或 Text Encoder 之前为预训练的 CLIP 模型增加额外层。我们研究了三种不同策略：Linear Adapter、Self-attention Adapter，二者均作用于图像嵌入，以及 Prompt Tuning，它改为修改输入到 CLIP 文本编码器的提示。我们还提出了一种在适配器层中进行参数保留的方法，该方法使用参数重要性度量，以在增量学习过程中更好地保持稳定性和可塑性。我们的实验表明，最简单的方案——带参数保留的单个 Linear Adapter 层——产生了最佳结果。在多个常规基准上的实验一致显示出相较于当前最先进方法的显著提升幅度。
英文摘要：
With the advent of large-scale pre-trained models, interest in adapting and exploiting them for continual learning scenarios has grown. In this paper, we propose an approach to exploiting pre-trained vision-language models (e.g. CLIP) that enables further adaptation instead of only using zero-shot learning of new tasks. We augment a pre-trained CLIP model with additional layers after the Image Encoder or before the Text Encoder. We investigate three different strategies: a Linear Adapter, a Self-attention Adapter, each operating on the image embedding, and Prompt Tuning which instead modifies prompts input to the CLIP text encoder. We also propose a method for parameter retention in the adapter layers that uses a measure of parameter importance to better maintain stability and plasticity during incremental learning. Our experiments demonstrate that the simplest solution -- a single Linear Adapter layer with parameter retention -- produces the best results. Experiments on several conventional benchmarks consistently show a significant margin of improvement over the current state-of-the-art.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
