Adapt & Align：通过生成模型潜在空间对齐实现持续学习
Adapt & Align: Continual Learning with Generative Models Latent Space Alignment
AI总结：
提出Adapt & Align方法，通过生成模型潜在空间对齐，分两步更新模型以缓解持续学习中的灾难性遗忘，并可用于分类等下游任务。
摘要：
在这项工作中，我们引入了Adapt & Align方法，一种通过对齐生成模型中的潜在表示来实现神经网络持续学习的方法。当神经网络使用来自不同分布的额外训练数据进行再训练时，其性能会急剧下降。同时，在没有先前示例的情况下使用额外数据进行训练，很少能改善模型的性能。在这项工作中，我们提出了一种新方法，通过采用生成模型并将其更新过程分为两部分来缓解这些问题。在第一部分中，我们仅使用新任务的数据训练一个局部生成模型。在第二部分中，我们将来自局部模型的潜在表示与一个编码了所有过去经验知识的全局模型进行整合。我们使用变分自编码器和生成对抗网络来介绍我们的方法。此外，我们展示了如何将这些生成模型用作一种通用的持续知识整合方法，该方法可用于下游任务，如分类。
英文摘要：
In this work, we introduce Adapt & Align, a method for continual learning of neural networks by aligning latent representations in generative models. Neural Networks suffer from abrupt loss in performance when retrained with additional training data from different distributions. At the same time, training with additional data without access to the previous examples rarely improves the model's performance. In this work, we propose a new method that mitigates those problems by employing generative models and splitting the process of their update into two parts. In the first one, we train a local generative model using only data from a new task. In the second phase, we consolidate latent representations from the local model with a global one that encodes knowledge of all past experiences. We introduce our approach with Variational Auteoncoders and Generative Adversarial Networks. Moreover, we show how we can use those generative models as a general method for continual knowledge consolidation that can be used in downstream tasks such as classification.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
