任务无关持续学习与成对层级架构
Task agnostic continual learning with Pairwise layer architecture
AI总结：
提出一种无需任务边界的静态架构方法，通过成对交互层利用稀疏表示提升持续学习性能，在MNIST和FashionMNIST上验证了有效性。
摘要：
持续学习的主流方法大多基于记忆重放、参数隔离或正则化技术，这些方法通常需要任务边界来计算任务统计量。我们提出了一种基于静态架构的方法，不依赖上述任何技术。我们展示了通过将网络的最终层替换为成对交互层，可以提升持续学习性能。成对交互层使用基于胜者全取风格激活函数的稀疏表示，以发现隐藏层表示中的相关关联。采用该架构的网络在基于MNIST和FashionMNIST的持续图像分类实验中表现出具有竞争力的性能。我们在一个在线流式持续学习设置中验证了这一点，该设置中学习系统无法访问任务标签或边界。
英文摘要：
Most of the dominant approaches to continual learning are based on either memory replay, parameter isolation, or regularization techniques that require task boundaries to calculate task statistics. We propose a static architecture-based method that doesn't use any of these. We show that we can improve the continual learning performance by replacing the final layer of our networks with our pairwise interaction layer. The pairwise interaction layer uses sparse representations from a Winner-take-all style activation function to find the relevant correlations in the hidden layer representations. The networks using this architecture show competitive performance in MNIST and FashionMNIST-based continual image classification experiments. We demonstrate this in an online streaming continual learning setup where the learning system cannot access task labels or boundaries.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
