Hard ASH：稀疏性与正确的优化器造就持续学习器
Hard ASH: Sparsity and the right optimizer make a continual learner
AI总结：
针对类增量学习中的灾难性遗忘问题，本文证明采用稀疏激活函数ASH及其新变体Hard ASH与自适应学习率优化器的MLP，在Split-MNIST任务上能有效保持学习并媲美既有正则化技术。
摘要：
在类增量学习中，神经网络通常会遭受灾难性遗忘。我们表明，具有稀疏激活函数和自适应学习率优化器的MLP能在Split-MNIST任务中与既有的正则化技术相竞争。我们强调了在此背景下Adaptive SwisH（ASH）激活函数的有效性，并引入了一种新颖的变体Hard Adaptive SwisH（Hard ASH）以进一步增强学习保持能力。
英文摘要：
In class incremental learning, neural networks typically suffer from catastrophic forgetting. We show that an MLP featuring a sparse activation function and an adaptive learning rate optimizer can compete with established regularization techniques in the Split-MNIST task. We highlight the effectiveness of the Adaptive SwisH (ASH) activation function in this context and introduce a novel variant, Hard Adaptive SwisH (Hard ASH) to further enhance the learning retention.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
