The CLEAR Benchmark: Continual LEArning on Real-World Imagery
Carnegie Mellon University(卡内基梅隆大学);Argo AI(Argo AI公司)
持续学习(CL)被广泛认为是终身AI的关键挑战。然而,现有的CL基准,例如Permuted-MNIST和Split-CIFAR,利用人工时间变化,不符合或推广到现实世界。在本文中,我们介绍了CLEAR,这是第一个连续的图像分类基准数据集,具有跨越十年(2004-2014)的真实世界中视觉概念的自然时间演变。我们从现有的大规模图像集合(YFCC 100 M)中构建CLEAR,通过一种新颖的可扩展的低成本方法来管理非语言数据集。我们的流水线利用预训练的视觉语言模型(例如CLIP)来交互式地构建标记数据集,然后通过众包进一步验证,以删除错误甚至不适当的图像(隐藏在原始YFCC 100 M中)。CLEAR相对于之前CL基准的主要优势在于具有真实世界图像的视觉概念的平滑时间演化,包括高质量的标记数据以及每个时间段的大量未标记样本,用于连续的半监督学习。我们发现,一个简单的无监督预训练步骤已经可以提升仅利用完全监督数据的最先进CL算法。我们的分析还表明,主流的CL评估协议,训练和测试的iid数据人为膨胀的CL系统的性能。为了解决这个问题,我们提出了新的“流”协议CL总是测试(不久的将来)。有趣的是,流协议(a)可以简化数据集管理,因为今天的测试集可以重新用于明天的训练集;(b)可以产生更通用的模型,更准确地估计性能,因为每个时间段的所有标记数据都用于训练和测试(不像经典的iid训练测试分割)。
2022-06-09 cs.AI cs.CV cs.LG
ONG: Orthogonal Natural Gradient Descent
UC Berkeley(伯克利大学)
本文提出正交自然梯度下降(ONG)方法,通过引入自然梯度和正交投影提升持续学习性能,初步实验表明其在MNIST基准上有效,但需进一步理论和实验证实其鲁棒性。
2025-12-06 cs.AI cs.LG
Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
University of California, Berkeley(加州大学伯克利分校)
FOPNG通过Fisher正交约束在持续学习中提升模型性能,有效避免灾难性遗忘。
2026-01-26 cs.AI cs.LG
Negotiated Representations to Prevent Forgetting in Machine Learning Applications
Istanbul Technical University(伊斯坦布尔理工大学)
本文提出一种基于协商表示的神经网络持续学习方法,通过在保留旧任务知识与适应新任务之间保持平衡来防止灾难性遗忘,并在多个分割基准数据集上验证了其有效性。
2023-11-30 cs.AI cs.LG
A Continual and Incremental Learning Approach for TinyML On-device Training Using Dataset Distillation and Model Size Adaption
Hahn-Schickard(哈恩-席卡德研究所);Offenburg University of Applied Sciences(奥芬堡应用科学大学);Technical University of Munich(慕尼黑工业大学)
针对资源受限嵌入式设备的TinyML增量学习需求,提出一种结合数据集蒸馏与动态模型规模自适应的算法,在仅用43% FLOPs和1%原始数据的情况下,准确率损失仅1%,高效解决灾难性遗忘问题。
2024-09-11 cs.AI cs.LG
Mitigating the Stability-Plasticity Dilemma in Adaptive Train Scheduling with Curriculum-Driven Continual DQN Expansion
Goethe University(歌德大学);HessianAI(黑森人工智能公司)
针对自适应列车调度中的稳定性-可塑性困境,提出基于课程学习的持续DQN扩展算法(CDE),通过动态调整Q函数子空间并融合EWC与自适应激活函数,显著提升学习效率与适应性。
2026-09-15 cs.LG cs.NE
Continual Improvement of Threshold-Based Novelty Detection
Massachusetts Institute of Technology(麻省理工学院)
针对神经网络在动态开放世界中难以检测未见类别的问题,提出利用线性搜索和留一交叉验证在 ID 类上自动选择相似性阈值的新方法,在 MNIST 等数据集上提升了总准确率。
2023-09-05 cs.AI cs.LG
Gradient-Free Continual Learning in Spiking Neural Networks via Inter-Spike Interval Regularization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Technology Delhi(印度理工学院德里);University of Texas at El Paso(得克萨斯大学埃尔帕索分校);National Center for Supercomputing Applications(国家超级计算应用中心)
本文提出一种无梯度的脉冲神经网络持续学习方法,通过间隔变化系数来评估突触重要性,避免遗忘并提升实际神经形态芯片上的性能。
2026-04-14 cs.AI cs.LG cs.NE
Shared and Private VAEs with Generative Replay for Continual Learning
Indian Institute of Science(印度科学研究院)
持续学习试图在不忘记以前学过的东西的情况下学习新的任务。事实上,大多数现有的人工神经网络(ANN)模型都失败了,而人类也是通过一生记住以前的作品来做到这一点。虽然简单地存储所有过去的数据可以缓解这个问题,但它需要大量的内存,并且在最后一次数据访问受限的实际应用中通常是不可行的。我们假设不断学习解决每个任务的模型具有一些特定于任务的特性和一些任务不变的特性。我们提出了一种更适合实际场景的混合持续学习模型,以解决具有任务不变的共享变分自编码器和T个任务特定的变分自编码器的问题。我们的模型结合了生成重放和架构增长,以防止灾难性遗忘。我们证明了我们的混合模型有效地避免了遗忘,并在视觉持续学习基准测试中获得了最先进的结果,如MNIST,Permuted MNIST(QMNIST),CIFAR 100和miniImageNet数据集。我们讨论了一些数据集上的结果,如SVHN,Fashion-MNIST,EMNIST和CIFAR 10。
2021-05-17 cs.CV cs.LG
Pioneer Agent: Continual Improvement of Small Language Models in Production
Fastino Labs
本文提出Pioneer Agent,通过闭环系统自动化小语言模型的持续改进,通过冷启动和生产模式提升模型性能,发现有效训练策略。
2026-04-10 cs.AI cs.CL cs.LG
Improving and Understanding Variational Continual Learning
University of Cambridge(剑桥大学);University of Sydney(悉尼大学)
在持续学习环境中,任务是按顺序遇到的。我们的目标是学习,同时i)避免灾难性遗忘,ii)有效地使用模型容量,iii)采用向前和向后迁移学习。在本文中,我们将探讨如何变分持续学习(VCL)框架实现这些desiderata在持续学习的两个基准:分裂MNIST和置换MNIST。我们首先报告了在已经具有竞争力的方法上显著改进的结果。这些改进是通过建立一种新的均值场变分贝叶斯神经网络的最佳实践方法来实现的。然后,我们详细研究解决方案。这使我们能够理解为什么VCL表现如此出色,我们将解决方案与“理想”的持续学习解决方案进行比较。
2019-05-06 cs.LG stat.ML
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning
Argonne National Laboratory(阿贡国家实验室)
从输入数据流中持续学习而不发生灾难性遗忘的能力对于设计智能系统至关重要。许多现有的持续学习方法依赖于随机梯度下降及其变体。然而,这些算法必须实现各种策略,例如存储器缓冲器或重放,以克服随机梯度下降方法在稳定性、贪婪和短期记忆方面的众所周知的缺点。为此,我们开发了一个生物启发的轻量级神经网络架构,它结合了本地学习和神经调节,使输入处理数据流和在线学习。接下来,我们解决的挑战,是不知道的任务,提前实现转移元学习:使用贝叶斯优化,探索设计空间跨越多个本地学习规则和他们的超参数,我们确定高性能的配置在经典的单任务在线学习,我们将它们转移到持续学习任务与任务相似性的考虑。我们证明了我们的方法在单一任务和持续学习设置的有效性。对于单任务学习设置,我们在MNIST,Fashion MNIST和CIFAR-10数据集上展示了优于其他本地学习方法的性能。使用高性能的配置元在单任务学习设置,我们实现了优越的持续学习性能分裂MNIST,和分裂CIFAR-10数据相比,其他内存受限的学习方法,并匹配的最先进的内存密集型重放为基础的方法。
2021-03-13 cs.LG stat.ML
A Survey on Curriculum Learning
Tsinghua University(清华大学)
课程学习(CL)是一种训练策略,它将一个机器学习模型从较容易的数据训练到较难的数据,模仿人类课程中有意义的学习顺序。作为一个易于使用的插件,CL策略已在计算机视觉和自然语言处理等广泛的场景中证明了其在提高各种模型的泛化能力和收敛速度方面的能力。在这篇调查文章中,我们从动机,定义,理论和应用等各个方面全面回顾了CL。我们讨论了一般CL框架内的课程学习的工作,阐述了如何设计一个手动预定义的课程或自动课程。特别是,我们总结了现有的合作学习设计的基础上的难度测量器+培训的一般框架,并进一步分类的方法,自动合作学习分为四组,即,自定进度学习,迁移教师,RL教师和其他自动CL。我们还分析了原则,以选择不同的CL设计,可能有利于实际应用。最后,我们提出了我们对CL和其他机器学习概念之间关系的见解,包括迁移学习,元学习,持续学习和主动学习等,最后指出合作学习面临的挑战以及未来值得进一步研究的方向。
2021-03-25 cs.AI cs.LG
Enabling Continual Learning with Differentiable Hebbian Plasticity
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);Uber AI
持续学习是在保护先前获得的知识的同时顺序地学习新任务或知识的问题。然而,灾难性遗忘对执行这种学习过程的神经网络提出了巨大的挑战。因此,部署在现实世界中的神经网络经常在数据分布是非平稳的(概念漂移)、不平衡的或不总是完全可用的情况下挣扎,即,罕见的边缘病例我们提出了一个微分赫布巩固模型,它是由一个微分赫布可塑性(DHP)Softmax层,增加了一个快速学习的塑料组件(压缩情景记忆)的固定(缓慢变化)参数的Softmax输出层,使学习表示保留更长的时间尺度。我们证明了我们的方法的灵活性,通过整合众所周知的特定任务的突触巩固方法,惩罚的变化,缓慢的权重是重要的每个目标任务。我们在Permuted MNIST、Split MNIST和Vision Datasets Mixture基准上评估了我们的方法,并介绍了Permuted MNIST的一个不平衡变体--一个结合了类别不平衡和概念漂移挑战的数据集。我们提出的模型不需要额外的超参数,并通过减少遗忘来优于可比基线。
2020-06-30 cs.LG cs.NE stat.ML
HackAtari: Atari Learning Environments for Robust and Continual Reinforcement Learning
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心);Centre for Cognitive Science of Darmstadt(达姆施塔特认知科学中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出 HackAtari 框架,通过在 Atari 学习环境中引入受控新异性(场景简化、颜色交换和奖励信号变化),用于提升强化学习智能体的鲁棒性与行为对齐能力,并支持课程 RL、因果 RL 和 LLM 驱动 RL 等方向。
2024-06-06 cs.AI cs.LG
Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps
University of South Florida(南佛罗里达大学);Rochester Institute of Technology(罗切斯特理工学院)
本文针对无监督在线持续学习中的灾难性遗忘问题,提出持续自组织映射CSOM,在低内存预算下实现无任务边界的在线学习,并在多个基准上显著提升准确率。
2024-02-19 cs.LG cs.NE
Unsupervised Replay Strategies for Continual Learning with Limited Data
Del Norte High School(德尔诺特高中);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文研究无监督“睡眠”回放对有限且不平衡数据下持续学习的影响,发现其能缓解灾难性遗忘并提升先前任务性能,尤其在数据有限时效果显著。
2024-10-21 cs.LG
Is Our Benchmark Enough? An Analysis of Continual Learning for MLLMs
School of Computer Science and Statistics, Trinity College Dublin(都柏林圣三一学院计算机科学与统计学院);Department of Mathematics and Computer Science, Eindhoven University of Technology(埃因霍温理工大学数学与计算机科学系)
本文质疑MR-LoRA方法对MLLM路由器的依赖,提出无训练无重放的简单原型路由方法RePRo,并指出共享专家无益,揭示MLLM-CL基准的任务高度可分离和固定顺序导致评估偏差,从而提出新基准设计。
2026-06-23 cs.AI cs.LG
CQural: A Novel CNN based Hybrid Architecture for Quantum Continual Machine Learning
Indian Institute of Technology, Jodhpur(印度理工学院焦特布尔分校)
本文提出了一种基于CNN的新型经典-量子混合神经网络架构CQural,通过利用可解释的特定特征来规避持续学习中的灾难性遗忘,并在MNIST和CIFAR-10数据集上证明了其优于经典架构的记忆能力。
2023-05-16 cs.AI cs.LG
Is Multi-Task Learning an Upper Bound for Continual Learning?
Vanderbilt University(范德堡大学);University of California, Davis(加州大学戴维斯分校)
连续和多任务学习是从多个任务学习的常见机器学习方法。现有的文献中的作品往往假设多任务学习作为各种持续学习算法的合理性能上界。虽然这一假设在不同的持续学习基准中得到了经验验证,但它并没有得到严格的证明。此外,可以想象,当从多个任务中学习时,这些任务中的一小部分可能表现为对抗性任务,从而降低了多任务环境中的整体学习性能。相比之下,持续学习方法可以避免由这种对抗性任务引起的性能下降,以保持其在其余任务上的性能,从而导致比多任务学习器更好的性能。本文提出了一种新的连续自监督学习设置,其中每个任务对应于学习一个特定类别的数据增强的不变表示。在这种情况下,我们证明了持续学习在各种基准数据集(包括MNIST、CIFAR-10和CIFAR-100)上通常优于多任务学习。
2022-10-26 cs.CV cs.LG
Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA
Institute for Digital Technologies, Loughborough University, UK(伦敦大学数字技术研究所,英国);School of Artificial Intelligent Medicine, Guilin Medical University(桂林医学院人工智能医学院)
本文提出基于SVD的正交子空间投影方法,用于解决连续机器反学习中的参数冲突问题,通过约束新LoRA更新在正交补空间中,保持任务隔离性,实验显示在长序列反学习任务中表现稳定。
2026-04-14 cs.AI cs.LG
Foundations of a Developmental Design Paradigm for Integrated Continual Learning, Deliberative Behavior, and Comprehensibility
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);Sabancı University(巴卡大学)
本文提出受进化发育生物学启发的三组件系统设计,通过无梯度 Modeller、规划器和层次化行为封装,实现持续学习、审慎行动与可理解性的集成。
2025-10-18 cs.AI cs.CV cs.LG
Rainbow Memory: Continual Learning with a Memory of Diverse Samples
Search Solutions, Inc(搜索解决方案公司);NAVER CLOVA;NAVER AI Lab(NAVER AI实验室);GIST(光州科学技术院)
持续学习是AI模型的一种现实学习场景。然而,持续学习的流行场景将不相交的类集合假设为任务,并且不太现实,而是人为的。相反,我们专注于“模糊”的任务边界;任务共享类,更现实和实用。为了解决这样的任务,我们认为多样性的样本在情景记忆的重要性。为了提高存储器中样本的多样性,我们提出了一种新的存储管理策略,命名为彩虹存储器(RM)的基础上每个样本的分类不确定性和数据增强。通过对MNIST,CIFAR 10,CIFAR 100和ImageNet数据集的广泛经验验证,我们表明所提出的方法显着提高了模糊持续学习设置的准确性,尽管简单,但仍大大优于现有技术。代码和数据分割将在https://github.com/clovaai/rainbow-memory上提供。
2021-03-31 cs.CV cs.LG
Three scenarios for continual learning
Baylor College of Medicine(贝勒医学院);University of Cambridge(剑桥大学);Rice University(莱斯大学)
标准人工神经网络遭受众所周知的灾难性遗忘问题,使得连续或终身学习对于机器学习来说是困难的。近年来,已经提出了许多用于持续学习的方法,但是由于评估协议的差异,很难直接比较它们的性能。为了实现更结构化的比较,我们根据测试时是否提供任务标识以及(如果不提供)是否必须推断它来描述三个持续学习场景。可以根据每个场景执行任何定义良好的任务序列。使用分裂和置换MNIST任务协议,对于每个场景,我们进行了广泛的比较最近提出的持续学习方法。我们证明了三种情况下的难度和不同方法的效率有很大的差异。特别地,当必须推断任务身份时(即,类增量学习),我们发现基于正则化的方法(例如,弹性重量合并)失败,并且似乎需要重放先前经验的表示来解决这种情况。
2019-04-15 cs.AI cs.CV cs.LG
AhaBench: Do Agents Turn Experience into Reusable Insights? A Long-Horizon Benchmark for Continual Learning
Princeton University(普林斯顿大学);Tencent Hy(腾讯Hy);Tsinghua University(清华大学);Shanghai Jiaotong University(上海交通大学);Hong Kong University(香港大学)
AhaBench提出长时程持续学习基准,通过三个任务测试智能体在支持移除或延迟后能否利用经验提升表现,并引入初始分数、经验后分数和学习提升三部分评分,揭示模型能力差异。
2026-09-22 cs.CL cs.LG
Hebbian Continual Representation Learning
Polish Academy of Sciences(波兰科学院);Institute of Computer Science(计算机科学研究所);Jagiellonian University(雅盖隆大学)
持续学习旨在将机器学习带入一个更现实的场景,在这个场景中,任务是按顺序学习的,i.i.d.假设没有被保留。虽然这种设置对于生物系统来说是自然的,但对于人工神经网络等机器学习模型来说,它被证明是非常困难的。为了减少这种性能差距,我们调查的问题是否生物启发赫布学习是有用的,以应对不断的挑战。特别是,我们强调了一个现实的,往往被忽视的无监督设置,学习者必须建立表示没有任何监督。通过将稀疏神经网络与Hebbian学习原理相结合,我们建立了一个简单而有效的替代方案(HebbCL),以通过梯度下降训练的典型神经网络模型。由于Hebbian学习,网络具有易于解释的权重,这在安全或医疗保健等关键应用中可能是必不可少的。我们证明了HebbCL在应用于MNIST和Omniglot数据集的无监督学习设置中的有效性。我们还适应算法的监督的情况下,在类增量学习,并取得了可喜的成果。
2022-06-28 cs.LG cs.NE
ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization
POSTECH(浦项科技大学);KAIST(韩国科学技术院);Microsoft(微软)
ActiveSaddler提出将框架优化中的训练课程建模为非平稳老虎机,动态构建失败模式目标并自适应平衡探索与利用,在GAIA2和Terminal-Bench 2.0上显著提升测试Pass@1。
2026-10-02 cs.AI cs.CL cs.LG
Generative replay with feedback connections as a general strategy for continual learning
Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
开发能够真正终身学习的人工智能应用的一个主要障碍是,人工神经网络在接受新任务训练时会迅速或灾难性地忘记先前学习的任务。目前提出了许多缓解灾难性遗忘的方法,但评估协议的差异使得难以直接比较它们的性能。为了进行更有意义的比较,我们在这里根据任务身份是否已知以及是否需要推断确定了三种不同的持续学习场景。根据这些场景中的每一个执行拆分和置换的MNIST任务协议,我们发现基于正则化的方法(例如,弹性权重合并)在需要推断任务标识时失败。相比之下,生成重放结合蒸馏(即,使用类别概率作为“软目标”)在所有三种情况下都实现了优异的性能。为了解决效率问题,我们通过将生成模型集成到主模型中,并为其配备生成反馈或反向连接,从而降低了生成重放的计算成本。这种通过反馈回放的方法大大缩短了训练时间,而性能没有或可以忽略不计。我们相信这是使强大的生成重放技术可扩展到现实世界的持续学习应用程序的重要的第一步。
2019-04-17 cs.AI cs.CV cs.LG
Benchmarking World Models for Continual Learning on Compositional Tasks
University of Oxford(牛津大学)
针对机器人操作中的世界模型,提出组合持续学习基准,以分离知识重用与学习新任务,评估显示模块化模型优于传统方法但仍有改进空间。
2026-09-21 cs.LG cs.RO
Distribution Density, Tails, and Outliers in Machine Learning: Metrics and Applications
Google Research(谷歌研究院)
我们开发了一些技术来量化给定(训练或测试)示例在底层分布中的离群值。我们评估了五种方法来对数据集中的示例进行评分,这些方法是通过示例的代表性来衡量的,对于“代表性”的不同合理定义,并将其应用于四个常见的数据集:MNIST,Fashion-MNIST,CIFAR-10和ImageNet。尽管是独立的方法,我们发现所有五个是高度相关的,这表明,良好的代表性的概念可以量化。在其他用途中,我们发现这些方法可以组合起来识别(a)原型示例(符合人类期望);(b)记忆的训练样本;以及(c)数据集的不常见子模式。此外,我们展示了如何利用我们的指标来确定课程学习的改进排序,并影响对抗鲁棒性。我们在我们研究的训练集和测试集上发布所有度量值。
2019-10-29 cs.LG stat.ML
Continual Driving Policy Optimization with Closed-Loop Individualized Curricula
Tsinghua University(清华大学)
针对自动驾驶长尾场景不足、现有场景库难复用改进模型的问题,提出带闭环个体化课程的持续驾驶策略优化框架,通过评估、选景、训练模块定制适配能力的训练课程,在提升高风险场景应对能力的同时保持简单场景表现。
2024-08-13 cs.AI cs.LG cs.RO
Incremental Sequence Learning
Utrecht University(乌得勒支大学)
过去几年的深度学习研究表明,随着时间的推移,通过增加学习问题的范围或难度,可以解决日益复杂的学习问题。我们在序列学习的背景下研究增量学习,使用多层递归混合密度网络形式的生成RNN。虽然渐进式学习或课程学习在促进学习方面的潜力是众所周知的,但不加区别地应用这一原则并不一定会导致改进,因此,必须知道哪些形式的渐进式学习或课程学习具有积极的效果。本研究通过比较三个渐进式或课程学习的实例,有助于实现这一目标。我们介绍增量序列学习,一个简单的增量序列学习方法。增量序列学习开始时仅使用每个序列的前几步作为训练数据。每次达到性能标准时,用于训练的序列部分的长度增加。我们介绍并提供一种新的序列学习任务和数据集:预测和分类MNIST笔画序列。我们发现,增量序列学习大大加快了序列学习的速度,并以20倍的速度达到常规序列学习的最佳测试性能水平,将测试误差降低了74%,并且通常表现得更稳健;它显示出较低的方差,并在所有三种比较方法停止改进后取得了持续的进展。课程学习的其他实例并没有带来任何明显的改善。训练的序列预测模型也用于序列分类任务的迁移学习,其中发现与从头开始学习分类的方法相比,迁移学习实现了改进的分类性能。
2016-12-01 cs.LG cs.NE
Continual Learning of Recurrent Neural Networks by Locally Aligning Distributed Representations
Rochester Institute of Technology(罗切斯特理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
基于循环神经网络的时间模型已被证明在各种应用中非常强大。然而,训练这些模型通常依赖于通过时间的反向传播,这需要在许多时间步长上展开网络,使得进行信用分配的过程更具挑战性。此外,反向传播本身的性质不允许使用不可微的激活函数,并且本质上是顺序的,使得底层训练过程的并行化变得困难。在这里,我们提出了并行时间神经编码网络(P-TNCN),这是一个受生物启发的模型,由我们称为局部表示对齐的学习算法训练。它旨在解决困扰通过时间反向传播训练的递归网络的困难和问题。该体系结构既不需要在时间上展开,也不需要其内部激活函数的导数。我们将我们的模型和学习过程与其他通过时间的反向传播方法(也往往是计算昂贵的)进行比较,包括实时循环学习,回声状态网络和无偏在线循环优化。我们表明,它优于这些序列建模基准,如弹跳MNIST,一个新的基准,我们表示为弹跳NotMNIST,和Penn Treebank。值得注意的是,在某些情况下,我们的方法可以通过时间以及诸如稀疏注意回溯的变体来优于完全反向传播。值得注意的是,P-TNCN的隐藏单元校正阶段允许它适应新的数据集,即使其突触权重保持固定(zero-shot自适应),并有助于在面对任务序列时保留先前的生成知识。我们目前的结果表明,P-TNCN的能力进行zero-shot适应和在线连续序列建模。
2019-08-11 cs.LG cs.NE