Lifelong Learning with a Changing Action Set
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(奥多比研究)
在许多现实世界的顺序决策问题中,可用的动作(决策)的数量可能会随着时间的推移而变化。虽然像灾难性遗忘,改变过渡动力学,改变奖励函数等问题已经在终身学习文献中得到了很好的研究,但行动集变化的设置仍然没有得到解决。在本文中,我们提出了一个算法,自主适应的行动集的大小随时间变化。为了解决这个开放的问题,我们将其分为两个可以迭代解决的问题:推断动作空间中的底层未知结构,并优化利用此结构的策略。我们证明了这种方法在大规模现实世界的终身学习问题的效率。
2020-05-11 cs.LG stat.ML
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München(慕尼黑工业大学);TUM(慕尼黑工业大学);Siemens AG(西门子股份公司);LMU(慕尼黑大学)
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而,传统的主题模型有几个局限性,包括:(1)词袋(BoW)假设,其中它们忽略了单词排序,(2)数据稀疏,其中由于有限的单词共现,主题模型的应用具有挑战性,导致不连贯的主题,以及(3)没有用于终身主题学习的持续学习框架,利用历史知识(或潜在主题)和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议:(1)结合主题和语言模型并引入语言结构(如词序、句法和语义特征等)的语境化主题模型在主题建模中,(2)将一种新的终身学习机制引入神经主题建模框架,以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外,我们执行一个选择性的数据增强,以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
Deep Bayesian Unsupervised Lifelong Learning
Northeastern University(东北大学)
终身学习(LL)指的是不断学习和解决新问题的能力,随着时间的推移,随着可用信息的增加,同时保留以前的知识。最近,人们对带有标签数据流的监督式终身学习(SLL)给予了很大的关注。相比之下,我们专注于解决无监督终身学习(Unsupervised Lifelong Learning,简称EML)中的挑战,当数据分布和未知类标签随着时间的推移而演变时,使用未标记的数据流。贝叶斯框架很自然地结合了过去的知识,并用新的数据顺序地更新信念。我们开发了一个完整的贝叶斯推理框架,用于使用一种新型的端到端深度贝叶斯无监督终身学习(DBSTO)算法,该算法可以在学习潜在表示的同时逐步发现新的聚类,而不会忘记过去的未标记数据。为了有效地维护过去的知识,我们开发了一种新的知识保存机制,通过充分的统计数据的潜在表示的原始数据。为了检测潜在的新集群的飞行,我们开发了一个自动集群发现和冗余删除策略,在我们的推理启发非参数贝叶斯统计技术。我们在LL和批处理设置中使用图像和文本语料库基准数据集证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Learning from Mistakes: Rollout-Retrieval Lifelong Policy Learning for Autonomous Driving
School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械工程学院);School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院)
提出R²LPL框架,通过从可恢复的闭环驾驶错误中检索纠正目标并进行终身学习,将稀疏失败证据转化为监督知识,持续提升自动驾驶策略性能。
2026-06-29 cs.AI cs.CV cs.LG
Self-Net: Lifelong Learning via Continual Self-Modeling
Georgia State University(佐治亚州立大学)
随着时间的推移学习一组任务,也称为持续学习(CL),是人工智能中最具挑战性的问题之一。虽然最近的方法在深度神经网络中实现了一定程度的CL,但它们要么(1)随着任务的数量线性增长网络参数,要么(2)需要存储来自先前任务的训练数据,要么(3)限制网络学习新任务的能力。为了解决这些问题,我们提出了一个新的框架,Self-Net,它使用自动编码器来学习一组为不同任务学习的权重的低维表示。我们证明,这些低维向量,然后可以用来生成高保真回忆的原始权重。Self-Net可以随着时间的推移整合新任务,几乎不需要重新训练,并且旧任务的性能损失最小。我们的系统不需要存储先前的训练数据,并且其参数仅随着任务的数量而几何地增长。我们证明了我们的技术在许多数据集上的表现优于当前最先进的方法--包括MNIST,CIFAR 10,CIFAR 100和Atari的连续版本--并且我们证明了我们的方法可以以连续的方式实现超过10倍的存储压缩。据我们所知,我们是第一个使用自动编码器来顺序编码网络权重集以实现持续学习的人。
2019-07-12 cs.AI cs.LG stat.ML
Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet Process
University of York(约克大学)
最近在终身学习方面的研究工作提出了一种混合模型,以适应越来越多的任务。所提出的方法在克服灾难性遗忘方面显示出良好的效果。然而,这些成功模式背后的理论仍然没有得到很好的理解。在本文中,我们进行终身学习模型的理论分析,推导出的风险界的基础上产生的数据的概率表示模型和目标数据集之间的差异距离。受理论分析的启发,我们引入了一种新的终身学习方法,即终身无限混合(LIMix)模型,该模型可以自动扩展其网络架构或选择适当的组件来调整其参数以学习新任务,同时保留其先前学习的信息。我们建议将知识通过Dirichlet过程,通过使用门控机制,该机制计算以前学到的知识和存储在每个组件,和一组新的数据之间的依赖。此外,我们训练了一个紧凑的学生模型,它可以随着时间的推移积累跨域表示,并作出快速推断。该代码可在https://github.com/dtuzi123/Lifelong-infinite-mixture-model上获得。
2021-08-25 cs.AI cs.CV cs.LG
Continual Lifelong Learning with Neural Networks: A Review
Universität Hamburg(汉堡大学);Rochester Institute of Technology(罗切斯特理工学院);Heriot-Watt University(赫瑞-瓦特大学)
人类和动物有能力在其一生中不断获得,微调和转移知识和技能。这种能力被称为终身学习,是由一套丰富的神经认知机制介导的,这些机制共同促进我们感觉运动技能的发展和专业化,以及长期记忆的巩固和检索。因此,终身学习能力是至关重要的自主智能体在现实世界中进行交互和处理连续的信息流。然而,终身学习仍然是机器学习和神经网络模型的长期挑战,因为从非平稳数据分布中不断获取增量可用信息通常会导致灾难性遗忘或干扰。这种限制代表了最先进的深度神经网络模型的主要缺点,该模型通常从静止批次的训练数据中学习表示,因此没有考虑到信息随着时间的推移变得增量可用的情况。在这篇综述中,我们批判性地总结了与人工学习系统终身学习相关的主要挑战,并比较了现有的神经网络方法,这些方法在不同程度上缓解了灾难性遗忘。我们讨论了成熟的和新兴的研究动机终身学习因素在生物系统,如结构可塑性,记忆重放,课程和迁移学习,内在动机,多感官整合。
2019-02-11 cs.LG q-bio.NC stat.ML
Provable Hierarchical Lifelong Learning with a Sketch-based Modular Architecture
Google Research(谷歌研究院)
我们提出了一个模块化的体系结构的分层结构的任务的终身学习。具体来说,我们证明了我们的架构在理论上能够学习任务,可以解决的功能,是可学习的访问功能的其他,以前学习的任务作为子程序。我们的经验表明,我们可以通过这种方式学习的一些任务在实践中并不是通过标准的训练方法学习的;事实上,以前的工作表明,如果没有更简单的任务的帮助,一些这样的任务就不能通过任何有效的方法学习。我们还考虑自动识别任务的方法,而不依赖于明确给定的指标。
2021-12-21 cs.LG
Enabling Reproducibility and Meta-learning Through a Lifelong Database of Experiments (LDE)
IBM Research(IBM研究院);University of Groningen(格罗宁根大学)
人工智能(AI)的开发本质上是迭代和实验性的。在正常的开发过程中,特别是随着自动化人工智能的出现,会产生数百或数千个实验,这些实验往往会丢失或永远不会再次检查。我们失去了记录这些实验并从中大规模学习的机会,但跟踪和复制这些实验的复杂性往往让数据科学家望而却步。我们提出了终身实验数据库(LDE),自动提取和存储链接的元数据从实验工件,并提供功能,以重现这些工件,并执行跨它们的元学习。我们存储来自AI开发生命周期多个阶段的上下文,包括数据集、管道、每个阶段的配置方式,以及训练运行时的运行环境信息。存储的元数据的标准化特性允许查询和聚合,特别是在通过性能度量对工件进行排名方面。我们展示了LDE的能力,再现现有的元学习研究和存储在我们的系统中再现的元数据。然后,我们在此元数据上执行两个实验:1)检查性能指标的可重复性和可变性,以及2)在数据之上实现一些元学习算法,并检查实验结果的可变性如何影响推荐性能。实验结果表明,性能存在显著差异,特别是取决于数据集配置;当元学习建立在结果之上时,这种差异会继续存在,当使用聚合结果时,性能会提高。这表明,自动收集和聚合结果的系统(如LDE)不仅有助于实现元学习,而且还可以提高其性能。
2022-02-23 cs.AI cs.LG
Lifelong Learning of Hate Speech Classification on Social Media
University of California, Santa Barbara(加州大学圣巴巴拉分校);Georgia Institute of Technology(佐治亚理工学院)
现有的自动仇恨言论分类工作假设数据集是固定的,并且类是预定义的。然而,社交媒体中的数据量每天都在增加,热点话题变化迅速,这就要求分类器能够不断适应新的数据,而不会忘记之前学习的知识。这种能力被称为终身学习,对于社交媒体中仇恨言论分类器的实际应用至关重要。在这项工作中,我们建议终身学习社交媒体上的仇恨言论分类。为了减轻灾难性遗忘,我们提出使用变分表示学习(VRL)以及基于LB-SOINN(负载平衡自组织增量神经网络)的记忆模块。实验表明,变分表示学习和LB-SOINN记忆模块相结合,实现了更好的性能比常用的终身学习技术。
2021-06-05 cs.CL cs.LG
Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团);The Chinese University of Hong Kong(香港中文大学)
终身学习(LL)对于高级任务导向对话(ToD)系统至关重要。为了解决LL的灾难性遗忘问题,生成重放方法被广泛采用,以巩固过去的知识与生成的伪样本。然而,大多数现有的生成重放方法仅使用单个特定于任务的令牌来控制其模型。由于所涉及的信息不足,该方案通常不足以约束生成模型。在本文中,我们提出了一种新的方法,即时条件VAE终身学习(PCLL),以提高生成重放纳入任务的统计。PCLL使用条件变分自编码器捕获特定于任务的分布,条件是自然语言提示以指导伪样本生成。此外,它利用蒸馏过程通过减轻伪样本中的噪声来进一步巩固过去的知识。在ToD系统的自然语言理解任务上的实验表明,PCLL在构建LL模型方面明显优于竞争基线。
2022-11-24 cs.AI cs.CL cs.LG
LiBOG: Lifelong Learning for Black-Box Optimizer Generation
Victoria University of Wellington(怀特伍德大学);Lingnan University(岭南大学)
针对现有元黑盒优化依赖平稳问题分布、无法应对现实中持续出现的分布漂移问题的缺陷,提出终身学习方法LiBOG,通过跨任务与任务内知识巩固缓解灾难性遗忘,可从序列问题中持续学习生成高性能黑盒优化器。
2025-05-19 cs.AI cs.LG
Deep Stacked Stochastic Configuration Networks for Lifelong Learning of Non-Stationary Data Streams
Nanyang Technological University(南洋理工大学);Northeastern University(东北大学)
SCN的概念为非平稳数据流的终身学习提供了一个具有普遍近似保证的快速框架。它的自适应范围选择属性,使适当的随机生成的隐藏单元参数,推进传统的随机方法约束与固定范围的随机参数。本文提出了一种用于非平稳数据流持续学习的深度堆叠随机配置网络(DSSCN),主要贡献有两个方面:1)DSSCN具有深度堆叠网络结构的自构造方法,可以从连续生成的数据流中自动提取隐藏单元和隐藏层; 2)提出了SCN的概念,在隐节点添加步骤中随机分配多元高斯函数的逆协方差矩阵,绕过了计算量大的调整阶段。数值评估和比较突出的数据流算法下的两个程序:周期性的保持和presequential测试,然后训练过程证明了所提出的方法的优势。
2019-12-09 cs.LG cs.NE stat.ML
Learning the Superpixel in a Non-iterative and Lifelong Manner
Institute of Medical Technology Peking University Health Science Center Peking University(北京大学医学部医学技术研究院);Bytedance AI Lab(字节跳动人工智能实验室);Department of Biomedical Engineering Peking University(北京大学生物医学工程系);Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Biomedical Engineering Peking University Shenzhen Graduate School(北京大学深圳研究生院生物医学工程研究所)
超像素是通过将图像中的像素自动聚类成数百个紧凑的分区而产生的,它因其良好的轮廓附着性而被广泛用于感知物体的轮廓。虽然一些作品使用卷积神经网络(CNN)来生成高质量的超像素,但我们挑战了这些网络的设计原则,特别是它们对手动标签的依赖和多余的计算资源,与传统的无监督分割方法相比,这限制了它们的灵活性。我们的目标是将基于CNN的超像素分割重新定义为终身聚类任务,并提出了一种名为LNS-Net的无监督基于CNN的方法。LNS-Net可以以非迭代和终身的方式学习超像素,而无需任何手动标签。具体来说,提出了一个轻量级的特征嵌入器LNS-Net有效地生成集群友好的功能。利用这些功能,种子节点可以以非迭代的方式自动分配给聚类像素。此外,我们的LNS-Net可以通过基于信道和空间上下文重新调整权重梯度来适应连续的终身学习,以避免过拟合。实验结果表明,所提出的LNS-Net实现了显着更好的性能在三个基准与近十倍的复杂度相比,其他国家的最先进的方法。
2021-04-21 cs.CV cs.LG
Lifelong 3D Object Recognition and Grasp Synthesis Using Dual Memory Recurrent Self-Organization Networks
University of Groningen(格罗宁根大学)
人类在终身的环境中学习识别和操纵新物体,而不会忘记在非平稳和连续条件下先前获得的知识。在自治系统中,智能体还需要减轻类似的行为,以不断学习新的对象类别并适应新的环境。在大多数传统的深度神经网络中,由于灾难性遗忘的问题,这是不可能的,新获得的知识会覆盖现有的表示。此外,大多数最先进的模型在识别物体或抓握预测方面都很出色,而这两项任务都使用视觉输入。处理这两项任务的组合架构非常有限。在本文中,我们提出了一种混合模型架构,包括一个动态增长的双记忆递归神经网络(GDM)和一个自动编码器,以解决对象识别和抓取同时进行。自动编码器网络负责为给定的对象提取一个紧凑的表示,作为GDM学习的输入,并负责预测逐像素对跖抓取配置。GDM部分被设计为在实例和类别级别上识别对象。我们使用内在记忆重放来解决灾难性遗忘的问题,其中情景记忆在没有外部感觉信息的情况下周期性地重放神经激活轨迹。为了在终身环境中广泛评估所提出的模型,由于缺乏连续的3D对象数据集,我们生成了一个合成数据集。实验结果表明,该模型可以在持续学习的场景中同时学习物体表征和抓取。
2022-01-23 cs.CV cs.LG cs.RO
AutoML @ NeurIPS 2018 challenge: Design and Results
Instituto Nacional de Astrofísica, Óptica, y Electrónica(墨西哥国家天体物理、光学与电子研究所);ChaLearn;Paradigm(第四范式);UPSud/INRIA Université Paris-Saclay(巴黎萨克雷大学巴黎第十一大学/法国国家信息与自动化研究所);Acadia University(阿卡迪亚大学);Microsoft Research(微软研究院);Hong Kong University of Science and Technology(香港科技大学)
作为NeurIPS 2018竞赛计划的一部分,我们组织了一场关于Drift的自主终身机器学习的竞赛。这个数据驱动的竞赛要求参与者开发能够解决监督学习问题的计算机程序,其中i.i.d.假设并不成立。大型数据集被安排在终身学习和评价的情况下,CodaLab被用作挑战平台。挑战在两个月的时间里吸引了300多名参与者。本章描述了挑战的设计,并总结了其主要结果。
2019-03-14 cs.LG stat.ML
Towards General Purpose Robots at Scale: Lifelong Learning and Learning to Use Memory
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本论文针对机器人在非结构化环境中长时间运行的挑战,提出t-DGR方法推进终身学习,并利用人类演示教导记忆利用,提升Memory Gym任务表现,旨在实现大规模通用机器人。
2024-12-28 cs.AI cs.LG cs.RO
Lifelong Learning Process: Self-Memory Supervising and Dynamically Growing Networks
从童年到青年,人类逐渐认识世界。但对于神经网络来说,这个成长过程似乎很困难。陷入灾难性遗忘,目前的研究人员将所有类别的数据馈送到一个神经网络,该网络在整个训练过程中保持相同的结构。我们将这种训练过程与人类的学习模式进行了比较,发现了两个主要的冲突。本文基于条件变分自编码器(CVAE)模型,研究如何在生成模型上解决这些冲突。为了解决不连续的冲突,我们采用记忆回放策略来保持模型对不可见使用类别的识别和生成能力。并将传统的单向CVAE扩展为循环模式,以更好地实现内存回放策略。为了解决“死”结构的冲突,我们重写了CVAE公式,从而能够对CVAE模型中不同部分的功能做出新的解释。基于新的理解,我们找到了在新类别上训练时动态扩展网络结构的方法。我们验证了我们的方法的有效性MNIST和时尚MNIST和显示一些非常interesting结果。
2020-04-27 cs.LG stat.ML
TrueLearn: A Family of Bayesian Algorithms to Match Lifelong Learners to Open Educational Resources
University College London(伦敦大学学院)
计算机辅助学习系统的最新进展和今天开放教育资源的可用性,为广大学习者提供了一条具有成本效益的高质量教育的途径。计算机辅助学习最雄心勃勃的用例之一是建立终身学习推荐系统。与短期课程不同,终身学习提出了独特的挑战,需要复杂的推荐模型,这些模型考虑了广泛的因素,如学习者的背景知识或材料的新颖性,同时有效地保持大量学习者的知识状态,持续更长的时间(理想情况下,一生)。这项工作为建立一个动态,可扩展和透明的教育推荐系统奠定了基础,以开放教育资源的形式从隐式数据中建模学习者的知识。我们i)使用基于维基百科的文本本体自动提取教育资源的知识成分,ii)提出了一套在线贝叶斯策略的启发,著名的领域的项目反应理论和知识追踪。我们的建议,TrueLearn,专注于学习者有足够的背景知识(因此他们能够理解并从材料中学习)的建议,并且材料具有足够的新颖性,可以帮助学习者提高他们对主题的知识并保持他们的参与。我们进一步构建了一个大型的开放式教育视频讲座数据集,并测试了所提出的算法的性能,这表明了建立一个有效的教育推荐系统的明确承诺。
2019-11-21 cs.AI cs.IR cs.LG
Task-Aware Information Routing from Common Representation Space in Lifelong Learning
Advanced Research Lab, NavInfo Europe(四维图新欧洲先进研究实验室);Eindhoven University of Technology(埃因霍温理工大学)
部署在现实世界中的智能系统在面对一系列任务时会遭受灾难性遗忘。另一方面,人类在任务之间获取、巩固和转移知识,很少干扰巩固的知识。伴随着自我调节的神经发生,大脑中的持续学习由一组丰富的神经生理过程控制,这些过程包含不同类型的知识,然后通过意识加工整合。因此,受大脑中有意识信息访问的全局工作空间理论的启发,我们提出了TAMiL,一种持续学习方法,该方法需要任务注意模块从公共表征空间中捕获特定于任务的信息。我们采用简单的,欠完备的自编码器之间的公共表示空间和全局工作空间,只允许任务相关的信息的全局工作空间,从而大大减少了任务的干扰。实验结果表明,我们的方法优于国家的最先进的排练为基础的和动态稀疏的方法和固定容量和参数隔离方法之间的差距,同时是可扩展的。我们还表明,我们的方法有效地减轻了灾难性遗忘,同时被很好地校准,减少任务近因偏见。
2023-02-14 cs.AI cs.CV cs.LG
RECALL: Recovery Experience Collection for Active Lifelong Learning in Vision-Language-Action Models
Yale University(耶鲁大学)
提出主动不确定性引导的数据收集方法,结合持续学习技术,解决VLA模型被动模仿学习中的效率低和灾难性遗忘问题。
2026-06-23 cs.AI cs.LG cs.RO
U-TELL: Unsupervised Task Expert Lifelong Learning
International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院);Mphasis Cognitive Computing Centre of Excellence(美菲西斯认知计算卓越中心);Agency for Science, Technology and Research(科技研究局)
U-TELL提出一种无监督持续学习框架,通过任务专家、结构化数据生成器和任务分配器解决灾难性遗忘问题,在多个基准上优于现有方法且训练速度显著更快。
2024-06-10 cs.LG
Towards AutoML in the presence of Drift: first results
INAOE(墨西哥国家天体物理、光学与电子研究所);Paradigm Inc.(第四范式公司);Nanjing University(南京大学);UPSud, U. Paris-Saclay(巴黎萨克雷大学巴黎南大学);UPSud/INRIA, U. Paris-Saclay(巴黎萨克雷大学巴黎南大学/法国国家信息与自动化研究所);ChaLearn(挑战学习组织);CNRS, U. Paris-Saclay(巴黎萨克雷大学法国国家科学研究中心)
AutoML的研究进展已经导致了最先进的解决方案,可以很好地处理监督学习任务,例如,使用AutoSklearn进行分类。然而,到目前为止,这些系统没有考虑到随着时间的推移不断变化的数据的性质(即,他们仍然假设身份。数据);即使当这类域在实际应用中越来越可用时(例如,垃圾邮件过滤、用户偏好等)。我们描述了第一次尝试开发AutoML解决方案的情况下,数据分布变化相对缓慢,随着时间的推移,其中的问题是在终身学习的设置。我们扩展了Auto-Sklearn,并添加了合理和直观的机制,使其能够处理这类问题。扩展的Auto-Sklearn与概念漂移检测技术相结合,使其能够自动确定何时必须调整初始模型。我们报告的实验结果,在基准数据从AutoML比赛,坚持到这个场景。结果表明,所提出的方法的有效性。
2019-07-24 cs.AI cs.LG stat.ML
Lifelong Bayesian Optimization
University of Cambridge(剑桥大学);University of Oxford(牛津大学);University of California, Los Angeles(加州大学洛杉矶分校)
自动机器学习(Auto-ML)系统解决了数据科学预测模型或管道设计自动化的问题。在本文中,我们提出了终身贝叶斯优化(LBO),一个在线的,多任务的贝叶斯优化(BO)算法,旨在解决问题的模型选择的数据集到达和随着时间的推移而演变。为了适用于“终身”贝叶斯优化,算法需要随着不断增加的采集数量而扩展,并且应该能够在学习当前最佳模型时利用过去的优化。我们将模型选择问题转化为一个黑箱函数优化问题。在LBO中,我们利用函数之间的相关性,通过使用先前学习的函数的组件来加速新到达的数据集的学习过程。在真实数据和合成数据上的实验表明,LBO算法优于标准BO算法。
2019-06-21 cs.LG stat.ML
Lifelong Generative Learning via Knowledge Reconstruction
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
当生成模型用于顺序学习多个任务时,通常会引发灾难性遗忘问题,即,终身生成学习虽然有一些努力来解决这个问题,他们遭受高的时间消耗或错误积累。在这项工作中,我们开发了一个高效和有效的终身生成模型的基础上变分自编码器(VAE)。与生成对抗网络不同,VAE在训练过程中具有很高的效率,可以用很少的资源提供自然的好处。我们将VAE的内在重构性扩展到历史知识的保持上,推导出一个终身生成模型。此外,我们设计了一个反馈策略的重建数据,以减轻错误的积累。对MNIST、FashionMNIST和SVHN的终身生成任务的实验验证了我们方法的有效性,其结果与SOTA相当。
2022-01-17 cs.AI cs.LG
RVAE-LAMOL: Residual Variational Autoencoder to Enhance Lifelong Language Learning
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
终身语言学习(LLL)旨在训练一个神经网络来学习一系列NLP任务,同时保留以前任务中的知识。然而,以前的作品遵循无数据约束仍然遭受灾难性遗忘问题,其中模型忘记它刚刚从以前的任务中学习。为了减轻灾难性遗忘,我们提出了残余变分自编码器(RVAE),以增强LAMOL,最近的LLL模型,通过映射到一个有限的统一的语义空间不同的任务。在这个空间中,以前的任务很容易被伪样本校正到自己的分布。此外,我们提出了一个身份的任务,使模型是有区别的,以识别属于哪个任务的样本。为了更好地训练RVAE-LAMOL,我们提出了一种新的训练方案交替滞后训练。在实验中,我们在DecaNLP的三个数据集的排列上测试RVAE-LAMOL。实验结果表明,RVAE-LAMOL在所有排列上都优于naïve LAMOL,并产生更有意义的伪样本。
2022-05-22 cs.AI cs.CL cs.LG
Autonomous Deep Learning: Continual Learning Approach for Dynamic Environments
Nanyang Technological University(南洋理工大学)
由于传统深度学习方法的静态和离线性质,深度神经网络(DNN)解决数据流问题的可行性仍然需要深入研究。提出了一种深度持续学习算法--自主深度学习(ADL)。与传统的深度学习方法不同,ADL具有灵活的结构,其网络结构可以在没有初始网络结构的情况下通过自构建网络结构从头开始构建。ADL通过具有能够在可塑性和稳定性之间实现权衡的不同深度结构来专门解决灾难性遗忘。提出了网络重要性公式来驱动隐节点的生长和修剪机制。漂移检测方案(DDS)是为了信号的分布变化,导致一个新的隐藏层的创建数据流。最大信息压缩指数(MICI)方法作为消除冗余层的复杂度降低模块起着重要的作用。ADL的有效性进行了数值验证下,在终身环境中使用九个流行的数据流问题的prequential测试,然后训练程序。数值结果表明,ADL始终优于最近的持续学习方法,同时表征网络结构的自动构建。
2020-01-09 cs.LG stat.ML
Voyager: An Open-Ended Embodied Agent with Large Language Models
UT Austin(德克萨斯大学奥斯汀分校);UW Madison(威斯康星大学麦迪逊分校);NVIDIA(英伟达);Caltech(加州理工学院);Stanford(斯坦福大学)
Voyager是首个在Minecraft中由LLM驱动的具身终身学习智能体,通过自动课程、可执行代码技能库和迭代提示机制实现无需人工干预的持续探索与技能获取,在获取物品和完成任务上远超现有SOTA。
2023-10-19 cs.AI cs.LG
Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery
Western Digital Corporation(西部数字公司)
本文提出一种硅本征模块化架构,通过任务特定专家和基于异常值的门卫实现结构参数隔离,采用同时流水线并行处理教师学习、学生蒸馏和路由流形获取,有效提升计算效率并满足隐私要求。
2026-04-15 cs.AI cs.LG
Online Continual Learning of End-to-End Speech Recognition Models
Carnegie Mellon University(卡内基梅隆大学)
持续学习,也被称为终身学习,旨在不断地从新的数据中学习,因为它变得可用。虽然先前的研究在自动语音识别的持续学习集中在多个不同的语音识别任务的模型的适应,在本文中,我们提出了一个实验设置\textit{online continual learning}自动语音识别的一个单一的任务。特别关注的情况下,额外的训练数据为同一个任务变得越来越可用随着时间的推移,我们证明了执行增量模型更新到端到端的语音识别模型的有效性与在线梯度情景记忆(GEM)的方法。此外,我们表明,通过在线持续学习和选择性采样策略,我们可以保持类似于从头开始重新训练模型的准确性,同时需要显着降低计算成本。我们还验证了我们的方法与自监督学习(SSL)功能。
2022-07-11 cs.AI cs.LG cs.SD
Learning latent representations across multiple data domains using Lifelong VAEGAN
University of York(约克大学)
灾难性遗忘问题发生在以顺序方式在多个数据库上训练的深度学习模型中。最近,生成重放机制(GRM),已被提出来再现先前学习的知识,旨在减少遗忘。然而,这样的方法缺乏适当的推理模型,因此不能提供数据的潜在表示。在本文中,我们提出了一种新的终身学习方法,即终身VAEGAN(L-VAEGAN),它不仅诱导一个强大的生成重放网络,而且还学习有意义的潜在表示,有利于表示学习。L-VAEGAN可以允许将与不同域相关联的信息自动嵌入到潜在空间中的几个集群中,同时还可以跨不同的数据域捕获语义上有意义的共享潜在变量。该模型支持许多传统生成式重放方法无法完成的下游任务,包括跨不同数据域的插值和推理。
2020-07-20 cs.CV cs.LG
On the role of neurogenesis in overcoming catastrophic forgetting
Apprente, Inc.(Apprente公司);University of Oxford(牛津大学);University of Hamburg(汉堡大学)
终身学习能力对于在真实世界数据上操作的人工自主智能体至关重要,这些数据通常是非平稳的和时间相关的。在这项工作中,我们证明了动态增长的网络在增量学习场景中优于静态网络,即使在两种情况下都有相同的内存量。在我们的模型中,学习是无监督的,这种情况使训练更具挑战性,同时增加了研究的真实性,因为人类能够在没有密集手动注释的情况下学习。我们对人工神经网络的研究结果加强了结构可塑性在非平稳环境中对灾难性遗忘的有效预防,以及经验支持神经发生在哺乳动物大脑中的重要性。
2018-11-30 cs.LG cs.NE
Lifelong Machine Learning Potentials
ETH Zürich(苏黎世联邦理工学院)
本研究提出元素包容原子中心对称函数和终身机器学习势,利用不确定性量化与持续学习策略实现深度神经网络在新数据流上的自主即时训练,解决了传统MLPs需从头训练及难以表示多化学元素的问题。
2023-06-04 cond-mat.dis-nn cs.LG physics.chem-ph
Adversarial Validation Approach to Concept Drift Problem in User Targeting Automation Systems at Uber
在用户定向自动化系统中,输入数据中的概念漂移是主要挑战之一。随着时间的推移,它会降低新数据的模型性能。以往对概念漂移的研究大多是在观察到性能下降后进行模型再训练。然而,这种方法是次优的,因为系统仅在新数据上表现不佳之后才修复问题。在这里,我们介绍了一个对抗性的验证方法,在用户定位自动化系统的概念漂移问题。通过我们的方法,系统在进行推断之前检测新数据中的概念漂移,训练模型,并产生适应新数据的预测。我们表明,我们的方法有效地解决了概念漂移与AutoML3终身机器学习挑战数据,以及在优步的内部用户定位自动化系统,MaLTA。
2020-06-26 cs.LG stat.ML
Lifelong Property Price Prediction: A Case Study for the Toronto Real Estate Market
Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑机智能高精尖创新中心);School of Computing, University of Leeds(利兹大学计算学院);UrBrain Technology;Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系);Department of Computer Science and Engineering, Lehigh University(理海大学计算机科学与工程系)
我们介绍了Luce,第一个自动化物业估值的终身预测模型。卢斯解决了房地产估值的两个关键问题:缺乏最近的销售价格和房屋数据的稀缺性。它旨在处理有限数量的近期房屋交易数据。作为一个偏离以前的工作,卢斯组织在异构信息网络(HIN)的房子数据,其中图形节点是房子的实体和属性,是重要的房价估值。我们采用图卷积网络(GCN)从HIN中提取与房屋相关的数据(如地理位置)的空间信息,然后使用长短期记忆(LSTM)网络对房屋交易数据随时间的时间依赖性进行建模。与以前的工作不同,Luce可以有效地利用过去几个月有限的房屋交易数据来更新HIN中所有房屋实体的估值信息。通过提供完整和最新的房屋估价数据集,Luce因此大大简化了目标物业的下游估价任务。我们证明了Luce的好处,通过将其应用于从多伦多房地产市场获得的大型现实生活中的数据集。大量的实验结果表明,卢斯不仅显着优于以往的财产估值方法,而且往往达到,有时超过独立专家给出的估值精度时,使用实际实现价格作为地面真理。
2020-08-12 cs.LG