Lifelong Learning with Task-Specific Adaptation: Addressing the Stability-Plasticity Dilemma
University of YYY(YYY大学);Institute of WWW(WWW研究院)
本文提出基于适配器的终身学习框架 AdaLL,通过在正则化约束下共同训练骨干网络与适配器,兼顾稳定性与可塑性,并在多种配置下优于现有方法。
2025-03-08 cs.LG
Lifelong Learning Metrics
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
DARPA终身学习机器(L2M)计划旨在推动人工智能(AI)系统的进步,使其能够不断学习(和改进),利用一项任务的数据来提高另一项任务的性能,并以计算可持续的方式做到这一点。该计划的执行者开发了能够执行各种功能的系统,包括自动驾驶,实时策略和无人机模拟。这些系统具有各种各样的特征(例如,任务结构、生命周期),而该计划的测试和评估团队面临的一个直接挑战是在这些不同的设置中测量系统性能。这份文件,与DARPA和程序执行者密切合作开发,概述了一种形式主义,用于构建和表征执行终身学习场景的代理的性能。
2022-01-20 cs.AI cs.LG
Adversarial Feature Alignment: Avoid Catastrophic Forgetting in Incremental Task Lifelong Learning
Tsinghua University(清华大学)
人类通过不断的学习,能够掌握各种知识和技能。相比之下,当新的任务被添加到现有的神经网络模型时,观察到显着的性能下降。这种现象被称为\emph{Catastrophic Forgetting},是阻止深度神经网络实现人类水平的人工智能的主要障碍之一。已经提出了几种研究成果,例如\emph{Lifelong}或\emph{Continual}学习算法来解决这个问题。然而,他们要么遭受的累积下降的性能,随着任务序列的增长更长,或需要存储过量的模型参数的历史记忆,或不能获得有竞争力的性能上的新任务。在本文中,我们专注于增量多任务图像分类的情况下。受人类学生学习过程的启发,他们通常将复杂的任务分解为更容易的目标,我们提出了一种对抗性特征对齐方法,以避免灾难性遗忘。在我们的设计中,低级视觉特征和高级语义特征都作为软目标,在多个阶段指导训练过程,这为旧任务提供了足够的监督信息,有助于减少遗忘。由于知识蒸馏和正则化现象,所提出的方法获得了更好的性能比微调的新任务,这使得它从其他方法中脱颖而出。在几个典型的终身学习场景中进行的大量实验表明,我们的方法在新任务的准确性和旧任务的性能保持方面都优于最先进的方法。
2019-10-24 cs.CV cs.LG stat.ML
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München(慕尼黑工业大学);TUM(慕尼黑工业大学);Siemens AG(西门子股份公司);LMU(慕尼黑大学)
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而,传统的主题模型有几个局限性,包括:(1)词袋(BoW)假设,其中它们忽略了单词排序,(2)数据稀疏,其中由于有限的单词共现,主题模型的应用具有挑战性,导致不连贯的主题,以及(3)没有用于终身主题学习的持续学习框架,利用历史知识(或潜在主题)和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议:(1)结合主题和语言模型并引入语言结构(如词序、句法和语义特征等)的语境化主题模型在主题建模中,(2)将一种新的终身学习机制引入神经主题建模框架,以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外,我们执行一个选择性的数据增强,以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
Deep Stacked Stochastic Configuration Networks for Lifelong Learning of Non-Stationary Data Streams
Nanyang Technological University(南洋理工大学);Northeastern University(东北大学)
SCN的概念为非平稳数据流的终身学习提供了一个具有普遍近似保证的快速框架。它的自适应范围选择属性,使适当的随机生成的隐藏单元参数,推进传统的随机方法约束与固定范围的随机参数。本文提出了一种用于非平稳数据流持续学习的深度堆叠随机配置网络(DSSCN),主要贡献有两个方面:1)DSSCN具有深度堆叠网络结构的自构造方法,可以从连续生成的数据流中自动提取隐藏单元和隐藏层; 2)提出了SCN的概念,在隐节点添加步骤中随机分配多元高斯函数的逆协方差矩阵,绕过了计算量大的调整阶段。数值评估和比较突出的数据流算法下的两个程序:周期性的保持和presequential测试,然后训练过程证明了所提出的方法的优势。
2019-12-09 cs.LG cs.NE stat.ML
Lifelong Learning Without a Task Oracle
University of Southern California(南加州大学)
已知有监督的深度神经网络在学习新任务时,旧任务的准确性会急剧下降,称为“灾难性遗忘“。持续学习的许多最先进的解决方案依赖于偏置和/或划分模型来增量地适应连续的任务。然而,这些方法在很大程度上依赖于任务预言机的可用性,以赋予每个测试样本的任务身份,没有它的模型是完全无法执行的。为了解决这个缺点,我们提出并比较了几个候选任务分配映射器,需要很少的内存开销:(1)增量无监督原型分配使用最近的平均值,高斯混合模型或模糊ART骨干;(2)监督增量原型分配快速模糊ARTMAP;(3)浅感知器通过动态coreset训练。我们提出的模型变体是从预训练的特征提取器或主分类器网络的任务相关特征嵌入中训练的。我们将这些管道变体应用于持续学习基准,这些基准由多个数据集的序列或单个数据集组成。总的来说,这些方法,尽管它们的简单性和紧凑性,执行非常接近地面真理预言,特别是在数据集间任务分配的实验中。此外,性能最佳的变体仅增加了1.7%的参数内存平均成本。
2020-11-09 cs.AI cs.LG
UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Language Models
UltraEdit通过无训练、无主题、无内存的方法实现高效语言模型终身编辑,速度快7倍且内存占用低4倍,支持大规模编辑任务。
2026-03-10 cs.AI cs.CL cs.LG
Lifelong Learning Natural Language Processing Approach for Multilingual Data Classification
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
在当今世界,数字媒体是大众了解时事的主要来源,数字媒体中的丰富信息使其有可能比以往任何时候都更大规模地传播虚假信息。因此,需要开发新的假新闻检测方法,能够适应不断变化的事实背景,并概括先前或同时获得的知识。为了解决这个问题,我们提出了一种终身学习的方法,它允许用多种语言检测假新闻,并相互转移在每种语言中获得的知识。采用了经典的特征提取器,例如词频逆文档频率或潜在狄利克雷分配,以及与MLP(多层感知器)分类器配对的集成深度NLP(自然语言处理)BERT(来自Transformers的双向编码器表示)模型。在两个专门用于假新闻分类任务的数据集(分别为英语和西班牙语)上进行的实验结果得到了统计分析的支持,证实了使用其他语言可以提高传统方法的性能。此外,在某些情况下,用经典方法补充深度学习方法可以对获得的结果产生积极影响。模型的能力,以概括所分析的语言之间获得的知识也被观察到。
2022-05-25 cs.CL cs.LG
Deconfounded Lifelong Learning for Autonomous Driving via Dynamic Knowledge Spaces
Tongji University(同济大学)
本文提出DeLL框架,结合DPMM与因果推理的front-door调整机制,构建动态知识空间以解决自动驾驶中的灾难性遗忘和知识迁移问题,并引入进化轨迹解码器提升规划能力。
2026-07-02 cs.AI cs.LG cs.RO
Uncertainty-based Modulation for Lifelong Learning
Teledyne Scientific(泰利达因科学公司)
为能够持续终身学习的智能代理创建机器学习算法是在动态环境中的真实系统上部署算法的关键目标。在这里,我们提出了一个算法的灵感来自于人类大脑中的神经调节机制,整合和扩展斯蒂芬Grossberg开创性的自适应共振理论的建议。具体来说,它建立在不确定性的概念之上,并采用一系列神经调节机制来实现持续学习,包括自我监督和一次性学习。在一系列基准实验中对算法组件进行了评估,这些实验证明了稳定的学习而没有灾难性遗忘。我们还展示了开发这些系统的闭环方式的环境和代理的行为约束和指导学习过程中的关键作用。为此,我们将该算法集成到一个具体的模拟无人机代理。实验结果表明,该算法能够在虚拟环境中持续学习新任务,并在变化的条件下保持较高的分类准确率(大于94%),不会出现灾难性遗忘。该算法接受来自任何最先进的检测和特征提取算法的高维输入,使其成为现有系统的灵活补充。我们还描述了未来的开发工作,重点是为算法注入寻找新知识的机制以及采用更广泛的神经调节过程。
2020-01-27 cs.LG stat.ML
CatNet: Class Incremental 3D ConvNets for Lifelong Egocentric Gesture Recognition
Trinity College Dublin(都柏林圣三一学院);Intel Labs China(英特尔中国研究院)
以自我为中心的手势是人类与VR/AR头盔和眼镜等可穿戴设备进行交互的最自然的通信形式。在真实世界应用的这样的场景中的主要问题是,可能很容易需要向系统添加新的手势,一个合适的VR系统应该允许用户逐渐地定制手势。传统的深度学习方法需要将所有以前的类样本存储在系统中,并通过合并以前的样本和新样本从头开始训练模型,这会消耗巨大的内存,并随着时间的推移显着增加计算量。在这项工作中,我们展示了一个终身的3D卷积框架- c(C)la(a)ss增量(t)al net(Net)work(CatNet),它考虑了视频中的时间信息,并通过学习从以前的类样本中选择的样本集的特征表示来实现以自我为中心的手势视频识别的终身学习。重要的是,我们提出了一个双流CatNet,它部署RGB和深度模式来训练两个独立的网络。我们在一个公开的数据集-- EgoGesture数据集上对CatNets进行了评估,并表明CatNets可以在很长一段时间内增量地学习许多类。结果还表明,双流架构实现了最好的性能相比,其他3个单流架构的联合训练和类增量训练。在这项工作中使用的代码和预训练模型在https://github.com/villawang/CatNet上提供。
2020-04-20 cs.CV cs.LG eess.IV
CHIRPs: Change-Induced Regret Proxy metrics for Lifelong Reinforcement Learning
University of Southampton(南安普顿大学);The Alan Turing Institute(阿兰·图灵研究所);University of Brescia(布雷西亚大学);Thales UK RTSI(泰雷兹英国RTSI)
针对终身强化学习中环境变化导致性能下降且难以预测的问题,提出CHIRP指标量化变化对性能的影响,使智能体主动缓解性能下降,在两个基准测试中表现优异。
2025-01-30 cs.LG
MyGO: Memory Yielding Generative Offline-consolidation for Lifelong Learning Systems
MyGO通过生成式离线巩固方法,有效缓解终身学习中的灾难性遗忘问题,提升隐私和存储效率。
2026-01-07 cs.AI cs.LG
Task Difficulty Aware Parameter Allocation & Regularization for Lifelong Learning
Zhejiang University(浙江大学)
本文提出PAR方法,根据任务学习难度在参数分配与正则化之间自适应选择策略,并通过最近原型距离估计任务相关性和高效的架构搜索降低参数冗余,在多个基准上超越SOTA并提升性能。
2023-04-11 cs.AI cs.CV cs.LG
Enabling Reproducibility and Meta-learning Through a Lifelong Database of Experiments (LDE)
IBM Research(IBM研究院);University of Groningen(格罗宁根大学)
人工智能(AI)的开发本质上是迭代和实验性的。在正常的开发过程中,特别是随着自动化人工智能的出现,会产生数百或数千个实验,这些实验往往会丢失或永远不会再次检查。我们失去了记录这些实验并从中大规模学习的机会,但跟踪和复制这些实验的复杂性往往让数据科学家望而却步。我们提出了终身实验数据库(LDE),自动提取和存储链接的元数据从实验工件,并提供功能,以重现这些工件,并执行跨它们的元学习。我们存储来自AI开发生命周期多个阶段的上下文,包括数据集、管道、每个阶段的配置方式,以及训练运行时的运行环境信息。存储的元数据的标准化特性允许查询和聚合,特别是在通过性能度量对工件进行排名方面。我们展示了LDE的能力,再现现有的元学习研究和存储在我们的系统中再现的元数据。然后,我们在此元数据上执行两个实验:1)检查性能指标的可重复性和可变性,以及2)在数据之上实现一些元学习算法,并检查实验结果的可变性如何影响推荐性能。实验结果表明,性能存在显著差异,特别是取决于数据集配置;当元学习建立在结果之上时,这种差异会继续存在,当使用聚合结果时,性能会提高。这表明,自动收集和聚合结果的系统(如LDE)不仅有助于实现元学习,而且还可以提高其性能。
2022-02-23 cs.AI cs.LG
Sparse Coding in a Dual Memory System for Lifelong Learning
Advanced Research Lab, NavInfo Europe(NavInfo Europe 高级研究实验室);Department of Mathematics and Computer Science, Eindhoven University of Technology(埃因霍温理工大学数学与计算机科学系)
人类有效的持续学习是由一组丰富的神经生理机制和多个记忆系统之间的相互作用实现的。大脑有效地将信息编码为非重叠的稀疏代码,这有助于更快地学习新的关联,并控制对先前关联的干扰。为了模仿DNN中的稀疏编码,我们强制执行激活稀疏性以及退出机制,该机制鼓励模型为语义相似的输入激活相似的单元,并且与语义不同的输入的激活模式重叠较少。这为我们提供了一种有效的机制来平衡功能的可重用性和干扰,这取决于跨任务的类的相似性。此外,我们采用稀疏编码的多内存重放机制。我们的方法保持了一个额外的长期语义记忆,聚合和巩固编码在工作模型的突触权重的信息。我们广泛的评估和特征分析表明,配备了这些生物启发的机制,该模型可以进一步减轻遗忘。
2022-12-28 cs.AI cs.CV cs.LG
Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning
Eindhoven University of Technology (TU/e)(埃因霍温理工大学);Wayve Technologies Ltd(Wayve科技有限公司)
本文研究多模态信息整合对缓解深度神经网络灾难性遗忘的作用,提出多模态持续学习基准及基于关系结构相似性的模态对齐方法,并验证其能显著提升持续学习鲁棒性。
2024-05-04 cs.AI cs.CV cs.LG
Large-scale Kernel Methods and Applications to Lifelong Robot Learning
Istituto Italiano di Tecnologia(意大利技术研究院);Università degli Studi di Genova(热那亚大学)
随着可用数据集的规模和丰富性越来越大,直接从数据中学习算法来解决日益具有挑战性的问题的机会也在以同样的速度增长。因此,学习算法处理大量数据的能力已经成为其实用性的关键科学和技术挑战。因此,大规模学习目前在机器学习研究社区中吸引了大量的研究工作也就不足为奇了。在这篇论文中,我们集中在核方法,一个理论上健全和有效的一类学习算法产生非参数估计。核方法在其经典公式中,在有限大小的数据集上是准确和有效的,但不能以具有成本效益的方式扩展。最近的研究表明,近似学习算法,例如像Nyström和随机特征这样的随机子采样方法,具有时间记忆精度权衡机制,是更具可扩展性的替代方案。在这篇论文中,我们提供了几种类型的近似方案的推广性质和计算需求的分析。特别是,我们揭示了统计和计算之间的紧密关系,目标是根据可用的计算资源来调整学习过程的准确性。我们的研究结果得到了大规模数据集和数值模拟实验证据的支持。我们还研究了如何应用大规模学习来实现机器人技术的准确,高效和反应式终身学习。特别是,我们提出的算法,使机器人不断学习的经验,并适应其操作环境的变化。所提出的方法进行了验证的iCub人形机器人除了其他基准。
2019-12-11 cs.LG cs.RO stat.ML
Lifelong Graph Learning
Carnegie Mellon University(卡内基梅隆大学)
图神经网络(GNN)是许多图结构任务的强大模型。现有的模型通常假设在训练期间可以获得图的完整结构。然而,在实践中,图结构的数据通常以流的方式形成,因此经常需要连续地学习图。在本文中,我们通过将连续图学习问题转换为规则图学习问题,将GNN和终身学习联系起来,因此GNN可以继承为卷积神经网络(CNN)开发的终身学习技术。我们提出了一种新的拓扑结构,即特征图,它将特征作为新的节点,并将节点转化为独立的图。这成功地将原来的节点分类问题转化为图分类问题。在实验中,我们通过连续学习一系列经典图数据集来证明特征图网络(FGN)的效率和有效性。我们还表明,FGN在两个应用中实现了优异的性能,即,使用可穿戴设备和特征匹配进行终身人体动作识别。据我们所知,FGN是第一个通过新的图拓扑连接图学习和终身学习的方法。源代码可在www.example.com上获得
2022-03-26 cs.LG stat.ML
Lifelong Hyper-Policy Optimization with Multiple Importance Sampling Regularization
Politecnico di Milano(米兰理工大学);University of Padova(帕多瓦大学)
在动态不断演变的终身环境中学习,是当前强化学习算法的一个严峻挑战。然而,这将是实际应用中非常需要的功能。在本文中,我们提出了一种方法,学习一个超政策,其输入是时间,输出的参数的政策在当时被查询。该超策略被训练以最大化估计的未来性能,通过重要性采样有效地重用过去的数据,以引入受控偏差为代价。我们结合未来的性能估计与过去的性能,以减轻灾难性遗忘。为了避免过度拟合收集的数据,我们推导出一个可微的方差界,我们嵌入作为惩罚项。最后,我们经验验证我们的方法,与国家的最先进的算法相比,在现实的环境中,包括水资源管理和交易。
2021-12-13 cs.LG
SPREAD: Subspace Representation Distillation for Lifelong Imitation Learning
SPREAD通过子空间表示蒸馏方法,在终身模仿学习中提升知识迁移和泛化能力,缓解灾难性遗忘,实现最优性能。
2026-03-09 cs.LG cs.RO
Lifelong Spectral Clustering
University of Chinese Academy of Sciences(中国科学院大学);Northeastern University(东北大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);MIT(麻省理工学院)
在过去的几十年中,谱聚类(SC)已经成为最有效的聚类算法之一。然而,大多数以前的研究集中在谱聚类任务与一个固定的任务集,它不能与一个新的谱聚类任务,而不访问以前学习的任务。在本文中,我们的目标是探讨终身机器学习框架中的谱聚类问题,即,终身谱聚类(L2 SC)。它的目标是有效地学习一个新的谱聚类任务的模型,有选择地转移以前积累的经验,从知识库。具体来说,L2 SC的知识库包含两个部分:1)正交基库:在每对任务中的聚类之间捕获潜在聚类中心; 2)特征嵌入库:嵌入多个相关任务之间共享的特征流形信息。当一个新的谱聚类任务到来时,L2 SC首先从基库和特征库中转移知识以获得编码矩阵,并随着时间的推移进一步重新定义库库,以最大限度地提高所有聚类任务的性能。同时,推导了一个通用的在线更新公式,交替更新的基础库和特征库。最后,在真实世界的基准数据集上进行的实验表明,与现有的谱聚类算法相比,本文提出的L2 SC模型能够有效地提高聚类性能.
2019-11-29 cs.LG stat.ML
When New Generators Arrive: Lifelong Machine-Generated Text Attribution via Ridge Feature Transfer
Wuhan University(武汉大学);Ant Group(蚂蚁集团);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Institute of Deep Perception Technology, JITRI(感知技术研究院,JITRI)
针对终身机器生成文本归因中持续适应新生成器与保留旧知识难以平衡的问题,提出轻量级分析更新框架RidgeFT,通过协方差校准和固定随机特征实现无需示例回放的闭式更新。
2026-09-09 cs.AI cs.CL cs.LG
Representational Continuity for Unsupervised Continual Learning
New York University(纽约大学);KAIST(韩国科学技术院);Microsoft Research(微软研究院);AITRICS
持续学习(CL)的目的是在不忘记先前获得的知识的情况下学习一系列任务。然而,最近的CL进展仅限于监督持续学习(SCL)的情况。因此,它们不能扩展到真实世界的应用程序,其中数据分布通常是有偏见的和无注释的。在这项工作中,我们专注于无监督的持续学习(UCL),在那里我们学习的功能表示的一个未标记的任务序列,并表明依赖于注释数据是没有必要的持续学习。我们进行了一项系统的研究,分析了学习到的特征表示,并表明无监督的视觉表示对灾难性遗忘的鲁棒性令人惊讶,始终实现更好的性能,并且比SCL更好地推广到分布外任务。此外,我们发现,UCL实现了一个更平滑的损失景观,通过定性分析的学习表示和学习有意义的特征表示。此外,我们提出了终身无监督混淆(LUMP),一个简单而有效的技术,在当前任务和以前的任务的实例之间进行插值,以减轻无监督表示的灾难性遗忘。
2022-04-05 cs.CV cs.LG
Provably Efficient Lifelong Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院)
我们研究终身强化学习(RL)在后悔最小化设置的线性上下文马尔可夫决策过程(MDP),其中代理需要学习的多任务策略,同时解决一个流序列的任务。我们提出了一种算法,称为UCB终身价值蒸馏(UCBlvd),可证明实现次线性遗憾的任何序列的任务,这可能是自适应选择的基础上代理的过去的行为。值得注意的是,我们的算法只使用了次线性数量的规划调用,这意味着智能体最终会学习到一个对多个任务(可见或不可见)接近最优的策略,而不需要刻意规划。这个属性的关键是一个新的结构假设,使计算共享任务在探索。具体来说,对于$K$任务情节的地平线$H$,我们的算法有一个遗憾界$\tilde{\mathcal{O}}(\sqrt{(d^3+d^\prime d)H^4K})$的基础上$\mathcal{O}(dH\log(K))$规划调用的数量,其中$d$和$d^\prime$的动态和奖励的特征维度,分别。这种理论保证意味着我们的算法可以使终身学习代理积累经验,并学习快速解决新任务。
2022-06-01 cs.LG stat.ML
Structural features of the fly olfactory circuit mitigate the stability-plasticity dilemma in continual learning
Tsinghua University(清华大学);Tianjin University(天津大学)
针对持续学习的稳定性-可塑性困境,提出果蝇嗅觉回路模型Fly Model作为即插即用模块,增强记忆稳定性与学习可塑性,以极低计算成本提升机器学习持续学习能力。
2025-02-03 cs.AI cs.CV cs.LG
CQural: A Novel CNN based Hybrid Architecture for Quantum Continual Machine Learning
Indian Institute of Technology, Jodhpur(印度理工学院焦特布尔分校)
本文提出了一种基于CNN的新型经典-量子混合神经网络架构CQural,通过利用可解释的特定特征来规避持续学习中的灾难性遗忘,并在MNIST和CIFAR-10数据集上证明了其优于经典架构的记忆能力。
2023-05-16 cs.AI cs.LG
Costly Features Classification using Monte Carlo Tree Search
Stony Brook University(石溪大学);Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所)
我们考虑的问题,昂贵的特征分类,我们顺序选择的子集的功能,使分类误差和功能成本之间的平衡。本文首先将任务转化为MDP问题,采用AdvantageActor Critic算法求解,为了进一步提高Agent的性能,使策略具有可解释性,采用蒙特卡罗树搜索迭代更新策略。在这个过程中,我们还考虑了它在不平衡数据集上的性能以及它对缺失值的敏感性。我们在多个数据集上评估了我们的模型,发现它优于其他方法。
2021-02-14 cs.LG
Online Learning with Costly Features in Non-stationary Environments
Tübingen University(图宾根大学);Fraunhofer Heinrich Herz Institute(弗劳恩霍夫海因里希·赫兹研究所)
针对非平稳环境下特征获取需成本的序贯决策问题,拓展上下文老虎机设置,提出一种保证次线性遗憾值的算法,在真实场景中实现更优的长期平均收益。
2023-07-18 cs.LG
Feature Forgetting in Continual Representation Learning
Tsinghua University(清华大学);Baidu Research(百度研究院)
在持续学习和终身学习中,良好的表示学习有助于在学习新任务时提高性能并降低样本复杂性。有证据表明,即使在简单的持续学习中,表征也不会遭受“灾难性遗忘“,但关于其特征的进一步事实却知之甚少。本文旨在对持续学习中的表示学习,特别是特征遗忘问题有更多的了解。我们设计了一个评估持续学习中表征的协议,然后用它来呈现持续表示学习的基本趋势的概述,显示其一贯的不足和潜在的问题。为了研究特征遗忘问题,我们创建了一个合成数据集来识别和可视化神经网络中特征遗忘的流行程度。最后,我们提出了一个简单的技术,使用门控适配器,以减轻功能遗忘。最后,我们讨论了改进表示学习有利于持续学习中的新旧任务。
2022-05-26 cs.LG
On mechanisms for transfer using landmark value functions in multi-task lifelong reinforcement learning
University of Ottawa(渥太华大学)
跨不同强化学习(RL)任务的迁移学习正成为一个越来越有价值的研究领域。我们考虑了一个基于目标的多任务强化学习框架和机制,以前解决的任务可以降低样本的复杂性和遗憾,当代理面临一个新的任务。具体来说,我们引入两个度量的状态空间编码的概念,一个代理的状态空间的可扩展性。使用这些度量的拓扑覆盖构造的方式,在一个完全自我监督的方式的一组地标状态。我们表明,这些里程碑覆盖赋予理论优势的迁移学习内的目标为基础的多任务强化学习设置。具体来说,我们展示了三种机制,通过这些机制,地标覆盖可以用于成功的迁移学习。首先,我们通过反射(LOVR)的地标选项框架扩展到这个新的拓扑覆盖;其次,我们使用地标为中心的价值函数本身作为功能,并定义了一个贪婪的僵尸策略,实现了一系列zero-shot传输任务的接近预言机的性能;最后,在第二个传输机制的激励下,我们引入了一个学习的奖励函数,为基于目标的RL提供了更密集的奖励信号。我们新的拓扑地标覆盖赋予有益的理论结果,约束在每个状态动作对的Q值。在这样做时,我们引入了一个机制,执行动作修剪不可行的行动,不可能是一个最佳的政策,为当前的目标的一部分。
2019-07-01 cs.AI cs.LG stat.ML
Learning Computational Efficient Bots with Costly Features
Ubisoft La Forge(育碧La Forge实验室);Ubisoft Bordeaux(育碧波尔多);Ubisoft Montréal(育碧蒙特利尔)
针对实时决策中推理成本与性能的权衡,提出纳入特征成本约束的 Budgeted Decision Transformer,可逐时步动态选择输入,并在 D4RL 和复杂 3D 环境中以更少算力取得相近性能。
2023-08-18 cs.LG
Nearly Minimax Algorithms for Linear Bandits with Shared Representation
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);University of Washington(华盛顿大学)
我们给出了新的算法,多任务和终身线性土匪共享表示。具体来说,我们考虑使用维度为$d$的$M$线性强盗任务的设置,每个任务用于$T$回合,并且这些$M$强盗任务共享公共的$k(\ll d)$维度线性表示。对于我们同时玩任务的多任务设置和我们顺序玩任务的终身设置,我们提出了实现$\widetilde{O}\left(d\sqrt{kMT} + kM\sqrt{T}\right)$遗憾界限的新算法,其与已知的极大极小遗憾下限匹配对数因子并缩小了现有结果中的差距[Yang et al.,2021年]。我们的主要技术包括一个更有效的估计低秩线性特征提取器和伴随的新的分析,这个估计。
2022-03-29 cs.LG stat.ML
Graph Memory Learning: Imitating Lifelong Remembering and Forgetting of Brain Networks
Department of Computer Science and Technology, Tongji University(同济大学计算机科学与技术系);School of Computing, Macquarie University(麦考瑞大学计算机学院)
针对现实图数据频繁变化导致现有模型难以处理新数据涌入和数据撤回的问题,本文提出图记忆学习概念及脑启发图记忆学习(BGML)框架,通过多粒度分层学习和信息自我评估机制实现选择性记忆与遗忘,在五类任务中表现优异。
2025-08-24 cs.AI cs.LG cs.NE
Classification with Costly Features using Deep Reinforcement Learning
Czech Technical University in Prague(捷克技术大学)
我们研究的分类问题,每个功能可以获得的成本和目标是优化预期的分类错误和功能成本之间的权衡。我们重新审视了以前的方法,该方法将问题框定为顺序决策问题,并通过线性近似的Q学习来解决它,其中个人行为要么是对特征值的请求,要么通过提供分类决策来终止事件。在一组八个问题,我们证明,通过取代线性近似与神经网络的方法变得可比的国家的最先进的算法专门为这个问题。该方法是灵活的,因为它可以用任何新的强化学习增强来改进,它允许包括预先训练的高性能分类器,并且与现有技术不同,它的性能在所有评估的数据集上都是鲁棒的。
2018-11-12 cs.AI cs.LG stat.ML
Classification with Costly Features as a Sequential Decision-Making Problem
Czech Technical University in Prague(布拉格捷克理工大学)
这项工作的重点是一个具体的分类问题,其中有关样本的信息是不容易获得的,但必须获得的成本,并有一个每个样本的预算。受现实世界用例的启发,我们分析了直接指定预算的平均和硬变化。我们假设问题的显式公式,然后将其转换为等价的MDP,可以用深度强化学习解决。此外,我们评估了一个真实世界的启发设置与稀疏训练数据集缺失的功能。所提出的方法在几个不同的数据集的所有设置中表现良好,优于其他现有技术的算法。该方法是灵活的,正如所有提到的修改所展示的那样,并且可以通过RL中的任何领域独立的进步来改进。
2019-09-05 cs.AI cs.LG stat.ML
Classification with Costly Features in Hierarchical Deep Sets
Faculty of Electrical Engineering, Czech Technical University in Prague(捷克技术大学电气工程学院)
本文扩展了基于深度强化学习的算法,引入分层深度集合和分层softmax,以处理分层结构数据中的带代价特征分类,在七个数据集上表现更优,并应用于恶意域名分类。
2024-02-29 cs.AI cs.LG stat.ML
Efficient Forward Architecture Search
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们提出了一个神经架构搜索(NAS)算法,Petridish,迭代地添加快捷连接到现有的网络层。添加的快捷连接有效地在增强层上执行梯度提升。该算法的动机是由特征选择算法向前逐步线性回归,因为我们认为NAS作为一个泛化的特征选择回归,其中NAS选择层之间的捷径,而不是选择功能。为了减少可能的连接组合的试验次数,我们在每个生长阶段联合训练所有可能的连接,同时利用特征选择技术来选择它们的子集。我们的实验表明,这个过程是一个有效的前向架构搜索算法,可以找到竞争力的模型,使用几个GPU天在搜索空间的可重复的网络模块(细胞搜索)和空间的一般网络(宏搜索)。Petridish特别适合于从对终身学习场景至关重要的现有模型中进行热启动。
2019-05-31 cs.LG stat.ML
Autonomous Goal Exploration using Learned Goal Spaces for Visuomotor Skill Acquisition in Robots
Inria(法国国家信息与自动化研究所);Ensta-ParisTech(巴黎高等先进技术学院)
自动和有效地发现技能,没有监督,长寿的自主智能体,仍然是人工智能的挑战。内在动机目标探索过程为学习代理提供了一种人类启发的机制,以顺序选择要实现的目标。这种方法为终身学习问题提供了一个新的视角,在模拟和现实世界的实验中都取得了可喜的成果。直到最近,这些算法还局限于实验者知识的领域,因为智能体使用的目标空间是建立在工程特征提取器上的。深度表示学习的最新进展,使设计这些特征提取器的新方法成为可能,直接使用代理经验。最近的工作表明,这些方法在简单但具有挑战性的模拟领域的潜力。在本文中,我们提出了最近的结果,显示了这些原则在现实世界的机器人设置中的适用性,其中一个6关节机器人手臂通过在从过去经验中学习的空间中选择目标来学习操纵竞技场内的球。
2019-06-10 cs.AI cs.LG cs.NE
Classifying Relations by Ranking with Convolutional Neural Networks
IBM Research(IBM研究院);IBM Watson(IBM沃森)
关系分类是一个重要的语义处理任务,最先进的系统仍然依赖于昂贵的手工制作的功能。在这项工作中,我们使用一个卷积神经网络来处理关系分类任务,该网络通过排名来执行分类(CR-CNN)。我们提出了一个新的成对排序损失函数,可以很容易地减少人工类的影响。我们使用SemEval-2010 Task 8数据集进行实验,该数据集是为对句子中标记的两个名词之间的关系进行分类而设计的。使用CRCNN,我们在这个数据集上的表现优于最先进的技术,并在不使用任何昂贵的手工特征的情况下实现了84.1的F1。此外,我们的实验结果表明:(1)我们的方法比CNN后面跟着softmax分类器更有效;(2)省略人工类Other的表示提高了精度和召回率;(3)如果我们只考虑两个目标名词之间的文本,仅使用词嵌入作为输入特征就足以实现最先进的结果。
2015-05-24 cs.CL cs.LG cs.NE
Truly Batch Apprenticeship Learning with Deep Successor Features
Harvard University(哈佛大学)
我们引入了一种新的学徒学习算法来学习专家的基本奖励结构在离政策无模型\emph{batch}设置。与现有的方法,需要一个动态模型或额外的数据采集的政策评估,我们的算法只需要观察到的专家行为的批量数据。这种设置在现实世界的任务中很常见-医疗保健、金融或工业过程-在这些任务中,不存在精确的模拟器,或者数据采集成本很高。为了解决批处理设置中的挑战,我们引入了深度后继特征网络(DSFN),它可以在非策略设置中估计特征期望,以及一个过渡正则化的模仿网络,它可以产生一个接近专家的初始策略和一个有效的特征表示。我们的算法在控制基准和重症监护室脓毒症管理的重要临床任务的批量设置中取得了优异的结果。
2019-03-24 cs.LG stat.ML
Attention-enabled Explainable AI for Bladder Cancer Recurrence Prediction
School of Engineering, Newcastle University(新castle大学工程学院)
本文提出一个集成向量嵌入和注意力机制的可解释深度学习框架,用于预测非肌层浸润性膀胱癌复发,在实现70%准确率的同时为临床医生提供患者级别的特征解释,并发现了手术持续时间和住院时间等新影响因素。
2025-04-30 cs.AI cs.LG
Confounding Feature Acquisition for Causal Effect Estimation
Layer 6 AI, TD Bank Group(道明银行集团Layer 6 AI);Harvard University(哈佛大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
根据观察性数据进行可靠的处理效应估计取决于所有混杂信息的可用性。虽然许多工作都是针对从观察数据中估计处理效应,但在混杂变量缺失情况下的工作相对较少,在这种情况下,收集更多关于混杂因素的信息通常是昂贵或耗时的。在这项工作中,我们框架作为一个问题的特征获取的混杂特征的因果推断这一挑战。我们的目标是优先获取样本中缺失混杂因素的固定和已知子集的值,从而获得有效的平均处理效应估计。我们提出了两种采集策略的基础上,i)协变量平衡(CB),和ii)减少统计估计误差观察到的实际结果误差(OE)。我们比较CB和OE五种常见的因果效应估计方法,并证明在各种设置下,OE的基线方法的样本效率提高。我们还提供了可视化,以进一步分析我们提出的方法之间的差异。
2020-11-17 cs.LG stat.ML
Fair Feature Subset Selection using Multiobjective Genetic Algorithm
North Dakota State University(北达科他州立大学)
特征子集选择问题旨在选择相关的特征子集,以提高训练数据上的机器学习(ML)算法的性能。数据中的一些特征可能是固有的噪声,计算成本高,不适当的缩放或与其他特征相关,并且它们可能对诱导算法的准确性,成本和复杂性产生不利影响。传统的特征选择方法的目标是去除这些不相关的特征。近年来,ML对我们日常生活的决策过程产生了显著的影响。我们希望确保这些决定不会反映出基于年龄、性别或种族等受保护属性对某些群体或个人的偏见行为。在本文中,我们提出了一个特征子集选择方法,提高了公平性和准确性的目标,并使用NSGA-II算法计算帕累托最优解。我们使用统计差异作为公平性度量,F1-Score作为模型性能的度量。我们在最常用的公平性基准数据集上使用三种不同的机器学习算法进行的实验表明,使用进化算法,我们可以有效地探索公平性和准确性之间的权衡。
2022-04-30 cs.CY cs.LG cs.NE