In Two Minds about Lifelong Learning: Exploring Hemispheric Redundancy and Specialisation in Neural Models
Monash University（莫纳什大学）；CSIRO（联邦科学与工业研究组织）；Cerenaut（塞雷诺特公司）
本文针对机器学习的持续学习挑战，提出4MAS架构，结合经验重放、REM睡眠与双侧性，利用不对称半球的长短时记忆机制，在三个分割数据集上取得有竞争力的准确率。
2026-09-29 cs.AI cs.LG
Lifelong Learning for Fog Load Balancing: A Transfer Learning Approach
University of Montreal（蒙特利尔大学）；Columbus State University（哥伦布州立大学）
针对雾计算中基于强化学习的隐私感知负载均衡智能体性能与环境适配问题，提出结合迁移学习的终身学习框架，部署用轻量推理模型，环境变化时重训，可提升性能、降低训练成本与失败概率，填补相关研究空白。
2023-10-08 cs.DC cs.LG
Adaptive Fairness-Aware Online Meta-Learning for Changing Environments
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Arkansas（阿肯色大学）
具有公平意识的在线学习框架已经成为持续终身学习环境的有力工具。学习器的目标是顺序地学习新任务，其中新任务随着时间的推移一个接一个地出现，并且学习器确保新任务在不同的受保护子群体（例如种族和性别）中的统计平等。现有方法的一个主要缺点是，他们大量使用的独立同分布假设的数据，因此提供静态后悔分析的框架。然而，低静态遗憾并不意味着在不断变化的环境中，任务是从异构分布采样的良好性能。为了解决变化环境中的公平性感知在线学习问题，本文首先通过在强适应损失后悔模型上加入长期公平性约束，构造了一个新的后悔度量FairSAR.此外，为了在每一轮确定一个好的模型参数，我们提出了一种新的自适应公平性感知的在线元学习算法，即FairSAOML，它能够在偏差控制和模型精度方面适应不断变化的环境。该问题的形式制定了一个双层凸-凹优化模型的原始和对偶参数，分别与模型的准确性和公平性。理论分析提供了损失后悔和违反累积公平约束的次线性上界。我们的实验评估不同的真实世界的数据集与不断变化的环境设置表明，建议FairSAOML显着优于替代品的基础上最好的先验在线学习方法。
2022-05-26 cs.AI cs.LG
Lifelong Control of Off-grid Microgrid with Model Based Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）；University of Liège（列日大学）
离网微电网的终身控制问题由两个任务组成，即估计微电网设备的状态和通过预测未来消费和可再生生产来考虑不确定性的运营规划。有效控制的主要挑战来自于随着时间的推移发生的各种变化。在本文中，我们提出了一个开源的加固框架，用于农村电气化离网微电网的建模。将孤立微网的终身控制问题转化为一个马尔可夫决策过程。我们将可能发生的变化分为渐进变化和突变变化。我们提出了一种新的基于模型的强化学习算法，能够解决这两种类型的变化。特别是该算法表现出泛化性能，传输能力和更好的鲁棒性，在快速变化的系统动态的情况下。所提出的算法进行了比较，对基于规则的政策和模型预测控制器与前瞻。结果表明，经过训练的代理能够在系统动态随时间变化的终身设置中超越这两个基准。
2020-05-16 cs.AI cs.LG cs.SY
Lifelong Computing
KU Leuven（鲁汶大学）；Linnaeus University（林奈大学）；Leiden University（莱顿大学）；NORCE Norwegian Research Centre（挪威研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Birmingham（伯明翰大学）；SUSTech（南方科技大学）
计算系统构成了我们生活的许多方面的支柱，因此它们正在成为我们社会的水，电和道路基础设施。然而，工程长时间运行的计算系统，实现他们的目标，在不断变化的环境提出了重大挑战。目前，我们可以构建计算系统，随着时间的推移进行调整或学习，以匹配预期的变化。然而，处理意外的变化，如异常，新奇，新的目标或限制，需要系统的演变，这仍然是一个本质上是人为驱动的活动。考虑到计算系统的复杂性不断增加，以及需要处理大量高度复杂的数据，这种方法最终将变得难以管理。为了突破这一现状，我们提出了一种新的计算系统设计和运行模式，即“终身计算”。“这种模式始于整合计算/服务模块和学习模块的计算学习系统。计算仓库提供这样的计算元素以及数据表和使用指南。当检测到异常、新颖性、新目标或约束时，终身计算系统激活进化自学习引擎，该进化自学习引擎运行在线实验以确定计算学习系统需要如何进化以应对变化，从而改变其架构并根据需要从计算仓库集成新的计算元件。根据手头的领域，终身计算系统的一些活动可以由人类支持。我们激励终身计算的需要与未来的养鱼场景，勾勒出终身计算系统的蓝图架构，并强调关键的研究挑战，以实现终身计算的愿景。
2021-08-19 cs.LG cs.SE
Lifelong Graph Learning
Carnegie Mellon University（卡内基梅隆大学）
图神经网络（GNN）是许多图结构任务的强大模型。现有的模型通常假设在训练期间可以获得图的完整结构。然而，在实践中，图结构的数据通常以流的方式形成，因此经常需要连续地学习图。在本文中，我们通过将连续图学习问题转换为规则图学习问题，将GNN和终身学习联系起来，因此GNN可以继承为卷积神经网络（CNN）开发的终身学习技术。我们提出了一种新的拓扑结构，即特征图，它将特征作为新的节点，并将节点转化为独立的图。这成功地将原来的节点分类问题转化为图分类问题。在实验中，我们通过连续学习一系列经典图数据集来证明特征图网络（FGN）的效率和有效性。我们还表明，FGN在两个应用中实现了优异的性能，即，使用可穿戴设备和特征匹配进行终身人体动作识别。据我们所知，FGN是第一个通过新的图拓扑连接图学习和终身学习的方法。源代码可在www.example.com上获得
2022-03-26 cs.LG stat.ML
Deep Reinforcement Learning amidst Lifelong Non-Stationarity
Stanford University（斯坦福大学）
作为人类，我们的目标和我们的环境在我们的一生中不断变化，这取决于我们的经验，行动以及内部和外部驱动力。相比之下，典型的强化学习问题设置考虑跨情节静止的决策过程。我们能开发出强化学习算法来应对前一个更现实的问题设置的持续变化吗？虽然诸如策略梯度之类的策略算法原则上可以扩展到非平稳设置，但是对于在学习时重放过去经验的更有效的策略外算法来说，情况并非如此。在这项工作中，我们形式化这个问题的设置，并借鉴的思想，从在线学习和概率推理文献，推导出一个关闭的政策RL算法，可以原因和解决这种终身非平稳性。我们的方法利用潜变量模型从当前和过去的经验中学习环境的表示，并使用此表示执行离线RL。我们进一步介绍了几个模拟环境，表现出终身非平稳性，并根据经验发现，我们的方法大大优于不考虑环境变化的方法。
2020-06-18 cs.AI cs.LG cs.RO
Towards AutoML in the presence of Drift: first results
INAOE（墨西哥国家天体物理、光学与电子研究所）；Paradigm Inc.（第四范式公司）；Nanjing University（南京大学）；UPSud, U. Paris-Saclay（巴黎萨克雷大学巴黎南大学）；UPSud/INRIA, U. Paris-Saclay（巴黎萨克雷大学巴黎南大学/法国国家信息与自动化研究所）；ChaLearn（挑战学习组织）；CNRS, U. Paris-Saclay（巴黎萨克雷大学法国国家科学研究中心）
AutoML的研究进展已经导致了最先进的解决方案，可以很好地处理监督学习任务，例如，使用AutoSklearn进行分类。然而，到目前为止，这些系统没有考虑到随着时间的推移不断变化的数据的性质（即，他们仍然假设身份。数据）;即使当这类域在实际应用中越来越可用时（例如，垃圾邮件过滤、用户偏好等）。我们描述了第一次尝试开发AutoML解决方案的情况下，数据分布变化相对缓慢，随着时间的推移，其中的问题是在终身学习的设置。我们扩展了Auto-Sklearn，并添加了合理和直观的机制，使其能够处理这类问题。扩展的Auto-Sklearn与概念漂移检测技术相结合，使其能够自动确定何时必须调整初始模型。我们报告的实验结果，在基准数据从AutoML比赛，坚持到这个场景。结果表明，所提出的方法的有效性。
2019-07-24 cs.AI cs.LG stat.ML
System Design for an Integrated Lifelong Reinforcement Learning Agent for Real-Time Strategy Games
SRI International（斯坦福国际研究院）；American University（美利坚大学）；Rochester Institute of Technology（罗切斯特理工学院）；Georgia Institute of Technology（佐治亚理工学院）
随着人工和机器人系统越来越多地被部署和依赖于现实世界的应用，重要的是它们必须表现出在动态变化的环境中不断学习和适应的能力，成为终身学习机器。持续/终身学习（LL）涉及最小化对旧任务的灾难性遗忘，同时最大化模型学习新任务的能力。本文讨论了具有挑战性的终身强化学习（L2 RL）设置。推动L2 RL的最新发展并使L2 RL对实际应用有用，需要的不仅仅是开发单独的L2 RL算法;它需要在系统层面取得进展，特别是研究如何将多个L2 RL算法集成到一个公共框架中的重要问题。在本文中，我们介绍了终身强化学习组件框架（L2 RLCF），它简化了L2 RL系统，并吸收了不同的持续学习组件（每个组件都解决终身学习问题的不同方面）到一个统一的系统中。作为L2 RLCF的一个实例，我们开发了一个标准的API，可以轻松集成新的终身学习组件。我们描述了一个案例研究，演示了如何多个独立开发的LL组件可以集成到一个单一的实现系统。我们还介绍了一个评估环境，以衡量各种系统组件相结合的效果。我们的评估环境采用不同的LL方案（任务序列）组成的星际争霸2小游戏，并允许公平，全面，和定量比较的不同组合的组件在一个具有挑战性的共同评估环境。
2022-12-08 cs.AI cs.LG
The Online Coupon-Collector Problem and Its Application to Lifelong Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
在一系列相关任务之间传递知识是强化学习（RL）的一个重要挑战。尽管有许多令人鼓舞的经验证据，但很少有理论分析。在本文中，我们研究了一类终身强化学习问题：代理解决一系列的任务建模为有限的马尔可夫决策过程（MDP），其中每一个是从一个有限的MDP集相同的状态/动作集和不同的过渡/奖励功能。出于终身学习中跨任务探索的需要，我们提出了一个新的在线优惠券收集器问题，并给出了一个最优算法。这使我们能够开发一种新的终身强化学习算法，即使任务序列是由对手生成的，其任务序列的总体样本复杂度也比单任务学习小得多。该算法的好处在模拟问题，包括最近推出的人机交互问题。
2015-09-21 cs.AI cs.LG
LDTC: Lifelong deep temporal clustering for multivariate time series
School of Computer Science and Technology, Xidian University（电子科技大学计算机科学与技术学院）
LDTC通过整合降维和时序聚类，提出了一种端到端深度无监督学习框架，有效解决动态多变量时间序列的聚类问题。
2026-01-09 cs.AI cs.LG
The configurable tree graph (CT-graph): measurable problems in partially observable and distal reward environments for lifelong reinforcement learning
Loughborough University（拉夫堡大学）；UNIST（蔚山科学技术院）；HRL Laboratories（HRL实验室）；Vanderbilt University（范德堡大学）
针对强化学习算法提出了一组形式化定义的透明问题，这些问题具有以下特征：（1）可变的可观测度（非Markov观测），（2）远端稀疏奖励，（3）可变的分层奖励结构，（4）多任务生成，（5）可变的问题复杂度.环境提供1D或2D分类观测，并将操作作为输入。CT图的核心结构是一个多分支树图，具有任意的分支因子，深度和观察集，可以通过可控和可测量的方式来增加问题的维度。两个主要类别的状态，决策状态和等待状态，旨在创建一个层次的重要性之间的意见，典型的现实世界的问题。一个大的观察集可以产生一个庞大的历史集，损害记忆增强代理。可变奖励函数允许轻松创建多个任务，并允许代理在呈现具有可控相似度的任务的动态场景中有效适应的能力。由于图的指数增长，可以很容易地实现复杂性级别。问题公式和附带的代码提供了一组快速，透明和数学定义的可配置测试，以比较强化学习算法的性能，特别是在终身学习环境中。
2023-01-21 cs.AI cs.LG
Adversarial Online Learning with Changing Action Sets: Efficient Algorithms with Approximate Regret Bounds
University of Southern California（南加州大学）
我们重新讨论了在线学习与睡眠专家/土匪的问题：在每个时间步中，只有一个子集的行动可供算法选择（和学习）。Kleinberg等人（2010年）的工作表明，存在不后悔算法，其性能不会比渐进的最佳行为排名更差。不幸的是，实现这种遗憾界限似乎在计算上很难：Kanade和Steinke（2014）表明，实现这种无遗憾表现至少与PAC学习DNF一样困难，这是一个众所周知的难题。在目前的工作中，我们放松了原来的问题，研究计算效率的无近似遗憾算法：这种算法可能会超过最佳成本的乘法常数除了添加剂遗憾。我们给出了一个算法，提供了一个无近似遗憾保证一般的睡眠专家/土匪问题。对于几个典型的特殊情况下的问题，我们给出了算法有显着更好的近似比，这些算法还说明了不同的技术实现无近似遗憾的保证。
2021-04-26 cs.LG stat.ML
CRL-VLA: Continual Vision-Language-Action Learning
University of Southampton, UK（英国南安普顿大学）；Westlake University, China（西湖大学）
CRL-VLA通过双批评者架构和目标条件价值公式，实现VLA模型在持续学习中的稳定与可塑性平衡，优于现有方法。
2026-02-03 cs.AI cs.LG cs.RO
Learn to Change the World: Multi-level Reinforcement Learning with Model-Changing Actions
University of Iowa（爱荷华大学）；University of California, Davis（加州大学戴维斯分校）
本文提出多层可配置时变马尔可夫决策过程（MCTVMDP），使智能体通过上层模型改变动作主动修改环境动态，并与下层原始动作策略联合优化，以提升长期奖励。
2025-10-16 cs.LG
Large Scale Markov Decision Processes with Changing Rewards
Georgia Institute of Technology（佐治亚理工学院）
我们考虑马尔可夫决策过程（MDP），其中奖励是未知的，并且可能以对抗的方式变化。我们提供了一个算法，实现了最先进的遗憾界的$O( \sqrt{τ(\ln|S|+\ln|A|)T}\ln(T))$，其中$S$是状态空间，$A$是动作空间，$τ$是混合时间的MDP，和$T$是周期数。该算法的计算复杂度为每周期$|S|$和$|A|$的多项式。然后，我们考虑在实践中经常遇到的设置，其中的MDP的状态空间太大，允许精确的解决方案。通过用一个$d\ll|S|$维的线性结构来近似状态-动作占用测度，我们提出了一个在$d$中具有多项式计算复杂度的改进算法.我们还证明了这个修改后的算法，据我们所知，这是第一个$\tilde{O}(\sqrt{T})$遗憾界的大规模MDPs与不断变化的奖励。
2019-05-25 cs.LG stat.ML
Adapting the Behavior of Reinforcement Learning Agents to Changing Action Spaces and Reward Functions
Trinity College Dublin（都柏林三一学院）
MORPHIN通过动态调整超参数和概念漂移检测，实现强化学习智能体在变化的奖励函数和动作空间中的自适应学习，提升收敛速度和学习效率。
2026-01-28 cs.AI cs.LG
Ordered Counterfactual Explanation by Mixed-Integer Linear Optimization
Hokkaido University（北海道大学）；Fujitsu Laboratories Ltd.（富士通研究所）；Tokyo Institute of Technology（东京工业大学）
机器学习模型的事后解释方法已被广泛应用于决策支持。其中一种流行的方法是反事实解释（CE），也被称为可操作的追索权，它为用户提供了改变预测结果的特征的扰动向量。给定扰动向量，用户可以将其解释为用于获得期望的决策结果的“动作”。然而，在实践中，仅示出扰动向量通常不足以使用户执行动作。原因在于，如果特征之间存在不对称的相互作用，例如因果关系，则动作的总成本预计将取决于改变特征的顺序。因此，实际的CE方法需要提供一个适当的顺序改变功能，除了一个扰动矢量。为此，我们提出了一个新的框架，称为有序反事实解释（OrdCE）。我们引入了一个新的目标函数，评估一对的动作和功能交互的基础上的顺序。为了提取最优对，我们提出了一个混合整数线性优化方法与我们的目标函数。在真实数据集上的数值实验表明，我们的OrdCE的有效性相比，无序CE方法。
2021-03-14 cs.LG stat.ML
Contextual Combinatorial Bandits with Changing Action Sets via Gaussian Processes
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Department of Computer and Communication Sciences（计算机与通信科学系）；Department of Electrical and Electronics Engineering（电气与电子工程系）
针对动作集变化的组合上下文老虎机问题，提出O'CLOK-UCB算法及其稀疏变体，利用高斯过程建模基础臂相关性，实现低遗憾并显著超越现有UCB方法。
2025-09-25 cs.LG stat.AP stat.ML
Robot Imitation through Vision, Kinesthetic and Force Features with Online Adaptation to Changing Environments
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
连续目标导向动作（Continuous Goal-Directed Actions，CGDA）是一个机器人模仿框架，它将动作编码为它们对环境产生的变化。虽然它在泛化和可移植性方面相对于其他机器人模仿框架具有许多优点，但用于执行动作的最终机器人关节轨迹不一定在模型内编码。这是作为一个优化问题进行研究，并通过模拟环境中的进化算法计算的解决方案。进化算法需要大量的评估，这使得这些算法在现实世界中的应用非常具有挑战性。本文提出了在线进化策略，作为CGDA执行中的范式变化。在线进化策略将运动执行转移并合并到规划循环中。提出了一种具体的在线进化策略--在线进化轨迹（OET）。OET大大减少了运动执行之间的计算时间，并使工作在现实世界的动态环境和/或与人类合作。它的性能已经通过全轨迹进化（FTE）和增量进化轨迹（IET）进行了测量，获得了最佳的总体结果。TEO全尺寸的人形机器人与“油漆”和“铁”的行动，共同涉及视觉，动觉和力的功能进行实验评估。
2019-10-23 cs.LG cs.NE cs.RO
Tracking Changing Probabilities via Dynamic Learners
Cisco Secure Workload（思科安全工作负载部门）
针对Prediction Games中非平稳流数据的多类概率预测问题，设计了稀疏移动平均（SMAs）预测器，通过动态学习率实现快速适应与低方差。
2024-12-24 cs.AI cs.LG
Contextual Bandits for adapting to changing User preferences over time
Persistent Systems（持久系统公司）
上下文强盗提供了一种有效的方法来建模ML中的动态数据问题，通过利用在线（增量）学习来根据不断变化的环境不断调整预测。我们探讨上下文强盗的细节，传统的强化学习（RL）问题的扩展，并建立一个新的算法来解决这个问题，使用一系列基于动作的学习者。我们应用这种方法来建模的文章推荐系统，使用一个阵列的随机梯度下降（SGD）的学习者作出预测的基础上采取的行动奖励。然后，我们将该方法扩展到公开的MovieLens数据集并探索研究结果。首先，我们提供了一个简化的模拟数据集，显示随着时间的推移不同的用户偏好，以及如何使用静态和动态学习算法进行评估。作为本研究的一部分，该数据集有意模拟了有限数量的特征，可用于评估不同的解决问题策略。我们将使用静态数据集构建一个分类器，并在此数据集上评估其性能。我们展示了静态学习器由于在某个时间点固定的上下文以及改变上下文如何降低准确性而带来的局限性。接下来，我们开发了一种新的算法来解决上下文强盗问题。与线性强盗类似，该算法将奖励映射为上下文向量的函数，但使用一系列学习器来捕获动作/手臂之间的变化。我们开发了一个使用随机梯度下降（SGD）学习器阵列的强盗算法，每个手臂有单独的学习器。最后，我们将应用这个上下文强盗算法来预测电影评级随着时间的推移由不同的用户从标准的电影镜头数据集，并展示结果。
2020-09-23 cs.AI cs.LG cs.SI
