Tackling Non-Stationarity in Reinforcement Learning via Causal-Origin Representation
School of Computer Science, Peking University（北京大学计算机学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；School of Data Science, Fudan University（复旦大学数据科学学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出COREP算法，通过隐式追踪非平稳性因果起源并学习稳定图表示，使策略对非平稳性具备卓越韧性，在解决强化学习非平稳性问题上优于现有方法。
2024-06-02 cs.LG
Testing Stationarity and Change Point Detection in Reinforcement Learning
University of Michigan（密歇根大学）；London School of Economics and Political Science（伦敦政治经济学院）
针对非平稳环境下离线RL的平稳性假设失效问题，提出基于历史数据检验最优Q函数非平稳性的一致方法及序贯变点检测框架，并通过理论、模拟和真实健康数据验证。
2025-01-03 cs.LG stat.ML
Dealing With Non-stationarity in Decentralized Cooperative Multi-Agent Deep Reinforcement Learning via Multi-Timescale Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of McGill（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）
针对去中心化协作MARL中并发学习导致的非平稳性，本文提出不同学习率的多时间尺度算法，在保持收敛优势的同时加速顺序学习，并在epymarl基准上优于现有方法。
2023-08-17 cs.LG
Causal Inference on Investment Constraints and Non-stationarity in Dynamic Portfolio Optimization through Reinforcement Learning
Mizuho Research & Technologies, Ltd.（瑞穗综合研究所科技有限公司）；Mizuho Bank, Ltd.（瑞穗银行股份有限公司）
本研究针对金融时间序列非平稳性问题，开发了融入机制转换等变量的强化学习动态资产配置策略，还将三类投资约束纳入框架并分析其对投资行为的影响，提升了预测准确率与优化灵活性。
2023-11-08 cs.AI q-fin.PM
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Meta-Reinforcement Learning by Tracking Task Non-stationarity
Politecnico di Milano（米兰理工大学）；Inria Lille（里尔法国国家信息与自动化研究所）
许多现实世界的领域受到结构化的非平稳性，影响代理的目标和环境动态。Meta-强化学习（RL）已被证明可以成功地训练快速适应相关任务的智能体。然而，大多数现有的元强化学习算法的非平稳域要么作出强有力的假设任务生成过程中，或需要在训练时从它的采样。在本文中，我们提出了一种新的算法（TRIO），通过明确地跟踪任务的演变，随着时间的推移，为未来进行优化。在训练时，TRIO学习变分模块，以快速识别经验样本中的潜在参数。该模块与考虑任务不确定性的最优探索策略联合学习。在测试时，TRIO在线跟踪潜在参数的演变，从而减少未来任务的不确定性，并通过元学习策略获得快速适应。与大多数现有方法不同，TRIO不假设马尔可夫任务演化过程，它不需要关于训练时的非平稳性的信息，并且它捕获环境中发生的复杂变化。我们评估我们的算法在不同的模拟问题，并显示它优于竞争对手的基线。
2021-05-18 cs.LG
Reactive Exploration to Cope with Non-Stationarity in Lifelong Reinforcement Learning
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Dynatrace Research（Dynatrace研究院）；Institute of Advanced Research in Artificial Intelligence (IARAI)（高级人工智能研究所（IARAI））
在终身学习中，智能体在不断变化的环境中终生学习，而不会重置，就像我们人类一样。因此，终身学习带来了大量的研究问题，如持续的领域转移，这导致非静态奖励和环境动态。这些非平稳性由于其连续性而难以检测和处理。因此，需要能够跟踪稳定的域转移并适应它们的探索策略和学习方法。我们提出了反应式探索来跟踪和应对终身强化学习中的持续领域变化，并相应地更新策略。为此，我们进行实验，以研究不同的探索策略。我们的经验表明，政策梯度家庭的代表更适合终身学习，因为他们更快地适应分布偏移比Q学习。因此，策略梯度方法从反应式探索中获益最多，并在持续领域转移的终身学习中表现出良好的效果。我们的代码可在https://github.com/ml-jku/reactive-exploration上获取。
2022-09-22 cs.AI cs.LG
Non-Stationarity Breaks Permutation Surrogates in Multi-Agent Reinforcement Learning: Diagnosis and Remedies
Department of Applied Informatics, University of Macedonia（马其顿大学应用信息系）
本文为七种信息论度量提供实用决策框架，围绕每个度量的三个关键问题：回答的问题与AI场景、适合的估计器、最危险的误用，并附有流程图和决策表。
2026-10-21 cs.AI cs.IT cs.LG
Scalable Reinforcement Learning via Adaptive Batch Scaling
Jongchan Park
本文提出自适应批处理缩放方法，通过动态调整有效批处理大小来平衡强化学习早期的可塑性需求和晚期的稳定收敛，发现增大网络和批处理大小的组合在强化学习中取得最佳性能。
2026-06-04 cs.AI cs.LG stat.ML
Is Prior-Free Black-Box Non-Stationary Reinforcement Learning Feasible?
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对无先验非平稳性的NS-RL问题，研究发现MASTER在实际时间范围下检测机制失效、遗憾界未达预期，而采用最快变化检测的方法在分段平稳多臂老虎机测试中更优。
2024-10-21 cs.AI cs.LG stat.ML
Towards Continual Reinforcement Learning: A Review and Perspectives
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；IBM Research（IBM研究院）；DeepMind（深度思维）
在这篇文章中，我们的目的是提供一个文献综述的不同配方和方法，以连续强化学习（RL），也被称为终身或非稳态RL。我们首先讨论我们的观点，为什么RL是一个自然适合研究持续学习。然后，我们提供了一个分类的不同的连续RL配方的数学特征的两个关键属性的非平稳性，即范围和驱动程序的非平稳性。这提供了对各种配方的统一看法。接下来，我们回顾并提出了一个持续强化学习方法的分类。我们继续讨论持续RL代理的评估，提供了文献中使用的基准和理解代理性能的重要指标的概述。最后，我们强调开放的问题和挑战，在弥合持续RL的当前状态和神经科学的研究结果之间的差距。虽然仍处于早期阶段，但持续强化学习的研究有望开发出更好的增量强化学习器，这些学习器可以在非平稳性发挥重要作用的日益现实的应用中发挥作用。这些应用包括医疗保健、教育、物流和机器人等领域的应用。
2022-11-11 cs.AI cs.LG
LLM-Driven Stationarity-Aware Expert Demonstrations for Multi-Agent Reinforcement Learning in Mobile Systems
Division of Computer Science, The University of Hong Kong（计算机科学系，香港大学）；Department of Electrical and Electronic Engineering, The University of Hong Kong（电气电子工程系，香港大学）；Department of Computer Science and Technology, Peking University（计算机科学与技术系，北京大学）；Department of Computer Science, City University of Hong Kong（计算机科学系，城市大学）；China Unicom Digital Technology, China Unicom co.,Ltd（中国联合数字技术，中国联合有限公司）；School of Computer and Information Engineering, Xiamen University of Technology（计算机与信息工程学院，厦门理工学院）；School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University（计算机科学学院，机器学习与工业智能工程研究中心，四川大学）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）；Institute of Space Internet, Fudan University（空间互联网研究院，复旦大学）；School of Computer Science, Fudan University（计算机科学学院，复旦大学）
本文提出RELED框架，通过大语言模型驱动的专家示范与自主探索相结合，提升多智能体强化学习在移动系统中的性能和稳定性。
2025-11-24 cs.LG cs.NI
Multi-Agent Deep Reinforcement Learning with Adaptive Policies
University of Science and Technology of China（中国科学技术大学）
针对多智能体强化学习（RL）中的非平稳性问题，提出了一种新的解决方法。这违反了大多数单智能体RL方法的马尔可夫假设，是多智能体RL的关键挑战之一。为了解决这个问题，我们建议训练多个政策，为每个代理，并推迟执行时的最佳政策的选择。具体来说，我们模拟环境的非平稳性与一组有限的场景和训练政策适合每个场景。除了多个策略之外，每个代理还学习策略预测器，以确定哪个策略是最好的。通过这样做，每个代理都能够在环境变化时调整其策略，并且因此其他代理在执行期间更改其策略。我们在文献中为多智能体深度RL提出的各种常见基准问题上对我们的方法进行了经验评估。我们的实验结果表明，我们的算法训练的代理人有更好的适应性，在不断变化的环境中，并在所有测试环境中优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG cs.MA
Enabling Pareto-Stationarity Exploration in Multi-Objective Reinforcement Learning: A Multi-Objective Weighted-Chebyshev Actor-Critic Approach
University of Wisconsin-Whitewater（威斯尼斯大学）；Amazon（亚马逊）；Rochester Institute of Technology（罗切斯特理工学院）；The Ohio State University（俄亥俄州立大学）
针对多目标强化学习中帕累托平稳解系统探索及有限样本复杂度理论保障不足的问题，提出多目标加权切比雪夫演员-评论家算法，兼具理论保证与更优实验性能。
2025-07-29 cs.LG
Classical and Deep Reinforcement Learning Inventory Control Policies for Pharmaceutical Supply Chains with Perishability and Non-Stationarity
University of Milano-Bicocca（米兰-比可卡大学）；ESSCA School of Management（ESSCA管理学院）；Eindhoven University of Technology（埃因霍温理工大学）
本研究针对药品供应链的易腐性、非平稳需求等挑战，比较了OUT、PIL和深度强化学习（PPO）三种库存策略，发现经典与DRL策略各有优劣，需整合多种策略以有效管理。
2025-01-18 cs.AI cs.LG math.OC
Research on Multi-Agent Communication and Collaborative Decision-Making Based on Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）
本文在CTDE框架下基于MAPPO引入权重调度与注意力通信模块，提出MCGOPPO算法，通过在SMAC和MPE上的实验验证其能缓解多智能体环境非平稳性并提升协同决策能力。
2023-05-23 cs.AI cs.LG cs.MA
MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning
Peking University（北京大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
分散式学习在协作式多智能体强化学习（MARL）中显示出巨大的潜力。然而，非平稳性仍然是完全分散学习的一个重大挑战。在本文中，我们以最简单和最基本的方式解决了非平稳性问题，并提出了多智能体交替Q学习（MA 2 QL），其中智能体轮流通过Q学习更新其Q函数。MA 2 QL是一种完全分散的合作MARL的最低限度方法，但在理论上是有根据的。我们证明，当每个代理保证$\varepsilon$ -收敛在每一个回合，他们的联合政策收敛到一个纳什均衡。在实践中，MA 2 QL只需要对独立Q学习（IQL）进行最小的更改。我们经验评估MA 2 QL的各种合作多智能体任务。结果表明，MA 2 QL始终优于IQL，这验证了MA 2 QL的有效性，尽管这种微小的变化。
2023-02-07 cs.LG cs.MA
The Rank and Gradient Lost in Non-stationarity: Sample Weight Decay for Mitigating Plasticity Loss in Reinforcement Learning
School of Computer Software, Tianjin University（天津大学计算机软件学院）；International Joint Institute of Tianjin University, Fuzhou（天津大学福州国际联合学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文从网络优化的理论视角研究了非平稳性导致的塑性丧失问题，通过分析数据分布和目标非平稳性，提出样本权重衰减方法以缓解梯度衰减，提升强化学习性能。
2026-04-02 cs.LG
Metatrace Actor-Critic: Online Step-size Tuning by Meta-gradient Descent for Reinforcement Learning Control
Borealis AI
强化学习（RL）在“深度”和“浅层”环境中都取得了许多成功。在这两种情况下，通常需要进行显著的超参数调优以实现良好的性能。此外，当使用非线性函数逼近时，状态表示中的非平稳性会导致学习不稳定。有各种各样的技术可以解决这个问题-最明显的是大的经验重放缓冲区或使用多个并行演员。这些技术的代价是远离传统上制定的在线RL问题（即，单个代理在线学习而不维护训练样本的大数据库）。元学习可以通过在线调整超参数并允许算法更鲁棒地调整问题中的非平稳性来潜在地帮助解决这两个问题。本文应用Meta梯度下降推导出一套步长调整算法，专门用于在线RL控制的资格痕迹。我们的新技术Metatrace使用了类似于$TD(λ)$等方法的资格跟踪。我们探索调整单个标量步长和每个学习参数的单独步长。我们首先评估Metatrace在经典的山地车问题中的线性函数逼近控制，然后在嘈杂的，非平稳的版本。最后，我们将Metatrace应用于Arcade学习环境中的5个游戏中的非线性函数逼近控制，在那里我们探索了它如何影响学习速度和对初始步长选择的鲁棒性。实验结果表明，Metatrace的元步长参数易于设置，Metatrace可以加快学习速度，并且Metatrace可以允许RL算法处理学习任务中的非平稳性。
2019-05-24 cs.AI cs.LG stat.ML
Factored Adaptation for Non-Stationary Reinforcement Learning
City University of Hong Kong（香港城市大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Amsterdam（阿姆斯特丹大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
处理环境中的非平稳性（例如，在过渡动态中）和目标（例如，是一个具有挑战性的问题，在强化学习（RL）的实际应用中至关重要。虽然目前大多数方法将变化建模为单个共享嵌入向量，但我们利用最近因果关系文献的见解，根据个体潜在变化因素和不同环境中的因果关系图来建模非平稳性。特别是，我们提出了非平稳RL的因子自适应（FANS-RL），这是一种因子自适应方法，它可以联合学习因子MDP的因果结构和个体时变变化因子的因子表示。我们证明，在标准的假设下，我们可以完全恢复的因果图表示的因素化的过渡和奖励功能，以及个别的变化因素和状态组件之间的部分结构。通过我们的总体框架，我们可以考虑具有不同功能类型和变化频率的一般非平稳场景，包括跨事件和事件内的变化。实验结果表明，FANS-RL在返回、潜在状态表示的紧凑性以及对不同程度的非平稳性的鲁棒性方面优于现有方法。
2022-10-18 cs.AI cs.LG
Clustering-Based Weight Orthogonalization for Stabilizing Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑认知与脑智技术关键实验室）
针对深度强化学习中环境非平稳导致样本效率低的问题，提出可嵌入任意RL策略网络的COWM层，通过聚类与投影矩阵稳定训练，在DMControl基准上性能优于SOTA方法，兼具鲁棒性与通用性。
2025-11-02 cs.AI cs.LG
Stable Deep Reinforcement Learning via Isotropic Gaussian Representations
University of Waterloo（滑铁卢大学）
本文提出了一种基于各向同性高斯表示的深度强化学习方法，通过在训练过程中塑造表示以达到各向同性高斯分布，从而在非平稳环境下提高性能并减少表示崩溃、神经元休眠和训练不稳定性。
2026-06-04 cs.AI cs.LG
Local Advantage Actor-Critic for Robust Multi-Agent Deep Reinforcement Learning
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
策略梯度方法在多智能体强化学习中已经变得流行，但是由于环境随机性和探索代理的存在，它们遭受高方差（即，非平稳性），这可能由于信用分配的困难而恶化。因此，需要一种不仅能够有效地解决上述两个问题，而且足够鲁棒以解决各种任务的方法。为此，我们提出了一种新的多智能体策略梯度方法，称为鲁棒本地优势（ROLA）Actor-Critic。ROLA允许每个代理学习一个单独的动作-价值函数作为本地的评论家，以及改善环境的非平稳性，通过一种新的集中式训练方法的基础上，集中式评论家。通过使用这个本地评论家，每个代理计算一个基线，以减少其策略梯度估计的方差，这导致了一个预期的优势行动价值超过其他代理的选择，隐式地改善信用分配。我们评估ROLA在不同的基准，并显示其鲁棒性和有效性超过一些国家的最先进的多代理策略梯度算法。
2021-12-19 cs.AI cs.LG cs.MA
Demystifying Reinforcement Learning in Time-Varying Systems
Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）；Microsoft Research（微软研究院）
最近的研究已经转向强化学习（RL）来解决具有挑战性的决策问题，作为手动调整算法的替代方案。RL可以学习好的策略，而不需要对环境的动态进行建模。尽管如此，RL仍然是许多现实世界系统问题的不切实际的解决方案。当环境随时间变化时，会出现一个特别具有挑战性的情况，即它表现出非平稳性。在这项工作中，我们介绍了非平稳性的特点的挑战，阐明了一系列的方法，他们和开发一个强大的框架来解决他们的训练RL代理在现场系统。这样的代理必须探索和学习新的环境，而不损害系统的性能，并随着时间的推移记住它们。为此，我们的框架（i）识别实时系统遇到的不同环境，（ii）在必要时触发探索，（iii）采取预防措施以保留来自先前环境的知识，以及（iv）当RL代理犯错误时，采用保障措施来保护系统的性能。我们将我们的框架应用于两个系统的问题，掉队缓解和自适应视频流，并评估它对各种替代方法，使用真实世界和合成数据。我们表明，框架的所有组件都是必要的，以应付非平稳性，并为每个组件的替代设计选择提供指导。
2023-01-26 cs.AI cs.LG cs.NI
Forecasting in Offline Reinforcement Learning for Non-stationary Environments
Bogazici University（博科西大学）；University of Tübingen（图宾根大学）；Ozyegin University（奥祖根大学）；Osaka University（大阪大学）
非平稳环境下的离线强化学习预测框架FORL，通过结合条件扩散和零样本时间序列模型，提升智能体在非平稳环境中的鲁棒性与性能。
2025-12-27 cs.AI cs.LG cs.RO
Dealing with the Unknown: Pessimistic Offline Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）已被证明是有效的，在这些领域中，代理可以通过主动与其操作环境交互来学习策略。然而，如果我们将RL方案更改为离线设置，其中代理只能通过静态数据集更新其策略，则出现离线强化学习中的一个主要问题，即分布偏移。我们提出了一种Pessiphon离线强化学习（PessORL）算法，通过操纵价值函数，主动引导智能体回到它熟悉的区域。我们专注于由分布外（OOD）状态引起的问题，并故意惩罚训练数据集中不存在的状态处的高值，以便学习到的悲观价值函数在状态空间内的任何地方都有真实值的下限。我们评估的PessORL算法在各种基准任务，在那里我们表明，我们的方法获得更好的性能显式处理OOD状态相比，这些方法只考虑OOD行动。
2021-11-09 cs.LG cs.RO
In-Context Reinforcement Learning under Non-Stationarity: A Survey
Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）
该综述围绕非平稳性下的上下文强化学习展开，探讨预训练或微调决策模型在交互中推断规则改善行为的能力。将其定义为策略固定时通过上下文适应问题，关联多种相关技术，并从变化内容、展开方式及智能体可观察性三方面组织文献。
2026-07-15 cs.AI
Distributed Resource Allocation with Multi-Agent Deep Reinforcement Learning for 5G-V2V Communication
Technical University of Munich（慕尼黑工业大学）；Nomor Research（诺莫尔研究公司）
研究了无基站情况下车辆间通信中的分布式资源选择问题。每个车辆自主地从共享资源池中选择传输资源以传播协作感知消息（CAM）。这是一个共识问题，每个车辆必须选择一个唯一的资源。当-由于机动性-彼此邻近的车辆数量动态变化时，问题变得更具挑战性。在拥挤的情况下，为每辆车分配唯一的资源变得不可行，并且必须开发拥挤的资源分配策略。5G中的标准化方法，即半持久调度（SPS），受到车辆空间分布引起的影响。在我们的方法中，我们将其转化为优势。我们提出了一种新的分布式资源分配机制，使用多智能体强化学习（DIRAL），建立在一个独特的状态表示。一个具有挑战性的问题是，以应付非平稳性引入的并发学习代理，导致收敛问题的多智能体学习系统。我们的目标是用唯一的状态表示来解决非平稳性。具体来说，我们部署基于视图的位置分布作为状态表示，以解决非平稳性，并以分布式方式执行复杂的联合行为。我们的研究结果表明，DIRAL提高PRR的20%相比，SPS在具有挑战性的拥塞情况。
2020-10-11 cs.GT cs.LG cs.MA
Doubly Inhomogeneous Reinforcement Learning
London School of Economics and Political Science（伦敦政治经济学院）；University of Michigan（密歇根大学）
针对时间非平稳且主体异质的双重非齐序强化学习问题，提出在最新变点检测与聚类识别间交替、选择相似动态数据块的多重稳健算法。
2025-03-16 cs.AI cs.LG stat.ML
Block Contextual MDPs for Continual Learning
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；UC Berkeley（加州大学伯克利分校）
在强化学习（RL）中，当定义马尔可夫决策过程（MDP）时，环境动态被隐含地假设为是平稳的。这种平稳性的假设虽然简单，但在许多情况下可能是不现实的。在连续强化学习场景中，任务序列是非平稳性的另一个来源。在这项工作中，我们建议通过块上下文MDP（BC-MDP）框架来检查这种连续的强化学习设置，这使我们能够放松平稳性的假设。这个框架挑战RL算法处理非平稳性和丰富的观察设置，并通过额外利用平滑特性，使我们能够研究此设置的泛化边界。最后，我们从自适应控制的灵感，提出了一种新的算法，解决了这个更现实的BC-MDP设置所带来的挑战，允许zero-shot适应在评估时间，并在几个非平稳环境中实现强大的性能。
2021-10-13 cs.AI cs.LG
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab（腾讯人工智能实验室）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
大多数现有的深度强化学习（DRL）框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发，我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间，以前的工作要么近似的混合空间离散化，或放松到一个连续的集合。在本文中，我们提出了一个参数化的深度Q网络（P-DQN）框架的混合行动空间没有近似或松弛。该算法结合了DQN（处理离散动作空间）和DDPG（处理连续动作空间）的思想，将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Towards Skilled Population Curriculum for Multi-Agent Reinforcement Learning
Nanyang Technological University（南洋理工大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；City University of Hong Kong（香港城市大学）
多智能体强化学习（MARL）的最新进展使智能体能够在复杂环境中协调其行为。然而，常见的MARL算法仍然遭受可扩展性和稀疏奖励问题。自动课程学习（ACL）是解决这些问题的一种有效途径。ACL涉及学生（课程学习者）在由教师（课程生成器）控制的难度增加的任务上的训练。尽管取得了成功，ACL的适用性是有限的（1）缺乏一个通用的学生框架来处理不同数量的代理跨任务和稀疏奖励问题，（2）教师的任务的非平稳性，由于不断变化的学生策略。作为ACL的补救措施，我们引入了一种新的自动课程学习框架，熟练人口课程（SPC），它适应课程学习多代理协调。具体来说，我们赋予学生群体不变的通信和层次技能集，使其能够从不同数量的代理的不同任务中学习合作和行为技能。此外，我们将教师建模为受学生政策限制的上下文强盗，使代理团队能够改变其大小，同时仍然保留先前获得的技能。我们还分析了这个多智能体自动课程教学问题的内在非平稳性，并提供了相应的遗憾界。实验结果表明，我们的方法提高了性能，可扩展性和样本效率在几个MARL环境。
2023-02-07 cs.AI cs.LG cs.MA
Software Simulation and Visualization of Quantum Multi-Drone Reinforcement Learning
Korea University（高丽大学）；Ajou University（亚洲大学）
量子机器学习（QML）因其训练参数少、速度快而受到广泛关注，量子多智能体强化学习（QMARL）的研究也随之活跃起来。现有的经典多智能体强化学习（MARL）具有非平稳性和不确定性。因此，本文提出了一种新的QMARL控制自主多无人机的仿真软件框架，即，量子多无人机强化学习我们提出的框架完成了合理的回报收敛和服务质量性能与较少的可训练参数。此外，它显示出更稳定的训练结果。最后，我们提出的软件允许我们分析培训过程和结果。
2023-02-03 cs.AI cs.LG cs.MA
Robust Constrained Reinforcement Learning for Continuous Control with Model Misspecification
DeepMind（深度思考（DeepMind））
许多现实世界的物理控制系统需要满足部署时的约束。此外，现实世界中的系统经常受到诸如非平稳性、磨损、未校准的传感器等影响，这些影响有效地扰乱了系统动态，并且可能导致在一个域中成功训练的策略在部署到同一域的扰动版本时表现不佳。这可能会影响政策最大化未来回报的能力以及它满足约束的程度。我们称之为约束模型误指定。我们提出了一种算法，减轻这种形式的错误规范，并展示其性能在多个模拟Mujoco任务从现实世界的强化学习（RWRL）套件。
2021-03-03 cs.AI cs.LG stat.ML
Dealing with Limited Backhaul Capacity in Millimeter Wave Systems: A Deep Reinforcement Learning Approach
Auburn University（奥本大学）
毫米波（MmWave）通信是第五代（5G）无线系统实现预期的1000倍数据速率的关键技术之一。在毫米波波段具有大带宽的情况下，用户和基站（BS）之间的链路容量与低于6GHz的无线系统相比可以高得多。同时，由于基础设施升级的高成本，运营商将难以大幅提高毫米波BS与核心网络之间的回程链路的容量。因此，回程提供的数据速率可能不足以支持所有毫米波链路，回程连接成为限制系统性能的新瓶颈。另一方面，由于毫米波信道受到随机阻塞，毫米波用户的数据速率随时间显著变化。在回程容量有限、用户数据速率动态变化大的情况下，如何为每个用户分配回程资源仍然是毫米波系统面临的一个挑战。在本文中，我们提出了一种深度强化学习（DRL）方法来应对这一挑战。通过学习阻塞模式，可以捕获和预测系统动态，从而有效利用回程资源。我们首先讨论DRL及其在无线系统中的应用。然后，我们调查的问题回程资源分配，并提出了基于DRL的解决方案。最后，我们讨论了未来研究的开放性问题，并总结了本文。
2018-12-27 cs.LG eess.SP stat.ML
A Relearning Approach to Reinforcement Learning for Control of Smart Buildings
Vanderbilt University（范德堡大学）
本文证明了使用增量式深度强化学习（RL）对控制策略进行持续再学习可以改善非平稳过程的策略学习。我们展示了这种方法的数据驱动的“智能建筑环境”，我们使用它作为一个测试平台，用于开发暖通空调控制器，以减少我们大学校园的大型建筑物的能源消耗。建筑运营和天气模式的非平稳性使得开发适应不断变化的条件的控制策略势在必行。基于策略的RL算法，例如近端策略优化（PPO），代表了一种解决这种非平稳性的方法，但是对实际系统的探索不是安全关键系统的选择。作为替代方案，我们开发了一种增量强化学习技术，在不牺牲整体舒适度的情况下同时降低建筑能耗。我们比较我们的增量RL控制器的性能，一个静态RL控制器，不实施再学习功能。静态控制器的性能会随着时间的推移而显著降低，但再学习控制器会根据不断变化的条件进行调整，同时确保舒适性和最佳能量性能。
2020-08-04 cs.LG eess.SP
Decentralized Multi-Agent Reinforcement Learning with Global State Prediction
Worcester Polytechnic Institute（伍斯特理工学院）
针对多智能体强化学习的非平稳性难题，提出无需全局信息的全局状态预测网络GSP，在集体运输场景下验证了其性能提升与鲁棒性增强效果。
2023-08-28 cs.AI cs.LG cs.MA
FiDi-RL: Incorporating Deep Reinforcement Learning with Finite-Difference Policy Search for Efficient Learning of Continuous Control
近年来，强化学习在处理复杂控制问题方面取得了很大进展，但强化学习在连续控制任务中仍面临挑战。传统的方法计算最优目标的导数需要耗费大量的计算资源，且效率低、不稳定、鲁棒性差。或者，基于导数的方法将优化过程视为黑盒，并在学习连续控制任务时显示出鲁棒性和稳定性，但在学习中没有数据效率。如何将这两种方法结合起来，以达到两者的最佳效果，已经引起了人们的关注。然而，大多数现有的组合工程采用复杂的神经网络（NN）作为控制策略。深度神经网络的双刃剑可以产生更好的性能，但也使得参数调整和计算变得困难。为此，本文提出了一种新的方法FiDi-RL，该方法将深度强化学习与基于策略差异的策略搜索相结合，将深度确定性策略梯度（DDPG）与扩充随机搜索（ARS）相结合，旨在提高ARS的数据效率。实验结果表明，FiDi-RL可以提高ARS的性能和稳定性，并提供与现有的一些深度强化学习方法相竞争的结果
2020-02-01 cs.AI cs.LG stat.ML
Dealing with uncertainty: balancing exploration and exploitation in deep recurrent reinforcement learning
University of Milano-Bicocca（米兰比可卡大学）
本文研究在部分可观测的自动驾驶场景中，如何结合深度循环Q网络与多种探索策略来平衡探索与利用，并验证了自适应策略及Softmax、Max-Boltzmann方法优于epsilon-greedy。
2024-02-20 cs.LG stat.ML
Deep Reinforcement Learning for Multi-Agent Systems: A Review of Challenges, Solutions and Applications
Institute for Intelligent Systems Research and Innovation（智能系统研究与创新学院）；Deakin University（迪肯大学）
强化学习（RL）算法已经存在了几十年，并用于解决各种顺序决策问题。然而，这些算法在处理高维环境时面临着巨大的挑战。最近深度学习的发展使RL方法能够为复杂和有能力的代理驱动最佳策略，这些代理可以在这些具有挑战性的环境中有效地执行。本文讨论了深度强化学习的一个重要方面，即需要多个代理进行通信和合作以解决复杂任务的情况。综述了与多智能体深度强化学习（MADRL）相关的问题的不同方法，包括非平稳性、部分可观测性、连续状态和动作空间、多智能体训练方案、多智能体迁移学习。本文将对这些方法的优缺点进行分析和讨论，并探讨它们的应用。据设想，这一审查提供了有关各种MADRL方法的见解，并可能导致未来开发更强大和非常有用的多智能体学习方法来解决现实世界中的问题。
2019-02-06 cs.AI cs.LG cs.MA
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning is A Context Modeling Problem
School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学学院）；School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院）；School of Intelligent Science（南京大学智能科学学院）
本文研究完全去中心化的协作多智能体强化学习，提出Dynamics-Aware Context方法，通过上下文建模解决非平稳性和相对过泛化问题，实验验证其有效性。
2026-05-09 cs.LG
On Solving Cooperative MARL Problems with a Few Good Experiences
Singapore Management University（新加坡管理大学）
协作多智能体强化学习（MARL）在搜索和救援、无人机监视、包裹递送和消防问题等许多领域中对于协作分散式决策学习至关重要。在这些领域，一个关键的挑战是学习一些好的经验，即，仅在少数情况下获得正增强（例如，在灭火或追踪犯罪或递送包裹时），并且在大多数其他情况下，存在零强化或负强化。由于三个原因，学习决策与一些好的经验是非常具有挑战性的合作MARL问题。首先，与单个代理的情况相比，探索更难，因为多个代理必须协调才能获得良好的体验。第二，环境不是静止的，因为所有的智能体都在同时学习（从而改变策略）。第三，每增加一个代理，问题的规模就会显著增加。相关的现有工作是广泛的，并集中在处理一些很好的经验，在单代理RL问题或可扩展的方法来处理非平稳的MARL问题。不幸的是，这些方法（或其扩展）都不能有效地解决稀疏的好经验的问题。因此，我们提供了一种新的虚构的自我模仿的方法，能够同时处理非平稳性和稀疏的良好经验，在一个可扩展的方式。最后，我们提供了一个彻底的比较（实验或描述）对相关的合作MARL算法，以证明我们的方法的实用性。
2020-01-22 cs.AI cs.LG cs.MA
Regime-Conditional Stabilisation of LLM-Augmented Cooperative Multi-Agent Reinforcement Learning
National School of Artificial Intelligence (ENSIA)（国立人工智能学院（ENSIA））；Cosys-Grettia, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学Cosys-Grettia实验室）
研究大语言模型与合作多智能体强化学习集成时训练动态，指出非策略学习中动态更新奖励权重违反平稳假设。提出基于阶段的冻结计划和指数移动平均平滑两种稳定策略并评估，揭示奖励信号平稳性是必要设计约束。
2026-07-07 cs.AI cs.LG math.OC
Multi-agent Reinforcement Learning for Networked System Control
Uhana Inc.（乌哈纳公司）；Stanford University（斯坦福大学）
研究网络系统控制中的多智能体强化学习。具体来说，每个代理学习一个分散控制政策的基础上，当地的意见和消息，从连接的邻居。我们制定这样一个网络MARL（NMARL）的问题作为一个时空马尔可夫决策过程，并引入了空间折扣因子来稳定每个本地代理的训练。此外，我们提出了一种新的可区分的通信协议，称为NeurComm，以减少信息丢失和非平稳性在NMARL。基于自适应交通信号控制和协同自适应巡航控制的实际NMARL场景的实验，适当的空间折扣因子有效地提高了非通信MARL算法的学习曲线，而NeurComm在学习效率和控制性能方面均优于现有的通信协议.
2020-04-24 cs.LG stat.ML
Dynamic Weights in Multi-Objective Deep Reinforcement Learning
Université Libre de Bruxelles（布鲁塞尔自由大学（法语））；Vrije Universiteit Brussel（布鲁塞尔自由大学（荷兰语））；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多现实世界的决策问题的特点是多个相互冲突的目标，必须平衡的基础上，他们的相对重要性。在动态权重设置中，相对重要性随时间变化，需要处理这种变化的专用算法，例如Natarajan和Tadepalli（2005）的表格式强化学习（RL）算法。然而，这种早期的工作是不可行的RL设置，需要使用函数逼近。我们通过提出一个多目标Q网络来概括权重变化和高维输入，该网络的输出以目标的相对重要性为条件，我们引入了多样性经验重放（DER）来对抗动态权重设置的固有非平稳性。我们进行了广泛的实验评估，并将我们的方法与深度多任务/多目标强化学习的自适应算法进行了比较，结果表明，我们提出的网络与DER相结合，在权重变化场景和问题域中主导了这些自适应算法。
2019-05-13 cs.AI cs.LG stat.ML
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示（诸如价值函数或策略）的广泛算法家族。每个算法都相对于定义其语义的目标（例如Q学习或策略梯度）来优化其参数。在这项工作中，我们提出了一种基于Meta梯度下降的算法，该算法发现了自己的目标，通过深度神经网络灵活地参数化，仅从与环境的交互经验。随着时间的推移，这允许代理学习如何越来越有效地学习。此外，由于目标是在线发现的，它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题，如自举，非平稳性和离策略学习。在Atari学习环境中，元梯度算法随着时间的推移而适应，以更高的效率学习，最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Non-stationary Reinforcement Learning without Prior Knowledge: An Optimal Black-box Approach
University of Southern California（南加州大学）
我们提出了一个黑盒减少，把一个特定的强化学习算法与最佳遗憾（近）静态环境中的另一个算法与最佳动态遗憾在非静态环境中，重要的是没有任何先验知识的非平稳程度。通过将不同的算法插入到我们的黑盒子中，我们提供了一个例子列表，表明我们的方法不仅可以恢复通过非常专业的算法实现的（上下文）多武装匪徒的最新结果，而且还可以以各种方式显着提高（广义）线性匪徒，情节MDP和无限地平线MDP的最新技术水平。具体地说，在大多数情况下，我们的算法实现了最佳的动态遗憾$\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, Δ^{1/3}T^{2/3}\})$，其中$T$是轮数和$L$和$Δ$分别是世界的变化的数量和量，而以前的作品只获得次优的边界和/或需要的知识$L$和$Δ$。
2021-09-05 cs.AI cs.LG stat.ML
Trust Region Bounds for Decentralized PPO Under Non-stationarity
University of Manchester（曼彻斯特大学）；University of Oxford（牛津大学）；Microsoft Research（微软研究院）
我们提出了信任域界的合作多智能体强化学习（MARL），即使在过渡动力学是非平稳的优化分散的政策。这项新的分析提供了一个理论上的理解，最近的两个演员批评的方法，MARL，这都依赖于独立的比率，即，分别计算每个代理的策略的概率比。我们发现，尽管非平稳性，独立的比率造成的，单调的改善保证仍然会出现作为强制执行的信任区域约束的结果，在所有分散的政策。我们还表明，这种信赖域约束可以有效地执行在原则上的方式绑定独立的比例的基础上的代理在训练中，提供了一个理论基础，近端比裁剪。最后，我们的实证结果支持这样一个假设，即IPPO和MAPPO的强大性能是通过集中式训练中的裁剪来强制执行这种信任区域约束的直接结果，并根据代理的数量调整超参数，正如我们的理论分析所预测的那样。
2023-02-15 cs.LG
Decentralized Multi-Agent Reinforcement Learning for Task Offloading Under Uncertainty
University of Manitoba（曼尼托巴大学）
多智能体强化学习（MARL）是强化学习的一个具有挑战性的子领域，由于环境的非平稳性和组合动作空间的高维性。深度MARL算法已被应用于解决不同的任务卸载问题。然而，在现实世界的应用中，代理所需的信息（即奖励和状态）会受到噪声和变化的影响。深度MARL的稳定性和对实际挑战的鲁棒性仍然是一个开放的研究问题。在这项工作中，我们应用最先进的MARL算法来解决任务卸载与奖励的不确定性。我们发现，在奖励信号的扰动可以诱导性能下降相比，学习完美的奖励。我们希望本文能够激发更多的研究，研究和解决在无线通信系统中部署深度MARL解决方案的实际挑战。
2021-07-26 cs.LG cs.MA
Randomized Prior Functions for Deep Reinforcement Learning
DeepMind（深度思维）
处理不确定性对于有效的强化学习至关重要。关于从固定数据集进行深度学习的不确定性估计的文献越来越多，但许多最流行的方法都不适合顺序决策问题。其他方法，如自助抽样，没有机制的不确定性，不是来自观察到的数据。我们强调为什么这可能是一个关键的缺点，并提出了一个简单的补救措施，通过增加一个随机的不可训练的“先验”网络的每个合奏成员。我们证明了这种方法是有效的线性表示，提供简单的说明其功效与非线性表示，并表明这种方法的规模大规模的问题远远优于以前的尝试。
2018-11-15 cs.AI cs.LG stat.ML
Bellman Residual Minimization for Control: Geometry, Stationarity, and Convergence
School of Electrical Engineering（电气工程学院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文研究了控制中贝尔曼残差最小化方法的几何特性、站定性及收敛性，探讨其在策略优化中的基础理论与应用价值。
2026-06-08 cs.LG cs.SY eess.SY
DIPPER: Direct Preference Optimization to Accelerate Primitive-Enabled Hierarchical Reinforcement Learning
DIPPER提出一种结合直接偏好优化与强化学习的层次化方法，通过原语信息正则化缓解非平稳性和不可行子目标生成问题，在复杂机器人任务上优于现有层次化和非层次化基线。
2024-12-31 cs.LG
Robust General Utility for Reinforcement Learning
针对通用效用强化学习的部署效用误指定问题，提出极小极大学习框架及两种收敛随机算法，经LLM安全对齐等实验验证了其有效性。
2026-08-05 cs.LG
