Adjust Planning Strategies to Accommodate Reinforcement Learning Agents
National University of Defense Technology（国防科技大学）
在智能体控制问题中，将强化学习与规划相结合的思想引起了人们的广泛关注。两种方法分别侧重于微观和宏观行动。如果他们之间有一个良好的合作，他们的优势会一起显示。合作的关键是找到一个适当的边界，为每种方法分配不同的功能。这样的边界可以由规划算法中的参数表示。本文通过分析反应与规划之间的联系，提出了一种规划参数的优化策略，并提出了一种非梯度的加速优化方法。整个算法能够找到一个令人满意的规划参数设置，充分利用了特定智能体的反应能力。
2020-03-19 cs.AI cs.LG
Harnessing Structures for Value-Based Planning and Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
基于值的方法构成了规划和深度强化学习（RL）的基本方法。在本文中，我们提出利用状态-动作价值函数的底层结构，即，Q函数，用于规划和深度RL。特别是，如果潜在的系统动力学导致Q函数的某些全局结构，则应该能够通过利用这些结构来更好地推断函数。具体来说，我们研究了大数据矩阵中广泛存在的低秩结构。我们验证经验的存在下，控制和深度RL任务的低秩Q函数。作为我们的主要贡献，通过利用矩阵估计（ME）技术，我们提出了一个通用的框架，以利用Q函数中的底层低秩结构。这导致了经典控制的更有效的规划过程，此外，一个简单的方案，可以应用于任何基于值的RL技术，以始终实现更好的性能在“低秩”任务。控制任务和Atari游戏的广泛实验证实了我们的方法的有效性。代码可在https://github.com/YyzHarry/SV-RL上获得。
2020-07-04 cs.LG stat.ML
Time-Varying Constraint-Aware Reinforcement Learning for Energy Storage Control
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对储能连续充放电及随SoC变化的可行范围约束，提出带额外动作范围学习目标的连续强化学习方法，提升储能利用率与控制效果。
2024-05-17 cs.AI cs.LG
Hierarchical Reinforcement Learning with Abductive Planning
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；The University of Tokyo（东京大学）
将强化学习应用于现实问题的关键挑战之一是，随着任务变得复杂，学习一个好的策略所需的训练和错误量急剧增加。这个问题的一个潜在解决方案是将强化学习与自动符号规划相结合，并利用该领域的先验知识。然而，现有的方法在其适用性和表达性方面存在局限性。本文提出了一种基于溯因符号规划的分层强化学习方法。该规划器可以处理用户定义的评价函数，而不是基于Herbrand定理。因此，它可以利用奖励的先验知识，并且可以在状态空间未知的域中工作。我们的经验表明，我们的架构显着提高学习效率的评价域上的训练样本，其中状态空间是未知的，存在多个目标的量。
2018-06-28 cs.AI cs.LG stat.ML
Efficient Planning in Combinatorial Action Spaces with Applications to Cooperative Multi-Agent Reinforcement Learning
University of Alberta（阿尔伯塔大学）；ETH Zurich（苏黎世联邦理工学院）；University College London（伦敦大学学院）；DeepMind（深度思维）
强化学习的一个实际挑战是组合动作空间，这使得规划在计算上要求很高。例如，在协作多智能体强化学习中，潜在的大量智能体联合优化全局奖励函数，这导致动作空间中智能体数量的组合爆破。作为最低要求，我们假设可以访问argmax oracle，该oracle允许有效地计算模型类中任何Q函数的贪婪策略。最近的工作规划与本地访问模拟器和线性函数逼近的基础上，我们提出了有效的算法，这种设置，导致多项式计算和查询的复杂性，在所有相关的问题参数。对于特征分解是可加性的特殊情况，我们进一步改进了边界，并使用一种有效的算法将结果扩展到核化设置。
2023-02-08 cs.AI cs.LG stat.ML
VariBASed: Variational Bayes-Adaptive Sequential Monte-Carlo Planning for Deep Reinforcement Learning
Trent AI Ltd（Trent AI有限公司）；Delft University of Technology（代尔夫特理工大学）
本文提出VariBASeD方法，通过融合变分信念学习、序列蒙特卡洛规划和元强化学习，提升深度强化学习中探索与利用的效率。
2026-02-21 cs.LG
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）；Southeast University（东南大学）
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划，一种最近成功的算法类，其中AlphaZero [Silver等人，2018]就是一个例子，它通过在学习循环中嵌套规划来结合两者。然而，计划和学习的结合带来了一个新的问题：我们应该如何平衡计划，学习和行动的时间？这种权衡的重要性以前没有被明确研究过。我们表明，它实际上是至关重要的，计算结果表明，我们不应该计划太长，也不太短。从概念上讲，我们确定了一个新的频谱规划学习算法，其范围从穷举搜索（长规划）到无模型RL（无规划），中途达到最佳性能。
2020-05-15 cs.AI cs.LG
Model-based Reinforcement Learning: A Survey
Leiden University（莱顿大学）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程（MDP）优化，是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习（RL）和规划。本文介绍了这两个领域的整合，更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先，我们系统地介绍了动态模型学习的方法，包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次，我们提出了一个系统的分类规划学习集成，包括这样的方面：从哪里开始规划，什么预算分配到规划和真正的数据汇集，如何规划，以及如何整合规划的学习和行动循环。在这两个部分之后，我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案，并介绍了基于模型的强化学习的潜在好处。在此过程中，调查还与几个相关的RL领域建立了联系，如分层RL和迁移学习。总而言之，调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
智能的一个标志是能够从例子中推导出一般原则，这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则，这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中，我们研究了使用深度强化学习和图神经网络来学习这种广义策略，并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
Energy Storage Arbitrage in Real-Time Markets via Reinforcement Learning
Department of Electrical Engineering, University of Washington（华盛顿大学电气工程系）
本文通过强化学习设计了一个时间套利策略，用于能源存储，解决了实时价格套利中价格高度不确定带来的策略设计难题，通过设计奖励函数提升性能。
2020-10-26 cs.LG cs.SY eess.SY
Self-Organizing Maps as a Storage and Transfer Mechanism in Reinforcement Learning
Singapore University of Technology and Design（新加坡科技设计大学）
重用来自先前学习的任务（源任务）的信息用于学习新任务（目标任务）的想法具有显著提高样本效率的潜力强化学习代理。在这项工作中，我们描述了一种方法来简洁地存储和表示学习的任务知识，并通过允许它引导探索的代理，而它学习新的任务，并重用它。为了做到这一点，我们使用的相似性的措施，直接定义在空间的参数化表示的价值函数。这种相似性度量也被用来作为一个不断增长的自组织地图算法，这是同时用于使以前获得的任务知识的存储在一个自适应和可扩展的方式的一个变体的基础上，我们经验验证我们的方法在模拟导航环境中，并讨论这种方法可能的扩展以及潜在的应用，它可能是特别有用的。
2018-07-19 cs.AI cs.LG stat.ML
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法，通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
Comparing Traditional and Reinforcement-Learning Methods for Energy Storage Control
Technion—Israel Institute of Technology（以色列理工学院）
本文比较了传统方法和强化学习方法在储能管理中的性能权衡，基于简化的微电网模型考察了复杂度递增的三个用例，详细阐述了各用例的公式与优化挑战，并探讨了两种方法的适用场景及未来研究方向。
2025-05-31 cs.AI cs.LG
Reinforcement Learning for Battery Energy Storage Dispatch augmented with Model-based Optimizer
Washington State University（华盛顿州立大学）
强化学习已被发现在解决电力分配系统中的最优潮流（OPF）问题中是有用的。然而，使用完全忽略基于物理的电网建模的基本上无无模型强化学习算法会损害优化器性能并带来可扩展性挑战。本文提出了一种新的方法，协同结合基于物理的模型和基于学习的算法，使用模仿学习来解决分布级的最优潮流问题。具体而言，我们提出了基于模仿学习的改进深度强化学习（DRL）方法，以解决配电系统中电池存储调度的特定情况下的OPF问题。提出的模仿学习算法使用从线性化的基于模型的OPF求解器获得的近似最优解，为DRL算法提供良好的初始策略，同时提高训练效率。所提出的方法的有效性证明了使用IEEE 34总线和123总线配电馈线与众多的分布式级电池存储系统。
2021-09-02 cs.AI cs.LG cs.SY
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Université de Montréal（蒙特利尔大学）；DeepMind
我们提出了一个端到端的，基于模型的深度强化学习代理，它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制，迫使代理出席在每个规划步骤的实体的数量是小的。在实验中，我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到，该设计允许规划代理，以概括他们的学习任务解决能力，在兼容的看不见的环境中参加相关的对象，从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico（INESC-ID / 里斯本高等理工学院）
基于模型的强化学习范式使用规划算法和神经网络模型，最近在各种应用中取得了前所未有的成果，导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的，涉及多个组件，因素，可以创造研究的挑战。在这项工作中，我们提出了一种适合这些类型代理的新模块化软件架构，以及一组可以轻松重用和组装的构建块，以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理，优化到三个不同的测试环境：Cartpole，Minigrid和Tictactoe。一个特定的规划算法，在我们的实现中可用，以前没有在强化学习中使用，我们称之为平均极大极小，在三个测试环境中取得了良好的效果。用这种结构进行的实验表明，规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明，所提出的架构，这是模块化和可重用的，是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
Planning the path with Reinforcement Learning: Optimal Robot Motion Planning in RoboCup Small Size League Environments
Centro de Informática, Universidade Federal de Pernambuco（佩德罗·本杰明大学计算机中心）
本研究利用强化学习结合启发式控制方法，在RoboCup小型组联赛环境中实现高效路径规划，较基线算法在无障碍场景下节省60%时间，并具备动态避障能力。
2024-04-23 cs.AI cs.LG cs.RO
Risk Sensitive Model-Based Reinforcement Learning using Uncertainty Guided Planning
University of Bristol（布里斯托大学）
识别不确定性并采取缓解措施对于安全可靠的强化学习代理至关重要，特别是在高风险环境中部署时。在本文中，风险敏感性，促进了基于模型的强化学习算法，利用自举集成的动力学模型，以估计环境认知不确定性的能力。我们提出了不确定性指导的交叉熵方法规划，该方法惩罚在模型推出期间导致高方差状态预测的动作序列，将代理引导到具有低不确定性的状态空间的已知区域。实验显示的能力，为代理，以确定不确定的区域的状态空间规划过程中，并采取行动，保持代理在高置信度的地区，而不需要明确的约束。其结果是在获得回报方面的业绩下降，显示出风险和回报之间的权衡。
2021-11-09 cs.LG
A pedestrian path-planning model in accordance with obstacle's danger with reinforcement learning
Shibaura Institute of Technology（芝浦工业大学）
大多数微观行人导航模型使用应用于行人代理的“力”的概念来复制导航环境。虽然该方法可以在常规情况下提供可信的结果，但在许多典型设置中，它并不总是类似于自然的行人导航行为。在我们的研究中，我们提出了一种新的方法，使用强化学习模拟行人智能体路径规划和避碰问题。这种方法的主要重点是利用人类对环境的感知和对干扰的危险意识。我们的模型的实施表明，由代理规划的路径与人类行人在几个方面，如遵循常见的步行惯例和人类行为有许多相似之处。
2019-12-06 cs.LG cs.MA cs.RO
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
Can Euclidean Symmetry be Leveraged in Reinforcement Learning and Planning?
Northeastern University（东北大学）
本文研究具有欧几里得群对称性的强化学习与规划问题，提出统一离散与连续对称性的理论，并将等变基于价值的规划扩展到连续MDP，给出等变采样规划算法构建流程。
2023-07-17 cs.LG cs.RO
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
探索-利用权衡是强化学习（RL）的核心。然而，最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发，并且在需要更多功能探索的基准测试中表现不佳。例如，正如我们的实证研究所证明的那样，最先进的RL算法（如DDPG和TD 3）无法在即使是小的2D迷宫中引导点质量。在本文中，我们提出了一种新的算法，称为“计划，回放，链技能”（PBCS），结合运动规划和强化学习，以解决困难的探索环境。在第一阶段中，使用运动规划算法来找到单个良好轨迹，然后通过组合Backplay算法的变体和技能链，使用从轨迹导出的课程来训练RL算法。我们表明，这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中，并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich（苏黎世联邦理工学院）
研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
Provable Representation with Efficient Planning for Partial Observable Reinforcement Learning
University of Alberta（阿尔伯塔大学）；UT Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Google DeepMind（谷歌DeepMind）；Georgia Tech（佐治亚理工学院）
针对部分可观测强化学习，本文提出基于表示的统一框架与可处理算法，给出统计效率理论保证，并在多个基准上超越现有最先进方法。
2024-06-11 cs.AI cs.LG stat.ML
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
虽然强化学习最近取得了巨大的成功，但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面，演示的使用使智能体能够从专家知识中受益，而不必通过探索来发现最佳行动。在本调查中，我们讨论了在顺序决策中使用演示的优点，在基于学习的决策范式中应用演示的各种方法（例如，强化学习和学习模型中的规划），以及如何在各种场景中收集演示。此外，我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University（南开大学）；Huawei Technologies（华为技术有限公司）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero，基于树的规划方法在离散领域（如国际象棋和围棋）取得了巨大成功。不幸的是，在现实世界的应用，如机器人控制和倒立摆，其行动空间通常是连续的，这些基于树的规划技术将挣扎。为了解决这些限制，在本文中，我们提出了一种新的基于基于模型的强化学习框架，称为Critic PI 2，它结合了轨迹优化，深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型，适用于许多连续控制系统。大量的实验表明，Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外，我们表明，规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向，学习基于模型的规划系统的组成部分，以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
Inverse Reinforcement Learning with Multiple Planning Horizons
Gladstone Institutes（格拉德斯通研究所）；SEAS, Harvard University（哈佛大学工程与应用科学学院）；Stanford University（斯坦福大学）
本文研究专家具有不同未知规划视野的逆强化学习问题，提出同时学习全局奖励函数和智能体特定折扣因子的算法，并刻画了可行解空间及验证了跨领域泛化能力。
2024-09-26 cs.LG
Motion Planning by Reinforcement Learning for an Unmanned Aerial Vehicle in Virtual Open Space with Static Obstacles
School of Integrated Technology, Yonsei University（延世大学整合技术学院）；Electronics and Telecommunications Research Institute（电子通信研究院）
在这项研究中，我们应用强化学习的邻近策略优化算法的基础上执行运动规划的无人机（UAV）在开放空间与静态障碍。强化学习在真实无人机中的应用存在时间和成本等限制，因此，我们使用Gazebo模拟器在虚拟环境中对虚拟四旋翼无人机进行训练。随着强化学习的进行，模型的平均奖励和目标率增加。此外，训练模型的测试表明，无人机达到了81%的目标率使用简单的奖励函数在这项工作中建议。
2020-09-24 cs.LG cs.RO
Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
IIT Bombay（印度理工学院孟买分校）
受深度强化学习（RL）最新进展的启发，我们开发了一个RL代理来管理家庭中存储设备的操作，旨在最大限度地节省需求方的成本。所提出的技术是数据驱动的，RL代理从头开始学习如何有效地使用给定可变费率结构的储能设备。在大多数研究中，RL agent被认为是一个黑盒子，agent是如何学习的往往被忽略。我们解释了RL代理的学习过程，以及它根据存储设备的容量所遵循的策略。
2019-10-30 cs.AI cs.GT cs.LG
Multi-market Energy Optimization with Renewables via Reinforcement Learning
本文提出深度强化学习框架，将含储能的可再生能源电厂多市场运营优化建模为分层MDP，通过动作投影满足约束，适配复杂储能模型，经美印市场数据验证效果优于基线策略。
2023-06-13 cs.LG
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University（杜伦大学）
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题，提出带有规划令牌的Planning Transformer，通过双时间尺度令牌预测实现隐式规划指导低层策略，在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
Reinforcement learning for multi-item retrieval in the puzzle-based storage system
Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学伯克利深圳学院）
如今，快速交付服务创造了对高密度仓库的需求。基于拼图的存储系统是一种提高存储密度的实用方法，但在检索过程中面临困难。在这项工作中，深度强化学习算法，特别是双重和决斗深度Q网络，被开发用于解决系统中的多项检索问题，其中多个所需的项目，护送和I/O点被随机放置。此外，我们提出了一个通用的紧凑的整数规划模型来评估解决方案的质量。大量的数值实验表明，强化学习方法可以产生高质量的解决方案，并优于三个相关的最先进的启发式算法。此外，转换算法和分解框架分别提出了处理同时运动和大规模的实例，从而提高PBS系统的适用性。
2022-02-05 cs.AI cs.DM cs.LG
Optimal Planning of Hybrid Energy Storage Systems using Curtailed Renewable Energy through Deep Reinforcement Learning
Seoul National University（首尔国立大学）；Ewha Womans University（梨花女子大学）；Pukyong National University（釜庆国立大学）
能源管理系统（EMS）变得越来越重要，以利用不断增长的削减可再生能源。应采用电池和绿色氢等有前途的储能系统，以最大限度地提高能源利益攸关方的效率。然而，最佳决策，即，规划不同战略之间的杠杆作用，面临着大规模问题的复杂性和不确定性。在这里，我们提出了一个复杂的深度强化学习（DRL）方法与基于策略的算法，实现实时优化ESS规划下削减可再生能源的不确定性。一个定量的性能比较证明，DRL代理优于基于神经网络的随机优化（SO）算法，即使有一个广泛的行动和观察空间。由于DRL的不确定性拒绝能力，我们可以确认一个强大的性能，在一个很大的不确定性的削减可再生能源，净利润最大化和稳定的系统。根据状态，进行DRL映射以视觉评估DRL代理所采取的动作。相应的结果证实，DRL代理学习的方式就像人类专家会做什么，这表明所提出的方法的可靠应用。
2022-12-12 cs.LG cs.SY eess.SY
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg（卢森堡大学）
针对复杂不确定环境下的无人机路径规划问题，设计了一种基于深度确定性策略梯度算法的长短期记忆（LSTM）网络的模型预测控制（MPC）。在所提出的解决方案中，LSTM-MPC在DDPG网络中作为确定性策略操作，并且它利用预测池来存储预测的未来状态和动作，以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络，从而与传统的强化学习和深度强化学习方法相比，提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
Long-Term Planning with Deep Reinforcement Learning on Autonomous Drones
Gebze Technical University（盖布泽技术大学）
在本文中，我们研究了一个长期的规划方案，是基于在现实生活中举行的无人机赛车比赛。我们在为NeurIPS 2019上的“无人机游戏：无人机竞赛”创建的框架上进行了这项实验。赛车环境是使用微软的AirSim无人机赛车实验室创建的。一个强化学习代理，在我们的案例中是一个模拟的四旋翼，已经用策略邻近优化（PPO）算法进行了训练，能够成功地与另一个运行经典路径规划算法的模拟四旋翼竞争。智能体观测包括来自IMU传感器的数据、通过仿真获得的无人机GPS坐标和对手无人机GPS信息。在训练过程中使用对手无人机GPS信息有助于处理复杂的状态空间，作为专家指导可以实现高效和稳定的训练过程。本文中执行的所有实验都可以在我们的GitHub存储库中找到并通过代码复制
2020-07-11 cs.AI cs.IT cs.LG
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University（成均馆大学）
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储，成本低于购买和维护大型主机。在本文中，我们研究将强化学习（RL）应用于系统域问题是否可行。实验结果表明，RL模型在解决块管理问题上具有可比性，甚至优于其他算法。然而，我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用，但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
On the role of planning in model-based deep reinforcement learning
DeepMind（深度思维公司）
基于模型的规划通常被认为是人工智能体进行深入细致的推理和推广所必需的。虽然最近基于基于模型的强化学习（MBRL）与深度函数近似的成功加强了这一假设，但由此产生的基于模型的方法的多样性也使得难以跟踪哪些组件驱动成功以及为什么。在本文中，我们试图解开的贡献，最近的方法集中在三个问题：（1）如何规划有利于MBRL代理？(2)在规划中，哪些选择推动绩效？(3)规划在多大程度上改善了泛化？为了回答这些问题，我们研究了MuZero的性能（Schrittwieser等人，2019年），一个最先进的MBRL算法与许多其他MBRL算法的强连接和重叠组件。我们在广泛的环境中进行了许多干预和MuZero消融，包括控制任务，Atari和9 x9 Go。我们的研究结果表明：（1）规划是最有用的学习过程中，无论是政策更新和提供更有用的数据分布。(2)除了在最困难的推理任务中，使用带有简单Monte-Carlo卷展栏的浅树与更复杂的方法一样有效。(3)单靠规划不足以推动强有力的普遍化。这些结果表明在强化学习环境中如何利用规划，并为未来的MBRL研究提出了一些悬而未决的问题。
2021-03-17 cs.AI cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Multi-UAV Mobile Edge Computing and Path Planning Platform based on Reinforcement Learning
Beihang University（北京航空航天大学）；Empire College London（伦敦帝国学院）；University at Buffalo（布法罗大学）
无人机（UAV）被广泛用作移动网络中的网络处理器，但最近，UAV已被用作移动边缘计算中的移动服务器。然而，在具有障碍物和UAV之间的合作的复杂环境中使用UAV存在重大挑战。我们引入了一个新的多无人机移动边缘计算平台，旨在提供更好的服务质量和基于强化学习的路径规划来解决这些问题。本文的主要工作包括：1）在同一个强化学习框架下，优化移动边缘计算和路径规划的服务质量：2）采用S形函数描述终端用户的需求，保证更高的服务质量; 3）综合考虑终端用户的需求，风险和几何距离的强化学习奖励矩阵，以确保服务质量，规避风险，节约成本。仿真结果表明了该平台的有效性和可行性，对相关研究具有一定的参考价值。
2021-05-19 cs.LG cs.MA
Guiding Robot Exploration in Reinforcement Learning via Automated Planning
SUNY Binghamton（纽约州立大学宾汉姆顿分校）
强化学习（RL）使智能体能够从试错经验中学习，以实现长期目标;自动规划旨在使用行动知识计算完成任务的计划。尽管它们的共同目标是完成复杂的任务，但由于它们不同的计算模式，RL和自动规划的发展在很大程度上是孤立的。为了提高RL agent的学习效率，我们开发了Guided Dyna-Q（GDQ），使RL agent能够使用动作知识进行推理，以避免探索不相关的状态。动作知识用于从乐观模拟生成人工经验。GDQ已在模拟和使用移动机器人进行导航任务，在多房间的办公室环境中进行了评估。与竞争基线相比，GDQ显著减少了探索的努力，同时提高了学习策略的质量。
2021-03-16 cs.LG cs.RO
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题，提出最小价值等价部分模型，给出形式化定义与理论优势，结合深度学习启发式学习方法，通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria（维多利亚大学）
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用，通过构建分类法对文献进行系统分类和总结，并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo（东京大学）
研究针对离线强化学习中轨迹规划器的问题，提出捷径轨迹规划（STP）框架，将捷径模型作为轨迹生成器，单阶段训练条件捷径轨迹模型，支持可调推理，用增强可行性感知校正的评论家选候选计划，在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Embracing advanced AI/ML to help investors achieve success: Vanguard Reinforcement Learning for Financial Goal Planning
Vanguard（先锋领航）
在咨询和财务规划的世界里，很少有一个正确的答案。虽然传统算法在解决线性问题方面取得了成功，但它的成功往往取决于从数据集中选择正确的特征，这对于细致入微的财务规划场景来说可能是一个挑战。强化学习是一种机器学习方法，可以用于复杂的数据集，在这些数据集中几乎不可能选择正确的特征。在本文中，我们将探讨如何使用机器学习进行财务预测，预测经济指标，并创建储蓄策略。基于目标的财务规划的Vanguard ML算法基于深度强化学习，可识别多个目标和收入来源的最佳储蓄率，以帮助客户实现财务成功。Vanguard学习算法经过训练，可以识别过于复杂而无法用公式和规则捕捉的市场指标和行为，相反，它可以将投资者的财务成功轨迹及其投资结果建模为马尔可夫决策过程。我们相信，强化学习可以用来为顾问和最终投资者创造价值，创造效率，更个性化的计划和数据，以实现定制的解决方案。
2021-10-18 cs.AI cs.CL cs.LG
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Phoebe: Reuse-Aware Online Caching with Reinforcement Learning for Emerging Storage Models
UC Santa Barbara（圣巴巴拉大学）；Alibaba Group（阿里巴巴集团）
NVMe和SSD作为新兴存储技术的代表，具有数据持久性、高访问速度、低功耗和字节可寻址等特点，在众多领域得到了广泛的应用。然而，高性能采用这些技术的一个关键问题是如何正确定义智能缓存层，以便能够很好地弥合新兴技术和主存之间的性能差距。为此，我们提出了菲比，重用意识的强化学习框架的最佳在线缓存，适用于各种新兴的存储模型。通过与缓存环境和数据流的持续交互，Phoebe能够从单个跟踪中提取关键的时间数据依赖性和相对位置信息，随着时间的推移变得越来越智能。为减少在线学习期间的培训开销，我们利用定期培训来摊销成本。Phoebe在一组Microsoft云存储工作负载上进行评估。实验结果表明，Phoebe能够将LRU和基于在线学习的缓存策略的缓存未命中率分别缩小到Belady最优策略的70.3%和52.6%。
2020-11-13 cs.AI cs.LG cs.OS
Unifying Model Predictive Path Integral Control, Reinforcement Learning, and Diffusion Models for Optimal Control and Planning
本研究通过在吉布斯测度上的基于梯度的优化，统一了MPPI、强化学习与扩散模型，揭示了它们共享相同的更新规则，为最优控制与规划提供了统一视角。
2025-03-04 cs.LG
Online Multimodal Transportation Planning using Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）
在本文中，我们提出了一种深度强化学习方法来解决多式联运规划问题，其中集装箱必须被分配到卡车或火车上，然后将它们运送到目的地。虽然传统的规划方法“离线”工作（即，它们在运输开始之前对一批集装箱作出决定），但是所提出的方法是“在线的”，因为它可以在执行运输的同时对各个集装箱作出决定。在线规划运输有助于有效应对可能影响原始运输计划的不可预见事件，从而支持公司降低运输成本。我们在提出的深度强化学习算法中实现了不同的集装箱选择算法，并使用模拟现实场景的数据评估了每个启发式算法的性能，这些数据是基于物流公司的真实案例研究设计的。实验结果表明，该方法能够学习有效的集装箱分配模式。在总运输成本和训练运力利用率方面，其成本表现优于测试竞争对手20. 48%至55. 32%，运力表现优于测试竞争对手7. 51%至20. 54%。此外，它得到的结果在2.7%的成本和0.72%的能力的最优解生成的一个线性规划求解器在离线设置。
2021-05-18 cs.LG
Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing
University of Bonn（波恩大学）
空中机器人越来越多地用于环境监测和勘探。然而，一个关键的挑战是有效地规划路径，以最大限度地提高所获得的数据的信息价值，作为一个最初未知的环境进行探索。为了解决这个问题，我们提出了一种新的方法，信息路径规划的基础上深度强化学习（RL）。结合RL和机器人应用的最新进展，我们的方法将树搜索与离线学习的神经网络相结合，预测信息传感动作。我们介绍了几个组件，使我们的方法适用于机器人任务与高维状态和大动作空间。通过在任务期间部署经过训练的网络，我们的方法可以在计算资源有限的平台上实现样本高效的在线重新规划。仿真结果表明，我们的方法与现有方法相比，运行时间减少了8- 10倍。我们使用真实世界的表面温度数据验证其性能。
2022-03-03 cs.LG cs.RO
