Planning in Branch-and-Bound: Model-Based Reinforcement Learning for Exact Combinatorial Optimization
本文提出PlanB&B,一种基于模型的强化学习方法,用于改进分支定界中的分支策略,通过在四个标准MILP基准上优于现有方法的实验验证其有效性。
2026-04-02 cs.LG
Unifying Model Predictive Path Integral Control, Reinforcement Learning, and Diffusion Models for Optimal Control and Planning
本研究通过在吉布斯测度上的基于梯度的优化,统一了MPPI、强化学习与扩散模型,揭示了它们共享相同的更新规则,为最优控制与规划提供了统一视角。
2025-03-04 cs.LG
Adjust Planning Strategies to Accommodate Reinforcement Learning Agents
National University of Defense Technology(国防科技大学)
在智能体控制问题中,将强化学习与规划相结合的思想引起了人们的广泛关注。两种方法分别侧重于微观和宏观行动。如果他们之间有一个良好的合作,他们的优势会一起显示。合作的关键是找到一个适当的边界,为每种方法分配不同的功能。这样的边界可以由规划算法中的参数表示。本文通过分析反应与规划之间的联系,提出了一种规划参数的优化策略,并提出了一种非梯度的加速优化方法。整个算法能够找到一个令人满意的规划参数设置,充分利用了特定智能体的反应能力。
2020-03-19 cs.AI cs.LG
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria(维多利亚大学)
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用,通过构建分类法对文献进行系统分类和总结,并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology(以色列理工学院)
智能的一个标志是能够从例子中推导出一般原则,这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则,这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中,我们研究了使用深度强化学习和图神经网络来学习这种广义策略,并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico(INESC-ID / 里斯本高等理工学院)
基于模型的强化学习范式使用规划算法和神经网络模型,最近在各种应用中取得了前所未有的成果,导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的,涉及多个组件,因素,可以创造研究的挑战。在这项工作中,我们提出了一种适合这些类型代理的新模块化软件架构,以及一组可以轻松重用和组装的构建块,以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理,优化到三个不同的测试环境:Cartpole,Minigrid和Tictactoe。一个特定的规划算法,在我们的实现中可用,以前没有在强化学习中使用,我们称之为平均极大极小,在三个测试环境中取得了良好的效果。用这种结构进行的实验表明,规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明,所提出的架构,这是模块化和可重用的,是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
Model-based Reinforcement Learning with Multi-step Plan Value Estimation
Nanjing University(南京大学)
基于模型的方法是提高强化学习样本效率的一个很有前途的方法,在这种方法中,可以在学习的模型中进行许多探索和评估,以保存真实世界的样本。然而,当学习的模型具有不可忽略的模型误差时,模型中的顺序步骤难以准确评估,限制了模型的利用。本文提出通过引入多步计划来取代基于模型的强化学习的多步操作来缓解这个问题。我们采用多步计划值估计,它评估在给定状态下执行一系列行动计划后的预期贴现收益,并通过计划值估计直接计算多步策略梯度来更新策略。新的基于模型的强化学习算法MPPVE(基于模型的规划策略学习与多步规划值估计)显示出对学习模型的更好利用,并且比最先进的基于模型的强化学习方法实现更好的样本效率。
2022-09-12 cs.AI cs.LG
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.(Maana公司);Auburn University(奥本大学)
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习,这通常需要大量的经验。符号规划依赖于手工制作的符号知识,这可能对领域的不确定性和变化不鲁棒。在本文中,我们提出了一个统一的框架{ \em PEORL},集成了符号规划与分层强化学习(HRL),以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习,并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft(代尔夫特理工大学);Leiden University(莱顿大学);Southeast University(东南大学)
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划,一种最近成功的算法类,其中AlphaZero [Silver等人,2018]就是一个例子,它通过在学习循环中嵌套规划来结合两者。然而,计划和学习的结合带来了一个新的问题:我们应该如何平衡计划,学习和行动的时间?这种权衡的重要性以前没有被明确研究过。我们表明,它实际上是至关重要的,计算结果表明,我们不应该计划太长,也不太短。从概念上讲,我们确定了一个新的频谱规划学习算法,其范围从穷举搜索(长规划)到无模型RL(无规划),中途达到最佳性能。
2020-05-15 cs.AI cs.LG
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学)
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法,通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University(麦吉尔大学);Mila;Université de Montréal(蒙特利尔大学);DeepMind
我们提出了一个端到端的,基于模型的深度强化学习代理,它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制,迫使代理出席在每个规划步骤的实体的数量是小的。在实验中,我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到,该设计允许规划代理,以概括他们的学习任务解决能力,在兼容的看不见的环境中参加相关的对象,从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
Motion Planning by Reinforcement Learning for an Unmanned Aerial Vehicle in Virtual Open Space with Static Obstacles
School of Integrated Technology, Yonsei University(延世大学整合技术学院);Electronics and Telecommunications Research Institute(电子通信研究院)
在这项研究中,我们应用强化学习的邻近策略优化算法的基础上执行运动规划的无人机(UAV)在开放空间与静态障碍。强化学习在真实无人机中的应用存在时间和成本等限制,因此,我们使用Gazebo模拟器在虚拟环境中对虚拟四旋翼无人机进行训练。随着强化学习的进行,模型的平均奖励和目标率增加。此外,训练模型的测试表明,无人机达到了81%的目标率使用简单的奖励函数在这项工作中建议。
2020-09-24 cs.LG cs.RO
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck(因斯布鲁克大学)
大多数深度强化学习(D-RL)方法都执行局部策略搜索,这增加了陷入局部最小值的风险。此外,即使在基于模拟的训练中,模拟模型的可用性在D-RL中也没有得到充分利用,这可能会降低效率。为了更好地利用仿真模型的政策搜索,我们建议将kinodynamic规划器的探索策略,并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS(规划策略搜索)。我们比较PPS与最先进的D-RL方法在典型的RL设置,包括欠驱动系统。比较表明,PPS,由kinodynamic规划器的指导下,收集数据从更广泛的区域的状态空间。这将生成训练数据,帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University(康奈尔大学)
尽管人工智能规划取得了重大进展,但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务,代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性,即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习,并采用了一种基于知识驱动的方法,这是第一个在一天的训练时间内解决困难实例的方法,而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力,使用精心手工修剪技术,我们的方法自动发现域结构。我们的研究结果表明,深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架,前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Multi-task Reinforcement Learning with a Planning Quasi-Metric
University of Geneva(日内瓦大学);Visium
我们引入了一种新的强化学习方法,该方法结合了规划准度量(PQM),该规划准度量估计从任何状态到另一个状态所需的步骤数,并具有特定于任务的“瞄准器”,该瞄准器计算目标状态以达到给定的目标。这种分解允许跨任务共享任务不可知的准度量模型,该模型捕获环境的动态,并且可以以密集和无监督的方式学习。与最近发表的标准位翻转问题和MuJoCo机器人手臂模拟器的方法相比,我们实现了多倍的训练速度。
2020-12-05 cs.LG stat.ML
Can Euclidean Symmetry be Leveraged in Reinforcement Learning and Planning?
Northeastern University(东北大学)
本文研究具有欧几里得群对称性的强化学习与规划问题,提出统一离散与连续对称性的理论,并将等变基于价值的规划扩展到连续MDP,给出等变采样规划算法构建流程。
2023-07-17 cs.LG cs.RO
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University(斯泰伦博斯大学)
本文提出HGCPP框架,将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合,通过分层组织短期策略和高层动作规划,提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
A Unifying Framework for Reinforcement Learning and Planning
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学莱顿高级计算机科学研究所);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程的优化,是人工智能的一个关键挑战。MDP优化的两种成功方法是强化学习和规划,它们在很大程度上都有自己的研究社区。然而,如果这两个研究领域解决的是同一个问题,那么我们也许能够解开它们解决方法中的共同因素。因此,本文提出了一个统一的算法框架,强化学习和规划(FRAP),确定MDP规划和学习算法必须决定的基本维度。在论文的最后,我们比较了各种著名的规划,无模型和基于模型的RL算法沿这些方面。总而言之,该框架可以帮助在规划和强化学习的算法设计空间中提供更深入的见解。
2022-03-31 cs.AI cs.LG cs.RO
Self-Inspection Method of Unmanned Aerial Vehicles in Power Plants Using Deep Q-Network Reinforcement Learning
University of Toronto(多伦多大学)
为了检查发电厂,可以使用强化学习技术来构建自主机器人。该方法复制的环境,并采用一个简单的强化学习(RL)算法。这一战略可适用于若干部门,包括发电部门。研究提出了一个具有感知、计划和行动的预训练模型。为了解决优化问题,例如无人机(UAV)导航问题,DeepMind于2015年推出的基于强化学习的框架Deep Q-network(DQN)结合了深度学习和Q-learning。为了克服现有流程中存在的问题,本研究提出了一种结合无人机自主导航和DQN强化学习的电厂巡检系统。这些训练过程参考状态设置奖励函数,并考虑内部和外部影响因素,这将它们与现在使用的其他强化学习训练技术区分开来。例如,该技术的强化学习部分的关键组成部分引入了风场模拟、无人机的电池充电水平、无人机达到的高度等状态。经过训练的模型使无人机能够在困难的环境中自行移动,从而更有可能将检查策略应用于实践。该模型的平均得分收敛到9000。经过训练的模型允许无人机进行到达目标点所需的最少旋转次数。
2023-03-16 cs.LG cs.RO
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich(苏黎世联邦理工学院)
研究无模型强化学习中规划作为涌现行为的现象,发现神经架构的隐藏状态结构是决定因素,关系隐藏状态网络能获规划机制,恢复环境转移结构并改进策略,解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
Mitigating Planner Overfitting in Model-Based Reinforcement Learning
Stanford University(斯坦福大学);Brown University(布朗大学);University of Michigan(密歇根大学)
具有不准确的环境模型的智能体面临着一个困难的选择:它可以忽略模型中的错误,并以它确定的相对于模型最优的任何方式在现实世界中行动。或者,它可以采取更保守的立场,避开其模型,只通过现实世界的交互来优化其行为。后一种方法从经验中学习可能非常缓慢,而前一种方法可能导致“规划者过度拟合”-代理行为的各个方面被优化以利用其模型中的错误。本文探讨了一个中间位置,规划者试图通过一种正则化的计划,它认为,以避免过度拟合。我们提出了三种不同的方法,可以证明减轻规划过度拟合的学习环境。
2020-03-19 cs.AI cs.LG
When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning
University of São Paulo(圣保罗大学)
提出PACT混合架构,结合快速反应式强化学习策略与慢速小型语言模型规划器,通过异步生成和验证候选动作计划来提升策略在陌生环境中的表现。
2026-06-16 cs.AI cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Multi-UAV Mobile Edge Computing and Path Planning Platform based on Reinforcement Learning
Beihang University(北京航空航天大学);Empire College London(伦敦帝国学院);University at Buffalo(布法罗大学)
无人机(UAV)被广泛用作移动网络中的网络处理器,但最近,UAV已被用作移动边缘计算中的移动服务器。然而,在具有障碍物和UAV之间的合作的复杂环境中使用UAV存在重大挑战。我们引入了一个新的多无人机移动边缘计算平台,旨在提供更好的服务质量和基于强化学习的路径规划来解决这些问题。本文的主要工作包括:1)在同一个强化学习框架下,优化移动边缘计算和路径规划的服务质量:2)采用S形函数描述终端用户的需求,保证更高的服务质量; 3)综合考虑终端用户的需求,风险和几何距离的强化学习奖励矩阵,以确保服务质量,规避风险,节约成本。仿真结果表明了该平台的有效性和可行性,对相关研究具有一定的参考价值。
2021-05-19 cs.LG cs.MA
Guiding Robot Exploration in Reinforcement Learning via Automated Planning
SUNY Binghamton(纽约州立大学宾汉姆顿分校)
强化学习(RL)使智能体能够从试错经验中学习,以实现长期目标;自动规划旨在使用行动知识计算完成任务的计划。尽管它们的共同目标是完成复杂的任务,但由于它们不同的计算模式,RL和自动规划的发展在很大程度上是孤立的。为了提高RL agent的学习效率,我们开发了Guided Dyna-Q(GDQ),使RL agent能够使用动作知识进行推理,以避免探索不相关的状态。动作知识用于从乐观模拟生成人工经验。GDQ已在模拟和使用移动机器人进行导航任务,在多房间的办公室环境中进行了评估。与竞争基线相比,GDQ显著减少了探索的努力,同时提高了学习策略的质量。
2021-03-16 cs.LG cs.RO
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
虽然强化学习最近取得了巨大的成功,但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面,演示的使用使智能体能够从专家知识中受益,而不必通过探索来发现最佳行动。在本调查中,我们讨论了在顺序决策中使用演示的优点,在基于学习的决策范式中应用演示的各种方法(例如,强化学习和学习模型中的规划),以及如何在各种场景中收集演示。此外,我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo(东京大学)
研究针对离线强化学习中轨迹规划器的问题,提出捷径轨迹规划(STP)框架,将捷径模型作为轨迹生成器,单阶段训练条件捷径轨迹模型,支持可调推理,用增强可行性感知校正的评论家选候选计划,在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题,提出最小价值等价部分模型,给出形式化定义与理论优势,结合深度学习启发式学习方法,通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
Planning the path with Reinforcement Learning: Optimal Robot Motion Planning in RoboCup Small Size League Environments
Centro de Informática, Universidade Federal de Pernambuco(佩德罗·本杰明大学计算机中心)
本研究利用强化学习结合启发式控制方法,在RoboCup小型组联赛环境中实现高效路径规划,较基线算法在无障碍场景下节省60%时间,并具备动态避障能力。
2024-04-23 cs.AI cs.LG cs.RO
AI2STOW: End-to-End Deep Reinforcement Learning to Construct Master Stowage Plans under Demand Uncertainty
IT University of Copenhagen(哥本哈根信息技术大学)
本文提出AI2STOW,一种结合可行性投影和动作掩码的端到端深度强化学习模型,用于在需求不确定性下求解集装箱船主积载计划问题,并在目标性能和计算效率上优于强化学习和随机规划基线方法。
2025-04-06 cs.AI cs.LG math.OC
Combining Planning and Reinforcement Learning for Solving Relational Multiagent Domains
The University of Texas at Dallas(德克萨斯大学达拉斯分校);IBM Research(IBM研究院);Oregon State University(俄勒冈州立大学)
针对多智能体强化学习在关系型领域中的样本效率低和泛化困难问题,提出将关系型规划器作为集中控制器与强化学习结合,实现高效任务迁移与泛化。
2025-02-26 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning with Abductive Planning
NEC Corporation(日本电气股份有限公司);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);The University of Tokyo(东京大学)
将强化学习应用于现实问题的关键挑战之一是,随着任务变得复杂,学习一个好的策略所需的训练和错误量急剧增加。这个问题的一个潜在解决方案是将强化学习与自动符号规划相结合,并利用该领域的先验知识。然而,现有的方法在其适用性和表达性方面存在局限性。本文提出了一种基于溯因符号规划的分层强化学习方法。该规划器可以处理用户定义的评价函数,而不是基于Herbrand定理。因此,它可以利用奖励的先验知识,并且可以在状态空间未知的域中工作。我们的经验表明,我们的架构显着提高学习效率的评价域上的训练样本,其中状态空间是未知的,存在多个目标的量。
2018-06-28 cs.AI cs.LG stat.ML
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg(卢森堡大学)
针对复杂不确定环境下的无人机路径规划问题,设计了一种基于深度确定性策略梯度算法的长短期记忆(LSTM)网络的模型预测控制(MPC)。在所提出的解决方案中,LSTM-MPC在DDPG网络中作为确定性策略操作,并且它利用预测池来存储预测的未来状态和动作,以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络,从而与传统的强化学习和深度强化学习方法相比,提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所)
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数,同时结合模型进行混合规划,从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出一种结合符号选项与分层规划模型的深度强化学习框架,通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性,并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing
University of Bonn(波恩大学)
空中机器人越来越多地用于环境监测和勘探。然而,一个关键的挑战是有效地规划路径,以最大限度地提高所获得的数据的信息价值,作为一个最初未知的环境进行探索。为了解决这个问题,我们提出了一种新的方法,信息路径规划的基础上深度强化学习(RL)。结合RL和机器人应用的最新进展,我们的方法将树搜索与离线学习的神经网络相结合,预测信息传感动作。我们介绍了几个组件,使我们的方法适用于机器人任务与高维状态和大动作空间。通过在任务期间部署经过训练的网络,我们的方法可以在计算资源有限的平台上实现样本高效的在线重新规划。仿真结果表明,我们的方法与现有方法相比,运行时间减少了8- 10倍。我们使用真实世界的表面温度数据验证其性能。
2022-03-03 cs.LG cs.RO
Distributional Model Equivalence for Risk-Sensitive Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文针对风险敏感强化学习提出两种分布模型等价概念,证明风险中性下的适当价值等价不足以保证风险敏感最优规划,并展示了该框架可增强任意无模型风险敏感算法。
2023-12-03 cs.AI cs.LG
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University(索迈亚维迪亚维哈尔大学)
随着实时处理的影响在最近的过去被实现,强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点,但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索,特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大,我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程,并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比,平均1.48倍的加速比,比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University(南开大学);Huawei Technologies(华为技术有限公司)
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero,基于树的规划方法在离散领域(如国际象棋和围棋)取得了巨大成功。不幸的是,在现实世界的应用,如机器人控制和倒立摆,其行动空间通常是连续的,这些基于树的规划技术将挣扎。为了解决这些限制,在本文中,我们提出了一种新的基于基于模型的强化学习框架,称为Critic PI 2,它结合了轨迹优化,深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型,适用于许多连续控制系统。大量的实验表明,Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外,我们表明,规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向,学习基于模型的规划系统的组成部分,以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
On the role of planning in model-based deep reinforcement learning
DeepMind(深度思维公司)
基于模型的规划通常被认为是人工智能体进行深入细致的推理和推广所必需的。虽然最近基于基于模型的强化学习(MBRL)与深度函数近似的成功加强了这一假设,但由此产生的基于模型的方法的多样性也使得难以跟踪哪些组件驱动成功以及为什么。在本文中,我们试图解开的贡献,最近的方法集中在三个问题:(1)如何规划有利于MBRL代理?(2)在规划中,哪些选择推动绩效?(3)规划在多大程度上改善了泛化?为了回答这些问题,我们研究了MuZero的性能(Schrittwieser等人,2019年),一个最先进的MBRL算法与许多其他MBRL算法的强连接和重叠组件。我们在广泛的环境中进行了许多干预和MuZero消融,包括控制任务,Atari和9 x9 Go。我们的研究结果表明:(1)规划是最有用的学习过程中,无论是政策更新和提供更有用的数据分布。(2)除了在最困难的推理任务中,使用带有简单Monte-Carlo卷展栏的浅树与更复杂的方法一样有效。(3)单靠规划不足以推动强有力的普遍化。这些结果表明在强化学习环境中如何利用规划,并为未来的MBRL研究提出了一些悬而未决的问题。
2021-03-17 cs.AI cs.LG
HOPE: A Reinforcement Learning-based Hybrid Policy Path Planner for Diverse Parking Scenarios
Department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学);Global Institute of Future Technology, Shanghai Jiao Tong University(未来技术全球研究院,上海交通大学)
针对多样复杂停车场景,提出结合强化学习与Reeds-Shepp曲线的混合策略路径规划器HOPE,通过动作掩码和Transformer提升规划成功率与泛化性,并在真实实验中验证其有效性。
2025-04-20 cs.LG cs.RO
Compositional Reinforcement Learning from Logical Specifications
University of Pennsylvania(宾夕法尼亚大学)
我们研究的问题,学习控制策略的复杂任务的逻辑规范。最近的方法从给定的规范自动生成奖励函数,并使用合适的强化学习算法来学习使预期奖励最大化的策略。然而,这些方法对于需要高级别规划的复杂任务的扩展性很差。在这项工作中,我们开发了一种组合学习方法,称为DiRL,它将高级规划和强化学习交织在一起。首先,DiRL将规范编码为抽象图;直观地说,图的顶点和边分别对应于状态空间的区域和更简单的子任务。然后,我们的方法结合了强化学习,在Dijkstra风格的规划算法中为每条边(子任务)学习神经网络策略,以计算图中的高级计划。一组具有连续状态和动作空间的具有挑战性的控制基准上的所提出的方法的评估表明,它优于最先进的基线。
2021-12-27 cs.AI cs.LG
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University(斯坦福大学)
通过学习动力学模型进行规划,基于模型的强化学习(MBRL)提供了良好性能的前景,几乎没有环境交互。然而,在实践中,学习的模型通常是不准确的,从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架,帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型:最小化规划过程中的价值估计的方差。我们推导并实现了这一目标,它鼓励更好地预测具有更大回报的轨迹。我们观察到经验,我们的方法提高了目前的MBRL算法对两个随机控制问题的性能,并提供了理论基础,我们的方法。
2021-03-30 cs.AI cs.LG
Multi-Agent Path Planning Using Deep Reinforcement Learning
提出了一种基于深度强化的多智能体路径规划方法。实验在仿真环境中实现,并在此环境中产生不同的多智能体路径规划问题。所产生的问题实际上类似于车辆路径问题,并且使用多智能体深度强化学习来解决。在仿真环境中,模型以这种方式在不同的连续问题上进行训练,随着时间的推移,可以观察到模型解决问题的性能增加。始终使用相同的模拟环境,并且仅改变代理访问的目标点的位置。这有助于模型学习它的环境和正确的态度对一个问题的情节通过。最后,得到了一个已经学习了很多知识的模型来解决这个环境中的路径规划或路由问题,这个模型即使没有任何训练,也已经可以找到一个很好的和即时的解决方案。在布线问题中,标准的数学建模或算法似乎遭受高计算时间来找到解决方案,并且找到即时解决方案也是困难和关键的。本文提出了一种新的求解方法,并通过实验证明了该方法的有效性。
2021-10-04 cs.AI cs.LG
Hierarchies of Planning and Reinforcement Learning for Robot Navigation
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Amsterdam(阿姆斯特丹大学)
通过强化学习(RL)解决机器人导航任务是具有挑战性的,由于其稀疏的奖励和长的决策范围的性质。然而,在许多导航任务中,高级(HL)任务表示,如粗略的平面图,是可用的。以前的工作已经证明了有效的学习分层的方法,包括HL表示的路径规划和使用子目标来自该计划,以指导源任务中的RL政策。然而,这些方法通常忽略了复杂的动力学和次优的子目标达到能力的机器人在规划过程中。这项工作克服了这些限制,提出了一种新的层次结构框架,利用可训练的规划政策的HL表示。因此,可以利用收集的铺开数据来学习机器人能力和环境条件。我们专门介绍了一个规划政策的基础上价值迭代与学习过渡模型(VI-RL)。在模拟的机器人导航任务,VI-RL结果在一致的强烈改善香草RL,是等同于香草分层RL的单一布局,但更广泛地适用于多个布局,并与可训练HL路径规划基线,除了停车任务与困难的非完整动力学,它显示出显着的改善。
2021-11-05 cs.LG cs.RO
Efficient Planning in Combinatorial Action Spaces with Applications to Cooperative Multi-Agent Reinforcement Learning
University of Alberta(阿尔伯塔大学);ETH Zurich(苏黎世联邦理工学院);University College London(伦敦大学学院);DeepMind(深度思维)
强化学习的一个实际挑战是组合动作空间,这使得规划在计算上要求很高。例如,在协作多智能体强化学习中,潜在的大量智能体联合优化全局奖励函数,这导致动作空间中智能体数量的组合爆破。作为最低要求,我们假设可以访问argmax oracle,该oracle允许有效地计算模型类中任何Q函数的贪婪策略。最近的工作规划与本地访问模拟器和线性函数逼近的基础上,我们提出了有效的算法,这种设置,导致多项式计算和查询的复杂性,在所有相关的问题参数。对于特征分解是可加性的特殊情况,我们进一步改进了边界,并使用一种有效的算法将结果扩展到核化设置。
2023-02-08 cs.AI cs.LG stat.ML
Off-road Autonomous Vehicles Traversability Analysis and Trajectory Planning Based on Deep Inverse Reinforcement Learning
Key Lab of Machine Perception (MOE), Peking University(北京大学机器感知重点实验室(教育部))
地形可通过性分析是实现机器人在越野环境下自主行走的基础。基于几何和基于外观的方法已经研究了几十年,而基于行为的方法利用从演示示教学习(LfD)是新的趋势。基于行为的方法学习成本函数,指导轨迹规划符合专家的演示,这可以更可扩展到各种场景和驾驶行为。提出了一种基于深度最大熵逆强化学习的越野可通过性分析和轨迹规划方法。为了在解决状态空间复杂度指数增长的问题的同时结合车辆的运动学,使用了两个卷积神经网络,RL ConvNet和Svf ConvNet被开发用于将运动学编码到卷积核中,并实现高效的前向强化学习。我们在越野环境中进行实验。场景地图使用3D LiDAR数据生成,专家演示是车辆在场景中的真实行驶轨迹,或者是合成的轨迹,以表示特定的行为,例如穿越负面障碍物。在不同的能力场景下学习和测试了不同的可通行性分析成本函数,以指导不同行为的轨迹规划。我们还证明了所提出的方法的性能和计算效率。
2020-05-09 cs.LG cs.RO
Model-based Reinforcement Learning: A Survey
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程(MDP)优化,是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习(RL)和规划。本文介绍了这两个领域的整合,更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先,我们系统地介绍了动态模型学习的方法,包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次,我们提出了一个系统的分类规划学习集成,包括这样的方面:从哪里开始规划,什么预算分配到规划和真正的数据汇集,如何规划,以及如何整合规划的学习和行动循环。在这两个部分之后,我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案,并介绍了基于模型的强化学习的潜在好处。在此过程中,调查还与几个相关的RL领域建立了联系,如分层RL和迁移学习。总而言之,调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University(杜伦大学)
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题,提出带有规划令牌的Planning Transformer,通过双时间尺度令牌预测实现隐式规划指导低层策略,在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
Embracing advanced AI/ML to help investors achieve success: Vanguard Reinforcement Learning for Financial Goal Planning
Vanguard(先锋领航)
在咨询和财务规划的世界里,很少有一个正确的答案。虽然传统算法在解决线性问题方面取得了成功,但它的成功往往取决于从数据集中选择正确的特征,这对于细致入微的财务规划场景来说可能是一个挑战。强化学习是一种机器学习方法,可以用于复杂的数据集,在这些数据集中几乎不可能选择正确的特征。在本文中,我们将探讨如何使用机器学习进行财务预测,预测经济指标,并创建储蓄策略。基于目标的财务规划的Vanguard ML算法基于深度强化学习,可识别多个目标和收入来源的最佳储蓄率,以帮助客户实现财务成功。Vanguard学习算法经过训练,可以识别过于复杂而无法用公式和规则捕捉的市场指标和行为,相反,它可以将投资者的财务成功轨迹及其投资结果建模为马尔可夫决策过程。我们相信,强化学习可以用来为顾问和最终投资者创造价值,创造效率,更个性化的计划和数据,以实现定制的解决方案。
2021-10-18 cs.AI cs.CL cs.LG
Causality and Batch Reinforcement Learning: Complementary Approaches To Planning In Unknown Domains
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);New York University(纽约大学)
强化学习算法在在线学习环境中取得了巨大的成功。然而,这些成功依赖于算法代理与其环境之间的低风险交互。在许多RL可能有用的环境中,例如医疗保健和自动驾驶,大多数在线RL算法在早期训练中所犯的错误都会带来不可接受的成本。这些设置需要开发可以在所谓的批处理设置中操作的强化学习算法,其中算法必须从固定的、有限的并且从一些(可能未知的)策略生成的数据集学习。评估与收集数据的政策不同的政策被称为政策外评估,自然会提出反事实的问题。在这个项目中,我们将展示如何关闭政策评估和因果推理中的治疗效果估计是解决同一问题的两种方法,并比较这两个领域的最新进展。
2020-06-03 cs.AI cs.LG
Search on the Replay Buffer: Bridging Planning and Reinforcement Learning
CMU(卡内基梅隆大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
控制学习的历史一直是两大类算法之间令人兴奋的来回:规划和强化学习。规划算法可以有效地在长时间范围内进行推理,但假设可以访问本地策略和无冲突路径上的距离度量。强化学习擅长学习政策和状态的相对值,但无法进行长期规划。尽管每种方法在各个领域都取得了成功,但需要在有限反馈和高维观察的情况下进行长期推理的任务对于规划和强化学习算法仍然极具挑战性。令人沮丧的是,这类任务可能是最有用的,因为它们设计简单(人类只需要提供一个示例目标状态),并且避免了奖励塑造,这可能会使智能体偏向于寻找次优解决方案。我们引入了一种通用的控制算法,该算法结合了规划和强化学习的优势,以有效地解决这些任务。我们的目标是将达到一个遥远目标状态的任务分解为一系列更容易的任务,每个任务对应于达到一个子目标。规划算法可以自动找到这些航路点,但前提是提供适当的环境抽象-即由节点和边组成的图。我们的主要观点是,这个图可以通过强化学习来构建,其中目标条件价值函数提供边缘权重,节点被视为重放缓冲区中以前看到的观察结果。通过在回放缓冲区中使用图搜索,我们可以自动生成此子目标序列,即使在基于图像的环境中也是如此。我们的算法,搜索重放缓冲区(SoRB),使代理解决稀疏奖励任务超过100步,并概括大大优于标准RL算法。
2019-06-12 cs.AI cs.LG cs.RO
Interpreting Emergent Planning in Model-Free Reinforcement Learning
University of Cambridge(剑桥大学);FAR AI;Mila, University of Montreal(蒙特利尔大学米拉研究所)
本文首次提供机制性证据,证明无模型强化学习智能体DRC能在Sokoban中通过概念表示内部制定规划并影响动作选择,其规划算法类似并行双向搜索。
2025-04-02 cs.AI cs.LG