AI planning in the imagination: High-level planning on learned abstract search spaces
Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(战略机器人公司);Optimized Markets, Inc.(优化市场公司);Strategic Machine, Inc.(战略机器公司)
本文提出PiZero方法,让智能体在与真实环境解耦的抽象搜索空间中执行高层规划,支持复合动作、连续/组合动作空间及部分可观测性,并在多个经典领域上优于先前方法。
2023-12-03 cs.AI cs.LG
GOPlan: Goal-conditioned Offline Reinforcement Learning by Planning with Learned Models
University of Warwick(华威大学);Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);University of Cambridge(剑桥大学);University of Liverpool(利物浦大学)
针对无模型离线目标条件强化学习在数据有限和泛化未见目标上的局限,提出基于模型的GOPlan框架,通过优势加权条件GAN预训练先验策略、用学习模型规划生成想象数据微调策略,在多任务中取得最优性能且小数据和分布外目标泛化能力更强。
2024-05-16 cs.AI cs.LG
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University(斯坦福大学)
通过学习动力学模型进行规划,基于模型的强化学习(MBRL)提供了良好性能的前景,几乎没有环境交互。然而,在实践中,学习的模型通常是不准确的,从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架,帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型:最小化规划过程中的价值估计的方差。我们推导并实现了这一目标,它鼓励更好地预测具有更大回报的轨迹。我们观察到经验,我们的方法提高了目前的MBRL算法对两个随机控制问题的性能,并提供了理论基础,我们的方法。
2021-03-30 cs.AI cs.LG
Predictive Control Using Learned State Space Models via Rolling Horizon Evolution
Queen Mary University of London(伦敦玛丽女王大学)
对基于模型的强化学习的兴趣很大一部分来自于获得能够进行战略性长期决策的前向模型的潜在效用。假设智能体成功地学习了一个有用的预测模型,它仍然需要一种机制来利用它来生成和选择竞争的模拟计划。在本文中,我们将进化算法规划技术与通过深度学习和变分推理学习的模型相结合来探索这一主题。我们证明了这种方法与代理,可靠地执行在线规划中的一组视觉导航任务。
2021-06-25 cs.AI cs.LG
Decision Making Agent Searching for Markov Models in Near-Deterministic World
Eötvös Loránd University(厄特沃什·罗兰大学)
强化学习具有坚实的基础,但在部分观察(非马尔可夫)环境中变得低效。因此,一个学习代理--天生就有一个表示和一个策略--可能希望研究马尔可夫性质在多大程度上成立。我们提出了一个学习架构,利用组合策略优化来克服非马尔可夫性,并开发有效的行为,这是很容易继承的,测试的行为状态的马尔可夫属性,并纠正非马尔可夫性通过运行一个确定性因子有限状态模型,它可以学习。我们说明了近确定性的女士吃豆人游戏中的架构的属性。我们从进化、个体和社会学习的角度分析了这种体系结构。
2011-03-01 cs.AI cs.LG
GrASP: Gradient-Based Affordance Selection for Planning
University of Michigan(密歇根大学);DeepMind(深度思维)
用学习模型进行规划可以说是智能的一个关键组成部分。在大规模强化学习(RL)问题中实现这样的组件存在若干挑战。一个这样的挑战是在使用树搜索规划时有效地处理连续动作空间(例如,即使仅在树的根结点考虑每个动作也是不可行的)。在本文中,我们提出了一种方法,用于选择启示有用的规划-学习的行动/选项,从一个连续的空间的行动/选项,以考虑在树扩展过程中,在规划的小数目。我们考虑的启示是目标和状态条件映射到动作/选项,以及无条件的启示,简单地选择在所有状态下可用的动作/选项。我们的选择方法是基于梯度的:我们通过规划过程计算梯度,以更新表示示能表示的函数的参数。我们的实证研究表明,学习选择连续行动和选项启示是可行的,同时学习选择启示和规划与学习价值等价模型可以优于无模型强化学习。
2022-02-08 cs.AI cs.LG
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所)
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数,同时结合模型进行混合规划,从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Planning with affordances: Integrating learned affordance models and symbolic planning
Oregon State University(俄勒冈州立大学)
本文提出将学习到的物体可供性模型与符号规划相结合,使智能体在AI2-Thor等环境中无需重新定义动作集合即可规划并执行多步骤操作任务。
2025-02-04 cs.AI cs.RO
VOiLA: Vectorized Online Planning with Learned Diffusion Models for POMDP Agents
Australian National University(澳大利亚国立大学);The University of Sydney(悉尼大学)
提出VOiLA框架,利用条件扩散模型学习POMDP模型,通过蒸馏加速采样并与向量化在线规划器集成,在三个基准任务和实物机器人上实现高效在线规划。
2026-10-16 cs.AI cs.RO
Goal-Space Planning with Subgoal Models
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
本文提出目标空间规划(GSP)方法,通过将后台规划限制在抽象子目标上并仅学习局部子目标条件模型,避免了学习转移动态的不准确性,以更高计算效率帮助多种基础学习器显著加速学习。
2024-02-27 cs.AI cs.LG
Graph World Models for Constrained Epidemic Policy Planning
Virginia Tech(弗吉尼亚理工大学)
提出EpiMind图世界模型框架,通过图分解状态空间模型和ADMM优化实现跨区域受限流行病政策规划,显著降低预测误差并保证资源可行性。
2026-10-12 cs.AI cs.LG
Incremental learning abstract discrete planning domains and mappings to continuous perceptions
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
大多数关于规划和学习的作品,例如,通过(基于模型的)强化学习进行的规划基于两个主要假设:(i)规划域的状态集合是固定的;(ii)来自真实世界的观察与状态之间的映射被隐含地假设或离线学习,并且它不是规划域的一部分。因此,重点是学习状态之间的转换。在本文中,我们放弃了这样的假设。我们提供了一个正式的框架,其中(i)代理可以动态地学习新的状态的规划域;(ii)抽象状态和感知之间的映射,从现实世界中,连续变量表示,是规划域的一部分;(iii)这样的映射是学习和更新沿“生命”的代理。我们定义了一个算法,交错规划,代理和学习,并允许代理更新规划域取决于它有多信任模型w.r.t.通过执行行动学到的新经验。我们定义了一个措施的规划域和现实世界之间的一致性感知的代理。我们测试我们的方法表明,代理学习越来越连贯的模型,系统可以扩展到处理模型的顺序$10^6$状态。
2018-11-26 cs.AI
Universal Planning Networks
UC Berkeley, Computer Science(加州大学伯克利分校计算机科学)
复杂视觉控制中的一个关键挑战是学习有效的抽象表示,用于指定目标,规划和泛化。为此,我们引入通用规划网络(UPN)。UPN在目标导向的政策中嵌入了可区分的规划。该规划计算在潜在空间中展开前向模型,并且通过梯度下降轨迹优化来推断最优行动计划。逐梯度下降过程及其底层表示是端到端学习的,以直接优化有监督的模仿学习目标。我们发现,学习的表示不仅是有效的目标导向的视觉模仿,通过基于梯度的轨迹优化,但也可以提供一个指标,指定目标使用图像。可以利用学习的表示来指定基于距离的奖励,以达到无模型强化学习的新目标状态,从而在解决通过基于图像的目标描述的新任务时实现更有效的学习。我们能够在具有显著不同形态和驱动能力的机器人之间成功地转移视觉规划策略。
2018-04-04 cs.AI cs.CV cs.LG
Reset-Free Lifelong Learning with Skill-Space Planning
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
终身强化学习(RL)的目标是优化智能体,使其能够在不断变化的环境中不断适应和交互。然而,当前的强化学习方法在环境是非平稳的并且交互是非情景性的时会严重失败。我们提出了终身技能规划(LiSP),这是一个基于高阶技能抽象空间规划的非情景终身RL算法框架。我们使用内在奖励以无监督的方式学习技能,并使用学习动力学模型对学习到的技能进行计划。此外,我们的框架甚至允许从离线数据中发现技能,从而减少了对过多现实世界交互的需求。我们的经验表明,LiSP成功地实现了长期规划和学习的代理,即使在具有挑战性的非静态和非情节的环境中,也可以避免灾难性的故障,这些环境来自gridworld和MuJoCo基准。
2021-06-15 cs.AI cs.LG cs.RO
Planning as Descent: Goal-Conditioned Latent Trajectory Synthesis in Learned Energy Landscapes
University of Alicante(阿利坎特大学)
PaD通过学习目标条件化能量函数实现离线无奖励规划,以验证为基础进行轨迹合成,取得95%的成功率并优于现有方法。
2025-12-19 cs.AI cs.RO
Leveraging Jumpy Models for Planning and Fast Learning in Robotic Domains
DeepMind(深度思维)
在本文中,我们研究了学习多步动态预测模型(跳跃模型)的问题,从未标记的经验和他们的实用程序的快速推理(高级别)计划在下游任务。特别是,我们建议离线学习一个跳跃模型和一个技能嵌入空间,从以前收集的经验中,不需要标签或奖励注释。然后,我们研究了利用这些学习组件与基于模型的规划或无模型强化学习(RL)相结合的几种选择,以加快下游任务的学习。我们在RGB堆叠环境中进行了一组实验,表明使用学习的技能和相关模型进行规划可以实现对新任务的zero-shot泛化,并可以通过强化学习进一步加快策略的训练。这些实验表明,跳跃模型,结合时间抽象可以促进规划在长期任务中,标准的动态模型失败。
2023-02-24 cs.AI cs.LG cs.RO
Integrating Planning and Execution in Stochastic Domains
University of British Columbia(不列颠哥伦比亚大学)
我们调查规划在时间关键域表示为马尔可夫决策过程,搜索为基础的技术可以是一个非常强大的方法,找到接近最优的计划。为了降低这些领域规划的计算成本,我们在构建计划时执行操作,并通过搜索到固定深度并使用启发式函数来估计状态值来牺牲最优性。虽然本文集中在搜索算法,我们也讨论了构造适合这种方法的启发式函数的方法。我们的研究结果表明,通过交错搜索和执行,可以找到接近最优的政策,而不需要其他方法的计算要求。
2013-02-27 cs.AI
ConstrainedZero: Chance-Constrained POMDP Planning using Learned Probabilistic Failure Surrogates and Adaptive Safety Constraints
Stanford University(斯坦福大学);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出ConstrainedZero算法,通过神经网络学习CC-POMDP的最优值、策略和失败概率,并结合$Δ$-MCTS自适应调整安全阈值,在多个安全关键任务中实现了无需权衡奖励与成本即可满足目标安全水平。
2024-05-01 cs.AI
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University(斯坦福大学)
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合,用于高维POMDP的信念状态规划,通过Q加权访问计数策略训练,在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
Planning with Learned Dynamic Model for Unsupervised Point Cloud Registration
Nanjing University of Science and Technology(南京理工大学)
点云配准是三维计算机视觉中的一个基本问题。本文将点云配准问题转化为强化学习中的规划问题,通过试错法寻求源点云和目标点云之间的转换。通过将点云配准过程建模为马尔可夫决策过程(MDP),我们开发了一个潜在的点云动态模型,由转换网络和评估网络组成。变换网络旨在预测在执行刚性变换之后点云的新的变换特征(即,动作),而评估网络旨在预测变换后的源点云和目标点云之间的对准精度作为奖励信号。一旦点云的动态模型被训练,我们采用交叉熵方法(CEM)迭代更新规划策略,通过最大化点云配准过程中的回报。因此,最优策略,即,源点云和目标点云之间的变换可以通过逐渐缩小变换的搜索空间来获得。在ModelNet40和7Scene基准数据集上的实验结果表明,该方法可以在无监督的情况下获得良好的配准性能。
2021-08-19 cs.AI cs.CV
Learning retrosynthetic planning through self-play
Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
逆合成计划的问题可以被设计成一个玩家游戏,在这个游戏中,化学家(或计算机程序)通过一系列关于进行哪些反应的选择,从分子目标向后工作到更简单的起始材料。这个游戏具有挑战性,因为可能选择的组合空间是天文数字,每个选择的价值仍然不确定,直到合成计划完成并评估其成本。在这里,我们使用深度强化学习来解决这个问题,以确定在逆合成规划的每个步骤中做出(接近)最佳反应选择的策略。使用模拟的经验或自我发挥,我们训练神经网络,以估计预期的合成成本或任何给定分子的分子结构的基础上表示的价值。我们发现,学习策略的基础上,这个价值网络优于启发式方法,在合成陌生的分子,从可用的起始材料,使用最少的反应次数。我们讨论了如何学习的政策,这里描述的可以纳入现有的合成规划工具,以及它们如何可以适应的变化,合成成本目标或材料的可用性。
2019-01-19 cs.AI cs.LG stat.ML
GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
Leiden University(莱顿大学)
GEM-MPC提出一种基于MPPI的强化学习方法,通过结合克隆规划器的策略与KL正则化探索策略,并引入门控先验蒸馏,在较低计算预算下平衡探索与利用,显著提升连续控制基准性能。
2026-09-21 cs.LG
Adaptive Mixing of Policies from Searching and Policies from Learning
Stellenbosch University(斯泰伦博斯大学)
研究针对强化学习中搜索耗时问题,提出Flexer架构自适应混合神经网络与MCTS策略,在三类玩具符号问题实验中性能优于AlphaZero、DQN和ADP。
2026-08-18 cs.AI
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点,无论是在与环境交互时的在线情况下,还是在从固定数据集学习时的离线情况下。然而,到目前为止,没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中,我们描述了重新分析算法,该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标,从而可以有效地学习数据预算,这些数据预算变化了几个数量级。我们进一步表明,Reanalyse也可以用于完全从演示中学习,而无需任何环境交互,就像离线强化学习(离线RL)一样。结合Reanalyze和MuZero算法,我们引入了MuZero Unplugged,这是一个适用于任何数据预算的统一算法,包括离线RL。与以前的工作相比,我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
On the Benefits of Leveraging Structural Information in Planning Over the Learned Model
Purdue University(普渡大学);Intel Corporation(英特尔公司)
基于模型的强化学习(RL)融合了学习和规划,近年来受到越来越多的关注。然而,由于需要为每个状态-动作对获得足够数量的样本,学习模型可能会产生显著的成本(就样本复杂度而言)。在本文中,我们研究的好处,利用结构信息的系统在降低样本的复杂性。具体来说,我们考虑设置的转移概率矩阵是一个已知的功能的一些结构参数,其值是最初未知的。然后,我们考虑的问题,估计这些参数的基础上与环境的相互作用。我们的Q估计和最佳Q值作为样本数的函数之间的差异的特征。我们的分析表明,通过利用模型的结构信息,可以显着节省样本的复杂性。我们通过考虑几个问题来说明这些发现,包括控制具有异构服务器的排队系统,以及在随机多风网格世界中寻求最优路径。
2023-03-15 cs.LG cs.SY eess.SY
The Effect of Planning Shape on Dyna-style Planning in High-dimensional State Spaces
University of Alberta(阿尔伯塔大学);Franklin & Marshall College(富兰克林与马歇尔学院)
Dyna是基于模型的强化学习(MBRL)的基本方法,它在在线环境中交织规划、行动和学习。在Dyna最典型的应用中,动态模型用于从代理的历史中选择的起始状态生成单步转换,这些转换用于更新代理的价值函数或策略,就像它们是真实的经验一样。在这项工作中,一步Dyna应用于街机学习环境(ALE)的几个游戏。我们发现,基于模型的更新提供了令人惊讶的好处比简单地执行更多的更新与代理的现有经验,即使在使用一个完美的模型。我们假设,为了从规划中获得最大的收益,必须使用模型来产生不熟悉的经验。为了测试这一点,我们在Dyna的多个不同的具体实例中试验了规划的“形状”,执行更少、更长的推出,而不是许多短的推出。我们发现,规划形状对Dyna的功效有着深远的影响,无论是完美的还是学习的模型。除了这些研究结果,关于Dyna一般,我们的研究结果代表,据我们所知,第一次学习的动力学模型已成功地用于规划在ALE,这表明Dyna可能是一个可行的方法MBRL在ALE和其他高维问题。
2019-03-29 cs.AI
Latent Skill Planning for Exploration and Transfer
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Brain(谷歌大脑);Nvidia(英伟达)
为了快速解决复杂环境中的新任务,智能代理需要建立可重用的知识。例如,学习世界模型捕获关于应用于新任务的环境的知识。类似地,技能捕捉可以应用于新任务的一般行为。在本文中,我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说,我们利用部分摊销的思想在测试时快速适应。为此,行动是由一个随着时间的推移而学习的政策产生的,而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处,并证明了提高样本效率在单一的任务,以及在从一个任务转移到另一个,相比有竞争力的基线。视频请访问:https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO
A Survey of Reinforcement Learning-Based Motion Planning for Autonomous Driving: Lessons Learned from a Driving Task Perspective
College of Automotive and Energy Engineering, Tongji University(同济大学汽车与能源工程学院);Key Laboratory of Road and Traffic Engineering of the Ministry of Education, Tongji University(教育部道路与交通工程重点实验室);Department of Aerospace Engineering, University of Michigan(密歇根大学航空航天工程系);Hagler Institute for Advanced Study, Texas A&M University(德克萨斯大学A&M分校哈格勒先进研究学院)
综述基于强化学习的自动驾驶运动规划,先概述强化学习方法基础,再调研其在运动规划中的应用,分析特定场景特征与任务要求,总结关键设计经验并为未来实施提供指导,还探讨前沿挑战及应对策略。
2026-07-07 cs.LG cs.RO
Evolutionary Planning in Latent Space
IT-University of Copenhagen(哥本哈根信息技术大学)
规划是强化学习的一种强大方法,具有几个理想的属性。然而,它需要一个世界的模型,这在许多现实生活中的问题是不容易得到的。在本文中,我们建议学习一个世界模型,使进化规划在潜在空间(EPLS)。我们使用变分自动编码器(VAE)来学习个体观测的压缩潜在表示,并扩展混合密度递归神经网络(MDRNN)来学习可用于规划的世界的随机多模态前向模型。我们使用随机突变爬山(RMHC)来寻找一系列的行动,最大限度地提高预期的回报,在这个学习模型的世界。我们演示了如何构建一个世界的模型,通过引导它与推出从一个随机的政策,并迭代地完善它与推出从一个越来越准确的规划政策,使用学习世界模型。经过几次迭代的改进后,我们的规划代理比标准的无模型强化学习方法更好,证明了我们方法的可行性。
2020-11-23 cs.LG cs.NE
Hierarchies of Planning and Reinforcement Learning for Robot Navigation
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Amsterdam(阿姆斯特丹大学)
通过强化学习(RL)解决机器人导航任务是具有挑战性的,由于其稀疏的奖励和长的决策范围的性质。然而,在许多导航任务中,高级(HL)任务表示,如粗略的平面图,是可用的。以前的工作已经证明了有效的学习分层的方法,包括HL表示的路径规划和使用子目标来自该计划,以指导源任务中的RL政策。然而,这些方法通常忽略了复杂的动力学和次优的子目标达到能力的机器人在规划过程中。这项工作克服了这些限制,提出了一种新的层次结构框架,利用可训练的规划政策的HL表示。因此,可以利用收集的铺开数据来学习机器人能力和环境条件。我们专门介绍了一个规划政策的基础上价值迭代与学习过渡模型(VI-RL)。在模拟的机器人导航任务,VI-RL结果在一致的强烈改善香草RL,是等同于香草分层RL的单一布局,但更广泛地适用于多个布局,并与可训练HL路径规划基线,除了停车任务与困难的非完整动力学,它显示出显着的改善。
2021-11-05 cs.LG cs.RO
Planning from Pixels in Atari with Learned Symbolic Representations
Technical University of Denmark(丹麦技术大学)
基于宽度的规划方法已被证明在Atari 2600域中使用像素输入产生最先进的性能。RolloutIW是一种成功的方法,它用B-PROST布尔特性集表示状态。RolloutIW的增强版本$π$ -IW表明,对于基于宽度的搜索,学习的特性可以与手工制作的特性相竞争。在本文中,我们利用变分自编码器(VAE)直接从像素中学习功能的原则性方式,没有监督。经过训练的VAE的推理模型从像素中提取布尔特征,RolloutIW使用这些特征进行规划。由此产生的组合优于原来的RolloutIW和雅达利2600上的人类专业游戏,并大大减少了功能集的大小。
2021-03-15 cs.AI cs.LG
Autonomous Vehicle Path Planning by Searching With Differentiable Simulation
本文提出DSS框架,利用可微模拟器Waymax进行路径规划,通过梯度下降优化动作序列,提升自动驾驶的跟踪和路径规划精度。
2025-11-24 cs.AI cs.RO
Planning with Learned Object Importance in Large Problem Instances using Graph Neural Networks
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
现实世界中的规划问题往往涉及数百甚至数千个对象,这使现代规划者的极限变得紧张。在这项工作中,我们通过学习预测一小部分对象来应对这一挑战,这些对象放在一起就足以找到一个计划。我们提出了一个图神经网络架构预测对象的重要性,在一个单一的推理通过,从而产生很少的开销,同时大大减少了规划者必须考虑的对象的数量。我们的方法将规划器和过渡模型视为黑盒,并且可以与任何现成的规划器一起使用。从经验上讲,在经典规划,概率规划,机器人任务和运动规划,我们发现,我们的方法的结果规划,是显着快于几个基线,包括其他部分接地策略和解除规划。我们的结论是,学习预测一个规划问题的足够的一组对象是一个简单的,强大的,和一般的机制,在大的情况下规划。视频:https://youtu.be/FWsVJc2fvCE代码:https://git.io/JIsqX
2020-12-08 cs.AI cs.LG
Demystifying MuZero Planning: Interpreting the Learned Model
Institute of Information Science, Academia Sinica(Academia Sinica 信息科学研究所)
本文通过观测重建和状态一致性训练来解释 MuZero 学习到的潜在状态,揭示其在长模拟中虽动力学精度下降但仍能通过规划纠错,并发现棋盘游戏中的潜在状态优于 Atari 游戏。
2025-07-17 cs.AI cs.LG
Differentiable Symbolic Planning: A Neural Architecture for Constraint Reasoning with Learned Feasibility
Sithara Inc.(Sithara公司)
本文提出可微符号规划(DSP),通过神经架构实现离散符号推理并保持全可微性,结合通用认知内核(UCK)在约束推理基准中取得高准确率。
2026-02-19 cs.AI cs.LG
Planning with Learned Binarized Neural Networks Benchmarks for MaxSAT Evaluation 2021
Monash University(莫纳什大学);University of Toronto(多伦多大学);KU Leuven(鲁汶大学);University of Copenhagen(哥本哈根大学)
本文简要介绍了学习自动规划问题,其中状态转换函数是二进制神经网络(BNN)的形式,提出了一个通用的MaxSAT编码这个问题,并描述了四个域,即:导航,库存控制,系统管理员和Cellda,这是提交的基准MaxSAT评估2021。
2021-08-02 cs.AI
Scalable Planning with Deep Neural Network Learned Transition Models
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(Vector人工智能研究所);Monash University(莫纳什大学)
在许多现实世界中的规划问题的因素,混合离散和连续的状态和动作空间,如水库控制,供暖通风,空调,和导航域,这是很难获得一个复杂的非线性动力学模型,管理状态的演变。然而,现代传感器的普遍存在使我们能够从这些复杂系统中的每一个收集大量数据,并建立其状态转换的精确的非线性深度神经网络模型。但控制任务仍然存在一个主要问题-我们如何使用深度网络学习的过渡模型进行规划,而不诉诸蒙特卡罗树搜索和其他黑盒过渡模型技术,这些技术忽略了模型结构,并且不容易扩展到混合离散和连续域?在本文中,我们介绍了两种类型的非线性规划方法,可以利用深度神经网络学习的过渡模型:混合深度MILP规划器(HD-MILP-Plan)和Tensorflow规划器(TF-Plan)。在HD-MILP-Plan中,我们观察到,深度网络的整流线性单元传递函数不仅允许模型学习的更快收敛,而且还允许将深度网络转换模型直接编译为混合线性规划编码。此外,我们还确定了HD-MILP-Plan的深度网络特定优化,这些优化可以提高基本编码的性能,并表明我们可以根据学习到的深度网络进行最佳规划。在TF-Plan中,我们利用自动微分工具和基于GPU的计算的效率,将纯连续规划问题的子类编码为递归神经网络,并通过反向传播直接优化动作。我们比较了这两个计划,并表明TF-计划是能够近似的最佳计划发现HD-MILP-Plan在更少的计算时间…
2020-07-15 cs.AI cs.LG
Planning Under Observation Mismatch for Traffic Signal Control via Adaptive Modular World Models
Shanghai Jiao Tong University(上海交通大学)
本文提出适应性模块化模型,用于解决观测不匹配下的交通信号控制问题,通过模块化规划架构提升性能和数据效率。
2026-04-25 cs.AI cs.LG
Compact and Efficient Encodings for Planning in Factored State and Action Spaces with Learned Binarized Neural Network Transition Models
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在本文中,我们利用二进制神经网络(BNN)的效率,学习复杂的状态转换模型的规划域与离散化的因子状态和动作空间。为了直接利用这种过渡结构的规划,我们提出了两个新的编译的学习因子规划问题与BNN的基础上减少加权部分最大布尔可满足性(FD-SAT-Plan+)以及二进制线性规划(FD-BLP-Plan+)。从理论上讲,我们表明,我们的基于SAT的双向神经元激活编码是渐近最紧凑的编码相对于当前的文献,并支持单位传播(UP)-一个重要的属性,促进效率SAT求解器。在实验中,我们验证了我们的双向神经元激活编码的计算效率相比,现有的神经元激活编码,并展示了学习复杂的过渡模型与BNN的能力。我们测试了FD-SAT-Plan+和FD-BLP-Plan+在学习因子规划问题上的运行时效率,结果表明FD-SAT-Plan+随着BNN大小和复杂性的增加而扩展得更好。最后,我们提出了一个有限时间增量约束生成算法的基础上广义地标约束,以提高规划精度,我们的编码,通过模拟或现实世界的互动。
2020-03-06 cs.AI
Reward Potentials for Planning with Learned Neural Network Transition Models
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Australian National University(澳大利亚国立大学)
基于混合整数线性规划(MILP)的神经网络(NN)模型在连续动作和状态空间中的最优规划对于分支定界求解器来说是一项具有挑战性的任务,因为MILP模型的线性松弛性很差。对于一组给定的功能,潜在的竞争力提供了一个有效的框架计算成本(奖励)函数的界限。在本文中,我们模型的学习NN模型作为一个双层规划,并解决它使用一种新的有限时间约束生成算法找到最佳的潜在界限的问题。然后,我们通过引入约束条件来约束基于预先计算的奖励潜力的奖励函数,从而加强了底层MILP模型的线性松弛。在实验中,我们表明,我们的算法有效地计算奖励潜力学习NN模型,计算奖励潜力的开销是合理的总体加强的基础MILP模型的长期规划任务。
2019-07-26 cs.AI
Closing the Learning-Planning Loop with Predictive State Representations
Carnegie Mellon University(卡内基梅隆大学)
人工智能的一个核心问题是在部分可观测的环境中,在不确定性条件下如何规划以最大化未来的回报。在本文中,我们提出并证明了一种新的算法,准确地学习这样的环境模型直接从序列的行动观察对。然后,我们通过在学习的模型中进行规划并恢复在原始环境中接近最优的策略来关闭从观察到行动的循环。具体来说,我们提出了一个有效的和统计上一致的频谱算法学习的参数的预测状态表示(PSR)。我们通过学习一个模拟的高维,基于视觉的移动机器人规划任务的模型来演示该算法,然后在学习的PSR中执行近似的基于点的规划。我们的结果分析表明,该算法学习的状态空间,有效地捕捉环境的基本特征。这种表示允许使用少量参数进行准确预测,并实现成功和有效的规划。
2009-12-12 cs.AI cs.LG
Searching with Consistent Prioritization for Multi-Agent Path Finding
University of Southern California(南加州大学);Monash University(莫纳什大学)
我们研究了多智能体路径搜索(MAPF)的优先规划。现有的优先级MAPF算法依赖于经验法则和随机分配,以确定一个固定的总优先级排序的所有代理先验。相反,我们探索空间的所有可能的部分优先级排序的一部分,一个新的系统和冲突驱动的组合搜索框架。在各种实证比较中,我们展示了最先进的解决方案质量和成功率,通常与现有算法具有相似的运行时间。我们还开发了新的理论成果,探索优先规划的局限性,在完整性和最优性方面,首次。
2018-12-15 cs.AI cs.MA cs.RO
Understanding Sample Generation Strategies for Learning Heuristic Functions in Classical Planning
Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学)
本文研究经典规划中样本生成对神经启发式函数的影响,发现采样算法与到目标代价估计质量共同决定GBFS性能,并提出五类改进策略,使平均覆盖率提升逾30%。
2025-02-16 cs.AI cs.LG
Neural-Swarm2: Planning and Control of Heterogeneous Multirotor Swarms using Learned Interactions
California Institute of Technology(加州理工学院)
我们提出了Neural-Swarm 2,一种基于学习的运动规划和控制方法,允许群中的异构多旋翼安全地近距离飞行。由于复杂的空气动力学相互作用力,例如附近无人机产生的下洗和地面效应,无人机的这种操作具有挑战性。传统的规划和控制方法忽略了捕捉这些相互作用的力量,导致在飞行过程中稀疏的群体配置。我们的方法将基于物理的名义动力学模型与具有强Lipschitz特性的学习深度神经网络(DNN)相结合。我们利用两种技术来准确预测异质多旋翼之间的气动相互作用:i)谱归一化,用于稳定性和不可见数据的泛化保证; ii)异质深度集,用于以置换不变的方式支持任何数量的异质邻居,而不会降低表达能力。学习的剩余动力学的好处,提出的相互作用感知的多机器人运动规划和非线性跟踪控制设计,因为学习的相互作用力减少建模误差。实验结果表明,Neural-Swarm 2能够推广到训练案例之外的更大的群体,并显着优于基线非线性跟踪控制器,最坏情况下的跟踪误差减少了三倍。
2021-07-16 cs.AI cs.LG cs.RO
A Domain-Independent Algorithm for Plan Adaptation
转换计划、基于案例的计划和计划调试的范例都涉及一个称为计划适应的过程-修改或修复旧计划,以便解决新问题。在本文中,我们提供了一个域独立的算法计划适应,证明它是健全的,完整的,系统的,并比较它与其他适应算法在文献中。我们的方法是基于一个视图的规划作为搜索图的部分计划。生成式计划从图的根开始,并使用计划细化操作符从节点移动到节点。在适应性规划中,库计划(计划图中的任意节点)是搜索的起点,计划适应算法可以应用生成计划器可用的相同细化运算符,也可以从计划中撤回约束和步骤。我们的算法的完整性,确保自适应算法将最终搜索整个图形和它的系统性,确保它会这样做,而不会冗余地搜索图形的任何部分。
1995-01-01 cs.AI
POWERPLAY: Training an Increasingly General Problem Solver by Continually Searching for the Simplest Still Unsolvable Problem
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);University of Lugano(卢加诺大学);SUPSI(瑞士南部应用科学与艺术大学)
大多数计算机科学的重点是自动解决给定的计算问题。我专注于自动发明或发现问题的方式启发的嬉戏行为的动物和人类,训练一个越来越普遍的问题解决者从零开始在一个无人监督的方式。考虑无限集合的所有可计算描述的任务可能可计算的解决方案。新的算法框架POWERMOST(2011)不断搜索可能的新任务和当前问题求解器的修改对的空间,直到它找到一个更强大的问题求解器,可证明解决所有以前学习的任务加上新的任务,而未修改的前任不能。惊叹效果是通过不断使以前学习的技能更有效,从而需要更少的时间和空间来实现的。新技能可能(部分)重复使用以前学习的技能。根据到目前为止存储的经验,POWERNET的搜索根据其条件计算(时间和空间)复杂度对候选任务和求解器修改进行排序。新任务及其相应的任务解决技能是最先发现并验证的。验证新任务的计算成本不需要随着任务库的大小而增长。POWERNET对新颖性的不断探索不断打破其当前求解器的泛化能力。这与哥德尔的一系列越来越强大的形式理论有关,这些理论基于将以前不可证明的陈述添加到公理中,而不影响以前可证明的定理。不断增加的剧目的问题解决程序可以利用一个并行搜索的解决方案,以额外的外部提出的任务。POWERRIGHT可以被看作是对创造力基本原则的一种贪婪但实际的实现。第一个实验分析可以在单独的论文中找到[53,54]。
2012-11-04 cs.AI cs.LG
Planning Beyond the Sensing Horizon Using a Learned Context
Massachusetts Institute of Technology(麻省理工学院);Ford Motor Company(福特汽车公司)
最后一英里交付系统通常建议使用自动机器人车辆来提高可扩展性和效率。收集精确的先验地图用于导航的经济效率低下促使使用在未绘制地图的环境中操作的规划算法。然而,这些算法通常浪费时间探索不太可能包含递送目的地的区域。上下文是关于结构化环境的关键信息,可以引导对未知目标位置的探索,但抽象的想法是难以量化的规划算法中使用。一些方法专门考虑对象之间的上下文关系,但在户外等对象稀疏的环境中表现不佳。最近的基于深度学习的方法对上下文的考虑过于笼统,使得训练/可移植性变得困难。因此,这项工作提出了一种新的配方,利用上下文规划作为一个图像到图像的翻译问题,这是从语义网格图提取地形上下文,到一个基于探索的规划师可以使用的度量。所提出的框架具有在静态数据集上进行训练的优点,而不需要耗时的模拟器。在42个具有卫星图像布局的测试房屋中,经过训练的算法使机器人能够比不知道上下文的规划者更快地达到目标189%,并且在使用先前地图计算的最佳路径的63%以内。该算法还实现了一个车辆上的一个面向前的摄像头在高保真,虚幻的模拟邻里的房子。
2020-06-01 cs.AI cs.LG cs.RO
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota(丰田);Woven Planet(织女星);Level 5 self-driving division(Level 5自动驾驶部门)
在本文中,我们介绍了第一个用于完全控制自动驾驶车辆的安全系统,该系统通过人类演示进行训练,并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错,但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面,机器学习(ML)规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而,ML方法不能提供安全保证,有时行为不可预测。为了解决这个问题,我们的方法使用了一个简单而有效的基于规则的回退层,对ML规划者的决策进行合理性检查(例如避免冲突,确保物理可行性)。这使我们能够利用机器学习来处理复杂的情况,同时仍然确保安全性,将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练,并将其与旧金山市中心的后备层一起部署,在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
IMPASTO: Integrating Model-Based Planning with Learned Dynamics Models for Robotic Oil Painting Reproduction
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
IMPASTO通过整合学习的动力学模型与基于模型的规划,实现机器人基于目标油画图像的复现,无需人类示范或精确模拟,提升复现精度。
2026-03-31 cs.AI cs.RO
GATS: Graph-Augmented Tree Search with Layered World Models for Efficient Agent Planning
Institute for Cybernetics of NAS of Ukraine(乌克兰国家科学院控制论研究所)
研究针对LLM智能体规划计算成本高和行为随机的问题,提出GATS框架,结合系统树搜索与分层世界模型,在合成任务和综合测试中表现优异,规划时无需LLM调用,生成确定性计划,优于LLM引导探索。
2026-07-13 cs.AI cs.LG
Macro-FF: Improving AI Planning with Automatically Learned Macro-Operators
University of Alberta(阿尔伯塔大学)
尽管人工智能规划最近取得了进展,但许多基准对当前的规划者来说仍然具有挑战性。在许多领域,规划器的性能可以大大提高发现和利用信息的域结构,没有明确编码在初始PDDL制定。在本文中,我们提出并比较了两种自动化的方法,学习相关的信息,从以前的经验在一个领域,并用它来解决新的问题的情况。我们的方法有一个共同的四步战略。首先,分析域并提取结构信息,然后基于先前发现的结构生成宏操作符。过滤和排序过程选择最有用的宏操作符。最后,选定的宏用于加快将来的搜索。我们在第四届国际规划竞赛IPC-4中成功地使用了这种方法。我们的系统,宏FF,扩展霍夫曼国家的最先进的规划FF 2.3支持两种宏操作,并与工程增强。我们证明了我们的想法的有效性,从国际规划比赛的基准。我们的研究结果表明,在这些复杂的领域,结构信息可以推断的搜索工作大大减少。
2011-09-09 cs.AI
Learning and Tuning Meta-heuristics in Plan Space Planning
IIT Madras(印度理工学院马德拉斯分校)
近年来,规划界已经观察到,用于学习启发式函数的技术已经在性能上产生了改进。一种方法是使用离线学习来以依赖于域的方式从现有算法中学习预测模型。这些学习的模型被部署为新的启发式函数。反过来,学习的模型可以使用独立于域的纠错方法在线调整,以进一步增强其信息量。在线调优方法独立于域,但特定于实例,并有助于在规划过程中提高单个实例的性能。因此,它在更大的问题中更有效。在本文中,我们提到两种方法适用于偏序因果链接(POCL)规划,也被称为计划空间规划。首先,我们努力提高性能的POCL规划器的监督学习的算法。其次,我们讨论了POCL框架中的在线误差最小化方法,以最大限度地减少与离线学习模型相关的步进误差,从而提高其信息量。我们的评估表明,学习方法的规划器的性能超过标准的基准,特别是对于较大的问题。
2016-04-24 cs.AI
DiMSam: Diffusion Models as Samplers for Task and Motion Planning under Partial Observability
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达)
提出DiMSam框架,通过TAMP系统组合扩散模型,利用潜在嵌入定义学习采样器和TAMP算子,解决了部分可观测下多步约束推理与自主机器人操作规划问题。
2024-10-11 cs.AI cs.CV cs.LG
Using Deep Learning to Bootstrap Abstractions for Hierarchical Robot Planning
Arizona State University(亚利桑那州立大学)
本文讨论了学习抽象的问题,提高机器人规划性能,同时提供强有力的可靠性保证。尽管最先进的分层机器人规划算法允许机器人有效地计算用于实现用户期望的任务的长期运动计划,但是这些方法通常依赖于需要由专家手工设计的环境依赖的状态和动作抽象。我们提出了一种新的方法,引导整个层次规划过程。这使我们能够使用深度神经网络预测的关键区域自动计算新环境的抽象状态和动作,该深度神经网络具有自动生成的机器人特定架构。我们表明,学习的抽象可以使用一种新的多源双向分层机器人规划算法,是健全的和概率完整的。使用完整和非完整机器人对20种不同设置进行的广泛的经验评估表明:(a)我们学习的抽象提供了有效的多源层次规划所需的信息;以及(b)这种学习、抽象和规划的方法在训练过程中没有看到的测试环境的规划时间方面比最先进的基线高出近10倍。
2022-04-24 cs.AI cs.LG cs.RO