Scalable Planning and Learning for Multiagent POMDPs: Extended Version
MIT(麻省理工学院);University of Amsterdam(阿姆斯特丹大学);University of Liverpool(利物浦大学)
在线,基于样本的POMDPs规划算法在扩展到大状态空间的问题中表现出了很大的希望,但它们对于大的动作和观察空间变得难以处理。这在多智能体POMDP中尤其成问题,其中动作和观察空间随着智能体的数量呈指数级增长。为了解决这个棘手的问题,我们提出了一种新的可扩展的方法,基于样本的规划和因子化的价值函数,利用结构存在于许多多智能体设置。这种方法不仅适用于规划的情况下,但也在贝叶斯强化学习设置。实验结果表明,我们能够提供高质量的解决方案,大型多智能体规划和学习问题。
2014-12-20 cs.AI cs.LG
PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 学校);LLM Department, Hunyuan Team, Tencent(腾讯 Hunyuan 团队 LLM 部门);Beijing Academy of Artificial Intelligence(北京人工智能研究院);The Chinese University of Hong Kong(香港中文大学)
提出PlanningBench框架,通过约束驱动合成管道生成可扩展、多样化且可验证的规划数据,用于评估和训练LLMs,并验证其在提升规划能力上的有效性。
2026-05-29 cs.AI cs.LG
Planning from Pixels in Atari with Learned Symbolic Representations
Technical University of Denmark(丹麦技术大学)
基于宽度的规划方法已被证明在Atari 2600域中使用像素输入产生最先进的性能。RolloutIW是一种成功的方法,它用B-PROST布尔特性集表示状态。RolloutIW的增强版本$π$ -IW表明,对于基于宽度的搜索,学习的特性可以与手工制作的特性相竞争。在本文中,我们利用变分自编码器(VAE)直接从像素中学习功能的原则性方式,没有监督。经过训练的VAE的推理模型从像素中提取布尔特征,RolloutIW使用这些特征进行规划。由此产生的组合优于原来的RolloutIW和雅达利2600上的人类专业游戏,并大大减少了功能集的大小。
2021-03-15 cs.AI cs.LG
Continuous Control for Searching and Planning with a Learned Model
Iowa State University(爱荷华州立大学);Ecole Centrale de Nantes(南特中央理工学院)
具有规划能力的决策代理在国际象棋、将棋和围棋等具有挑战性的领域取得了巨大的成功。为了将规划能力推广到更一般的任务,其中环境动态对代理不可用,研究人员提出了MuZero算法,该算法可以通过与环境的交互来学习动态模型。在本文中,我们提供了一种方法和必要的理论结果,以扩大MuZero算法更广义的环境与连续的行动空间。通过在两个相对低维的MuJoCo环境中的数值结果,我们表明该算法优于软演员-评论家(SAC)算法,这是一种最先进的无模型深度强化学习算法。
2020-06-22 cs.AI cs.LG
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题,提出最小价值等价部分模型,给出形式化定义与理论优势,结合深度学习启发式学习方法,通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
Demystifying MuZero Planning: Interpreting the Learned Model
Institute of Information Science, Academia Sinica(Academia Sinica 信息科学研究所)
本文通过观测重建和状态一致性训练来解释 MuZero 学习到的潜在状态,揭示其在长模拟中虽动力学精度下降但仍能通过规划纠错,并发现棋盘游戏中的潜在状态优于 Atari 游戏。
2025-07-17 cs.AI cs.LG
Differentiable Symbolic Planning: A Neural Architecture for Constraint Reasoning with Learned Feasibility
Sithara Inc.(Sithara公司)
本文提出可微符号规划(DSP),通过神经架构实现离散符号推理并保持全可微性,结合通用认知内核(UCK)在约束推理基准中取得高准确率。
2026-02-19 cs.AI cs.LG
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich(苏黎世联邦理工学院)
研究无模型强化学习中规划作为涌现行为的现象,发现神经架构的隐藏状态结构是决定因素,关系隐藏状态网络能获规划机制,恢复环境转移结构并改进策略,解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
OptionZero: Planning with Learned Options
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);National Yang Ming Chiao Tung University(国立阳明交通大学)
受MuZero启发,该研究提出整合选项网络的OptionZero方法,通过自对弈自主发现选项并修改动力学网络实现更深搜索,在26款Atari游戏中性能优于MuZero,人类归一化平均得分提升131.58%,为规划中的选项发现与应用提供了新方向。
2025-03-21 cs.AI cs.LG
Planning with Abstract Learned Models While Learning Transferable Subtasks
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Simmons University(西蒙斯大学)
我们介绍了一种基于模型的分层强化学习算法,以获得自包含的过渡和奖励模型适用于概率规划在多个抽象层次。我们称这个框架为抽象学习模型规划(PALM)。通过使用一种新的形式化结构,即提升抽象马尔可夫决策过程(L-AMDP)来象征性地表示子任务,PALM学习独立和模块化的模型。通过我们的实验,我们展示了PALM如何整合规划和执行,促进快速有效地学习抽象的层次模型。我们还展示了学习模型转移到新的相关任务的潜力。
2020-06-12 cs.AI cs.LG cs.RO
Planning with a Learned Policy Basis to Optimally Solve Complex Tasks
AMLab, University of Amsterdam(阿姆斯特丹大学 AMLab);AI&ML group, Universitat Pompeu Fabra(庞培法布拉大学 AI&ML 研究组)
针对非马尔可夫奖励下多任务策略泛化难题,提出利用后继特征学习策略基,通过有限状态自动机组合子策略,在无需额外学习下渐近实现随机环境中的全局最优。
2024-06-03 cs.AI cs.LG
AI planning in the imagination: High-level planning on learned abstract search spaces
Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(战略机器人公司);Optimized Markets, Inc.(优化市场公司);Strategic Machine, Inc.(战略机器公司)
本文提出PiZero方法,让智能体在与真实环境解耦的抽象搜索空间中执行高层规划,支持复合动作、连续/组合动作空间及部分可观测性,并在多个经典领域上优于先前方法。
2023-12-03 cs.AI cs.LG
GOPlan: Goal-conditioned Offline Reinforcement Learning by Planning with Learned Models
University of Warwick(华威大学);Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);University of Cambridge(剑桥大学);University of Liverpool(利物浦大学)
针对无模型离线目标条件强化学习在数据有限和泛化未见目标上的局限,提出基于模型的GOPlan框架,通过优势加权条件GAN预训练先验策略、用学习模型规划生成想象数据微调策略,在多任务中取得最优性能且小数据和分布外目标泛化能力更强。
2024-05-16 cs.AI cs.LG
Planning Under Observation Mismatch for Traffic Signal Control via Adaptive Modular World Models
Shanghai Jiao Tong University(上海交通大学)
本文提出适应性模块化模型,用于解决观测不匹配下的交通信号控制问题,通过模块化规划架构提升性能和数据效率。
2026-04-25 cs.AI cs.LG
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University(斯坦福大学)
通过学习动力学模型进行规划,基于模型的强化学习(MBRL)提供了良好性能的前景,几乎没有环境交互。然而,在实践中,学习的模型通常是不准确的,从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架,帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型:最小化规划过程中的价值估计的方差。我们推导并实现了这一目标,它鼓励更好地预测具有更大回报的轨迹。我们观察到经验,我们的方法提高了目前的MBRL算法对两个随机控制问题的性能,并提供了理论基础,我们的方法。
2021-03-30 cs.AI cs.LG
Compact and Efficient Encodings for Planning in Factored State and Action Spaces with Learned Binarized Neural Network Transition Models
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在本文中,我们利用二进制神经网络(BNN)的效率,学习复杂的状态转换模型的规划域与离散化的因子状态和动作空间。为了直接利用这种过渡结构的规划,我们提出了两个新的编译的学习因子规划问题与BNN的基础上减少加权部分最大布尔可满足性(FD-SAT-Plan+)以及二进制线性规划(FD-BLP-Plan+)。从理论上讲,我们表明,我们的基于SAT的双向神经元激活编码是渐近最紧凑的编码相对于当前的文献,并支持单位传播(UP)-一个重要的属性,促进效率SAT求解器。在实验中,我们验证了我们的双向神经元激活编码的计算效率相比,现有的神经元激活编码,并展示了学习复杂的过渡模型与BNN的能力。我们测试了FD-SAT-Plan+和FD-BLP-Plan+在学习因子规划问题上的运行时效率,结果表明FD-SAT-Plan+随着BNN大小和复杂性的增加而扩展得更好。最后,我们提出了一个有限时间增量约束生成算法的基础上广义地标约束,以提高规划精度,我们的编码,通过模拟或现实世界的互动。
2020-03-06 cs.AI
Closing the Learning-Planning Loop with Predictive State Representations
Carnegie Mellon University(卡内基梅隆大学)
人工智能的一个核心问题是在部分可观测的环境中,在不确定性条件下如何规划以最大化未来的回报。在本文中,我们提出并证明了一种新的算法,准确地学习这样的环境模型直接从序列的行动观察对。然后,我们通过在学习的模型中进行规划并恢复在原始环境中接近最优的策略来关闭从观察到行动的循环。具体来说,我们提出了一个有效的和统计上一致的频谱算法学习的参数的预测状态表示(PSR)。我们通过学习一个模拟的高维,基于视觉的移动机器人规划任务的模型来演示该算法,然后在学习的PSR中执行近似的基于点的规划。我们的结果分析表明,该算法学习的状态空间,有效地捕捉环境的基本特征。这种表示允许使用少量参数进行准确预测,并实现成功和有效的规划。
2009-12-12 cs.AI cs.LG
Scalable Task Planning via Large Language Models and Structured World Representations
Delft University of Technology(代尔夫特理工大学);Czech Technical University in Prague(布拉格捷克技术大学);German Aerospace Center (DLR)(德国航空航天中心)
针对大规模环境中任务规划的计算不可行问题,本研究提出利用LLMs的常识知识剪枝状态空间无关组件以简化规划复杂度,并通过家庭模拟实验与7自由度机械臂的真实验证证明了方法的有效性。
2025-02-12 cs.AI cs.RO
Predictive Control Using Learned State Space Models via Rolling Horizon Evolution
Queen Mary University of London(伦敦玛丽女王大学)
对基于模型的强化学习的兴趣很大一部分来自于获得能够进行战略性长期决策的前向模型的潜在效用。假设智能体成功地学习了一个有用的预测模型,它仍然需要一种机制来利用它来生成和选择竞争的模拟计划。在本文中,我们将进化算法规划技术与通过深度学习和变分推理学习的模型相结合来探索这一主题。我们证明了这种方法与代理,可靠地执行在线规划中的一组视觉导航任务。
2021-06-25 cs.AI cs.LG
Understanding Sample Generation Strategies for Learning Heuristic Functions in Classical Planning
Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学)
本文研究经典规划中样本生成对神经启发式函数的影响,发现采样算法与到目标代价估计质量共同决定GBFS性能,并提出五类改进策略,使平均覆盖率提升逾30%。
2025-02-16 cs.AI cs.LG
GrASP: Gradient-Based Affordance Selection for Planning
University of Michigan(密歇根大学);DeepMind(深度思维)
用学习模型进行规划可以说是智能的一个关键组成部分。在大规模强化学习(RL)问题中实现这样的组件存在若干挑战。一个这样的挑战是在使用树搜索规划时有效地处理连续动作空间(例如,即使仅在树的根结点考虑每个动作也是不可行的)。在本文中,我们提出了一种方法,用于选择启示有用的规划-学习的行动/选项,从一个连续的空间的行动/选项,以考虑在树扩展过程中,在规划的小数目。我们考虑的启示是目标和状态条件映射到动作/选项,以及无条件的启示,简单地选择在所有状态下可用的动作/选项。我们的选择方法是基于梯度的:我们通过规划过程计算梯度,以更新表示示能表示的函数的参数。我们的实证研究表明,学习选择连续行动和选项启示是可行的,同时学习选择启示和规划与学习价值等价模型可以优于无模型强化学习。
2022-02-08 cs.AI cs.LG
Neural-Swarm2: Planning and Control of Heterogeneous Multirotor Swarms using Learned Interactions
California Institute of Technology(加州理工学院)
我们提出了Neural-Swarm 2,一种基于学习的运动规划和控制方法,允许群中的异构多旋翼安全地近距离飞行。由于复杂的空气动力学相互作用力,例如附近无人机产生的下洗和地面效应,无人机的这种操作具有挑战性。传统的规划和控制方法忽略了捕捉这些相互作用的力量,导致在飞行过程中稀疏的群体配置。我们的方法将基于物理的名义动力学模型与具有强Lipschitz特性的学习深度神经网络(DNN)相结合。我们利用两种技术来准确预测异质多旋翼之间的气动相互作用:i)谱归一化,用于稳定性和不可见数据的泛化保证; ii)异质深度集,用于以置换不变的方式支持任何数量的异质邻居,而不会降低表达能力。学习的剩余动力学的好处,提出的相互作用感知的多机器人运动规划和非线性跟踪控制设计,因为学习的相互作用力减少建模误差。实验结果表明,Neural-Swarm 2能够推广到训练案例之外的更大的群体,并显着优于基线非线性跟踪控制器,最坏情况下的跟踪误差减少了三倍。
2021-07-16 cs.AI cs.LG cs.RO
Planning with affordances: Integrating learned affordance models and symbolic planning
Oregon State University(俄勒冈州立大学)
本文提出将学习到的物体可供性模型与符号规划相结合,使智能体在AI2-Thor等环境中无需重新定义动作集合即可规划并执行多步骤操作任务。
2025-02-04 cs.AI cs.RO
Electric Vehicle Charging Infrastructure Planning: A Scalable Computational Framework
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
由于交通系统和电网的网络规模不断增加,在大地理空间区域上的最优充电基础设施规划问题具有挑战性。因此,电动车辆行驶行为和充电事件之间的耦合是复杂的。本文重点介绍了一个可扩展的计算框架的示范电动汽车充电基础设施规划在紧密集成的交通和电网网络。在交通方面,充电配置文件生成策略,提出了利用电动汽车的能源消耗模型,行程路线,和充电器选择方法。在电网侧,利用遗传算法内的最优潮流程序来解决最优充电器放置问题的整数变量,通过自适应地评估候选解决方案在当前迭代和生成新的解决方案,为下一次迭代。
2020-11-17 cs.AI cs.NE eess.SP
VOiLA: Vectorized Online Planning with Learned Diffusion Models for POMDP Agents
Australian National University(澳大利亚国立大学);The University of Sydney(悉尼大学)
提出VOiLA框架,利用条件扩散模型学习POMDP模型,通过蒸馏加速采样并与向量化在线规划器集成,在三个基准任务和实物机器人上实现高效在线规划。
2026-10-16 cs.AI cs.RO
Towards Scalable & Efficient Interaction-Aware Planning in Autonomous Vehicles using Knowledge Distillation
Honda Research Institute(本田研究所)
本文提出利用知识蒸馏训练更小的预测网络,在保持交互感知轨迹规划精度的同时显著加速自动驾驶汽车的约束优化求解过程。
2024-04-02 cs.AI cs.LG cs.RO
Towards Learning Scalable Agile Dynamic Motion Planning for Robosoccer Teams with Policy Optimization
针对快节奏环境中多智能体动态运动规划的可扩展性与效率问题,提出基于策略优化的学习型动态导航模型,解决异构机器人团队在障碍物环境下的碰撞避免与目标到达问题,突破传统算法限制。
2025-02-08 cs.AI cs.LG cs.MA
Scalable and Probabilistically Complete Planning for Robotic Spatial Extrusion
Massachusetts Institute of Technology(麻省理工学院)
对能够制造3D结构的自动化系统的需求日益增加。机器人空间挤出已成为传统的基于层的3D打印的一种有吸引力的替代方案,这是由于机械手打印大型方向依赖结构的灵活性。然而,现有的挤出规划算法需要大量的人工输入,不能扩展到大型实例,并且缺乏理论保证。在这项工作中,我们提出了一个严格的形式化的机器人空间挤压规划,并提供了几个有效的和概率完整的规划算法。在整个打印过程中,关键的规划挑战是满足限制结构变形的刚度约束和确保机器人不与结构碰撞的几何约束。我们表明,虽然这些约束往往相互冲突,贪婪的向后状态空间搜索指导的刚度意识启发式能够成功地平衡这两个约束。我们经验比较我们的方法的基准超过40模拟挤出问题。最后,我们将我们的方法应用于3个现实世界的挤出问题。
2020-02-06 cs.AI cs.RO
Discrete-Guided Diffusion for Scalable and Safe Multi-Robot Motion Planning
University of Virginia(弗吉尼亚大学);University of California, Irvine(加州大学伊藤分校)
本文提出离散引导扩散(DGD)框架,将离散MAPF求解器与约束生成扩散模型结合,通过问题分解、时空依赖建模和约束修复,实现可扩展至100个机器人的高质量多机器人运动规划。
2025-08-27 cs.AI cs.LG cs.RO
Scalable Online Planning via Reinforcement Learning Fine-Tuning
Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
前瞻搜索是最近人工智能成功的关键组成部分,例如在国际象棋,围棋和扑克游戏中。然而,在这些游戏和许多其他设置中使用的搜索方法是表格式的。表格搜索方法不能很好地随搜索空间的大小缩放,并且随机性和部分可观测性加剧了这个问题。在这项工作中,我们通过强化学习在线模型为基础的政策神经网络的微调取代表格搜索,并表明这种方法优于国家的最先进的搜索算法在基准设置。特别是,我们使用我们的搜索算法,以实现一个新的国家的最先进的结果在自我发挥Hanabi,并显示我们的算法的一般性,也表明它优于表格搜索在雅达利游戏女士。
2021-09-30 cs.AI
NaviAgent: Graph-Driven Bilevel Planning for Scalable Tool Orchestration
Department of Electrical and Computer Engineering, The Ohio State University, USA(电气与计算机工程系,俄亥俄州立大学,美国)
本文提出NaviAgent,一种基于图的双层规划框架,通过解耦任务规划与工具执行,提升大规模工具编排的可扩展性和鲁棒性,实验表明其在任务成功率和实际应用中表现优异。
2026-05-21 cs.AI cs.CL cs.LG
IMPASTO: Integrating Model-Based Planning with Learned Dynamics Models for Robotic Oil Painting Reproduction
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
IMPASTO通过整合学习的动力学模型与基于模型的规划,实现机器人基于目标油画图像的复现,无需人类示范或精确模拟,提升复现精度。
2026-03-31 cs.AI cs.RO
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota(丰田);Woven Planet(织女星);Level 5 self-driving division(Level 5自动驾驶部门)
在本文中,我们介绍了第一个用于完全控制自动驾驶车辆的安全系统,该系统通过人类演示进行训练,并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错,但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面,机器学习(ML)规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而,ML方法不能提供安全保证,有时行为不可预测。为了解决这个问题,我们的方法使用了一个简单而有效的基于规则的回退层,对ML规划者的决策进行合理性检查(例如避免冲突,确保物理可行性)。这使我们能够利用机器学习来处理复杂的情况,同时仍然确保安全性,将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练,并将其与旧金山市中心的后备层一起部署,在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
Planning Beyond the Sensing Horizon Using a Learned Context
Massachusetts Institute of Technology(麻省理工学院);Ford Motor Company(福特汽车公司)
最后一英里交付系统通常建议使用自动机器人车辆来提高可扩展性和效率。收集精确的先验地图用于导航的经济效率低下促使使用在未绘制地图的环境中操作的规划算法。然而,这些算法通常浪费时间探索不太可能包含递送目的地的区域。上下文是关于结构化环境的关键信息,可以引导对未知目标位置的探索,但抽象的想法是难以量化的规划算法中使用。一些方法专门考虑对象之间的上下文关系,但在户外等对象稀疏的环境中表现不佳。最近的基于深度学习的方法对上下文的考虑过于笼统,使得训练/可移植性变得困难。因此,这项工作提出了一种新的配方,利用上下文规划作为一个图像到图像的翻译问题,这是从语义网格图提取地形上下文,到一个基于探索的规划师可以使用的度量。所提出的框架具有在静态数据集上进行训练的优点,而不需要耗时的模拟器。在42个具有卫星图像布局的测试房屋中,经过训练的算法使机器人能够比不知道上下文的规划者更快地达到目标189%,并且在使用先前地图计算的最佳路径的63%以内。该算法还实现了一个车辆上的一个面向前的摄像头在高保真,虚幻的模拟邻里的房子。
2020-06-01 cs.AI cs.LG cs.RO
Scalable Anytime Planning for Multi-Agent MDPs
Stanford University(斯坦福大学);Microsoft(微软)
我们提出了一个可扩展的树搜索规划算法的大型多智能体顺序决策问题,需要动态协作。代理团队需要在许多领域协调决策,但由于联合行动空间随代理数量的指数增长,幼稚的方法会失败。我们规避这种复杂性,通过一个随时随地的方法,使我们能够交易计算近似质量,并动态协调行动。我们的算法包括三个要素:在线规划与蒙特卡罗树搜索(MCTS),因子表示的本地代理与协调图的相互作用,和迭代最大加联合行动选择的方法。我们评估我们的方法在基准SysAdmin域与静态协调图,并实现可比的性能与低得多的计算成本比我们的MCTS基线。我们还介绍了一个多无人机交付域与动态,即,状态相关的协调图,并展示了我们的方法如何扩展到这个领域的大问题,是其他MCTS方法难以解决。我们在https://github.com/JuliaPOMDP/FactoredValueMCTS.jl上提供了我们算法的开源实现。
2021-01-12 cs.AI cs.MA
Incremental learning abstract discrete planning domains and mappings to continuous perceptions
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
大多数关于规划和学习的作品,例如,通过(基于模型的)强化学习进行的规划基于两个主要假设:(i)规划域的状态集合是固定的;(ii)来自真实世界的观察与状态之间的映射被隐含地假设或离线学习,并且它不是规划域的一部分。因此,重点是学习状态之间的转换。在本文中,我们放弃了这样的假设。我们提供了一个正式的框架,其中(i)代理可以动态地学习新的状态的规划域;(ii)抽象状态和感知之间的映射,从现实世界中,连续变量表示,是规划域的一部分;(iii)这样的映射是学习和更新沿“生命”的代理。我们定义了一个算法,交错规划,代理和学习,并允许代理更新规划域取决于它有多信任模型w.r.t.通过执行行动学到的新经验。我们定义了一个措施的规划域和现实世界之间的一致性感知的代理。我们测试我们的方法表明,代理学习越来越连贯的模型,系统可以扩展到处理模型的顺序$10^6$状态。
2018-11-26 cs.AI
Macro-FF: Improving AI Planning with Automatically Learned Macro-Operators
University of Alberta(阿尔伯塔大学)
尽管人工智能规划最近取得了进展,但许多基准对当前的规划者来说仍然具有挑战性。在许多领域,规划器的性能可以大大提高发现和利用信息的域结构,没有明确编码在初始PDDL制定。在本文中,我们提出并比较了两种自动化的方法,学习相关的信息,从以前的经验在一个领域,并用它来解决新的问题的情况。我们的方法有一个共同的四步战略。首先,分析域并提取结构信息,然后基于先前发现的结构生成宏操作符。过滤和排序过程选择最有用的宏操作符。最后,选定的宏用于加快将来的搜索。我们在第四届国际规划竞赛IPC-4中成功地使用了这种方法。我们的系统,宏FF,扩展霍夫曼国家的最先进的规划FF 2.3支持两种宏操作,并与工程增强。我们证明了我们的想法的有效性,从国际规划比赛的基准。我们的研究结果表明,在这些复杂的领域,结构信息可以推断的搜索工作大大减少。
2011-09-09 cs.AI
APTree: Extended Behavior Trees for Adaptive and Scalable Automated Robotic Task Planning in Construction
University of Stuttgart(斯图加特大学);Institute for Computational Design and Construction(计算设计与建造研究所);Institute for Control Engineering of Machine Tools and Manufacturing Units(机床与制造单元控制工程研究所)
本文提出APTree框架,以行为树为执行模型,集成自动化任务规划与模块化执行,通过协调异构符号规划器生成大规模任务规划,可检测规划错误并保障执行安全,助力建筑从业者便捷使用自动化任务规划。
2026-10-14 cs.AI cs.RO cs.SE
Alternating Target-Path Planning for Scalable Multi-Agent Coordination
Hitotsubashi University, Japan(日本立命堂大学);National Institute of Advanced Industrial Science and Technology (AIST), Japan(日本国家先进工业科学和技术研究院)
本文提出一种迭代优化框架,将目标分配与路径规划解耦,利用高效MAPF求解器实现可扩展的多智能体协同路径规划,有效提升大规模TAPF问题的求解能力。
2026-05-12 cs.AI
Universal Planning Networks
UC Berkeley, Computer Science(加州大学伯克利分校计算机科学)
复杂视觉控制中的一个关键挑战是学习有效的抽象表示,用于指定目标,规划和泛化。为此,我们引入通用规划网络(UPN)。UPN在目标导向的政策中嵌入了可区分的规划。该规划计算在潜在空间中展开前向模型,并且通过梯度下降轨迹优化来推断最优行动计划。逐梯度下降过程及其底层表示是端到端学习的,以直接优化有监督的模仿学习目标。我们发现,学习的表示不仅是有效的目标导向的视觉模仿,通过基于梯度的轨迹优化,但也可以提供一个指标,指定目标使用图像。可以利用学习的表示来指定基于距离的奖励,以达到无模型强化学习的新目标状态,从而在解决通过基于图像的目标描述的新任务时实现更有效的学习。我们能够在具有显著不同形态和驱动能力的机器人之间成功地转移视觉规划策略。
2018-04-04 cs.AI cs.CV cs.LG
Learning and Tuning Meta-heuristics in Plan Space Planning
IIT Madras(印度理工学院马德拉斯分校)
近年来,规划界已经观察到,用于学习启发式函数的技术已经在性能上产生了改进。一种方法是使用离线学习来以依赖于域的方式从现有算法中学习预测模型。这些学习的模型被部署为新的启发式函数。反过来,学习的模型可以使用独立于域的纠错方法在线调整,以进一步增强其信息量。在线调优方法独立于域,但特定于实例,并有助于在规划过程中提高单个实例的性能。因此,它在更大的问题中更有效。在本文中,我们提到两种方法适用于偏序因果链接(POCL)规划,也被称为计划空间规划。首先,我们努力提高性能的POCL规划器的监督学习的算法。其次,我们讨论了POCL框架中的在线误差最小化方法,以最大限度地减少与离线学习模型相关的步进误差,从而提高其信息量。我们的评估表明,学习方法的规划器的性能超过标准的基准,特别是对于较大的问题。
2016-04-24 cs.AI
Planning as Descent: Goal-Conditioned Latent Trajectory Synthesis in Learned Energy Landscapes
University of Alicante(阿利坎特大学)
PaD通过学习目标条件化能量函数实现离线无奖励规划,以验证为基础进行轨迹合成,取得95%的成功率并优于现有方法。
2025-12-19 cs.AI cs.RO
DiMSam: Diffusion Models as Samplers for Task and Motion Planning under Partial Observability
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达)
提出DiMSam框架,通过TAMP系统组合扩散模型,利用潜在嵌入定义学习采样器和TAMP算子,解决了部分可观测下多步约束推理与自主机器人操作规划问题。
2024-10-11 cs.AI cs.CV cs.LG
Learning to Rank for Synthesizing Planning Heuristics
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们研究学习领域特定的规划。以前的工作框架学习启发式作为一个普通的回归问题。然而,在一个贪婪的最好的第一次搜索,诱导启发式的状态的顺序是更能说明所得到的规划的性能比均方误差。因此,我们将启发式学习框架为学习排序问题,我们使用RankSVM公式来解决该问题。此外,我们引入了新的方法来计算功能,捕捉时间的相互作用,在一个近似的计划。我们最近的国际规划竞赛问题的实验表明,RankSVM学习算法优于原始算法和通过普通回归学习的算法。
2016-08-03 cs.AI
Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
Australian National University(澳大利亚国立大学);Google DeepMind(谷歌DeepMind)
针对多智能体系统中现有基于类型推理方法的可观测性假设与扩展性局限,提出结合元策略的POTMMCP在线规划方法,在大规模部分可观测环境中实现了更高效的长视野规划与更优的求解性能。
2023-06-09 cs.AI cs.MA
Safe Interval RRT* for Scalable Multi-Robot Path Planning in Continuous Space
Sogang University(西江大学)
针对连续空间多机器人路径规划(MRPP)因组合特性和连续状态空间导致搜索空间过大的问题,提出一种两级方法,低层用基于采样的SI-RRT*规划器找单机器人无碰撞轨迹,高层用SI-CPP或SI-CCBS解决机器人间冲突,实验证明其能快速找到高质量解且可扩展性更优。
2025-02-11 cs.AI cs.MA cs.RO
Bridging Learned Visual Perception and Symbolic Belief-Space Planning
Technion - Israel Institute of Technology(以色列理工学院)
本文提出VLM作为概率接地器的新范式,将视觉-语言模型的谓词接地不确定性建模为符号状态上的概率分布,实现信念空间规划,在模拟家庭机器人环境中提升了鲁棒性和任务成功率。
2026-09-16 cs.AI cs.RO
Neural ATTF: A Scalable Solution to Lifelong Multi-Agent Path Planning
Georgia Institute of Technology(佐治亚理工学院);Hyundai-MOBIS(现代莫比斯)
本文提出神经ATTF算法,结合优先级引导任务匹配与神经时空A*,解决多智能体取送货路径规划的可扩展性和效率问题,实验证明其优于现有方法。
2025-04-21 cs.AI cs.RO
Scalable Rao-Blackwellized Online Planning for High-Dimensional POMDPs
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究扩展RB-POMDP框架,采用混合连续-离散信念表示,结合FastSLAM 2.0,在机器人搜救任务中实现高维POMDP下的高效在线规划,性能优于纯采样方法。
2026-09-02 cs.AI cs.RO
SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning
Queensland University of Technology(昆士兰科技大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61研究院);University of Adelaide(阿德莱德大学)
本文提出 SayPlan,利用3D场景图的层级语义搜索、经典路径规划和迭代重规划,使 LLM 能在多层多房间环境中将自然语言指令接地为可执行的长时域机器人任务计划。
2023-09-27 cs.AI cs.RO
WLPlan: Relational Features for Symbolic Planning
LAAS-CNRS(法国国家科学研究中心自动化与系统分析实验室);University of Toulouse(图卢兹大学)
针对规划研究中学习与规划模块需跨编程语言实现的问题,研究团队推出带Python绑定的C++包WLPlan,可自动生成规划任务关系特征,支持图转换与图核嵌入功能,助力可扩展学习规划器开发。
2024-11-01 cs.AI
Scalable Multi-robot Motion Planning for Congested Environments With Topological Guidance
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Texas A&M University(德克萨斯A&M大学)
本研究将拓扑引导的单机器人运动规划扩展到多机器人领域,在拥挤狭窄环境中实现高效可扩展规划,支持比现有方法大25倍的团队规模,并生成更优路径。
2023-05-25 cs.AI cs.MA cs.RO
ConstrainedZero: Chance-Constrained POMDP Planning using Learned Probabilistic Failure Surrogates and Adaptive Safety Constraints
Stanford University(斯坦福大学);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出ConstrainedZero算法,通过神经网络学习CC-POMDP的最优值、策略和失败概率,并结合$Δ$-MCTS自适应调整安全阈值,在多个安全关键任务中实现了无需权衡奖励与成本即可满足目标安全水平。
2024-05-01 cs.AI
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University(斯坦福大学)
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合,用于高维POMDP的信念状态规划,通过Q加权访问计数策略训练,在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI