Selective Dyna-style Planning Under Limited Model Capacity
The University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Harvey Mudd College(哈维穆德学院)
在基于模型的强化学习中,使用不完美的环境模型进行规划可能会损害学习进度。但是,即使模型是不完美的,它仍然可能包含对规划有用的信息。在本文中,我们研究的想法,选择性地使用一个不完美的模型。智能体应该在状态空间中模型有用的部分进行规划,但避免在模型有害的部分使用模型。一个有效的选择性规划机制需要估计预测的不确定性,这是由任意的不确定性,参数的不确定性,模型的不充分性,以及其他来源。先前的工作集中在选择性规划的参数不确定性。在这项工作中,我们强调模型不足的重要性。我们发现,异方差回归可以信号预测的不确定性所产生的模型不足,这是互补的,这是检测的方法设计的参数不确定性,这表明,考虑参数的不确定性和模型不足可能是一个更有前途的方向,有效的选择性规划比任何一个孤立的。
2021-03-07 cs.AI cs.LG stat.ML
Evaluating Machine Learning Models for the Fast Identification of Contingency Cases
University of Kassel(卡塞尔大学);Fraunhofer IEE(弗劳恩霍夫能源经济与能源系统技术研究所)
潮流计算结果的快速近似在电力系统规划和实际运行中具有重要意义。在规划中,如果要考虑多年、不同的控制策略或应急策略,则需要进行数百万次潮流计算。在实际运行中,电网运营商必须在短时间内评估电网状态是否符合应急要求。在本文中,我们比较回归和分类方法,以预测多变量的结果,如母线电压幅值和线路负载,或时间步长的二进制分类,以确定关键的负载情况。我们测试的方法在三个现实的电力系统的基础上的时间序列在15分钟和5分钟的分辨率为一年。我们比较了不同的机器学习模型,如多层感知器(MLP),决策树,k-最近邻,梯度提升,并评估所需的训练时间和预测时间以及预测误差。我们还确定了每种方法所需的训练数据的量,并显示了结果,包括未经训练的发电削减的近似值。关于比较的方法,我们确定MLP最适合这项任务。基于MLP的模型可以以97- 98%的准确度预测关键情况,并且错误阴性预测的数量非常低,为0.0- 0.64%。
2020-08-21 cs.AI cs.LG stat.ML
Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出了一种混合在线部分可观测马尔可夫决策过程(POMDP)规划系统,解决了存在的多模态不确定性的环境中的其他代理的自主导航问题。作为一个特殊的例子,我们考虑在密集的行人和障碍物之间的自主导航的问题。这个问题的流行方法首先使用完整的规划器(例如,混合A*)与关于不确定性的特设假设,然后使用在线基于树的POMDP求解器来推理不确定性,并控制问题的有限方面(即沿着路径的速度)。我们提出了一种更有能力和响应更快的实时方法,使POMDP规划者能够控制更多的自由度(例如,速度和航向),以实现更灵活、更高效的解决方案。这种修改极大地扩展了POMDP规划器必须推理的状态空间的区域,显著地增加了在实时的控制提供的有限计算预算内找到有效的铺开策略的重要性。我们的关键见解是使用多查询运动规划技术(例如,ProbabilityRoadmaps或FastMarchingMethod)作为先验,用于为POMDP规划树在其有限范围搜索期间可能到达的每个状态快速生成有效的推出策略。我们提出的方法生成的轨迹是安全的,比以前的方法更有效,即使在密集拥挤的动态环境中,规划的视野很长。
2022-06-20 cs.AI cs.RO
Reflect-then-Plan: Offline Model-Based Planning through a Doubly Bayesian Lens
Google Research(谷歌研究院);University of Waterloo(滑铁卢大学)
本文提出双贝叶斯离线基于模型规划方法 RefPlan,将规划视为贝叶斯后验估计并在部署时利用实时观测更新环境动态信念,从而提升保守离线 RL 策略在有限数据、高不确定性和动态变化环境中的性能与鲁棒性。
2025-06-06 cs.AI cs.LG
Have I done enough planning or should I plan more?
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
人们关于如何分配有限的计算资源的决定对人类智能至关重要。这种元认知能力的一个重要组成部分是决定是否继续思考该做什么,并继续进行下一个决定。在这里,我们展示了人们通过学习和反向工程的基础学习机制获得这种能力。使用一个过程跟踪范式,具体化人类规划,我们发现,人们很快适应他们执行多少规划的成本和效益的规划。为了发现底层的元认知学习机制,我们增加了一组具有元认知特征的强化学习模型,并进行贝叶斯模型选择。我们的研究结果表明,元认知能力,以调整规划量可能会通过一个政策梯度机制,这是指导沟通规划的价值元认知伪奖励。
2022-01-03 cs.AI cs.LG
2Planning for Contingencies: A Decision-based Approach
经典人工智能规划者的一个基本假设是,世界上没有不确定性:规划者完全了解计划执行的条件,并且每个行动的结果都是完全可预测的。因此,这些规划者无法制定应急计划,即,在不同情况下执行不同行动的计划。在本文中,我们讨论了一些问题,出现在表示和建设的应急计划,并描述卡桑德拉,一个偏序应急计划。Cassandra使用显式决策步骤,使执行计划的代理能够决定遵循哪个计划分支。计划中的决策步骤会导致获得知识的子目标,这些子目标的计划方式与任何其他子目标相同。因此,Cassandra将收集信息的过程与做出决策的过程区分开来。Cassandra中决策的明确表示允许对应急规划问题采取连贯的方法,并为扩展(例如使用不同的决策过程)提供了坚实的基础。
1996-05-01 cs.AI
Planning or Learning: Reliability and Cost in Multi-Asset Maintenance
Industrial AI Lab, Hitachi America Ltd.(日立美国有限公司工业人工智能实验室)
本研究实证比较规划与强化学习在多资产维护中的表现,发现规划以硬约束实现零故障,RL在低惩罚下成本更低但存在非零故障,并探讨了约束机制,表明两者互补。
2026-09-15 cs.AI cs.LG
Look Before Leap: Look-Ahead Planning with Uncertainty in Reinforcement Learning
University of California, Davis(加州大学戴维斯分校)
提出不确定性感知的k步前瞻规划与探索性策略优化框架,通过权衡模型不确定性与价值误差,在机器人操作和Atari游戏中以更少交互超越现有方法。
2025-03-26 cs.AI cs.LG
PackIt: A Virtual Environment for Geometric Planning
Princeton University(普林斯顿大学)
共同理解物体的几何形状并计划操纵它们的行动的能力对于智能代理至关重要。我们把这种能力称为几何规划。最近,许多交互式环境已被提出来评估智能代理的各种技能,但是,他们都没有满足几何规划的需要。我们提出PackIt,一个虚拟环境来评估和潜在地学习做几何规划的能力,其中代理需要采取一系列行动来将一组对象打包到空间有限的盒子中。我们还构建了一套具有挑战性的包装任务,使用进化算法。此外,我们还研究了任务的各种基线,包括基于无模型学习和基于搜索的方法,以及基于搜索的优化方法,这些方法假设可以访问环境模型。代码和数据可在https://github.com/princeton-vl/PackIt上获得。
2020-07-21 cs.AI cs.LG stat.ML
Ego-Vision World Model for Humanoid Contact Planning
University of California, Berkeley(加州大学伯克利分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);The Chinese University of Hong Kong(香港中文大学)
本文提出了一种结合学习世界模型与MPC的框架,用于提升人形机器人在复杂环境中的接触规划能力,实现更高效和稳健的多任务执行。
2026-03-08 cs.AI cs.RO cs.SY
LookOut: Diverse Multi-Future Prediction and Planning for Self-Driving
Uber ATG(优步先进技术集团);University of Toronto(多伦多大学);California Institute of Technology(加州理工学院)
在本文中,我们提出了LookOut,一种新的自治系统,感知环境,预测一组不同的未来场景如何展开,并通过优化这些未来实现的一组应急计划来估计SDV的轨迹。特别是,我们学习了一个多样化的联合分布在多智能体的未来轨迹在交通场景中,覆盖了广泛的未来模式与高样本效率,同时利用生成模型的表达能力。与之前在多样性运动预测方面的工作不同,我们的多样性目标明确奖励对未来场景进行采样,这些场景需要自动驾驶车辆做出不同的反应,以提高安全性。然后,我们的应急计划人员会找到舒适和非保守的轨迹,以确保对各种未来情景的安全反应。通过广泛的评估,我们表明,与当前最先进的模型相比,我们的模型在大规模自动驾驶数据集中展示了更多样化和样本效率更高的运动预测,以及在长期闭环模拟中更安全和更不保守的运动计划。
2021-05-07 cs.AI cs.CV cs.LG
An Anytime Hierarchical Approach for Stochastic Task and Motion Planning
Arizona State University(亚利桑那州立大学)
为了解决复杂的、长时间的任务,智能机器人需要结合运动规划进行高层次的、抽象的规划与推理。然而,抽象模型通常是有损的,并且使用它们计算的计划或策略可能无法执行。这些问题在机器人需要推理和计划多个意外事件的随机情况下会加剧。我们提出了一种新的方法,在随机设置的集成任务和运动规划。在这个方向的先前工作相比,我们表明,我们的方法可以有效地计算集成的任务和运动策略,其分支结构编码代理的行为,处理多个执行时间的突发事件。我们证明了我们的算法是概率上完整的,可以计算可行的解决方案的政策,在任何时候的方式,使遇到一个未解决的意外事件的概率随着时间的推移而下降。一组具有挑战性的问题的实证结果表明,我们的方法的实用性和范围。
2022-05-26 cs.AI cs.RO
Anytime Integrated Task and Motion Policies for Stochastic Environments
Arizona State University(亚利桑那州立大学)
为了解决复杂、长时间任务,智能机器人需要结合运动规划进行高层次、抽象的规划与推理。然而,抽象模型通常是有损的,并且使用它们计算的计划或策略可能无法执行。这些问题在机器人需要推理和计划多个意外事件的随机情况下会加剧。我们提出了一种新的方法,在随机设置的集成任务和运动规划。在这个方向上的先前工作相比,我们表明,我们的方法可以有效地计算综合任务和运动策略,其分支结构编码代理行为处理多个执行时的突发事件。我们证明了我们的算法是概率上完整的,可以计算可行的解决方案的政策,在任何时候的方式,使遇到一个未解决的意外事件的概率随着时间的推移而下降。一组具有挑战性的问题的实证结果表明,我们的方法的实用性和范围。
2020-05-29 cs.AI cs.RO
Limited Reasoning Space: The cage of long-horizon reasoning in LLMs
本文提出Halo框架,通过熵驱动的双控制器实现可控推理,解决LLM长视图任务中的推理限制问题。
2026-03-12 cs.AI
Privacy Preserving Multi-Agent Planning with Provable Guarantees
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
在隐私保护多智能体规划中,一组智能体试图合作解决多智能体规划问题,同时保持其数据和动作的隐私。虽然在过去的几年里,在这一领域进行了大量的工作,但其理论基础尚未得到充分的研究。具体来说,虽然存在具有精确隐私保证的算法,但即使是它们最有效的实现在现实情况下也不够快,而对于实际算法来说,不存在有意义的隐私保证。安全-MAFS,多代理正向搜索算法(MAFS)的一个变体,是试图提供更精确保证的唯一实用算法,但仅限于非常有限的设置和证明草图。在本文中,我们制定了一个精确的概念,安全计算的搜索为基础的算法,并证明了安全MAFS具有此属性在所有领域。
2018-11-01 cs.AI
Towards Human-Centric Intelligent Treatment Planning for Radiation Therapy
Department of Radiation Oncology(放射肿瘤学系);Molecular Radiation Sciences(分子放射科学);Johns Hopkins University(约翰霍普金斯大学);Baltimore, MD, USA(巴尔的摩,马里兰州,美国)
针对放射治疗计划质量欠佳、效率低和成本高的问题,提出以人为中心的智能治疗计划(HCITP)框架,在人类监督下整合临床指南并自动化计划生成,有望将计划时间缩短至分钟级并交付个性化高质量计划。
2025-10-15 cs.AI physics.med-ph
Symmetry-Aware Transformer Training for Automated Planning
提出对比学习目标使Transformer感知对称性,结合架构改进,解决其在自动规划中因问题对称性导致的泛化困难。
2026-06-29 cs.AI cs.LG
Temporal Planning with Incomplete Knowledge and Perceptual Information
Edinburgh Centre for Robotics(爱丁堡机器人中心);Heriot-Watt University(赫瑞-瓦特大学);The University of Edinburgh(爱丁堡大学)
在现实世界的应用程序中,推理不完整的知识,感知,时间概念和数字约束的能力是至关重要的。虽然有几个人工智能规划者能够处理其中的一些要求,但它们大多限于特定类型的约束问题。本文提出了一种新的规划方法,结合应急计划建设的时间规划框架内,提供解决方案,考虑数值约束和不完整的知识。我们提出了一个小的扩展规划域定义语言(PDDL)模型(i)不完整,(ii)知识感知行动,操作在未知的命题,(iii)可能的结果,从非确定性的感知效果。我们还引入了一组新的规划域来评估我们的求解器,它在各种问题上表现出良好的性能。
2022-07-20 cs.AI cs.RO
Online Mapping and Motion Planning under Uncertainty for Safe Navigation in Unknown Environments
CIRS Underwater Vision and Robotics Research Centre(CIRS水下视觉与机器人研究中心);Universitat de Girona(赫罗纳大学);VICOROB VIsió per COmputador i ROBòtica(VICOROB计算机视觉与机器人实验室)
对于在高度非结构化或完全未知的环境中运行的机器人来说,安全自主导航是一个重要且具有挑战性的问题。在这些条件下,不仅机器人系统必须处理有限的定位信息,而且它们的机动性受到其动力学的约束,并且经常受到不确定性的影响。为了应对这些约束,本文提出了一个基于不确定性的框架,用于在线映射和规划可行的运动,并具有概率安全保证。所提出的方法通过以下方式处理运动、概率安全性和在线计算约束:(i)递增地映射周围环境以构建环境的不确定性感知表示,以及(ii)迭代地(重新)规划轨迹以通过信念空间中的多层基于采样的规划器实现运动动力学可行和概率安全的目标。深入的实证分析说明了这种方法的一些重要特性,即(a)多层规划策略可以快速探索高维置信空间,同时保持渐近最优性和完整性保证,以及(b)与文献中的其他不确定性感知规划器相比,所提出的概率碰撞检查例程的概率范围更紧。此外,对非完整鱼雷形自主水下航行器的真实水中实验评估和DARPA 2019年地下挑战赛的四旋翼无人机的楼梯井场景中的模拟试验证明了该方法的有效性及其适用于有限的系统。
2020-05-26 cs.AI cs.RO
$ε^*$+: An Online Coverage Path Planning Algorithm for Energy-constrained Autonomous Vehicles
University of Connecticut(康涅狄格大学)
本文提出了一种新的算法,称为$ε^*$ +,使用能量受限的自主车辆的未知环境的在线覆盖路径规划。由于有限的电池尺寸,能量受限的车辆具有有限的操作时间持续时间。因此,在执行覆盖轨迹时,车辆必须在电池耗尽之前返回充电站进行充电。在这方面,$ε^*$ +算法使得车辆能够基于在整个覆盖过程中监测的剩余能量退回到充电站。这之后是一个前进轨迹,它将飞行器带到附近未探测的航路点重新开始覆盖过程,而不是将其带回到撤退轨迹的先前遗留点;从而减少了整体覆盖时间。所提出的$ε^*$ +算法是$ε^*$算法的扩展,该算法利用探索性图灵机(ETM)作为管理器,以来回轨迹导航车辆以实现完全覆盖。$ε^*$ +算法的性能在复杂场景中使用Player/Stage(高保真机器人模拟器)进行了验证。
2020-08-29 cs.AI cs.RO cs.SY
Parallel Algorithm for Approximating Nash Equilibrium in Multiplayer Stochastic Games with Application to Naval Strategic Planning
Ganzfried Research(甘茨弗里德研究公司);Arctan, Inc.(阿克坦公司)
许多现实世界的域包含多个代理的行为策略与概率的过渡和不确定的(潜在的无限)的持续时间。这样的设置可以被建模为随机游戏。虽然已经开发了用于求解的算法(即,计算博弈论解的概念,如纳什均衡)两人零和随机博弈,非零和和多人随机博弈的算法研究是有限的。我们提出了一个新的算法,这些设置,这构成了第一个多人随机游戏的并行算法。我们提出了一个4人随机游戏的海军战略规划方案的实验结果,表明我们的算法能够快速计算策略构成纳什均衡到一个非常小的程度的近似误差。
2020-03-13 cs.AI cs.CR cs.GT