From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
World Programs for Model-Based Learning and Planning in Compositional State and Action Spaces
BenevolentAI(BenevolentAI公司);Westfälische Wilhelms-Universität Münster(明斯特威斯特伐利亚威廉大学)
一些最重要的任务发生在缺乏廉价和完美的模拟器的环境中,从而阻碍了无模型强化学习(RL)的应用。虽然基于模型的RL旨在学习动态模型,但在更一般的情况下,学习者并不知道动作空间是什么。在这里,我们提出了一种形式主义,学习者通过学习动态模型和观察状态-状态转换的例子在基于图的组合环境中的动作来诱导世界程序。然后,学习者可以使用世界程序作为复杂规划任务的模拟器来执行RL。我们强调最近的应用,并提出了一个挑战,为社会评估世界方案为基础的规划。
2019-12-30 cs.LG stat.ML
Differentiable Learning of Lifted Action Schemas for Classical Planning
RWTH Aachen University(亚琛工业大学)
提出一种神经网络架构,从完全可观测状态但动作参数未观测的轨迹中学习提升动作模式,实现近乎完美的结构恢复。
2026-11-11 cs.AI cs.LG
AI planning in the imagination: High-level planning on learned abstract search spaces
Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(战略机器人公司);Optimized Markets, Inc.(优化市场公司);Strategic Machine, Inc.(战略机器公司)
本文提出PiZero方法,让智能体在与真实环境解耦的抽象搜索空间中执行高层规划,支持复合动作、连续/组合动作空间及部分可观测性,并在多个经典领域上优于先前方法。
2023-12-03 cs.AI cs.LG
Limited depth bandit-based strategy for Monte Carlo planning in continuous action spaces
Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);INESC-ID(葡萄牙系统与计算机工程研究所)
本文讨论了用搜索树求解最优控制问题。我们首先考虑多臂强盗问题与连续的行动空间,并提出LD-HOO,有限深度的分层乐观优化(HOO)算法的变种。我们提供了一个遗憾的分析LD-HOO,并表明,渐近,我们的算法表现出相同的累积遗憾,同时更快,更高效的内存。然后,我们提出了一个基于LD-HOO的最优控制问题的Monte Carlo树搜索算法,并举例说明所得到的方法在几个最优控制问题中的应用。
2021-06-29 cs.LG math.OC
Improving planning and MBRL with temporally-extended actions
Indiana University(印第安纳大学)
针对离散时间建模下规划计算量大、性能低的问题,提出将时间扩展动作的时长作为额外优化变量的方法,可加快仿真、减少误差,结合多臂老虎机自动选时长范围,在规划和MBRL中均提升了性能。
2025-10-21 cs.AI cs.LG cs.RO
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University(斯泰伦博斯大学)
本文提出HGCPP框架,将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合,通过分层组织短期策略和高层动作规划,提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Efficient Sampling in POMDPs with Lipschitz Bandits for Motion Planning in Continuous Spaces
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
不确定性下的决策过程可以看作是一个部分可观测的马尔可夫决策过程(POMDP)。寻找POMDPs的精确解通常在计算上是难以处理的,但是该解可以通过基于采样的方法来近似。这些基于采样的POMDP求解器依赖于多臂强盗(MAB)算法,该算法假设不同动作的结果是不相关的。在某些应用中,如连续空间中的运动规划,类似的动作会产生类似的结果。在本文中,我们利用MAB启发式算法的变体,对行动结果进行Lipschitz连续性假设,以提高基于采样的规划方法的效率。我们证明了这种方法的有效性的背景下,自动驾驶的运动规划。
2021-06-08 cs.LG cs.RO
Efficient Planning in Combinatorial Action Spaces with Applications to Cooperative Multi-Agent Reinforcement Learning
University of Alberta(阿尔伯塔大学);ETH Zurich(苏黎世联邦理工学院);University College London(伦敦大学学院);DeepMind(深度思维)
强化学习的一个实际挑战是组合动作空间,这使得规划在计算上要求很高。例如,在协作多智能体强化学习中,潜在的大量智能体联合优化全局奖励函数,这导致动作空间中智能体数量的组合爆破。作为最低要求,我们假设可以访问argmax oracle,该oracle允许有效地计算模型类中任何Q函数的贪婪策略。最近的工作规划与本地访问模拟器和线性函数逼近的基础上,我们提出了有效的算法,这种设置,导致多项式计算和查询的复杂性,在所有相关的问题参数。对于特征分解是可加性的特殊情况,我们进一步改进了边界,并使用一种有效的算法将结果扩展到核化设置。
2023-02-08 cs.AI cs.LG stat.ML
Dynamic Planning Networks
University Of Western Ontario(西安大略大学);Department of Electrical and Computer Engineering, University Of Western Ontario(西安大略大学电气与计算机工程系)
我们介绍了动态规划网络(DPN),这是一种用于深度强化学习的新型架构,它结合了基于模型和无模型的在线规划方面。我们的架构学习动态构建计划,使用学习的状态转换模型,通过选择和遍历模拟状态和动作,以最大限度地提高信息之前采取行动。与无模型方法相比,基于模型的规划可以让代理有效地测试动作假设,而无需在环境中进行昂贵的试错。DPN通过一次扩展单个动作条件状态转换而不是彻底评估每个动作来学习有效地形成计划,从而将规划期间所需的状态转换数量减少高达96%。我们观察到各种紧急规划模式用于解决环境,包括经典的搜索方法,如广度优先和深度优先搜索。与几个基线相比,DPN显示出更高的数据效率,性能和对新的和未知领域的泛化。
2019-02-04 cs.AI cs.LG cs.NE
Equivariant Action Sampling for Reinforcement Learning and Planning
Northeastern University(东北大学)
本文提出等变动作采样方法,在强化学习与规划中保持问题对称性,显著优于朴素采样,并开发了基于MPPI的通用采样规划框架,实证验证其有效性。
2024-12-16 cs.AI cs.LG cs.RO
PALMER: Perception-Action Loop with Memory for Long-Horizon Planning
Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(洛桑联邦理工学院))
为了在先验未知的现实世界场景中实现自主性,智能体应该能够:i)根据高维感官观察(例如,图像),ii)从过去的经验中学习以适应和改进,以及iii)能够进行长期规划。经典规划算法(例如PRM,RRT)擅长处理长期规划。基于深度学习的方法反过来可以通过对观测之间的统计偶然性进行建模来提供必要的表示来解决其他问题。在这个方向上,我们引入了一个通用的规划算法,称为PALMER,结合经典的基于采样的规划算法与基于学习的感知表示。为了训练这些感知表示,我们将Q学习与对比表示学习相结合,以创建一个潜在空间,在这个空间中,两个状态的嵌入之间的距离可以捕获最佳策略在它们之间遍历的容易程度。对于这些感知表示的规划,我们重新设计了经典的基于采样的规划算法,从重放缓冲区中检索先前观察到的轨迹段,并将它们重新拼接成连接任何给定的起始和目标状态对的近似最佳路径。这在表示学习、记忆、强化学习和基于采样的规划之间创建了一个紧密的反馈循环。最终的结果是一个经验框架的长期规划,是显着更强大的和样本效率相比,现有的方法。
2022-12-08 cs.AI cs.CV cs.LG
Exploring Model-based Planning with Policy Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
基于模型的强化学习(MBRL)与模型预测控制或在线规划在样本效率和渐近性能方面显示出用于运动控制任务的巨大潜力。尽管他们最初的成功,现有的规划方法搜索从候选序列中随机产生的动作空间,这是在复杂的高维环境中效率低下。在本文中,我们提出了一种新的MBRL算法,基于模型的政策规划(POPLIN),结合政策网络与在线规划。更具体地说,我们制定行动规划在每个时间步作为一个优化问题,使用神经网络。我们的实验与优化w.r.t.从策略网络初始化的动作序列,以及直接w.r.t.策略网络的参数。我们表明,POPLIN在MuJoCo基准测试环境中获得了最先进的性能,比最先进的算法(如PETS,TD3和SAC)的样本效率高出约3倍。为了解释我们的算法的有效性,我们表明,在参数空间中的优化曲面是光滑的比在行动空间。此外,我们发现,在测试时间的一些环境,如猎豹,在没有扩展的模型预测控制的情况下,可以有效地应用提取的策略网络。代码发布在https://github.com/WilsonWangTHU/POPLIN。
2019-06-20 cs.AI cs.LG cs.RO
Graph Neural Network Based Action Ranking for Planning
Oregon State University(俄勒冈州立大学)
提出一种基于图神经网络和门控循环单元的动作排序方法,学习局部一致的排序以生成关系型策略,在更大规划问题上实现更好的泛化并提升成功率和计划质量。
2025-10-24 cs.LG
FlexiWorld: Learning and Planning via Flexible Action Chunks Across Multiple Time Scales
University of Toronto(多伦多大学);Zhejiang University(浙江大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Mila & Université de Montréal(Mila与蒙特利尔大学);Samsung SAIL(三星SAIL);Tsinghua University(清华大学)
FlexiWorld提出基于JEPA的世界模型,结合混合跨度监督与可变长度动作块,配合ARCEM规划方法,在四个基准上实现89.29%的平均成功率,优于基线,并支持灵活块长度加速规划。
2026-09-30 cs.LG
Latent Energy Action Planning with World Models
Purdue University(普渡大学)
该研究针对潜在世界模型规划中动作序列与目标描述符不匹配的问题,提出LEAP方法,通过耦合终端潜在目标匹配与状态能量,结合拟牛顿求解器等,在四个控制领域将规划成功率提升17.3个百分点。
2026-09-04 cs.LG
Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Salerno(萨莱诺大学);University of Cassino and Southern Lazio(卡西诺大学和南拉齐奥大学)
我们提出了一个框架,复杂的操作任务的视觉动作规划与高维状态空间,如可变形物体的操作。在嵌入图像的低维潜在状态空间中执行规划。我们定义并实现了一个潜在的空间路线图(LSR),这是一个基于图形的结构,全局捕捉潜在的系统动态。我们的框架由两个主要组件组成:一个视觉感知模块(VFM),它生成一个视觉计划作为一个图像序列,和一个行动建议网络(APN),预测它们之间的行动。我们展示了该方法的有效性,在一个模拟的箱子堆叠任务,以及与一个真正的机器人进行的T恤折叠任务。
2020-03-19 cs.LG cs.RO
Extracting Actionability from Machine Learning Models by Sub-optimal Deterministic Planning
机器学习研究的一个主要焦点是提高预测模型的泛化精度和效率。支持向量机、随机森林、深度神经网络等模型被提出并取得巨大成功。然而,在许多应用中出现的缺失是可操作性,即,将预测结果转化为行动的能力。例如,在诸如客户关系管理、临床预测和广告之类的应用中,用户不仅需要准确的预测,而且还需要可以将输入转移到期望目标(例如,更高的利润回报、更低的发病率、更高的广告点击率)。现有的努力,在获得这样的可操作的知识是很少的,并限于简单的动作模型,限制为每个动作只改变一个属性。困境在于,在许多实际应用中,这些动作模型通常更复杂,更难提取最佳解决方案。在本文中,我们提出了一种新的方法,通过将学习与规划相结合来实现可操作性,这是人工智能的两个核心领域。特别是,我们提出了一个框架来提取可操作的知识,从随机森林,最广泛使用的和最好的现成的分类。我们制定的actionability问题的次优行动规划(SOAP)的问题,这是找到一个计划,以改变给定的输入,使随机森林的某些功能将产生一个理想的输出,同时最大限度地减少行动的总成本。从技术上讲,SOAP问题是在SAS+规划形式主义制定,并使用基于Max-SAT的方法解决。我们的实验结果表明,所提出的方法的有效性和效率的个人信用数据集和其他基准。我们的工作代表了一个新的应用自动规划的新兴和具有挑战性的机器学习范例。
2016-11-03 cs.AI cs.LG
Efficient Black-Box Planning Using Macro-Actions with Focused Effects
Brown University(布朗大学);IBM Research(IBM研究院)
确定性规划的难度随着搜索树的深度呈指数级增加。黑箱规划提出了一个更大的挑战,因为规划者必须在没有明确的领域模型的情况下进行操作。启发式可以使搜索更有效,但黑盒规划的目标感知启发式通常依赖于目标计数,这通常是相当没有信息的。在这项工作中,我们将展示如何克服这一限制,发现宏观行动,使目标计数启发式更准确。我们的方法搜索具有集中效果的宏动作(即仅修改少量状态变量的宏),这些宏动作与目标计数启发式所做的假设非常一致。聚焦宏在广泛的规划领域中显著提高了黑盒规划效率,有时甚至击败了访问完整领域模型的最先进的规划器。
2021-06-23 cs.AI cs.LG stat.ML
Enabling Visual Action Planning for Object Manipulation through Latent Space Roadmap
KTH Royal Institute of Technology(KTH皇家理工学院);Roma Tre University(罗马第三大学);University of Cassino and Southern Lazio(卡西诺和南拉齐奥大学)
我们提出了一个框架,视觉行动规划的复杂操作任务与高维状态空间,专注于可变形物体的操作。我们提出了一个潜在的空间路线图(LSR)的任务规划,这是一个基于图的结构,全球捕捉系统的动态在一个低维的潜在空间。我们的框架由三部分组成:(1)映射模块(MM),其将以图像形式给出的观测映射到提取相应状态的结构化潜在空间中,以及从潜在状态生成观测,(2)LSR,其构建并连接包含相似状态的聚类,以便找到由MM提取的开始状态和目标状态之间的潜在计划,以及(3)行动建议模块,其用相应的行动补充LSR发现的潜在计划。我们提出了一个深入的调查,我们的框架上模拟箱堆叠和绳/箱操作任务,折叠任务上执行一个真正的机器人。
2022-06-30 cs.LG cs.RO
Focused Model-Learning and Planning for Non-Gaussian Continuous State-Action Systems
Massachusetts Institute of Technology(麻省理工学院)
我们介绍了一个框架,模型学习和规划在随机域连续的状态和动作空间和非高斯过渡模型。它是有效的,因为(1)局部模型仅在规划者需要时才被估计;(2)规划者关注与当前规划问题最相关的状态;(3)规划者关注最具信息性和/或高价值的行动。理论分析表明了该方法的有效性和渐近最优性。在一个模拟的多模态推问题上,我们证明了我们的算法的有效性。
2016-10-23 cs.AI cs.LG cs.RO
Learning Safe Numeric Planning Action Models
Software and Information Systems Engineering, Ben-Gurion University of the Negev(本·古里安大学软件与信息系统工程系);Department of Computer Science and Engineering, Washington University(华盛顿大学计算机科学与工程系)
本文提出N-SAM及N-SAM*算法,用于学习安全的数值规划动作模型,在保证安全性的前提下扩展了动作适用性,并在样本复杂度上达到最优。
2025-07-15 cs.AI cs.LG
ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning
NVIDIA;National Taiwan University(国立台湾大学)
本文提出ThinkAct双系统框架,通过强化视觉潜在规划连接多模态大语言模型的高层推理与低层动作执行,在具身AI任务中实现少样本适应、长时程规划与自我纠正。
2025-09-18 cs.AI cs.CV cs.LG
World-Value-Action Model: Implicit Planning for Vision-Language-Action Systems
Westlake University(西湖大学);Nanjing University Suzhou Campus(南京大学苏州校区)
本文提出World-Value-Action模型,通过隐式规划提升视觉-语言-动作系统在长时域决策中的性能,通过学习潜在表示和价值函数实现高效规划。
2026-10-14 cs.LG cs.RO
Text-Based Action-Model Acquisition for Planning
Sun Yat-sen University(中山大学)
虽然已经有能够从计划跟踪学习动作模型的方法,但是还没有从文本观察学习动作模型的工作,与计划跟踪相比,文本观察是普遍的并且更容易从现实世界的应用程序中收集。在本文中,我们提出了一种新的方法来学习自然语言文本的动作模型,结合约束满足和自然语言处理技术。具体来说,我们首先建立一个新的语言模型,从文本中提取计划的痕迹,然后建立一组约束条件,以产生基于提取的计划痕迹的行动模型。然后,我们迭代地改进语言模型和约束,直到我们实现收敛的语言模型和动作模型。我们的经验表明,我们的方法是有效的和高效的。
2022-02-18 cs.AI cs.CL cs.LG
Value-guided action planning with JEPA world models
École Polytechnique(巴黎高等理工学院);ENS Paris(巴黎高等师范学院);New York University(纽约大学)
本文提出了一种基于JEPA世界模型的价值引导动作规划方法,通过塑造表示空间提升规划性能。
2025-12-28 cs.AI cs.LG cs.RO
Planning Under Observation Mismatch for Traffic Signal Control via Adaptive Modular World Models
Shanghai Jiao Tong University(上海交通大学)
本文提出适应性模块化模型,用于解决观测不匹配下的交通信号控制问题,通过模块化规划架构提升性能和数据效率。
2026-04-25 cs.AI cs.LG
A Framework for Neurosymbolic Robot Action Planning using Large Language Models
University of Genoa(热那亚大学)
提出Teriyaki框架,将GPT-3训练为兼容PDDL的神经符号任务规划器,通过逐个动作生成计划实现规划与执行并发,在保持规划性能的同时显著缩短计划长度并减少等待时间。
2024-06-04 cs.AI cs.LG cs.RO
Automated Action Model Acquisition from Narrative Texts
Australian National University(澳大利亚国立大学);Tencent AI lab(腾讯人工智能实验室)
针对叙事规划中动作模型自动获取的瓶颈问题,提出无监督系统NaRuto,从叙事文本提取结构化事件并结合常识关系等生成规划式动作模型,质量优于全自动化方法、媲美半自动化方法。
2023-07-17 cs.CL cs.IR cs.LG
Accelerating Cooperative Planning for Automated Vehicles with Learned Heuristics and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
城市交通场景中的高效驾驶需要远见。其他交通参与者的观察和推断他们可能的下一步行动取决于自己的行动被认为是合作预测和规划。人类已经具备了预测多个交互的交通参与者的行为并相应地进行规划的能力,而无需直接与他人进行通信。以前的工作表明,它是可能实现有效的合作规划,而不需要明确的沟通。然而,合作计划的搜索空间如此之大,以至于大部分计算预算都花在探索远离解的无希望区域中的搜索空间上。为了加速规划过程,我们将学习的策略与合作规划方法相结合,以引导搜索具有有希望的行动的区域,以较低的计算成本获得更好的解决方案。
2020-05-22 cs.LG cs.MA cs.RO
Deep Visual Reasoning: Learning to Predict Action Sequences for Task and Motion Planning from an Initial Scene Image
University of Stuttgart(斯图加特大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);TU Berlin(柏林工业大学)
在本文中,我们提出了一种深度卷积递归神经网络,它可以从初始场景图像中预测任务和运动规划(TAMP)的动作序列。典型的TAMP问题通过将符号、离散级(例如一阶逻辑)上的推理与连续运动规划(例如非线性轨迹优化)相结合来形式化。由于可能的离散动作序列的巨大组合复杂性,必须解决大量的优化/运动规划问题以找到解决方案,这限制了这些方法的可扩展性。为了规避这种组合的复杂性,我们开发了一个神经网络,根据场景的初始图像,直接预测有前途的离散动作序列,理想情况下,只有一个运动规划问题必须得到解决,找到一个解决方案,以整体TAMP问题。一个关键的方面是,我们的方法可以推广到具有许多不同数量的对象的场景,尽管一次只训练两个对象。这可以通过将图像中的场景对象编码为神经网络的输入而不是固定的特征向量来实现。结果表明,运行时的几个数量级的改进。视频:https://youtu.be/i8yyEbbvoEk
2020-06-09 cs.AI cs.CV cs.LG
Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
NVIDIA(英伟达)
Fast-ThinkAct通过可言说的潜在规划实现高效的视觉-语言-动作推理,显著降低推理延迟并保持长周期规划能力。
2026-02-24 cs.AI cs.CV cs.LG
SAMPLE-HD: Simultaneous Action and Motion Planning Learning Environment
Imperial College London(帝国理工学院)
人类表现出令人难以置信的高水平的多模态理解-将视觉线索与阅读或听到的知识相结合,对我们来说很容易,并允许与周围环境进行非常准确的互动。各种仿真环境的重点是为与场景理解、问答、空间探索、视觉导航相关的任务提供数据。在这项工作中,我们提供了一个解决方案,包括在一个新的环境中学习交互式推理的操作设置,模拟的视觉和行为方面。SAMPLE-HD环境允许生成由小型家用对象组成的各种场景,以程序方式生成用于操纵的语言指令,并生成用作训练数据的地面实况路径。
2022-06-01 cs.AI cs.LG cs.RO
PlanLLM: Video Procedure Planning with Refinable Large Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对视频过程规划中闭集解码与固定常识描述噪声问题,提出 PlanLLM 跨模态框架,通过 LLM 增强规划和互信息最大化实现闭集与开放词汇规划,并在三个基准上取得优越性能。
2025-01-07 cs.AI cs.CV cs.LG
Learning model-based planning from scratch
DeepMind
传统观点认为,基于模型的规划是一种强有力的顺序决策方法。然而,它在实践中往往非常具有挑战性,因为虽然模型可以用于评估计划,但它并没有规定如何构建计划。在这里,我们介绍了“基于想象的规划师”,第一个基于模型的顺序决策代理,可以学习构建,评估和执行计划。在任何行动之前,它可以执行数量不等的想象步骤,包括提出一个想象的行动,并用基于模型的想象来评估它。所有想象的行动和结果都被反复地聚合到一个“计划背景”中,这个背景决定了未来的真实和想象的行动。智能体甚至可以决定如何想象:测试替代的想象动作,将动作序列链接在一起,或者通过使用学习的策略在先前想象的状态中灵活导航来构建更复杂的“想象树”。我们的智能体可以学习经济地计划,联合优化外部奖励和与使用其想象力相关的计算成本。我们表明,我们的架构可以学习解决一个具有挑战性的连续控制问题,也可以学习详细的规划策略,在一个离散的迷宫解决任务。我们的工作开辟了一个新的方向,学习基于模型的规划系统的组成部分,以及如何使用它们。
2017-07-19 cs.AI cs.LG cs.NE
KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents
Zhejiang University(浙江大学);ZJU-Ant Group Joint Research Center for Knowledge Graphs(浙江大学-蚂蚁集团知识图谱联合研究中心);Ant Group(蚂蚁集团);National University of Singapore(新加坡国立大学)
KnowAgent通过引入动作知识库和自学习策略约束规划路径,增强LLM智能体的规划能力,缓解规划幻觉,并在HotpotQA和ALFWorld上取得优于或媲美基线的性能。
2025-02-21 cs.AI cs.CL cs.HC
Active model learning and diverse action sampling for task and motion planning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
这项工作的目的是增加机器人的基本能力,通过学习使用新的感觉运动原语,使复杂的长期问题的解决方案。解决复杂领域的长期问题需要灵活的生成式规划,可以将原始能力以新颖的组合方式结合起来,以解决世界上出现的问题。为了计划组合原语动作,我们必须有这些动作的前提条件和效果的模型:在什么情况下执行这个原语会在世界上实现某种特定的效果?我们使用,并开发新的改进,国家的最先进的方法,主动学习和采样。我们使用高斯过程的方法来学习操作员的有效性的条件,从少量的昂贵的训练样本收集的机器人实验。我们开发了自适应采样方法,用于在规划解决新任务时生成连续集(如机器人配置和对象姿态)的各种元素,以便规划尽可能高效。我们在一个集成系统中演示了这些方法,将新学习的模型与一个高效的连续空间机器人任务和运动规划器相结合,学习比以前更有效地解决长时间问题。
2018-08-12 cs.AI cs.LG cs.RO
Enhancing Lattice-based Motion Planning with Introspective Learning and Reasoning
Linköping University(林雪平大学)
基于格的运动规划是一种混合规划方法,其中由离散动作同时组成的规划是物理上可行的轨迹。规划考虑离散和连续方面,例如动作先决条件和配置空间中的无冲突动作持续时间。安全运动规划依赖于用于碰撞检查的校准良好的安全裕度。轨迹跟踪控制器还必须能够在该安全裕度内可靠地执行运动,以便执行是安全的。在这项工作中,我们关注的是随着时间的推移对控制器性能的内省学习和推理。不同动作的正常控制器执行是使用可靠的和不确定性感知的机器学习技术来学习的。通过校正执行偏差,我们设法大大减少运动动作的安全裕度。进行推理以验证学习的模型保持安全,并通过使用具有较小安全裕度的更准确的执行预测来提高运动规划器中的碰撞检查有效性。所提出的方法允许在正常情况下控制器性能的明确意识,并在异常情况下及时检测不正确的性能。采用仿真方法对四轴飞行器的非线性动力学进行了三维评估。视频:https://youtu.be/STmZduvSUMM
2021-12-06 cs.AI cs.LG cs.RO