Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
目标导向的行为和习惯性行为有什么区别?我们提出了一个新的计算框架的决策与贝叶斯推理,其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习,从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$,使用主动推理,优化过去,当前和未来的${z}$,通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性,在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);DeepMind
用于顺序决策的标准规划器(包括蒙特卡罗规划、树搜索、动态规划等)都受到一个隐含的顺序计划假设的约束:计划的构建顺序与执行顺序相同。我们考虑替代这一假设的类目标导向的强化学习(RL)的问题。而不是一个环境过渡模型,我们假设一个不完美的,目标导向的政策。这个低层次的策略可以通过一个计划来改进,该计划由一系列适当的子目标组成,这些子目标从开始到目标状态都对策略进行指导。我们提出了一个规划算法,分治蒙特卡罗树搜索(DC-MCTS),近似的最优计划,通过提出的中间子目标,分层划分的初始任务成简单的,然后独立和递归地解决。该算法批判性地利用了一个学习的子目标的建议,找到适当的分区树的新任务的基础上先前的经验。学习子目标建议的不同策略会产生严格概括顺序规划的不同规划策略。我们表明,这种算法的灵活性,规划顺序导致改进的结果,在网格世界中的导航任务,以及在具有挑战性的连续控制环境。
2020-04-23 cs.AI cs.LG stat.ML
Diffusion Subgoal Planning for Long-Horizon Offline Goal-Conditioned Reinforcement Learning
China University of Mining and Technology(中国矿业大学);South China University of Technology(华南理工大学)
针对长视界离线目标条件强化学习中价值函数不稳定问题,提出基于扩散的子目标生成框架DSP,通过无分类器引导生成可达且目标导向的子目标,在导航和操作任务上优于现有方法。
2026-10-21 cs.AI
Goal-Directed Planning for Habituated Agents by Active Inference Using a Variational Recurrent Neural Network
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
关键是要问代理人如何能够通过生成行动计划来实现目标,而这些行动计划只使用通过习惯化的感觉-运动经验获得的世界的部分模型。虽然许多现有的机器人研究使用前向模型框架,但存在高自由度的泛化问题。目前的研究表明,采用生成模型的预测编码(PC)和主动推理(AIF)框架可以通过学习低维潜在状态空间中的先验分布来开发更好的泛化能力,该空间表示从良好习惯的感觉运动轨迹中提取的概率结构。在我们提出的模型中,学习是通过推断最佳潜变量以及突触权重来最大化证据下限,而目标导向规划是通过推断潜变量来最大化估计下限来完成的。我们提出的模型进行了评估与简单和复杂的机器人任务在仿真中,这表明了足够的泛化学习有限的训练数据通过设置一个中间值的正则化系数。此外,比较仿真结果表明,所提出的模型优于传统的前向模型在目标导向的规划,由于事先学习限制搜索的运动计划范围内的习惯轨迹。
2020-05-27 cs.AI cs.RO
Robot Task Planning Based on Large Language Model Representing Knowledge with Directed Graph Structures
South China University of Technology(华南理工大学);University of Washington(华盛顿大学)
针对传统机器人任务规划在非结构化环境与复杂任务下的挑战,提出结合人类经验与LLM的任务规划方法,设计有向图知识表示的Think_Net_Prompt模板与任务树分解、规划解耦策略,在多任务上表现良好并指出待改进方向。
2023-06-08 cs.AI cs.RO
Jacobian Exploratory Dual-Phase Reinforcement Learning for Dynamic Endoluminal Navigation of Deformable Continuum Robots
The Department of Electronic Engineering, The Chinese University of Hong Kong(电子工程系,香港中文大学)
针对可变形连续体机器人腔内导航的规划难题,提出融合雅可比估计与策略执行的双阶段强化学习框架JEDP-RL,通过局部探索估计雅可比并增强状态表示,在收敛速度、导航效率与泛化性上均显著优于PPO基线。
2025-08-30 cs.AI cs.RO cs.SY
GUITester: Enabling GUI Agents for Exploratory Defect Discovery
Beijing Jiaotong University(北京交通大学);Hithink Research(慧思科技);Nanyang Technological University(南洋理工大学)
GUITester通过解耦导航与验证的多代理框架,有效解决了探索性GUI测试中目标导向遮蔽和执行偏差归因的问题,实现了48.90%的F1分数。
2026-01-08 cs.AI
Cognitive Maps in Language Models: A Mechanistic Analysis of Spatial Planning
University College London(伦敦大学学院);University of Oxford(牛津大学)
本文通过在三类空间任务上训练GPT-2并开展多维度机制分析,发现探索训练催生类认知地图的可泛化空间表征,目标导向训练则形成路径依赖策略,揭示了Transformer空间智能的泛化-优化权衡规律。
2025-11-17 cs.AI
Real-World Robot Control by Deep Active Inference With a Temporally Hierarchical World Model
Graduate School of Integrated Design Engineering, Keio University(Keio大学整合设计工程研究院)
本文提出一种结合时序分层世界模型的深度主动推断框架,用于在不确定环境中实现机器人高成功率的操作与探索性动作切换。
2025-12-01 cs.AI cs.LG cs.RO
V-REX: Benchmarking Exploratory Visual Reasoning via Chain-of-Questions
University of Maryland, College Park(马里兰大学学院市分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出V-REX基准,通过问题链将多步探索推理分解为规划和遵循能力,评估视觉语言模型在复杂开放任务中的表现。
2026-06-09 cs.AI cs.CV cs.LG
Planning as Dynamics Relaxation: Hippocampal Recurrent Network Realizes Optimal Goal-Directed Navigation
Peking University(北京大学);IDG/McGovern Institute for Brain Research(IDG/麦戈文脑科学研究所);Peking-Tsinghua Center for Life Sciences(北大-清华生命科学中心);Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);Center of Quantitative Biology, Peking University(北京大学定量生物学中心)
本研究提出海马递归网络通过松弛动力学实现最优目标导向导航,其活动场等价于LMDP期望场,理论分析与模拟证明其在复杂障碍环境中高效鲁棒,且支持局部环境变化的低秩更新。
2026-11-13 cs.AI q-bio.NC
Extending planning knowledge using ontologies for goal opportunities
Universitat Politècnica de València(瓦伦西亚理工大学)
以目标为导向的行为方法包括在线规划和机会主义规划,通过生成替代目标来避免失败或抓住机会,从而应对环境的变化。然而,当前的方法仅解决与正在解决的规划任务中已经定义的对象或对象类型相关的未预期的变化。本文描述了一种独立于领域的方法,通过扩展具有新类型的相关对象的规划任务的知识来推进最新技术。该方法利用本体,语义措施,本体对齐,以适应新获得的数据,触发制定目标的机会,诱导一个更好的价值计划。
2019-04-07 cs.AI
DAG-Plan: Generating Directed Acyclic Dependency Graphs for Dual-Arm Cooperative Planning
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences (CASIA)(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院(CASIA));School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,北京大学计算机科学学院);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室,OpenGVLab)
提出DAG-Plan框架,首次使用有向无环图作为双臂协调的核心表示,通过一次LLM解析生成结构化DAG,实现自适应并行执行,在双臂厨房基准测试中成功率提升48%,执行效率提升84.1%。
2026-05-30 cs.AI cs.RO
Model-Lite Case-Based Planning
Sun Yat-sen University(中山大学);Arizona State University(亚利桑那州立大学)
在规划界,人们越来越意识到,依赖于完整的模型阻碍了规划技术在许多现实世界领域中的适用性,在这些领域中,指定完整的领域模型的负担太高。在本文中,我们认为这一挑战,结合不完整的领域模型与库的计划情况下,已知是正确的生成规划的一种新的解决方案。虽然这可以说是基于案例的规划的原始动机,但大多数现有的基于案例的规划者都假设(并依赖于)从头开始的规划者,他们在完整的领域模型上工作。相比之下,我们的方法将不完整模型生成的计划视为“骨架计划”,并通过从库案例中直接挖掘计划片段来增强计划。我们将介绍我们的方法的细节,并提出一个经验评估我们的方法相比,一个国家的最先进的基于案例的计划,依赖于完整的领域模型。
2012-07-28 cs.AI
Efficiently Exploring Ordering Problems through Conflict-directed Search
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在规划和调度中,同时具有状态和时间约束的问题很难求解,因为这些约束可能是高度耦合的。明智的事件排序使求解器能够有效地对动作序列做出决策,以满足复杂的混合规范。因此,排序问题是规划的基础。最近有前途的工作已经探索了搜索的排序问题,结合一个特殊的树结构的效率。然而,这样的方法只推理部分订单规格。已经观察到排序相对于底层约束是不一致的,现有的工作没有利用树结构来有效地生成解决不一致的排序。在本文中,我们提出了一种冲突导向的搜索方法,以增量和系统地生成事件的总订单给定的排序关系和冲突返回的子求解器的增量总排序(CDITO)。由于其对冲突进行推理的能力,CDITO比增量总排序更有效。我们证明了这一点的基准时间网络配置问题,涉及路由网络流量和分配带宽资源随着时间的推移。
2019-04-15 cs.AI cs.DM
Procedure Planning in Instructional Videos via Contextual Modeling and Model-based Policy Learning
University of Rochester(罗切斯特大学)
通过观察人类的行为来学习新技能是人工智能的一项基本能力。在这项工作中,我们利用教学视频来研究人类的决策过程,重点是学习一个模型来计划现实生活中的视频目标导向的行动。与传统的行动识别不同,目标导向的行动是基于对行动结果的预期,需要对行动的潜在后果有因果关系的知识。因此,将环境结构与目标相结合是解决这一任务的关键。以前的工作学习一个单一的世界模型将无法区分不同的任务,导致一个模糊的潜在空间;通过它进行规划将逐渐忽视预期的结果,因为未来目标的全局信息随着程序的发展而迅速退化。我们解决了这些限制与新制定的程序规划,并提出了新的算法,通过贝叶斯推理和基于模型的模仿学习来模拟人类行为。在真实教学视频上进行的实验表明,我们的方法可以达到最先进的性能,达到指定的目标。此外,所学习的上下文信息呈现了用于在潜在空间中进行规划的有趣特征。
2021-10-08 cs.AI cs.CV
Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes
University of Central Lancashire(中央兰开夏大学)
本文探索利用SLMs与边缘计算支持CEAA的“思考”“记忆”组件,在NVIDIA Jetson Orin NX上用Qwen2.5模型开发边缘虚拟智能体网关,经模拟实验验证其可高效运行部分CEAA过程,助力沉浸式虚拟世界具身智能体开发。
2026-08-14 cs.AI
Count-based Novelty Exploration in Classical Planning
The University of Melbourne(墨尔本大学)
提出经典基于计数的新颖性技术,利用元组出现频率以恒定元组数探索状态空间,并引入修剪式开放列表,集成后显著提升实例覆盖率并超越现有求解器。
2024-08-25 cs.AI
Planning with External Events
Carnegie Mellon University(卡内基梅隆大学)
我描述了一个规划方法的不确定性域的外部事件的形式是不完全可预测的。事件由使能条件和发生概率表示。计划器是目标导向和反向链接的,但子目标是通过分析部分计划的成功概率来建议的,而不仅仅是计划中操作员的开放条件。部分计划表示为贝叶斯信念网,以计算其成功概率。由于计算一个计划的成功概率可能是非常昂贵的,我介绍了另外两种计算它的技术,一种是使用蒙特卡洛模拟来估计它,另一种是基于马尔可夫链表示,它使用有关描述域的谓词之间的依赖关系的知识。
2013-02-27 cs.AI
Cost-Optimal Algorithms for Planning with Procedural Control Knowledge
Knexus Research Corporation(Knexus研究公司);MITRE(MITRE公司);Naval Research Laboratory(海军研究实验室)
有一个令人印象深刻的机构的工作,发展规划和其他推理算法,以指导搜索最佳和任何时候的规划算法的经典规划。然而,很少的努力已被导向开发类似的技术,以引导搜索到高质量的解决方案,如HTN规划的层次规划形式主义,它允许使用额外的特定领域的程序控制知识。代替这种技术,这种控制知识通常需要为规划算法提供必要的搜索指导,这给领域作者带来了很大的负担,并且可能产生脆弱或容易出错的领域模型。我们通过扩展最近的工作,一个新的分层目标为基础的规划形式主义,称为分层目标网络(HGN)规划开发的分层最优目标分解规划(HOpGDP),HGN规划算法,计算分层最优的计划,来解决这个差距。HOpGDP由$h_{HL}$指导,$h_{HL}$是一种新的HGN规划启发式算法,它扩展了现有的基于可容许地标的启发式算法,从经典规划中计算HGN规划问题的可容许成本估计。我们在三个基准规划领域的实验评估表明,HOPGDP相比,由于其能够使用特定领域的程序知识,和盲目搜索版本的HOPGDP由于$h_{HL}$提供的搜索指导的最佳经典规划。
2016-07-07 cs.AI
Deep Policies for Width-Based Planning in Pixel Domains
Grupo Oesía(奥西亚集团);Universitat Pompeu Fabra(庞培法布拉大学)
近年来,基于宽度的规划已经取得了巨大的成功,因为它能够独立于状态空间的大小进行扩展。例如,Bandres等人(2018)介绍了迭代宽度算法的推出版本,其性能与Atari游戏套件像素设置中的人类和学习方法相比非常好。在这种情况下,计划是在线完成的,使用“屏幕”状态和选择行动,展望未来。然而,该算法纯粹是探索性的,不利用过去的奖励信息。此外,它要求将状态分解为需要为特定任务预定义的特征,例如,B-PROST像素特征。在这项工作中,我们扩展了基于宽度的规划,将一个明确的政策,在行动选择机制。我们的方法,称为$π$ -IW,交错宽度为基础的规划和策略学习使用的状态行动访问的规划师。策略估计采用神经网络的形式,并进而用于指导规划步骤,从而加强有希望的路径。令人惊讶的是,我们观察到,由神经网络学习的表示可以用作基于宽度的规划器的特征空间,而不会降低其性能,从而消除了对规划器的预定义特征的要求。我们比较$π$ -IW与以前的宽度为基础的方法和AlphaZero,一种方法,也交错规划和学习,在简单的环境中,并表明,$π$ -IW具有优越的性能。我们还表明,$π$ -IW算法优于以前的宽度为基础的方法在像素设置的Atari游戏套件。
2021-10-05 cs.AI
Universal Planning Networks
UC Berkeley, Computer Science(加州大学伯克利分校计算机科学)
复杂视觉控制中的一个关键挑战是学习有效的抽象表示,用于指定目标,规划和泛化。为此,我们引入通用规划网络(UPN)。UPN在目标导向的政策中嵌入了可区分的规划。该规划计算在潜在空间中展开前向模型,并且通过梯度下降轨迹优化来推断最优行动计划。逐梯度下降过程及其底层表示是端到端学习的,以直接优化有监督的模仿学习目标。我们发现,学习的表示不仅是有效的目标导向的视觉模仿,通过基于梯度的轨迹优化,但也可以提供一个指标,指定目标使用图像。可以利用学习的表示来指定基于距离的奖励,以达到无模型强化学习的新目标状态,从而在解决通过基于图像的目标描述的新任务时实现更有效的学习。我们能够在具有显著不同形态和驱动能力的机器人之间成功地转移视觉规划策略。
2018-04-04 cs.AI cs.CV cs.LG
DEF-oriCORN: efficient 3D scene understanding for robust language-directed manipulation without demonstrations
Korea Advanced Institute of Science and Technology(韩国科学技术院)
DEF-oriCORN提出基于物体的场景表示与扩散模型状态估计,在稀疏视图和紧密堆叠环境中无需演示即可实现鲁棒的语言引导操作,并零样本泛化到真实场景。
2024-07-31 cs.AI cs.CV cs.RO
Topology-Consistent Task Planning over Cellular Workflow Complexes for LLM-based Agents
Intelligent System Department, Zhongxing Telecom Equipment (ZTE)(中兴通讯智能系统部);Towngas, China(港华燃气);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院)
提出TopoPlanner,将工具依赖图提升为细胞工作流复形,通过拓扑感知检索与推理为LLM提供规划上下文,在含循环、合并等复杂模式的工作流规划基准上优于现有基线。
2026-10-07 cs.AI
A Joint Planning and Learning Framework for Human-Aided Decision-Making
Auburn University(奥本大学);NVIDIA Corporation(英伟达公司);Maana Inc.(Maana公司)
传统的强化学习(RL)允许智能体仅通过环境奖励来学习策略,具有长而慢的学习曲线,特别是在开始阶段。相反,人类的学习通常要快得多,因为利用了先验知识和一般知识以及多种信息资源。在本文中,我们提出了一个\textbf{P} lanner- \textbf{A} ctor- \textbf{C} ritic架构为hu \textbf{MAN}为中心的规划和学习(\textbf{PACMAN}),其中一个代理使用先验的,高层次的,确定性的符号知识计划目标导向的行动。PACMAN集成了RL的Actor-Critic算法,以微调其对环境奖励和人类反馈的行为。据我们所知,这是第一个统一的框架,其中基于知识的规划,强化学习和人类教学共同促进代理的策略学习。我们的实验表明,PACMAN导致一个显着的跳跃开始在学习的早期阶段,收敛速度快,方差小,是强大的不一致,罕见的,和误导性的反馈。
2019-12-24 cs.AI
Computing the Value of Computation for Planning
University College London(伦敦大学学院)
智能代理执行操作以实现其目标。这样的动作可以是外部定向的,例如开门,或者是内部定向的,例如将数据写入存储器位置或加强突触连接。一些内部动作,我们称之为计算,可能有助于代理选择更好的动作。考虑到(外部)动作和计算可能会利用相同的资源,例如时间和能量,决定何时采取行动或计算,以及计算什么,对智能体的性能有害。在根据代理的行为提供奖励的环境中,动作的价值通常被定义为动作之后的预期长期奖励之和(本身是一个复杂的量,取决于代理在所讨论的动作之后继续做什么)。然而,定义计算的价值并不那么简单,因为计算只有在更高阶的方式下才有价值,通过改变动作。本论文提供了一个原则性的方法来计算的价值,在规划设置形式化为马尔可夫决策过程。我们提出了两种不同的计算值的定义:静态和动态。它们解决了计算预算的两种极端情况:提供未来零步或无限多步的计算。我们证明了这些值具有理想的性质,如时间一致性和渐近收敛性。此外,我们提出了有效地计算和近似的静态和动态计算值的方法。我们描述了一种意义上的政策,greetly最大化这些值可以是最优的。我们利用这些原则来构建蒙特卡罗树搜索算法,在相同的模拟资源下,在寻找更高质量的动作方面优于大多数最先进的算法。
2018-11-07 cs.AI
DORA The Explorer: Directed Outreaching Reinforcement Action-Selection
School of Computer Science and Engineering(计算机科学与工程学院);Department of Cognitive Sciences(认知科学系);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);The Edmond and Lily Safra Center for Brain Sciences(埃德蒙与莉莉·萨夫拉脑科学中心);Departments of Neurobiology and Cognitive Sciences(神经生物学与认知科学系);the Federmann Center for the Study of Rationality(费德曼理性研究中心)
探索是强化学习的一个基本方面,通常使用随机动作选择来实现。然而,如果探索的目的是获得新的世界知识,那么它会更有效率。访问计数器已被证明是有用的,在实践中和理论上的直接勘探。然而,计数器的一个主要限制是它们的位置。虽然有一些基于模型的解决方案来解决这个缺点,但仍然缺少无模型的方法。我们提出了$E$ -值,计数器的泛化,可用于评估传播的探索性值的状态动作轨迹。我们将我们的方法与常用的RL技术进行比较,并表明使用$E$值可以提高传统计数器的学习和性能。我们还展示了如何使用函数逼近来实现我们的方法,以有效地学习连续的MDP。我们证明了这一点,表明我们的方法超越了高速公路雅达利2600游戏的最先进的性能。
2018-04-11 cs.AI cs.LG stat.ML
Beyond Entangled Planning: Task-Decoupled Planning for Long-Horizon Agents
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(人工智能安全国家重点实验室、计算技术研究所、中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出任务解耦规划(TDP)方法,通过将任务分解为子目标图,减少长horizon智能体的规划误差传播,提升鲁棒性和效率。
2026-01-12 cs.AI
Goal-conditioned Offline Planning from Curious Exploration
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
本文针对无额外环境交互的离线场景,提出将基于模型的规划与基于图的价值聚合相结合,以纠正目标条件价值函数中的估计伪影,从而显著提升零样本目标到达性能。
2023-11-28 cs.AI cs.LG
Compact Belief State Representation for Task Planning
Istituto Italiano di Tecnologia(意大利理工学院);Università di Genova(热那亚大学)
概率信念状态域中的任务规划允许在受状态不确定性影响的那些域中生成复杂且鲁棒的执行策略。任务规划器的性能依赖于信念状态表示。然而,目前的信念状态表示变得容易棘手的变量和执行时间的增长。为了解决这个问题,我们开发了一种新的信念状态表示的基础上的carnival产品和联盟的信念子状态的操作。这两种操作和单变量赋值节点构成了信念状态的与或有向无环图(AOBS)。我们展示了如何应用具有概率结果的动作,并测量在信念状态下保持的条件的概率。我们在模拟前向状态空间探索中评估了AOBS的性能。我们比较了AOBS的大小与以前用来表示信念状态的二元决策图(BDD)的大小。我们表明,AOBS表示不仅是一个完整的信念状态更紧凑,但它也比BDD在大多数情况下规模更好。
2020-08-21 cs.AI
Structure and Complexity in Planning with Unary Operators
Ben-Gurion University(本古里安大学)
一元算子域--即,在许多控制问题中,算子具有单一效果的域自然出现。在其最一般的形式中,一元算子域中的CNOPS规划问题与一般的CNOPS规划问题一样困难-两者都是PSPACE完备的。然而,一元算子域诱导了一个自然的结构,称为域的因果图。该图关系到每个域运算符的前提条件和效果。威廉姆斯和纳亚克利用因果图来分析NASA深空一号航天器中一个控制器的计划生成。在那里,他们利用了这样一个事实,即当这个图是非循环的时,可以快速获得任何子目标的序列化排序。在本文中,我们进行了全面的研究领域的因果图的结构和规划的复杂性之间的关系在这个领域。在积极的一面,我们表明,一个非平凡的多项式时间计划生成算法存在的域的因果图诱导一个多边形树,其节点入度上的一个常数。在消极的一面,我们甚至计划存在是困难的,当图是一个有向路径单连通DAG。更一般地说,我们表明,因果图中的路径的数量是密切相关的规划在相关联的域的复杂性。最后,我们将我们的研究结果与问题的复杂性规划序列化的子目标。
2011-06-26 cs.AI
Goal-Directed Design Agents: Integrating Visual Imitation with One-Step Lookahead Optimization for Generative Design
Carnegie Mellon University(卡内基梅隆大学);The Pennsylvania State University(宾夕法尼亚州立大学)
工程设计问题通常涉及大的状态和动作空间以及高度稀疏的奖励。由于对这些空间的穷举搜索是不可行的,因此人类利用相关领域知识来压缩搜索空间。之前,引入了深度学习代理(DLASTIC),以使用视觉模仿学习来对设计领域知识进行建模。本说明建立在DLASTRUCTURE,并将其与一步前瞻搜索相结合,以开发能够增强顺序生成设计的学习策略的目标导向代理。目标导向的DLABLOG可以采用从数据中学习的人类策略以及优化目标函数。来自DLAtron的视觉模仿网络由卷积编码器-解码器网络组成,充当对反馈不可知的粗略规划步骤。同时,前瞻搜索确定微调的设计行动的指导下的目标。这些设计代理接受无约束桁架设计问题的训练,该问题被建模为顺序的、基于动作的配置设计问题。然后,对两个版本的问题的代理进行评估:用于训练的原始版本和一个看不见的约束版本与一个受阻的建设空间。目标导向的代理优于人类设计师用于训练网络以及以前的目标不可知版本的代理在这两种情况下。这说明了一个设计代理框架,可以有效地使用反馈,不仅提高了学习的设计策略,但也适应看不见的设计问题。
2021-10-07 cs.AI
TextQuests: How Good are LLMs at Text-Based Video Games?
Center for AI Safety(人工智能安全中心);Carnegie Mellon University(卡内基梅隆大学);Gray Swan AI(灰天鹅AI)
本文提出基于互动小说的基准TextQuests,通过禁止外部工具专注评估LLM智能体在长上下文探索性环境中的持续自主推理与独立解决问题能力。
2025-08-13 cs.AI cs.CL
Planning over Chain Causal Graphs for Variables with Domains of Size 5 Is NP-Hard
Universitat Pompeu Fabra(庞培法布拉大学)
最近,相当多的焦点已被给予的问题,确定之间的边界的听话和棘手的规划问题。本文研究了规划问题类C_n中规划问题的复杂性,其特征是一元算子和有向路径因果图。虽然这是一个规划问题的因果图的最简单的形式之一,我们表明,规划是棘手的C_n(除非P = NP),即使状态变量的域有界的大小。特别地,我们证明了C_n^k的计划存在性是NP-困难的,其中k>=5。这里,k表示状态变量域的大小的上限。我们的结果将类C_n^k的复杂度差距缩小到k=3和k=4的情况,因为已知C_n^2是易处理的。
2014-01-15 cs.AI cs.CC
Beyond ChatBots: ExploreLLM for Structured Thoughts and Personalized Model Responses
Google(谷歌);Google Deepmind(谷歌DeepMind);Emory University(埃默里大学)
本文提出 ExploreLLM,通过类模式结构和图形界面帮助用户组织思维、探索选项并表达高层偏好,从而降低纯文本聊天交互的认知负担,实现更个性化的 LLM 响应。
2023-12-01 cs.AI cs.CL cs.HC
Sub-Goal Trees -- a Framework for Goal-Directed Trajectory Prediction and Optimization
Technion(以色列理工学院);Osaro Inc.(Osaro公司)
在机器人和其他领域,许多人工智能问题都是目标导向的,本质上是寻找一条通往某种目标状态的轨迹。在这样的问题中,我们选择表示轨迹的方式是轨迹预测和优化算法的基础。有趣的是,大多数先前的模仿和强化学习工作都建立在顺序轨迹表示的基础上--计算轨迹中的下一个状态。我们提出了一个不同的观点:一个目标条件的轨迹可以表示为首先选择一个中间状态之间的开始和目标,分割的轨迹分为两个。然后,递归地预测每个子段上的中间点,直到获得完整的轨迹。我们将这种表示称为子目标树,并在此基础上开发了用于轨迹预测,学习和优化的新方法。我们表明,在一个监督学习设置,子目标树更好地考虑轨迹的变化,并可以预测轨迹指数更快地在测试时,利用并发计算。然后,对于优化,我们推导出一个新的子目标树的动态规划方程,并使用它来开发新的规划和强化学习算法。这些算法,这是不是基于标准的贝尔曼方程,自然占分层子目标结构的任务。运动规划领域的实验结果表明,子目标树框架显着提高了准确性和预测时间。
2019-06-12 cs.AI cs.LG stat.ML
Exploring the Edges of Latent State Clusters for Goal-Conditioned Reinforcement Learning
Rutgers University(罗格斯大学)
针对无监督目标条件强化学习中的探索难题,提出簇边缘探索算法,通过潜在空间聚类并优先选择可达边界目标,在多个机器人环境中显著提升探索效率。
2024-11-03 cs.AI cs.LG cs.RO
Planning Goals for Exploration
University of Pennsylvania(宾夕法尼亚大学)
在一个未知的环境中,智能体应该做些什么来快速了解环境,以及如何在环境中完成各种任务?我们在目标条件强化学习范式中解决了这个问题,通过确定代理应该如何在训练时设置目标以最大化探索。我们提出了“规划探索性目标”(PEG),这是一种为每个训练集设置目标的方法,可以直接优化内在的探索奖励。PEG首先选择目标命令,使得代理的目标条件策略在其当前训练水平下将最终处于具有高探索潜力的状态。然后,它启动了一项勘探政策,从那些有希望的州开始。为了实现这种直接优化,PEG学习世界模型并将基于采样的规划算法适配为“规划目标命令”。在具有挑战性的模拟机器人环境中,包括迷宫中的多腿蚂蚁机器人和杂乱桌面上的机器人手臂,PEG探索可以更有效地训练目标条件策略,相对于基线和消融。我们的蚂蚁成功地通过了一个长长的迷宫,机器人手臂在命令下成功地建立了一个三块的堆栈。网址:https://penn-pal-lab.github.io/peg/
2023-03-23 cs.AI cs.LG cs.RO
How Much Planning Is Enough? Reducing Search and Computation in World-Model Planning
Beihang University(北京航空航天大学);Nanyang Technological University(南洋理工大学);Chengdu University of Technology(成都理工大学)
本文提出SufficientPlan框架,通过配对顺序预算认证和静态上下文重用,在不修改预训练模型的情况下减少世界模型规划中的搜索预算与延迟,同时保持竞争性控制性能。
2026-10-07 cs.AI cs.RO
Learning, Fast and Slow: A Goal-Directed Memory-Based Approach for Dynamic Environments
National University of Singapore(新加坡国立大学)
基于模型的下一状态预测和状态值预测收敛缓慢。为了应对这些挑战,我们做了以下几点:i)我们使用并行记忆检索系统(我们称之为慢速机制)来进行基于模型的规划,而不是使用神经网络; ii)我们使用目标导向探索来指导智能体的行动,而不是学习状态值,通过使用神经网络来选择给定当前状态和目标状态的下一个行动(我们称之为快速机制)。目标导向的探索是在线训练的,使用海马回放访问状态和未来想象的状态,每一个时间步,导致快速和有效的训练。实证研究表明,我们提出的方法在动态变化的网格世界中的100集上有92%的解决率,显著优于最先进的演员评论机制,如PPO(54%),TRPO(50%)和A2C(24%)。消融研究表明,这两种机制都是至关重要的。我们认为,强化学习(RL)的未来将是为各种任务建模目标和子目标,并以目标导向的基于记忆的方法进行规划。
2023-02-01 cs.AI cs.LG
Scaling Multi-Agent Epistemic Planning through GNN-Derived Heuristics
Department of Sciences and Methods for Engineering, University of Modena and Reggio Emilia(工程科学与方法系,摩德纳和雷吉奥艾米利亚大学);Department of Computer Science, University of Oxford(计算机科学系,牛津大学);Department of Computer Science, University of Pisa(计算机科学系,比萨大学)
本文通过GNN衍生启发式方法提升多智能体认知规划的可扩展性,改进求解效率。
2026-02-06 cs.AI cs.MA
Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective
Department of Computer Science, George Mason University(乔治·马歇尔大学计算机科学系)
本文从分层规划角度分析了LLM网络代理失败原因,发现低层执行是主要瓶颈,改进感知接地和自适应控制对实现人类可靠性至关重要。
2026-04-27 cs.AI cs.CL
Learning, Planning, and Control in a Monolithic Neural Event Inference Architecture
Cognitive Modeling Group Computer Science Department University of Tübingen(图宾根大学认知建模组计算机科学系)
该研究提出了一种单体神经事件推理架构REPRISE,通过学习动态系统的时序事件预测模型,结合回顾和前瞻推理,实现对传感器运动动态的高效预测与控制。
2019-05-02 cs.AI cs.LG cs.SY
Value Directed Exploration in Multi-Armed Bandits with Structured Priors
University of New Hampshire(新罕布什尔大学)
多武装匪徒是一个典型的机器学习问题,需要平衡探索和利用。虽然在开发具有强有力理论保证的算法方面取得了进展,但对实际接近最优的有限时间性能的关注较少。在本文中,我们提出了一个算法贝叶斯多武装土匪,利用价值函数驱动的在线规划技术。在UCB和Gittins指数的基础上,引入了线性可分的价值函数,它既考虑了预期收益,又考虑了探索的收益,从而实现了n步前视。该算法享有次线性的性能保证,我们目前的模拟结果,确认其强度与结构化的先验问题。我们的方法的简单性和通用性,使它成为一个强大的候选人分析更复杂的多臂土匪问题。
2017-05-17 cs.AI cs.LG stat.ML
Predictive but Not Plannable: RC-aux for Latent World Models
Hokkaido University(北海道大学)
本文提出RC-aux,通过改进潜在世界模型的时空匹配,提升规划能力,实验表明其在目标导向任务中表现更优。
2026-11-17 cs.AI cs.CV cs.LG
Deep Imitative Models for Flexible Inference, Planning, and Control
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
模仿学习是一种学习自主行为的有效方法。然而,指导IL实现任意目标是困难的。相比之下,基于规划的算法使用动态模型和奖励函数来实现目标。然而,激发期望行为的奖励函数通常很难指定。在本文中,我们提出了模仿模型结合IL和目标导向规划的好处。模仿模型是期望行为的概率预测模型,能够规划可解释的专家般的轨迹以实现指定的目标。我们得到家庭的灵活的目标,包括受约束的目标区域,不受约束的目标集,和能源为基础的目标。我们表明,我们的方法可以使用这些目标,成功地指导行为。我们的方法在动态模拟自动驾驶任务中大大优于六种IL方法和基于规划的方法,并且在没有在线数据汇集的情况下从专家演示中有效地学习。我们还表明,我们的方法对于指定不明确的目标是鲁棒的,例如道路错误一侧的目标。
2019-10-01 cs.AI cs.CV cs.LG
Deep Intrinsically Motivated Exploration in Continuous Control
Bilkent University(比尔肯特大学)
在连续控制中,探索通常是通过无向策略进行的,其中网络的参数或选定的动作受到随机噪声的干扰。虽然无向探索的深度设置已被证明可以提高策略上方法的性能,但它们引入了过度的计算复杂性,并且已知在策略外设置中失败。内在动机的探索是一种有效的替代无向策略,但他们通常是离散的行动域的研究。在本文中,我们研究了内在动机如何有效地与深度强化学习相结合,以控制连续系统,以获得定向探索行为。我们将现有的动物动机系统理论应用到强化学习范式中,并引入了一种新颖的、可扩展的定向探索策略。所介绍的方法,由价值函数的误差最大化的动机,可以受益于收集的一组经验,通过提取有用的信息和统一的内在的探索动机在一个单一的探索目标下的文献。一组广泛的实证研究表明,我们的框架扩展到更大,更多样化的状态空间,大大提高了基线,并优于无向策略显着。
2022-10-01 cs.AI cs.LG
Policy-Guided Lazy Search with Feedback for Task and Motion Planning
University of Toronto Robotics Institute(多伦多大学机器人研究所);University of BITS Pilani(Birla技术与科学学院皮拉尼大学);University of Toronto(多伦多大学)
针对PDDLStream方法求解任务与运动规划问题耗时久的问题,提出带策略引导与反馈的LAZY求解器,通过集成动作骨架搜索和自适应引导,在7自由度模拟操作任务中显著提升了求解速度。
2023-08-23 cs.AI cs.RO
Cooperative Bayesian Optimization for Imperfect Agents
Aalto University(阿尔托大学);Hamburg University of Technology(汉堡工业大学);University of Manchester(曼彻斯特大学)
针对人机协作优化双变量黑盒函数的场景,提出将问题建模为序列决策、用贝叶斯自适应蒙特卡洛规划结合考虑用户保守信念更新与探索采样的用户模型的方法,可在用户不过度探索时更好找到全局最大值。
2024-03-07 cs.AI cs.LG cs.MA