Out of Sight, Still in Mind: Reasoning and Planning about Unobserved Objects with Video Tracking Enabled Memory Models
Kahlert School of Computing, University of Utah（犹他大学卡勒特计算学院）；University of Utah（犹他大学）；Oregon State University（俄勒冈州立大学）；NVIDIA（英伟达公司）
针对机器人在现实环境中处理被遮挡物体的问题，提出DOOM和LOOM方法，利用Transformer关系动力学和物体跟踪引擎编码记忆，在仿真和真实实验中优于隐式记忆基线。
2024-05-25 cs.AI cs.CV cs.LG
Hallucinative Topological Memory for Zero-Shot Visual Planning
Berkeley AI Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究）；Technion（以色列理工学院（Technion））
在视觉规划（VP）中，智能体从离线获得的动态系统的观察中学习规划目标导向的行为，例如，从自我监督机器人交互中获得的图像。以前的大多数VP工作都是通过在学习的潜在空间中进行规划来解决这个问题的，这导致了低质量的视觉计划和困难的训练算法。在这里，相反，我们提出了一个简单的VP方法，直接在图像空间中规划，并显示有竞争力的性能。我们建立在半参数拓扑记忆（SPTM）的方法：图像样本被视为节点在一个图形中，图形的连通性是从图像序列数据学习，并可以使用传统的图形搜索方法进行规划。我们提出了两个修改SPTM。首先，我们训练一个基于能量的图连接功能，使用对比预测编码，承认稳定的训练。其次，为了允许在新的域中进行zero-shot规划，我们学习了一个条件VAE模型，该模型在给定域的上下文的情况下生成图像，并使用这些幻觉样本来构建连接图和规划。我们表明，这种简单的方法显着优于国家的最先进的VP方法，在计划的可解释性和成功率方面，当使用该计划来指导一个自动跟踪控制器。有趣的是，我们的方法可以拾取对象的非平凡视觉属性，例如它们的几何形状，并在计划中考虑它。
2020-02-27 cs.AI cs.CV cs.LG
RetroAgent: Harnessing LLMs to Search Over Structured Memory for Agentic Retrosynthesis Planning
UCLA（加利福尼亚大学洛杉矶分校）；MIT（麻省理工学院）；Amazon（亚马逊公司）；UPenn（宾夕法尼亚大学）
研究多步逆合成规划难题，提出RetroAgent智能体，通过结合结构化记忆桥接符号搜索与神经推理，利用记忆和化学工具观察搜索状态，实验证明其在分布内和分布外基准测试中性能强且泛化能力好。
2026-07-22 cs.AI cs.CL cs.LG
Long Short-Term Memory for Spatial Encoding in Multi-Agent Path Planning
University of Stuttgart（斯图加特大学）；Stanford University（斯坦福大学）
基于强化学习的不同规模的多智能体系统的路径规划构成了一个研究课题，随着城市空中交通和自主飞行器等领域的不断进步，其重要性日益增加。具有连续状态和动作空间的强化学习用于训练策略网络，该策略网络适应期望的路径规划行为并且可以用于时间关键型应用。一个长短期记忆模块，提出了一个不同的，不确定数量的代理编码一个未指定数量的状态。所描述的训练策略和策略架构导致可扩展到无限数量的代理和无限物理维度的指导，尽管训练以较小的规模进行。该指南是在一个低成本，现成的机载计算机上实现的。所提出的方法的可行性进行了验证，提出了多达四个无人机的飞行测试结果，自主导航碰撞自由在现实世界的环境中。
2022-03-21 cs.AI cs.LG cs.MA
DNCs Require More Planning Steps
Department of Computer Science, Technion- Israel Institute of Technology, Haifa, Israel
研究指出Differentiable Neural Computer（DNC）的“规划预算”约束会损害其泛化能力和外部内存利用率，并在图最短路径等四个任务上验证了调整规划预算能显著改变所学算法的时间复杂度、训练时间、稳定性和泛化表现。
2024-06-04 cs.LG
RAP: Retrieval-Augmented Planning with Contextual Memory for Multimodal LLM Agents
Panasonic Connect Co., Ltd.（松下连接公司）；Panasonic R&D Center（松下研发中心）；National University of Singapore（新加坡国立大学）；Panasonic R&D Center Germany（德国松下研发中心）
提出检索增强规划（RAP）框架，通过动态利用过往经验增强多模态LLM智能体的规划能力，在文本和具身任务中均取得最优性能。
2024-02-06 cs.AI cs.CL cs.LG
VariBASed: Variational Bayes-Adaptive Sequential Monte-Carlo Planning for Deep Reinforcement Learning
Trent AI Ltd（Trent AI有限公司）；Delft University of Technology（代尔夫特理工大学）
本文提出VariBASeD方法，通过融合变分信念学习、序列蒙特卡洛规划和元强化学习，提升深度强化学习中探索与利用的效率。
2026-02-21 cs.LG
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
智能的一个标志是能够从例子中推导出一般原则，这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则，这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中，我们研究了使用深度强化学习和图神经网络来学习这种广义策略，并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
ViReSkill: Vision-Grounded Replanning with Skill Memory for LLM-Based Planning in Lifelong Robot Learning
Panasonic Connect Co., Ltd.（松下电器（株式会社））；Panasonic R&D Center（松下研发中心）；National University of Singapore（新加坡国立大学）
针对 LLM/VLM 机器人规划缺乏物理场景锚定且输出不稳定的问题，本文提出 ViReSkill，通过视觉条件重规划和可复用技能记忆实现终身学习，并在仿真与实体机器人上验证了更高成功率。
2025-09-29 cs.AI cs.LG cs.RO
Sparse Graphical Memory for Robust Planning
Berkeley AI Research（伯克利人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
为了在现实世界中有效地运作，智能体应该能够从高维原始感官输入（如图像）中采取行动，并在长时间范围内实现不同的目标。目前的深度强化和模仿学习方法可以直接从高维输入中学习，但不能很好地扩展到长时间任务。相比之下，像A* 搜索这样的经典图形方法能够解决长期任务，但假设状态空间是从原始感官输入中抽象出来的。最近的研究试图将深度学习和经典规划的优势结合起来;然而，该领域的主流方法仍然非常脆弱，并且随着环境的大小而扩展性很差。我们介绍了稀疏图形存储器（SGM），一个新的数据结构，存储状态和可行的转移在一个稀疏的内存。SGM根据一种新的双向一致性目标聚合状态，将经典的状态聚合标准适应于目标条件强化学习：当两个状态作为目标和起始状态都可互换时，它们是冗余的。从理论上讲，我们证明了合并节点根据双向一致性导致最短路径长度的增加，仅与合并阈值呈线性关系。在实验中，我们表明，SGM显着优于目前最先进的方法在长时间，稀疏奖励的视觉导航任务。项目视频和代码可在https://mishalaskin.github.io/sgm/上获得
2020-11-12 cs.AI cs.CV cs.LG
Goal-Directed Behavior under Variational Predictive Coding: Dynamic Organization of Visual Attention and Working Memory
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
心理模拟是目标导向行为的关键认知功能，因为它对于评估行为及其后果至关重要。当一个自我生成的或外部指定的目标被给定时，最有可能实现该目标的一系列行动是通过心理模拟从其他候选人中选出的。因此，更好的心理模拟会导致更好的目标导向行动计划。然而，开发心理模拟模型是具有挑战性的，因为它需要对自我和环境的了解。本文研究了如何通过自上而下的视觉注意和视觉工作记忆的动态组织，使机器人在心理上产生适当的目标导向的行动计划。为此，我们提出了一个神经网络模型的基础上变分贝叶斯预测编码，目标导向的行动规划制定潜在的意向空间的贝叶斯推理。我们的实验结果表明，有意义的认知能力，如自主自上而下的注意力的机器人末端执行器（其手），以及动态组织的无阻塞视觉工作记忆，出现。此外，我们的比较实验分析表明，引入视觉工作记忆和推理机制，使用变分贝叶斯预测编码显着提高规划足够的目标导向的行动的性能。
2019-03-12 cs.LG cs.RO
Generalizable Episodic Memory for Deep Reinforcement Learning
Tsinghua University（清华大学）；Peking University（北京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于情景记忆的方法可以通过非参数记忆快速锁定过去的成功策略，提高传统强化学习的样本效率。然而，很少的努力是投入到连续域，其中一个状态是从来没有访问过两次，和以前的情节方法无法有效地跨轨迹的经验汇总。为了解决这个问题，我们提出了可概括的情景记忆（GEM），它有效地组织状态动作值的情景记忆在一个概括的方式，并支持记忆轨迹的隐式规划。GEM利用双估计器来减少规划过程中由价值传播引起的高估偏差。实证评估表明，我们的方法显着优于现有的基于概率的方法在各种MuJoCo连续控制任务。为了进一步说明我们的方法的普遍适用性，我们评估了Atari游戏与离散动作空间，这也表明了一个显着的改进基线算法。
2021-06-11 cs.AI cs.LG
MemWM: Associative Memory-Enhanced Latent World Models for Long-Horizon Planning
Shanghai Academy of AI for Science（上海人工智能科学研究院）；Fudan University（复旦大学）
该研究针对潜在世界模型的表征坍塌等问题，提出结合JEPA预测与内容可寻址记忆库的记忆增强模型，经多数据集实验验证，其轻量级架构在长时序规划任务上实现了最优性能。
2026-11-09 cs.CV cs.LG
Deep-Reinforcement-Learning-based Path Planning for Industrial Robots using Distance Sensors as Observation
Berlin Institute of Technology（柏林工业大学）
工业机器人广泛用于各种制造环境中，因为它们可以高效地完成重复性任务，例如装配或焊接。这些应用的一个共同问题是到达目的地而不与障碍物或其他机器人手臂碰撞。常用的基于采样的路径规划方法，如RRT，需要很长的计算时间，特别是在复杂的环境中。此外，需要事先了解使用它们的环境。当在新环境中使用这些方法时，需要进行设置超参数的繁琐工程工作，这是时间和成本密集型的。另一方面，深度强化学习在处理未知环境、推广新问题实例以及高效解决运动规划问题方面表现出了显著的效果。基于此，本文提出了一种基于深度强化学习的机器人运动规划器。我们评估了我们的模型对国家的最先进的抽样为基础的规划在几个实验。结果表明，我们的规划器在路径长度和执行时间方面的优越性。
2023-01-14 cs.AI cs.LG cs.PF
Deep Synoptic Monte Carlo Planning in Reconnaissance Blind Chess
ML Collective；Google（谷歌）
本文介绍了大型不完全信息博弈的深度天气蒙特卡罗规划（DSMCP）。该算法构造了一个信念状态与未加权的粒子滤波器和计划通过播放，从信念状态的样本开始。该算法通过对“概要”（一种新的信息状态的随机抽象）进行推理来解释不确定性。DSMCP是Penumbra程序的基础，该程序在2020年官方侦察盲棋比赛中战胜了其他33个程序。本文还评估了算法的变种，包括谨慎，偏执狂，和一个新的强盗算法。此外，它审计了Penumbra中使用的概要功能，并提供了逐位显着性统计。
2021-11-01 cs.AI cs.LG
Online Multimodal Transportation Planning using Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）
在本文中，我们提出了一种深度强化学习方法来解决多式联运规划问题，其中集装箱必须被分配到卡车或火车上，然后将它们运送到目的地。虽然传统的规划方法“离线”工作（即，它们在运输开始之前对一批集装箱作出决定），但是所提出的方法是“在线的”，因为它可以在执行运输的同时对各个集装箱作出决定。在线规划运输有助于有效应对可能影响原始运输计划的不可预见事件，从而支持公司降低运输成本。我们在提出的深度强化学习算法中实现了不同的集装箱选择算法，并使用模拟现实场景的数据评估了每个启发式算法的性能，这些数据是基于物流公司的真实案例研究设计的。实验结果表明，该方法能够学习有效的集装箱分配模式。在总运输成本和训练运力利用率方面，其成本表现优于测试竞争对手20. 48%至55. 32%，运力表现优于测试竞争对手7. 51%至20. 54%。此外，它得到的结果在2.7%的成本和0.72%的能力的最优解生成的一个线性规划求解器在离线设置。
2021-05-18 cs.LG
Using Deep Learning to Bootstrap Abstractions for Hierarchical Robot Planning
Arizona State University（亚利桑那州立大学）
本文讨论了学习抽象的问题，提高机器人规划性能，同时提供强有力的可靠性保证。尽管最先进的分层机器人规划算法允许机器人有效地计算用于实现用户期望的任务的长期运动计划，但是这些方法通常依赖于需要由专家手工设计的环境依赖的状态和动作抽象。我们提出了一种新的方法，引导整个层次规划过程。这使我们能够使用深度神经网络预测的关键区域自动计算新环境的抽象状态和动作，该深度神经网络具有自动生成的机器人特定架构。我们表明，学习的抽象可以使用一种新的多源双向分层机器人规划算法，是健全的和概率完整的。使用完整和非完整机器人对20种不同设置进行的广泛的经验评估表明：（a）我们学习的抽象提供了有效的多源层次规划所需的信息;以及（b）这种学习、抽象和规划的方法在训练过程中没有看到的测试环境的规划时间方面比最先进的基线高出近10倍。
2022-04-24 cs.AI cs.LG cs.RO
Classical Planning in Deep Latent Space
MIT-IBM Watson AI Lab, IBM Research（IBM研究院MIT-IBM沃森人工智能实验室）；IBM Research - Tokyo（IBM研究院（东京））；University of Tokyo（东京大学）；Queen’s University（女王大学）
目前领域无关的经典规划器需要问题域和实例的符号模型作为输入，导致知识获取瓶颈。同时，尽管深度学习在许多领域取得了巨大的成功，但知识是以子符号表示的方式编码的，这与规划师等符号系统不兼容。我们提出了Latplan，一个结合了深度学习和经典规划的无监督架构。仅给定一组未标记的图像对，显示环境中允许的转换子集（训练输入），Latplan学习环境的完整命题PDDL动作模型。之后，当给出表示初始状态和目标状态的一对图像（计划输入）时，Latplan在符号潜在空间中找到目标状态的计划，并返回可视化的计划执行。我们使用6个规划域的基于图像的版本来评估Latplan：8-Puzzle，15-Puzzle，Blocksworld，Sokoban和LightsOut的两个变体。
2022-06-15 cs.AI cs.LG
On the role of planning in model-based deep reinforcement learning
DeepMind（深度思维公司）
基于模型的规划通常被认为是人工智能体进行深入细致的推理和推广所必需的。虽然最近基于基于模型的强化学习（MBRL）与深度函数近似的成功加强了这一假设，但由此产生的基于模型的方法的多样性也使得难以跟踪哪些组件驱动成功以及为什么。在本文中，我们试图解开的贡献，最近的方法集中在三个问题：（1）如何规划有利于MBRL代理？(2)在规划中，哪些选择推动绩效？(3)规划在多大程度上改善了泛化？为了回答这些问题，我们研究了MuZero的性能（Schrittwieser等人，2019年），一个最先进的MBRL算法与许多其他MBRL算法的强连接和重叠组件。我们在广泛的环境中进行了许多干预和MuZero消融，包括控制任务，Atari和9 x9 Go。我们的研究结果表明：（1）规划是最有用的学习过程中，无论是政策更新和提供更有用的数据分布。(2)除了在最困难的推理任务中，使用带有简单Monte-Carlo卷展栏的浅树与更复杂的方法一样有效。(3)单靠规划不足以推动强有力的普遍化。这些结果表明在强化学习环境中如何利用规划，并为未来的MBRL研究提出了一些悬而未决的问题。
2021-03-17 cs.AI cs.LG
Multi-Agent Motion Planning using Deep Learning for Space Applications
NASA Jet Propulsion Laboratory, California Institute of Technology（美国国家航空航天局喷气推进实验室，加州理工学院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
最先进的运动规划器无法扩展到大量系统。多智能体的运动规划是一个NP（non-deterministic polynomial-time）困难问题，计算时间随着智能体数量的增加而呈指数增长。这种计算需求是一个主要的绊脚石，运动规划的应用程序，未来的NASA任务，涉及成群的太空飞行器。我们应用深度神经网络将计算要求高的数学运动规划问题转换为基于深度学习的数值问题。我们发现，在具有多个代理的几个2D和3D系统中，可以使用基于深度学习的数值模型准确地复制最佳运动轨迹。基于深度学习的数值模型显示出卓越的计算效率，生成的计划比数学模型快1000倍。
2020-10-15 cs.AI cs.LG cs.RO
Learning Perception and Planning with Deep Active Inference
Ghent University - imec（根特大学-imec）
主动推理是大脑的一种过程理论，它指出所有生物体都推断行动，以最大限度地减少其（预期）自由能。然而，目前的实验仅限于预定义的，往往是离散的，状态空间。在本文中，我们使用深度学习的最新进展来学习状态空间并近似必要的概率分布以进行主动推理。
2020-02-24 cs.AI cs.LG stat.ML
Beyond Test-Time Memory: State-Space Optimal Control for LLM Reasoning
vita-group（vita组）
提出测试时控制（TTC）层，通过有限时域LQR规划实现推理，作为适配器集成到预训练LLM中，在数学推理任务上提升高达27.8%的准确率。
2026-05-29 cs.LG
Agentic Feature Augmentation: Unifying Selection and Generation with Teaming, Planning, and Memories
Arizona State University（亚利桑那州立大学）
针对现有特征工程中选择与生成分离、难以平衡冗余减少与维度扩充的问题，提出带长短期记忆的多智能体系统MAGS，通过路由智能体协调选择、生成动作，结合离线PPO强化微调训练，实现更优的特征增强与任务性能。
2025-05-21 cs.AI cs.LG
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning
Microsoft Research（微软研究院）；National Taiwan University（台湾大学）
本文提出了一种判别式Deep Dyna-Q（D3 Q）方法，以提高Deep Dyna-Q（DDQ）的有效性和鲁棒性，DDQ是最近提出的一种框架，扩展了Dyna-Q算法，以集成任务完成对话策略学习的规划。为了克服DDQ对模拟体验质量的高度依赖性，我们在D3 Q中引入了一个基于RNN的训练器，以区分模拟体验和真实用户体验，从而控制训练数据的质量。实验表明，D3 Q通过控制用于规划的模拟经验的质量，显著优于DDQ。D3 Q的有效性和鲁棒性进一步证明了在域扩展设置，其中代理的能力，以适应不断变化的环境进行了测试。
2018-09-06 cs.AI cs.CL cs.LG
Deeply Informed Neural Sampling for Robot Motion Planning
University of California San Diego（加州大学圣地亚哥分校）
基于采样的运动规划（SMPs）已经变得越来越受欢迎，因为它们提供无碰撞路径解决方案，而不管给定环境中的障碍物几何形状。然而，它们的计算复杂性随着运动规划问题的维数而显著增加。自适应采样是通过对更可能包含最优路径解的配置空间的特定区域进行采样来加速SMP的方式之一。虽然有各种各样的自适应采样算法，但它们依赖于手工制作的算法;此外，它们的性能在高维空间中显着下降。在本文中，我们提出了一种基于神经网络的自适应采样器的运动规划称为基于深度采样的运动规划器（DeepSMP）。DeepSMP为SMP生成样本并显着提高其整体速度，同时对高维问题表现出高效的可扩展性。DeepSMP的神经架构包括一个压缩自动编码器，它直接从原始点云数据中编码给定的路径，以及一个基于丢弃的随机深度前馈神经网络，它采用工作空间编码，开始和目标配置，并迭代生成SMP的可行样本，以计算端到端的无冲突最佳路径。DeepSMP不仅在所有测试环境中始终具有计算效率，而且在完全不可见的环境中也表现出显着的泛化能力。我们评估DeepSMP在多个规划问题，包括规划的点质量机器人，刚体，6连杆机器人机械手在各种2D和3D环境。结果表明，平均而言，我们的方法是至少7倍的速度在点质量和刚体的情况下，约28倍的速度在6连杆机器人的情况下，比现有的国家的最先进的。
2018-09-26 cs.LG cs.RO
Deep Reinforcement Learning Based Dynamic Route Planning for Minimizing Travel Time
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）
路线规划在交通运输中非常重要。现有的工作集中在寻找最短路径解决方案或使用安全和能源消耗等指标来确定规划。值得注意的是，大多数这些研究依赖于道路网络的先验知识，这在某些情况下可能是不可用的。本文设计了一种基于深度强化学习（DRL）的行人路径规划算法。我们使用行程时间消耗作为度量，并通过预测道路网络中的行人流量来规划路线。我们把一个智能机器人放在虚拟地图上。与以往的研究不同，我们的方法假设智能体不需要任何关于道路网络的先验信息，而仅仅依赖于与环境的相互作用。我们提出了一种动态可调整的路线规划（DARP）算法，其中代理通过决斗的深度Q网络学习策略，以避免拥挤的道路。仿真结果表明，与传统的最短路径规划算法相比，DARP算法在拥塞情况下节省了52%的时间。
2020-11-03 cs.AI cs.LG cs.SY
UAV Path Planning using Global and Local Map Information with Deep Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；EURECOM（欧洲通信学院）
自主无人机（UAV）的路径规划方法通常是针对一种特定类型的任务而设计的。提出了一种基于深度强化学习（DRL）的无人机自主路径规划方法，该方法可应用于多种任务场景。具体来说，我们比较了覆盖路径规划（CPP），其中无人机的目标是调查数据收集（DH）的感兴趣区域，其中无人机从分布式物联网（IoT）传感器设备收集数据。通过利用环境的结构化地图信息，我们训练具有相同架构的双深度Q网络（DDQN）在两个明显不同的任务场景中做出运动决策，平衡各自的任务目标与导航约束。通过引入一种新的方法，利用一个压缩的全球地图的环境相结合的裁剪，但未压缩的本地地图显示附近的无人机代理，我们证明了所提出的方法可以有效地扩展到大型环境。我们还扩展了以前的结果，推广控制策略，不需要再培训时，场景参数的变化，并提供了一个详细的分析关键的地图处理参数的路径规划性能的影响。
2021-10-21 cs.LG cs.RO
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University（南开大学）；Huawei Technologies（华为技术有限公司）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero，基于树的规划方法在离散领域（如国际象棋和围棋）取得了巨大成功。不幸的是，在现实世界的应用，如机器人控制和倒立摆，其行动空间通常是连续的，这些基于树的规划技术将挣扎。为了解决这些限制，在本文中，我们提出了一种新的基于基于模型的强化学习框架，称为Critic PI 2，它结合了轨迹优化，深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型，适用于许多连续控制系统。大量的实验表明，Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外，我们表明，规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向，学习基于模型的规划系统的组成部分，以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
Automatic Patient-Specific Microwave Ablation Planning Accelerated by a Physics-Guided Deep Learning Model
Yonsei University（延世大学）；Innovative & Intelligent Computational Science Institute (IN2CSI)（创新与智能计算科学研究所（IN2CSI））
该研究提出结合神经消融预测模型与遗传算法的数字孪生框架，可快速实现患者特异性微波消融自动规划，提升消融效率、减少器官损伤且规划速度快约420倍
2026-08-05 cs.LG eess.IV
Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing
University of Bonn（波恩大学）
空中机器人越来越多地用于环境监测和勘探。然而，一个关键的挑战是有效地规划路径，以最大限度地提高所获得的数据的信息价值，作为一个最初未知的环境进行探索。为了解决这个问题，我们提出了一种新的方法，信息路径规划的基础上深度强化学习（RL）。结合RL和机器人应用的最新进展，我们的方法将树搜索与离线学习的神经网络相结合，预测信息传感动作。我们介绍了几个组件，使我们的方法适用于机器人任务与高维状态和大动作空间。通过在任务期间部署经过训练的网络，我们的方法可以在计算资源有限的平台上实现样本高效的在线重新规划。仿真结果表明，我们的方法与现有方法相比，运行时间减少了8- 10倍。我们使用真实世界的表面温度数据验证其性能。
2022-03-03 cs.LG cs.RO
Robot Navigation Anticipative Strategies in Deep Reinforcement Motion Planning
机器人在动态城市环境中的导航，需要精心设计的预期策略，以避免与动态物体（如自行车或行人）发生碰撞，并具有人类意识。我们已经开发和分析了三个预期的策略，在运动规划考虑到未来的运动的移动对象，可以移动到18公里/小时。首先，我们使用了我们的混合策略，该策略来自深度确定性策略梯度（DDPG）训练和社会力模型（SFM），并且我们在四个具有许多行人的复杂地图场景中进行了模拟测试。其次，我们已经使用这些预期的策略在现实生活中的实验中使用的混合运动规划方法和ROS导航堆栈与动态窗口的方法（NS-DWA）。在模拟和现实生活中的实验结果表明，在开放的环境中，也在狭窄的空间混合场景非常好的结果。
2022-10-15 cs.LG cs.RO
Integrating Algorithmic Planning and Deep Learning for Partially Observable Navigation
NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）
我们建议采取一种新的方法来设计机器人系统，其中一个更大的系统的每个构建块表示为一个可微的程序，即一个深神经网络。这种表示允许以原则性的方式集成算法规划和深度学习，从而结合了无模型和基于模型的方法的优点。我们将所提出的方法应用于具有挑战性的部分可观察机器人导航任务。机器人必须在以前看不见的3D环境中导航到目标，而不知道其初始位置，而是依赖于2D楼层地图和机载摄像头的视觉观察。我们介绍了导航网络（NavNets），它在一个端到端的可训练递归神经网络中编码状态估计、规划和行动。在初步的模拟实验中，我们成功地训练了导航网络，以解决具有挑战性的部分可观测导航任务。
2018-07-17 cs.AI cs.LG cs.RO
Certified Guidance for Planning with Deep Generative Models
University of Trieste（的里雅斯特大学）；King’s Colledge London（伦敦国王学院）
本文提出可认证引导方法，无需重新训练即可修改深度生成模型，利用神经网络验证技术探索潜在空间，确保生成输出以概率1满足信号时序逻辑规范，在四个基准上验证了其优于现有未认证引导方法。
2025-01-22 cs.LG stat.ML
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University（麦吉尔大学）
我们提出了一种奖励预测，基于模型的深度学习方法，具有强制约束的视觉注意力，用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置，这些位置遵循车辆控制动作引起的轨迹，以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化，允许自适应性，但鼓励正则化结构，以提高泛化能力和可靠性。重要的是，视觉注意力被应用在潜在的特征映射空间，而不是原始图像空间，以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流，无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现，与无注意和自注意替代方案相比，我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Multi-Agent Path Planning Using Deep Reinforcement Learning
提出了一种基于深度强化的多智能体路径规划方法。实验在仿真环境中实现，并在此环境中产生不同的多智能体路径规划问题。所产生的问题实际上类似于车辆路径问题，并且使用多智能体深度强化学习来解决。在仿真环境中，模型以这种方式在不同的连续问题上进行训练，随着时间的推移，可以观察到模型解决问题的性能增加。始终使用相同的模拟环境，并且仅改变代理访问的目标点的位置。这有助于模型学习它的环境和正确的态度对一个问题的情节通过。最后，得到了一个已经学习了很多知识的模型来解决这个环境中的路径规划或路由问题，这个模型即使没有任何训练，也已经可以找到一个很好的和即时的解决方案。在布线问题中，标准的数学建模或算法似乎遭受高计算时间来找到解决方案，并且找到即时解决方案也是困难和关键的。本文提出了一种新的求解方法，并通过实验证明了该方法的有效性。
2021-10-04 cs.AI cs.LG
Navigating Demand Uncertainty in Container Shipping: Deep Reinforcement Learning for Enabling Adaptive and Feasible Master Stowage Planning
IT University of Copenhagen, Denmark（丹麦哥本哈根IT大学）；HEC Montréal, Qc, Canada（加拿大魁北克省蒙特利尔高等商学院）；GERAD, Qc, Canada（加拿大魁北克省GERAD）；Mila - Quebec AI Institute, Qc, Canada（加拿大魁北克省Mila-魁北克人工智能研究所）
本文通过深度强化学习框架解决主装货计划中的状态依赖约束问题，提升在需求不确定性和操作约束下的适应性和可行性。
2026-11-09 cs.LG math.OC
Deep-Learning-Aided Path Planning and Map Construction for Expediting Indoor Mapping
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion - Israel Institute of Technology（以色列理工学院）；Bar-Ilan University（巴伊兰大学）；Holon Institute of Technology（霍隆理工学院）
解决了自主室内测绘的问题。目标是最大限度地减少达到预定义的暴露百分比的时间，并具有某些所需的确定性水平。为了加快映射过程，提出了在路径规划和地图构建中使用预训练的生成式深度神经网络作为地图预测器。结合两个不同的布图规划数据集的几个基于边界的路径规划器，该方法进行了检查。模拟运行几种配置的集成映射预测器，其结果表明，通过利用预测映射时间的显着减少是可能的。当预测集成在路径规划和地图构建过程中，它表明，在某些情况下，映射时间可以减少超过50%。
2022-08-13 cs.LG cs.RO
Scalable Planning with Deep Neural Network Learned Transition Models
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（Vector人工智能研究所）；Monash University（莫纳什大学）
在许多现实世界中的规划问题的因素，混合离散和连续的状态和动作空间，如水库控制，供暖通风，空调，和导航域，这是很难获得一个复杂的非线性动力学模型，管理状态的演变。然而，现代传感器的普遍存在使我们能够从这些复杂系统中的每一个收集大量数据，并建立其状态转换的精确的非线性深度神经网络模型。但控制任务仍然存在一个主要问题-我们如何使用深度网络学习的过渡模型进行规划，而不诉诸蒙特卡罗树搜索和其他黑盒过渡模型技术，这些技术忽略了模型结构，并且不容易扩展到混合离散和连续域？在本文中，我们介绍了两种类型的非线性规划方法，可以利用深度神经网络学习的过渡模型：混合深度MILP规划器（HD-MILP-Plan）和Tensorflow规划器（TF-Plan）。在HD-MILP-Plan中，我们观察到，深度网络的整流线性单元传递函数不仅允许模型学习的更快收敛，而且还允许将深度网络转换模型直接编译为混合线性规划编码。此外，我们还确定了HD-MILP-Plan的深度网络特定优化，这些优化可以提高基本编码的性能，并表明我们可以根据学习到的深度网络进行最佳规划。在TF-Plan中，我们利用自动微分工具和基于GPU的计算的效率，将纯连续规划问题的子类编码为递归神经网络，并通过反向传播直接优化动作。我们比较了这两个计划，并表明TF-计划是能够近似的最佳计划发现HD-MILP-Plan在更少的计算时间…
2020-07-15 cs.AI cs.LG
Deep imagination is a close to optimal policy for planning in large decision trees under limited resources
Universitat Pompeu Fabra（庞培法布拉大学）
许多决策都涉及在深度和广度决策树中选择一个不确定的行动过程，就像我们计划去一个异国他乡度假一样。在这些情况下，由于大量的可能性和有限的时间或计算资源可用于做出决策，因此对最佳动作序列的穷举搜索是不容易处理的。因此，规划代理需要平衡广度（在树的每个级别探索许多动作）和深度（探索树中的许多级别），以最佳地分配其有限的搜索能力。我们提供了有效的解析解和数值分析的问题，分配有限的抽样容量在一个镜头大决策树。我们发现，在一般情况下，最佳的政策是分配很少的样本，每个级别，以便可以达到深层次，从而有利于深度广度搜索。相比之下，在恶劣的环境和低容量的情况下，最好以不深入采样为代价对分支进行广泛采样，尽管这种策略略优于深度分配。我们的研究结果提供了一个理论基础的规划深度想象力的最优性，并表明，这是一个普遍有效的启发式，可以从有限的认知系统的约束。
2021-04-13 cs.LG q-bio.NC stat.ML
DeepGait: Planning and Control of Quadrupedal Gaits using Deep Reinforcement Learning
Robotic Systems Lab, ETH Zürich（苏黎世联邦理工学院机器人系统实验室）
本文研究了非平坦地形下的步行问题。由于诸如四足动物的足式机器人将被部署在具有难以建模和预测的几何形状的地形中，因此需要使它们具有很好地推广到不可预见的情况的能力。在这项工作中，我们提出了一种新的技术，训练神经网络的政策，地形感知运动，它结合了最先进的方法，基于模型的运动规划和强化学习。我们的方法是集中在制定马尔可夫决策过程中使用的评价动态可行性标准的物理模拟。因此，我们采用政策梯度的方法来独立的训练政策，分别计划和执行立足点和基础运动在3D环境中使用本体感受和外感受测量。我们应用我们的方法在一个具有挑战性的模拟地形的情况下，其中包含的功能，如狭窄的桥梁，差距和踏脚石，和训练政策，成功地在所有情况下，有效地进行。
2020-01-31 cs.LG cs.RO
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
QMDP-Net: Deep Learning for Planning under Partial Observability
NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）
本文介绍了QMDP网，一种用于部分可观测规划的神经网络结构。QMDP-net结合了无模型学习和基于模型的规划的优势。它是一个循环策略网络，但它通过将模型与求解模型的规划算法相连接来表示一组参数化任务的策略，从而将规划的解决方案结构嵌入到网络学习架构中。QMDP-net是完全可区分的，并允许端到端的培训。我们训练不同任务的QMDP-net，使其可以推广到参数化任务集中的新任务，并“转移”到其他类似的任务。在初步的实验中，QMDP-net在模拟中的几个机器人任务上表现出强大的性能。有趣的是，虽然QMDP-net对QMDP算法进行了编码，但由于端到端的学习，它在实验中有时会优于QMDP算法。
2017-11-03 cs.AI cs.LG cs.NE
A Survey of Deep Reinforcement Learning Algorithms for Motion Planning and Control of Autonomous Vehicles
TuSimple Inc.（图森未来公司）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；California PATH（加州先进交通与高速公路合作伙伴项目）
在本调查中，我们系统地总结了将强化学习（RL）应用于自动驾驶汽车的运动规划和控制的研究的现有文献。许多现有的贡献可以归因于管道方法，它由许多手工制作的模块组成，每个模块都有一个功能，以便于人类解释。然而，由于缺乏系统级优化，这种方法不能自动保证最大性能。因此，本文还提出了一个日益增长的工作趋势，即采用端到端的方法，这种方法通常提供更好的性能和更小的系统规模。然而，他们的表现也受到缺乏专家数据和泛化问题的影响。最后，总结了将深度强化学习算法应用于自动驾驶的剩余挑战，并提出了未来的研究方向，以应对这些挑战。
2021-06-01 cs.LG cs.RO
Heuristic Search Planning with Deep Neural Networks using Imitation, Attention and Curriculum Learning
Czech Technical University in Prague（布拉格捷克理工大学）
学习一个消息灵通的启发式函数的硬任务规划域是一个难以捉摸的问题。虽然已知有神经网络体系结构来表示这种启发式知识，但学习到什么具体信息以及旨在理解结构的技术是否有助于提高启发式知识的质量并不明显。本文提出了一种网络模型，学习启发式能够通过最优计划模仿的状态空间的遥远的部分，使用注意力机制，这大大提高了学习一个好的启发式功能。为了克服该方法在创建难度越来越大的问题时的局限性，我们演示了课程学习的使用，将新解决的问题实例添加到训练集中，这反过来有助于解决更高复杂性的问题，远远超过了所有现有基线的性能，包括经典的规划算法。我们证明了它的有效性网格型PDDL域。
2021-12-03 cs.AI cs.LG
Combining Planning and Deep Reinforcement Learning in Tactical Decision Making for Autonomous Driving
Volvo Group（沃尔沃集团）；Chalmers University of Technology（查尔姆斯理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
由于环境的多样性、传感器信息的不确定性以及与其他道路使用者的复杂交互，自动驾驶的战术决策具有挑战性。本文介绍了一个战术决策的一般框架，它结合了规划和学习的概念，以蒙特卡罗树搜索和深度强化学习的形式。该方法基于AlphaGo Zero算法，该算法被扩展到具有连续状态空间的域，其中不能使用自我游戏。该框架被应用到两个不同的高速公路驾驶情况下，在模拟环境中，它表现得比常用的基线方法。结合规划和学习的强度也说明了使用蒙特卡罗树搜索或神经网络政策分别比较。
2019-05-06 cs.AI cs.LG cs.RO
Planning from Images with Deep Latent Gaussian Process Dynamics
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
规划是一种强有力的方法来控制已知的环境动态问题。在未知的环境中，智能体需要学习系统动力学模型，以使规划适用。当底层状态只能通过图像间接观察时，这尤其具有挑战性。我们建议学习一个深度潜在高斯过程动力学（DLGPD）模型，该模型从环境与视觉观察的交互中学习低维系统动力学。该方法使用神经网络从观测值推断潜在状态表示，并使用高斯过程在学习的潜在空间中对系统动态进行建模。模型的所有部分可以通过优化图像空间中过渡可能性的下限来联合训练。我们评估所提出的方法上的钟摆摆动的任务，同时使用学习的动力学模型规划在潜在的空间，以解决控制问题。我们还证明，我们的方法可以快速适应一个受过训练的代理在系统动态的变化，从几个推出。我们将我们的方法与最先进的纯深度学习方法进行比较，并展示了将高斯过程与深度学习相结合以提高数据效率和迁移学习的优势。
2020-05-07 cs.CV cs.LG stat.ML
Automating proton PBS treatment planning for head and neck cancers using policy gradient-based deep reinforcement learning
University of California at San Diego（加利福尼亚大学圣地亚哥分校）；California Protons Cancer Therapy Center（加州质子癌症治疗中心）
针对头颈部癌症质子PBS治疗计划耗时依赖经验的问题，提出基于PPO算法和剂量分布奖励函数的自动计划模型，可在连续空间调整目标参数，性能达人类水平且可推广至其他部位。
2024-09-17 cs.AI cs.LG q-bio.QM
Sample-efficient Cross-Entropy Method for Real-time Planning
Max Planck ETH Center for Learning Systems（马克斯·普朗克ETH学习系统中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
基于基于模型的强化学习的轨迹优化器，如交叉熵方法（CEM），即使在高维控制任务和稀疏奖励环境中也可以产生令人信服的结果。然而，它们的采样效率低，使它们不能用于实时的【形】形规划和控制。我们提出了一个改进版本的CEM算法的快速规划，与新的补充，包括时间相关的行动和内存，需要2.7- 22倍的样本，并产生1.2- 10倍的性能提高高维控制问题。
2020-08-14 cs.LG cs.RO stat.ML
Deep-learning-based acceleration of MRI for radiotherapy planning of pediatric patients with brain tumors
Philips Healthcare（飞利浦医疗保健）
本研究提出了一种基于深度学习的MRI重建方法DeepMRIRec，用于从RT特定接收线圈采集的欠采样数据中恢复图像，在73名脑肿瘤儿童数据上将扫描时间减少4倍且结构相似性超越现有方法。
2023-11-22 cs.CV cs.LG eess.IV
Deep Structured Reactive Planning
Uber ATG（优步先进技术集团）；University of Toronto（多伦多大学）
在现实世界中运行的智能代理必须在实现其目标与维护自身以及周围场景中其他参与者的安全和舒适之间取得平衡。这就需要在决定自己的行动时，共同推理其他行为者的行为，因为这两个过程本质上是相互交织的-如果我们决定在交叉路口先前进，车辆将首先向我们让步，但如果我们决定让步，车辆将首先前进。然而，在大多数自动驾驶管道中，这一点并没有被捕捉到，在这些管道中，规划遵循预测。在本文中，我们提出了一种新的数据驱动的反应式规划目标，它允许自动驾驶汽车联合推理自己的计划以及其他参与者将如何对它们做出反应。我们将问题表述为基于能量的深度结构化模型，该模型从观测数据中学习，并对规划和预测问题进行编码。通过基于真实驾驶和综合生成的密集交通的模拟，我们证明了我们的反应模型在更快地成功完成高度复杂的机动（车道合并/交通转弯）方面优于非反应变体，而不会权衡碰撞率。
2021-04-29 cs.AI cs.CV cs.LG
Multi-agent Motion Planning for Dense and Dynamic Environments via Deep Reinforcement Learning
Isfahan University of Technology（伊斯法罕理工大学）；Ryerson University（瑞尔森大学）；University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）
针对密集动态环境下的分布式运动规划问题，提出了一种深度强化学习（RL）和基于力的运动规划（FMP）的混合算法。单独地，RL和FMP算法都有自己的局限性。FMP不能产生时间最优路径，现有的RL解决方案不能在密集环境中产生无冲突路径。因此，我们首先尝试通过引入新的奖励函数来提高最近RL方法的性能，该函数不仅消除了预监督学习（SL）步骤的要求，而且还减少了拥挤环境中发生碰撞的机会。这改善了事情，但仍然有很多失败的案例。因此，我们开发了一种混合方法，利用简单的FMP方法在卡住，简单和高风险的情况下，并继续使用RL的正常情况下，FMP不能产生最优路径。仿真结果表明，该算法优于深度RL和FMP算法，产生高达50%的成功场景比深度RL和高达75%的额外时间比FMP达到目标。
2020-01-18 cs.AI cs.LG cs.RO
Visual Semantic Planning using Deep Successor Representations
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）
现实世界智能代理的一个关键能力是他们计划一系列行动以实现其在视觉世界中的目标的能力。在这项工作中，我们解决视觉语义规划的问题：从视觉观察，将动态环境从初始状态到目标状态的动作序列预测的任务。这样做需要了解对象及其启示，以及行动及其先决条件和效果。我们建议通过与视觉和动态环境的互动来学习这些。我们提出的解决方案涉及自举强化学习与模仿学习。为了确保跨任务泛化，我们开发了一个基于后继表示的深度预测模型。我们的实验结果表明，在具有挑战性的THOR环境中，在广泛的任务中接近最佳的结果。
2017-08-15 cs.CV cs.LG cs.RO
