Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) for comfortable and safe autonomous driving
Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世信息物理系统中心）；Indian Institute of Science（印度科学学院）；PES university（PES大学）
针对传统规则式机动规划应对真实场景多变性不足的问题，提出结合预测模型与深度强化学习的PMP-DRL模型，在NGSIM数据集模拟环境中验证其在安全舒适决策上优于规则及模仿学习模型。
2023-06-15 cs.AI cs.LG cs.RO
Unifying Model Predictive Path Integral Control, Reinforcement Learning, and Diffusion Models for Optimal Control and Planning
本研究通过在吉布斯测度上的基于梯度的优化，统一了MPPI、强化学习与扩散模型，揭示了它们共享相同的更新规则，为最优控制与规划提供了统一视角。
2025-03-04 cs.LG
Predictive Collision Management for Time and Risk Dependent Path Planning
LMU Munich（慕尼黑大学）
自动驾驶汽车或包裹机器人等自主智能体需要识别并避免可能与障碍物发生碰撞，以便在其环境中成功移动。然而，人类已经学会了凭直觉预测运动，并以前瞻性的方式避开障碍物。避碰任务可以分为全局和局部两个层次。关于全球层面，我们提出了一种方法，称为“预测碰撞管理路径规划”（PCMP）。在地方一级，使用避免碰撞的解决方案，以防止不可避免的碰撞。因此，PCMP的目的是使用预测碰撞管理来避免不必要的局部碰撞场景。PCMP是一种基于图的算法，其重点在于由三个部分组成的时间维度：（1）运动预测，（2）将运动预测集成到时间相关图中，以及（3）时间和风险相关路径规划。该算法结合了搜索最短路径的问题：绕道值得避免可能的碰撞情况？我们在不同的模拟场景中评估了规避行为，结果表明，风险敏感的代理可以避免47.3%的碰撞场景，而绕道1.3%。一个规避风险的代理避免了高达97.3%的碰撞场景，绕道39.1%。因此，一个代理的规避行为可以控制主动和风险依赖于使用PCMP。
2020-11-26 cs.AI cs.LG cs.RO
On Predictive planning and counterfactual learning in active inference
Turner Institute for Brain and Mental Health（特纳脑与心理健康研究所）；School of Psychological Sciences（心理科学学院）；Monash University（莫纳什大学）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学研究院）；IIT Bombay（印度理工学院孟买分校）；RIKEN Center for Brain Science（理化学研究所脑科学中心）；University College London（伦敦大学学院）；Wellcome Trust Centre for Human Neuroimaging（惠康信托人类神经影像中心）；CIFAR（加拿大高级研究所）
本文研究主动推理中的规划与经验学习两种决策方案，提出一种在数据复杂性权衡中取得平衡的混合模型，并在网格世界场景中验证其适应性，为可解释的智能决策提供分析框架。
2024-03-19 cs.AI cs.LG stat.ME
Diffusion Model Predictive Control
Google DeepMind（谷歌DeepMind）
提出扩散模型预测控制（D-MPC），结合扩散模型学习多步动作提议与动力学模型用于在线MPC，在D4RL基准上性能优于现有离线规划方法，并具备运行时优化新奖励与适应新动力学的优势。
2025-05-22 cs.AI cs.LG
Active Predictive Coding: A Unified Neural Framework for Learning Hierarchical World Models for Perception and Planning
University of Washington（华盛顿大学）
本文提出主动预测编码框架，通过分层世界模型解决人工智能中感知与规划的两大核心问题。
2022-10-23 cs.AI cs.CV cs.LG
Sampling for Model Predictive Trajectory Planning in Autonomous Driving using Normalizing Flows
IEEE
本文提出基于归一化流的采样方法，用于提高自动驾驶轨迹规划的效率和探索能力。
2026-02-06 cs.LG cs.RO
Interactive Trajectory Planning with Learning-based Distributionally Robust Model Predictive Control and Markov Systems
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Group Trucks Technology（沃尔沃集团卡车技术）
本文研究了在周围智能体决策不确定性下的交互轨迹规划问题，提出结合PAC学习与分布鲁棒优化的DR-MPC框架，通过样本数量实现鲁棒MPC与随机MPC之间的插值。
2026-05-08 cs.LG cs.SY eess.SY
Predictive but Not Plannable: RC-aux for Latent World Models
Hokkaido University（北海道大学）
本文提出RC-aux，通过改进潜在世界模型的时空匹配，提升规划能力，实验表明其在目标导向任务中表现更优。
2026-05-08 cs.AI cs.CV cs.LG
Efficient Learning and Planning with Compressed Predictive States
McGill University（麦吉尔大学）
预测状态表示（PSR）为部分可观测系统建模提供了一个表达框架。通过将系统压缩表示为可观测量的函数，PSR学习方法避免使用局部最小值倾向的期望最大化，而是采用全局最优的基于矩的算法。此外，由于PSR不需要一个预定的潜在状态结构作为输入，他们提供了一个有吸引力的框架，基于模型的强化学习时，代理必须计划没有先验访问系统模型。遗憾的是，PSR的表达能力伴随着显著的计算成本，并且该成本是抑制PSR在应用中的使用的主要因素。为了克服这一缺点，我们引入了压缩PSR（CPSR）的概念。CPSR学习方法结合了降维、增量矩阵分解和压缩感知的最新进展。我们展示了这种方法如何为学习PSR的精确近似提供原则性途径，大大降低了与学习相关的计算成本，同时还提供了有效的正则化。更进一步，我们提出了一个规划框架，利用这些学习模型。我们表明，这种方法有利于模型学习和规划在大型复杂的部分可观察的领域，这是不可行的，如果没有压缩的原则使用的任务。
2014-07-20 cs.LG stat.ML
Safety Aware Autonomous Path Planning Using Model Predictive Reinforcement Learning for Inland Waterways
University of Antwerp（安特卫普大学）；imec
本文提出模型预测强化学习（MPRL）方法，用于内河航道自主路径规划，通过占用栅格地图处理任意水道和障碍物，在测试中优于Frenet框架和PPO方法，实现安全无碰撞导航。
2023-11-16 cs.LG
EpicWorldModel: Exploration-driven Planning with Latent World Models
Princeton University（普林斯顿大学）；Torc Robotics
EpicWorldModel提出基于流匹配的随机JEPA框架，在部分可观测环境中利用预测方差引导CEM规划，平衡目标达成与遮挡区域探索，成功率最高提升22%。
2026-10-06 cs.AI cs.LG cs.RO
Selective Dyna-style Planning Under Limited Model Capacity
The University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Harvey Mudd College（哈维穆德学院）
在基于模型的强化学习中，使用不完美的环境模型进行规划可能会损害学习进度。但是，即使模型是不完美的，它仍然可能包含对规划有用的信息。在本文中，我们研究的想法，选择性地使用一个不完美的模型。智能体应该在状态空间中模型有用的部分进行规划，但避免在模型有害的部分使用模型。一个有效的选择性规划机制需要估计预测的不确定性，这是由任意的不确定性，参数的不确定性，模型的不充分性，以及其他来源。先前的工作集中在选择性规划的参数不确定性。在这项工作中，我们强调模型不足的重要性。我们发现，异方差回归可以信号预测的不确定性所产生的模型不足，这是互补的，这是检测的方法设计的参数不确定性，这表明，考虑参数的不确定性和模型不足可能是一个更有前途的方向，有效的选择性规划比任何一个孤立的。
2021-03-07 cs.AI cs.LG stat.ML
Reactive motion planning with probabilistic safety guarantees
California Institute of Technology（加州理工学院）
多智能体环境中的运动规划对于许多重要的自主应用（如自主车辆和辅助机器人）至关重要。研究了受控智能体与多个不受控智能体共享环境的运动规划问题。首先，训练不受控制的代理的预测模型，以基于场景在短时间内预测所有可能的轨迹。然后将预测馈送到基于模型预测控制的运动规划模块。我们使用三种不同的方法，后膨胀，支持向量机（SVM），和共形分析，所有能够生成随机保证的预测模型的预测的正确性证明了泛化界。所提出的方法在模拟自动驾驶公路的情况下进行了仿真。
2020-11-26 cs.LG cs.RO cs.SY
What Drives Success in Physical Planning with Joint-Embedding Predictive World Models?
Meta FAIR；Inria Paris（巴黎理工院）；Ecole normale supérieure / PSL（巴黎高等师范学院 / PSL）；New York University（纽约大学）
本文研究了在物理规划中使用联合嵌入预测世界模型（JEPA-WMs）的成功因素，通过分析模型架构、训练目标和规划算法对规划成功的影响，提出了一种在导航和操作任务中优于现有基线方法的模型。
2026-09-03 cs.AI cs.LG cs.RO
Multi-robot Path Planning and Scheduling via Model Predictive Optimal Transport (MPC-OT)
Amazon Robotics（亚马逊机器人技术）
针对多机器人前往多目标时路径重叠导致死锁的问题，提出融合最优传输与模型预测控制的MPC-OT方法，实现最优、不重叠且可适应动力学的路径规划与调度。
2025-08-28 cs.LG cs.RO
Predictive and prescriptive analytics for multi-site modelling of frail and elderly patient services
Cardiff University（卡迪夫大学）
本研究结合预测与规范性分析，优化英国11家医院网络165,000名患者的床位和人员规划，实现7%成本节省。
2025-04-24 cs.LG math.OC
Implicit Maximum Likelihood Estimation for Real-time Generative Model Predictive Control
School of Computing Science, Simon Fraser University（计算科学系，西蒙弗雷泽大学）
本文提出隐式最大似然估计（IMLE）作为生成模型的替代方法，实现快速推理和强模式覆盖，适用于实时MPC任务。
2026-03-22 cs.AI cs.LG cs.RO
Beyond Generative AI: World Models for Clinical Prediction, Counterfactuals, and Planning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（莫莫德·本·扎伊德人工智能大学）
本文探讨了世界模型在医疗领域中的应用，旨在通过预测动态、反事实评估和规划提升临床决策的可靠性。
2025-11-20 cs.LG
JEPA-Bisim: Learning Robust Visual Representations for Planning with Joint-Embedding Predictive World Models
Department of Electrical Engineering, Columbia University, New York, USA.（电气工程系，哥伦比亚大学，纽约，美国）
本文提出了一种联合嵌入预测世界模型，通过引入双模拟编码器增强对慢特征的鲁棒性，提升在减少潜在空间中的导航任务性能。
2026-10-02 cs.LG math.OC
Model-Predictive Control via Cross-Entropy and Gradient-Based Optimization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
最近在高维模型预测控制和具有学习动态和奖励模型的基于基于模型的强化学习中的工作已经求助于基于群体的优化方法，例如交叉熵方法（CEM），用于规划动作序列。为了决定要采取的行动，CEM根据动力学模型和奖励搜索具有最高回报的行动序列。动作序列通常从无条件高斯分布中随机采样，并在环境中进行评估。该分布迭代地向具有更高回报的动作序列更新。然而，这种规划方法可能非常低效，特别是对于高维动作空间。另一种方法是直接通过梯度下降来优化动作序列，但容易陷入局部最优。我们提出了一种方法来解决这个规划问题的交替CEM和梯度下降步骤中优化的动作序列。我们的实验表明，所提出的混合方法的收敛速度更快，即使是高维的动作空间，避免局部极小值，更好或等同于CEM的性能。本文所附的代码可在https://github.com/homangab/gradcem获得。
2020-04-19 cs.AI cs.LG cs.RO
The Value of Planning for Infinite-Horizon Model Predictive Control
University of Washington（华盛顿大学）
模型预测控制（MPC）是一种经典的工具，用于对复杂的现实世界系统进行最优控制。虽然它已经成功地应用于机器人技术中的各种具有挑战性的任务，但它从根本上受到预测范围的限制，如果太短，将导致短视的决策。最近，一些论文建议使用学习的价值函数作为MPC的终端成本。如果价值函数是准确的，它有效地允许MPC在无限范围内进行推理。不幸的是，强化学习（RL）解决方案的价值函数近似可能难以实现机器人任务。在本文中，我们提出了一个更有效的方法，适用于目标导向的问题，如达到和导航的价值函数近似。在这些问题中，MPC通常被制定为跟踪规划器返回的路径或轨迹。然而，这种策略是脆弱的，因为对机器人的意外扰动将需要重新规划，这在运行时可能是昂贵的。相反，我们展示了现代规划者使用的中间数据结构如何被解释为近似的价值函数。我们表明，这个价值函数可以直接使用MPC，从而在运行时更有效和弹性的行为。
2021-04-07 cs.LG cs.RO
Closing the Loop: A Framework for Trustworthy Machine Learning in Power Systems
Technical University of Denmark（丹麦技术大学）
能源部门的深度脱碳将需要大量随机可再生能源资源的渗透和大量的电网资产协调;这对电力系统运营商来说是一个具有挑战性的范例，他们的任务是在面对这些变化时保持电网的稳定性和安全性。凭借其从复杂数据集中学习并在快速时间尺度上提供预测解决方案的能力，机器学习（ML）可以很好地帮助克服这些挑战，因为电力系统将在未来几十年内发生变化。在这项工作中，我们概述了与构建可信赖的ML模型相关的五个关键挑战（数据集生成，数据预处理，模型训练，模型评估和模型嵌入），这些模型从基于物理的仿真数据中学习。然后，我们演示了如何在机器学习管道的连续阶段将各个模块连接在一起，每个模块都克服了各自的挑战，可以帮助增强训练过程的整体性能。特别是，我们实现了通过反馈连接学习管道的不同元素的方法，从而在模型训练、性能评估和再训练之间“闭环”。我们证明了这个框架的有效性，它的组成模块，其反馈连接通过学习N-1小信号稳定裕度与一个详细的模型，建议北海风电枢纽系统。
2022-07-14 cs.LG cs.SY eess.SY
Real-Time Learning of Predictive Dynamic Obstacle Models for Robotic Motion Planning
Division of Engineering and Applied Science, California Institute of Technology（工程与应用科学分校，加州理工学院）；Applied Intuition（应用直觉）
本文提出一种实时学习动态障碍物预测模型的方法，通过改进的Hankel-DMD实现去噪和多步预测，适用于机器人运动规划。
2026-03-06 cs.LG cs.RO cs.SY
Predictive Planner for Autonomous Driving with Consistency Models
Honda Research Institute（本田研究院）；Princeton University（普林斯顿大学）
本文提出基于一致性模型的预测规划器，通过ADMM启发的在线引导采样在自车与周围智能体联合分布中生成高质量轨迹，在WOMD上实现更平滑、安全、高效且满足多约束的自动驾驶规划。
2025-07-21 cs.LG cs.RO
Exploring Model-based Planning with Policy Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
基于模型的强化学习（MBRL）与模型预测控制或在线规划在样本效率和渐近性能方面显示出用于运动控制任务的巨大潜力。尽管他们最初的成功，现有的规划方法搜索从候选序列中随机产生的动作空间，这是在复杂的高维环境中效率低下。在本文中，我们提出了一种新的MBRL算法，基于模型的政策规划（POPLIN），结合政策网络与在线规划。更具体地说，我们制定行动规划在每个时间步作为一个优化问题，使用神经网络。我们的实验与优化w.r.t.从策略网络初始化的动作序列，以及直接w.r.t.策略网络的参数。我们表明，POPLIN在MuJoCo基准测试环境中获得了最先进的性能，比最先进的算法（如PETS，TD3和SAC）的样本效率高出约3倍。为了解释我们的算法的有效性，我们表明，在参数空间中的优化曲面是光滑的比在行动空间。此外，我们发现，在测试时间的一些环境，如猎豹，在没有扩展的模型预测控制的情况下，可以有效地应用提取的策略网络。代码发布在https://github.com/WilsonWangTHU/POPLIN。
2019-06-20 cs.AI cs.LG cs.RO
Filter-Aware Model-Predictive Control
Volkswagen Group（大众集团）；Machine Learning Research Lab（机器学习研究实验室）
针对部分可观测问题中常规 MPC 忽略未来观测、难以维持状态估计确定性的不足，提出以可跟踪性惩罚信息损失并由神经网络近似的滤波器感知 MPC，在视觉导航和机械臂实验中显著提升性能。
2023-04-20 cs.LG cs.RO cs.SY
Goal-Directed Behavior under Variational Predictive Coding: Dynamic Organization of Visual Attention and Working Memory
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
心理模拟是目标导向行为的关键认知功能，因为它对于评估行为及其后果至关重要。当一个自我生成的或外部指定的目标被给定时，最有可能实现该目标的一系列行动是通过心理模拟从其他候选人中选出的。因此，更好的心理模拟会导致更好的目标导向行动计划。然而，开发心理模拟模型是具有挑战性的，因为它需要对自我和环境的了解。本文研究了如何通过自上而下的视觉注意和视觉工作记忆的动态组织，使机器人在心理上产生适当的目标导向的行动计划。为此，我们提出了一个神经网络模型的基础上变分贝叶斯预测编码，目标导向的行动规划制定潜在的意向空间的贝叶斯推理。我们的实验结果表明，有意义的认知能力，如自主自上而下的注意力的机器人末端执行器（其手），以及动态组织的无阻塞视觉工作记忆，出现。此外，我们的比较实验分析表明，引入视觉工作记忆和推理机制，使用变分贝叶斯预测编码显着提高规划足够的目标导向的行动的性能。
2019-03-12 cs.LG cs.RO
Leveraging Predictive Models for Adaptive Sampling of Spatiotemporal Fluid Processes
Plaksha University（普拉沙大学）；University of Pennsylvania（宾夕法尼亚大学）
提出PASST算法，利用基于知识的神经常微分方程预测流体过程并结合强化学习规划路径，实现高效持续的自适应时空流体采样。
2023-04-03 cs.LG cs.RO
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University（麦吉尔大学）
我们提出了一种奖励预测，基于模型的深度学习方法，具有强制约束的视觉注意力，用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置，这些位置遵循车辆控制动作引起的轨迹，以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化，允许自适应性，但鼓励正则化结构，以提高泛化能力和可靠性。重要的是，视觉注意力被应用在潜在的特征映射空间，而不是原始图像空间，以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流，无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现，与无注意和自注意替代方案相比，我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Learning Dynamics Models for Model Predictive Agents
Technical University of Darmstadt（达姆施塔特工业大学）；DeepMind；Google Research（谷歌研究院）
基于模型的强化学习涉及从数据中学习\textit{dynamics model}，然后使用此模型优化行为，通常使用在线\textit{planner}。沿着这些路线的许多最近的研究提出了一套特定的设计选择，涉及问题定义，模型学习和规划。由于有多种贡献，很难评估每一种贡献的影响。本文阐述了消除歧义的作用，不同的设计选择学习动力学模型，通过比较其性能规划与地面实况模型-模拟器。首先，我们从DeepMind Control Suite的5个领域的无模型代理的训练序列中收集了丰富的数据集。其次，我们训练前馈动力学模型在监督的方式，并评估规划性能，同时改变和分析不同的模型设计选择，包括集成，随机性，多步训练和时间步长。除了定量分析，我们描述了一组定性的研究结果，经验法则，和未来的研究方向规划与学习动态模型。结果的视频可在https://sites.google.com/view/learning-better-models上获得。
2021-09-29 cs.LG cs.RO
