Model-Predictive Control via Cross-Entropy and Gradient-Based Optimization
University of Toronto(多伦多大学);Vector Institute(向量研究所)
最近在高维模型预测控制和具有学习动态和奖励模型的基于基于模型的强化学习中的工作已经求助于基于群体的优化方法,例如交叉熵方法(CEM),用于规划动作序列。为了决定要采取的行动,CEM根据动力学模型和奖励搜索具有最高回报的行动序列。动作序列通常从无条件高斯分布中随机采样,并在环境中进行评估。该分布迭代地向具有更高回报的动作序列更新。然而,这种规划方法可能非常低效,特别是对于高维动作空间。另一种方法是直接通过梯度下降来优化动作序列,但容易陷入局部最优。我们提出了一种方法来解决这个规划问题的交替CEM和梯度下降步骤中优化的动作序列。我们的实验表明,所提出的混合方法的收敛速度更快,即使是高维的动作空间,避免局部极小值,更好或等同于CEM的性能。本文所附的代码可在https://github.com/homangab/gradcem获得。
2020-04-19 cs.AI cs.LG cs.RO
The Value of Planning for Infinite-Horizon Model Predictive Control
University of Washington(华盛顿大学)
模型预测控制(MPC)是一种经典的工具,用于对复杂的现实世界系统进行最优控制。虽然它已经成功地应用于机器人技术中的各种具有挑战性的任务,但它从根本上受到预测范围的限制,如果太短,将导致短视的决策。最近,一些论文建议使用学习的价值函数作为MPC的终端成本。如果价值函数是准确的,它有效地允许MPC在无限范围内进行推理。不幸的是,强化学习(RL)解决方案的价值函数近似可能难以实现机器人任务。在本文中,我们提出了一个更有效的方法,适用于目标导向的问题,如达到和导航的价值函数近似。在这些问题中,MPC通常被制定为跟踪规划器返回的路径或轨迹。然而,这种策略是脆弱的,因为对机器人的意外扰动将需要重新规划,这在运行时可能是昂贵的。相反,我们展示了现代规划者使用的中间数据结构如何被解释为近似的价值函数。我们表明,这个价值函数可以直接使用MPC,从而在运行时更有效和弹性的行为。
2021-04-07 cs.LG cs.RO
Exploring Model-based Planning with Policy Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
基于模型的强化学习(MBRL)与模型预测控制或在线规划在样本效率和渐近性能方面显示出用于运动控制任务的巨大潜力。尽管他们最初的成功,现有的规划方法搜索从候选序列中随机产生的动作空间,这是在复杂的高维环境中效率低下。在本文中,我们提出了一种新的MBRL算法,基于模型的政策规划(POPLIN),结合政策网络与在线规划。更具体地说,我们制定行动规划在每个时间步作为一个优化问题,使用神经网络。我们的实验与优化w.r.t.从策略网络初始化的动作序列,以及直接w.r.t.策略网络的参数。我们表明,POPLIN在MuJoCo基准测试环境中获得了最先进的性能,比最先进的算法(如PETS,TD3和SAC)的样本效率高出约3倍。为了解释我们的算法的有效性,我们表明,在参数空间中的优化曲面是光滑的比在行动空间。此外,我们发现,在测试时间的一些环境,如猎豹,在没有扩展的模型预测控制的情况下,可以有效地应用提取的策略网络。代码发布在https://github.com/WilsonWangTHU/POPLIN。
2019-06-20 cs.AI cs.LG cs.RO
Leveraging Predictive Models for Adaptive Sampling of Spatiotemporal Fluid Processes
Plaksha University(普拉沙大学);University of Pennsylvania(宾夕法尼亚大学)
提出PASST算法,利用基于知识的神经常微分方程预测流体过程并结合强化学习规划路径,实现高效持续的自适应时空流体采样。
2023-04-03 cs.LG cs.RO
Learning Dynamics Models for Model Predictive Agents
Technical University of Darmstadt(达姆施塔特工业大学);DeepMind;Google Research(谷歌研究院)
基于模型的强化学习涉及从数据中学习\textit{dynamics model},然后使用此模型优化行为,通常使用在线\textit{planner}。沿着这些路线的许多最近的研究提出了一套特定的设计选择,涉及问题定义,模型学习和规划。由于有多种贡献,很难评估每一种贡献的影响。本文阐述了消除歧义的作用,不同的设计选择学习动力学模型,通过比较其性能规划与地面实况模型-模拟器。首先,我们从DeepMind Control Suite的5个领域的无模型代理的训练序列中收集了丰富的数据集。其次,我们训练前馈动力学模型在监督的方式,并评估规划性能,同时改变和分析不同的模型设计选择,包括集成,随机性,多步训练和时间步长。除了定量分析,我们描述了一组定性的研究结果,经验法则,和未来的研究方向规划与学习动态模型。结果的视频可在https://sites.google.com/view/learning-better-models上获得。
2021-09-29 cs.LG cs.RO
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出动态模型预测屏蔽(DMPS),通过局部规划器与神经策略协同优化恢复动作,在保证可证明安全的同时减少保守性,收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
Implicit Maximum Likelihood Estimation for Real-time Generative Model Predictive Control
School of Computing Science, Simon Fraser University(计算科学系,西蒙弗雷泽大学)
本文提出隐式最大似然估计(IMLE)作为生成模型的替代方法,实现快速推理和强模式覆盖,适用于实时MPC任务。
2026-03-22 cs.AI cs.LG cs.RO
Compressed Predictive Information Coding
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Cruz(加州大学圣克鲁兹分校)
无监督学习在人工智能、机器学习和神经科学等领域发挥着重要作用。与静态数据相比,动态数据的低维结构提取方法相对滞后。我们开发了一种新的信息理论框架,压缩预测信息编码(CPIC),从动态数据中提取有用的表示。CPIC选择性地将过去(输入)投影到线性子空间中,该线性子空间预测从未来(输出)投影的压缩数据。我们的框架的关键见解是通过最小化压缩复杂性和最大化潜在空间中的预测信息来学习表示。我们推导出变的CPIC损失的潜在空间,以捕捉信息,最大限度地预测。利用互信息的边界,我们的变分边界是易于处理的。我们发现,在编码器中引入随机性鲁棒有助于更好的表示。此外,变分方法在互信息估计中的性能优于高斯假设下的估计。我们证明了CPIC能够恢复低信噪比的噪声动力系统的潜在空间,并提取预测神经科学数据中外源变量的特征。
2022-03-03 cs.IT cs.LG math.IT
Motion Planning in Compressed Representation Spaces
MIT LIDS(麻省理工学院信息与决策系统实验室)
提出一种生成式框架,通过高压缩率自编码器学习离散层级化潜在空间,并在其中直接搜索进行运动规划,兼顾灵活性与效率,无需任务特定训练。
2026-07-01 cs.AI cs.LG cs.RO
TimeCapsule: Solving the Jigsaw Puzzle of Long-Term Time Series Forecasting with Compressed Predictive Representations
Hefei Institutes of Physical Science(合肥物理科学研究院);University of Science and Technology of China(中国科学技术大学)
TimeCapsule通过统一冗余减少和多尺度建模思想,将时间序列建模为3D张量并采用模式乘积压缩,结合JEPA内部预测,在LTSF基准上实现最先进性能。
2025-05-23 cs.AI cs.LG eess.SP
MPC-MPNet: Model-Predictive Motion Planning Networks for Fast, Near-Optimal Planning under Kinodynamic Constraints
University of California San Diego(加州大学圣地亚哥分校)
Kinodynamic运动规划(Kinodynamic Motion Planning,KMP)是在运动学和动力学约束下,寻找机器人运动的方法。到目前为止,相当多的方法解决KMP问题和那些存在的斗争,找到接近最优的解决方案,并表现出高计算复杂性的规划空间维数增加。为了解决这些挑战,我们提出了一个可扩展的,模仿学习为基础的,模型预测运动规划网络框架,快速找到接近最优的路径解决方案,最坏情况下的理论保证实际欠驱动系统的kinodynamic约束。我们的框架介绍了两种算法建立在神经生成器,神经网络,和一个并行模型预测控制器(MPC)。生成器向给定目标输出各种通知状态,鉴别器从其中选择最佳可能子集进行扩展。MPC在满足给定约束的同时,局部地连接所选择的通知状态,从而得到可行的、接近最优的解决方案。我们评估我们的算法上的一系列混乱,kinodynamically约束,欠驱动的规划问题,结果表明显着改善计算时间,路径质量和成功率超过现有的方法。
2021-01-17 cs.AI cs.LG cs.RO
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory(布鲁克海文国家实验室);Texas A&M University(德克萨斯A&M大学);Argonne National Laboratory(阿贡国家实验室)
针对活性子空间方法在大模型中存储梯度内存过大的问题,提出压缩活性子空间(CAS),通过结构化等距嵌入降维后构建子空间,大幅降低内存需求,实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Closing the Learning-Planning Loop with Predictive State Representations
Carnegie Mellon University(卡内基梅隆大学)
人工智能的一个核心问题是在部分可观测的环境中,在不确定性条件下如何规划以最大化未来的回报。在本文中,我们提出并证明了一种新的算法,准确地学习这样的环境模型直接从序列的行动观察对。然后,我们通过在学习的模型中进行规划并恢复在原始环境中接近最优的策略来关闭从观察到行动的循环。具体来说,我们提出了一个有效的和统计上一致的频谱算法学习的参数的预测状态表示(PSR)。我们通过学习一个模拟的高维,基于视觉的移动机器人规划任务的模型来演示该算法,然后在学习的PSR中执行近似的基于点的规划。我们的结果分析表明,该算法学习的状态空间,有效地捕捉环境的基本特征。这种表示允许使用少量参数进行准确预测,并实现成功和有效的规划。
2009-12-12 cs.AI cs.LG
Sampling for Model Predictive Trajectory Planning in Autonomous Driving using Normalizing Flows
IEEE
本文提出基于归一化流的采样方法,用于提高自动驾驶轨迹规划的效率和探索能力。
2026-02-06 cs.LG cs.RO
Temporal Predictive Coding For Model-Based Planning In Latent Space
VinAI Research(VinAI研究院);Stanford University(斯坦福大学)
高维观测是基于模型的强化学习(MBRL)应用于现实世界环境的一个主要挑战。为了处理高维感觉输入,现有方法使用表示学习来将高维观测映射到更适合于动态估计和规划的低维潜在空间。在这项工作中,我们提出了一个信息理论的方法,采用时间预测编码的环境中,可以预测跨时间的元素进行编码。由于这种方法的重点是编码时间可预测的信息,我们隐式地优先考虑编码的任务相关的组件在环境中的滋扰信息是可证明的任务无关。通过结合递归状态空间模型学习该表示,我们可以在潜在空间中执行规划。我们评估我们的模型上的一个具有挑战性的修改标准DMControl任务的背景被替换为自然的视频,包含复杂的,但不相关的信息的规划任务。我们的实验表明,我们的模型是优于现有的方法,在具有挑战性的复杂背景设置,同时保持竞争力与当前国家的最先进的模型在标准设置。
2021-06-14 cs.AI cs.LG
Interactive Trajectory Planning with Learning-based Distributionally Robust Model Predictive Control and Markov Systems
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group Trucks Technology(沃尔沃集团卡车技术)
本文研究了在周围智能体决策不确定性下的交互轨迹规划问题,提出结合PAC学习与分布鲁棒优化的DR-MPC框架,通过样本数量实现鲁棒MPC与随机MPC之间的插值。
2026-05-08 cs.LG cs.SY eess.SY
Active Predictive Coding: A Unified Neural Framework for Learning Hierarchical World Models for Perception and Planning
University of Washington(华盛顿大学)
本文提出主动预测编码框架,通过分层世界模型解决人工智能中感知与规划的两大核心问题。
2022-10-23 cs.AI cs.CV cs.LG
Reactive motion planning with probabilistic safety guarantees
California Institute of Technology(加州理工学院)
多智能体环境中的运动规划对于许多重要的自主应用(如自主车辆和辅助机器人)至关重要。研究了受控智能体与多个不受控智能体共享环境的运动规划问题。首先,训练不受控制的代理的预测模型,以基于场景在短时间内预测所有可能的轨迹。然后将预测馈送到基于模型预测控制的运动规划模块。我们使用三种不同的方法,后膨胀,支持向量机(SVM),和共形分析,所有能够生成随机保证的预测模型的预测的正确性证明了泛化界。所提出的方法在模拟自动驾驶公路的情况下进行了仿真。
2020-11-26 cs.LG cs.RO cs.SY
What Drives Success in Physical Planning with Joint-Embedding Predictive World Models?
Meta FAIR;Inria Paris(巴黎理工院);Ecole normale supérieure / PSL(巴黎高等师范学院 / PSL);New York University(纽约大学)
本文研究了在物理规划中使用联合嵌入预测世界模型(JEPA-WMs)的成功因素,通过分析模型架构、训练目标和规划算法对规划成功的影响,提出了一种在导航和操作任务中优于现有基线方法的模型。
2026-09-03 cs.AI cs.LG cs.RO
Multi-robot Path Planning and Scheduling via Model Predictive Optimal Transport (MPC-OT)
Amazon Robotics(亚马逊机器人技术)
针对多机器人前往多目标时路径重叠导致死锁的问题,提出融合最优传输与模型预测控制的MPC-OT方法,实现最优、不重叠且可适应动力学的路径规划与调度。
2025-08-28 cs.LG cs.RO
Predictive and prescriptive analytics for multi-site modelling of frail and elderly patient services
Cardiff University(卡迪夫大学)
本研究结合预测与规范性分析,优化英国11家医院网络165,000名患者的床位和人员规划,实现7%成本节省。
2025-04-24 cs.LG math.OC
Predictive Collision Management for Time and Risk Dependent Path Planning
LMU Munich(慕尼黑大学)
自动驾驶汽车或包裹机器人等自主智能体需要识别并避免可能与障碍物发生碰撞,以便在其环境中成功移动。然而,人类已经学会了凭直觉预测运动,并以前瞻性的方式避开障碍物。避碰任务可以分为全局和局部两个层次。关于全球层面,我们提出了一种方法,称为“预测碰撞管理路径规划”(PCMP)。在地方一级,使用避免碰撞的解决方案,以防止不可避免的碰撞。因此,PCMP的目的是使用预测碰撞管理来避免不必要的局部碰撞场景。PCMP是一种基于图的算法,其重点在于由三个部分组成的时间维度:(1)运动预测,(2)将运动预测集成到时间相关图中,以及(3)时间和风险相关路径规划。该算法结合了搜索最短路径的问题:绕道值得避免可能的碰撞情况?我们在不同的模拟场景中评估了规避行为,结果表明,风险敏感的代理可以避免47.3%的碰撞场景,而绕道1.3%。一个规避风险的代理避免了高达97.3%的碰撞场景,绕道39.1%。因此,一个代理的规避行为可以控制主动和风险依赖于使用PCMP。
2020-11-26 cs.AI cs.LG cs.RO
On Predictive planning and counterfactual learning in active inference
Turner Institute for Brain and Mental Health(特纳脑与心理健康研究所);School of Psychological Sciences(心理科学学院);Monash University(莫纳什大学);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学研究院);IIT Bombay(印度理工学院孟买分校);RIKEN Center for Brain Science(理化学研究所脑科学中心);University College London(伦敦大学学院);Wellcome Trust Centre for Human Neuroimaging(惠康信托人类神经影像中心);CIFAR(加拿大高级研究所)
本文研究主动推理中的规划与经验学习两种决策方案,提出一种在数据复杂性权衡中取得平衡的混合模型,并在网格世界场景中验证其适应性,为可解释的智能决策提供分析框架。
2024-03-19 cs.AI cs.LG stat.ME
JEPA-Bisim: Learning Robust Visual Representations for Planning with Joint-Embedding Predictive World Models
Department of Electrical Engineering, Columbia University, New York, USA.(电气工程系,哥伦比亚大学,纽约,美国)
本文提出了一种联合嵌入预测世界模型,通过引入双模拟编码器增强对慢特征的鲁棒性,提升在减少潜在空间中的导航任务性能。
2026-10-02 cs.LG math.OC
Beyond Generative AI: World Models for Clinical Prediction, Counterfactuals, and Planning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(莫莫德·本·扎伊德人工智能大学)
本文探讨了世界模型在医疗领域中的应用,旨在通过预测动态、反事实评估和规划提升临床决策的可靠性。
2025-11-20 cs.LG
Predictive Control Using Learned State Space Models via Rolling Horizon Evolution
Queen Mary University of London(伦敦玛丽女王大学)
对基于模型的强化学习的兴趣很大一部分来自于获得能够进行战略性长期决策的前向模型的潜在效用。假设智能体成功地学习了一个有用的预测模型,它仍然需要一种机制来利用它来生成和选择竞争的模拟计划。在本文中,我们将进化算法规划技术与通过深度学习和变分推理学习的模型相结合来探索这一主题。我们证明了这种方法与代理,可靠地执行在线规划中的一组视觉导航任务。
2021-06-25 cs.AI cs.LG
Real-Time Learning of Predictive Dynamic Obstacle Models for Robotic Motion Planning
Division of Engineering and Applied Science, California Institute of Technology(工程与应用科学分校,加州理工学院);Applied Intuition(应用直觉)
本文提出一种实时学习动态障碍物预测模型的方法,通过改进的Hankel-DMD实现去噪和多步预测,适用于机器人运动规划。
2026-03-06 cs.LG cs.RO cs.SY
Predictive Planner for Autonomous Driving with Consistency Models
Honda Research Institute(本田研究院);Princeton University(普林斯顿大学)
本文提出基于一致性模型的预测规划器,通过ADMM启发的在线引导采样在自车与周围智能体联合分布中生成高质量轨迹,在WOMD上实现更平滑、安全、高效且满足多约束的自动驾驶规划。
2025-07-21 cs.LG cs.RO
Filter-Aware Model-Predictive Control
Volkswagen Group(大众集团);Machine Learning Research Lab(机器学习研究实验室)
针对部分可观测问题中常规 MPC 忽略未来观测、难以维持状态估计确定性的不足,提出以可跟踪性惩罚信息损失并由神经网络近似的滤波器感知 MPC,在视觉导航和机械臂实验中显著提升性能。
2023-04-20 cs.LG cs.RO cs.SY
Predictive but Not Plannable: RC-aux for Latent World Models
Hokkaido University(北海道大学)
本文提出RC-aux,通过改进潜在世界模型的时空匹配,提升规划能力,实验表明其在目标导向任务中表现更优。
2026-11-17 cs.AI cs.CV cs.LG
Goal-Directed Behavior under Variational Predictive Coding: Dynamic Organization of Visual Attention and Working Memory
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
心理模拟是目标导向行为的关键认知功能,因为它对于评估行为及其后果至关重要。当一个自我生成的或外部指定的目标被给定时,最有可能实现该目标的一系列行动是通过心理模拟从其他候选人中选出的。因此,更好的心理模拟会导致更好的目标导向行动计划。然而,开发心理模拟模型是具有挑战性的,因为它需要对自我和环境的了解。本文研究了如何通过自上而下的视觉注意和视觉工作记忆的动态组织,使机器人在心理上产生适当的目标导向的行动计划。为此,我们提出了一个神经网络模型的基础上变分贝叶斯预测编码,目标导向的行动规划制定潜在的意向空间的贝叶斯推理。我们的实验结果表明,有意义的认知能力,如自主自上而下的注意力的机器人末端执行器(其手),以及动态组织的无阻塞视觉工作记忆,出现。此外,我们的比较实验分析表明,引入视觉工作记忆和推理机制,使用变分贝叶斯预测编码显着提高规划足够的目标导向的行动的性能。
2019-03-12 cs.LG cs.RO
Diffusion Model Predictive Control
Google DeepMind(谷歌DeepMind)
提出扩散模型预测控制(D-MPC),结合扩散模型学习多步动作提议与动力学模型用于在线MPC,在D4RL基准上性能优于现有离线规划方法,并具备运行时优化新奖励与适应新动力学的优势。
2025-05-22 cs.AI cs.LG
EpicWorldModel: Exploration-driven Planning with Latent World Models
Princeton University(普林斯顿大学);Torc Robotics
EpicWorldModel提出基于流匹配的随机JEPA框架,在部分可观测环境中利用预测方差引导CEM规划,平衡目标达成与遮挡区域探索,成功率最高提升22%。
2026-10-06 cs.AI cs.LG cs.RO
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University(麦吉尔大学)
我们提出了一种奖励预测,基于模型的深度学习方法,具有强制约束的视觉注意力,用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置,这些位置遵循车辆控制动作引起的轨迹,以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化,允许自适应性,但鼓励正则化结构,以提高泛化能力和可靠性。重要的是,视觉注意力被应用在潜在的特征映射空间,而不是原始图像空间,以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流,无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现,与无注意和自注意替代方案相比,我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Learning, Planning, and Control in a Monolithic Neural Event Inference Architecture
Cognitive Modeling Group Computer Science Department University of Tübingen(图宾根大学认知建模组计算机科学系)
该研究提出了一种单体神经事件推理架构REPRISE,通过学习动态系统的时序事件预测模型,结合回顾和前瞻推理,实现对传感器运动动态的高效预测与控制。
2019-05-02 cs.AI cs.LG cs.SY