Reinforced Model Predictive Control via Trust-Region Quasi-Newton Policy Optimization
针对现有强化学习优化模型预测控制时一阶更新收敛慢、数据需求大的问题，提出基于信赖域约束的拟牛顿策略优化算法，实现超线性收敛，在数据效率和精度上更优。
2024-10-31 cs.LG cs.SY eess.SY
Continuous Jumping for Legged Robots on Stepping Stones via Trajectory Optimization and Model Predictive Control
University of Southern California（南加州大学）
在不平坦的踏脚石上进行跳跃或奔跑等高度敏捷的动态运动一直是足式机器人运动中的一个挑战性问题。本文提出了一种框架，结合轨迹优化和模型预测控制执行稳健的和连续的跳跃上的垫脚石。在我们的方法中，我们首先利用轨迹优化的基础上的全非线性动力学的机器人产生周期性的跳跃轨迹的各种跳跃距离。设计了基于模型预测控制的跳跃控制器，实现了跳跃过程的平滑过渡，使机器人能够在踏脚石上实现连续跳跃。由于MPC作为一个实时反馈控制器的结合，所提出的框架也被验证为具有未知的高度扰动和模型不确定性的机器人动力学不均匀的平台是强大的。
2022-09-16 cs.RO
Inverse Dynamics Trajectory Optimization for Contact-Implicit Model Predictive Control
California Institute of Technology（加州理工学院）；Toyota Research Institute（丰田研究院）；Department of Electrical Engineering, University of Notre Dame（诺特难大学电气工程系）
本文通过逆动力学轨迹优化结合一系列增量式创新，实现了实时接触隐式模型预测控制，并在20自由度双臂操作硬件任务上以超过100 Hz验证了有效性。
2025-05-05 cs.RO
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
MPPI-Generic: A CUDA Library for Stochastic Trajectory Optimization
Autonomous Control and Decision Systems Lab, Georgia Institute of Technology（自主控制与决策系统实验室，佐治亚理工学院）
MPPI-Generic是一种用于随机轨迹优化的CUDA库，提供多种模型预测控制算法，并支持自定义动态模型和成本函数，展示了其在GPU上的高效计算能力。
2026-02-24 cs.DC cs.MS cs.RO
Deep Learning with Predictive Control for Human Motion Tracking
IBM Research - Tokyo, IBM Japan（IBM日本东京研究院）
我们建议将模型预测控制与深度学习相结合，用于机器人精确的人体运动跟踪任务。我们设计的MPC允许学习和保守的预测之间切换。我们还使用DyBM模型探索了在线学习。我们将此方法应用于UR-5机器人的手写运动跟踪。结果表明，该框架显著提高了跟踪性能。
2018-08-07 cs.RO
Predictive Maintenance for Edge-Based Sensor Networks: A Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
关键任务设备的故障会中断生产并造成金钱损失。通过对创收资产进行预测性维护，可以最大限度地降低计划外设备停机的风险，以确保设备的最佳性能和安全运行。然而，设备的增加的传感器化产生了大量的数据，并且现有的基于机器学习的预测模型本身对于及时的设备状况预测变得不足够。本文提出了一种无模型的深度强化学习算法，用于基于设备的传感器网络上下文的预测性设备维护。在每个设备内，传感器设备聚集原始传感器数据，并且针对异常事件分析设备健康状态。与传统的黑盒回归模型不同，该算法可以自学习最优维护策略，并为每个设备提供可操作的建议。我们的实验结果表明，更广泛的设备维护应用的自动学习框架的潜力。
2020-07-07 cs.AI cs.LG stat.ML
Transformer-based Model Predictive Control: Trajectory Optimization via Sequence Modeling
Stanford University（斯坦福大学）；Politecnico di Torino（都灵理工大学）
本研究提出融合Transformer与MPC的统一框架，用Transformer为非凸轨迹优化提供近优初始解，经仿真与自由飞行平台实验验证，可大幅提升轨迹生成性能、减少迭代次数并加快运行速度。
2024-10-31 cs.AI cs.RO math.OC
Aggressive Deep Driving: Model Predictive Control with a CNN Cost Model
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个框架，基于视觉的模型预测控制（MPC）的任务积极，高速自动驾驶。我们的方法使用深度卷积神经网络来预测输入视频的成本函数，这些成本函数直接适用于MPC的在线轨迹优化。我们在高速自动驾驶场景中演示了该方法，在该场景中，我们使用单个单目摄像头和深度卷积神经网络来预测车辆前方赛道的成本图。实验结果在1：5比例的自动驾驶汽车上进行了演示，任务是高速、激进的驾驶。
2017-07-17 cs.RO
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics（国立信息学研究所）；University of Waterloo（滑铁卢大学）
优先经验重放（PER）对重要的转换进行采样，而不是均匀地采样，以提高深度强化学习代理的性能。我们认为，这种优先级必须与样本多样性相平衡，以使DQN稳定并防止遗忘。我们提出的对PER的改进，称为预测PER（PPER），采取三种对策（TDInit，TDClip，TDPred）来（i）消除优先级离群值和爆炸，以及（ii）改善样本多样性和分布，按优先级加权，两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN，称为TDPred，以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明，每一个对策，以自己的方式和PPER有助于成功地提高稳定性，从而性能超过PER。
2020-11-26 cs.AI cs.LG
Deep Value Model Predictive Control
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）
在本文中，我们介绍了一个行动者-评论算法称为深度值模型预测控制（DMPC），它结合了基于模型的轨迹优化与价值函数估计。DMPC执行者是一个模型预测控制（MPC）优化器，其目标函数根据评价者估计的价值函数来定义。我们表明，我们的MPC演员是一个重要的采样器，最小化的最优采样策略的状态分布的交叉熵的上限。在我们与Ballbot系统的实验中，我们表明我们的算法可以使用稀疏和二进制奖励信号来有效地解决避障和目标到达任务。与以前的工作相比，我们表明，包括价值函数的运行成本的轨迹优化加快收敛。我们还讨论了必要的策略，鲁棒性的算法在实践中。
2019-10-08 cs.LG cs.RO stat.ML
Model Predictive Trajectory Optimization With Dynamically Changing Waypoints for Serial Manipulators
Technische Universität Wien (TUW)（维也纳技术大学）；AIT Austrian Institute of Technology GmbH（奥地利技术研究院有限公司）
针对短时域在线轨迹优化难以纳入动态路点的问题，提出路点模型预测控制（wMPC），通过分割规划时域并缩短时域长度，实现低计算负载的实时重规划，实验验证其性能与离线RRT型规划器相当。
2024-02-07 cs.RO
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic（南洋理工学院）；Singapore Management University（新加坡管理大学）
该研究提出了一个报价驱动的预测自动做市商（AMM）平台，具有链上托管和结算功能，以及链下预测强化学习功能，以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强，通过利用新的市场均衡定价来减少分歧和滑点损失。此外，所提出的架构涉及预测AMM功能，利用深度混合的长短期记忆（LSTM）和Q学习强化学习框架，通过更好地预测流动性集中范围来提高市场有效性，因此流动性在资产价格变动之前开始向预期集中范围移动，从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义，通过（i）减少流动性提供者的分歧损失，（ii）减少加密资产交易者的滑点，同时（iii）提高AMM协议流动性供给的资本效率。据我们所知，目前还没有已知的协议或文献提出类似的深度学习增强AMM，可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Model Hierarchy Predictive Control of Robotic Systems
University of Notre Dame（圣母大学）
这封信提出了一种新的预测控制结构的高维机器人系统。相对于传统的模型预测控制（MPC）的方法来制定一个层次序列的优化问题的运动，所提出的工作制定了一个单一的优化问题提出了一个层次的模型，因此被命名为模型层次预测控制（MHPC）。MHPC被公式化为多阶段滚动时域轨迹优化（TO）问题，并且可以使用任何通用的多阶段TO求解器来实现。MHPC在四足动物、双足动物和四旋翼动物的模拟中进行了基准测试，证明了与全身MPC相当或超过全身MPC的控制性能，同时在每种情况下保持较低的计算成本。在MIT Mini Cheetah上进行了初步的间隙跳跃实验，离线生成的控制策略，证明了生成的轨迹的物理有效性，并激励在线MHPC在未来的工作中。
2021-05-11 cs.RO
Contact Optimization for Non-Prehensile Loco-Manipulation via Hierarchical Model Predictive Control
University of Southern California（南加州大学）
最近的研究集中在四足机器人的运动或移动操作使用的机器人手臂。足式机器人可以操纵较重和较大的物体使用非弹性操作原语，如平面推动，驱动对象到所需的位置。在本文中，我们提出了一种新的分层模型预测控制（MPC）的接触优化的操作任务。使用两个级联的MPC，我们分裂的本地操作问题分为两部分：第一，以优化机器人和物体之间的接触力和接触位置，第二，通过机器人运动调节所需的相互作用力。我们的方法是成功地验证了在仿真和硬件实验。虽然基线运动MPC未能遵循所需的轨迹的对象，我们提出的方法可以有效地控制对象的位置和方向，以最小的跟踪误差。这种能力也使我们能够执行避障的机器人和对象在本地操作任务。
2022-10-07 cs.RO
Model Predictive Control for Autonomous Driving Based on Time Scaled Collision Cone
IIIT-Hyderabad（印度国际信息技术研究所海得拉巴分校）；Tampere University of Technology（坦佩雷理工大学）；Mathworks Inc.（Mathworks公司）
本文提出了一种基于路径速度分解范式的自动驾驶模型预测控制框架。基于MPC的优化具有两层结构，其中首先，为车辆计算适当的路径，然后计算沿其的最佳前进速度。所提出的路径速度分解的性质允许优化的两层之间的无缝兼容性。所提出的工作的一个关键特征是，它卸载的碰撞避免的速度优化层的计算效率的配方可以推导出的大部分责任。特别是，我们扩展了我们以前开发的时间尺度碰撞锥（TSCC）约束的概念，并制定了前向速度优化层作为一个凸二次规划问题。我们对自动驾驶场景进行验证，其中提出的MPC以滚动时域的方式重复求解两个优化层，以计算多个动态障碍物之间的车道变换，超车和合并机动。
2018-03-07 cs.RO
Whole-body model predictive control with rigid contacts via online switching time optimization
Kyoto University（京都大学）
针对具有刚性接触的机器人系统，提出了一种基于在线切换时间优化的整体模型预测控制（MPC）方法。我们把机器人动力学与刚性接触作为一个切换系统，制定切换系统的最优控制问题，以实现MPC。我们利用一个有效的解决方案算法的MPC问题，同时优化切换时间和轨迹。本高效的算法，不像现有的低效的方法，使在线优化以及切换时间。通过对四足机器人动态跳跃运动的数值模拟，将在线STO的MPC与传统的固定切换时间的MPC进行了比较。在仿真比较中，所提出的MPC成功地控制了动态跳跃运动的两倍的情况下，传统的MPC，这表明所提出的方法扩展了整体MPC的能力。我们进一步进行硬件实验的四足机器人Unitree A1和证明所提出的方法实现了真实机器人的动态运动。
2022-10-24 cs.RO math.OC
Predictive auxiliary objectives in deep RL mimic learning in the brain
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
该研究探讨深度强化学习中预测性辅助目标对表征学习的作用，发现其可改善稳定学习，且系统表征变化与大脑神经活动变化相似，为脑区交互建模提供可解释框架，还提出海马体的辅助学习新作用。
2024-10-29 cs.AI
Accelerating genetic optimization of nonlinear model predictive control by learning optimal search space size
Military Technical College（军事技术学院）
本文提出通过学习最优搜索空间大小来加速非线性模型预测控制的遗传优化，利用多元回归模型自适应预测搜索空间尺寸，减少计算时间17-45%，提高收敛率35-47%，并在三个非线性系统上验证了有效性。
2025-01-13 cs.CC cs.NE cs.RO
OpTaS: An Optimization-based Task Specification Library for Trajectory Optimization and Model Predictive Control
King’s College London（伦敦国王学院）；University of Edinburgh（爱丁堡大学）；Kawada Robotics Corporation（川田机器人公司）；Alan Turing Institute（艾伦·图灵研究所）
本文提出OpTaS，一个用于机器人轨迹优化与模型预测控制的Python任务规范库，支持自定义非线性约束问题、执行中修改参数，并兼容多种求解器，可在关节空间和任务空间同时定义任务。
2023-01-31 cs.RO
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University（北京航空航天大学）
深度强化学习已被应用于各种无线任务，然而，已知其具有高训练和推理复杂度。在本文中，我们诉诸深度确定性策略梯度（DDPG）算法，以优化预测功率分配之间的K个移动用户请求视频流，最大限度地减少网络的能量消耗下，每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模，我们利用了一种演员和评论家网络固有的对称先验：置换不变和等变性质，来设计神经网络。我们的分析表明，DDPG的自由模型参数可以压缩2/K^2。仿真结果表明，当K = 10时，具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
Guided Riemannian Optimization (GuRO): Bridging Model Predictive Control and Decision Transformers
The University of Manchester（曼彻斯特大学）
本研究提出GuRO框架，将MPC与RL整合到序列决策框架，利用黎曼优化解决非凸损失问题，在四足机器人控制任务上优于TRPO等基准方法。
2026-08-26 cs.RO
Model predictive trajectory optimization and tracking for on-road autonomous vehicles
Samsung（三星）；The Ohio State University（俄亥俄州立大学）
自主车辆的运动规划需要时空运动规划（即状态轨迹）来考虑动态障碍物。这需要一个轨迹跟踪控制过程，它忠实地跟踪规划的轨迹。在本文中，提出了一种控制方案，首先优化规划的轨迹，然后使用反馈-前馈控制器跟踪优化的轨迹。前馈元件以模型预测的方式计算，其中成本函数关注驾驶性能。然后通过设计反馈-前馈控制器来保证误差动态的稳定性。控制系统的跟踪性能进行了测试，在一个现实的模拟情况下，控制系统必须跟踪规避横向机动。所提出的控制器在仿真中表现良好，可以很容易地适应不同的动态车辆模型。控制综合的唯一性解决方案消除了任何不确定性，可能会出现与底层的数学程序之间的数值求解器切换。
2018-11-11 cs.RO math.OC
Deep Reinforcement Learning-Enhanced Event-Triggered Data-Driven Predictive Control for a 3D Cable-Driven Soft Robotic Arm
Mississippi State University（密西西比州立大学）；Michigan State University（密歇根州立大学）
提出一种强化学习自适应事件触发DeePC框架，通过训练RL策略决定何时调用优化器，在保持跟踪精度的同时减少计算开销，实验显示优化频率降低66%。
2026-06-29 cs.RO cs.SY eess.SY
Deep Predictive Models for Collision Risk Assessment in Autonomous Driving
Arizona State University（亚利桑那州立大学）
在本文中，我们研究了自动驾驶和辅助驾驶中碰撞风险评估的预测方法。训练深度预测模型，以预测传统视频流中即将发生的事故。特别是，该模型学习识别RGB图像中预测即将发生的危险情况的线索。与以前的工作相比，我们的方法结合了（a）决策过程中的时间信息，（b）关于环境的多模态信息，以及受控车辆的本体感受状态和转向动作，以及（c）关于任务固有的不确定性的信息。为此，我们讨论了深度预测模型，并提出了一个使用贝叶斯卷积LSTM的实现。在一个简单的模拟环境中的实验表明，该方法可以学习预测即将发生的事故，具有合理的准确性，特别是当多个摄像机用作输入源。
2018-03-29 cs.RO
Deep Predictive Policy Training using Reinforcement Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
熟练的机器人任务学习是最好的实现预测行动政策，由于固有的延迟的感觉运动过程。然而，训练这种预测策略是具有挑战性的，因为它涉及到在整个动作持续时间内找到运动激活的轨迹。我们提出了一个数据高效的深度预测策略训练（DPPT）框架，该框架具有深度神经网络策略架构，该架构将图像观察映射到运动激活序列。该架构由三个子网络组成，称为感知，策略和行为超层。感知和行为超层分别对用合成和模拟训练样本训练的视觉和运动数据进行抽象。策略超层是一个具有较少参数的小型子网络，用于映射抽象流形之间的数据。它使用策略搜索强化学习的方法为每个任务进行训练。我们证明了所提出的架构和学习框架的适用性，通过训练预测政策，熟练的物体抓取和球扔在PR2机器人。该方法的有效性说明了这样一个事实，即这些任务的训练使用只有大约180个真正的机器人尝试与定性终端奖励。
2017-03-02 cs.RO
Deep Model Predictive Variable Impedance Control
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Aalto University（阿尔托大学）
本文提出融合变阻抗控制与MPC的深度模型预测变阻抗控制器，通过信息增益最大化探索学习广义笛卡尔阻抗模型，并在Franka Panda上验证其跨任务免微调的柔顺控制性能。
2022-09-20 cs.RO
