Policy Search for Model Predictive Control with Application to Agile Drone Flight
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
策略搜索和模型预测控制（MPC）是机器人控制的两种不同范式：策略搜索具有利用经验数据自动学习复杂策略的优势，而MPC可以利用模型和轨迹优化提供最优控制性能。一个开放的研究问题是如何利用和结合这两种方法的优势。在这项工作中，我们提供了一个答案，通过使用政策搜索自动选择高层决策变量的MPC，这导致了一个新的政策搜索模型预测控制框架。具体来说，我们制定MPC作为一个参数化的控制器，其中难以优化的决策变量表示为高层次的政策。这样的公式化允许以自我监督的方式优化策略。我们验证了这个框架，专注于敏捷无人机飞行中的一个具有挑战性的问题：通过快速移动的门飞行四旋翼。实验结果表明，我们的控制器实现了鲁棒性和实时控制性能在仿真和现实世界。所提出的框架提供了一个新的视角合并学习和控制。
2021-12-16 cs.AI cs.RO
GAN-MPC: Training Model Predictive Controllers with Parameterized Cost Functions using Demonstrations from Non-identical Experts
Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；Google Research（谷歌研究院）
针对演示者与模仿者动力学不同、状态空间仅部分重叠的问题，本文提出GAN-MPC，用GAN对齐二者状态轨迹分布以训练参数化代价函数的Learnable-MPC，并在DeepMind Control suite验证有效。
2023-06-07 cs.AI cs.LG cs.RO
Real-Time Gait Adaptation for Quadrupeds using Model Predictive Control and Reinforcement Learning
Robert Bosch Center for Cyber-Physical Systems, Indian Institute of Science, Bengaluru（罗伯特·博世跨物理系统中心，印度科学研究院，班加罗尔）
提出结合MPPI与Dreamer的优化框架，在连续步态空间实现四足机器人实时步态自适应，仿真显示能耗平均降低36.48%。
2025-10-24 cs.AI cs.RO
Zero-Shot Function Encoder-Based Differentiable Predictive Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Johns Hopkins University（约翰霍普金斯大学）
本文提出一种可微框架，用于零样本自适应控制非线性动态系统参数族。通过结合函数编码器神经ODE和可微预测控制，实现高效的自监督学习显式控制策略，无需重新训练即可适应新系统。
2026-04-15 cs.LG cs.SY eess.SY
Model-Predictive Control of Blood Suction for Surgical Hemostasis using Differentiable Fluid Simulations
University of California San Diego（加州大学圣地亚哥分校）
手术机器人技术的最新发展已经导致了手术子任务自动化的新进展，例如手术、软组织操作、组织张紧和切割。然而，集成的动态优化这些控制策略的各种场景中遇到的手术仍然没有解决。为此，我们研究了可微流体动力学的整合，以优化抽吸工具的轨迹，从而尽可能快地清除手术区域的血液。全微分流体动力学与一种新的吸力模型相结合，用于工具的有效模型预测控制。流体模型的可微性是至关重要的，因为我们利用流体状态相对于抽吸工具位置的梯度来优化轨迹。通过一系列的实验，我们展示了如何，通过结合流体模型，我们的方法生成的轨迹可以表现得一样好，甚至比手工制作的人类直观的吸力政策。我们还表明，我们的方法是适应性强，可以在不同的腔条件下工作，而使用一个单一的手工制作的策略失败。
2021-02-02 cs.RO
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
Yale University（耶鲁大学）；University of Sydney（悉尼大学）
提出采样引导策略搜索（SGPS），结合基于采样的模型预测控制与一阶策略优化，加速视觉策略学习，并在模拟及真实Go2机器人上实现零样本迁移。
2026-09-18 cs.AI cs.LG cs.RO
Co-learning Planning and Control Policies Constrained by Differentiable Logic Specifications
Purdue University（普渡大学）
本文提出协同学习规划与控制策略的强化学习方法，以可微逻辑规范约束高维机器人导航，降低样本复杂度并实现长时域路径生成与策略对齐。
2023-10-02 cs.LG cs.RO cs.SY
A Study on the Use of Simulation in Synthesizing Path-Following Control Policies for Autonomous Ground Robots
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Massachusetts Institute of Technology（麻省理工学院）
研究使用仿真器为自主地面机器人建立路径跟随控制策略的有效性，提出基于数字孪生生成PID、MPC及两个NN控制策略，并通过随机微仿真测试排名验证仿真与现实结果的一致性。
2024-03-26 cs.RO
Bayesian Learning Approach to Model Predictive Control
Cranfield University（克兰菲尔德大学）
本研究提出了一个贝叶斯学习的观点对模型预测控制算法。在早期的贝叶斯学习和基于采样的模型预测控制的研究中，已经分别开发了高级框架。一方面，贝叶斯学习规则提供了一个通用框架，能够生成各种机器学习算法作为特殊实例。另一方面，动态镜下降模型预测控制框架能够使基于样本展开的控制算法多样化。然而，在随机最优控制的背景下，这两个框架之间的联系仍然没有得到充分的理解。本研究将贝叶斯学习规则的观点结合到模型预测控制的设定中，从模型预测控制器作为在线学习者的观点中得到启发。变分公式的后验类和自然梯度近似的选择决定了模型预测控制的贝叶斯学习方法中模型预测控制算法的多样化。这种替代观点通过简化设计选择的解释来补充动态镜像下降框架。
2022-03-11 cs.LG cs.RO cs.SY
Interactive multi-modal motion planning with Branch Model Predictive Control
California Institute of Technology（加州理工学院）
自主机器人和车辆的运动规划存在的不受控制的代理仍然是一个具有挑战性的问题，因为反应行为的不受控制的代理必须考虑。由于不受控制的智能体通常表现出多模态反应行为，运动规划器需要解决这些行为下的连续运动规划问题，其中包含离散元素。我们提出了一个分支模型预测控制（MPC）框架，计划反馈策略，利用不受控制的代理的反应行为。特别是，一个场景树是从一个有限的一组不受控制的代理的政策，和分支MPC解决了反馈策略的轨迹树的形式，共享相同的拓扑结构的场景树。此外，一致的风险度量，如条件风险价值（CVaR）被用作调整旋钮，以调整性能和鲁棒性之间的权衡。建议的分支MPC框架进行测试的超车和变道任务和合并任务的自动驾驶车辆的模拟，并在实验中的一个自主四足机器人旁边的不受控制的四足动物的运动规划。结果展示了有趣的人类行为，实现了安全和性能之间的平衡。
2021-09-18 cs.RO cs.SY eess.SY
Benchmarking Model Predictive Control and Reinforcement Learning Based Control for Legged Robot Locomotion in MuJoCo Simulation
本研究在MuJoCo仿真中对Unitree Go1四足机器人的MPC与RL控制器进行基准测试，发现RL抗干扰与能效优异但地形泛化弱，MPC则在大扰动恢复与关节控制分配上更优，为足式机器人控制策略选择提供了明确见解。
2025-01-28 cs.RO cs.SY eess.SY
Robust explicit model predictive control for hybrid linear systems with parameter uncertainties
Ocado Technology（奥凯多科技）；Innopolis University（因诺波利斯大学）；University of Lincoln（林肯大学）
针对混合系统显式MPC计算成本高、含参数不确定性及策略切换抖振问题，本文拓展基于zonotope的鲁棒显式MPC，提出凸zonotope阶约简和准无时序策略选择算法，经变参数实验验证有效。
2023-07-23 cs.RO cs.SY eess.SY
Learning Safe Autonomous Driving Policies Using Predictive Safety Representations
Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（雅迪人工智能学院，印度理工学院德里）
本文提出利用预测安全表示改进自动驾驶策略学习，通过实验验证了其在提升安全性和效率方面的有效性。
2025-12-23 cs.LG cs.RO
Inference-Time Enhancement of Generative Robot Policies via Predictive World Modeling
GPC通过预测世界建模在推理时间提升机器人策略，结合生成先验与前瞻性预测，实现测试时间适应，优于行为克隆并与其他基线方法相媲美。
2026-03-11 cs.CV cs.LG cs.RO
Generative Predictive Control: Flow Matching Policies for Dynamic and Difficult-to-Demonstrate Tasks
本文提出生成预测控制方法，用于解决动态且难以示范任务中的快速动态问题，通过流匹配策略实现高效反馈和高频率控制。
2026-03-05 cs.AI cs.RO cs.SY
PPGuide: Steering Diffusion Policies with Performance Predictive Guidance
PPGuide通过性能预测引导技术，在推理时引导预训练的扩散策略避免失败模式，提升机器人操作的鲁棒性。
2026-03-11 cs.RO
Predictive Red Teaming: Breaking Policies Without Breaking Robots
Google DeepMind（谷歌DeepMind）；Princeton University（普林斯顿大学）
针对模仿学习视觉运动策略在异常环境下的脆弱性难暴露问题，提出预测性红队测试并开发RoboART流水线，无需硬件评估即可预测策略性能下降，经实验验证精度高且能通过针对性微调大幅提升基线性能。
2025-02-10 cs.AI cs.LG cs.RO
Where Predictive Supervision Goes Shapes What VLA Policies Learn
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔大学）
本文研究预测监督如何影响VLA策略的视觉表征，发现不同预测接口导致表征差异，直接场景匹配的未来监督可提升策略在分布偏移下的鲁棒性。
2026-10-02 cs.AI cs.RO
ForeTac: Predictive Contact Guidance for Generative Robot Policies
ForeTac是一种预测接触引导框架，通过表征-预测-评估-引导循环提升机器人生成式策略的接触相关性能，在四类真实机器人任务中使平均任务成功率和接触成功率大幅提升。
2026-10-21 cs.RO
Agile Maneuvers in Legged Robots: a Predictive Control Approach
Heriot-Watt University（赫瑞-瓦特大学）；University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）；Dalian University of Technology（大连理工大学）
规划和执行敏捷的运动机动一直是腿式机器人技术的一个长期挑战。它需要实时地得到运动计划和局部反馈策略来处理动力学动量的非完整性。为了实现这一目标，我们提出了一个混合预测控制器，认为机器人的驱动限制和全身动态。它将反馈策略与触觉信息相结合，以局部预测未来的动作。由于可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使ANYmal机器人能够在现实场景中产生敏捷的机动。一个关键因素是跟踪局部反馈策略，因为与全身控制相比，它们实现了期望的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的运动动作，并执行低水平扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。
2022-07-18 cs.AI cs.RO cs.SY
Deep Predictive Policy Training using Reinforcement Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
熟练的机器人任务学习是最好的实现预测行动政策，由于固有的延迟的感觉运动过程。然而，训练这种预测策略是具有挑战性的，因为它涉及到在整个动作持续时间内找到运动激活的轨迹。我们提出了一个数据高效的深度预测策略训练（DPPT）框架，该框架具有深度神经网络策略架构，该架构将图像观察映射到运动激活序列。该架构由三个子网络组成，称为感知，策略和行为超层。感知和行为超层分别对用合成和模拟训练样本训练的视觉和运动数据进行抽象。策略超层是一个具有较少参数的小型子网络，用于映射抽象流形之间的数据。它使用策略搜索强化学习的方法为每个任务进行训练。我们证明了所提出的架构和学习框架的适用性，通过训练预测政策，熟练的物体抓取和球扔在PR2机器人。该方法的有效性说明了这样一个事实，即这些任务的训练使用只有大约180个真正的机器人尝试与定性终端奖励。
2017-03-02 cs.RO
PLaW-VLA: Predictive Latent World Modeling for Vision-Language-Action Policies
Jilin University（吉林大学）；Astribot；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）；The University of Tokyo（东京大学）
PLaW-VLA是基于混合Transformer架构的VLA策略，通过在预训练预测表示空间建模任务相关未来状态，在RoboTwin和LIBERO-Plus数据集上分别实现长程控制和分布偏移泛化的性能提升，且推理延迟大幅降低。
2026-10-09 cs.RO
Demonstration-Guided Deep Reinforcement Learning of Control Policies for Dexterous Human-Robot Interaction
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种通过深度强化学习训练人机交互控制策略的方法，例如握手或拍手。该策略控制一个人形的影子灵巧手，连接到一个机器人arm.We提出了一个参数化的多目标奖励函数，允许学习的各种互动，而不改变奖励结构。奖励函数的参数直接从人与人交互的运动捕捉数据估计，以产生被观察者感知为自然和人性化的策略。我们评估我们的方法上三个显着不同的手的相互作用：握手，拍手和手指触摸。我们提供了详细的分析建议的奖励功能和由此产生的政策，并进行了大规模的用户研究，表明我们的政策产生自然的外观运动。
2020-01-13 cs.LG cs.RO
ForkCast: Predictive Recovery for Vision-Language-Action Policies via Counterfactual Futures
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；Virginia Tech（弗吉尼亚理工大学）
ForkCast是一种预测性恢复框架，通过比较反事实未来确定是否及如何干预冻结的VLA策略，在模拟RoboTwin 2.0任务中大幅提升了操作成功率，还可迁移适配至真实机器人场景。
2026-10-14 cs.RO
PAVE: Predictive Alignment and Value-Guided Evolution for World-Action Policies
East China Normal University（华东师范大学）；EBKernel Shanghai Artificial Intelligence Laboratory（上海人工智能实验室EBKernel）
本研究提出PAVE策略，通过多时间步转换对齐与分布价值评论者优化，在三个模拟基准中实现最优性能，同时保留在线直接动作生成路径。
2026-09-21 cs.AI cs.RO
Learning Hybrid-Control Policies for High-Precision In-Contact Manipulation Under Uncertainty
Collaborative Robotics and Intelligent Systems Institute, Oregon State University（协作机器人与智能系统研究所，俄勒冈州立大学）
本文提出混合位置-力控制策略，通过Mode-Aware Training for Contact Handling (MATCH)提升学习效率，在高噪声环境下显著提高任务成功率并减少力的使用。
2026-04-21 cs.AI cs.LG cs.RO
Value Functions are Control Barrier Functions: Verification of Safe Policies using Control Theory
University College London（伦敦大学学院）
本文提出将价值函数与控制屏障函数建立理论联系，通过控制理论验证方法为强化学习策略提供安全证书，并给出验证指标与实现细节，推动安全可验证的RL控制系统设计。
2023-12-05 cs.AI cs.LG cs.RO
Simultaneously Learning Vision and Feature-based Control Policies for Real-world Ball-in-a-Cup
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Google DeepMind（谷歌DeepMind）
我们提出了一种基于视觉的控制策略在真实机器人上的快速训练方法。我们的方法背后的关键思想是使用辅助任务执行多任务强化学习，这些辅助任务不仅在要优化的奖励方面不同，而且在它们运行的状态空间中也不同。特别是，我们允许辅助任务策略利用仅在训练时可用的任务功能。这允许快速学习辅助策略，随后生成用于训练主要的基于视觉的控制策略的良好数据。该方法可以被看作是调度辅助控制（SAC-X）框架的扩展。我们证明了我们的方法的有效性，通过使用模拟和现实世界的球在一个杯游戏控制的机器人arm. In模拟，我们的方法导致显着的学习速度相比，标准SAC-X。在真正的机器人上，我们证明了任务可以从头开始学习，即，没有来自模拟的迁移，也没有模仿学习。我们学习的策略在真实机器人上运行的视频可以在https://sites.google.com/view/rss-2019-sawyer-bic/上找到。
2019-02-18 cs.LG cs.RO stat.ML
Learning Stabilizing Control Policies for a Tensegrity Hopper with Augmented Random Search
Innopolis University（因诺波利斯大学）
在本文中，我们考虑张拉整体料斗-一种新的基于张拉整体的机器人，能够通过跳跃移动。本文重点研究了系统的镇定控制策略设计问题，并采用增广随机搜索方法得到了系统的镇定控制策略。特别是，我们搜索的控制策略，使料斗，以保持垂直稳定后，执行一个单一的跳跃。它表明，料斗可以保持一个垂直的配置，受到不同的初始条件和改变控制频率率。特别是，将控制频率从训练中的1000 Hz降低到执行中的500 Hz并不影响平衡任务的成功率。
2020-04-06 cs.LG cs.RO cs.SY
Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning
Stanford（斯坦福大学）；UC Berkeley（加州大学伯克利分校）；NVIDIA（英伟达）
本文提出R&B-EnCoRe方法，通过自监督细化使模型从互联网知识中自推导具身推理策略，提升动作执行和导航性能，减少碰撞率。
2026-05-16 cs.AI cs.CV cs.LG
A Benchmark Comparison of Learned Control Policies for Agile Quadrotor Flight
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
四旋翼是高度非线性的动力系统，需要仔细调整控制器才能达到其物理极限。最近，基于学习的控制策略已被提出用于四旋翼，因为它们可能允许学习从高维原始感官观察到动作的直接映射。由于样本效率低下，在真实平台上训练这种学习的控制器是不切实际的，甚至是不可能的。仿真中的训练是有吸引力的，但需要在域之间传递策略，这要求训练的策略对这种域间隙具有鲁棒性。在这项工作中，我们做出了两个贡献：（i）我们对敏捷四旋翼飞行的现有学习控制策略进行了第一次基准比较，并表明，与直接指定各个旋翼推力的策略相比，训练命令机身速率和推力的控制策略导致更鲁棒的仿真到现实迁移，（ii）我们首次证明，通过深度强化学习训练的这种控制策略可以在真实世界的实验中以超过45 km/h的速度控制四旋翼。
2022-02-22 cs.RO
Sim-to-(Multi)-Real: Transfer of Low-Level Robust Control Policies to Multiple Quadrotors
University of Southern California（南加州大学）
四旋翼稳定控制器通常需要仔细的、特定于模型的调整以实现安全操作。我们使用强化学习来训练仿真中的策略，这些策略可以很好地转移到多个不同的物理四旋翼。我们的政策是低层次的，即，我们将旋翼机的状态直接映射到发动机输出。经过训练的控制策略对外部干扰非常鲁棒，并且可以承受诸如投掷之类的苛刻初始条件。我们展示了不同的训练方法（改变成本函数，噪声建模，使用域随机化）可能会影响飞行性能。据我们所知，这是第一个工作，证明了一个简单的神经网络可以学习一个强大的稳定低级别的四旋翼控制器（不使用稳定PD控制器），被证明推广到多个四旋翼。
2019-04-16 cs.RO
Regularizing Action Policies for Smooth Control with Reinforcement Learning
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
使用深度强化学习（RL）训练的控制器的实际效用的一个关键问题是RL策略学习的动作明显缺乏平滑性。这种趋势通常以控制信号振荡的形式出现，并可能导致控制不良、高功耗和不适当的系统损耗。我们引入了动作策略平滑性调节（CAPS），一种有效而直观的动作策略正则化，它提供了一致的改进，在神经网络控制器的学习状态到动作映射的平滑性，反映在消除控制信号中的高频分量。在真实系统上进行测试，四旋翼无人机上控制器平滑度的改进导致功耗降低近80%，同时持续训练飞行控制器。项目网址：http://ai.bu.edu/caps
2021-05-26 cs.LG cs.RO cs.SY
Cascade Attribute Network: Decomposing Reinforcement Learning Control Policies using Hierarchical Neural Networks
University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）
强化学习方法已经被开发，以在各种自动化任务中训练控制策略方面取得巨大成功。然而，强化学习在实际自动化中更广泛应用的一个主要挑战是训练过程很难，并且预训练的策略网络在其他类似情况下很难重用。为了解决这个问题，我们提出了级联属性网络（CAN），它利用其层次结构来分解一个复杂的控制策略的要求约束，我们称之为属性，编码在控制任务。我们验证了我们所提出的方法的有效性，在两个机器人控制方案与各种附加属性。对于某些具有多个附加属性属性的控制任务，通过直接级联组装属性模块，CAN可以以zero-shot方式提供理想的控制策略。
2020-05-07 cs.RO
Learning Task-Driven Control Policies via Information Bottlenecks
Princeton University（普林斯顿大学）
本文提出了一种强化学习方法，用于为配备有丰富感觉模态（例如，视觉或深度）。标准的强化学习算法通常会产生将控制动作与整个系统的状态和丰富的传感器观测紧密耦合的策略。因此，所得到的策略通常可能对状态或观测的任务无关部分的变化敏感（例如，改变背景颜色）。相比之下，我们在这里提出的方法学习创建一个任务驱动的表示，用于计算控制动作。从形式上讲，这是通过推导一个策略梯度风格的算法来实现的，该算法在状态和任务驱动表示之间创建了一个信息瓶颈;这将动作约束为仅依赖于任务相关信息。我们在多个示例的一组完整的模拟结果中展示了我们的方法，包括利用深度图像的抓取任务和利用RGB图像的接球任务。与标准的策略梯度方法的比较表明，我们的算法产生的任务驱动的政策往往是更强大的传感器噪声和任务无关的环境变化。
2020-02-04 cs.LG cs.RO math.OC
A Benchmark Comparison of Imitation Learning-based Control Policies for Autonomous Racing
University of Pennsylvania（宾夕法尼亚大学）
本文针对自动驾驶赛车控制策略，系统基准测试了多种模仿学习方法，证明交互式模仿学习优于传统方法，并能通过引导显著提升强化学习性能。
2023-05-28 cs.RO
Towards Metric-Agnostic Trajectory Forecasting
RWTH Aachen University（亚琛工业大学）；Eindhoven University of Technology（埃因霍温理工大学）
提出度量无关的概率训练目标，并引入TraDiE策略将预测分布映射为轨迹和置信度，实现度量优化作为下游任务，在Waymo基准上取得最优结果。
2026-07-02 cs.CV cs.RO
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的方法来学习控制策略，以执行复杂的多智能体机器人任务。然而，在模拟中学习的策略往往无法保证甚至简单的安全属性，例如避障。为了确保安全性，我们提出了多智能体模型预测屏蔽（MAMPS），这是一种可证明地保证任意学习策略安全的算法。特别是，它通过尽可能频繁地使用学习策略来操作，但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境，我们展示了如何MAMPS可以实现良好的性能，同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
Adapting control policies from simulation to reality using a pairwise loss
College of Computer and Information Science, Northeastern University（东北大学计算机与信息科学学院）；Department of Computer Science, Boston University（波士顿大学计算机科学系）
本文提出了一种基于成对损失函数的域转移方法，该方法有助于将仿真中学习到的控制策略转移到真实机器人上。我们探索的想法在一个“类别级别”的操纵任务的背景下，控制策略的学习，使机器人能够执行交配任务，涉及新的对象。我们探讨的情况下，深度图像被用作传感器输入的主要形式。我们的实验结果表明，该方法始终优于基线方法，训练只在模拟或结合真实和模拟数据在一个天真的方式。
2018-10-26 cs.AI cs.CV cs.RO
