Model Predictive Control via Probabilistic Inference: A Tutorial and Survey
Nagoya University(名古屋大学);CyberAgent AI Lab(CyberAgent AI实验室)
本文综述了基于概率推断的模型预测控制(PI-MPC),介绍了其通过变分推断生成动作的方法,并探讨了该方法在机器人及其他控制应用中的理论与实践意义。
2026-04-08 cs.RO cs.SY eess.SY
SHIELD: Scalable Optimal Control with Certification using Duality and Convexity
Model Predictive Control Laboratory, UC Berkeley(模型预测控制实验室,加州大学伯克利分校);Nextracker Inc(Nextracker公司)
SHIELD通过减少决策变量维度和约束集,结合对偶性和强凸性,提供安全约束删除证书,加速算法并验证在复杂交通场景中的SMPC效果,实现高效可行的轻量MPC。
2026-05-12 cs.RO
Collision Avoidance for Dynamic Obstacles with Uncertain Predictions using Model Predictive Control
UC Berkeley(加州大学伯克利分校);Ford Research and Advanced Engineering(福特研究与高级工程部门)
我们提出了一个模型预测控制(MPC)之间的碰撞避免自主智能体和动态障碍物的不确定预测。避碰约束是通过强制执行代表代理和障碍物的凸集之间的正距离来施加的,并使用拉格朗日对偶将其可追溯地重新表述。这种方法允许平滑的碰撞避免约束,即使是多面体,否则需要混合整数或非平滑的约束。我们考虑三种广泛使用的描述不确定的障碍物的位置:1)任意分布的多面体支持,2)高斯分布和3)任意分布的前两个时刻已知。对于每一种情况下,我们得到确定性的重新制定的碰撞避免约束。建议MPC制定优化过反馈政策,以减少保守性,满足避碰约束。在CARLA中对交通交叉口进行了仿真,验证了该方法的有效性.
2022-08-06 cs.RO math.OC
Walking in Narrow Spaces: Safety-critical Locomotion Control for Quadrupedal Robots with Duality-based Optimization
University of California, Berkeley(加州大学伯克利分校)
本文提出一种结合指数离散控制屏障函数与对偶避障约束的四足机器人安全运动控制框架,利用多面体精确描述形状,实现真实世界中狭窄空间的安全自主导航。
2023-08-09 cs.RO
Stein Variational Model Predictive Control
Georgia Tech(佐治亚理工学院);NVIDIA(英伟达);University of Washington(华盛顿大学);The University of Sydney(悉尼大学)
不确定性下的决策对于现实世界的自治系统至关重要。模型预测控制(MPC)方法在实践中表现出良好的性能,但在处理复杂的概率分布时仍然受到限制。在本文中,我们提出了一个广义的MPC,代表了众多的解决方案作为后验分布。通过铸造MPC作为贝叶斯推理问题,我们采用变分方法的后验计算,自然编码的复杂性和多模态的决策问题。我们提出了一个Stein变分梯度下降方法估计后直接控制参数,给定的成本函数和观察到的状态轨迹。我们表明,这个框架导致成功的规划具有挑战性的,非凸最优控制问题。
2021-04-12 cs.AI cs.RO
Multi-Modal Model Predictive Path Integral Control for Collision Avoidance
Delft University of Technology(代尔夫特理工大学)
针对自动驾驶车辆避障决策,本文提出多模态 MPPI 控制,结合 Sobol 采样、避障解析解和轮胎摩擦约束,在多种高保真场景中实现稳定无碰撞行驶并优于标准 MPPI。
2025-08-29 cs.RO cs.SY eess.SY
MuPNet: Multi-modal Predictive Coding Network for Place Recognition by Unsupervised Learning of Joint Visuo-Tactile Latent Representations
Aalto University(阿尔托大学);University of Amsterdam(阿姆斯特丹大学);Centrum Wiskunde & Informatica(数学与计算机科学研究中心);Bristol Robotics Laboratory(布里斯托尔机器人实验室)
从不同的感觉模态中提取和绑定显著信息以确定环境中的共同特征是机器人技术中的一个重大挑战。在这里,我们提出了MuPNet(多模态预测编码网络),一个生物学上合理的网络架构,用于从仿生移动机器人收集的视觉触觉传感数据中提取关节潜在特征。在这项研究中,我们评估MuPNet应用于地方识别作为一个模拟的仿生机器人平台探索视觉锯齿环境。F1分数表明,其性能优于现有的手工制作的感觉特征提取技术是在受控条件下等效的,当在新的环境中操作时具有显著的改善。
2019-09-16 cs.CV cs.RO
Visuo-Tactile based Predictive Cross Modal Perception for Object Exploration in Robotics
BMW Group(宝马集团);Imperial College of Science, Technology and Medicine(帝国理工学院);Eindhoven University of Technology(埃因霍温理工大学)
提出视觉-触觉预测性跨模态感知框架,利用视觉先验和双滤波推动估计物体属性,并通过惊奇公式增强预测,在真实机器人实验中表现优越。
2024-05-23 cs.RO
Predictive Control for Autonomous Driving with Uncertain, Multi-modal Predictions
UC Berkeley(加州大学伯克利分校);Ford Research and Advanced Engineering(福特研究与高级工程)
本文提出一种凸随机模型预测控制方法,通过优化参数化反馈策略并为多模态预测的每个模式分配风险水平,实现自动驾驶车辆在多智能体不确定场景下的实时可行路径规划。
2023-10-31 cs.RO cs.SY eess.SY
Model Predictive Control with Gaussian Processes for Flexible Multi-Modal Physical Human Robot Interaction
Fraunhofer IPK(弗劳恩霍夫生产设备与设计技术研究所)
本文提出基于高斯过程的模型预测控制方法,用于多模态人机协作交互,通过贝叶斯推断和在线控制提升任务灵活性和效率。
2021-10-24 cs.RO cs.SY eess.SY
Encoding Longer-term Contextual Multi-modal Information in a Predictive Coding Model
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所);Plymouth University(普利茅斯大学);Waseda University(早稻田大学)
研究表明,在层次结构中,拓扑较高的水平可能代表了当前感觉事件的有意识类别,具有较慢的变化活动。他们试图通过传递预测的信息来预测较低级别的活动。另一方面,传入的感觉信息通过新的或令人惊讶的信号在更高水平上校正对事件的这种预测。我们提出了一个预测分层人工神经网络模型,在神经机器人平台上检查这一假设,基于AFA-PredNet模型。在该神经网络模型中,在分层预测编码的不同级别上存在不同的预测时间尺度,其在神经元中的时间参数中定义。此外,快速和缓慢变化的神经活动都受到主动运动活动的调制。基于该架构的神经机器人实验也进行了从VRep模拟器收集的数据的基础上。
2018-04-17 cs.AI cs.NE cs.RO
Multi-Modal Learning of Keypoint Predictive Models for Visual Object Manipulation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Facebook AI Research(脸书人工智能研究院);Technical University of Munich(慕尼黑工业大学)
当涉及到在全新的环境中操纵物体和工具时,人类具有令人印象深刻的泛化能力。这些能力至少部分是由于人类对自己的身体和任何抓握的物体有内部模型。如何为机器人学习这样的身体图式仍然是一个悬而未决的问题。在这项工作中,我们开发了一种自我监督的方法,可以扩展机器人的运动学模型时,抓住一个对象从视觉潜在的表示。我们的框架包括两个部分:(1)我们提出了一个多模态关键点检测器:一个通过融合本体感觉和视觉来预测物体上的视觉关键点的自动编码器架构;(2)我们展示了如何使用我们学习的关键点检测器通过从预测的视觉关键点回归虚拟关节来学习运动链的扩展。我们的评估表明,我们的方法学习一致预测的视觉关键点的对象在机械手的手,因此可以很容易地学习扩展的运动链,包括在各种配置中抓住的对象,从几秒钟的视觉数据。最后,我们表明,这种扩展的运动链本身的对象操作任务,如放置一个掌握的对象和目前的实验模拟和硬件。
2021-06-25 cs.AI cs.RO
Towards Predictive, Aligned, and Scalable Robot Learning
Astribot Team(Astribot团队)
研究旨在实现可预测、对齐且可扩展的机器人学习。核心方法是引入Lumo - 2潜在世界 - 动作模型,提出多阶段模态预对齐策略。主要贡献是该模型在实证研究中表现出色,优于基线,验证了结构化多模态对齐和预测推理对具身智能的重要性。
2026-07-14 cs.AI cs.RO
Towards Interpretable Visuo-Tactile Predictive Models for Soft Robot Interactions
The BioRobotics Institute, Sant’Anna School of Advanced Studies(圣安娜高级研究院生物机器人研究所);Departement of Excellence in Robotics & AI, Sant’Anna School of Advanced Studies(圣安娜高级研究院机器人与人工智能卓越系);Department of Computer Science, University College London(伦敦大学学院计算机科学系)
本文针对软体机器人交互预测难且难以解释的问题,提出利用生成模型融合本体感觉与视觉信息构建多模态感知模型,并提供解释工具分析融合与预测过程。
2024-07-25 cs.AI cs.RO