From Code to Action: Hierarchical Learning of Diffusion-VLM Policies
Qualcomm AI Research(高通人工智能研究)
本文提出结合代码生成VLM与低层扩散策略的层级模仿框架,利用机器人API子任务函数作为语义监督并加入记忆机制,从而提升长时程操作任务的可解释性与泛化能力。
2025-09-29 cs.LG cs.RO
Stabilizing Neural Control Using Self-Learned Almost Lyapunov Critics
UC San Diego(加州大学圣迭戈分校)
缺乏稳定性保证限制了基于学习的方法在机器人核心控制问题中的实际应用。在无模型强化学习(RL)环境中,我们开发了学习神经控制策略和神经李雅普诺夫评价函数的新方法。我们使用基于样本的方法和几乎李雅普诺夫函数条件,通过学习的李雅普诺夫临界函数来估计吸引区域和不变性。该方法增强了神经控制器的稳定性,用于各种非线性系统,包括汽车和四旋翼控制。
2021-07-11 cs.RO cs.SY eess.SY
Learning Stabilization Control from Observations by Learning Lyapunov-like Proxy Models
UC San Diego(加州大学圣地亚哥分校)
将强化学习应用于机器人领域面临着奖励工程的困难。因此,方法集中于通过从观察中学习(LfO)来创建奖励函数,这是从仅包含状态序列的专家轨迹中学习策略的任务。我们提出了新的方法LfO的学习稳定的连续控制问题的重要类,通过引入中间代理模型作为奖励函数之间的专家和代理政策的基础上李雅普诺夫稳定性理论。我们的LfO培训过程包括两个步骤。第一步尝试从专家状态序列中学习一个类似于Lyapunov的景观代理模型,而不需要访问任何运动学模型,第二步使用学习的景观模型来指导学习者的策略。我们为这两个步骤制定了新的学习目标,这对整体培训的成功至关重要。我们评估我们的方法在真实的汽车机器人环境和其他模拟的稳定控制问题,在无模型设置,如四旋翼控制和保持直立位置的料斗在MuJoCo。我们与最先进的方法进行了比较,并表明所提出的方法可以有效地学习较少的专家意见。
2023-03-03 cs.RO
Off Policy Lyapunov Stability in Reinforcement Learning
Department of Mechanical Engineering University of Victoria, Canada(机械工程系维多利亚大学)
本文提出非策略李雅普诺夫函数学习方法,将其应用于软演员批评者和近端策略优化算法,提升其数据效率和稳定性保证。
2026-01-16 cs.LG cs.RO cs.SY
CLF-RL: Control Lyapunov Function Guided Reinforcement Learning
California Institute of Technology(加州理工学院)
CLF-RL通过结合基于模型的轨迹生成和控制李雅普诺夫函数,提升双足机器人运动策略的鲁棒性和性能。
2025-12-31 cs.RO
Lyapunov Design for Robust and Efficient Robotic Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
强化学习(RL)文献的最新进展使机器人专家能够在模拟环境中自动训练复杂的策略。然而,由于这些方法的样本复杂性较差,使用真实世界数据解决RL问题仍然是一个具有挑战性的问题。本文介绍了一种新的成本成形方法,其目的是减少所需的学习稳定控制器的样本数。该方法增加了一个术语,涉及控制李雅普诺夫函数(CLF)-一个“能量样”的功能,从基于模型的控制文献-典型的成本配方。理论结果表明,新的成本导致稳定的控制器时,使用较小的折扣因子,这是众所周知的,以减少样本的复杂性。此外,CLF术语的添加“robustifies”的搜索,以确保即使是高度次优的政策将稳定系统的稳定控制器。我们展示了我们的方法与两个硬件的例子,我们学习稳定控制器的cartpole和A1四足动物只有几秒钟和几分钟的微调数据,分别。此外,模拟基准研究表明,通过优化我们提出的成本获得稳定的政策需要的数量级更少的数据相比,标准的成本设计。
2022-11-18 cs.RO cs.SY eess.SY
Neural Lyapunov Control
UCSD(加州大学圣地亚哥分校)
我们提出了新的方法学习控制策略和神经网络李雅普诺夫函数的非线性控制问题,可证明的稳定性保证。该框架包括一个学习者,试图找到控制和李雅普诺夫函数,和一个证伪器,发现反例,快速引导学习者走向解决方案。当证伪者没有找到反例时,该过程终止,在这种情况下,受控非线性系统是可证明稳定的。该方法大大简化了李雅普诺夫控制器的设计过程,提供了端到端的正确性保证,并且可以获得比现有的LQR和SOS/SDP等方法更大的吸引域。我们展示了新方法如何获得高质量的解决方案,具有挑战性的控制问题的实验。
2022-09-22 cs.LG cs.NE cs.RO
Generating Behaviorally Diverse Policies with Latent Diffusion Models
University of Southern California(南加州大学)
本研究提出利用扩散模型将QD-RL存档蒸馏为单一生成模型,在实现13倍压缩比的同时恢复98%奖励和89%覆盖率,并支持通过语言灵活选择和排序行为。
2023-06-24 cs.AI cs.LG cs.RO
CoBL-Diffusion: Diffusion-Based Conditional Robot Planning in Dynamic Environments Using Control Barrier and Lyapunov Functions
University of Washington(华盛顿大学);NVIDIA(英伟达)
本文提出 CoBL-Diffusion,一种基于扩散模型的动态环境安全机器人规划器,利用 Control Barrier 和 Lyapunov 函数引导去噪过程以迭代细化控制序列,满足安全与稳定性约束,实验证明其能生成平滑轨迹并保持低碰撞率。
2024-11-12 cs.RO
Synthesizing Stable Reduced-Order Visuomotor Policies for Nonlinear Systems via Sums-of-Squares Optimization
Massachusetts Institute of Technology(麻省理工学院)
本文结合 Lyapunov 分析与平方和优化,为含学习感知模块的视觉反馈非线性系统综合可证明稳定的降阶多项式策略,并在摆和四旋翼上验证其抗噪稳定效果。
2023-09-28 cs.CV cs.LG cs.RO
LMPVC and Policy Bank: Adaptive voice control for industrial robots with code generating LLMs and reusable Pythonic policies
Cognitive Robotics group, Unit of Automation Technology and Mechanical Engineering, Tampere University(认知机器人组、自动化技术与机械工程单位、塔尔皮奥大学)
本文提出LMPVC,一种基于LLM的ROS2工业机器人语音控制架构,通过集成Policy Bank系统实现策略编程与示教,无需昂贵训练即可适应下游任务。
2025-06-27 cs.RO
RMPflow: A Geometric Framework for Generation of Multi-Task Motion Policies
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学)
在动态环境中为多个任务生成机器人运动是具有挑战性的,需要算法在考虑任务之间复杂的非线性关系的同时做出反应。在本文中,我们开发了一种新的策略合成算法,RMPflow,基于几何一致的变换的黎曼运动策略(RMP)。RMP是一类反应式运动策略,其将非欧几里德行为参数化为内在非线性任务空间中的动力系统。给定一组为单个任务设计的RMP,RMPflow可以组合这些策略以生成表达性全局策略,同时利用稀疏结构以提高计算效率。我们研究了RMP流的几何性质,并给出了其稳定性的充分条件。最后,我们的实验表明,占自然黎曼几何的任务政策,可以简化经典困难的问题,如规划通过杂波的高自由度操作系统。
2020-07-25 cs.RO
Planning and Resilient Execution of Policies For Manipulation in Contact with Actuation Uncertainty
Worcester Polytechnic Institute(伍斯特理工学院);University of Michigan(密歇根大学)
我们提出了一种方法,用于规划运动的机器人与致动的不确定性,结合与环境的接触和机器人可靠地执行操作任务的遵守。我们的方法由两个阶段组成:(1)使用基于采样的运动规划器生成部分策略,该运动规划器使用基于粒子的不确定性模型以及接触和顺应性的模拟;以及(2)弹性执行,该弹性执行更新计划的策略以考虑执行中可能由模型或环境不准确引起的意外行为。我们已经在模拟的SE(2)和SE(3)环境和Baxter机器人中测试了我们的计划器和策略执行。我们表明,我们的方法有效地生成的政策,以执行操作任务,涉及重大的接触和比较几个简单的方法。此外,我们表明,我们的政策适应是有弹性的重大变化,在执行过程中,例如,增加了一个新的障碍的环境。
2017-04-03 cs.RO
High Order Robust Adaptive Control Barrier Functions and Exponentially Stabilizing Adaptive Control Lyapunov Functions
Boston University(波士顿大学)
研究了利用数据驱动自适应控制技术保证高关联度不确定非线性系统的稳定性和安全性问题。我们首先介绍了高阶鲁棒自适应控制障碍函数(HO-RaCBF)的概念,作为一种手段来计算控制策略,保证满足高相对程度的安全约束,在面对参数模型的不确定性。所开发的方法通过最初考虑所有可能的参数实现来保证安全性,但利用在线记录的数据自适应地减少参数估计中的不确定性。然后,我们引入指数稳定自适应控制李雅普诺夫函数(ES-aCLF)的概念,利用相同的数据作为HO-RaCBF控制器,以保证指数收敛的系统轨迹。开发的HO-RaCBF和ES-aCLF统一在一个二次规划框架,其功效是通过两个数值例子,据我们所知,不能解决现有的自适应控制障碍函数技术。
2022-03-03 cs.RO cs.SY eess.SY
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach
Seoul National University(首尔国立大学)
机器人和自主系统中的新兴应用,如自动驾驶和机器人手术,通常涉及关键的安全约束,即使有关系统模型的信息有限,也必须满足这些约束。在这方面,我们提出了一个无模型的安全规范方法,学习安全操作的最大概率,通过仔细结合概率可达性分析和安全强化学习(RL)。我们的方法构造了一个关于安全策略的李雅普诺夫函数来约束每个策略改进阶段。其结果是,它产生了一系列的安全策略,确定安全操作的范围,称为安全集,单调扩展,并逐渐收敛。我们还开发了一个有效的安全的探索计划,加快了未检查状态的安全性识别过程。利用李雅普诺夫屏蔽,我们的方法调节的探索性政策,以避免危险状态的高置信度。为了处理高维系统,我们通过引入拉格朗日松弛技术来进一步扩展我们的方法到深度RL,以建立一个易于处理的actor-critic算法。我们的方法的经验表现证明,通过连续控制基准问题,如达到任务的平面机器人手臂。
2020-02-24 cs.AI cs.RO cs.SY
Decentralized Goal Assignment and Safe Trajectory Generation in Multi-Robot Networks via Multiple Lyapunov Functions
GRASP Lab, School of Engineering and Applied Science, University of Pennsylvania(宾夕法尼亚大学工程与应用科学学院GRASP实验室)
本文研究了在仅本地通信可用的情况下多机器人网络的去中心化目标分配与轨迹生成问题,提出了一种基于切换系统和集合不变性方法的解决方案。通过使用一组李雅普诺夫-like函数编码候选目标分配的局部决策,使连接的代理选择最短总距离到目标的分配。当最优分配可能导致碰撞轨迹时,使用另一组李雅普诺夫-like屏障函数来维持系统安全并保持收敛保证。所提出的切换策略产生计算高效且可扩展的反馈控制策略,适用于在有限信息共享下机器人网络的快速响应部署。
2019-10-03 cs.MA cs.RO cs.SY
An Ergodic Measure for Active Learning From Equilibrium
Northwestern University(西北大学)
本文开发了KL-遍历探索从平衡($\text{KL-E}^3$),机器人系统的方法,以整合稳定性,积极产生信息的测量,通过遍历探索。遍历探索使机器人系统能够从全局信息空间分布中间接采样,避免局部最优,并且不需要针对机器人动力学评估分布的导数。使用混合系统理论,我们推导出一个控制器,允许机器人利用平衡策略(即,解决任务的策略),同时允许机器人使用可以扩展到高维状态的遍历度量来探索和生成信息数据。我们表明,我们的方法是能够保持李雅普诺夫吸引力相对于平衡任务,同时积极生成数据的学习任务,如贝叶斯优化,模型学习,政策外强化学习。在每个例子中,我们表明,我们提出的方法是能够生成一个信息丰富的数据分布,同时合成平滑的控制信号。我们说明这些例子,使用模拟系统,并提供简化我们的方法在机器人系统中的实时在线学习。
2020-12-07 cs.RO
Composable Geometric Motion Policies using Multi-Task Pullback Bundle Dynamical Systems
Stanford University(斯坦福大学)
尽管在快速反应规划和控制方面进行了数十年的工作,但在非欧几里德流形上开发反应运动策略和执行约束同时避免不期望的潜在函数局部极小值方面仍然存在挑战。这项工作提出了一个原则性的方法,设计和融合所需的机器人任务行为到一个稳定的机器人运动策略,利用非欧几里德流形,这是普遍存在于机器人配置和任务空间的几何结构。我们的拉回束动力系统(PBDS)框架驱动所需的任务行为,并优先任务使用单独的位置相关和位置/速度相关的黎曼度量,分别,从而简化了单个任务的设计和模块化的任务组成。对于强制约束,我们提供了一类基于度量的任务,通过只对目标区域吸引力施加非冲突的潜在函数来消除局部极小值。我们还提供了一个几何优化问题,结合任务的启发黎曼运动策略(RMP),减少到一个简单的最小二乘问题,我们表明,我们的方法是几何定义良好。我们展示了PBDS框架上的领域$\mathbb S^2$和在300-500赫兹的机械臂,我们提供了任务设计指导和一个开源的Julia库实现。总体而言,这项工作提出了一个快速,易于使用的框架,用于生成运动策略,而不会在一般流形上出现不必要的潜在函数局部极小值。
2021-03-25 cs.RO
Sampling Strategies for Robust Universal Quadrupedal Locomotion Policies
Dynamic Robot Systems(动态机器人系统);Oxford Robotics Institute(牛津机器人研究所);University of Oxford(牛津大学)
研究通过采样物理参数和关节增益,训练单一强化学习策略以泛化到多种四足机器人配置,比较三种采样策略,并利用先验和参考模型提升鲁棒性,在ANYmal上零样本部署。
2026-06-25 cs.RO
Lyapunov-stable Neural Control for State and Output Feedback: A Novel Formulation
MIT(麻省理工学院);Toyota Research Institute(丰田研究所);UCLA(加利福尼亚大学洛杉矶分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种新框架,通过经验证伪与策略性正则化联合学习神经网络控制器和李雅普诺夫证书,扩大可验证吸引域,并首次实现具有形式化稳定性保证的神经网络输出反馈控制。
2024-06-05 cs.AI cs.LG cs.RO
Towards Coordinated Robot Motions: End-to-End Learning of Motion Policies on Transform Trees
Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学);NVIDIA Research(英伟达研究院)
由于机器人所施加的几何约束,生成同时完成多个任务的机器人运动是具有挑战性的。在本文中,我们提出了解决多任务问题,通过学习结构化的政策,从人类的示范。我们的结构化策略受到RMPflow的启发,RMPflow是一个用于在不同空间上组合子任务策略的框架。策略结构为用户提供了一个界面,用于1)指定与任务完成直接相关的空间,以及2)为不需要学习的某些任务设计策略。我们推导出一个适合于多任务问题的端到端学习目标函数,强调任务空间上的运动偏差。此外,从学习的策略类生成的运动被保证是稳定的。我们验证了我们提出的学习框架的有效性,通过定性和定量评估三个机器人任务上的7自由度Rethink Sawyer机器人。
2021-03-10 cs.LG cs.RO
Recursive Feasibility Guided Optimal Parameter Adaptation of Differential Convex Optimization Policies for Safety-Critical Systems
University of Michigan(密歇根大学)
基于二次规划(QP)的状态反馈控制器,其不等式约束将控制障碍变化率(CBF)和李雅普诺夫函数与其值的类$\mathcal{K}$函数绑定,对这些类$\mathcal{K}$函数的参数敏感。然而,有效CBF的构造并不简单,并且对于任意选择的QP参数,系统轨迹可能进入QP最终变得不可行或可能无法实现期望性能的状态。在这项工作中,我们提出的控制综合问题作为一个微分政策,其参数优化的性能在一个时间范围内在高层次上,从而导致在一个双层优化例程。在缺乏可行参数集知识的情况下,我们开发了一种递归可行性引导梯度下降方法来更新QP参数,以便新解决方案的性能至少与之前的解决方案一样好。通过将动力系统视为随时间的有向图,这项工作提出了一种新的方法,通过(1)采用灵敏度分析,使用其解相对于其参数的梯度,以及(2)反向传播这些以及系统动态梯度来更新参数,同时保持QP的可行性,来优化多个CBF的QP控制器在时间范围内的性能。
2022-06-16 cs.RO math.OC
Distributionally Robust Policy Learning via Adversarial Environment Generation
Princeton University(普林斯顿大学)
我们的目标是训练能够很好地推广到未知环境的控制策略。受分布式鲁棒优化(DRO)框架的启发,我们提出了DRAGEN -分布式鲁棒策略学习通过对抗性生成的增强-迭代提高鲁棒性的政策,以现实的分布偏移通过生成对抗性的环境。其关键思想是学习环境的生成模型,其潜变量捕获环境中的成本预测和现实变化。我们执行DRO相对于Wasserstein球周围的环境的经验分布通过生成现实的对抗性环境,通过梯度上升的潜在空间。我们在模拟中展示了强大的分布外(OoD)泛化,用于(i)用板载视觉摆动钟摆和(ii)抓住逼真的3D物体。硬件上的抓取实验表明,与域随机化相比,sim 2 real具有更好的性能。
2022-07-07 cs.LG cs.RO
Know Thyself: Transferable Visual Control Policies Through Robot-Awareness
University of Pennsylvania(宾夕法尼亚大学)
在新机器人上从头开始训练视觉控制策略通常需要生成大量特定于机器人的数据。我们如何利用以前在另一个机器人上收集的数据来减少甚至完全消除对机器人特定数据的需求?我们提出了一个“机器人感知控制”的范例,实现这一目标,利用现成的知识机器人。然后,我们通过训练模块化动力学模型,将可转移的,机器人感知的世界动力学模块与机器人特定的,潜在的分析,机器人动力学模块耦合,在机器人感知的基于模型的RL策略中实例化。这也使我们能够设置视觉规划成本,分别考虑机器人代理和世界。我们在模拟和真实机器人的桌面操作任务上的实验表明,这些插件的改进大大提高了基于视觉模型的RL策略的可转移性,甚至允许视觉操作技能zero-shot转移到新的机器人上。项目网址:https://www.seas.upenn.edu/~hued/rac
2022-10-17 cs.CV cs.LG cs.RO
Learning a Universal Human Prior for Dexterous Manipulation from Human Preference
Princeton University(普林斯顿大学);South China University of Technology(华南理工大学);OpenAI(开放人工智能研究中心);Peking University(北京大学)
提出基于人类反馈强化学习的框架,通过视频偏好学习通用人类先验,无需示范即可高效微调20个双手机器人操作任务,在多样及未见任务上展现类人行为与泛化能力。
2023-09-13 cs.HC cs.LG cs.RO
DDAT: Diffusion Policies Enforcing Dynamically Admissible Robot Trajectories
ICON Lab and Hybrid Robotics Lab , University of California Berkeley(ICON实验室和混合机器人实验室,加州大学伯克利分校)
本文提出 DDAT 扩散策略,通过在训练和推理时将预测迭代投影到机器人运动方程可达集的多面体下近似上,生成动态可行的黑盒机器人轨迹,消除了不断重规划的需求并实现了单次长时程轨迹规划。
2025-04-26 cs.RO cs.SY eess.SY
ExAug: Robot-Conditioned Navigation Policies via Geometric Experience Augmentation
UC Berkeley(加州大学伯克利分校);Toyota Motor North America(丰田汽车北美公司)
机器学习技术依赖于大型且多样化的数据集进行泛化。计算机视觉、自然语言处理和其他应用程序通常可以重用公共数据集来训练许多不同的模型。然而,由于物理配置的差异,利用公共数据集在新的机器人平台或新的任务上训练机器人控制策略是具有挑战性的。在这项工作中,我们提出了一个新的框架,ExAug,以增强不同环境中多个数据集的不同机器人平台的经验。ExAug利用了一个简单的原则:通过以点云的形式提取3D信息,我们可以创建更复杂和结构化的增强,利用生成合成图像和几何感知惩罚,这将适用于不同机器人的相同情况,具有不同的大小,转弯半径和摄像头放置。在两个新的机器人平台上,三个不同的摄像头在室内和室外环境中的障碍物的训练政策进行评估。
2022-10-14 cs.AI cs.CV cs.LG
WorldEval: World Model as Real-World Robot Policies Evaluator
Midea Group(美的集团);East China Normal University(华东师范大学)
本文提出WorldEval,利用世界模型作为真实世界机器人策略的在线评估器,通过Policy2Vec将视频生成模型转为世界模拟器,实现策略排名与安全检测,并与真实环境性能强相关。
2025-05-25 cs.CV cs.LG cs.RO
Learning in ImaginationLand: Omnidirectional Policies through 3D Generative Models (OP-Gen)
该研究提出用3D生成模型(OP-Gen)从单个真实演示扩充数据集,学习全向策略,可减少所需演示数,在多任务上性能优于基线方法。
2026-08-12 cs.CV cs.LG cs.RO