Parameter Identification and Motion Control for Articulated Rigid Body Robots Using Differentiable Position-based Dynamics
Advanced Robotics and Controls Lab, University of California San Diego(加州大学圣地亚哥分校先进机器人与控制实验室)
机器人、物体和环境的仿真建模是所有基于模型的控制和学习的基础。它广泛应用于动态规划和模型预测控制,以及用于模仿、转移和强化学习的数据生成。除了保真度,这些控制和学习环境中模型的关键特征是速度,稳定性和本地可微性。然而,当今许多流行的机器人仿真平台至少缺乏上述功能之一。最近,基于位置的动力学(PBD)由于其速度和稳定性,已成为一种非常流行的模拟工具,用于建模刚性和非刚性物体相互作用的复杂场景,并开始在机器人中获得显着的兴趣,因为它在基于模型的控制和学习中的潜在用途。因此,在本文中,我们提出了一个数学公式耦合基于位置的动力学(PBD)仿真和最优机器人设计,基于模型的运动控制和系统辨识。我们的框架打破了PBD的定义和衍生的各种类型的关节为基础的铰接刚体。提出了一种基于自动微分的反向传播算法,该算法可以同时集成位置和角度约束。我们的框架可以严格地提供原生梯度信息,并执行基于梯度的优化任务。我们还提出了铰接联合模型表示和模拟工作流程,我们的微分框架。我们证明了该框架在高效的最优机器人设计,准确的轨迹扭矩估计和支持弹簧刚度估计,我们实现了微小的误差的能力。我们还实现了阻抗控制在真正的机器人,以证明我们的微分框架在人在环应用的潜力。
2022-01-15 cs.RO
Model Predictive Control for Trajectory Tracking on Differentiable Manifolds
University of Hong Kong(香港大学)
我们认为几何跟踪控制理论和模型预测控制(MPC)的机器人系统在流形上操作之间的差距的桥梁的问题。我们提出了一个通用的流形MPC制定的基础上发展的流形上的系统的规范表示。然后,我们提出了一种方法,解决了在流形MPC制定线性化的跟踪下沿轨迹的系统。所提出的方案有两个主要优点。首先,线性化系统导致一个等价的误差系统表示的一组最小的参数没有任何奇异性。其次,系统建模,误差系统推导,线性化和控制的过程中,流形约束完全解耦的系统描述,使一个符号MPC框架,自然封装流形约束的发展。在这个框架中,用户只需要提供系统特定的描述,而不需要处理多方面的约束。我们实现了这个框架,并测试它的四旋翼无人机(UAV)上运行的$SO(3) \times \mathbb{R}^n$和无人地面车辆(UGV)在曲面上移动。真实世界的实验表明,所提出的框架和实现高跟踪性能和计算效率,即使在高度侵略性的特技飞行四旋翼机动。
2021-06-29 cs.RO cs.SY eess.SY
Differentiable Compliant Contact Primitives for Estimation and Model Predictive Control
Fraunhofer IPK(弗劳恩霍夫生产设备与设计技术研究所);DGIST(大邱庆北科学技术院);Politecnico di Milano(米兰理工大学);Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达莱莫勒人工智能研究所(IDSIA));Scuola Universitaria Professionale della Svizzera Italiana (SUPSI)(瑞士意大利语区应用科学大学(SUPSI));Università della Svizzera Italiana (USI)(瑞士意大利语区大学(USI))
针对富接触操作控制需已知先验接触几何与动力学的问题,提出可微分柔顺接触基元框架,支持在线估计接触模型,可应用于参数拟合、状态估计与MPC,经机器人验证有效。
2023-10-07 cs.RO
Safe Learning-based Gradient-free Model Predictive Control Based on Cross-entropy Method
Sun Yat-sen University(中山大学)
提出了一种安全的、基于学习的模型预测控制(MPC)控制框架,用于在不确定环境干扰下优化目标函数不可微的非线性系统。该控制框架以最小干预的方式集成了基于学习的MPC和辅助控制器。基于学习的预测控制通过增量式高斯过程对先验标称模型进行增广,以学习不确定扰动。交叉熵方法(CEM)被用作基于采样的MPC与不可微的目标函数的优化。设计了一个最小干预控制器,该控制器具有控制李雅普诺夫函数和控制障碍函数,用于指导采样过程,并赋予系统高概率安全性。在不确定风干扰下,该算法在模拟四旋翼飞行器的轨迹跟踪和避障任务中显示出安全和自适应的控制性能。
2022-02-21 cs.RO
Sparse Identification of Nonlinear Dynamics-based Model Predictive Control for Multirotor Collision Avoidance
Korea Advanced Institute of Science and Technology(韩国科学技术院);Dongguk University(东国大学)
针对多旋翼避撞中存在的不确定性与载荷模型未知问题,提出结合SINDy稀疏辨识与带避障约束MPC的数据驱动控制方法,经仿真验证可实现精准轨迹跟踪与避障。
2024-12-09 cs.RO math.OC
Game-Theoretic Model Predictive Control with Data-Driven Identification of Vehicle Model for Head-to-Head Autonomous Racing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
解决自动驾驶中的边缘案例,头对头的自动驾驶赛车正受到业界和学术界的广泛关注。在这项研究中,我们提出了一个博弈论的模型预测控制(MPC)的方法,头对头自主赛车和数据驱动的模型识别方法。对于非线性模型参数的实际估计,我们采用了机器学习中用于神经模型训练的超带算法。该控制器包括三个模块:1)基于比赛的对手轨迹预测器,2)高级比赛策略规划器,3)基于MPC的低级控制器。基于游戏的预测器旨在预测竞争对手的未来轨迹。基于预测结果,高级竞赛策略规划器规划若干行为以响应各种竞赛环境。最后,基于MPC的控制器计算最优控制命令以跟随轨迹。所提出的方法在各种比赛情况下,在印地自主挑战赛的官方模拟器进行了验证。实验结果表明,该方法可以有效地超越竞争对手,同时驾驶通过赛道尽可能快,没有碰撞。
2021-06-08 cs.RO
Efficient Differentiable Contact Model with Long-range Influence
本文提出一种满足良好梯度性质的高效可微接触模型,能产生长程影响,从简单初始化即可发现复杂接触丰富的控制信号,成功执行下游移动与操作任务。
2025-09-25 cs.RO
System Identification for Virtual Sensor-Based Model Predictive Control: Application to a 2-DoF Direct-Drive Robotic Arm
Department of Aeronautics and Astronautics, Graduate School of Engineering, Kyoto University(航空学系,工学研究科,京都大学);Kobe Steel, Ltd.(神户钢铁株式会社)
本文提出PVSID框架,利用高成本传感器在建模阶段创建虚拟传感器,实现二自由度直接驱动机械臂的非线性模型预测控制,无需运动捕捉系统即可实现精确末端轨迹跟踪。
2026-02-02 cs.RO cs.SY eess.SY
Differentiable Forward Kinematics for TensorFlow 2
TU Wien(维也纳工业大学);University of Innsbruck(因斯布鲁克大学)
机器人系统通常很复杂,依赖于大量软件组件的集成。机器人系统中的一个重要组成部分提供了正运动学的计算,这是运动规划和感知相关的组件所需要的。基于深度学习的端到端学习系统需要在组件边界上传递梯度。正运动学的典型软件实现是不可微的,因此无法构建基于梯度的端到端学习系统。在本文中,我们提出了一个与ROS-URDF兼容的库,它可以计算正运动学,同时可以访问梯度w.r.t.联合配置和模型参数,允许基于梯度的学习和模型识别。我们的Python库基于Tensorflow~2,并且是可自动微分的。它支持在GPU上并行计算大量的运动学配置,与基于CPU的顺序计算相比,性能有了相当大的提高。https://github.com/lumoe/dlkinematics.git
2023-03-10 cs.RO cs.SE
A Differentiable Newton Euler Algorithm for Multi-body Model Learning
Computer Science Department, Technical University of Darmstadt(达姆施塔特工业大学计算机科学系);Technical University of Darmstadt(达姆施塔特工业大学)
在这项工作中,我们研究了一个频谱的混合模型域的多体机器人动力学。我们激发了一个计算图形架构,体现了牛顿-欧拉方程,强调李代数形式的效用,将动态几何转化为一个有效的计算结构,用于学习。我们描述了所使用的虚拟参数,使不受约束的物理似然动力学和所使用的致动器模型。在实验中,我们定义了一个家庭的26个灰箱模型和评估他们的系统辨识的模拟和物理古田摆和Cartpole。比较表明,以前的白盒系统辨识方法所需的运动学参数,可以准确地推断出数据。此外,我们强调,模型与保证有界能量的不受控制的系统产生非发散的轨迹,而更一般的模型没有这样的保证,所以它们的性能强烈依赖于数据分布。因此,这项工作的主要贡献是引入了一个白盒模型,共同学习动力学和运动学参数,并可以与黑盒组件相结合。然后,我们对具有挑战性的系统和不同的数据集进行了广泛的实证评估,这些数据集阐明了我们的灰盒架构与可比较的白盒和黑盒模型的比较性能。
2020-10-19 cs.LG cs.RO
Simultaneous System Identification and Model Predictive Control with No Dynamic Regret
Department of Aerospace Engineering, University of Michigan(航空航天工程系,密歇根大学)
本文提出一种用于非线性系统的同时系统辨识与模型预测控制算法,通过随机傅里叶特征和在线最小二乘法学习未知动态,实现次线性动态遗憾和近最优性,并在仿真与硬件实验中验证了其有效性。
2025-11-03 cs.RO cs.SY eess.SY
Polygonal Obstacle Avoidance Combining Model Predictive Control and Fuzzy Logic
RPTU University Kaiserslautern-Landau(凯泽斯劳滕-兰道RPTU大学)
本文针对占据栅格地图与MPC连续可微约束不兼容的问题,提出将障碍物表示为多边形半空间交集,并利用模糊逻辑将包含逻辑算子的避障约束转化为标准MPC不等式约束,成功在仿真中实现了轨迹规划。
2025-07-14 cs.RO cs.SY eess.SY
FusionForce: End-to-end Differentiable Neural-Symbolic Layer for Trajectory Prediction
Faculty of Electrical Engineering, Czech Technical University in Prague(捷克技术大学布拉格电子工程学院)
提出端到端可微模型FusionForce,通过结合预测机器人地形交互力的可学习组件与强制执行经典力学定律的神经符号层,提升机器人在崎岖地形的轨迹预测泛化能力并缩小sim-to-real差距。
2025-06-24 cs.CV cs.RO
Interactive Differentiable Simulation
University of Southern California(南加州大学)
本文提出交互式可微分模拟(IDS),一种能够高效准确推断刚体系统物理属性的可微分物理引擎,通过视觉输入实现系统识别,从而建立具有物理意义的世界模型,并在非线性动态系统中实现自动任务机器人设计和参数估计,显著提升了非线性控制领域的样本效率。
2020-05-18 cs.LG cs.RO cs.SY
A Data-Driven Autopilot for Fixed-Wing Aircraft Based on Model Predictive Control
University of Michigan(密歇根大学)
针对固定翼飞机气动未建模场景,提出基于带变速遗忘RLS在线辨识的预测代价自适应控制自动驾驶仪,无需气动建模与先验数据即可实现MPC控制。
2024-02-01 cs.RO cs.SY eess.SY
Data-Driven Predictive Control Towards Multi-Agent Motion Planning With Non-Parametric Closed-Loop Behavior Learning
The Hong Kong University of Science and Technology(香港科技大学);National University of Singapore(新加坡国立大学);University of British Columbia(不列颠哥伦比亚大学)
在许多特定的场景中,准确和有效的系统辨识是模型预测控制(MPC)公式化中经常遇到的挑战。因此,在缺乏这种精度的情况下,当采用传统的MPC算法时,系统的整体性能可能会显着减弱。本文研究了一种用于多智能体运动规划的非参数闭环行为学习方法,该方法支持数据驱动的预测控制框架。利用具有未知系统的闭环输入/输出测量的创新方法,基于所收集的数据集来学习系统的行为,并且因此可以使用所构建的非参数预测模型来确定最优控制动作。这种非参数预测控制框架减轻了在优化过程中通常遇到的沉重的计算负担,通常是在需要开环输入/输出测量数据汇集和参数系统辨识的替代方法中。所提出的数据驱动的方法也被证明保持良好的鲁棒性。最后,一个多无人机系统被用来证明这一有前途的发展的高度有效的结果。
2023-03-18 cs.MA cs.RO cs.SY
A First Principles Approach for Data-Efficient System Identification of Spring-Rod Systems via Differentiable Physics Engines
Rutgers(罗格斯大学)
提出了一种新的可微物理引擎,用于复杂弹簧杆组件的系统辨识。与用于学习动力系统及其参数演化的黑盒数据驱动方法不同,我们使用离散形式的运动控制方程来模块化引擎的设计,类似于传统的物理引擎。我们进一步将每个模块的维度从3D降低到1D,这使得使用线性回归可以有效地学习系统参数。作为一个附带的好处,回归参数对应于物理量,如弹簧刚度或杆的质量,使管道可解释。该方法大大减少了所需的训练数据量,也避免了数据采样和模型训练的迭代识别。我们比较了所提出的发动机与以前的解决方案的性能,并证明了其功效的张拉整体系统,如美国宇航局的二十面体。
2020-04-28 cs.GR cs.LG cs.RO
Achieving Precise and Reliable Locomotion with Differentiable Simulation-Based System Identification
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出一种基于可微仿真MuJoCo-XLA的系统辨识框架,将其集成到强化学习训练中,仅用轨迹数据估计参数,显著改善双足运动轨迹跟踪。
2025-08-06 cs.RO
System Identification and Control of Front-Steered Ackermann Vehicles through Differentiable Physics
University of Minnesota(明尼苏达大学)
针对前轮转向阿克曼车辆传统系统辨识成本高耗时长的问题,提出基于可微物理仿真器的梯度式参数学习方法,样本效率优于无梯度方法,经F1TENTH实车验证可实现与真实参数相当的稳定车道保持效果。
2023-11-08 cs.RO
Spring-Rod System Identification via Differentiable Physics Engine
Rutgers University(罗格斯大学)
提出了一种新的可微物理引擎,用于复杂弹簧杆组件的系统辨识。与用于学习动力系统\emph{and}及其参数的演化的黑盒数据驱动方法不同,我们使用离散形式的运动控制方程来模块化我们的引擎的设计,类似于传统的物理引擎。我们进一步将每个模块的维度从3D降低到1D,这使得使用线性回归可以有效地学习系统参数。回归参数对应于物理量,如弹簧刚度或杆的质量,使管道可解释。该方法大大减少了所需的训练数据量,也避免了数据采样和模型训练的迭代识别。我们比较了所提出的发动机与以前的解决方案的性能,并证明了其功效的张拉整体系统,如美国宇航局的二十面体。
2020-11-09 cs.AI cs.GR cs.LG
Differentiable Model Predictive Safety for Heterogeneous Mobility at Urban Intersections
School of Business(商学院);Department of Mechanical Engineering(机械工程系);Stevens Institute of Technology(史蒂文斯理工学院);Carnegie Mellon University(卡内基梅隆大学)
提出可微分模型预测安全(DMPS)框架,将模型预测控制的前瞻性嵌入数据驱动的端到端强化学习架构,通过可微分安全评价器实现精确在线安全校正,在高密度混合交通仿真中将碰撞率降至5.6%以下。
2026-05-19 cs.MA cs.RO
AD-MPCC: Adaptive Differentiable Model Predictive Contouring Control for Autonomous Racing
提出AD-MPCC框架,结合可微分MPCC与在线参数估计,通过Pacejka魔术公式和正则化移动视界估计适应路面变化,并利用可微分MPCC优化目标权重,实现更快圈速和安全性。
2026-09-14 cs.RO cs.SY eess.SY
RigPI: Dynamic Parameter Identification of Rigid Body via VLM-Seeded Differentiable Simulation
Way-Robotics(Way-机器人)
提出RigPI框架,结合视觉语言模型初始化和可微物理仿真梯度优化,两步策略实现刚体与多连杆刚体动力学参数精确辨识,实验验证了其鲁棒性和预测有效性。
2026-06-26 cs.RO
Parameter Identification of a Differentiable Human Arm Musculoskeletal Model without Deep Muscle EMG Reconstruction
针对深层肌肉 EMG 难以测量的问题,提出在可微优化框架中利用深层肌肉力最小二乘解计算梯度,无需重建深层 EMG 即可同时辨识手臂骨骼与浅层肌肉参数,并达到接近全 EMG 方法的精度。
2025-09-26 cs.RO
Bridging Predictive Uncertainty and Safe Action: Sample-Conditioned Differentiable Planning for Autonomous Driving
Robotics and Autonomous Systems Thrust, The Hong Kong University of Science and Technology(香港科学与技术大学机器人与自主系统方向);Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学电子与计算机工程系);Department of Civil and Environmental Engineering, University of California, Los Angeles(加州大学洛杉矶分校土木与环境工程系);School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院)
提出一种样本条件可微分规划框架,通过扩散模型生成多样未来场景并直接输入可微分规划器,利用条件风险价值约束缓解预测不确定性,实现安全、高效、舒适的自动驾驶运动规划。
2026-06-02 cs.RO
Differentiable Cloth Parameter Identification and State Estimation in Manipulation
Shanghai Jiao Tong University(上海交通大学);Qing Yuan Research Institute(清源研究院);AI Institute(人工智能研究院)
本文提出DiffCP可微管道,利用A-EP本构模型和真实到模拟再到真实方法,实现布料物理参数识别与状态估计,提升操作精度。
2023-11-09 cs.RO
Learning Reactive and Predictive Differentiable Controllers for Switching Linear Dynamical Models
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机科学学院);Robotics Institute(机器人研究所)
人类利用环境和自己身体的动态来完成具有挑战性的任务,例如在走过物体时抓住物体,或者推开墙壁转弯。这些任务通常涉及机器人进行和断开接触时的切换动力学。学习这些动力学是一个具有挑战性的问题,并且容易导致模型不准确,特别是在接触区域附近。在这项工作中,我们提出了一个框架,从专家演示学习复合动力学行为。我们学习了一个开关线性动力学模型,其中接触编码在开关条件中,作为我们系统动力学的近似。然后,我们使用离散时间LQR作为数据有效学习控制的可微策略类,以开发一种控制策略,该控制策略在多个动态模式下运行,并考虑到由于接触引起的不连续性。除了预测与环境的相互作用外,我们的策略还能有效地对不准确的预测做出反应,例如意外的接触。通过模拟和现实世界的实验,我们证明了学习行为的泛化到不同的场景和鲁棒性模型在执行过程中的不准确性。
2021-03-26 cs.AI cs.LG cs.RO
Model Identification and Control of a Low-Cost Wheeled Mobile Robot Using Differentiable Physics
Rutgers University(罗格斯大学)
我们提出了一种低成本的轮式移动机器人的设计,并预测其运动的影响下的电动机转矩和摩擦力的分析模型。使用我们提出的模型,我们展示了如何分析计算一个适当的损失函数的梯度,该函数测量预测的运动轨迹和现实世界的轨迹,这是估计使用Apriltags和高架摄像头之间的偏差。这些分析梯度允许我们通过使用梯度下降最小化损失函数来自动推断未知的摩擦系数。由优化模型预测的运动轨迹与现实世界中的运动轨迹非常吻合。实验表明,我们提出的方法是计算优于现有的黑箱系统辨识方法和其他数据驱动的技术,也需要非常少的真实世界的样本准确的轨迹预测。所提出的方法结合了基于第一原理的分析模型的数据效率,以及数据驱动方法的灵活性,这使得它适用于低成本机器人。使用学习的模型和我们的基于梯度的优化方法,我们展示了如何自动计算电机控制信号,以驱动机器人沿着预先指定的曲线。
2020-09-24 cs.RO
gradSim: Differentiable simulation for system identification and visuomotor control
Montreal Robotics and Embodied AI Lab(蒙特利尔机器人与具身人工智能实验室);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);NVIDIA(英伟达);McGill(麦吉尔大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Copenhagen(哥本哈根大学)
我们考虑的问题,估计一个对象的物理特性,如质量,摩擦力和弹性直接从视频序列。这种系统辨识问题由于在图像形成期间的信息损失而从根本上是不适定的。目前的解决方案需要精确的3D标签,这是劳动密集型的收集,并且不可行的许多系统,如可变形的固体或布创建。我们提出gradSim,一个框架,克服了依赖于3D监督,利用微分多物理场仿真和微分渲染共同模拟场景动态和图像形成的演变。这种新颖的组合使得能够从视频序列中的像素反向传播到生成它们的底层物理属性。此外,我们的统一计算图-从动态到渲染过程-能够在具有挑战性的视觉控制任务中进行学习,而不依赖于基于状态的(3D)监督,同时获得与依赖于精确3D标签的技术竞争或更好的性能。
2021-04-06 cs.AI cs.CV cs.LG
One-Shot Real-to-Sim via End-to-End Differentiable Simulation and Rendering
Department of Mechanical Engineering and Materials Science, Yale University(机械工程与材料科学系,耶鲁大学)
本文提出基于可微点几何、网格外观场和可微物理仿真器的刚体表示,仅凭一个机器人动作序列的稀疏视觉与触觉观测即可端到端识别可仿真、可渲染的世界模型。
2025-05-11 cs.CV cs.GR cs.RO
Differentiable Fluid Physics Parameter Identification Via Stirring
Shanghai Jiao Tong University(上海交通大学);Qing Yuan Research Institute(清源研究院);MoE Key Lab of Artificial Intelligence, AI Institute(教育部人工智能重点实验室,人工智能研究院)
本研究提出可微拟合框架DiffStir,结合机械臂搅拌、可微MPM仿真器、自适应本构模型选择及精炼神经网络,实现流体黏度等物理参数的高精度辨识。
2023-11-09 cs.RO
D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping
Physical Superintelligence (PSI) Lab, University of Southern California(南加州大学物理超智能实验室);Viterbi School of Engineering, University of Southern California(南加州大学韦伯尔工程学院);Department of EECS, University of California, Berkeley(加州大学伯克利分校电子工程与计算机科学系)
D-REX通过可微引擎实现现实到仿真到现实的抓取学习,利用高斯点表示自动构建数字双胞胎并优化质量识别,从而提升抓取策略的力感知性能。
2026-03-01 cs.CV cs.GR cs.RO
Differentiable Simulation of Soft Multi-body Systems
University of Maryland, College Park(马里兰大学帕克分校);Intel Labs(英特尔研究院)
提出了一种柔性铰接体的可微模拟方法。我们的工作使可微的物理动力学集成到基于梯度的管道。我们在投影动力学中发展了一种自顶向下的矩阵组装算法,并使用一种新的矩阵分裂策略导出了一个广义的软连续介质干摩擦模型。我们推导出一个可微的控制框架,由肌肉,关节力矩,或气动管驱动的软关节机构。实验表明,我们的设计使软体模拟更稳定,更真实的相比,其他框架。我们的方法加速了系统辨识问题的解决方案超过一个数量级,并使有效的基于梯度的学习与软体机器人的运动控制。
2022-05-03 cs.GR cs.LG cs.RO
Differentiable Physics-based System Identification for Robotic Manipulation of Elastoplastic Materials
School of Engineering, Cardiff University(工程学院);School of Computer Science and Informatics, Cardiff University(计算机科学与信息学学院)
本文提出DPSI框架,利用简单操作动作和不完整点云推断弹塑性材料物理参数,仅需一次交互即可准确仿真变形行为并提供直观解释。
2025-02-18 cs.AI cs.CE cs.RO
Diff-MSM: Differentiable MusculoSkeletal Model for Simultaneous Identification of Human Muscle and Bone Parameters
SDU Robotics, The Maersk Mc-Kinney Moller Institute, University of Southern Denmark(SDU机器人研究所、马士基麦金尼莫勒研究所、南方丹麦大学)
本文提出可微分肌肉骨骼模型Diff-MSM,利用端到端自动微分从可测肌肉激活同时识别人体肌肉与骨骼参数,无需测量内部关节力矩,并在仿真中显著超越现有方法。
2025-08-18 cs.AI cs.RO
HALO:Closing Sim-to-Real Gap for Heavy-loaded Humanoid Agile Motion Skills via Differentiable Simulation
Zhejiang University(浙江大学);Institute of Artificial Intelligence (TeleAI)(人工智能研究所(TeleAI));Shanghai Jiao Tong University(上海交通大学);Lumos Robotics(Lumos机器人)
本文提出一种两阶段梯度基于系统辨识框架,通过可微模拟器MuJoCo XLA减少仿真到现实的不匹配,提升重载条件下人形机器人的运动跟踪精度和敏捷性。
2026-03-16 cs.RO
An End-to-End Framework for Modelling Pneumatic Soft Robots Based on Differentiable Finite Element Methods
University of Oxford(牛津大学)
本文提出一个基于可微有限元方法的端到端框架,用于气动软体机器人的建模与系统辨识,通过自动网格生成和点云数据校准实现高精度建模,并支持轨迹优化,实验显示最大位置误差小于3毫米。
2026-10-06 cs.RO cs.SY eess.SY
Augmenting Differentiable Simulators with Neural Networks to Close the Sim2Real Gap
University of Southern California(南加州大学);Google(谷歌)
我们提出了一个可微的仿真架构铰接刚体动力学,使增强的分析模型与神经网络在任何一点的计算。通过基于梯度的优化,识别的仿真参数和网络权重进行有效的初步实验,在现实世界的数据集和sim2sim传输应用程序,而穷人的局部最优值通过随机搜索方法克服。
2020-07-12 cs.LG cs.RO cs.SY
On the Numerical Reliability of Differentiable Physics-Based Optimization for Robotic Material Manipulation
Cardiff University(卡迪夫大学);Hohai University(河海大学)
本研究通过MPM系统辨识基准,揭示可微物理优化在机器人材料操控中因GPU求和顺序、有限差分不可靠及目标定义差异导致的数值问题,并提出可复现累加与验证建议。
2026-09-29 cs.LG cs.RO
Non-Parametric Self-Identification and Model Predictive Control of Dexterous In-Hand Manipulation
Rice University(莱斯大学);Yale University(耶鲁大学)
针对灵巧手内操作建模难的问题,提出基于少量探索动作与非参数学习的在线自辨识方法,结合模型预测控制实现闭环控制,无需精确模型与大量离线数据即可完成准确鲁棒的灵巧操作。
2023-07-14 cs.RO
Sim2Sim Evaluation of a Novel Data-Efficient Differentiable Physics Engine for Tensegrity Robots
Rutgers University(罗格斯大学)
在训练机器人控制器时,仿真中的学习策略有望减少人类的努力。这对于软体机器人来说尤其如此,因为它们更具有适应性和安全性,但也更难以精确建模和控制。sim2real差距是成功地将策略从仿真转移到真实机器人的主要障碍。系统辨识可以用来缩小这个差距,但是传统的辨识方法需要大量的手动调整。数据驱动的替代方案可以直接从数据中调整动态模型,但通常需要大量数据,这也需要人工收集数据。这项工作提出了一个数据驱动的,端到端的微分模拟器,专注于令人兴奋的,但具有挑战性的域张拉整体机器人。据作者所知,这是第一个支持电缆,接触和驱动建模的张拉整体机器人可微分物理引擎。目的是开发一个合理简化的数据驱动的模拟,它可以用有限的地面真实数据学习近似动态。动态必须足够准确,以产生可以转移回地面实况系统的政策。作为朝着这个方向迈出的第一步,目前的工作演示了sim2sim传输,其中MuJoCo的未知物理模型充当地面实况系统。两种不同的张拉整体机器人用于评估和学习的运动策略,6杆和3杆张拉整体。结果表明,当微分引擎用于训练时,仅需要0.25%的地面实况数据来训练在地面实况系统上工作的策略,而不是直接在地面实况系统上训练策略。
2021-07-23 cs.AI cs.GR cs.LG
OrbiSim: World Models as Differentiable Physics Engines for Embodied Intelligence
MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science(人工智能摩尔电子实验室、人工智能学院、计算机科学学院)
OrbiSim提出了一种新的机器人仿真范式,将世界模型重新定义为完全可微的物理引擎,通过统一的物理基础路径连接结构化场景资产、神经动力学和下游强化学习,提升预测精度和控制性能。
2026-10-19 cs.LG cs.RO
Differentiable Optimization Based Time-Varying Control Barrier Functions for Dynamic Obstacle Avoidance
New York University(纽约大学)
本文提出基于可微优化的时变控制障碍函数,将静态几何避障扩展到动态场景,并纳入测量噪声与执行器限制,通过仿真和7自由度Franka Research 3实验验证其有效性。
2024-01-24 cs.RO
Exciting Contact Modes in Differentiable Simulations for Robot Learning
Yale University(耶鲁大学)
本文提出基于信息论的最优实验设计方法,通过接触隐式优化在可微分仿真中主动规划激励接触模式,应用于机器人参数估计问题时,较随机采样基线估计误差至少降低约84%,显著缩小仿真到现实差距。
2024-11-26 cs.IT cs.RO math.IT
Autonomous Identification and Goal-Directed Invocation of Event-Predictive Behavioral Primitives
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
针对从感觉运动经验中学习组合式抽象的难题,提出SUBMODES计算架构,通过自组织神经控制器和惊讶度信号自主识别行为基元,在两类机器人上验证了学习效果,且可用于目标导向控制。
2019-06-27 cs.AI cs.RO cs.SY
Sim-to-Real for Soft Robots using Differentiable FEM: Recipes for Meshing, Damping, and Actuation
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院)
一个精确的、基于物理的、可微分的软体机器人模型可以在最优控制中开启下游应用。有限元法(FEM)是一种用于建模高度可变形结构(例如动态弹性体软体机器人)的表达方法。在本文中,我们比较虚拟机器人模型模拟使用微分有限元测量从他们的物理同行。特别是,我们研究了几种不同形态的软结构:一个夹紧的软梁在外力下,一个驱动的软机器人手臂,和一个软机器人鱼尾。我们基准和分析不同的网格分辨率和元素(四面体和六面体),数值阻尼,和使用基于快速微分投影动力学(DiffPD)的模拟器的参数校准的可微性的功效。我们还提出了一个预测模型,气动软机器人驱动的有限元建模应用于软机器人。通过我们的配方和案例研究,我们提供了在仿真中匹配真实世界物理的策略和算法,使FEM对软体机器人有用
2022-02-26 cs.RO
A Recurrent Differentiable Engine for Modeling Tensegrity Robots Trainable with Low-Frequency Data
Rutgers University(罗格斯大学)
张拉整体机器人由刚性杆和柔性索组成,由于存在复杂的动力学和大量自由度,很难精确建模和控制。微分物理引擎最近已被提出作为一种数据驱动的方法,这种复杂的机器人系统的模型识别。这些引擎通常以高频率执行,以实现精确的仿真。然而,由于现实世界传感器的限制,用于训练可微分引擎的地面真实轨迹通常在如此高的频率下不可用。目前的工作重点是这种频率失配,这影响建模精度。我们提出了一种递归结构的可微物理引擎的张拉整体机器人,它可以有效地训练,即使低频轨迹。为了训练这种新的经常性引擎在一个强大的方式,这项工作介绍相对于以前的工作:(i)一个新的隐式集成方案,(ii)一个渐进的训练管道,和(iii)可微碰撞检查。MuJoCo上的NASA二十面体SUPERballBot模型被用作地面实况系统来收集训练数据。模拟实验表明,一旦循环微分引擎已经训练给定的低频轨迹从MuJoCo,它能够匹配MuJoCo的系统的行为。成功的标准是使用可微分引擎学习的运动策略是否可以被转移回地面实况系统并导致类似的运动。值得注意的是,训练可微分引擎使得策略可转移到地面实况系统所需的地面实况数据的量是直接在地面实况系统上训练策略所需的数据的1%。
2022-07-06 cs.AI cs.GR cs.LG
Dojo: A Differentiable Physics Engine for Robotics
Stanford University(斯坦福大学);School of Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑技术大学);Department of Computer Science(计算机科学系);The Robotics Institute(机器人研究所)
该研究提出面向机器人学的可微分物理引擎Dojo,通过自定义原对偶内点法求解二阶锥规划实现稳定前向仿真与平滑梯度近似,经基准测试及硬件实验验证其在优化、策略学习等场景的有效性与仿真质量。
2025-08-26 cs.RO
Rethinking Optimization with Differentiable Simulation from a Global Perspective
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
微分模拟是一种很有前途的工具包,用于快速的基于梯度的策略优化和系统辨识。然而,现有的可微模拟方法在很大程度上解决了获得平滑梯度相对容易的情况,例如具有大部分平滑动态的系统。在这项工作中,我们研究了可微模拟提出的挑战,当它是不可行的期望,一个单一的下降达到全局最优,这往往是一个问题,在接触丰富的情况下。我们分析了包含刚体和可变形对象的各种场景的优化景观。在具有高度可变形物体和流体的动态环境中,可微分模拟器产生崎岖的景观,但在空间的某些部分具有有用的梯度。我们提出了一种方法,结合贝叶斯优化与半本地的“飞跃”,以获得一个全局搜索方法,可以有效地使用梯度,同时也保持了鲁棒性的性能,在区域噪声梯度。我们表明,我们的方法优于几个基于梯度和无梯度的基线上的一组广泛的仿真实验,并验证了该方法使用的实验与一个真正的机器人和变形。视频和补充材料可在https://tinyurl.com/globdiff上获得
2022-06-28 cs.LG cs.RO stat.ML
Identifying Mechanical Models through Differentiable Simulations
Rutgers, the State University of New Jersey(罗格斯大学新泽西州立大学)
本文提出了一种新的方法来操纵未知的对象,通过一系列的非线性动作,从其初始配置的一个给定的目标配置的平面上的对象的位移。所提出的方法利用可微物理模型的最新进展来识别操纵对象的未知力学特性,例如惯性矩阵、摩擦系数和作用在对象上的外力。为此,最近提出的可微物理引擎的二维物体在这项工作中采用,并扩展到处理在三维空间中的力。所提出的模型识别技术分析计算预测的物体姿态和它们的实际观察姿态之间的距离的梯度,并利用该梯度来搜索减小现实差距的机械特性的值。使用真实机器人采集数据的真实物体的实验表明,该方法可以在飞行中识别异构物体的机械特性。
2020-05-11 cs.CV cs.RO cs.SY