DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们考虑的问题，顺序机器人操作的可变形物体使用工具。以前的工作已经表明，可微物理模拟器提供梯度的环境状态，并帮助轨迹优化收敛的数量级更快比无模型强化学习算法的变形对象操作。然而，这种基于梯度的轨迹优化通常需要访问完整的模拟器状态，并且由于局部最优而只能解决短期的单技能任务。在这项工作中，我们提出了一个新的框架，名为DiffSkill，它使用一个可微的物理模拟器的技能抽象来解决长期的可变形对象操作任务从感官观察。特别是，我们首先使用基于梯度的优化器中的单个工具获得短期技能，使用可微模拟器中的完整状态信息;然后我们从以RGBD图像为输入的演示轨迹中学习神经技能抽象器。最后，我们通过找到中间目标来规划技能，然后解决长期任务。我们展示了我们的方法的优势，在一组新的顺序可变形对象操作任务相比，以前的强化学习算法相比，轨迹优化。
2022-03-31 cs.CV cs.GR cs.LG
Contact Points Discovery for Soft-Body Manipulations with Differentiable Physics
University of Rochester（罗切斯特大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
微分物理学最近被证明是解决软体操作任务的一个强大工具。然而，当末端执行器的初始接触点是次优的或当执行需要接触点切换的多阶段任务时，可微物理求解器经常卡住，这经常导致局部最小值。为了解决这一挑战，我们提出了一个接触点发现的方法（CPDeform），指导独立的可微物理求解器变形各种软体橡皮泥。我们的方法的核心思想是将基于最佳运输的接触点发现集成到可微物理求解器中，以克服初始接触点或接触切换的局部极小值。在单阶段任务中，我们的方法可以根据运输优先级自动找到合适的初始接触点。在复杂的多阶段任务中，我们可以根据传输优先级迭代切换末端执行器的接触点。为了评估我们的方法的有效性，我们引入了PlasticineLab-M，它将现有的可微物理基准PlasticineLab扩展到七个新的具有挑战性的多阶段软体操作任务。大量的实验结果表明：1）在香草可微物理求解器不可行的多阶段任务上，我们的方法发现了有效引导求解器完成的接触点; 2）在香草求解器执行次优或接近最优的任务上，我们的接触点发现方法的性能优于或等同于手工制作的接触点所获得的操作性能。
2022-05-05 cs.CV cs.GR cs.LG
Differentiable Particles for General-Purpose Deformable Object Manipulation
National University of Singapore（新加坡国立大学）
本文提出可微分粒子方法DiPac，用粒子表示可变形物体并结合可微分动力学、学习、规划与轨迹优化，实现多种物体的通用操作，在仿真与真实实验中优于纯规划或纯学习方法，并支持跨物体策略迁移。
2024-05-02 cs.RO
Learning Closed-loop Dough Manipulation Using a Differentiable Reset Module
Carnegie Mellon University（卡内基梅隆大学）
可变形物体操纵在我们的日常生活中有许多应用，例如烹饪和衣物折叠。操纵弹塑性物体，如面团是特别具有挑战性的，因为面团缺乏一个紧凑的状态表示，需要接触丰富的相互作用。我们考虑从RGB-D图像将一块面团压平成特定形状的任务。虽然任务对于人类来说似乎是直观的，但是对于诸如朴素轨迹优化的常见方法存在局部最优。我们提出了一种新的轨迹优化器，通过可微的“重置”模块进行优化，将单阶段，固定初始化轨迹转换为多级，多初始化轨迹，其中所有阶段都进行了优化。然后，我们训练我们的轨迹优化器生成的演示闭环政策。我们的策略接收部分点云作为输入，从而可以轻松地从模拟转移到现实世界。我们表明，我们的政策可以执行现实世界的面团操纵，压扁成一个目标形状的面团球。
2022-07-11 cs.RO
Learning Robot Manipulation from Cross-Morphology Demonstration
Robotic Embedded Systems Laboratory（机器人嵌入式系统实验室）；University of Southern California（南加州大学）
本文提出模仿学习中的形态适应框架MAIL，利用形态显著不同的智能体的次优演示训练机器人视觉控制策略，在刚体与布料操作任务中相比基线提升最高24%，并成功部署到真实Franka Panda机器人。
2023-10-30 cs.LG cs.RO
Differentiable SpaTiaL: Symbolic Learning and Reasoning with Geometric Temporal Logic for Manipulation Tasks
UC Riverside（加州大学河滨分校）；Lehigh University（里海大学）
本文提出可微分空间时间逻辑框架，通过构建光滑的几何基础元来解决复杂操作任务中的几何与时间约束问题，实现端到端的可微分映射，无需外部离散求解器。
2026-04-07 cs.RO
Differentiable Skill Optimisation for Powder Manipulation in Laboratory Automation
Cardiff University（卡地夫大学）
本研究提出了一种基于可微物理模拟和课程学习的粉末运输轨迹优化方法，提升实验室自动化中粉末操作的精度和稳定性。
2025-11-26 cs.RO
Differentiable Cloth Parameter Identification and State Estimation in Manipulation
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；AI Institute（人工智能研究院）
本文提出DiffCP可微管道，利用A-EP本构模型和真实到模拟再到真实方法，实现布料物理参数识别与状态估计，提升操作精度。
2023-11-09 cs.RO
Multi-finger Manipulation via Trajectory Optimization with Differentiable Rolling and Geometric Constraints
University of Michigan（密歇根大学）；Honda Research Institute USA（美国本田研究所）
本文提出融合物体 SDF 与采样的可微接触、滚动约束轨迹优化方法，处理复杂几何下的多指灵巧操作，并在基准与真实任务中验证其优于基线且可跨越 sim2real 差距。
2024-12-10 cs.RO
DexDeform: Dexterous Deformable Object Manipulation with Human Demonstrations and Differentiable Physics
MIT（麻省理工学院）；UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对多指手灵巧操作可变形物体面临的物理交互复杂与接触模式爆炸难题，提出DexDeform框架，结合人类演示与可微物理优化技能，有效提升了对新目标的探索与泛化能力。
2023-03-27 cs.AI cs.CV cs.LG
DIFFTACTILE: A Physics-based Differentiable Tactile Simulator for Contact-rich Robotic Manipulation
CMU RI（卡内基梅隆大学机器人研究所）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UMass Amherst（马萨诸塞大学阿默斯特分校）
DIFFTACTILE是一个基于物理的可微分触觉模拟器，通过高保真接触建模和梯度优化，支持多种材料与接触模式，用于缩小模拟到现实的差距并高效学习触觉辅助操作技能。
2024-03-13 cs.RO
Diff-Transfer: Model-based Robotic Manipulation Skill Transfer via Differentiable Physics Simulation
Nanjing University（南京大学）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
Diff-Transfer利用可微物理仿真和Q学习路径规划，在任务空间中生成子任务并调整动作，实现机器人操作技能的迁移，实验验证了其有效性。
2023-10-10 cs.AI cs.LG cs.RO
FluidLab: A Differentiable Environment for Benchmarking Complex Fluid Manipulation
CMU（卡内基梅隆大学）；Dartmouth College（达特茅斯学院）；Columbia University（哥伦比亚大学）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
人类在日常生活中操纵各种流体：创作拿铁艺术、从水中舀取漂浮物、滚动冰淇淋蛋卷等。由于流体的多方面复杂性，使用机器人在这些日常环境中增强或取代人类劳动仍然是一项具有挑战性的任务。机器人流体操作的先前研究主要考虑在简单任务设置中由理想牛顿模型控制的流体（例如，浇注）。然而，绝大多数现实世界的流体系统都表现出流体复杂的材料行为和多组分相互作用的复杂性，这两者都远远超出了当前文献的范围。为了评估机器人学习算法对理解和与这种复杂流体系统的交互，需要一个具有多功能仿真功能和完善任务的综合虚拟平台。在这项工作中，我们介绍了FluidLab，一个模拟环境，涉及复杂的流体动力学的操纵任务的不同集合。这些任务解决固体和流体之间以及多种流体之间的相互作用。我们平台的核心是一个完全可微分的物理模拟器FluidEngine，为各种材料类型及其耦合提供GPU加速模拟和梯度计算。我们通过在我们的平台上评估一组强化学习和轨迹优化方法，确定了流体操作学习的几个挑战。为了解决这些挑战，我们提出了几个特定领域的优化方案，再加上可微物理，这是经验证明是有效的，在解决流体系统的非凸和非光滑特性的优化问题。此外，我们证明了合理的仿真到现实迁移部署优化的轨迹在现实世界中的设置。
2023-03-04 cs.AI cs.LG cs.RO
Neural Field Dynamics Model for Granular Object Piles Manipulation
Georgia Institute of Technology（佐治亚理工学院）
本文提出基于密度场表示与全卷积网络的可微颗粒材料动力学模型，并结合梯度轨迹优化，在仿真和真实任务中显著提升准确性、效率及零样本泛化能力。
2023-11-01 cs.LG cs.RO
Learning Object Manipulation Skills from Video via Approximate Differentiable Physics
Czech Technical University in Prague（布拉格捷克理工大学）；IIIT Hyderabad（海得拉巴国际信息技术学院）
我们的目标是教机器人通过观看一个视频演示来执行简单的对象操作任务。为了实现这一目标，我们提出了一种优化方法，输出一个粗略的和时间上不断变化的3D场景，以模仿输入视频中的动作。与以前的工作类似，可区分的渲染器确保3D场景和2D视频之间的感知保真度。我们的主要新颖之处在于包含了一个可微的方法来解决一组常微分方程（ODE），使我们能够近似模拟物理定律，如重力，摩擦力，手-物体或物体-物体相互作用。这不仅使我们能够显着提高估计的手和物体状态的质量，而且还可以产生物理上可接受的轨迹，这些轨迹可以直接翻译给机器人，而不需要昂贵的强化学习。我们评估我们的方法上的3D重建任务，包括54个视频演示来源于9个动作，如拉东西从右到左或把东西在前面的东西。我们的方法比以前的最先进的方法提高了近30%，在涉及两个物体的物理交互的特别具有挑战性的动作上表现出卓越的质量，例如将某物放在某物上。最后，我们展示了一个弗兰卡Panda机器人学习的技能。
2022-08-03 cs.CV cs.LG cs.RO
PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics
UC San Diego（加州大学圣迭戈分校）；MIT（麻省理工学院）；Peking University（北京大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
模拟的虚拟环境是开发和评估技能学习算法的主要驱动力之一。但是，现有环境通常仅模拟刚体物理。此外，仿真过程通常不提供可能对规划和控制优化有用的梯度。我们介绍了一个新的微分物理基准称为PasticineLab，其中包括一个不同的收集软体操作任务。在每个任务中，智能体使用操纵器将橡皮泥变形为所需的配置。底层的物理引擎支持使用DiffTaichi系统的可区分的弹性和塑性变形，这对机器人代理提出了许多尚未开发的挑战。我们评估了几个现有的强化学习（RL）方法和基于梯度的方法在这个基准。实验结果表明：1）基于RL的方法难以有效地解决大多数任务; 2）基于梯度的方法，通过使用内置的可微物理引擎优化开环控制序列，可以在数十次迭代内快速找到解决方案，但仍然无法解决需要长期规划的多阶段任务。我们预计PlasticineLab将鼓励开发新的算法，将可微物理和RL结合起来，用于更复杂的基于物理的技能学习任务。
2021-04-07 cs.AI cs.CV cs.GR
DLO-Lab: Benchmarking Deformable Linear Object Manipulations with Differentiable Physics
DLO-Lab（DLO实验室）
针对机器人操作绳索、电缆等可变形线性物体（DLO）的挑战，提出一个可微模拟器，支持多种材料属性，并构建基准任务套件，结合专用DLO智能体，评估策略学习算法并验证仿真到现实的迁移。
2026-06-02 cs.RO
Differentiable Robotic Manipulation of Deformable Rope-like Objects Using Compliant Position-based Dynamics
University of California San Diego（加州大学圣地亚哥分校）
机器人操纵绳状物体是一个有趣的问题，有一些关键的应用，如自主机器人。由于绳索物理的复杂性以及建立快速准确的可变形材料模型的挑战，求解和控制绳索是困难的。虽然更多的数据驱动方法在寻找学习执行单个任务的控制器方面变得越来越流行，但仍然有强烈的动机来使用基于模型的方法来解决各种各样的优化问题。为此，我们引入了顺应性，基于位置的动力学（XPBD）来模拟绳状物体。通过几何约束，该模型可以表示剪切/拉伸和弯曲/扭转效应的耦合。至关重要的是，我们的公式是可微的，这可以解决参数估计问题，并改善绳索物理与现实生活场景的匹配（即，Real-to-SIM问题）。针对绳状物体的一般性，提出了两种不同的求解器来处理绳的不同材料刚度的不可伸展和可伸展效应。我们证明了我们的框架的鲁棒性和准确性，使用巴克斯特机器人和达芬奇研究工具包（DVRK）的真实到模拟实验设置。我们的工作导致了一个新的路径，机器人操纵的可变形绳状物体利用现成的梯度。
2022-02-20 cs.RO
CQDC-Warp: GPU-Accelerated Differentiable Quasi-Dynamic Simulation for Contact-Rich Manipulation
Peking University（北京大学）；Galbot；Tsinghua University（清华大学）
提出GPU加速的可微分准动态仿真器CQDC-Warp，用于接触丰富操作的批量MPC，在Allegro手持旋转基准测试中成功率优于CFree、IMPACT，且轨迹生成时间大幅减少，吞吐量高，适用于多种机器人操作场景。
2026-10-16 cs.RO
Energy-Regularized Imitation Learning for Force- and Work-Aware Robotic Manipulation
Toyota Technological Institute（丰田工业大学）
本文提出能量正则化模仿学习方法，通过可微分能量预测器将机械功作为正则项微调操作策略，在RLBench上降低2.1%平均功并提升成功率，实现无需显式动力学模型的节能操作。
2026-09-17 cs.CV cs.RO
Kinematic Model Optimization via Differentiable Contact Manifold for In-Space Manipulation
Realization of Robotic Systems Lab, University of Southern California（机器人系统实现实验室，南加州大学）
针对太空操作中热变形和编码器偏差导致的运动学误差，本文提出仅用编码器和接触检测、基于可微接触流形与优化算法估计参数，提升末端精度。
2025-06-20 cs.RO
Task2Morph: Differentiable Task-inspired Framework for Contact-Aware Robot Design
本文提出可微分任务启发式框架 Task2Morph，通过构建任务到形态学的映射并利用梯度信息进行接触感知机器人设计，在效率和有效性上优于 DiffHand。
2024-03-28 cs.AI cs.RO
DiffSRL: Learning Dynamical State Representation for Deformable Object Manipulation with Differentiable Simulator
University of Hong Kong（香港大学）；Centre for Garment Production Limited（制衣生产中心有限公司）
动态表示学习是机器人学习中的一个重要课题。潜在空间可以捕捉动力学相关信息，在加速无模型强化学习、缩小仿真与现实的差距以及降低运动规划复杂度等领域有着广泛的应用。然而，现有的动态表示学习方法在可变形对象等复杂动态系统上的可扩展性较差，并且不能直接将定义良好的仿真函数嵌入到训练流水线中。我们提出了DiffSRL，一个动态的表示学习管道，利用微分模拟，可以嵌入复杂的动态模型作为端到端训练的一部分。我们还集成了可微动态约束作为管道的一部分，它为潜在状态提供了动力学约束的激励。我们进一步建立了一个状态表示学习基准的软体仿真系统，PlasticineLab，我们的模型表现出卓越的性能，捕捉长期的动态以及奖励预测。
2022-07-26 cs.AI cs.RO
Morphology-Aware Human Motion Retargeting for Wheeled-Humanoid Loco-Manipulation
Harbin Institute of Technology（哈尔滨工业大学）
提出一种形态感知的流水线，将SMPLX人体运动重定向为轮式人形机器人R1 Pro的可执行移动操作行为，结合逆运动学与强化学习策略，实现从数据到物理跟踪的完整桥梁。
2026-09-11 cs.RO
Thin-Shell Object Manipulations With Differentiable Physics Simulations
Umass Amherst（马萨诸塞大学阿默斯特分校）；Tsinghua University（清华大学）；Peking University（北京大学）；CMU（卡内基梅隆大学）；SJTU（上海交通大学）；MIT（麻省理工学院）；MIT-IBM（麻省理工学院-IBM联合研究中心）
本文提出可微仿真平台ThinShellLab，针对薄壳物体操作中摩擦力依赖、动作敏感和接触频繁变化等挑战，结合采样与梯度优化提升技能学习效率和收敛性能，并支持仿真到现实迁移。
2024-03-30 cs.RO
Achieving Autonomous Cloth Manipulation with Optimal Control via Differentiable Physics-Aware Regularization and Safety Constraints
University of California San Diego（加州大学圣地亚哥分校）
本文提出基于XPBD的可微布料动力学框架，结合轨迹平滑与弹性势能正则化及SDF安全约束，将布料操作建模为可微约束优化问题，并在手术机器人上验证了轨迹可行性。
2023-09-20 cs.RO cs.SY eess.SY
Differentiable Physics-based System Identification for Robotic Manipulation of Elastoplastic Materials
School of Engineering, Cardiff University（工程学院）；School of Computer Science and Informatics, Cardiff University（计算机科学与信息学学院）
本文提出DPSI框架，利用简单操作动作和不完整点云推断弹塑性材料物理参数，仅需一次交互即可准确仿真变形行为并提供直观解释。
2025-02-18 cs.AI cs.CE cs.RO
Differentiable Particle Optimization for Fast Sequential Manipulation
Department of Computer Science, Purdue University（计算机科学系，普渡大学）
提出完全GPU并行化的SPaSM框架，通过两阶段粒子优化策略联合优化物体放置与机器人轨迹，在挑战性基准上实现毫秒级求解与100%成功率，较现有方法提速4000倍。
2025-10-11 cs.RO
DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model
University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对现有机器人示教生成方法样本效率低、依赖人工奖励设计的问题，提出整合可微仿真、渲染与视觉语言模型的DiffGen框架，通过最小化指令与观测嵌入距离生成示教，大幅降低人力与训练成本。
2024-05-12 cs.AI cs.CV cs.LG
Certified Gradient-Based Contact-Rich Manipulation via Smoothing-Error Reachable Tubes
Georgia Institute of Technology（佐治亚理工学院）
本文提出通过平滑动力学并量化补偿误差，实现接触密集 manipulation 的安全性和任务完成的认证，采用凸优化生成鲁棒反馈策略。
2026-05-12 cs.RO
Geometrically Plausible Object Pose Refinement using Differentiable Simulation
Monash University（墨尔本大学）；Honda Research Institute（本田研究院）；Technical University of Munich（慕尼黑技术大学）；Physical AI（物理AI）
本文提出结合可微物理模拟、可微渲染和视觉-触觉传感的多模态姿态优化方法，提升空间准确性和物理一致性，实验表明在初始估计准确和高初始不确定性下，显著优于标准ICP基线。
2026-03-22 cs.RO
Estimate, Don't Imitate: Reusing Differentiable State-Based Policies for Visuomotor Control
Fraunhofer Heinrich-Hertz-Institut（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究所）；Robotics Institute Germany（德国机器人研究所）
本文提出复用可微的基于状态专家策略，仅训练视觉状态估计器并加入动作一致性损失，在五个操作任务中优于直接模仿，并实现76%的仿真到现实迁移成功率。
2026-09-29 cs.LG cs.RO
SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering
Shanghai Jiao Tong University（上海交通大学）；University of California San Diego（加州大学圣地亚哥分校）；University of California Irvine（加州大学欧文分校）；National University of Singapore（新加坡国立大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
提出SAM-RL系统，利用可微物理仿真与渲染对比真实图像自动更新模型并生成策略，允许机器人选择信息丰富的视角监控任务，在真实世界三项操作任务中验证了其有效性。
2023-05-23 cs.AI cs.CV cs.LG
Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Tianjin University（天津大学）；Nvidia（英伟达）
从视觉数据中学习打开了一个潜力，通过利用人类示范，而不是指定每一个数学，而是通过自然的任务规范，积累了大量的操作行为。在本文中，我们提出了通过观看学习（LbW），策略学习的算法框架，通过模仿指定任务的单个视频。我们的方法的关键见解是双重的。首先，由于人类手臂可能不具有与机器人手臂相同的形态，因此我们的框架学习无监督的人到机器人翻译以克服形态不匹配问题。其次，为了捕获对学习状态表示至关重要的显著区域中的细节，我们的模型对翻译的机器人视频进行无监督的关键点检测。检测到的关键点形成包含语义上有意义的信息的结构化表示，并且可以直接用于计算奖励和策略学习。我们评估了我们的LbW框架在五个机器人操作任务上的有效性，包括达到，推动，滑动，咖啡制作和抽屉关闭。广泛的实验评估表明，我们的方法对国家的最先进的方法表现良好。
2021-11-14 cs.CV cs.LG cs.RO
RigPI: Dynamic Parameter Identification of Rigid Body via VLM-Seeded Differentiable Simulation
Way-Robotics（Way-机器人）
提出RigPI框架，结合视觉语言模型初始化和可微物理仿真梯度优化，两步策略实现刚体与多连杆刚体动力学参数精确辨识，实验验证了其鲁棒性和预测有效性。
2026-06-26 cs.RO
DDBot: Differentiable Physics-based Digging Robot for Unknown Granular Materials
School of Engineering, Cardiff University（工程学院，卡迪夫大学）；School of Computer Science and Informatics, Cardiff University（计算机科学与信息学学院，卡迪夫大学）
DDBot通过可微物理模拟和优化方法，实现对未知颗粒材料的高效挖掘与高精度操作。
2026-01-06 cs.RO
Morphology and actuation as inductive biases in robotic hand manipulation
Pázmány Péter Catholic University（帕兹曼尼·彼得天主教大学）
本文提出统一框架分析机器人手的形态与驱动对操作控制的影响，针对两款不同设计理念的机器人手开展研究，通过强化学习实验验证相关指标的预测效果。
2026-09-07 cs.RO cs.SY eess.SY
ADD: Analytically Differentiable Dynamics for Multi-Body Systems with Frictional Contact
ETH Zürich（苏黎世联邦理工学院）；Université de Montréal（蒙特利尔大学）；Disney Research（迪士尼研究院）
我们提出了一个微分动力学求解器，能够在一个统一的框架内处理刚性和可变形物体的摩擦接触。通过对法向和切向接触力的原则性软化，我们的方法避免了摩擦接触的非光滑性质所固有的主要困难。我们结合这个新的接触模型与全隐式时间积分，以获得一个强大的和有效的动力学求解器，是解析可微的。结合伴随灵敏度分析，我们的公式能够实现基于梯度的优化，并在模拟准确性和目标函数景观的平滑度之间进行自适应权衡。我们彻底分析了我们的方法上的一组仿真例子，涉及刚体，粘弹性材料，耦合多体系统。此外，我们展示了我们的微分模拟器的应用程序的参数估计可变形物体，机器人操作的运动规划，轨迹优化符合步行机器人，以及有效的自监督学习的控制策略。
2020-07-02 cs.GR cs.LG cs.RO
An End-to-End Differentiable Framework for Contact-Aware Robot Design
Massachusetts Institute of Technology（麻省理工学院）；Texas A&M University（德克萨斯A&M大学）
目前机器人操作的主要范例包括两个独立的阶段：机械手设计和控制。由于机器人的形态和如何控制它是密切相关的，设计和控制的联合优化可以显着提高性能。现有的协同优化方法是有限的，无法探索丰富的设计空间。主要原因是权衡设计的复杂性，这是必要的接触丰富的任务对制造，优化，接触处理等的实际限制，我们克服了这些挑战，通过建立一个端到端的差分框架接触感知机器人设计。该框架的两个关键组成部分是：一种新的基于变形的参数化，允许设计具有任意复杂几何形状的铰接刚性机器人，以及一个可微分的刚体模拟器，可以处理接触丰富的场景，并计算全谱运动学和动力学参数的分析梯度。在多个操作任务上，我们的框架优于现有的方法，这些方法要么只优化控制，要么使用替代表示进行设计，要么使用无梯度方法进行协同优化。
2021-08-24 cs.AI cs.GR cs.RO
Learning to Design and Use Tools for Robotic Manipulation
Stanford University（斯坦福大学）
本文提出联合学习工具设计者策略与设计条件控制器策略的强化学习框架，使机器人能按任务目标生成并使用专用工具，在多目标操作中提升样本效率、泛化与真实部署能力。
2023-11-01 cs.AI cs.LG cs.RO
SoftMAC: Differentiable Soft Body Simulation with Forecast-based Contact Model and Two-way Coupling with Articulated Rigid Bodies and Clothes
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
SoftMAC是一个可微仿真框架，通过基于预测的MPM接触模型和穿透追踪算法，实现软体、铰接刚体与衣物的双向耦合，有效支持更广泛的机器人操作交互。
2025-04-05 cs.AI cs.GR cs.RO
Single-Level Differentiable Contact Simulation
Stanford University（斯坦福大学）；Google（谷歌）
我们提出了一个可微的制定刚体接触动力学的对象和机器人表示为组成的凸图元。现有的基于优化的方法模拟凸图元之间的接触依赖于一个双层配方，分离碰撞检测和接触模拟。这些方法在现实的接触模拟场景中是不可靠的，因为隔离碰撞检测问题会引入接触位置的非唯一性。我们的方法结合接触模拟和碰撞检测到一个统一的单级优化问题。这以物理信息的方式消除了冲突检测问题的歧义。与以前的微分模拟方法相比，我们的配方功能提高了模拟的鲁棒性和计算复杂性减少了一个数量级以上。我们说明了接触和碰撞微分的机器人操作任务，需要通过接触优化。我们提供了一个数值上有效的实现我们的配方在朱莉娅语言称为Silico.jl。
2023-01-03 cs.RO
Learning physics-informed simulation models for soft robotic manipulation: A case study with dielectric elastomer actuators
University of Edinburgh（爱丁堡大学）；Ghent University（根特大学）；imec（微电子研究中心）
软致动器提供了一种安全，适应性强的方法，如温柔的抓取和灵巧的操纵任务。然而，由于可变形材料的复杂物理特性，创建精确的模型来控制这样的系统是具有挑战性的。精确的有限元法（FEM）模型导致闭环使用的过高的计算复杂性。使用微分模拟器是一个有吸引力的替代方案，但其适用性的软致动器和可变形材料仍然未充分探索。本文提出了一个框架，结合两者的优点。我们学习一个可微的模型组成的材料属性神经网络和分析动力学模型的其余部分的操作任务。该物理模型使用FEM生成的数据进行训练，可用于闭环控制和推理。我们评估我们的框架上的介电弹性体致动器（DEA）硬币拉任务。我们模拟了使用DEA沿着摩擦接触的表面拉硬币的任务，使用FEM，并评估了模拟，控制和推理的物理模型。与FEM相比，我们的模型达到了< 5%的仿真误差，并且我们将其用作MPC控制器的基础，该控制器需要比无模型的演员-评论家，PD和启发式策略更少的迭代来收敛。
2022-07-16 cs.AI cs.RO
Efficient Differentiable Contact Model with Long-range Influence
本文提出一种满足良好梯度性质的高效可微接触模型，能产生长程影响，从简单初始化即可发现复杂接触丰富的控制信号，成功执行下游移动与操作任务。
2025-09-25 cs.RO
Reaching Through Latent Space: From Joint Statistics to Path Planning in Manipulation
Applied AI Lab (A2I)（应用人工智能实验室）；Dynamic Robot Systems (DRS)（动态机器人系统实验室）；Oxford Robotics Institute (ORI), University of Oxford（牛津大学牛津机器人研究所）
我们提出了一种新的方法，机器人操作器的路径规划，其中路径产生通过迭代优化的生成模型的机器人姿态的潜在空间。通过使用在同一空间上操作的约束满足分类器来合并约束。优化通过我们学习的模型利用梯度，提供了一种简单的方法来将目标达到目标与约束满足相结合，即使在存在其他不可微约束的情况下。我们的模型在随机采样的机器人姿势上以任务不可知的方式进行训练。在与一些广泛使用的规划器的基线比较中，我们在任务成功，规划时间和路径长度方面实现了相称的性能，在一个真正的7自由度机器人手臂上进行成功的避障路径规划。
2022-10-21 cs.LG cs.RO
Robot Program Parameter Inference via Differentiable Shadow Program Inversion
Institute for Artificial Intelligence (IAI), University of Bremen（不来梅大学人工智能研究所（IAI））；ArtiMinds Robotics（ArtiMinds机器人公司）
机器人的操作任务可以通过结合单个机器人的技能来有效地解决，这些技能必须针对具体的物理环境和手头的任务进行参数化。这对人类程序员来说既耗时又困难，特别是对于强制控制技能。为此，我们提出了影子程序反演（SPI），一种新的方法来推断最佳的技能参数直接从数据。SPI利用无监督学习来训练辅助可微程序表示（“影子程序”），并通过基于梯度的模型反演来实现参数推断。我们的方法可以使用高效的一阶优化器来推断最初不可微技能的最佳参数，包括目前在生产中使用的许多技能变体。SPI zero-shot可跨任务目标进行推广，这意味着影子程序不需要重新训练来推断不同任务变量的参数。我们在工业和家庭场景中对三种不同的机器人和技能框架进行了评估。代码和示例可在https://innolab.artiminds.com/icra2021上获得。
2022-07-14 cs.AI cs.LG cs.RO
Uncertain Pose Estimation during Contact Tasks using Differentiable Contact Features
Seoul National University（首尔国立大学）
本文提出一种基于可微分接触特征和双层优化的新框架，用梯度求解器高效准确地估计接触任务中的不确定物体姿态，并通过多个场景验证其改进现有方法的能力。
2023-05-26 cs.RO
EasyHeC: Accurate and Automatic Hand-eye Calibration via Differentiable Rendering and Space Exploration
Zhejiang University（浙江大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对传统手眼标定依赖标记物与人工设计位姿、现有学习方法误差诊断能力弱的问题，提出无需标记物的白盒方法EasyHeC，结合可微渲染位姿优化与关节空间探索，在合成与真实数据集上均取得更优性能，可提升下游机器人操作任务表现。
2023-11-07 cs.CV cs.RO
Efficient Gradient-Based Inference for Manipulation Planning in Contact Factor Graphs
Seoul National University（首尔大学）
本文提出接触因子图（CFG）建模接触与动力学约束，并利用可微因子和结构化条件概率开发高效推理算法，实现操控规划中的分布近似与可行解采样。
2025-03-08 cs.RO
What Robot do I Need? Fast Co-Adaptation of Morphology and Control using Graph Neural Networks
University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）
随着快速3D制造方法和高效的深度强化学习算法的出现，机器人形态和行为的协同适应变得越来越重要。将协同适应方法应用于现实世界的一个主要挑战是由于模型和仿真的不准确性而导致的仿真与现实的差距。然而，以前的工作主要集中在形态的进化适应研究，利用分析模型和（可微）模拟器与大人口规模，忽略了存在的模拟现实的差距和成本的制造周期在现实世界中。本文提出了一种新的方法，将经典的高频深度神经网络与计算昂贵的图神经网络相结合，用于具有不同自由度的代理的数据高效协同适应。仿真结果表明，该方法可以有效地将设计优化与离线强化学习相结合，在有限的生产周期内实现智能体的协同适应，并可直接应用于实际协同适应任务中
2021-11-03 cs.LG cs.NE cs.RO
SafeMimic: Towards Safe and Autonomous Human-to-Robot Imitation for Mobile Manipulation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
SafeMimic提出一个从单个第三人称人类视频中安全自主地学习多步移动操作技能的框架，通过解析视频、适应机器人形态并验证安全性，在七个任务上优于现有基线。
2025-06-18 cs.AI cs.RO
RAFL: Generalizable Sim-to-Real of Soft Robots with Residual Acceleration Field Learning
Department of Computer Science, Duke University（达特茅斯大学计算机科学系）；Department of Mechanical Engineering and Material Science（机械工程与材料科学系）；Department of Electrical and Computer Engineering（电气与计算机工程系）
RAFL通过残差加速度场学习提升软机器人仿真到现实的通用性，实现零样本改进，支持持续优化。
2026-03-23 cs.LG cs.RO
Surface-Based Manipulation with Modular Foldable Robots
Swiss Federal Institute of Technology Lausanne (EPFL)（瑞士联邦理工学院洛桑分校）
本文提出了一种基于模块化可折叠机器人的表面操控方法，通过调整表面位置和方向实现物体的稳定操控，适用于各种形状和刚度的物体。
2026-01-12 cs.RO cs.SY eess.SY
Robust In-Hand Manipulation via Priors in Reinforcement Learning and Mechanical Design
Center for Robotics and Biosystems, Northwestern University（西北大学机器人与生物系统中心）
研究无外部传感的手中操作难题，引入全局抓握质量先验和局部接触几何先验两种互补物理先验，用于多指机器人手操作物体的手中滚动操作学习，显著提升了旋转效率、抓握稳定性和抗干扰能力，增强任务稳健性与模拟到现实的转移。
2026-07-15 cs.LG cs.RO
