Estimating Deformable-Rigid Contact Interactions for a Deformable Tool via Learning and Model-Based Optimization
Robotics Department, University of Michigan（密歇根大学机器人系）
针对可变形工具操作刚体时接触难以用经典刚体模型描述的问题，提出结合学习模块与接触二次规划的混合方法，可建模变形操作中的运动、接触与力，仿真表现优于基线且可迁移到真实场景。
2025-05-16 cs.RO
Stable Prehensile Pushing: In-Hand Manipulation with Alternating Sticking Contacts
Massachusetts Institute of Technology（麻省理工学院）；Department of Mechanical Engineering（机械工程系（不提取，因为系属于细拆））
本文提出了一种方法，在手操纵规划，利用交替粘附接触的力学。特别是，我们考虑的问题，操纵一个掌握的对象使用外部推动的推杆坚持的对象。鉴于物体的物理特性，在接触和所需的重握在对象上的摩擦系数，我们提出了一个基于采样的规划框架，建立一个推动策略连接不同的可行的稳定推动，以实现所需的重握。一个有效的动力学制定，使我们能够计划在手操作100-1000倍，比我们以前的工作，建立在互补性制定。对生成的计划的实验观察表明，对象精确地按照计划者的预期在把握中移动。视频摘要--youtu.be/qOTKRJMx6Ho
2018-03-04 cs.RO
Multi-Step Recurrent Q-Learning for Robotic Velcro Peeling
University of Minnesota（明尼苏达大学）
学习物体操作是机器人与环境交互的关键技能。尽管机器人对刚性物体的操作已经取得了重大进展，但与非刚性物体的交互仍然是机器人面临的挑战。在这项工作中，我们介绍了魔术贴剥离作为一个代表性的应用程序，机器人操作的非刚性物体在复杂的环境中。我们提出了一种在部分可观测环境中从噪声和不完整的传感器输入中学习基于力的操纵的方法，该方法通过使用多步深度递归网络对测量之间的长期依赖关系进行建模。我们提出了一个真正的机器人上的实验，以显示建模这些长期依赖关系的必要性，并验证我们的方法在仿真和机器人实验。我们的研究结果表明，使用触觉输入使机器人能够克服几何不确定性存在于环境中的高保真度在~90%的所有情况下，优于基线的大幅度。
2022-02-22 cs.RO
Graph-based Task-specific Prediction Models for Interactions between Deformable and Rigid Objects
KTH, Royal Institute of Technology（瑞典皇家理工学院）；CAS/RPL；Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人形与机器人研究所）
捕捉场景动态和预测未来的场景状态是具有挑战性的，但必不可少的机器人操作任务，特别是当场景包含刚性和可变形的对象。在这项工作中，我们贡献了一个模拟环境，并生成一个新的数据集的任务特定的操作，涉及刚性物体和可变形袋之间的相互作用。该数据集包含了丰富的场景，包括不同的对象大小，对象数量和操作动作。我们提出了一个以对象为中心的图表示和两个模块，主动预测模块（APM）和位置预测模块（PPM）的基础上的图神经网络的编码-处理-解码架构的动态学习。在推理阶段，我们建立了一个两阶段模型的基础上学习的单时间步预测模块。我们将具有不同预测范围的模块组合成一个解决长期预测的混合范围模型。在消融研究中，我们展示了单时间步预测的两阶段模型的好处和长期预测任务的混合视野模型的有效性。补充材料可在https://github.com/wengzehang/deformable_rigid_interaction_prediction上获得
2021-03-04 cs.RO
Design of an Optoelectronically Innervated Gripper for Rigid-Soft Interactive Grasping
Southern University of Science and Technology（南方科技大学）；University of Hong Kong（香港大学）
在过去的几十年里，已经努力实现鲁棒的机器人抓取，因此灵巧的操作。柔性手爪由于其固有的低成本、控制复杂性和高适应性等特点，在鲁棒抓取方面显示出了巨大的潜力。然而，柔性手爪在与物体交互时的变形带来了抓取物体的不准确性，这导致了鲁棒抓取和进一步操作的不稳定性。在本文中，我们提出了一个全方位的自适应软手指，可以感知基于嵌入式光纤和应用机器学习方法来解释透射光强度的变形。此外，利用软手指提供的触觉信息，我们设计了一种低成本的多自由度夹持器，以主动顺应物体的形状，优化抓取策略，这就是所谓的刚性-柔性交互抓取。这种抓取策略的两个主要优点是：一是通过主动适应可以实现更鲁棒的抓取;二是所收集的触觉信息有助于进一步的操作。
2020-12-06 cs.RO
DualManip: Agentic Dynamic Manipulation via Dual-Path Semantic Reasoning and Geometric Adaptation
Tsinghua University（清华大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Beijing Institute of Control Engineering（北京控制工程研究所）
DualManip通过双路径框架解耦语义推理与几何自适应，实现动态场景下鲁棒且高效的机器人操作，几何自适应速度提升约46倍。
2026-09-30 cs.RO
Real Garment Benchmark (RGBench): A Comprehensive Benchmark for Robotic Garment Manipulation featuring a High-Fidelity Scalable Simulator
针对机器人服装操作缺乏合适模拟工具的问题，提出包含6000+服装网格模型、高性能模拟器及评估协议的RGBench基准，其模拟器较现有工具误差降20%且速度快3倍，将公开以推动该领域研究。
2025-11-12 cs.RO
Rapid Adaptation of Particle Dynamics for Generalized Deformable Object Mobile Manipulation
Stanford University（斯坦福大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出RAPiD方法，通过学习视觉-运动策略和动态嵌入推理，实现变形物体移动操作的高成功率。
2026-03-18 cs.RO
EquivAct: SIM(3)-Equivariant Visuomotor Policies beyond Rigid Object Manipulation
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
如果一个机器人掌握了折叠厨房毛巾的技能，那么我们就可以期待它掌握折叠一条大的沙滩毛巾。然而，依赖于数据增强的现有策略学习方法仍然不能保证这样的泛化。我们的见解是增加等变性的视觉对象表示和策略架构。我们提出了EquivAct，它利用SIM（3）-等变网络结构，保证在所有可能的对象平移，3D旋转和缩放的建设泛化。EquivAct的培训分为两个阶段。我们首先在模拟场景点云上预训练SIM（3）-等变视觉表示。然后，我们通过少量的源任务演示学习了一个SIM（3）等变的视觉策略。我们表明，学到的政策直接转移到对象，从示威的规模，位置和方向有很大的不同。我们评估我们的方法在三个操作任务涉及可变形和关节连接的对象，超越了典型的刚性对象的操作任务，考虑在以前的工作。我们在模拟和现实中进行实验。对于真正的机器人实验，我们的方法使用20人演示的桌面任务和转移zero-shot到一个更大的设置中的移动操作任务。实验证实，我们的对比预训练过程和等变架构提供了显着的改进比以前的工作。项目网址：https://equivact.github.io
2024-05-14 cs.LG cs.RO
Data Augmentation for Manipulation
University of Michigan（密歇根大学）
深度学习的成功在很大程度上取决于大型数据集的可用性，但在机器人操作中，存在许多学习问题，而这些数据集并不存在。收集这些数据集既耗时又昂贵，因此从小数据集中学习是一个重要的开放问题。在计算机视觉中，一种常见的解决数据缺乏的方法是数据增强。数据增强是通过修改现有样本来创建额外训练样本的过程。然而，由于任务和数据的类型不同，计算机视觉中使用的方法不能很容易地适应操纵。因此，我们提出了一个数据增强方法的机器人操作。我们认为，扩增应该是有效的，相关的，和多样的。我们使用这些原则，正式扩增作为一个优化问题，与来自物理和知识的操纵域的目标函数。该方法将刚体变换应用于几何状态和动作数据的轨迹。我们在两种情况下测试我们的方法：1）学习刚性圆柱体的平面推动动力学，以及2）学习绳索操作的约束检查器。这两种场景具有不同的数据和标签类型，但在这两种场景中，对我们的增强数据进行训练可以显着提高下游任务的性能。我们还展示了我们的增强方法如何用于真实机器人数据，以实现更高效的在线学习。
2022-07-20 cs.RO
DeRi-IGP: Learning to Manipulate Rigid Objects Using Deformable Objects via Iterative Grasp-Pull
Purdue University（普渡大学）
本文提出迭代抓拉（IGP）运动原语及基于视觉的神经策略，通过可变形线性物体操控并运输刚体，支持多智能体去中心化协作，在仿真与真实实验中显著优于基线方法。
2025-02-04 cs.RO
Sampling-based Planning of In-Hand Manipulation with External Pushes
MIT（麻省理工学院）
本文提出了一种基于采样的规划算法，利用一系列的外部推动力的手操作的把握对象。一个高层次的采样为基础的规划框架，在一个低层次的逆接触动力学求解器，有效地探索空间的连续推动离散推杆接触切换。我们建模的抓地力，掌握的对象，和推杆之间的摩擦相互作用，通过离散化复杂的表面/线接触到阵列的硬摩擦点接触。逆动力学问题的瞬时推杆运动，产生所需的瞬时物体运动的形式是一个混合非线性互补问题。在这个动力学求解器的基础上，我们的规划器生成一系列推动，将物体转向目标抓取。我们评估的性能的计划的情况下，平行爪夹持器操纵不同的对象，无论是在模拟和真实的实验。通过这些例子，我们强调的重要属性的规划：尊重和利用的混合动力学的接触粘/滑动/滚动和离散接触切换的效率感。
2017-11-02 cs.RO
Contour Moments Based Manipulation of Composite Rigid-Deformable Objects with Finite Time Model Estimation and Shape/Position Control
Harbin Institute of Technology（哈尔滨工业大学）；Beijing Institute of Control Engineering（北京控制工程研究所）；TU Delft（代尔夫特理工大学）；The Hong Kong Polytechnic University（香港理工大学）
机器人操作的复合刚性可变形物体（即那些具有混合非均匀刚度属性）是一个具有挑战性的问题，具有明确的实际应用，尽管在该领域的最新进展，它还没有得到充分的研究文献。为了解决这个问题，在本文中，我们提出了一种新的视觉伺服方法，有能力操纵这广泛的一类对象（从软到硬）具有相同的自适应策略。为了量化对象的无限维配置，我们的新方法计算一个紧凑的反馈向量的二维轮廓矩功能。然后设计了一种滑模控制方案，以同时确保反馈形状误差和模型估计误差的有限时间收敛。所提出的框架的稳定性（包括所有信号的有界性）是严格证明与李雅普诺夫理论。详细的仿真和实验验证了所提出的方法的有效性。据作者所知，这是第一次，轮廓时刻随着有限时间控制已被用来解决这个困难的操作问题。
2021-06-04 cs.RO cs.SY eess.SY
Non-prehensile Planar Manipulation via Trajectory Optimization with Complementarity Constraints
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
接触自适应是操纵对象时的基本能力。非接触性手法的两种主要接触方式是粘着和滑动。本文提出了一种轨迹优化（TO）方法，该方法可以在这两种模式之间进行切换。我们表明，该配方可以适用于规划和模型预测控制（MPC）的平面操作任务。我们在数字上比较：（i）我们的规划器对混合整数替代方案，表明MPCC规划器收敛速度更快，时间范围更好，可以处理有障碍物的环境;（ii）我们的控制器对最先进的混合整数方法，表明MPCC控制器实现了更好的跟踪和更一致的计算时间。此外，我们实验验证我们的规划器和控制器与库卡LWR机器人在一系列平面操作任务。
2022-03-18 cs.RO
Modeling and Prediction of Rigid Body Motion with Planar Non-Convex Contact
Department of Mechanical Engineering Stony Brook University（纽约州立大学石溪分校机械工程系）
我们提出了一种通过动态模拟进行运动预测的原理性方法，用于相互间歇接触的刚体，其中接触区域是平面非凸接触片。这些方法在机器人操作的规划和控制中是有用的。平面非凸接触片可以是拓扑连通集，也可以是拓扑不连通集。刚体动力学仿真中的大多数工作都假设对象之间的接触是点接触，这在许多应用中可能是不正确的。本文利用接触曲面的凸包，在凸接触曲面模拟刚体的基础上，进一步研究了平面非凸接触曲面模拟物体运动的方法。我们制定了一个离散时间的混合互补问题，我们解决的接触检测和整合的运动方程的同时。我们同时求解每个接触片的等效接触点（ECP）和接触冲量以及状态，即，物体的形状和速度。我们证明，虽然我们是代表一个补丁接触的等效点，我们的模型强制执行非穿透约束，确保有没有人为接触刚体之间的渗透。我们提供的经验证据表明，我们的方法可以无缝捕捉不同的接触模式之间的过渡，如补丁接触，多点或单点接触。
2020-10-05 cs.RO
Contact Mode Guided Motion Planning for Quasidynamic Dexterous Manipulation in 3D
Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于接触模式的灵巧手三维准静态和准动态刚体运动规划方法。CMGMP算法生成包括连续状态转换和离散接触模式切换的混合运动计划，而不需要预先指定的接触序列或预先设计的运动基元。其核心思想是使用自动枚举的环境对象接触的接触模式，以指导在搜索过程中的树扩展。接触模式自动合成操作基元，而基于采样的规划框架将这些基元排序为连贯的计划。我们在14个3D操作任务上测试了我们的算法，并通过在一个真实的机器人-机械手系统上开环执行一些计划来验证我们的模型
2022-06-03 cs.RO
Rigid Body Motion Prediction with Planar Non-convex Contact Patch
Stony Brook University（石溪大学）
我们提出了一个原则性的方法，通过动态模拟运动预测的刚体在间歇性接触彼此的接触被假定为一个平面的非凸接触补丁。平面非凸接触片可以是拓扑连通集，也可以是拓扑不连通集。这样的算法在机器人操作的规划和控制中是有用的。在刚体动力学仿真中，大多数工作都假设物体之间的接触是点接触，这在许多应用中可能是不正确的。本文利用接触面的凸包，在我们最近用凸接触面模拟刚体的基础上，用平面非凸接触面模拟物体的运动。我们制定了一个离散时间的混合互补问题，我们解决的接触检测和整合的运动方程的同时。因此，我们的方法是一个几何隐式的方法，我们证明，在我们的配方，有没有人工的接触刚体之间的渗透。我们同时求解每个接触片的等效接触点（ECP）和接触冲量以及状态，即，物体的形状和速度。我们提供的经验证据表明，我们的方法可以无缝捕捉不同的接触模式之间的过渡，如补丁接触多点或单点接触在模拟过程中。
2019-04-15 cs.RO
RigPI: Dynamic Parameter Identification of Rigid Body via VLM-Seeded Differentiable Simulation
Way-Robotics（Way-机器人）
提出RigPI框架，结合视觉语言模型初始化和可微物理仿真梯度优化，两步策略实现刚体与多连杆刚体动力学参数精确辨识，实验验证了其鲁棒性和预测有效性。
2026-06-26 cs.RO
GelSight Svelte Hand: A Three-finger, Two-DoF, Tactile-rich, Low-cost Robot Hand for Dexterous Manipulation
Massachusetts Institute of Technology（麻省理工学院）
本文提出 GelSight Svelte Hand，一种三指二自由度低成本触觉机器人手，通过半刚性内骨骼与软硅胶覆盖实现刚柔结合，并利用每指单摄像头获取全长触觉信号，支持精确、力量及中间抓取。
2023-09-19 cs.RO
Rigidity-Based Multi-Finger Coordination for Precise In-Hand Manipulation of Force-Sensitive Objects
School of Automation, Chongqing University（重庆大学自动化学院）；Department of Mechanical Engineering, City University of Hong Kong（香港城市大学机械工程系）
本文提出双层框架实现多指协调，通过关节控制无需触觉反馈实现高精度力敏感物体操作。
2026-02-15 cs.RO cs.SY eess.SY
GenVid2Robot: From Video Generation to Robot Manipulation via Rigid-Geometric Consistency
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；University of Liverpool（利物浦大学）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）；State Key Laboratory of Submarine Geoscience, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学海洋地球科学国家重点实验室，自动化与智能感知学院）
研究旨在将生成视频转换为机器人可执行操作轨迹。核心方法是GenVid2Robot框架，通过采样语义锚点、跟踪验证运动等步骤实现。主要贡献是提高了生成视频引导操作的可靠性，通过多种手段建立视觉运动先验。
2026-07-13 cs.LG cs.RO
RoboFolDeX: A Physical-World Benchmark for Long-Horizon Robotic Manipulation of Deformable Objects
Fudan University（复旦大学）；AI Research Center, Midea Group (Shanghai) Co., Ltd.（美的集团（上海）有限公司AI研究中心）；Carnegie Mellon University（卡内基梅隆大学）
FolDeX是一个基于真实机器人数据的物理世界基准，以衣物折叠为主任务，提供2000多小时、20多任务数据，围绕数据复用四个研究轴，并建立公平评估平台，推动长时程可变形操作研究。
2026-09-22 cs.RO
MotionBits: Video Segmentation through Motion-Level Analysis of Rigid Bodies
Department of Computer Science（计算机科学系）；Rice University（里士满大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
MotionBits通过运动学空间扭转等价性定义运动级视频分割单元，提出无需学习的图基分割方法，在MoRiBo基准上提升37.3%的mIoU，有效提升嵌入式推理与操作性能。
2026-03-06 cs.CV cs.RO
A Certified-Complete Bimanual Manipulation Planner
规划运动的两个机器人手臂，以移动一个物体的合作是一个困难的问题，主要是因为闭链约束，这会出现当两个机器人手同时抓住一个单一的刚性物体。在本文中，我们提出了一个操作规划算法，使一个对象从一个初始的稳定的位置（位置和方向的对象上的支持表面）对一个目标稳定的位置。我们的算法的关键特性是，它是认证完成：对于一个给定的对象和给定的环境，我们提供了一个证书，该算法将找到一个解决方案，任何双手操作查询在该环境中，只要一个存在。此外，证书是建设性的：在运行时，它可以用于快速找到给定查询的解决方案。该算法在软件和硬件上进行了测试，在一些大型家具。
2017-05-07 cs.RO
Non-Smooth Newton Methods for Deformable Multi-Body Dynamics
NVIDIA（英伟达）；University of Copenhagen（哥本哈根大学）
我们提出了一个框架，在接触和摩擦的存在下，刚性和可变形的身体的模拟。我们的方法是基于一个非光滑牛顿迭代，解决了潜在的非线性互补问题（NCPs）直接。这种方法使我们能够支持非线性动力学模型，包括超弹性变形体和铰接刚性机构，通过光滑的各向同性摩擦模型耦合。我们的方法的不动点性质意味着它只需要对称线性系统的解作为构建块。我们提出了一个新的互补预处理NCP函数，提高收敛性，我们开发了一个有效的基于GPU的求解器的共轭残差（CR）的方法，是适合于交互式模拟的基础上。我们展示了如何使用新的几何刚度近似来提高鲁棒性，并评估了我们的方法在许多机器人仿真场景中的性能，包括使用强化学习的灵巧操作和训练。
2019-07-10 cs.CE cs.GR cs.RO
Inferring 3D Shapes of Unknown Rigid Objects in Clutter through Inverse Physics Reasoning
Rutgers University（罗格斯大学）
我们提出了一个概率的方法，在飞行中，未知物体的3-D模型，而被机器人操纵。我们特别考虑在包含以前看不见的对象的杂乱堆中的操作任务。大多数操作算法执行这样的任务需要已知的几何模型的对象，以掌握或重新安排他们鲁棒。这项工作的一个新的方面是利用物理引擎来验证模拟中的假设几何形状。物理模拟提供的证据被用于概率框架中，该框架解释了物体的机械特性是不确定的这一事实。我们提出了一个有效的算法推断闭塞部分的对象的基础上观察到的运动和相互作用。机器人实验表明，该方法可以有效地构建具有物理真实感的三维模型，为操作规划提供了依据。实验还表明，所提出的方法显着优于其他方法的形状精度。
2019-03-13 cs.CV cs.RO
Quasistatic contact-rich manipulation via linear complementarity quadratic programming
OMRON SINIC X Corp.（欧姆龙 SINIC X 公司）；Kyoto University（京都大学）；OMRON SINIC X Corporation（欧姆龙 SINIC X 公司）
接触丰富的操纵是具有挑战性的，由于动态变化的物理约束的接触模式的变化，在操纵过程中经历。本文提出了一种通用的局部规划和控制框架，接触丰富的操作，确定连续的控制行动下的可变接触模式在线。通过准静态动力学和互补约束，我们对富接触操作的物理特性进行了建模。然后，我们提出了一个线性互补二次规划（LCQP），以有效地确定控制行动，隐含地包括这些约束下的接触模式的决定。在LCQP中，我们放松了互补约束，以减轻通常由测量噪声或模型失配引起的病态问题。我们进行动态仿真的3D物理模拟器，并证明所提出的方法可以实现各种接触丰富的操作任务，通过确定控制动作，包括接触模式的实时。
2022-10-25 cs.RO math.OC
Dynamic Task Space Control Enables Soft Manipulators to Perform Real-World Tasks
ETH Zurich（苏黎世联邦理工学院）
动态运动是机器人手臂的一个关键特征，使它们能够快速有效地执行任务。软连续体机械手目前不考虑动态参数时，在任务空间中操作。这一缺点使得现有的软体机器人变慢，并限制了它们处理外力的能力，特别是在物体操纵期间。我们通过使用动态操作空间控制来解决这个问题。我们的控制方法考虑到了三维连续体臂的动态参数，并引入了新的模型，使多段软操纵器在任务空间中顺利运行。先进的控制方法，以前只提供给刚性机器人，现在适用于软体机器人;例如，势场回避以前只显示为刚性机器人，现在扩展到软体机器人。使用我们的方法，一个软机械手现在可以实现各种任务，以前是不可能的：我们评估机械手的性能在闭环控制实验，如拾取和放置，避障，投掷物体使用一个附加的软抓手，并故意施加力的表面通过用一根粉笔抓画。除了新启用的技能，我们的方法将跟踪精度提高了59%，与任务空间控制的最新技术相比，速度提高了19.3倍。有了这些新发现的能力，软体机器人可以开始在操纵领域挑战刚性机器人。我们固有的安全性和兼容性软体机器人将机器人操作的未来推向人类和机器人并行工作的无笼设置。
2022-10-18 cs.RO
Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation
Massachusetts Institute of Technology（麻省理工学院）
什么是正确的操作对象表示？我们希望机器人能够在视觉上感知场景，并学习对其中对象的理解，（i）与任务无关，可以用作各种操作任务的构建块，（ii）通常适用于刚性和非刚性对象，（iii）利用3D视觉提供的强大先验知识，（iv）完全从自我监督中学习。这是很难实现与以前的方法：许多最近的工作在把握没有扩展到抓住特定的对象或其他任务，而特定任务的学习可能需要许多试验，以概括以及跨对象配置或其他任务。在本文中，我们提出了密集对象网络，它建立在自监督密集描述符学习的最新发展基础上，作为视觉理解和操作的一致对象表示。我们证明他们可以快速（约20分钟）训练各种以前看不见的和潜在的非刚性物体。我们还提出了新的贡献，使多对象描述符学习，并表明，通过修改我们的训练过程，我们可以获得描述符概括的对象类，或描述符是不同的每个对象实例。最后，我们展示了新的应用程序的学习密集描述符机器人操作。我们演示了在一个对象上的特定点的把握在潜在的变形对象配置，并演示了使用类一般描述符来转移特定的把握在一个类中的对象。
2018-09-07 cs.CV cs.LG cs.RO
Experimental Validation of Contact Dynamics for In-Hand Manipulation
Robotics and Biology Laboratory, Technische Universität Berlin（柏林工业大学机器人与生物学实验室）
本文评估国家的最先进的接触模型在预测简单的手机器人操作中所涉及的运动和力。特别是，它集中在三个基本的行动-线性滑动，枢转和滚动-涉及之间的接触，一个刚性的物体，一个夹具，和他们的环境。评估是通过数千个受控实验来完成的，这些实验旨在捕获物体和夹具的运动，以及250 Hz下的所有接触力和扭矩。我们表明，接触建模方法的基础上库仑摩擦定律和最大能量原理是有效的推理相互作用的一阶，但有限的准确预测。我们将主要的局限性归因于1）具有复杂几何形状的多个硬接触的抓握所固有的力分辨率的非唯一性，2）由于接触顺应性而导致的未建模动态，以及3）由于制造缺陷而导致的未建模几何形状。
2017-10-31 cs.RO
Sparse-Dense Motion Modelling and Tracking for Manipulation without Prior Object Models
University of Edinburgh（爱丁堡大学）
这项工作提出了一种建模和跟踪以前看不见的物体的机器人抓取任务的方法。利用场景中物体的运动，我们的方法从场景中分割出刚性实体，并不断跟踪它们，以创建物体和环境的密集和稀疏模型。虽然密集跟踪能够与这些模型进行交互，但稀疏跟踪使其对快速移动具有鲁棒性，并允许重新检测已经建模的对象。对双臂抓取任务的评估表明，我们的方法1）使机器人能够在线检测新的物体，而无需先验模型，并仅使用简单的可参数化几何表示来抓取这些物体，2）与现有技术方法相比更加鲁棒。
2022-04-25 cs.RO
SPONGE: Sequence Planning with Deformable-ON-Rigid Contact Prediction from Geometric Features
Aalto University（阿尔托大学）；Technische Universität München（慕尼黑工业大学）
规划机器人操作任务，特别是那些涉及可变形和刚性物体之间的相互作用，是具有挑战性的，由于在预测这种相互作用的复杂性。我们介绍了SPONGE，这是一个由基于深度学习的接触预测模型驱动的序列规划管道，用于交互作用下可变形体和刚体之间的接触。接触预测模型在由开发的仿真环境生成的合成数据上训练，以学习从刚性目标对象的点云观察和可变形工具的姿势到两个主体之间的接触点的3D表示的映射。我们实验评估所提出的方法，无论是在模拟和一个真正的\panda与现实世界的对象的洗碗任务。实验结果表明，在这两种情况下，所提出的规划管道是能够生成高质量的轨迹，可以完成的任务，实现超过90%的面积覆盖不同的大小和曲率的对象，同时最大限度地减少旅行距离。代码和视频可在：\url{https://irobotics.aalto.fi/sponge/}。
2023-03-24 cs.RO
Force/Torque-Based Kinematic Adaptation for Robotic Manipulation Tasks
U.S. Naval Research Laboratory（美国海军研究实验室）
本文提出一种仅用关节角与腕部力/力矩传感器的在线自适应方案，推导了稳定的运动学更新律，通过仿真验证其在孔轴插入任务中的有效性，为操作学习分解为任务策略与自适应运动学组件奠定基础。
2026-08-25 cs.RO
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy（京东探索研究院）；Beijing Institute of Technology（北京理工大学）
针对双臂移动机器人家务操作数据匮乏问题，提出BRMData数据集，涵盖10项多样化家务任务并引入操作效率评分MES指标，以推动双臂移动操作技术发展。
2024-06-06 cs.RO
The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning
UC Berkeley（加州大学伯克利分校）；KAIST（韩国科学技术院）
本文提出 M3L 掩码多模态学习框架，在强化学习中联合训练视觉-触觉表征与策略，提升样本效率和跨任务泛化，并在三类机器人操控仿真中验证其优势。
2023-11-02 cs.AI cs.RO
Dynamic Planning for Sequential Whole-body Mobile Manipulation
针对现有移动操作动态规划方法的局限性，研究提出融合在线任务规划、VKC全身运动规划与反应式MPC的一体化框架，经仿真与真实实验验证可在含人为干扰的动态场景下高效完成序列移动操作任务。
2024-06-21 cs.RO
Challenges and Outlook in Robotic Manipulation of Deformable Objects
Cognitive Robotics, TU Delft（代尔夫特理工大学认知机器人）；Honda Research Institute, Europe（本田研究院欧洲）；LIRMM - Université de Montpellier CNRS（蒙彼利埃大学 CNRS LIRMM）；COSMER laboratory EA 7398, Universié de Toulon（土伦大学 COSMER 实验室 EA 7398）；The Hong Kong Polytechnic University（香港理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Michigan（密歇根大学）；Università degli Studi di Napoli Federico II（那不勒斯费德里科二世大学）；Osaka University（大阪大学）；National Institute of AIST（产业技术综合研究所）；Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
可变形物体操作（DOM）是机器人领域的一个新兴研究课题。操纵可变形物体的能力赋予机器人更高的自主性，并有望在工业，服务和医疗保健领域获得新的应用。然而，与刚性物体的操纵相比，可变形物体的操纵要复杂得多，仍然是一个开放的研究问题。解决DOM挑战需要在机器人技术的几乎所有方面取得突破，即硬件设计、传感、（变形）建模、规划和控制。在这篇文章中，我们回顾了最近的进展，并强调了在每个子领域考虑变形时的主要挑战。我们的论文的一个特别重点在于讨论这些挑战，并提出未来的研究方向。
2021-12-14 cs.RO
Learning Purely Tactile In-Hand Manipulation with a Torque-Controlled Hand
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（德国航空航天中心（DLR）机器人与机电一体化研究所）；Deggendorf Institute of Technology（代根多夫应用技术大学）
我们表明，一个纯粹的触觉的手操纵任务与连续重握，需要永久力关闭，可以从头开始学习和执行强大的扭矩控制的人形机器人手。该任务是旋转立方体而不使其掉落，但与OpenAI开创性的立方体操作任务相比，手掌朝下，没有摄像头，只使用手的位置和扭矩传感。虽然这项任务看起来很简单，但它首次结合了执行和学习中的所有挑战，这些挑战对于在现实世界的应用中使用手操作非常重要。我们在精确建模和识别的刚体模拟中进行了有效的训练，并使用了非策略深度强化学习，通过领域适应课程显着加快了速度，从而实现了600 CPU小时的训练时间。由此产生的策略被鲁棒地转移到真实的人形DLR Hand-II，例如，在单次运行中达到立方体的超过46个完整的2 $π$旋转，并允许干扰，如不同的立方体尺寸、手的方向或拉动手指。
2022-04-12 cs.RO
FlatLab: A Unified Methodology Framework and Simulation-Based Benchmark for Robotic Manipulation of Flat Objects
Jilin University（吉林大学）；Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；University of Birmingham（伯明翰大学）
该研究针对扁平物体机器人操作泛化能力有限的问题，提出含策略生成器与执行模块的统一框架，并构建FlatLab仿真基准，方法泛化效果优于现有基线。
2026-08-17 cs.RO
ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots
School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）；National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
提出将机器人操作任务形式化为接触合成的基础模型，通过输入物体和机器人的点云及物理属性等，输出接触点和接触力，在多维度物体的仿真和真实实验中达到约90%成功率。
2024-09-25 cs.AI cs.RO
Learning Robot Manipulation from Cross-Morphology Demonstration
Robotic Embedded Systems Laboratory（机器人嵌入式系统实验室）；University of Southern California（南加州大学）
本文提出模仿学习中的形态适应框架MAIL，利用形态显著不同的智能体的次优演示训练机器人视觉控制策略，在刚体与布料操作任务中相比基线提升最高24%，并成功部署到真实Franka Panda机器人。
2023-10-30 cs.LG cs.RO
OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
提出OASIS视觉运动策略，通过SE(3)末端执行器轨迹预测对齐中间表示与动作空间，在仿真和真实实验中优于VLA和WAM基线。
2026-11-10 cs.AI cs.RO
A Tendon-Driven Five-Fingered Hand with Distributed Tactile Perception for Dexterous Manipulation
该研究针对人形机器人复杂操作需求，设计了带分布式触觉感知的刚柔混合肌腱驱动五指机械手，通过双模态触觉传感实现接触与力检测，实验验证了其集成驱动-感知系统的可行性。
2026-08-27 cs.AI cs.RO
Controlled Gaussian Process Dynamical Models with Application to Robotic Cloth Manipulation
Università degli Studi di Padova（帕多瓦大学）
本文提出受控高斯过程动力学模型（CGPDM），通过低维流形嵌入学习高维非线性动力学，并在模拟和真实场景中验证了其对布料运动的泛化预测能力。
2023-05-09 cs.LG cs.RO
Consensus Complementarity Control for Multi-Contact MPC
University of Pennsylvania（宾夕法尼亚大学）；University of Toronto（多伦多大学）
提出基于ADMM的C3混合模型预测控制算法，通过共识公式化实现接触调度问题并行化，支持高速推理，并在数值与物理实验中验证了其有效性。
2024-07-26 cs.RO
Task-Driven Hybrid Model Reduction for Dexterous Manipulation
School for Engineering of Matter, Transport, and Energy at Arizona State University（亚利桑那州立大学材料、运输与能源工程学院）；General Robotics, Automation, Sensing and Perception (GRASP) Laboratory, University of Pennsylvania（宾夕法尼亚大学通用机器人、自动化、感知与行动实验室）
本文提出任务驱动的混合模型降阶方法，从大量接触模式中提取少量任务相关模式，并结合模型预测控制，实现实时高性能的灵巧操作。
2024-02-28 cs.RO cs.SY eess.SY
Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Amazon AGI（亚马逊AGI）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
提出一种两阶段训练框架，通过逆动力学预训练和多任务微调，使机器人理解多模态提示并执行操作，在VIMA-BENCH上取得10%成功率提升，并展现上下文学习能力。
2024-05-28 cs.AI cs.RO
PYROBOCOP : Python-based Robotic Control & Optimization Package for Manipulation and Collision Avoidance
PYROBOCOP是一个轻量级的基于Python的软件包，用于控制和优化由非线性微分代数方程（DAE）描述的机器人系统。特别是，该包可以处理具有由互补约束描述的接触的系统，并提供用于指定避障约束的通用框架。该软件包通过对有限元进行正交配置，将DAE直接转换为一组非线性方程。由此产生的优化问题属于一类互补约束数学规划（MPCC）。MPCC不能满足通常假设的约束条件，并需要特殊处理的互补约束，以便非线性规划（NLP）求解器有效地解决它们。PYROBOCOP提供了互补约束的自动重构，使NLP求解器能够执行机器人系统的优化。该软件包与ADOLC接口，用于通过自动微分获得稀疏导数，与IPOPT接口，用于执行优化。我们证明了我们的方法在速度和灵活性方面的有效性。我们提供了几个数值例子，几个机器人系统的碰撞避免以及接触约束表示使用互补性约束。我们提供了与其他开源优化包（如CasADi和Pyomo）的比较。
2021-06-06 cs.AI cs.RO
SoftMAC: Differentiable Soft Body Simulation with Forecast-based Contact Model and Two-way Coupling with Articulated Rigid Bodies and Clothes
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
SoftMAC是一个可微仿真框架，通过基于预测的MPM接触模型和穿透追踪算法，实现软体、铰接刚体与衣物的双向耦合，有效支持更广泛的机器人操作交互。
2025-04-05 cs.AI cs.GR cs.RO
Trajectory Optimization for Manipulation of Deformable Objects: Assembly of Belt Drive Units
University of California, Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
提出了一种新的轨迹优化方法来解决带传动单元的机器人装配问题。涉及接触和可变形物体的机器人操作在动力学建模和轨迹规划方面都具有挑战性。对于建模，皮带张力和皮带与皮带轮之间的接触力的变化可能会显著改变系统动力学。对于轨迹规划，这是计算昂贵的规划轨迹的混合动力系统，因为它通常需要规划离散模式分开。在这项工作中，我们制定了带驱动单元装配任务作为一个轨迹优化问题的互补约束，以避免明确施加接触模式序列。该问题被解决作为一个数学规划与互补约束（MPCC），以获得可行的和有效的装配轨迹。我们验证所提出的方法在模拟与物理引擎和在现实世界中的实验与机器人机械手。
2021-06-21 cs.RO
Vision-based Manipulation of Deformable and Rigid Objects Using Subspace Projections of 2D Contours
LIRMM - Université de Montpellier CNRS（法国国家科学研究中心蒙彼利埃大学信息、机器人、微电子学实验室）；Delft University of Technology（代尔夫特理工大学）；Honda Research Institute, Europe（本田欧洲研究所）；The Hong Kong Polytechnic University（香港理工大学）
本文提出了一个统一的基于视觉的操作框架，利用图像轮廓的可变形/刚性对象。机器人不使用人类定义的线索，而是自动从处理过的视觉数据中学习特征。我们的方法同时生成-从相同的数据-这两个，视觉功能和相互作用矩阵，将它们与机器人控制输入。特征向量和控制命令的提取是在线和自适应地完成的，用于初始化的数据很少。该方法允许机器人在不知道物体是刚性的还是可变形的情况下操纵物体。为了验证我们的方法，我们进行数值模拟和实验与可变形和刚性物体。
2021-05-04 cs.RO
Learning to Rearrange Deformable Cables, Fabrics, and Bags with Goal-Conditioned Transporter Networks
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本研究提出将目标条件嵌入Transporter网络，用于可变形物体（电缆、织物、袋子）的重新排列操作，通过模拟和物理实验验证了其有效性，无需测试时视觉锚点。
2023-06-18 cs.LG cs.RO
Sim-and-Human Co-training for Data-Efficient and Scene-Generalizable Bimanual Manipulation
University of Electronic Science and Technology of China（电子科学与技术大学）；Southwest Jiaotong University（西南交通大学）；Tongji University（同济大学）；Shanghai Innovation Institute（上海创新研究院）
SimHum通过结合仿真数据和人类数据，实现了数据高效且可泛化的机器人操作，实验表明其在现实任务中表现优于基线方法。
2026-09-18 cs.AI cs.RO
Mana: Dexterous Manipulation of Articulated Tools
UC Berkeley（加州大学伯克利分校）；CMU（卡内基梅隆大学）；Stanford University（斯坦福大学）；Amazon FAR（亚马逊FAR）
提出Mana框架，将灵巧操作重解释为动画问题，通过粗到细的流水线自动生成操作轨迹，实现铰接工具的零样本仿真到现实迁移。
2026-06-12 cs.AI cs.CV cs.LG
