Preference Aligned Visuomotor Diffusion Policies for Deformable Object Manipulation
KTH Royal Institute of Technology（皇家理工学院）；INCAR Robotics AB（INCAR机器人有限公司）
本文提出RKO方法，通过偏好对齐提升机器人对可变形物体操作的个性化性能。
2026-02-10 cs.RO
EMPM: Embodied MPM for Modeling and Simulation of Deformable Objects
Robotics and AI Institute（机器人与人工智能研究院）；UCLA（加州大学洛杉矶分校）
EMPM通过基于可微MPM的框架，结合多视角视频重建与在线参数优化，实现对复杂变形物体的高效仿真与操控。
2026-01-24 cs.RO
DexDLO: Learning Goal-Conditioned Dexterous Policy for Dynamic Manipulation of Deformable Linear Objects
University of Edinburgh（爱丁堡大学）；University of York（约克大学）
DexDLO提出一种无模型端到端框架，利用固定底座灵巧手学习可变形线性物体的目标条件动态操作策略，在Mujoco中统一参数高效完成五种操作任务，并深入分析策略与奖励设计。
2023-12-23 cs.LG cs.RO
Graph-Transporter: A Graph-based Learning Method for Goal-Conditioned Deformable Object Rearranging Task
Tencent Robotics X Lab（腾讯机器人X实验室）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
由于变形物体位形空间的高维性和变形物体动力学的复杂性，变形物体的重排一直是机器人操作中的一个难题。我们提出了一个新的框架，图形运输，目标条件的可变形对象重排任务。为了解决复杂的配置空间和动力学的挑战，我们表示的可变形对象的配置空间与图形结构和图形特征编码的图形卷积网络。我们的框架采用了基于全卷积网络（FCN）的体系结构，仅从视觉输入输出像素级拾取和放置动作。大量的实验已经进行了验证的有效性的图形表示的可变形物体的配置。实验结果也表明，我们的框架是有效的和通用的处理目标条件下的变形对象重排任务。
2023-02-21 cs.AI cs.CV cs.RO
Inferring Occluded Geometry Improves Performance when Retrieving an Object from Dense Clutter
University of Michigan（密歇根大学）
对象搜索-在杂乱场景中找到目标对象的问题-对于解决仓库和家庭环境中的许多机器人应用至关重要。然而，杂乱的环境需要对象经常彼此遮挡，使得难以分割对象并推断其形状和属性。而不是依赖于CAD或其他显式模型的场景对象的可用性，我们增加了一个操纵规划器的杂乱的环境与国家的最先进的深神经网络的形状完成以及体积记忆系统，允许机器人的原因可能包含在闭塞的地区。我们测试的系统在各种桌面操作场景组成的家庭用品，突出其适用性现实领域。我们的研究结果表明，将这两个组件到一个操纵规划框架显着减少了在密集的混乱中找到一个隐藏的对象所需的行动的数量。
2019-09-04 cs.CV cs.RO
Fast Point Cloud to Mesh Reconstruction for Deformable Object Tracking
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）
本文提出一种基于点云自编码器和Real-NVP架构的快速点云到网格重建方法，通过输入模板网格与变形点云进行匹配，实现58Hz的实时可变形物体跟踪与闭环机器人控制。
2024-03-26 cs.CV cs.RO
RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Michigan（密歇根大学）
本文提出在陶轮上持续塑形黏土的机器人任务与 RoPotter 流程，利用横截面投影、结构先验和网格状态恢复实现长时域制陶，最终形状误差较 SOTA 基线降低 44.4%。
2024-08-05 cs.RO
DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation
University of British Columbia（不列颠哥伦比亚大学）；National University of Singapore（新加坡国立大学）；University of Cambridge（剑桥大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
DiagGen通过生成-仿真-诊断-细化循环，利用视觉语言模型智能体在物理仿真器中探测并修复可变形资产，提升仿真就绪性，可直接用于接触丰富的拾取放置任务规划。
2026-09-22 cs.AI cs.RO
MotionDLO: Hybrid Event- and Frame-Based Tracking of Deformable Linear Objects
Institute for Factory Automation and Production Systems, Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学工厂自动化与生产系统研究所）
MotionDLO是基于事件与帧的混合可变形线性物体跟踪框架，结合CPD算法，以12ms更新速率实现实时、高精度DLO跟踪，适用于机器人操作，源代码与数据集公开。
2026-08-25 cs.CV cs.RO
Part Segmentation for Highly Accurate Deformable Tracking in Occlusions via Fully Convolutional Neural Networks
University of Washington（华盛顿大学）；NVIDIA Research（英伟达研究院）
成功地跟踪人体是必须在人周围工作的机器人的重要感知挑战。现有的方法分为两大类：几何跟踪和使用机器学习的直接姿态估计。虽然最近的工作表明直接估计技术可以非常强大，但使用点云的几何跟踪方法可以提供非常高的3D精度，这对于许多机器人应用来说是必要的。然而，当对象的大部分被遮挡时，这些方法可能难以杂乱。为了克服这一限制，我们提出了一种基于全卷积神经网络（FCN）的解决方案。我们为我们的应用开发了一个优化的Fast-FCN网络架构，它允许我们过滤观察到的点云，提高跟踪精度，同时保持交互式帧速率。我们还表明，这个模型可以训练有限数量的例子，几乎没有手动标签，使用现有的几何跟踪器和数据增强自动生成分割图。我们证明了我们的完整系统的准确性，通过比较它对现有的几何跟踪器，并显示在这些具有挑战性的情况下显着改善。
2019-08-05 cs.CV cs.RO
Performance Analysis of a Mass-Spring-Damper Deformable Linear Object Model in Robotic Simulation Frameworks
Alma Mater Studiorum - Università di Bologna（博洛尼亚大学）
本研究针对电缆等可变形线性物体（DLOs）的仿真难题，采用质量-弹簧-阻尼器（MSD）模型，通过域随机化（DR）在Isaac Sim和Gazebo中收集力数据训练机器人，并评估了参数变化对DLO动态特性的影响。
2025-04-18 cs.RO
Volumetric Data Fusion of External Depth and Onboard Proximity Data For Occluded Space Reduction
University of Colorado Boulder（科罗拉多大学博尔德分校）
在这项工作中，我们提出了一种方法的概率融合外部深度和板载接近数据，形成一个体积的3-D地图的机器人的环境。我们扩展了Octomap框架来更新机器人周围区域的表示，这取决于每个传感器的最佳操作范围。从外部视图中被遮挡的区域通过机载传感器进行感测，以构建机器人附近空间的更全面的地图。我们的模拟结果表明，一个更准确的地图与较少的闭塞，可以通过融合外部深度和板载接近数据。
2021-10-21 cs.RO
Contact-aware Shaping and Maintenance of Deformable Linear Objects With Fixtures
Technical University of Munich（慕尼黑工业大学）；BMW AG（宝马集团）
针对可变形线性物体操控的规划控制难题，提出结合形状规划与物体中心技能引擎的接触感知框架，通过视觉力信息在线估计状态，在真实实验中实现线缆布线与灵活夹具固定。
2023-07-19 cs.RO
Realtime Robust Shape Estimation of Deformable Linear Object
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
本文提出一种基于散乱无序关键点和概率标注算法的实时形状估计方法，通过分段样条插值重建可变形线性物体形状，并在仿真与重载线缆实验中验证其在遮挡和缠绕场景下的鲁棒性。
2024-03-24 cs.CV cs.RO
PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos
Columbia University（哥伦比亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出PhysTwin框架，通过融合弹簧-质点模型、生成式形状模型与高斯溅射技术，结合多阶段逆建模方法，从稀疏视频重建可变形物体的高保真物理数字孪生，在多项任务上优于现有方法，可应用于交互仿真与机器人运动规划。
2025-03-23 cs.AI cs.CV cs.RO
OPG-Policy: Occluded Push-Grasp Policy Learning with Amodal Segmentation
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）
提出OPG-Policy框架，利用非模态分割预测目标被遮挡部分，通过深度Q学习结合领域知识协调推抓动作，在密集杂乱场景中有效提升了检索遮挡目标的成功率与动作效率。
2025-03-06 cs.RO
A Coarse-to-Fine Framework for Dual-Arm Manipulation of Deformable Linear Objects with Whole-Body Obstacle Avoidance
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
在有障碍物的受限环境中操纵可变形线性物体（DLO）以获得所需形状是一项有意义但具有挑战性的任务。全局规划是必要的，这样一个高度约束的任务，但是，规划者所需的DLO的精确模型是很难获得的，由于其可变形的性质，和不可避免的建模误差显着影响规划结果，可能会导致任务失败，如果机器人简单地执行规划的路径在开环的方式。在本文中，我们提出了一个由粗到精的框架，结合全局规划和本地控制的双臂操作的DLO，能够精确地实现所需的配置，并避免潜在的碰撞之间的DLO，机器人和障碍物。具体而言，全局规划器参考简单而有效的DLO能量模型，并计算粗略路径以有效地找到可行的解决方案;然后局部控制器遵循该路径作为指导，并使用闭环反馈对其进行进一步整形，以补偿规划误差并提高任务精度。仿真和真实世界的实验表明，我们的框架可以鲁棒地实现所需的DLO配置在约束环境中的不精确的DLO模型，这可能是不可靠的实现，只有规划或控制。
2023-02-17 cs.RO
JIGGLE: An Active Sensing Framework for Boundary Parameters Estimation in Deformable Surgical Environments
University of California San Diego（加州大学圣迭戈分校）
针对可变形手术环境中组织边界参数难感知的问题，提出结合可微分软体模拟器与EKF的概率估计、及优化主动控制的JIGGLE框架，经动物组织实验验证鲁棒性，可处理复杂拓扑变化。
2024-05-16 cs.RO
Learning-based Feedback Controller for Deformable Object Manipulation
The University of North Carolina（北卡罗来纳大学）；City University of Hong Kong（香港城市大学）
在本文中，我们提出了一个通用的基于学习的框架，自动视觉伺服控制的位置和形状的变形对象与未知的变形参数。伺服控制是通过学习一个反馈控制器来完成的，该反馈控制器根据可变形物体的当前状态来确定机器人末端执行器的运动。该状态通过使用一组观察到的视觉特征对对象的变形行为进行编码，这些视觉特征可以手动设计或从机器人的传感器流中自动提取。然后优化反馈控制策略以有效地将对象推向期望的特征状态。反馈策略可以在线或离线学习。我们的在线策略学习是基于高斯过程回归（GPR），它可以实现快速，准确的操作，是强大的小扰动。离线模仿学习框架也提出了实现控制策略，是强大的大扰动在人与机器人的互动。我们验证了我们的控制器上的一组可变形对象的操作任务的性能，并表明我们的方法可以实现有效和准确的伺服控制一般可变形对象与各种各样的目标设置。
2018-07-01 cs.RO
UNCLE-Grasp: A Task-Adapted Framework for Uncertainty-Aware Grasping of Leaf-Occluded Strawberries
Department of Robotics, Mohamed bin Zayed University of Artificial Intelligence（机器人系，Mohamed bin Zayed人工智能大学）
UNCLE-Grasp通过建模遮挡和形状补全的几何不确定性，提出了一种在部分遮挡下可靠抓取草莓的方法，通过多假设评估和保守置信界标准提升抓取可靠性。
2026-08-25 cs.RO
Vision-based Manipulation of Deformable and Rigid Objects Using Subspace Projections of 2D Contours
LIRMM - Université de Montpellier CNRS（法国国家科学研究中心蒙彼利埃大学信息、机器人、微电子学实验室）；Delft University of Technology（代尔夫特理工大学）；Honda Research Institute, Europe（本田欧洲研究所）；The Hong Kong Polytechnic University（香港理工大学）
本文提出了一个统一的基于视觉的操作框架，利用图像轮廓的可变形/刚性对象。机器人不使用人类定义的线索，而是自动从处理过的视觉数据中学习特征。我们的方法同时生成-从相同的数据-这两个，视觉功能和相互作用矩阵，将它们与机器人控制输入。特征向量和控制命令的提取是在线和自适应地完成的，用于初始化的数据很少。该方法允许机器人在不知道物体是刚性的还是可变形的情况下操纵物体。为了验证我们的方法，我们进行数值模拟和实验与可变形和刚性物体。
2021-05-04 cs.RO
Manipulating Deformable Objects by Interleaving Prediction, Planning, and Control
University of Michigan（密歇根大学）
我们提出了一个框架，可变形对象的操作，交错规划和控制，使复杂的操作任务，而不依赖于高保真建模或仿真。我们要解决的关键问题是什么时候应该使用计划，什么时候应该使用控制来完成任务？Plantoms的设计是为了通过复杂的配置空间找到路径，但对于高度欠驱动的系统，如可变形物体，实现一个特定的配置是非常困难的，即使与高保真模型。相反，控制器可以被设计为实现特定的配置，但它们可能会被困在不期望的局部极小值，由于障碍。我们的方法由三个部分组成：（1）一个全局运动规划器生成的变形对象的总运动;（2）一个局部控制器的变形对象的配置的细化;和（3）一个新的死锁预测算法，以确定何时使用规划与控制。通过将规划与控制分离，我们能够使用可变形对象的不同表示，降低整体复杂性并实现运动的有效计算。我们提供了一个详细的证明，我们的计划，这是有效的，尽管事实上，我们的系统是欠驱动，我们没有一个转向功能的概率完备性。然后，我们证明，我们的框架是能够成功地执行几个操作任务，绳子和布在模拟中，不能单独使用我们的控制器或规划器。这些实验表明，我们的规划器可以有效地生成路径，在四分之三的场景中平均花费不到一秒的时间找到可行的路径。我们还表明，我们的框架是有效的16自由度的物理机器人，可达性和双臂的限制，使规划更加困难。
2020-01-27 cs.RO
A Shape Detection Framework for Deformation Objects Using Clustering Algorithms
University of Toronto（多伦多大学）
针对可变形物体形状检测存在的无统一多形状框架、计算量大、难处理3D点云等问题，提出基于聚类算法、仅需2D像素数据且支持2D-3D点一一映射的高实时性检测框架，提升了检测自主能力。
2023-12-18 cs.RO
DeRi-Bot: Learning to Collaboratively Manipulate Rigid Objects via Deformable Objects
Purdue University（普渡大学）
针对刚性与一维可变形物体异构操作的未探索问题，提出首个协同操作框架DeRi-Bot，通过APN和CPN建模软-刚体系统，实现分布式适配多智能体，在仿真与真实环境中泛化性良好。
2023-08-17 cs.RO
Refine Where It Matters: Contact-Adaptive Meshing for Deformable Object Manipulation
The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
该研究提出接触自适应网格划分框架，通过GPU并行的局部网格优化提升可变形物体操作的模拟保真度与效率，为接触丰富的模拟应用提供实用基础。
2026-10-14 cs.RO
Interactive Perception for Deformable Object Manipulation
KTH（瑞典皇家理工学院）；The Hong Kong Polytechnic University（香港理工大学）
针对可变形物体操作中的视觉遮挡与操控难题，提出基于序贯决策、耦合主动相机与操控器的交互式感知框架，并通过 DAVS 子空间利用运动规律，仿真与真实双臂实验验证了其有效性。
2024-06-11 cs.RO
Bimanual Deformable Bag Manipulation Using a Structure-of-Interest Based Neural Dynamics Model
The University of Hong Kong（香港大学）；The Hong Kong Polytechnic University（香港理工大学）；The University of Liverpool（利物浦大学）
本文提出基于图神经网络潜在动力学模型与模型预测控制的双臂操作框架，通过识别织物袋中的兴趣结构实现精确稳定的可变形物体操作。
2024-10-21 cs.RO
Seeing Unseeability to See the Unseeable
Purdue University（普渡大学）
我们提出了一个框架，允许观察者确定被遮挡的部分的结构，通过找到最大似然估计的那些被遮挡的部分与可见的图像证据和一致性模型一致。这样做需要首先确定结构的哪些部分被遮挡。由于每一个过程都依赖于另一个过程，因此我们确定了两个问题的解决方案。我们扩展了我们的框架，以确定一个人的评估的置信度，所观察到的结构的哪些部分被遮挡，并估计该遮挡结构，通过确定一个人的评估的敏感性，以潜在的新的观察。我们进一步扩展我们的框架，以确定一个机器人的行动，其执行将允许一个新的观察，将最大限度地增加一个人的信心。
2012-04-12 cs.AI cs.CV cs.RO
Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Salerno（萨莱诺大学）；University of Cassino and Southern Lazio（卡西诺大学和南拉齐奥大学）
我们提出了一个框架，复杂的操作任务的视觉动作规划与高维状态空间，如可变形物体的操作。在嵌入图像的低维潜在状态空间中执行规划。我们定义并实现了一个潜在的空间路线图（LSR），这是一个基于图形的结构，全局捕捉潜在的系统动态。我们的框架由两个主要组件组成：一个视觉感知模块（VFM），它生成一个视觉计划作为一个图像序列，和一个行动建议网络（APN），预测它们之间的行动。我们展示了该方法的有效性，在一个模拟的箱子堆叠任务，以及与一个真正的机器人进行的T恤折叠任务。
2020-03-19 cs.LG cs.RO
Deformable Cluster Manipulation via Whole-Arm Policy Learning
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Data61, CSIRO（CSIRO数据61研究所）；Orica（奥里卡公司）；NVIDIA Corporation（NVIDIA公司）
本文提出了一种基于全身政策学习的方法，通过整合3D点云和本体感觉触觉信息，实现对可变形簇的高效操纵，并在输电线路清除任务中展示了零样本迁移能力。
2025-12-22 cs.LG cs.RO
TrackDeform3D: Markerless and Autonomous 3D Keypoint Tracking and Dataset Collection for Deformable Objects
Department of Robotics at the University of Michigan（密歇根大学机器人系）
本文提出了一种低成本自主框架，利用RGB-D相机采集变形物体的3D数据集，通过3D关键点跟踪和运动一致性约束提升几何和跟踪精度，构建了包含6种变形物体的高质量大规模数据集。
2026-10-22 cs.CV cs.RO
Deformable One-Dimensional Object Detection for Routing and Manipulation
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Google（谷歌）
存在许多方法来建模和跟踪可变形的一维对象（例如，电缆、绳索和线）穿过视频帧流。然而，这些方法依赖于一些初始条件的存在。据我们所知，在非平凡的情况下，可以提取这些初始条件的检测方法的主题几乎没有得到解决。检测方法的缺乏限制了跟踪方法在现实世界应用中的使用，并且是使用这些对象的完全自主应用的瓶颈。本文提出了一种检测可变形的一维物体的方法，可以处理交叉和遮挡。它可用于路由和操作等任务，并自动提供跟踪方法所需的初始化。我们的算法需要一个图像包含一个可变形的对象，并输出一个链的固定长度的圆柱段连接被动球形关节。该链遵循可变形对象的自然行为，并填充原始图像中的间隙和遮挡。实验结果表明，该方法能正确检测各种复杂条件下的一维形变目标。
2022-01-18 cs.CV cs.RO
Learning Foresightful Dense Visual Affordance for Deformable Object Manipulation
针对可变形物体操作的复杂状态、高维动作及易陷局部最优等问题，提出前瞻性密集视觉可供性及含多阶段稳定学习、无专家自监督数据采集的学习框架，实现多样状态泛化，性能优于现有方法。
2023-07-21 cs.CV cs.RO
Video-to-Model: Automatic Modeling of Deformable Linear Objects
University of Maryland（马里兰大学）
提出视频到模型框架，利用CBF--CLF--QP模型和时空CNN，从视频自动估计参数并模拟缝合线运动，减少手动调参，实验验证低跟踪误差。
2026-10-08 cs.RO cs.SY eess.SY
Data-Driven Contact-Aware Control Method for Real-Time Deformable Tool Manipulation: A Case Study in the Environmental Swabbing
University of Arkansas（亚拉巴马大学）
本文提出了一种基于Koopman算子的SA-KLQR控制框架，用于实时变形工具操作，通过触觉反馈系统动态估计和调节清洁工具的角度、接触压力和表面覆盖，提升食品卫生标准下的稳定性与精度。
2025-03-27 cs.RO cs.SY eess.SY
SCOPE: Smooth Convex Optimization for Planned Evolution of Deformable Linear Objects
Phystech School of Applied Mathematics and Computer Science（菲斯特克应用数学与计算机科学学院）；MIPT Russia Research Center for Artificial Intelligence（俄罗斯莫斯科国立交通大学人工智能研究中心）；Innopolis University（英诺普里斯大学）；Laboratory of Quantum Computing（量子计算实验室）；Center for Technologies in Robotics and Mechatronics Components（机器人与机电组件技术中心）
SCOPE通过凸优化方法高效建模和操控可变形线性对象，实现快速且物理合理的变形，适用于实时响应场景。
2026-01-27 cs.RO cs.SY eess.SY
Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging
Tencent Robotics X Lab（腾讯机器人X实验室）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
物体重排是最常见的可变形操作任务之一，机器人需要将可变形物体重排为目标构型。以往的研究主要集中在为每个特定任务设计一个专家系统，采用基于模型或数据驱动的方法，应用场景有限。一些研究一直试图设计一个通用的框架，以获得更先进的操作能力的变形重排任务，取得了大量的进展，在仿真。然而，由于端到端CNN架构的限制，从模拟到现实的转换是困难的。为了解决这些挑战，我们设计了一个基于局部GNN（图神经网络）的学习方法，该方法利用两个表示图来编码从图像中检测到的关键点。自注意力用于图的更新，交叉注意力用于生成操作动作。已经进行了大量的实验，以证明我们的框架是有效的，在多个1-D（绳，绳环）和2-D（布）重新安排任务的模拟，可以很容易地转移到一个真正的机器人微调的关键点检测器。
2023-02-21 cs.AI cs.LG cs.RO
EgoPhys: Learning Generalizable Physics Models of Deformable Objects from Egocentric Video
UC San Diego（加州大学圣地亚哥分校）
提出EgoPhys框架，从第一人称RGB视频中通过可泛化先验构建可变形物体的物理数字孪生，无需测试时优化即可预测弹簧刚度场，在重建、未来预测和零样本泛化上优于基线。
2026-06-16 cs.AI cs.CV cs.RO
Learning Predictive Representations for Deformable Objects Using Contrastive Estimation
University of California, Berkeley（加州大学伯克利分校）；New York University（纽约大学）
使用基于视觉模型的学习变形对象操作是具有挑战性的，由于学习规划的视觉表示以及复杂的动态模型的困难。在这项工作中，我们提出了一个新的学习框架，共同优化的视觉表示模型和动态模型，使用对比估计。使用随机扰动桌子上的可变形对象收集的模拟数据，我们学习这些对象的潜在动力学模型在离线的方式。然后，使用学习到的模型，我们使用简单的基于模型的规划来解决具有挑战性的可变形对象操作任务，例如伸展绳索和布料。在实验中，我们在我们的绳子和布料操作套件中显示出比标准的基于模型的学习技术性能的实质性改进。最后，我们通过域随机化将我们在模拟中收集的数据上训练的视觉操作策略转移到真实的PR2机器人上。
2020-03-11 cs.CV cs.LG cs.RO
