Non-Prehensile Manipulation in Clutter with Human-In-The-Loop
University of Leeds（利兹大学）
我们提出了一个人类操作员指导的规划方法，以推动为基础的操纵在混乱中。最新的方法来操纵杂波采用随机规划。然而，该问题仍然是一个具有挑战性的问题，其中规划时间仍然在几十秒或几分钟的量级，并且对于问题的困难实例，成功率很低。我们建立在这些控制为基础的随机规划方法，但我们研究使用它们与人类操作员的输入。在我们的框架中，人类操作员提供了一个高层次的计划，以有序的对象序列及其近似目标位置的形式。我们目前的实验模拟和一个真正的机器人设置，在那里我们比较成功率和规划时间，我们的人在环的方法与完全自主的采样为基础的规划。我们表明，以最少的人力投入，低层次的计划可以更快地解决问题，并具有更高的成功率。
2020-04-03 cs.RO
Stable Prehensile Pushing: In-Hand Manipulation with Alternating Sticking Contacts
Massachusetts Institute of Technology（麻省理工学院）；Department of Mechanical Engineering（机械工程系（不提取，因为系属于细拆））
本文提出了一种方法，在手操纵规划，利用交替粘附接触的力学。特别是，我们考虑的问题，操纵一个掌握的对象使用外部推动的推杆坚持的对象。鉴于物体的物理特性，在接触和所需的重握在对象上的摩擦系数，我们提出了一个基于采样的规划框架，建立一个推动策略连接不同的可行的稳定推动，以实现所需的重握。一个有效的动力学制定，使我们能够计划在手操作100-1000倍，比我们以前的工作，建立在互补性制定。对生成的计划的实验观察表明，对象精确地按照计划者的预期在把握中移动。视频摘要--youtu.be/qOTKRJMx6Ho
2018-03-04 cs.RO
Grasp-Oriented Non-Prehensile Manipulation via Learning a Graspability Field
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
提出通过学习物体配置的抓取能力场，将非抓取操作优化为最大化抓取成功概率，而非达到预设位姿，实现闭环操作到抓取的单一策略。
2026-06-29 cs.RO
Collaborative Multi-Robot Non-Prehensile Manipulation via Flow-Matching Co-Generation
Carnegie Mellon University（卡内基梅隆大学）；Amazon Robotics（亚马逊机器人）
本文提出一种统一框架，通过流匹配共生成与匿名多机器人运动规划，实现协作多机器人非抓取操作，提升复杂多物体环境下的操作效率。
2026-02-17 cs.MA cs.RO
Contact-Aware Non-prehensile Robotic Manipulation for Object Retrieval in Cluttered Environments
Tsinghua University（清华大学）
非弹性操纵方法通常使用简单的末端执行器，一根单独的杆来操纵物体。与抓取方法相比，这样的末端执行器是紧凑和灵活的，因此它可以在受约束的工作空间中执行任务;作为权衡，它具有相对较少的自由度（DoF），导致在规划和控制的复杂约束下的致动不足问题。本文提出了一种新的非易失性操作方法，在混乱的环境中的目标检索任务，使用棒状推杆。具体来说，首先在一个混乱的环境中产生的候选轨迹与改进的快速探索随机树（RRT）规划器，然后，模型预测控制（MPC）计划被施加到稳定滑块的姿态，通过必要的接触障碍物。与现有方法不同的是，该方法具有接触感知的特点，能够实现主动清除障碍物、回避行为和切换接触面的综合效果，提高灵巧性。从而大大提高了任务的可行性和效率。所提出的方法的性能进行了验证，在一个平面的对象检索任务，其中的目标对象，周围有许多固定或可移动的障碍物，被操纵和隔离。仿真和实验结果。
2023-03-07 cs.RO
Exploring How Non-Prehensile Manipulation Expands Capability in Robots Experiencing Multi-Joint Failure
Department of Computer Science, University of Colorado Boulder（计算机科学系，科罗拉多大学博尔德分校）
本文提出一种非抓取操作方法，通过建模故障约束工作空间和生成运动动力学地图，提升机器人在多关节故障下的操作能力。
2024-10-01 cs.RO
Hearing the Slide: Acoustic-Guided Constraint Learning for Fast Non-Prehensile Transport
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
针对快速非抓持运输中库仑摩擦约束不准导致物体滑动的问题，提出利用声学传感学习动态摩擦系数，并逐控制步调整优化规划约束，实验显示物体位移最多降低86.0%。
2025-06-10 cs.RO
Simultaneous Trajectory Optimization and Contact Selection for Multi-Modal Manipulation Planning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
针对复杂灵巧操作的多接触变化需求，提出结合STOCS接触隐式优化与采样式树生长规划的混合操作规划器，仅需几十次采样即可生成含抓取、滑动、枢转的多模态轨迹，并经6自由度机械臂验证有效。
2023-06-10 cs.RO
Efficient and High-quality Prehensile Rearrangement in Cluttered and Confined Spaces
Rutgers University（罗格斯大学）
在杂乱和受限的空间中，Prehensile对象重排具有广泛的应用，但也具有挑战性。例如，在杂货店货架上重新排列产品意味着机器人无法直接访问所有对象，并且自由空间有限。这比桌面重排更难，桌面重排中的对象可以通过自上而下的抓握轻松访问，这简化了机器人与对象的交互。这项工作的重点是这样的互动是完成任务的关键问题。提出了一种新的有效的和完整的求解器下一般约束的单调的情况下，可以解决移动每个对象最多一次。单调求解器推理机器人对象约束，并使用它们来有效地修剪搜索空间。新的单调求解器与全局规划器集成，以快速求解具有高质量解的非单调实例。此外，这项工作有助于一个有效的预处理工具，显着加快在线运动规划查询在有限的空间重新安排。实验进一步表明，所提出的单调求解器，配备了预处理工具，结果在57.3%的计算速度和3倍的成功率比国家的最先进的方法。类似地，所得到的全局规划器在计算上更有效并且具有更高的成功率，同时为非单调实例（即，平均只需要1.3个额外的动作）。在实际机器人系统和代码上演示解决方案的视频可以在https://github.com/Rui1223/uniform_object_rearrangement上找到。
2022-03-18 cs.AI cs.RO
Learning Coordinated Terrain-Adaptive Locomotion by Imitating a Centroidal Dynamics Planner
Deepmind
四足机器人在复杂地形上的精确步行是最优控制方法和强化学习的难点。非线性求解器可以产生协调的约束满足运动，但往往需要太长的时间来收敛在线应用。RL方法可以学习动态反应控制器，但需要仔细调整整形奖励以产生良好的步态，并且很难发现精确的协调运动。模仿学习规避了这个问题，并已与运动捕捉数据一起使用，以提取平坦地形的四足步态。然而，对于具有高度差异的非常大种类的地形获取运动捕捉数据将是昂贵的。在这项工作中，我们结合了轨迹优化和学习方法的优点，并表明，地形自适应控制器可以通过训练策略来模仿轨迹，已经计划在程序地形的非线性求解器。我们表明，学习的政策转移到看不见的地形，并可以进行微调，以动态遍历具有挑战性的地形，需要精确的脚的位置，是很难解决的标准RL。
2021-10-30 cs.LG cs.RO
Fast, Anytime Motion Planning for Prehensile Manipulation in Clutter
Rutgers University（罗格斯大学）
已经开发了许多方法来规划用于拾取和放置的机器人手臂的运动，范围从局部优化到全局搜索技术，这对于稀疏放置的对象是有效的。然而，在许多现实世界的设置中，密集的杂乱仍然会对成功率、计算时间和解决方案的质量产生不利影响。目前的工作整合现有的方法工具，并提出了一个框架，实现高成功率的混乱与随时性能。该想法是首先通过忽略臂来有效地探索较低维度的末端执行器的任务空间，并且构建导航函数的离散近似，该导航函数引导末端执行器朝向可用抓握或对象放置的集合。这是在线执行的，没有场景的先验知识。然后，一个知情的采样为基础的规划器的整个手臂使用雅可比基转向，以达到有前途的末端执行器姿态给定的任务空间的指导。虽然知情，该方法也是全面的，并允许随着时间的推移，如果任务空间的指导没有导致解决方案的替代路径的探索。本文评估了所提出的方法对替代品中挑选或放置不同数量的杂波与不同的末端执行器的各种机器人机械手的任务。结果表明，该方法可靠地提供更高质量的解决方案路径更快，具有更高的成功率相对于替代品。
2019-02-11 cs.RO
Manipulation Planning Among Movable Obstacles Using Physics-Based Adaptive Motion Primitives
Carnegie Mellon University（卡内基梅隆大学）
在杂乱场景中的机器人操作通常需要与对象进行接触丰富的交互。通过非抓取动作进行交互可能更经济，例如，推动其他对象以达到所需的抓取姿势，而不是故意对场景进行抓取重排。对于场景中的每个对象，根据其属性，机器人可能会或可能不会被允许接触，倾斜，或推翻它。为了确保这些约束条件得到满足，在非可伸缩的相互作用，规划者可以查询基于物理的模拟器，以评估复杂的多体相互作用所造成的机器人动作。不幸的是，这是不可行的，以查询模拟器的数千个行动，需要评估在一个典型的规划问题，因为每个模拟是耗时的。在这项工作中，我们表明（i）操纵任务（特别是从桌面或冰箱拾取和放置类型的任务）通常可以通过将机器人-对象交互限制为计划中的自适应运动基元来解决，（ii）这些动作可以作为子目标并入多启发式搜索框架内，以及（iii）将交互限制到这些动作可以帮助减少在规划期间查询模拟器所花费的时间，与基线算法相比，减少高达40倍。我们的算法在仿真和现实世界中的PR 2机器人使用PyBullet作为我们的基于物理的模拟器进行评估。补充视频：\url{https://youtu.be/ABQc7JbeJPM}。
2023-03-23 cs.RO
Planning for Complex Non-prehensile Manipulation Among Movable Objects by Interleaving Multi-Agent Pathfinding and Physics-Based Simulation
Carnegie Mellon University（卡内基梅隆大学）
现实世界中的操作问题，在严重的混乱需要机器人的原因与物体在环境中的潜在接触。我们专注于取放风格的任务，从一个架子上检索目标对象，其中一些“可移动”的对象必须重新安排，以解决任务。特别是，我们的动机是让机器人的原因，并考虑非易失性的重排行动，导致复杂的机器人对象和对象对象的相互作用，其中多个对象可能会被机器人同时移动，对象可能会倾斜，相互依赖，或推翻。为了支持这一点，我们查询一个基于物理的模拟器来向前模拟这些互动动态，这使得行动评估在规划计算非常昂贵。为了使规划器易于处理，我们在可移动对象之间的操作域和多智能体寻路之间建立了一个连接，使我们可以将问题分解为两个阶段，我们的M4M算法迭代。首先，我们解决了一个多智能体规划问题的原因有关的配置的可移动物体，但不向前模拟的物理模型。接下来，解决了手臂运动规划问题，其使用基于物理的模拟器，但不搜索可移动物体的可能配置。我们运行模拟和真实世界的实验与PR2机器人和相关的基线算法进行比较。我们的研究结果表明，M4M可以生成复杂的3D交互，并以具有竞争力的性能解决至少两倍于基线的问题。
2023-03-23 cs.AI cs.RO
In-Hand Manipulation via Motion Cones
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出的力学和算法来计算一个物体在一个平面上推动的可行运动的集合。这组被称为运动锥，并且先前被描述为用于水平面中的非易失性操纵任务。我们将其几何结构推广到更广泛的平面任务，其中外力（如重力）影响推动的动力学，以及抓取器，物体和推动器之间存在复杂的相互作用的任务。我们证明了运动锥是由一组低曲率曲面定义的，并给出了一个多面体锥近似，我们用运动跟踪系统记录的2000个推压实验验证了它的有效性。运动锥通过提供可行运动集的界限以及描述哪些推力将粘滞或滑动来抽象模拟摩擦推力所涉及的代数。我们证明了他们使用的动态传播步骤中的采样为基础的规划算法在手操纵。规划器生成的轨迹涉及连续推动序列，速度比等效算法提高5- 1000倍。视频摘要--https://youtu.be/tVDO8QMuYhc
2019-02-23 cs.RO
Imitating What Works: Simulation-Filtered Modular Policy Learning from Human Videos
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for AI（Allen人工智能研究所）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
提出Perceive-Simulate-Imitate框架，通过仿真过滤人类视频中的抓取-轨迹对，学习任务导向的抓取与后抓取运动策略，无需机器人数据即可实现鲁棒操作。
2026-06-16 cs.CV cs.LG cs.RO
Learning Soft Driving Constraints from Vectorized Scene Embeddings while Imitating Expert Trajectories
Simon Fraser University（西蒙菲莎大学）；Huawei Technologies（华为技术有限公司）；University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究院）
本研究提出一种无需模拟器的方法，从向量化场景嵌入中提取驾驶约束并融入模仿学习，通过最大熵模型分离奖励与约束流，提升了运动规划的可解释性与闭环性能，可适配更多数据集和真实场景。
2024-12-07 cs.AI cs.LG cs.RO
Hybrid Imitation-Learning Motion Planner for Urban Driving
Computer Science and Technology, Xi’an Jiaotong University（计算机科学与技术，西安交通大学）
本文提出一种混合运动规划器，结合模仿学习与优化技术，以平衡城市驾驶中的安全性与人类相似性，并通过仿真和实车验证其有效性。
2025-04-19 cs.AI cs.LG cs.RO
SPOC: Imitating Shortest Paths in Simulation Enables Effective Navigation and Manipulation in the Real World
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；EPFL（洛桑联邦理工学院）
SPOC通过在仿真中模仿最短路径规划器，结合Transformer架构和大规模程序生成数据，使智能体仅凭RGB输入即可在现实世界中完成语言驱动的导航与操作任务。
2024-08-07 cs.AI cs.CV cs.RO
Learning to Drive by Imitating Surrounding Vehicles
Faculty of Electrical Engineering and Computer Sciences, University of California, Berkeley, CA, USA（电气工程与计算机科学学院，加州大学伯克利分校）
本文提出利用周围车辆轨迹作为额外演示的模仿学习数据增强策略，通过车辆选择采样与过滤提升自动驾驶性能，仅用10%数据即可达到或超过完整数据集效果，降低碰撞率并改善安全指标。
2025-09-23 cs.AI cs.LG cs.RO
KG-Planner: Knowledge-Informed Graph Neural Planning for Collaborative Manipulators
University at Buffalo（布法罗大学）；Texas A&M University（德克萨斯农工大学）
针对高维空间机器人无碰撞运动规划的效率与最优性平衡难题，提出整合工作空间物理知识的KG-Planner，通过建模空间结构的图与GNN生成近最优运动，在多场景实验中性能优于现有方法。
2024-05-13 cs.RO cs.SY eess.SY
Implicit Contact-Rich Manipulation Planning for a Manipulator with Insufficient Payload
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
本文使用一个移动机械手与协作机器人手臂操纵物体超过机器人的最大有效载荷。提出了一种基于单次概率路径图的环境支持下的操作运动规划和优化方法。该方法使用扩展的对象网格模型来检查接触，并随机探索对象运动，同时保持接触并确保负担得起的抓握力。它使用基于优化的算法获得对象运动后生成机器人运动轨迹。在所提出的方法的帮助下，我们可以计划接触丰富的操作，而无需特别分析对象的接触模式及其过渡。规划器和优化器自动确定它们。我们进行了实验和分析，使用模拟和现实世界的执行，以检查该方法的性能。它可以成功找到满足接触、力和运动学约束的操作运动，从而允许移动机械手移动重物，同时利用环境障碍物的支撑力。该方法不需要显式地分析接触状态和建立接触转移图，为机器人的无抓取操作、无接触操作和有接触操作等提供了新的视角。
2023-02-26 cs.RO
Perceive, Predict, and Plan: Safe Motion Planning Through Interpretable Semantic Representations
Uber ATG（Uber 先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们提出了一种新型的端到端可学习网络，该网络可以为自动驾驶车辆执行联合感知，预测和运动规划，并产生可解释的中间表示。与现有的神经运动规划器不同，我们的运动规划成本与我们的感知和预测估计一致。这是通过一种新颖的可区分的语义占用表示来实现的，该表示被明确地用作运动规划过程的成本。我们的网络是从人类演示中端到端学习的。在大规模手动驾驶数据集和闭环仿真中的实验表明，该模型在模仿人类行为的同时产生更安全的轨迹，显着优于最先进的规划器。
2020-08-13 cs.AI cs.CV cs.LG
Learning Preconditions of Hybrid Force-Velocity Controllers for Contact-Rich Manipulation
Carnegie Mellon University（卡内基梅隆大学）
机器人需要在受限的环境中操纵物体，如架子和橱柜，同时在家庭和办公室等日常环境中协助人类。这些限制使操作困难，减少把握可达性，所以机器人需要使用非可扩展的策略，利用对象环境接触来执行操作任务。为了解决规划和控制接触丰富的行为在这样的设置的挑战，这项工作使用混合力-速度控制器（HFVC）作为技能表示和计划技能序列与学习的先决条件。虽然HFVC自然能够实现强大且兼容的接触丰富行为，但合成它们的求解器传统上依赖于精确的对象模型和对象姿态的闭环反馈，这在受限环境中由于遮挡而难以获得。我们首先放松HFVC对精确模型和反馈的需求，然后学习基于点云的前提条件函数来分类HFVC执行仍然会成功，尽管建模不准确。最后，我们使用学习的前提条件，在基于搜索的任务规划完成接触丰富的操作任务在货架域。我们的方法实现了$73.2\%$的任务成功率，优于没有学习的前提条件的基线所实现的$51.5\%$。虽然预处理函数是在模拟中训练的，但它也可以转移到真实世界的设置中，而无需进一步微调。请访问https://sites.google.com/view/constrained-manipulation/查看补充材料和视频
2022-10-29 cs.RO
Decentralized Real-Time Planning for Multi-UAV Cooperative Manipulation via Imitation Learning
Department for Cognitive Robotics, ME, Delft University of Technology（认知机器人系，代尔夫特理工大学）
针对多无人机协同吊运中集中式控制与通信依赖问题，提出基于模仿学习和物理信息神经网络的去中心化运动动力学规划方法，在无通信条件下达到接近集中式方法的性能。
2025-10-20 cs.RO
Sim-to-Real Model-Based and Model-Free Deep Reinforcement Learning for Tactile Pushing
University of Bristol（布里斯托大学）
提出一种基于触觉感知的深度强化学习方法，通过仿真到现实迁移实现物体推动，无模型策略在增加训练样本后优于基于模型规划器，突显触觉信息在精细操控中的价值。
2023-07-26 cs.RO
HeLoM: Hierarchical Learning for Whole-Body Loco-Manipulation by a Hexapod Robot
MARMoT Lab, Department of Mechanical Engineering, National University of Singapore（机械工程系，新加坡国立大学MARMoT实验室）；Center for X-mechanics, Zhejiang University（浙江大学X力学中心）
提出HeLoM分层框架，通过协调多肢控制实现六足机器人对重/不规则物体的稳定推动，在仿真和实物实验中验证了有效性。
2026-05-25 cs.RO
