Learning to Ground Objects for Robot Task and Motion Planning
SUNY Binghamton(纽约州立大学宾汉姆顿分校)
任务和运动规划(TAMP)算法已经被开发用于帮助机器人规划离散和连续空间中的行为。机器人面临复杂的现实世界场景,其中几乎不可能对所有对象或其物理属性进行建模以用于机器人规划(例如,在厨房或购物中心)。在本文中,我们定义了一个新的以对象为中心的TAMP问题,其中TAMP机器人不知道对象属性(例如,块的大小和重量)。然后,我们介绍了任务运动对象为中心的规划({ \bf TMOC}),一个接地TAMP算法,学习地面对象和它们的物理属性与物理引擎。TMOC对于那些涉及动态复杂机器人多对象交互的任务特别有用,这些任务很难事先建模。我们已经证明和评估TMOC在模拟和使用一个真正的机器人。结果表明,TMOC在累积效用方面优于文献中的竞争基线。
2022-02-15 cs.RO
Time-Optimized Trajectory Planning for Non-Prehensile Object Transportation in 3D
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich(慕尼黑工业大学慕尼黑机器人与机器智能研究所(MIRMI));Centre for Tactile Internet with Human-in-the-Loop (CeTI)(以人为中心的触觉互联网中心(CeTI))
针对三维空间中非抓持式不稳定物体运输,本文提出了一种结合物体稳定性物理模型的新型时间优化轨迹规划方法,通过7自由度Franka Panda机器人验证了集成托盘旋转能提升运输速度并确保稳定性与运动约束。
2024-08-29 cs.RO
Motion Planning Diffusion: Learning and Planning of Robot Motions with Diffusion Models
TU Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
本文提出将扩散模型作为先验,利用其逆去噪过程直接从以任务目标为条件的后验轨迹分布中采样,以加速机器人运动规划,实验证明该方法能有效编码高维轨迹分布并具备良好的泛化能力。
2024-03-26 cs.AI cs.LG cs.RO
Beyond Policy Alignment: Closing the Planning-Learning Loop for Robot Control with Learned World Models
Rutgers University(罗格斯大学)
提出PL-MPC,通过混合TD目标、分歧感知终端估计和返回加权蒸馏,改进TD-MPC的规划-学习闭环,在HumanoidBench上显著提升性能,并实现零样本仿真到现实迁移。
2026-10-01 cs.RO
Scalarizing Multi-Objective Robot Planning Problems using Weighted Maximization
Delft University of Technology(代尔夫特理工大学);University of Waterloo(滑铁卢大学)
针对多目标机器人规划中加权求和法难以找到全部权衡方案的问题,提出基于加权最大值的标量化方法及对应路径规划算法,可找到更广泛的帕累托最优解。
2023-12-12 cs.RO
Provably Constant-time Planning and Replanning for Real-time Grasping Objects off a Conveyor Belt
Carnegie Mellon University(卡内基梅隆大学);Technion-Israel Institute of Technology(以色列理工学院)
在仓库和制造环境中,操纵平台经常部署在传送带处以执行拾取和放置任务。由于传送带上的物体是移动的,机器人拾取它们的时间有限。这就需要快速可靠的运动规划器,可以提供可证明的实时的【形】规划保证,现有的算法不提供。除了规划效率之外,操纵任务的成功在很大程度上依赖于感知系统的准确性,感知系统通常是嘈杂的,特别是如果目标对象是从远处感知的话。对于快速移动的传送带,机器人在开始执行其运动之前不能等待完美的估计。为了能够及时到达物体,它必须尽早开始移动(依赖于初始噪声估计),并响应于感知的姿态更新来动态调整其运动。我们提出了一个规划框架,通过提供可证明的恒定时间规划和重新规划的保证,满足这些要求。为此,我们首先介绍和形式化一类新的算法称为恒定时间运动规划算法(CTMP),保证计划在恒定的时间和用户定义的时间范围内。然后,我们提出了我们的规划框架抓物体的传送带的CTMP类算法的一个实例。
2021-01-15 cs.RO
Tackling Existence Probabilities of Objects with Motion Planning for Automated Urban Driving
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
运动规划器将关于环境的不确定信息作为输入。环境信息通常是相当嘈杂的,并且具有包含假阳性目标检测的趋势。最先进的运动规划者对所有物体的考虑都是一样的,因此产生了过于谨慎的行为。在本文中,我们提出了一种规划方法,认为在一个组合的方式替代演习和计划的运动,形成这些替代品的概率。该规划器可以顺利地对存在概率低的对象作出反应,同时保持无碰撞的情况下,他们的存在证实。通过这种方式,它可以容忍感知和预测产生的故障,从而减少它们对操作可靠性的影响。
2020-10-21 cs.RO
Motion and Force Planning for Manipulating Heavy Objects by Pivoting
Stony Brook University(石溪大学)
通过利用物体与环境的接触来操纵物体可以提高机器人操作器的灵活性和有效载荷能力。操纵超过机器人的有效载荷能力的重物的常见方式是使用一系列枢转运动,其中,物体移动,同时物体和支撑表面之间的一些接触点保持固定。本文的目标是开发一种算法方法,自动生成计划的对象操作与一系列的枢转运动。一个计划,用于操纵一个沉重的对象包括一系列的关节角度的机械手,相应的对象的姿势,以及所需的关节力矩移动的对象。在操作过程中保持物体与地面接触的约束导致机器人位形空间中的非线性约束,这对运动规划算法是具有挑战性的。利用枢转运动对应于刚体运动组SE(3)的子组中的运动这一事实,我们提出了一种新的基于任务空间的规划方法,用于在满足接触约束的同时计算机械手和物体的运动计划。我们还结合了我们的运动规划算法与把握力合成算法,以确保在接触和致动器扭矩约束的摩擦约束得到满足。我们提出了一个双臂巴克斯特机器人的仿真结果来证明我们的方法。
2021-04-25 cs.RO
Multi-Robot Object Transport Motion Planning with a Deformable Sheet
Shanghai Jiao Tong University(上海交通大学);Rutgers University(罗格斯大学)
使用可变形片材来处理对象是方便的,并且在许多实际应用中发现。对于通过由多个移动机器人持有的可变形片材操纵物体,建立物体-片材相互作用的模型是一项具有挑战性的任务。我们提出了一个计算模型和算法来捕捉物体的位置上的变形片与变化的机器人队编队。为了简化机器人-板材-物体系统的建模,提出了一种虚拟可变索模型。与VVCM,我们进一步提出了一个运动规划的机器人团队在三维(3D)杂乱的环境中运输的对象。不同机器人团队规模的仿真和实验结果表明,所提出的VVCM的有效性和通用性。我们还比较和展示了规划结果,以避免在三维空间中的障碍物与其他基准规划器。
2022-07-13 cs.RO
CaSCo: Cascade-Aware Soft-Collision Motion Planning
Nanyang Technological University(南洋理工大学)
针对传统碰撞规划忽视物体接触后果差异的问题,提出CaSCo框架,利用视觉-语言模型分配语义风险,结合物理模拟预测级联碰撞,搜索最小化总风险的最优路径,并通过实验验证其有效性。
2026-09-17 cs.RO
UAV Path Planning for Object Observation with Quality Constraints: A Dynamic Programming Approach
Southeast University(东南大学);Academy of Military Science(军事科学院);Consulting Center for Strategic Assessment(战略评估咨询中心)
本文提出一种动态规划算法,在满足观测质量约束下为无人机规划最短路径以观测多个目标物体,实现$(1+ε)$-近似比,并在Airsim仿真中验证了有效性。
2024-11-11 cs.RO
Object Detection and Motion Planning for Automated Welding of Tubular Joints
National University of Singapore(新加坡国立大学)
管状TKY接头的自动焊接对于船舶和海上工业来说是一项重要且具有挑战性的任务。本文提出了一种管接头检测和运动规划的框架。使用RGB-D传感器检测真实管接头的姿态,其用于获得用于在虚拟环境中定位工件的真实到虚拟映射。对于运动规划,使用基于双向转换的快速探索随机树(BiTRRT)算法来生成达到期望目标的轨迹。实验结果表明,该机器人焊枪能够无碰撞地过渡到靠近管接头的预定目标。
2018-09-27 cs.RO
PokeRRT: A Kinodynamic Planning Approach for Poking Manipulation
University of Colorado Boulder(科罗拉多大学博尔德分校)
这项工作介绍了PokeRRT,一种新的运动规划算法,证明戳作为一种有效的非易失性操作技能,使快速操作的对象,并增加机器人的可达工作空间的大小。我们的定性和定量的结果表明,在规划对象的轨迹,通过整洁和杂乱的环境推和抓戳的优势。
2022-02-09 cs.RO
Model-Based Online Decision Making via Generative Trajectory Planning
Harvard University(哈佛大学)
该研究提出基于模型的生成轨迹规划(GTP)框架,通过学习生成模型作为动作序列提议分布,在连续控制等任务中性能优于或匹配现有基准,为生成建模与基于模型决策结合提供新视角。
2026-10-14 cs.AI cs.LG cs.RO
A Long Horizon Planning Framework for Manipulating Rigid Pointcloud Objects
Massachusetts Institute of Technology(麻省理工学院);KAIST Graduate School of AI(韩国科学技术院人工智能研究生院);Samsung AI Center Montreal(三星蒙特利尔人工智能中心)
我们提出了一个框架,用于解决长期规划问题,涉及操作的刚性对象,直接从点云观测,即没有事先的对象模型。我们的方法计划在空间中的对象子目标和自由的规划者从推理机器人对象的相互作用动力学依赖于一组概括的操作原语。我们表明,对于刚体,这种抽象可以实现使用低级别的操作技能,保持与对象的接触,并表示子目标作为3D变换。为了使泛化到看不见的对象和提高规划性能,我们提出了一种新的方式来表示刚体操作的子目标和基于图形注意力的神经网络架构处理点云输入。我们实验验证这些选择使用模拟和真实世界的YuMi机器人实验。结果表明,我们的方法可以成功地操纵新的对象到需要长期规划的目标配置。总的来说,我们的框架实现了最好的任务和运动规划(TAMP)和基于学习的方法。项目网址:https://anthonysimeonov.github.io/rpo-planning-framework/。
2020-11-16 cs.LG cs.RO
Bootstrapping Human-Like Planning via LLMs
Navy Center for Applied Research in AI, US Naval Research Laboratory(美国海军人工智能应用研究中心)
本文研究如何结合自然语言接口与拖放界面,利用大语言模型生成人类风格的动作序列,并与手工指定的动作序列进行比较。
2025-06-27 cs.AI cs.HC cs.RO
Unified Task and Motion Planning using Object-centric Abstractions of Motion Constraints
Department of Computer Science, University of Innsbruck(因斯布鲁克大学计算机科学系)
本文提出了一种基于对象中心抽象的统一任务与运动规划方法,利用现成AI启发式搜索生成物理可行计划,无需复杂几何推理。
2026-01-30 cs.AI cs.RO
Leveraging Inter-object Affordances for Efficient Planning in Contact-rich Tasks
University of Innsbruck(因斯布鲁克大学)
该研究针对传统TAMP方法在接触密集型任务中规划时间长、成功率低的问题,提出结合VLM与U-TAMP的方法,在模拟厨房场景中实现了更高的规划成功率与更快的规划速度。
2026-08-27 cs.AI cs.RO
Multi-objective Conflict-based Search Using Safe-interval Path Planning
Carnegie Mellon University(卡内基梅隆大学);Texas A&M University(德州农工大学)
本文讨论了一个推广的著名的多智能体路径寻找(MAPF)问题,同时优化多个相互冲突的目标,如旅行时间和路径风险。这种概括,被称为多目标MAPF(MOMAPF),出现在几个应用范围从危险材料运输到建筑工地规划。在本文中,我们提出了一种新的多目标冲突为基础的搜索(MO-CBS)的方法,依赖于一种新的多目标安全区间路径规划(MO-SIPP)算法,其低级别的搜索。我们首先开发了MO-SIPP算法,展示了它的性质,然后将它嵌入到MO-CBS中。我们提出了广泛的数值结果表明:(1)有一个数量级的改善,在平均低级别的搜索时间,和(2)一个显着的改善,找到帕累托最优的前沿的成功率可以得到使用所提出的方法相比,以前的MO-CBS。
2022-03-04 cs.AI cs.RO
Task Allocation for Multi-Robot Task and Motion Planning: a case for Object Picking in Cluttered Workspaces
Department of Informatics, Bioengineering, Robotics, and Systems Engineering, University of Genoa(热那亚大学信息学、生物工程、机器人与系统工程系)
我们提出了一个与/或图为基础的,集成的多机器人任务和运动规划的方法,(一)执行任务分配协调活动的一个给定数量的机器人,(ii)是能够处理任务,涉及一个先验未知数量的对象重新安排,如那些参与检索对象从杂乱的机器人。例如,在搜索和救援场景中,当定位/拾取杂乱的感兴趣对象时,可能会出现这种情况。相应的问题属于杂乱规划的范畴。在杂波中进行规划时的挑战之一是,通常事先不知道拾取目标对象所需的对象重新布置的数量。此外,这样的任务可以以各种方式分解,因为不同的杂乱对象重新布置可能到达目标对象。在我们的方法中,任务分配和分解是通过最大化的组合效用函数。分配的任务由一个集成的任务和运动规划器,这是强大的要求未知数量的重新安排任务。我们证明了我们的结果与实验模拟两个FrankaReplika机械手。
2021-10-08 cs.AI cs.RO
Object-Centric Task and Motion Planning in Dynamic Environments
Stanford University(斯坦福大学)
我们解决的问题,应用任务和运动规划(TAMP)在现实世界的环境。TAMP结合了符号和几何推理,以产生顺序的操作计划,通常指定为关节空间轨迹,这是有效的,只要环境是静态的,感知和控制是高度准确的。如果环境发生任何变化,则需要缓慢重新规划。我们提出了一个TAMP算法,优化相对于目标对象定义的笛卡尔框架。即使物体在移动,最终的计划仍然有效,并且可以由实时的适应这些变化的反应控制器执行。我们将我们的TAMP框架应用于一个取放设置中的扭矩控制机器人,并在模拟和现实世界中展示其适应不断变化的环境,不准确的感知和不精确的控制的能力。
2020-05-05 cs.AI cs.RO
Planning for Complex Non-prehensile Manipulation Among Movable Objects by Interleaving Multi-Agent Pathfinding and Physics-Based Simulation
Carnegie Mellon University(卡内基梅隆大学)
现实世界中的操作问题,在严重的混乱需要机器人的原因与物体在环境中的潜在接触。我们专注于取放风格的任务,从一个架子上检索目标对象,其中一些“可移动”的对象必须重新安排,以解决任务。特别是,我们的动机是让机器人的原因,并考虑非易失性的重排行动,导致复杂的机器人对象和对象对象的相互作用,其中多个对象可能会被机器人同时移动,对象可能会倾斜,相互依赖,或推翻。为了支持这一点,我们查询一个基于物理的模拟器来向前模拟这些互动动态,这使得行动评估在规划计算非常昂贵。为了使规划器易于处理,我们在可移动对象之间的操作域和多智能体寻路之间建立了一个连接,使我们可以将问题分解为两个阶段,我们的M4M算法迭代。首先,我们解决了一个多智能体规划问题的原因有关的配置的可移动物体,但不向前模拟的物理模型。接下来,解决了手臂运动规划问题,其使用基于物理的模拟器,但不搜索可移动物体的可能配置。我们运行模拟和真实世界的实验与PR2机器人和相关的基线算法进行比较。我们的研究结果表明,M4M可以生成复杂的3D交互,并以具有竞争力的性能解决至少两倍于基线的问题。
2023-03-23 cs.AI cs.RO
Multi-Objective Trajectory Planning with Dual-Encoder
Zhejiang Lab(之江实验室);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院)
针对机械臂时间-加加速度最优轨迹规划延迟大的问题,提出一种两阶段方法,结合双编码器transformer模型生成初始轨迹并用序列二次规划细化,大幅缩短规划时间并降低目标函数值。
2024-03-26 cs.LG cs.RO
Path Planning based on 2D Object Bounding-box
Technical University of Munich(慕尼黑工业大学)
本文提出一种以视觉为中心的自动驾驶路径规划方法,利用2D物体边界框,结合高精地图与摄像头图像,通过GNN和Transformer进行时空特征聚合,在nuPlan任务上取得有竞争力的表现。
2024-02-22 cs.AI cs.RO
Trajectory Prediction & Path Planning for an Object Intercepting UAV with a Mounted Depth Camera
National University of Singapore(新加坡国立大学)
介绍了一种基于ROS C++的无人机目标拦截控制软件体系结构。现有的轨迹预测工作主要集中在使用像运动捕捉室这样的非车载工具来拦截投掷的物体。本研究设计的无人机架构是完全在板上能够与深度相机和点云处理的使用对象拦截。该架构使用迭代轨迹预测算法,用于乒乓球等非推进物体。在Gazebo中讨论、评估和仿真了各种目标拦截的路径规划方法及其相应的场景。成功的模拟验证了使用所提出的架构的无人机拦截对象的机载自主性的潜力。
2021-11-17 cs.RO cs.SY eess.SY
TAPOM: Task-Space Topology-Guided Motion Planning for Manipulating Elongated Object in Cluttered Environments
Collage of Control Science and Engineering, Zhejiang University(控制科学与工程学院,浙江大学);Department of Computer Science, ETH Zurich(计算机科学系,苏黎世联邦理工学院)
本文提出TAPOM方法,通过任务空间拓扑分析生成引导关键帧,结合低层规划器解决细长物体在狭窄低间隙环境中的运动规划难题,显著提升成功率和效率。
2025-11-07 cs.RO cs.SY eess.SY
Multi-Objective Multi-Agent Planning for Jointly Discovering and Tracking Mobile Object
The University of Adelaide(阿德莱德大学);Curtin University(科廷大学)
我们认为具有挑战性的问题,在线规划的一个团队的代理自主搜索和跟踪的实际约束下的检测范围有限的车载传感器的移动对象的数量随时间变化。一个标准的POMDP与价值函数,鼓励发现或准确跟踪的移动对象是不足以同时满足搜索未发现的移动对象,同时保持跟踪发现的对象的冲突的目标。规划问题进一步复杂化的误检测或错误检测的范围有限的传感器和传感器测量固有的噪声引起的对象。我们制定了一个新的多目标POMDP基于信息论的标准,和一个在线多目标跟踪滤波器的问题。由于控制多智能体是一个众所周知的组合优化问题,分配控制行动的代理需要一个贪心算法。我们证明了我们提出的多目标价值函数是一个单调的次模集函数,因此,贪心算法可以实现(1-1/e)近似最大化的次模多目标函数。
2019-11-22 cs.MA cs.RO cs.SY
A Learning System for Motion Planning of Free-Float Dual-Arm Space Manipulator towards Non-Cooperative Object
Tsinghua University(清华大学);Beijing Institute of Control Engineering(北京控制工程研究所);City University of Hong Kong(香港城市大学)
近年来,出现了一些不合作的空间物体,如失败的卫星和太空垃圾。这些物体通常由自由浮动双臂空间机械臂操作或收集。强化学习(RL)方法由于消除了建模和参数手动调整的困难,在空间机械臂轨迹规划中显示出更有前途的迹象。虽然以前的研究证明了它们的有效性,但它们不能应用于跟踪具有未知旋转的动态目标(非合作目标)。提出了一种自由漂浮双臂空间机械臂(FFDASM)面向非合作对象的运动规划学习系统。具体来说,我们的方法由两个模块组成。模块一实现了大目标空间内两个末端执行器的多目标轨迹规划。然后,模块II以非合作目标的点云作为输入,估计目标的运动特性,进而预测目标点在非合作目标上的位置。利用模块I和模块II的组合,成功地跟踪了具有未知规律的旋转物体上的目标点。此外,实验还证明了我们的学习系统的可扩展性和泛化能力。
2022-07-06 cs.AI cs.RO cs.SY
Path Planning Games
Vanderbilt University(范德堡大学)
路径规划是机器人控制中的一个基本和广泛探索的问题。我们提出了一个新的经济角度的路径规划。具体来说,我们研究战略之间的互动路径规划代理使用博弈论路径规划框架。我们的重点是两个重要目标之间的经济紧张关系:代理人实现其目标的效率和安全性。我们首先开发一种新的数学公式的路径规划,权衡这些目标,当其他代理的行为是固定的。然后,我们使用这个公式近似纳什均衡的路径规划游戏,以及开发一个多智能体合作的路径规划制定。通过几个案例研究,我们表明,在一个路径规划游戏,安全性往往是显着妥协相比,合作的解决方案。
2019-10-30 cs.AI cs.GT cs.MA
RL Bootstrapping of OpenVLA-OFT for a Novel Robot Embodiment
本文针对形态特殊的缆绳驱动并联机器人,无需实体专属数据集,通过仿真中PPO与GRPO两阶段强化学习,提升了OpenVLA-OFT的指令执行成功率,为仅靠RL生成适配全新实体的语言条件控制器提供了证据。
2026-08-04 cs.RO
WorldMAP: Bootstrapping Vision-Language Navigation Trajectory Prediction with Generative World Models
Harbin Institute of Technology(哈尔滨工业大学);Shandong University(山东大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Zhongguancun Academy(中关村学院)
WorldMAP通过生成世界模型与教师-学生框架,将生成的未来场景转化为语义空间结构和规划监督,提升导航轨迹预测的稳定性与准确性,取得最佳性能。
2026-04-09 cs.AI cs.CV cs.RO
ObjView-Bench: Rethinking Difficulty and Deployment for Object-Centric View Planning
University of Bonn(波恩大学)
本文提出ObjView-Bench框架,通过分离视图规划评估中的三个关键因素,改进了面向对象的视图规划评估方法,并展示了部署导向的评估协议对方法性能的影响。
2026-11-09 cs.RO
Bootstrapping Robotic Ecological Perception from a Limited Set of Hypotheses Through Interactive Perception
CNRS(法国国家科学研究中心)
为了解决它的任务,机器人需要有能力解释它的感知。在视觉中,这种解释特别困难,依赖于对场景结构的理解,至少在其任务和感觉运动能力的范围内。一个有能力根据自己的任务和能力构建和调整这种解释过程的机器人,将打破机器人在非受控环境中所能达到的极限。一种解决方案是为机器人提供构建不特定于环境或情况的这种表示的过程。大量的工作集中在目标分割、识别和操作上。考虑到可能的对象和环境的范围很广,仅根据其视觉外观来定义对象是具有挑战性的。因此,当前的作品对场景的结构进行了简化假设。这样的假设降低了对象提取过程对假设成立的环境的适应性。为了限制这样的假设,我们介绍了一种探索方法,旨在确定场景中的可移动元素,而不考虑对象的概念。通过使用交互式感知框架,我们的目标是引导收购过程中的代表性的环境与最小的上下文特定的假设。机器人系统建立一个感知地图称为相关性地图,它指示当前场景的可移动部分。在线训练分类器以预测每个区域的类别(可移动或不可移动)。它还用于选择与之交互的区域,目的是最大限度地减少分类的不确定性。一个特定的分类器,以满足这些需求:协作混合模型分类器。该方法是测试一组日益复杂的情况下,使用模拟和PR2机器人。
2019-01-30 cs.AI cs.CV cs.LG
Effective Task Planning with Missing Objects using Learning-Informed Object Search
George Mason University(乔治梅森大学);Brown University(布朗大学)
本文提出基于模型的LIOS动作框架,通过结合确定性规划与基于模型的成本计算,实现高效且完整的学习驱动任务规划,在不确定性环境下优于现有基线方法。
2026-02-13 cs.RO
Symbolic Manipulation Planning with Discovered Object and Relational Predicates
Bogazici University(博阿齐奇大学);Ozyegin University(厄齐耶因大学);Osaka University(大阪大学)
提出一种从机器人无监督探索中学习对象与关系符号并转换为PDDL进行长程规划的系统,验证了其在多对象操作任务中优于基线方法的规划性能。
2024-01-02 cs.RO
POMDP Manipulation Planning under Object Composition Uncertainty
Aalto University(阿尔托大学);TU Darmstadt(达姆施塔特工业大学)
在杂乱的环境中操纵未知对象是困难的,因为将场景分割成对象,即对象组成是不确定的。由于这种不确定性,早期的工作集中在识别“最佳”对象组合并相应地决定操作动作,或者试图收集关于“最佳”对象组合的信息。与以前的工作相反,我们1)在规划中利用不同的可能对象组成,2)利用机器人动作提供的对象组成信息,3)考虑到不同的竞争对象假设对实际任务的影响。我们铸造的操纵规划问题作为一个部分可观察的马尔可夫决策过程(POMDP),计划在可能的假设对象组成。POMDP模型选择最大化长期预期任务特定效用的行动,同时考虑信息行动的价值和不同对象假设对任务完成的影响。在使用RGB-D传感器、Kinova Jaco和Franka Panda机器人手臂的模拟和实验中,概率方法优于仅考虑最可能的对象组成的方法,并且长期规划优于贪婪决策。
2020-10-26 cs.RO
Efficient Object Manipulation Planning with Monte Carlo Tree Search
Tandon School of Engineering, New York University(纽约大学坦登工程学院)
提出了一种有效的物体操作规划方法,利用蒙特卡罗树搜索(MCTS)算法寻找接触序列,并利用基于ADMM的轨迹优化算法评估候选接触序列的动态可行性。为了加速MCTS,我们提出了一种方法来学习目标条件的策略值网络,以引导搜索到有希望的节点。此外,特定于操作的算法使得能够大幅减少搜索空间。在物理模拟器和真实硬件上的系统对象操作实验证明了我们的方法的效率。特别是,由于学习的策略值网络,我们的方法对长操作序列有利,显著提高了规划成功率。
2023-03-19 cs.RO
BLAZER: Bootstrapping LLM-based Manipulation Agents with Zero-Shot Data Generation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
BLAZER利用LLM零样本规划能力自动生成仿真演示数据,微调LLM以提升操作策略,无需人工监督,在仿真和真实环境中显著提升零样本操作性能。
2025-10-09 cs.AI cs.LG cs.RO
Language Bootstrapping: Learning Word Meanings From Perception-Action Association
Kungliga Tekniska Högskolan (KTH)(瑞典皇家理工学院);Universidad de Zaragoza(萨拉戈萨大学);Instituto de Sistemas e Robótica, Instituto Superior Técnico(系统与机器人研究所,里斯本高等理工学院)
我们解决的问题,自举语言习得的人工系统类似于在实验中观察到的人类婴儿。我们的方法通过将意义与操作任务中的单词相关联来工作,因为机器人与对象进行交互并听取交互的口头描述。该模型基于一个可供性网络,即,机器人动作、机器人感知以及这些动作对物体的感知效果之间的映射。我们扩展了示能模型,将口语,这使我们能够地面的口头符号的执行行动和感知的环境。该模型以任务的言语描述为输入,并使用时间共现来创建语音话语与所涉及的对象,动作和效果之间的联系。我们表明,机器人是能够形成有用的词到意义的协会,即使不考虑语法结构的学习过程中,并在存在识别错误。这些词与意义的关联嵌入了机器人对其动作的理解中。因此,它们可以直接用于指示机器人执行任务,并且还允许将上下文并入语音识别任务中。我们相信,我们的方法所取得的令人鼓舞的结果可能会使机器人有能力在其操作环境中获得语言描述符,并揭示出这个具有挑战性的过程是如何与人类婴儿一起发展的。
2017-11-27 cs.CL cs.HC cs.RO
Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning
Bogazici University(博阿齐奇大学);Ozyegin University(厄兹耶金大学);Osaka University(大阪大学)
提出一种通过二元瓶颈层联合发现操作原语和物体类别的方法,利用预测多模态交互效应进行离散规划,在桌面重定位和堆叠任务中优于现有方法。
2026-07-02 cs.RO
Multi-Stage Monte Carlo Tree Search for Non-Monotone Object Rearrangement Planning in Narrow Confined Environments
Purdue University(普渡大学)
针对狭窄受限空间中的非单调物体重排规划问题,提出多阶段蒙特卡洛树搜索方法,通过物体阶段拓扑解耦问题并联合高低层规划,在规划时间、步数和移动距离上优于现有方法。
2024-08-07 cs.RO
Regrasp Planning using 10,000s of Grasps
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST));Osaka University(大阪大学)
本文开发了智能算法的机器人重新定位对象。给定对象的初始和目标姿态,所提出的算法计划一系列的机器人姿态和把握配置,重新定位的对象从其初始姿态的目标。虽然这个问题已经在以前的工作中进行了广泛的研究,本文取得了重要的改进,抓取规划使用过分割网格,在数据存储中使用关系数据库,并在regrasp规划混合现实世界的路线图。这些改进使机器人能够在交互时间内使用10,000次抓握及其关系进行强大的重新抓握规划。所提出的算法进行了验证,使用各种对象和机器人。
2017-05-26 cs.RO
Planning from Point Clouds over Continuous Actions for Multi-object Rearrangement
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Princeton University(普林斯顿大学)
针对机器人长时域操作规划需离散化连续空间的问题,提出混合方法SPOT,基于点云变换搜索与学习建议器在连续动作空间规划,在多物体重排任务中优于策略学习方法。
2025-09-04 cs.RO
Planning for Tabletop Object Rearrangement
Contextual Robotics Institute, UC San Diego(加州大学圣地亚哥分校上下文机器人研究所)
针对桌面物体重排规划中orla*算法可扩展性不足的问题,提出一种改进状态表示并采用增量目标尝试与惰性评估的增强型A*算法,在保持解质量的同时提升了可扩展性,使固定和移动机器人能在更短时间内获得更优解。
2024-11-16 cs.RO
Integrating Active Sensing and Rearrangement Planning for Efficient Object Retrieval from Unknown, Confined, Cluttered Environments
Purdue University(普渡大学)
针对未知受限杂乱环境中的目标提取问题,提出集成基于启发式的主动感知与基于MCTS的提取规划方法,通过组件间反馈优化感知与规划,在成功率及时间消耗上显著优于基线方法。
2024-11-18 cs.RO
Planning and Perception for Unmanned Aerial Vehicles in Object and Environmental Monitoring
本论文针对无人机在物体与环境监测中的规划与感知问题,提出了基于深度学习形状预测的物体视觉覆盖优化、多无人机路径规划,以及面向基础设施检查和野火管理的环境监测算法,并通过实验验证了其有效性。
2024-07-17 cs.RO
Planning to Repose Long and Heavy Objects Considering a Combination of Regrasp and Constrained Drooping
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
本文提出了一种分层运动规划器规划的操作运动,以休息长,重的物体考虑外部支撑表面。规划器包括任务级层和运动级层。我们制定的操作规划问题,在任务级考虑把握构成节点和对象构成的边缘。我们考虑在构建图的过程中重新抓取和约束手滑(下垂),并通过搜索图找到混合重新抓取和下垂序列。所生成的序列自主地在臂和支撑表面之间划分对象重量,并避免配置障碍。笛卡尔规划是在机器人运动水平,以产生相邻的关键把握构成的任务层发现的序列之间的运动。进行了各种实验,以检查所提出的规划器的性能。结果表明,改进的能力,机器人手臂操作长,重的物体,使用建议的规划。我们的贡献是,我们初步开发了一个基于图形的规划系统,原因在手和regrasp操纵运动考虑外部支持。一方面,规划器集成了重握和下垂,实现了手在外部支持下的操作。另一方面,当物体稳定放置时,它通过释放和重新抓取物体来切换状态。搜索图的节点可以从远程云服务器检索,这些服务器提供大量预先注释的数据以实现网络智能。
2021-01-25 cs.RO
Planning with Selective Physics-based Simulation for Manipulation Among Movable Objects
Carnegie Mellon University(卡内基梅隆大学)
使用基于物理的仿真作为规划模型,使规划者能够推理并生成涉及与世界的非平凡交互的计划。例如,从杂乱的冰箱中抓取牛奶容器可能涉及在其他物体之间移动机器人操纵器,推开可移动的物体并避免与某些易碎容器的相互作用。一个基于物理的模拟器允许一个计划的原因与这些对象的相互作用的影响,并生成一个计划,成功地把握牛奶容器。然而,在规划中使用基于物理的模拟却未得到充分利用。其中一个原因是,基于物理的模拟通常太慢,无法在规划循环中使用,而规划循环通常需要在一两秒内评估数万个动作。在这项工作中,我们开发了一个规划算法,试图解决这一挑战。特别是,它建立在这样的观察基础上,即实际上只需要使用物理来模拟少量的动作,并且可以使用更简单的内部规划模型来评估剩余的动作集,例如围绕障碍物移动手臂,例如,一个简单的碰撞检查模型。受此启发,我们开发了一种名为“基于选择性物理模拟的规划”的算法,该算法可以自动发现应该用物理模拟的内容以及可以利用内部规划模型进行拾取和放置任务的内容。
2020-03-15 cs.RO
Neural Field Representations of Articulated Objects for Robotic Manipulation Planning
TU Berlin(柏林工业大学);Bilkent University(比尔肯特大学)
提出一种铰接物体的神经场表示(NFR),可直接从少量图像正向模拟运动并用于轨迹优化规划,支持形状重建等辅助任务,在合成数据训练下实现对真实世界未见同类物体的机器人操作。
2023-09-14 cs.RO
Object grasping planning for the situation when soft and rigid objects are mixed together
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学)
本文提出了一种用旋转限界框表示的目标检测方法,以解决刚性物体和柔性物体混合场景下的抓取难题。与传统的检测方法相比,该方法能够输出旋转对象的角度信息,从而保证每个旋转限界框内只有一个实例。该技术在具有不同取向的物体堆的情况下特别有用。在我们的方法中,当检测到具有特定几何形状(矩形或圆柱形)的未分类对象时,程序将得出结论,一些刚性对象被毛巾覆盖。如果没有检测到被覆盖的物体,则抓取规划基于从2D目标检测结果与其对应的3D点云之间的映射获得的3D点云。基于三维限界框覆盖物体所提供的信息,提出了多个杂乱刚性物体的抓取策略和避碰策略。通过刚性物体和毛巾混合的实验验证了该方法的有效性。
2019-09-20 cs.RO
Action Planning for Packing Long Linear Elastic Objects into Compact Boxes with Bimanual Robotic Manipulation
The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了一个新的行动规划方法,自动包装长线性弹性物体到共同大小的箱子与双手机器人系统。为此,我们开发了一种混合几何模型来处理大规模的遮挡,结合在线基于视觉的方法和离线参考模板。然后,一个参考点生成器被引入到自动规划的参考位姿为预先设计的动作基元。最后,一个行动计划集成这些组件,使执行高层次的行为和包装操作任务的完成。为了验证所提出的方法,我们进行了详细的实验研究与多种类型和长度的对象和包装盒。
2022-07-19 cs.RO
Object-Centric Kinodynamic Planning for Nonprehensile Robot Rearrangement Manipulation
Rice University(莱斯大学);RAI Institute(RAI研究所)
针对多物体非抓取重排问题,提出一种基于对象中心的运动学动力学规划统一框架,通过计算期望物体运动并利用闭环推动策略在线生成机器人动作,显著提升了动作效率与任务有效性,并提供了标准化基准测试协议。
2025-10-30 cs.RO
Provably Constant-time Planning and Replanning for Real-time Grasping Objects off a Conveyor Belt
Carnegie Mellon University(卡内基梅隆大学);Technion-Israel Institute of Technology(以色列理工学院)
在仓库和制造环境中,操纵平台经常部署在传送带处以执行拾取和放置任务。由于传送带上的物体是移动的,机器人拾取它们的时间有限。这就需要快速可靠的运动规划器,可以提供可证明的实时的【形】规划保证,现有的算法不提供。除了规划效率之外,操纵任务的成功在很大程度上依赖于感知系统的准确性,感知系统通常是嘈杂的,特别是如果目标对象是从远处感知的话。对于快速移动的传送带,机器人在开始执行其运动之前不能等待完美的估计。为了能够及时到达物体,它必须尽早开始移动(依赖于初始噪声估计),并响应于感知的姿态更新来调整其运动。我们提出了一种方法,通过提供可证明的恒定时间规划和重新规划的保证,满足这些要求。我们提出了它,它的分析性质,并显示在模拟和一个真正的机器人实验分析。
2020-06-18 cs.RO
Learn2Decompose: Learning Problem Decomposition for Efficient Sequential Multi-object Manipulation Planning
Idiap Research Institute(Idiap研究 institute);Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑分校)
本文提出了一种高效的任务与运动重计划方法,用于动态环境中连续多物体操作的规划。通过从示范中学习问题分解来加速TAMP求解器,核心方法包括目标分解学习、计算距离学习和物体减少,有效提升了重计划效率。
2026-05-19 cs.RO