Task Planning for Mobile Manipulation in Retail Stores using Foundation Models with Iterative Re-planning
TCS Research, Tata Consultancy Services Ltd.(塔塔咨询服务公司TCS研究院)
研究零售场景补货问题,利用大语言模型和视觉语言模型,结合定制移动操作平台、用户驱动提示及反馈迭代重新规划方法纠错,在模拟环境验证端到端系统,为零售自动化提供了新的任务规划方案。
2026-07-14 cs.RO
Preparatory Manipulation Planning using Automatically Determined Single and Dual Arms
Osaka University(大阪大学);National Inst. of AIST(国立产业技术综合研究所)
提出了一种机器人重定向操作规划算法。它自动找到一系列机器人运动,操纵和准备一个对象的特定任务。预备操作规划问题的例子包括重新定向电钻切割孔,重新定向工件装配,重新定向货物包装等所提出的算法可以规划单,双臂操作序列来解决问题。规划器下的机制是一个重抓取图,它对抓取配置和物体姿态进行编码。该算法搜索图,以找到一系列的机器人运动,以重新定位对象。规划者能够规划单臂和双臂操作。它还可以自动决定是否使用单臂,双臂或它们的组合来完成给定的任务。规划器由各种人形机器人检查,如Nextage,HRP2Kai,HRP5P等,使用模拟和真实世界的实验。
2018-12-08 cs.RO
Dynamic Planning for Sequential Whole-body Mobile Manipulation
针对现有移动操作动态规划方法的局限性,研究提出融合在线任务规划、VKC全身运动规划与反应式MPC的一体化框架,经仿真与真实实验验证可在含人为干扰的动态场景下高效完成序列移动操作任务。
2024-06-21 cs.RO
Manipulation Planning and Control for Shelf Replenishment
Dipartimento di Ingegneria, Università degli Studi della Campania Luigi Vanvitelli(坎帕尼亚路易吉·凡维泰利大学工程系);Institute for Artificial Intelligence, Universität Bremen(不来梅大学人工智能研究所)
操作规划和控制是机器人系统的相关构建模块,它们的紧密集成是提高机器人自主性的关键因素,并允许机器人执行越来越复杂的操作任务,例如店内物流领域所需的操作任务。超市包含各种各样的物品,这些物品将被放置在具有特定约束的货架层上,用机器人做这件事是一个挑战,需要高度的灵活性。然而,反应性抓取控制和运动规划的集成可以允许机器人执行这样的任务,即使夹具具有有限的灵活性。该论文的主要贡献是一种新的方法,用于规划使用反应控制层执行的操纵任务,该反应控制层提供更多的控制模态,即,避免滑动和控制滑动。实验表明,该方法可以使机器人成功地执行操作任务不可行的标准固定抓持与一个新的力/触觉传感器装备的夹持器的移动机械手。
2020-03-12 cs.RO
LAMP: Long-Horizon Adaptive Manipulation Planning for Multi-Robot Collaboration in Cluttered Space
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出LAMP框架,结合学习生成的操作模型与两种规划器(LAMPA*和LAMP-Lazy),实现多机器人在密集杂乱环境中的长时域协作操作规划,解决现有方法无法处理的复杂任务。
2026-07-09 cs.RO
Deep Visual Constraints: Neural Implicit Models for Manipulation Planning from Visual Input
TU Berlin(柏林工业大学)
操纵规划是找到一系列机器人配置的问题,这些配置涉及与场景中的对象的交互,例如,抓取和放置物体,或更一般的工具使用。为了实现这样的交互,传统的方法需要手工设计对象表示和交互约束,当考虑复杂的对象/交互时,这很容易变得乏味。受3D建模的最新进展(例如NeRF)的启发,我们提出了一种将对象表示为连续函数的方法,在该连续函数上定义并联合训练约束特征。特别是,所提出的像素对齐表示直接从具有已知相机几何形状的图像中推断,并且自然地充当整个操纵管道中的感知组件,从而仅从视觉输入实现长期规划。项目页面:https://sites.google.com/view/deep-visual-constraints
2022-07-28 cs.RO
Efficient Gradient-Based Inference for Manipulation Planning in Contact Factor Graphs
Seoul National University(首尔大学)
本文提出接触因子图(CFG)建模接触与动力学约束,并利用可微因子和结构化条件概率开发高效推理算法,实现操控规划中的分布近似与可行解采样。
2025-03-08 cs.RO
MIGU: Multimodal Instruction Grounding under Uncertainty for Manipulation Planning
National University of Singapore(新加坡国立大学);University of California, Los Angeles(加州大学洛杉矶分校)
MIGU通过融合几何与语义不确定性,实现多模态指令接地,提升操作规划性能,在真实基准上优于基线。
2026-09-22 cs.RO
UniPlan: Vision-Language Task Planning for Mobile Manipulation with Unified PDDL Formulation
UniPlan通过统一PDDL形式实现视觉-语言任务规划,提升大规模室内移动操作的规划效率和效果。
2026-02-09 cs.RO
Simultaneous Trajectory Optimization and Contact Selection for Multi-Modal Manipulation Planning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
针对复杂灵巧操作的多接触变化需求,提出结合STOCS接触隐式优化与采样式树生长规划的混合操作规划器,仅需几十次采样即可生成含抓取、滑动、枢转的多模态轨迹,并经6自由度机械臂验证有效。
2023-06-10 cs.RO
Symbolic State Space Optimization for Long Horizon Mobile Manipulation Planning
The State University of New York at Binghamton(纽约州立大学宾汉姆顿分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
针对长时程移动操作中任务级状态空间构建困难的问题,提出S3O方法计算抽象位置及其2D几何锚定以生成任务-运动规划,在仿真和真实机器人实验中均优于现有TAMP基准。
2023-07-21 cs.RO
Action Planning for Packing Long Linear Elastic Objects into Compact Boxes with Bimanual Robotic Manipulation
The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了一个新的行动规划方法,自动包装长线性弹性物体到共同大小的箱子与双手机器人系统。为此,我们开发了一种混合几何模型来处理大规模的遮挡,结合在线基于视觉的方法和离线参考模板。然后,一个参考点生成器被引入到自动规划的参考位姿为预先设计的动作基元。最后,一个行动计划集成这些组件,使执行高层次的行为和包装操作任务的完成。为了验证所提出的方法,我们进行了详细的实验研究与多种类型和长度的对象和包装盒。
2022-07-19 cs.RO
Regrasp Maps for Sequential Manipulation Planning
Learning & Intelligent Systems Lab, TU Berlin, Germany(柏林技术大学学习与智能系统实验室);Science Of Intelligence Cluster of Excellence(智能科学卓越集群)
本文提出利用再抓取地图(状态空间抽象)捕获配置空间中可用抓取组合,指导基于优化的TAMP求解器加速搜索,并通过交替创建地图、调整和求解子问题实现稳健的再抓取操作规划。
2025-07-16 cs.RO
Neural Field Representations of Articulated Objects for Robotic Manipulation Planning
TU Berlin(柏林工业大学);Bilkent University(比尔肯特大学)
提出一种铰接物体的神经场表示(NFR),可直接从少量图像正向模拟运动并用于轨迹优化规划,支持形状重建等辅助任务,在合成数据训练下实现对真实世界未见同类物体的机器人操作。
2023-09-14 cs.RO
Describing Physics For Physical Reasoning: Force-based Sequential Manipulation Planning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);TU Berlin(柏林工业大学);University Stuttgart(斯图加特大学)
身体推理是动物和人类智力的核心方面。一个核心问题是应该使用什么模型作为推理的基础。现有的工作考虑模型,从直观的物理和物理模拟器,接触动力学模型用于机器人操作和运动。在这项工作中,我们提出的物理描述,直接使我们能够利用优化方法进行物理推理和顺序操纵规划。所提出的多物理制定使求解器混合不同层次的抽象和简化的不同对象和阶段的解决方案。作为一个必不可少的成分,我们提出了一个具体的参数化的扳手交换对象表面之间的路径优化框架,引入攻击点作为决策变量。我们展示了各种机器人操作规划问题的方法,如抓住一根棍子,以推动或解除另一个对象的目标,转移和抓住一本书从书架上,并抛出一个对象反弹向目标。
2020-07-05 cs.RO
Coupled Active Perception and Manipulation Planning for a Mobile Manipulator in Precision Agriculture Applications
Texas A&M University(德克萨斯农工大学);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
针对精准农业中移动机械臂需先近距感知再操作的CAPM问题,提出考虑可达性约束并最小化预期能耗的关键状态/任务规划方法,仿真与实物实验表明其较两阶段解耦方法更节能且任务成功率达100%。
2023-09-28 cs.RO
Robustness-Aware Tool Selection and Manipulation Planning with Learned Energy-Informed Guidance
division of Robotics, Perception and Learning, KTH Royal Institute of Technology(机器人、感知与学习系,皇家理工学院);Idiap Research Institute(Idiap研究机构);EPFL(瑞士联邦理工学院)
本文提出了一种基于学习能量感知指导的鲁棒工具选择与操作规划方法,通过分层优化流程提升工具使用在外部干扰下的鲁棒性。
2026-03-06 cs.RO
Arm Manipulation Planning of Tethered Tools with the Help of a Tool Balancer
Osaka University(大阪大学)
机器人操纵系留工具在机器人工作单元中被广泛看到。它们可能会导致工具的电缆上的过度应变或与机器人手臂的不希望的缠绕。本文提出了一种具有电缆方向约束的工具平衡器悬挂的系留工具的操作规划器。规划器使用方向约束来限制平衡器的电缆的弯曲,而机器人操纵工具,并将其放置在所需的姿势。这些约束减少了缠绕并减小了由线缆在机器人关节上引起的扭矩。仿真和真实世界的实验表明,受约束的规划器可以成功地规划机器人运动的悬浮系留工具的操作,防止机器人损坏电缆或得到其手臂纠缠,潜在地避免事故。该规划器在制造单元中具有广阔的应用前景。
2018-12-15 cs.RO
POMDP Manipulation Planning under Object Composition Uncertainty
Aalto University(阿尔托大学);TU Darmstadt(达姆施塔特工业大学)
在杂乱的环境中操纵未知对象是困难的,因为将场景分割成对象,即对象组成是不确定的。由于这种不确定性,早期的工作集中在识别“最佳”对象组合并相应地决定操作动作,或者试图收集关于“最佳”对象组合的信息。与以前的工作相反,我们1)在规划中利用不同的可能对象组成,2)利用机器人动作提供的对象组成信息,3)考虑到不同的竞争对象假设对实际任务的影响。我们铸造的操纵规划问题作为一个部分可观察的马尔可夫决策过程(POMDP),计划在可能的假设对象组成。POMDP模型选择最大化长期预期任务特定效用的行动,同时考虑信息行动的价值和不同对象假设对任务完成的影响。在使用RGB-D传感器、Kinova Jaco和Franka Panda机器人手臂的模拟和实验中,概率方法优于仅考虑最可能的对象组成的方法,并且长期规划优于贪婪决策。
2020-10-26 cs.RO
Enhancing Dexterity in Confined Spaces: Real-Time Motion Planning for Multi-Fingered In-Hand Manipulation
Swiss Federal Institute of Technology in Lausanne (EPFL)(洛桑联邦理工学院)
针对多指机械手内操作中的实时避碰难题,本文用神经网络显式建模可实时检索的无碰撞空间,并结合 C-space、动力系统闭环控制与采样规划,提升高维路径查找效率和动态避障能力。
2024-07-08 cs.RO
Grasping for a Purpose: Using Task Goals for Efficient Manipulation Planning
Institute for Robotics and Intelligent Machines(机器人与智能机器研究所);Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了一种有效的把握选择未知物体的操作任务的方法。即使对于简单的任务,如拾取和放置,一个独特的解决方案是罕见的。相反,必须考虑并(潜在地)测试多个候选抓取,直到找到一个成功的、运动学上可行的路径。为了使这个过程有效,抓取应该被排序,使得那些更有可能成功的抓取首先被测试。我们建议使用掌握可操作性作为一个度量优先掌握。我们目前的模拟实验结果表明,我们的度量的有用性。此外,我们目前的实验与我们的物理机器人执行简单的操作任务与一小部分不同的家用物品。
2016-03-14 cs.RO
Region-Based Planning for 3D Within-Hand-Manipulation via Variable Friction Robot Fingers and Extrinsic Contacts
Worcester Polytechnic Institute(伍斯特理工学院);Imperial College London(伦敦帝国理工学院)
实现机器人手内操纵(WIHM)的尝试通常利用具有精细感测装置的高DOF机器人手或多臂机器人系统。在以前的工作中,我们提出了一个简单的机器人手与可变摩擦机器人手指,它允许一个低复杂度的方法,手内物体的平移和旋转,虽然这种操作仅限于平面动作。在这项工作中,我们扩展了该系统的能力,三维操纵一个新的区域为基础的WIHM规划算法,并利用外部接触。调节手指摩擦力的能力增强了三维WIHM的外在灵活性,并允许我们在准静态水平下操作。基于区域的规划器自动生成具有修改的A* 公式的3D操作序列,该修改的A* 公式导航手指和对象表面之间的接触区域以到达期望的区域。该方法的核心是一组物体运动基元(即手内滑动,旋转和旋转),这可以很容易地通过改变接触摩擦来实现。通过这种方法,可以实现广泛的目标区域,这是通过真实的机器人实验后,标准化的手操作基准协议证明。
2021-05-20 cs.RO
Tethered Tool Manipulation Planning with Cable Maneuvering
Osaka University(大阪大学);National Inst. of AIST(日本产业技术综合研究所)
在本文中,我们提出了一个规划器使用双臂机器人操纵系留工具。规划器生成机器人运动序列,以操纵工具及其电缆,同时避免机器人电缆纠缠。首先,规划器生成一个对象操作运动序列(OMMS)来处理工具,并将其放置在所需的姿势。其次,规划器检查与OMMS相关联的工具运动,并计算电缆滑块的候选位置,以操纵工具电缆并避免碰撞。最后,规划器确定最佳滑块位置以避免缠绕,并生成线缆操纵运动序列(CMMS)以将滑块放置在这些位置。机器人执行OMMS和CMMS来处理工具及其电缆,以避免缠绕和过度的电缆弯曲。仿真和真实世界的实验有助于验证所提出的方法。
2019-09-24 cs.RO
Human-in-the-loop Robotic Manipulation Planning for Collaborative Assembly
Osaka University(大阪大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
提出了一种面向人机协同装配的机器人操作规划器。与以往研究一个独立的、完全配备人工智能的自主系统的方法不同,本文探讨了机器人和人之间的子任务分配,并研究了一个用于协同装配的人在回路机器人系统。该系统通过利用机器人和人类的优势,避免他们的缺点,分配装配的子任务。系统中的机器人将执行拾取和放置任务,并为人类提供工件。人类合作者将工作的精细操作,如对齐,固定,拧,等约束为基础的增量操作规划方法,提出了产生的机器人的运动。所提出的系统的性能证明,要求一个人和双臂机器人协作组装一个内阁。实验结果表明,所提出的系统和规划器是有效的,高效的,可以帮助人类舒适地完成装配任务。
2019-09-25 cs.RO
Implicit Contact-Rich Manipulation Planning for a Manipulator with Insufficient Payload
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
本文使用一个移动机械手与协作机器人手臂操纵物体超过机器人的最大有效载荷。提出了一种基于单次概率路径图的环境支持下的操作运动规划和优化方法。该方法使用扩展的对象网格模型来检查接触,并随机探索对象运动,同时保持接触并确保负担得起的抓握力。它使用基于优化的算法获得对象运动后生成机器人运动轨迹。在所提出的方法的帮助下,我们可以计划接触丰富的操作,而无需特别分析对象的接触模式及其过渡。规划器和优化器自动确定它们。我们进行了实验和分析,使用模拟和现实世界的执行,以检查该方法的性能。它可以成功找到满足接触、力和运动学约束的操作运动,从而允许移动机械手移动重物,同时利用环境障碍物的支撑力。该方法不需要显式地分析接触状态和建立接触转移图,为机器人的无抓取操作、无接触操作和有接触操作等提供了新的视角。
2023-02-26 cs.RO
Homotopic Path Set Planning for Robot Manipulation and Navigation
The Chinese University of Hong Kong(香港中文大学);Multi-Scale Medical Robotics Center(多尺度医学机器人中心)
针对机器人操作与导航中的多约束路径集规划难题,提出含扩展可见性检查、通道感知单路径规划、可变形路径迁移的同伦路径集规划流程,经仿真与实验验证有效。
2024-07-11 cs.RO
Backward-Forward Search for Manipulation Planning
在本文中,我们解决规划问题,在高维混合配置空间,特别关注的操纵规划问题,涉及许多对象。我们提出的混合向后-向前(HBF)规划算法,该算法使用向后识别的约束,直接采样的无限动作空间从初始状态到目标配置的前向搜索。由此产生的计划是概率完整的,可以有效地构建长期的操作计划,需要在混乱的环境中的musicile和nonmusicile行动。
2016-04-12 cs.AI cs.RO
Learning Feasibility of Factored Nonlinear Programs in Robotic Manipulation Planning
TU Berlin(柏林工业大学);Technion(以色列理工学院)
针对因子化非线性规划不可行性检测计算成本高的问题,提出图神经网络架构预测联合不可行的变量与约束,能泛化至更大规模问题,在机器人操作规划中将冲突提取算法加速达50倍。
2023-05-23 cs.RO
In-hand manipulation planning using human motion dictionary
Sorbonne Universite(索邦大学);University of Genoa(热那亚大学)
本文提出一种基于运动基元字典的方法,通过优化组合指尖运动基元,使机器人生成与人类一致的掌内操作运动,并隐式继承操作约束。
2023-08-29 cs.RO
PLanAR: Planning-Language-Grounded Agentic Reasoning for Robot Manipulation
Purdue University(普渡大学);Istituto Italiano di Tecnologia(意大利理工研究院)
提出PLanAR框架,通过规划语言接口定义VLM推理空间,实现开放词汇的长时域机器人操作,并支持逐步验证与重规划。
2026-05-31 cs.RO
Harmonious Sampling for Mobile Manipulation Planning
KAIST(韩国科学技术院)
移动操作规划通常采用解耦的方法,即分别在基座和机械手上进行规划。虽然这种方法速度很快,但它可能会生成次优路径。另一个方向是在高维位形空间中联合调整基座和机械手的耦合方法。这种耦合方法解决了解耦方法的次最优性和不完整性,但由于其过多的计算开销而没有被广泛使用。鉴于这种权衡的空间,我们提出了一个简单的,但有效的移动操作采样方法,和谐采样,主要是在困难的地区,我们需要同时操纵基地和机械手执行耦合的方法。我们的方法通过一个低维的基空间,利用可达性地图的目标末端执行器的姿态和广义沃罗诺伊图检测到的狭窄通道识别这样的困难区域。对于其余的简单区域,我们主要在具有预定义的联合配置的基本配置上执行采样,从而加速规划过程。我们比较我们的方法与解耦和耦合的方法在六个不同的问题,不同的难度。我们的方法在实验上显示了有意义的改进,在解耦方法的基础上,找到初始解决方案的时间(最多快5.6倍)和最终解决方案的成本(最多低17%),特别是在空间狭窄的困难场景中。我们还展示了这些好处与一个真正的,移动胡博机器人。
2019-09-27 cs.RO
Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning
Bogazici University(博阿齐奇大学);Ozyegin University(厄兹耶金大学);Osaka University(大阪大学)
提出一种通过二元瓶颈层联合发现操作原语和物体类别的方法,利用预测多模态交互效应进行离散规划,在桌面重定位和堆叠任务中优于现有方法。
2026-07-02 cs.RO
Integration of Robot and Scene Kinematics for Sequential Mobile Manipulation Planning
State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI), Beijing(国家一般人工智能重点实验室,北京一般人工智能研究院(BIGAI),北京);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Institute for Artificial Intelligence and School of Artificial Intelligence, Peking University(北京大学人工智能研究院和人工智能学院);Department of Automation, Tsinghua University(清华大学自动化系)
该研究提出序贯移动操作规划(SMMP)框架,通过构建增强配置空间(A-Space)集成机器人与场景运动学,实现三级高效规划,仿真成功率提升84.6%,真实系统验证了多物体、长步骤任务的流畅执行。
2025-08-26 cs.RO
Maintenance automation: methods for robotics manipulation planning and execution
Machines and Manufacturing Units (ISW), University Stuttgart(斯图加特大学机床与制造单元研究所);Institute of Control Engineering of Tool(工具控制工程研究所)
本文针对维护自动化需求,提出一套基于CAD与RGBD数据规划方法、可处理环境不确定性的完整机器人系统,能实现拆卸装配操作自动化并完成实验验证,为理论成果转化为实用方案迈出第一步。
2025-08-25 cs.RO
Manipulation Planning under Changing External Forces
University of Leeds(利兹大学)
在这项工作中,我们提出了一个机器人的操作规划算法,以保持一个物体在不断变化的外力稳定。我们特别关注的情况下,人类可能会施加有力的操作,例如切割或钻孔,对机器人持有的对象。规划者通过智能地决定当人类施加力时机器人应该何时改变其对物体的抓握来产生有效的规划。计划者还尝试选择随后的抓握,以便最大限度地减少长期需要的重新抓握次数。此外,当从一个抓取切换到另一个抓取时,规划器解决了双手重新抓取规划的问题,其中物体不放置在支撑表面上,而是由单个抓取器保持,直到第二个抓取器移动到物体上的新位置。这就要求规划者也要考虑物体在重力作用下的稳定性。我们在一个双手机器人上实现了规划器,并通过实验验证了规划器的性能。
2018-07-30 cs.RO
Visuo-Tactile Manipulation Planning Using Reinforcement Learning with Affordance Representation
A*STAR Institute for Infocomm Research (IR)(A*STAR资讯通信研究院(IR));A*STAR Institute of High Performance Computing (IHPC)(A*STAR高性能计算研究院(IHPC))
机器人越来越多地被期望在越来越非结构化的环境中操纵物体,其中物体属性具有来自任何单一感觉模态的高感知不确定性。这直接影响成功的对象操作。在这项工作中,我们提出了一个强化学习为基础的运动规划框架的对象操作,它利用两个飞行多感官反馈和学习的注意力引导的深度启示模型作为感知状态。示能表示模型是从多个感官模态学习的,包括视觉和触摸(触觉和力/扭矩),其被设计为预测和指示多个示能表示的可操纵区域(即,可抓握性和可推动性)用于具有相似外观但不同内在属性的对象(例如,质量分布)。然后,训练基于DQN的深度强化学习算法,以选择用于成功对象操作的最佳动作。为了验证所提出的框架的性能,我们的方法进行了评估和基准测试使用一个开放的数据集和我们收集的数据集。实验结果表明,本文提出的方法和整体框架优于现有方法,具有更高的精度和效率。
2022-07-14 cs.RO
Learn2Decompose: Learning Problem Decomposition for Efficient Sequential Multi-object Manipulation Planning
Idiap Research Institute(Idiap研究 institute);Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑分校)
本文提出了一种高效的任务与运动重计划方法,用于动态环境中连续多物体操作的规划。通过从示范中学习问题分解来加速TAMP求解器,核心方法包括目标分解学习、计算距离学习和物体减少,有效提升了重计划效率。
2026-05-19 cs.RO
Sampling-based Planning of In-Hand Manipulation with External Pushes
MIT(麻省理工学院)
本文提出了一种基于采样的规划算法,利用一系列的外部推动力的手操作的把握对象。一个高层次的采样为基础的规划框架,在一个低层次的逆接触动力学求解器,有效地探索空间的连续推动离散推杆接触切换。我们建模的抓地力,掌握的对象,和推杆之间的摩擦相互作用,通过离散化复杂的表面/线接触到阵列的硬摩擦点接触。逆动力学问题的瞬时推杆运动,产生所需的瞬时物体运动的形式是一个混合非线性互补问题。在这个动力学求解器的基础上,我们的规划器生成一系列推动,将物体转向目标抓取。我们评估的性能的计划的情况下,平行爪夹持器操纵不同的对象,无论是在模拟和真实的实验。通过这些例子,我们强调的重要属性的规划:尊重和利用的混合动力学的接触粘/滑动/滚动和离散接触切换的效率感。
2017-11-02 cs.RO
Reactive Informative Planning for Mobile Manipulation Tasks under Sensing and Environmental Uncertainty
University of Pennsylvania(宾夕法尼亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
在本文中,我们解决移动操作规划问题的存在感测和环境的不确定性。特别是,我们认为移动传感机械手在未知的几何形状和不确定的可移动物体的环境中工作,同时负责完成任务,需要抓住和释放对象的逻辑方式。现有的算法要么不能很好地扩展,要么忽略了传感和/或环境的不确定性。为了面对这些挑战,我们提出了一种混合控制架构,其中符号控制器生成高级操纵命令(例如,抓取物体),信息规划器设计路径以主动地减少感兴趣物体的不确定性,并且连续反应控制器跟踪包括信息路径的稀疏航路点,同时避免先验未知障碍物。整体架构可以在线处理环境和传感不确定性,因为机器人探索其工作空间。使用数值模拟,我们表明,所提出的架构可以处理任务的复杂性增加,同时响应意想不到的不利配置。
2022-05-12 cs.RO
BeBOP -- Combining Reactive Planning and Bayesian Optimization to Solve Robotic Manipulation Tasks
ABB Robotics(ABB机器人公司);Lund University(隆德大学);Royal Institute of Technology (KTH)(皇家理工学院(KTH))
针对机器人操作任务快速配置需求,提出结合反应式规划构建行为树结构、贝叶斯优化学习参数的BeBOP方法,还改进随机森林不确定性估计,在基准测试中速度最高达现有强化学习算法的46倍且更不依赖奖励塑形。
2023-10-02 cs.RO
COMPASS: Confined-space Manipulation Planning with Active Sensing Strategy
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院,中国深圳);Department of Electronic Engineering, and the Institute for Embodied Intelligence and Robotics, Tsinghua University, Beijing, China(清华大学电子工程系,以及 embodied intelligence and robotics 研究院,中国北京);The School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(南洋理工大学电子与电气工程学院,新加坡)
本文提出COMPASS框架,通过主动感知策略在受限和杂乱环境中实现安全操作,提高了操作成功率。
2026-05-19 cs.RO
Cloth Manipulation Planning on Basis of Mesh Representations with Incomplete Domain Knowledge and Voxel-to-Mesh Estimation
Shinshu University(信州大学)
我们考虑机器人布料操作的开放目标规划问题。我们的系统的核心是一个神经网络训练作为一个前向模型的布料行为下操纵,规划通过反向传播执行。我们引入了一个基于神经网络的例程,用于从体素输入估计网格表示,并在内部以网格格式执行规划。我们解决的问题,规划与不完整的领域知识,通过一个明确的认知不确定性信号。该信号是根据前向模型网络的两个实例之间的预测偏差计算的,并用于避免规划期间的认知不确定性。最后,我们介绍了逻辑处理限制的把握点的一组离散的候选人,以适应机器人硬件施加的可抓取性约束。我们评估系统的网格估计,预测和规划能力模拟布序列的一到三个操作。比较实验证实,估计网格的基础上的规划,提高精度相比,基于体素的规划,和认知不确定性的避免提高性能的条件下,不完整的领域知识。规划的时间成本是几秒钟。我们还提出了机器人硬件的定性结果。
2021-11-12 cs.AI cs.RO
A Dual-Arm Collaborative Framework for Dexterous Manipulation in Unstructured Environments with Contrastive Planning
The Hong Kong Polytechnic University(香港理工大学);University of York(约克大学);Shanghai Jiatong University(上海交通大学)
机器人的大多数物体操纵策略都是基于物体是刚性的假设(即,具有固定的几何形状)并且目标的细节已经被完全指定(例如,准确的目标姿势)。然而,存在许多涉及人类环境中的空间关系的任务,其中这些条件可能难以满足,例如,弯曲电缆并将其放入未知容器中。为了在非结构化环境中开发先进的机器人操作能力,避免这些假设,我们提出了一种新的长期框架,利用对比规划,找到有前途的合作行动。使用随机行动收集的模拟数据,我们学习的嵌入模型,以对比的方式编码的时空信息,从成功的经验,这有利于通过聚类在潜在空间中的子目标规划。在基于关键点对应的动作参数化基础上,设计了双臂协作的主从控制方案。我们的策略的所有模型都在模拟中自动训练,并可以直接转移到现实环境中。为了验证所提出的框架,我们进行了详细的实验研究,在模拟和真实环境中的环境和可达性的约束下的一个复杂的场景。
2022-09-13 cs.RO
RoboFlow4D: A Lightweight Flow World Model Toward Real-Time Flow-Guided Robotic Manipulation
School of Data Science, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)数据科学学院);The Hong Kong Polytechnic University(香港理工大学);University of Cambridge(剑桥大学);Shenzhen Loop Area Institute(深圳河套学院)
本文提出RoboFlow4D,一种轻量级的流世界模型,通过统一感知与规划,利用物理3D空间中的时间运动估计,实现高效的实时流引导机器人操作,提高了操作成功率和计算效率。
2026-05-17 cs.RO
Symbolic Manipulation Planning with Discovered Object and Relational Predicates
Bogazici University(博阿齐奇大学);Ozyegin University(厄齐耶因大学);Osaka University(大阪大学)
提出一种从机器人无监督探索中学习对象与关系符号并转换为PDDL进行长程规划的系统,验证了其在多对象操作任务中优于基线方法的规划性能。
2024-01-02 cs.RO
Planning for Dexterous Ungrasping: Secure Ungrasping through Dexterous Manipulation
The Hong Kong University of Science and Technology(香港科技大学)
本文研究机器人灵巧松持问题,提出可规划最小成本安全运动路径的框架,并发现夹爪手指长度不对称是实现可行、安全松持的关键。
2021-08-31 cs.RO
Technical Report: Reactive Planning for Mobile Manipulation Tasks in Unexplored Semantic Environments
University of Pennsylvania(宾夕法尼亚大学)
复杂的操作任务,如多个对象的重排规划,是组合困难的问题。现有的算法要么不能很好地扩展,要么假设了大量关于环境的先验知识,很少有算法能提供任何严格的保证。在本文中,我们提出了一种新的混合控制架构,实现这样的任务与移动机械手。在离散方面,我们丰富了时间逻辑规范与移动操作原语,如移动到一个点,并把握或移动对象。此类规范被转换为自动机表示,它将任务的物理基础编排到移动性或操纵控制器。从离散到连续无功控制器的接地是在线的,并且可以对发现未知障碍物做出响应,或者决定将阻止任务完成的可移动物体推开。尽管问题的复杂性,我们证明,在特定的条件下,我们的架构享有可证明的完整性的离散侧,可证明的终止连续侧,并避免了环境中的所有障碍。模拟说明了我们的架构,可以处理复杂性增加的任务,同时也响应未知的障碍或意外的不利配置的效率。
2021-03-24 cs.RO
LDHP: Library-Driven Hierarchical Planning for Non-prehensile Dexterous Manipulation
提出库驱动分层规划器LDHP,通过顶层接触状态规划器与底层抓取规划器协同,实现非抓取操作的可执行性,在零自由度提升和槽插入任务中验证了鲁棒性。
2026-07-01 cs.RO
ACDC: Adaptive Curriculum Planning with Dynamic Contrastive Control for Goal-Conditioned Reinforcement Learning in Robotic Manipulation
本文提出ACDC方法,结合自适应课程规划与动态对比控制,提升机器人操控任务中的样本效率和任务成功率。
2026-08-04 cs.RO
Collision-Inclusive Manipulation Planning for Occluded Object Grasping via Compliant Robot Motions
Department of Computer Science, Rice University(计算机科学系,里士大学);RAI Institute(RAI研究所)
针对遮挡物体抓取等接触丰富问题,提出一种包含碰撞的规划框架,利用柔顺运动和笛卡尔阻抗控制吸收碰撞,通过环境约束和操作漏斗减少不确定性,高效解决初始无可行抓取的现实问题。
2025-09-12 cs.RO
Efficient Task Planning for Mobile Manipulation: a Virtual Kinematic Chain Perspective
Drexel University(德雷塞尔大学)
我们提出了一个虚拟运动链(VKC)的角度来看,一个简单而有效的方法,以提高移动操作的任务规划效率。通过巩固的运动学的移动基地,手臂,和被操纵的对象集体作为一个整体,这种新颖的VKC的角度自然地定义抽象的行动,并消除不必要的谓词在描述中间的姿态。结果,这些优点简化了规划域的设计,并显著减小了求解规划问题时的搜索空间和分支因子。在实验中,我们实现了一个任务规划器使用规划域定义语言(PDDL)与VKC。与传统的域定义相比,我们基于VKC的域定义是更有效的规划时间和内存。此外,抽象动作在产生可行的运动计划和轨迹方面表现更好。在复杂的移动操作任务中,我们进一步扩展了基于VKC的任务规划器。综上所述,这些结果表明,使用VKC的移动操作任务规划不仅是自然和有效的,而且还引入了新的功能。
2021-08-03 cs.AI cs.RO
PILOT: Guiding Long-Horizon World-Model Planning for Robot Manipulation with Visual Subgoals and Policy Priors
University of Minnesota(明尼苏达大学)
该研究针对机器人长时程操作规划的引导难题,提出PILOT方法,结合视觉子目标与策略初始化的CEM优化,在真实机器人和仿真任务中显著提升了规划成功率与效率。
2026-10-14 cs.RO
MoMaStage: Skill-State Graph Guided Planning and Closed-Loop Execution for Long-Horizon Indoor Mobile Manipulation
MoMaStage通过结构化视觉-语言框架和闭环执行机制,实现长时域室内移动操作的高效规划与执行。
2026-09-04 cs.RO
Search-Based Task Planning with Learned Skill Effect Models for Lifelong Robotic Manipulation
Carnegie Mellon University(卡内基梅隆大学)
部署在许多现实环境中的机器人需要能够随着时间的推移获得新技能并解决新任务。以前的技能规划工作通常对技能和任务的结构做出假设,例如子目标技能,共享技能实现或特定于任务的计划框架,这限制了对新技能和任务的适应。相比之下,我们建议通过使用在模拟中学习的高级技能效果模型在参数化技能空间中进行联合搜索来进行任务规划。我们使用迭代训练过程来有效地生成相关数据来训练这样的模型。我们的方法允许灵活的技能参数化和任务规范,以促进终身学习的通用领域。实验表明,我们的规划者能够以终身的方式整合新技能,在训练和测试任务中以更低的成本找到新的任务策略。我们还表明,我们的方法可以转移到现实世界中,而无需进一步微调。
2022-04-14 cs.RO