Working Backwards: Learning to Place by Picking
Samsung AI Centre(三星人工智能中心);University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
本文提出PvP方法,通过反转抓取过程自主收集接触受限放置任务的演示数据,并利用行为克隆训练视觉策略,在家庭机器人场景中实现优于动觉示教且无需人工监督的放置性能。
2024-12-26 cs.AI cs.LG cs.RO
Multimodal Contact Detection using Auditory and Force Features for Reliable Object Placing in Household Environments
University of Bremen(不来梅大学)
典型的接触检测基于力和扭矩信号中的阈值的监测。阈值的选择对于在非结构化或高度动态的环境中操作的机器人是具有挑战性的,例如在家庭环境中,由于可能遇到的对象的特性的可变性。我们提出了一种多模态接触检测方法,使用时域和频域特征,该特征模拟了听觉和触觉模式中接触事件的独特特征。在我们的方法中,力和扭矩阈值的监测是不必要的,因为检测是基于频域中的力和扭矩信号的特性以及由操纵任务产生的冲击声。我们评估了我们的方法与一个典型的玻璃放置任务在家庭环境中。我们的实验结果表明,强大的接触检测(99.94%的平均交叉验证准确度)是可能的独立的力/扭矩阈值,并适合在高度动态的情况下实施操作。
2020-12-02 cs.RO
Autonomous Cooperative Wall Building by a Team of Unmanned Aerial Vehicles in the MBZIRC 2020 Competition
Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克理工大学电气工程学院)
本文提出了一个系统的自主合作墙建设与团队的无人机(UAV)。该系统是为2020年穆罕默德·本·扎耶德国际机器人挑战赛(MBZIRC)的挑战2而开发的。挑战2的筑墙场景以最初的砖块堆和墙结构为特色,其中单个砖块必须由三架无人机组成的团队放置。该任务的目标是最大限度地收集点,在有限的施工时间内放置砖,同时按照规定的墙模式。所提出的方法使用初始扫描,以找到一个先验的未知位置的砖和墙结构。然后,每个UAV被分配到单独的砖块和墙壁放置位置,并且仅使用机载资源进一步执行抓取和放置。开发的系统包括扫描给定区域的方法,砖块和墙壁放置位置的RGB-D检测,砖块的精确抓取和放置以及多架无人机的协调。本文介绍了整个系统,个别组件,在苛刻的户外条件下的实验验证,在竞争中取得的成果,以及经验教训。所提出的CTU-宾夕法尼亚大学-纽约大学方法在所有参与者中取得了整体最佳表现,通过正确放置大量砖块获得最高分数,赢得了MBZIRC竞赛。
2020-12-10 cs.RO
Predicting and Attending to Damaging Collisions for Placing Everyday Objects in Photo-Realistic Simulations
NICT(日本信息通信研究机构)
放置物体是家庭服务机器人的一项基本任务。因此,在放置运动之前推断碰撞风险对于实现所请求的任务至关重要。这个问题特别具有挑战性,因为有必要预测如果对象被放置在杂乱的指定区域中会发生什么。我们表明,一个基于规则的方法,使用平面检测,检测自由区,表现不佳。为了解决这个问题,我们开发了PonNet,它具有多模态注意分支和自我注意力机制来预测破坏性碰撞,基于RGBD图像。我们的方法可以可视化破坏性碰撞的风险,这很方便,因为它使用户能够了解风险。为此,我们构建并发布了一个原始数据集,其中包含12,000张家庭环境中特定放置区域的照片级逼真图像,以及日常生活对象。实验结果表明,我们的方法提高了准确性相比,基线方法。
2021-02-12 cs.CV cs.RO
Pick2Place: Task-aware 6DoF Grasp Estimation via Object-Centric Perspective Affordance
Columbia University(哥伦比亚大学);Samsung AI Center(三星人工智能中心)
本文提出Pick2Place算法,通过构建以物体为中心的动作空间和放置可供性图,实现任务感知的6DoF抓取估计,在仿真和真实机器人实验中达到超89%准确率并泛化至新场景。
2023-04-08 cs.RO
Resolution Complete In-Place Object Retrieval given Known Object Models
Rutgers(罗格斯大学)
这项工作提出了一个机器人任务规划框架检索目标对象在一个有限的工作空间中的多个堆叠的对象,阻碍了目标。该机器人可以进行自由拾取和工作空间内放置动作。该方法假设访问场景中可见对象的3D模型。关键的贡献在于获得所需的性质,即,通过避免与感测到的障碍物、物体和遮挡区域的碰撞来提供(a)安全性,以及(b)分辨率完整性(RC)-或取决于实现的概率完整性(PC)-其指示随着算法参数的分辨率增加,最终将找到解决方案(如果存在)。一个启发式的基本RC算法的变体也提出了更有效地解决任务,同时保留所需的属性。仿真结果比较使用随机拾取和放置操作对基本RC算法的原因对象的依赖性,以及其启发式的变种。在相同的时间内,RC方法的成功率更高。启发式变体能够比基本方法更有效地解决问题。RC算法与感知的集成,其中RGB-D传感器在物体移动时检测物体,使机器人能够从杂乱的货架上安全地检索目标物体。
2023-03-25 cs.RO
Learning to Manipulate Deformable Objects without Demonstrations
University of California, Berkeley(加利福尼亚大学伯克利分校)
在本文中,我们通过无模型的视觉强化学习(RL)来解决可变形对象的操作问题。为了避免RL的样本效率低下,我们提出了两个加速学习的关键思想。首先,我们提出了一个迭代拾取放置动作空间,编码的条件之间的关系,拾取和放置在可变形的对象。显式结构编码可以在复杂的对象动态下实现更快的学习。其次,我们只明确学习以随机挑选点为条件的放置策略,而不是联合学习挑选和放置位置。然后,通过选择具有配售下最大值(MVP)的挑选点,我们获得了我们的挑选策略。这为我们在测试期间提供了一个明智的挑选策略,而在训练期间只使用随机挑选点。在实验上,这个学习框架获得了一个数量级的速度比独立的动作空间的学习我们的一套可变形对象操作任务与视觉RGB观察。最后,使用域随机化,我们将我们的策略转移到一个真正的PR2机器人上,以完成具有挑战性的布料和绳索覆盖任务,并在平均覆盖率上展示了标准RL技术的显着改进。
2020-03-02 cs.CV cs.LG cs.RO
Learning to Place Unseen Objects Stably using a Large-scale Simulation
Gwangju Institute of Science and Technology(光州科学技术院)
针对未见物体放置(UOP)问题,提出大规模仿真数据集UOP-Sim与基于点云分割的UOP-Net,直接从部分点云检测最稳定平面,实现机器人在未知形状下的稳定放置,并在仿真与真实实验中达到SOTA。
2023-09-11 cs.RO
The robot skin placement problem: a new technique to place triangular modules inside polygons
Tsinghua University(清华大学);University of Genoa(热那亚大学)
为机器人提供大规模的机器人皮肤是一个具有挑战性的目标,特别是在考虑具有不同形状和曲率的表面时。这个问题源于触觉感知的技术进步,特别是两个要求:(i)用触觉传感器覆盖机器人表面的最大可能区域,以及(ii)使用廉价的可复制硬件模块。给定特定形状的模块,最佳放置它们的问题需要最大化可以固定在所选机器人身体部位上的模块的数量。与基于受计算几何启发的方法(例如,包装),我们提出了一种新的布局设计方法的灵感来自物理的见解,称为迭代放置(ItPla),安排模块,如果物理力作用在他们身上。从文献中的一些案例研究被认为是评估算法。
2017-11-28 cs.CG cs.RO
Compact Multi-Object Placement Using Adjacency-Aware Reinforcement Learning
University of Bonn(波恩大学);Center for Robotics, University of Bonn(波恩大学机器人中心);Lamarr Institute for ML and AI, Bonn(波恩拉马尔机器学习与人工智能研究所)
提出基于邻接感知强化学习的智能体框架,生成末端执行器运动以实现紧凑多物体放置,在遵守空间约束和避免碰撞的同时显著提升了物体组件紧凑性并减少所需空间。
2024-10-11 cs.RO
Object Placement Planning and Optimization for Robot Manipulators
KTH Royal Institute of Technology(KTH皇家理工学院);Yale University(耶鲁大学);Örebro University(厄勒布鲁大学)
我们解决的问题运动规划的机器人机械手的任务,把一个掌握的对象在一个混乱的环境。在这个任务中,我们需要为物体定位一个无碰撞的姿势,a)便于物体的稳定放置,b)机器人操纵器可以到达,c)优化用户给定的放置目标。由于放置目标,该问题比从一开始就定义目标姿态的经典运动规划更具挑战性。为了解决这个问题,我们提出了一个随时算法,集成了基于采样的运动规划的机器人操作器与一个新的分层搜索合适的放置位姿。我们评估我们的方法在双臂机器人两个不同的放置目标,并观察其有效性,即使在具有挑战性的情况下。
2019-07-04 cs.RO
Placeit! A Framework for Learning Robot Object Placement Skills
Sorbonne Université, CNRS, Institut des Systèmes Intelligents et de Robotique, ISIR(索邦大学、国家科学研究中心、智能系统与机器人研究所、ISIR)
提出Placeit!进化计算框架,通过质量-多样性优化生成刚性物体有效放置姿态,在多种场景中优于现有方法,并在120次真实部署中达到90%成功率。
2025-10-10 cs.LG cs.RO
Deformable Linear Object Surface Placement Using Elastica Planning and Local Shape Control
Technion(以色列理工学院)
本文提出一种双层DLO表面放置方法,高层基于欧拉弹性曲线规划,低层利用ResNet形状估计与反馈控制实现误差恢复,并通过仿真和生鲜食品硅胶模型实验验证。
2025-03-11 cs.CV cs.RO
SPOTS: Stable Placement of Objects with Reasoning in Semi-Autonomous Teleoperation Systems
Korea University(高丽大学);Chungang University(中央大学)
本文提出SPOTS框架,在远程操作放置任务中结合real-to-sim物理稳定性验证与大型语言模型语义推理,输出候选放置位置的概率分布,并在仿真和真实环境中验证其可提升物理合理性、情境可靠性并兼顾用户偏好。
2023-09-25 cs.AI cs.RO
Transferring Experience from Simulation to the Real World for Precise Pick-And-Place Tasks in Highly Cluttered Scenes
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA))
在本文中,我们介绍了一种新的基于学习的方法,用于在高度混乱的场景中抓取已知的刚性物体,并根据深度图像精确放置它们。我们的放置质量网络(PQ-Net)在神经网络的单个前向传递中以92 fps的速度同时估计多个对象的每个自动生成的抓取姿势的对象姿势和质量。所有抓取和放置试验都在物理模拟中执行,并且使用域随机化将获得的经验转移到现实世界中。我们证明,我们的政策成功地转移到现实世界。PQ-Net在抓取成功率方面优于其他无模型方法,并在没有任何人为干预的情况下自动扩展到任意对称的新对象。
2021-01-12 cs.AI cs.CV cs.RO
Stable Object Placement Planning From Contact Point Robustness
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所在读)
提出一种先选接触点再定放置姿态的规划器,利用稳定性启发式加速搜索,比传统方法快20倍,并在真实实验中验证了其通用性和有效性。
2025-05-23 cs.AI cs.RO
ReorientBot: Learning Object Reorientation for Specific-Posed Placement
Dyson Robotics Laboratory(戴森机器人实验室);Imperial College London(帝国理工学院)
机器人需要能够以任意特定的姿势放置物体,以重新排列世界并完成各种有价值的任务。物体重新定向在这方面起着至关重要的作用,因为物体最初可能没有被定向,使得机器人可以抓住它们,然后立即将它们放置在特定的目标姿势中。在这项工作中,我们提出了一个基于视觉的操作系统,ReorientBot,它包括1)视觉场景理解与姿态估计和体积重建使用板载RGB-D相机; 2)学习路径点选择成功和有效的运动生成重定向; 3)传统的运动规划,从选定的路径点生成一个无碰撞的轨迹。我们评估我们的方法使用YCB对象在模拟和现实世界中,实现93%的整体成功,81%的成功率提高,和22%的执行时间相比,启发式方法的改进。我们展示了扩展的多对象重排显示系统的一般能力。
2022-02-22 cs.AI cs.CV cs.LG
Non-rigid Relative Placement through 3D Dense Diffusion
Robotics Institute, School of Computer Science(计算机学院机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
针对现有相对放置方法无法处理非刚性物体的问题,提出交叉位移概念与基于视觉的3D密集扩散方法,实现可变形物体间的相对放置,在多类高变形任务中展现出强泛化能力。
2024-10-29 cs.AI cs.CV cs.LG
Improving Place Recognition Using Dynamic Object Detection
Intel Corporation(英特尔公司);Alma College(阿尔玛学院)
我们提出了一种新的方法来放置识别非常适合于环境中有许多动态对象-对象,可能会或可能不会出现在代理的后续访问。通过将对象检测预处理步骤,我们的方法产生高质量的地方表示,将对象信息。这不仅导致在动态环境中显着改善的地方识别,它也显着降低内存/存储的要求,这可能会增加移动代理的有效性与有限的资源。
2020-06-12 cs.CV cs.RO eess.IV