Thrust Microstepping via Acceleration Feedback in Quadrotor Control for Aerial Grasping of Dynamic Payload
Indian Institute of Technology (IIT), Kanpur(印度理工学院坎普尔分校)
针对四旋翼动态载荷空中抓取易因参数突变失稳的问题,提出基于加速度反馈推力微步进与解耦运动控制的TMDC方法,在多种恶劣场景下飞行稳定性优于现有方法,位置RMSE低于0.04米。
2024-10-08 cs.RO
Sim-to-Real Transfer of Accurate Grasping with Eye-In-Hand Observations and Continuous Control
Stanford University(斯坦福大学);NVIDIA(英伟达)
在机器人深度学习的背景下,我们展示了训练真实机器人抓住一个微小球体(直径1.37厘米)的有效方法,并结合了系统设计选择。我们将端到端系统分解为视觉模块和闭环控制器模块。这两个模块使用目标对象分割作为它们的公共接口。视觉模块以目标的二进制分割掩模的形式从机器人末端执行器相机提取信息。我们训练它来实现有效的域转移,通过组成真实的背景图像与目标的模拟图像。控制器模块将二进制分割掩模作为输入,并且因此对模拟环境与真实环境之间的视觉差异是不可知的。我们训练我们的闭环控制器在仿真中使用模仿学习,并显示它是强大的相对于模拟和真实机器人的动态模型之间的差异:当结合手眼观察,我们实现了90%的成功率在把握一个微小的球体与真实的机器人。控制器可以推广到目标正在移动的不可见场景,甚至可以学习从故障中恢复。
2017-12-19 cs.RO
Learning a visuomotor controller for real world robotic grasping using simulated depth images
Northeastern University(东北大学);Boston University(波士顿大学)
我们希望建造在非结构化现实世界应用中有用的机器人,例如在家庭中工作。特别是抓握是这一领域的一项重要技能,但它仍然是一个挑战。关键障碍之一是处理被抓取物体的意外变化或运动以及机器人中的运动噪声或其他错误。本文提出了一种方法来学习一个闭环控制器的机器人抓持,动态引导夹持器的对象。我们使用一个手腕上安装的传感器来获取深度图像在前面的抓地力和训练的卷积神经网络学习的距离函数,以真正掌握配置的图像。训练传感器数据是在模拟中生成的,这是以前使用真实机器人经验的工作的一个主要优势,因为获得真实机器人经验的成本很高。尽管在模拟中进行了训练,但我们的方法在真实的噪声传感器图像上效果良好。我们比较我们的控制器在模拟和真实的机器人实验中的一个强大的基线把握姿势检测,并发现我们的方法显着优于基线的运动噪声,感知误差和干扰的对象在把握过程中的存在。
2017-11-17 cs.AI cs.RO
Control Barrier Functions for Mechanical Systems: Theory and Application to Robotic Grasping
University of Melbourne(墨尔本大学);St. Vincent’s Hospital(圣文森特医院)
控制障碍函数已被证明是一个有用的方法,确保约束满足的控制器的广泛类别,但现有的结果大多限于连续时间系统的相对度1。机械系统,包括机器人,通常是二阶系统,其中控制发生在力/扭矩水平。这些系统具有对于安全和/或任务执行至关重要的速度和位置约束(即相对度2)。此外,机械系统通常作为采样数据系统进行数字控制。这项工作的贡献是双重的。首先,是开发新型、鲁棒的控制障碍函数,以确保在存在模型不确定性的情况下相对二阶采样数据系统的约束满足。第二,是所提出的方法的应用程序的机器人抓取的挑战性问题,其中机器人手必须确保一个对象保持在把握,同时操纵它到所需的参考轨迹。一个把握约束满足控制器的建议,可以承认现有的名义操纵控制器从文献中,同时确保没有滑动,没有过度延伸(如奇异配置),没有滚动的指尖。仿真和实验结果验证了所提出的控制机器人手的应用。
2019-03-23 cs.RO
DGBench: An Open-Source, Reproducible Benchmark for Dynamic Grasping
Queensland University of Technology(昆士兰科技大学);LYRO Robotics(LYRO机器人公司)
本文介绍了DGBench,一个完全可重复的开源测试系统,使基准动态抓取环境中的机器人和物体之间的不可预测的相对运动。我们使用建议的基准比较几个视觉感知的安排。由于传感器的最小范围、遮挡和有限的视场,为静态抓取开发的传统感知系统无法在抓取的最后阶段提供反馈。提出了一种多相机手眼感知系统,其具有优于常用相机配置的优点。我们定量评估一个真正的机器人与基于图像的视觉伺服把握控制器的性能,并显示一个动态抓取任务的成功率显着提高。
2022-07-13 cs.RO
DRAPER: Towards a Robust Robot Deployment and Reliable Evaluation for Quasi-Static Pick-and-Place Cloth-Shaping Neural Controllers
University of St Andrews(圣安德鲁斯大学);University of Nottingham(诺丁汉大学)
本文提出 DRAPER 框架,通过仿真环境适配、视觉处理及镊子扩展夹爪,实现仿真训练布料塑形神经控制器在真实展平与折叠任务中的鲁棒部署和可靠比较。
2025-03-14 cs.AI cs.RO
F1 Hand: A Versatile Fixed-Finger Gripper for Delicate Teleoperation and Autonomous Grasping
Preferred Networks Inc.(首选网络公司)
遥操作通常受到操作员在机器人与环境交互时做出反应和预测机器人行为的能力的限制。例如,为了抓住桌子上的小物体,遥控操作员需要在手指闭合之前预测指尖的位置,以避免它们碰到桌子。出于这个原因,我们开发了F1手,这是一种单电机夹持器,可以通过使用固定手指进行远程操作。这只手能够抓住像回形针一样薄的物体,以及像无绳钻一样重和大的物体。通过更换不同形状的固定手指,可以扩大手的适用性。这种灵活性使手具有高度的通用性,同时易于开发和廉价。然而,由于非典型的非对称结构和驱动的手通常的抓取策略不再适用。因此,我们提出了一个控制器,通过使用整个arm.F1的手和它的控制器的运动近似致动对称性进行比较并排与原来的丰田人类支持机器人(HSR)的抓地力在遥操作使用22个对象从YCB数据集,除了小的对象。抓持时间和峰值接触力可分别减少20%和70%,同时成功率提高5%。使用现成的把握姿态估计自主抓取,该系统取得了类似的成功率,原来的HSR夹持器,在80%的顺序。
2022-05-14 cs.RO
TacDexGrasp: Compliant and Robust Dexterous Grasping with Tactile Feedback
Peking University(北京大学);Galbot;Beijing Academy of Artificial Intelligence(北京人工智能研究院)
TacDexGrasp通过触觉反馈和SOCP控制器实现灵活且稳健的灵巧抓取,有效解决多指抓取中的力分配和滑动问题。
2026-03-07 cs.RO
High-Bandwidth Tactile-Reactive Control for Grasp Adjustment
Department of Mechanical Engineering, Massachusetts Institute of Technology(机械工程系,麻省理工学院)
本文提出一种纯触觉反馈的抓取调整算法,无需物体几何先验或精确抓取姿态即可从粗糙初始构型优化抓取,并在15自由度臂手系统上验证了其提升抓取稳定性的有效性。
2025-09-19 cs.RO
Robot Learning of 6 DoF Grasping using Model-based Adaptive Primitives
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT));SCHUNK GmbH & Co. KG(雄克有限两合公司)
本文提出一种混合方法,将基于模型的控制器集成到全卷积抓取原语学习中,参数化横向自由度以避免碰撞并提升六自由度料箱拣选性能,经27000次真实训练后在密集杂乱中抓取已知物体成功率超过92%。
2021-03-23 cs.RO
Robust Object Manipulation for Tactile-based Blind Grasping
The University of Melbourne(墨尔本大学);St. Vincent’s Hospital(圣文森特医院)
基于触觉的盲抓取解决了现实的机器人抓取,其中手只能访问本体感受和触觉传感器。机器人手没有物体/抓取属性的先验知识,例如物体重量、惯性和形状。不存在严格保证在这样的设置中的对象操纵的操纵控制器。在这里,提出了一种鲁棒控制律的对象操作基于手势的盲抓。该分析确保了半全局渐近和指数稳定的存在模型的不确定性和外部干扰,被忽略在相关的工作。仿真和实验结果验证了该方法的有效性。
2019-02-07 cs.RO
Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing
Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心);Queensland University of Technology (QUT)(昆士兰科技大学)
本文考虑的视觉闭环抓取的RGB-D相机不再能够提供有效的深度信息的最终方法阶段。许多当前的机器人抓取控制器不是闭环的,因此不能用于移动物体。基于RGB-D图像的闭环抓取控制器可以跟踪移动物体,但在抓取前违反传感器的最小物距时会失败。为了克服这一点,我们提出了使用基于图像的视觉伺服(IBVS)引导机器人的对象相对把握姿态使用相机RGB信息。IBVS鲁棒地将相机移动到根据图像平面特征配置隐式定义的目标姿态。在这项工作中,目标图像特征坐标是从RGB-D数据中预测的,以便在深度数据不可用时实现仅RGB跟踪-这使得能够更可靠地抓住以前看不见的移动物体。提供了实验结果。
2020-02-28 cs.CV cs.RO
Learning-Based Collaborative Control for Bi-Manual Tactile-Reactive Grasping
Department of Computer Science, Mississippi State University(密苏里州立大学计算机科学系);Department of Mechanical Engineering, Villanova University(维拉诺瓦大学机械工程系)
本文提出一种基于学习的触觉反应式多智能体模型预测控制器,利用双 Gelsight Mini 传感器实时估计接触动力学与物体柔顺性,实现双手协同抓取不同软硬度和形状的物体,并在实验中优于 PD 和 MPC 基线。
2025-09-24 cs.RO
Aggressive Aerial Grasping using a Soft Drone with Onboard Perception
Massachusetts Institute of Technology(麻省理工学院);Williams College(威廉姆斯学院)
本文提出首个配备完整机载感知的软体空中操作器,通过被动闭合腱驱动软体抓手、神经网络关键点检测与鲁棒3D姿态估计相结合,实现室内外环境下最高2.0 m/s的视觉抓取及对移动目标的抓取。
2023-08-11 cs.RO
PB&J: Peanut Butter and Joints for Damped Articulation
Carnegie Mellon University(卡内基梅隆大学)
针对刚性仿生手难以应对高频机械扰动的问题,开发了具有粘弹性关节的低成本人手抓取机器人,利用花生酱作为旋转阻尼器流体,成功实现了对球形物体的稳定抓取与下落轻球的实时接取。
2025-05-30 cs.RO
Sensorless damage-safe grasping
Kyushu University(九州大学)
本文提出一种无传感器的防损伤抓取控制器,仅用编码器位置和电机出力信号,通过限定压缩应变ε实现防损伤,在仿真和实物测试中均优于固定力基线,大幅降低软物体损伤。
2026-08-26 cs.RO
A Robust Controller for Stable 3D Pinching using Tactile Sensing
University of Bristol(布里斯托大学);Shadow Robotics Company(影子机器人公司);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
本文提出了一种控制器的稳定把握未知形状的物体由两个机器人手指与触觉指尖。通过在接触表面上滚动指尖并施加期望的抓握力以达到平衡状态来稳定抓握。验证是在模拟和全驱动机器人手(阴影模块化抓钳)配备定制的光学触觉传感器(基于BRL TacTip)。控制器需要接触表面的方向,这是通过在触觉图像上回归深卷积神经网络来估计的。总体而言,掌握系统被证明实现稳定的平衡构成各种物体的形状和柔软度,与系统的扰动和测量误差是鲁棒的。这种方法也有希望扩展到抓取之外,用多个手指稳定地操纵手中的物体。
2021-07-01 cs.RO cs.SY eess.SY
Online Trajectory Replanner for Dynamically Grasping Irregular Objects
Automation and Control Center, Egger GmbH(埃格公司自动化与控制中心)
本文提出一种两阶段的轨迹优化框架,通过10秒离线规划与100毫秒在线重规划结合轨迹跟踪控制器,实现了对不规则物体的动态抓取,有效减轻了视觉位姿估计误差。
2025-01-29 cs.RO
An Energy Balance Based Method for Parameter Identification of a Free-Flying Robot Grasping An Unknown Object
Institute for Systems and Robotics(系统与机器人研究所);Instituto Superior Tecnico(高等技术学院)
机器人系统的惯性参数的估计对于更好的轨迹跟踪性能是至关重要的,特别是当基于模型的控制器用于执行精确的任务时。在本文中,我们考虑的情况下,掌握一个未知属性的自由飞行空间机器人有限的驱动。问题是要找到整个系统的惯性参数后,已执行的把握。在惯性空间中提供激励,通过优化找到激励轨迹。截断傅立叶级数用于表示参考以及跟踪轨迹。一种基于驱动功和动能变化率之间的能量平衡的方法被引入来计算用于表示执行轨迹的傅立叶级数中的谐波的数量,同时试图找到占饱和效应和保持噪声之间的平衡。研究了输入饱和对参数估计的影响。使用空间CoBot自由飞行机器人的仿真结果表明该方法的可行性。
2018-03-15 cs.RO
Exploiting High Quality Tactile Sensors for Simplified Grasping
Nottingham Trent University(诺丁汉特伦特大学);Ulster University(阿尔斯特大学)
机器人被期望抓住各种各样的物体,这些物体的形状、重量或材料类型都不同。因此,为机器人提供类似于人类的触觉能力对于涉及人与机器人或机器人与机器人交互的应用至关重要,特别是在机器人预期抓取和操纵以前未遇到的复杂物体的情况下。成功抓取和操纵物体的一个关键方面是使用配备有多个高性能传感器的高质量指尖,这些传感器适当地分布在特定的接触表面上。在本文中,我们提出了一个详细的分析使用两种不同类型的商用机器人指尖(BioTac和WTS-FT),其中每一个都配备了多个传感器分布在指尖的接触表面。我们进一步证明,由于指尖的高性能,不需要复杂的自适应抓取算法来抓取日常物体。我们的结论是,一个简单的算法的基础上的比例控制器将足以为许多抓应用程序,提供相关的指尖表现出高灵敏度。在定量评估中,我们还证明,部分由于传感器分布,基于BioTac的指尖比WTS-FT设备表现更好,能够提升高达850 g的负载,并且简单的比例控制器即使在物体暴露于显著的外部振动挑战时也可以适应抓握。
2022-07-25 cs.CV cs.RO
Towards Feasible Dynamic Grasping: Leveraging Gaussian Process Distance Field, SE(3) Equivariance and Riemannian Mixture Models
University of Pennsylvania(宾夕法尼亚大学)
本研究整合高斯过程距离场、SE(3)等变网络与黎曼混合模型,提出动态环境下机器人抓取新方法,通过形状重建、等变采样与可达性评估生成可行抓取位姿,经实验验证可提升动态抓取成功率与执行平滑性。
2024-03-07 cs.RO
See to Reach, Feel to Grasp: Learning A Blind Grasp Reflex for Anthropomorphic Robotic Hands
Massachusetts Institute of Technology(麻省理工学院);Seoul National University(首尔大学);Yonsei University(延世大学)
本研究提出模块化灵巧抓取架构,仅凭手部本体感觉实现盲抓取,分离手臂运动与接触控制,学习稳定抓取分数,仿真与硬件实验验证鲁棒性,遵循“看到达,触觉抓取”原则。
2026-09-28 cs.RO
Dynamic Grasping with a "Soft" Drone: From Theory to Practice
Massachusetts Institute of Technology(麻省理工学院)
在现有的空中机械手中使用的刚性夹具需要精确定位以实现成功的抓取并传递可能使无人机不稳定的大接触力。这限制了抓取过程中的速度,并防止了“动态抓取”,即无人机在移动时试图抓取物体。另一方面,生物系统(例如,鸟类)依靠柔顺和柔软的部件来抑制接触力并补偿抓持不准确性,从而实现令人印象深刻的壮举。本文介绍了软无人机的第一个原型-一个四旋翼,传统的(即,刚性)起落架被软腱致动的夹持器取代,以实现积极的抓持。我们提供三个关键贡献。首先,我们描述了我们的软无人机原型,包括机电设计,软件基础设施和制造。其次,我们回顾了我们用于无人机和软夹持器的轨迹优化和控制的一组算法;这些算法结合了最先进的四旋翼控制技术(即,自适应几何控制器)与高级软机器人模型(即,准静态有限元模型)。最后,我们在物理模拟(使用SOFA和Unity)和运动捕捉室中的真实测试中评估我们的软无人机。我们的无人机能够在基线方法失败的情况下动态地抓住未知形状的物体。我们的物理原型确保了一致的性能,在23次试验中实现了91.7%的成功抓握。我们在视频附件中展示了动态抓取结果。视频附件:https://youtu.be/mqbj8mEyCdk
2021-10-01 cs.RO
Haptic-guided assisted telemanipulation approach for grasping desired objects from heaps
University of Birmingham(伯明翰大学)
本文提出融合物体位姿估计、动态抓取重排序、混合力/位轨迹引导与 SpectGRASP 的触觉辅助双边遥操作框架,实现从杂乱堆积物中轻松抓取目标物体。
2023-07-13 cs.RO
LeTac-MPC: Learning Model Predictive Control for Tactile-reactive Grasping
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
本文提出 LeTac-MPC,通过可微 MPC 层建模 GelSight 触觉嵌入,实现 25 Hz 鲁棒反应式抓取,并在动态力交互任务中优于 MPC、PD 与开环方法。
2024-09-07 cs.AI cs.RO
Control Architecture for Safe Grasping of Fragile Objects Using a Coarse Position-Controlled Gripper
Technical University of Munich(慕尼黑工业大学);Resense GmbH(Resense有限公司)
针对粗位置控制夹爪,提出几何感知的力/力矩接触估计与自适应导纳控制,实现未知易碎物体的安全稳定抓取,实验验证防滑且施加最小力。
2026-09-24 cs.RO
Ablation Study of Multimodal Perception, Language Grounding, and Control for Human-Robot Interaction in an Object Detection and Grasping Task
Dalian University of Technology(大连理工大学)
本文通过消融研究探讨多模态感知、语言接地和控制模块对端到端性能的影响,评估最佳组合以优化执行时间和成功率。
2026-05-01 cs.AI cs.RO
Force-guided High-precision Grasping Control of Fragile and Deformable Objects using sEMG-based Force Prediction
高精度调节接触力对于抓取和操纵易碎或可变形物体至关重要。我们的目标是利用人手的灵活性来调节机器人手的接触力,并以可穿戴和非侵入性的方式利用人类的感觉-运动协同作用。我们通过表面肌电图(sEMG)从骨骼肌自主收缩过程中的电活动中提取力信息。我们建立了一个基于神经网络的回归模型,从预处理后的表面肌电信号中预测抓握力,并取得了较高的精度(R2 = 0.982)。基于从人体肌肉预测的力命令,我们开发了一个力引导的控制框架,其中力控制是通过一个导纳控制器来实现的,该控制器跟踪预测的夹持力参考,以抓取精细和可变形的物体。我们证明了所提出的方法的有效性,从日常生活中的一组代表性的脆弱和可变形的对象,所有这些都被成功地抓住没有任何损坏或变形。
2021-02-11 cs.RO
MetaGraspNet_v0: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis
University of Waterloo(滑铁卢大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人们对由机器人系统驱动的智能工厂越来越感兴趣,以解决重复性的繁重任务。在机器人驱动的智能工厂应用中,一个有影响力但具有挑战性的任务是机器人抓取:使用机器人手臂在不同的环境中自主抓取物体。机器人抓取需要各种计算机视觉任务,如目标检测、分割、抓取预测、拾取规划等。虽然在利用机器学习进行机器人抓取方面取得了重大进展,特别是在深度学习方面,但仍然需要大规模、高质量的RGBD数据集,这些数据集涵盖了各种场景和排列。为了解决这个大的,多样化的数据问题,我们受到最近兴起的虚拟世界概念的启发,它极大地缩小了虚拟世界和物理世界之间的差距。Metaverse使我们能够创建真实世界制造场景的数字孪生,并虚拟地创建不同的场景,从中可以生成大量数据用于训练模型。在本文中,我们提出了MetaGraspNet:一个大规模的基准数据集,通过基于物理的元宇宙合成的视觉驱动的机器人抓取。建议的数据集包含100,000张图像和25种不同的对象类型,并分为5个难点,以评估不同抓取场景下的目标检测和分割模型性能。我们还提出了一个新的布局加权的性能指标旁边的数据集,用于评估目标检测和分割性能的方式,更适合于机器人把握应用程序相比,现有的通用性能指标。我们的基准数据集在Kaggle上开源,第一阶段包括详细的目标检测、分割、布局注释和布局加权性能度量脚本。
2022-08-30 cs.CV cs.RO
Grasping in the Dark: Zero-Shot Object Grasping Using Tactile Feedback
Perception and Robotics Group, University of Maryland, College Park(马里兰大学帕克分校感知与机器人小组);University of Maryland, College Park(马里兰大学帕克分校);University of Maryland(马里兰大学)
抓取和操纵各种各样的物体是一项基本技能,它将决定机器人在家庭中的成功和广泛应用。已经提出了几种用于鲁棒操纵的末端执行器设计,但它们大多在提供关于对象的先验信息或配备用于估计对象形状或大小的外部传感器时工作。这种方法仅限于多镜头或未知对象,并且易于受到来自外部估计系统的估计误差的影响。我们提出了一种方法来把握和操纵以前看不见的或zero-shot对象:没有任何事先的形状,大小,材料和重量属性的对象,只使用触觉传感器的反馈,这是相反的最先进的。这样的方法提供了强大的操纵对象时,对象模型是未知的,或者当它是从外部系统估计不正确。我们的方法受到动物或人类如何操纵物体的意识形态的启发,即,通过皮肤的反馈。我们的抓握和操纵都围绕着一个简单的概念,即物体如果抓得不稳就会打滑。这种滑动可以被检测到并被抵消,以实现对物体的类型、形状、尺寸、材料和重量不可知的鲁棒抓握。在我们的方法的关键是一种新的触觉反馈控制器,检测和补偿抓滑。我们成功地评估和证明了我们提出的方法在许多现实世界的实验中使用的影子灵巧手配备BioTac SP触觉传感器不同的物体形状,大小,重量和材料。我们获得了73.5%的整体成功率
2021-09-16 cs.RO
Dual Quaternion-Based Visual Servoing for Grasping Moving Objects
University of Birmingham(伯明翰大学);Sorbonne Université(索邦大学)
针对基于姿态的视觉伺服,提出了一种新的基于对偶四元数的模型。扩展我们以前的工作局部接触矩(LoCoMo)的基础上抓取规划,我们展示了在3D空间中任意移动的物体的抓。而不是使用传统的轴角参数化,双四元数允许设计的视觉伺服任务,在一个更紧凑的方式,并提供鲁棒性的机械手奇异。给定对象点云,LoCoMo生成抓取和预抓取姿态的排名列表,其用作视觉伺服的期望姿态。只要对象移动(通过视觉标记跟踪),所需的姿势就会自动更新。为此,利用对偶四元数空间距离误差,我们提出了一个动态的把握重新排名度量,以选择最佳可行的把握移动对象。这使得机器人可以很容易地跟踪和抓住任意移动的物体。此外,我们还探索机器人零空间与我们的控制器,以避免关节的限制,从而实现平滑的轨迹,同时以下移动的对象。我们评估所提出的视觉伺服的性能进行模拟实验,掌握各种对象,使用7轴机器人配备了2指夹持器。实验结果证明了我们所提出的视觉伺服的有效性。
2021-07-17 cs.RO
Steerable and Reactive Grasping Through Modular Design with a Three-Point Interface
University of Michigan(密歇根大学);MIT(麻省理工学院);Yonsei University(延世大学)
本文提出一种模块化抓取框架,通过三点接口分离几何推理与接触控制,结合热图采样、反应控制器和强化学习策略,实现可操控且鲁棒的抓取,并在仿真和硬件上验证。
2026-09-22 cs.RO
Transferring Contact, Not Just Motion: Compliant Grasping Across Dexterous Hands
University of California San Diego(加州大学圣迭戈分校)
提出跨本体力-位置接口,通过校准力矩和指尖力实现异构灵巧手间的接触感知抓取,结合流匹配视觉运动策略和混合力位控制器,实现可迁移的柔顺抓取。
2026-06-19 cs.RO
Phy-Tac: Toward Human-Like Grasping via Physics-Conditioned Tactile Goals
Department of Mechanical Engineering, The Hong Kong Polytechnic University (PolyU)(香港理工大学机械工程系);Research Institute for Smart Ageing (RISA), PolyU(PolyU智能老龄化研究所以);Ningbo Institute of Digital Twin, Eastern Institute of Technology (EIT)(宁波数字孪生研究所,东部技术研究所);Department of Mechanical and Energy Engineering, Southern University of Science and Technology(南方科技大学机械与能源工程系)
提出物理条件触觉方法Phy-Tac,通过位姿选择、隐扩散模型预测触觉目标与LQR控制实现力最优稳定抓取,在稳定性和力效率上优于基线,实现类人自适应操作。
2025-11-03 cs.RO
Grasp to Act: Dexterous Grasping for Tool Use in Dynamic Settings
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Grasp-to-Act系统,结合物理基抓取优化与强化学习适应,实现动态环境下稳定抓取。在五种动态工具使用任务中表现优异,减少手内滑动并提高任务完成率。
2026-02-24 cs.RO
DextrAH-RGB: Visuomotor Policies to Grasp Anything with Dexterous Hands
NVIDIA Corporation(英伟达公司);University of California, Berkeley(加州大学伯克利分校)
本文提出DextrAH-RGB系统,通过强化学习训练特权织物引导策略并蒸馏为基于RGB的策略,实现端到端灵巧抓取,在真实世界中对未见物体展现出强泛化能力与鲁棒的sim2real迁移。
2025-02-01 cs.RO
Decentralized Adaptive Aerospace Transportation of Unknown Loads Using A Team of Robots
The University of New Mexico(新墨西哥大学);Lehigh University(利哈伊大学)
本文提出一种分散式自适应控制器,使多类航空航天机器人能在不同重力环境下协同运输质量、惯量和抓取位置未知的载荷,并能在任务中应对机器人损失等意外变化。
2024-08-30 cs.RO
CoorGrasp: Coordinated Contact Control for Adaptive Dexterous Grasping Under Uncertainty
BNRist(北京信息科学与技术国家研究中心)
研究在形状和位置不确定时灵巧抓取执行问题,提出触觉驱动模型预测控制器,强调多接触协调,有协调感知相分离等三个创新点,经仿真和实验验证,提高了抓取成功率并减少物体不必要移动。
2026-08-04 cs.RO
Optimizing Grasping Precision for Industrial Pick-and-Place Tasks Through a Novel Visual Servoing Approach
针对工业拾取-放置任务中振动、路径偏差等导致物体位姿估计不准的问题,提出一种整合物体定位与视觉反馈精确控制的新型视觉伺服方法,提升抓取精度与环境适应性。
2025-01-24 cs.RO
ConGraspXL: Controllable Constraint-Conditioned Dexterous Grasping Motion Synthesis
ETH Zürich(苏黎世联邦理工学院);HKUST (GZ)(香港科技大学(广州));HKUST(香港科技大学)
针对灵巧抓取在任务约束下缺乏可控性的问题,提出ConGraspXL,通过层次化约束公式、掩码残差接口和动态手中心,实现精确灵活的约束条件抓取运动合成,并保持泛化能力。
2026-09-16 cs.CV cs.RO
DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping
针对机器人灵巧抓取泛化受限问题,提出分层框架DexGraspVLA,结合预训练视觉-语言模型(高层规划)与扩散动作控制器(低层执行),实现语言引导的通用灵巧抓取泛化,在未见场景达90%+成功率并支持长程指令等扩展能力。
2025-11-15 cs.AI cs.RO
A Ducted Fan UAV for Safe Aerial Grabbing and Transfer of Multiple Loads Using Electromagnets
South China University of Technology(华南理工大学)
本文提出一种机身外部安装电磁铁的共轴涵道风扇无人机,无需复杂附加执行器即可安全抓取和转移多个负载,并实现人机空中直接交接,通过ADRC控制器抑制扰动,飞行试验验证了其有效性。
2024-09-24 cs.RO
An Adaptive Grasping Force Tracking Strategy for Nonlinear and Time-Varying Object Behaviors
Tsinghua University(清华大学);Department of Mechanical Engineering, Tsinghua University(清华大学机械工程系)
本文提出基于LSTM网络的通用刚度估计器,解决非线性和时变物体抓取力跟踪问题,提升机器人在非结构化环境中的抓取能力。
2025-04-25 cs.LG cs.RO cs.SY
Neural Motion Fields: Encoding Grasp Trajectories as Implicit Value Functions
NVIDIA(英伟达);University of Toronto(多伦多大学);University of Washington(华盛顿大学)
当前机器人拾取和放置方法的流水线通常由几个阶段组成:抓取姿势检测,为检测到的姿势找到逆运动学解,规划无碰撞轨迹,然后用低级跟踪控制器执行到抓取姿势的开环轨迹。虽然这些抓取方法在抓取桌面上的静态物体时表现出良好的性能,但在受限环境中抓取动态物体的问题仍然是一个悬而未决的问题。我们提出了神经运动场,一种新的对象表示编码的对象点云和相对的任务轨迹作为一个隐式的价值函数参数化的神经网络。这种以对象为中心的表示对SE(3)空间上的连续分布进行建模,并允许我们通过利用基于采样的MPC来优化该价值函数,从而被动地执行抓取。
2022-06-29 cs.CV cs.RO
SAFE: Unified Slip and Fracture Detection with Low-Cost Acoustic Sensing in Robotic Grasping
Georgia Institute of Technology(佐治亚理工学院);Vanderbilt University(范德堡大学)
SAFE利用低成本声学传感和电机本体感觉,通过统一分类器实时检测抓取中的滑移与断裂,实现高成功率且无需视觉或材料先验知识的自适应抓取控制。
2026-10-08 cs.RO
From Technical Metrics to User Perception: A User Study of a Multimodal Human-Robot Interaction System for Object Detection and Grasping
Dalian University of Technology(大连理工大学)
通过24名用户的受试内实验,验证了端到端任务成功率从75%提升至90%的技术改进能显著提升用户对速度、可靠性和整体能力的感知,且70.83%的用户偏好改进系统。
2026-07-02 cs.AI cs.RO
Robotic Grasping of Fully-Occluded Objects using RF Perception
Massachusetts Institute of Technology(麻省理工学院)
我们提出的设计,实施和评估的RF把握,机器人系统,可以把握完全闭塞的对象在未知的和非结构化的环境。与受视觉和红外传感器的视线感知限制的现有系统不同,RF-Grasp采用RF(射频)感知来识别和定位目标物体,并在非视线设置中执行有效的探索和复杂的操作任务。RF-Grasp依赖于手眼相机和附着在感兴趣物体上的无电池RFID标签。它引入了两个主要创新:(1)RF视觉伺服控制器,其使用RFID的位置来选择性地探索环境并规划朝向被遮挡目标的有效轨迹,以及(2)RF视觉深度强化学习网络,其可以学习和执行用于整理和抓取的有效、复杂的策略。我们实现并评估了RF-Grasp的端到端物理原型。我们证明,它提高了成功率和效率高达40-50%,超过了最先进的基线。我们还展示了RF-Grasp在新的任务,如机械搜索障碍物后面的完全闭塞的物体,为机器人操作开辟了新的可能性。定性结果(视频)可在rfgrasp.media.mit.edu上获得
2021-05-02 cs.AI cs.RO
Hybrid Robotic Meta-gripper for Tomato Harvesting: Analysis of Auxetic Structures with Lattice Orientation Variations
Tohoku University, Japan(东京东京大学);Delft University of Technology (TU Delft), the Netherlands(代尔夫特理工大学);Indian Institute of Technology Kanpur (IIT Kanpur), India(印度理工学院坎浦尔分校)
本研究提出一种结合刚性外框与软体拉胀晶格的番茄采摘混合机器人夹爪,通过DIC实验与非线性FEA分析不同晶格方向对抓取性能的影响,为软硬混合夹爪设计优化提供了新见解。
2025-10-11 cs.RO
Hybrid Offline-Online Reinforcement Learning for Sensorless, High-Precision Force Regulation in Surgical Robotic Grasping
Dept. of Robotics, Mohamed bin Zayed University of AI(机器人学院,Mohamed bin Zayed人工智能大学)
本研究提出了一种混合离线-在线强化学习框架,通过高保真建模实现无传感器的高精度外科机器人抓取力调节,验证了仿真到现实的迁移能力。
2026-02-27 cs.RO
Grasping and Manipulation with a Multi-Fingered Hand
University of Birmingham(伯明翰大学)
本论文系关于机器人操作器之规划演算法。操纵有两个作用,机器人对物体产生物理作用,同时也获取物体的信息。本论文提出了处理这两个问题的算法。首先,我提出了一个著名的钢琴搬家机的问题,机器人推一个对象必须计划其运动以及对象的延伸。这需要在机器人的关节空间和对象的配置空间中同时规划,而原始问题仅需要在后一空间中规划。机器人动作对物体构形的影响由不可逆刚体力学决定。第二,我考虑不确定性下的规划,特别是信息效应的规划。我认为机器人的情况下,必须达到和掌握的形状不完整性造成的姿势不确定性的对象。本报告提出的方法是研究并可能扩展人工智能(A.I.)的新方法。这已经出现在过去的几年中,响应于建立智能控制器的非结构化随机环境中运行的代理的必要性。这种代理需要通过与环境的交互来学习最佳动作选择行为的能力。主要问题是,现实世界的问题通常是动态的和不可预测的。因此,智能体需要使用其传感器不断更新其当前世界的图像,这些传感器仅提供周围环境的嘈杂描述。虽然有不同的思想流派,但他们有自己的一套技术,一个全新的方向,将许多人工智能统一起来。研究的目的是将这种代理/环境交互形式化为具有随机动力学的嵌入式系统。
2022-01-19 cs.RO
Efficient Intrinsically Motivated Robotic Grasping with Learning-Adaptive Imagination in Latent Space
University of Hamburg(汉堡大学);Knowledge Technology, Department of Informatics(知识技术与信息学系)
结合基于模型和无模型的深度强化学习,在提高复杂控制任务的样本效率的同时仍保持高性能方面表现出了巨大的潜力。想象力是最近在这个方向上的努力,受到人类对运动行为的心理模拟的启发。我们提出了一种学习自适应的想象力的方法,与以往的方法不同,它考虑到了用于想象未来的学习动力学模型的可靠性。我们的方法在潜在空间中学习不相交的局部动力学模型的集合,并根据学习进度获得内在奖励,激励控制器采取行动,从而获得改进模型的数据。学习的模型用于生成想象的体验,增强真实体验的训练集。我们评估了我们的方法学习基于视觉的机器人抓取,并表明它显着提高了样本效率,并在稀疏奖励环境中达到接近最佳的性能。
2019-10-10 cs.AI cs.LG cs.RO
Omnigrasp: Grasping Diverse Objects with Simulated Humanoids
Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research(现实实验室研究);ETH Zurich(苏黎世联邦理工学院)
针对现有仿人机器人抓取方法适用范围有限的问题,提出利用类人运动表示训练控制器,可抓取超1200种物体并沿轨迹移动,在轨迹跟随和新物体泛化上达SOTA,无需成对运动轨迹数据集。
2025-05-18 cs.GR cs.RO
Data-driven controllers and the need for perception systems in underwater manipulation
Louisiana State University(路易斯安那州立大学)
水下环境对水下机器人机械手系统的自主能力提出了一个复杂的问题。由于UVMSs的高度非线性动力学和未知流体动力学效应的存在,其建模是一个复杂和昂贵的过程。这在需要操纵物体的任务中会加剧,因为这不仅可能引入会导致控制系统性能快速下降的外部干扰,而且还需要与视觉系统协调以正确抓取和操作物体。在这篇文章中,我们介绍了一种控制策略的UVMS工作与未知的有效载荷。所提出的控制策略是基于数据驱动的最优控制器。我们提出了一些实验结果显示所提出的策略的好处。此外,我们还讨论了UVMS的视觉感知要求,以便在未知有效载荷的水下操作任务中实现完全自主。
2021-09-21 cs.CV cs.RO
Meta-Learning Regrasping Strategies for Physical-Agnostic Objects
Bosch Center for Artificial Intelligence(博世人工智能中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对未知物理属性非均质物体抓取难题,提出元学习算法ConDex,结合CNP与DexNet-2.0通过深度图像在线估计物理属性并优化抓取点,在仿真和真实环境中均展现出优于基线的泛化性能。
2023-09-14 cs.AI cs.CV cs.LG