Towards Robust Autonomous Grasping with Reflexes Using High-Bandwidth Sensing and Actuation
Massachusetts Institute of Technology (MIT)（麻省理工学院）
现代机器人操作系统无法达到人类操作技能，部分原因是它们依赖于完全围绕视觉数据的闭环反馈，这降低了系统带宽和速度。通过开发依赖于高带宽力、接触和接近数据的自主抓取反射，可以提高整体系统的速度和鲁棒性，同时减少对视觉数据的依赖。我们正在开发一种新的系统，该系统围绕一个低惯性、高速、手指灵活的手臂构建，将一个运行频率低于1 Hz的高级轨迹规划器与运行频率高于300 Hz的低级自主反射控制器相结合。我们的反射系统的特点是通过比较一个天真的基线控制器和我们的反射抓控制器的变化的成功把握的一组体积，发现我们的控制器扩展了55%的成功把握相对于基线。我们还部署了一个简单的基于视觉的规划器在自主杂波清除任务，实现了把握成功率超过90%，同时清除超过100个项目。
2023-03-07 cs.RO
Deep Intrinsically Motivated Continuous Actor-Critic for Efficient Robotic Visuomotor Skill Learning
University of Hamburg（汉堡大学）
在本文中，我们提出了一个新的内在动机的演员-评论家算法学习连续的运动技能直接从原始的视觉输入。我们的神经结构由一个评论家和一个演员网络组成。两个网络都接收深度卷积自动编码器的隐藏表示，该编码器经过训练以重建视觉输入，而最中心的隐藏表示也经过优化以估计状态值。单独地，预测世界模型的集合基于其学习进度生成内在奖励信号，该内在奖励信号与外在奖励相结合以指导行动者-批评者学习者的探索。我们的方法是更有效的数据和固有的更稳定的比现有的演员评论家的方法从像素数据的连续控制。我们评估我们的算法的任务，学习机器人达到和掌握技能的一个现实的物理模拟器和一个人形机器人。结果表明，我们的方法学习的控制策略可以实现更好的性能比比较国家的最先进的和基线算法在密集的奖励和具有挑战性的稀疏奖励设置。
2019-02-18 cs.AI cs.LG cs.RO
LeTac-MPC: Learning Model Predictive Control for Tactile-reactive Grasping
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
本文提出 LeTac-MPC，通过可微 MPC 层建模 GelSight 触觉嵌入，实现 25 Hz 鲁棒反应式抓取，并在动态力交互任务中优于 MPC、PD 与开环方法。
2024-09-07 cs.AI cs.RO
Ablation Study of Multimodal Perception, Language Grounding, and Control for Human-Robot Interaction in an Object Detection and Grasping Task
Dalian University of Technology（大连理工大学）
本文通过消融研究探讨多模态感知、语言接地和控制模块对端到端性能的影响，评估最佳组合以优化执行时间和成功率。
2026-05-01 cs.AI cs.RO
A Collision-Aware Cable Grasping Method in Cluttered Environment
Universität Hamburg（汉堡大学）；Agile Robots AG（敏捷机器人公司）
提出CG-CNN碰撞感知线缆抓取方法，利用物理仿真、近似凸分解与域随机化训练模型预测抓取质量，在已知和未知线缆上分别取得92.3%和88.4%的成功率。
2024-03-04 cs.AI cs.RO
Composing Dextrous Grasping and In-hand Manipulation via Scoring with a Reinforcement Learning Critic
Learning AI for Dextrous Robots Lab, Technical University of Munich（灵巧机器人学习AI实验室，慕尼黑技术大学）；DLR Institute of Robotics & Mechatronics（德意志航天中心机器人与机电研究所）
提出利用手内操作强化学习智能体的评论家网络对初始抓取进行评分和选择，无需额外训练即可显著提升操作成功率，并在真实系统上实现了自主抓取与重定向的完整流程。
2025-05-19 cs.AI cs.RO
Transferring Contact, Not Just Motion: Compliant Grasping Across Dexterous Hands
University of California San Diego（加州大学圣迭戈分校）
提出跨本体力-位置接口，通过校准力矩和指尖力实现异构灵巧手间的接触感知抓取，结合流匹配视觉运动策略和混合力位控制器，实现可迁移的柔顺抓取。
2026-06-19 cs.RO
Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing
Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心）；Queensland University of Technology (QUT)（昆士兰科技大学）
本文考虑的视觉闭环抓取的RGB-D相机不再能够提供有效的深度信息的最终方法阶段。许多当前的机器人抓取控制器不是闭环的，因此不能用于移动物体。基于RGB-D图像的闭环抓取控制器可以跟踪移动物体，但在抓取前违反传感器的最小物距时会失败。为了克服这一点，我们提出了使用基于图像的视觉伺服（IBVS）引导机器人的对象相对把握姿态使用相机RGB信息。IBVS鲁棒地将相机移动到根据图像平面特征配置隐式定义的目标姿态。在这项工作中，目标图像特征坐标是从RGB-D数据中预测的，以便在深度数据不可用时实现仅RGB跟踪-这使得能够更可靠地抓住以前看不见的移动物体。提供了实验结果。
2020-02-28 cs.CV cs.RO
DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping
针对机器人灵巧抓取泛化受限问题，提出分层框架DexGraspVLA，结合预训练视觉-语言模型（高层规划）与扩散动作控制器（低层执行），实现语言引导的通用灵巧抓取泛化，在未见场景达90%+成功率并支持长程指令等扩展能力。
2025-11-15 cs.AI cs.RO
Enhancing a Neurocognitive Shared Visuomotor Model for Object Identification, Localization, and Grasping With Learning From Auxiliary Tasks
University of Hamburg（汉堡大学）
我们对统一视觉运动神经模型进行了后续研究，该模型用于在具有多个对象的场景中识别、定位和抓取目标对象的机器人任务。我们基于Retinanet的模型能够以生物启发的发展方法进行端到端的视觉能力训练。在我们最初的实现中，神经模型能够从平面上抓取选定的对象。我们在NICO人形机器人上实现了该模型。在这项后续研究中，我们扩展了任务和模型，以达到在三维空间中的对象与一个新的数据集的基础上增强现实和模拟环境。我们评估培训与辅助任务的影响，即，如果通过学习分类和定位不同的对象来支持主要视觉任务的学习。我们表明，所提出的视觉模型可以学习达到在三维空间中的对象。我们分析结果的生物合理的偏见的基础上的对象的位置或属性。我们表明，主要的视觉任务可以成功地同时训练的两个辅助任务之一。这是由具有共享和特定任务组件的复杂神经认知模型实现的，类似于生物系统中的模型。
2020-09-26 cs.CV cs.RO
MAVP: Map-Aware Visuomotor Policies for Mobile Manipulation
The University of Sydney（悉尼大学）
MAVP通过预测并跟踪基座位姿目标，利用地图和定位反馈提升移动操作策略的执行可靠性，在六个真实任务中超越速度控制方法。
2026-09-23 cs.AI cs.CV cs.LG
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）；Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)（仿生机器人与人工智能实验室（BRAIL））
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题，提出基于强化学习并结合域随机化的自主控制流程，在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
From Technical Metrics to User Perception: A User Study of a Multimodal Human-Robot Interaction System for Object Detection and Grasping
Dalian University of Technology（大连理工大学）
通过24名用户的受试内实验，验证了端到端任务成功率从75%提升至90%的技术改进能显著提升用户对速度、可靠性和整体能力的感知，且70.83%的用户偏好改进系统。
2026-07-02 cs.AI cs.RO
Robotic Grasping of Fully-Occluded Objects using RF Perception
Massachusetts Institute of Technology（麻省理工学院）
我们提出的设计，实施和评估的RF把握，机器人系统，可以把握完全闭塞的对象在未知的和非结构化的环境。与受视觉和红外传感器的视线感知限制的现有系统不同，RF-Grasp采用RF（射频）感知来识别和定位目标物体，并在非视线设置中执行有效的探索和复杂的操作任务。RF-Grasp依赖于手眼相机和附着在感兴趣物体上的无电池RFID标签。它引入了两个主要创新：（1）RF视觉伺服控制器，其使用RFID的位置来选择性地探索环境并规划朝向被遮挡目标的有效轨迹，以及（2）RF视觉深度强化学习网络，其可以学习和执行用于整理和抓取的有效、复杂的策略。我们实现并评估了RF-Grasp的端到端物理原型。我们证明，它提高了成功率和效率高达40-50%，超过了最先进的基线。我们还展示了RF-Grasp在新的任务，如机械搜索障碍物后面的完全闭塞的物体，为机器人操作开辟了新的可能性。定性结果（视频）可在rfgrasp.media.mit.edu上获得
2021-05-02 cs.AI cs.RO
Robust Object Manipulation for Tactile-based Blind Grasping
The University of Melbourne（墨尔本大学）；St. Vincent’s Hospital（圣文森特医院）
基于触觉的盲抓取解决了现实的机器人抓取，其中手只能访问本体感受和触觉传感器。机器人手没有物体/抓取属性的先验知识，例如物体重量、惯性和形状。不存在严格保证在这样的设置中的对象操纵的操纵控制器。在这里，提出了一种鲁棒控制律的对象操作基于手势的盲抓。该分析确保了半全局渐近和指数稳定的存在模型的不确定性和外部干扰，被忽略在相关的工作。仿真和实验结果验证了该方法的有效性。
2019-02-07 cs.RO
HannesImitation: Grasping with the Hannes Prosthetic Hand via Imitation Learning
Humanoid Sensing and Perception（人形感知与感知实验室）；Istituto Italiano di Tecnologia（意大利技术研究院）；Rehab Technologies Lab（康复技术实验室）
本文提出HannesImitationPolicy，通过模仿学习控制Hannes假手在无结构环境中抓取物体，并引入HannesImitationDataset进行训练，实验表明其在无结构场景中优于基于分割的视觉伺服控制器。
2025-08-01 cs.AI cs.RO
Closed-Loop Visuomotor Control with Generative Expectation for Robotic Manipulation
Shanghai AI Lab（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；HKU（香港大学）；Tsinghua University（清华大学）
针对长程任务开环控制易累积误差的问题，提出闭环视觉运动控制框架CLOVER，结合视频扩散模型生成视觉计划、可测嵌入空间量化误差及反馈驱动控制器优化动作，在CALVIN基准上较开环方法提升8%。
2024-10-16 cs.RO
Lightweight Learning from Actuation-Space Demonstrations via Flow Matching for Whole-Body Soft Robotic Grasping
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；University of Science and Technology of China (USTC)（中国科学技术大学）；University of Freiburg（弗莱堡大学）；Ludwig Maximilian University of Munich (LMU Munich)（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出一种轻量级动作空间学习框架，通过流匹配模型直接从确定性演示中推断分布控制表示，实现全身软机器人抓取的高效学习，仅需30次演示即可达到97.5%的成功率，并在动态调整时保持稳定性能。
2026-04-03 cs.RO
An Energy Balance Based Method for Parameter Identification of a Free-Flying Robot Grasping An Unknown Object
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Tecnico（高等技术学院）
机器人系统的惯性参数的估计对于更好的轨迹跟踪性能是至关重要的，特别是当基于模型的控制器用于执行精确的任务时。在本文中，我们考虑的情况下，掌握一个未知属性的自由飞行空间机器人有限的驱动。问题是要找到整个系统的惯性参数后，已执行的把握。在惯性空间中提供激励，通过优化找到激励轨迹。截断傅立叶级数用于表示参考以及跟踪轨迹。一种基于驱动功和动能变化率之间的能量平衡的方法被引入来计算用于表示执行轨迹的傅立叶级数中的谐波的数量，同时试图找到占饱和效应和保持噪声之间的平衡。研究了输入饱和对参数估计的影响。使用空间CoBot自由飞行机器人的仿真结果表明该方法的可行性。
2018-03-15 cs.RO
Towards Feasible Dynamic Grasping: Leveraging Gaussian Process Distance Field, SE(3) Equivariance and Riemannian Mixture Models
University of Pennsylvania（宾夕法尼亚大学）
本研究整合高斯过程距离场、SE(3)等变网络与黎曼混合模型，提出动态环境下机器人抓取新方法，通过形状重建、等变采样与可达性评估生成可行抓取位姿，经实验验证可提升动态抓取成功率与执行平滑性。
2024-03-07 cs.RO
Efficient Intrinsically Motivated Robotic Grasping with Learning-Adaptive Imagination in Latent Space
University of Hamburg（汉堡大学）；Knowledge Technology, Department of Informatics（知识技术与信息学系）
结合基于模型和无模型的深度强化学习，在提高复杂控制任务的样本效率的同时仍保持高性能方面表现出了巨大的潜力。想象力是最近在这个方向上的努力，受到人类对运动行为的心理模拟的启发。我们提出了一种学习自适应的想象力的方法，与以往的方法不同，它考虑到了用于想象未来的学习动力学模型的可靠性。我们的方法在潜在空间中学习不相交的局部动力学模型的集合，并根据学习进度获得内在奖励，激励控制器采取行动，从而获得改进模型的数据。学习的模型用于生成想象的体验，增强真实体验的训练集。我们评估了我们的方法学习基于视觉的机器人抓取，并表明它显着提高了样本效率，并在稀疏奖励环境中达到接近最佳的性能。
2019-10-10 cs.AI cs.LG cs.RO
Grasping in the Dark: Zero-Shot Object Grasping Using Tactile Feedback
Perception and Robotics Group, University of Maryland, College Park（马里兰大学帕克分校感知与机器人小组）；University of Maryland, College Park（马里兰大学帕克分校）；University of Maryland（马里兰大学）
抓取和操纵各种各样的物体是一项基本技能，它将决定机器人在家庭中的成功和广泛应用。已经提出了几种用于鲁棒操纵的末端执行器设计，但它们大多在提供关于对象的先验信息或配备用于估计对象形状或大小的外部传感器时工作。这种方法仅限于多镜头或未知对象，并且易于受到来自外部估计系统的估计误差的影响。我们提出了一种方法来把握和操纵以前看不见的或zero-shot对象：没有任何事先的形状，大小，材料和重量属性的对象，只使用触觉传感器的反馈，这是相反的最先进的。这样的方法提供了强大的操纵对象时，对象模型是未知的，或者当它是从外部系统估计不正确。我们的方法受到动物或人类如何操纵物体的意识形态的启发，即，通过皮肤的反馈。我们的抓握和操纵都围绕着一个简单的概念，即物体如果抓得不稳就会打滑。这种滑动可以被检测到并被抵消，以实现对物体的类型、形状、尺寸、材料和重量不可知的鲁棒抓握。在我们的方法的关键是一种新的触觉反馈控制器，检测和补偿抓滑。我们成功地评估和证明了我们提出的方法在许多现实世界的实验中使用的影子灵巧手配备BioTac SP触觉传感器不同的物体形状，大小，重量和材料。我们获得了73.5%的整体成功率
2021-09-16 cs.RO
An Adaptive Grasping Force Tracking Strategy for Nonlinear and Time-Varying Object Behaviors
Tsinghua University（清华大学）；Department of Mechanical Engineering, Tsinghua University（清华大学机械工程系）
本文提出基于LSTM网络的通用刚度估计器，解决非线性和时变物体抓取力跟踪问题，提升机器人在非结构化环境中的抓取能力。
2025-04-25 cs.LG cs.RO cs.SY
QuadWBG: Generalizable Quadrupedal Whole-Body Grasping
Peking University（北京大学）；Galbot；University of Toronto（多伦多大学）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
针对足式机器人运动与操作能力难无缝集成的问题，提出QuadWBG模块化框架，结合强化学习与GORM指标，实现89%的现实世界一次性抓取准确率，可覆盖大工作空间并执行多样全身操作任务。
2025-01-13 cs.AI cs.LG cs.RO
Dual Quaternion-Based Visual Servoing for Grasping Moving Objects
University of Birmingham（伯明翰大学）；Sorbonne Université（索邦大学）
针对基于姿态的视觉伺服，提出了一种新的基于对偶四元数的模型。扩展我们以前的工作局部接触矩（LoCoMo）的基础上抓取规划，我们展示了在3D空间中任意移动的物体的抓。而不是使用传统的轴角参数化，双四元数允许设计的视觉伺服任务，在一个更紧凑的方式，并提供鲁棒性的机械手奇异。给定对象点云，LoCoMo生成抓取和预抓取姿态的排名列表，其用作视觉伺服的期望姿态。只要对象移动（通过视觉标记跟踪），所需的姿势就会自动更新。为此，利用对偶四元数空间距离误差，我们提出了一个动态的把握重新排名度量，以选择最佳可行的把握移动对象。这使得机器人可以很容易地跟踪和抓住任意移动的物体。此外，我们还探索机器人零空间与我们的控制器，以避免关节的限制，从而实现平滑的轨迹，同时以下移动的对象。我们评估所提出的视觉伺服的性能进行模拟实验，掌握各种对象，使用7轴机器人配备了2指夹持器。实验结果证明了我们所提出的视觉伺服的有效性。
2021-07-17 cs.RO
Learning compliant grasping and manipulation by teleoperation with adaptive force control
Hunan University（湖南大学）；Bielefeld University（比勒费尔德大学）；University of the West of England（西英格兰大学）
在这项工作中，我们专注于提高机器人的灵巧能力，利用视觉传感和自适应力控制。TeachNet是一个基于视觉的遥操作学习框架，用于将人手姿态映射到多指机器人手。我们增强TeachNet，这是最初基于不精确的运动映射和位置伺服，与仿生学习为基础的顺应性控制算法灵巧的操作任务。该柔顺控制器以TeachNet中映射的机器人关节角度为目标，计算期望的关节力矩。它是从人类运动学习中的仿生控制策略的计算模型导出的，其允许在执行参考关节角度轨迹期间在线调整控制变量（阻抗和前馈力）。阻抗和前馈曲线的同时适应使机器人能够以顺应的方式与环境交互。我们的方法已经在物理模拟中的多个任务中得到验证，即，抓握、开门、转动帽子和触摸鼠标，并且已经显示出比现有的位置控制和基于固定增益的力控制方法更可靠的性能。
2021-07-21 cs.RO
SpaceDex: Generalizable Dexterous Grasping in Tiered Workspaces
Sun Yat-sen University（中山大学）；Stellarobot Company（Stellarobot公司）
SpaceDex提出了一种分层框架，通过视觉-语言模型规划和臂手特征分离网络，提升在受限3D环境中的灵巧抓取性能，实现在100次真实测试中达到63%的成功率。
2026-04-20 cs.RO
LEGATO: Cross-Embodiment Imitation Using a Grasping Tool
University of Texas at Austin（德克萨斯大学奥斯汀分校）；AI Institute（人工智能研究院）
本文提出 LEGATO 框架，通过统一动作与观测空间的手持夹爪、运动不变损失及逆运动学重定向，实现视觉运动技能在不同运动学形态机器人间的模仿学习与迁移。
2025-02-19 cs.RO
Learning Reactive and Predictive Differentiable Controllers for Switching Linear Dynamical Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机科学学院）；Robotics Institute（机器人研究所）
人类利用环境和自己身体的动态来完成具有挑战性的任务，例如在走过物体时抓住物体，或者推开墙壁转弯。这些任务通常涉及机器人进行和断开接触时的切换动力学。学习这些动力学是一个具有挑战性的问题，并且容易导致模型不准确，特别是在接触区域附近。在这项工作中，我们提出了一个框架，从专家演示学习复合动力学行为。我们学习了一个开关线性动力学模型，其中接触编码在开关条件中，作为我们系统动力学的近似。然后，我们使用离散时间LQR作为数据有效学习控制的可微策略类，以开发一种控制策略，该控制策略在多个动态模式下运行，并考虑到由于接触引起的不连续性。除了预测与环境的相互作用外，我们的策略还能有效地对不准确的预测做出反应，例如意外的接触。通过模拟和现实世界的实验，我们证明了学习行为的泛化到不同的场景和鲁棒性模型在执行过程中的不准确性。
2021-03-26 cs.AI cs.LG cs.RO
Risk-Aware Reinforcement Learning for Mobile Manipulation
Oxford Robotics Institute, Department of Engineering Science, University of Oxford（牛津大学机器人研究所、工程科学系、牛津大学）；Dyson Institute of Engineering & Technology（戴森工程与技术研究所）；Bristol Robotics Laboratory, School of Engineering, University of West England（布里斯托尔机器人实验室、工程学院、西英格兰大学）
本文提出了一种基于风险感知的强化学习方法，通过分布强化学习和模仿学习，实现移动操作中的风险敏感决策与策略蒸馏。
2026-03-04 cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Leveraging Kernelized Synergies on Shared Subspace for Precision Grasp and Dexterous Manipulation
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Naples Federico II（那不勒斯费德里科二世大学）
与抓握相反，操纵是一项需要使用灵巧手的任务。提高机器人手的灵巧性，增加了控制器的复杂性，因此需要使用姿势协同的概念。从姿势协同的启发，这项研究提出了一个新的框架，称为内核化的协同作用，专注于重复使用相同的子空间的精确把握和灵巧的操作。在这项工作中，计算出的子空间的姿态协同作用，参数化的概率运动原语，与内核处理，以保持其把握和操作特性，并允许其重用新的对象。所提出的框架的把握稳定性进行评估与力闭合质量指数。对于性能评估，所提出的框架进行了测试，在两个不同的模拟机器人手模型使用Syngrass工具箱和实验，四个复杂的抓取和操作任务的执行和报告。结果证实了所提出的框架和其推广到不同的对象，无论其形状和大小的手不可知的方法。
2020-09-03 cs.RO cs.SY eess.SY
Learning a generative model for robot control using visual feedback
我们介绍了一种新的配方，将视觉反馈控制机器人。我们定义了一个生成模型，从行动的图像观察功能的末端执行器。模型中的推理允许我们推断与特征的目标位置相对应的机器人状态。这反过来又引导机器人的运动，并允许以比最先进的视觉伺服方法少得多的步骤来匹配特征的目标位置。我们模型的训练过程可以同时有效地学习运动学，特征结构和相机参数。这可以在没有关于机器人、结构和观察它的摄像机的先验信息的情况下完成。学习是样本有效地完成的，并且对测试数据表现出很强的泛化能力。由于我们的公式是模块化的，我们可以修改设置的组件，如相机和对象，并在线快速重新学习它们。我们的方法可以处理观测状态中的噪声和与我们交互的控制器中的噪声。我们证明了我们的方法的有效性，通过执行把握和紧配合插入机器人不准确的控制器。
2020-03-10 cs.AI cs.RO
Omnigrasp: Grasping Diverse Objects with Simulated Humanoids
Carnegie Mellon University（卡内基梅隆大学）；Reality Labs Research（现实实验室研究）；ETH Zurich（苏黎世联邦理工学院）
针对现有仿人机器人抓取方法适用范围有限的问题，提出利用类人运动表示训练控制器，可抓取超1200种物体并沿轨迹移动，在轨迹跟随和新物体泛化上达SOTA，无需成对运动轨迹数据集。
2025-05-18 cs.GR cs.RO
Visuomotor Robotic Pruning in Planar Orchards Using Hybrid Reinforcement Learning
Oregon State University（俄勒冈州立大学）
本研究提出一种端到端流水线，利用混合强化学习训练视觉运动控制器，实现平面果园机器人修剪，在模拟中训练并零样本部署至真实果园，成功率约50%。
2026-09-22 cs.AI cs.RO
SAFE: Unified Slip and Fracture Detection with Low-Cost Acoustic Sensing in Robotic Grasping
Georgia Institute of Technology（佐治亚理工学院）；Vanderbilt University（范德堡大学）
SAFE利用低成本声学传感和电机本体感觉，通过统一分类器实时检测抓取中的滑移与断裂，实现高成功率且无需视觉或材料先验知识的自适应抓取控制。
2026-10-08 cs.RO
Hybrid Offline-Online Reinforcement Learning for Sensorless, High-Precision Force Regulation in Surgical Robotic Grasping
Dept. of Robotics, Mohamed bin Zayed University of AI（机器人学院，Mohamed bin Zayed人工智能大学）
本研究提出了一种混合离线-在线强化学习框架，通过高保真建模实现无传感器的高精度外科机器人抓取力调节，验证了仿真到现实的迁移能力。
2026-02-27 cs.RO
Bio-Inspired Grasping Controller for Sensorized 2-DoF Grippers
PAL Robotics；Bielefeld University（比勒费尔德大学）
本文提出一种结合位置与力控制的仿生抓取控制器，利用触觉传感暂停关节运动以建立力闭合，并补偿重力，在TIAGo机器人上验证了稳健抓取与减少物体位移的效果。
2023-11-13 cs.RO
Synchronized Online Friction Estimation and Adaptive Grasp Control for Robust Gentle Grasp
X-Humanoid
本文提出了一种同步在线摩擦估计与自适应抓取控制的统一框架，通过实时摩擦系数估计和动态抓力调节实现稳健的温和抓取。
2026-03-09 cs.RO
Pose-Agnostic Robotic Functional Grasping via Observation-Action Canonicalization
Tsinghua University（清华大学）；Amazon（亚马逊）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
提出AnyMug框架，通过观测-动作规范化将深度观测和末端执行器动作转换到物体中心坐标系，训练单一闭环策略实现零样本迁移的功能性抓取，在模拟和真实机器人上均取得高成功率。
2026-06-23 cs.RO
Folding Assembly by Means of Dual-Arm Robotic Manipulation
Royal Institute of Technology KTH（瑞典皇家理工学院）
本文提出一种适用于双臂机械手的折叠组装基本操作，用于更高层次的组装策略。通过实验验证了该方法在两个部件接触时的可行性。
2016-04-22 cs.RO cs.SY eess.SY
A Holistic Approach to Reactive Mobile Manipulation
QUT Centre for Robotics（昆士兰科技大学机器人中心）
我们提出了一个可分配任务的反应式移动操作系统的设计和实现。与相关工作相反，我们将手臂和基座的自由度视为一个整体结构，这大大提高了所产生的运动的速度和流动性。这种方法的核心是一个强大的和反应式的运动控制器，它可以实现所需的末端执行器的姿态，同时避免关节位置和速度限制，并确保移动机械手在整个轨迹的机动性。这可以支持基于传感器的行为，例如闭环视觉抓取。由于在我们的方法中不涉及规划，机器人永远不会静止地思考下一步该做什么。我们展示了我们的整体运动控制器的多功能性，通过实施一个拾取和放置系统，使用行为树，并证明了这项任务的9度的自由移动机械手。此外，我们提供了一个开源的实现我们的运动控制器的非完整和全向移动机械手可在jhavl.github.io/holistic。
2022-02-02 cs.RO
Dynamic Grasping with a Learned Meta-Controller
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
提出一种基于强化学习的元控制器动态调整动态抓取流水线的前瞻时间和运动规划时间预算，显著提升了抓取成功率与效率，并展现出对未见障碍物场景的强泛化能力。
2024-03-26 cs.RO
Improving Robot Dual-System Motor Learning with Intrinsically Motivated Meta-Control and Latent-Space Experience Imagination
University of Hamburg（汉堡大学）；Knowledge Technology（知识技术学院）
结合基于模型和无模型的学习系统已被证明可以提高学习的样本效率，以执行复杂的机器人任务。然而，双系统方法未能考虑学习模型的可靠性，当它被应用于进行多步预测，导致预测误差和性能下降的复合。在本文中，我们提出了一种新的双系统电机学习方法，其中元控制器基于学习模型的局部可靠性估计在线仲裁基于模型和无模型的决策。可靠性估计用于计算内在反馈信号，鼓励产生改进模型的数据的行动。我们的方法还集成了仲裁与想象力的学习潜在空间模型产生想象的经验，根据其本地的可靠性，作为额外的训练数据。我们评估我们的方法对基线和国家的最先进的方法在模拟和现实世界中学习基于视觉的机器人抓取。结果表明，我们的方法优于比较的方法，并学习接近最优的抓取策略在密集和稀疏奖励环境。
2020-11-01 cs.AI cs.LG cs.RO
Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding
Purdue University（普渡大学）；Meta Reality Labs Research（Meta现实实验室）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出Contact-Grounded Policy，通过预测机器人状态和触觉反馈的耦合轨迹，生成接触基础的灵活视觉-触觉策略，优于现有基线方法。
2026-05-08 cs.RO
Proactive slip control by learned slip model and trajectory adaptation
University of Lincoln（林肯大学）
本文提出了一种新的控制方法来处理对象滑移过程中的机器人操作运动。滑移是许多机器人抓取和操作任务失败的主要原因。现有工程增加抓地力，以避免/控制滑动。然而，当（i）机器人不能增加夹持力--已经施加了最大夹持力，或者（ii）增加的力损坏了所夹持的物体（例如软水果）时，这可能是不可行的。此外，机器人在物体表面形成稳定抓握时固定抓握力，并且在实时操作期间改变抓握力可能不是有效的控制策略。我们提出了一种新的控制方法，包括一个学习的行动条件滑移预测器和约束优化避免预测滑移给定所需的机器人动作。我们提出的轨迹自适应方法与滚动时域控制器的有效性与一系列真实的机器人测试案例。我们的实验结果表明，我们提出的数据驱动的预测控制器可以控制在训练中看不见的对象的滑移。
2022-09-13 cs.RO
CLAW: A Vision-Language-Action Framework for Weight-Aware Robotic Grasping
Department of Electrical and Computer Engineering, Drexel University（德雷塞尔大学电气与计算机工程系）
提出CLAW框架，通过解耦条件评估与动作生成，利用微调CLIP模型监控重量阈值并生成提示，结合流式VLA策略实现重量感知的机器人抓取，在单目标与双目标实验中优于基线模型。
2026-05-29 cs.RO
Reactive Informative Planning for Mobile Manipulation Tasks under Sensing and Environmental Uncertainty
University of Pennsylvania（宾夕法尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
在本文中，我们解决移动操作规划问题的存在感测和环境的不确定性。特别是，我们认为移动传感机械手在未知的几何形状和不确定的可移动物体的环境中工作，同时负责完成任务，需要抓住和释放对象的逻辑方式。现有的算法要么不能很好地扩展，要么忽略了传感和/或环境的不确定性。为了面对这些挑战，我们提出了一种混合控制架构，其中符号控制器生成高级操纵命令（例如，抓取物体），信息规划器设计路径以主动地减少感兴趣物体的不确定性，并且连续反应控制器跟踪包括信息路径的稀疏航路点，同时避免先验未知障碍物。整体架构可以在线处理环境和传感不确定性，因为机器人探索其工作空间。使用数值模拟，我们表明，所提出的架构可以处理任务的复杂性增加，同时响应意想不到的不利配置。
2022-05-12 cs.RO
Exp-Force: Experience-Conditioned Pre-Grasp Force Selection with Vision-Language Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Exp-Force通过经验条件框架利用视觉-语言模型实现基于单张图像的预抓取力选择，显著提升了抓取力的准确性和可靠性。
2026-03-09 cs.RO
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research（伯克利人工智能研究所）
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习，但实际上，现实世界中的强化学习具有挑战性，并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统，用于在没有人为干预的情况下，以自主的方式一起学习导航和操作，从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习，无需任何环境仪器，无需人为干预，也无需访问特权信息，例如地图，对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航，操纵政策的不确定性驱动器的导航控制器的探索，和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务，机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后，ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
Macroscopic EEG Reveals Discriminative Low-Frequency Oscillations in Plan-to-Grasp Visuomotor Tasks
Department of Electrical, Computer, and Biomedical Engineering, University of Rhode Island（电气、计算机与生物医学工程系，罗德岛大学）
本研究利用非侵入性脑电图和FBCSP特征提取，在计划-抓握视觉运动任务中证明低频振荡（0.5-8 Hz）可判别抓握类型，分类准确率达75.3%-77.8%，优于传统MRCP方法。
2025-10-21 cs.RO eess.SP
What is the Better Curriculum: Controller-Shaped Grasping Behavior for Contact Force-Sensitive Manipulation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对力敏感操作中手动数据收集困难的问题，提出用25 Hz触觉反射控制器作为教师生成示范，训练无触觉策略，在ACT上实现95%稳定抓取，并揭示扰动抑制仍依赖控制器。
2026-09-23 cs.RO
Real-Time Deep Learning Approach to Visual Servo Control and Grasp Detection for Autonomous Robotic Manipulation
University of São Paulo（圣保罗大学）
为了探索机器人抓取在非结构化和动态环境中，这项工作涉及的视觉感知阶段的任务。该阶段涉及视觉数据的处理，以获得要抓取的物体的位置，其姿态以及机器人的夹具必须接触以确保稳定抓取的点。为此，Cornell Grasping数据集用于训练一个卷积神经网络，该网络具有机器人工作空间的图像，具有特定对象，能够预测一个抓取矩形，该矩形象征着机器人夹具在关闭之前的位置，方向和打开。除了这个实时的【形】网络之外，另一个网络是为了处理对象在环境中移动的情况而设计的。因此，第二个网络被训练来执行视觉伺服控制，确保物体保持在机器人的视野中。该网络预测摄像机必须具有的线速度和角速度的比例值，使得物体总是在抓取网络处理的图像中。用于训练的数据集由Kinova Gen3操纵器自动生成。机器人也被用来评估实时的【形】的适用性，并从设计的算法获得实际的结果。此外，通过验证集获得的离线结果也分析和讨论其效率和处理速度。考虑到第一次看到的目标对象，所开发的控制器能够在最终位置实现毫米精度。据我们所知，我们还没有在文献中找到其他作品，实现这种精度与控制器从头开始学习。因此，这项工作提出了一个新的系统，自主机器人操作具有高处理速度和能力，推广到几个不同的对象。
2021-02-28 cs.RO
Current as Touch: Proprioceptive Contact Feedback for Compliant Dexterous Manipulation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究提出基于本体感受的框架，从电机电流和关节状态学习接触感知线索，预测柔顺参考位置，兼容主流遥操作和策略学习流程，实验表明无需外部触觉或力传感器也能实现稳定柔顺抓取等。
2026-07-07 cs.RO
