Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing
Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心）；Queensland University of Technology (QUT)（昆士兰科技大学）
本文考虑的视觉闭环抓取的RGB-D相机不再能够提供有效的深度信息的最终方法阶段。许多当前的机器人抓取控制器不是闭环的，因此不能用于移动物体。基于RGB-D图像的闭环抓取控制器可以跟踪移动物体，但在抓取前违反传感器的最小物距时会失败。为了克服这一点，我们提出了使用基于图像的视觉伺服（IBVS）引导机器人的对象相对把握姿态使用相机RGB信息。IBVS鲁棒地将相机移动到根据图像平面特征配置隐式定义的目标姿态。在这项工作中，目标图像特征坐标是从RGB-D数据中预测的，以便在深度数据不可用时实现仅RGB跟踪-这使得能够更可靠地抓住以前看不见的移动物体。提供了实验结果。
2020-02-28 cs.CV cs.RO
Depth-Based Visual Servoing Using Low-Accurate Arm
University of Bordeaux（波尔多大学）；Kyushu Institute of technology（九州工业大学）
本文提出了一种视觉伺服方法，致力于日常生活中的对象的抓取。为了获得一个负担得起的解决方案，我们使用了一个低精度的机械臂。我们的方法通过使用RGB-D传感器来校正误差。它是基于SURF不变的功能，使我们能够在一个高的帧速率进行目标识别。我们根据深度分割定义感兴趣区域，并使用它们来加速识别并提高可靠性。该系统已在真实世界的场景中进行了测试。尽管所有组件都缺乏准确性和不受控制的环境，但它在超过95次试验中成功地抓住了物体。
2016-12-12 cs.RO
Optimizing Grasping Precision for Industrial Pick-and-Place Tasks Through a Novel Visual Servoing Approach
针对工业拾取-放置任务中振动、路径偏差等导致物体位姿估计不准的问题，提出一种整合物体定位与视觉反馈精确控制的新型视觉伺服方法，提升抓取精度与环境适应性。
2025-01-24 cs.RO
Fast robust peg-in-hole insertion with continuous visual servoing
SDU Robotics（南丹麦大学机器人中心）；University of Southern Denmark（南丹麦大学）
本文展示了一种视觉伺服方法，该方法对与系统校准和抓取相关的不确定性具有鲁棒性，同时与经典方法和最近基于深度学习的尝试相比，显着减少了钉入孔时间。所提出的视觉伺服方法基于来自多凸轮设置中的深神经网络的钉和孔点估计，其中该模型在纯合成数据上训练。实证结果表明，学习模型推广到现实世界中，允许更高的成功率和更低的周期时间比现有的方法。
2020-11-12 cs.RO
Kinematically-Decoupled Impedance Control for Fast Object Visual Servoing and Grasping on Quadruped Manipulators
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Università di Genova（热那亚大学）
本文提出一种结合运动学解耦与阻抗控制的SAG控制流程，集成IBVS，在140 kg HyQReal四足机械臂上实现了动态运动、抗干扰和快速目标跟踪抓取。
2023-07-10 cs.CV cs.RO cs.SY
Estimating Fingertip Forces, Torques, and Local Curvatures from Fingernail Images
Volkswagen Group（大众汽车集团）；Umeå University（于默奥大学）
灵巧操作的研究为人类的感觉运动控制提供了重要的见解，也为机器人手的操作策略提供了灵感。以前的工作集中在实验环境的限制。在这里，我们描述了一种方法，使用指甲及其周围的皮肤的变形和颜色分布，估计指尖的力，扭矩和接触表面曲率为各种对象，包括接触表面的形状和材料和对象的重量。所提出的方法规避了与传感器化物体、手套或固定接触表面类型相关的限制。此外，与以前的单手指估计在实验环境中相比，我们扩展的方法，多手指的力估计，这可以用于应用程序，如人类抓握分析。使用了四种算法，c.q.，高斯过程（GP）、卷积神经网络（CNN）、具有快速丢弃的神经网络（NN-FD）和具有快速丢弃的递归神经网络（RNN-FD），以对从图像到对应标签的映射进行建模。结果进一步表明，该方法具有较高的预测力，扭矩和接触表面的准确性。
2019-09-09 cs.CV cs.LG cs.RO
Grasp EveryThing (GET): 1-DoF, 3-Fingered Gripper with Tactile Sensing for Robust Grasping
Massachusetts Institute of Technology（麻省理工学院）
本研究提出一种1自由度三指V形构型的GET夹爪，采用参数化设计可适配多类机器人，集成外置摄像头触觉感知与力估计神经网络，实验证实其抓取表现优于标准平指，设计已开源。
2025-07-30 cs.RO
Perception-Control Coupled Visual Servoing for Textureless Objects Using Keypoint-Based EKF
Epson Canada Ltd.（爱普生加拿大有限公司）；University of Toronto（多伦多大学）
本研究提出基于关键点的扩展卡尔曼滤波方法，通过闭环整合感知与控制，提升无纹理物体视觉伺服的鲁棒性和精度。
2026-02-25 cs.RO
DGBench: An Open-Source, Reproducible Benchmark for Dynamic Grasping
Queensland University of Technology（昆士兰科技大学）；LYRO Robotics（LYRO机器人公司）
本文介绍了DGBench，一个完全可重复的开源测试系统，使基准动态抓取环境中的机器人和物体之间的不可预测的相对运动。我们使用建议的基准比较几个视觉感知的安排。由于传感器的最小范围、遮挡和有限的视场，为静态抓取开发的传统感知系统无法在抓取的最后阶段提供反馈。提出了一种多相机手眼感知系统，其具有优于常用相机配置的优点。我们定量评估一个真正的机器人与基于图像的视觉伺服把握控制器的性能，并显示一个动态抓取任务的成功率显着提高。
2022-07-13 cs.RO
Visually Guided Object Grasping
GRAVIR-CNRS（GRAVIR-法国国家科学研究中心）；INRIA Rhône-Alpes（法国国家信息与自动化研究所罗纳-阿尔卑斯分部）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种视觉伺服方法解决物体抓取与对齐问题，扩展了相机未装于机器人上的方法并强调实时估计图像雅可比矩阵，利用未标定双目装置在三维射影空间表示对齐，分析了算法性能与抓取精度。
2023-11-21 cs.CV cs.RO
Robotic Grasping using Deep Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
在这项工作中，我们提出了一种基于深度强化学习的方法来解决机器人抓取问题，使用机器人电机反馈。基于深度学习的方法的使用降低了由使用手工设计的特征引起的复杂性。我们的方法使用一个离政策强化学习框架来学习抓取政策。我们使用双深度Q学习框架和一个新的Grasp-Q-Network来输出抓取概率，用于学习抓取，以最大限度地提高抓取成功率。我们提出了一个视觉伺服机制，使用多视图摄像机设置，观察包含感兴趣的对象的场景。我们使用Baxter Gazebo模拟环境以及实际机器人进行实验。结果表明，我们提出的方法优于基线Q学习框架，并通过适应多视图模型相比，单视图模型，提高了抓取精度。
2020-07-09 cs.RO
Neuromorphic Eye-in-Hand Visual Servoing
Khalifa University Center for Autonomous Robotic Systems (KUCARS), Khalifa University of Science and Technology（哈利法大学自主机器人系统中心（KUCARS），哈利法科技大学）；Kingston University（金斯顿大学）；Purdue University（普渡大学）
机器人视觉在工厂自动化中发挥着重要作用，为机器人应用提供服务。然而，传统的基于帧的相机的使用设置了连续的视觉反馈的限制，由于其低采样率和冗余的数据在实时图像处理，特别是在高速任务的情况下。事件摄像机提供类似人类的视觉功能，例如以高时间分辨率（$1μs$）异步观察动态变化，具有低延迟和宽动态范围。本文提出一种视觉伺服方法，利用事件摄像机和切换控制策略来探索、到达和抓取以实现操作任务。我们设计了三个活动事件的表层，直接处理相对运动的事件流。一个纯粹的基于事件的方法是通过提取角点特征，使用热图鲁棒地定位它们，并生成用于跟踪和对齐的虚拟特征。基于视觉反馈，控制机器人的运动，使时间即将发生的事件特征收敛到时空空间中的期望事件。控制器根据操作顺序切换其策略，以建立稳定的抓取。基于事件的视觉伺服（EVBS）方法进行了实验验证，使用商业机器人操作手在眼睛的配置。实验证明了EBVS方法在跟踪和抓取不同形状物体时的有效性，而无需重新调整。
2020-04-15 cs.CV cs.RO cs.SY
ART-VS: Adaptive Resolution Tiling for Vision Transformer Visual Servoing
Department of Computer Technology, University of Alicante（阿尔瓦登特技术系，阿利坎特大学）；Department of Industrial Engineering, UAS Technikum Vienna（工业工程系，维也纳技术学院）；Automation and Control Institute, TU Wien（自动化与控制研究所，维也纳技术大学）；Institute of Software Engineering and Artificial Intelligence, Graz University of Technology（软件工程与人工智能研究所，格拉茨技术大学）；Institute for Integrative Nature Conservation Research, University of Natural Resources and Life Sciences Vienna（整合自然保护研究 institute，维也纳自然资源与生命科学大学）
提出ART-VS方法，通过粗-精两阶段自适应调整特征粒度，在不需任务特定训练下提升视觉伺服鲁棒性和精度，显著降低定位误差并提高速度。
2026-06-18 cs.RO
3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation
Queensland University of Technology（昆士兰科技大学）
在本文中，我们提出了一种新的方法，视觉伺服的机器人，被称为3D移动到看到（3DMTS）的基础上，找到下一个最好的看法，使用3D相机阵列和机器人机械手从不同的角度获得多个样本的场景的原则。该方法使用语义视觉和应用于每个视角的目标函数来采样表示下一个最佳视图的方向的梯度。该方法在模拟和一个真正的机器人平台上进行了演示，该平台包含一个自定义的3D相机阵列，用于在高度闭塞和非结构化的环境中进行机器人收获的挑战性场景。在一个真实的机器人平台上显示，通过使用目标函数的梯度移动末端执行器，即使在遮挡之间，也会导致感兴趣对象的局部最佳视图。与使用单个RGB-D相机的基线方法相比，3DMTS方法的总体性能获得了目标尺寸平均增加29.3%，基线方法获得了9.17%。结果表明，定性和定量的3DMTS方法在大多数情况下表现更好，并产生三倍的目标大小相比，基线方法。在最终视图中增加的目标尺寸将改善对感兴趣对象的关键特征的检测，以用于进一步操纵，例如抓取和收获。
2018-09-21 cs.RO
Markerless visual servoing on unknown objects for humanoid robot platforms
Istituto Italiano di Tecnologia（意大利理工学院）
本文提出了一种无标记未知物体的人形机器人视觉伺服框架，通过立体视觉计算可抓取物体的体积，利用递归贝叶斯滤波估计末端执行器的6D姿态，结合非线性约束优化问题计算目标姿态，并通过图像基于视觉伺服控制实现末端执行器的精确控制。
2017-10-12 cs.RO cs.SY eess.SY
KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation
Institute for Infocomm Research (IR), A*STAR（A*STAR资讯通信研究院（IR））；Institute for High Performance Computing (IHPC), A*STAR（A*STAR高性能计算研究院（IHPC））
我们提出了KOVIS，一种新的学习为基础的，无标定的视觉伺服方法，精细的机器人操作任务与手眼立体摄像机系统。我们只在模拟环境中对深度神经网络进行训练，训练后的模型可以直接用于现实世界的视觉伺服任务。KOVIS由两个网络组成。第一个关键点网络使用自动编码器从图像中学习关键点表示。然后视觉伺服网络根据从摄像机图像中提取的关键点学习运动。这两个网络在模拟环境中通过自监督学习进行端到端的训练，而无需手动数据标记。在使用数据增强、域随机化和对抗性示例进行训练后，我们能够实现zero-shot仿真到现实迁移到现实世界的机器人操作任务。我们证明了所提出的方法的有效性，在模拟环境和现实世界的实验与不同的机器人操作任务，包括抓取，钉孔插入与4mm的间隙，和M13螺钉插入。演示视频可在http://youtu.be/gfBJBR2tDzA上获得
2020-07-28 cs.CV cs.RO
ViT-VS: On the Applicability of Pretrained Vision Transformer Features for Generalizable Visual Servoing
Department of Computer Technology, University of Alicante（阿尔瓦登大学计算机技术系）；Industrial Engineering Department, UAS Technikum Vienna（维也纳技术学院工业工程系）
提出利用预训练Vision Transformer进行语义特征提取的视觉伺服方法ViT-VS，无需特定训练即结合经典与学习方法优势，在干扰场景下相对改进达31.2%，并实现跨样本泛化。
2025-03-06 cs.CV cs.RO
Learning compliant grasping and manipulation by teleoperation with adaptive force control
Hunan University（湖南大学）；Bielefeld University（比勒费尔德大学）；University of the West of England（西英格兰大学）
在这项工作中，我们专注于提高机器人的灵巧能力，利用视觉传感和自适应力控制。TeachNet是一个基于视觉的遥操作学习框架，用于将人手姿态映射到多指机器人手。我们增强TeachNet，这是最初基于不精确的运动映射和位置伺服，与仿生学习为基础的顺应性控制算法灵巧的操作任务。该柔顺控制器以TeachNet中映射的机器人关节角度为目标，计算期望的关节力矩。它是从人类运动学习中的仿生控制策略的计算模型导出的，其允许在执行参考关节角度轨迹期间在线调整控制变量（阻抗和前馈力）。阻抗和前馈曲线的同时适应使机器人能够以顺应的方式与环境交互。我们的方法已经在物理模拟中的多个任务中得到验证，即，抓握、开门、转动帽子和触摸鼠标，并且已经显示出比现有的位置控制和基于固定增益的力控制方法更可靠的性能。
2021-07-21 cs.RO
Robotic Grasping of Fully-Occluded Objects using RF Perception
Massachusetts Institute of Technology（麻省理工学院）
我们提出的设计，实施和评估的RF把握，机器人系统，可以把握完全闭塞的对象在未知的和非结构化的环境。与受视觉和红外传感器的视线感知限制的现有系统不同，RF-Grasp采用RF（射频）感知来识别和定位目标物体，并在非视线设置中执行有效的探索和复杂的操作任务。RF-Grasp依赖于手眼相机和附着在感兴趣物体上的无电池RFID标签。它引入了两个主要创新：（1）RF视觉伺服控制器，其使用RFID的位置来选择性地探索环境并规划朝向被遮挡目标的有效轨迹，以及（2）RF视觉深度强化学习网络，其可以学习和执行用于整理和抓取的有效、复杂的策略。我们实现并评估了RF-Grasp的端到端物理原型。我们证明，它提高了成功率和效率高达40-50%，超过了最先进的基线。我们还展示了RF-Grasp在新的任务，如机械搜索障碍物后面的完全闭塞的物体，为机器人操作开辟了新的可能性。定性结果（视频）可在rfgrasp.media.mit.edu上获得
2021-05-02 cs.AI cs.RO
Adaptive Visual Servoing for On-Orbit Servicing
针对翻滚卫星捕获中的视觉失效问题，提出融合ICP配准、自适应卡尔曼滤波、故障恢复与约束路径规划的分层视觉伺服框架，并验证其在完全遮挡下仍可捕获自由漂浮目标。
2024-09-09 cs.RO cs.SY eess.SY
SEBVS: Synthetic Event-based Visual Servoing for Robot Navigation and Manipulation
Arizona State University（亚利桑那州立大学）；Indian Institute of Information Technology（印度信息科技学院）
针对主流机器人模拟器中合成事件视觉探索不足的问题，提出开源ROS包SEBVS，可在Gazebo中从RGB相机生成事件流，用于训练事件驱动机器人策略并验证其在导航和操作任务中的竞争优势，推动事件相机在机器人策略学习中的应用。
2025-08-25 cs.CV cs.RO
Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection
Google（谷歌）
我们描述了一种基于学习的方法，从单目图像的机器人抓取手眼协调。为了学习手眼协调抓取，我们训练了一个大型卷积神经网络来预测抓取器的任务空间运动将导致成功抓取的概率，仅使用单目相机图像，并且独立于相机校准或当前机器人姿势。这需要网络观察场景中抓手和物体之间的空间关系，从而学习手眼协调。然后，我们使用这个网络伺服夹持器在实时的，以实现成功的把握。为了训练我们的网络，我们在两个月的时间里收集了超过80万次抓取尝试，在任何给定的时间使用6到14个机器人操纵器，在摄像机位置和硬件上有所不同。我们的实验评估表明，我们的方法实现了有效的实时控制，可以成功地抓住新的对象，并通过连续伺服纠正错误。
2016-08-28 cs.AI cs.CV cs.LG
Object-Independent Human-to-Robot Handovers using Real Time Robotic Vision
TU Wien（维也纳工业大学）；Australian Center of Robotic Vision（澳大利亚机器人视觉中心）；Monash University（蒙纳士大学）；University of Birmingham（伯明翰大学）；Queensland University of Technology（昆士兰科技大学）
我们提出了一种方法，安全和对象无关的人对机器人的实时的机器人视觉和操纵。我们的目标是通用对象检测器的普遍适用性，快速抓取选择算法，并通过使用单个夹具安装的RGB-D相机，因此不依赖于外部传感器。机器人通过视觉伺服被控制朝向感兴趣的对象。高度重视安全性，我们使用两个感知模块：人体部位分割和手/手指分割。被认为属于人类的像素从候选抓取姿势中过滤掉，从而确保机器人安全地拾取物体而不会与人类伙伴发生碰撞。抓取选择和感知模块实时并行运行，这允许监控进度。在13个物体的实验中，机器人能够在81.9%的试验中成功地从人类手中拿走物体。
2020-09-21 cs.CV cs.LG cs.RO
GoferBot: A Visual Guided Human-Robot Collaborative Assembly System
Technion I.I.T（以色列理工学院）；The Australian National University（澳大利亚国立大学）
本文提出GoferBot，一种用于真实世界装配任务的视觉引导人机协作系统，通过视觉伺服、动作识别和视觉交接模块的纯视觉感知实现高效协作。
2023-05-17 cs.CV cs.RO
ForceSight: Text-Guided Mobile Manipulation with Visual-Force Goals
Hello Robot Inc.（Hello Robot公司）
提出 ForceSight，利用 RGBD 图像与文本提示预测运动学位姿和力组成的视觉-力目标，显著提升移动操作机器人在未知环境中的任务成功率。
2023-09-24 cs.AI cs.CV cs.LG
