Robust 2 1/2D Visual Servoing of a Cable-Driven Parallel Robot Thanks to Trajectory Tracking
Laboratoire des Sciences du Numérique de Nantes(南特数字科学实验室);CNRS(法国国家科学研究中心);IRT Jules Verne(儒勒·凡尔纳研究院);Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);IRISA(雷恩信息与自动化系统研究所)
索驱动并联机器人是一种用索代替刚性连杆的并联机器人。在CDPR上实施基于视觉的控制导致了良好的最终精度,尽管系统中存在建模误差和其他扰动。然而,与最终精度不同,到达目标的轨迹可能会受到系统中的扰动的影响。本文提出了使用轨迹跟踪来提高CDPR的2 1/2 D视觉伺服控制的鲁棒性。李雅普诺夫稳定性分析,并作为一个新的工作空间,命名为控制稳定工作空间,被定义。该工作空间定义了一组移动平台姿态,机器人能够在稳定的情况下执行其任务。在实验验证中清楚地显示了鲁棒性的改善。
2020-01-16 cs.RO
Deep Visual Servoing of an Aerial Robot Using Keypoint Feature Extraction
Toronto Metropolitan University(多伦多都会大学)
本文提出一种基于深度学习的关键点检测方法,用于空中机器人图像引导的视觉伺服,解决了传统方法中人工标记检测的挑战,并增强了对遮挡、光照变化等干扰的鲁棒性。
2025-03-29 cs.RO
3D Shape Control of Extensible Multi-Section Soft Continuum Robots via Visual Servoing
Robotics Engineering Department, Worcester Polytechnic Institute(沃斯特理工学院机器人工程系)
本文提出一种基于视觉伺服的控制算法,用于调节可伸缩多节软连续机械臂的全身形状,无需本体感觉传感器,实现全局稳定收敛和高精度末端定位。
2026-02-22 cs.RO
DURableVS: Data-efficient Unsupervised Recalibrating Visual Servoing via online learning in a structured generative model
Massachusetts Institute of Technology(麻省理工学院);Vicarious AI(维卡里亚人工智能公司)
视觉伺服使机器人系统能够执行精确的闭环控制,这在许多应用中是必需的。然而,现有的方法要么需要精确校准的机器人运动学模型和摄像机或使用神经架构,需要大量的数据来训练。在这项工作中,我们提出了一种无监督学习的视觉伺服,不需要任何事先校准,是非常有效的数据的方法。我们的关键见解是,视觉伺服不依赖于识别的veridical运动学和摄像机参数,而是只在一个准确的生成模型的图像特征观察从关节位置的机器人。我们证明,通过我们的模型架构和学习算法,我们可以从不到50个训练样本(相当于不到1分钟的无监督数据汇集)中持续学习准确的模型,并且这种数据高效学习是标准神经架构不可能实现的。此外,我们表明,通过在循环中使用生成模型和在线学习,我们可以使机器人系统从校准错误中恢复,并检测和快速适应机器人相机系统中可能出现的意外变化(例如,碰撞相机,新对象)。
2022-02-08 cs.RO
Characterizing Multidimensional Capacitive Servoing for Physical Human-Robot Interaction
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
为了实现机器人与人进行强大而智能的物理交互的目标,机器人能够准确地感知人体、遵循身体周围的轨迹并跟踪人体运动至关重要。这项研究介绍了一种电容伺服控制方案,允许机器人在密切的物理交互过程中感知和导航人体四肢。电容伺服利用安装在机器人末端执行器上的多电极电容传感器阵列的时间测量值来估计附近人类肢体的相对位置和取向(姿态)。然后,电容伺服使用来自反馈控制回路内的数据驱动姿态估计器的这些人类姿态估计,以便围绕人类肢体的表面操纵机器人的末端执行器。我们提供了一个设计概述的电容传感器的人机交互,然后通过12个人类参与者的实验研究电容伺服的性能和推广。结果表明,多维电容伺服使机器人的末端执行器能够沿人体肢体向近端或远端运动,同时适应人体姿态。使用交叉验证实验,结果进一步表明,电容伺服推广以及在不同的身体尺寸的人。
2021-08-27 cs.HC cs.RO
A Unified Benchmark for RCM-Constrained Visual Servoing: Modeling-Controller Interaction and Robustness Analysis in Laparoscopic Robots
School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University(中山大学智能系统工程学院)
提出开源仿真框架,集成三种RCM建模方法和六种IBVS架构,通过案例研究揭示建模与控制器交互的结构敏感性,包括切平面定义、约束维度、开闭环执行及运动学奇异性附近的鲁棒性。
2026-07-02 cs.RO
Robot Agnostic Visual Servoing considering kinematic constraints enabled by a decoupled network trajectory planner structure
Karlsruhe University of Applied Sciences (HKA)(卡尔斯鲁厄应用科学大学(HKA))
本研究提出一种由检测网络与考虑运动学约束的速度轨迹规划器组成的解耦结构视觉伺服方法,无需重训练即可跨机器人系统迁移,在多系统多任务下实现了亚毫米级位置误差与小于1°的姿态误差。
2024-12-12 cs.RO
Visual Servoing Based on 3D Features: Design and Implementation for Robotic Insertion Tasks
VTT Technical Research Centre of Finland Ltd(芬兰国家技术研究中心有限公司)
本文提出一种基于3D特征的视觉伺服方法,利用末端相机获取孔位姿并使用易计算的雅可比矩阵对齐法兰与孔,实现无损插装,实验验证了其有效性。
2024-05-29 cs.RO
Dual Quaternion-Based Visual Servoing for Grasping Moving Objects
University of Birmingham(伯明翰大学);Sorbonne Université(索邦大学)
针对基于姿态的视觉伺服,提出了一种新的基于对偶四元数的模型。扩展我们以前的工作局部接触矩(LoCoMo)的基础上抓取规划,我们展示了在3D空间中任意移动的物体的抓。而不是使用传统的轴角参数化,双四元数允许设计的视觉伺服任务,在一个更紧凑的方式,并提供鲁棒性的机械手奇异。给定对象点云,LoCoMo生成抓取和预抓取姿态的排名列表,其用作视觉伺服的期望姿态。只要对象移动(通过视觉标记跟踪),所需的姿势就会自动更新。为此,利用对偶四元数空间距离误差,我们提出了一个动态的把握重新排名度量,以选择最佳可行的把握移动对象。这使得机器人可以很容易地跟踪和抓住任意移动的物体。此外,我们还探索机器人零空间与我们的控制器,以避免关节的限制,从而实现平滑的轨迹,同时以下移动的对象。我们评估所提出的视觉伺服的性能进行模拟实验,掌握各种对象,使用7轴机器人配备了2指夹持器。实验结果证明了我们所提出的视觉伺服的有效性。
2021-07-17 cs.RO
Visual Servoing on Wheels: Robust Robot Orientation Estimation in Remote Viewpoint Control
University of Oxford(牛津大学)
本文提出一种无需假设机器人与环境信息的弱监督视觉伺服快速部署流程,通过生成大量数据实现鲁棒的机器人朝向估计,在室内远程相机数据集上验证了高跟踪性能,并证明可在30分钟内部署新机器人。
2023-06-26 cs.RO
DIJE: Dense Image Jacobian Estimation for Robust Robotic Self-Recognition and Visual Servoing
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学与技术研究生院,东京大学)
本文提出DIJE算法,通过光流与简化卡尔曼滤波实时估计逐像素图像雅可比,实现无标记的机器人自识别与视觉伺服控制,并在肌肉骨骼机器人上验证了伸手和双手工具控制能力。
2025-07-01 cs.RO
Occlusion-Free Image Based Visual Servoing using Probabilistic Control Barrier Certificates
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对 IBVS 中特征点遮挡导致伺服失败的问题,提出融合 PrCBC 与 MPC 的控制器,在噪声不确定性下以预定概率保证无遮挡并完成视觉伺服。
2024-07-08 cs.RO
Pose-Based Tactile Servoing: Controlled Soft Touch using Deep Learning
University of Bristol(布里斯托大学);Bristol Robotics Laboratory(布里斯托机器人实验室)
本文介绍了一种新的方式来控制机器人使用软触觉传感器:基于姿态的触觉伺服(PBTS)控制。其基本思想是嵌入一个触觉感知模型,用于估计伺服控制回路内的传感器姿态,该控制回路应用于局部对象特征,如边缘和表面。PBTS控制是用一个柔软的弯曲的光学触觉传感器(BRL TacTip),使用一个卷积神经网络训练,对剪切不敏感。因此,在各种复杂的3D对象的鲁棒性和准确的控制运动。首先,我们审查触觉伺服和它的关系,视觉伺服,正式PBTS控制之前。然后,我们评估触觉伺服在一系列规则和不规则的对象。最后,我们反映了视觉伺服控制的关系,并讨论了如何控制软触摸给人一样的灵巧机器人的路线。
2021-07-02 cs.RO
Robot-Relay : Building-Wide, Calibration-Less Visual Servoing with Learned Sensor Handover Network
University of Oxford(牛津大学)
提出Robot-Relay系统,在无需摄像机标定和位置信息的条件下,通过学习多摄像机间的像素级拓扑连接实现远程视点管理,并在六台摄像机连接的办公环境中完成自主通行验证。
2023-10-24 cs.RO
Imitation Learning-based Visual Servoing for Tracking Moving Objects
Università della Svizzera italiana (USI)(瑞士意大利语区大学(USI));University of Trento(特伦托大学);Dalle Molle Institute for Artificial Intelligence (IDSIA)(达勒莫勒人工智能研究所(IDSIA))
本研究针对跟踪移动目标问题,提出利用模仿学习结合视觉伺服范式,从数据中直接推断跟踪控制器所需的补偿项,避免了显式估计器或观测器的实现,并通过机械臂仿真验证了方法的有效性。
2023-09-14 cs.RO
Imitation Learning-based Direct Visual Servoing using the Large Projection Formulation
University of Innsbruck(因斯布鲁克大学);Dalle Molle Institute for Artificial Intelligence (IDSIA)(达勒·莫勒人工智能研究所(IDSIA));University of Trento(特伦托大学)
本文提出一种基于动力系统模仿学习的直接视觉伺服方法,利用深度学习感知模块提取鲁棒特征,并通过大投影任务优先级公式集成学习模块,使机械臂在非结构化环境中稳定执行复杂视觉伺服任务。
2025-03-09 cs.RO
Siamese Convolutional Neural Network for Sub-millimeter-accurate Camera Pose Estimation and Visual Servoing
Nanyang Technological University(南洋理工大学)
视觉伺服(VS)是一种重要的机器人控制技术,它利用机器人末端执行器上的摄像机拍摄的图像来指导机器人的运动。我们提出了一个新的神经网络,基于暹罗架构,高度准确的相机姿态估计。反过来,这可以用作粗VS之后的最终细化步骤,或者如果以迭代方式应用,则作为独立的VS。我们的神经网络的主要特点是,它输出任何一对图像之间的相对姿态,并以亚毫米的精度这样做。我们表明,我们的网络可以减少姿态估计误差为0.6毫米的平移和0.4度的旋转,从10毫米/ 5度的初始误差,如果应用一次,或几厘米/几十度,如果迭代应用。该网络可以推广到类似的对象,对不断变化的光照条件和部分遮挡(迭代使用时)具有鲁棒性。所实现的高精度使得能够处理下游的低公差装配任务:使用我们的网络,工业机器人可以在没有任何力传感机制的情况下实现VGA连接器插入任务的97.5%成功率。
2019-03-12 cs.RO
3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation
Queensland University of Technology(昆士兰科技大学)
在本文中,我们提出了一种新的方法,视觉伺服的机器人,被称为3D移动到看到(3DMTS)的基础上,找到下一个最好的看法,使用3D相机阵列和机器人机械手从不同的角度获得多个样本的场景的原则。该方法使用语义视觉和应用于每个视角的目标函数来采样表示下一个最佳视图的方向的梯度。该方法在模拟和一个真正的机器人平台上进行了演示,该平台包含一个自定义的3D相机阵列,用于在高度闭塞和非结构化的环境中进行机器人收获的挑战性场景。在一个真实的机器人平台上显示,通过使用目标函数的梯度移动末端执行器,即使在遮挡之间,也会导致感兴趣对象的局部最佳视图。与使用单个RGB-D相机的基线方法相比,3DMTS方法的总体性能获得了目标尺寸平均增加29.3%,基线方法获得了9.17%。结果表明,定性和定量的3DMTS方法在大多数情况下表现更好,并产生三倍的目标大小相比,基线方法。在最终视图中增加的目标尺寸将改善对感兴趣对象的关键特征的检测,以用于进一步操纵,例如抓取和收获。
2018-09-21 cs.RO
Adaptive Shape-Servoing for Vision-based Robotic Manipulation with Model Estimation and Performance Regulation
University of Toronto(多伦多大学)
针对弹性杆操作的形状降维、建模与控制器设计难题,提出无需先验知识的无模型操作框架,结合AKF在线估计与MFAC及性能调节实现形状伺服,经仿真验证有效,提升了变形对象操作自主性。
2023-12-11 cs.RO
Perception-Control Coupled Visual Servoing for Textureless Objects Using Keypoint-Based EKF
Epson Canada Ltd.(爱普生加拿大有限公司);University of Toronto(多伦多大学)
本研究提出基于关键点的扩展卡尔曼滤波方法,通过闭环整合感知与控制,提升无纹理物体视觉伺服的鲁棒性和精度。
2026-02-25 cs.RO
Learning Latent Space Dynamics for Tactile Servoing
NVIDIA(英伟达);MPI-IS(马克斯·普朗克智能系统研究所);University of Southern California(南加州大学);University of Utah(犹他大学);University of Washington(华盛顿大学)
为了实现灵巧的机器人操作,我们需要赋予我们的机器人触觉反馈能力,即基于触觉感知驱动动作的能力。在本文中,我们专门解决触觉伺服的挑战,即给定当前的触觉感知和目标/目标触觉感知-记忆从一个成功的任务执行在过去-什么是行动,这将使当前的触觉感知移动接近目标触觉感知在下一个时间步骤。我们发展了一种数据驱动的方法,通过示教学习获得触觉伺服的动力学模型。此外,我们的方法将触觉感知信息表示为位于表面上-或2D流形-并执行流形学习,使其适用于任何触觉皮肤几何形状。我们评估我们的方法上的接触点跟踪任务,使用机器人配备了触觉手指。在https://youtu.be/0QK0-Vx7WkI上可以看到演示我们方法的视频
2019-04-15 cs.RO
Learning the Dynamics of Compliant Tool-Environment Interaction for Visuo-Tactile Contact Servoing
University of Michigan(密歇根大学)
许多操作任务需要机器人控制抓取的柔性工具与环境之间的接触,例如用刮刀刮煎锅。然而,建模工具-环境交互是困难的,特别是当工具是顺应性的时,并且不能期望机器人具有完整的几何形状和物理特性(例如,质量、刚度和摩擦力)。我们提出了一个框架,学习预测的影响机器人的行动之间的接触的工具和环境的视觉触觉感知。我们的框架的关键是一个新的接触特征表示,包括一个二进制的接触值,接触线,和一个末端执行器扳手。我们提出了一种方法来学习这些接触功能的动态从现实世界的数据,不需要预测的几何形状的顺应工具。然后,我们提出了一个控制器,使用这种动力学模型的视觉触觉接触伺服,并表明它是有效的刮铲执行任务,即使在需要精确的接触,以避免障碍物的情况下。
2022-10-07 cs.RO
Visual Servoing-based Navigation for Monitoring Row-Crop Fields
University of Bonn(波恩大学)
自主导航是田间机器人完成精准农业任务的前提。通常,机器人必须在一个季节中多次穿过整个作物田,以监测植物,施用农用化学品或执行有针对性的干预行动。在本文中,我们提出了一个框架,专门用于导航中耕作物领域,利用常规作物行结构存在于该领域。我们的方法仅使用车载摄像机的图像,无需执行显式定位或维护田地地图,因此可以在没有农业自动化系统中常用的昂贵RTK-GPS解决方案的情况下运行。我们的导航方法允许机器人准确地跟随作物行,并在同一框架内无缝地处理到下一行的切换。我们使用C++和ROS实现了我们的方法,并在几个具有不同形状和大小的场的模拟环境中进行了彻底的测试。我们还演示了系统运行在一个实际的机器人上的测试行作物领域的帧速率。代码和数据已经发布。
2019-09-27 cs.RO
Conditional Visual Servoing for Multi-Step Tasks
University of Freiburg(弗莱堡大学)
视觉伺服已被有效地用于将机器人移动到特定的目标位置或跟踪记录的演示。它不需要手动编程,但通常限于一个演示映射到一个环境状态的设置。我们提出了一个模块化的方法来扩展视觉伺服的多个演示序列的情况下。我们称之为条件伺服,因为我们选择下一个演示条件的观察机器人。这种方法提出了一种有吸引力的策略来解决多步问题,因为单个演示可以灵活地组合成一个控制策略。我们提出了不同的选择函数,并比较它们在模拟的形状排序任务。与重投影误差产生最好的整体效果,我们实现了一个真正的机器人上的选择功能,并显示所提出的条件伺服的功效。有关我们实验的视频,请查看我们的项目页面:https://lmb.informatik.uni-freiburg.de/projects/conditional_servoing/
2022-05-17 cs.CV cs.LG cs.RO
Hybrid Visual Servoing Tracking Control of Uncalibrated Robotic Systems for Dynamic Dwarf Culture Orchards Harvest
Beijing Research Center of Intelligent Equipment for Agriculture(北京农业智能装备技术研究中心);Beijing Academy of Agriculture and Forestry Sciences(北京市农林科学院);National Engineering Research Center for Information Technology in Agriculture(国家农业信息化工程技术研究中心)
研究了SNAP果园收获机器人在矮化栽培果园收获应用中存在多个未标定模型参数时的动态跟踪问题。提出了一种新的混合视觉伺服自适应跟踪控制器和三种自适应律,以保证采摘机器人完成动态采摘任务,并对未知参数(包括摄像机内、外模型和机器人动力学)进行自适应。通过李雅普诺夫理论,严格证明了闭环系统与所提出的控制方案的渐近收敛性。实验和仿真结果验证了所提出的控制方案的性能。结果表明了该方法的有效性和优越性。
2021-06-10 cs.RO cs.SY eess.SY
A Fog Robotic System for Dynamic Visual Servoing
University of California, Berkeley(加州大学伯克利分校);Cloudminds Technology Inc.(达闼科技有限公司);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
云机器人是一种范例,分布式机器人通过网络连接到云服务,以网络通信为代价获得无限的计算能力。然而,由于网络延迟和可变性等限制,很难直接从云端控制动态的、符合人类需求的服务机器人。在这项工作中,通过利用带有心跳信号的异步协议,我们将云机器人与智能边缘设备相结合,构建了一个雾机器人系统。我们使用该系统,使强大的远程操作的动态自平衡机器人从云。我们首先使用该系统从静态位置拾取箱子,这是仓库物流中通常执行的任务。为了使云遥操作更有效,我们部署了基于图像的视觉伺服(IBVS)来自动执行盒子拾取。包括apriltag识别和跟踪在内的视觉反馈在云中执行,以模拟IBVS的Fog Robotic对象识别系统。我们证明了使用这种云边缘混合的实时动态自动化系统的可行性,这为在Fog Robotics中部署具有深度学习识别系统的动态机器人控制开辟了可能性。最后,我们表明,雾机器人使自平衡服务机器人拿起一个盒子自动从一个人在非结构化环境下。
2018-09-16 cs.AI cs.RO
Hybrid Visual Servoing of Tendon-driven Continuum Robots
Toronto Metropolitan University(多伦多都会大学);Concordia University(康考迪亚大学)
针对腱驱动连续体机器人控制需求,提出融合基于图像与基于深度学习的视觉伺服的混合视觉伺服方法,可平滑切换两种模式,经仿真与实验验证,在保持鲁棒性的同时提升了控制性能。
2025-02-19 cs.CV cs.RO cs.SY
MagServo: Uncertainty-Resilient Hierarchical Magnetic Servoing via Learned Latent Representations
Imperial College London(伦敦帝国理工学院);The University of Hong Kong(香港大学);Technical University of Munich(慕尼黑工业大学)
MagServo提出一种分层学习框架,利用潜在磁特征实现鲁棒的6自由度磁力伺服控制,通过掩码重建和动力学学习,结合模型预测控制与雅可比反演,达到亚毫米和亚度精度,并在复杂轨迹跟踪中优于基线。
2026-10-06 cs.RO
DIViS: Domain Invariant Visual Servoing for Collision-Free Goal Reaching
University of Washington(华盛顿大学)
机器人应该理解语义和物理,以便在现实世界中发挥作用。虽然机器人平台提供了与物理世界交互的手段,但它们不能在不需要人类的情况下自主地获取对象级语义。在本文中,我们研究了如何最大限度地减少人类的努力和干预,教机器人执行现实世界的任务,结合语义。我们研究这个问题的背景下,移动机器人的视觉伺服,并提出DIViS,无碰撞视觉伺服的域不变的策略学习方法。DIViS结合了来自先前收集的静态人类标记数据集的高级语义,并完全在仿真中学习无碰撞伺服,而无需任何真实的机器人数据。然而,DIViS可以直接部署在真实的机器人上,并且能够伺服用户指定的对象类别,同时避免现实世界中的碰撞。DIViS是不受约束的查询目标的最终视图,而是强大的伺服图像的目标,从最初的机器人视图与高遮挡,而不损害其能力,以保持无碰撞path.We的泛化能力DIViS在真实的移动机器人在90多个真实世界的测试场景中的各种看不见的对象的目标在非结构化环境中。DIViS通过真实世界的实验和严格的模拟测试与以前的方法进行了比较。有关补充视频,请参见:\href{https://fsadeghi.github.io/DIViS}{https://fsadeghi.github.io/DIViS}
2019-02-18 cs.AI cs.CV cs.LG
Pose and shear-based tactile servoing
University of Bristol(布里斯托大学);Bristol Robotics Laboratory(布里斯托机器人实验室)
针对含剪切滑移的触觉数据估计误差大、3D交互运动不平滑的问题,提出融合位姿与剪切力的触觉伺服方案,通过高斯密度CNN、判别式贝叶斯滤波器及SE(3)速度伺服实现多种非抓取操控任务。
2023-12-13 cs.RO
On Radiation-Based Thermal Servoing: New Models, Controls and Experiments
The Hong Kong Polytechnic University(香港理工大学);LIRMM(LIRMM实验室);University of Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心)
在本文中,我们介绍了一种新的基于传感器的控制方法,调节(通过机器人运动)的辐射源和感兴趣的对象之间的热传递。许多工业、皮肤病学和现场机器人应用都需要这种宝贵的感觉运动能力,它是制造具有先进热电机智能的机器的重要组成部分。为此,我们推导出一个几何热电机模型,它描述了机器人的主动配置和所产生的动态热响应之间的关系。然后,我们使用该模型来指导两个新的热伺服控制器(一个基于模型和一个自适应)的设计,并分析其稳定性与李雅普诺夫理论。为了验证我们的方法,我们报告了一个详细的实验研究与机器人机械手进行自主热伺服任务。据作者所知,这是第一次将温度调节作为机器人的运动控制问题。
2020-12-24 cs.RO cs.SY eess.SY
CLIPUNetr: Assisting Human-robot Interface for Uncalibrated Visual Servoing Control with CLIP-driven Referring Expression Segmentation
University of Alberta(阿尔伯塔大学)
本文提出CLIPUNetr,一种CLIP驱动的指代表达分割网络,并将其集成到无标定视觉伺服控制中,以自然语言提升人机接口的语义理解能力,实验表明边界与结构指标平均提升120%,可辅助真实环境机器人控制。
2023-09-17 cs.CV cs.RO
High-Precision Transformer-Based Visual Servoing for Humanoid Robots in Aligning Tiny Objects
Institute of Humanoid Robots, Department of Precision Machinery and Precision Instrumentation, University of Science and Technology of China(人形机器人研究院,精密机械与精密仪器系,中国科学技术大学)
本文提出基于Transformer的视觉伺服方法,实现人形机器人高精度微小物体对齐,实验显示收敛误差小于1.3毫米,成功率达93%-100%。
2025-07-02 cs.CV cs.RO
A Closed-Loop Multi-perspective Visual Servoing Approach with Reinforcement Learning
University of Hamburg(汉堡大学);Agile Robots AG(Agile Robots 公司);RWTH Aachen University(亚琛工业大学)
本文提出一种基于强化学习的闭环多视角视觉伺服框架,在Gazebo仿真中验证其能学习最优控制策略,平均成功率97.0%,优于直接视觉伺服算法。
2023-12-25 cs.AI cs.RO
Depth-Based Visual Servoing Using Low-Accurate Arm
University of Bordeaux(波尔多大学);Kyushu Institute of technology(九州工业大学)
本文提出了一种视觉伺服方法,致力于日常生活中的对象的抓取。为了获得一个负担得起的解决方案,我们使用了一个低精度的机械臂。我们的方法通过使用RGB-D传感器来校正误差。它是基于SURF不变的功能,使我们能够在一个高的帧速率进行目标识别。我们根据深度分割定义感兴趣区域,并使用它们来加速识别并提高可靠性。该系统已在真实世界的场景中进行了测试。尽管所有组件都缺乏准确性和不受控制的环境,但它在超过95次试验中成功地抓住了物体。
2016-12-12 cs.RO
Image-Based Trajectory Tracking through Unknown Environments without Absolute Positioning
Georgia Institute of Technology(佐治亚理工学院);Meta Reality Lab(Meta现实实验室)
本文描述了一种基于立体图像的视觉伺服系统,用于非完整机器人的轨迹跟踪,该系统既不需要外部导出的位姿信息,也不需要已知的环境视觉地图。它被称为轨迹伺服。关键组件是基于特征的间接同时定位与地图构建(SLAM)方法,以提供具有估计深度的可用特征池,使得它们可以在时间上向前传播以生成用于视觉伺服的图像特征轨迹。短距离和长距离的实验表明,轨迹伺服导航未知区域的绝对定位的好处。经验上,当两者都依赖于相同的底层SLAM系统时,轨迹伺服具有比基于姿态的反馈更好的轨迹跟踪性能。
2022-06-14 cs.RO
Optimizing Grasping Precision for Industrial Pick-and-Place Tasks Through a Novel Visual Servoing Approach
针对工业拾取-放置任务中振动、路径偏差等导致物体位姿估计不准的问题,提出一种整合物体定位与视觉反馈精确控制的新型视觉伺服方法,提升抓取精度与环境适应性。
2025-01-24 cs.RO
A Hyper-network Based End-to-end Visual Servoing with Arbitrary Desired Poses
本文提出基于超网络的神经控制器HPN-NC,通过超网络生成低层控制器参数并结合二维关键点误差,实现任意期望位姿的六自由度端到端视觉伺服,并采用三阶段自监督训练提升真实场景泛化能力。
2023-04-18 cs.RO
Markerless visual servoing on unknown objects for humanoid robot platforms
Istituto Italiano di Tecnologia(意大利理工学院)
本文提出了一种无标记未知物体的人形机器人视觉伺服框架,通过立体视觉计算可抓取物体的体积,利用递归贝叶斯滤波估计末端执行器的6D姿态,结合非线性约束优化问题计算目标姿态,并通过图像基于视觉伺服控制实现末端执行器的精确控制。
2017-10-12 cs.RO cs.SY eess.SY
Bio-Inspired Event-Based Visual Servoing for Ground Robots
Department of Electrical & Computer Engineering, Northeastern University(东北大学电气与计算机工程系);Laboratory for Computational Sensing and Robotics, Johns Hopkins University(约翰霍普金斯大学计算感知与机器人实验室);Department of Mechanical Engineering, Johns Hopkins University(约翰霍普金斯大学机械工程系)
本文提出了一种基于生物启发的1D事件视觉伺服框架,用于在结构化环境中运行的地面机器人,通过动态视觉传感器和多模式刺激直接合成非线性状态反馈项,实现了高效低延迟的控制。
2026-05-18 cs.CV cs.RO
Hybrid Multi-camera Visual Servoing to Moving Target
University of Edinburgh(爱丁堡大学);University of Alicante(阿利坎特大学)
视觉伺服是机器人学中的一个众所周知的任务。然而,当多个视觉源被组合以准确地引导机器人或出现遮挡时,仍然存在挑战。在本文中,我们提出了一种新的视觉伺服方法,使用混合多摄像机输入数据,导致机器人手臂准确地动态移动目标点的存在部分遮挡。该方法使用四个RGBD传感器作为眼到手(EtoH)视觉输入,并使用一个臂上安装的立体相机作为手眼(EinH)。主管理器任务根据机器人和目标之间的距离选择使用EtoH或EinH。Master还选择最能感知目标的EtoH摄像机子集。当使用EinH传感器时,如果目标被遮挡或离开传感器的视锥,则主机切换回EtoH传感器以重新跟踪对象。使用该自适应视觉输入数据,然后使用迭代规划器来控制机器人,该迭代规划器使用位置、取向和关节配置来估计轨迹。由于目标是动态的,因此该轨迹在每个时间步都被更新。实验表明,在四种不同的情况下,良好的性能:跟踪一个球,瞄准靶心,引导吸管到嘴和提供一个项目,以移动的手。实验涵盖了两种简单的情况,例如从所有摄像机都可以看到的球,以及更复杂的情况,例如从一些传感器部分遮挡的嘴。
2018-08-02 cs.CV cs.RO
SEBVS: Synthetic Event-based Visual Servoing for Robot Navigation and Manipulation
Arizona State University(亚利桑那州立大学);Indian Institute of Information Technology(印度信息科技学院)
针对主流机器人模拟器中合成事件视觉探索不足的问题,提出开源ROS包SEBVS,可在Gazebo中从RGB相机生成事件流,用于训练事件驱动机器人策略并验证其在导航和操作任务中的竞争优势,推动事件相机在机器人策略学习中的应用。
2025-08-25 cs.CV cs.RO
Hybrid Vision Servoing with Depp Alignment and GRU-Based Occlusion Recovery
State University of New York, Korea(纽约州立大学韩国分校);State University of New York, Stony Brook(纽约州立大学石溪分校)
针对视觉伺服中遮挡导致跟踪失效的问题,提出结合深度特征LK对齐、残差校正与GRU遮挡位姿预测的混合框架,在90%遮挡下仍保持2像素内误差,可支撑30Hz实时机器人伺服控制。
2025-10-29 cs.RO
CFVS: Coarse-to-Fine Visual Servoing for 6-DoF Object-Agnostic Peg-In-Hole Assembly
National Taiwan University(国立台湾大学);Mobile Drive Technology(移动驱动技术公司)
由于其高精度要求,机器人钉孔装配仍然是一项具有挑战性的任务。以前的工作倾向于通过限制末端执行器的自由度或限制目标与初始姿态位置之间的距离来简化问题,这阻止了它们在现实世界的制造中被部署。因此,我们提出了一种由粗到精的视觉伺服(CFVS)钉孔方法,实现了基于三维视觉反馈的6自由度末端执行器运动控制。CFVS可以处理任意的倾斜角度和大的初始对准误差,通过一个快速的姿态估计前细化。此外,通过引入置信度图来忽略目标的无关轮廓,CFVS对噪声具有鲁棒性,并且可以处理训练数据之外的各种目标。大量的实验表明,CFVS优于最先进的方法,并获得100%,91%和82%的平均成功率,在3自由度,4自由度和6自由度钉孔,分别。
2023-01-19 cs.RO
Design and Visual Servoing Control of a Hybrid Dual-Segment Flexible Neurosurgical Robot for Intraventricular Biopsy
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Centre of AI and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences (CAIR-HKISI-CAS)(中国科学院香港创新研究院人工智能与机器人中心);City University of Hong Kong(香港城市大学);Department of Surgery, The Chinese University of Hong Kong(香港中文大学医学院外科学系);School of Biomedical Engineering and Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与影像科学学院)
针对传统刚性内窥镜在脑深部手术中的局限性,提出双段柔性机器人MicroNeuro,结合在线Jacobian估计的视觉伺服与带约束的模型预测控制,显著提升了运动精度与稳定性,在神经外科活检中展现巨大潜力。
2024-02-23 cs.RO cs.SY eess.SY
Autonomous Intraluminal Navigation of a Soft Robot using Deep-Learning-based Visual Servoing
Politecnico di Milano(米兰理工大学);CNRS-Université de Strasbourg(法国国家科学研究中心-斯特拉斯堡大学);Delft University of Technology(代尔夫特理工大学);Scuola Superiore Sant’Anna(圣安娜高等学校);European Institute of Oncology (IRCCS)(欧洲肿瘤研究所(IRCCS))
在管腔器官内导航是一项艰巨的任务,需要操作者的手的运动与从内窥镜视频获得的信息之间的非直观协调。开发自动化某些任务的工具可以减轻医生在干预期间的身心负担,使他们能够专注于诊断和决策任务。在本文中,我们提出了一种用于管腔内导航的协同解决方案,该解决方案由3D打印的内窥镜软体机器人组成,可以在管腔结构内安全移动。采用基于卷积神经网络(CNN)的视觉伺服控制方法,实现机器人的自主导航。CNN用体模和体内数据训练以分割管腔,并且提出了一种无模型方法来控制受约束环境中的运动。该机器人在不同路径配置的解剖幻影中进行了验证。我们使用不同的指标,如任务完成时间,平滑度,稳态误差,平均值和最大误差分析机器人的运动。我们表明,我们的方法适合在中空环境和条件下安全导航,这些环境和条件与网络最初训练的环境和条件不同。
2022-07-26 cs.AI cs.CV cs.LG
Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing
Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心);Queensland University of Technology (QUT)(昆士兰科技大学)
本文考虑的视觉闭环抓取的RGB-D相机不再能够提供有效的深度信息的最终方法阶段。许多当前的机器人抓取控制器不是闭环的,因此不能用于移动物体。基于RGB-D图像的闭环抓取控制器可以跟踪移动物体,但在抓取前违反传感器的最小物距时会失败。为了克服这一点,我们提出了使用基于图像的视觉伺服(IBVS)引导机器人的对象相对把握姿态使用相机RGB信息。IBVS鲁棒地将相机移动到根据图像平面特征配置隐式定义的目标姿态。在这项工作中,目标图像特征坐标是从RGB-D数据中预测的,以便在深度数据不可用时实现仅RGB跟踪-这使得能够更可靠地抓住以前看不见的移动物体。提供了实验结果。
2020-02-28 cs.CV cs.RO
Innovative Adaptive Imaged Based Visual Servoing Control of 6 DoFs Industrial Robot Manipulators
University of California, Davis(加利福尼亚大学戴维斯分校)
针对传统IBVS仅适用于特征在视野内的局限,提出结合Youla参数化的前馈-反馈自适应控制结构,通过特征估计与IBVS反馈切换及模型在线线性化解耦,实现6自由度工业机械臂全操作范围的稳定位姿控制,经仿真验证有效且鲁棒。
2025-06-11 cs.RO cs.SY eess.SY
Adaptive Shape Servoing of Elastic Rods using Parameterized Regression Features and Auto-Tuning Motion Controls
Harbin Institute of Technology(哈尔滨工业大学);Xi’an Jiaotong University(西安交通大学);Southeast University(东南大学);The Hong Kong Polytechnic University(香港理工大学)
针对可变形线性物体操作的非线性和高维挑战,提出一种基于参数化回归特征和自适应控制器的弹性杆形状伺服框架,通过视觉反馈实现低维特征量化与未知机械模型下的自动变形,并利用自动整定算法优化运动控制。
2023-09-09 cs.RO cs.SY eess.SY
Modal-graph 3D shape servoing of deformable objects with raw point clouds
1 T Stone Robotics Institute, the Department of Mechanical;Automation Engineering, The Chinese University of Hong Kong, HKSAR, China
本文提出模态图框架,从原始点云直接提取低维变形特征,并设计无需模型辨识的自适应鲁棒控制器,实现变形体无模型三维形状伺服控制。
2023-11-28 cs.RO
Combining Learning from Demonstration with Learning by Exploration to Facilitate Contact-Rich Tasks
Universität Hamburg(汉堡大学);Agile Robots AG(思灵机器人公司);Technische Universität München(慕尼黑工业大学)
协作机器人有望能够与人类一起工作,在某些情况下直接取代现有的人类工人,从而有效地应对快速的装配线变化。目前用于编程接触丰富的任务的方法,特别是在严重受限的空间中,往往是相当低效的。因此,迫切需要更快、更直观的机器人示教方法。这项工作的重点是结合基于视觉伺服的示教学习(LfD)和基于力的学习探索(LbE),使快速和直观的编程接触丰富的任务与最小的用户所需的努力。开发了两种学习方法并将其集成到一个框架中,一种依赖于人到机器人的运动映射(视觉伺服方法),另一种依赖于基于力的强化学习。该框架实现了基于视觉伺服的非接触示教方法,并根据检测到的接触状态优化了被示教机器人的目标位置。该框架与两种最常用的基线技术,基于吊坠的教学和手指导教学进行了比较。该框架的效率和可靠性已被验证,通过比较实验涉及教学和执行接触丰富的任务。本文提出的框架在教学时间、执行成功率、损坏风险和易用性方面表现最好。
2021-10-26 cs.RO
Control Architecture and Design for a Multi-robotic Visual Servoing System in Automated Manufacturing Environment
针对制造环境中机器人定位不确定性问题,提出模拟紧固松脱定位的多机器人控制系统,同时提出相机移动策略算法以搜索噪声最小的最优观测位置,有效降低制造过程不确定性。
2025-06-13 cs.CV cs.RO cs.SY
Neuromorphic Eye-in-Hand Visual Servoing
Khalifa University Center for Autonomous Robotic Systems (KUCARS), Khalifa University of Science and Technology(哈利法大学自主机器人系统中心(KUCARS),哈利法科技大学);Kingston University(金斯顿大学);Purdue University(普渡大学)
机器人视觉在工厂自动化中发挥着重要作用,为机器人应用提供服务。然而,传统的基于帧的相机的使用设置了连续的视觉反馈的限制,由于其低采样率和冗余的数据在实时图像处理,特别是在高速任务的情况下。事件摄像机提供类似人类的视觉功能,例如以高时间分辨率($1μs$)异步观察动态变化,具有低延迟和宽动态范围。本文提出一种视觉伺服方法,利用事件摄像机和切换控制策略来探索、到达和抓取以实现操作任务。我们设计了三个活动事件的表层,直接处理相对运动的事件流。一个纯粹的基于事件的方法是通过提取角点特征,使用热图鲁棒地定位它们,并生成用于跟踪和对齐的虚拟特征。基于视觉反馈,控制机器人的运动,使时间即将发生的事件特征收敛到时空空间中的期望事件。控制器根据操作顺序切换其策略,以建立稳定的抓取。基于事件的视觉伺服(EVBS)方法进行了实验验证,使用商业机器人操作手在眼睛的配置。实验证明了EBVS方法在跟踪和抓取不同形状物体时的有效性,而无需重新调整。
2020-04-15 cs.CV cs.RO cs.SY
Tac-VGNN: A Voronoi Graph Neural Network for Pose-Based Tactile Servoing
University of Bristol(布里斯托大学)
触觉位姿估计和触觉伺服是机器人触觉的基本功能。通过将深度学习模型应用于高分辨率光学触觉传感器,可以提供可靠且精确的姿态估计。鉴于最近的成功图神经网络(GNN)和Voronoi功能的有效性,我们开发了一个触觉Voronoi图神经网络(Tac-VGNN),以实现可靠的基于姿态的触觉伺服依赖于仿生光学触觉传感器(TacTip)。GNN非常适合于对触觉标记的剪切运动之间的分布关系进行建模,而沃罗诺伊图利用与接触深度相关的基于区域的触觉特征对此进行补充。实验结果表明,Tac-VGNN模型可以帮助提高数据的可解释性在图形生成和模型训练效率显着比基于CNN的方法。它还将垂直深度上的姿态估计精度提高了28.57%,超过了没有Voronoi特征的vanilla GNN,并在真实表面上实现了更好的性能,具有更平滑的机器人控制轨迹。更多项目详情,请浏览我们的网站:https://sites.google.com/view/tac-vgnn/home
2023-03-05 cs.RO cs.SY eess.SY