Self-Supervised Learning of Visual Servoing for Low-Rigidity Robots Considering Temporal Body Changes
The University of Tokyo(东京大学)
针对低刚性机器人身体控制与视觉标定困难及随时间变化的问题,提出视觉伺服自监督学习与自适应更新机制,并在 MyCobot 六轴机械臂的抓取实验中验证有效性。
2024-05-20 cs.RO
Adaptive Shape Servoing of Elastic Rods using Parameterized Regression Features and Auto-Tuning Motion Controls
Harbin Institute of Technology(哈尔滨工业大学);Xi’an Jiaotong University(西安交通大学);Southeast University(东南大学);The Hong Kong Polytechnic University(香港理工大学)
针对可变形线性物体操作的非线性和高维挑战,提出一种基于参数化回归特征和自适应控制器的弹性杆形状伺服框架,通过视觉反馈实现低维特征量化与未知机械模型下的自动变形,并利用自动整定算法优化运动控制。
2023-09-09 cs.RO cs.SY eess.SY
Visual Servoing for Robotic On-Orbit Servicing: A Survey
Space Robotics (SpaceR) Research Group, Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(空间机器人(SpaceR)研究组,安全、可靠性与信任跨学科中心(SnT),卢森堡大学);Redwire Space Europe, Luxembourg(Redwire Space Europe,卢森堡)
本文综述了用于机器人在轨服务的视觉伺服方法,按识别、接近和接触三个任务阶段对现有技术进行分类,并指出了当前趋势、面临的挑战及未来研究方向。
2024-09-03 cs.CV cs.RO cs.SY
Design and Visual Servoing Control of a Hybrid Dual-Segment Flexible Neurosurgical Robot for Intraventricular Biopsy
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Centre of AI and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences (CAIR-HKISI-CAS)(中国科学院香港创新研究院人工智能与机器人中心);City University of Hong Kong(香港城市大学);Department of Surgery, The Chinese University of Hong Kong(香港中文大学医学院外科学系);School of Biomedical Engineering and Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与影像科学学院)
针对传统刚性内窥镜在脑深部手术中的局限性,提出双段柔性机器人MicroNeuro,结合在线Jacobian估计的视觉伺服与带约束的模型预测控制,显著提升了运动精度与稳定性,在神经外科活检中展现巨大潜力。
2024-02-23 cs.RO cs.SY eess.SY
Deep Direct Visual Servoing of Tendon-Driven Continuum Robots
Ryerson University(瑞尔森大学)
基于视觉的控制提供了一个显着的潜力下的物理传感限制的连续体机器人的端点定位。传统的视觉伺服需要特征提取和跟踪,然后进行全部或部分姿态估计,限制了控制器的效率。我们假设,采用深度学习模型和实现直接视觉伺服可以通过消除这些中间步骤来有效地解决这个问题,从而在不需要精确系统模型的情况下控制连续体机器人。本文提出了一种单节肌腱驱动连续体机器人的控制,使用修改后的VGG-16深度学习网络和手眼直接视觉伺服方法。该算法首先在Blender软件中开发,仅使用目标的一个输入图像,然后在真实机器人上实现。在正常、阴影和遮挡场景中的收敛性和精度证明了所提出的控制器的有效性和鲁棒性。
2022-03-25 cs.RO
NeRFoot: Robot-Footprint Estimation for Image-Based Visual Servoing
Mobile Robotics Group (MRG), University of Oxford(牛津大学移动机器人小组(MRG))
本文提出NeRFoot方法,利用NeRF作为三维先验外推机器人足迹并训练CNN在线提取,从而为IBVS控制提供比边界框更紧致的约束,扩大移动机器人的安全操作区域并优化轨迹。
2024-10-03 cs.RO
Innovative Adaptive Imaged Based Visual Servoing Control of 6 DoFs Industrial Robot Manipulators
University of California, Davis(加利福尼亚大学戴维斯分校)
针对传统IBVS仅适用于特征在视野内的局限,提出结合Youla参数化的前馈-反馈自适应控制结构,通过特征估计与IBVS反馈切换及模型在线线性化解耦,实现6自由度工业机械臂全操作范围的稳定位姿控制,经仿真验证有效且鲁棒。
2025-06-11 cs.RO cs.SY eess.SY
Real-time and Autonomous Detection of Helipad for Landing Quad-Rotors by Visual Servoing
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
本文首先提出了一种实时的直升机停机坪自主检测方法。我们的方法不依赖于任何机器学习方法,因此可以实时的应用于平均四旋翼的计算能力。在初始检测之后,我们使用图像跟踪方法来进一步减少计算资源需求。一旦跟踪开始,我们修改后的IBVS(基于图像的视觉伺服)方法开始发布速度,以引导四旋翼到直升机停机坪上。改进的IBVS方案是针对四旋翼的四个自由度设计的,并且可以使四旋翼以特定方向着陆。
2020-08-05 cs.RO
MRI-compatible electromagnetic servomotors for image-guided robotic procedures
University of Utah(犹他大学)
将磁共振成像(MRI)无与伦比的软组织成像能力与高精度机器人技术相结合,有可能提高各种图像引导医疗程序的准确性、精确度和安全性。然而,高功能MRI兼容机器人系统的目标尚未实现,因为医疗机器人使用的传统电磁伺服电机在MRI扫描仪的强磁场附近可能成为危险的抛射体。在这里,我们报告了一种新的电磁屏蔽设计,它是由非磁性组件,并可以在临床扫描仪的患者区域内运行。我们表明,这种设计能够在成像过程中实现高扭矩和精确控制的旋转致动。使用这种设计,MRI兼容的机器人进行了构建和测试。该机器人证明,在组织中操纵大直径手术器械所需的线性力可以在与MRI同步成像期间实现。这项工作提出了第一个功能齐全的电磁屏蔽,可以安全地操作(同时成像)在病人区的3特斯拉临床MRI扫描仪。
2021-08-16 cs.RO physics.med-ph
Geometric Visual Servo Via Optimal Transport
University of Sheffield(谢菲尔德大学);Airbus UK(空客英国)
本文提出基于最优传输的几何控制律,结合PD控制与重力补偿,实现机器人机械臂的位姿和图像视觉伺服控制。
2026-04-01 cs.RO cs.SY eess.SY
Homography matrix based trajectory planning method for robot uncalibrated visual servoing
Wuhan Institute of Technology(武汉工程大学);Huazhong University of Science and Technology(华中科技大学);Wuhan University(武汉大学)
提出基于单应矩阵的轨迹规划方法,利用特征值分解与单应矩阵获取最优图像轨迹,使无标定视觉伺服在较大初始偏差下实现最短路径跟踪。
2023-08-30 cs.RO
An Image Based Visual Servo Method for Probe-and-Drogue Autonomous Aerial Refueling
Xi’an University of Posts & Telecommunications(西安邮电大学)
本文针对自主空中加油中的位姿估计误差问题,提出一种基于图像的视觉伺服控制方法,通过建立含受油机动力学的伺服模型并设计控制器,在仿真中实现了复杂条件下的成功对接并提升了鲁棒性。
2023-05-27 cs.RO
Applications of Uncalibrated Image Based Visual Servoing in Micro- and Macroscale Robotics
Johns Hopkins University(约翰斯·霍普金斯大学);Sanaria, Inc.(Sanaria公司)
本文提出一种无需手眼标定和相机标定的无标记图像视觉伺服方法,利用双相机结合经典图像处理与深度学习检测特征,在微尺度蚊虫解剖和宏观尺度螺丝紧固任务中实现了类似人类的操作精度。
2023-04-17 cs.RO
Uncertainty-aware deep learning for robot touch: Application to Bayesian tactile servo control
University of Bristol(布里斯托大学)
这项工作研究了触觉机器人中的不确定性感知深度学习(DL)的基础上,最近推出的机器人视觉的一般框架。对于测试场景,我们考虑光学触觉感知结合DL来估计边缘姿态作为反馈信号,以围绕各种2D测试对象伺服。我们证明了不确定性感知DL可以提高确定性DL方法的姿态估计。该系统估计与每个预测相关联的不确定性,该不确定性与时间相干性一起用于经由卡尔曼滤波器改进预测,并且因此改进触觉伺服控制。机器人能够鲁棒地遵循所有呈现的轮廓形状,不仅将误差减少到原来的两倍,而且还使轨迹从先前确定性网络引起的不期望的噪声行为中平滑。在我们看来,随着触觉机器人领域在使用DL方面的成熟,不确定性的估计将成为复杂环境中物理交互任务控制的关键组成部分。
2021-04-29 cs.RO
Imagine2Servo: Intelligent Visual Servoing with Diffusion-Driven Goal Generation for Robotic Tasks
Robotics Research Center, IIIT Hyderabad(印度国际信息技术研究院海得拉巴分校机器人研究中心);Carnegie Mellon University(卡内基梅隆大学);Intel Labs(英特尔实验室)
针对传统视觉伺服需目标图像、图像重叠度高、依赖单相机的局限,提出Imagine2Servo框架,用扩散图像编辑生成中间子目标,拓展视觉伺服应用场景,经真实实验验证有效。
2024-12-08 cs.RO
Adaptive Visual Servoing for On-Orbit Servicing
针对翻滚卫星捕获中的视觉失效问题,提出融合ICP配准、自适应卡尔曼滤波、故障恢复与约束路径规划的分层视觉伺服框架,并验证其在完全遮挡下仍可捕获自由漂浮目标。
2024-09-09 cs.RO cs.SY eess.SY
Stitching Dynamic Movement Primitives and Image-based Visual Servo Control
University of Connecticut(康涅狄格大学);Raytheon Technologies Research Center(雷神技术研究中心)
本文提出一种在 DMP 运动生成与 IBVS 控制间切换的通用机器人控制方案,建立统一状态空间并证明状态渐近有界收敛,且经 Baxter 真实实验验证。
2023-11-25 cs.RO cs.SY eess.SY
Robotic Servo Tracking of Moving Targets with Dynamic Imitation Constraints
Beihang University(北京航空航天大学);Taiyuan University of Technology(太原理工大学)
本文提出一种基于模仿轨迹约束的机器人伺服跟踪方法,通过动态模型、时间缩放变形和轨迹调制生成动态约束,实现移动目标的高精度跟踪与避障。
2026-09-15 cs.RO
Towards Active Robotic Vision in Agriculture: A Deep Learning Approach to Visual Servoing in Occluded and Unstructured Protected Cropping Environments
Queensland University of Technology(昆士兰科技大学)
3D Move To See(3DMTS)是一种多视角视觉伺服方法,适用于非结构化和遮挡环境,例如机器人作物收割中遇到的环境。本文提出了一种深度学习方法Deep-3DMTS,用于通过使用卷积神经网络(CNN)为3DMTS创建单视角方法。新方法的开发和验证,通过模拟对标准的3DMTS方法。深度3DMTS方法被示出具有在引导机器人臂的末端执行器以改善被遮挡的水果(甜椒)的视图方面与标准3DMTS基线相当的性能:末端执行器最终位置在基线的11.4 mm内;并且与基线16.8(平均值)相比,图像中的水果尺寸增加了17.8倍。
2019-08-05 cs.RO
DIViS: Domain Invariant Visual Servoing for Collision-Free Goal Reaching
University of Washington(华盛顿大学)
机器人应该理解语义和物理,以便在现实世界中发挥作用。虽然机器人平台提供了与物理世界交互的手段,但它们不能在不需要人类的情况下自主地获取对象级语义。在本文中,我们研究了如何最大限度地减少人类的努力和干预,教机器人执行现实世界的任务,结合语义。我们研究这个问题的背景下,移动机器人的视觉伺服,并提出DIViS,无碰撞视觉伺服的域不变的策略学习方法。DIViS结合了来自先前收集的静态人类标记数据集的高级语义,并完全在仿真中学习无碰撞伺服,而无需任何真实的机器人数据。然而,DIViS可以直接部署在真实的机器人上,并且能够伺服用户指定的对象类别,同时避免现实世界中的碰撞。DIViS是不受约束的查询目标的最终视图,而是强大的伺服图像的目标,从最初的机器人视图与高遮挡,而不损害其能力,以保持无碰撞path.We的泛化能力DIViS在真实的移动机器人在90多个真实世界的测试场景中的各种看不见的对象的目标在非结构化环境中。DIViS通过真实世界的实验和严格的模拟测试与以前的方法进行了比较。有关补充视频,请参见:\href{https://fsadeghi.github.io/DIViS}{https://fsadeghi.github.io/DIViS}
2019-02-18 cs.AI cs.CV cs.LG
KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation
Institute for Infocomm Research (IR), A*STAR(A*STAR资讯通信研究院(IR));Institute for High Performance Computing (IHPC), A*STAR(A*STAR高性能计算研究院(IHPC))
我们提出了KOVIS,一种新的学习为基础的,无标定的视觉伺服方法,精细的机器人操作任务与手眼立体摄像机系统。我们只在模拟环境中对深度神经网络进行训练,训练后的模型可以直接用于现实世界的视觉伺服任务。KOVIS由两个网络组成。第一个关键点网络使用自动编码器从图像中学习关键点表示。然后视觉伺服网络根据从摄像机图像中提取的关键点学习运动。这两个网络在模拟环境中通过自监督学习进行端到端的训练,而无需手动数据标记。在使用数据增强、域随机化和对抗性示例进行训练后,我们能够实现zero-shot仿真到现实迁移到现实世界的机器人操作任务。我们证明了所提出的方法的有效性,在模拟环境和现实世界的实验与不同的机器人操作任务,包括抓取,钉孔插入与4mm的间隙,和M13螺钉插入。演示视频可在http://youtu.be/gfBJBR2tDzA上获得
2020-07-28 cs.CV cs.RO
Robust 2 1/2D Visual Servoing of a Cable-Driven Parallel Robot Thanks to Trajectory Tracking
Laboratoire des Sciences du Numérique de Nantes(南特数字科学实验室);CNRS(法国国家科学研究中心);IRT Jules Verne(儒勒·凡尔纳研究院);Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);IRISA(雷恩信息与自动化系统研究所)
索驱动并联机器人是一种用索代替刚性连杆的并联机器人。在CDPR上实施基于视觉的控制导致了良好的最终精度,尽管系统中存在建模误差和其他扰动。然而,与最终精度不同,到达目标的轨迹可能会受到系统中的扰动的影响。本文提出了使用轨迹跟踪来提高CDPR的2 1/2 D视觉伺服控制的鲁棒性。李雅普诺夫稳定性分析,并作为一个新的工作空间,命名为控制稳定工作空间,被定义。该工作空间定义了一组移动平台姿态,机器人能够在稳定的情况下执行其任务。在实验验证中清楚地显示了鲁棒性的改善。
2020-01-16 cs.RO
Video Object Segmentation-based Visual Servo Control and Object Depth Estimation on a Mobile Robot
University of Michigan(密歇根大学)
为了在日常环境中发挥作用,机器人必须能够识别和定位现实世界的物体。近年来,视频对象分割在将真实视频和具有挑战性的视频中的对象从背景中密集地分离出来方面取得了重大进展。建立了这一进展,本文解决的问题,识别通用对象,并将它们定位在3D使用移动机器人与RGB摄像头。我们实现了这一点,首先,介绍了一个视频对象分割为基础的方法,视觉伺服控制和主动感知,第二,开发一个新的Hadamard Broyden更新配方。我们基于分割的方法简单但有效,我们的更新公式可以让机器人快速学习执行器和视觉特征之间的关系,而无需任何相机校准。我们在实验中通过学习移动HSR机器人上的各种致动器-相机配置来验证我们的方法,该机器人随后从YCB数据集识别、定位和抓取对象,并实时跟踪人和其他动态铰接对象。
2020-01-10 cs.RO
Model Predictive Control Design of a 3-DOF Robot Arm Based on Recognition of Spatial Coordinates
University of Liverpool(利物浦大学)
采用模型预测控制(MPC)对三自由度机械臂的输入力矩进行优化,使其能够运行到目标位置并准确抓取物体。首先使用单目相机来识别物体的颜色和深度。然后,将逆运动学计算与通过坐标变换得到的物体空间坐标相结合,得到各伺服机构所需的转角。最后,建立了机器人手臂结构的动力学模型,并应用模型预测控制仿真伺服系统的最优输入转矩,以最小化代价函数。
2022-09-04 cs.RO cs.SY eess.SY
Recon2Servo: Robotic Ultrasound Visual Servoing via Learned Image-to-Motion Inference
The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Technical University of Munich(慕尼黑工业大学);Hong Kong Polytechnic University(香港理工大学)
提出Recon2Servo框架,利用DINOv3编码器和双向关系模块从B模式图像学习图像到运动推理,实现六自由度超声探头视觉伺服,并通过重建引导闭环适应提升泛化与精度。
2026-10-06 cs.RO
Deep Visual Servoing of an Aerial Robot Using Keypoint Feature Extraction
Toronto Metropolitan University(多伦多都会大学)
本文提出一种基于深度学习的关键点检测方法,用于空中机器人图像引导的视觉伺服,解决了传统方法中人工标记检测的挑战,并增强了对遮挡、光照变化等干扰的鲁棒性。
2025-03-29 cs.RO
Control Architecture and Design for a Multi-robotic Visual Servoing System in Automated Manufacturing Environment
针对制造环境中机器人定位不确定性问题,提出模拟紧固松脱定位的多机器人控制系统,同时提出相机移动策略算法以搜索噪声最小的最优观测位置,有效降低制造过程不确定性。
2025-06-13 cs.CV cs.RO cs.SY
3D Shape Control of Extensible Multi-Section Soft Continuum Robots via Visual Servoing
Robotics Engineering Department, Worcester Polytechnic Institute(沃斯特理工学院机器人工程系)
本文提出一种基于视觉伺服的控制算法,用于调节可伸缩多节软连续机械臂的全身形状,无需本体感觉传感器,实现全局稳定收敛和高精度末端定位。
2026-02-22 cs.RO
Visual Servoing on Wheels: Robust Robot Orientation Estimation in Remote Viewpoint Control
University of Oxford(牛津大学)
本文提出一种无需假设机器人与环境信息的弱监督视觉伺服快速部署流程,通过生成大量数据实现鲁棒的机器人朝向估计,在室内远程相机数据集上验证了高跟踪性能,并证明可在30分钟内部署新机器人。
2023-06-26 cs.RO
A Novel Uncalibrated Visual Servoing Controller Baesd on Model-Free Adaptive Control Method with Neural Network
Harbin Institute of Technology(哈尔滨工业大学)
如今,随着机器人手臂应用场景的不断扩大,非专业人员接触机器人手臂的场景越来越多。然而,在机器人手臂视觉伺服方面,传统的基于位置的视觉伺服(PBVS)需要大量的校准工作,这对于非专业人员来说是具有挑战性的。无标定图像视觉伺服(UIBVS)技术的出现,使人们从繁琐的标定工作中解脱出来。本文采用无模型自适应控制方法,即控制器的参数实时的更新,使系统具有更好的抑制系统和环境变化的能力。将人工智能神经网络应用于手眼关系的控制器和估计器的设计。MFAC方法利用系统输入输出信息对神经网络进行更新。受模型预测控制(MPC)方法中“预测模型”和“滚动时域”的启发,将类似结构引入算法,实现了静止目标和运动轨迹的无标定视觉伺服。机器人机械手的模拟实验将进行验证所提出的算法。
2022-11-21 cs.RO
Conditional Visual Servoing for Multi-Step Tasks
University of Freiburg(弗莱堡大学)
视觉伺服已被有效地用于将机器人移动到特定的目标位置或跟踪记录的演示。它不需要手动编程,但通常限于一个演示映射到一个环境状态的设置。我们提出了一个模块化的方法来扩展视觉伺服的多个演示序列的情况下。我们称之为条件伺服,因为我们选择下一个演示条件的观察机器人。这种方法提出了一种有吸引力的策略来解决多步问题,因为单个演示可以灵活地组合成一个控制策略。我们提出了不同的选择函数,并比较它们在模拟的形状排序任务。与重投影误差产生最好的整体效果,我们实现了一个真正的机器人上的选择功能,并显示所提出的条件伺服的功效。有关我们实验的视频,请查看我们的项目页面:https://lmb.informatik.uni-freiburg.de/projects/conditional_servoing/
2022-05-17 cs.CV cs.LG cs.RO
DURableVS: Data-efficient Unsupervised Recalibrating Visual Servoing via online learning in a structured generative model
Massachusetts Institute of Technology(麻省理工学院);Vicarious AI(维卡里亚人工智能公司)
视觉伺服使机器人系统能够执行精确的闭环控制,这在许多应用中是必需的。然而,现有的方法要么需要精确校准的机器人运动学模型和摄像机或使用神经架构,需要大量的数据来训练。在这项工作中,我们提出了一种无监督学习的视觉伺服,不需要任何事先校准,是非常有效的数据的方法。我们的关键见解是,视觉伺服不依赖于识别的veridical运动学和摄像机参数,而是只在一个准确的生成模型的图像特征观察从关节位置的机器人。我们证明,通过我们的模型架构和学习算法,我们可以从不到50个训练样本(相当于不到1分钟的无监督数据汇集)中持续学习准确的模型,并且这种数据高效学习是标准神经架构不可能实现的。此外,我们表明,通过在循环中使用生成模型和在线学习,我们可以使机器人系统从校准错误中恢复,并检测和快速适应机器人相机系统中可能出现的意外变化(例如,碰撞相机,新对象)。
2022-02-08 cs.RO
Neuromorphic Eye-in-Hand Visual Servoing
Khalifa University Center for Autonomous Robotic Systems (KUCARS), Khalifa University of Science and Technology(哈利法大学自主机器人系统中心(KUCARS),哈利法科技大学);Kingston University(金斯顿大学);Purdue University(普渡大学)
机器人视觉在工厂自动化中发挥着重要作用,为机器人应用提供服务。然而,传统的基于帧的相机的使用设置了连续的视觉反馈的限制,由于其低采样率和冗余的数据在实时图像处理,特别是在高速任务的情况下。事件摄像机提供类似人类的视觉功能,例如以高时间分辨率($1μs$)异步观察动态变化,具有低延迟和宽动态范围。本文提出一种视觉伺服方法,利用事件摄像机和切换控制策略来探索、到达和抓取以实现操作任务。我们设计了三个活动事件的表层,直接处理相对运动的事件流。一个纯粹的基于事件的方法是通过提取角点特征,使用热图鲁棒地定位它们,并生成用于跟踪和对齐的虚拟特征。基于视觉反馈,控制机器人的运动,使时间即将发生的事件特征收敛到时空空间中的期望事件。控制器根据操作顺序切换其策略,以建立稳定的抓取。基于事件的视觉伺服(EVBS)方法进行了实验验证,使用商业机器人操作手在眼睛的配置。实验证明了EBVS方法在跟踪和抓取不同形状物体时的有效性,而无需重新调整。
2020-04-15 cs.CV cs.RO cs.SY
Robot Agnostic Visual Servoing considering kinematic constraints enabled by a decoupled network trajectory planner structure
Karlsruhe University of Applied Sciences (HKA)(卡尔斯鲁厄应用科学大学(HKA))
本研究提出一种由检测网络与考虑运动学约束的速度轨迹规划器组成的解耦结构视觉伺服方法,无需重训练即可跨机器人系统迁移,在多系统多任务下实现了亚毫米级位置误差与小于1°的姿态误差。
2024-12-12 cs.RO
A Unified Benchmark for RCM-Constrained Visual Servoing: Modeling-Controller Interaction and Robustness Analysis in Laparoscopic Robots
School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University(中山大学智能系统工程学院)
提出开源仿真框架,集成三种RCM建模方法和六种IBVS架构,通过案例研究揭示建模与控制器交互的结构敏感性,包括切平面定义、约束维度、开闭环执行及运动学奇异性附近的鲁棒性。
2026-07-02 cs.RO
Sim2Real View Invariant Visual Servoing by Recurrent Control
University of Washington(华盛顿大学);Google Brain(谷歌大脑)
人类非常擅长从各种视角和角度控制他们的肢体和工具,即使在存在光学扭曲的情况下也是如此。在机器人技术中,这种能力被称为视觉伺服:主要使用视觉反馈将工具或端点移动到所需位置。在本文中,我们研究如何视点不变的视觉伺服技能可以自动学习机器人操作的情况下。为此,我们训练一个深度递归控制器,它可以自动确定哪些动作将机器人手臂的端点移动到所需的对象。这个控制器必须解决的问题从根本上是模糊的:在严重变化的观点,它可能是不可能的,以确定在一个单一的前馈操作的行动。相反,我们的视觉伺服系统必须利用其对过去运动的记忆,从当前视点了解这些动作如何影响机器人运动,纠正错误并逐渐接近目标。这种能力与大多数视觉伺服方法形成鲜明对比,后者要么假设已知的动态特性,要么需要校准阶段。我们展示了如何使用模拟数据和强化学习目标来学习这种经常性控制器。然后,我们描述了如何将所得到的模型转移到现实世界的机器人,从控制中分离感知,只调整视觉层。经过调整的模型可以在现实世界的Kuka IIWA机器人手臂上从新的视角伺服到以前看不见的物体。https://fsadeghi.github.io/Sim2RealViewInvariantServo
2017-12-20 cs.CV cs.LG cs.RO
Visual Servoing Based on 3D Features: Design and Implementation for Robotic Insertion Tasks
VTT Technical Research Centre of Finland Ltd(芬兰国家技术研究中心有限公司)
本文提出一种基于3D特征的视觉伺服方法,利用末端相机获取孔位姿并使用易计算的雅可比矩阵对齐法兰与孔,实现无损插装,实验验证了其有效性。
2024-05-29 cs.RO
Pose-Based Tactile Servoing: Controlled Soft Touch using Deep Learning
University of Bristol(布里斯托大学);Bristol Robotics Laboratory(布里斯托机器人实验室)
本文介绍了一种新的方式来控制机器人使用软触觉传感器:基于姿态的触觉伺服(PBTS)控制。其基本思想是嵌入一个触觉感知模型,用于估计伺服控制回路内的传感器姿态,该控制回路应用于局部对象特征,如边缘和表面。PBTS控制是用一个柔软的弯曲的光学触觉传感器(BRL TacTip),使用一个卷积神经网络训练,对剪切不敏感。因此,在各种复杂的3D对象的鲁棒性和准确的控制运动。首先,我们审查触觉伺服和它的关系,视觉伺服,正式PBTS控制之前。然后,我们评估触觉伺服在一系列规则和不规则的对象。最后,我们反映了视觉伺服控制的关系,并讨论了如何控制软触摸给人一样的灵巧机器人的路线。
2021-07-02 cs.RO
A Fog Robotic System for Dynamic Visual Servoing
University of California, Berkeley(加州大学伯克利分校);Cloudminds Technology Inc.(达闼科技有限公司);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
云机器人是一种范例,分布式机器人通过网络连接到云服务,以网络通信为代价获得无限的计算能力。然而,由于网络延迟和可变性等限制,很难直接从云端控制动态的、符合人类需求的服务机器人。在这项工作中,通过利用带有心跳信号的异步协议,我们将云机器人与智能边缘设备相结合,构建了一个雾机器人系统。我们使用该系统,使强大的远程操作的动态自平衡机器人从云。我们首先使用该系统从静态位置拾取箱子,这是仓库物流中通常执行的任务。为了使云遥操作更有效,我们部署了基于图像的视觉伺服(IBVS)来自动执行盒子拾取。包括apriltag识别和跟踪在内的视觉反馈在云中执行,以模拟IBVS的Fog Robotic对象识别系统。我们证明了使用这种云边缘混合的实时动态自动化系统的可行性,这为在Fog Robotics中部署具有深度学习识别系统的动态机器人控制开辟了可能性。最后,我们表明,雾机器人使自平衡服务机器人拿起一个盒子自动从一个人在非结构化环境下。
2018-09-16 cs.AI cs.RO
Multirotor Nonlinear Model Predictive Control based on Visual Servoing of Evolving Features
National Technical University of Athens (NTUA)(雅典国家技术大学);University of Thessaly(塞萨利大学);New York University(纽约大学)
本文提出一种基于演化特征视觉伺服的多旋翼无人机非线性模型预测控制方案,通过结合障碍函数确保安全与最优性能,并利用配备摄像机的四旋翼无人机实时仿真和实验验证了其跟踪移动目标的有效性。
2024-09-25 cs.RO cs.SY eess.SY
Extended Friction Models for the Physics Simulation of Servo Actuators
Univ. Bordeaux, CNRS, LaBRI, UMR 5800(波尔多大学、法国国家科学研究中心、LaBRI、UMR 5800);Inria, Auctus(法国国家信息与自动化技术研究所、Auctus)
本文提出用于伺服执行器物理仿真的扩展摩擦模型,利用摆锤测试台轨迹识别参数并集成至物理引擎,显著提升了仿真准确性与真实世界可迁移性。
2025-11-04 cs.RO
Deep Instance Segmentation and Visual Servoing to Play Jenga with a Cost-Effective Robotic System
PIC4SeR PoliTo Interdepartmental Center for Service Robotics(PIC4SeR都灵理工大学服务机器人跨部门中心);Politecnico di Torino(都灵理工大学)
Jenga游戏代表了为复杂任务开发创新操作解决方案的鼓舞人心的基准。事实上,它鼓励研究新的机器人方法,以成功地从塔中提取块。毫无疑问,Jenga游戏回合嵌入了复杂的工业或手术操作任务的许多特征,需要多步策略,视觉和触觉数据的组合,以及机械臂的高精度运动来执行单个块提取。在这项工作中,我们提出了一种新颖的,具有成本效益的架构玩积木与e.做,6自由度拟人机械手制造的柯马,一个标准的深度相机,和一个廉价的单向力传感器。我们的解决方案专注于基于视觉的控制策略,以准确地将末端执行器与所需的块对齐,从而通过推动实现块提取。为此,我们在合成自定义数据集上训练实例分割深度学习模型,以分割Jenga塔的每一部分,从而允许在机械手运动期间对所需块的姿势进行视觉跟踪。我们将基于视觉的策略与一维力传感器相结合,通过识别力阈值来检测块是否可以安全地移除。我们的实验表明,我们的低成本解决方案允许e.DO精确地到达可移动的块,并连续执行多达14次连续提取。
2023-01-09 cs.CV cs.RO cs.SY
Low-Cost Open-Source Ambidextrous Robotic Hand with 23 Direct-Drive servos for American Sign Language Alphabet
Independent Researcher(独立研究者)
本研究开发了低成本开源3D打印灵巧机器人手VulcanV3,采用23个直驱舵机与Arduino控制方案,可复现全部52种美国手语字母手势,识别准确率最高达98.78%,为无障碍沟通提供了可复现的辅助机器人方案。
2025-09-03 cs.RO
DIJE: Dense Image Jacobian Estimation for Robust Robotic Self-Recognition and Visual Servoing
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学与技术研究生院,东京大学)
本文提出DIJE算法,通过光流与简化卡尔曼滤波实时估计逐像素图像雅可比,实现无标记的机器人自识别与视觉伺服控制,并在肌肉骨骼机器人上验证了伸手和双手工具控制能力。
2025-07-01 cs.RO
Visual Servoing with Geometrically Interpretable Neural Perception
Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI(意大利瑞士大学-瑞士意大利语区应用科学与艺术大学 达勒·莫尔人工智能研究所(IDSIA))
越来越多的非专业机器人用户需要易于使用的机器。在视觉伺服的上下文中,去除显式图像处理正成为一种趋势,从而允许容易地应用该技术。这项工作提出了一种深度学习方法,用于解决视觉伺服方案中的感知问题。人工神经网络的训练使用的监督来自知识的控制器和视觉特征的运动模型。通过这种方式,可以对所估计的视觉特征给出几何解释,这可以用于视觉伺服的分析规律中。该方法保持感知和控制解耦,赋予整个框架的灵活性和可解释性。模拟和真实的实验与机器人操作器验证我们的方法。
2022-10-19 cs.RO
Occlusion-Free Image Based Visual Servoing using Probabilistic Control Barrier Certificates
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对 IBVS 中特征点遮挡导致伺服失败的问题,提出融合 PrCBC 与 MPC 的控制器,在噪声不确定性下以预定概率保证无遮挡并完成视觉伺服。
2024-07-08 cs.RO
MPPI-VS: Sampling-Based Model Predictive Control Strategy for Constrained Image-Based and Position-Based Visual Servoing
Luddy School of Informatics, Computing, and Engineering, Indiana University(印第安纳大学卢迪信息学、计算与工程学院)
在本文中,我们开辟了新的途径,视觉伺服系统建立在路径积分(PI)最优控制理论,其中的非线性偏微分方程(PDE)可以转化为一个期望的所有可能的轨迹使用费曼-卡茨(FK)引理。更准确地说,我们提出了一种MPPI-VS控制策略,一种基于采样的模型预测控制的实时无逆控制策略(即,模型预测路径积分(MPPI)控制)算法,用于基于图像、3D点和基于位置的视觉伺服技术,考虑到系统约束(例如可见性、3D和控制约束)和与机器人和相机模型相关联的参数不确定性以及测量噪声。与经典的视觉伺服控制方案相反,我们的控制策略直接利用相互作用矩阵的近似,而不需要估计相互作用矩阵的逆或执行伪逆。我们验证了MPPI-VS控制策略,以及经典的控制方案上的6自由度笛卡尔机器人的眼睛在手的相机的基础上利用图像平面中的四个点作为视觉特征。为了更好地评估和展示我们提出的控制策略的鲁棒性和潜在的优势相比,经典的计划,在各种操作条件下进行了密集的模拟,然后进行了讨论。所得到的结果表明,该计划的有效性和能力,在应对容易与系统的约束,以及它的鲁棒性存在的相机参数和测量的大误差。
2021-12-30 cs.RO cs.SY eess.SY
CLIPUNetr: Assisting Human-robot Interface for Uncalibrated Visual Servoing Control with CLIP-driven Referring Expression Segmentation
University of Alberta(阿尔伯塔大学)
本文提出CLIPUNetr,一种CLIP驱动的指代表达分割网络,并将其集成到无标定视觉伺服控制中,以自然语言提升人机接口的语义理解能力,实验表明边界与结构指标平均提升120%,可辅助真实环境机器人控制。
2023-09-17 cs.CV cs.RO
High-Precision Transformer-Based Visual Servoing for Humanoid Robots in Aligning Tiny Objects
Institute of Humanoid Robots, Department of Precision Machinery and Precision Instrumentation, University of Science and Technology of China(人形机器人研究院,精密机械与精密仪器系,中国科学技术大学)
本文提出基于Transformer的视觉伺服方法,实现人形机器人高精度微小物体对齐,实验显示收敛误差小于1.3毫米,成功率达93%-100%。
2025-07-02 cs.CV cs.RO
Learning visual servo policies via planner cloning
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机学院);Boston University(波士顿大学)
新环境下视觉伺服的学习控制策略是一个重要问题。然而,标准的无模型策略学习方法是缓慢的。本文探讨了规划克隆:使用行为克隆来学习策略,模仿仿真中的全状态运动规划器的行为。提出了一种新的行为克隆算法-惩罚Q克隆(PQC)。我们表明,它优于几个基线和消融的一些具有挑战性的问题,涉及视觉伺服在新的环境中,同时避免障碍物。最后,我们证明,这些政策可以有效地转移到一个真正的机器人平台上,实现了约87%的成功率在模拟和真实的机器人。
2020-05-24 cs.AI cs.LG cs.RO
Robot-Relay : Building-Wide, Calibration-Less Visual Servoing with Learned Sensor Handover Network
University of Oxford(牛津大学)
提出Robot-Relay系统,在无需摄像机标定和位置信息的条件下,通过学习多摄像机间的像素级拓扑连接实现远程视点管理,并在六台摄像机连接的办公环境中完成自主通行验证。
2023-10-24 cs.RO
Image-Based Visual Servoing for Enhanced Cooperation of Dual-Arm Manipulation
Department of Electrical and System Engineering, University of Pennsylvania(电气与系统工程系,宾夕法尼亚大学);School of Instrument Science and Engineering, Southeast University(仪器科学与工程学院,东南大学);School of Materials Science and Engineering, Southeast University(材料科学与工程学院,东南大学);Department of Mechanical Engineering, University of Victoria(机械工程系,维多利亚大学)
本文提出基于图像的视觉伺服方法,增强双臂操作协作,减少位姿同步误差和力波动,并通过理论分析和真实机器人实验验证其有效性。
2025-10-07 cs.RO cs.SY eess.SY
Image-based Visual Servo Control for Aerial Manipulation Using a Fully-Actuated UAV
ShanghaiTech University(上海科技大学);Birla Institute of Technology and Science Pilani(比尔拉科学技术学院皮拉尼分校);Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于图像的视觉伺服控制策略,用于全驱动无人机桥梁维护,无需外部位姿估计或预定义标记,实现运动与力控制。
2023-06-28 cs.RO cs.SY eess.SY
Kinematically-Decoupled Impedance Control for Fast Object Visual Servoing and Grasping on Quadruped Manipulators
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);Università di Genova(热那亚大学)
本文提出一种结合运动学解耦与阻抗控制的SAG控制流程,集成IBVS,在140 kg HyQReal四足机械臂上实现了动态运动、抗干扰和快速目标跟踪抓取。
2023-07-10 cs.CV cs.RO cs.SY