Visual Servoing in Orchard Settings
Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Minnesota（明尼苏达大学）
我们提出了一个通用的框架，在农场设置使用安装在机器人机械手上的摄像头的传感器和末端执行器的准确定位。我们的主要贡献是一个视觉伺服方法的基础上，一个新的和强大的特征跟踪算法。在一个苹果园进行的实地实验结果表明，我们的方法收敛到一个给定的终止标准，即使在环境的影响，如强风，不同的照明条件和部分遮挡的目标对象。此外，我们的实验表明，该系统收敛到所需的视图范围广泛的初始条件。这种方法为新的应用开辟了可能性，例如自动水果检测，水果采摘或精确的农药施用。
2022-08-24 cs.RO
Perception-Control Coupled Visual Servoing for Textureless Objects Using Keypoint-Based EKF
Epson Canada Ltd.（爱普生加拿大有限公司）；University of Toronto（多伦多大学）
本研究提出基于关键点的扩展卡尔曼滤波方法，通过闭环整合感知与控制，提升无纹理物体视觉伺服的鲁棒性和精度。
2026-02-25 cs.RO
Deep Visual Servoing of an Aerial Robot Using Keypoint Feature Extraction
Toronto Metropolitan University（多伦多都会大学）
本文提出一种基于深度学习的关键点检测方法，用于空中机器人图像引导的视觉伺服，解决了传统方法中人工标记检测的挑战，并增强了对遮挡、光照变化等干扰的鲁棒性。
2025-03-29 cs.RO
Student Mixture Model Based Visual Servoing
International Institute of Information Technology（国际信息技术学院）；Indian Institute of Technology（印度理工学院）
经典的基于图像的视觉伺服（IBVS）利用图像的点、直线和图像矩等几何特征来控制机器人系统。这些特征的鲁棒提取和实时跟踪对IBVS的性能至关重要。此外，这样的特征可能不适合现实世界的应用，在现实世界中，可能不容易将目标与环境的其余部分区分开。或者，基于完整光度数据的方法可以避免对特征提取、跟踪和目标检测的要求。在这项工作中，我们提出了一个这样的概率模型为基础的方法，使用整个光度数据的目的视觉伺服。提出了一种基于多元学生t分布的学生混合模型（SMM）的图像建模方法。因此，一个基于视觉的控制法制定为一个最小二乘最小化问题。所提出的框架的效率证明了2D和3D定位任务显示有利的误差收敛和可接受的相机轨迹。数值实验也进行了不同的图像场景和部分遮挡的鲁棒性。
2020-06-19 cs.RO
3D Spectral Domain Registration-Based Visual Servoing
University of Birmingham（伯明翰大学）；Sorbonne Université（索邦大学）
提出了一种基于谱域配准的三维点云视觉伺服方案。具体来说，我们提出了一个3D模型/点云对齐方法，它的工作原理是通过使用频谱分析找到一个参考和目标点云之间的全局转换。R3中的3D快速傅立叶变换（FFT）用于平移估计，并且SO（3）中的实球谐函数用于旋转估计。这种方法使我们能够得到一个解耦的6自由度（DoF）控制器，其中我们使用梯度上升优化，以最大限度地减少平移和旋转成本。然后，我们将展示如何使用这种方法来调节机器人手臂执行定位任务。与现有的基于深度的视觉伺服方法相比，该方法需要密集的深度图或密集的点云，我们的方法可以很好地与部分点云，并可以有效地处理参考和目标位置之间的较大的变换。此外，使用光谱数据（而不是空间数据）的变换估计，使我们的方法强大的传感器引起的噪声和部分闭塞。我们通过使用机器人安装的深度相机获取的点云进行实验来验证我们的方法。所获得的结果证明了我们的视觉伺服方法的有效性。
2023-03-28 cs.RO
Siamese Convolutional Neural Network for Sub-millimeter-accurate Camera Pose Estimation and Visual Servoing
Nanyang Technological University（南洋理工大学）
视觉伺服（VS）是一种重要的机器人控制技术，它利用机器人末端执行器上的摄像机拍摄的图像来指导机器人的运动。我们提出了一个新的神经网络，基于暹罗架构，高度准确的相机姿态估计。反过来，这可以用作粗VS之后的最终细化步骤，或者如果以迭代方式应用，则作为独立的VS。我们的神经网络的主要特点是，它输出任何一对图像之间的相对姿态，并以亚毫米的精度这样做。我们表明，我们的网络可以减少姿态估计误差为0.6毫米的平移和0.4度的旋转，从10毫米/ 5度的初始误差，如果应用一次，或几厘米/几十度，如果迭代应用。该网络可以推广到类似的对象，对不断变化的光照条件和部分遮挡（迭代使用时）具有鲁棒性。所实现的高精度使得能够处理下游的低公差装配任务：使用我们的网络，工业机器人可以在没有任何力传感机制的情况下实现VGA连接器插入任务的97.5%成功率。
2019-03-12 cs.RO
Hybrid Multi-camera Visual Servoing to Moving Target
University of Edinburgh（爱丁堡大学）；University of Alicante（阿利坎特大学）
视觉伺服是机器人学中的一个众所周知的任务。然而，当多个视觉源被组合以准确地引导机器人或出现遮挡时，仍然存在挑战。在本文中，我们提出了一种新的视觉伺服方法，使用混合多摄像机输入数据，导致机器人手臂准确地动态移动目标点的存在部分遮挡。该方法使用四个RGBD传感器作为眼到手（EtoH）视觉输入，并使用一个臂上安装的立体相机作为手眼（EinH）。主管理器任务根据机器人和目标之间的距离选择使用EtoH或EinH。Master还选择最能感知目标的EtoH摄像机子集。当使用EinH传感器时，如果目标被遮挡或离开传感器的视锥，则主机切换回EtoH传感器以重新跟踪对象。使用该自适应视觉输入数据，然后使用迭代规划器来控制机器人，该迭代规划器使用位置、取向和关节配置来估计轨迹。由于目标是动态的，因此该轨迹在每个时间步都被更新。实验表明，在四种不同的情况下，良好的性能：跟踪一个球，瞄准靶心，引导吸管到嘴和提供一个项目，以移动的手。实验涵盖了两种简单的情况，例如从所有摄像机都可以看到的球，以及更复杂的情况，例如从一些传感器部分遮挡的嘴。
2018-08-02 cs.CV cs.RO
3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation
Queensland University of Technology（昆士兰科技大学）
在本文中，我们提出了一种新的方法，视觉伺服的机器人，被称为3D移动到看到（3DMTS）的基础上，找到下一个最好的看法，使用3D相机阵列和机器人机械手从不同的角度获得多个样本的场景的原则。该方法使用语义视觉和应用于每个视角的目标函数来采样表示下一个最佳视图的方向的梯度。该方法在模拟和一个真正的机器人平台上进行了演示，该平台包含一个自定义的3D相机阵列，用于在高度闭塞和非结构化的环境中进行机器人收获的挑战性场景。在一个真实的机器人平台上显示，通过使用目标函数的梯度移动末端执行器，即使在遮挡之间，也会导致感兴趣对象的局部最佳视图。与使用单个RGB-D相机的基线方法相比，3DMTS方法的总体性能获得了目标尺寸平均增加29.3%，基线方法获得了9.17%。结果表明，定性和定量的3DMTS方法在大多数情况下表现更好，并产生三倍的目标大小相比，基线方法。在最终视图中增加的目标尺寸将改善对感兴趣对象的关键特征的检测，以用于进一步操纵，例如抓取和收获。
2018-09-21 cs.RO
Hybrid Visual Servoing of Tendon-driven Continuum Robots
Toronto Metropolitan University（多伦多都会大学）；Concordia University（康考迪亚大学）
针对腱驱动连续体机器人控制需求，提出融合基于图像与基于深度学习的视觉伺服的混合视觉伺服方法，可平滑切换两种模式，经仿真与实验验证，在保持鲁棒性的同时提升了控制性能。
2025-02-19 cs.CV cs.RO cs.SY
ViT-VS: On the Applicability of Pretrained Vision Transformer Features for Generalizable Visual Servoing
Department of Computer Technology, University of Alicante（阿尔瓦登大学计算机技术系）；Industrial Engineering Department, UAS Technikum Vienna（维也纳技术学院工业工程系）
提出利用预训练Vision Transformer进行语义特征提取的视觉伺服方法ViT-VS，无需特定训练即结合经典与学习方法优势，在干扰场景下相对改进达31.2%，并实现跨样本泛化。
2025-03-06 cs.CV cs.RO
Using Collocated Vision and Tactile Sensors for Visual Servoing and Localization
Carnegie Mellon University（卡内基梅隆大学）
通过将相机与触觉传感器并置来协调接近和触觉成像可以1）在接触之前提供有用的信息，诸如对象姿态估计，并且与头戴式或外部深度相机相比，以减少的遮挡和更高的分辨率视觉地伺服机器人到目标，（二）简化了接触点和姿态估计问题，并帮助触觉感知避免在表面不具有显著纹理时的错误匹配或者具有重复的纹理和许多可能的匹配，以及3）使用触觉成像来进一步细化接触点和对象姿态估计。我们证明了我们的结果与对象有更多的表面纹理比大多数对象在标准的操作数据集。我们了解到，光流需要整合在大量的相机旅行是有用的预测运动方向。最重要的是，我们还了解到，最先进的视觉算法不能很好地将触觉图像定位在对象模型上，除非可以从并置的相机提供合理的先验。
2022-04-27 cs.RO
Modal-graph 3D shape servoing of deformable objects with raw point clouds
1 T Stone Robotics Institute, the Department of Mechanical；Automation Engineering, The Chinese University of Hong Kong, HKSAR, China
本文提出模态图框架，从原始点云直接提取低维变形特征，并设计无需模型辨识的自适应鲁棒控制器，实现变形体无模型三维形状伺服控制。
2023-11-28 cs.RO
DIViS: Domain Invariant Visual Servoing for Collision-Free Goal Reaching
University of Washington（华盛顿大学）
机器人应该理解语义和物理，以便在现实世界中发挥作用。虽然机器人平台提供了与物理世界交互的手段，但它们不能在不需要人类的情况下自主地获取对象级语义。在本文中，我们研究了如何最大限度地减少人类的努力和干预，教机器人执行现实世界的任务，结合语义。我们研究这个问题的背景下，移动机器人的视觉伺服，并提出DIViS，无碰撞视觉伺服的域不变的策略学习方法。DIViS结合了来自先前收集的静态人类标记数据集的高级语义，并完全在仿真中学习无碰撞伺服，而无需任何真实的机器人数据。然而，DIViS可以直接部署在真实的机器人上，并且能够伺服用户指定的对象类别，同时避免现实世界中的碰撞。DIViS是不受约束的查询目标的最终视图，而是强大的伺服图像的目标，从最初的机器人视图与高遮挡，而不损害其能力，以保持无碰撞path.We的泛化能力DIViS在真实的移动机器人在90多个真实世界的测试场景中的各种看不见的对象的目标在非结构化环境中。DIViS通过真实世界的实验和严格的模拟测试与以前的方法进行了比较。有关补充视频，请参见：\href{https://fsadeghi.github.io/DIViS}{https://fsadeghi.github.io/DIViS}
2019-02-18 cs.AI cs.CV cs.LG
Self-supervised Wide Baseline Visual Servoing via 3D Equivariance
Samsung AI Center NY（三星纽约人工智能中心）
视觉伺服的挑战性输入设置之一是当初始和目标相机视图相距很远时。这样的设置是困难的，因为宽基线可能导致对象外观的剧烈变化并导致遮挡。本文提出了一种新的自监督视觉伺服方法，宽基线图像，不需要三维地面实况监督。相对于对象回归绝对相机姿态的现有方法需要以3D边界框或网格的形式的对象的3D地面实况数据。我们通过利用称为3D等方差的几何属性来学习连贯的视觉表示-表示以可预测的方式作为3D变换的函数进行变换。为了确保特征空间忠实于底层测地线空间，将测地线保持约束与等方差结合应用。我们设计了一个连体网络，可以有效地执行这两个几何属性，而不需要3D监督。通过学习模型，可以简单地通过跟随学习空间中的梯度来推断相对变换，并将其用作闭环视觉伺服的反馈。我们的方法进行评估的对象从YCB数据集，显示有意义的优于视觉伺服任务，或对象对齐任务相对于国家的最先进的方法，使用3D监督。我们的产量超过35%的平均距离误差减少和超过90%的成功率与3厘米的误差容限。
2022-09-12 cs.AI cs.CV cs.RO
Learning Visual Servoing with Deep Features and Fitted Q-Iteration
UC Berkeley（加州大学伯克利分校）；OpenAI；International Computer Science Institute（国际计算机科学研究所）
视觉伺服涉及选择响应于来自相机的观察而移动机器人的动作，以便达到世界中的目标配置。标准的视觉伺服方法通常依赖于手动设计的特征和分析动力学模型，这限制了它们的泛化能力，并且通常需要广泛的特定于应用的特征和模型工程。在这项工作中，我们研究如何学习视觉功能，学习预测动力学模型，和强化学习可以结合起来学习视觉伺服机制。我们专注于目标跟踪，目标是设计算法，可以使用少量的目标数据学习视觉伺服，以快速适应新目标。我们的方法是基于伺服相机在学习的视觉功能的空间，而不是图像像素或手动设计的关键点。我们证明了标准的深度特征，在我们的情况下，从对象分类训练的模型中提取，可以与双线性预测模型一起使用，以学习有效的视觉伺服，对视觉变化，视角和外观的变化以及遮挡具有鲁棒性。我们的方法的一个关键组成部分是使用一个样本有效的拟合Q迭代算法来学习哪些功能最适合手头的任务。我们表明，我们可以学习一个有效的视觉伺服在一个复杂的合成汽车以下的基准使用20个训练轨迹样本的强化学习。我们展示了基于图像像素或手工设计关键点的传统方法的实质性改进，并且我们展示了比标准无模型深度强化学习算法两个数量级以上的样本效率的改进。视频可在http://rll.berkeley.edu/visual_servoing上获得。
2017-07-11 cs.AI cs.LG cs.RO
Freehand 3D Ultrasound Imaging: Sim-in-the-Loop Probe Pose Optimization via Visual Servoing
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Technical University of Munich（慕尼黑技术大学）；Southern University of Science and Technology（南方科技大学）
本文提出一种结合轻量相机与视觉伺服的模拟在环方法，通过图像恢复和姿态优化实现低成本、高精度的徒手三维超声重建，在多个体模上验证了亚毫米级精度。
2025-10-17 cs.RO cs.SY eess.SY
SEBVS: Synthetic Event-based Visual Servoing for Robot Navigation and Manipulation
Arizona State University（亚利桑那州立大学）；Indian Institute of Information Technology（印度信息科技学院）
针对主流机器人模拟器中合成事件视觉探索不足的问题，提出开源ROS包SEBVS，可在Gazebo中从RGB相机生成事件流，用于训练事件驱动机器人策略并验证其在导航和操作任务中的竞争优势，推动事件相机在机器人策略学习中的应用。
2025-08-25 cs.CV cs.RO
DGBench: An Open-Source, Reproducible Benchmark for Dynamic Grasping
Queensland University of Technology（昆士兰科技大学）；LYRO Robotics（LYRO机器人公司）
本文介绍了DGBench，一个完全可重复的开源测试系统，使基准动态抓取环境中的机器人和物体之间的不可预测的相对运动。我们使用建议的基准比较几个视觉感知的安排。由于传感器的最小范围、遮挡和有限的视场，为静态抓取开发的传统感知系统无法在抓取的最后阶段提供反馈。提出了一种多相机手眼感知系统，其具有优于常用相机配置的优点。我们定量评估一个真正的机器人与基于图像的视觉伺服把握控制器的性能，并显示一个动态抓取任务的成功率显着提高。
2022-07-13 cs.RO
Robot eye-hand coordination learning by watching human demonstrations: a task function approximation approach
University of Alberta（阿尔伯塔大学）
我们提出了一种机器人眼手协调学习方法，可以直接学习视觉任务规范通过观看人类演示。任务规范被表示为一个任务函数，这是学习使用逆强化学习（IRL）通过推断状态变化之间的差分奖励。学习的任务功能，然后作为连续的反馈，在未校准的视觉伺服（UVS）控制器设计的执行阶段。我们提出的方法可以直接从原始视频中学习，这消除了手工设计任务规范的需要。它还可以通过直接近似任务函数来提供任务可解释性。此外，受益于传统的UVS控制器的使用，我们的训练过程是有效的，学习的政策是独立于一个特定的机器人平台。各种实验的设计表明，对于一定的自由度任务，我们的方法可以适应任务/环境的目标位置，背景，照明和闭塞的变化，而无需事先重新训练。
2019-02-27 cs.RO
Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators
Worcester Polytechnic Institute（沃斯彻斯特理工学院）
本文提出一种新的视觉伺服框架，通过纯自然视觉特征控制机械臂的配置空间。通过图像修复生成无标记的机械臂图像，训练关键点检测算法以实现基于自然特征的控制，无需依赖相机校准或机器人模型。
2026-08-13 cs.RO
Minimally Constrained Multi-Robot Coordination with Line-of-sight Connectivity Maintenance
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们考虑了一个团队的移动机器人同时执行多个行为，由不同的子群，同时保持全球和子群的视线（LOS）网络连接，最低限度地限制了原来的多机器人行为。当两个机器人保持在有限的通信范围内时，两个机器人之间的LOS连通性保持不变，并且它们的LOS在移动时保持不受静态障碍物的遮挡。通过使用控制障碍函数（CBF）和最小体积封闭椭球（MVEE），我们首先引入LOS连通性障碍证书（LOS-CBC）来表征两个机器人的状态相关的容许控制空间，从它们的运动将保持两个机器人LOS连接随着时间的推移。然后，我们提出了最小视线连接约束生成树（MLCCST）作为一个逐步的双层优化框架，以共同优化（a）最小的LOS边缘集，积极维护，和（b）控制修订相对于一个标称的多机器人控制器由于LOS连接维护。正如在理论分析中证明的那样，这允许机器人即兴的LOS-CBC控制约束的最佳组合，这些约束在标称控制器周围是最小的约束，并且同时通过所得到的成对LOS边缘的保留集来执行全局和子组LOS连接。因此，该框架导致机器人保持接近他们的名义行为，同时表现出动态变化的LOS连接的网络拓扑结构，提供了最大的灵活性，为现有的多机器人实时任务。我们证明了我们的方法的有效性，通过模拟多达64个机器人。
2023-03-07 cs.MA cs.RO
