3D Vision-guided Pick-and-Place Using Kuka LBR iiwa Robot
The University of Manchester（曼彻斯特大学）；Cardiff University（卡迪夫大学）
本文提出了一种控制系统的发展，视觉引导的拾取和放置任务，使用机器人手臂配备了一个3D摄像头。其主要步骤包括摄像机内外标定、手眼标定、初始物体位姿配准、物体位姿对准算法和取放执行。所提出的系统允许机器人能够拾取和放置对象与有限的时间注册一个新的对象和开发的软件可以应用于新的对象场景迅速。使用kuka iiwa、Robotiq夹持器（两指夹持器和三指夹持器）和3D摄像头（Intel realsense D415摄像头、Intel realsense D435摄像头、Microsoft Kinect V2）的硬件组合测试了集成系统。整个系统也可以修改为其他机械臂，夹具和3D相机的组合。
2021-02-23 cs.CV cs.RO
Understanding Contexts Inside Robot and Human Manipulation Tasks through a Vision-Language Model and Ontology System in a Video Stream
University of Alberta（阿尔伯塔大学）
日常生活中的操作任务，如倒水，在特定的操作情境下有意识地展开。随着时间的推移，能够处理这些日常生活活动（ADL）中的上下文知识可以帮助我们理解操纵意图，这对于智能机器人在各种操纵动作之间平稳过渡至关重要。在本文中，建模的预期概念的操作，我们提出了一个视觉数据集下的严格约束的知识域的机器人和人类的操作，其中操作的概念和关系存储在一个本体系统的分类方式。此外，我们提出了一个计划，以产生一个组合的视觉注意力和不断发展的知识图谱充满常识知识。我们的计划与现实世界的摄像机流和融合基于注意力的视觉语言模型与本体系统。实验结果表明，该方案可以成功地代表一个预期的对象操作过程的机器人和人类的演变。该方案允许机器人通过观看实时视频来模仿人类的有意行为。我们的目标是进一步发展这个计划，为现实世界的机器人智能人机交互。
2020-03-02 cs.CV cs.RO
A Low Cost Vision Based Hybrid Fiducial Mark Tracking Technique for Mobile Industrial Robots
University of Jazan（贾赞大学）
机器人视觉领域发展迅速。机器人可以智能地做出反应，并通过感知计算为用户活动提供帮助。由于工业应用提出了人类无法处理的复杂要求，因此需要一种有效的低成本和鲁棒的技术来跟踪移动工业机器人。现有的基于传感器的移动机器人跟踪技术是昂贵的，部署，配置和维护复杂。其中一些还需要专用且通常昂贵的硬件。本文提出了一种低成本的视觉为基础的技术称为混合基准标记跟踪（HFMT）技术的跟踪移动工业机器人。HFMT技术需要现成的硬件（CCD摄像头）和可打印的2-D圆形标记用作基准，用于跟踪预处理器上的移动工业机器人定义的路径。该技术允许机器人跟踪一个预定义的路径，通过使用基准检测右和左转弯的路径和白色地带跟踪路径。HFMT技术的实现和测试的室内移动机器人在我们的实验室机器人在真实环境中导航的实验结果证实了我们的方法简单而鲁棒，可以在人类无法工作的任何恶劣工业环境中采用。
2012-09-29 cs.CV cs.RO
3D Vision Guided Robotic Charging Station for Electric and Plug-in Hybrid Vehicles
University of Oslo（奥斯陆大学）；Graz University of Technology（格拉茨技术大学）
电动汽车（EV）和插件混合动力汽车（PHEV）在我们的道路上迅速普及。除了相对较高的购买价格外，限制其使用的主要两个问题是行驶里程短和充电过程不方便。在本文中，我们解决了以下问题，提出了一个自动机器人为基础的充电站与3D视觉指导插入和拔出充电器。首先，提出了由3D视觉系统、UR 10机器人和充电站组成的整个系统概念。然后，我们展示了基于形状的匹配方法，用于成功地识别和获得充电端口的准确姿态。相同的方法用于通过仅使用连接器插头的已知结构而不使用附加标记来校准相机-机器人系统。最后，一个三步机器人运动规划程序的插件和功能证明了一系列成功的实验。
2017-03-15 cs.CV cs.RO
vAccSOL: Efficient and Transparent AI Vision Offloading for Mobile Robots
University Carlos III of Madrid（卡洛斯三世大学）；Nubificus Ltd（Nubificus有限公司）
本文提出vAccSOL框架，通过SOL神经网络编译器和vAccel执行框架实现AI视觉任务的高效透明执行，减少能耗并提升执行效率。
2026-03-17 cs.CV cs.RO
Camera Exposure Control for Robust Robot Vision with Noise-Aware Image Quality Assessment
KAIST（韩国科学技术院）
在本文中，我们提出了一个鲁棒的机器人视觉噪声感知曝光控制算法。我们的方法旨在捕获曝光最佳的图像，从而提高各种计算机视觉和机器人任务的性能。为此，我们精心设计了一个图像质量度量，它捕获互补的质量属性，并确保轻量级计算。具体来说，我们的度量包括图像梯度，熵和噪声度量的组合。这些措施的协同作用允许在图像中保持锐利的边缘和丰富的纹理，同时保持低噪声水平。使用这种新的度量，我们提出了一个实时和全自动曝光和增益控制技术的基础上Nelder-Mead方法。为了说明我们的技术的有效性，大量的实验结果表明，与传统的方法相比，更高的定性和定量性能。
2019-07-11 cs.CV cs.RO
High Throughput Soybean Pod-Counting with In-Field Robotic Data Collection and Machine-Vision Based Data Analysis
EarthSense Inc.（EarthSense公司）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们报告了有希望的结果，高通量的田间大豆豆荚计数与小型移动机器人和机器视觉算法。我们的研究结果表明，基于机器视觉的大豆荚果数与大豆产量密切相关。虽然荚果计数与大豆产量有很强的相关性，但荚果计数是极其劳动密集型的，并且难以自动化。我们的研究结果表明，配备视觉传感器的自主机器人可以自主收集大豆成熟时的数据。机器视觉算法可用于以高通量、自动化的方式估计种植在实验单元（EU或地块）上的大型多样性面板上的豆荚计数。我们报告我们的自动豆荚计数和大豆产量之间的相关性为0.67。这些数据是在一项实验中收集的，该实验由伊利诺伊大学大豆育种计划在2020年生长季节维护的1463个单行地块组成。我们还报告了一个较小的数据集的16个地块的自动豆荚计数和手动豆荚计数之间的相关性为0.88。
2021-05-27 cs.CV cs.RO
A Novel Camera-to-Robot Calibration Method for Vision-Based Floor Measurements
Machine Vision Metrology Lab, \ of Photogrammetry
本文提出了一种新型手眼校准方法，用于地面观测移动机器人。通过设计参考板结合激光跟踪器的3D测量和摄像头的2D成像，实现高精度定位。实验显示重复精度达到亚毫米级。
2026-03-31 cs.CV cs.RO
RoboLLM: Robotic Vision Tasks Grounded on Multimodal Large Language Models
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
本文提出RoboLLM框架，利用多模态大语言模型BEiT-3的预训练能力统一处理ARMBench机器人操作数据集中的多种视觉感知任务，在性能超越现有基线并显著降低工程负担。
2024-02-23 cs.CV cs.RO
From Vision to Harvest: Benchmarking Vision-Language Models for Multi-Arm Robotic Fruit Harvesting
University of California, Merced（加州大学默塞德分校）；University of California, Davis（加州大学戴维斯分校）
该研究首次提出多臂机器人水果采摘的视觉语言模型基准测试，验证了VLM零样本规划的有效性，并指出3D路径点生成与碰撞协调是实际部署的主要瓶颈。
2026-09-15 cs.CV cs.RO
The iCub multisensor datasets for robot and computer vision applications
Humboldt-Universität zu Berlin（柏林洪堡大学）；The BioRobotics Institute, Scuola Superiore Sant’Anna（圣安娜高等学校生物机器人研究所）；Adaptive Systems Group, Department of Computer Science（计算机科学系自适应系统组）
本文介绍了新的数据集，通过采用配备额外的深度传感器和彩色摄像头的iCub机器人构建。我们使用机器人在不同的采集场景中采集了210个物体的颜色和深度信息。最后，结果是机器人和计算机视觉应用的大规模数据集：对象表示，对象识别和分类，以及动作识别。
2020-03-04 cs.CV cs.LG cs.RO
Find my mug: Efficient object search with a mobile robot using semantic segmentation
Vienna University of Technology（维也纳工业大学）
在本文中，我们提出了一个有效的室内场景语义分割框架，适合于移动机器人上的应用。语义分割可以帮助机器人对其环境获得合理的理解，但要达到这一目标，算法不仅需要准确，而且需要快速和鲁棒。因此，我们开发了一个基于随机决策森林的优化3D点云处理框架，在足够高的帧速率下实现了有竞争力的结果。我们评估了我们的方法在流行的纽约大学深度数据集和我们自己的数据上的能力，并通过将其部署在移动服务机器人上来证明其可行性，为此，我们可以使用我们的结果优化对象搜索过程。
2014-04-23 cs.CV cs.RO
Bench2FreeAD: A Benchmark for Vision-based End-to-end Navigation in Unstructured Robotic Environments
针对非结构化场景下机器人导航研究不足的问题，本文构建FreeWorld Dataset数据集，微调VAD模型验证其性能，提出首个相关基准，以推动物流和服务机器人E2E导航技术发展。
2025-11-17 cs.CV cs.RO
FastOrient: Lightweight Computer Vision for Wrist Control in Assistive Robotic Grasping
Imperial College London（帝国理工学院）
用于人类抓握支持的可穿戴和辅助机器人技术广泛地是远程操作的机器人手臂或通过瘫痪用户的手的矫正控制来行动。这样的装置需要正确的取向以成功和有效地抓取。在许多人类-机器人辅助设置中，终端用户需要明确地控制许多自由度，使得有效或高效的控制成为问题。在这里，我们展示了通过自动末端执行器方向控制抓取来卸载辅助机器人和主动矫形器的低级别控制。本文介绍了一种紧凑的算法，实现快速计算机视觉技术，以获得目标物体的方向被抓住，通过分割与定位在机器人设备的末端执行器的顶部上的摄像机获得的图像。优化抓取所需的旋转直接从物体的方向计算。该算法已在6个不同的场景背景和末端效应器的方法，以26个不同的对象进行了评估。94.8%的物体在所有背景中被检测到。在91.1%的情况下，实现了对象的把握，并已与机器人模拟器确认算法的性能进行了评估。
2018-07-22 cs.CV cs.RO
Integration of Robotics, Computer Vision, and Algorithm Design: A Chinese Poker Self-Playing Robot
本研究融合机械设计、计算机视觉与算法设计，打造了搭载YOLOv5检测模型与贪心算法的TM5-900机械臂系统，可自主完成中国扑克的取牌、识牌、选牌与出牌全流程。
2023-11-28 cs.CV cs.RO eess.SP
ViTA-Seg: Vision Transformer for Amodal Segmentation in Robotics
Department of Electrical；Learning (RPL), KTH Royal Institute of Technology, 114 28, Stockholm, Sweden, (e-mail: )
ViTA-Seg是一种用于机器人抓取的视觉Transformer框架，通过双头架构实现高效的无遮挡分割，提升机器人操作的实时性和鲁棒性。
2025-12-10 cs.CV cs.RO
Robot Manipulation in Salient Vision through Referring Image Segmentation and Geometric Constraints
University of Alberta（阿尔伯塔大学）
本文提出CLIPU$^2$Net轻量级指代分割模型，结合眼在手视觉伺服系统，通过几何约束实现语言引导的机器人操作，在46项真实任务中优于传统方法。
2024-09-17 cs.CV cs.RO
Decision-Driven Semantic Object Exploration for Legged Robots via Confidence-Calibrated Perception and Topological Subgoal Selection
Robotics and Autonomous Systems Thrust, The Hong Kong University of Science and Technology (Guangzhou), China（机器人与自主系统方向，香港科技大学（广州））；Department of Mechanical and Energy Engineering, Southern University of Science and Technology, China（机械与能源工程系，南方科技大学）
本文提出了一种基于视觉的决策驱动语义对象探索方法，通过置信度校准感知与拓扑子目标选择机制提升腿部机器人在开放环境中的探索性能。
2026-03-06 cs.CV cs.RO
Vision-Guided Robot Hearing
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所）
复杂和不可预测环境下的自然人机交互是机器人学的主要研究方向之一。在典型的现实世界场景中，人类与机器人有一定距离，并且所获取的信号受到噪声、混响和其他干扰源的强烈损害。在这种情况下，说话者的检测和定位起着关键作用，因为它是几项任务（例如：语音识别和说话者跟踪）依赖。我们解决的问题，如何检测和本地化的人都看到和听到的人形机器人。我们引入了一个混合确定性/概率模型。事实上，确定性成分允许我们将视觉信息映射到听觉空间。通过概率分量，视觉特征引导听觉特征的分组，以便形成AV对象。所提出的模型和相关的算法实现实时（17 FPS）使用立体摄像机对和两个麦克风嵌入到头部的人形机器人NAO。我们对（i）合成数据，（ii）公开可用的数据集和（iii）使用机器人获取的数据进行了实验。我们获得的结果验证了这种方法，并鼓励我们进一步研究视觉如何帮助机器人听觉。
2013-12-16 cs.CV cs.RO
Source Feature Compression for Object Classification in Vision-Based Underwater Robotics
Rutgers University（罗格斯大学）；Cleveland State University（克利夫兰州立大学）
针对水下机器人中基于卷积神经网络（CNN）的目标分类问题，提出了一种基于两级Walsh-Hadamard变换（WHT）的高效源特征压缩方法。目标图像首先通过WHT进行两阶段处理。变换域张量具有集中在RGB通道中矩阵的左上角的大值。通过观察这个属性，变换域矩阵被划分为内部区域和外部区域。因此，在这项工作中提出了两种新的分区方法：（i）固定内部和外部区域的大小;和（ii）调整内部和外部区域的大小自适应每图像。这些建议进行了评估，从美国新泽西州的拉里坦河捕获的水下对象数据集。实验结果表明，与同类方法相比，该方法有效地减少了基于学习的水下目标分类任务的训练时间，提高了分类精度。目标分类是基于视觉的水下机器人实现环境感知和自主导航的重要环节。因此，所提出的方法非常适合于高效的计算机视觉为基础的任务，在水下机器人应用。
2021-12-28 cs.CV cs.RO
An Embarrassingly Pragmatic Introduction to Vision-based Autonomous Robots
自主机器人是目前最受欢迎的人工智能问题之一，在过去十年中取得了重大进展，从自动驾驶汽车和人形机器人到交付机器人和无人机。问题的一部分是让机器人模仿人类的感知，我们的视觉，用相机代替眼睛，用神经网络等数学模型代替大脑。开发一个能够在没有人类干预的情况下驾驶汽车的人工智能和一个在城市中运送包裹的小型机器人似乎是不同的问题，然而从感知和视觉的角度来看，这两个问题有一些相似之处。我们目前发现的主要解决方案集中在使用计算机视觉技术，机器学习和各种算法通过视觉信息感知环境，使机器人理解环境或场景，移动，适应其轨迹并执行其任务（维护，探索等）。而不需要人为干预。在这项工作中，我们从零开始开发一种小型自动驾驶汽车，能够仅使用视觉信息来理解场景，在工业环境中导航，检测人员和障碍物，或执行简单的维护任务。我们回顾了最新的基本问题，并证明了小规模使用的许多方法与特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法相似。最后，我们讨论了机器人技术和自动驾驶的现状，以及我们在这一领域可以找到的技术和道德限制。
2021-12-14 cs.CV cs.RO
Mobile Robot Navigation Using Hand-Drawn Maps: A Vision Language Model Approach
University of Toronto（多伦多大学）
本文提出HAM-Nav架构，利用预训练视觉语言模型结合选择性视觉关联提示和预测性导航计划解析器，解决手绘地图中的比例失真和缺失地标问题，实现移动机器人在多种环境与实体中的鲁棒导航。
2025-04-28 cs.CV cs.RO
Intelligent Indoor Mobile Robot Navigation Using Stereo Vision
Amrita Vishwa Vidyapeetham（阿姆里塔 Vishwa Vidyapeetham 大学）
大多数现有的机器人导航系统，便于使用激光测距仪，声纳传感器或人工地标，有能力在未知的环境中定位自己，然后建立相应的环境地图。立体视觉，虽然仍然是一个快速发展的技术在自主移动机器人领域，目前不太可取的，由于其高的实施成本。本文旨在描述一种实验方法的立体视觉系统的建设，帮助机器人，以避免障碍物和导航通过室内环境，并在同一时间保持非常高的成本效益。本文讨论了立体视觉和超声波传感器的融合技术，有助于成功地通过不同类型的复杂环境的导航。来自传感器的数据使机器人能够创建未知环境的二维的拓扑图，立体视觉系统能够对同一环境的三维模型进行建模。
2014-09-10 cs.AI cs.CV cs.RO
Automatic Tool Landmark Detection for Stereo Vision in Robot-Assisted Retinal Surgery
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
计算机视觉和机器人技术越来越多地应用于医疗干预。特别是在需要极其精确的干预措施中，它们可以发挥作用。一个这样的应用是机器人辅助视网膜显微手术。在最近的工作中，这种干预是在立体显微镜下进行的，并使用机器人控制的手术工具。然而，计算机视觉和机器人技术的互补性尚未得到充分利用。为了提高机器人控制，我们感兴趣的解剖结构的三维重建和自动工具定位使用立体显微镜。在本文中，我们解决了这个问题，第一次使用一个单一的管道，从未校准的相机，以达到度量三维重建和注册，在视网膜显微手术。我们的方法的关键组成部分是：（a）手术工具标志检测，和（b）三维重建与立体显微镜，使用检测到的标志。为了解决前者，我们提出了一种新的深度学习方法，该方法以高于实时速度的速度检测和识别高清图像中的关键点。我们使用检测到的2D关键点以及从机器人传感器获得的相应的3D坐标，使用仿射投影模型来校准立体显微镜。我们设计了一个在线3D重建管道，利用平滑度约束，并执行机器人到相机的注册。整个管道在开放天空猪眼序列上进行了广泛的验证。给出了所有步骤的定量和定性结果。
2017-11-20 cs.CV cs.RO
Look, Focus, Act: Efficient and Robust Robot Learning via Human Gaze and Foveated Vision Transformers
University of California, Berkeley（加州大学伯克利分校）；Tongji University（同济大学）；University of California, Davis（加州大学戴维斯分校）
研究如何将人类注视融入机器人策略以提升效率与稳健性，开发GIAVA系统，通过中央凹补丁令牌化将注视信息集成到视觉变换器，减少计算量，降低计算开销，增强稳健性，在高精度任务中提高成功率，凸显人类启发的中央凹视觉处理的潜力。
2026-07-15 cs.AI cs.CV cs.RO
A Survey on Deep Learning Methods for Robot Vision
Universidad de Chile（智利大学）
深度学习使得模式识别发生了范式转变，从使用手工制作的特征和统计分类器到使用通用学习过程来学习数据驱动的表示、特征和分类器。这种新范式在计算机视觉中的应用尤其成功，其中面向视觉应用的深度学习方法的开发已成为热门研究课题。鉴于深度学习已经引起了机器人视觉社区的关注，本次调查的主要目的是解决深度学习在机器人视觉中的使用问题。为了实现这一目标，全面概述了深度学习及其在计算机视觉中的应用，其中包括最常用的神经模型及其主要应用领域的描述。然后，介绍了用于设计基于深度学习的视觉系统的标准方法和工具。然后，回顾了在机器人视觉中使用深度学习的主要工作，以及在机器人技术中使用深度学习的当前和未来趋势。本综述旨在为机器人视觉系统的开发者提供指导。
2018-03-28 cs.CV
Visionary: Vision architecture discovery for robot learning
Robotics at Google（谷歌机器人部门）；Stony Brook University（石溪大学）；Columbia University（哥伦比亚大学）
提出了一种基于视觉的机器人操作学习体系结构搜索算法，该算法能够发现低维动作输入和高维视觉输入之间的相互作用。我们的方法在训练任务的同时自动设计架构-发现将图像特征表示与动作以及先前层的特征相结合和参与的新方法。所获得的新架构表现出更好的任务成功率，在某些情况下，与最近的高性能基线相比，具有很大的利润。我们的真实机器人实验也证实，它提高了6%的抓取性能。这是第一种方法来证明一个成功的神经架构搜索和注意力连接搜索一个真正的机器人任务。
2021-03-26 cs.CV cs.LG cs.NE
A new design of a flying robot, with advanced computer vision techniques to perform self-maintenance of smart grids
University of Turkish Aeronautical Association（土耳其航空协会大学）
在本文中，我们提出了一个完整的设计飞行机器人调查状态的电网组件，并执行相应的维护程序，根据每个故障或缺陷，可以识别。为了实现这一目的，不同类型的传感器，包括热和航空视觉为基础的系统中采用本设计。本文详细介绍了该机器人的主要特点和技术指标。一些必要的和先进的计算机视觉技术被利用在这项工作中采取一些读数和测量从机器人的周围环境。从每个给定的图像中，包含不同的电气组件的许多子图像被提取使用一个新的区域建议的方法，依赖于离散小波变换，稍后通过利用卷积神经网络进行分类。
2020-05-05 cs.CV cs.RO eess.IV
A Brief Survey on Leveraging Large Scale Vision Models for Enhanced Robot Grasping
本文综述大规模视觉预训练模型如何缓解机器人抓取中的数据稀缺问题，分析关键挑战并指出未来研究方向。
2024-06-17 cs.AI cs.CV cs.RO
Theia: Distilling Diverse Vision Foundation Models for Robot Learning
Stony Brook University（石溪大学）；The AI Institute（人工智能研究院）
针对机器人策略学习需多样视觉理解的需求，提出蒸馏多现成视觉基础模型的Theia模型，以更少数据和更小尺寸实现更优性能，还探究了表征熵与学习效果的关联。
2024-10-10 cs.AI cs.CV cs.LG
Real-time Vision-based Navigation for a Robot in an Indoor Environment
Stanford University（斯坦福大学）
本文提出一种利用基于视觉的技术和先进路径规划算法的室内自主避障导航系统，并通过定性和定量指标评估其性能，展示了基于视觉的技术在实时自主导航中的潜力。
2023-07-02 cs.CV
Object-Independent Human-to-Robot Handovers using Real Time Robotic Vision
TU Wien（维也纳工业大学）；Australian Center of Robotic Vision（澳大利亚机器人视觉中心）；Monash University（蒙纳士大学）；University of Birmingham（伯明翰大学）；Queensland University of Technology（昆士兰科技大学）
我们提出了一种方法，安全和对象无关的人对机器人的实时的机器人视觉和操纵。我们的目标是通用对象检测器的普遍适用性，快速抓取选择算法，并通过使用单个夹具安装的RGB-D相机，因此不依赖于外部传感器。机器人通过视觉伺服被控制朝向感兴趣的对象。高度重视安全性，我们使用两个感知模块：人体部位分割和手/手指分割。被认为属于人类的像素从候选抓取姿势中过滤掉，从而确保机器人安全地拾取物体而不会与人类伙伴发生碰撞。抓取选择和感知模块实时并行运行，这允许监控进度。在13个物体的实验中，机器人能够在81.9%的试验中成功地从人类手中拿走物体。
2020-09-21 cs.CV cs.LG cs.RO
ROSA: Harnessing Robot States for Vision-Language and Action Alignment
University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）；Dexmal
针对现有VLA模型微调存在时空鸿沟、数据效率低的问题，提出ROSA训练范式，通过整合自动化获取的机器人状态估计数据增强模型空间理解与自我感知，在低数据场景下提升了机器人控制性能与泛化性。
2025-06-16 cs.AI cs.CV cs.RO
Vision-RADAR fusion for Robotics BEV Detections: A Survey
Motional（Motional公司）
由于构建自主机器人感知系统的趋势需要，传感器融合吸引了研究人员和工程师的大量关注，以充分利用跨模态信息。然而，为了大规模地构建机器人平台，我们还需要强调自主机器人平台的成本。相机和雷达本身就包含互补的感知信息，具有大规模开发自主机器人平台的潜力。然而，与LiDAR融合视觉工作相比，围绕雷达融合视觉的工作有限。在本文中，我们解决了这个差距的视觉雷达融合方法的BEV目标检测系统的调查。首先，我们通过背景信息，机器人感知系统的目标检测任务、传感器的选择、传感器设置、基准数据集和评估指标。稍后，我们将介绍每模态（相机和雷达）数据表示，然后详细介绍基于子组的传感器融合技术，即，早期融合、深度融合和后期融合，以便轻松了解每种方法的优缺点。最后，我们提出了未来可能的发展趋势，视觉雷达融合启发未来的研究。定期更新的摘要可在https://github.com/ApoorvRoboticist/Vision-RADAR-Fusion-BEV-Survey上找到
2023-02-13 cs.CV
Event-based Robotic Grasping Detection with Neuromorphic Vision Sensor and Event-Stream Dataset
JingDong Group（京东集团）；Tongji University（同济大学）；Technische Universität München（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
机器人抓取在机器人领域中占有重要地位。现有的机器人抓取检测系统通常基于传统的视觉系统，如RGB-D摄像机。与传统的基于框架的计算机视觉相比，神经形态视觉是一个小而年轻的研究群体。目前，由于异步事件流的注释麻烦，基于事件的数据集有限。大规模视觉数据集的标注往往需要大量的计算资源，尤其是视频级标注的麻烦数据。在这项工作中，我们考虑的问题，检测机器人掌握在一个移动的摄像机视图中的场景包含对象。为了获得更灵活的机器人感知，神经形态视觉传感器（DAVIS）连接到机器人的抓手，探索潜在的使用在抓取检测。我们构建了一个机器人抓取数据集命名为事件流数据集与91个对象。提出了一种时空混合粒子滤波器（SMP滤波器）来跟踪基于led的抓取矩形，使视频级注释的单个抓取矩形每个对象。当LED以高频率闪烁时，事件流数据集以1 kHz的高频率进行注释。基于事件流数据集，我们开发了一个用于抓取检测的深度神经网络，该网络将角度学习问题视为分类而不是回归。该方法在我们的事件流数据集上执行高检测精度，在对象级别上具有93%的精度。该工作提供了一个大规模的和良好的注释数据集，并促进了敏捷机器人的神经形态视觉应用。
2020-05-01 cs.CV
VSGM -- Enhance robot task understanding ability through visual semantic graph
National Central University（中央大学）
近年来，为机器人开发人工智能引起了人们的广泛关注。机器人的视觉和语言的交互尤其困难。我们认为，给机器人的视觉语义和语言语义的理解将提高推理能力。本文提出了一种新的视觉语义图记忆方法--VSGM（Visual Semantic Graph Memory），它利用语义图来获取更好的视觉图像特征，提高机器人的视觉理解能力。通过提供机器人的先验知识和检测图像中的对象，它预测对象的属性和对象之间的相关性，并将它们转换为基于图形的表示;并将图像中的对象映射为自上而下的自我中心地图。最后，利用图神经网络提取当前任务的重要目标特征。在ALFRED（Action Learning From Realistic Environments and Directives）数据集上验证了本文提出的方法。在这个数据集中，机器人需要按照所需的语言指令执行日常室内家务。将该模型加入到VSGM中后，任务成功率可提高6~ 10%。
2021-05-25 cs.AI cs.CV cs.RO
Semantic-Aware Environment Perception for Mobile Human-Robot Interaction
Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学）
当前的技术进步为将人机交互提升到以人为中心的合作的新水平提供了新的机会。在这种情况下，一个关键的问题是环境的语义理解，以使移动机器人更复杂的互动和促进与人类的沟通。假设是基于视觉的语义对象和人的注册，后者进一步分析潜在的交互伙伴。尽管取得了显著的研究成果，可靠和快速的语义信息注册仍然是一个具有挑战性的任务，移动机器人在现实世界中的场景。在本文中，我们提出了一个基于视觉的移动辅助机器人系统，使语义感知的环境感知没有额外的先验知识。我们部署我们的系统上的移动人形机器人，使我们能够测试我们的方法在现实世界中的应用。
2022-11-07 cs.AI cs.CV cs.RO
Viewpoint Generation using Feature-Based Constrained Spaces for Robot Vision Systems
Technical University of Munich（慕尼黑工业大学）
针对机器人视觉系统视点计算缺乏通用整体框架的问题，提出基于特征约束空间（$\text{C}$-空间）的几何化理论框架，可高效表述多类约束并提供闭式解，适配异构系统，经仿真与真实双传感器系统验证有效。
2023-06-12 cs.AI cs.CV cs.RO
Bridging between Computer and Robot Vision through Data Augmentation: a Case Study on Object Recognition
尽管深度网络在视觉对象识别方面取得了令人印象深刻的进展，但机器人视觉仍然远未成为一个解决的问题。最成功的卷积架构是从ImageNet开始开发的，ImageNet是从Web下载的对象类别的大规模图像集合。这种图像与部署在不受约束的设置中的机器人的位置和具体的视觉体验非常不同。为了减少这两种视觉体验之间的差距，本文提出了一个简单而有效的数据增强层，缩放感兴趣的对象，并模拟机器人视觉系统的目标检测结果。该层可以与任何卷积深度架构一起使用，在三个不同的基准数据库上进行的实验中，对象识别性能提高了7%。一旦论文被接受，我们的机器人数据增强层将被公开。
2017-05-05 cs.CV
Mechanistic Finetuning of Vision-Language-Action Models via Few-Shot Demonstrations
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究提出Robotic Steering方法，通过少样本示范机制性微调视觉-语言-动作模型，提升其在机器人任务中的适应性和鲁棒性。
2025-11-27 cs.CL cs.CV cs.RO
Low Cost Semi-Autonomous Agricultural Robots In Pakistan-Vision Based Navigation Scalable methodology for wheat harvesting
National University of Sciences and Technology（巴基斯坦国立科技大学）
近年来，机器人已经彻底改变了我们的生活方式。其中一个尚未完全受益于机器人自动化的领域是农业。农业机器人应该在该部门的不同子领域中补充人类的艰巨任务。日本、美国、澳大利亚和德国等国对农业机器人进行了广泛的研究，主要集中在重型农业机械上。巴基斯坦是一个农业富国，其经济和粮食安全与农业特别是小麦密切相关。然而，巴基斯坦的农业研究仍然使用传统方法进行。本文试图引发在这一现代领域的研究，使我们能够受益于成本效益和资源效率的自主农业方法。本文重点研究了一种可扩展的低成本半自主小麦收获技术，主要集中在小土地持有的农民。主要的重点将放在视觉部分的导航系统部署的拟议机器人。
2015-01-10 cs.CV cs.CY cs.RO
Open-VICO: An Open-Source Gazebo Toolkit for Vision-based Skeleton Tracking in Human-Robot Collaboration
Istituto Italiano di Tecnologia（意大利技术研究院）；Politecnico di Milano（米兰理工大学）
仿真工具对于机器人研究至关重要，特别是对于那些安全至关重要的领域，例如人机协作（HRC）。然而，它是具有挑战性的，以模拟人类的行为，现有的机器人模拟器没有集成功能的人类模型。这项工作介绍了Open-VICO，这是一个开源工具包，用于在Gazebo中集成虚拟人体模型，重点关注基于视觉的人体跟踪。特别是，Open-VICO允许在同一个仿真环境中结合逼真的人体运动学模型，多摄像机视觉设置和人体跟踪技术以及众多的机器人和传感器模型，这要归功于Gazebo。将预先记录的人体骨骼运动与运动捕捉系统相结合的可能性拓宽了人机交互（HRI）设置中人类行为分析的前景。为了描述功能并强调工具包的潜力，从该领域的相关文献挑战中选择了四个具体示例，使用我们的模拟工具开发：i）模拟中的3D多RGB-D相机校准，ii）基于OpenPose创建合成人体骨骼跟踪数据集，iii）模拟中人体骨骼跟踪的多相机场景，以及iv）人机交互示例。这项工作的关键是创建一个简单的管道，我们希望这将激励研究新的基于视觉的算法和方法，用于轻量级的人类跟踪和灵活的人机应用。
2022-10-04 cs.CV cs.HC cs.RO
Kimera-Multi: a System for Distributed Multi-Robot Metric-Semantic Simultaneous Localization and Mapping
Massachusetts Institute of Technology（麻省理工学院）
我们提出了第一个完全分布式的多机器人系统密集的度量语义同时定位与地图构建（SLAM）。我们的系统被称为Kimera-Multi，由一组配备视觉惯性传感器的机器人实现，并实时构建环境的3D网格模型，其中网格的每个面都用语义标签注释（例如，建筑物、道路、物体）。在Kimera-Multi中，每个机器人都使用Kimera构建局部轨迹估计和局部网格。然后，当两个机器人在通信范围内，他们发起一个分布式的地方识别和鲁棒的姿态图优化协议与一个新的增量最大集团离群拒绝;该协议允许机器人，以提高其本地轨迹估计，利用机器人间的循环关闭。最后，每个机器人使用其改进的轨迹估计使用网格变形技术来校正局部网格。我们在照片般逼真的模拟和真实数据中展示了Kimera-Multi。Kimera-Multi（i）能够构建准确的3D度量语义网格，（ii）对不正确的循环闭合具有鲁棒性，同时需要比最先进的分布式SLAM后端更少的计算，（iii）在每个机器人的计算以及通信带宽方面都是高效的。
2020-11-08 cs.CV cs.MA cs.RO
Pixel-aligned RGB-NIR Stereo Imaging and Dataset for Robot Vision
POSTECH（浦项科技大学）
本文构建像素对齐RGB-NIR立体相机与LiDAR的机器人成像系统及多光照数据集，并提出图像融合与特征融合两种方法，验证其对机器人视觉的增强效果。
2024-12-02 cs.CV
AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System
UC San Diego（加州大学圣迭戈分校）；NVIDIA（英伟达公司）
针对现有视觉遥操作系统适配性差的问题，提出通用系统AnyTeleop，支持多类硬件、虚实场景和相机配置，在真实与模拟实验中性能均优于专用系统。
2024-05-16 cs.CV cs.LG cs.RO
Embedded Computer Vision System Applied to a Four-Legged Line Follower Robot
Universidade Federal de Pernambuco（伯南布哥联邦大学）
机器人学可以被定义为感知与行动的连接。更进一步，该项目旨在使用自动化计算机视觉嵌入式系统驱动机器人，将机器人的视觉与其行为联系起来。为了在机器人上实现颜色识别系统，选择了开源工具，如Processing语言，Android系统，Arduino平台和Pixy相机。制约因素很明显：简单性、可复制性和财政可行性。为了将机器人学、计算机视觉和图像处理等学科有机地结合起来，本文将机器人应用于移动机器人的一个典型问题：直线跟踪。通过不同的方法来区分路径和背景的问题进行了分析：流行的大津的方法，通过实验和颜色跟踪的色调和饱和度的颜色组合的基础上阈值。下一步移动的决策是基于路径的线中心，并且是完全自动化的。该机器人以足式机器人为平台，以摄像机为唯一传感器，实现了直线跟踪。从捕捉图像到移动机器人，很明显机器人技术是多么的集成。仅这篇论文的问题就涉及到机械工程、电子学、控制系统和编程的知识。与这项工作相关的所有内容都被记录下来，并在一个开源的在线页面上提供，因此它在学习和实验机器人技术方面非常有用。
2021-01-12 cs.CV cs.RO cs.SY
DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model
University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对现有机器人示教生成方法样本效率低、依赖人工奖励设计的问题，提出整合可微仿真、渲染与视觉语言模型的DiffGen框架，通过最小化指令与观测嵌入距离生成示教，大幅降低人力与训练成本。
2024-05-12 cs.AI cs.CV cs.LG
DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm System
NVIDIA（英伟达）；CMU（卡内基梅隆大学）
遥操作提供了赋予机器人系统复杂的推理技能，直觉和创造力来执行任务的可能性。然而，目前的遥操作解决方案的高致动度（DoA），多指机器人通常是成本高昂，而低成本的产品通常提供降低程度的控制。在此，开发了一种低成本的基于视觉的遥操作系统DexPilot，该系统仅通过观察裸露的人手就可以完全控制整个23 DoA机器人系统。DexPilot使操作员能够执行各种复杂的操作任务，而不仅仅是简单的取放操作。这允许收集高维度、多模态、状态动作数据，这些数据可以在未来被利用来学习用于具有挑战性的操纵任务的感觉运动策略。系统性能是通过两个人类演示者在各种任务上的速度和可靠性指标来测量的。实验的视频可以在https://sites.google.com/view/dex-pilot上找到。
2019-10-14 cs.CV cs.LG cs.RO
Clustering Learning for Robotic Vision
Purdue University（普渡大学）；University of Seville（塞维利亚大学）；New York University（纽约大学）
我们提出了应用于多层前馈深度神经网络的聚类学习技术。我们表明，这种无监督学习技术可以计算网络过滤器，只有几分钟和一个大大减少的参数集。本文的目的是促进通用机器人视觉系统技术的发展。我们报告它的使用在静态图像数据集和对象跟踪数据集。我们证明，使用聚类学习训练的网络可以在复杂数据集上训练数小时的大型网络中表现出色。
2013-03-13 cs.CV
Bridging Visual Perception with Contextual Semantics for Understanding Robot Manipulation Tasks
University of Alberta（阿尔伯塔大学）
理解操作场景允许智能机器人计划适当的动作以成功完成操作任务。智能机器人必须通过对实体、关系和属性的结构化描述来对操作知识进行语义解释。在本文中，我们提出了一个实现框架，以产生高层次的概念动态知识图谱从视频剪辑。结合视觉语言模型和本体系统，结合视觉感知和上下文语义，用语义-关系-实体（E-R-E）和语义-属性-值（E-A-V）元组表示机器人操作知识。所提出的方法是灵活和熟练的。使用该框架，我们提出了一个案例研究，机器人在厨房环境中执行操作动作，桥接视觉感知与上下文语义使用生成的动态知识图谱。
2020-07-26 cs.CV
VLM See, Robot Do: Human Demo Video to Robot Action Plan via Vision Language Model
New York University（纽约大学）
本研究提出SeeDo方法，利用视觉语言模型解释人类演示视频，通过关键帧选择、视觉感知和推理生成机器人任务规划，实验验证其优越性并成功部署于仿真和真实机器人。
2025-09-24 cs.AI cs.CV cs.LG
Generalizable Semantic Vision Query Generation for Zero-shot Panoptic and Semantic Segmentation
Nagoya University（名古屋大学）
本文提出 CONCAT 方法，通过条件 token 对齐和循环转换生成可泛化的语义视觉查询，在零样本全景分割上超越 SOTA，并在开放词汇语义分割中取得可比结果且测试速度提升 2 倍。
2024-02-21 cs.CV
OpenLORIS-Object: A Robotic Vision Dataset and Benchmark for Lifelong Deep Learning
Intel Labs（英特尔实验室）；City University of Hong Kong（香港城市大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Wuhan University（武汉大学）；University of Bologna（博洛尼亚大学）；Dublin City University（都柏林城市大学）；Imperial College London（帝国理工学院）
最近计算机视觉的突破得益于大型代表性数据集（例如ImageNet和COCO）的可用性。然而，机器人视觉对应用从这些标准计算机视觉数据集开发的视觉算法提出了独特的挑战，因为它们隐含地假设固定任务集的非变化分布。由于计算、存储和有时隐私问题，每次新任务可用时完全重新训练模型是不可行的，而天真的增量策略已被证明会遭受灾难性遗忘。机器人在开放和有害的条件下连续运行是至关重要的，具有自适应视觉感知系统，终身学习是一种基本能力。然而，很少有数据集和基准可用于评估和比较新兴技术。为了填补这一空白，我们提供了一个新的终身机器人视觉数据集（“OpenLORIS对象”）通过RGB-D相机收集。该数据集嵌入了机器人在现实应用中面临的挑战，并为验证终身对象识别算法提供了新的基准。此外，我们还提供了一个测试床的$9$国家的最先进的终身学习算法。它们中的每一个都涉及在OpenLORIS对象数据集上具有$4$评估度量的$48$任务。结果表明，在不断变化的难度环境中的目标识别任务远未得到解决，瓶颈在于前向/后向传输设计。我们的数据集和基准可在\href{https://lifelong-robotic-vision.github.io/dataset/object}{\underline{https://lifelong-robotic-vision.github.io/dataset/object}}上公开获得…
2020-03-06 cs.CV cs.LG cs.RO
Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning
Qazvin Azad University（加兹温伊斯兰阿扎德大学）；University of Leeds（利兹大学）
在本文中，我们提出了一种主动视觉方法，使用深度强化学习方法的人形足球机器人。所提出的方法自适应优化的机器人的观点，以获得最有用的地标自我定位，同时保持球进入其观点。主动视觉对于具有有限视野的类人决策机器人至关重要。为了处理主动视觉问题，先前已经提出了几种基于概率熵的方法，这些方法高度依赖于自定位模型的准确性。然而，在这项研究中，我们将这个问题描述为一个情景强化学习问题，并采用深度Q学习方法来解决它。所提出的网络只需要相机的原始图像将机器人的头部移向最佳视点。该模型显示出非常有竞争力的80%的成功率，在实现最佳的观点。我们实现了所提出的方法在Webots模拟器中模拟的人形机器人。我们的评估和实验结果表明，所提出的方法优于基于熵的方法在RoboCup的上下文中，在高自我定位错误的情况下。
2020-11-27 cs.AI cs.CV cs.LG
