Autonomous Field-of-View Adjustment Using Adaptive Kinematic Constrained Control with Robot-Held Microscopic Camera Feedback
Department of Mechanical Engineering, the University of Tokyo(东京大学机械工程系);Department of Electrical and Electronic Engineering, the University of Manchester(曼彻斯特大学电子与电气工程系)
提出一种基于机器人持显微镜相机反馈的自适应运动学约束控制方法,通过将相机外参纳入运动学模型并结合U-Net工具跟踪进行实时调整,有效提升了毫米级操作中相机视场保持的准确性与时间占比。
2024-03-29 cs.RO
Camera simulation for robot simulation: how important are various camera model components?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
为自主机器人仿真建立摄像机模型对于生成具有适当真实感的合成图像以有效评估仿真中的感知算法至关重要。然而,在许多情况下,模拟图像是由传统的渲染技术产生的,这些技术排除或表面上处理实际相机流水线中遇到的处理步骤和方面。这一贡献的目的是量化的程度排除从相机模型的各种图像生成的步骤或方面影响机器人的模拟到真实的差距。我们研究如果忽略与物理相机内的过程相关的方面会发生什么,例如,镜头失真、噪声和信号处理;场景效果,例如,照明和反射;以及渲染质量。该研究的结果表明,从数量上讲,颜色,场景和位置的大规模变化比涉及局部,特征级工件的模型方面的影响要大得多。此外,我们表明,这些场景级方面可以源于镜头失真和信号处理,特别是在考虑白平衡和自动曝光建模时。
2022-11-16 cs.RO
Ex-DoF: Expansion of Action Degree-of-Freedom with Virtual Camera Rotation for Omnidirectional Image
Toyota Central R&D Labs., Inc.(丰田中央研发实验室股份有限公司)
训练数据的机器人间传输是基于学习和视觉的机器人控制中一个很少探索的话题。在这里,我们提出了一种转移方法,从一个机器人具有较低的自由度(DoF)的一个具有较高的自由度利用全向摄像机图像。机器人相机的虚拟旋转使得能够在该迁移学习过程中进行数据增强。作为一个实验演示,基于视觉的6自由度机器人的控制策略的训练使用的数据集收集的轮式地面机器人只有三个自由度。对于机器人操作的应用,我们还展示了一个6自由度手臂机器人的控制系统,使用具有不同视野的多个策略来实现物体到达任务。
2022-02-21 cs.RO
Automatic Calibration of a Robot Manipulator and Multi 3D Camera System
Oslo University Hospital(奥斯陆大学医院);University of Oslo(奥斯陆大学)
随着3D传感变得越来越便宜,能够与人类安全合作的环境感知和视觉引导机器人手臂将变得普遍。然而,需要可靠的校准,无论是相机内部校准,还是眼到手校准,以确保整个系统正常工作。我们提出了一个框架,使用一种新颖的组合,以及证明的方法,允许快速自动校准的集成系统组成的机器人和不同数量的3D相机,通过使用标准的棋盘格校准网格。我们的方法允许在设置发生任何变化后快速进行相机到机器人的重新校准,例如当相机或机器人重新定位时。系统的模块化设计确保了所使用的传感器数量以及不同硬件选择的灵活性。该框架已被证明是工作的实际实验,以分析校准的质量与用于每个校准程序的棋盘的位置的数量。
2016-10-12 cs.RO
Tracking Snake-like Robots in the Wild Using Only a Single Camera
University of California San Diego(加州大学圣地亚哥分校)
本文提出结合可微渲染与 Kalman filter 的单相机无标记跟踪方法,可在静止或移动相机下同时估计蛇形机器人位姿、关节角及不确定性。
2023-09-27 cs.RO
Laser-Tracker-Assisted Camera-to-Robot Calibration for Mobile Robots
Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院摄影测量与遥感研究所)
提出一种激光跟踪仪辅助的移动机器人相机标定方法,通过链接多个标定目标放宽配置假设,实现更通用的相机位姿标定。
2026-09-24 cs.CV cs.RO
3D Mapping Using a Lightweight and Low-Power Monocular Camera Embedded inside a Gripper of Limbed Climbing Robots
Department of Aerospace Engineering, Graduate School of Engineering, Tohoku University(工程研究生院航空航天工程系,东大)
针对肢体攀爬机器人空间探索中RGB-D相机体积大、功耗高的问题,本文提出融合单目视觉约束与肢体正向运动学的SLAM方法,通过因子图优化联合估计夹爪位姿和全局公制尺度,实现实时三维地形建图与自主抓取。
2025-11-08 cs.RO
A Reactive Autonomous Camera System for the RAVEN II Surgical Robot
University of Virginia(弗吉尼亚大学)
手术机器人的内窥镜摄像机为外科医生提供了手术野的放大3D视图,但重新定位它会增加脑力工作量和手术时间。当手术工具移出摄像机视野时,摄像机放置不当会导致安全关键事件。本文提出了一种用于Raven II手术机器人的自主相机系统的概念证明,该系统旨在通过提供显示所有感兴趣对象的工作空间的最佳视图来减少外科医生的工作量并提高安全性。该系统使用迁移学习来定位和分类立体相机的视图内的感兴趣的对象。估计对象的位置和质心,并且一组控制规则确定相机朝向更期望的视图的移动。我们的感知模块在识别感兴趣的物体方面的整体准确率为61.21%,并且能够定位环境中的抓握器和多个块。我们的系统提出的命令与来自13名参与者的调查的期望命令的比较表明,自主相机系统提出相机的倾斜和平移的适当运动。
2020-10-09 cs.RO
Active Visual SLAM with Independently Rotating Camera
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
在主动视觉SLAM(V-SLAM)中,机器人依赖于其相机检索的信息来控制自己的运动,以实现环境的自主映射。相机通常静态地连接到机器人的身体,限制了视觉信息获取的额外自由度。在这项工作中,我们克服了上述问题,通过引入和利用一个独立的旋转相机的机器人基地。这使我们能够连续控制相机的航向,获得主动V-SLAM所需的最佳方位,而无需旋转机器人本身。然而,这一额外的自由度引入了额外的估计不确定性,这需要加以考虑。我们通过扩展机器人的状态估计来实现这一点,以包括相机状态并联合估计不确定性。我们开发我们的方法的基础上,一个国家的最先进的主动V-SLAM方法的全向机器人,并通过严格的仿真和真实的机器人实验进行评估。我们获得了更准确的地图,能耗更低,同时保持了主动方法相对于基线的优势。我们还演示了我们的方法如何容易地推广到其他非全向机器人平台,这是以前的方法的限制。代码和实现细节作为开源提供。
2021-07-30 cs.RO
GHOST in the Robots: Real-Time Exocentric Dual-Robot VR Teleoperation from Onboard Cameras
Brown University(布朗大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出开源VR遥操作系统GHOST,可让单操作员通过机载传感以直接低级命令控制两台移动操作机器人,其在多机器人遥操作任务上的成功率和速度均优于商用平板界面。
2026-09-01 cs.RO
Accurate Pouring with an Autonomous Robot Using an RGB-D Camera
University of Freiburg(弗莱堡大学)
家庭环境中的机器人助理预计将为其用户执行各种复杂的任务。一项特别具有挑战性的任务是将饮料倒入杯中,为了成功完成这项任务,需要在倒入过程中检测和跟踪液位,以确定何时停止。在本文中,我们提出了一种新的方法来自主浇注,跟踪液位使用RGB-D相机和适应浇注速度的基础上的液位反馈。我们在不同的条件下对我们的系统进行了全面的评估,使用PR 2机器人进行了250多次浇注。结果表明,我们的方法能够将液体倾倒到目标高度,精度为几毫米。
2018-10-08 cs.RO
Multi 3D Camera Mapping for Predictive and Reflexive Robot Manipulator Trajectory Estimation
University of Oslo(奥斯陆大学);Oslo University Hospital(奥斯陆大学医院)
随着技术的进步,机器人操纵器和视觉环境传感器变得越来越便宜和广泛。然而,机器人控制仍然是更好地适应这些技术的一个限制因素。机器人操作器在结构化的机器人中表现得很好,但不能很好地适应意外的变化,比如人们进入工作空间。我们提出了一种方法,结合3D摄像机的工作空间映射,和一个预测和自反的机器人操作器的轨迹估计,以允许更有效和更安全的操作在动态仿真。在一个真正的UR5机器人的实验中,我们的方法已被证明可以提供更短,更平滑的轨迹相比,反应轨迹规划器在相同的条件下。此外,机器人通过初始化自反运动成功地避免了任何接触,即使当障碍物意外接近机器人时也是如此。我们工作的主要目标是使操作在非结构化动态调度中更加灵活,不仅要避开障碍物,还要在不久的将来与人类执行协作任务时进行适应。
2016-10-12 cs.RO
A Comparison between Frame-based and Event-based Cameras for Flapping-Wing Robot Perception
Universidad de Sevilla(塞维利亚大学)
本文对比了扑翼机器人上基于帧与基于事件的相机,通过分析硬件限制与视觉算法性能,发现event cameras更适合扑翼机但仍存在挑战。
2023-09-11 cs.RO
Multi-Objective Convolutional Neural Networks for Robot Localisation and 3D Position Estimation in 2D Camera Images
Joanneum Research - Robotics(约翰内姆研究中心-机器人学);The Intervention Centre, Oslo University Hospital(奥斯陆大学医院介入中心);Department of Informatics, University of Oslo(奥斯陆大学信息学系)
协作机器人和人机交互领域通常关注人类行为的预测,同时假设有关机器人设置和配置的信息是已知的。这通常是固定设置的情况,即所有传感器都相对于系统的其余部分固定和校准。然而,当系统需要重新配置或移动时,它成为一个限制因素。我们提出了一种深度学习方法,旨在解决这个问题。我们的方法学习在2D摄像机图像中识别和精确定位机器人,因此不再需要固定设置,并且可以移动摄像机。此外,我们的方法识别机器人类型,并估计在相机图像中的机器人基地的3D位置,以及每个机器人关节的3D位置。学习是通过使用具有前面提到的四个目标的多目标卷积神经网络同时使用组合的损失函数来完成的。多目标方法通过重用一些相同的特征并在较低层中为每个目标进行多样化,使系统更加灵活和高效。一个经过充分训练的系统在提供机器人所在位置的准确掩模以及3D中其基础和关节位置的估计方面显示出有希望的结果。我们将结果与我们以前使用级联卷积神经网络的方法进行比较。
2018-05-30 cs.RO
CP+: Camera Poses Augmentation with Large-scale LiDAR Maps
ShanghaiTech University(上海科技大学);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所)
大规模彩色点云在导航或场景显示方面具有许多优势。依靠现在广泛用于重建任务的相机和激光雷达,可以获得这种彩色点云。然而,在许多现有的框架中,来自这两种传感器的信息没有很好地融合,导致着色结果不佳,从而导致不准确的相机姿态和损坏的点着色结果。我们提出了一个新的框架,称为相机姿态增强(CP+),以改善相机的姿态,并将它们直接与基于激光雷达的点云。初始粗略相机位姿由具有近似外部参数和时间同步的LiDAR-惯性或LiDAR-惯性-视觉里程计给出。改善图像对齐的关键步骤包括选择与每个相机视图中的感兴趣区域相对应的点云,从该点云提取可靠的边缘特征,并导出用于迭代最小化重新投影误差的2D-3D线对应。
2023-02-27 cs.RO
Applications of Uncalibrated Image Based Visual Servoing in Micro- and Macroscale Robotics
Johns Hopkins University(约翰斯·霍普金斯大学);Sanaria, Inc.(Sanaria公司)
本文提出一种无需手眼标定和相机标定的无标记图像视觉伺服方法,利用双相机结合经典图像处理与深度学习检测特征,在微尺度蚊虫解剖和宏观尺度螺丝紧固任务中实现了类似人类的操作精度。
2023-04-17 cs.RO
A Novel Camera-to-Robot Calibration Method for Vision-Based Floor Measurements
Machine Vision Metrology Lab, \ of Photogrammetry
本文提出了一种新型手眼校准方法,用于地面观测移动机器人。通过设计参考板结合激光跟踪器的3D测量和摄像头的2D成像,实现高精度定位。实验显示重复精度达到亚毫米级。
2026-03-31 cs.CV cs.RO
An RGB-D Camera-Based Multi-Small Flying Anchors Control for Wire-Driven Robots Connecting to the Environment
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学和技术研究生院,东京大学)
本文提出了一种基于RGB-D相机和多小型飞行锚的线驱动机器人,实现自主连接环境中的多根线,扩大操作范围和载重能力。
2025-08-04 cs.RO
Multi-Camera Hand-Eye Calibration for Human-Robot Collaboration in Industrial Robotic Workcells
University of Padova(帕多瓦大学)
本文针对工业机器人工作单元中人机协作的多相机手眼标定问题,提出一种融合标定板到末端执行器变换和相机间相对变换约束的鲁棒标定方法,在 METRIC 数据集和真实工业数据上以少于 10 张图像即可超越现有最先进技术,并开源了算法实现。
2024-06-17 cs.CV cs.RO
Active Pose Refinement for Textureless Shiny Objects using the Structured Light Camera
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);Robotics Institute(机器人研究所);Epson Canada(爱普生加拿大公司)
针对结构光相机因反光物体镜面反射导致的6D位姿估计精度下降问题,提出含优化位姿优化模块与在线渲染预测不确定性的主动视觉框架,在ROBI数据集上验证了性能优势。
2023-08-28 cs.RO
Adaptive Visual Perception for Robotic Construction Process: A Multi-Robot Coordination Framework
Texas A&M University(德克萨斯农工大学)
本研究提出一种多机器人协调框架,通过监督机器人自适应调整姿态优化视觉覆盖,以解决施工中视野遮挡问题,并验证了视点选择方法的有效性与鲁棒性。
2024-12-15 cs.RO
Look Both Ways: Bidirectional Visual Sensing for Automatic Multi-Camera Registration
Ford Greenfield Labs(福特格林菲尔德实验室)
这项工作描述了一个大型网络(约40)的自动注册的固定,安装在天花板上的环境摄像机分布在一个大的区域(约800平方米)使用移动校准机器人配备了一个单一的朝上鱼眼摄像机和背光ArUco标记,便于检测。鱼眼摄像机用于进行视觉里程计(VO),ArUco标记便于在环境摄像机中轻松检测校准机器人。此外,鱼眼相机还能够检测环境相机。这种双向、双向检测约束环境摄像机的姿态以解决优化问题。这种方法可以用于自动注册用于监视、自动停车或机器人应用的大规模多摄像机系统。这种基于VO的多相机配准方法已经使用真实世界的实验进行了广泛的验证,并且还与使用LiDAR的类似方法进行了比较-LiDAR是一种昂贵,较重且耗电的传感器。
2022-10-07 cs.RO
Triple Regression for Camera Agnostic Sim2Real Robot Grasping and Manipulation Tasks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对机器人操作的Sim2Real现实差距问题,提出三重回归Sim2Real框架,通过三个回归模型分别校正视角投影误差与控制差异,仅用RGB输入就在六自由度抓取任务中达到SOTA成功率。
2024-10-31 cs.RO
Simultaneous Receding Horizon Estimation and Control of a Fencing Robot using a Single Camera
Washington University in St. Louis(圣路易斯华盛顿大学)
我们提出了一种方法,同时滚动时域估计和控制的机器人手臂配备了剑在对抗的情况下。使用安装在手臂上的单个摄像头,我们解决了用机器人的剑阻挡对手的剑的问题。我们的算法使用基于模型的传感来估计对手的意图,从相机的观察,而它同时适用于控制动作,既阻止对手的剑,提高未来的相机观察。
2015-04-14 cs.RO math.OC
A Factor Graph Approach to Multi-Camera Extrinsic Calibration on Legged Robots
Istituto Italiano di Tecnologia(意大利理工学院);Gdańsk University of Technology(格但斯克工业大学);Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
足式机器人不仅在研究领域,而且在工业领域都越来越受欢迎,因为它们可以在各种应用中证明它们比轮式机器优越。无论是作为移动机械手还是作为全地形地面车辆,这些机器都需要精确跟踪所需的基础和末端执行器轨迹,执行同时定位与地图构建(SLAM),并在具有挑战性的环境中移动,同时保持平衡。这些任务的一个关键方面是,所有机载传感器必须正确校准和同步,以便为它们提供的所有软件模块提供一致的信号。在本文中,我们专注于一组摄像机和四足机器人的基础链接之间的相对位姿标定问题。这种姿态是成功执行传感器融合、状态估计、映射和任何其他需要视觉反馈的任务的基础。为了解决这个问题,我们提出了一种基于因子图的方法,该方法使用运动学和基准标记来共同优化相机和机器人底座的相互位置。我们还定量比较其性能与其他国家的最先进的方法的液压四足机器人HyQ。所提出的方法是简单的,模块化的,并独立于外部设备以外的基准标记。
2019-01-14 cs.RO
The Field-of-View Constraint of Markers for Mobile Robot with Pan-Tilt Camera
Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
在导航和视觉伺服领域中,通常通过标记点上的特征点来计算相对位姿,因此如何保持标记点在摄像机视野内是一个重要的问题。本文提出了一种新的计算摄像机标记物视场约束的方法。该方法可以使摄像机在移动机器人运动过程中保持所有特征点的可见性。移动机器人根据摄像机的角孔径,可以获得视场约束区域,其中摄像机不能保持图像中的所有特征点。基于视场约束区域,可以引导移动机器人从初始位置移动到目的地。最后基于配备云台摄像机的移动机器人进行了仿真和实验,验证了该方法获取视场约束的有效性。
2019-09-24 cs.CV cs.RO
CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera
University of California San Diego(加州大学圣迭戈分校);Intel Labs(英特尔实验室)
针对现有无标记机器人位姿估计方法依赖全关节可见、实际局部视野下易失效的问题,提出CtRNet-X框架,结合视觉语言模型的细粒度部件检测与关键点位姿估计网络,在公开及自采局部视角数据集上验证了更强的鲁棒性与泛化性,拓展了真实场景适用性。
2024-09-16 cs.CV cs.RO
External Camera-based Mobile Robot Pose Estimation for Collaborative Perception with Smart Edge Sensors
University of Bonn(波恩大学)
我们提出了一种方法来估计移动机器人的姿态w.r.t.使用多视图RGB图像的静态相机网络的非同心坐标。通过深度神经网络在智能边缘传感器上本地在线处理图像,以检测机器人并估计在3D机器人模型的独特位置处定义的2D关键点。机器人关键点检测在中央后端同步和融合,其中机器人的姿态通过多视图最小化重投影误差来估计。通过从外部摄像机的姿态估计,机器人的定位可以初始化在一个allocentric地图从一个完全未知的状态(被绑架的机器人问题),并随着时间的推移鲁棒跟踪。我们进行了一系列实验,评估基于摄像头的姿态估计的准确性和鲁棒性相比,机器人的内部导航堆栈,显示我们的基于摄像头的方法实现了低于3厘米和1°的姿态误差,并不会随着时间的推移漂移,因为机器人是本地化allocentrically。随着机器人的姿态精确估计,它的意见可以融合到allocentric场景模型。我们展示了一个真实世界的应用程序,其中从移动机器人和静态智能边缘传感器的观察融合协作建立一个3D语义地图的$\sim$ 240米$^2$室内环境。
2023-03-07 cs.CV cs.RO
PoseGAN: A Pose-to-Image Translation Framework for Camera Localization
Shenzhen University(深圳大学);Guangdong Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);University of Nottingham(诺丁汉大学)
摄像机定位是机器人技术和计算机视觉中的一个基本要求。本文介绍了一个姿势到图像的翻译框架,以解决相机定位问题。我们提出了PoseGANs,一个基于条件生成对抗网络(cGANs)的框架,用于实现姿势到图像的翻译。PoseGAN具有许多创新,包括基于距离度量的条件反射来进行相机定位,以及用于生成相机图像的姿态估计技术,作为提高相机定位性能的更强约束。与基于学习的回归方法(如PoseNet)相比,PoseGAN可以在模型大小小70%的情况下实现更好的性能。此外,PoseGANs还引入了视图合成技术来建立2D图像和场景之间的对应关系,\textit{i.e.},给定一个姿势,PoseGANs能够合成其对应的相机图像。此外,我们证明了PoseGANs在原则上不同于基于结构的定位和基于学习的相机定位回归,并表明PoseGANs利用几何结构来完成相机定位任务,因此比依赖于局部纹理特征的基于学习的回归更稳定,更优越。除了相机定位和视图合成之外,我们还证明了PoseGAN可以成功地用于其他有趣的应用,例如视频序列中的移动对象消除和帧插值。
2020-06-23 cs.CV cs.RO
Human Following for Wheeled Robot with Monocular Pan-tilt Camera
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
人类跟随移动机器人已经见证了显着的进步,由于其潜在的现实世界的应用。目前大多数人跟随系统都配备了深度传感器来获取人与机器人之间的距离信息,这受到感知要求和噪声的影响。本文设计了一种带单目云台摄像机的轮式移动机器人系统,该系统能够在跟踪目标的同时保持对目标的跟踪。该系统由快速的人体检测器、实时准确的视觉跟踪器、移动机器人和云台摄像机的统一控制器组成。在视觉跟踪算法中,利用暹罗网络和光流信息同时对人体进行定位和回归。为了实现对单目摄像机的跟踪控制,引入了人体身高约束来设计控制器。在实验中,人以下进行了分析,在模拟和真实的机器人平台,这表明整个系统的有效性和鲁棒性。
2019-09-13 cs.CV cs.RO
Exploration of Reinforcement Learning for Event Camera using Car-like Robots
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
我们展示了第一个学习应用程序的机器人配备了一个事件摄像机。由于事件摄像机的延迟相当低,与使用标准摄像机的现有基于视觉的学习应用相比,可以实现更快的机器人控制。为了处理强化学习的事件流,我们引入了一个类似图像的功能,并证明了在模拟器中训练代理的两个任务的可行性:快速避碰和障碍物跟踪。最后,我们在现实世界中设置了一个带有事件摄像机的机器人,然后转移了在模拟器中训练的代理,从而成功地快速避免了随机投掷的物体。将事件摄像机应用到强化学习中,通过端到端学习方法,为需要快速控制的各种机器人应用(如自动驾驶汽车和无人机)开辟了新的可能性。
2020-04-02 cs.AI cs.LG cs.RO
3D Vision-guided Pick-and-Place Using Kuka LBR iiwa Robot
The University of Manchester(曼彻斯特大学);Cardiff University(卡迪夫大学)
本文提出了一种控制系统的发展,视觉引导的拾取和放置任务,使用机器人手臂配备了一个3D摄像头。其主要步骤包括摄像机内外标定、手眼标定、初始物体位姿配准、物体位姿对准算法和取放执行。所提出的系统允许机器人能够拾取和放置对象与有限的时间注册一个新的对象和开发的软件可以应用于新的对象场景迅速。使用kuka iiwa、Robotiq夹持器(两指夹持器和三指夹持器)和3D摄像头(Intel realsense D415摄像头、Intel realsense D435摄像头、Microsoft Kinect V2)的硬件组合测试了集成系统。整个系统也可以修改为其他机械臂,夹具和3D相机的组合。
2021-02-23 cs.CV cs.RO
ARC-Calib: Autonomous Markerless Camera-to-Robot Calibration via Exploratory Robot Motions
Department of Computer Science, Rice University(莱斯大学计算机科学系);Department of Mechanical Engineering and Material Science, Yale University(耶鲁大学机械工程与材料科学系)
针对传统相机-机器人标定需人工设标记、现有无标记方法依赖预训练模型的问题,提出无需数据训练的ARC-Calib框架,通过探索性运动生成视觉轨迹,结合几何约束迭代优化标定,经仿真与真实实验验证具备强鲁棒性与泛化性。
2025-03-18 cs.CV cs.RO
Stitching Videos from a Fisheye Lens Camera and a Wide-Angle Lens Camera for Telepresence Robots
Beijing Institute of Technology(北京理工大学)
许多远程呈现机器人都配备了一个面向前方的摄像头用于视频通信,一个面向下方的摄像头用于导航。在本文中,我们提出了缝合视频从FF相机与广角镜头和DF相机与鱼眼镜头的遥现机器人。我们的目标是提供更紧凑和有效的视觉反馈的用户界面的遥现机器人与用户友好的交互体验。为此,我们提出了一种基于多单应性的视频拼接方法,该方法将来自广角相机和鱼眼相机的视频拼接在一起。该方法包括视频图像对齐,接缝切割,图像融合。基于多单应性对准算法,直接将广角视频图像与鱼眼视频图像进行对准,无需标定、畸变校正和反扭曲等过程。因此,我们可以获得一个拼接的视频与形状保持在非重叠区域和对准的重叠区域的远程呈现。为了减轻在远程呈现机器人驱动期间由移动对象和/或移动相机引起的重影效应,找到用于对准的视频合成的最佳接缝,并且考虑空间和时间相干性,将在后续帧中更新最佳接缝。最后拼接的视频通过基于最佳接缝的图像混合来创建。我们进行了用户研究,以证明我们的方法的有效性和优越性的遥现机器人与拼接视频作为视觉反馈。
2019-03-15 cs.CV cs.HC cs.RO
Piggyback Camera: Easy-to-Deploy Visual Surveillance by Mobile Sensing on Commercial Robot Vacuums
CyberAgent, Inc.(CyberAgent公司)
本文提出Piggyback Camera系统,通过在商用扫地机器人上安装带摄像头和IMU的智能手机实现易部署视觉监控,采用RAE方法和闭环方法优化位姿估计,在零售环境中取得0.83米定位误差和0.97米物体映射误差。
2025-07-07 cs.CV cs.RO
VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对VLA模型部署时相机配置变化导致性能下降的问题,提出相机可配置框架VersaCamVLA,通过解耦相机集表示与动作学习实现稳健操作策略,在多基准及真实机器人上性能优于现有方法。
2026-10-09 cs.CV cs.RO
Morphology-Agnostic Visual Robotic Control
Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
用于视觉机器人控制的现有方法通常需要通过校准相机或执行系统辨识来预先表征机器人。我们提出了MAVRIC,一种方法,它的工作原理与机器人的形态学的先验知识最少,只需要一个摄像机视图包含机器人及其环境和一个未知的控制界面。MAVRIC围绕着一种基于互信息的自我识别方法展开,该方法在探索性交互的几秒钟内发现机器人身体上的视觉“控制点”,然后这些控制点依次用于视觉伺服。MAVRIC可以控制具有不精确致动、没有本体感受反馈、未知形态(包括新颖工具)、未知相机姿势甚至不稳定的手持式相机的机器人。我们展示了我们的方法在视觉引导的3D点到达,轨迹跟踪,和机器人对机器人的模仿。
2019-12-31 cs.CV cs.RO
Mobile Robot Planner with Low-cost Cameras Using Deep Reinforcement Learning
VNUHCM-University of Science(越南胡志明市国家大学胡志明市自然科学大学)
本研究开发了一种基于深度强化学习的机器人移动策略。由于传统的机器人导航方法依赖于精确的地图再现,并且需要高端传感器,因此基于学习的方法是积极的趋势,特别是深度强化学习。该问题是建模的马尔可夫决策过程(MDP)的形式与代理是一个移动机器人。它的视图状态由输入传感器(如激光探测器或摄像机)获得,目的是在没有任何碰撞的情况下导航到目标。已经有许多深度学习方法来解决这个问题。然而,为了将机器人推向市场,低成本大规模生产也是需要解决的问题。因此,这项工作试图构建一个伪激光发现系统的基础上直接从一个单一的相机图像的深度矩阵预测,同时仍然保持稳定的性能。实验结果表明,它们与使用高价传感器的其他传感器直接可比。
2020-12-21 cs.LG cs.RO
Android Controlled Mobile Robot Design with IP Camera
在这项研究中,实现了基于Arduino卡的移动机器人设计。该机器人可以用作安全机器人、辅助机器人或控制机器人。所设计的机器人有两种操作模式。第一操作模式是自主模式。在这种模式下,机器人借助放置在其周围的超声波传感器检测周围环境,并通过使用编码器跟踪其经过的地方。它能够在不击中任何地方和从它所经过的地方通过的情况下导航,并通过安装在其上的其他系统将患者的脉搏和温度情况传输给用户。IP摄像机还将场景发送到屏幕上。放置在患者旁边的紧急按钮在紧急情况下向用户发送信息。如果再次检测到温度和脉搏异常,则用户给出消息。当预先记录的药物使用时间到来时,系统可以提醒患者。第二种模式是手动模式。在这种模式下,用户可以用Android操作系统移动机器人所需的方向。此外,在自主模式下接收的所有数据都可以发送给用户。因此,即使移动机器人不在机器人附近,用户也可以利用相机图像控制移动机器人。
2021-01-20 cs.AI cs.RO
Can Single-View Mesh Reconstruction Generalize to Robot Camera Rotation?
Shenzhen Key Laboratory of Robotics and Computer Vision, Southern University of Science and Technology (SUSTech)(南方科技大学深圳市机器人视觉与感知重点实验室);Pengcheng Laboratory(鹏城实验室)
研究单视图网格重建在机器人相机旋转下的泛化能力,提出评估协议并发现现有方法泛化差,重力感知精炼减少布局方向误差47.1%。
2026-06-23 cs.CV cs.RO
A Line-Point Unified Solution to Relative Camera Pose Estimation
RFA Engineering(RFA工程公司);University of North Dakota(北达科他大学)
在这项工作中,我们提出了一个统一的方法,相对相机姿态估计点和线的对应关系。给定一组二维点和线对应的三个视图,其中两个是已知的,已经开发了一种方法来估计第三视图的相机姿态。该算法的新颖之处在于将点和线的对应关系结合在摄像机姿态估计中,这使得我们能够用少量的特征对应关系来计算相对摄像机姿态。我们的中心思想是利用三个视图之间的三线性关系,并从三个视图中的点和线的对应关系生成一组线性方程。方程组的期望解被表示为奇异向量的线性组合,并且通过求解通过对一般相机运动施加正交约束而生成的一小组二次方程来计算系数。通过在公开数据集上的实验,证明了该方法的优越性。实验结果表明,该方法在小范围和大范围摄像机运动情况下的相对摄像机位姿估计中具有很好的鲁棒性和有效性。
2017-10-17 cs.CV cs.RO
YCB-M: A Multi-Camera RGB-D Dataset for Object Recognition and 6DoF Pose Estimation
DFKI Niedersachsen Lab (DFKI NI)(DFKI下萨克森实验室(DFKI NI))
虽然近年来已经引入了各种各样的3D相机,但用于对象识别和姿态估计的大多数公开可用的数据集都集中在一个相机上。在这项工作中,我们提出了一个由7个不同的3D相机捕获的32个场景的数据集,总共49,294帧。这允许评估姿态估计算法对所使用的相机的细节的灵敏度,以及开发更独立于相机模型的更鲁棒的算法。反之亦然,我们的数据集使研究人员能够对来自几种不同相机和深度传感技术的数据进行定量比较,并在为特定任务选择相机之前评估其算法。我们数据集中的场景包含来自公共基准YCB对象和模型集的20个不同对象[1],[2]。我们为每个对象提供完整的地面真实6DoF姿势,每像素分割,2D和3D边界框以及每个对象的遮挡量的测量。我们还使用我们的数据集在最先进的对象识别和姿态估计系统上对相机进行了初步评估[3]。
2020-09-29 cs.CV cs.RO
A Critical Analysis of Image-based Camera Pose Estimation Techniques
Queen Mary University of London(伦敦玛丽女王大学);Beihang University(北京航空航天大学);Didi Chuxing(滴滴出行)
摄像头及其视野内的物体的定位可以使许多计算机视觉领域受益,例如自动驾驶、机器人导航和增强现实(AR)。在本综述中,我们首先根据不同的子任务(基于学习的2D-2D任务、基于特征的2D-3D任务和3D-3D任务)介绍了相机定位位姿的具体应用领域和评估指标。然后,我们回顾了基于结构的相机姿态估计方法,绝对姿态回归和相对姿态回归方法的方法,通过批判性地建模的方法,以启发进一步改进其算法,如损失函数,神经网络结构。此外,我们总结了用于相机定位的流行数据集,并将这些方法的定量和定性结果与详细的性能指标进行了比较。最后,我们讨论了未来的研究可能性和应用。
2022-01-15 cs.CV cs.RO
Three-dimensional Human Tracking of a Mobile Robot by Fusion of Tracking Results of Two Cameras
Chuo University(中央大学)
本文提出了一种过程,使用两个摄像机来获得三维(3D)信息的目标对象的人体跟踪。综合两台摄像机的人体检测和跟踪结果,获得三维信息。OpenPose用于人体检测。在一般处理立体相机的情况下,尽可能精确地获取整个场景的距离图像,然后处理距离图像。然而,存在诸如不正确的匹配和用于校准过程的计算成本的问题。提出了一种新的立体视觉框架来解决这些问题。通过目标跟踪实验验证了该框架和方法的有效性。
2020-07-03 cs.CV cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个遥操作系统,使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务,如折布,锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系,动态运动缩放和重新定位的操作框架,以增加我们的遥操作系统的灵活性。我们假设,降低遥操作的进入门槛将允许更广泛地部署监督自治系统,这将反过来生成现实的数据集,释放机器学习的潜力,用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
Pan-Tilt Camera and PIR Sensor Fusion Based Moving Object Detection for Mobile Security Robots
Kim Il Sung University(金日成综合大学)
安全机器人的一个基本问题是检测和跟踪周围的人。这项任务的主要问题是实时约束,不断变化的背景,不同的照明条件和非刚性形状的人被跟踪。在本文中,我们提出了一种解决方案,跟踪云台相机和被动红外范围(PIR)传感器检测运动目标的基础上连续帧差。该方法具有很好的实时性,因为它只需要很少的内存和计算。实验结果表明,该方法能够在非平稳、复杂的室内环境中有效、准确地检测出人体等运动目标。
2015-10-26 cs.CV cs.RO
Learning Markerless Robot-Depth Camera Calibration and End-Effector Pose Estimation
Koc University(科奇大学)
传统的外部校准方法使用基准标记,基于学习的方法严重依赖于仿真数据。在这项工作中,我们提出了一个基于学习的无标记外部校准系统,使用深度相机,不依赖于模拟数据。我们从自动生成的真实数据中学习用于末端执行器(EE)分割、单帧旋转预测和关键点检测的模型。我们使用变换技巧从旋转预测中获得EE姿态估计,并使用匹配算法从关键点预测中获得EE姿态估计。我们进一步利用迭代最近点算法,多帧,过滤和离群值检测,以增加校准的鲁棒性。我们的评估与训练数据从多个相机姿势和测试数据从以前看不见的姿势给亚厘米和亚分弧度的平均校准和姿势估计误差。我们还表明,一个精心选择的单一训练姿势给出了可比的结果。
2022-12-15 cs.CV cs.RO
Mutual Visibility by Fat Robots with Slim Omnidirectional Camera
Indian Statistical Institute(印度统计研究所)
在现有的文献中的相互可见性问题的自主机器人群,采用的可见性模型有一些理想化的假设,是不符合实际的传感设备的实现。本文研究的问题,在更现实的可见性模型称为不透明的脂肪机器人与超薄全向摄像机。机器人被建模为单位磁盘,每个具有一个全向摄像机表示为一个较小尺寸的磁盘。我们假设机器人有指南针,允许协议的方向和方向的两个轴的本地坐标系。机器人配备了可见光,作为通信媒介,也作为一种记忆形式。我们提出了一个分布式算法的相互可见性问题,这是可证明正确的半同步设置。我们的算法还提供了一个解决方案,领导者选举,我们使用作为一个子程序,在我们的主要算法。虽然Leader Election在完全可见性模型中具有两个轴协议是微不足道的,但在我们的情况下具有挑战性,并且具有独立的兴趣。
2022-06-15 cs.CG cs.DC cs.RO
Noise Analysis and Modeling of the PMD Flexx2 Depth Camera for Robotic Applications
ETH Zürich(苏黎世联邦理工学院)
本文针对 PMD Flexx2 深度相机,提出轴向与横向噪声的高斯分布模型,精确量化非系统性噪声,有效缩小基于学习的机器人控制中的仿真到现实差距。
2024-12-19 cs.RO eess.IV
Pose-Assisted Multi-Camera Collaboration for Active Object Tracking
Peking University(北京大学);Beijing Film Academy(北京电影学院);Shanghai Jiao Tong University(上海交通大学);Deepwise AI Lab(深睿人工智能实验室)
主动对象跟踪(AOT)对于许多基于视觉的应用至关重要,例如,移动机器人、智能监控。然而,在复杂场景中部署主动跟踪时存在许多挑战,例如,目标经常被障碍物遮挡。在本文中,我们将单摄像机AOT扩展到多摄像机设置,其中摄像机以协作方式跟踪目标。为了实现摄像机之间的有效协作,我们提出了一种新的姿态辅助多摄像机协作系统,它使一个摄像机与其他人合作,通过共享摄像机的主动目标跟踪的姿态。在该系统中,每个摄像头都配备了两个控制器和一个切换器:基于视觉的控制器根据观察到的图像跟踪目标。基于姿态的控制器根据其他相机的姿态来移动相机。在每一步中,切换器根据目标的可见性决定从两个控制器采取哪一个动作。实验结果表明,我们的系统优于所有的基线,并能够推广到看不见的环境。代码和演示视频可在我们的网站https://sites.google.com/view/pose-assistedcollaboration上获得。
2020-01-15 cs.CV cs.MA cs.RO
Fast Trajectory End-Point Prediction with Event Cameras for Reactive Robot Control
Istituto Italiano di Tecnologia(意大利理工学院)
预测技能对于机器人行动时间或关节驱动功率有限的任务的成功至关重要。在这种情况下,具有固定的、可能过低的采样率的视觉系统可能导致信息点的丢失,从而减慢预测收敛并降低准确度。在本文中,我们建议利用低延迟,运动驱动的采样,和数据压缩属性的事件相机,以克服这些问题。作为一个用例,我们使用Panda机器人手臂来拦截在桌子上弹跳的球。为了预测拦截点,我们采用了一个有状态的LSTM网络,这是一个没有固定输入长度的特定LSTM变体,它非常适合事件驱动的范例和手头的问题,其中轨迹的长度没有定义。我们在仿真中对网络进行训练,以加快数据集的获取,然后根据实际轨迹对模型进行微调。实验结果表明,如何使用密集的空间采样(即事件相机)显着增加拦截轨迹的数量相比,固定的时间采样(即基于帧的相机)。
2023-02-27 cs.CV cs.RO
Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras
IT+Robotics(IT+机器人公司);University of Padua(帕多瓦大学);Sapienza University of Rome(罗马第一大学)
颜色深度相机(RGB-D相机)已成为大多数机器人系统的主要传感器,从服务机器人到工业机器人应用。典型的消费级RGB-D相机被提供有粗略的内在和外在校准,其通常不满足许多机器人应用所需的精度要求(例如,高精度3D环境重建和映射、高精度对象识别和定位.)。在本文中,我们提出了一个人性化的,可靠的和准确的校准框架,可以很容易地估计一般的颜色深度传感器对的内在和外在参数。我们的方法是基于一个新的两个组件的误差模型。该模型统一了基于不同技术的RGB-D对的误差来源,例如结构光3D相机和飞行时间相机。与其他最先进的系统相比,我们的方法提供了一些重要的优点:它是通用的(即,非常适合不同类型的传感器),基于简单稳定的校准协议,提供了更高的校准精度,并已在ROS机器人框架内实施。我们报告详细的实验验证和性能比较,以支持我们的声明。
2018-10-19 cs.CV cs.RO
DynamicPose: Real-time and Robust 6D Object Pose Tracking for Fast-Moving Cameras and Objects
School of Artificial Intelligence, Sun Yat-Sen University(中山大学人工智能学院);School of Mechanical Engineering, Xi’an Jiaotong University(西安交通大学机械工程学院);Department of Mechanical and Energy Engineering, Southern University of Science and Technology(南方科技大学机械与能源工程系)
DynamicPose通过VIO补偿、深度引导2D跟踪和VIO引导卡尔曼滤波的分层细化,在无需重新训练的情况下实现快速运动相机与物体场景下的实时鲁棒6D位姿跟踪。
2025-08-16 cs.CV cs.RO
Recognition of Dynamic Hand Gestures in Long Distance using a Web-Camera for Robot Guidance
School of Mechanical Engineering, Tel-Aviv University(特拉维夫大学机械工程学院)
针对现有动态手势识别模型识别距离短的问题,本研究提出融合SlowFast与Transformer架构的SFT模型,可实现最远20米的远距离动态手势识别,性能优于现有模型,可用于机器人引导场景。
2024-06-18 cs.CV cs.RO