Automatic Target-Less Camera-LiDAR Calibration From Motion and Deep Point Correspondences
University of Freiburg(弗莱堡大学);University of Technology Nuremberg(纽伦堡工业大学)
提出MDPCalib,一种无需人工监督或目标物体的相机-激光雷达自动标定方法,利用运动估计和深度点对应,在多种机器人平台上验证了高精度与鲁棒性。
2024-11-04 cs.RO
A Novel Method for Extrinsic Calibration of Multiple RGB-D Cameras Using Descriptor-Based Patterns
Shanghai University(上海大学);Beijing Institute of Technology(北京理工大学);University of Toronto(多伦多大学)
这封信提出了一种新的方法来估计RGB-D相机之间的相对姿态,在全景RGB-D相机系统中具有最小的重叠视场。该校准问题与诸如室内3D测绘和机器人导航之类的应用相关,这些应用可以受益于使用RGB-D相机的360度$^\circ$视场。所提出的方法依赖于基于摄像机的模式,以提供良好匹配的2D关键点的情况下,最小的重叠视场之间的相机。将匹配的2D关键点与对应的深度值进行整合,构造3D匹配关键点的集合以校准多个RGB-D相机。实验验证了所提出的校准方法的准确性和效率,均优于现有方法(800 ms对5秒;旋转误差为0.56度对1.6度;平移误差为1.80 cm对2.5 cm)。
2018-09-10 cs.RO eess.IV
Autocamera Calibration for traffic surveillance cameras with wide angle lenses
Visvesvaraya National Institute of Technology(维什韦什瓦拉亚国家理工学院);Polytechnique Montréal(蒙特利尔综合理工学院)
提出了一种基于广角镜头的交通监控摄像机自动标定方法。几分钟的视频片段足以让整个校准过程发生。该方法将相机距地平面的高度作为唯一的用户输入,以克服尺度模糊性。校准分两个阶段进行,1.内部校准2.外部校准。通过假设等距离鱼眼畸变和理想的相机模型,实现了内在校准。外部校准是通过估计两个消失点,在地平面上,从车辆在垂直交叉点的运动。第一阶段的内在校准也适用于热成像相机。已经进行了实验,以证明这种方法对可见光以及热成像相机的有效性。索引术语:鱼眼,校准,热成像仪,智能交通系统,消失点
2020-01-20 cs.CV cs.RO
Online Marker-free Extrinsic Camera Calibration using Person Keypoint Detections
University of Bonn(波恩大学)
多相机系统的校准,即确定相机之间的相对姿态,是计算机视觉和机器人技术中许多任务的先决条件。相机校准通常使用使用棋盘校准目标的离线方法来实现。然而,考虑到每次任何相机姿态改变时都需要新的校准,这些方法通常是繁琐和冗长的。在这项工作中,我们提出了一种新颖的,无标记的在线方法,用于多个智能边缘传感器的外部校准,仅依赖于从RGB相机图像在传感器板上本地计算的2D人体关键点检测。我们的方法假设的内在摄像机参数是已知的,并需要一个粗略的初始估计的摄像机姿势启动。来自多个视图的人关键点检测在中央后端处被接收,在中央后端处,这些人关键点检测被同步、过滤并被分配给人假设。我们使用这些人的假设,以因子图的形式反复解决优化问题。给定穿过场景的一个或多个人的适当观察,估计的相机姿态在几分钟内收敛到相干的外部校准。我们评估我们的方法在现实世界中的设置,并表明,与使用传统的校准目标的离线方法生成的参考校准相比,与我们的方法的校准实现了较低的重投影误差。
2022-09-15 cs.CV cs.RO
Dynamic Event Camera Calibration
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程技术研究中心)
摄像机标定是解决三维计算机视觉问题的重要前提。传统方法依赖于校准图案的静态图像。这对事件摄像机的实际使用提出了有趣的挑战,特别是需要图像变化来产生足够的测量。因此,事件摄像机校准的当前标准包括使用闪烁模式。它们具有在所有重新投影的图案特征位置中同时触发事件的优点,但是难以在现场构造或使用这样的图案。提出了第一种动态事件摄像机标定算法。它直接从相机和校准图案之间的相对运动期间捕获的事件进行校准。该方法是由一种新的特征提取机制的校准模式,并利用现有的校准工具,通过多段连续时间配方优化所有参数。如通过我们对真实数据的结果所示,所获得的校准方法非常方便,并且可以从跨度小于10秒的数据序列中可靠地校准。
2021-07-28 cs.CV cs.RO
Laser-Tracker-Assisted Camera-to-Robot Calibration for Mobile Robots
Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院摄影测量与遥感研究所)
提出一种激光跟踪仪辅助的移动机器人相机标定方法,通过链接多个标定目标放宽配置假设,实现更通用的相机位姿标定。
2026-09-24 cs.CV cs.RO
L2E: Lasers to Events for 6-DoF Extrinsic Calibration of Lidars and Event Cameras
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
随着神经形态技术的成熟,其在机器人和自动驾驶汽车系统中的应用已成为一个活跃的研究领域。特别是,事件摄像机已经成为低功耗和延迟要求高的应用中基于帧的摄像机的引人注目的替代品。为了使事件相机能够与激光雷达等主要传感器一起工作,我们提出了一种事件相机和激光雷达之间的直接,时间解耦的外部校准方法。利用事件相机的高动态范围、高时间分辨率和低延迟操作来直接记录激光雷达激光回波,从而允许基于信息的相关方法来优化两个传感器之间的6-DoF外部校准。本文提出了事件相机和激光雷达之间的第一种直接校准方法,消除了对基于帧的相机中介和/或高精度手部测量的依赖。
2023-02-21 cs.CV cs.RO
Online Camera-to-ground Calibration for Autonomous Driving
General Motors(通用汽车)
提出一种无需特定目标的在线单目相机到地面标定方法,通过车轮里程计进行由粗到精的地面特征提取,并基于滑动窗口因子图优化估计标定参数,实验证明其优于现有先进技术。
2023-03-31 cs.CV cs.RO
NOCaL: Calibration-Free Semi-Supervised Learning of Odometry and Camera Intrinsics
Australian Centre for Field Robotics(澳大利亚现场机器人中心);The University of Sydney(悉尼大学)
有许多新兴的成像技术可以使机器人受益。然而,对定制模型、校准和低水平处理的需求是其采用的关键障碍。在这项工作中,我们提出了NOCaL,神经里程计和校准使用光场,一个半监督学习架构,能够解释以前看不见的相机没有校准。NOCaL学习估计相机参数,相对姿势和场景外观。它采用了一个场景渲染超网络,在大量现有的摄像机和场景上进行了预训练,并使用一个小的监督训练集来适应以前看不见的摄像机,以执行度量尺度。我们展示了NOCaL渲染和捕获的图像使用传统的相机,演示了校准的自由里程计和新颖的视图合成。这项工作代表了自动解释一般相机几何形状和新兴成像技术的关键一步。
2022-10-18 cs.CV cs.RO
Modeling dynamic target deformation in camera calibration
Robert Bosch GmbH(罗伯特·博世公司);Institute of Measurement & Control Systems(测量与控制工程研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
大多数相机校准方法依赖于已知几何形状的校准目标。在数据采集期间,校准目标和相机系统通常相对于摄像机移动。彼此,以允许图像覆盖和透视多功能性。我们表明,移动目标可能会导致小的临时变形的目标,这可能会引入显着的误差到校准结果。虽然静态不准确的校准目标已经解决了在以前的工作中,据我们所知,没有一个现有的方法可以捕捉时变的,动态变形。为了实现高精度的校准,尽管移动的目标,我们提出了一种方法来显式建模动态目标变形的摄像机校准。这是通过使用低维变形模型来实现的,每个图像只有很少的参数,可以与目标姿势和内在函数一起优化。我们证明了使用不同的校准目标的动态变形建模的有效性,并显示其意义的结构从运动的应用程序。
2021-10-14 cs.CV cs.RO
LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry
Institute of Industrial Science, The University of Tokyo(东京大学产业技术研究所);Microsoft(微软)
本文提出了一种无目标自动相机激光雷达定标方法。我们的方法是手眼校准框架的扩展到2D-3D校准。通过使用传感器融合里程计的方法,缩放相机运动的计算具有高精度。除此之外,我们阐明了适合这种校准方法的运动。该方法只需要三维点云和摄像机图像,不需要其他信息,如激光雷达的反射率和初始外参数。在实验中,我们证明了我们的方法使用几个传感器配置在室内和室外场景,以验证其有效性。我们的方法的准确性达到比其他可比的国家的最先进的方法。
2018-04-14 cs.CV cs.RO
Self-Supervised Online Camera Calibration for Automated Driving and Parking Applications
Valeo Vision Systems(法雷奥视觉系统);University of Limerick(利默里克大学)
针对自动驾驶与泊车中相机参数易变化、传统标定繁琐的问题,提出一种无需标注、物理靶标或特殊路面的自监督深度学习框架,可实时估计相机内外参。
2023-08-16 cs.CV cs.RO
Infrastructure-based Multi-Camera Calibration using Radial Projections
ETH Zürich(苏黎世联邦理工学院);Czech Technical University in Prague(布拉格捷克理工大学);Microsoft Mixed Reality & AI Zürich Lab(微软混合现实与人工智能苏黎世实验室);Chalmers University of Technology(查尔姆斯理工大学)
多摄像头系统是自动驾驶汽车等智能系统的重要传感器平台。基于图案的校准技术可用于单独校准相机的本征函数。然而,相机之间几乎没有视觉重叠的系统的外部校准是一个挑战。给定相机的本征函数,基于基础结构的校准技术能够使用通过SLAM或运动恢复结构预先构建的3D地图来估计外征函数。在本文中,我们建议使用基于基础设施的方法从头开始完全校准多相机系统。假设失真主要是径向的,我们介绍了一个两阶段的方法。我们首先估计相机钻机extrinsics到一个单一的未知的翻译组件每个相机。接下来,我们求解内部参数和缺失的平移分量。在多个多摄像机系统的多个室内和室外场景上进行的大量实验表明,我们的标定方法具有很高的精度和鲁棒性。特别是,我们的方法是更强大的比天真的方法,首先估计内部参数和每个相机的姿态,然后再细化系统的外部参数。该实现可在https://github.com/youkely/InfrasCal上获得。
2020-09-16 cs.CV cs.RO
PeLiCal: Targetless Extrinsic Calibration via Penetrating Lines for RGB-D Cameras with Limited Co-visibility
针对多RGB-D相机有限重叠场景的外参标定难题,提出基于穿透线的无靶标实时标定方法PeLiCal,利用长线特征与收敛投票算法滤除异常值,实现抗异常值的性能。
2024-04-23 cs.CV cs.RO
Extrinsic Parameter Calibration for Line Scanning Cameras on Ground Vehicles with Navigation Systems Using a Calibration Pattern
The University of Sydney(悉尼大学);The Australian Centre for Field Robotics(澳大利亚现场机器人中心)
线扫描相机,其仅捕获单个像素线,已经越来越多地用于基于地面的移动或机器人平台。在将相机数据直接地理参考到世界坐标是有利的应用中,需要相机的6D姿态的准确估计。本文重点介绍了常见的情况下,移动平台配备了一个刚性安装的线扫描相机,其姿态是未知的,和导航系统提供车身姿态估计。我们提出了一种新的方法,估计相机的姿态相对于导航系统。该方法涉及成像和手动标记具有明显可识别点的校准图案,从相机和导航系统数据中对这些点进行三角测量,并重新投影它们以计算可能性,该可能性被最大化以估计6D相机姿态。此外,马尔可夫链蒙特卡罗(MCMC)算法用于估计偏移的不确定性。在两个不同的平台上进行测试,该方法能够估计的姿态在0.06 m / 1.05 $^{\circ}$和0.18 m / 2.39 $^{\circ}$。我们还提出了几种方法来显示和解释的6D结果在一个人可读的方式。
2018-02-12 cs.CV cs.RO
Multi-Camera Hand-Eye Calibration for Human-Robot Collaboration in Industrial Robotic Workcells
University of Padova(帕多瓦大学)
本文针对工业机器人工作单元中人机协作的多相机手眼标定问题,提出一种融合标定板到末端执行器变换和相机间相对变换约束的鲁棒标定方法,在 METRIC 数据集和真实工业数据上以少于 10 张图像即可超越现有最先进技术,并开源了算法实现。
2024-06-17 cs.CV cs.RO
A Novel Camera-to-Robot Calibration Method for Vision-Based Floor Measurements
Machine Vision Metrology Lab, \ of Photogrammetry
本文提出了一种新型手眼校准方法,用于地面观测移动机器人。通过设计参考板结合激光跟踪器的3D测量和摄像头的2D成像,实现高精度定位。实验显示重复精度达到亚毫米级。
2026-03-31 cs.CV cs.RO
Visual-Thermal Camera Dataset Release and Multi-Modal Alignment without Calibration Information
University of Nevada, Reno(内华达大学雷诺分校);NTNU - Norwegian University of Science and Technology(挪威科技大学)
本报告伴随着视觉和热成像相机数据的数据集发布,并详细介绍了对齐这种多模态相机帧的过程,以便在不使用内在或外在校准信息的情况下提供两者之间的像素级对应关系。为了实现这一目标,我们受益于多模态图像对齐领域的进展,并特别采用Mattes互信息度量来指导配准过程。在发布的数据集中,我们发布了原始视觉和热成像相机数据,以及对齐的帧,以及校准参数,目的是更好地促进对此类多模态图像流中常见的局部/全局特征的研究。
2020-12-29 cs.CV cs.RO
eWand: A calibration framework for wide baseline frame-based and event-based camera systems
University of Tuebingen(蒂宾根大学)
针对宽基线、多视角下帧相机与事件相机外参标定繁琐的问题,本文提出 eWand,利用不透明球内闪烁LED实现更快速、易用且高精度的联合外参标定。
2024-04-03 cs.CV cs.RO
Self-Supervised Camera Self-Calibration from Video
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Toyota Research Institute(丰田研究院)
摄像机校准是机器人和计算机视觉算法的组成部分,这些算法试图从视觉输入流推断场景的几何属性。在实践中,校准是一个费力的过程,需要专门的数据汇集和仔细的调整。每当相机的参数发生变化时,必须重复此过程,这对于移动机器人和自动驾驶车辆来说可能是经常发生的。相比之下,自我监督的深度和自我运动估计方法可以通过推断优化视图合成目标的每帧投影模型来绕过显式校准。在本文中,我们扩展了这种方法,明确校准广泛的相机从原始视频在野外。我们提出了一个学习算法,使用一个有效的家庭一般相机模型回归每序列的校准参数。我们的程序实现了自校准的结果与亚像素重投影误差,优于其他基于学习的方法。我们验证了我们的方法在各种各样的相机几何形状,包括透视,鱼眼,和折反射。最后,我们表明,我们的方法导致改进的下游任务的深度估计,实现国家的最先进的结果的EuRoC数据集具有更高的计算效率比当代的方法。
2022-03-01 cs.CV cs.RO
Learning Markerless Robot-Depth Camera Calibration and End-Effector Pose Estimation
Koc University(科奇大学)
传统的外部校准方法使用基准标记,基于学习的方法严重依赖于仿真数据。在这项工作中,我们提出了一个基于学习的无标记外部校准系统,使用深度相机,不依赖于模拟数据。我们从自动生成的真实数据中学习用于末端执行器(EE)分割、单帧旋转预测和关键点检测的模型。我们使用变换技巧从旋转预测中获得EE姿态估计,并使用匹配算法从关键点预测中获得EE姿态估计。我们进一步利用迭代最近点算法,多帧,过滤和离群值检测,以增加校准的鲁棒性。我们的评估与训练数据从多个相机姿势和测试数据从以前看不见的姿势给亚厘米和亚分弧度的平均校准和姿势估计误差。我们还表明,一个精心选择的单一训练姿势给出了可比的结果。
2022-12-15 cs.CV cs.RO
Robust LiDAR-Camera Calibration with 2D Gaussian Splatting
The Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所)
提出一种基于2D Gaussian Splatting的LiDAR-camera外参标定方法,通过结合光度、重投影与三角测量损失优化外参,显著提升了无标定物场景下的标定鲁棒性与精度。
2025-04-01 cs.CV cs.RO
CRLF: Automatic Calibration and Refinement based on Line Feature for LiDAR and Camera in Road Scenes
SenseTime(商汤科技)
对于自动驾驶汽车,LiDAR和摄像头的精确校准是多传感器感知系统的先决条件。然而,现有的校准技术要么需要复杂的设置与各种校准目标,或预先提供的初始校准,这极大地阻碍了它们在大规模自主车辆部署中的适用性。为了解决这些问题,我们提出了一种新的方法来校准激光雷达和摄像机在道路场景中的外部参数。我们的方法介绍了从静态直线形状的物体,如道路车道和电线杆在图像和点云的线功能,并制定了外部参数的初始校准作为一个透视3线(P3L)的问题。随后,根据线特征的语义约束定义的成本函数被设计用于对求解的粗校准执行细化。整个过程是全自动和用户友好的,无需调整环境设置或提供初始校准。我们在KITTI和我们的内部数据集上进行了大量的实验,定量和定性的结果证明了我们的方法的鲁棒性和准确性。
2021-03-08 cs.CV cs.RO
Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras
IT+Robotics(IT+机器人公司);University of Padua(帕多瓦大学);Sapienza University of Rome(罗马第一大学)
颜色深度相机(RGB-D相机)已成为大多数机器人系统的主要传感器,从服务机器人到工业机器人应用。典型的消费级RGB-D相机被提供有粗略的内在和外在校准,其通常不满足许多机器人应用所需的精度要求(例如,高精度3D环境重建和映射、高精度对象识别和定位.)。在本文中,我们提出了一个人性化的,可靠的和准确的校准框架,可以很容易地估计一般的颜色深度传感器对的内在和外在参数。我们的方法是基于一个新的两个组件的误差模型。该模型统一了基于不同技术的RGB-D对的误差来源,例如结构光3D相机和飞行时间相机。与其他最先进的系统相比,我们的方法提供了一些重要的优点:它是通用的(即,非常适合不同类型的传感器),基于简单稳定的校准协议,提供了更高的校准精度,并已在ROS机器人框架内实施。我们报告详细的实验验证和性能比较,以支持我们的声明。
2018-10-19 cs.CV cs.RO
Online Refractive Camera Model Calibration in Visual Inertial Odometry
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
本文提出一种通用折射相机模型,在视觉惯性里程计中在线联合估计里程计与未知介质折射率,仅需空气标定即可在折射流体中实现与常规相当的定位性能。
2024-09-18 cs.CV cs.RO
UniCal: a Single-Branch Transformer-Based Model for Camera-to-LiDAR Calibration and Validation
Motional(Motional(自动驾驶公司))
UniCal提出一种基于Transformer的单分支轻量化架构,通过早期融合相机与激光雷达数据实现高精度外参标定,并可通过迁移学习直接用于标定验证任务。
2023-04-19 cs.CV cs.RO
Robust Gyroscope-Aided Camera Self-Calibration
Aalto University(阿尔托大学)
摄像机标定是单目视觉应用中的一个重要环节,它可以用来估计摄像机的内参数和镜头畸变。这篇应用论文提出了一种通过融合陀螺仪和相机数据来估计动态参数的模型,这两种数据都可以在现代智能手机中使用。该模型是基于联合估计的视觉特征位置,摄像机参数,和摄像机的姿态,其运动被假定为遵循由陀螺仪预测的运动。我们的模型假设相机运动是自由的,但连续和可微的,并且假设单个特征保持静止。估计在线使用扩展的卡尔曼滤波器,它被证明优于现有的方法在鲁棒性和不敏感的初始化。我们使用模拟数据和来自iPad的经验数据来演示该方法。
2018-05-31 cs.CV cs.RO
Event Camera Calibration of Per-pixel Biased Contrast Threshold
Australian National University(澳大利亚国立大学)
事件摄像机输出异步事件,以高时间分辨率表示强度变化,即使在极端照明条件下也是如此。目前,大多数现有的工作使用一个单一的对比度阈值来估计所有像素的强度变化。然而,复杂的电路偏置和制造缺陷导致偏置的像素和像素之间的失配对比度阈值,这可能导致不期望的输出。在本文中,我们提出了一个新的事件相机模型和两个校准方法,涵盖事件的相机和混合图像事件相机。当强度图像与事件同时提供时,我们还提出了一种有效的在线方法来校准事件相机,以适应随时间变化的事件率。我们证明了我们提出的方法相比,国家的最先进的几个不同的事件相机数据集的优势。
2020-12-17 cs.CV cs.RO
EF-Calib: Spatiotemporal Calibration of Event- and Frame-Based Cameras Using Continuous-Time Trajectories
College of Engineering, Peking University(北京大学工学院);Fuzhou University(福州大学)
针对事件相机与帧相机组成的立体视觉系统标定难题,提出EF-Calib时空标定框架,通过新型标定靶标、事件识别算法和连续B样条位姿表示,实现了高精度的内参、外参及时间偏移标定。
2024-09-25 cs.CV cs.RO
Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane correspondences
Australian Centre for Field Robotics(澳大利亚野外机器人学中心);University of Sydney(悉尼大学)
本文提出了一种自动化的方法,以获得外部之间的相机和三维激光雷达与低至16光束的校准参数。我们使用棋盘作为参考,以获得感兴趣的功能,在两个传感器帧。利用标定板的几何形状,从激光雷达点云中自动提取标定板的中心点和法向量。从摄像机的外矩阵中获得摄像机图像中的相应特征。我们解释了选择这些特征的原因,以及为什么它们比其他可能性更强大。为了获得最优的外部参数,我们选择了一个遗传算法来解决高度非线性的状态空间。在定义了相对于激光雷达的3D实验区域的边界以及真实的电路板尺寸之后,该过程是自动化的。此外,相机被假定为固有校准。我们的方法需要至少3个棋盘构成,并通过使用真实世界和模拟功能评估我们的算法证明了校准精度。
2019-04-29 cs.CV cs.RO
LiDAR-Camera Calibration using 3D-3D Point correspondences
Vellore Institute of Technology, Chennai(金奈韦洛尔理工大学);Birla Institute of Technology and Science, Hyderabad(海得拉巴比尔拉理工学院);Veermata Jijabai Technological Institute, Mumbai(孟买韦尔马塔·吉贾拜技术学院);International Institute of Information and Technology, Hyderabad(海得拉巴国际信息技术学院)
随着自动驾驶汽车的出现,LiDAR和摄像头已经成为不可或缺的传感器组合。它们都提供了丰富和互补的数据,可用于各种算法和机器学习,以感知和对周围环境做出重要的推断。我们提出了一种新的管道和实验装置,以找到精确的刚体变换的额外校准激光雷达和相机。管道化利用LiDAR和相机框架中的3D-3D点对应关系,并给出了封闭形式的解决方案。我们进一步通过融合来自两个立体相机的点云来显示估计的准确性,这两个立体相机与我们的方法估计的旋转和平移完全一致,从而在数学上和视觉上确认了我们的方法估计的准确性。以我们的外在激光雷达相机校准的想法向前,我们演示了如何没有重叠的视场的两个相机也可以使用3D点对应的extrendary校准。该代码已经以ROS包的形式作为开源软件提供,有关其的更多信息可以在这里找到:https://github.com/ankitdhall/lidar_camera_calibration。
2017-05-27 cs.CV cs.RO
SST-Calib: Simultaneous Spatial-Temporal Parameter Calibration between LIDAR and Camera
University of California, Berkeley(加州大学伯克利分校)
对于来自多个输入模态的信息,基于传感器融合的算法通常优于机器人中的单模态算法。在复杂的驾驶环境中,具有互补的语义和深度信息的相机和激光雷达是检测任务的典型选择。然而,对于大多数相机-LIDAR融合算法,传感器套件的校准将极大地影响性能。更具体地,检测算法通常需要多个传感器之间的精确几何关系作为输入,并且通常假设来自这些传感器的内容被同时捕获。准备这样的传感器套件涉及精心设计的校准装置和精确的同步机制,并且准备过程通常是离线完成的。在这项工作中,提出了一个基于分割的框架,共同估计的几何和时间参数的相机激光雷达套件的校准。首先将语义分割掩模应用于两种传感器模态,并且通过逐像素双向损失来优化校准参数。我们特别结合了时间参数的速度信息从光流。由于监督仅在分段级别执行,因此在框架内不需要校准标签。在KITTI数据集上对该算法进行了测试,结果表明,该算法能够准确地实时校准几何参数和时间参数。
2022-07-08 cs.CV cs.RO
Calousel: Extrinsic Calibration of Non-overlapping Multi-camera Systems from Pure Rotation
Seoul National University(首尔国立大学)
提出一种利用纯旋转运动和非重叠视场多相机系统外参标定方法,仅需单个静态标定板,通过全局优化框架中的潜转台帧和SE(3)三维误差实现高精度标定。
2026-06-25 cs.CV cs.RO
eKalibr: Dynamic Intrinsic Calibration for Event Cameras From First Principles of Events
School of Geodesy and Geomatics (SGG)(测绘地理信息学院);Wuhan University (WHU)(武汉大学)
针对现有事件相机标定方法工程依赖强或设备复杂的问题,提出基于事件圆形网格图案识别与正常流聚类的eKalibr方法,实现精确便捷的动态内参标定并开源验证。
2025-04-06 cs.CV cs.RO
Galibr: Targetless LiDAR-Camera Extrinsic Calibration Method via Ground Plane Initialization
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院电气工程学院);Hanwha Aerospace(韩华宇航公司)
本文提出 Galibr,一种利用地平面初始化与边缘匹配的全自动无标定靶 LiDAR-相机外参标定方法,并在 KITTI 和 KAIST 数据集上验证其性能提升。
2024-06-14 cs.CV cs.RO
A Novel Method for the Extrinsic Calibration of a 2D Laser Rangefinder and a Camera
University of Minnesota(明尼苏达大学)
提出了一种新的摄像机外定标方法,并给出了一种在摄像机图像中不可见光束的二维激光测距仪。我们表明,从一个单一的观察的V形校准图案组成的两个非共面三角形的点到平面的约束足以唯一地约束两个传感器之间的相对姿态。接下来,我们提出了一种方法来获得解析解使用点到面的约束,从单个或多个观测。一路上,我们还表明,以前的解决方案,与我们的方法相比,具有固有的模糊性,因此必须依赖于一个良好的初始估计。真实和合成实验验证了我们的方法,并表明它实现了更好的准确性比以前的方法。
2018-08-31 cs.CV cs.RO
Joint Camera Intrinsic and LiDAR-Camera Extrinsic Calibration
Shanghai AI Laboratory(上海人工智能实验室)
基于传感器的环境感知是自动驾驶系统的关键步骤,多个传感器之间的准确校准起着关键作用。对于LiDAR和摄像机的标定,现有的方法一般是先标定摄像机的内标,再标定LiDAR和摄像机的外标。如果相机的内标在第一阶段没有被正确标定,则不容易准确地标定LiDAR相机的外标。由于摄像机内部结构复杂,缺乏有效的内参数标定定量评价方法,在实际标定中,摄像机内参数的微小误差往往会降低外参数标定的精度。为此,我们提出了一种新的基于目标的相机内参数和激光雷达相机外参数的联合标定方法。首先,我们设计了一种新的校准板图案,在棋盘周围增加了四个圆孔,用于定位LiDAR位姿。随后,下定义的棋盘格和圆孔特征的重投影约束下的成本函数的设计,以解决相机的内参数,失真因子,和激光雷达相机的外参数。最后在实际环境和模拟环境下进行了定量和定性实验,实验结果表明该方法具有较好的准确性和鲁棒性。开放源代码可在https://github.com/OpenCalib/JointCalib上获得。
2023-02-24 cs.RO
General, Single-shot, Target-less, and Automatic LiDAR-Camera Extrinsic Calibration Toolbox
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
本文介绍了一个开源的LiDAR相机校准工具箱,该工具箱适用于LiDAR和相机投影模型,只需要一对LiDAR和相机数据,无需校准目标,并且是全自动的。对于自动初始猜测估计,我们使用SuperGlue图像匹配管道来查找LiDAR和相机数据之间的2D-3D对应关系,并通过RANSAC估计LiDAR-相机变换。在给定初始猜测的情况下,我们基于归一化信息距离(一种基于互信息的跨模态距离度量)通过直接LiDAR相机配准来改进变换估计。对于方便的校准过程,我们还提供了几种辅助功能(例如,动态LiDAR数据集成和用于手动进行2D-3D对应的用户界面)。实验结果表明,该工具箱能够对旋转和非重复扫描激光雷达、针孔和全向相机的任意组合进行标定,比现有的基于边缘对齐的标定方法具有更好的标定精度和鲁棒性。
2023-02-10 cs.RO
Targetless Extrinsic Calibration of Stereo Cameras, Thermal Cameras, and Laser Sensors in the Wild
Wuhan University(武汉大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对立体相机、热成像相机和激光传感器的跨模态外参标定难题,提出一种无需专用靶标、无需人工交互的一次性无靶标标定框架,并验证其准确性与场景适用性。
2022-06-08 cs.RO
Automatic Calibration of a Robot Manipulator and Multi 3D Camera System
Oslo University Hospital(奥斯陆大学医院);University of Oslo(奥斯陆大学)
随着3D传感变得越来越便宜,能够与人类安全合作的环境感知和视觉引导机器人手臂将变得普遍。然而,需要可靠的校准,无论是相机内部校准,还是眼到手校准,以确保整个系统正常工作。我们提出了一个框架,使用一种新颖的组合,以及证明的方法,允许快速自动校准的集成系统组成的机器人和不同数量的3D相机,通过使用标准的棋盘格校准网格。我们的方法允许在设置发生任何变化后快速进行相机到机器人的重新校准,例如当相机或机器人重新定位时。系统的模块化设计确保了所使用的传感器数量以及不同硬件选择的灵活性。该框架已被证明是工作的实际实验,以分析校准的质量与用于每个校准程序的棋盘的位置的数量。
2016-10-12 cs.RO
Single-Shot is Enough: Panoramic Infrastructure Based Calibration of Multiple Cameras and 3D LiDARs
Alibaba Group(阿里巴巴集团)
多个相机和3D Li-DAR的集成已经成为增强现实设备、机器人和自动驾驶汽车的基本配置。多模态传感器的校准对于系统正常运行至关重要,但对于大规模生产来说仍然是繁琐和不切实际的。此外,大多数设备在使用一段时间后需要重新校准。在本文中,我们提出了一个单次拍摄的解决方案,用于校准多个相机和3D激光雷达之间的外部转换。我们建立了一个全景基础设施,其中相机或激光雷达可以使用来自单帧的数据进行鲁棒定位。在三个具有不同相机LiDAR配置的设备上进行了实验,表明我们的方法与最先进的方法实现了相当的校准精度,但效率更高。
2021-07-10 cs.RO
Fast calibration for ultrasound imaging guidance based on depth camera
Wuhan University(武汉大学);Renmin Hospital of Wuhan University(武汉大学人民医院);Wuhan Institute of Technology(武汉工程大学)
本文提出一种基于深度相机的超声图像快速标定方法,通过易部署装置采集针尖在超声图像与深度相机中的坐标并构建对应矩阵,实验验证了其有效性。
2023-08-10 cs.RO
Extrinsic Calibration of LiDAR, IMU and Camera
Texas A \& M Univeristy, College Station, USA
在这项工作中,我们提出了一种新的方法来联合校准的传感器套件组成的三维激光雷达,惯性测量单元(IMU)和相机下的扩展卡尔曼滤波器(EKF)的框架。我们利用3个传感器对之间的成对约束进行EKF更新,并通过实验证明了联合校准相对于单个传感器对校准所获得的优越性能。
2022-05-18 cs.RO
DXQ-Net: Differentiable LiDAR-Camera Extrinsic Calibration Using Quality-aware Flow
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
激光雷达摄像机的精确外标定是移动机器人多传感器系统的前提。大多数校准方法依赖于费力的手动操作和校准目标。在线工作时,校准方法应该能够从环境中提取信息,以构建跨模态数据关联。卷积神经网络(CNN)具有强大的特征提取能力,已被用于标定。然而,大多数过去的方法解决外部作为一个回归任务,而不考虑所涉及的几何约束。在本文中,我们提出了一种新的端到端的外部校准方法命名为DXQ-Net,使用可微的姿态估计模块进行推广。我们制定了一个概率模型的激光雷达相机校准流程,产生的不确定性的预测来衡量激光雷达相机数据关联的质量。测试实验表明,我们的方法在平移分量上达到了与其他方法相竞争的水平,在旋转分量上达到了最先进的性能。泛化实验表明,该方法的泛化性能明显优于其他基于深度学习的方法。
2022-03-17 cs.RO
Targetless Intrinsics and Extrinsic Calibration of Multiple LiDARs and Cameras with IMU using Continuous-Time Estimation
College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);MEGVII Technology(旷视科技)
针对异步、非重叠视场的多相机与多激光雷达时空标定难题,提出基于连续时间与BA的无标定板流程,联合优化内参、6自由度外参和时间偏移。
2025-01-06 cs.RO
An optimization-based IMU/Lidar/Camera Co-calibration method
The University of Tokyo(东京大学);Southeast University(东南大学)
近年来,多传感器融合技术在汽车导航定位领域取得了重大进展。作为融合算法的前提,多传感器的外定标需求日益增长。为了计算外参数,许多研究都致力于两步方法,该方法将各自的校准成对集成。由于忽略了所有传感器的约束条件,使得该方法效率低、结构不紧凑。针对这一问题,提出了一种基于优化的IMU/Lidar/Camera协同标定方法。首先,分别进行了IMU/相机和IMU/激光雷达的在线标定。然后,棋盘中的角点和表面特征点与粗结果相关联,并构造相机/激光雷达约束。最后,构造联合校准优化以细化所有外部参数。我们在仿真中评估了所提出的方案的性能,结果表明,我们提出的方法优于两步方法。
2022-09-26 cs.RO
Experimental Evaluation of 3D-LIDAR Camera Extrinsic Calibration
Texas A&M University(德克萨斯A&M大学);Ford Motor Company(福特汽车公司)
在本文中,我们进行了三个不同的目标为基础的三维激光雷达相机标定算法的实验比较。我们简要阐述了每种方法背后的数学背景,并提供了对所有这些方法的数据汇集的便利性等实际方面的见解。我们广泛评估这些算法的传感器套件,其中包括多个相机和激光雷达通过评估其鲁棒性随机初始化和使用指标,如平均线重投影误差(MLRE)和工厂立体校准误差。我们还展示了噪声传感器对所有算法的校准结果的影响,并总结了在什么情况下应该使用哪种校准算法。
2020-07-03 cs.RO
Targetless Extrinsic Calibration of Multiple Small FoV LiDARs and Cameras using Adaptive Voxelization
The University of Hong Kong(香港大学)
确定多个LiDAR和相机之间的外部参数对于自主机器人至关重要,特别是对于固态LiDAR,其中每个LiDAR单元具有非常小的视场(FoV),并且多个单元通常被集体使用。大多数外部校准方法是针对360 $^\circ$机械旋转LiDAR提出的,其中假设FoV与其他LiDAR或相机传感器重叠。很少有研究工作集中在小视场激光雷达和相机的校准,也没有提高校准速度。在这项工作中,我们考虑小视场LiDAR和相机之间的外部校准问题,目的是缩短总的校准时间,进一步提高校准精度。首先,我们实现了自适应体素化技术的激光雷达特征点的提取和匹配。这样的过程可以避免冗余创建$k$ -d树的LiDAR外部校准和提取LiDAR特征点,在一个更可靠和快速的方式比现有的方法。然后,我们将多个LiDAR外部校准公式化为LiDAR束调整(BA)问题。通过将代价函数推导到二阶,进一步提高了非线性最小二乘问题的求解时间和精度。我们所提出的方法已被验证的数据收集在四个无目标的场景下,两种类型的固态激光雷达具有完全不同的扫描模式,密度和FoV。我们的工作的鲁棒性也在八个初始设置下得到了验证,每个设置包含100个独立的试验。与最先进的方法相比,我们的工作提高了校准速度15倍的激光雷达激光雷达外部校准和1.5倍的激光雷达相机外部校准(平均结果从50个独立的试验),同时保持准确。
2022-09-24 cs.RO
Two-Stage Camera Calibration Method for Multi-Camera Systems Using Scene Geometry
Aleksandr Abramov
本文提出了一种基于场景几何的两阶段相机标定方法,通过操作员注释自然几何原始体和交互式操控投影多边形,实现多相机系统的高效标定,无需物理接触或同步视频。
2025-12-04 cs.RO eess.IV
LiDAR-Camera Calibration under Arbitrary Configurations: Observability and Methods
Zhejiang University(浙江大学)
激光雷达-相机标定是许多异构系统融合激光雷达和相机数据的前提条件。然而,来自公共视场的约束和严格的时间同步要求使得校准成为一个具有挑战性的问题。在本文中,我们提出了一种新的激光雷达相机校准方法,旨在消除这两个限制。具体来说,我们在环境和传感器都静止的情况下捕获3D LiDAR的扫描,然后移动相机,使用顺序获得的图像重建3D环境。最后,基于紧耦合图优化方法将三维视点与激光扫描点对齐,计算激光雷达与摄像机之间的外参数。在这种设计下,这两个传感器的配置是免费的,由于从移动相机的扩展视图的共同的视场约束。而且我们还消除了对严格时间同步的要求,因为我们只使用传感器静止时的激光数据的单次扫描。我们从理论上推导了该方法的最小可观测性条件,并证明了通过从多个分散的标定目标中收集更多的观测值可以提高标定的精度。我们在仿真平台和真实世界的数据集上验证了我们的方法。实验结果表明,该方法比其他同类方法具有更高的准确性,这与我们的理论分析是一致的。此外,该方法不仅适用于基于棋盘面测量误差的标定,也适用于基于点测量误差的标定,如长方体、多边形棋盘等。
2019-05-14 cs.RO
Spatiotemporal Calibration of Camera and 3D Laser Scanner
Institute of Robotics and Machine Intelligence, Poznan University of Technology(波兹南理工大学机器人与机器智能研究所)
由激光扫描仪和摄像机组成的多传感器装置很受欢迎,因为测量相互补充,并为应用提供必要的鲁棒性。在动态条件下或运动时,需要传感器之间的直接变换(空间校准)和时间偏移(时间校准)来确定测量之间的对应关系。我们提出了一个开源的相机和三维激光扫描仪的时空校准框架。我们的解决方案基于常用的棋盘标记,需要在操作前进行一分钟校准,以提供准确和可重复的结果。该框架是基于批量优化的点到平面的约束与时间偏移校准可能通过一种新的连续表示的平面方程的基础上的最小表示在李代数和B-样条的使用。该框架的属性进行了评估,在模拟的正确性进行了验证与Velodyne VLP-16和SICK MRS 6124三维激光扫描仪两个不同的传感器设置。
2020-08-29 cs.RO
Automatic Surround Camera Calibration Method in Road Scene for Self-driving Car
Shanghai AI Laboratory(上海人工智能实验室)
针对自动驾驶环视相机在线标定中初始外参误差大导致传统方法鲁棒性差、稀疏直接法易陷入局部最优的问题,提出一种由粗到精随机搜索的自动多相机标定与优化方法,并通过实车与仿真实验验证了其精度和鲁棒性。
2023-05-26 cs.RO
Improved Extrinsic Calibration of Acoustic Cameras via Batch Optimization
Southern University of Science and Technology(南方科技大学)
针对现有声学相机外参标定方法依赖先验或网格搜索效率低的问题,提出基于视觉-声学标记标定板的方法,将标定建模为非线性最小二乘问题并采用批量优化求解,提升了准确性与鲁棒性,且开源了代码和数据。
2025-02-10 cs.RO cs.SD
Extrinisic Calibration of a Camera-Arm System Through Rotation Identification
Department of Aerospace Engineering Sciences, University of Colorado at Boulder(科罗拉多大学波尔德分校航空航天工程科学系)
本文提出了一种基于观察臂的结构运动来恢复外校准参数的方法,结合已知的机械臂运动学和图像平面中的二次曲线观测,通过最大似然估计计算校准外参数,该方法在仿真中得到验证并在现实模型中测试,结果与尺子估计一致。
2018-12-19 cs.RO cs.SY eess.SY