L2E: Lasers to Events for 6-DoF Extrinsic Calibration of Lidars and Event Cameras
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
随着神经形态技术的成熟,其在机器人和自动驾驶汽车系统中的应用已成为一个活跃的研究领域。特别是,事件摄像机已经成为低功耗和延迟要求高的应用中基于帧的摄像机的引人注目的替代品。为了使事件相机能够与激光雷达等主要传感器一起工作,我们提出了一种事件相机和激光雷达之间的直接,时间解耦的外部校准方法。利用事件相机的高动态范围、高时间分辨率和低延迟操作来直接记录激光雷达激光回波,从而允许基于信息的相关方法来优化两个传感器之间的6-DoF外部校准。本文提出了事件相机和激光雷达之间的第一种直接校准方法,消除了对基于帧的相机中介和/或高精度手部测量的依赖。
2023-02-21 cs.CV cs.RO
LCE-Calib: Automatic LiDAR-Frame/Event Camera Extrinsic Calibration With A Globally Optimal Solution
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院);CWB Institute of Autonomous Driving(CWB自动驾驶研究院)
LiDAR和摄像头的结合使移动机器人能够感知具有多模态数据的环境,成为实现鲁棒感知的关键因素。传统的框架相机对不断变化的照明条件很敏感,这促使我们引入新型事件相机,使LiDAR相机融合更加完整和强大。然而,联合利用这些传感器,具有挑战性的外在校准问题应得到解决。本文提出了一种自动棋盘为基础的方法来校准之间的激光雷达和帧/事件相机,其中四个贡献。首先,本文提出了一种基于LiDAR点云的自动特征提取和棋盘格跟踪方法。其次,我们从事件流重建真实感帧图像,将传统的角点检测器应用到事件相机。第三,我们提出了一个初始化-细化过程来估计extrinsics使用点到平面和点到线的约束,在一个粗到细的方式。第四,我们引入了一个统一的和全局最优的解决方案,以解决校准中的两个优化问题。我们的方法已经在19个模拟和真实世界的数据集上进行了广泛的实验验证,并优于最先进的方法。
2023-03-17 cs.CV cs.RO
Improving Extrinsics between RADAR and LIDAR using Learning
Texas A&M University(得克萨斯农工大学)
本文提出一种基于深度学习的3D RADAR-LIDAR外参标定方法,通过单步优化算法最小化重投影误差并利用MLP回归传感器返回能量,有效提升了外参参数的估计精度。
2023-05-17 cs.CV cs.RO
A Target-based Multi-LiDAR Multi-Camera Extrinsic Calibration System
Research \& Development, Toyota Material Handling Manufacturing, Bologna Italy Department of Information Engineering, University of Pisa, Pisa, Italy School of Engineering;Materials Science, Queen Mary University of London, London, United Kingdom
本文提出了一种基于目标的多激光雷达多摄像头外校准系统,利用定制的ChArUco板和非线性优化方法实现传感器间的交叉校准,并通过现实数据验证了其有效性。
2025-11-24 cs.CV cs.RO
Efficient Extrinsic Calibration of Multi-Sensor 3D LiDAR Systems for Autonomous Vehicles using Static Objects Information
IBEO Automotive Systems GmbH(IBEO汽车系统有限公司)
对于自动驾驶汽车来说,通过融合不同的传感器数据流来感知周围环境并构建环境的整体表示的能力是至关重要的。为此,需要准确地确定所有传感器的姿态。传统的校准方法基于:1)在受控环境中使用专门为校准目的而设计的目标,2)优化在穿越未知但静态环境时收集的点云的质量度量,或3)优化沿着满足特殊要求的运动路径的每个传感器增量运动观测之间的匹配。然而,在实际场景中,这些方法的在线适用性可能受到限制,因为它们通常是高度动态的,包含退化路径,并且需要快速计算。在本文中,我们提出了一种方法,解决了这些挑战,制定了一个联合的校准问题,但结构化的优化问题的所有传感器校准,作为输入的点云信息组成的地面点和极点检测的摘要。我们证明了所提出的方法的效率和质量的结果,在一组实验与激光雷达模拟和城市旅行的真实数据。
2022-11-04 cs.RO
Galibr: Targetless LiDAR-Camera Extrinsic Calibration Method via Ground Plane Initialization
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院电气工程学院);Hanwha Aerospace(韩华宇航公司)
本文提出 Galibr,一种利用地平面初始化与边缘匹配的全自动无标定靶 LiDAR-相机外参标定方法,并在 KITTI 和 KAIST 数据集上验证其性能提升。
2024-06-14 cs.CV cs.RO
Improvement on LiDAR-Camera Calibration Using Square Targets
Inceptio Technology(Inceptio技术)
提出一种基于方形靶标的全自动激光雷达-相机外参标定算法,通过几何信息检测、鲁棒粗搜索和直接优化,实现快速部署且抗噪声,适用于工厂及售后场景。
2025-06-23 cs.RO
Targetless 6DoF Calibration of LiDAR and 2D Scanning Radar Based on Cylindrical Occupancy
针对多模态传感器外参易因振动偏移的问题,提出基于圆柱空间占据一致性的LiRaCo无目标6DoF标定方法,经真实户外数据集实验验证具备可行性与准确性。
2025-03-21 cs.AI cs.RO
LiDAR-Camera Calibration using 3D-3D Point correspondences
Vellore Institute of Technology, Chennai(金奈韦洛尔理工大学);Birla Institute of Technology and Science, Hyderabad(海得拉巴比尔拉理工学院);Veermata Jijabai Technological Institute, Mumbai(孟买韦尔马塔·吉贾拜技术学院);International Institute of Information and Technology, Hyderabad(海得拉巴国际信息技术学院)
随着自动驾驶汽车的出现,LiDAR和摄像头已经成为不可或缺的传感器组合。它们都提供了丰富和互补的数据,可用于各种算法和机器学习,以感知和对周围环境做出重要的推断。我们提出了一种新的管道和实验装置,以找到精确的刚体变换的额外校准激光雷达和相机。管道化利用LiDAR和相机框架中的3D-3D点对应关系,并给出了封闭形式的解决方案。我们进一步通过融合来自两个立体相机的点云来显示估计的准确性,这两个立体相机与我们的方法估计的旋转和平移完全一致,从而在数学上和视觉上确认了我们的方法估计的准确性。以我们的外在激光雷达相机校准的想法向前,我们演示了如何没有重叠的视场的两个相机也可以使用3D点对应的extrendary校准。该代码已经以ROS包的形式作为开源软件提供,有关其的更多信息可以在这里找到:https://github.com/ankitdhall/lidar_camera_calibration。
2017-05-27 cs.CV cs.RO
Single-Shot is Enough: Panoramic Infrastructure Based Calibration of Multiple Cameras and 3D LiDARs
Alibaba Group(阿里巴巴集团)
多个相机和3D Li-DAR的集成已经成为增强现实设备、机器人和自动驾驶汽车的基本配置。多模态传感器的校准对于系统正常运行至关重要,但对于大规模生产来说仍然是繁琐和不切实际的。此外,大多数设备在使用一段时间后需要重新校准。在本文中,我们提出了一个单次拍摄的解决方案,用于校准多个相机和3D激光雷达之间的外部转换。我们建立了一个全景基础设施,其中相机或激光雷达可以使用来自单帧的数据进行鲁棒定位。在三个具有不同相机LiDAR配置的设备上进行了实验,表明我们的方法与最先进的方法实现了相当的校准精度,但效率更高。
2021-07-10 cs.RO
Automatic Multi-Sensor Extrinsic Calibration for Mobile Robots
Biomedical Research Institute of Malaga (IBIMA)(马拉加生物医学研究所(IBIMA));University of Malaga(马拉加大学)
为了融合来自安装在移动机器人上的多个传感器的测量值,需要通过它们的相对空间变换在公共参考系中表示它们。在本文中,我们提出了一种方法来估计多个异构传感器(激光雷达,深度和RGB相机)的全6DoF外部校准参数,适合于在移动机器人上自动执行。我们的方法通过基于运动的方法计算2D校准参数(x,y,yaw),而对于其余3个参数(z,pitch,roll),它需要在短时间内观察地平面。该提议与其他提议的区别在于:i)所有校准参数以封闭形式初始化,以及ii)明确处理来自单目相机的运动估计所固有的尺度模糊性,使得能够组合这些传感器和度量传感器(激光雷达、立体钻机等)。在相同的优化框架下。%此外,由局部传感器漂移引起的异常值观测值将自动检测并从校准过程中删除。我们提供了一个正式的定义的问题,以及贡献的方法,其中的C++实现已公开。该方法的适用性进行了评估,在模拟和室内和室外场景的真实数据。最后,通过实验评估显示了对最先进的基于运动的校准建议的改进。
2019-06-11 cs.RO
CRLF: Automatic Calibration and Refinement based on Line Feature for LiDAR and Camera in Road Scenes
SenseTime(商汤科技)
对于自动驾驶汽车,LiDAR和摄像头的精确校准是多传感器感知系统的先决条件。然而,现有的校准技术要么需要复杂的设置与各种校准目标,或预先提供的初始校准,这极大地阻碍了它们在大规模自主车辆部署中的适用性。为了解决这些问题,我们提出了一种新的方法来校准激光雷达和摄像机在道路场景中的外部参数。我们的方法介绍了从静态直线形状的物体,如道路车道和电线杆在图像和点云的线功能,并制定了外部参数的初始校准作为一个透视3线(P3L)的问题。随后,根据线特征的语义约束定义的成本函数被设计用于对求解的粗校准执行细化。整个过程是全自动和用户友好的,无需调整环境设置或提供初始校准。我们在KITTI和我们的内部数据集上进行了大量的实验,定量和定性的结果证明了我们的方法的鲁棒性和准确性。
2021-03-08 cs.CV cs.RO
A Continuous-Time Approach for 3D Radar-to-Camera Extrinsic Calibration
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);University of Zagreb Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);Vector Institute(Vector研究所)
在恶劣天气下的可靠运行对于部署安全的自动驾驶车辆(AV)至关重要。鲁棒性和可靠性可以通过融合来自标准AV传感器套件的数据(即,激光雷达、照相机)与诸如毫米波长雷达的天气鲁棒传感器。关键的是,精确的传感器数据融合需要传感器对之间的刚体变换的知识,这可以通过外部校准过程来确定。已经为2D(平面)雷达传感器设计了许多外部校准算法-然而,最近开发的低成本3D毫米波雷达将在许多应用中取代其2D对应物。在本文中,我们提出了一个连续时间的3D雷达相机外部校准算法,利用雷达速度测量,与大多数现有技术不同,不需要专门的雷达回射器存在于环境中。我们推导出我们的配方的可观测性,并通过合成和真实世界的实验证明我们的算法的有效性。
2021-11-17 cs.RO
Probabilistic Egocentric Motion Correction of Lidar Point Cloud and Projection to Camera Images for Moving Platforms
Australian Centre for Field Robotics(澳大利亚野外机器人中心);University of Sydney(悉尼大学)
来自异构传感器的传感器数据的融合对于涉及移动平台的各种机器人应用中的鲁棒感知至关重要,例如,自主车辆导航。特别是,将摄像头和激光雷达传感器相结合,可以将周围环境的精确范围信息投影到视觉图像上。它还可以使用3D映射的视觉分割/分类结果标记每个激光雷达点,这有助于对场景进行更高层次的理解。然而,由于内在和外在的传感器校准,以及由平台的自我运动引起的激光雷达点的失真,该任务被认为是不平凡的。尽管存在许多激光雷达自运动校正方法,但由于自运动估计的不确定性而导致的校正过程中的误差不可能完全消除。因此,有必要考虑问题的概率过程中的自我运动估计的不确定性建模和考虑一致。本文研究了概率激光雷达自我运动校正和激光雷达到摄像机的投影,其中自我运动估计和时间抖动的不确定性在感官测量。所提出的方法在仿真和使用从改装有广角摄像头和16束扫描激光雷达的电动汽车收集的真实数据中进行了验证。
2020-03-09 cs.RO
Targetless Extrinsic Calibration of Multiple Small FoV LiDARs and Cameras using Adaptive Voxelization
The University of Hong Kong(香港大学)
确定多个LiDAR和相机之间的外部参数对于自主机器人至关重要,特别是对于固态LiDAR,其中每个LiDAR单元具有非常小的视场(FoV),并且多个单元通常被集体使用。大多数外部校准方法是针对360 $^\circ$机械旋转LiDAR提出的,其中假设FoV与其他LiDAR或相机传感器重叠。很少有研究工作集中在小视场激光雷达和相机的校准,也没有提高校准速度。在这项工作中,我们考虑小视场LiDAR和相机之间的外部校准问题,目的是缩短总的校准时间,进一步提高校准精度。首先,我们实现了自适应体素化技术的激光雷达特征点的提取和匹配。这样的过程可以避免冗余创建$k$ -d树的LiDAR外部校准和提取LiDAR特征点,在一个更可靠和快速的方式比现有的方法。然后,我们将多个LiDAR外部校准公式化为LiDAR束调整(BA)问题。通过将代价函数推导到二阶,进一步提高了非线性最小二乘问题的求解时间和精度。我们所提出的方法已被验证的数据收集在四个无目标的场景下,两种类型的固态激光雷达具有完全不同的扫描模式,密度和FoV。我们的工作的鲁棒性也在八个初始设置下得到了验证,每个设置包含100个独立的试验。与最先进的方法相比,我们的工作提高了校准速度15倍的激光雷达激光雷达外部校准和1.5倍的激光雷达相机外部校准(平均结果从50个独立的试验),同时保持准确。
2022-09-24 cs.RO
Temporal and Spatial Online Integrated Calibration for Camera and LiDAR
Tsinghua University(清华大学);University of Michigan(密歇根大学);DiDi Co. Ltd.(滴滴出行科技有限公司)
虽然相机和激光雷达广泛应用于大多数辅助和自动驾驶系统,但只有少数工作已经提出将相机和激光雷达的时间同步和外部校准关联起来,专门用于在线传感器数据融合。时空定标技术面临着缺乏相关性和实时性的挑战。本文通过引入姿态估计模型和环境鲁棒直线特征提取,提高了数据融合的相关性和即时在线校正能力。动态目标剔除的目的是考虑相邻时刻点云匹配的对应性,寻求最优的目标剔除策略。搜索优化过程旨在提供精确的参数,同时具有计算精度和效率。为了证明该方法的优点,我们在KITTI基准测试中使用地面真值对其进行了评估。在线实验表明,该方法比软同步方法在时间校准方面的精度提高了38.5%.而在空间校准,我们的方法自动校正干扰误差在0.4秒内,达到0.3度的精度。本文的工作对传感器信息融合的研究和应用具有一定的促进作用。
2022-07-21 cs.RO
Multi-LiCa: A Motion and Targetless Multi LiDAR-to-LiDAR Calibration Framework
Institute of Automotive Technology(汽车技术研究所);Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与智能机械研究所);Technical University of Munich(慕尼黑技术大学)
提出Multi-LiCa,一种自动、无目标的多激光雷达外参标定框架,采用特征匹配粗对齐与GICP精细配准,无需初始变换,精度优于现有方法,已开源。
2025-01-19 cs.RO
Extrinsic Calibration and Verification of Multiple Non-overlapping Field of View Lidar Sensors
Scania CV AB(斯堪尼亚商用车公司)
提出一种无需外部辅助的大型移动平台多激光雷达外参标定框架,利用对偶四元数插值与手眼标定恢复非重叠视场外参,并通过相机投影语义特征验证,实验证明优于CAD参数且可扩展。
2022-05-14 cs.RO
LV-Calib: LiDAR-Camera Extrinsic Calibration with Boundary-Response Modeling
Pen-Tung Sah Institute of Micro-Nano Science and Technology, Xiamen University(厦门大学萨本栋微米纳米科学技术研究院)
提出LV-Calib框架,利用可打印平面靶标,通过视觉基准和圆形反射率边界,结合强度与几何约束优化LiDAR特征点,实现LiDAR-相机外参标定和边界响应校准,达到亚像素重投影精度和毫米级特征一致性。
2026-06-16 cs.RO
Imaging radar and LiDAR image translation for 3-DOF extrinsic calibration
提出一种利用CycleGAN将雷达图像转换为LiDAR风格图像的3-DOF外参标定框架,结合图像配准与去畸变技术,在MulRan数据集上显著优于滤波方法。
2024-03-27 cs.RO
Extrinsic Calibration of LiDAR, IMU and Camera
Texas A \& M Univeristy, College Station, USA
在这项工作中,我们提出了一种新的方法来联合校准的传感器套件组成的三维激光雷达,惯性测量单元(IMU)和相机下的扩展卡尔曼滤波器(EKF)的框架。我们利用3个传感器对之间的成对约束进行EKF更新,并通过实验证明了联合校准相对于单个传感器对校准所获得的优越性能。
2022-05-18 cs.RO
UniCal: a Single-Branch Transformer-Based Model for Camera-to-LiDAR Calibration and Validation
Motional(Motional(自动驾驶公司))
UniCal提出一种基于Transformer的单分支轻量化架构,通过早期融合相机与激光雷达数据实现高精度外参标定,并可通过迁移学习直接用于标定验证任务。
2023-04-19 cs.CV cs.RO
Extrinsic Calibration of a 3D-LIDAR and a Camera
Texas A&M University(德克萨斯农工大学);Ford Motor Company(福特汽车公司)
本文提出了一种利用平面表面点到平面和平面边缘点到反投影平面的几何约束,在无标记平面目标上实现三维激光雷达和投影相机之间的外参数估计算法。所提出的方法使用通过将平板以不同姿态放置在LIDAR和相机的共同视场中而收集的数据。这些步骤包括:在LIDAR和相机帧中检测目标和目标的边缘,在两个感测模态上匹配检测到的平面和线,以及最终求解由上述几何约束形成的成本函数,该成本函数使用非线性最小二乘法将在LIDAR和相机中检测到的特征联系起来。我们使用两款Basler相机Velodyne VLP-32和Ouster OS 1 LIDAR对算法进行了广泛验证。
2020-05-19 cs.RO
PA-LVIO: Real-Time LiDAR-Visual-Inertial Odometry and Mapping with Pose-Only Bundle Adjustment
本文提出PA-LVIO,通过姿态仅捆绑调整实现高精度实时激光雷达-视觉-惯性里程计与建图,结合无边际化和帧到地图的激光雷达测量模型,消除里程计漂移,实现高精度点云地图生成。
2026-03-24 cs.RO
Automatic Calibration of Multiple 3D LiDARs in Urban Environments
The Hong Kong University of Science and Technology(香港科技大学)
自动驾驶汽车上逐渐出现了多个激光雷达,用于呈现宽视场和密集测量。然而,缺乏精确的校准负面影响其在定位和感知系统中的潜在应用。在本文中,我们提出了一种新的系统,使自动多LiDAR校准没有任何校准目标,先验环境信息,和外部参数的初始值。我们的方法开始与手眼校准自动初始化对齐每个传感器的估计运动。然后,通过最小化从点-平面对应构造的成本函数,用基于外观的方法来细化所得到的参数。模拟和真实世界的数据集上的实验结果表明,我们的校准方法的可靠性和准确性。所提出的方法可以校准多个LiDAR系统的旋转和平移误差分别小于0.04 [rad]和0.1 [m]的移动平台。
2019-05-13 cs.CV cs.RO
A 4D Radar Camera Extrinsic Calibration Tool Based on 3D Uncertainty Perspective N Points
School of Automation and Intelligent Sensing, Institute of Medical Robotics, Shanghai Jiao Tong University(自动化与智能感知学院、医疗机器人研究院、上海交通大学);Key Laboratory of System Control and Information Processing, Ministry of Education of China, Shanghai 200240(系统控制与信息处理重点实验室、中华人民共和国教育部、上海200240);Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(瑞金医院、上海交通大学医学院);Renji hospital, Shanghai Jiao Tong University School of Medicine(仁济医院、上海交通大学医学院)
本文提出3DUPnP标定框架,通过建模雷达球坐标噪声传播并补偿非零误差期望,实现4D毫米波雷达与相机的高精度外参标定,实验证明其优于CPnP基线。
2025-07-26 cs.RO
Targetless Intrinsics and Extrinsic Calibration of Multiple LiDARs and Cameras with IMU using Continuous-Time Estimation
College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);MEGVII Technology(旷视科技)
针对异步、非重叠视场的多相机与多激光雷达时空标定难题,提出基于连续时间与BA的无标定板流程,联合优化内参、6自由度外参和时间偏移。
2025-01-06 cs.RO
Target-free Extrinsic Calibration of a 3D-Lidar and an IMU
Texas A&M University(得克萨斯农工大学);Ford Motor Company(福特汽车公司)
本文提出了一种新的无目标外部标定算法,用于三维激光雷达和IMU对,使用扩展卡尔曼滤波器(EKF),利用\textit{motion based calibration constraint}进行状态更新。这些步骤包括,通过激光雷达惯性传感器套件沿所有自由度的运动激励来数据汇集,通过在最小二乘优化框架中使用上述\textit{motion based calibration constraint}的旋转分量来确定传感器间旋转,以及最后,使用\textit{motion based calibration constraint}来确定传感器间平移在扩展的卡尔曼滤波器(EKF)框架中进行状态更新。我们使用实验室收集的数据和开源(https://github.com/unmannedlab/imu_lidar_calibration)我们对机器人研究社区的贡献来实验验证我们的方法。
2021-09-28 cs.RO
Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学)
在这封信中,我们提出了一种新的方法,在无目标环境中的高分辨率激光雷达和RGB相机的自动外部校准。我们的方法不需要棋盘格,但可以通过对齐两个传感器中的自然边缘特征来实现像素级的精度。在理论层面上,我们分析了边缘特征的约束条件和标定精度对场景边缘分布的敏感性。在实现层面上,深入研究了LiDAR的物理测量原理,提出了一种基于点云体素切割和平面拟合的LiDAR边缘提取方法。由于自然场景中边缘的丰富性,我们在许多室内和室外场景中进行了实验。结果表明,该方法具有较高的鲁棒性、准确性和一致性。这对激光雷达与相机融合技术的研究和应用具有一定的促进作用。我们在GitHub上开源了我们的代码,以造福社区。
2021-06-25 cs.RO
General, Single-shot, Target-less, and Automatic LiDAR-Camera Extrinsic Calibration Toolbox
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
本文介绍了一个开源的LiDAR相机校准工具箱,该工具箱适用于LiDAR和相机投影模型,只需要一对LiDAR和相机数据,无需校准目标,并且是全自动的。对于自动初始猜测估计,我们使用SuperGlue图像匹配管道来查找LiDAR和相机数据之间的2D-3D对应关系,并通过RANSAC估计LiDAR-相机变换。在给定初始猜测的情况下,我们基于归一化信息距离(一种基于互信息的跨模态距离度量)通过直接LiDAR相机配准来改进变换估计。对于方便的校准过程,我们还提供了几种辅助功能(例如,动态LiDAR数据集成和用于手动进行2D-3D对应的用户界面)。实验结果表明,该工具箱能够对旋转和非重复扫描激光雷达、针孔和全向相机的任意组合进行标定,比现有的基于边缘对齐的标定方法具有更好的标定精度和鲁棒性。
2023-02-10 cs.RO
Joint Intrinsic and Extrinsic LiDAR-Camera Calibration in Targetless Environments Using Plane-Constrained Bundle Adjustment
The University of Hong Kong(香港大学)
本研究提出一种基于平面约束光束法平差的激光雷达-相机无目标内外参联合标定方法,构建统一优化问题融合视觉BA与点云平面配准,实验证明其精度优于SOTA方法且已开源代码。
2023-08-24 cs.RO
Online Target-less Radar-LiDAR-Camera Extrinsic Calibration via Joint Optimization
KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院(KAIST));Kookmin University(国民大学);LG Innotek(LG伊诺特)
本文提出一种联合优化框架,通过构建各传感器对残差并同时优化外参,结合自适应雷达噪声滤波和对应累积策略,实现在线无靶标雷达-激光雷达-相机标定,降低标定误差。
2026-10-06 cs.RO
Experimental Evaluation of 3D-LIDAR Camera Extrinsic Calibration
Texas A&M University(德克萨斯A&M大学);Ford Motor Company(福特汽车公司)
在本文中,我们进行了三个不同的目标为基础的三维激光雷达相机标定算法的实验比较。我们简要阐述了每种方法背后的数学背景,并提供了对所有这些方法的数据汇集的便利性等实际方面的见解。我们广泛评估这些算法的传感器套件,其中包括多个相机和激光雷达通过评估其鲁棒性随机初始化和使用指标,如平均线重投影误差(MLRE)和工厂立体校准误差。我们还展示了噪声传感器对所有算法的校准结果的影响,并总结了在什么情况下应该使用哪种校准算法。
2020-07-03 cs.RO
RLCNet: An end-to-end deep learning framework for simultaneous online calibration of LiDAR, RADAR, and Camera
Department of Mechanical Engineering, Politecnico di Milano(机械工程系,米兰理工学院)
RLCNet通过端到端深度学习框架实现激光雷达、雷达和摄像头的同时在线校准,提升自动驾驶系统在动态环境中的感知可靠性。
2025-12-09 cs.CV cs.RO
PLK-Calib: Single-shot and Target-less LiDAR-Camera Extrinsic Calibration using Plücker Lines
Department of Electrical and Computer Engineering, University of California, Riverside(电气与计算机工程系,加州大学河滨分校)
本文提出基于普吕弗线的单次拍摄无目标算法,用于高精度激光雷达-摄像头外参校准,通过几何特性分解旋转和平移,提升校准精度。
2026-01-02 cs.RO
FAST-Calib: LiDAR-Camera Extrinsic Calibration in One Second
Department of Mechanical Engineering, The University of Hong Kong(香港大学机械工程系)
提出基于定制 3D 靶标的 FAST-Calib,通过扫描模式无关的边缘提取、椭圆拟合补偿和多场景联合优化,在三类 LiDAR 上实现低于 0.7 秒、误差小于 6.5 毫米的高精度自动外参标定。
2025-07-23 cs.RO
Observability-aware online multi-lidar extrinsic calibration
Scania CV AB(斯堪尼亚商用车公司)
提出一种基于GNSS与激光雷达位姿匹配的在线多激光雷达外参标定方法,利用旋转分量比较和最大互信息位姿选择提升鲁棒性,并在Scania车辆数据上验证了其准确性。
2022-12-19 cs.RO
Robust Extrinsic Self-Calibration of Camera and Solid State LiDAR
ComNav Technology Ltd.(司南导航技术股份有限公司)
本文提出一种相机与棱镜旋转式固态激光雷达的外参标定方法,通过利用深度不连续测量值去除空缺点以保留更多有效特征,并结合圆形性与矩形性约束,实现优于现有算法的鲁棒标定。
2023-02-13 cs.RO
LiDAR guided Small obstacle Segmentation
KCIS, International Institute of Information Technology Hyderabad(KCIS,海得拉巴国际信息技术学院)
检测道路上的小障碍物对于自动驾驶至关重要。在本文中,我们提出了一种方法,通过稀疏激光雷达(VLP-16)和单目视觉的多模态框架来可靠地检测这样的障碍物。LiDAR用于以置信度图的形式向单目分割网络提供额外的上下文。我们表现出显着的性能增益时,上下文作为一个额外的输入单目语义分割框架。我们进一步向社区展示了一个新的语义分割数据集,包括3000多个图像帧和相应的激光雷达观测。这些图像带有三个类越野,道路和小障碍的像素明智的注释。我们强调,激光雷达和相机之间的精确校准是至关重要的这项任务,因此提出了一种新的Hausdorff距离为基础的外部参数的校准细化方法。作为这个数据集的第一个基准,我们报告了我们的结果,在具有挑战性的场景中,在50米的距离内有73%的实例检测。定性地通过展示在50米深度处小于15厘米的障碍物的准确分割,并且定量地通过与现有技术的有利比较,我们证明了该方法的有效性。我们的项目页面和数据集托管在www.example.com
2020-03-12 cs.CV cs.RO
GRIL-Calib: Targetless Ground Robot IMU-LiDAR Extrinsic Calibration Method using Ground Plane Motion Constraints
Yonsei University(延世大学)
针对地面机器人平面运动导致现有IMU-激光雷达标定性能下降的问题,提出GRIL-Calib方法,利用地面平面残差和GPM约束,通过单一优化求解完整6自由度外参,提升精度与鲁棒性。
2024-05-24 cs.RO
Joint Optimization-based Targetless Extrinsic Calibration for Multiple LiDARs and GNSS-Aided INS of Ground Vehicles
Institute of Systems Engineering and Collaborative Laboratory for Intelligent Science and Systems, Macau University of Science and Technology(系统工程研究院和智能科学与系统联合实验室,澳门科学技术大学);Institute for AI Industry Research (AIR), Tsinghua University(人工智能产业研究院(AIR),清华大学)
本文提出一种针对多LiDAR与GNSS辅助INS的无目标外参标定方法,利用GINS安装高度约束平面运动下的不可观测参数,并通过联合优化框架结合几何与运动一致性优化外参和轨迹,适用于异构LiDAR配置。
2025-07-11 cs.RO
Robust Real-time LiDAR-inertial Initialization
University of Hong Kong(香港大学)
对于大多数LiDAR惯性里程计,精确的初始状态,包括LiDAR和6轴IMU之间的时间偏移和外部转换,起着重要的作用,通常被认为是先决条件。然而,这样的信息在定制的LiDAR惯性系统中可能并不总是可用的。在本文中,我们提出了LI-Init:一个完整的和实时的【形】LiDAR-惯性系统初始化过程,校准LiDAR和IMU之间的时间偏移和外部参数,以及重力矢量和IMU的偏差对齐状态估计从LiDAR测量与测量的IMU。我们将所提出的方法实现为初始化模块,如果启用,则自动检测所收集数据的激励程度,并在运行中校准时间偏移,外部,重力矢量和IMU偏差,然后将其用作实时的【形】LiDAR惯性测距系统的高质量初始状态值。不同类型的激光雷达和激光雷达惯性组合进行的实验表明,我们的初始化方法的鲁棒性,适应性和效率。我们的LiDAR惯性初始化程序LI-Init和测试数据的实现在Github上开源,并集成到最先进的LiDAR惯性测距系统FAST-LIO 2中。
2022-09-15 cs.RO
Observability-Aware Intrinsic and Extrinsic Calibration of LiDAR-IMU Systems
Zhejiang University(浙江大学);University of Delaware(特拉华大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院)
准确可靠的传感器校准对于融合激光雷达和惯性测量至关重要,这通常适用于机器人应用。在本文中,我们提出了一种新的LiDAR-IMU校准方法在连续时间批量优化框架内,其中两个传感器的本征函数和传感器之间的时空extrinsics校准,而不使用校准基础设施,如基准标签。与离散时间方法相比,连续时间公式对于融合来自LiDAR和IMU传感器的高速率测量具有天然优势。为了提高效率并解决退化运动,利用两个可观测性感知模块:(i)信息理论数据选择策略在数据汇集期间仅选择用于校准的信息量最大的段,这通过仅处理所选择的信息量段来显著提高校准效率。(ii)非线性最小二乘优化中的可观测性感知状态更新机制通过截断奇异值分解(TSVD)仅更新状态空间中的可识别方向,这使得即使在信息数据段不可用的退化情况下也能够获得准确的校准结果。所提出的LiDAR-IMU校准方法已在不同机器人平台的模拟和真实实验中得到广泛验证,证明了其在常见的人造环境中的高精度和可重复性。我们还开源了我们的代码库,以使研究社区受益:{ \url{https://github.com/APRIL-ZJU/OA-LICalib} }。
2022-05-06 cs.RO
Automatic Calibration of Dual-LiDARs Using Two Poles Stickered with Retro-Reflective Tape
Hong Kong University of Science and Technology(香港科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
Multi-LiDAR系统已被广泛应用于现代自动驾驶汽车中,以提供广阔的环境视野。5G无线技术的快速发展为当前的蜂窝车联网(C-V2X)应用带来了突破。因此,已经提出了一种新的定位和感知系统,其中多个LiDAR安装在城市周围用于自动驾驶车辆。然而,现有的校准方法需要特定的难以移动的标记,自我运动,或由用户给定的良好的初始值。在本文中,我们提出了一种新的方法,使自动多激光雷达校准使用两个极点贴回反射带。该方法不依赖于先前的环境信息、外部参数的初始值或可移动平台(如汽车)。通过对LiDAR杆模型的分析,利用仿真数据验证了算法的可行性,并提出了一种简单的标定误差相对于地面真实值的度量方法。实验结果表明,我们的方法获得更好的灵活性和更高的准确性相比,国家的最先进的方法。
2019-11-02 cs.RO cs.SY eess.SY
MFCalib: Single-shot and Automatic Extrinsic Calibration for LiDAR and Camera in Targetless Environments Based on Multi-Feature Edge
College of Mechatronics and Control Engineering, Shenzhen University(深圳大学机电与控制工程学院);Peng Cheng Laboratory(鹏城实验室);Manifold Tech Limited(万孚科技有限公司);The University of Hong Kong(香港大学)
MFCalib提出一种基于多特征边缘的无目标LiDAR-相机外参标定方法,通过提取深度连续、深度不连续及强度不连续边缘并构建LiDAR光束模型抑制边缘膨胀,实现单次采集即达到超越多场景标定的精度。
2024-09-02 cs.RO
P$^2$Calib: Utilizing Pattern Priors for LiDAR-Camera Extrinsic Calibration
The Hong Kong University of Science and Technology(香港科技大学)
针对激光雷达-相机外参标定中孔中心提取精度受限问题,提出利用CAD模型几何先验(孔半径和矩形布局)的P$^2$Calib方法,显著降低配准残差和重投影误差。
2026-09-22 cs.RO
A Target-Based Extrinsic Calibration Framework for Non-Overlapping Camera-Lidar Systems Using a Motion Capture System
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);University of California Los Angeles(加州大学洛杉矶分校)
提出一种基于运动捕捉系统(MCS)和迭代最近点方法的非重叠FOV激光雷达-相机外参标定框架,实现高精度可重复标定,优于现有方法并支持多种3D靶标设计。
2025-03-02 cs.RO
An optimization-based IMU/Lidar/Camera Co-calibration method
The University of Tokyo(东京大学);Southeast University(东南大学)
近年来,多传感器融合技术在汽车导航定位领域取得了重大进展。作为融合算法的前提,多传感器的外定标需求日益增长。为了计算外参数,许多研究都致力于两步方法,该方法将各自的校准成对集成。由于忽略了所有传感器的约束条件,使得该方法效率低、结构不紧凑。针对这一问题,提出了一种基于优化的IMU/Lidar/Camera协同标定方法。首先,分别进行了IMU/相机和IMU/激光雷达的在线标定。然后,棋盘中的角点和表面特征点与粗结果相关联,并构造相机/激光雷达约束。最后,构造联合校准优化以细化所有外部参数。我们在仿真中评估了所提出的方案的性能,结果表明,我们提出的方法优于两步方法。
2022-09-26 cs.RO
GMMCalib: Extrinsic Calibration of LiDAR Sensors using GMM-based Joint Registration
Technical University of Munich(慕尼黑工业大学);TUM School of Engineering and Design(慕尼黑工业大学工程与设计学院);TUM School of Computation, Information and Technology(慕尼黑工业大学计算、信息与技术学院)
针对多 LiDAR 外参标定中 ICP 成对配准易受初值影响的问题,提出 GMMCalib,利用基于 GMM 的多点云联合配准提升错误标定下的鲁棒性,并经仿真与实车验证。
2024-04-08 cs.RO
IMU-based Online Multi-lidar Calibration
Scania(斯堪尼亚);University of Oxford(牛津大学)
本研究提出一种无需里程计或基准标记的车辆多激光雷达在线外参标定方法,通过匹配共置IMU信号生成初始猜测,再利用ICP和点云特征匹配精化验证,并采用可观测性准则筛选高互信息测量子集,已在Scania测试车辆上成功验证。
2023-09-13 cs.RO
Native-Domain Cross-Attention for Camera-LiDAR Extrinsic Calibration Under Large Initial Perturbations
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);School of Integrated Circuits and Electronics, Beijing Institute of Technology(北京理工大学集成电路与电子学院)
本文提出一种本域交叉注意机制,通过直接对齐图像块和激光雷达点云实现可靠的跨模态交互,提升在大初始扰动下的外校准精度和鲁棒性。
2026-03-31 cs.CV cs.RO
Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane correspondences
Australian Centre for Field Robotics(澳大利亚野外机器人学中心);University of Sydney(悉尼大学)
本文提出了一种自动化的方法,以获得外部之间的相机和三维激光雷达与低至16光束的校准参数。我们使用棋盘作为参考,以获得感兴趣的功能,在两个传感器帧。利用标定板的几何形状,从激光雷达点云中自动提取标定板的中心点和法向量。从摄像机的外矩阵中获得摄像机图像中的相应特征。我们解释了选择这些特征的原因,以及为什么它们比其他可能性更强大。为了获得最优的外部参数,我们选择了一个遗传算法来解决高度非线性的状态空间。在定义了相对于激光雷达的3D实验区域的边界以及真实的电路板尺寸之后,该过程是自动化的。此外,相机被假定为固有校准。我们的方法需要至少3个棋盘构成,并通过使用真实世界和模拟功能评估我们的算法证明了校准精度。
2019-04-29 cs.CV cs.RO
Robust Odometry and Mapping for Multi-LiDAR Systems with Online Extrinsic Calibration
Hong Kong University of Science and Technology(香港科技大学)
结合多个LiDAR使机器人能够最大限度地提高其对环境的感知意识并获得足够的测量值,这对于同时定位与地图构建(SLAM)是有希望的。本文提出了一种系统,以实现强大的和同时外部校准,里程计,和映射多个激光雷达。我们的方法从测量预处理开始,从原始测量中提取边缘和平面特征。在运动和外部初始化过程之后,基于滑动窗口的多LiDAR里程计在船上运行以通过在线校准细化和收敛识别来估计姿态。我们进一步开发了一个映射算法来构建一个全球地图和优化构成与足够的功能,以及一种方法来建模和减少数据的不确定性。我们验证了我们的方法的性能与广泛的实验10个序列(4.60公里总长度)的校准和SLAM,并将它们与国家的最先进的。我们证明,所提出的工作是一个完整的,强大的,可扩展的系统,为各种多激光雷达设置。源代码、数据集和演示可在https://ram-lab.com/file/site/m-loam上获得。
2021-05-05 cs.CV cs.RO
Accurate Fruit Localisation for Robotic Harvesting using High Resolution LiDAR-Camera Fusion
Monash University(莫纳什大学)
准确的深度传感在确保自然果园环境中机器人收获的高成功率方面起着至关重要的作用。固态激光雷达(SSL),最近推出的激光雷达技术,可以感知高分辨率的几何信息的场景,这可以是潜在的利用,以获得准确的深度信息。同时,激光雷达和摄像机的传感信息的融合可以显着提高收获机器人的感知能力。这项工作介绍了一种基于激光雷达相机融合的视觉传感和感知策略,以执行准确的水果定位的收获机器人在苹果园。两个SOTA外部校准方法,基于目标和无目标的,应用和评估,以获得准确的外部矩阵之间的激光雷达和相机。通过外部标定,将点云和彩色图像融合,使用一级实例分割网络进行水果定位。实验表明,在自然环境中,LiDAR相机具有较好的视觉感知质量。同时,引入激光雷达-摄像机融合技术大大提高了水果定位的准确性和鲁棒性。具体而言,通过使用LiDAR相机在0.5 m、1.2 m和1.8 m处定位水果的标准偏差分别为0.245、0.227和0.275 cm。这些测量误差仅为Realsense D455的五分之一。最后,我们附上了我们的可视化点云,以展示高度准确的传感方法。
2022-05-01 cs.RO