LiDAR-Forest Dataset: LiDAR Point Cloud Simulation Dataset for Forestry Application
Purdue University(普渡大学)
提出基于 Unreal 的 LiDAR 模拟工具及 LiDAR-Forest 数据集,支持树种、传感器类型及场景自定义,用于评估森林重建、树干 DBH 估计与点云压缩。
2024-02-15 cs.RO
SHIELD: Spherical-Projection Hybrid-Frontier Integration for Efficient LiDAR-based Drone Exploration
Zhuoyi Intelligent Tech Co, Ltd.(卓奕智能科技有限公司)
SHIELD通过球面投影和混合前沿方法提升基于LiDAR的无人机探索效率与安全性。
2025-12-30 cs.RO
PointLoc: Deep Pose Regressor for LiDAR Point Cloud Localization
University of Oxford(牛津大学);The Hong Kong Polytechnic University(香港理工大学);Imperial College London(帝国理工学院)
在本文中,我们提出了一种新的基于端到端学习的LiDAR重定位框架,称为PointLoc,它仅使用单个点云作为输入直接推断6-DoF姿势,而不需要预先构建的地图。与基于RGB图像的重定位相比,LiDAR帧可以提供关于场景的丰富且鲁棒的几何信息。然而,LiDAR点云是无序和非结构化的,这使得难以将传统的深度学习回归模型应用于此任务。为了解决这个问题,我们提出了一种新的PointNet风格的自关注结构,可以有效地从360 ° LiDAR输入帧中估计6-DoF位姿,并在最近发布的具有挑战性的Oxford Radar RobotCar数据集和真实机器人实验上进行了大量实验,结果表明,所提出的方法可以实现精确的重定位性能。
2021-11-22 cs.RO
6-DOF Feature based LIDAR SLAM using ORB Features from Rasterized Images of 3D LIDAR Point Cloud
Shanghai Jiaotong University(上海交通大学)
精确且计算高效的SLAM算法对于现代自动驾驶车辆至关重要。为了使算法轻量化,大多数SLAM系统依赖于视觉SLAM的图像特征检测或基于激光的方法的点云。通过3D点云进行特征检测成为一项具有挑战性的计算任务。在本文中,我们提出了一种特征检测方法,通过投影三维点云形成一个图像,并应用基于视觉的特征检测技术。所提出的方法在各种环境中提供了可重复和稳定的功能。基于这些功能,我们建立了一个6自由度SLAM系统,包括跟踪,映射,和循环闭合线程。对于循环检测,我们采用了两步的方法,即最近的关键帧检测和循环候选人验证匹配特征提取光栅化的激光雷达图像。此外,我们利用关键帧结构来实现一个轻量级的SLAM系统。该系统的KITTI数据集和密歇根大学福特校园数据集的实施进行评估。实验结果表明,本文提出的算法在获得准确结果的同时,能够大幅降低点云特征检测的计算量,从而降低整个SLAM系统的计算量。
2021-03-19 cs.RO
LVBA: LiDAR-Visual Bundle Adjustment for RGB Point Cloud Mapping
The University of Hong Kong(香港大学)
针对现有RGB点云建图方法精度与全局一致性不足的问题,提出新型全局激光雷达-视觉光束法平差方法LVBA,经实验验证其建图质量优于现有主流基线方法,可生成高保真高精度彩色点云地图。
2024-09-17 cs.RO
Boosting LiDAR-Based Localization with Semantic Insight: Camera Projection versus Direct LiDAR Segmentation
Department of Technical Cognitive Systems, FZI Research Center for Information Technology(技术认知系统部门,信息技术研究所以暨创新中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄大学)
提出融合相机语义投影与LiDAR分割的方法,利用CoCar NextGen平台和55公里实测数据,显著提升基于LiDAR定位的精度与鲁棒性。
2025-09-24 cs.RO
AdaSplats: Adaptive Splatting of Point Clouds for Accurate 3D Modeling and Real-time High-Fidelity LiDAR Simulation
ANSYS France(ANSYS法国公司);ENSTA Paris, Institut Polytechnique de Paris(巴黎高等先进技术学院,巴黎理工学院)
LiDAR sensors provide rich 3D information about their surrounding{s} and are becoming increasingly important for autonomous vehicles tasks such as {localization}, semantic segmentation , object detection , and tracking. {Simulation} accelerates the testing, validation, and deployment of autonomous vehicles while {also} reducing cost and eliminating the risks of testing in real-world scenarios. We address the problem of high-fidelity LiDAR simulation and present a pipeline that leverages real-world point clouds acquired by mobile mapping systems. Point-based geometry representations, more speci…
2022-12-26 cs.RO
CURL: Continuous, Ultra-compact Representation for LiDAR
Heriot-Watt University(赫瑞-瓦特大学)
增加3D LiDAR点云的密度对于机器人中的许多应用都很有吸引力。然而,高密度LiDAR传感器通常是昂贵的,并且仍然限于每次扫描的覆盖水平(例如,128个频道)。同时,更密集的点云扫描和地图意味着更大的存储量和更长的传输时间。现有的工作集中在提高点云密度或压缩其大小。本文旨在设计一种新的三维点云表示方法,该方法可以在不断增加点云密度的同时减小点云的存储和传输规模。所提出的激光雷达连续超紧凑表示(CURL)的流水线包括四个主要步骤:网格化,上采样,编码和连续重建。它能够将3D LiDAR扫描或地图转换为紧凑的球谐表示,可以在低延迟下使用或传输,以连续重建更密集的3D点云。在涵盖大学花园、城市街道和室内房间的四个公共数据集上进行的广泛实验表明,使用所提出的CURL表示可以准确地重建更密集的3D点云,同时节省高达80%的存储空间。我们为社区开源了CURL代码。
2022-05-12 cs.RO
LiDAR-Generated Images Derived Keypoints Assisted Point Cloud Registration Scheme in Odometry Estimation
University of Turku(图尔库大学)
本文定量评估传统图像关键点提取器与描述子在LiDAR生成图像上的适用性,并提出一种基于关键点下采样点云的点云配准方案,在保持精度的同时降低计算开销并提升里程计鲁棒性。
2023-09-19 cs.RO
Direct LiDAR Odometry: Fast Localization with Dense Point Clouds
University of California Los Angeles(加州大学洛杉矶分校);NASA Jet Propulsion Laboratory, California Institute of Technology(加州理工学院 NASA 喷气推进实验室)
感知挑战环境中的现场机器人需要快速准确的状态估计,但现代LiDAR传感器很快就压倒了当前的里程计算法。为此,本文提出了一种轻量级前端LiDAR测距解决方案,可为计算有限的机器人平台提供一致和准确的定位。我们的直接激光雷达测距(DLO)方法包括几个关键的算法创新,优先考虑计算效率,并能够使用密集的,最小预处理的点云来实时提供准确的姿态估计。这是通过一个新的关键帧系统,有效地管理历史地图信息,除了一个自定义的迭代最近点求解器快速点云配准与数据结构回收。我们的方法是更准确的计算开销较低,比目前的国家的最先进的,并已在多个感知上具有挑战性的环境中进行了广泛的评估空中和足式机器人作为美国宇航局喷气推进实验室团队CoSTAR的研究和开发工作的DARPA地下挑战赛的一部分。
2022-01-07 cs.RO
LHMap-loc: Cross-Modal Monocular Localization Using LiDAR Point Cloud Heat Map
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学)
针对跨模态单目定位存在的地图存储难、大场景鲁棒性差等问题,提出LHMap-loc流水线,通过离线热力点云压缩地图、结合光流与空间注意力的端到端位姿回归网络实现高效定位,并经实验验证了有效性。
2024-03-11 cs.RO
CP+: Camera Poses Augmentation with Large-scale LiDAR Maps
ShanghaiTech University(上海科技大学);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所)
大规模彩色点云在导航或场景显示方面具有许多优势。依靠现在广泛用于重建任务的相机和激光雷达,可以获得这种彩色点云。然而,在许多现有的框架中,来自这两种传感器的信息没有很好地融合,导致着色结果不佳,从而导致不准确的相机姿态和损坏的点着色结果。我们提出了一个新的框架,称为相机姿态增强(CP+),以改善相机的姿态,并将它们直接与基于激光雷达的点云。初始粗略相机位姿由具有近似外部参数和时间同步的LiDAR-惯性或LiDAR-惯性-视觉里程计给出。改善图像对齐的关键步骤包括选择与每个相机视图中的感兴趣区域相对应的点云,从该点云提取可靠的边缘特征,并导出用于迭代最小化重新投影误差的2D-3D线对应。
2023-02-27 cs.RO
CTE-MLO: Continuous-time and Efficient Multi-LiDAR Odometry with Localizability-aware Point Cloud Sampling
Centre for Advanced Robotics Technology Innovation (CARTIN)(先进机器人技术创新中心)
针对多激光雷达里程计(MLO)计算复杂度高、忽略连续时间测量特性的问题,提出CTE-MLO,通过可定位性感知采样、连续时间估计等方法提升性能,开源代码并验证有效性。
2025-02-14 cs.RO
Adaptive Lidar Scan Frame Integration: Tracking Known MAVs in 3D Point Clouds
University of Turku(图尔库大学)
微型飞行器(MAV)在多个行业和应用领域变得无处不在。只有机载飞行控制器和最小传感器套件的轻型微型飞行器(例如,IMU、视觉和垂直测距传感器)具有作为移动和易于部署的传感平台的潜力。当从地面机器人部署时,一个关键参数是地面机器人和MAV之间的相对定位。提出了一种在激光雷达点云中跟踪微型飞行器的新方法。在激光雷达点云中,我们考虑MAV的速度和距离,以主动适应激光雷达的帧积分时间,本质上是要处理的点云的密度和大小。我们表明,这种方法可以更持久和强大的跟踪时,MAV的速度或其距离的跟踪传感器的变化。此外,我们提出了一种多模态跟踪方法,该方法依赖于高频扫描进行精确的状态估计,低频扫描进行鲁棒性和持久性跟踪,以及亚Hz处理进行轨迹和对象识别。这三种集成和处理模式允许总体准确和鲁棒的MAV跟踪,同时确保被跟踪的对象满足形状和尺寸约束。
2021-04-29 cs.RO
D-SLAMSpoof: An Environment-Agnostic LiDAR Spoofing Attack using Dynamic Point Cloud Injection
D-SLAMSpoof是一种通过动态点云注入实现的环境无关激光雷达欺骗攻击,利用扫描匹配原理提升攻击成功率,并提出ISD-SLAM作为仅依赖惯性信号的防御方法,有效缓解位置漂移问题。
2026-03-11 cs.RO
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology(南方科技大学);Jimei University(集美大学)
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题,最近随着新型激光雷达的出现变得更加苛刻,这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力,而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离,但具有稀疏的角分辨率,因此在径向测量中测量是精确的,但缺乏角度。另一方面,相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体,估计他们的速度,同时纠正点云失真。该框架在真实道路数据上进行了评估,融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的(https://github.com/ISEE-Technology/lidar-with-velocity),以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
CloudVision: DNN-based Visual Localization of Autonomous Robots using Prebuilt LiDAR Point Cloud
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在这项研究中,我们提出了一种新的视觉定位方法,准确地估计六个自由度(6-DoF)的机器人构成的三维激光雷达地图的基础上,从RGB相机的视觉数据。利用能够收集精确稀疏地图的先进的基于LiDAR的同时定位与地图构建(SLAM)算法来获得3D地图。将从相机图像中提取的特征与3D地图上的点进行比较,然后解决几何优化问题以实现精确的视觉定位。我们的方法允许使用一个侦察机器人配备昂贵的激光雷达只有一次-环境的映射,和多个操作机器人只有RGB相机板载-执行任务,定位精度高于常见的基于相机的解决方案。所提出的方法进行了测试,在斯科尔科沃科学技术研究所(Skoltech)收集的自定义数据集。在评估定位精度的过程中,我们设法达到厘米级的精度;中位平移误差低至1.3厘米。仅用摄像头实现的精确定位使自主移动机器人的使用成为可能,以解决需要高定位精度的最复杂的任务。
2022-09-04 cs.RO
Adaptive LiDAR-Radar Fusion for Outdoor Odometry Across Dense Smoke Conditions
针对感知退化环境中的里程计估计难题,提出一种LiDAR-雷达融合方法,通过比较点云识别LiDAR退化,在浓烟条件下可靠估计里程计并处理动态点。
2024-04-19 cs.RO
Polar Perspectives: Evaluating 2-D LiDAR Projections for Robust Place Recognition with Visual Foundation Models
本文通过评估不同2D激光雷达投影对位置识别的影响,发现精心设计的投影可有效替代端到端3D学习。
2025-12-02 cs.CV cs.RO
InsClustering: Instantly Clustering LiDAR Range Measures for Autonomous Vehicle
RENAULT S.A.S(雷诺公司);Magellium S.A.S(马格利姆公司)
激光雷达在距离测量方面通常比相机更精确。因此,人们对将LiDAR应用于自动驾驶有着浓厚的兴趣。不同的现有方法处理丰富的三维点云的目标检测,跟踪和识别。这些方法通常需要两个初始步骤:(1)过滤地平面上的点和(2)将非地面点聚类到对象中。本文针对这两个步骤提出了一种经过现场验证的快速三维点云分割方法。我们专门设计的算法允许即时处理原始LiDAR数据包,从而显著降低处理延迟。在我们对Velodyne UltraPuck(32层旋转激光雷达)的测试中,对所有$360^\circ$激光雷达测量数据进行聚类的处理延迟小于1ms。同时,一个由粗到细的计划,以确保聚类质量。我们在公共道路上的现场实验表明,该方法显着提高了三维点云聚类的速度,同时保持良好的精度。
2020-10-13 cs.RO
GSeg3D: A High-Precision Grid-Based Algorithm for Safety-Critical Ground Segmentation in LiDAR Point Clouds
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
GSeg3D提出了一种高精度基于网格的地面分割算法,以满足自动驾驶和机器人在安全关键场景中的高精度需求。
2026-03-04 cs.RO
FuseSeg: LiDAR Point Cloud Segmentation Fusing Multi-Modal Data
Graz University of Technology(格拉茨工业大学)
提出了一种简单有效的LiDAR和RGB数据融合方法来分割LiDAR点云。利用激光雷达传感器的密集本地范围表示和设置校准,我们建立两个输入模态之间的点对应关系。随后,我们能够将特征从一个域弯曲并融合到另一个域中。因此,我们可以在一个网络中联合利用来自两个数据源的信息。为了显示我们的方法的优点,我们扩展了SqueezeSeg,一个点云分割网络,具有RGB特征分支,并将其融合到原始结构中。我们的扩展名为FuseSeg,在KITTI基准测试中提高了高达18%的IoU。除了提高精度外,我们还实现了50 fps的实时性能,是KITTI LiDAR数据记录速度的五倍。
2019-12-19 cs.CV cs.RO
LiDAR Data Enrichment Using Deep Learning Based on High-Resolution Image: An Approach to Achieve High-Performance LiDAR SLAM Using Low-cost LiDAR
Hong Kong Polytechnic University(香港理工大学);Nanjing University of Science and Technology(南京理工大学)
在过去的几十年里,基于LiDAR的SLAM算法被广泛研究,为自动驾驶车辆(ADV)提供鲁棒和准确的定位。使用具有64个通道的高级3D LiDAR可以获得令人满意的性能,可以提供密集的点云。不幸的是,高昂的价格大大阻碍了其在ADV中的广泛商业化。具有成本效益的16通道3D LiDAR是一个有前途的替代品。然而,16通道LiDAR只能提供有限且稀疏的点云,这不能保证ADV在具有挑战性的动态环境中具有足够的定位精度。来自低成本相机的高分辨率图像可以提供有关周围环境的丰富信息。然而,显式深度信息不能从图像中获得。受3D LiDAR和相机互补性的启发,本文提出利用相机的高分辨率图像,基于最先进的深度学习算法,丰富低成本16通道LiDAR的原始3D点云。首先,ERFNet被用来分割的原始稀疏的三维点云的帮助下的图像。同时,在原始稀疏三维点云的基础上,采用稀疏卷积神经网络对密集点云进行预测。然后,使用一种新的多层卷积神经网络的ERFnet的分割输出融合的预测密集的点云,以改善预测的三维点云。最后,丰富的点云被用来执行激光雷达SLAM的基础上,最先进的正态分布变换(NDT)。我们在重新编辑的KITTI数据集上测试了我们的方法:(1)稀疏的3D点云显着丰富,均方误差为1.1m MSE。(2)从LiDAR SLAM生成的地图更密集,其包括更多细节而没有显著的准确性损失。
2020-08-09 cs.CV cs.LG cs.RO
Real-Time Spatio-Temporal LiDAR Point Cloud Compression
University of Rochester(罗切斯特大学);PerceptIn, Inc.(感知智能公司)
实时压缩大量LiDAR点云对于无人机和自动驾驶汽车等自动驾驶机器至关重要。虽然大多数最近的先前工作集中在压缩单个点云帧,本文提出了一种新的系统,有效地压缩点云序列。利用点云帧序列中的空间和时间冗余的想法。我们首先确定一个关键帧的点云序列和空间编码的关键帧迭代平面拟合。然后,我们利用连续的点云在物理空间中有很大的重叠,因此空间编码的数据可以(重新)用于编码的时间流的事实。通过重用空间编码数据进行时域编码,不仅提高了压缩率,而且避免了冗余计算,从而显著提高了压缩速度。实验表明,我们的压缩系统实现了40倍到90倍的压缩率,明显高于MPEG的LiDAR点云压缩标准,同时保持了端到端的应用精度。同时,我们的压缩系统具有与当今LiDAR的点云生成速率相匹配的压缩速度,并优于现有的压缩系统,从而实现实时点云传输。
2020-08-16 cs.RO eess.IV
Pseudo-LiDAR for Visual Odometry
China University of Mining and Technology(中国矿业大学);Shanghai Jiao Tong University(上海交通大学)
在现有方法中,LiDAR测距法表现出优越的性能,但视觉里程计因其价格优势仍被广泛应用。传统上,视觉里程计的任务主要依赖于连续图像的输入。然而,里程计网络学习图像提供的对极几何信息是非常复杂的。本文将伪激光雷达的概念引入到里程测量中来解决这一问题。伪LiDAR点云将图像生成的深度图反投影到3D点云中,改变了图像的表示方式。与立体图像相比,由立体匹配网络生成的伪LiDAR点云可以得到明确的三维坐标。由于6自由度(DoF)位姿变换发生在3D空间中,因此由伪LiDAR点云提供的3D结构信息比图像更直接。与稀疏LiDAR相比,伪LiDAR具有更密集的点云。为了充分利用伪激光雷达提供的丰富点云信息,采用了一种投影感知的密集测距流水线。大多数以前的基于LiDAR的算法从点云中采样8192个点作为里程计网络的输入。投影感知密集测距管道将从图像生成的所有伪LiDAR点云(除了错误点)作为网络的输入。在充分利用图像中三维几何信息的同时,图像中的语义信息也被用于里程计任务。2D-3D的融合是在仅基于图像的里程计中实现的。在KITTI数据集上的实验证明了该方法的有效性。据我们所知,这是第一个使用伪激光雷达的视觉里程计方法。
2022-09-04 cs.CV cs.RO
PESTO: Formally Correct Registration of LiDAR Point Clouds with Limited Overlap
University of California at Los Angeles(加利福尼亚大学洛杉矶分校)
针对LiDAR点云配准问题,提出基于四面体通用特征的PESTO算法,实验证明其在遮挡环境下有竞争力,并给出误差最坏情况界以证明形式正确性。
2026-09-17 cs.RO cs.SY eess.SY
LiDAR Iris for Loop-Closure Detection
Nanjing University of Science and Technology(南京理工大学);University of Macau(澳门大学);MIT(麻省理工学院)
在本文中,一个全球性的激光雷达点云描述符,称为激光雷达虹膜,提出了快速,准确的闭环检测。在对LiDAR-Iris图像表示进行若干LoG-Gabor滤波和阈值化操作之后,可以针对每个点云获得二进制签名图像。给定两个点云,它们的相似度可以计算为分别从两个点云提取的两个对应的二值签名图像的汉明距离。如果假设3D(x,y,yaw)姿态空间,我们的LiDAR-Iris方法可以通过LiDAR-Iris表示的傅立叶变换在描述符级别实现姿态不变的闭环检测,尽管我们的方法通常可以通过重新对齐点云与附加的IMU传感器来应用于6D姿态空间。在五个道路场景序列上的实验结果表明,该算法具有良好的环路闭合检测性能。
2020-07-02 cs.CV cs.RO
On Enhancing Ground Surface Detection from Sparse Lidar Point Cloud
TrunkTech
点云数据中的地面检测是自动驾驶系统中的一个关键模块。不同于以往的方法,主要是开发高光束分辨率的激光雷达,如Velodyne HDL-64,本文提出的地面检测技术适用于更稀疏的点云捕获的激光雷达与低光束分辨率,如Velodyne VLP-16。该方法基于平面拟合的RANSAC方案。平面假设的内点验证是通过利用逐点切线来增强的,逐点切线是可用于计算的局部特征,而不管激光雷达光束的密度如何。不完全平坦的地面由多个(具体地,在我们的实现中为4个)不相交的平面区域拟合。通过假设这些平面区域是矩形的,并利用积分图像技术,我们的方法近似地找到了最佳的区域划分和平面假设下的RANSAC计划与实时计算复杂性。
2021-05-25 cs.CV cs.RO
Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling
Department of Computer Science and Engineering, Toyohashi University of Technology(丰桥技术科学大学计算机科学与工程系);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究所)
研究图像到点云配准难题,提出将激光雷达视为成像传感器的方法,通过条件整流流、特征匹配等步骤估计位姿,经自监督预训练和少量数据微调,实现高精度快速配准,性能优于现有方法。
2026-07-17 cs.CV cs.RO
Lisco: A Continuous Approach in LiDAR Point-cloud Clustering
Chalmers University of Technology(查尔姆斯理工大学)
光探测和测距(LiDAR)技术允许在大面积内以细粒度分辨率感测周围物体。他们的数据(又称点云)以非常高的速率持续生成,可以提供信息来支持网络物理系统中的自动化功能。点云的聚类是提取这类信息的关键问题。用于以连续方式解决问题的方法可以促进例如雾架构中的改进处理,从而允许接近源的数据的连续流式处理。我们提出了Lisco,一个单通道连续的基于欧氏距离的LiDAR点云聚类,最大限度地提高了数据处理管道的粒度。除了算法分析之外,我们还提供了一个全面的实验评估,并强调了与基线相比其高达3倍的改进及其可扩展性优势,使用真实世界的数据集以及合成数据集来充分探索最坏的情况。
2017-11-06 cs.DS cs.RO
End-to-End LiDAR optimization for 3D point cloud registration
Université Laval(拉瓦尔大学);Bentley Systems(贝恩特系统)
本文提出端到端自适应激光雷达框架,通过动态调整参数优化点云配准,提升精度与效率,并在CARLA模拟中验证其优于固定参数方法的性能。
2026-02-11 cs.CV cs.RO
SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving
Halmstad University(哈尔姆斯塔德大学);Volvo Technology AB(沃尔沃技术公司)
在本文中,我们介绍了一种深度编码器-解码器网络,名为SalsaNet,用于3D LiDAR点云的有效语义分割。SalsaNet通过采用点云的鸟瞰图(BEV)图像投影来分割道路(即可驾驶的自由空间)和场景中的车辆。为了克服缺乏注释的点云数据,特别是对于路段,我们引入了自动标记过程,该过程将自动生成的标签从相机传输到LiDAR。我们还通过比较BEV与球形前视图投影来探索LiDAR数据的类图像投影在语义分割中的作用,并表明SalsaNet是投影不可知的。我们对KITTI数据集进行了定量和定性评估,结果表明,所提出的SalsaNet在准确性和计算时间方面优于其他最先进的语义分割网络。我们的代码和数据可在https://gitlab.com/aksoyeren/salsanet.git上公开获取。
2019-09-18 cs.CV cs.RO
Point-Plane Projections for Accurate LiDAR Semantic Segmentation in Small Data Scenarios
Department of Information Engineering, University of Padova, Italy(帕多瓦大学信息工程系)
针对小数据场景下LiDAR点云语义分割泛化受限问题,提出基于点-平面投影的方法从2D表示中提取互补特征,并引入几何感知数据增强技术,在有限数据下显著提升性能并在公开数据集上取得竞争力结果。
2025-09-13 cs.CV cs.RO
Person-MinkUNet: 3D Person Detection with LiDAR Point Cloud
Visual Computing Institute(视觉计算研究所);RWTH Aachen(亚琛工业大学)
在这个初步的工作中,我们试图应用子流形稀疏卷积的任务的三维人检测。特别是,我们提出了Person-MinkUNet,这是一个基于Minkowski Engine和U-Net架构的单级3D人物检测网络。该网络在JRDB 3D检测基准上达到了76.4%的平均精度(AP)。
2021-07-03 cs.CV cs.RO
Enabling 3D Object Detection with a Low-Resolution LiDAR
Worcester Polytechnic Institute(伍斯特理工学院)
光探测和测距(LiDAR)已广泛用于自动驾驶车辆的感知和定位。然而,高分辨率激光雷达的成本仍然非常昂贵,而低分辨率激光雷达的成本则要便宜得多。因此,使用低分辨率LiDAR进行自动驾驶是一种经济可行的解决方案,但点云稀疏性使其极具挑战性。在本文中,我们提出了一个两阶段的神经网络框架,使三维目标检测使用低分辨率激光雷达。从低分辨率LiDAR点云和单目相机图像中获取输入,采用深度补全网络来产生密集点云,随后由基于体素的网络处理该密集点云以进行3D目标检测。利用KITTI数据集进行三维目标检测,实验结果表明,该方法的检测性能明显优于直接利用16线LiDAR点云进行目标检测。对于简单和中等情况,我们的3D车辆检测结果接近使用64线高分辨率LiDAR的结果。
2022-05-04 cs.CV cs.RO
Real-Time LiDAR Point Cloud Densification for Low-Latency Spatial Data Transmission
NTT Human Informatics Laboratories(NTT人机信息实验室)
本文提出了一种基于卷积神经网络的实时LiDAR点云密集化方法,实现低延迟的3D场景生成与深度补全,效率比传统方法快15倍。
2026-01-13 cs.CV cs.RO
UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation
Waabi;University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出 UltraLiDAR 框架,利用紧凑离散表示实现场景级 LiDAR 补全、生成与操控,显著提升下游感知并以超过 98.5% 的人类偏好优于既有生成方法。
2023-11-02 cs.CV cs.LG cs.RO
HeLiMOS: A Dataset for Moving Object Segmentation in 3D Point Clouds From Heterogeneous LiDAR Sensors
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院电气工程学院);Center for Robotics, University of Bonn(波恩大学机器人中心);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对现有MOS研究多聚焦机械旋转LiDAR、缺少固态LiDAR点云MOS标注数据集的问题,本文提出含四类异构LiDAR数据的HeLiMOS数据集,搭配自动标注方法降低标注成本,并验证了现有方法性能,指明传感器无关MOS研究新方向。
2024-08-12 cs.CV cs.RO
SN-LiDAR: Semantic Neural Fields for Novel Space-time View LiDAR Synthesis
Shanghai Jiao Tong University(上海交通大学);Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院);Renji Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属仁济医院)
SN-LiDAR提出一种联合语义分割、几何重建与LiDAR新视角合成的方法,通过由粗到细的平面网格特征和CNN编码器融合多帧与当前帧特征,在SemanticKITTI和KITTI-360上验证了其在动态物体和大规模场景中的优越性能。
2025-04-11 cs.CV cs.RO
CNN-based Lidar Point Cloud De-Noising in Adverse Weather
Daimler AG(戴姆勒股份公司);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
激光雷达传感器经常用于自动驾驶汽车和移动机器人的环境感知,以补充相机,雷达和超声波传感器。不利的天气条件会导致不期望的测量点,进而影响遗漏检测和误报,从而显著影响基于激光雷达的场景理解的性能。在大雨或浓雾中,水滴可能会被误解为车辆前方的物体,从而使移动机器人完全停止。在本文中,我们提出了第一个基于CNN的方法来理解和过滤点云数据中的不利天气影响。使用在受控天气环境中获得的大型数据集,我们证明了我们的方法在最先进的几何滤波方面的显着性能改善。数据可在https://github.com/rheinzler/PointCloudDeNoising上查阅。
2020-02-12 cs.CV cs.RO
SALT: A Flexible Semi-Automatic Labeling Tool for General LiDAR Point Clouds with Cross-Scene Adaptability and 4D Consistency
Institute of Medical Robotics, Department of Automation, Shanghai Jiao Tong University(医学机器人研究所、自动化系、上海交通大学)
提出SALT,一种直接处理原始LiDAR点云的半自动标注工具,通过数据对齐零样本学习与4D一致性增强SAM2,实现跨场景高精度预分割,显著提升标注效率。
2025-06-23 cs.CV cs.RO
Real-Time Point Cloud Fusion of Multi-LiDAR Infrastructure Sensor Setups with Unknown Spatial Location and Orientation
RWTH Aachen University(亚琛工业大学)
使用基础设施传感器技术进行交通检测已经得到多次验证。然而,外部传感器校准对于操作员来说仍然是一个挑战。虽然以前的方法是无法校准的传感器,而不使用参考对象的传感器视场(FOV),我们提出了一种算法,是完全脱离外部援助,并完全自动运行。我们的方法侧重于激光雷达点云的高精度融合,并在模拟和实际测量中进行评估。我们将LiDAR设置为连续的钟摆运动,以便尽可能接近地模拟真实世界的操作,并增加对算法的要求。然而,在整个测量期间,它没有接收到关于LiDAR的初始空间位置和方向的任何信息。仿真和实际测量的实验表明,我们的算法可以实时的【形】对多达4个64层的LiDAR进行连续的点云配准。平均产生的平移误差在几厘米内,平均旋转误差低于0.15度。
2020-07-28 cs.CV cs.RO
LOL: Lidar-Only Odometry and Localization in 3D Point Cloud Maps
MTA SZTAKI, Hungarian Academy of Sciences, Institute for Computer Science and Control(匈牙利科学院计算机科学与控制研究所)
在本文中,我们处理的问题,里程计和定位激光雷达装备的车辆在城市环境中行驶,其中一个预制的目标地图存在本地化反对。在我们的问题公式中,为了校正仅激光雷达测距法的累积漂移,我们应用位置识别方法来检测在线3D点云和先验离线地图之间的几何相似位置。在拟议的系统中,我们将最先进的仅激光雷达里程计算法与最近提出的3D点段匹配方法集成在一起,以互补它们的优势。此外,我们提出了额外的增强功能,以减少在线点云和目标地图之间的错误匹配的数量,并细化位置估计误差时,检测到一个很好的匹配。我们在不同长度和环境的几个Kitti数据集上展示了所提出的LOL系统的实用性,在每种情况下,车辆轨迹的重新定位精度和精度都得到了显着提高,同时仍然能够保持实时性能。
2020-07-03 cs.CV cs.RO
An Efficient Plane Extraction Approach for Bundle Adjustment on LiDAR Point clouds
The University of Hong Kong(香港大学)
针对激光雷达光束法平差的精度和速度受平面提取质量制约的问题,提出基于体素、结合八叉树分裂、PCA平面判定与平面合并的高效提取方法,在HILTI数据集上实现精度最优、耗时最低。
2023-04-29 cs.CV cs.RO
BIRD-PCC: Bi-directional Range Image-based Deep LiDAR Point Cloud Compression
National Taiwan University(国立台湾大学);Mobile Drive Technology(移动驱动科技公司)
LiDAR传感器采集的大量数据带来了LiDAR点云压缩(PCC)问题。LiDAR PCC上的先前工作使用了距离图像表示,并遵循预测编码范式来创建编码框架的基本原型。然而,他们的预测方法给出了一个不准确的结果,由于忽略了无效像素的距离图像和遗漏的未来帧的时间步长。此外,他们手工设计的残差编码方法不能充分利用空间冗余。为了解决这个问题,我们提出了一个编码框架BIRD-PCC。我们的预测模块是知道的距离图像中的无效像素的坐标,并采取双向方案。此外,我们还引入了一个深度学习的残差编码模块,可以进一步利用残差帧内的空间冗余。在SemanticKITTI和KITTI-360数据集上进行的实验表明,BIRD-PCC在大多数比特率条件下都优于其他方法,并且可以很好地推广到未知环境。
2023-03-09 cs.MM cs.RO
A fast, complete, point cloud based loop closure for LiDAR odometry and mapping
Hong Kong University(香港大学)
提出了一种用于激光雷达测距与测绘(LOAM)中的环路闭合法。我们提出的方法计算关键帧的2D直方图,一个局部的地图补丁,并使用归一化的2D直方图的互相关作为当前关键帧和地图中的关键帧之间的相似性度量。我们表明,这种方法是快速的,旋转不变,并产生可靠和准确的环路检测。所提出的方法实施了精心的工程和集成到LOAM算法,形成一个完整的和实用的系统准备使用。为了通过为循环闭合提供基准而使社区受益,整个系统在Github上开源
2019-09-25 cs.CV cs.RO
PCGen: Point Cloud Generator for LiDAR Simulation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
数据是LiDAR感知系统的基本构建块。不幸的是,真实世界的数据汇集和注释是极其昂贵和费力的。最近,基于真实数据的激光雷达模拟器已经显示出巨大的潜力,以补充真实数据,由于其可扩展性和高保真度相比,基于图形引擎的方法。在模拟可以部署到现实世界之前,需要解决两个缺点。首先,现有的方法通常会产生更多的噪声和完整的数据比真实的点云,由于三维重建误差和纯粹的基于几何的光线投射方法。其次,先前的目标检测仿真工作仅关注刚性物体,如汽车,但VRU,如行人,是重要的道路参与者。为了解决第一个挑战,我们提出了FPA光线投射和代理模型raydrop。FPA能够模拟点云坐标和传感器特征,同时考虑重建噪声。光线代理raydrop模型模拟LiDAR激光接收器的物理特性,以确定模拟点是否会被真实LiDAR记录。利用最少的训练数据,代理模型可以推广到不同的地理和场景,缩小光线投射和真实点云之间的领域差距。为了解决可变形VRU仿真的模拟,我们使用SMPL数据集提供行人模拟基线,并比较CAD和重建对象之间的域差距。应用我们的流水线进行新型传感器综合,结果表明,由模拟数据训练的目标检测模型可以达到与真实数据训练模型相似的结果。
2022-10-17 cs.AI cs.RO
Taming Transformers for Realistic Lidar Point Cloud Generation
WMG, University of Warwick(华威大学 WMG)
本文提出 LidarGRIT,通过自回归 Transformer 在 VQ-VAE 潜在空间迭代采样距离图像并分别解码射线丢失掩码,解决扩散模型难以逼真建模激光雷达射线丢失噪声的问题,在两个 KITTI 数据集上超越 SOTA。
2024-04-08 cs.CV cs.LG cs.RO
SurfFill: Completion of LiDAR Point Clouds via Gaussian Surfel Splatting
NavVis GmbH(NavVis公司);Inria, Université Côte d'Azur(Inria与阿尔卑斯海岸大学)
针对LiDAR点云缺失薄结构和边缘细节的问题,提出基于高斯曲面元(Gaussian surfel)的补全方案SurfFill,利用光束发散启发式识别模糊区域并优化曲面元重建以生长新点,在合成和真实场景中优于先前方法。
2026-05-28 cs.CV cs.GR cs.RO
SALSA: Swift Adaptive Lightweight Self-Attention for Enhanced LiDAR Place Recognition
NYU Tandon School of Engineering(纽约大学坦登工程学院)
提出SALSA框架,通过Sphereformer主干、自适应自注意力层和MLP混合器层高效聚合局部描述符生成场景描述符,在多个LiDAR位置识别数据集上实现实时且优于现有方法的检索与度量定位性能。
2024-07-30 cs.CV cs.RO
LiDARTag: A Real-Time Fiducial Tag System for Point Clouds
University of Michigan(密歇根大学)
基于图像的基准标记在诸如杂乱或无纹理环境中的对象跟踪、相机(和多传感器)校准任务以及基于视觉的同时定位与地图构建(SLAM)的问题中是有用的。最先进的基准标记检测算法依赖于环境照明的一致性。本文介绍了LiDARTag,一种新的基准标签的设计和检测算法,适用于光探测和测距(LiDAR)点云。所提出的方法实时的【形】运行,可以以100 Hz的频率处理数据,这比目前可用的LiDAR传感器频率更快。由于LiDAR传感器的性质,快速变化的环境照明不会影响LiDAR标签的检测;因此,所提出的基准标记可以在完全黑暗的环境中操作。此外,LiDARTag很好地补充并兼容现有的视觉基准标记,如AprilTags,允许有效的多传感器融合和校准任务。我们进一步提出了一个概念,最大限度地减少点云和标记的模板之间的拟合误差来估计标记的姿态。该方法实现了毫米级的平移误差和几度的旋转误差。由于激光雷达回波的稀疏性,点云被提升到一个连续的函数在再生核希尔伯特空间的内积可以用来确定标记的ID。实验结果,通过运动捕捉系统验证,证实了所提出的方法可以可靠地提供一个标签的姿态和唯一的ID代码。在Google Cartographer室内数据集和Honda H3 D室外数据集上验证了假阳性的拒绝。所有实现都是用C++编写的,可以在https://github.com/UMich-BipedLab/LiDARTag上找到。
2021-02-13 cs.CV cs.LG cs.RO
Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks
University of Bonn(波恩大学)
利用过去的三维激光雷达扫描来预测未来的点云是一种很有前途的方法,自主移动系统,以实现前瞻性的状态估计,避免碰撞,和规划。在本文中,我们解决的问题,预测未来的三维激光雷达点云给定的序列过去的激光雷达扫描。在传感器级别上估计未来场景不需要像定位或跟踪系统中那样的任何先前步骤,并且可以进行自我监督训练。我们提出了一种端到端的方法,利用每个3D激光雷达扫描的2D范围图像表示,并连接范围图像序列以获得3D张量。基于这样的张量,我们开发了一个编码器-解码器架构,使用3D卷积来联合聚合场景的空间和时间信息,并预测未来的3D点云。我们在多个数据集上评估了我们的方法,实验结果表明,我们的方法优于现有的点云预测架构,并且可以很好地推广到新的、看不见的环境,而无需进行额外的微调。我们的方法在线运行,并且比10 Hz的常见LiDAR帧速率更快。
2021-10-18 cs.CV cs.RO
PixSet : An Opportunity for 3D Computer Vision to Go Beyond Point Clouds With a Full-Waveform LiDAR Dataset
LeddarTech(莱达科技)
Leddar PixSet是一个新的公开数据集(dataset.leddartech.com),用于自动驾驶研究和开发。该数据集的一个关键新颖之处是来自固态闪光激光雷达Leddar Pixell传感器的全波形数据。全波形数据已被证明可以提高机载应用中感知算法的性能,但尚未被证明用于自动驾驶等地面应用。PixSet数据集包含来自高密度城市地区记录的97个序列的大约29k帧,使用一组各种传感器(相机,LiDAR,雷达,IMU等)。每一帧都用3D边界框手动注释。
2021-07-05 cs.AI cs.CV cs.RO
R-AGNO-RPN: A LIDAR-Camera Region Deep Network for Resolution-Agnostic Detection
Sherpa Engineering(Sherpa工程公司);Université Clermont Auvergne(克莱蒙奥弗涅大学);SIGMA Clermont(克莱蒙西格玛工程师学院);Institut Pascal(帕斯卡研究所);Centrale Nantes(南特中央理工学院);LS2N(南特数字科学实验室)
现有的基于神经网络的目标检测方法处理LiDAR点云时,一般都是从一种LiDAR传感器训练得到的。然而,当用来自与用于训练的LiDAR传感器不同的LiDAR传感器的数据来测试它们时,它们的性能降低,即,不同的点云分辨率。本文提出了一种融合三维点云和RGB图像的区域建议网络R-AGNO-RPN,用于三维目标检测,而不受点云分辨率的影响。由于我们的方法也被设计用于低点云分辨率,因此所提出的方法专注于对象定位,而不是在减少的数据上估计细化的框。通过将图像特征精确映射到鸟瞰图和特定的数据增强过程来提高RGB图像的贡献,从而获得对低分辨率点云的恢复能力。为了展示所提出的网络处理不同点云分辨率的能力,对来自KITTI 3D目标检测和nuScenes数据集的数据进行了实验。此外,为了评估其性能,将我们的方法与著名的3D检测网络PointPillars进行了比较。实验结果表明,即使在经过原始点的$80\%$缩减后的点云数据上,该方法仍然能够给出相关的定位建议。
2020-12-10 cs.AI cs.CV cs.RO