Improving LiDAR 3D Object Detection via Range-based Point Cloud Density Optimization
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Saskatchewan(萨斯喀彻温大学)
针对LiDAR 3D目标检测器远距区域性能不佳的问题,提出基于距离的点云密度优化预处理机制,用迭代MCMC估计不同距离的密度调整参数,在多个数据集和检测器上验证了性能提升效果。
2023-06-09 cs.CV
Robust 3D Object Detection using Probabilistic Point Clouds from Single-Photon LiDARs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Ubicept
针对激光雷达在复杂场景下点云误差导致检测精度下降的问题,提出带概率属性的概率点云表示及配套轻量推理方法,在多种挑战性场景中优于现有基线与融合模型。
2025-07-31 cs.CV
Enabling 3D Object Detection with a Low-Resolution LiDAR
Worcester Polytechnic Institute(伍斯特理工学院)
光探测和测距(LiDAR)已广泛用于自动驾驶车辆的感知和定位。然而,高分辨率激光雷达的成本仍然非常昂贵,而低分辨率激光雷达的成本则要便宜得多。因此,使用低分辨率LiDAR进行自动驾驶是一种经济可行的解决方案,但点云稀疏性使其极具挑战性。在本文中,我们提出了一个两阶段的神经网络框架,使三维目标检测使用低分辨率激光雷达。从低分辨率LiDAR点云和单目相机图像中获取输入,采用深度补全网络来产生密集点云,随后由基于体素的网络处理该密集点云以进行3D目标检测。利用KITTI数据集进行三维目标检测,实验结果表明,该方法的检测性能明显优于直接利用16线LiDAR点云进行目标检测。对于简单和中等情况,我们的3D车辆检测结果接近使用64线高分辨率LiDAR的结果。
2022-05-04 cs.CV cs.RO
RIU-Net: Embarrassingly simple semantic segmentation of 3D LiDAR point cloud
Bordeaux INP(波尔多国立高等物理、数学与化学学院);IGN(法国国家地理林业信息研究所);ENSG(国立地理科学学院)
本文提出了RIU-Net(用于Range-Image U-Net),它是一种流行的语义分割网络的改编,用于3D LiDAR点云的语义分割。利用传感器的拓扑结构,将点云转换为二维距离图像。然后将该图像用作U形网络的输入。该体系结构已经证明了其有效性的医学图像的语义分割的任务。我们演示了它如何也可以用于3D激光雷达点云的准确语义分割,以及它如何代表图像处理和3D点云处理之间的有效桥梁。我们的模型是在从KITTI 3D目标检测数据集构建的距离图像上训练的。实验表明,RIU-Net尽管非常简单,但提供的结果与最先进的基于距离图像的方法相当。最后,我们证明了这种架构能够在单个GPU上以90 fps的速度运行,从而实现实时分割的部署。
2019-06-17 cs.CV
LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立理工学院);Univ. Paris-Est(巴黎东大学);IGN(法国国家地理研究院);ENSG(法国国立地理科学学院);GEOSAT(GEOSAT公司)
我们提出了LU-Net - for LiDAR U-Net,这是一种用于三维LiDAR点云语义分割的新方法。而不是应用一些全局3D分割方法,如PointNet,我们提出了一个端到端的架构,激光雷达点云语义分割,有效地解决了这个问题作为一个图像处理问题。我们首先提取每个点的高级3D特征,给定其3D邻居。然后,这些功能被投影到一个二维多通道距离图像,通过考虑传感器的拓扑结构。由于这些学习到的特征和这种投影,我们最终可以使用一个简单的U-Net分割网络来执行分割,它表现得非常好,同时非常高效。通过这种方式,我们可以利用数据的3D特性和LiDAR传感器的特异性。正如我们的实验所示,这种方法在KITTI数据集上的表现远远优于最先进的方法。此外,这种方法在单个GPU上以24 fps运行。这高于普通LiDAR传感器的采集速率,使其适用于实时应用。
2019-08-30 cs.CV
Panoptic-PolarNet: Proposal-free LiDAR Point Cloud Panoptic Segmentation
University of Central Florida(中佛罗里达大学)
全景分割提出了一个新的挑战,在利用检测和分割的优点,统一实例分割和语义分割在一个单一的框架的目标。然而,在激光雷达点云的新兴领域中,用于全景分割的有效解决方案仍然是一个开放的研究问题,并且还没有得到充分的探索。在本文中,我们提出了一个快速和强大的激光雷达点云全景分割框架,称为Panoptic-PolarNet。我们学习语义分割和类不可知的实例聚类在一个单一的推理网络使用极性鸟瞰图(BEV)表示,使我们能够规避城市街道场景中的实例之间的遮挡问题。为了提高网络的可学习性,我们还提出了一种自适应的实例增强技术和一种新的对抗性点云修剪方法。我们的实验表明,Panoptic-PolarNet在SemanticKITTI和nuScenes数据集上的性能优于基线方法,具有几乎实时的推理速度。Panoptic-PolarNet在公共SemanticKITTI全景分割排行榜上实现了54.1%的PQ,并在nuScene验证集上取得了领先的性能。
2021-03-27 cs.CV
SFPNet: Sparse Focal Point Network for Semantic Segmentation on General LiDAR Point Clouds
Institute of Medical Robotics(医学机器人研究所);Shanghai Jiao Tong University(上海交通大学)
针对LiDAR语义分割模型泛化性差的问题,提出SFPNet,用稀疏焦点调制替代窗口注意力,并引入混合固态LiDAR数据集,在多种基准上取得最优性能。
2024-07-16 cs.CV
2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds
Shenzhen Research Institute of Big Data(深圳大数据研究院);Shanghai University(上海大学);Tencent Map, T Lab(腾讯地图T实验室)
由于相机和激光雷达传感器捕获自动驾驶中使用的互补信息,因此已经做出了很大努力来通过多模态数据融合开发语义分割算法。然而,基于融合的方法需要成对的数据,即,LiDAR点云和相机图像具有严格的点到像素映射,作为训练和推理的输入,这严重阻碍了其在实际场景中的应用。因此,在这项工作中,我们提出了二维先验辅助语义分割(2DPASS),一个通用的训练计划,以提高点云的表示学习,充分利用2D图像具有丰富的外观。在实际应用中,2DPASS通过辅助模态融合和多尺度融合到单一知识蒸馏(MSFSKD),从多模态数据中获取更丰富的语义和结构信息,然后在线蒸馏到纯3D网络。因此,配备2DPASS后,我们的基线仅使用点云输入就显示出显著的改进。具体来说,它在两个大规模基准测试(即SemanticKITTI和NuScenes)上达到了最先进的水平,包括SemanticKITTI的单次和多次扫描比赛中的前1名结果。
2022-10-14 cs.CV
Semantic Segmentation of Surface from Lidar Point Cloud
Jadavpur University(贾达普大学)
在用于机器人导航的SLAM(同时定位与地图构建)领域中,环境地图构建是一项重要任务。在这方面,激光雷达传感器可以实时的以点云的格式产生环境的接近精确的3D地图。虽然这些数据足以提取与SLAM相关的信息,但处理点云中的数百万个点在计算上是相当昂贵的。提出的方法提出了一种快速算法,可用于提取语义标记的表面片段从云,在实时的,直接导航使用或更高级别的上下文场景重建。首先,来自旋转激光雷达的单次扫描用于在线生成子采样云点的网格。生成的网格进一步用于这些点的表面法线计算,基于这些点估计表面段。提出了一种新的描述符来表示表面片段,并利用分类器来确定片段的表面类(语义标签)。这些语义表面片段可以进一步用于场景中对象的几何重建,或者可以用于机器人的优化轨迹规划。所提出的方法进行了比较,点云分割方法和最先进的语义分割方法的数量,以强调其在速度和准确性方面的功效。
2020-09-13 cs.CV
CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Toronto(多伦多大学)
快速准确的激光雷达点云全景分割系统对于自动驾驶车辆理解周围物体和场景至关重要。现有的方法通常依赖于建议或聚类来分割前景实例。因此,它们很难实现实时性能。在本文中,我们提出了一种新的实时端到端的激光雷达点云全景分割网络,称为CPSeg。特别地,CPSeg包括共享编码器、双解码器和无簇实例分割头,其能够根据学习的嵌入来动态地柱化前景点。然后,它通过使用成对嵌入比较找到连接的柱子来获取实例标签。因此,传统的基于建议或基于聚类的实例分割转化为成对嵌入比较矩阵上的二进制分割问题。为了帮助网络回归实例的嵌入,提出了一种快速确定性的深度补全算法,实时计算每个点云的表面法线。该方法在两个大规模自动驾驶数据集SemanticKITTI和nuScenes上进行了基准测试。值得注意的是,大量的实验结果表明,CPSeg在两个数据集上的实时方法中取得了最先进的结果。
2023-02-03 cs.CV
R-AGNO-RPN: A LIDAR-Camera Region Deep Network for Resolution-Agnostic Detection
Sherpa Engineering(Sherpa工程公司);Université Clermont Auvergne(克莱蒙奥弗涅大学);SIGMA Clermont(克莱蒙西格玛工程师学院);Institut Pascal(帕斯卡研究所);Centrale Nantes(南特中央理工学院);LS2N(南特数字科学实验室)
现有的基于神经网络的目标检测方法处理LiDAR点云时,一般都是从一种LiDAR传感器训练得到的。然而,当用来自与用于训练的LiDAR传感器不同的LiDAR传感器的数据来测试它们时,它们的性能降低,即,不同的点云分辨率。本文提出了一种融合三维点云和RGB图像的区域建议网络R-AGNO-RPN,用于三维目标检测,而不受点云分辨率的影响。由于我们的方法也被设计用于低点云分辨率,因此所提出的方法专注于对象定位,而不是在减少的数据上估计细化的框。通过将图像特征精确映射到鸟瞰图和特定的数据增强过程来提高RGB图像的贡献,从而获得对低分辨率点云的恢复能力。为了展示所提出的网络处理不同点云分辨率的能力,对来自KITTI 3D目标检测和nuScenes数据集的数据进行了实验。此外,为了评估其性能,将我们的方法与著名的3D检测网络PointPillars进行了比较。实验结果表明,即使在经过原始点的$80\%$缩减后的点云数据上,该方法仍然能够给出相关的定位建议。
2020-12-10 cs.AI cs.CV cs.RO
Spherical Frustum Sparse Convolution Network for LiDAR Point Cloud Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
针对球形投影导致的量化信息损失,提出球形视锥体结构及SFC、F2PS算子,构建SFCNet,在SemanticKITTI和nuScenes上优于传统二维投影方法。
2024-10-28 cs.CV
RoIFusion: 3D Object Detection from LiDAR and Vision
Cranfield University(克兰菲尔德大学)
当定位和检测用于自动驾驶场景的3D对象时,从多个传感器(例如相机、LIDAR)获得信息通常增加3D检测器的鲁棒性。然而,从激光雷达和相机捕获的不同特征的高效和有效的融合仍然是具有挑战性的,特别是由于点云分布的稀疏性和不规则性。尽管如此,点云还是提供了有用的补充信息。在本文中,我们希望利用激光雷达和摄像头传感器的优势,提出一种深度神经网络架构,通过识别相应的3D边界框和方向来融合和有效检测3D对象。为了实现这一任务,而不是密集地结合点云的逐点特征和相关的像素特征,我们提出了一种新的融合算法,通过将一组3D感兴趣区域(ROI)从点云投影到对应图像的2D ROI。最后,我们证明了我们的深度融合方法在KITTI 3D目标检测挑战性基准上达到了最先进的性能。
2020-09-09 cs.CV
End-to-End 3D Object Detection using LiDAR Point Cloud
University of Maryland(马里兰大学)
提出一种基于新颖LiDAR点云编码的端到端三维目标检测方法,避免鸟瞰图预处理,输出三维边界框与标签,融合现有网络优点。
2023-12-24 cs.CV
PointSeg: Real-Time Semantic Segmentation Based on 3D LiDAR Point Cloud
The Hong Kong University of Science and Technology(香港科技大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
在本文中,我们提出了PointSeg,一个实时的【形】的端到端的语义分割方法的基础上球形图像的道路对象。我们将从3D LiDAR点云转换的球形图像作为卷积神经网络(CNN)的输入,以预测逐点语义地图。为了使PointSeg适用于移动系统,我们基于轻量级网络SqueezeNet构建了模型,并进行了一些改进。它在内存开销和预测性能之间保持了良好的平衡。我们的模型是在从KITTI 3D目标检测数据集投影的球形图像和标签掩模上训练的。实验表明,PointSeg在单GPU 1080ti上可以达到90fps的竞争精度。这使得它与自动驾驶应用非常兼容。
2018-09-25 cs.CV
YOLO and K-Means Based 3D Object Detection Method on Image and Point Cloud
AIST(产业技术综合研究所);The University of Tokyo(东京大学)
基于激光雷达的3D目标检测和分类任务对于自动驾驶(AD)至关重要。激光雷达传感器可以提供周围环境的3D点云数据重建。但是三维点云的检测仍然需要很强的算法挑战。本文共分三个部分。(1)激光雷达相机校准。(2)基于YOLO的检测和点云提取;(3)基于k-means的点云分割。在我们的研究中,相机可以捕获图像进行实时的二维目标检测使用YOLO,我把限界框的功能是从激光雷达点云数据进行三维目标检测节点。通过比较从三维点传来的二维坐标是否在目标的限界框内,并进行k均值聚类,可以在GPU中实现高速的三维目标识别功能。
2020-04-21 cs.CV
Multi Projection Fusion for Real-time Semantic Segmentation of 3D LiDAR Point Clouds
Nile University(尼罗河大学)
三维点云数据的语义分割对于增强自主平台中的高级感知至关重要。此外,鉴于汽车和无人机上LiDAR传感器的部署越来越多,特别强调在移动GPU上运行的非计算密集型算法。以前的有效的最先进的方法依赖于点云的2D球面投影作为2D全卷积神经网络的输入,以平衡精度-速度的权衡。本文介绍了一种新的三维点云语义分割的方法,利用多个投影的点云,以减轻在单一的投影方法固有的信息丢失。我们的多投影融合(MPF)框架使用两个独立的高效2D全卷积模型分析球面和鸟瞰视图投影,然后结合两个视图的分割结果。在SemanticKITTI数据集上验证了所提出的框架,其中它实现了55.5的mIoU,高于最先进的基于投影的方法RangeNet++和PolarNet,同时比前者快1.6倍,比后者快3.1倍。
2020-11-06 cs.CV
Transfer Learning from Synthetic to Real LiDAR Point Cloud for Semantic Segmentation
Nanyang Technological University(南洋理工大学)
从合成数据到真实数据的知识转移已被广泛研究,以减轻各种计算机视觉任务(如语义分割)中的数据注释约束。然而,由于缺乏大规模的合成数据集和有效的转换方法,对二维图像和三维点云分割的研究远远落后。我们通过收集SynLiDAR来解决这个问题,SynLiDAR是一个大规模的合成LiDAR数据集,包含具有精确几何形状和全面语义类的逐点注释点云。SynLiDAR从多个虚拟环境中收集,具有丰富的场景和布局,由32个语义类的190多亿个点组成。此外,我们设计了PCT,一种新颖的点云翻译器,有效地减轻了合成和真实点云之间的差距。具体来说,我们将合成到真实的差距分解为一个外观组件和一个稀疏组件,并分别处理它们,这大大提高了点云翻译。我们在三种迁移学习设置上进行了广泛的实验,包括数据增强、半监督领域自适应和无监督领域自适应。大量的实验表明,SynLiDAR为研究3D传输提供了高质量的数据源,拟议的PCT在三种设置中一致地实现了卓越的点云转换。SynLiDAR项目页面:\url{https://github.com/xiaoaoran/SynLiDAR}
2021-12-02 cs.CV
TexLiDAR: Automated Text Understanding for Panoramic LiDAR Data
School of Electrical Engineering, Tel-Aviv University(特拉维夫大学电气工程学院)
针对现有LiDAR-文本关联方法依赖3D点云的效率瓶颈,提出TexLiDAR方法,利用Ouster OS1传感器生成的2D全景图像,结合零样本Florence 2大模型实现图像描述与目标检测,性能优于CLIP等现有方法,可支撑高要求实时检测场景。
2025-02-21 cs.AI cs.CV
LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds
UC San Diego(加州大学圣地亚哥分校);Waymo(Waymo公司);Google(谷歌公司)
LiDAR点云的语义分割是自动驾驶中的一项重要任务。然而,通过传统的监督方法训练深度模型需要大量的数据集,这些数据集的标签成本很高。关键是要有标签高效的分割方法,以将模型扩展到新的操作域或提高罕见情况下的性能。虽然大多数以前的作品集中在室内场景,我们是第一个提出一个标签有效的语义分割管道与激光雷达点云室外场景。我们的方法与半/弱监督学习共同设计了一个有效的标记过程,并且适用于几乎任何3D语义分割主干。具体来说,我们利用室外场景中的几何图案进行启发式预分割,以减少手动标记,并与标记过程联合设计学习目标。在学习步骤中,我们利用原型学习来获得更具描述性的点嵌入,并使用多扫描蒸馏来从时间聚合的点云中利用更丰富的语义来提高单扫描模型的性能。在SemanticKITTI和nuScenes数据集上进行评估,我们表明我们提出的方法优于现有的标签效率方法。具有极其有限的人类注释(例如,0.1%点标签),我们提出的方法与100%标签的完全监督对应物相比甚至具有很强的竞争力。
2022-10-14 cs.CV cs.RO
LiDARDraft: Generating LiDAR Point Cloud from Versatile Inputs
TongjiUniversity(同济大学)
LiDARDraft通过3D布局桥梁实现从多样化输入生成可控的LiDAR点云,支持自动驾驶环境的创建。
2026-07-30 cs.CV
LidarCLIP or: How I Learned to Talk to Point Clouds
Zenseact(Zenseact公司);Chalmers University of Technology(查尔姆斯理工大学);Lund University(隆德大学)
针对文本与激光雷达数据关联研究受数据集匮乏限制的问题,提出LidarCLIP方法,以图像为中介将车载点云映射到CLIP嵌入空间,在检索、零样本分类等任务上表现优异,还可支持多种下游应用。
2023-05-02 cs.CV cs.LG
LiDAR Data Enrichment Using Deep Learning Based on High-Resolution Image: An Approach to Achieve High-Performance LiDAR SLAM Using Low-cost LiDAR
Hong Kong Polytechnic University(香港理工大学);Nanjing University of Science and Technology(南京理工大学)
在过去的几十年里,基于LiDAR的SLAM算法被广泛研究,为自动驾驶车辆(ADV)提供鲁棒和准确的定位。使用具有64个通道的高级3D LiDAR可以获得令人满意的性能,可以提供密集的点云。不幸的是,高昂的价格大大阻碍了其在ADV中的广泛商业化。具有成本效益的16通道3D LiDAR是一个有前途的替代品。然而,16通道LiDAR只能提供有限且稀疏的点云,这不能保证ADV在具有挑战性的动态环境中具有足够的定位精度。来自低成本相机的高分辨率图像可以提供有关周围环境的丰富信息。然而,显式深度信息不能从图像中获得。受3D LiDAR和相机互补性的启发,本文提出利用相机的高分辨率图像,基于最先进的深度学习算法,丰富低成本16通道LiDAR的原始3D点云。首先,ERFNet被用来分割的原始稀疏的三维点云的帮助下的图像。同时,在原始稀疏三维点云的基础上,采用稀疏卷积神经网络对密集点云进行预测。然后,使用一种新的多层卷积神经网络的ERFnet的分割输出融合的预测密集的点云,以改善预测的三维点云。最后,丰富的点云被用来执行激光雷达SLAM的基础上,最先进的正态分布变换(NDT)。我们在重新编辑的KITTI数据集上测试了我们的方法:(1)稀疏的3D点云显着丰富,均方误差为1.1m MSE。(2)从LiDAR SLAM生成的地图更密集,其包括更多细节而没有显著的准确性损失。
2020-08-09 cs.CV cs.LG cs.RO
NeRF-LiDAR: Generating Realistic LiDAR Point Clouds with Neural Radiance Fields
Fudan University(复旦大学)
提出 NeRF-LiDAR,利用真实图像和点云学习三维场景表示并生成带标签的逼真 LiDAR 点云,可支持分割模型训练并通过预训练减少真实标注需求。
2024-01-20 cs.CV
Machine Learning in LiDAR 3D point clouds
Yeshiva University(叶史瓦大学);Worcester Polytechnic Institute(伍斯特理工学院)
LiDAR点云包含复杂自然场景的测量结果,可用于更新数字高程模型、冰川监测、断层检测和隆起测量检测、森林清查、海岸线和海滩体积变化检测、滑坡风险分析、生境测绘和城市发展等。一个非常重要的应用是将3D云分类为基本类。例如,它可以用来区分植被,人造结构和水。我们的目标是提出一个初步的比较研究,包括几种类型的功能工程的三维点云激光雷达数据的分类。特别是,我们证明了通过用其相邻点的信息来增强LiDAR点云中的每个点来提供上下文可以提高下游学习算法的性能。我们还尝试了几种降维策略,从主成分分析(PCA)到基于神经网络的自动编码器,并演示了它们如何影响LiDAR点云的分类性能。例如,我们观察到,将特征工程与诸如PCA的降维方法相结合,相对于对原始数据进行直接分类,分类的准确性有所提高。
2021-01-22 cs.CV cs.LG
LiDAR Point Cloud Colourisation Using Multi-Camera Fusion and Low-Light Image Enhancement
University of New South Wales(新南威尔士大学);University of Southern Queensland(南昆士兰大学)
提出一种硬件无关的方法,通过多相机融合和低光增强模块,实现机械LiDAR点云的360度着色,在低光照条件下仍能恢复场景细节。
2025-09-30 cs.CV cs.SY eess.SY
Learning to Generate Realistic LiDAR Point Clouds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了LiDARGen,一种新颖的,有效的,可控的生成模型,产生逼真的激光雷达点云传感器读数。我们的方法利用了强大的分数匹配基于能量的模型,并制定了点云生成过程作为一个随机去噪过程中的等距矩形视图。该模型使我们能够在保证物理可行性和可控性的情况下对多样化和高质量的点云样本进行采样。我们在具有挑战性的KITTI-360和NuScenes数据集上验证了我们方法的有效性。定量和定性的结果表明,我们的方法产生更真实的样本比其他生成模型。此外,LiDARGen可以根据输入对点云进行采样,而无需重新训练。我们证明了我们提出的生成模型可以直接用于加密LiDAR点云。我们的代码可在:https://www.zyrianov.org/lidargen/
2022-09-24 cs.CV
Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds
Google Research(谷歌研究院)
我们研究了三维点云语义标注的无监督领域自适应问题,特别关注不同LiDAR传感器引起的领域差异。基于对稀疏3D点云从3D表面采样的观察,我们采取完整和标记的方法来恢复底层表面,然后将其传递到分割网络。具体来说,我们设计了一个稀疏体素完成网络(SVCN)来完成稀疏点云的3D表面。与语义标签不同,获得SVCN的训练对不需要手动标记。我们还引入了局部对抗学习来对表面先验进行建模。恢复的3D表面作为一个规范域,语义标签可以在不同的LiDAR传感器之间传输。实验和消融研究表明,我们的新基准的跨域语义标记的激光雷达数据所提出的方法提供了8.2-36.6%的性能比以前的领域自适应方法。
2021-03-30 cs.CV cs.LG
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology(南方科技大学);Jimei University(集美大学)
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题,最近随着新型激光雷达的出现变得更加苛刻,这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力,而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离,但具有稀疏的角分辨率,因此在径向测量中测量是精确的,但缺乏角度。另一方面,相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体,估计他们的速度,同时纠正点云失真。该框架在真实道路数据上进行了评估,融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的(https://github.com/ISEE-Technology/lidar-with-velocity),以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
PolarMix: A General Data Augmentation Technique for LiDAR Point Clouds
Nanyang Technological University(南洋理工大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Terminus Group(特斯联集团)
LiDAR点云通常由旋转LiDAR传感器连续扫描,可捕获周围环境的精确几何形状,对于许多自主检测和导航任务至关重要。虽然已经开发了许多3D深度架构,但大量点云的有效收集和注释仍然是分析和理解点云数据的主要挑战之一。本文介绍了PolarMix,点云增强技术,是简单和通用的,但可以有效地减轻数据约束,在不同的感知任务和场景。PolarMix通过两种交叉扫描增强策略丰富点云分布并保持点云保真度,这些策略可沿扫描方向切割、编辑和混合点云。第一种是场景级交换,交换沿方位轴切割的两个LiDAR扫描的点云扇区。第二个是实例级旋转和粘贴,它从一个LiDAR扫描中裁剪点实例,将它们旋转多个角度(以创建多个副本),并将旋转的点实例粘贴到其他扫描中。大量的实验表明,PolarMix在不同的感知任务和场景中始终实现卓越的性能。此外,它可以作为各种3D深度架构的即插即用,并且对于无监督的领域自适应也表现良好。
2022-07-30 cs.AI cs.CV cs.LG
UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation
Waabi;University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出 UltraLiDAR 框架,利用紧凑离散表示实现场景级 LiDAR 补全、生成与操控,显著提升下游感知并以超过 98.5% 的人类偏好优于既有生成方法。
2023-11-02 cs.CV cs.LG cs.RO
Generating Photo-realistic Images from LiDAR Point Clouds with Generative Adversarial Networks
Darca and Bnei Akiva Schools(达尔卡与贝内阿基瓦学校);Hadash Darca School(哈达什达尔卡学校);Harel Bnei Akiva School(哈雷尔贝内阿基瓦学校);Innoviz Technologies LTD(Innoviz科技有限公司)
我们研究了生成对抗网络(GANs)从LiDAR点云生成照片般逼真的图像的可行性。为此,我们创建了一个点云图像对的数据集,并训练了GAN来预测包含反射率和距离信息的LiDAR点云的照片级真实感图像。我们的模型学会了如何从点云数据中预测逼真的图像,甚至是黑色汽车的图像。黑色汽车很难直接从点云中检测出来,因为它们的反射率很低。这种方法可能在未来用于对从LiDAR点云生成的逼真图像执行视觉对象识别。除了传统的LiDAR系统之外,从LiDAR点云生成逼真图像的第二个系统将同时运行,用于实时视觉对象识别。通过这种方式,我们可以保持LiDAR的优势,并在不使用任何相机的情况下使用照片般逼真的图像进行视觉对象识别。此外,这种方法可以用来着色点云,而不使用任何相机图像。
2021-12-20 cs.CV eess.IV
LiSnowNet: Real-time Snow Removal for LiDAR Point Cloud
University of Michigan(密歇根大学)
LiDAR已被广泛应用于现代自动驾驶汽车,提供场景和周围物体的3D信息。然而,恶劣的天气条件仍然对LiDAR构成重大挑战,因为在降雪期间捕获的点云很容易被破坏。由此产生的噪声点云降低了下游任务,如映射。现有的去噪被雪破坏的点云的工作是基于最近邻搜索,因此不能很好地与现代激光雷达,通常捕获$100k$或更多的点在10 Hz的规模。在本文中,我们介绍了一种无监督去噪算法,LiSnowNet,运行速度比最先进的方法快52 $\times$,同时实现卓越的去噪性能。与以前的方法不同,该算法基于深度卷积神经网络,可以轻松部署到GPU等硬件加速器上。此外,我们演示了如何使用所提出的方法进行映射,即使与损坏的点云。
2022-11-18 cs.CV cs.LG eess.IV
LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR Point Clouds
Xiamen University(厦门大学);ShanghaiTech University(上海科技大学)
现有的运动捕捉数据集主要是短距离的,还不能满足长距离应用的需要。我们提出了LiDARHuman26M,这是一种新的人体运动捕捉数据集,由LiDAR在更长的范围内捕捉,以克服这一限制。我们的数据集还包括IMU系统获取的地面真实人体运动和同步RGB图像。我们进一步提出了一个强基线的方法,LiDARCap,激光雷达点云人体运动捕捉。具体来说,我们首先利用PointNet++编码的点的特征,然后采用逆运动学求解器和SMPL优化器回归的姿态通过聚合的时间编码的特征分层。定量和定性实验表明,我们的方法优于仅基于RGB图像的技术。消融实验表明,我们的数据集是具有挑战性的,值得进一步研究。最后,在KITTI数据集和Waymo开放数据集上的实验表明,我们的方法可以推广到不同的LiDAR传感器设置。
2022-03-28 cs.CV
Taming Transformers for Realistic Lidar Point Cloud Generation
WMG, University of Warwick(华威大学 WMG)
本文提出 LidarGRIT,通过自回归 Transformer 在 VQ-VAE 潜在空间迭代采样距离图像并分别解码射线丢失掩码,解决扩散模型难以逼真建模激光雷达射线丢失噪声的问题,在两个 KITTI 数据集上超越 SOTA。
2024-04-08 cs.CV cs.LG cs.RO
Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision
Beijing Jiaotong University(北京交通大学);National University of Defense Technology(国防科技大学)
伪LiDAR点云插值是自动驾驶领域的一个新的、具有挑战性的任务,其目的是解决相机和LiDAR之间的频率失配问题。以前的工作表示由粗糙的2D光流引起的3D空间运动关系,并且插值点云的质量仅取决于深度图的监督。结果,生成的点云遭受较差的全局分布和局部外观。为了解决上述问题,我们提出了一个伪激光雷达点云插值网络,以生成时间和空间上高质量的点云序列。通过利用点云之间的场景流,所提出的网络能够学习更准确的3D空间运动关系的表示。为了更全面地感知点云的分布,设计了一种新的重建损失函数,实现了倒角距离来监督伪激光雷达点云在三维空间的生成。此外,我们引入了一个多模态深度聚合模块,以促进纹理和深度特征的有效融合。由于改进的运动表示、训练损失函数和模型结构的优点,我们的方法在伪激光雷达点云插值任务上获得了显著的改进。KITTI数据集上的实验结果表明,所提出的网络的最先进的性能,定量和定性。
2020-06-20 cs.CV
A Realism Metric for Generated LiDAR Point Clouds
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert-Bosch GmbH(罗伯特·博世有限公司);Research Center for Information Technology(信息技术研究中心)
相当多的研究是关于现实的传感器数据的生成。LiDAR点云由复杂的模拟或学习生成模型生成。生成的数据通常用于启用或改进下游感知算法。两个主要的问题出现,从这些程序:第一,如何评估所产生的数据的真实性?第二,更真实的数据是否也会带来更好的感知性能?本文解决了这两个问题,并提出了一种新的度量来量化激光雷达点云的真实性。通过在代理分类任务上进行训练,从真实世界和合成点云中学习相关特征。在一系列的实验中,我们展示了我们的度量的应用,以确定所生成的激光雷达数据的真实性,并比较我们的度量的真实性估计的分割模型的性能。我们确认,我们的指标提供了下游细分性能的指示。
2022-08-31 cs.AI cs.CV cs.LG
LiDAR-HMR: 3D Human Mesh Recovery from LiDAR
Department of Automation, Tsinghua University(自动化系,清华大学)
针对LiDAR点云稀疏、含噪、不完整的问题,本文提出LiDAR-HMR方法,通过级联graphormer结合点云特征,以稀疏到密集的方案从LiDAR点云重建3D人体网格,在三个公开数据集上验证了有效性。
2025-10-02 cs.CV
PanoNet3D: Combining Semantic and Geometric Understanding for LiDARPoint Cloud Detection
Carnegie Mellon University(卡内基梅隆大学)
自动驾驶感知中的视觉数据,如摄像头图像和LiDAR点云,可以解释为语义特征和几何结构两个方面的混合物。语义来自传感器对象的外观和上下文,而几何结构是点云的实际3D形状。大多数LiDAR点云上的探测器只关注于分析真实3D空间中物体的几何结构。与以前的作品不同,我们建议通过一个统一的多视图框架来学习语义特征和几何结构。我们的方法利用了LiDAR扫描的性质- 2D范围图像,并应用经过充分研究的2D卷积来提取语义特征。通过融合语义和几何特征,我们的方法在所有类别中的表现都大大优于最先进的方法。结合语义和几何特征的方法提供了一个独特的视角来看待现实世界中的3D点云检测问题。
2020-12-17 cs.CV
LiDARTag: A Real-Time Fiducial Tag System for Point Clouds
University of Michigan(密歇根大学)
基于图像的基准标记在诸如杂乱或无纹理环境中的对象跟踪、相机(和多传感器)校准任务以及基于视觉的同时定位与地图构建(SLAM)的问题中是有用的。最先进的基准标记检测算法依赖于环境照明的一致性。本文介绍了LiDARTag,一种新的基准标签的设计和检测算法,适用于光探测和测距(LiDAR)点云。所提出的方法实时的【形】运行,可以以100 Hz的频率处理数据,这比目前可用的LiDAR传感器频率更快。由于LiDAR传感器的性质,快速变化的环境照明不会影响LiDAR标签的检测;因此,所提出的基准标记可以在完全黑暗的环境中操作。此外,LiDARTag很好地补充并兼容现有的视觉基准标记,如AprilTags,允许有效的多传感器融合和校准任务。我们进一步提出了一个概念,最大限度地减少点云和标记的模板之间的拟合误差来估计标记的姿态。该方法实现了毫米级的平移误差和几度的旋转误差。由于激光雷达回波的稀疏性,点云被提升到一个连续的函数在再生核希尔伯特空间的内积可以用来确定标记的ID。实验结果,通过运动捕捉系统验证,证实了所提出的方法可以可靠地提供一个标签的姿态和唯一的ID代码。在Google Cartographer室内数据集和Honda H3 D室外数据集上验证了假阳性的拒绝。所有实现都是用C++编写的,可以在https://github.com/UMich-BipedLab/LiDARTag上找到。
2021-02-13 cs.CV cs.LG cs.RO
GS-LiDAR: Generating Realistic LiDAR Point Clouds with Panoramic Gaussian Splatting
School of Data Science, Fudan University(复旦大学数据科学学院)
GS-LiDAR提出用带周期性振动的二维高斯泼溅和全景渲染技术替代NeRF进行LiDAR新视角合成,在KITTI-360和nuScenes上同时提升了点云质量与训练渲染效率。
2025-02-05 cs.CV cs.GR eess.IV
An optimal hierarchical clustering approach to segmentation of mobile LiDAR point clouds
University of Calgary(卡尔加里大学)
提出了一种基于层次聚类的移动LiDAR点云分割方法。我们执行无组织的点云上的邻近矩阵的基础上的层次聚类。邻近矩阵中的相异性度量是通过聚类之间的欧氏距离和给定点处法向量的差来计算的。本文的主要贡献是成功地对层次聚类中的聚类组合进行了优化。该组合通过实现二分图的匹配来获得,并通过求解最小代价完美匹配来优化。实验结果表明,提出的最优层次聚类(OHC)方法能够自动实现多个独立目标的分割,并且优于现有的激光雷达点云分割方法。
2017-11-09 cs.CV
LiDARNet: A Boundary-Aware Domain Adaptation Model for Point Cloud Semantic Segmentation
Texas A&M University(德克萨斯A&M大学)
提出了一种基于边界感知的LiDAR扫描全场景语义分割领域自适应模型(LiDARNet)。我们的模型可以同时提取领域私有特征和领域共享特征,具有双分支结构。我们将Gated-SCNN嵌入到LiDARNet的分割器组件中,以学习边界信息,同时学习预测全场景语义分割标签。此外,我们进一步减少域差距诱导模型学习两个域之间的映射使用域共享和私有功能。此外,我们引入了一个新的数据集(SemanticUSL \footnote{The access address of SemanticUSL:\url{https://unmannedlab.github.io/research/SemanticUSL}}),用于LiDAR点云语义分割的领域自适应。该数据集具有与SemanticKITTI相同的数据格式和本体。我们对真实世界的数据集SemanticKITTI,SemanticPOSS和SemanticUSL进行了实验,这些数据集在通道分布,反射率分布,场景多样性和传感器设置方面存在差异。使用我们的方法,我们可以得到一个单一的基于投影的激光雷达全场景语义分割模型工作在这两个领域。我们的模型可以保持几乎相同的性能在源域适配后,得到了8%-22%的mIoU性能提高目标域。
2021-04-24 cs.CV cs.LG eess.IV
FuseSeg: LiDAR Point Cloud Segmentation Fusing Multi-Modal Data
Graz University of Technology(格拉茨工业大学)
提出了一种简单有效的LiDAR和RGB数据融合方法来分割LiDAR点云。利用激光雷达传感器的密集本地范围表示和设置校准,我们建立两个输入模态之间的点对应关系。随后,我们能够将特征从一个域弯曲并融合到另一个域中。因此,我们可以在一个网络中联合利用来自两个数据源的信息。为了显示我们的方法的优点,我们扩展了SqueezeSeg,一个点云分割网络,具有RGB特征分支,并将其融合到原始结构中。我们的扩展名为FuseSeg,在KITTI基准测试中提高了高达18%的IoU。除了提高精度外,我们还实现了50 fps的实时性能,是KITTI LiDAR数据记录速度的五倍。
2019-12-19 cs.CV cs.RO
False Positive Detection and Prediction Quality Estimation for LiDAR Point Cloud Segmentation
University of Wuppertal(伍珀塔尔大学);Aptiv(安波福)
我们提出了一种新的激光雷达点云数据的语义分割后处理工具,称为LidarMetaSeg,它估计预测质量分段。为此,我们计算分散措施的基础上,网络的概率输出,以及基于点云输入功能的功能措施,并将它们聚集在段级。这些聚集的测量被用于训练Meta分类模型以预测预测的段是否是假阳性,以及Meta回归模型以预测段级交集。然后,这两个模型都可以应用于语义分割推理,而无需知道地面真相。在我们的实验中,我们使用不同的LiDAR分割模型和数据集,并分析我们的方法的能力。我们表明,我们的结果优于其他标准的方法。
2021-10-29 cs.AI cs.CV
Cross-Modal Self-Supervised Learning with Effective Contrastive Units for LiDAR Point Clouds
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);QCraft(奇酷科技)
针对激光雷达点云标注成本高的问题,研究对比学习的不同模态方案,提出实例感知且相似度平衡的跨模态对比单元,在多个基准的下游感知任务上实现显著性能提升。
2024-09-10 cs.CV
PLIN: A Network for Pseudo-LiDAR Point Cloud Interpolation
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学学院)
LiDAR传感器可以在低频率(约10Hz)下提供可靠的3D空间信息,并已广泛应用于自动驾驶和无人机领域。然而,必须减少具有较高频率(约20Hz)的相机,以便与多传感器系统中的LiDAR匹配。在本文中,我们提出了一种新的伪激光雷达插值网络(PLIN),以提高激光雷达传感器的频率。PLIN可以生成时间和空间上高质量的点云序列,以匹配高频率的相机。为了实现这一目标,我们设计了一个粗插值阶段的指导下连续稀疏的深度图和运动关系。我们还提出了一个精细的插值阶段指导的现实场景。使用这种由粗到细的级联结构,我们的方法可以逐步感知多模态信息,并生成准确的中间点云。据我们所知,这是伪激光雷达点云插值的第一个深度框架,它在配备激光雷达和摄像头的导航系统中显示了有吸引力的应用。实验结果表明,PLIN在KITTI数据集上取得了令人满意的性能,明显优于传统的插值方法和最先进的视频插值技术。
2019-09-16 cs.CV
SRMamba: Mamba for Super-Resolution of LiDAR Point Clouds
College of Computer Science, Chengdu University of Information Technology(成都信息科技大学计算机学院)
针对激光雷达点云超分辨率尤其是新视角上采样的难点,提出SRMamba方法,结合霍夫投票投影、孔洞补偿、视觉状态空间模型与多方向扫描机制,适配多光束输入,在公开数据集上性能优于现有算法。
2025-05-15 cs.CV eess.IV
LiDAR-CS Dataset: LiDAR Point Cloud Dataset with Cross-Sensors for 3D Object Detection
University of Macau(澳门大学);Baidu Research(百度研究院);University of California, Irvine(加利福尼亚大学欧文分校)
针对跨场景与跨传感器混合导致的3D检测域差距难分析问题,本文构建LiDAR-CS Dataset,提供六组传感器下相同场景的大规模标注点云,并通过基线检测器验证其应用价值。
2024-03-05 cs.CV
Road Curb Extraction from Mobile LiDAR Point Clouds
University of Calgary(卡尔加里大学)
从不均匀、无组织、有噪声的海量三维点云中自动提取道路边缘是一项具有挑战性的任务。现有方法通常将3D点云投影到2D平面上以提取路缘。然而,投影导致3D信息的损失,这降低了检测的性能。提出了一种鲁棒、准确、高效的从三维移动LiDAR点云中提取路缘石的方法。我们的方法包括两个步骤:1)提取候选点的基础上提出的新的能量函数和2)细化的候选点,使用提出的最小成本路径模型。我们在大规模的居民区(16.7GB,3亿个点)和城市地区(1.07GB,2000万个点)移动LiDAR点云上评估了我们的方法。结果表明,该方法是优于国家的最先进的方法在鲁棒性,准确性和效率。所提出的路缘提取方法实现了78.62%的完整性和83.29%的正确性。这些实验表明,该方法是一个很有前途的解决方案,从移动激光雷达点云提取道路边缘。
2016-10-27 cs.CV
Pseudo-LiDAR for Visual Odometry
China University of Mining and Technology(中国矿业大学);Shanghai Jiao Tong University(上海交通大学)
在现有方法中,LiDAR测距法表现出优越的性能,但视觉里程计因其价格优势仍被广泛应用。传统上,视觉里程计的任务主要依赖于连续图像的输入。然而,里程计网络学习图像提供的对极几何信息是非常复杂的。本文将伪激光雷达的概念引入到里程测量中来解决这一问题。伪LiDAR点云将图像生成的深度图反投影到3D点云中,改变了图像的表示方式。与立体图像相比,由立体匹配网络生成的伪LiDAR点云可以得到明确的三维坐标。由于6自由度(DoF)位姿变换发生在3D空间中,因此由伪LiDAR点云提供的3D结构信息比图像更直接。与稀疏LiDAR相比,伪LiDAR具有更密集的点云。为了充分利用伪激光雷达提供的丰富点云信息,采用了一种投影感知的密集测距流水线。大多数以前的基于LiDAR的算法从点云中采样8192个点作为里程计网络的输入。投影感知密集测距管道将从图像生成的所有伪LiDAR点云(除了错误点)作为网络的输入。在充分利用图像中三维几何信息的同时,图像中的语义信息也被用于里程计任务。2D-3D的融合是在仅基于图像的里程计中实现的。在KITTI数据集上的实验证明了该方法的有效性。据我们所知,这是第一个使用伪激光雷达的视觉里程计方法。
2022-09-04 cs.CV cs.RO
LATTE: Accelerating LiDAR Point Cloud Annotation via Sensor Fusion, One-Click Annotation, and Tracking
Berkeley AI Research(伯克利人工智能研究院);University of California, Berkeley(加州大学伯克利分校);Huaqiao University(华侨大学)
LiDAR(光探测和测距)是自动驾驶汽车的一种重要且广泛采用的传感器,特别是对于那些在更高级别(L4-L5)自动驾驶下运行的车辆。最近的工作已经证明了深度学习方法对基于LiDAR的检测的承诺。然而,深度学习算法非常需要数据,需要大量标记的点云数据进行训练和评估。由于以下问题,对LiDAR点云数据进行注释具有挑战性:1)LiDAR点云通常是稀疏的并且具有低分辨率,使得人类注释者难以识别对象。2)与2D图像上的注释相比,在LiDAR点云上绘制3D边界框甚至逐点标签的操作更加复杂和耗时。3)LiDAR数据通常是按顺序收集的,因此连续的帧高度相关,导致重复注释。为了应对这些挑战,我们提出了LATTE,这是一种用于LiDAR点云的开源注释工具。LATTE具有以下创新:1)传感器融合:我们利用基于图像的检测算法自动预标记校准图像,并将标签转移到点云。2)一键标注:我们没有绘制3D边界框或逐点标签,而是将注释简化为只需单击目标对象,并自动生成目标的限界框。3)跟踪:我们将跟踪集成到序列注释中,使得我们可以将标签从一个帧转移到后续帧,从而显著减少重复标记。实验结果表明,该特征将标注速度提高了6.2倍,显著提高了标注质量,实例级准确率和召回率分别提高了23.6%和2.2%,限界框IoU提高了2.0%。LATTE在https://github.com/bernwang/latte上是开源的。
2019-04-19 cs.CV
LiDAR Iris for Loop-Closure Detection
Nanjing University of Science and Technology(南京理工大学);University of Macau(澳门大学);MIT(麻省理工学院)
在本文中,一个全球性的激光雷达点云描述符,称为激光雷达虹膜,提出了快速,准确的闭环检测。在对LiDAR-Iris图像表示进行若干LoG-Gabor滤波和阈值化操作之后,可以针对每个点云获得二进制签名图像。给定两个点云,它们的相似度可以计算为分别从两个点云提取的两个对应的二值签名图像的汉明距离。如果假设3D(x,y,yaw)姿态空间,我们的LiDAR-Iris方法可以通过LiDAR-Iris表示的傅立叶变换在描述符级别实现姿态不变的闭环检测,尽管我们的方法通常可以通过重新对齐点云与附加的IMU传感器来应用于6D姿态空间。在五个道路场景序列上的实验结果表明,该算法具有良好的环路闭合检测性能。
2020-07-02 cs.CV cs.RO
Stress-Testing Point Cloud Registration on Automotive LiDAR
Tel-Aviv University(特拉维夫大学)
刚性点云配准(PCR)算法旨在估计两个点云之间的6-DOF相对运动,这在包括自动驾驶在内的各个领域都很重要。近年来,已经看到全局PCR算法的显著改进,即可以处理大的相对运动的算法。这已经在各种场景中得到了证明,包括室内场景,但仅在汽车环境中进行了最低限度的测试,其中点云由车载LiDAR传感器产生。在这项工作中,我们的目标是回答对汽车应用很重要的问题,包括:哪种新算法最准确,哪种算法最快?深度学习方法的可移植性如何,例如,当你用波士顿的数据训练一个网络,然后在新加坡的车辆上运行它时,会发生什么?在算法开始恶化之前,点云之间的重叠可以有多小?算法在多大程度上是旋转不变的?我们的结果有时令人惊讶。当比较鲁棒参数估计方法的注册,我们发现,最快和最准确的不是最新的方法之一。相反,它是众所周知的RANSAC技术的现代变体。我们还提出了一种新的离群值过滤方法,网格优先过滤(GPF),以进一步改善它。这项工作的另一个贡献是从汽车LiDAR数据集中选择具有挑战性的帧对集的算法。这可以在汽车LiDAR设置中实现有意义的基准测试,还可以改进学习算法的训练。
2022-11-25 cs.CV cs.LG