Robust 3D Object Detection using Probabilistic Point Clouds from Single-Photon LiDARs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Ubicept
针对激光雷达在复杂场景下点云误差导致检测精度下降的问题，提出带概率属性的概率点云表示及配套轻量推理方法，在多种挑战性场景中优于现有基线与融合模型。
2025-07-31 cs.CV
RIU-Net: Embarrassingly simple semantic segmentation of 3D LiDAR point cloud
Bordeaux INP（波尔多国立高等物理、数学与化学学院）；IGN（法国国家地理林业信息研究所）；ENSG（国立地理科学学院）
本文提出了RIU-Net（用于Range-Image U-Net），它是一种流行的语义分割网络的改编，用于3D LiDAR点云的语义分割。利用传感器的拓扑结构，将点云转换为二维距离图像。然后将该图像用作U形网络的输入。该体系结构已经证明了其有效性的医学图像的语义分割的任务。我们演示了它如何也可以用于3D激光雷达点云的准确语义分割，以及它如何代表图像处理和3D点云处理之间的有效桥梁。我们的模型是在从KITTI 3D目标检测数据集构建的距离图像上训练的。实验表明，RIU-Net尽管非常简单，但提供的结果与最先进的基于距离图像的方法相当。最后，我们证明了这种架构能够在单个GPU上以90 fps的速度运行，从而实现实时分割的部署。
2019-06-17 cs.CV
LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；Univ. Paris-Est（巴黎东大学）；IGN（法国国家地理研究院）；ENSG（法国国立地理科学学院）；GEOSAT（GEOSAT公司）
我们提出了LU-Net - for LiDAR U-Net，这是一种用于三维LiDAR点云语义分割的新方法。而不是应用一些全局3D分割方法，如PointNet，我们提出了一个端到端的架构，激光雷达点云语义分割，有效地解决了这个问题作为一个图像处理问题。我们首先提取每个点的高级3D特征，给定其3D邻居。然后，这些功能被投影到一个二维多通道距离图像，通过考虑传感器的拓扑结构。由于这些学习到的特征和这种投影，我们最终可以使用一个简单的U-Net分割网络来执行分割，它表现得非常好，同时非常高效。通过这种方式，我们可以利用数据的3D特性和LiDAR传感器的特异性。正如我们的实验所示，这种方法在KITTI数据集上的表现远远优于最先进的方法。此外，这种方法在单个GPU上以24 fps运行。这高于普通LiDAR传感器的采集速率，使其适用于实时应用。
2019-08-30 cs.CV
Enabling 3D Object Detection with a Low-Resolution LiDAR
Worcester Polytechnic Institute（伍斯特理工学院）
光探测和测距（LiDAR）已广泛用于自动驾驶车辆的感知和定位。然而，高分辨率激光雷达的成本仍然非常昂贵，而低分辨率激光雷达的成本则要便宜得多。因此，使用低分辨率LiDAR进行自动驾驶是一种经济可行的解决方案，但点云稀疏性使其极具挑战性。在本文中，我们提出了一个两阶段的神经网络框架，使三维目标检测使用低分辨率激光雷达。从低分辨率LiDAR点云和单目相机图像中获取输入，采用深度补全网络来产生密集点云，随后由基于体素的网络处理该密集点云以进行3D目标检测。利用KITTI数据集进行三维目标检测，实验结果表明，该方法的检测性能明显优于直接利用16线LiDAR点云进行目标检测。对于简单和中等情况，我们的3D车辆检测结果接近使用64线高分辨率LiDAR的结果。
2022-05-04 cs.CV cs.RO
Panoptic-PolarNet: Proposal-free LiDAR Point Cloud Panoptic Segmentation
University of Central Florida（中佛罗里达大学）
全景分割提出了一个新的挑战，在利用检测和分割的优点，统一实例分割和语义分割在一个单一的框架的目标。然而，在激光雷达点云的新兴领域中，用于全景分割的有效解决方案仍然是一个开放的研究问题，并且还没有得到充分的探索。在本文中，我们提出了一个快速和强大的激光雷达点云全景分割框架，称为Panoptic-PolarNet。我们学习语义分割和类不可知的实例聚类在一个单一的推理网络使用极性鸟瞰图（BEV）表示，使我们能够规避城市街道场景中的实例之间的遮挡问题。为了提高网络的可学习性，我们还提出了一种自适应的实例增强技术和一种新的对抗性点云修剪方法。我们的实验表明，Panoptic-PolarNet在SemanticKITTI和nuScenes数据集上的性能优于基线方法，具有几乎实时的推理速度。Panoptic-PolarNet在公共SemanticKITTI全景分割排行榜上实现了54.1%的PQ，并在nuScene验证集上取得了领先的性能。
2021-03-27 cs.CV
SFPNet: Sparse Focal Point Network for Semantic Segmentation on General LiDAR Point Clouds
Institute of Medical Robotics（医学机器人研究所）；Shanghai Jiao Tong University（上海交通大学）
针对LiDAR语义分割模型泛化性差的问题，提出SFPNet，用稀疏焦点调制替代窗口注意力，并引入混合固态LiDAR数据集，在多种基准上取得最优性能。
2024-07-16 cs.CV
2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shanghai University（上海大学）；Tencent Map, T Lab（腾讯地图T实验室）
由于相机和激光雷达传感器捕获自动驾驶中使用的互补信息，因此已经做出了很大努力来通过多模态数据融合开发语义分割算法。然而，基于融合的方法需要成对的数据，即，LiDAR点云和相机图像具有严格的点到像素映射，作为训练和推理的输入，这严重阻碍了其在实际场景中的应用。因此，在这项工作中，我们提出了二维先验辅助语义分割（2DPASS），一个通用的训练计划，以提高点云的表示学习，充分利用2D图像具有丰富的外观。在实际应用中，2DPASS通过辅助模态融合和多尺度融合到单一知识蒸馏（MSFSKD），从多模态数据中获取更丰富的语义和结构信息，然后在线蒸馏到纯3D网络。因此，配备2DPASS后，我们的基线仅使用点云输入就显示出显著的改进。具体来说，它在两个大规模基准测试（即SemanticKITTI和NuScenes）上达到了最先进的水平，包括SemanticKITTI的单次和多次扫描比赛中的前1名结果。
2022-10-14 cs.CV
Semantic Segmentation of Surface from Lidar Point Cloud
Jadavpur University（贾达普大学）
在用于机器人导航的SLAM（同时定位与地图构建）领域中，环境地图构建是一项重要任务。在这方面，激光雷达传感器可以实时的以点云的格式产生环境的接近精确的3D地图。虽然这些数据足以提取与SLAM相关的信息，但处理点云中的数百万个点在计算上是相当昂贵的。提出的方法提出了一种快速算法，可用于提取语义标记的表面片段从云，在实时的，直接导航使用或更高级别的上下文场景重建。首先，来自旋转激光雷达的单次扫描用于在线生成子采样云点的网格。生成的网格进一步用于这些点的表面法线计算，基于这些点估计表面段。提出了一种新的描述符来表示表面片段，并利用分类器来确定片段的表面类（语义标签）。这些语义表面片段可以进一步用于场景中对象的几何重建，或者可以用于机器人的优化轨迹规划。所提出的方法进行了比较，点云分割方法和最先进的语义分割方法的数量，以强调其在速度和准确性方面的功效。
2020-09-13 cs.CV
CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Toronto（多伦多大学）
快速准确的激光雷达点云全景分割系统对于自动驾驶车辆理解周围物体和场景至关重要。现有的方法通常依赖于建议或聚类来分割前景实例。因此，它们很难实现实时性能。在本文中，我们提出了一种新的实时端到端的激光雷达点云全景分割网络，称为CPSeg。特别地，CPSeg包括共享编码器、双解码器和无簇实例分割头，其能够根据学习的嵌入来动态地柱化前景点。然后，它通过使用成对嵌入比较找到连接的柱子来获取实例标签。因此，传统的基于建议或基于聚类的实例分割转化为成对嵌入比较矩阵上的二进制分割问题。为了帮助网络回归实例的嵌入，提出了一种快速确定性的深度补全算法，实时计算每个点云的表面法线。该方法在两个大规模自动驾驶数据集SemanticKITTI和nuScenes上进行了基准测试。值得注意的是，大量的实验结果表明，CPSeg在两个数据集上的实时方法中取得了最先进的结果。
2023-02-03 cs.CV
Spherical Frustum Sparse Convolution Network for LiDAR Point Cloud Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
针对球形投影导致的量化信息损失，提出球形视锥体结构及SFC、F2PS算子，构建SFCNet，在SemanticKITTI和nuScenes上优于传统二维投影方法。
2024-10-28 cs.CV
RoIFusion: 3D Object Detection from LiDAR and Vision
Cranfield University（克兰菲尔德大学）
当定位和检测用于自动驾驶场景的3D对象时，从多个传感器（例如相机、LIDAR）获得信息通常增加3D检测器的鲁棒性。然而，从激光雷达和相机捕获的不同特征的高效和有效的融合仍然是具有挑战性的，特别是由于点云分布的稀疏性和不规则性。尽管如此，点云还是提供了有用的补充信息。在本文中，我们希望利用激光雷达和摄像头传感器的优势，提出一种深度神经网络架构，通过识别相应的3D边界框和方向来融合和有效检测3D对象。为了实现这一任务，而不是密集地结合点云的逐点特征和相关的像素特征，我们提出了一种新的融合算法，通过将一组3D感兴趣区域（ROI）从点云投影到对应图像的2D ROI。最后，我们证明了我们的深度融合方法在KITTI 3D目标检测挑战性基准上达到了最先进的性能。
2020-09-09 cs.CV
End-to-End 3D Object Detection using LiDAR Point Cloud
University of Maryland（马里兰大学）
提出一种基于新颖LiDAR点云编码的端到端三维目标检测方法，避免鸟瞰图预处理，输出三维边界框与标签，融合现有网络优点。
2023-12-24 cs.CV
PointSeg: Real-Time Semantic Segmentation Based on 3D LiDAR Point Cloud
The Hong Kong University of Science and Technology（香港科技大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在本文中，我们提出了PointSeg，一个实时的【形】的端到端的语义分割方法的基础上球形图像的道路对象。我们将从3D LiDAR点云转换的球形图像作为卷积神经网络（CNN）的输入，以预测逐点语义地图。为了使PointSeg适用于移动系统，我们基于轻量级网络SqueezeNet构建了模型，并进行了一些改进。它在内存开销和预测性能之间保持了良好的平衡。我们的模型是在从KITTI 3D目标检测数据集投影的球形图像和标签掩模上训练的。实验表明，PointSeg在单GPU 1080ti上可以达到90fps的竞争精度。这使得它与自动驾驶应用非常兼容。
2018-09-25 cs.CV
YOLO and K-Means Based 3D Object Detection Method on Image and Point Cloud
AIST（产业技术综合研究所）；The University of Tokyo（东京大学）
基于激光雷达的3D目标检测和分类任务对于自动驾驶（AD）至关重要。激光雷达传感器可以提供周围环境的3D点云数据重建。但是三维点云的检测仍然需要很强的算法挑战。本文共分三个部分。（1）激光雷达相机校准。（2）基于YOLO的检测和点云提取;（3）基于k-means的点云分割。在我们的研究中，相机可以捕获图像进行实时的二维目标检测使用YOLO，我把限界框的功能是从激光雷达点云数据进行三维目标检测节点。通过比较从三维点传来的二维坐标是否在目标的限界框内，并进行k均值聚类，可以在GPU中实现高速的三维目标识别功能。
2020-04-21 cs.CV
Multi Projection Fusion for Real-time Semantic Segmentation of 3D LiDAR Point Clouds
Nile University（尼罗河大学）
三维点云数据的语义分割对于增强自主平台中的高级感知至关重要。此外，鉴于汽车和无人机上LiDAR传感器的部署越来越多，特别强调在移动GPU上运行的非计算密集型算法。以前的有效的最先进的方法依赖于点云的2D球面投影作为2D全卷积神经网络的输入，以平衡精度-速度的权衡。本文介绍了一种新的三维点云语义分割的方法，利用多个投影的点云，以减轻在单一的投影方法固有的信息丢失。我们的多投影融合（MPF）框架使用两个独立的高效2D全卷积模型分析球面和鸟瞰视图投影，然后结合两个视图的分割结果。在SemanticKITTI数据集上验证了所提出的框架，其中它实现了55.5的mIoU，高于最先进的基于投影的方法RangeNet++和PolarNet，同时比前者快1.6倍，比后者快3.1倍。
2020-11-06 cs.CV
Transfer Learning from Synthetic to Real LiDAR Point Cloud for Semantic Segmentation
Nanyang Technological University（南洋理工大学）
从合成数据到真实数据的知识转移已被广泛研究，以减轻各种计算机视觉任务（如语义分割）中的数据注释约束。然而，由于缺乏大规模的合成数据集和有效的转换方法，对二维图像和三维点云分割的研究远远落后。我们通过收集SynLiDAR来解决这个问题，SynLiDAR是一个大规模的合成LiDAR数据集，包含具有精确几何形状和全面语义类的逐点注释点云。SynLiDAR从多个虚拟环境中收集，具有丰富的场景和布局，由32个语义类的190多亿个点组成。此外，我们设计了PCT，一种新颖的点云翻译器，有效地减轻了合成和真实点云之间的差距。具体来说，我们将合成到真实的差距分解为一个外观组件和一个稀疏组件，并分别处理它们，这大大提高了点云翻译。我们在三种迁移学习设置上进行了广泛的实验，包括数据增强、半监督领域自适应和无监督领域自适应。大量的实验表明，SynLiDAR为研究3D传输提供了高质量的数据源，拟议的PCT在三种设置中一致地实现了卓越的点云转换。SynLiDAR项目页面：\url{https://github.com/xiaoaoran/SynLiDAR}
2021-12-02 cs.CV
R-AGNO-RPN: A LIDAR-Camera Region Deep Network for Resolution-Agnostic Detection
Sherpa Engineering（Sherpa工程公司）；Université Clermont Auvergne（克莱蒙奥弗涅大学）；SIGMA Clermont（克莱蒙西格玛工程师学院）；Institut Pascal（帕斯卡研究所）；Centrale Nantes（南特中央理工学院）；LS2N（南特数字科学实验室）
现有的基于神经网络的目标检测方法处理LiDAR点云时，一般都是从一种LiDAR传感器训练得到的。然而，当用来自与用于训练的LiDAR传感器不同的LiDAR传感器的数据来测试它们时，它们的性能降低，即，不同的点云分辨率。本文提出了一种融合三维点云和RGB图像的区域建议网络R-AGNO-RPN，用于三维目标检测，而不受点云分辨率的影响。由于我们的方法也被设计用于低点云分辨率，因此所提出的方法专注于对象定位，而不是在减少的数据上估计细化的框。通过将图像特征精确映射到鸟瞰图和特定的数据增强过程来提高RGB图像的贡献，从而获得对低分辨率点云的恢复能力。为了展示所提出的网络处理不同点云分辨率的能力，对来自KITTI 3D目标检测和nuScenes数据集的数据进行了实验。此外，为了评估其性能，将我们的方法与著名的3D检测网络PointPillars进行了比较。实验结果表明，即使在经过原始点的$80\%$缩减后的点云数据上，该方法仍然能够给出相关的定位建议。
2020-12-10 cs.AI cs.CV cs.RO
TexLiDAR: Automated Text Understanding for Panoramic LiDAR Data
School of Electrical Engineering, Tel-Aviv University（特拉维夫大学电气工程学院）
针对现有LiDAR-文本关联方法依赖3D点云的效率瓶颈，提出TexLiDAR方法，利用Ouster OS1传感器生成的2D全景图像，结合零样本Florence 2大模型实现图像描述与目标检测，性能优于CLIP等现有方法，可支撑高要求实时检测场景。
2025-02-21 cs.AI cs.CV
LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds
UC San Diego（加州大学圣地亚哥分校）；Waymo（Waymo公司）；Google（谷歌公司）
LiDAR点云的语义分割是自动驾驶中的一项重要任务。然而，通过传统的监督方法训练深度模型需要大量的数据集，这些数据集的标签成本很高。关键是要有标签高效的分割方法，以将模型扩展到新的操作域或提高罕见情况下的性能。虽然大多数以前的作品集中在室内场景，我们是第一个提出一个标签有效的语义分割管道与激光雷达点云室外场景。我们的方法与半/弱监督学习共同设计了一个有效的标记过程，并且适用于几乎任何3D语义分割主干。具体来说，我们利用室外场景中的几何图案进行启发式预分割，以减少手动标记，并与标记过程联合设计学习目标。在学习步骤中，我们利用原型学习来获得更具描述性的点嵌入，并使用多扫描蒸馏来从时间聚合的点云中利用更丰富的语义来提高单扫描模型的性能。在SemanticKITTI和nuScenes数据集上进行评估，我们表明我们提出的方法优于现有的标签效率方法。具有极其有限的人类注释（例如，0.1%点标签），我们提出的方法与100%标签的完全监督对应物相比甚至具有很强的竞争力。
2022-10-14 cs.CV cs.RO
Geometry-Aware Cross Modal Alignment for Light Field-LiDAR Semantic Segmentation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出融合光场数据和点云数据的多模态语义分割网络，通过特征补全和深度感知模块提升复杂场景下的分割性能，优于单模态方法。
2026-04-15 cs.AI cs.CV
LiSnowNet: Real-time Snow Removal for LiDAR Point Cloud
University of Michigan（密歇根大学）
LiDAR已被广泛应用于现代自动驾驶汽车，提供场景和周围物体的3D信息。然而，恶劣的天气条件仍然对LiDAR构成重大挑战，因为在降雪期间捕获的点云很容易被破坏。由此产生的噪声点云降低了下游任务，如映射。现有的去噪被雪破坏的点云的工作是基于最近邻搜索，因此不能很好地与现代激光雷达，通常捕获$100k$或更多的点在10 Hz的规模。在本文中，我们介绍了一种无监督去噪算法，LiSnowNet，运行速度比最先进的方法快52 $\times$，同时实现卓越的去噪性能。与以前的方法不同，该算法基于深度卷积神经网络，可以轻松部署到GPU等硬件加速器上。此外，我们演示了如何使用所提出的方法进行映射，即使与损坏的点云。
2022-11-18 cs.CV cs.LG eess.IV
Generating Photo-realistic Images from LiDAR Point Clouds with Generative Adversarial Networks
Darca and Bnei Akiva Schools（达尔卡与贝内阿基瓦学校）；Hadash Darca School（哈达什达尔卡学校）；Harel Bnei Akiva School（哈雷尔贝内阿基瓦学校）；Innoviz Technologies LTD（Innoviz科技有限公司）
我们研究了生成对抗网络（GANs）从LiDAR点云生成照片般逼真的图像的可行性。为此，我们创建了一个点云图像对的数据集，并训练了GAN来预测包含反射率和距离信息的LiDAR点云的照片级真实感图像。我们的模型学会了如何从点云数据中预测逼真的图像，甚至是黑色汽车的图像。黑色汽车很难直接从点云中检测出来，因为它们的反射率很低。这种方法可能在未来用于对从LiDAR点云生成的逼真图像执行视觉对象识别。除了传统的LiDAR系统之外，从LiDAR点云生成逼真图像的第二个系统将同时运行，用于实时视觉对象识别。通过这种方式，我们可以保持LiDAR的优势，并在不使用任何相机的情况下使用照片般逼真的图像进行视觉对象识别。此外，这种方法可以用来着色点云，而不使用任何相机图像。
2021-12-20 cs.CV eess.IV
LiDARNet: A Boundary-Aware Domain Adaptation Model for Point Cloud Semantic Segmentation
Texas A&M University（德克萨斯A&M大学）
提出了一种基于边界感知的LiDAR扫描全场景语义分割领域自适应模型（LiDARNet）。我们的模型可以同时提取领域私有特征和领域共享特征，具有双分支结构。我们将Gated-SCNN嵌入到LiDARNet的分割器组件中，以学习边界信息，同时学习预测全场景语义分割标签。此外，我们进一步减少域差距诱导模型学习两个域之间的映射使用域共享和私有功能。此外，我们引入了一个新的数据集（SemanticUSL \footnote{The access address of SemanticUSL:\url{https://unmannedlab.github.io/research/SemanticUSL}}），用于LiDAR点云语义分割的领域自适应。该数据集具有与SemanticKITTI相同的数据格式和本体。我们对真实世界的数据集SemanticKITTI，SemanticPOSS和SemanticUSL进行了实验，这些数据集在通道分布，反射率分布，场景多样性和传感器设置方面存在差异。使用我们的方法，我们可以得到一个单一的基于投影的激光雷达全场景语义分割模型工作在这两个领域。我们的模型可以保持几乎相同的性能在源域适配后，得到了8%-22%的mIoU性能提高目标域。
2021-04-24 cs.CV cs.LG eess.IV
LidarCLIP or: How I Learned to Talk to Point Clouds
Zenseact（Zenseact公司）；Chalmers University of Technology（查尔姆斯理工大学）；Lund University（隆德大学）
针对文本与激光雷达数据关联研究受数据集匮乏限制的问题，提出LidarCLIP方法，以图像为中介将车载点云映射到CLIP嵌入空间，在检索、零样本分类等任务上表现优异，还可支持多种下游应用。
2023-05-02 cs.CV cs.LG
LiDARDraft: Generating LiDAR Point Cloud from Versatile Inputs
TongjiUniversity（同济大学）
LiDARDraft通过3D布局桥梁实现从多样化输入生成可控的LiDAR点云，支持自动驾驶环境的创建。
2026-07-30 cs.CV
SRMamba: Mamba for Super-Resolution of LiDAR Point Clouds
College of Computer Science, Chengdu University of Information Technology（成都信息科技大学计算机学院）
针对激光雷达点云超分辨率尤其是新视角上采样的难点，提出SRMamba方法，结合霍夫投票投影、孔洞补偿、视觉状态空间模型与多方向扫描机制，适配多光束输入，在公开数据集上性能优于现有算法。
2025-05-15 cs.CV eess.IV
Machine Learning in LiDAR 3D point clouds
Yeshiva University（叶史瓦大学）；Worcester Polytechnic Institute（伍斯特理工学院）
LiDAR点云包含复杂自然场景的测量结果，可用于更新数字高程模型、冰川监测、断层检测和隆起测量检测、森林清查、海岸线和海滩体积变化检测、滑坡风险分析、生境测绘和城市发展等。一个非常重要的应用是将3D云分类为基本类。例如，它可以用来区分植被，人造结构和水。我们的目标是提出一个初步的比较研究，包括几种类型的功能工程的三维点云激光雷达数据的分类。特别是，我们证明了通过用其相邻点的信息来增强LiDAR点云中的每个点来提供上下文可以提高下游学习算法的性能。我们还尝试了几种降维策略，从主成分分析（PCA）到基于神经网络的自动编码器，并演示了它们如何影响LiDAR点云的分类性能。例如，我们观察到，将特征工程与诸如PCA的降维方法相结合，相对于对原始数据进行直接分类，分类的准确性有所提高。
2021-01-22 cs.CV cs.LG
LiDAR Data Enrichment Using Deep Learning Based on High-Resolution Image: An Approach to Achieve High-Performance LiDAR SLAM Using Low-cost LiDAR
Hong Kong Polytechnic University（香港理工大学）；Nanjing University of Science and Technology（南京理工大学）
在过去的几十年里，基于LiDAR的SLAM算法被广泛研究，为自动驾驶车辆（ADV）提供鲁棒和准确的定位。使用具有64个通道的高级3D LiDAR可以获得令人满意的性能，可以提供密集的点云。不幸的是，高昂的价格大大阻碍了其在ADV中的广泛商业化。具有成本效益的16通道3D LiDAR是一个有前途的替代品。然而，16通道LiDAR只能提供有限且稀疏的点云，这不能保证ADV在具有挑战性的动态环境中具有足够的定位精度。来自低成本相机的高分辨率图像可以提供有关周围环境的丰富信息。然而，显式深度信息不能从图像中获得。受3D LiDAR和相机互补性的启发，本文提出利用相机的高分辨率图像，基于最先进的深度学习算法，丰富低成本16通道LiDAR的原始3D点云。首先，ERFNet被用来分割的原始稀疏的三维点云的帮助下的图像。同时，在原始稀疏三维点云的基础上，采用稀疏卷积神经网络对密集点云进行预测。然后，使用一种新的多层卷积神经网络的ERFnet的分割输出融合的预测密集的点云，以改善预测的三维点云。最后，丰富的点云被用来执行激光雷达SLAM的基础上，最先进的正态分布变换（NDT）。我们在重新编辑的KITTI数据集上测试了我们的方法：（1）稀疏的3D点云显着丰富，均方误差为1.1m MSE。（2）从LiDAR SLAM生成的地图更密集，其包括更多细节而没有显著的准确性损失。
2020-08-09 cs.CV cs.LG cs.RO
Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds
Google Research（谷歌研究院）
我们研究了三维点云语义标注的无监督领域自适应问题，特别关注不同LiDAR传感器引起的领域差异。基于对稀疏3D点云从3D表面采样的观察，我们采取完整和标记的方法来恢复底层表面，然后将其传递到分割网络。具体来说，我们设计了一个稀疏体素完成网络（SVCN）来完成稀疏点云的3D表面。与语义标签不同，获得SVCN的训练对不需要手动标记。我们还引入了局部对抗学习来对表面先验进行建模。恢复的3D表面作为一个规范域，语义标签可以在不同的LiDAR传感器之间传输。实验和消融研究表明，我们的新基准的跨域语义标记的激光雷达数据所提出的方法提供了8.2-36.6%的性能比以前的领域自适应方法。
2021-03-30 cs.CV cs.LG
NeRF-LiDAR: Generating Realistic LiDAR Point Clouds with Neural Radiance Fields
Fudan University（复旦大学）
提出 NeRF-LiDAR，利用真实图像和点云学习三维场景表示并生成带标签的逼真 LiDAR 点云，可支持分割模型训练并通过预训练减少真实标注需求。
2024-01-20 cs.CV
RAI-Net: Range-Adaptive LiDAR Point Cloud Frame Interpolation Network
University of Electronic Science and Technology of China（电子科技大学）
LiDAR点云帧内插是在采集的帧之间合成中间帧的过程，已成为许多应用中的重要问题。特别是为了减少点云的传输量，它是通过预测的中间帧的基础上的参考帧，以上采样数据到高帧率的。然而，由于点云的高维和稀疏特性，它是更难以预测的中间帧激光雷达点云比视频。在本文中，我们提出了一种新的激光雷达点云帧插值方法，利用距离图像（RI）作为一个中间表示与CNN进行帧插值过程。考虑到RI不同于彩色图像的固有特性，本文引入空间自适应卷积来自适应地提取距离特征，同时提出一种高效的光流估计方法来产生光流。该模型首先对输入帧和距离特征进行变形，然后根据光流合成插值帧。在KITTI数据集上进行的大量实验清楚地表明，我们的方法始终如一地实现了卓越的帧插值结果，并且与使用最先进的视频帧插值方法相比具有更好的感知质量。该方法可以集成到任何LiDAR点云压缩系统中进行帧间预测。
2021-06-01 cs.CV eess.IV
GS-LiDAR: Generating Realistic LiDAR Point Clouds with Panoramic Gaussian Splatting
School of Data Science, Fudan University（复旦大学数据科学学院）
GS-LiDAR提出用带周期性振动的二维高斯泼溅和全景渲染技术替代NeRF进行LiDAR新视角合成，在KITTI-360和nuScenes上同时提升了点云质量与训练渲染效率。
2025-02-05 cs.CV cs.GR eess.IV
Learning to Generate Realistic LiDAR Point Clouds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了LiDARGen，一种新颖的，有效的，可控的生成模型，产生逼真的激光雷达点云传感器读数。我们的方法利用了强大的分数匹配基于能量的模型，并制定了点云生成过程作为一个随机去噪过程中的等距矩形视图。该模型使我们能够在保证物理可行性和可控性的情况下对多样化和高质量的点云样本进行采样。我们在具有挑战性的KITTI-360和NuScenes数据集上验证了我们方法的有效性。定量和定性的结果表明，我们的方法产生更真实的样本比其他生成模型。此外，LiDARGen可以根据输入对点云进行采样，而无需重新训练。我们证明了我们提出的生成模型可以直接用于加密LiDAR点云。我们的代码可在：https://www.zyrianov.org/lidargen/
2022-09-24 cs.CV
LPRnet: A self-supervised registration network for LiDAR and photogrammetric point clouds
Harbin Institute of Technology（哈尔滨工业大学）
LPRnet通过自监督学习和多尺度训练策略，有效整合异构激光雷达与摄影测量点云，提升注册精度与鲁棒性。
2025-01-10 cs.CV eess.IV
RangeLDM: Fast Realistic LiDAR Point Cloud Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对 LiDAR 数据昂贵且现有生成模型慢、不真实的问题，本文提出 RangeLDM，结合 Hough voting 投影校正、VAE 潜空间扩散与距离引导判别器，实现快速高保真点云生成。
2024-09-10 cs.CV eess.IV
PolarMix: A General Data Augmentation Technique for LiDAR Point Clouds
Nanyang Technological University（南洋理工大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Terminus Group（特斯联集团）
LiDAR点云通常由旋转LiDAR传感器连续扫描，可捕获周围环境的精确几何形状，对于许多自主检测和导航任务至关重要。虽然已经开发了许多3D深度架构，但大量点云的有效收集和注释仍然是分析和理解点云数据的主要挑战之一。本文介绍了PolarMix，点云增强技术，是简单和通用的，但可以有效地减轻数据约束，在不同的感知任务和场景。PolarMix通过两种交叉扫描增强策略丰富点云分布并保持点云保真度，这些策略可沿扫描方向切割、编辑和混合点云。第一种是场景级交换，交换沿方位轴切割的两个LiDAR扫描的点云扇区。第二个是实例级旋转和粘贴，它从一个LiDAR扫描中裁剪点实例，将它们旋转多个角度（以创建多个副本），并将旋转的点实例粘贴到其他扫描中。大量的实验表明，PolarMix在不同的感知任务和场景中始终实现卓越的性能。此外，它可以作为各种3D深度架构的即插即用，并且对于无监督的领域自适应也表现良好。
2022-07-30 cs.AI cs.CV cs.LG
UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation
Waabi；University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出 UltraLiDAR 框架，利用紧凑离散表示实现场景级 LiDAR 补全、生成与操控，显著提升下游感知并以超过 98.5% 的人类偏好优于既有生成方法。
2023-11-02 cs.CV cs.LG cs.RO
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology（南方科技大学）；Jimei University（集美大学）
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题，最近随着新型激光雷达的出现变得更加苛刻，这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力，而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离，但具有稀疏的角分辨率，因此在径向测量中测量是精确的，但缺乏角度。另一方面，相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体，估计他们的速度，同时纠正点云失真。该框架在真实道路数据上进行了评估，融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的（https：//github.com/ISEE-Technology/lidar-with-velocity），以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
PointCompress3D: A Point Cloud Compression Framework for Roadside LiDARs in Intelligent Transportation Systems
Technical University of Munich（慕尼黑工业大学）
针对智能交通系统中路侧LiDAR点云的高效处理需求，提出专用压缩框架PointCompress3D，适配整合三种前沿方法，在TUMTraf数据集上实现50倍压缩、10FPS帧率，且检测性能与原始数据相当。
2024-10-29 cs.CV eess.IV
Efficient LiDAR Point Cloud Geometry Compression Through Neighborhood Point Attention
Nanjing University（南京大学）
尽管多尺度稀疏张量的卷积表示在精确建模密集对象点云几何分量压缩的占用概率方面表现出了卓越的效率，但其表示稀疏LiDAR点云几何（PCG）的能力在很大程度上受到限制。这是因为：1）卷积的固定感受野不能很好地表征极端和不均匀分布的稀疏LiDAR点; 2）具有固定权重的预训练卷积不足以动态捕获以输入为条件的信息。因此，这项工作提出了邻域点注意（NPA）来解决这些问题，我们首先使用k个最近的邻居（kNN）来构建自适应的局部邻域，然后利用自注意力机制来动态地聚合该邻域内的信息。这种NPA被设计为NPAFormer，以最好地利用跨尺度和同尺度相关性进行几何占用概率估计。与使用标准化G-PCC的锚点相比，我们的方法在有损压缩下提供了>17%的BD速率增益，并且在SemanticKITTI和Ford数据集中使用流行的LiDAR点云的无损场景下提供了>14%的比特率降低。与使用注意力优化八叉树编码方法的最新（SOTA）解决方案相比，我们的方法需要更少的解码运行时间，平均约640倍的加速比，同时仍然呈现出更好的压缩效率。
2022-08-26 cs.CV eess.IV
YOLO3D: End-to-end real-time 3D Oriented Object Bounding Box Detection from LiDAR Point Cloud
Valeo AI Research（法雷奥人工智能研究院）
三维空间中的目标检测与分类是自动驾驶中的一项关键任务。LiDAR传感器用于提供周围环境的3D点云重建，而实时的3D对象限界框检测任务仍然是一个强大的算法挑战。在本文中，我们建立在2D透视图像空间中的一次性回归元架构的成功基础上，并将其扩展到从LiDAR点云生成定向3D对象边界框。我们的主要贡献是将YOLO v2的损失函数扩展为包括偏航角、笛卡尔坐标中的3D盒中心和盒的高度作为直接回归问题。该公式实现了实时的性能，这对于自动驾驶至关重要。我们的测试结果在KITTI基准测试中显示出令人鼓舞的数字，在Titan X GPU上实现了实时的性能（40 fps）。
2018-08-07 cs.CV eess.IV
RIDDLE: Lidar Data Compression with Range Image Deep Delta Encoding
Waymo LLC（Waymo有限责任公司）
激光雷达是广泛用于自动驾驶和增强现实的深度测量传感器。然而，激光雷达产生的大量数据可能导致数据存储和传输的高成本。虽然激光雷达数据可以表示为两种可互换的表示：3D点云和范围图像，但大多数以前的工作都集中在压缩通用3D点云上。在这项工作中，我们表明，直接压缩范围图像可以利用激光雷达扫描模式，压缩未投影的点云相比。提出了一种新的数据驱动距离图像压缩算法RIDDLE（Range Image Deep DeLta Encoding）。其核心是一个深度模型，该模型基于当前和过去扫描的上下文激光拍摄（表示为球坐标和时间的4D点云），以光栅扫描顺序预测下一个像素值。然后，可以通过熵编码来压缩预测值和原始值之间的增量。在Waymo Open Dataset和KITTI上进行了评估，与广泛使用的点云和范围图像压缩算法以及最近的深度方法相比，我们的方法在压缩率（相同失真下）方面有显着提高。
2022-06-02 cs.CV eess.IV
Taming Transformers for Realistic Lidar Point Cloud Generation
WMG, University of Warwick（华威大学 WMG）
本文提出 LidarGRIT，通过自回归 Transformer 在 VQ-VAE 潜在空间迭代采样距离图像并分别解码射线丢失掩码，解决扩散模型难以逼真建模激光雷达射线丢失噪声的问题，在两个 KITTI 数据集上超越 SOTA。
2024-04-08 cs.CV cs.LG cs.RO
A Realism Metric for Generated LiDAR Point Clouds
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert-Bosch GmbH（罗伯特·博世有限公司）；Research Center for Information Technology（信息技术研究中心）
相当多的研究是关于现实的传感器数据的生成。LiDAR点云由复杂的模拟或学习生成模型生成。生成的数据通常用于启用或改进下游感知算法。两个主要的问题出现，从这些程序：第一，如何评估所产生的数据的真实性？第二，更真实的数据是否也会带来更好的感知性能？本文解决了这两个问题，并提出了一种新的度量来量化激光雷达点云的真实性。通过在代理分类任务上进行训练，从真实世界和合成点云中学习相关特征。在一系列的实验中，我们展示了我们的度量的应用，以确定所生成的激光雷达数据的真实性，并比较我们的度量的真实性估计的分割模型的性能。我们确认，我们的指标提供了下游细分性能的指示。
2022-08-31 cs.AI cs.CV cs.LG
LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR Point Clouds
Xiamen University（厦门大学）；ShanghaiTech University（上海科技大学）
现有的运动捕捉数据集主要是短距离的，还不能满足长距离应用的需要。我们提出了LiDARHuman26M，这是一种新的人体运动捕捉数据集，由LiDAR在更长的范围内捕捉，以克服这一限制。我们的数据集还包括IMU系统获取的地面真实人体运动和同步RGB图像。我们进一步提出了一个强基线的方法，LiDARCap，激光雷达点云人体运动捕捉。具体来说，我们首先利用PointNet++编码的点的特征，然后采用逆运动学求解器和SMPL优化器回归的姿态通过聚合的时间编码的特征分层。定量和定性实验表明，我们的方法优于仅基于RGB图像的技术。消融实验表明，我们的数据集是具有挑战性的，值得进一步研究。最后，在KITTI数据集和Waymo开放数据集上的实验表明，我们的方法可以推广到不同的LiDAR传感器设置。
2022-03-28 cs.CV
Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision
Beijing Jiaotong University（北京交通大学）；National University of Defense Technology（国防科技大学）
伪LiDAR点云插值是自动驾驶领域的一个新的、具有挑战性的任务，其目的是解决相机和LiDAR之间的频率失配问题。以前的工作表示由粗糙的2D光流引起的3D空间运动关系，并且插值点云的质量仅取决于深度图的监督。结果，生成的点云遭受较差的全局分布和局部外观。为了解决上述问题，我们提出了一个伪激光雷达点云插值网络，以生成时间和空间上高质量的点云序列。通过利用点云之间的场景流，所提出的网络能够学习更准确的3D空间运动关系的表示。为了更全面地感知点云的分布，设计了一种新的重建损失函数，实现了倒角距离来监督伪激光雷达点云在三维空间的生成。此外，我们引入了一个多模态深度聚合模块，以促进纹理和深度特征的有效融合。由于改进的运动表示、训练损失函数和模型结构的优点，我们的方法在伪激光雷达点云插值任务上获得了显著的改进。KITTI数据集上的实验结果表明，所提出的网络的最先进的性能，定量和定性。
2020-06-20 cs.CV
LiDAR-HMR: 3D Human Mesh Recovery from LiDAR
Department of Automation, Tsinghua University（自动化系，清华大学）
针对LiDAR点云稀疏、含噪、不完整的问题，本文提出LiDAR-HMR方法，通过级联graphormer结合点云特征，以稀疏到密集的方案从LiDAR点云重建3D人体网格，在三个公开数据集上验证了有效性。
2025-10-02 cs.CV
Poster: Making Edge-assisted LiDAR Perceptions Robust to Lossy Point Cloud Compression
Georgia Institute of Technology（佐治亚理工学院）；Ericsson Research（爱立信研究院）
本文提出一种基于深度梯度的LiDAR点云距离图像插值算法，有效减轻了边缘辅助感知中有损压缩导致的点云质量下降与感知性能损失。
2023-09-08 cs.CV cs.DC cs.MM
Augmented Semantic Signatures of Airborne LiDAR Point Clouds for Comparison
International Institute of Information Technology Bangalore（班加罗尔国际信息技术学院）
LiDAR点云提供了丰富的几何信息，这对于分析城市区域的复杂场景特别有用。寻找两个不同的三维点云之间的结构和语义差异，说，同一地区，但在不同的时间实例获得的是一个重要的问题。点云的比较涉及计算上昂贵的配准和分割。我们感兴趣的是捕捉的几何不确定性和语义内容的点云没有注册过程中的相对差异。因此，我们提出了一个方向不变的几何签名的点云，它集成了其概率几何和语义分类。我们研究了几何签名的不同属性，这是一个基于图像的几何不确定性和语义内容的编码。我们探索不同的指标来确定这些签名之间的差异，从而在不执行点对点配准的情况下比较点云。我们的研究结果表明，签名的差异与点云的几何和语义差异相印证。
2020-08-08 cs.CV cs.GR eess.IV
PanoNet3D: Combining Semantic and Geometric Understanding for LiDARPoint Cloud Detection
Carnegie Mellon University（卡内基梅隆大学）
自动驾驶感知中的视觉数据，如摄像头图像和LiDAR点云，可以解释为语义特征和几何结构两个方面的混合物。语义来自传感器对象的外观和上下文，而几何结构是点云的实际3D形状。大多数LiDAR点云上的探测器只关注于分析真实3D空间中物体的几何结构。与以前的作品不同，我们建议通过一个统一的多视图框架来学习语义特征和几何结构。我们的方法利用了LiDAR扫描的性质- 2D范围图像，并应用经过充分研究的2D卷积来提取语义特征。通过融合语义和几何特征，我们的方法在所有类别中的表现都大大优于最先进的方法。结合语义和几何特征的方法提供了一个独特的视角来看待现实世界中的3D点云检测问题。
2020-12-17 cs.CV
LiDARTag: A Real-Time Fiducial Tag System for Point Clouds
University of Michigan（密歇根大学）
基于图像的基准标记在诸如杂乱或无纹理环境中的对象跟踪、相机（和多传感器）校准任务以及基于视觉的同时定位与地图构建（SLAM）的问题中是有用的。最先进的基准标记检测算法依赖于环境照明的一致性。本文介绍了LiDARTag，一种新的基准标签的设计和检测算法，适用于光探测和测距（LiDAR）点云。所提出的方法实时的【形】运行，可以以100 Hz的频率处理数据，这比目前可用的LiDAR传感器频率更快。由于LiDAR传感器的性质，快速变化的环境照明不会影响LiDAR标签的检测;因此，所提出的基准标记可以在完全黑暗的环境中操作。此外，LiDARTag很好地补充并兼容现有的视觉基准标记，如AprilTags，允许有效的多传感器融合和校准任务。我们进一步提出了一个概念，最大限度地减少点云和标记的模板之间的拟合误差来估计标记的姿态。该方法实现了毫米级的平移误差和几度的旋转误差。由于激光雷达回波的稀疏性，点云被提升到一个连续的函数在再生核希尔伯特空间的内积可以用来确定标记的ID。实验结果，通过运动捕捉系统验证，证实了所提出的方法可以可靠地提供一个标签的姿态和唯一的ID代码。在Google Cartographer室内数据集和Honda H3 D室外数据集上验证了假阳性的拒绝。所有实现都是用C++编写的，可以在https://github.com/UMich-BipedLab/LiDARTag上找到。
2021-02-13 cs.CV cs.LG cs.RO
Stress-Testing Point Cloud Registration on Automotive LiDAR
Tel-Aviv University（特拉维夫大学）
刚性点云配准（PCR）算法旨在估计两个点云之间的6-DOF相对运动，这在包括自动驾驶在内的各个领域都很重要。近年来，已经看到全局PCR算法的显著改进，即可以处理大的相对运动的算法。这已经在各种场景中得到了证明，包括室内场景，但仅在汽车环境中进行了最低限度的测试，其中点云由车载LiDAR传感器产生。在这项工作中，我们的目标是回答对汽车应用很重要的问题，包括：哪种新算法最准确，哪种算法最快？深度学习方法的可移植性如何，例如，当你用波士顿的数据训练一个网络，然后在新加坡的车辆上运行它时，会发生什么？在算法开始恶化之前，点云之间的重叠可以有多小？算法在多大程度上是旋转不变的？我们的结果有时令人惊讶。当比较鲁棒参数估计方法的注册，我们发现，最快和最准确的不是最新的方法之一。相反，它是众所周知的RANSAC技术的现代变体。我们还提出了一种新的离群值过滤方法，网格优先过滤（GPF），以进一步改善它。这项工作的另一个贡献是从汽车LiDAR数据集中选择具有挑战性的帧对集的算法。这可以在汽车LiDAR设置中实现有意义的基准测试，还可以改进学习算法的训练。
2022-11-25 cs.CV cs.LG
An optimal hierarchical clustering approach to segmentation of mobile LiDAR point clouds
University of Calgary（卡尔加里大学）
提出了一种基于层次聚类的移动LiDAR点云分割方法。我们执行无组织的点云上的邻近矩阵的基础上的层次聚类。邻近矩阵中的相异性度量是通过聚类之间的欧氏距离和给定点处法向量的差来计算的。本文的主要贡献是成功地对层次聚类中的聚类组合进行了优化。该组合通过实现二分图的匹配来获得，并通过求解最小代价完美匹配来优化。实验结果表明，提出的最优层次聚类（OHC）方法能够自动实现多个独立目标的分割，并且优于现有的激光雷达点云分割方法。
2017-11-09 cs.CV
GAN-Based LiDAR Intensity Simulation
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；e:fs TechHub GmbH（e:fs技术中心有限公司）
本文提出利用相机图像的分割数据和稠密深度图辅助GAN训练，并通过目标检测网络在真实与合成点云间的泛化测试评估LiDAR仿真效果，实现逼真的LiDAR点云生成。
2023-11-26 cs.CV eess.IV
