Unsupervised Neural Sensor Models for Synthetic LiDAR Data Augmentation
Valeo Egypt AI Research（法雷奥埃及人工智能研究院）；Cairo University（开罗大学）
数据稀缺是基于机器学习的感知模块的瓶颈，通常通过使用来自模拟器的合成数据来增强真实数据来解决。车辆感知传感器的现实模型很难以封闭的形式表达，同时，它们需要存在待学习的成对数据。在这项工作中，我们提出了两个无监督的神经传感器模型的基础上不成对的域转换与CycleGAN和神经风格转移技术。我们采用CARLA作为模拟环境来获得模拟的LiDAR点云，以及它们的注释用于数据增强，并且我们使用KITTI数据集作为真实的LiDAR数据集，从中我们学习现实的传感器模型映射。此外，我们提供了一个框架，用于数据增强和评估开发的传感器模型，通过外部对象检测任务评估使用YOLO网络适应于提供定向的边界框激光雷达鸟瞰投影点云。对来自KITTI数据集的看不见的真实LiDAR帧进行评估，使用两种方法进行了不同数量的模拟数据增强，显示出目标检测任务的6%mAP的改进，有利于增强LiDAR点云，该点云与原始模拟LiDAR相比采用了建议的神经传感器模型。
2019-11-24 cs.CV cs.LG eess.IV
HD-OOD3D: Supervised and Unsupervised Out-of-Distribution object detection in LiDAR data
Mines Paris, PSL University, Centre for robotics (CAOR)（巴黎 Mines 大学，机器人中心（CAOR））；U2IS, ENSTA, Institut Polytechnique de Paris（ENSTA，巴黎理工学院）
提出HD-OOD3D两阶段方法检测LiDAR数据中的分布外目标，证明两阶段优于单阶段，并探索无监督伪标签策略，发现top-5自动标注性能更优。
2025-09-15 cs.CV
Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object Detection
Halmstad University（哈尔姆斯塔德大学）
本文提出一种仅依赖LiDAR和场景语义的伪点云生成框架，通过分割模型与多模态域转换器生成密集语义点云，并利用语义引导投影提升3D目标检测性能，在KITTI上取得最高2.9%的提升。
2023-09-16 cs.CV
R-AGNO-RPN: A LIDAR-Camera Region Deep Network for Resolution-Agnostic Detection
Sherpa Engineering（Sherpa工程公司）；Université Clermont Auvergne（克莱蒙奥弗涅大学）；SIGMA Clermont（克莱蒙西格玛工程师学院）；Institut Pascal（帕斯卡研究所）；Centrale Nantes（南特中央理工学院）；LS2N（南特数字科学实验室）
现有的基于神经网络的目标检测方法处理LiDAR点云时，一般都是从一种LiDAR传感器训练得到的。然而，当用来自与用于训练的LiDAR传感器不同的LiDAR传感器的数据来测试它们时，它们的性能降低，即，不同的点云分辨率。本文提出了一种融合三维点云和RGB图像的区域建议网络R-AGNO-RPN，用于三维目标检测，而不受点云分辨率的影响。由于我们的方法也被设计用于低点云分辨率，因此所提出的方法专注于对象定位，而不是在减少的数据上估计细化的框。通过将图像特征精确映射到鸟瞰图和特定的数据增强过程来提高RGB图像的贡献，从而获得对低分辨率点云的恢复能力。为了展示所提出的网络处理不同点云分辨率的能力，对来自KITTI 3D目标检测和nuScenes数据集的数据进行了实验。此外，为了评估其性能，将我们的方法与著名的3D检测网络PointPillars进行了比较。实验结果表明，即使在经过原始点的$80\%$缩减后的点云数据上，该方法仍然能够给出相关的定位建议。
2020-12-10 cs.AI cs.CV cs.RO
PCSCNet: Fast 3D Semantic Segmentation of LiDAR Point Cloud for Autonomous Car using Point Convolution and Sparse Convolution Network
Hanyang University（汉阳大学）；Chonnam University（全南大学）；Konkuk University（建国大学）
自动驾驶汽车必须快速识别驾驶环境以确保安全驾驶。随着激光雷达（Light Detection And Range，LiDAR）传感器在自动驾驶汽车中的广泛应用，对传感器帧速率范围内的点云进行逐点分类的快速语义分割在驾驶环境识别中引起了人们的关注。基于体素和融合的语义分割模型是目前点云语义分割的主流模型，但由于体素分辨率高，计算量大，影响了其实时性。本文提出了一种基于点卷积和三维稀疏卷积的快速体素语义分割模型（PCSCNet）。所提出的模型的设计优于在高和低体素分辨率使用点卷积为基础的特征提取。此外，该模型在特征提取后使用3D稀疏卷积加速特征传播。实验结果表明，该模型在语义分割方面优于SemanticKITTI和nuScenes的实时模型，在LiDAR点云推理方面达到了实时性要求。
2022-02-21 cs.CV
Improving LiDAR 3D Object Detection via Range-based Point Cloud Density Optimization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Saskatchewan（萨斯喀彻温大学）
针对LiDAR 3D目标检测器远距区域性能不佳的问题，提出基于距离的点云密度优化预处理机制，用迭代MCMC估计不同距离的密度调整参数，在多个数据集和检测器上验证了性能提升效果。
2023-06-09 cs.CV
Robust 3D Object Detection using Probabilistic Point Clouds from Single-Photon LiDARs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Ubicept
针对激光雷达在复杂场景下点云误差导致检测精度下降的问题，提出带概率属性的概率点云表示及配套轻量推理方法，在多种挑战性场景中优于现有基线与融合模型。
2025-07-31 cs.CV
ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object Detection
Baidu Research（百度研究院）；National Engineering Laboratory of Deep Learning Technology and Application, China（中国深度学习技术与应用国家工程实验室）；University of Macau（澳门大学）；University of Technology Sydney（悉尼科技大学）；Beijing Institute of Technology（北京理工大学）
现有的无监督点云预训练方法都局限于场景级或点/体素级实例判别。场景级方法往往会丢失对识别道路对象至关重要的局部细节，而点/体素级方法固有地遭受有限的接收场，其无法感知大对象或上下文环境。考虑到区域级表示更适合3D目标检测，我们设计了一个新的无监督点云预训练框架，称为ProposalContrast，通过对比区域建议来学习鲁棒的3D表示。具体来说，通过从每个点云中采样的详尽的区域建议集，对每个建议内的几何点关系进行建模，以创建富有表现力的建议表示。为了更好地适应3D检测属性，ProposalContrast优化了集群间和提案间分离，即，锐化跨语义类和对象实例的建议表示的区分性。ProposalContrast的可推广性和可转移性在各种3D探测器上得到验证（即，PV-RCNN、CenterPoint、PointPillars和PointRCNN）和数据集（即，KITTI、Waymo和ONCE）。
2022-09-02 cs.CV
RIU-Net: Embarrassingly simple semantic segmentation of 3D LiDAR point cloud
Bordeaux INP（波尔多国立高等物理、数学与化学学院）；IGN（法国国家地理林业信息研究所）；ENSG（国立地理科学学院）
本文提出了RIU-Net（用于Range-Image U-Net），它是一种流行的语义分割网络的改编，用于3D LiDAR点云的语义分割。利用传感器的拓扑结构，将点云转换为二维距离图像。然后将该图像用作U形网络的输入。该体系结构已经证明了其有效性的医学图像的语义分割的任务。我们演示了它如何也可以用于3D激光雷达点云的准确语义分割，以及它如何代表图像处理和3D点云处理之间的有效桥梁。我们的模型是在从KITTI 3D目标检测数据集构建的距离图像上训练的。实验表明，RIU-Net尽管非常简单，但提供的结果与最先进的基于距离图像的方法相当。最后，我们证明了这种架构能够在单个GPU上以90 fps的速度运行，从而实现实时分割的部署。
2019-06-17 cs.CV
LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；Univ. Paris-Est（巴黎东大学）；IGN（法国国家地理研究院）；ENSG（法国国立地理科学学院）；GEOSAT（GEOSAT公司）
我们提出了LU-Net - for LiDAR U-Net，这是一种用于三维LiDAR点云语义分割的新方法。而不是应用一些全局3D分割方法，如PointNet，我们提出了一个端到端的架构，激光雷达点云语义分割，有效地解决了这个问题作为一个图像处理问题。我们首先提取每个点的高级3D特征，给定其3D邻居。然后，这些功能被投影到一个二维多通道距离图像，通过考虑传感器的拓扑结构。由于这些学习到的特征和这种投影，我们最终可以使用一个简单的U-Net分割网络来执行分割，它表现得非常好，同时非常高效。通过这种方式，我们可以利用数据的3D特性和LiDAR传感器的特异性。正如我们的实验所示，这种方法在KITTI数据集上的表现远远优于最先进的方法。此外，这种方法在单个GPU上以24 fps运行。这高于普通LiDAR传感器的采集速率，使其适用于实时应用。
2019-08-30 cs.CV
Cross-modal & Cross-domain Learning for Unsupervised LiDAR Semantic Segmentation
South China University of Technology（华南理工大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文提出CoMoDaL方法，在仅使用源域2D标注图像和目标域未标注2D-3D配对数据的新设置下，通过跨模态跨域蒸馏与域内跨模态引导实现无监督LiDAR语义分割。
2023-08-05 cs.CV
Panoptic-PolarNet: Proposal-free LiDAR Point Cloud Panoptic Segmentation
University of Central Florida（中佛罗里达大学）
全景分割提出了一个新的挑战，在利用检测和分割的优点，统一实例分割和语义分割在一个单一的框架的目标。然而，在激光雷达点云的新兴领域中，用于全景分割的有效解决方案仍然是一个开放的研究问题，并且还没有得到充分的探索。在本文中，我们提出了一个快速和强大的激光雷达点云全景分割框架，称为Panoptic-PolarNet。我们学习语义分割和类不可知的实例聚类在一个单一的推理网络使用极性鸟瞰图（BEV）表示，使我们能够规避城市街道场景中的实例之间的遮挡问题。为了提高网络的可学习性，我们还提出了一种自适应的实例增强技术和一种新的对抗性点云修剪方法。我们的实验表明，Panoptic-PolarNet在SemanticKITTI和nuScenes数据集上的性能优于基线方法，具有几乎实时的推理速度。Panoptic-PolarNet在公共SemanticKITTI全景分割排行榜上实现了54.1%的PQ，并在nuScene验证集上取得了领先的性能。
2021-03-27 cs.CV
SFPNet: Sparse Focal Point Network for Semantic Segmentation on General LiDAR Point Clouds
Institute of Medical Robotics（医学机器人研究所）；Shanghai Jiao Tong University（上海交通大学）
针对LiDAR语义分割模型泛化性差的问题，提出SFPNet，用稀疏焦点调制替代窗口注意力，并引入混合固态LiDAR数据集，在多种基准上取得最优性能。
2024-07-16 cs.CV
Fusing Bird View LIDAR Point Cloud and Front View Camera Image for Deep Object Detection
University of California, Berkeley（加利福尼亚大学伯克利分校）；Department of Mechanical Engineering（机械工程系）
我们提出了一种在深度卷积神经网络（CNN）中融合LIDAR点云和相机捕获图像的新方法。该方法构造了一个新的层，称为非均匀池层，用于鸟瞰图和正视图之间的特征转换。稀疏LIDAR点云用于构建两个地图之间的映射。池化层允许在网络的任何阶段有效地融合鸟瞰图和正视图特征。这对于在自动驾驶场景中使用相机-LIDAR融合的3D-目标检测是有利的。设计了相应的深度CNN，并在KITTI鸟瞰图目标检测数据集上进行了测试，该数据集从鸟瞰图中产生3D边界框。与其他基于融合的目标检测网络相比，该融合方法对鸟瞰图中行人的检测具有特别的优势。
2018-02-14 cs.CV cs.LG
3D Object Detection in LiDAR Point Clouds using Graph Neural Networks
LiDAR（Light Detection and Ranging）是一种先进的主动遥感技术，其工作原理是旅行时间（ToT），用于捕获周围环境的高精度3D信息。LiDAR在研发方面获得了广泛关注，预计到2025年LiDAR产业将达到28亿美元。虽然LiDAR数据集具有高密度和高空间分辨率，但由于其固有的3D几何形状和庞大的体积，处理LiDAR数据具有挑战性。但是这样的高分辨率数据集在许多应用中具有巨大的潜力，并且在3D目标检测和识别中具有巨大的潜力。在这项研究中，我们提出了基于图神经网络（GNN）的框架来学习和识别三维激光雷达点云中的对象。GNN是一类深度学习，它基于图学习的原理学习模式和对象，在各种3D计算机视觉任务中取得了成功。
2023-02-08 cs.CV cs.LG stat.ML
2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shanghai University（上海大学）；Tencent Map, T Lab（腾讯地图T实验室）
由于相机和激光雷达传感器捕获自动驾驶中使用的互补信息，因此已经做出了很大努力来通过多模态数据融合开发语义分割算法。然而，基于融合的方法需要成对的数据，即，LiDAR点云和相机图像具有严格的点到像素映射，作为训练和推理的输入，这严重阻碍了其在实际场景中的应用。因此，在这项工作中，我们提出了二维先验辅助语义分割（2DPASS），一个通用的训练计划，以提高点云的表示学习，充分利用2D图像具有丰富的外观。在实际应用中，2DPASS通过辅助模态融合和多尺度融合到单一知识蒸馏（MSFSKD），从多模态数据中获取更丰富的语义和结构信息，然后在线蒸馏到纯3D网络。因此，配备2DPASS后，我们的基线仅使用点云输入就显示出显著的改进。具体来说，它在两个大规模基准测试（即SemanticKITTI和NuScenes）上达到了最先进的水平，包括SemanticKITTI的单次和多次扫描比赛中的前1名结果。
2022-10-14 cs.CV
Semantic Segmentation of Surface from Lidar Point Cloud
Jadavpur University（贾达普大学）
在用于机器人导航的SLAM（同时定位与地图构建）领域中，环境地图构建是一项重要任务。在这方面，激光雷达传感器可以实时的以点云的格式产生环境的接近精确的3D地图。虽然这些数据足以提取与SLAM相关的信息，但处理点云中的数百万个点在计算上是相当昂贵的。提出的方法提出了一种快速算法，可用于提取语义标记的表面片段从云，在实时的，直接导航使用或更高级别的上下文场景重建。首先，来自旋转激光雷达的单次扫描用于在线生成子采样云点的网格。生成的网格进一步用于这些点的表面法线计算，基于这些点估计表面段。提出了一种新的描述符来表示表面片段，并利用分类器来确定片段的表面类（语义标签）。这些语义表面片段可以进一步用于场景中对象的几何重建，或者可以用于机器人的优化轨迹规划。所提出的方法进行了比较，点云分割方法和最先进的语义分割方法的数量，以强调其在速度和准确性方面的功效。
2020-09-13 cs.CV
CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Toronto（多伦多大学）
快速准确的激光雷达点云全景分割系统对于自动驾驶车辆理解周围物体和场景至关重要。现有的方法通常依赖于建议或聚类来分割前景实例。因此，它们很难实现实时性能。在本文中，我们提出了一种新的实时端到端的激光雷达点云全景分割网络，称为CPSeg。特别地，CPSeg包括共享编码器、双解码器和无簇实例分割头，其能够根据学习的嵌入来动态地柱化前景点。然后，它通过使用成对嵌入比较找到连接的柱子来获取实例标签。因此，传统的基于建议或基于聚类的实例分割转化为成对嵌入比较矩阵上的二进制分割问题。为了帮助网络回归实例的嵌入，提出了一种快速确定性的深度补全算法，实时计算每个点云的表面法线。该方法在两个大规模自动驾驶数据集SemanticKITTI和nuScenes上进行了基准测试。值得注意的是，大量的实验结果表明，CPSeg在两个数据集上的实时方法中取得了最先进的结果。
2023-02-03 cs.CV
Learning to Detect Objects from Multi-Agent LiDAR Scans without Manual Labels
Xiamen University（厦门大学）；Shanghai Jiao Tong University（上海交通大学）；Wuhan University（武汉大学）
本文提出无监督多智能体LiDAR 3D物体检测方法DOtA，利用智能体共享位姿与互补观测生成高质量伪标签，在V2V4Real和OPV2V上超越现有方法。
2025-03-13 cs.CV
Optimal Transport for Change Detection on LiDAR Point Clouds
Istituto Italiano di Tecnologia（意大利技术研究院）；RIKEN AIP（理化学研究所人工智能研究中心）；Kyoto University（京都大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
针对机载 LiDAR 点云因空间支撑不匹配、噪声及标注缺乏导致的变化检测难题，提出基于非平衡最优传输的无监督三维点传输方法，支持多类分类并显著超越现有无监督方法。
2023-11-08 cs.CV cs.LG eess.IV
An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds
Google Research（谷歌研究院）
在3D LiDAR数据中检测物体是自动驾驶和其他机器人应用的核心技术。虽然LiDAR数据是随时间采集的，但大多数3D目标检测算法针对每个帧独立地提出对象边界框，而忽略了时域中可用的有用信息。为了解决这个问题，在本文中，我们提出了一种基于稀疏LSTM的多帧三维目标检测算法。我们使用U-Net风格的3D稀疏卷积网络来提取每帧LiDAR点云的特征。这些特征与上一帧的隐藏和记忆特征一起被馈送到LSTM模块，以预测当前帧中的3d对象以及传递到下一帧的隐藏和记忆特征。在Waymo开放数据集上的实验表明，我们的算法比传统的逐帧方法提高了7.5%mAP@0.7，比其他多帧方法提高了1.2%，同时每帧使用更少的内存和计算量。据我们所知，这是第一个使用LSTM在稀疏点云中进行3D目标检测的工作。
2020-07-24 cs.CV cs.LG eess.IV
Deep Unsupervised Common Representation Learning for LiDAR and Camera Data using Double Siamese Networks
ETH Zürich（苏黎世联邦理工学院）
传感器模态的域间隙对自主机器人的设计提出了挑战。为了缩小这一差距，我们提出了两个无监督的训练框架，用于找到LiDAR和相机数据的共同表示。第一种方法利用双连体训练结构来确保结果的一致性。第二种方法使用Canny边缘图像引导网络朝向期望的表示。所有网络都是以无监督的方式训练的，为可扩展性留出了空间。使用常见的计算机视觉应用程序的结果进行评估，并概述了所提出的方法的局限性。
2020-01-03 cs.CV cs.RO
UnDeepLIO: Unsupervised Deep Lidar-Inertial Odometry
Nanjing University of Science and Technology（南京理工大学）；PCA Lab（PCA实验室）
广泛的研究工作致力于基于深度学习的里程计。尽管如此，很少有人在无人监督的深层激光雷达测距方面做出努力。在本文中，我们设计了一个新的框架，用于无监督激光雷达测距与惯性测量单元，这是从来没有使用在其他深度的方法。首先，一对连体LSTM被用来获得初始位姿从线加速度和角速度的IMU。使用初始姿势，我们对当前帧执行刚性变换，并将其对齐到更靠近上一帧的位置。然后从变换后的点云及其法线中提取顶点和法线特征。然后提出了一个双分支注意力模块，分别从提取的顶点和法向特征中估计残余旋转和平移。最后，我们的模型输出初始姿势和剩余姿势的总和作为最终姿势。对于无监督训练，我们引入了一个无监督的损失函数，它被用于体素化的点云。所提出的方法进行评估的KITTI里程估计基准，并实现了与其他国家的最先进的方法相比的性能。
2021-09-03 cs.CV cs.RO
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology（南方科技大学）；Jimei University（集美大学）
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题，最近随着新型激光雷达的出现变得更加苛刻，这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力，而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离，但具有稀疏的角分辨率，因此在径向测量中测量是精确的，但缺乏角度。另一方面，相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体，估计他们的速度，同时纠正点云失真。该框架在真实道路数据上进行了评估，融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的（https：//github.com/ISEE-Technology/lidar-with-velocity），以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
UnPWC-SVDLO: Multi-SVD on PointPWC for Unsupervised Lidar Odometry
高精度激光雷达里程计是自动驾驶的重要组成部分。近年来，深度学习方法在激光雷达测距任务中得到了广泛的应用，但目前的方法大多只提取点云的全局特征。用这种方法不可能获得更详细的点级特征。此外，仅使用完全连接的层来估计姿态。全连接层在分类任务中取得了明显的效果，但姿态的变化是一个连续而非离散的过程，仅使用全连接层无法获得高精度的姿态估计。我们的方法避免了上述问题。我们使用PointPWC作为我们的骨干网络。PointPWC最初用于场景流估计。场景流估计任务与激光雷达里程具有很强的相关性。将场景流与源点云叠加得到目标点云。通过奇异值分解求解ICP算法，直接实现姿态的确定，不再使用全连通层。PointPWC从不同采样级别的点云中提取点级特征，解决了特征提取过于粗糙的问题。我们在KITTI，Ford Campus Vision和Lidar DataSe以及Apollo-SouthBay数据集上进行了实验。我们的结果与最先进的无监督深度学习方法SelfVoxeLO相当。
2022-05-17 cs.CV cs.RO
Unsupervised Domain Adaptation for LiDAR Panoptic Segmentation
University of Freiburg（弗莱堡大学）
场景理解是自主车辆在环境中安全导航的关键任务。深度学习的最新进展使人们能够从LiDAR数据中准确地重建周围环境的语义。然而，这些模型在部署在配备不同LiDAR设置的车辆上时遇到了很大的域差距，这大大降低了它们的性能。由于记录和手动标记新数据的过程昂贵且繁琐，因此为每个新设置微调模型是不可行的。因此，无监督领域自适应（UDA）技术是必不可少的，以填补这一领域的差距，并保持新的传感器设置模型的性能，而不需要额外的数据标记。在本文中，我们提出了AdaptLPS，一种新的UDA激光雷达全景分割的方法，利用特定于任务的知识，并占扫描线的数量，安装位置，强度分布和环境条件的变化。我们采用两个互补的领域自适应策略，基于数据和基于模型的UDA任务。虽然基于数据的自适应通过处理原始LiDAR扫描以类似于目标域中的扫描来减少域间隙，但基于模型的技术指导网络提取代表两个域的特征。对三对真实世界自动驾驶数据集的广泛评估表明，AdaptLPS在PQ得分方面优于现有的UDA方法高达6.41 pp。
2022-02-28 cs.CV cs.RO
Noise-Aware Unsupervised Deep Lidar-Stereo Fusion
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；ACRV；Data61 CSIRO（联邦科学与工业研究组织Data61）；NEC Laboratories America（NEC美国实验室）
在本文中，我们提出了LidarStereoNet，这是第一个无监督的激光雷达立体融合网络，可以以端到端的方式进行训练，而不需要地面真实深度图。通过引入一种新的“反馈回路”来连接网络输入与输出，LidarStereoNet可以解决现有激光雷达立体融合研究中忽略的噪声激光雷达点和传感器之间的不对准问题。此外，我们建议将分段平面模型纳入网络学习，以进一步约束深度，以符合底层的3D几何结构。在真实和合成数据集上进行的广泛的定量和定性评估表明了我们方法的优越性，它明显优于最先进的立体匹配，深度完成和激光雷达立体融合方法。
2019-04-08 cs.CV
Unsupervised Intrinsic Image Decomposition with LiDAR Intensity
NTT Human Informatics Laboratories（NTT人类信息学实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）
内在图像分解（IID）是将自然图像分解为灰度和阴影的任务。虽然IID通常通过监督学习方法来解决，但由于在一般场景中难以观察地面真实阴影和阴影，因此它并不理想。相反，无监督学习方法目前表现不如监督学习方法，因为没有解决不适定问题的标准。最近，光探测和测距（LiDAR）由于其能够进行高精度距离测量而被广泛使用。因此，我们专注于利用LiDAR，特别是LiDAR强度，来解决这个问题。在本文中，我们提出了无监督的内在图像分解与激光雷达强度（IID-LI）。由于传统的无监督学习方法由图像到图像的变换组成，因此简单地输入LiDAR强度不是一种有效的方法。因此，我们设计了一个强度一致性损失，计算激光雷达强度和灰度间的误差，为不适定问题提供了一个标准。此外，激光雷达强度是难以处理的，由于其稀疏性和遮挡，因此，激光雷达强度致密化模块的建议。我们使用我们自己的数据集验证了估计质量，其中包括RGB图像，LiDAR强度和人类判断的注释。因此，我们实现了优于传统的无监督学习方法的估计精度。数据集链接：（https：//github.com/ntthilab-cv/NTT-intrinsic-dataset）。
2023-03-28 cs.CV
DeepLO: Geometry-Aware Deep LiDAR Odometry
KAIST（韩国科学技术院）
最近，基于学习的自我运动估计方法引起了人们的强烈兴趣，主要集中在视觉感知的研究。这些突破性的工作集中在里程估计的无监督学习，但主要是视觉传感器。与图像相比，在一些研究中已经报道了使用光检测和测距（LiDAR）的基于学习的方法，其中最常见的是提出了监督学习框架。在本文中，我们提出了一种新的方法，可以通过监督和无监督框架进行几何感知的深度LiDAR测距训练。我们将迭代最近点（ICP）算法纳入深度学习框架，并展示了所提出的管道的可靠性。我们提供了两个损失函数，允许在监督和无监督学习之间切换，这取决于训练阶段的真实有效性。使用KITTI和Oxford RobotCar数据集的评估表明，所提出的方法在实现姿态精度时具有出色的性能和效率。
2019-02-27 cs.CV cs.RO
FuseSeg: LiDAR Point Cloud Segmentation Fusing Multi-Modal Data
Graz University of Technology（格拉茨工业大学）
提出了一种简单有效的LiDAR和RGB数据融合方法来分割LiDAR点云。利用激光雷达传感器的密集本地范围表示和设置校准，我们建立两个输入模态之间的点对应关系。随后，我们能够将特征从一个域弯曲并融合到另一个域中。因此，我们可以在一个网络中联合利用来自两个数据源的信息。为了显示我们的方法的优点，我们扩展了SqueezeSeg，一个点云分割网络，具有RGB特征分支，并将其融合到原始结构中。我们的扩展名为FuseSeg，在KITTI基准测试中提高了高达18%的IoU。除了提高精度外，我们还实现了50 fps的实时性能，是KITTI LiDAR数据记录速度的五倍。
2019-12-19 cs.CV cs.RO
LiDAR-UDA: Self-ensembling Through Time for Unsupervised LiDAR Domain Adaptation
University of Washington（华盛顿大学）
本文提出LiDAR-UDA，一种两阶段自训练无监督域自适应方法，通过LiDAR光束子采样和跨帧时间集成减少传感器差异、提升伪标签质量，在多个数据集上平均mIoU超越现有方法3.9%以上。
2023-09-24 cs.CV
Pseudo-LiDAR for Visual Odometry
China University of Mining and Technology（中国矿业大学）；Shanghai Jiao Tong University（上海交通大学）
在现有方法中，LiDAR测距法表现出优越的性能，但视觉里程计因其价格优势仍被广泛应用。传统上，视觉里程计的任务主要依赖于连续图像的输入。然而，里程计网络学习图像提供的对极几何信息是非常复杂的。本文将伪激光雷达的概念引入到里程测量中来解决这一问题。伪LiDAR点云将图像生成的深度图反投影到3D点云中，改变了图像的表示方式。与立体图像相比，由立体匹配网络生成的伪LiDAR点云可以得到明确的三维坐标。由于6自由度（DoF）位姿变换发生在3D空间中，因此由伪LiDAR点云提供的3D结构信息比图像更直接。与稀疏LiDAR相比，伪LiDAR具有更密集的点云。为了充分利用伪激光雷达提供的丰富点云信息，采用了一种投影感知的密集测距流水线。大多数以前的基于LiDAR的算法从点云中采样8192个点作为里程计网络的输入。投影感知密集测距管道将从图像生成的所有伪LiDAR点云（除了错误点）作为网络的输入。在充分利用图像中三维几何信息的同时，图像中的语义信息也被用于里程计任务。2D-3D的融合是在仅基于图像的里程计中实现的。在KITTI数据集上的实验证明了该方法的有效性。据我们所知，这是第一个使用伪激光雷达的视觉里程计方法。
2022-09-04 cs.CV cs.RO
LiDAR Iris for Loop-Closure Detection
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）；MIT（麻省理工学院）
在本文中，一个全球性的激光雷达点云描述符，称为激光雷达虹膜，提出了快速，准确的闭环检测。在对LiDAR-Iris图像表示进行若干LoG-Gabor滤波和阈值化操作之后，可以针对每个点云获得二进制签名图像。给定两个点云，它们的相似度可以计算为分别从两个点云提取的两个对应的二值签名图像的汉明距离。如果假设3D（x，y，yaw）姿态空间，我们的LiDAR-Iris方法可以通过LiDAR-Iris表示的傅立叶变换在描述符级别实现姿态不变的闭环检测，尽管我们的方法通常可以通过重新对齐点云与附加的IMU传感器来应用于6D姿态空间。在五个道路场景序列上的实验结果表明，该算法具有良好的环路闭合检测性能。
2020-07-02 cs.CV cs.RO
On Enhancing Ground Surface Detection from Sparse Lidar Point Cloud
TrunkTech
点云数据中的地面检测是自动驾驶系统中的一个关键模块。不同于以往的方法，主要是开发高光束分辨率的激光雷达，如Velodyne HDL-64，本文提出的地面检测技术适用于更稀疏的点云捕获的激光雷达与低光束分辨率，如Velodyne VLP-16。该方法基于平面拟合的RANSAC方案。平面假设的内点验证是通过利用逐点切线来增强的，逐点切线是可用于计算的局部特征，而不管激光雷达光束的密度如何。不完全平坦的地面由多个（具体地，在我们的实现中为4个）不相交的平面区域拟合。通过假设这些平面区域是矩形的，并利用积分图像技术，我们的方法近似地找到了最佳的区域划分和平面假设下的RANSAC计划与实时计算复杂性。
2021-05-25 cs.CV cs.RO
Unsupervised 4D LiDAR Moving Object Segmentation in Stationary Settings with Multivariate Occupancy Time Series
Telekooperation Lab, Technical University Darmstadt（达姆施塔特工业大学远程协作实验室）
在这项工作中，我们解决了从固定传感器记录的4D LiDAR数据中的无监督运动对象分割（MOS）问题，其中不涉及地面实况注释。用于LiDAR MOS的基于深度学习的最先进方法强烈依赖于注释的地面实况数据，这是昂贵的获得和稀缺的存在。为了缩小固定设置中的这一差距，我们提出了一种新的基于多变量时间序列的4D LiDAR表示，该表示将无监督MOS的问题放松为时间序列聚类问题。更具体地说，我们提出了一个多变量占用时间序列（MOTS），它捕捉体素水平上的时空占用变化及其周围的邻居的体素的占用率的变化建模。为了执行无监督MOS，我们训练一个神经网络在一个自我监督的方式编码MOTS到体素级的特征表示，它可以通过聚类算法分为移动或静止。在来自原始KITTI数据集的静止场景上的实验表明，我们的完全无监督方法的性能与有监督的最先进方法相当。
2023-01-12 cs.CV
Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling
Department of Computer Science and Engineering, Toyohashi University of Technology（丰桥技术科学大学计算机科学与工程系）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）
研究图像到点云配准难题，提出将激光雷达视为成像传感器的方法，通过条件整流流、特征匹配等步骤估计位姿，经自监督预训练和少量数据微调，实现高精度快速配准，性能优于现有方法。
2026-07-17 cs.CV cs.RO
End-to-End LiDAR optimization for 3D point cloud registration
Université Laval（拉瓦尔大学）；Bentley Systems（贝恩特系统）
本文提出端到端自适应激光雷达框架，通过动态调整参数优化点云配准，提升精度与效率，并在CARLA模拟中验证其优于固定参数方法的性能。
2026-02-11 cs.CV cs.RO
SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving
Halmstad University（哈尔姆斯塔德大学）；Volvo Technology AB（沃尔沃技术公司）
在本文中，我们介绍了一种深度编码器-解码器网络，名为SalsaNet，用于3D LiDAR点云的有效语义分割。SalsaNet通过采用点云的鸟瞰图（BEV）图像投影来分割道路（即可驾驶的自由空间）和场景中的车辆。为了克服缺乏注释的点云数据，特别是对于路段，我们引入了自动标记过程，该过程将自动生成的标签从相机传输到LiDAR。我们还通过比较BEV与球形前视图投影来探索LiDAR数据的类图像投影在语义分割中的作用，并表明SalsaNet是投影不可知的。我们对KITTI数据集进行了定量和定性评估，结果表明，所提出的SalsaNet在准确性和计算时间方面优于其他最先进的语义分割网络。我们的代码和数据可在https://gitlab.com/aksoyeren/salsanet.git上公开获取。
2019-09-18 cs.CV cs.RO
Unsupervised Domain Adaptation in LiDAR Semantic Segmentation with Self-Supervision and Gated Adapters
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在本文中，我们专注于一个较少探索，但更现实和复杂的LiDAR语义分割领域自适应的问题。当训练（源域）和测试（目标域）数据来自不同的LiDAR传感器时，现有分割模型的性能会显着下降。为了克服这个缺点，我们提出了一个无监督的领域自适应框架，利用未标记的目标域数据进行自我监督，再加上一个不成对的掩码转移策略，以减轻域转移的影响。此外，我们引入了门控适配器模块与少量的参数到网络中，以占目标域特定的信息。从真实到真实和合成到真实LiDAR语义分割基准两者适配的实验证明了相对于现有技术的显著改进。
2022-03-21 cs.CV
Person-MinkUNet: 3D Person Detection with LiDAR Point Cloud
Visual Computing Institute（视觉计算研究所）；RWTH Aachen（亚琛工业大学）
在这个初步的工作中，我们试图应用子流形稀疏卷积的任务的三维人检测。特别是，我们提出了Person-MinkUNet，这是一个基于Minkowski Engine和U-Net架构的单级3D人物检测网络。该网络在JRDB 3D检测基准上达到了76.4%的平均精度（AP）。
2021-07-03 cs.CV cs.RO
Real-Time LiDAR Point Cloud Densification for Low-Latency Spatial Data Transmission
NTT Human Informatics Laboratories（NTT人机信息实验室）
本文提出了一种基于卷积神经网络的实时LiDAR点云密集化方法，实现低延迟的3D场景生成与深度补全，效率比传统方法快15倍。
2026-01-13 cs.CV cs.RO
UADA3D: Unsupervised Adversarial Domain Adaptation for 3D Object Detection with Sparse LiDAR and Large Domain Gaps
KTH Royal Institute of Technology（瑞典皇家理工学院）；Hamburg University of Technology（汉堡工业大学）
本文提出UADA3D，一种不依赖预训练源模型或师生架构的无监督对抗域适应方法，用于在稀疏LiDAR点云和大域差距条件下提升3D目标检测性能，并在自动驾驶汽车与移动机器人场景中验证了有效性。
2024-10-21 cs.AI cs.CV cs.RO
HeLiMOS: A Dataset for Moving Object Segmentation in 3D Point Clouds From Heterogeneous LiDAR Sensors
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院电气工程学院）；Center for Robotics, University of Bonn（波恩大学机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对现有MOS研究多聚焦机械旋转LiDAR、缺少固态LiDAR点云MOS标注数据集的问题，本文提出含四类异构LiDAR数据的HeLiMOS数据集，搭配自动标注方法降低标注成本，并验证了现有方法性能，指明传感器无关MOS研究新方向。
2024-08-12 cs.CV cs.RO
LiDARDraft: Generating LiDAR Point Cloud from Versatile Inputs
TongjiUniversity（同济大学）
LiDARDraft通过3D布局桥梁实现从多样化输入生成可控的LiDAR点云，支持自动驾驶环境的创建。
2026-07-30 cs.CV
See Eye to Eye: A Lidar-Agnostic 3D Detection Framework for Unsupervised Multi-Target Domain Adaptation
Australian Centre for Field Robotics（澳大利亚现场机器人研究中心）；University of Sydney（悉尼大学）
本文提出无监督多目标域自适应框架SEE，通过插值几何结构并归一化扫描模式，实现三维检测器在固定与可调扫描模式激光雷达间的性能迁移，无需终端用户微调，并在公开数据集及新型高分辨率激光雷达上验证了有效性。
2023-04-10 cs.CV
Unsupervised multi-branch Capsule for Hyperspectral and LiDAR classification
Yunnan Minzu University（云南民族大学）
随着遥感数据的方便获取，如何建立模型来解译复杂的遥感数据引起了广泛的关注。在遥感数据中，高光谱图像包含光谱信息，LiDAR包含高程信息。因此，如何更好地融合不同源数据的特征，还有待于进一步的探索。本文引入语义理解，动态融合两个不同来源的数据，通过不同的胶囊网络分支提取HSI和LiDAR的特征，并将Canonical Capsule中的自监督丢失和随机刚性旋转改进到高维情况。Canonical Capsule通过置换等变注意力计算对象的胶囊分解，并且通过训练随机旋转对象对来自我监督该过程。通过语义理解融合HSI和LiDAR的特征，实现了光谱-空间-高程融合特征的无监督提取。通过HSI和LiDAR两个真实场景的融合实验，验证了多分支高维规范胶囊算法对HSI和LiDAR语义理解的有效性。实验结果表明，该模型可以有效地提取HSI和LiDAR数据特征，而不是现有的多源遥感数据的无监督提取模型。
2022-11-08 cs.AI cs.CV
LiDAR Data Enrichment Using Deep Learning Based on High-Resolution Image: An Approach to Achieve High-Performance LiDAR SLAM Using Low-cost LiDAR
Hong Kong Polytechnic University（香港理工大学）；Nanjing University of Science and Technology（南京理工大学）
在过去的几十年里，基于LiDAR的SLAM算法被广泛研究，为自动驾驶车辆（ADV）提供鲁棒和准确的定位。使用具有64个通道的高级3D LiDAR可以获得令人满意的性能，可以提供密集的点云。不幸的是，高昂的价格大大阻碍了其在ADV中的广泛商业化。具有成本效益的16通道3D LiDAR是一个有前途的替代品。然而，16通道LiDAR只能提供有限且稀疏的点云，这不能保证ADV在具有挑战性的动态环境中具有足够的定位精度。来自低成本相机的高分辨率图像可以提供有关周围环境的丰富信息。然而，显式深度信息不能从图像中获得。受3D LiDAR和相机互补性的启发，本文提出利用相机的高分辨率图像，基于最先进的深度学习算法，丰富低成本16通道LiDAR的原始3D点云。首先，ERFNet被用来分割的原始稀疏的三维点云的帮助下的图像。同时，在原始稀疏三维点云的基础上，采用稀疏卷积神经网络对密集点云进行预测。然后，使用一种新的多层卷积神经网络的ERFnet的分割输出融合的预测密集的点云，以改善预测的三维点云。最后，丰富的点云被用来执行激光雷达SLAM的基础上，最先进的正态分布变换（NDT）。我们在重新编辑的KITTI数据集上测试了我们的方法：（1）稀疏的3D点云显着丰富，均方误差为1.1m MSE。（2）从LiDAR SLAM生成的地图更密集，其包括更多细节而没有显著的准确性损失。
2020-08-09 cs.CV cs.LG cs.RO
SN-LiDAR: Semantic Neural Fields for Novel Space-time View LiDAR Synthesis
Shanghai Jiao Tong University（上海交通大学）；Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院）；Renji Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属仁济医院）
SN-LiDAR提出一种联合语义分割、几何重建与LiDAR新视角合成的方法，通过由粗到细的平面网格特征和CNN编码器融合多帧与当前帧特征，在SemanticKITTI和KITTI-360上验证了其在动态物体和大规模场景中的优越性能。
2025-04-11 cs.CV cs.RO
CNN-based Lidar Point Cloud De-Noising in Adverse Weather
Daimler AG（戴姆勒股份公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
激光雷达传感器经常用于自动驾驶汽车和移动机器人的环境感知，以补充相机，雷达和超声波传感器。不利的天气条件会导致不期望的测量点，进而影响遗漏检测和误报，从而显著影响基于激光雷达的场景理解的性能。在大雨或浓雾中，水滴可能会被误解为车辆前方的物体，从而使移动机器人完全停止。在本文中，我们提出了第一个基于CNN的方法来理解和过滤点云数据中的不利天气影响。使用在受控天气环境中获得的大型数据集，我们证明了我们的方法在最先进的几何滤波方面的显着性能改善。数据可在https://github.com/rheinzler/PointCloudDeNoising上查阅。
2020-02-12 cs.CV cs.RO
SALT: A Flexible Semi-Automatic Labeling Tool for General LiDAR Point Clouds with Cross-Scene Adaptability and 4D Consistency
Institute of Medical Robotics, Department of Automation, Shanghai Jiao Tong University（医学机器人研究所、自动化系、上海交通大学）
提出SALT，一种直接处理原始LiDAR点云的半自动标注工具，通过数据对齐零样本学习与4D一致性增强SAM2，实现跨场景高精度预分割，显著提升标注效率。
2025-06-23 cs.CV cs.RO
Real-Time Point Cloud Fusion of Multi-LiDAR Infrastructure Sensor Setups with Unknown Spatial Location and Orientation
RWTH Aachen University（亚琛工业大学）
使用基础设施传感器技术进行交通检测已经得到多次验证。然而，外部传感器校准对于操作员来说仍然是一个挑战。虽然以前的方法是无法校准的传感器，而不使用参考对象的传感器视场（FOV），我们提出了一种算法，是完全脱离外部援助，并完全自动运行。我们的方法侧重于激光雷达点云的高精度融合，并在模拟和实际测量中进行评估。我们将LiDAR设置为连续的钟摆运动，以便尽可能接近地模拟真实世界的操作，并增加对算法的要求。然而，在整个测量期间，它没有接收到关于LiDAR的初始空间位置和方向的任何信息。仿真和实际测量的实验表明，我们的算法可以实时的【形】对多达4个64层的LiDAR进行连续的点云配准。平均产生的平移误差在几厘米内，平均旋转误差低于0.15度。
2020-07-28 cs.CV cs.RO
LOL: Lidar-Only Odometry and Localization in 3D Point Cloud Maps
MTA SZTAKI, Hungarian Academy of Sciences, Institute for Computer Science and Control（匈牙利科学院计算机科学与控制研究所）
在本文中，我们处理的问题，里程计和定位激光雷达装备的车辆在城市环境中行驶，其中一个预制的目标地图存在本地化反对。在我们的问题公式中，为了校正仅激光雷达测距法的累积漂移，我们应用位置识别方法来检测在线3D点云和先验离线地图之间的几何相似位置。在拟议的系统中，我们将最先进的仅激光雷达里程计算法与最近提出的3D点段匹配方法集成在一起，以互补它们的优势。此外，我们提出了额外的增强功能，以减少在线点云和目标地图之间的错误匹配的数量，并细化位置估计误差时，检测到一个很好的匹配。我们在不同长度和环境的几个Kitti数据集上展示了所提出的LOL系统的实用性，在每种情况下，车辆轨迹的重新定位精度和精度都得到了显着提高，同时仍然能够保持实时性能。
2020-07-03 cs.CV cs.RO
An Efficient Plane Extraction Approach for Bundle Adjustment on LiDAR Point clouds
The University of Hong Kong（香港大学）
针对激光雷达光束法平差的精度和速度受平面提取质量制约的问题，提出基于体素、结合八叉树分裂、PCA平面判定与平面合并的高效提取方法，在HILTI数据集上实现精度最优、耗时最低。
2023-04-29 cs.CV cs.RO
Unsupervised confidence for LiDAR depth maps and applications
University of Bologna（博洛尼亚大学）
深度感知在许多领域都很关键，例如机器人和自动驾驶等。因此，诸如LiDAR的深度传感器在许多应用中迅速普及。这些传感器生成的3D点云通常必须与RGB相机相结合，以从语义上理解框架场景。通常，前者被投影在相机图像平面上，导致稀疏的深度图。不幸的是，这个过程，再加上影响所有深度传感器的固有问题，在最终输出中产生噪声和总异常值。有目的地，在本文中，我们提出了一个有效的无监督框架，旨在通过学习估计LiDAR稀疏深度图的置信度来明确解决这个问题，从而允许过滤出离群值。在KITTI数据集上的实验结果表明，我们的框架在这方面表现出色。此外，我们还展示了这一成就如何改善广泛的任务。
2022-10-06 cs.CV
