Scribble-Supervised LiDAR Semantic Segmentation
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
密集注释LiDAR点云仍然过于昂贵和耗时，无法跟上不断增长的数据量。虽然目前的文献集中在充分监督的性能，开发有效的方法，利用现实的弱监督还有待探索。在本文中，我们建议使用涂鸦来注释LiDAR点云，并发布ScribbleKITTI，这是第一个用于LiDAR语义分割的涂鸦注释数据集。此外，我们提出了一个管道，以减少使用这种弱注释时出现的性能差距。我们的管道由三个独立的贡献组成，可以与任何LiDAR语义分割模型相结合，以实现高达95.7%的全监督性能，同时仅使用8%的标记点。我们的scribble注释和代码可以在github.com/ouenal/scribblekitti上找到。
2022-03-31 cs.CV
Benchmarking the Robustness of LiDAR Semantic Segmentation Models
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；MPI for Informatics（马克斯·普朗克信息学研究所）
提出SemanticKITTI-C基准评估LiDAR语义分割模型在16种损坏下的鲁棒性，发现输入表示影响显著且现有方法对噪声鲁棒性差，并设计RLSeg模型有效提升鲁棒性。
2024-01-07 cs.CV
Enhanced Prototypical Learning for Unsupervised Domain Adaptation in LiDAR Semantic Segmentation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
尽管其重要性，无监督领域自适应（UDA）的激光雷达语义分割是一个任务，并没有得到太多的关注，从研究界。直到最近，一种基于完成的3D方法已经被提出来解决这个问题，并正式建立自适应场景。然而，所提出的流水线是复杂的，基于体素的，需要多阶段的推理，这抑制了它的实时推理。我们提出了一种基于距离图像的，有效的和高效的方法来解决UDA激光雷达分割。该方法利用从源域到伪标记目标域像素的类原型，是自然图像语义分割的UDA中表现出良好性能的一个研究方向。尚未考虑将此类方法应用于LiDAR扫描，因为严重的域偏移和缺乏在LiDAR分割设置中不可用的预训练特征提取器。然而，我们表明，适当的策略，包括基于重建的预训练，增强的原型，以及基于原型距离的选择性伪标记，足以使原型方法的使用。我们评估我们的方法对最近提出的激光雷达分割UDA场景的性能。我们的方法在当代方法中取得了显着的性能。
2022-05-23 cs.CV
RePL: Pseudo-label Refinement for Semi-supervised LiDAR Semantic Segmentation
Dept. of CSE, POSTECH（浦项科技大学计算机科学与工程系）；GSAI, POSTECH（浦项科技大学人工智能研究生院）
RePL通过掩码重建识别并纠正伪标签中的潜在错误，提升伪标签质量，从而在激光雷达语义分割中取得最优性能。
2026-08-26 cs.CV
Proposal-free Lidar Panoptic Segmentation with Pillar-level Affinity
The Johns Hopkins University（约翰斯·霍普金斯大学）；Motional
我们提出了一个简单而有效的激光雷达全景分割的无建议架构。我们共同优化语义分割和类不可知的实例分类在一个单一的网络使用基于支柱的鸟瞰图表示。实例分类头学习柱之间的成对亲和力，以确定柱是否属于同一实例。我们进一步提出了一个局部聚类算法，通过合并语义分割和亲和度预测来传播实例id。我们在nuScenes数据集上的实验表明，我们的方法优于以前的无建议方法，并且与基于建议的方法相当，后者需要额外的目标检测注释。
2022-04-19 cs.CV
Panoptic-PolarNet: Proposal-free LiDAR Point Cloud Panoptic Segmentation
University of Central Florida（中佛罗里达大学）
全景分割提出了一个新的挑战，在利用检测和分割的优点，统一实例分割和语义分割在一个单一的框架的目标。然而，在激光雷达点云的新兴领域中，用于全景分割的有效解决方案仍然是一个开放的研究问题，并且还没有得到充分的探索。在本文中，我们提出了一个快速和强大的激光雷达点云全景分割框架，称为Panoptic-PolarNet。我们学习语义分割和类不可知的实例聚类在一个单一的推理网络使用极性鸟瞰图（BEV）表示，使我们能够规避城市街道场景中的实例之间的遮挡问题。为了提高网络的可学习性，我们还提出了一种自适应的实例增强技术和一种新的对抗性点云修剪方法。我们的实验表明，Panoptic-PolarNet在SemanticKITTI和nuScenes数据集上的性能优于基线方法，具有几乎实时的推理速度。Panoptic-PolarNet在公共SemanticKITTI全景分割排行榜上实现了54.1%的PQ，并在nuScene验证集上取得了领先的性能。
2021-03-27 cs.CV
LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；Univ. Paris-Est（巴黎东大学）；IGN（法国国家地理研究院）；ENSG（法国国立地理科学学院）；GEOSAT（GEOSAT公司）
我们提出了LU-Net - for LiDAR U-Net，这是一种用于三维LiDAR点云语义分割的新方法。而不是应用一些全局3D分割方法，如PointNet，我们提出了一个端到端的架构，激光雷达点云语义分割，有效地解决了这个问题作为一个图像处理问题。我们首先提取每个点的高级3D特征，给定其3D邻居。然后，这些功能被投影到一个二维多通道距离图像，通过考虑传感器的拓扑结构。由于这些学习到的特征和这种投影，我们最终可以使用一个简单的U-Net分割网络来执行分割，它表现得非常好，同时非常高效。通过这种方式，我们可以利用数据的3D特性和LiDAR传感器的特异性。正如我们的实验所示，这种方法在KITTI数据集上的表现远远优于最先进的方法。此外，这种方法在单个GPU上以24 fps运行。这高于普通LiDAR传感器的采集速率，使其适用于实时应用。
2019-08-30 cs.CV
Instant Domain Augmentation for LiDAR Semantic Segmentation
POSTECH（浦项科技大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管LiDAR传感器越来越受欢迎，但使用3D LiDAR数据的感知算法仍在与“传感器偏差问题”作斗争。具体而言，感知算法的性能显着下降时，一个看不见的规格的激光雷达传感器应用在测试时，由于域的差异。本文提出了一种快速灵活的激光雷达增强方法的语义分割任务，称为“LiDomAug'。它聚合原始LiDAR扫描并创建任何配置的LiDAR扫描，同时考虑动态失真和遮挡，从而实现即时域增强。我们的按需增强模块以330 FPS运行，因此可以无缝集成到学习框架中的数据加载器中。在我们的实验中，基于学习的方法与所提出的LiDomAug辅助受传感器偏置问题的影响较小，并实现新的最先进的领域自适应性能SemanticKITTI和nuScenes数据集，而不使用目标域数据。我们还提出了一个传感器不可知模型，忠实地工作在各种激光雷达配置。
2023-03-25 cs.CV
SFPNet: Sparse Focal Point Network for Semantic Segmentation on General LiDAR Point Clouds
Institute of Medical Robotics（医学机器人研究所）；Shanghai Jiao Tong University（上海交通大学）
针对LiDAR语义分割模型泛化性差的问题，提出SFPNet，用稀疏焦点调制替代窗口注意力，并引入混合固态LiDAR数据集，在多种基准上取得最优性能。
2024-07-16 cs.CV
PCSCNet: Fast 3D Semantic Segmentation of LiDAR Point Cloud for Autonomous Car using Point Convolution and Sparse Convolution Network
Hanyang University（汉阳大学）；Chonnam University（全南大学）；Konkuk University（建国大学）
自动驾驶汽车必须快速识别驾驶环境以确保安全驾驶。随着激光雷达（Light Detection And Range，LiDAR）传感器在自动驾驶汽车中的广泛应用，对传感器帧速率范围内的点云进行逐点分类的快速语义分割在驾驶环境识别中引起了人们的关注。基于体素和融合的语义分割模型是目前点云语义分割的主流模型，但由于体素分辨率高，计算量大，影响了其实时性。本文提出了一种基于点卷积和三维稀疏卷积的快速体素语义分割模型（PCSCNet）。所提出的模型的设计优于在高和低体素分辨率使用点卷积为基础的特征提取。此外，该模型在特征提取后使用3D稀疏卷积加速特征传播。实验结果表明，该模型在语义分割方面优于SemanticKITTI和nuScenes的实时模型，在LiDAR点云推理方面达到了实时性要求。
2022-02-21 cs.CV
AOP-Net: All-in-One Perception Network for Joint LiDAR-based 3D Object Detection and Panoptic Segmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于LiDAR的三维目标检测和全景分割是自主车辆和机器人感知系统中的两个关键任务。在本文中，我们提出了一体化感知网络（AOP-Net），这是一个基于激光雷达的多任务框架，结合了3D目标检测和全景分割。在这种方法中，开发了一个双任务3D骨干，从输入的LiDAR点云中提取全景和检测级特征。此外，还设计了一个将多层感知器（MLP）和卷积层交织在一起的新2D主干，以进一步提高检测任务性能。最后，提出了一种新的模块，通过恢复在3D骨干中的下采样操作期间丢弃的有用特征来引导检测头。该模块利用估计的实例分割掩模从每个候选对象恢复详细信息。AOP-Net在nuScenes基准测试中针对3D目标检测和全景分割任务实现了已发布作品的最先进性能。此外，实验表明，我们的方法很容易适应，并显着提高性能的任何基于BEV的三维目标检测方法。
2023-02-02 cs.CV
Lite-HDSeg: LiDAR Semantic Segmentation Using Lite Harmonic Dense Convolutions
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自动驾驶车辆和机器人系统依赖于对其周围环境的准确感知。场景理解是感知模块的重要组成部分。在所有可用的传感器中，LiDAR是自动驾驶系统的基本传感方式之一，因为它们具有高分辨率的传感器读数的主动传感特性。为了充分利用LiDAR传感器进行场景理解，需要准确快速的语义分割方法。在本文中，我们提出了Lite-HDSeg，一种新的实时卷积神经网络的完整$3$ D激光雷达点云的语义分割。Lite-HDSeg在SemanticKitti基准测试中可以实现最佳的精度与计算复杂性的权衡，并且是基于一种新的编码器-解码器架构设计的，该架构以轻量级谐波密集卷积为核心。此外，我们引入ICM，一个改进的全球上下文模块，以捕捉多尺度的上下文特征，和MCSPN，一个多类空间传播网络，以进一步细化语义边界。实验结果表明，该方法优于最先进的语义分割方法，可以实时运行，因此适用于机器人和自动驾驶应用。
2021-03-16 cs.CV
RIU-Net: Embarrassingly simple semantic segmentation of 3D LiDAR point cloud
Bordeaux INP（波尔多国立高等物理、数学与化学学院）；IGN（法国国家地理林业信息研究所）；ENSG（国立地理科学学院）
本文提出了RIU-Net（用于Range-Image U-Net），它是一种流行的语义分割网络的改编，用于3D LiDAR点云的语义分割。利用传感器的拓扑结构，将点云转换为二维距离图像。然后将该图像用作U形网络的输入。该体系结构已经证明了其有效性的医学图像的语义分割的任务。我们演示了它如何也可以用于3D激光雷达点云的准确语义分割，以及它如何代表图像处理和3D点云处理之间的有效桥梁。我们的模型是在从KITTI 3D目标检测数据集构建的距离图像上训练的。实验表明，RIU-Net尽管非常简单，但提供的结果与最先进的基于距离图像的方法相当。最后，我们证明了这种架构能够在单个GPU上以90 fps的速度运行，从而实现实时分割的部署。
2019-06-17 cs.CV
3D-MiniNet: Learning a 2D Representation from Point Clouds for Fast and Efficient 3D LIDAR Semantic Segmentation
Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain
LIDAR语义分割为LIDAR测量的每个3D点分配语义标签，正在成为自动驾驶等许多机器人应用的基本任务。需要快速有效的语义分割方法来匹配许多这些现实世界应用的强计算和时间限制。这项工作提出了3D-MiniNet，一种结合3D和2D学习层的LIDAR语义分割的新方法。它首先通过一种新颖的投影从原始点学习2D表示，该投影从3D数据中提取局部和全局信息。该表示被馈送到高效的2D全卷积神经网络（FCNN），其产生2D语义分割。这些2D语义标签被重新投影回3D空间，并通过后处理模块进行增强。我们策略的主要新颖性依赖于投影学习模块。我们详细的消融研究显示了每个组件对3D-MiniNet最终性能的贡献。我们在知名的公共基准测试（SemanticKITTI和KITTI）上验证了我们的方法，其中3D-MiniNet获得了最先进的结果，同时比以前的方法更快，参数效率更高。
2021-04-27 cs.CV
No Adaptation Without Observation: Observability-Constrained Test-Time Prompt Tuning for LiDAR Semantic Segmentation
Concordia University（康考迪亚大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Toronto（多伦多大学）
针对LiDAR语义分割在部署中性能下降的问题，提出一种几何约束的测试时提示调整框架，通过估计感知可靠性并加权空间监督，仅调整轻量提示适配器，实现稳定适应。
2026-07-01 cs.CV
Improving Lidar-Based Semantic Segmentation of Top-View Grid Maps by Learning Features in Complementary Representations
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们介绍了一种新的方法来预测语义信息的稀疏，单次激光雷达测量的自动驾驶的背景下。特别是，我们融合了互补表示的学习特征。该方法的目的是专门在提高顶视图网格地图的语义分割。为了实现这一目标，3D LiDAR点云被投影到两个正交的2D表示上。对于每个表示，开发了定制的深度学习架构以有效地提取语义信息，该语义信息由上级深度神经网络融合。这项工作的贡献是三方面的：（1）我们检查了融合分割网络中的不同阶段。(2)我们量化了嵌入不同特征的影响。(3)我们使用这项调查的结果来设计一个量身定制的深度神经网络架构，利用不同表示的各自优势。我们的方法使用SemanticKITTI数据集进行评估，该数据集提供了超过23.000个LiDAR测量的逐点语义注释。
2022-03-02 cs.CV
LENet: Lightweight And Efficient LiDAR Semantic Segmentation Using Multi-Scale Convolution Attention
提出轻量高效投影式LiDAR语义分割网络LENet，采用多尺度卷积注意力编码器和插值卷积解码器，在多个公开数据集上实现更优性能。
2023-06-19 cs.CV
On the calibration of underrepresented classes in LiDAR-based semantic segmentation
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；University of Freiburg（弗莱堡大学）
基于深度学习的感知模型的校准在其可靠性中起着至关重要的作用。我们的工作重点是基于激光雷达的语义分割的几个模型的置信度性能的类明智的评估，其目的是提供见解的校准代表性不足的类。这些类别通常包括VRU，因此出于安全原因特别感兴趣。借助基于稀疏化曲线的度量，我们比较了具有不同架构概念的三个语义分割模型的校准能力，每个模型都具有确定性和概率性版本。通过识别和描述类的预测性能和相应的校准质量之间的依赖关系，我们的目标是促进模型的选择和改进的安全关键应用。
2022-10-13 cs.CV
LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）；SenseTime Research（商汤科技研究院）；Chinese University of Hong Kong（香港中文大学）
摄像头和3D LiDAR传感器已成为现代自动驾驶汽车中不可或缺的设备，其中摄像头提供2D空间中的细粒度纹理，颜色信息，LiDAR捕获周围环境的更精确和更远的距离测量。来自这两个传感器的互补信息使得双模态融合成为期望的选择。然而，相机和LiDAR之间的融合的两个主要问题阻碍了其性能，\ie，如何有效地融合这两种模式，以及如何精确地对齐它们（遭受弱时空同步问题）。在本文中，我们提出了一种由粗到细的LiDAR和基于相机融合的网络（称为LIF-Seg）用于LiDAR分割。对于第一个问题，不同于以前的作品融合点云和图像信息在一对一的方式，所提出的方法充分利用图像的上下文信息，并引入了一个简单但有效的早期融合策略。其次，由于弱时空同步问题，偏移校正方法的目的是对齐这些两个模态功能。这两个组件的合作导致有效的相机-LiDAR融合的成功。在nuScenes数据集上的实验结果表明，所提出的LIF-Seg优于现有方法，具有较大的裕度。消融研究和分析表明，我们提出的LIF-Seg可以有效地解决弱时空同步问题。
2021-08-17 cs.CV
Collaborative Learning for Semi-Supervised LiDAR Semantic Segmentation
Bosch Research, Robert Bosch GmbH, Stuttgart, Germany（博世研究, 博世有限公司, 斯图加特, 德国）；Institute for Neuro- and Bioinformatics, University of Lübeck, Lübeck, Germany（神经与生物信息学研究所, 奥尔德马克大学, 奥尔德马克, 德国）
本文提出CoLLiS框架，通过协同学习解决半监督学习中伪标签单一导致的偏差问题，实验表明其在低标注情况下表现优异。
2026-05-16 cs.CV
LOSC: LiDAR Open-voc Segmentation Consolidator
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM，巴黎理工大学，埃菲尔大学，CNRS）
本文研究了基于图像的视觉-语言模型在驾驶场景中对激光雷达扫描进行开放词汇分割的应用，通过整合标签提升空间时间一致性与图像增强鲁棒性，提出LOSC方法在nuScenes和SemanticKITTI上优于现有最佳方法。
2026-03-13 cs.CV
Unveiling Ancient Maya Settlements Using Aerial LiDAR Image Segmentation
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Davidson College（戴维森学院）
针对LiDAR考古图像人工识别效率低、需专业知识的问题，提出结合新型LiDAR预处理与数据增强的YOLOv8分割方法，在玛雅两类建筑分割上IoU达0.842和0.809，优于现有方法，可加速历史景观分析。
2024-03-09 cs.CV
LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training
Amirkabir University of Technology（阿米尔卡比尔理工大学）；The University of Tokyo（东京大学）
本文提出一种LiDAR与图像特征融合模块，结合两个简单修改，在无需视频训练的情况下显著提升自动驾驶场景的图像与视频全景分割性能，评估指标最高提升5个点。
2024-12-30 cs.CV
SynthmanticLiDAR: A Synthetic Dataset for Semantic Segmentation on LiDAR Imaging
Universidad Autónoma de Madrid（马德里自治大学）
本文提出改进的CARLA仿真器并生成SynthmanticLiDAR合成数据集，通过迁移学习验证其能提升LiDAR语义分割算法性能。
2025-01-31 cs.CV
VIN: Voxel-based Implicit Network for Joint 3D Object Detection and Segmentation for Lidars
University of Michigan（密歇根大学）
提出了一种用于三维目标检测和点云分割的统一神经网络结构。我们利用检测和分割标签的丰富监督，而不是只使用其中之一。此外，基于3D场景和物体理解中广泛使用的隐函数，提出了一种基于单级目标检测器的扩展方法。扩展分支将来自目标检测模块的最终特征图作为输入，并产生隐式函数，该隐式函数为其对应的体素中心生成每个点的语义分布。我们在nuScenes-lidarseg（一个大型户外数据集）上展示了我们的结构的性能。我们的解决方案在3D目标检测和点云分割方面都取得了与最先进的方法相比具有竞争力的结果，与目标检测解决方案相比，几乎没有额外的计算负载。通过实验验证了该方法的有效弱监督语义分割能力。
2021-11-13 cs.CV
CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Toronto（多伦多大学）
快速准确的激光雷达点云全景分割系统对于自动驾驶车辆理解周围物体和场景至关重要。现有的方法通常依赖于建议或聚类来分割前景实例。因此，它们很难实现实时性能。在本文中，我们提出了一种新的实时端到端的激光雷达点云全景分割网络，称为CPSeg。特别地，CPSeg包括共享编码器、双解码器和无簇实例分割头，其能够根据学习的嵌入来动态地柱化前景点。然后，它通过使用成对嵌入比较找到连接的柱子来获取实例标签。因此，传统的基于建议或基于聚类的实例分割转化为成对嵌入比较矩阵上的二进制分割问题。为了帮助网络回归实例的嵌入，提出了一种快速确定性的深度补全算法，实时计算每个点云的表面法线。该方法在两个大规模自动驾驶数据集SemanticKITTI和nuScenes上进行了基准测试。值得注意的是，大量的实验结果表明，CPSeg在两个数据集上的实时方法中取得了最先进的结果。
2023-02-03 cs.CV
LiDAR-based 4D Panoptic Segmentation via Dynamic Shifting Network
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Chinese University of Hong Kong（香港中文大学）
随着自动驾驶的快速发展，为其传感系统配备更全面的3D感知变得至关重要。然而，现有的工作集中于从LiDAR传感器解析对象（例如，汽车和行人）或场景（例如，树木和建筑物）。在这项工作中，我们解决了基于激光雷达的全景分割的任务，其目的是以统一的方式解析对象和场景。作为对这一新的挑战性任务的第一次努力之一，我们提出了动态移位网络（DS-Net），它作为一个有效的全景分割框架中的点云领域。DS-Net具有三个吸引人的特性：1）强骨干设计。DS-Net采用专为LiDAR点云设计的柱面卷积。2)复杂点分布的动态移位。我们观察到，常用的聚类算法无法处理复杂的自动驾驶场景与非均匀的点云分布和不同的实例大小。因此，我们提出了一个有效的可学习的聚类模块，动态移位，它适应不同的情况下飞行的内核函数。3)扩展到4D预测。此外，我们扩展DS-Net的四维全景激光雷达分割对齐的激光雷达帧上的时间统一的实例聚类。为了全面评估基于LiDAR的全景分割的性能，我们从两个大规模自动驾驶LiDAR数据集SemanticKITTI和nuScenes构建和策划基准。大量的实验表明，我们提出的DS-Net在这两项任务中实现了优于当前最先进方法的精度。值得注意的是，在任务的单帧版本中，我们在PQ度量方面优于SOTA方法1.8%。在4D版本的任务中，我们在LSTQ指标方面超过第二名5.4%。
2022-03-14 cs.CV
Cross-view Domain Generalization via Geometric Consistency for LiDAR Semantic Segmentation
School of Aeronautic Engineering, Changsha University of Science and Technology（长沙理工大学航空工程学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所）；School of Automation, Central South University（中南大学自动化学院）；University of British Columbia（不列颠哥伦比亚大学）
CVGC通过几何一致性模块解决跨视角LiDAR语义分割中的领域泛化问题，优于现有方法。
2026-02-16 cs.CV
Label-Efficient LiDAR Semantic Segmentation with 2D-3D Vision Transformer Adapters
Department of Computer Science, University of Freiburg（德国弗莱堡大学计算机科学系）
提出BALViT方法，利用冻结视觉模型结合距离视图和鸟瞰图LiDAR编码机制，通过2D-3D适配器实现标签高效的LiDAR语义分割，在小数据场景下优于现有方法。
2025-03-05 cs.CV
LidarMultiNet: Towards a Unified Multi-Task Network for LiDAR Perception
TuSimple（图森未来）
基于LiDAR的3D对象检测、语义分割和全景分割通常在具有难以相互适应的独特架构的专用网络中实现。本文介绍了LidarMultiNet，这是一个基于LiDAR的多任务网络，它统一了这三个主要的LiDAR感知任务。多任务网络有许多优点，其中之一是可以通过在多个任务之间共享权重和计算来降低总体成本。然而，与独立组合的单任务模型相比，它通常表现不佳。LidarMultiNet旨在弥合多任务网络和多个单任务网络之间的性能差距。LidarMultiNet的核心是一个强大的基于3D体素的编码器-解码器架构，具有全局上下文池（GCP）模块，可从LiDAR帧中提取全局上下文特征。任务特定的头被添加到网络的顶部，以执行三个激光雷达感知任务。只需添加新的任务专用头，即可实现更多任务，同时几乎不增加成本。还提出了第二阶段以细化第一阶段分割并生成准确的全景分割结果。LidarMultiNet在Waymo Open Dataset和nuScenes数据集上进行了广泛的测试，首次证明主要的LiDAR感知任务可以统一在一个强大的网络中，该网络经过端到端的训练，并实现了最先进的性能。值得注意的是，LidarMultiNet在2022年Waymo开放数据集3D语义分割挑战赛中获得了官方第一名，在测试集中的22个类别中，仅使用LiDAR点作为输入，mIoU最高，准确率最高。它还在Waymo 3D目标检测基准和三个nu…
2023-03-21 cs.CV
A Spatiotemporal Correspondence Approach to Unsupervised LiDAR Segmentation with Traffic Applications
University of Florida（佛罗里达大学）；Auburn University（奥本大学）
针对交通场景室外LiDAR点云无监督语义分割问题，提出基于时空对应、结合聚类与伪标签学习的方法，在多个基准上取得媲美全监督方法的性能，可支撑通用点云表示学习。
2023-08-23 cs.CV
Enhancing 3D LiDAR Segmentation by Shaping Dense and Accurate 2D Semantic Predictions
The University of Tokyo（东京大学）
本文提出MM2D3D模型，通过多模态引导滤波和动态跨伪监督提升2D预测质量，从而增强3D激光雷达分割的准确性。
2026-02-21 cs.CV
Center Focusing Network for Real-Time LiDAR Panoptic Segmentation
Beijing Municipal Key Lab of Multimedia and Intelligent Software Technology（北京市多媒体与智能软件技术重点实验室）；Beijing Institute of Artificial Intelligence（北京人工智能研究院）；Beijing University of Technology（北京工业大学）；Mogo Auto Intelligence and Telemetics Information Technology Co. Ltd.（摩戈汽车智能与车载信息技术有限公司）
提出中心聚焦网络（CFNet），通过中心聚焦特征编码和快速中心去重模块，实现实时且准确的激光雷达全景分割，在SemanticKITTI和nuScenes上大幅超越现有方法。
2023-11-16 cs.CV
3D Can Be Explored In 2D: Pseudo-Label Generation for LiDAR Point Clouds Using Sensor-Intensity-Based 2D Semantic Segmentation
Logiroad；LS2N - Ecole Centrale de Nantes（LS2N - 纵向神经网络）
本文提出一种无需三维标注和额外推理模态的三维 LiDAR 点云语义分割流程，通过将强度着色的二维视图用预训练模型分割后反投影并投票生成伪标签，并在无监督领域自适应中验证其有效性。
2025-05-06 cs.CV
S3Net: 3D LiDAR Sparse Semantic Segmentation Network
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
语义分割是许多应用的感知系统中的关键组件，例如依赖于准确的环境感知和理解的机器人和自动驾驶。在文献中，引入了几种方法来尝试LiDAR语义分割任务，例如基于投影（范围视图或鸟瞰视图）和基于体素的方法。然而，它们要么放弃了有价值的3D拓扑和几何关系，并遭受在投影过程中引入的信息损失，要么效率低下。因此，需要能够在3D空间中处理3D驾驶场景点云的精确模型。在本文中，我们提出了S3 Net，一种新的卷积神经网络的激光雷达点云语义分割。它采用由稀疏通道内注意模块（SIntraAM）和稀疏通道间注意模块（SInterAM）组成的编码器-解码器骨干，以强调每个特征图内和附近特征图之间的精细细节。为了提取更深层的全局上下文，我们引入了基于稀疏卷积的稀疏残差塔，以适应不同稀疏度的LiDAR点云。此外，利用地理感知的各向异性损失来强调语义边界并惩罚每个预测区域内的噪声，从而实现鲁棒的预测。实验结果表明，该方法在SemanticKITTI \cite{DBLP:conf/iccv/BehleyGMQBSG19}测试集上的性能比其基准算法（MinkNet 42 \cite{choy20194d}）有了较大的提高（12%），并达到了语义分割方法的mIoU精度.
2021-03-15 cs.CV
ECLAIR: A High-Fidelity Aerial LiDAR Dataset for Semantic Segmentation
Sharper Shape（夏普形状公司）；Aalto University（阿尔托大学）
本研究推出大规模机载LiDAR数据集ECLAIR，覆盖10平方千米、含近6亿点与11类标注类别，经专家标注保障质量，并基于Minkowski Engine的体素分割方法做基准测试，推动3D城市建模等领域发展。
2024-04-16 cs.CV
Spherical Frustum Sparse Convolution Network for LiDAR Point Cloud Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
针对球形投影导致的量化信息损失，提出球形视锥体结构及SFC、F2PS算子，构建SFCNet，在SemanticKITTI和nuScenes上优于传统二维投影方法。
2024-10-28 cs.CV
Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR Segmentation
Chinese University of Hong Kong（香港中文大学）；ShanghaiTech University（上海科技大学）；Inceptio（嬴彻科技）；Nanyang Technological University（南洋理工大学）
用于大规模驾驶场景LiDAR分割的最先进方法通常将点云投影到2D空间，然后通过2D卷积处理它们。虽然该公司在点云上显示出了竞争力，但它不可避免地改变和放弃了三维拓扑和几何关系。一个自然的补救办法是利用三维体素化和三维卷积网络。然而，我们发现，在室外点云，以这种方式获得的改善是相当有限的。一个重要的原因是室外点云的性质，即稀疏性和密度变化。受此研究的启发，我们提出了一种新的户外激光雷达分割框架，其中圆柱形分区和非对称3D卷积网络被设计用于探索3D几何图案，同时保持这些固有属性。此外，一个逐点细化模块被引入，以减轻有损基于体素的标签编码的干扰。我们在两个大规模数据集上评估了所提出的模型，即，SemanticKITTI和nuScenes。我们的方法在SemanticKITTI的排行榜上获得了第一名，并且在nuScenes上的表现优于现有方法，并且具有明显的优势，约为4%。此外，所提出的3D框架也很好地推广到LiDAR全景分割和LiDAR 3D检测。
2020-11-19 cs.CV
An Evaluation of RGB and LiDAR Fusion for Semantic Segmentation
The American University in Cairo（开罗美国大学）
激光雷达和摄像头是计划包含在许多已宣布的自动驾驶汽车原型中的两个主要传感器。两者都从不同的角度向周围环境提供了独特的数据形式。在本文中，我们探索并试图回答这个问题：在自动驾驶的背景下，为了语义分割的目的，融合这两种形式的数据是否有额外的好处？我们还试图表明，在哪个水平上说，融合证明是最有用的。我们在公开的SemanticKITTI数据集上评估了我们的算法。所有融合模型都显示出对基础模型的改进，其中中级融合在平均交集与并集（mIoU）度量方面显示出最高的2.7%的改进。
2021-08-17 cs.CV
IGLOSS: Image Generation for Lidar Open-vocabulary Semantic Segmentation
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM, 巴黎高科桥梁学院, 古斯塔夫·埃菲尔大学, 法国国家科学研究中心）
本文提出一种新的方法，用于3D汽车激光雷达数据的零样本开放词汇语义分割。通过文本生成图像创建原型，利用2D视觉基础模型提取3D网络特征，实现点云标注，方法在nuScenes和SemanticKITTI上达到最新水平。
2026-10-26 cs.CV
SegNet4D: Efficient Instance-Aware 4D Semantic Segmentation for LiDAR Point Cloud
College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）
本文提出实时实例感知网络 SegNet4D，通过语义与运动双头解耦、运动-语义融合及实例一致性，高效完成 LiDAR 多扫描 4D 分割并超越现有方法。
2024-12-03 cs.CV
SMAC-Seg: LiDAR Panoptic Segmentation via Sparse Multi-directional Attention Clustering
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
全景分割旨在在统一的框架中同时解决语义和实例分割。然而，在自动驾驶等应用中的全景分割的有效解决方案仍然是一个开放的研究问题。在这项工作中，我们提出了一种新的基于激光雷达的全景系统，称为SMAC-Seg。我们提出了一个可学习的稀疏多方向注意聚类分割多尺度前景实例。SMAC-Seg是一种基于实时聚类的方法，它消除了复杂的建议网络来分割实例。大多数现有的基于聚类的方法使用预测和地面实况中心偏移的差异作为唯一的损失来监督实例质心回归。然而，该损失函数仅考虑当前对象的质心，但在学习聚类时不考虑其相对于相邻对象的相对位置。因此，我们建议使用一种新的质心感知排斥损失作为附加项，以有效地监督网络将每个对象聚类与其邻居区分开来。我们的实验结果表明，SMAC-Seg在大规模公共SemanticKITTI和nuScenes全景分割数据集上的所有实时可部署网络中均达到了最先进的性能。
2021-08-31 cs.CV
Are We Hungry for 3D LiDAR Data for Semantic Segmentation? A Survey and Experimental Study
Peking University（北京大学）
3D语义分割是机器人和自动驾驶应用的基本任务。最近的工作一直集中在使用深度学习技术，而开发精细注释的3D LiDAR数据集是非常劳动密集型的，需要专业技能。由于数据集不足而导致的性能限制被称为数据饥饿问题。本研究针对“我们是否渴望获得用于语义分割的3D LiDAR数据”这一问题进行了全面的调查和实验研究。研究分三个层次进行。首先，对主要的3D LiDAR数据集进行了广泛的回顾，然后对三个代表性数据集进行了统计分析，以深入了解数据集的大小和多样性，这是学习深度模型的关键因素。其次，对最先进的3D语义分割进行了系统的回顾，然后对三种代表性的深度学习方法进行了实验和交叉检查，以了解数据集的大小和多样性如何影响深度模型的性能。最后，从方法论和数据集的角度对现有的解决数据饥饿问题的努力进行了系统的调查，然后对剩余问题和开放问题进行了深入的讨论。据我们所知，这是第一次使用深度学习技术分析3D语义分割的数据饥饿问题，这些技术在文献综述，统计分析，以及跨数据集和跨算法实验。我们分享调查结果和讨论，这可能会导致未来工作的潜在主题。
2020-11-30 cs.CV
Impact of LiDAR visualisations on semantic segmentation of archaeological objects
Center for Cultural Heritage Technology, Istituto Italiano di Tecnologia（意大利技术研究院文化遗产技术中心）；Research Centre of the Slovenian Academy of Sciences and Arts（斯洛文尼亚科学与艺术学院研究中心）
本文通过综合测试框架评估了七种LiDAR可视化方法在八个语义分割模型和五个考古类别上的表现，发现可视化选择对性能影响达8%，不同配置间差异高达25%，强调了合理选择模型与可视化的重要性。
2024-09-20 cs.CV
A Versatile Multi-View Framework for LiDAR-based 3D Object Detection with Guidance from Panoptic Segmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
使用LiDAR数据的3D目标检测是自动驾驶系统不可或缺的组成部分。然而，只有少数基于LiDAR的3D目标检测方法利用分割信息来进一步指导检测过程。在本文中，我们提出了一种新的多任务框架，共同执行三维目标检测和全景分割。在我们的方法中，3D目标检测骨干在鸟瞰图（BEV）平面增加的距离视图（RV）的特征图从3D全景分割骨干的注入。这使得检测骨干能够利用多视图信息来解决每个投影视图的缺点。此外，前景语义信息被纳入，以减轻检测任务，突出显示的位置，每个对象类的特征图。最后，基于实例级信息生成的新中心密度热图通过建议对象的可能框中心位置来进一步指导检测骨干。我们的方法适用于任何基于BEV的3D目标检测方法，并且如在nuScenes数据集上的大量实验所示，它提供了显着的性能增益。值得注意的是，基于单级CenterPoint 3D目标检测网络的所提出的方法在nuScenes 3D检测基准测试中达到了最先进的性能，具有67.3 NDS。
2022-03-04 cs.CV
LiDAL: Inter-frame Uncertainty Based Active Learning for 3D LiDAR Semantic Segmentation
Hong Kong University of Science and Technology（香港科技大学）；Lightspeed & Quantum Studios, Tencent（腾讯光子工作室群）；City University of Hong Kong（香港城市大学）
我们提出了LiDAL，一种新的主动学习方法三维激光雷达语义分割，利用帧间的不确定性激光雷达帧。我们的核心思想是，经过良好训练的模型应该生成鲁棒的结果，而不管场景扫描的视点如何，因此跨帧模型预测的不一致性为主动样本选择提供了非常可靠的不确定性度量。为了实现这种不确定性的措施，我们引入了新的帧间发散和熵公式，作为主动选择的指标。此外，我们通过预测和合并伪标签来展示额外的性能增益，这些伪标签也是使用建议的帧间不确定性度量来选择的。实验结果验证了LiDAL的有效性：我们在SemanticKITTI和nuScenes数据集上实现了95%的全监督学习性能，注释不到5%，优于最先进的主动学习方法。代码发布：https://github.com/hzykent/LiDAL。
2022-11-11 cs.CV
A Novel Decomposed Feature-Oriented Framework for Open-Set Semantic Segmentation on LiDAR Data
College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）；Hunan University（湖南大学）
针对 LiDAR 语义分割难以识别未知类别的问题，提出分解式双解码器与异常检测结合的特征驱动开集框架，并在 SemanticKITTI、nuScenes 上显著优于现有方法。
2025-03-14 cs.CV
2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shanghai University（上海大学）；Tencent Map, T Lab（腾讯地图T实验室）
由于相机和激光雷达传感器捕获自动驾驶中使用的互补信息，因此已经做出了很大努力来通过多模态数据融合开发语义分割算法。然而，基于融合的方法需要成对的数据，即，LiDAR点云和相机图像具有严格的点到像素映射，作为训练和推理的输入，这严重阻碍了其在实际场景中的应用。因此，在这项工作中，我们提出了二维先验辅助语义分割（2DPASS），一个通用的训练计划，以提高点云的表示学习，充分利用2D图像具有丰富的外观。在实际应用中，2DPASS通过辅助模态融合和多尺度融合到单一知识蒸馏（MSFSKD），从多模态数据中获取更丰富的语义和结构信息，然后在线蒸馏到纯3D网络。因此，配备2DPASS后，我们的基线仅使用点云输入就显示出显著的改进。具体来说，它在两个大规模基准测试（即SemanticKITTI和NuScenes）上达到了最先进的水平，包括SemanticKITTI的单次和多次扫描比赛中的前1名结果。
2022-10-14 cs.CV
DQFormer: Towards Unified LiDAR Panoptic Segmentation with Decoupled Queries
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院 Cyber-Systems 研究所）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Institute of Industrial Technology Research, Zhejiang University（浙江大学工业技术研究院）；Institute of Intelligent and Software Technology, Hangzhou Dianzi University（杭州电子科技大学智能与软件技术研究所）
本文提出统一 LiDAR 全景分割框架 DQFormer，通过解耦 things/stuff 查询进行独立解码并解耦分类与分割以减轻模糊性，在 nuScenes 和 SemanticKITTI 数据集上取得优越性能。
2024-08-28 cs.CV
MILAN: Milli-Annotations for Lidar Semantic Segmentation
LIGM（图像与数字数学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（Gustave Eiffel大学）；CNRS（法国国家科学研究中心）
本文提出MILAN方法，利用自监督激光雷达表示选择高信息量扫描并聚类点云，通过每簇一次点击标注，以千分之一标签成本达到与完全标注相当的性能。
2024-07-22 cs.CV
LiSD: An Efficient Multi-Task Learning Framework for LiDAR Segmentation and Detection
Wuxi Intelligent Control Research Institute, Hunan University（湖南大学无锡智能控制研究院）；College of Mechanical and Vehicle Engineering, Hunan University（湖南大学机械与运载工程学院）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
本文提出LiSD多任务学习框架，通过体素编码器-解码器、层次化特征协作和整体信息聚合模块，同时优化LiDAR分割与检测任务，在nuScenes上仅用LiDAR达到83.3% mIoU的最先进性能。
2024-06-12 cs.CV
Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
室外场景补全是三维场景理解中的一个具有挑战性的问题，在智能机器人和自动驾驶中起着重要作用。由于激光雷达数据的稀疏性，使得三维场景的补全和语义分割变得更加复杂。由于语义特征可以为完成任务提供约束和语义先验，因此它们之间的关系值得探讨。因此，我们提出了一个端到端的语义分割辅助场景完成网络，包括一个2D完成分支和一个3D语义分割分支。具体地说，该网络以原始点云作为输入，并将分割分支的特征分层合并到完成分支中以提供语义信息。通过采用BEV表示和3D稀疏卷积，我们可以在保持有效表达的同时受益于较低的操作数。此外，分割分支的解码器被用作辅助，可以在推理阶段丢弃，以节省计算消耗。大量的实验表明，我们的方法在SemanticKITTI数据集上具有低延迟的竞争力。代码和模型将在https://github.com/jokester-zzz/SSA-SC上发布。
2021-09-23 cs.CV
Weakly Supervised LiDAR Semantic Segmentation via Scatter Image Annotation
针对弱监督LiDAR语义分割中高效标注策略缺失的问题，提出散射图像标注方案与ScatterNet网络，仅用极少量标注点即可接近全监督方法性能，标注成本远低于现有先进弱监督方法。
2024-08-12 cs.CV
UniSeg: A Unified Multi-Modal LiDAR Segmentation Network and the OpenPCSeg Codebase
Shanghai AI Laboratory（上海人工智能实验室）；Hochschule Bremerhaven（不来梅应用技术大学）；The University of Hong Kong（香港大学）；East China Normal University（华东师范大学）；National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Tech University（上海科技大学）
本文提出统一的多模态LiDAR分割网络UniSeg，通过LMA和LVA模块融合RGB图像与点云三视图特征，实现语义与全景分割，在多个基准上取得第一，并发布最大室外LiDAR分割代码库OpenPCSeg。
2023-09-11 cs.CV
