Semantic-Supervised Spatial-Temporal Fusion for LiDAR-based 3D Object Detection
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanjing University（南京大学）
针对LiDAR点云稀疏导致的3D检测难题，提出语义监督的ST-Fusion时空融合方法，通过SA/TM模块缓解运动错位并增强时序特征，在nuScenes上提升NDS约2.8%。
2025-03-15 cs.CV
ItTakesTwo: Leveraging Peer Representations for Semi-supervised LiDAR Semantic Segmentation
Australian Institute for Machine Learning (AIML), University of Adelaide（澳大利亚机器学习研究所（AIML）、阿德莱德大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；University of Erlangen–Nuremberg（埃尔兰根-纽伦堡大学）；Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK（视觉、语音和信号处理中心（CVSSP）、萨里大学）
提出半监督LiDAR语义分割框架ItTakesTwo(IT2)，通过利用对等LiDAR表示进行一致性学习提升扰动有效性，并采用基于全局训练集学习的正负嵌入分布进行对比学习，在公开基准上显著超越SOTA方法。
2025-06-01 cs.CV
Monocular 3D Object Detection with LiDAR Guided Semi Supervised Active Learning
Technical University Munich（慕尼黑工业大学）；BMW Group（宝马集团）
提出 MonoLiG 半监督主动学习框架，用 LiDAR 指导单目 3D 检测的数据选择与跨模态伪标签训练，在 KITTI 和 Waymo 上显著降低标注成本并提升 BEV AP。
2023-07-17 cs.CV
Learning from Spatio-temporal Correlation for Semi-Supervised LiDAR Semantic Segmentation
Yonsei University（延世大学）；KAIST（韩国科学技术院）
针对低预算半监督激光雷达分割的伪标签质量差、数据失衡问题，提出基于邻近性的标签估计与双分支结构方法，在多个数据集上实现低标注量下的性能突破，刷新半监督分割最优纪录。
2024-10-09 cs.CV
MILAN: Milli-Annotations for Lidar Semantic Segmentation
LIGM（图像与数字数学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（Gustave Eiffel大学）；CNRS（法国国家科学研究中心）
本文提出MILAN方法，利用自监督激光雷达表示选择高信息量扫描并聚类点云，通过每簇一次点击标注，以千分之一标签成本达到与完全标注相当的性能。
2024-07-22 cs.CV
SupFusion: Supervised LiDAR-Camera Fusion for 3D Object Detection
School of Data Science, Shenzhen Research Institute of Big Data（深圳大数据研究院数据科学学院）；NIO（蔚来）
本文提出SupFusion训练策略，通过Polar Sampling数据增强和辅助特征级监督提升LiDAR-相机融合3D检测性能，并设计即插即用的深度融合模块，在KITTI基准上实现约2%的3D mAP提升。
2023-10-31 cs.CV
Self-supervised 3D Object Detection from Monocular Pseudo-LiDAR
Samsung Electronics Co., Ltd.（三星电子有限公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院）
已经尝试通过融合立体相机图像和LiDAR传感器数据或使用LiDAR进行预训练并仅使用单目图像进行测试来检测3D对象，但是由于准确度低，很少尝试仅使用单目图像序列。此外，当仅使用单目图像进行深度预测时，只能预测尺度不一致的深度，这就是研究人员不愿意单独使用单目图像的原因。因此，我们提出了一种方法，通过实现检测网络和深度预测网络的端到端学习，仅使用单目图像序列来预测绝对深度和检测3D对象。因此，该方法在KITTI 3D数据集上的性能优于其他现有方法。即使在训练过程中同时使用单目图像和3D LiDAR来提高性能，与使用相同输入的其他方法相比，我们的表现也是最好的。此外，端到端学习不仅提高了深度预测性能，还实现了绝对深度预测，因为我们的网络利用了汽车等3D物体的大小由近似大小决定的事实。
2022-09-20 cs.CV
Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration
School of Mechatronic Engineering and Automation, Shanghai University（机械电子工程与自动化学院，上海大学）；Department of Computer Science, City University of Hong Kong（计算机科学系，城市大学）；School of Artificial Intelligence, Xidian University（人工智能学院，西安电子科技大学）；Department of Electronic Engineering, The Chinese University of Hong Kong（电子工程系，香港中文大学）
针对自动驾驶场景的三维感知增强问题，提出NCLR自监督学习框架，通过2D-3D神经校准这一新型 pretext任务学习多模态统一表示，在下游三维感知任务中性能优于现有方法，代码已开源。
2025-08-20 cs.CV
MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based Self-Supervised Pre-Training
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）
本文介绍了基于LiDAR的自监督预训练的掩蔽体素拼图和重建（MV-Jigsaw and Reconstruction）方法，以及在Waymo数据集上精心设计的数据高效的3D目标检测基准。受下游3D对象检测器中的场景-体素-点层次结构的启发，我们设计了考虑场景中的体素分布和体素内的局部点分布的掩蔽和重建策略。我们采用了一种反向Fursed-Voxel-Sampling策略来解决LiDAR点的不均匀分布，并提出了MV-Voxel，它结合了两种技术来建模上述分布，从而获得了优异的性能。我们的实验揭示了以前数据高效实验的局限性，这些实验均匀地对每个LiDAR序列中不同数据比例的微调分裂进行采样，导致分裂之间的数据多样性相似。为了解决这个问题，我们提出了一个新的基准，该基准对场景序列进行采样以进行各种微调分割，确保足够的模型收敛并提供对预训练方法的更准确评估。在Waymo基准测试和KITTI数据集上的实验表明，MV-SVM在各种数据尺度上都能持续显著地提高3D检测性能，与从头开始训练相比，mAPH提高了6.3%。代码和基准将在https://github.com/SmartBot-PJLab/MV-JAR上提供。
2023-03-23 cs.CV
LaserMix for Semi-Supervised LiDAR Semantic Segmentation
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；National University of Singapore（新加坡国立大学）
针对LiDAR点云标注成本高的问题，提出LaserMix半监督框架，通过混合激光束利用未标注数据，在多个数据集上以少标签达到全监督性能，平均提升10.8%。
2023-09-01 cs.CV cs.LG cs.RO
SSC3OD: Sparsely Supervised Collaborative 3D Object Detection from LiDAR Point Clouds
Beijing Jiaotong University（北京交通大学）
提出稀疏监督协作3D目标检测框架SSC3OD，通过Pillar-MAE和实例挖掘模块生成高质量伪标签，有效缓解标注不完整问题并提升检测性能。
2023-07-03 cs.CV
WeakM3D: Towards Weakly Supervised Monocular 3D Object Detection
Zhejiang University（浙江大学）；FABU Inc.（FABU公司）
单目三维目标检测是三维场景理解中最具挑战性的任务之一。由于单目图像的不适定性，现有的单目3D检测方法高度依赖于使用LiDAR点云上的手动注释的3D框标签进行训练。这种注释过程非常费力且昂贵。为了免除对3D框标签的依赖，在本文中，我们探讨了弱监督单目3D检测。具体来说，我们首先检测图像上的2D盒子。然后，我们采用生成的2D盒选择相应的RoI LiDAR点作为弱监督。最终，我们采用一个网络来预测3D盒子，它可以与相关的RoI LiDAR点紧密对齐。这个网络是通过最小化我们新提出的3D框估计和相应的RoI LiDAR点之间的3D对齐损失来学习的。我们将说明上述学习问题的潜在挑战，并通过在我们的方法中引入几个有效的设计来解决这些挑战。代码将在https://github.com/SPengLiang/WeakM3D上提供。
2022-03-16 cs.CV
HD-OOD3D: Supervised and Unsupervised Out-of-Distribution object detection in LiDAR data
Mines Paris, PSL University, Centre for robotics (CAOR)（巴黎 Mines 大学，机器人中心（CAOR））；U2IS, ENSTA, Institut Polytechnique de Paris（ENSTA，巴黎理工学院）
提出HD-OOD3D两阶段方法检测LiDAR数据中的分布外目标，证明两阶段优于单阶段，并探索无监督伪标签策略，发现top-5自动标注性能更优。
2025-09-15 cs.CV
GhostPoint: Self-Supervised Representation Learning by Hallucinating Occluded LiDAR Structure
Bosch Center for AI（博世人工智能中心）；University of Freiburg（弗莱堡大学）；University of Luebeck（吕贝克大学）
GhostPoint是一种自监督学习框架，通过实例体素膨胀幻觉生成激光雷达被遮挡区域特征，在nuScenes和Waymo数据集上提升了下游3D检测性能，尤其适用于稀疏扫描和有限标签场景。
2026-08-17 cs.CV
Exploring Scene Affinity for Semi-Supervised LiDAR Semantic Segmentation
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Computer Science and Technology, Hainan University（海南大学计算机科学与技术学院）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）；State Key Lab. of LIESMARS, Wuhan University（武汉大学LIESMARS国家重点实验室）；Institute for Math & AI, Wuhan University（武汉大学数学与人工智能研究院）
本文提出AIScene方法，通过移除无伪标签点确保场景内前后向传播一致性，并结合多场景混合增强，显著提升了半监督LiDAR语义分割性能。
2025-04-01 cs.CV
DINOSTAR: Deep Iterative Neural Object Detector Self-Supervised Training for Roadside LiDAR Applications
University of Central Florida（中佛罗里达大学）；SRI International（SRI国际）
本文提出DINOSTAR框架，利用自监督统计建模教师模型生成带噪标签训练深度目标检测器，在无需人工标注的情况下实现与人工标注训练相当的路侧点云目标检测性能。
2025-01-28 cs.CV
Weakly Supervised 3D Object Detection from Lidar Point Cloud
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；ETH Zurich（苏黎世联邦理工学院）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
手动标记点云数据以训练高质量的3D对象检测器是费力的。本文提出了一种弱监督的三维目标检测方法，只需要少量的弱注释场景，并与一些精确标记的对象实例相关联。这是通过两阶段架构设计实现的。阶段1学习在弱监督下生成圆柱形对象建议，即，只有对象的水平中心在鸟瞰图场景上被点击注释。阶段2学习使用一些标记良好的对象实例来细化圆柱形提案以获得长方体和置信度分数。仅使用500个弱注释场景和534个精确标记的车辆实例，我们的方法实现了当前顶级领先的完全监督检测器（需要3，712个详尽而精确的注释场景和15，654个实例）的85-95%的性能。更重要的是，通过我们精心设计的网络架构，我们的训练模型可以用作3D对象注释器，允许自动和主动工作模式。由我们的模型生成的注释可用于训练3D对象检测器，其原始性能超过94%（手动标记数据下）。我们的实验也显示了我们的模型的潜力，在提高性能给予更多的训练数据。上述设计使我们的方法非常实用，并为学习3D目标检测引入了新的机会，减少了注释负担。
2020-07-23 cs.CV
ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）
针对单目3D目标检测中前景稀疏导致训练效果差的问题，提出ODM3D半监督框架，通过多模态知识蒸馏、BEV占用引导掩码及跨模态数据增强提升性能，在KITTI基准上超越现有单目检测方法。
2023-11-07 cs.CV
Turin3D: Evaluating Adaptation Strategies under Label Scarcity in Urban LiDAR Segmentation with Semi-Supervised Techniques
Politecnico di Torino（都灵理工大学）；LINKS Foundation（LINKS基金会）；Sapienza Università di Roma（罗马大学）
本文提出Turin3D城市航空LiDAR点云数据集，通过基准测试和半监督学习评估标签稀缺条件下现有分割模型的适应与性能提升。
2025-04-08 cs.AI cs.CV
HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving
Google Research（谷歌研究院）；Waymo Research（Waymo研究院）
自动驾驶是一个令人兴奋的新行业，提出了重要的研究问题。在感知模块中，三维人体姿态估计是一项新兴技术，它可以使自主车辆感知和理解行人的微妙和复杂的行为。虽然硬件系统和传感器在过去的几十年里有了显着的改进-汽车可能拥有复杂的LiDAR和视觉系统，并且针对这些新可用信息的专用数据集的可用主体不断扩展-但在利用这些新信号进行3D人体姿势估计的核心问题方面还没有做太多的工作。我们的方法，我们硬币HUM 3DIL（HUMAN 3D从图像和激光雷达），有效地利用这些互补信号，在一个半监督的方式，并优于现有的方法有很大的利润。它是一种快速、紧凑的机载部署模式。具体来说，我们将LiDAR点嵌入到像素对齐的多模态特征中，并通过一系列Transformer细化阶段。Waymo开放数据集上的定量实验支持这些说法，我们在3D姿态估计任务上取得了最先进的结果。
2022-12-15 cs.CV
Sample, Crop, Track: Self-Supervised Mobile 3D Object Detection for Urban Driving LiDAR
University of Oxford（牛津大学）
近年来，深度学习在城市驾驶场景中的移动（即，具有移动能力）对象的检测方面取得了很大进展。监督方法通常需要对大型训练集进行注释;因此，人们对利用弱监督、半监督或自监督方法来避免这种情况非常感兴趣，并取得了很大的成功。虽然弱监督和半监督方法需要一些注释，但自监督方法使用了运动等线索来完全消除对注释的需求。然而，注释的完全缺失通常会降低它们的性能，并且在运动分组期间出现的歧义会抑制它们找到准确对象边界的能力。在本文中，我们提出了一种新的自监督移动目标检测方法称为SCT。这使用运动线索和预期的对象大小来提高检测性能，并预测3D定向边界框的密集网格来提高对象发现。在KITTI跟踪基准测试中，我们的性能明显优于最先进的自监督移动目标检测方法TCR，并且对于IoU <= 0.5，性能在完全监督PV-RCNN++方法的30%以内。
2022-09-21 cs.CV cs.LG cs.RO
Label-Efficient Semantic Segmentation of LiDAR Point Clouds in Adverse Weather Conditions
Ulm University（乌尔姆大学）；BMW AG（宝马集团）
本文提出一种标签高效的LiDAR点云恶劣天气分割方法，结合少样本语义分割与半监督伪标签生成，并利用良好天气数据，在仅需少量标注的情况下实现对雪、雾和喷雾的检测，性能与全监督方法相当。
2024-06-14 cs.CV
LWSIS: LiDAR-guided Weakly Supervised Instance Segmentation for Autonomous Driving
Beijing Institute of Technology（北京理工大学）；Shanghai AI Laboratory（上海人工智能实验室）；Inceptio（嬴彻科技）；University of Macau（澳门大学）
图像实例分割是自动驾驶领域的基础研究课题，对场景理解和道路安全至关重要。基于学习的高级方法通常依赖于昂贵的2D掩码注释进行训练。在本文中，我们提出了一个更巧妙的框架，激光雷达引导的弱监督实例分割（LWSIS），它利用了现成的3D数据，即，点云与三维盒子一起作为自然弱监督来训练二维图像实例分割模型。我们的LWSIS不仅在训练过程中利用了多模态数据中的互补信息，而且还显着降低了密集2D掩码的注释成本。详细地说，LWSIS包括两个关键模块，点标签分配（PLA）和基于图的一致性正则化（GCR）。前一个模块旨在自动将3D点云分配为2D逐点标签，而后者通过强制执行多模态数据的几何和外观一致性来进一步细化预测。此外，我们进行了二次实例分割注释的nuScenes，命名为nuInsSeg，鼓励进一步研究多模态感知任务。在nuInsSeg和大规模Waymo上进行的大量实验表明，LWSIS可以通过在训练过程中只涉及3D数据来大幅改进现有的弱监督分割模型。此外，LWSIS还可以集成到PointPainting等3D对象检测器中，以免费提高3D检测性能。代码和数据集可在https://github.com/Serenos/LWSIS上获得。
2023-01-19 cs.AI cs.CV
HPERL: 3D Human Pose Estimation from RGB and LiDAR
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；Birla Institute of Technology and Science (BITS) Pilani（博拉理工学院皮拉尼校区）；University of Applied Sciences Mannheim（曼海姆应用科学大学）；University of Kaiserslautern - TUK（凯泽斯劳滕大学）
野外人体姿态估计在各个领域都有巨大的潜力，从动画和动作识别到自动驾驶的意图识别和预测。目前的最新技术仅集中在用于预测3D人体姿势的RGB和RGB-D方法上。然而，不使用精确的LiDAR深度信息限制了性能，并导致非常不准确的绝对姿态估计。随着LiDAR传感器在机器人和自动驾驶汽车上变得越来越便宜和普遍，我们提出了一种使用RGB和LiDAR的端到端架构，以前所未有的精度预测绝对3D人体姿势。此外，我们引入了一种弱监督方法，使用PedX [1]的2D姿势注释生成3D预测。这允许在3D人体姿态估计领域中的许多新机会。
2020-10-16 cs.CV
Cross-Modality Knowledge Distillation Network for Monocular 3D Object Detection
Zhejiang University（浙江大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
利用基于LiDAR的检测器或真实LiDAR点数据来指导单目3D检测已经带来了显著的改进，例如，伪激光雷达方法。然而，现有的方法通常采用非端到端的训练策略，没有充分利用LiDAR信息，LiDAR数据的丰富潜力没有得到很好的开发。在本文中，我们提出了跨模态知识蒸馏（CMKD）网络的单目3D检测，有效地和直接地转移知识从激光雷达模态图像模态的功能和响应。此外，我们通过从大规模未标记数据中提取知识，进一步扩展CMKD作为半监督训练框架，并显着提高性能。在提交之前，CMKD将$1^{st}$列为单眼3D探测器中的一种，与之前的最先进方法相比，KITTI $test$集和Waymo $val$集都有显著的性能提升。
2022-11-14 cs.CV
View-to-Label: Multi-View Consistency for Self-Supervised 3D Object Detection
University of Genoa（热那亚大学）；Technical University of Munich（慕尼黑工业大学）；Google（谷歌）
本文提出仅利用RGB序列、多视图约束和弱标签的自监督3D目标检测方法，在KITTI 3D数据集上达到与依赖LIDAR或立体图像的自监督方法相当的性能。
2023-05-29 cs.CV
LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds
UC San Diego（加州大学圣地亚哥分校）；Waymo（Waymo公司）；Google（谷歌公司）
LiDAR点云的语义分割是自动驾驶中的一项重要任务。然而，通过传统的监督方法训练深度模型需要大量的数据集，这些数据集的标签成本很高。关键是要有标签高效的分割方法，以将模型扩展到新的操作域或提高罕见情况下的性能。虽然大多数以前的作品集中在室内场景，我们是第一个提出一个标签有效的语义分割管道与激光雷达点云室外场景。我们的方法与半/弱监督学习共同设计了一个有效的标记过程，并且适用于几乎任何3D语义分割主干。具体来说，我们利用室外场景中的几何图案进行启发式预分割，以减少手动标记，并与标记过程联合设计学习目标。在学习步骤中，我们利用原型学习来获得更具描述性的点嵌入，并使用多扫描蒸馏来从时间聚合的点云中利用更丰富的语义来提高单扫描模型的性能。在SemanticKITTI和nuScenes数据集上进行评估，我们表明我们提出的方法优于现有的标签效率方法。具有极其有限的人类注释（例如，0.1%点标签），我们提出的方法与100%标签的完全监督对应物相比甚至具有很强的竞争力。
2022-10-14 cs.CV cs.RO
Is Pseudo-Lidar needed for Monocular 3D Object detection?
Toyota Research Institute（丰田研究所）
从单个图像进行3D目标检测的最新进展利用单目深度估计作为产生3D点云的一种方式，将相机变成伪激光雷达传感器。这些两阶段检测器随着中间深度估计网络的准确性而提高，中间深度估计网络本身可以在没有手动标记的情况下经由大规模自监督学习来提高。然而，它们往往比端到端方法更容易过拟合，更复杂，并且与类似的基于激光雷达的探测器的差距仍然很大。在这项工作中，我们提出了一种端到端的单级单目3D物体检测器DD 3D，它可以从深度预训练中受益，如伪激光雷达方法，但没有它们的局限性。我们的架构旨在实现深度估计和3D检测之间的有效信息传输，使我们能够根据未标记的预训练数据的数量进行扩展。我们的方法在两个具有挑战性的基准测试中取得了最先进的结果，在KITTI-3D基准测试中，汽车和行人的AP分别为16.34%和9.28%，在NuScenes上的mAP为41.5%。
2021-08-13 cs.CV
LiDAL: Inter-frame Uncertainty Based Active Learning for 3D LiDAR Semantic Segmentation
Hong Kong University of Science and Technology（香港科技大学）；Lightspeed & Quantum Studios, Tencent（腾讯光子工作室群）；City University of Hong Kong（香港城市大学）
我们提出了LiDAL，一种新的主动学习方法三维激光雷达语义分割，利用帧间的不确定性激光雷达帧。我们的核心思想是，经过良好训练的模型应该生成鲁棒的结果，而不管场景扫描的视点如何，因此跨帧模型预测的不一致性为主动样本选择提供了非常可靠的不确定性度量。为了实现这种不确定性的措施，我们引入了新的帧间发散和熵公式，作为主动选择的指标。此外，我们通过预测和合并伪标签来展示额外的性能增益，这些伪标签也是使用建议的帧间不确定性度量来选择的。实验结果验证了LiDAL的有效性：我们在SemanticKITTI和nuScenes数据集上实现了95%的全监督学习性能，注释不到5%，优于最先进的主动学习方法。代码发布：https://github.com/hzykent/LiDAL。
2022-11-11 cs.CV
A Spatiotemporal Correspondence Approach to Unsupervised LiDAR Segmentation with Traffic Applications
University of Florida（佛罗里达大学）；Auburn University（奥本大学）
针对交通场景室外LiDAR点云无监督语义分割问题，提出基于时空对应、结合聚类与伪标签学习的方法，在多个基准上取得媲美全监督方法的性能，可支撑通用点云表示学习。
2023-08-23 cs.CV
Shelf-Supervised Cross-Modal Pre-Training for 3D Object Detection
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；IIIT Delhi（德里印度信息技术学院）
针对3D边界框标注成本高的问题，提出利用现成图像基础模型生成零样本伪标签的货架监督跨模态预训练方法，显著提升了有限标签下LiDAR、RGB及多模态3D检测器的半监督精度。
2024-10-15 cs.CV cs.LG cs.RO
2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic Segmentation
ETH Zurich（苏黎世联邦理工学院）；Huawei Technologies（华为技术有限公司）；KU Leuven（鲁汶大学）；INSAIT（INSAIT研究所）
提出图像引导网络IGNet，通过蒸馏2D语义分割特征并结合单向对比学习与FOVMix策略，在弱监督和半监督3D语义分割任务中取得SOTA性能。
2023-11-27 cs.CV
Power of Cooperative Supervision: Multiple Teachers Framework for Enhanced 3D Semi-Supervised Object Detection
DGIST（大邱庆北科学技术院）；FutureDrive Inc.（FutureDrive公司）
本文构建了多类3D LiDAR数据集，并提出基于多教师框架的3D半监督目标检测方法，通过类别专门化教师协作监督和PieAug增强技术提升伪标签质量，在多个数据集上优于现有方法。
2024-05-31 cs.CV
Beyond the Label Itself: Latent Labels Enhance Semi-supervised Point Cloud Panoptic Segmentation
East China Normal University（华东师范大学）；Xiamen University（厦门大学）
针对点云半监督全景分割，本文提出Cylinder-Mix增强方法与IPSL模块，通过挖掘LiDAR和图像中的潜在标签信息并嵌入多模态网络，在SemanticKITTI和nuScenes上优于SOTA方法LaserMix。
2024-02-11 cs.CV
RSS-Net: Weakly-Supervised Multi-Class Semantic Segmentation with FMCW Radar
University of Oxford（牛津大学）；Oxford Robotics Institute（牛津机器人研究所）
本文提出了一种高效的注释过程及其应用端到端，丰富的语义分割的感知环境使用FMCW扫描雷达。我们提倡雷达而不是用于此任务的传统传感器，因为它在更长的范围内工作，并且对恶劣的天气和照明条件更加强大。我们通过利用迄今为止收集的最大的以雷达为中心的城市自治数据集，将雷达扫描与RGB摄像头和激光雷达传感器关联起来，避免了费力的手动标签，其中语义分割已经是一个统一的程序。训练过程利用了最先进的自然图像分割系统，该系统是公开可用的，因此，与以前的方法相比，通过结合四个相机和两个激光雷达流，可以为雷达流生成丰富的标签。此外，通过沿着当前车辆位置的前方和后方的姿态链累积LiDAR返回，考虑到雷达传感器地平线的标签来计算损失。最后，我们提出了具有多通道雷达扫描输入的网络，以处理短暂且动态的场景对象。
2020-04-02 cs.CV cs.RO
Multi-modal NeRF Self-Supervision for LiDAR Semantic Segmentation
CARIAD SE, Volkswagen Group（大众集团旗下CARIAD SE）；Freie Universität Berlin（柏林自由大学）；ETH Zürich（苏黎世联邦理工学院）
提出一种半监督 LiDAR 语义分割方法，利用相机图像和 NeRF 自监督生成伪标签，在三个基准上验证有效性。
2024-11-05 cs.CV cs.RO
3D Can Be Explored In 2D: Pseudo-Label Generation for LiDAR Point Clouds Using Sensor-Intensity-Based 2D Semantic Segmentation
Logiroad；LS2N - Ecole Centrale de Nantes（LS2N - 纵向神经网络）
本文提出一种无需三维标注和额外推理模态的三维 LiDAR 点云语义分割流程，通过将强度着色的二维视图用预训练模型分割后反投影并投票生成伪标签，并在无监督领域自适应中验证其有效性。
2025-05-06 cs.CV
A Data-efficient Framework for Robotics Large-scale LiDAR Scene Parsing
The Chinese University of Hong Kong（香港中文大学）；Wuhan University（武汉大学）
本文提出一种数据高效的点云理解框架，通过无监督聚类、弱标签引导的聚类合并及自监督标签传播，在有限标注下同时提升大规模LiDAR场景的语义分割、实例分割和目标检测性能。
2023-12-03 cs.CV cs.RO
Better Call SAL: Towards Learning to Segment Anything in Lidar
NVIDIA（英伟达）；CMU（卡内基梅隆大学）
提出SAL方法，利用2D视觉基础模型生成伪标签实现无需人工监督的激光雷达零样本分割与分类，性能接近全监督方法并支持任意类别提示。
2024-07-25 cs.CV cs.RO
MixSup: Mixed-grained Supervision for Label-efficient LiDAR-based 3D Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对基于LiDAR的三维目标检测标签效率问题，提出混合粒度监督范式MixSup，用粗聚类标签学语义、少量框标签学几何，搭配自动粗标注工具PointSAM，仅用10%框标注即可达到全监督性能的97.31%。
2024-01-29 cs.CV cs.RO
Self-supervised Visual-LiDAR Odometry with Flip Consistency
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
大多数基于学习的方法通过利用视觉传感器来估计自我运动，这会受到剧烈的照明变化和无纹理场景的影响。在本文中，我们将稀疏但准确的深度测量激光雷达获得克服视觉方法的局限性。为此，我们设计了一个自我监督的视觉激光雷达测距（Self-VLO）框架。它将单目图像和从3D激光雷达点投影的稀疏深度图作为输入，并以端到端学习的方式产生姿态和深度估计，而不使用任何地面实况标签。为了有效地融合两种模式，我们设计了一个双通道编码器，从视觉和深度图像中提取特征，并通过我们的融合模块将编码特征与解码器中的特征在多个尺度上融合。我们还采用了连体结构，并设计了一个自适应加权翻转一致性损失，以促进我们的VLO的自监督学习。在KITTI里程计基准上的实验表明，该方法优于所有自监督视觉或激光雷达里程计。它的性能也优于完全监督的VO，展示了融合的力量。
2021-01-05 cs.CV
Training a Fast Object Detector for LiDAR Range Images Using Labeled Data from Sensors with Higher Resolution
Ulm University（乌尔姆大学）
在本文中，我们描述了一种策略，用于训练神经网络从一种类型的激光雷达传感器获得的距离图像中的目标检测，使用来自不同类型的激光雷达传感器的标记数据。此外，提出了一种用于自动驾驶汽车的范围图像中的目标检测的有效模型。目前，用于从LiDAR测量进行目标检测的最高性能算法基于神经网络。使用监督学习训练这些网络需要大量的注释数据集。因此，大多数使用神经网络从LiDAR点云进行目标检测的研究都是在非常少量的公开数据集上进行的。因此，仅使用少量传感器类型。我们使用现有的注释数据集来训练一个神经网络，该神经网络可以与具有比用于记录注释数据集的分辨率更低的分辨率的LiDAR传感器一起使用。这是通过基于较高分辨率数据集模拟来自较低分辨率LiDAR传感器的数据来完成的。此外，提出了对使用LiDAR距离图像进行目标检测的模型的改进。使用模拟的传感器数据和安装在研究车辆上的实际低分辨率传感器的数据对结果进行了验证。实验结果表明，该模型能够实时的从360°距离像中检测出目标。
2019-12-05 cs.CV cs.LG cs.RO
EfficientLPS: Efficient LiDAR Panoptic Segmentation
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究院）
点云的全景分割是一项至关重要的任务，使自动驾驶车辆能够使用其高度准确和可靠的LiDAR传感器了解其附近区域。现有的自上而下的方法通过结合独立的特定任务网络或从图像域转换方法来解决这个问题，忽略了LiDAR数据的复杂性，因此通常会导致次优性能。在本文中，我们提出了一种新的自上而下的高效激光雷达全景分割（EfficientLPS）架构，解决了分割激光雷达点云的多重挑战，包括距离相关的稀疏性，严重的遮挡，大规模的变化，和重新投影错误。EfficientLPS由一个新的共享骨干组成，该骨干编码具有增强的几何变换建模能力，并聚集语义丰富的范围感知多尺度特征。它结合了新的尺度不变的语义和实例分割头与全景融合模块，这是由我们提出的全景周边损失函数监督。此外，我们还制定了一个正则化的伪标记框架，通过在未标记的数据上进行训练来进一步提高EfficientLPS的性能。我们在两个大规模LiDAR数据集上对我们提出的模型进行了基准测试：nuScenes，我们还提供了地面实况注释和SemanticKITTI。值得注意的是，EfficientLPS在这两个数据集上都设置了新的最先进的技术。
2021-11-04 cs.CV cs.LG cs.RO
SSDA3D: Semi-supervised Domain Adaptation for 3D Object Detection from Point Cloud
Inceptio（嬴彻科技）
基于LiDAR的3D目标检测是先进自动驾驶系统中不可或缺的任务。虽然卓越的3D探测器已经取得了令人印象深刻的检测结果，但当面对看不见的领域时，例如不同的LiDAR配置，不同的城市和天气条件，它们会遭受显着的性能退化。主流方法倾向于利用无监督领域自适应（UDA）技术来解决这些挑战。然而，当存在严重的域偏移时，这些UDA解决方案仅产生不令人满意的3D检测结果，例如，从Waymo（64束）到nuScenes（32束）。为了解决这个问题，我们提出了一种新的半监督领域自适应方法的三维目标检测（SSDA 3D），其中只有少数标记的目标数据是可用的，但可以显着提高适应性能。特别地，我们的SSDA 3D包括领域自适应阶段和领域泛化阶段。在第一阶段，提出了一个域间Point-CutMix模块，以有效地对齐跨域的点云分布。Point-CutMix生成中间域的混合样本，从而鼓励学习域不变知识。然后，在第二阶段，我们进一步增强模型，以便在未标记的目标集上更好地泛化。这是通过探索半监督学习中的域内点混合来实现的，它基本上规范了伪标签分布。从Waymo到nuScenes的实验表明，只有10%的标记目标数据，我们的SSDA 3D可以超过100%目标标签的全监督Oracle模型。我们的代码可在www.example.com上获得。
2022-12-06 cs.AI cs.CV
DoGFlow: Self-Supervised LiDAR Scene Flow via Cross-Modal Doppler Guidance
KTH Royal Institute of Technology（皇家理工学院）；Autonomous Transport Solutions Lab, Scania Group（自主运输解决方案实验室，斯堪尼亚集团）
针对自主系统3D场景流估计中人工标注数据集的瓶颈问题，提出DoGFlow自监督框架，通过跨模态多普勒引导迁移运动伪标签，无需人工标注即可提升LiDAR场景流性能，在MAN TruckScenes数据集上大幅超越现有自监督方法并提高标签效率。
2025-08-25 cs.CV
Efficient Stereo Depth Estimation for Pseudo LiDAR: A Self-Supervised Approach Based on Multi-Input ResNet Encoder
Ontario Tech University（安大略理工大学）
感知和定位对于自动运载工具至关重要，由于其精确的距离测量能力，主要通过3D LiDAR传感器进行估计。本文提出了一种从图像传感器获取实时伪点云代替激光传感器的策略。我们提出了一种方法，使用不同的深度估计，以获得伪点云，如激光雷达，以获得更好的性能。此外，深度估计器的训练和验证策略采用立体图像数据来估计更精确的深度估计以及点云结果。我们生成深度图的方法优于KITTI基准，同时产生点云的速度明显快于其他方法。
2022-05-17 cs.CV
Sparse LiDAR Assisted Self-supervised Stereo Disparity Estimation
Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；Institute for Infocomm Research（资讯通信研究院）
近年来，深度立体匹配取得了重大进展。然而，最先进的方法是基于昂贵的4D成本体积，这限制了它们在现实世界中的应用。为了解决这个问题，已经提出了3D相关图和迭代视差更新。在现实世界的平台上，如自动驾驶汽车和机器人，通常会安装激光雷达。因此，我们进一步将稀疏激光雷达点引入迭代更新中，从而减轻了网络从零状态更新视差的负担。此外，我们建议以自我监督的方式训练网络，以便它可以在任何捕获的数据上进行训练，以获得更好的泛化能力。实验和比较表明，该方法是有效的，并取得了与相关方法相当的结果。
2021-12-31 cs.CV
Systematic Evaluation of Depth Backbones and Semantic Cues for Monocular Pseudo-LiDAR 3D Detection
University of Toronto（多伦多大学）
本文系统评估了单目伪LiDAR 3D检测中深度骨干网络和语义线索的影响，发现几何保真度和深度骨干网络选择对性能更为关键。
2026-01-07 cs.CV cs.LG cs.RO
TerraSeg: Self-Supervised Ground Segmentation for Any LiDAR
Delft University of Technology（代尔夫特理工大学）；University of Alcalá（阿尔卡拉大学）
TerraSeg通过自监督学习实现任意LiDAR的地面分割，利用大规模统一数据集OmniLiDAR提升泛化能力，无需人工标注即可在多个数据集上取得最优性能。
2026-03-28 cs.CV
UdeerLID+: Integrating LiDAR, Image, and Relative Depth with Semi-Supervised
Zhejiang University（浙江大学）
针对道路分割中精确标注数据稀缺的问题，提出半监督 UdeerLID+ 框架，融合 LiDAR、图像和相对深度信息，并在 KITTI 上验证了优越性能。
2024-09-10 cs.CV
Lidar-Camera Co-Training for Semi-Supervised Road Detection
Chalmers University of Technology（查尔姆斯理工大学）；AB Volvo（沃尔沃集团）
机器学习和计算机视觉领域的最新进展使得能够开发快速且准确的道路检测器。通常，这样的系统在监督学习范例内被训练，其中必须提供输入传感器的数据和对应的地面实况标签。生成标签的任务通常由人类注释者执行，并且众所周知，这是耗时且昂贵的。在这项工作中，它表明，一个半监督的方法称为共同训练可以提供显着的F1分数平均改善相比，监督学习。在联合训练中，两个分类器作用于数据的不同视图，通过利用未标记的示例来合作提高彼此的性能。根据所使用的标记数据量，基于摄像头的道路检测器的改进范围为1.12至6.10个百分点，基于激光雷达的道路检测器的改进范围为1.04至8.14个百分点。最后，在KITTI道路基准测试上对协同训练算法进行了验证，仅使用36个标记的训练样本和数千个未标记的样本就实现了高性能。
2019-11-28 cs.CV
Semi-supervised Implicit Scene Completion from Sparse LiDAR
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；The Hong Kong University of Science and Technology（香港科技大学）；Intel Labs China（英特尔中国研究院）；Peking University（北京大学）
最近的进展表明，半监督隐式表示学习可以通过像Eikonal方程的物理约束来实现。然而，该方案尚未成功地用于激光雷达点云数据，由于其空间变化的稀疏性。在本文中，我们开发了一种新的配方，条件半监督隐函数的局部形状嵌入。它利用稀疏卷积网络的强大表示学习能力来生成形状感知的密集特征量，同时仍然允许半监督符号距离函数学习，而无需知道其在自由空间的确切值。通过大量的定量和定性结果，我们证明了这个新的学习系统的内在属性及其在现实世界的道路场景中的实用性。值得注意的是，我们在SemanticKITTI上将IoU从26.3%提高到51.0%。此外，我们探索了两种范式来整合语义标签预测，实现隐含的语义完成。代码和模型可以在https://github.com/OPEN-AIR-SUN/SISC上访问。
2021-11-29 cs.CV
Optimal Transport for Change Detection on LiDAR Point Clouds
Istituto Italiano di Tecnologia（意大利技术研究院）；RIKEN AIP（理化学研究所人工智能研究中心）；Kyoto University（京都大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
针对机载 LiDAR 点云因空间支撑不匹配、噪声及标注缺乏导致的变化检测难题，提出基于非平衡最优传输的无监督三维点传输方法，支持多类分类并显著超越现有无监督方法。
2023-11-08 cs.CV cs.LG eess.IV
VR3Dense: Voxel Representation Learning for 3D Object Detection and Monocular Dense Depth Reconstruction
Ford Greenfield Labs（福特绿地实验室）
三维目标检测和密集深度估计是自动驾驶中最重要的任务之一。多传感器模态可以共同属性朝向更好的机器人感知，并为此，我们介绍了一种方法，用于联合训练三维目标检测和单目密集深度重建神经网络。它在推理过程中将LiDAR点云和单个RGB图像作为输入，并生成对象姿势预测以及密集重建的深度图。将LiDAR点云转换为一组体素，并使用3D卷积层提取其特征，从中回归物体姿态参数。相应的RGB图像特征提取使用另一个二维卷积神经网络。我们进一步使用这些组合特征来预测密集的深度图。虽然我们的目标检测是以监督的方式训练的，但深度预测网络是用自监督和监督损失函数训练的。我们还介绍了一个损失函数，边缘保持平滑损失，并表明，这导致更好的深度估计相比，边缘感知平滑损失函数，经常用于深度预测工作。
2021-09-14 cs.AI cs.CV cs.LG
