An Evaluation of RGB and LiDAR Fusion for Semantic Segmentation
The American University in Cairo（开罗美国大学）
激光雷达和摄像头是计划包含在许多已宣布的自动驾驶汽车原型中的两个主要传感器。两者都从不同的角度向周围环境提供了独特的数据形式。在本文中，我们探索并试图回答这个问题：在自动驾驶的背景下，为了语义分割的目的，融合这两种形式的数据是否有额外的好处？我们还试图表明，在哪个水平上说，融合证明是最有用的。我们在公开的SemanticKITTI数据集上评估了我们的算法。所有融合模型都显示出对基础模型的改进，其中中级融合在平均交集与并集（mIoU）度量方面显示出最高的2.7%的改进。
2021-08-17 cs.CV
Adaptive LiDAR Scanning: Harnessing Temporal Cues for Efficient 3D Object Detection via Multi-Modal Fusion
针对传统激光雷达密集扫描存在冗余、高功耗的问题，提出历史感知的自适应扫描框架，通过时序上下文预测关键ROI引导稀疏扫描，在nuScenes等基准上实现超65%的激光雷达降耗，同时保持优异的3D检测性能。
2025-11-14 cs.CV
Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection
University of Electronic Science and Technology of China（电子科技大学）
3D目标检测已经成为自动驾驶场景中的新兴任务。以前的作品使用基于投影或基于体素的模型处理3D点云。然而，这两种方法都有一些缺点。基于体素的方法缺乏语义信息，而基于投影的方法在投影到不同的视图时会丢失大量的空间信息。在本文中，我们提出了立体RGB和更深的激光雷达（SRDL）框架，可以同时利用语义和空间信息，使网络的三维目标检测的性能可以自然提高。具体来说，该网络从立体对中生成候选框，并使用深度融合方案组合不同的区域特征。立体声策略提供了更多的预测信息相比，以前的作品。然后，在分割模块中堆叠多个局部和全局特征提取器，以从点云中捕获更丰富的深层语义几何特征。在将内部点与融合特征对齐后，所提出的网络以更准确的方式细化预测，并以一种新颖的紧凑方法对整个盒子进行编码。在具有挑战性的KITTI检测基准上的良好实验结果证明了利用立体图像和点云进行3D目标检测的有效性。
2020-06-09 cs.CV
DeepTemporalSeg: Temporally Consistent Semantic Segmentation of 3D LiDAR Scans
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究院）
理解环境的语义特征是自主机器人操作的关键使能器。在本文中，我们提出了一种深度卷积神经网络（DCNN），用于将LiDAR扫描的语义分割为汽车，行人或骑自行车的人。这种架构基于密集块，并有效地利用深度可分离卷积来限制参数的数量，同时仍然保持最先进的性能。为了使DCNN的预测在时间上一致，我们提出了一种基于贝叶斯滤波器的方法。该方法使用来自神经网络的预测来递归地估计扫描中的点的当前语义状态。该递归估计使用从先前扫描获得的知识，从而使预测在时间上一致并且对孤立的错误预测具有鲁棒性。我们比较我们提出的架构与其他国家的最先进的神经网络架构的性能，并报告大幅改善。对于建议的贝叶斯滤波器的方法，我们显示在KITTI跟踪基准的各种序列的结果。
2020-03-23 cs.CV cs.RO
LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation
Department of Automation, BNRist, Tsinghua University, China（自动化系、北京人工智能研究院、清华大学、中国）
本文提出LiCamPose，结合多视角RGB和稀疏点云数据，通过单帧实现鲁棒的3D人体姿态估计，并设计了合成数据生成器和无监督域适应策略，验证了方法在多种数据集上的泛化能力。
2026-05-07 cs.CV
ScanRefer: 3D Object Localization in RGB-D Scans using Natural Language
Technical University of Munich（慕尼黑工业大学）；Simon Fraser University（西蒙弗雷泽大学）
我们介绍了使用自然语言描述的RGB-D扫描中的3D对象定位的任务。作为输入，我们假设扫描的3D场景的点云以及指定目标对象的自由形式描述。为了解决这个问题，我们提出了ScanRefer，从3D对象建议和编码的句子嵌入中学习融合的描述符。该融合描述符将语言表达与几何特征相关联，从而实现目标对象的3D限界框的回归。我们还介绍了ScanRefer数据集，其中包含来自800个ScanNet场景的11，046个对象的51，583个描述。ScanRefer是第一个通过自然语言表达直接在3D中执行对象定位的大规模努力。
2020-11-11 cs.CL cs.CV cs.LG
Scene Completeness-Aware Lidar Depth Completion for Driving Scenario
University of Southern California（南加州大学）
本文提出SCADC方法，利用立体图像视差辅助稀疏激光雷达深度补全，首次关注驾驶场景中上部区域的结构完整性，并在KITTI精度与完整性及室外RGBD语义分割上验证有效性。
2024-01-17 cs.CV cs.RO
Scan2Cap: Context-aware Dense Captioning in RGB-D Scans
Technical University of Munich（慕尼黑工业大学）；Simon Fraser University（西蒙弗雷泽大学）
我们介绍了商品RGB-D传感器的3D扫描中的密集字幕的任务。作为输入，我们假设一个3D场景的点云;预期的输出是边界框以及底层对象的描述。为了解决三维目标检测和描述问题，我们提出了Scan 2Cap，一个端到端的训练方法，检测输入场景中的对象，并用自然语言描述它们。我们使用一种注意力机制，它在引用本地上下文中的相关组件时生成描述性标记。为了在生成的字幕中反映对象关系（即相对空间关系），我们使用消息传递图模块来促进学习对象关系特征。我们的方法可以有效地定位和描述来自ScanRefer数据集的场景中的3D对象，显著优于2D基线方法（27.61%CiDEr@0.5IoU改进）。
2020-12-03 cs.CV cs.LG eess.IV
MILAN: Milli-Annotations for Lidar Semantic Segmentation
LIGM（图像与数字数学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（Gustave Eiffel大学）；CNRS（法国国家科学研究中心）
本文提出MILAN方法，利用自监督激光雷达表示选择高信息量扫描并聚类点云，通过每簇一次点击标注，以千分之一标签成本达到与完全标注相当的性能。
2024-07-22 cs.CV
Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental Study
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Research Center for Information Technology（信息技术研究中心）
自动驾驶汽车需要对周围的三维世界有一个语义理解，以便对它们的环境进行推理。现有技术的方法使用深度神经网络来预测LiDAR扫描中每个点的语义类。处理LiDAR测量的一种强大而有效的方法是使用二维图像投影。在这项工作中，我们进行了全面的实验研究基于图像的语义分割架构的激光雷达点云。我们展示了各种技术，以提高性能，提高运行时以及内存的限制。首先，我们研究了网络大小的影响，并建议可以以非常低的精度成本实现更快的推理时间。接下来，我们介绍一种改进的点云投影技术，不遭受系统闭塞。我们使用一个循环填充机制，在水平视野边界提供上下文。在第三部分中，我们使用软Dice损失函数进行实验，该函数直接优化了交集度量。最后，我们提出了一种新的卷积层，沿着两个空间维度之一减少了权重共享量，解决了LiDAR扫描垂直轴上外观的巨大差异。我们提出了上述方法的最后一组，通过这些方法，模型的mIoU分割性能比基线提高了3.2%，同时只需要原始推理时间的42%。
2021-09-24 cs.CV cs.LG stat.ML
3D3L: Deep Learned 3D Keypoint Detection and Description for LiDARs
ETH Zurich（苏黎世联邦理工学院）；Voliro Airborne Robotics（Voliro空中机器人公司）
随着功能强大、重量轻的3D LiDAR的出现，它们已成为各种自主系统上许多导航和SLAM算法的核心。点云配准方法与非结构化点云（如ICP）一起工作，通常计算成本很高，或者需要很好的初始猜测。此外，基于3D特征的配准方法从未完全达到视觉SLAM中的2D方法的鲁棒性。随着LiDAR距离图像分辨率的不断提高，这些2D方法不仅变得适用，而且应该利用随之而来的与照明无关的模式，例如深度和强度。在视觉SLAM中，与传统方法相比，深度学习的2D特征和描述符表现得非常好。在本出版物中，我们使用最先进的2D特征网络作为3D3L的基础，利用LiDAR范围图像的强度和深度来提取强大的3D特征。我们的研究结果表明，从LiDAR扫描图像中提取的这些关键点和描述符在不同的基准指标上都优于最先进的技术，并且可以实现强大的扫描到扫描对齐以及全局定位。
2021-04-12 cs.CV cs.RO
Multimodal Fusion of RGB and Complementary Modalities for Semantic Segmentation
School of Automation, Southeast University（东南大学自动化学院）；Technical University of Munich（慕尼黑工业大学）
针对多模态语义分割中不同传感器特征匹配差、融合不稳定的问题，提出双向极性感知跨模态融合（BPCF）模块，在6种模态配对的8个公开数据集上取得SOTA结果。
2026-10-14 cs.CV
Semantics-Guided Moving Object Segmentation with 3D LiDAR
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；The University of Macau（澳门大学）
本文提出一种语义引导卷积神经网络，通过单扫描语义分割、多扫描MOS及ASA模块对齐相邻扫描语义特征，实现快速可靠的3D LiDAR运动物体分割。
2022-05-06 cs.CV cs.RO
Multi-modal Streaming 3D Object Detection
University of British Columbia（不列颠哥伦比亚大学）
现代自动驾驶汽车在很大程度上依赖于机械激光雷达进行感知。目前的感知方法通常需要360°点云，当LiDAR扫描方位角并获取连续的楔形切片时，依次收集点云。全扫描的采集延迟（~ 100 ms）可能导致过时的感知，这对安全操作有害。最近的流式感知工作提出直接处理LiDAR切片，并通过重用来自先前切片的特征来补偿切片的窄视场（FOV）。然而，这些工作都是基于一种单一的模式，需要过去的信息，可能已经过时。同时，来自高频相机的图像可以支持流式模型，因为与LiDAR切片相比，它们提供了更大的FoV。然而，FoV中的这种差异使传感器融合复杂化。为了解决这一研究差距，我们提出了一个创新的相机激光雷达流3D目标检测框架，使用相机图像，而不是过去的激光雷达切片，提供一个最新的，密集的，广泛的上下文流感知。所提出的方法优于具有挑战性的NuScenes基准的先前流模型。它也优于强大的全扫描探测器，同时速度更快。我们的方法被证明是强大的丢失的相机图像，窄的激光雷达切片，和小相机激光雷达误校准。
2022-09-12 cs.CV cs.RO
ViLiVO: Virtual LiDAR-Visual Odometry for an Autonomous Vehicle with a Multi-Camera System
Shanghai Jiao Tong University（上海交通大学）；SAIC Motor（上海汽车集团股份有限公司）
在本文中，我们提出了一个多摄像机视觉里程计（VO）系统的自主车辆。我们的系统主要由一个虚拟激光雷达和一个姿态跟踪器。我们使用透视变换的方法来合成一个环绕视图的图像从无失真的鱼眼相机图像。利用语义分割模型，可以提取出自由空间。虚拟激光雷达的扫描是通过离散化自由空间的轮廓来生成的。在姿态跟踪方面，提出了一种融合特征匹配和虚拟激光雷达扫描匹配结果的视觉里程计系统。只有那些位于自由空间区域中的特征点被用来确保用于位姿估计的2D-2D匹配。此外，进行光束法平差（BA），以最小化特征点重投影误差和扫描匹配误差。我们将我们的系统应用于配备四个鱼眼摄像头的自动驾驶汽车。测试场景包括室外停车场和室内车库。实验结果表明，我们的系统实现了更强大的和准确的性能相比，基于鱼眼相机的单目视觉里程计系统。
2019-09-30 cs.CV cs.RO
3D Sensing of a Moving Object with a Nodding 2D LIDAR and Reconfigurable Mirrors
3D感知已成为机器人应用的大部分标准实践。高质量的3D感知是昂贵的。我们之前在点头2D激光雷达上的工作以低成本提供了高质量的3D深度信息，但这种传感器生成的稀疏数据在理解不确定环境中移动物体的特征方面提出了挑战。本文提出了一种新颖的设计点头激光雷达，但提供了动态可重构性方面的限制使用一组光学反射镜的传感器的视场。它不仅提供了更密集的扫描，而且还实现了三倍的扫描更新速率。此外，我们提出了一种新的校准机制，这种传感器，并证明其有效性的动态目标检测和跟踪。
2019-12-27 cs.CV cs.RO
Neural LiDAR Fields for Novel View Synthesis
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
提出NFL，将神经场渲染与物理LiDAR传感模型结合以合成新视角扫描，并在真实与合成数据上验证其优于重建模拟及NeRF风格方法。
2023-08-13 cs.CV
Enhancing Pseudo-Boxes via Data-Level LiDAR-Camera Fusion for Unsupervised 3D Object Detection
PCA Lab, School of Computer Science and Engineering, Nanjing University of Science and Technology（PCA实验室，计算机科学与工程学院，南京理工大学）
针对无监督 3D 检测中伪框质量不足的问题，本文提出早期数据级 LiDAR-RGB 双向融合、局部/全局滤波与动态自演化策略，在 nuScenes 上达到 28.4% mAP。
2025-08-28 cs.CV
RePLAy: Remove Projective LiDAR Depthmap Artifacts via Exploiting Epipolar Geometry
Michigan State University（密歇根州立大学）
针对LiDAR投影深度图伪影问题，提出无参数解析方案RePLAy，利用虚拟LiDAR相机与RGB相机的极线几何遮挡去除伪影，显著提升单目深度估计与3D目标检测性能。
2024-07-27 cs.CV
R-AGNO-RPN: A LIDAR-Camera Region Deep Network for Resolution-Agnostic Detection
Sherpa Engineering（Sherpa工程公司）；Université Clermont Auvergne（克莱蒙奥弗涅大学）；SIGMA Clermont（克莱蒙西格玛工程师学院）；Institut Pascal（帕斯卡研究所）；Centrale Nantes（南特中央理工学院）；LS2N（南特数字科学实验室）
现有的基于神经网络的目标检测方法处理LiDAR点云时，一般都是从一种LiDAR传感器训练得到的。然而，当用来自与用于训练的LiDAR传感器不同的LiDAR传感器的数据来测试它们时，它们的性能降低，即，不同的点云分辨率。本文提出了一种融合三维点云和RGB图像的区域建议网络R-AGNO-RPN，用于三维目标检测，而不受点云分辨率的影响。由于我们的方法也被设计用于低点云分辨率，因此所提出的方法专注于对象定位，而不是在减少的数据上估计细化的框。通过将图像特征精确映射到鸟瞰图和特定的数据增强过程来提高RGB图像的贡献，从而获得对低分辨率点云的恢复能力。为了展示所提出的网络处理不同点云分辨率的能力，对来自KITTI 3D目标检测和nuScenes数据集的数据进行了实验。此外，为了评估其性能，将我们的方法与著名的3D检测网络PointPillars进行了比较。实验结果表明，即使在经过原始点的$80\%$缩减后的点云数据上，该方法仍然能够给出相关的定位建议。
2020-12-10 cs.AI cs.CV cs.RO
A Preprocessing and Postprocessing Voxel-based Method for LiDAR Semantic Segmentation Improvement in Long Distance
University of Wuppertal（乌尔姆大学）；Aptiv Services Deutschland GmbH（APTIV德国服务公司）
本文提出了一种用于增强长距离LiDAR语义分割的预处理和后处理方法，通过多阶段处理和先进模型结合，显著提升了中远距离的mIoU性能。
2024-05-16 cs.CV
Multistream Network for LiDAR and Camera-based 3D Object Detection in Outdoor Scenes
Department of Computer Science, The University of Western Australia（西澳大学计算机科学系）；School of Computing & Information Systems, The University of Melbourne（墨尔本大学计算与信息系）
提出三流 MuStD 网络，分别提取 LiDAR 柱体、鸟瞰图及 RGB-LiDAR 多模态特征并融合，在 KITTI 上实现高效且具竞争力的 3D 检测。
2025-07-25 cs.AI cs.CV
Frustum Fusion: Pseudo-LiDAR and LiDAR Fusion for 3D Detection
Koc University（科奇大学）
大多数自动驾驶汽车都配备了LiDAR传感器和立体摄像头。前者是非常准确的，但产生稀疏的数据，而后者是密集的，有丰富的纹理和颜色信息，但难以提取鲁棒的3D表示。在本文中，我们提出了一种新的数据融合算法相结合，从立体对密集，但不太准确的点云精确的点云。我们开发了一个框架，将该算法集成到各种三维目标检测方法。我们的框架从两个RGB图像的2D检测开始，计算平截头体及其相交，从立体图像创建伪LiDAR数据，并用密集的伪LiDAR点填充LiDAR数据缺乏的相交区域的部分。我们训练多个三维目标检测方法，并表明我们的融合策略不断提高检测器的性能。
2021-11-08 cs.CV
RAFT -- A Domain Adaptation Framework for RGB & LiDAR Semantic Segmentation
Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）；Department of Electrical Engineering, University of South Florida（佛罗里达州立大学电气工程系）
针对合成数据训练模型在现实场景分割中面临的Syn2Real问题，提出RAFT框架，结合数据与特征增强、主动学习，用极少真实标注数据适配模型，在多个合成到真实及真实到真实基准上超越HALO，提升mIoU性能。
2025-11-11 cs.CV
D-PLS: Decoupled Semantic Segmentation for 4D-Panoptic-LiDAR-Segmentation
Mannheim University of Applied Sciences（曼海姆应用技术大学）
本文提出D-PLS方法，通过解耦语义与实例分割并利用单次扫描语义预测作为先验指导实例分割，在SemanticKITTI数据集上显著提升了4D全景LiDAR分割的LSTQ指标。
2025-01-27 cs.AI cs.CV
3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans
Technical University of Munich（慕尼黑工业大学）
我们介绍了3D-SIS，一种新的神经网络架构，用于商品RGB-D扫描中的3D语义实例分割。我们方法的核心思想是从几何和颜色信号中联合学习，从而实现准确的实例预测。我们观察到大多数计算机视觉应用程序都有多视图RGB-D输入，而不是只在2D帧上操作，我们利用它来构建一种用于3D实例分割的方法，该方法有效地将这些多模态输入融合在一起。我们的网络通过基于3D重建的姿态对齐将2D图像与体积网格相关联来利用高分辨率RGB输入。对于每个图像，我们首先用一系列2D卷积为每个像素提取2D特征;然后将得到的特征向量反向投影到3D网格中的相关体素。这种2D和3D特征学习的组合允许比最先进的替代方案显著更高精度的目标检测和实例分割。我们展示了合成和真实世界公共基准的结果，在真实世界数据上实现了超过13的mAP改进。
2019-04-29 cs.CV
Instant Domain Augmentation for LiDAR Semantic Segmentation
POSTECH（浦项科技大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管LiDAR传感器越来越受欢迎，但使用3D LiDAR数据的感知算法仍在与“传感器偏差问题”作斗争。具体而言，感知算法的性能显着下降时，一个看不见的规格的激光雷达传感器应用在测试时，由于域的差异。本文提出了一种快速灵活的激光雷达增强方法的语义分割任务，称为“LiDomAug'。它聚合原始LiDAR扫描并创建任何配置的LiDAR扫描，同时考虑动态失真和遮挡，从而实现即时域增强。我们的按需增强模块以330 FPS运行，因此可以无缝集成到学习框架中的数据加载器中。在我们的实验中，基于学习的方法与所提出的LiDomAug辅助受传感器偏置问题的影响较小，并实现新的最先进的领域自适应性能SemanticKITTI和nuScenes数据集，而不使用目标域数据。我们还提出了一个传感器不可知模型，忠实地工作在各种激光雷达配置。
2023-03-25 cs.CV
Two-Stage Extrinsic Calibration of a Static Line-Scanning Lidar with a Rotary Platform
SiLC Technologies（SiLC技术公司）
研究基于旋转平台的静态线扫描激光雷达校准问题，探索自动方法静态和动态估计旋转轴变换，通过真实数据集验证算法并研究其收敛特性。
2026-07-22 cs.RO eess.SP
