2D vs. 3D LiDAR-based Person Detection on Mobile Robots
RWTH Aachen（亚琛工业大学）；Visual Computing Institute（视觉计算研究所）
人体检测是移动机器人在人群环境中导航的一项重要任务。LiDAR传感器由于其精确的深度测量和大视场而有望完成这项任务。存在两种类型的LiDAR传感器：扫描单个平面的2D LiDAR传感器和扫描多个平面从而形成体积的3D LiDAR传感器。它们在人员检测任务中的表现如何？为了回答这个问题，我们进行了一系列实验，使用公共的大规模JackRabbot数据集和最先进的基于2D和3D LiDAR的人员检测器（分别为DR-SPAAM和CenterPoint）。我们的实验包括多个方面，从基本的性能和速度比较，更详细的分析定位精度和鲁棒性的距离和场景杂波。这些实验的见解突出了2D和3D LiDAR传感器作为人员检测源的优势和劣势，对于设计将在接近周围人类的地方运行的移动机器人（例如服务或社交机器人）特别有价值。
2022-07-25 cs.CV cs.RO
High-level camera-LiDAR fusion for 3D object detection with machine learning
Universidad Autónoma de Occidente（西方自治大学）
本文解决了3D目标检测问题，这对于自动驾驶等应用至关重要。我们的框架使用单目相机和LiDAR数据的组合上的机器学习（ML）管道来检测移动平台周围3D空间中的车辆。它使用由最先进的（SOTA）2D对象检测器生成的截头体区域建议将LiDAR点云分割成代表潜在单个对象的点群。我们评估了经典ML算法的性能，作为整体管道的一部分，用于估计移动平台周围车辆周围的3D边界框的参数。我们的研究结果表明，一个有效的和准确的推断验证集，实现了87.1%的整体准确性。
2021-05-24 cs.CV cs.LG cs.RO
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology（南方科技大学）；Jimei University（集美大学）
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题，最近随着新型激光雷达的出现变得更加苛刻，这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力，而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离，但具有稀疏的角分辨率，因此在径向测量中测量是精确的，但缺乏角度。另一方面，相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体，估计他们的速度，同时纠正点云失真。该框架在真实道路数据上进行了评估，融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的（https：//github.com/ISEE-Technology/lidar-with-velocity），以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
Pseudo-LiDAR Based Road Detection
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）；Intellifusion（云天励飞）
道路检测是自动驾驶汽车的一项至关重要的任务。通过采用LiDAR数据，最近的工作显着提高了道路检测的准确性。当只有相机可用时，依赖LiDAR传感器限制了这些方法的广泛应用。在本文中，我们提出了一种新的道路检测方法与RGB是唯一的输入在推理。具体来说，我们利用伪激光雷达使用深度估计，并提出了一个特征融合网络，RGB和学习的深度信息融合，以提高道路检测。进一步优化网络结构，提高网络效率。我们使用NAS技术寻找特征融合模块的网络结构。最后，请注意，通过深度估计从RGB生成伪LiDAR会引入额外的计算成本，并依赖于深度估计网络，我们设计了一种模态蒸馏策略，并利用它进一步将我们的网络从这些额外的计算成本和推理过程中的依赖关系中解放出来。该方法在两个具有挑战性的基准测试KITTI和R2D上实现了最先进的性能。
2022-03-11 cs.CV cs.RO
On Enhancing Ground Surface Detection from Sparse Lidar Point Cloud
TrunkTech
点云数据中的地面检测是自动驾驶系统中的一个关键模块。不同于以往的方法，主要是开发高光束分辨率的激光雷达，如Velodyne HDL-64，本文提出的地面检测技术适用于更稀疏的点云捕获的激光雷达与低光束分辨率，如Velodyne VLP-16。该方法基于平面拟合的RANSAC方案。平面假设的内点验证是通过利用逐点切线来增强的，逐点切线是可用于计算的局部特征，而不管激光雷达光束的密度如何。不完全平坦的地面由多个（具体地，在我们的实现中为4个）不相交的平面区域拟合。通过假设这些平面区域是矩形的，并利用积分图像技术，我们的方法近似地找到了最佳的区域划分和平面假设下的RANSAC计划与实时计算复杂性。
2021-05-25 cs.CV cs.RO
Deep Active Learning for Efficient Training of a LiDAR 3D Object Detector
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
训练用于自动驾驶的深度对象检测器需要大量的标记数据。虽然通过相机或LiDAR等机载传感器记录数据相对容易，但注释数据非常繁琐和耗时，特别是在处理3D LiDAR点或雷达数据时。主动学习有可能最大限度地减少人工注释工作，同时最大限度地提高对象检测器的性能。在这项工作中，我们提出了一种主动学习方法，训练激光雷达3D物体检测器与最少量的标记训练数据必要的。该检测器利用从RGB图像生成的2D区域建议来减少对象的搜索空间并加速学习过程。实验表明，该方法在不同的不确定性估计和查询函数下都能有效地工作，在达到相同网络性能的同时，可以节省多达60%的标注工作量。
2019-05-05 cs.CV cs.LG cs.RO
TimePillars: Temporally-Recurrent 3D LiDAR Object Detection
Chalmers University of Technology（查尔姆斯理工大学）；Zenseact
TimePillars提出一种时间递归的LiDAR目标检测流水线，利用跨时间的柱状表示和ZOD数据集，在长距离场景下实现稳健高效检测，验证了递归性的优势。
2023-12-22 cs.CV cs.LG cs.RO
LEROjD: Lidar Extended Radar-Only Object Detection
Institute of Control Theory and Systems Engineering, TU Dortmund University（多特蒙德工业大学控制理论与系统工程研究所）；ZF Group（采埃孚集团）
本文提出LEROjD，利用激光雷达通过点云抽稀的多阶段训练和跨模态知识蒸馏增强仅雷达3D目标检测，最高提升4.2个百分点mAP且无需改架构。
2024-09-09 cs.AI cs.CV cs.RO
LCF3D: A Robust and Real-Time Late-Cascade Fusion Framework for 3D Object Detection in Autonomous Driving
LCF3D通过结合RGB图像和LiDAR点云的后期级联融合方法，提升自动驾驶中3D物体检测的鲁棒性和实时性。
2026-01-14 cs.CV cs.RO
Mapless Online Detection of Dynamic Objects in 3D Lidar
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
本文提出了一种无模型、与设置无关的三维激光雷达数据动态目标在线检测方法。我们明确地补偿了当今3D旋转激光雷达传感器的扫描操作（运动失真）。我们的检测方法使用运动补偿自由空间查询算法，并在点级别上对动态（当前移动）和静态（当前静止）标签进行分类。为了进行定量分析，我们使用CARLA（一个用于自动驾驶研究的开源模拟器）建立了一个具有运动失真激光雷达数据的基准。我们还使用Velodyne HDL-64 E在驾驶场景中提供了真实数据的定性分析。与现有的无模型3D激光雷达方法相比，该方法是独特的，因为它的设置独立性和补偿点云运动失真。
2018-09-19 cs.RO
ALOOD: Exploiting Language Representations for LiDAR-based Out-of-Distribution Object Detection
ALOOD通过整合语言表示，提出了一种基于LiDAR的分布外物体检测新方法，利用视觉-语言模型实现零样本分类。
2026-03-09 cs.CV cs.LG
MLOD: Awareness of Extrinsic Perturbation in Multi-LiDAR 3D Object Detection for Autonomous Driving
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Technologies（华为技术有限公司）
多传感器系统中往往存在外部扰动。在本文中，我们专注于在三维目标检测多激光雷达系统的外在不确定性。我们首先用两个基本的例子分析了外部扰动对几何任务的影响。为了最大限度地减少外部扰动的不利影响，我们在输入点云的每个点上传播不确定性，并使用此信息来提升3D几何任务的方法。然后，我们扩展了我们的研究结果，提出了一种称为MLOD的多LiDAR 3D对象检测器。MLOD是一个两阶段的网络，其中多个LiDAR信息融合通过各种方案在第一阶段，和外部扰动处理在第二阶段。我们进行了广泛的实验，在真实世界的数据集上，并证明了MLOD的准确性和鲁棒性的改善。代码、数据和补充材料可在以下网址获得：https://ram-lab.com/file/site/mlod
2020-09-29 cs.CV cs.RO
Towards Safe Autonomous Driving: Capture Uncertainty in the Deep Neural Network For Lidar 3D Vehicle Detection
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
为了确保自动驾驶汽车在公共道路上安全行驶，其目标检测模块不仅要正确工作，还要显示其预测的可信度。以前由深度学习驱动的对象检测器没有明确地对神经网络中的不确定性进行建模。我们通过提出实用的方法来捕获激光雷达点云的3D车辆检测器中的不确定性来解决这个问题。建议的概率检测器代表可靠的认知不确定性和任意的不确定性分类和定位任务。实验结果表明，认知不确定性与检测精度有关，而任意不确定性受车辆距离和遮挡的影响。实验结果还表明，通过对任意不确定度进行建模，可以使检测性能提高1%~ 5%。
2018-09-07 cs.CV cs.RO
LiDAR-BEVMTN: Real-Time LiDAR Bird's-Eye View Multi-Task Perception Network for Autonomous Driving
Valeo（法雷奥）；TU Ilmenau（伊尔梅瑙工业大学）
本文提出LiDAR-BEVMTN，一种基于共享编码器和任务特定解码器的实时多任务卷积网络，通过SWAG模块和异构训练统一实现LiDAR点云的检测、语义与运动分割，在嵌入式平台以3ms延迟取得领先性能。
2024-11-18 cs.CV cs.RO
Multi-modal Streaming 3D Object Detection
University of British Columbia（不列颠哥伦比亚大学）
现代自动驾驶汽车在很大程度上依赖于机械激光雷达进行感知。目前的感知方法通常需要360°点云，当LiDAR扫描方位角并获取连续的楔形切片时，依次收集点云。全扫描的采集延迟（~ 100 ms）可能导致过时的感知，这对安全操作有害。最近的流式感知工作提出直接处理LiDAR切片，并通过重用来自先前切片的特征来补偿切片的窄视场（FOV）。然而，这些工作都是基于一种单一的模式，需要过去的信息，可能已经过时。同时，来自高频相机的图像可以支持流式模型，因为与LiDAR切片相比，它们提供了更大的FoV。然而，FoV中的这种差异使传感器融合复杂化。为了解决这一研究差距，我们提出了一个创新的相机激光雷达流3D目标检测框架，使用相机图像，而不是过去的激光雷达切片，提供一个最新的，密集的，广泛的上下文流感知。所提出的方法优于具有挑战性的NuScenes基准的先前流模型。它也优于强大的全扫描探测器，同时速度更快。我们的方法被证明是强大的丢失的相机图像，窄的激光雷达切片，和小相机激光雷达误校准。
2022-09-12 cs.CV cs.RO
Multisensor Online Transfer Learning for 3D LiDAR-based Human Detection with a Mobile Robot
LE2I-CNRS, University of Technology of Belfort-Montbéliard（法国国家科学研究中心LE2I实验室，贝尔福-蒙贝利亚尔技术大学）；University of Lincoln（林肯大学）
人体检测和跟踪是服务机器人的一项重要任务，其中多个传感器的组合使用具有尚未开发的潜在优势。在本文中，我们介绍了一个框架，允许机器人学习一个新的三维激光雷达为基础的人类分类器，随着时间的推移，从其他传感器，利用多传感器跟踪系统。主要创新是使用现有传感器（即RGB-D相机，2D LiDAR）的不同检测器来在线训练新的基于3D LiDAR的人体分类器，利用所谓的轨迹概率。我们的框架使用这种概率来检查新的检测是否属于人类轨迹，由不同的传感器和/或检测器估计，并以半监督的方式学习人类分类器。该框架已被实施和测试的移动机器人收集的真实世界的数据集。我们提出的实验表明，我们的系统能够有效地从不同的传感器和环境中学习，并且基于3D激光雷达的人类分类的性能随着所使用的传感器/检测器的数量而提高。
2018-07-31 cs.RO
Influence of Camera-LiDAR Configuration on 3D Object Detection for Autonomous Driving
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
针对相机-LiDAR传感器配置影响三维检测的问题，提出统一信息论代理指标与CARLA加速评估框架，并在nuScenes上验证配置可导致最高30%的AP差异。
2024-03-02 cs.RO
UAV Position Estimation using a LiDAR-based 3D Object Detection Method
West Virginia University（西弗吉尼亚大学）
本文提出在GPS拒止环境中利用PointPillars三维目标检测算法从UGV的LiDAR数据估计UAV相对位置，并与传统点云分割聚类方法对比验证其有效性。
2025-04-09 cs.RO
Uncertainty Representation in a SOTIF-Related Use Case with Dempster-Shafer Theory for LiDAR Sensor-Based Object Detection
Institute for Driver Assistance and Connected Mobility（驾驶员辅助与车联网研究所）；Kempten University of Applied Sciences（科佩滕应用科学大学）
本文提出了一种系统的方法，利用Dempster-Shafer理论构建判定框架，以表示LiDAR传感器目标检测中的不确定性，并通过方差敏感性分析量化和优先处理这些不确定性，以确保自动驾驶场景的安全性。
2025-03-03 cs.LG cs.RO cs.SY
Extrinsic Calibration of Multiple LiDARs for a Mobile Robot based on Floor Plane And Object Segmentation
Sony Group Corporation（索尼集团公司）
针对视场无重叠的多LiDAR外参标定难题，提出一种基于累积地面与目标点云的无靶标标定方法，搭配考虑扫描模式的去噪模块，在仿真与真实机器人实验中均优于传统方法，可构建一致三维地图。
2024-09-13 cs.RO
Relative Energy Learning for LiDAR Out-of-Distribution Detection
The University of Melbourne（墨尔本大学）
提出相对能量学习（REL）框架，利用正负逻辑之间的能量差距作为相对评分函数，并结合轻量级数据合成策略Point Raise，有效提升激光雷达点云中离群点检测性能。
2026-06-01 cs.CV
Leveraging Heteroscedastic Aleatoric Uncertainties for Robust Real-Time LiDAR 3D Object Detection
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
我们提出了一个强大的实时的【形】激光雷达3D对象检测器，利用异方差任意不确定性，以显着提高其检测性能。设计了一个多损失函数来合并由辅助输出层预测的不确定性估计。使用我们提出的方法，网络忽略了训练噪声样本，并侧重于信息的。我们在KITTI目标检测基准上验证了我们的方法。我们的方法超过了基线方法，该方法在平均精度（AP）方面没有明确估计高达近9%的不确定性。与其他方法相比，它还产生了最先进的结果，同时运行的推理时间仅为72 ms。此外，我们进行了广泛的实验，以了解任意不确定性的行为。提取任意不确定性在部署过程中几乎没有额外的计算成本，这使得我们的方法非常适合自动驾驶应用。
2019-05-05 cs.RO
DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars
Robert Bosch GmbH（罗伯特·博世有限公司）
我们提出了DeepFusion，这是一种模块化的多模态架构，可以将激光雷达，摄像头和雷达以不同的组合融合在一起，用于3D目标检测。专业的特征提取器利用每种模态，并且可以轻松交换，使方法简单而灵活。提取的特征被转换成鸟瞰图作为一个共同的表示融合。在特征空间中融合模态之前执行空间和语义对齐。最后，检测头利用丰富的多模态特征来提高3D检测性能。激光雷达-相机、激光雷达-相机-雷达和相机-雷达融合的实验结果表明了该融合方法的灵活性和有效性。在这个过程中，我们研究了远距离汽车检测的基本上未探索的任务，最远可达225米，展示了我们的激光雷达相机融合的好处。此外，我们调查所需的密度的激光雷达点的三维目标检测，并说明在对恶劣天气条件下的鲁棒性的例子的影响。此外，我们的相机雷达融合烧蚀研究突出了准确的深度估计的重要性。
2022-09-27 cs.AI cs.CV cs.LG
A Multimodal Hybrid Late-Cascade Fusion Network for Enhanced 3D Object Detection
Politecnico di Milano（米兰理工学院）
本文提出了一种多模态混合后期级联融合网络，通过结合RGB和3D激光雷达检测器，提升3D物体检测的性能，特别是在行人和自行车检测方面表现优异。
2025-04-25 cs.AI cs.CV cs.RO
Research on Edge Detection of LiDAR Images Based on Artificial Intelligence Technology
University of Houston（休斯顿大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；The University of Chicago（芝加哥大学）；Columbia University（哥伦比亚大学）；University of Electronic Science and Technology of China（电子科技大学）
针对传统 LiDAR 图像边缘检测精度与计算效率不足的问题，本文设计深度学习检测模型并结合数据预处理增强，实验证明其性能优于传统方法。
2024-06-14 cs.AI cs.CV
3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial Feature Fusion for 3D Object Detection
Hanyang University（汉阳大学）
在本文中，我们提出了一种新的深度架构，用于融合相机和LiDAR传感器进行3D目标检测。由于相机和LiDAR传感器信号具有不同的特性和分布，因此融合这两种模态有望提高3D目标检测的准确性和鲁棒性。相机和激光雷达的融合所带来的挑战之一是，从每种模态获得的空间特征图由相机和世界坐标中的显著不同的视图表示;因此，在不丢失信息的情况下组合两个异构特征图并不是一件容易的任务。为了解决这个问题，我们提出了一种称为3D-CVF的方法，该方法使用跨视图空间特征融合策略将相机和LiDAR特征相结合。首先，该方法采用自动校准投影，将2D相机特征转换为与鸟瞰图（BEV）域中的LiDAR特征具有最高对应性的平滑空间特征图。然后，应用门控特征融合网络，使用空间注意力图来根据区域适当地混合相机和LiDAR特征。接下来，相机-LiDAR特征融合也在随后的建议细化阶段实现。摄像机功能通过3D RoI网格池从2D摄像机视图域使用，并与BEV功能融合以进行提案细化。在KITTI和nuScenes 3D目标检测数据集上进行的评估表明，相机-LiDAR融合在单一模态上提供了显着的性能增益，并且所提出的3D-CVF在KITTI基准中实现了最先进的性能。
2020-07-21 cs.CV cs.LG eess.IV
LiDAR Iris for Loop-Closure Detection
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）；MIT（麻省理工学院）
在本文中，一个全球性的激光雷达点云描述符，称为激光雷达虹膜，提出了快速，准确的闭环检测。在对LiDAR-Iris图像表示进行若干LoG-Gabor滤波和阈值化操作之后，可以针对每个点云获得二进制签名图像。给定两个点云，它们的相似度可以计算为分别从两个点云提取的两个对应的二值签名图像的汉明距离。如果假设3D（x，y，yaw）姿态空间，我们的LiDAR-Iris方法可以通过LiDAR-Iris表示的傅立叶变换在描述符级别实现姿态不变的闭环检测，尽管我们的方法通常可以通过重新对齐点云与附加的IMU传感器来应用于6D姿态空间。在五个道路场景序列上的实验结果表明，该算法具有良好的环路闭合检测性能。
2020-07-02 cs.CV cs.RO
Progressive LiDAR Adaptation for Road Detection
UBTECH Sydney Artificial Intelligence Centre（优必选悉尼人工智能中心）；University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）；Hangzhou Dianzi University（杭州电子科技大学）
尽管基于视觉图像的道路检测发展迅速，但由于光照变化和图像模糊等问题，鲁棒地识别视觉图像中的道路区域仍然具有挑战性。为此，可以并入LiDAR传感器数据以改进基于视觉图像的道路检测，因为LiDAR数据不太容易受到视觉噪声的影响。然而，将LiDAR信息引入基于视觉图像的道路检测的主要困难在于LiDAR数据及其提取的特征与视觉数据和视觉特征不共享同一空间。空间中的这种间隙可能限制LiDAR信息用于道路检测的益处。为了克服这个问题，我们引入了一种新的渐进式LiDAR自适应辅助道路检测（PLARD）方法，以适应LiDAR信息到基于视觉图像的道路检测，并提高检测性能。在PLARD中，渐进式LiDAR自适应包括两个后续模块：1）数据空间自适应，通过应用基于高度差的变换将LiDAR数据转换到视觉数据空间以与透视图对齐; 2）特征空间自适应，通过级联融合结构将LiDAR特征适应视觉特征。对著名的KITTI道路检测基准的全面实证研究表明，PLARD利用了视觉和LiDAR信息，即使在具有挑战性的城市场景中也能实现更强大的道路检测。特别是，PLARD优于其他最先进的道路检测模型，目前是公众可访问的基准排行榜的顶部。
2019-04-02 cs.CV
LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection
University of Michigan（密歇根大学）
本文提出LiRaFusion，通过设计早期和中间融合模块自适应融合LiDAR与radar特征，有效提升了3D目标检测性能并在nuScenes数据集上取得显著改善。
2024-02-18 cs.CV cs.RO
Frustum Fusion: Pseudo-LiDAR and LiDAR Fusion for 3D Detection
Koc University（科奇大学）
大多数自动驾驶汽车都配备了LiDAR传感器和立体摄像头。前者是非常准确的，但产生稀疏的数据，而后者是密集的，有丰富的纹理和颜色信息，但难以提取鲁棒的3D表示。在本文中，我们提出了一种新的数据融合算法相结合，从立体对密集，但不太准确的点云精确的点云。我们开发了一个框架，将该算法集成到各种三维目标检测方法。我们的框架从两个RGB图像的2D检测开始，计算平截头体及其相交，从立体图像创建伪LiDAR数据，并用密集的伪LiDAR点填充LiDAR数据缺乏的相交区域的部分。我们训练多个三维目标检测方法，并表明我们的融合策略不断提高检测器的性能。
2021-11-08 cs.CV
SimpleBEV: Improved LiDAR-Camera Fusion Architecture for 3D Object Detection
IEIT
提出SimpleBEV，一种基于BEV空间的激光雷达-相机融合3D检测框架，通过级联深度估计校正、辅助相机分支及多尺度稀疏卷积融合，在nuScenes上取得77.6% NDS。
2024-11-08 cs.AI cs.CV
LiDAR Snowfall Simulation for Robust 3D Object Detection
ETH Zürich（苏黎世联邦理工学院）；Princeton University（普林斯顿大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
3D目标检测是自动驾驶等应用的核心任务，在这些应用中，即使在恶劣天气下，系统也需要对周围的交通代理进行定位和分类。在本文中，我们解决的问题，基于激光雷达的三维目标检测降雪。由于在这种情况下收集和注释训练数据的困难，我们提出了一种基于物理的方法来模拟降雪对真实晴朗天气LiDAR点云的影响。我们的方法在2D空间中对每条LiDAR线的雪粒子进行采样，并使用诱导的几何形状来相应地修改每条LiDAR光束的测量。此外，由于降雪往往会导致地面潮湿，我们还模拟地面湿度的激光雷达点云。我们使用我们的模拟来生成部分合成的降雪LiDAR数据，并利用这些数据来训练对降雪具有鲁棒性的3D目标检测模型。我们使用几种最先进的3D目标检测方法进行了广泛的评估，结果表明，与晴朗天气基线和竞争模拟方法相比，我们的模拟在真实下雪的STF数据集上始终产生显着的性能增益，同时不会牺牲晴朗天气下的性能。我们的代码可在www.github.com/SysCV/LiDAR_snow_sim上获得。
2022-06-05 cs.CV cs.LG
Person-MinkUNet: 3D Person Detection with LiDAR Point Cloud
Visual Computing Institute（视觉计算研究所）；RWTH Aachen（亚琛工业大学）
在这个初步的工作中，我们试图应用子流形稀疏卷积的任务的三维人检测。特别是，我们提出了Person-MinkUNet，这是一个基于Minkowski Engine和U-Net架构的单级3D人物检测网络。该网络在JRDB 3D检测基准上达到了76.4%的平均精度（AP）。
2021-07-03 cs.CV cs.RO
3D Object Detection in LiDAR Point Clouds using Graph Neural Networks
LiDAR（Light Detection and Ranging）是一种先进的主动遥感技术，其工作原理是旅行时间（ToT），用于捕获周围环境的高精度3D信息。LiDAR在研发方面获得了广泛关注，预计到2025年LiDAR产业将达到28亿美元。虽然LiDAR数据集具有高密度和高空间分辨率，但由于其固有的3D几何形状和庞大的体积，处理LiDAR数据具有挑战性。但是这样的高分辨率数据集在许多应用中具有巨大的潜力，并且在3D目标检测和识别中具有巨大的潜力。在这项研究中，我们提出了基于图神经网络（GNN）的框架来学习和识别三维激光雷达点云中的对象。GNN是一类深度学习，它基于图学习的原理学习模式和对象，在各种3D计算机视觉任务中取得了成功。
2023-02-08 cs.CV cs.LG stat.ML
Towards Safe, Real-Time Systems: Stereo vs Images and LiDAR for 3D Object Detection
National Robotics Engineering Center（国家机器人工程中心）；Carnegie Mellon University（卡内基梅隆大学）
随着物体检测器的快速改进，人们的注意力已经从仅图像网络扩展到包括一系列3D和多模式框架，特别是那些包含LiDAR的框架。然而，由于成本，物流，甚至一些安全考虑，立体声可以是一个有吸引力的选择。为了理解立体声作为目标检测器中单目输入或LiDAR的替代品的功效，我们证明了使用传统视差算法的多模态学习可以在不增加参数数量的情况下改善基于图像的结果，并且立体声误差的学习可以在某些情况下赋予LiDAR类似的3D定位能力。此外，这样做还具有相对于仅图像方法的校准益处。我们在公共数据集KITTI上进行基准测试，并在此过程中揭示了目前在该集合上计算度量时使用的一些小但常见的算法错误，并提供了有效的，可证明正确的替代方案。
2022-02-25 cs.CV cs.LG cs.RO
An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds
Google Research（谷歌研究院）
在3D LiDAR数据中检测物体是自动驾驶和其他机器人应用的核心技术。虽然LiDAR数据是随时间采集的，但大多数3D目标检测算法针对每个帧独立地提出对象边界框，而忽略了时域中可用的有用信息。为了解决这个问题，在本文中，我们提出了一种基于稀疏LSTM的多帧三维目标检测算法。我们使用U-Net风格的3D稀疏卷积网络来提取每帧LiDAR点云的特征。这些特征与上一帧的隐藏和记忆特征一起被馈送到LSTM模块，以预测当前帧中的3d对象以及传递到下一帧的隐藏和记忆特征。在Waymo开放数据集上的实验表明，我们的算法比传统的逐帧方法提高了7.5%mAP@0.7，比其他多帧方法提高了1.2%，同时每帧使用更少的内存和计算量。据我们所知，这是第一个使用LSTM在稀疏点云中进行3D目标检测的工作。
2020-07-24 cs.CV cs.LG eess.IV
Fusing Bird View LIDAR Point Cloud and Front View Camera Image for Deep Object Detection
University of California, Berkeley（加利福尼亚大学伯克利分校）；Department of Mechanical Engineering（机械工程系）
我们提出了一种在深度卷积神经网络（CNN）中融合LIDAR点云和相机捕获图像的新方法。该方法构造了一个新的层，称为非均匀池层，用于鸟瞰图和正视图之间的特征转换。稀疏LIDAR点云用于构建两个地图之间的映射。池化层允许在网络的任何阶段有效地融合鸟瞰图和正视图特征。这对于在自动驾驶场景中使用相机-LIDAR融合的3D-目标检测是有利的。设计了相应的深度CNN，并在KITTI鸟瞰图目标检测数据集上进行了测试，该数据集从鸟瞰图中产生3D边界框。与其他基于融合的目标检测网络相比，该融合方法对鸟瞰图中行人的检测具有特别的优势。
2018-02-14 cs.CV cs.LG
LiDAR-MIMO: Efficient Uncertainty Estimation for LiDAR-based 3D Object Detection
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
机器人视觉中的不确定性估计，例如3D目标检测，是开发安全自主系统的重要组成部分，这些系统能够意识到自己的性能。然而，由于时间和计算约束，在3D目标检测中部署当前的不确定性估计方法仍然具有挑战性。为了解决这个问题，我们提出了LiDAR-MIMO，多输入多输出（MIMO）不确定性估计方法的适应基于LiDAR的三维目标检测任务。我们的方法通过在特征级执行多输入来修改原始MIMO，以确保检测、不确定性估计和运行时性能益处被保留，尽管底层检测器的容量有限并且点云处理的计算成本很大。我们比较了LiDAR-MIMO与MC脱落和合奏作为基线，并显示了可比的不确定性估计结果，只有少量的输出头。此外，LiDAR-MIMO可以被配置为比MC dropout和合奏快两倍，同时实现比MC dropout更高的mAP并接近合奏。
2022-06-01 cs.CV
VALO: A Versatile Anytime Framework for LiDAR-based Object Detection Deep Neural Networks
George Mason University（乔治梅森大学）；University of Kansas（堪萨斯大学）
VALO是一种数据驱动的随时计算框架，通过截止时间感知调度和输入缩减，在不修改架构的情况下动态平衡激光雷达目标检测的精度与延迟，在CenterPoint和VoxelNext上实现更高精度。
2024-09-17 cs.CV cs.LG
Lidar-based Object Classification with Explicit Occlusion Modeling
College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学与技术学院）；Unmanned Systems Research Center, National Innovation Institute of Defense Technology（国防科技创新研究院无人系统研究中心）
激光雷达是无人地面车辆（UGV）最重要的传感器之一。基于激光雷达点云数据的目标检测与分类是UGV的关键技术。在目标检测和分类中，相邻目标之间的相互遮挡是影响精度的重要因素。在本文中，我们认为遮挡作为一个内在的属性的点云数据。我们提出了一种新的方法，明确建模的闭塞。然后在随后的分类步骤中考虑遮挡属性。我们在KITTI数据集上进行了实验。实验结果表明，利用我们所建立的遮挡特性，分类器获得了更好的性能。
2019-07-10 cs.CV cs.RO eess.IV
3DRef: 3D Dataset and Benchmark for Reflection Detection in RGB and Lidar Data
ShanghaiTech University（上海科技大学）
针对现有反射检测数据局限于二维的问题，本文构建 3DRef 大规模多模态三维数据集与基准，支持 Lidar、RGB 及二维/三维语义反射检测评估。
2024-03-11 cs.CV cs.RO eess.IV
Systematic Evaluation of Depth Backbones and Semantic Cues for Monocular Pseudo-LiDAR 3D Detection
University of Toronto（多伦多大学）
本文系统评估了单目伪LiDAR 3D检测中深度骨干网络和语义线索的影响，发现几何保真度和深度骨干网络选择对性能更为关键。
2026-01-07 cs.CV cs.LG cs.RO
R-AGNO-RPN: A LIDAR-Camera Region Deep Network for Resolution-Agnostic Detection
Sherpa Engineering（Sherpa工程公司）；Université Clermont Auvergne（克莱蒙奥弗涅大学）；SIGMA Clermont（克莱蒙西格玛工程师学院）；Institut Pascal（帕斯卡研究所）；Centrale Nantes（南特中央理工学院）；LS2N（南特数字科学实验室）
现有的基于神经网络的目标检测方法处理LiDAR点云时，一般都是从一种LiDAR传感器训练得到的。然而，当用来自与用于训练的LiDAR传感器不同的LiDAR传感器的数据来测试它们时，它们的性能降低，即，不同的点云分辨率。本文提出了一种融合三维点云和RGB图像的区域建议网络R-AGNO-RPN，用于三维目标检测，而不受点云分辨率的影响。由于我们的方法也被设计用于低点云分辨率，因此所提出的方法专注于对象定位，而不是在减少的数据上估计细化的框。通过将图像特征精确映射到鸟瞰图和特定的数据增强过程来提高RGB图像的贡献，从而获得对低分辨率点云的恢复能力。为了展示所提出的网络处理不同点云分辨率的能力，对来自KITTI 3D目标检测和nuScenes数据集的数据进行了实验。此外，为了评估其性能，将我们的方法与著名的3D检测网络PointPillars进行了比较。实验结果表明，即使在经过原始点的$80\%$缩减后的点云数据上，该方法仍然能够给出相关的定位建议。
2020-12-10 cs.AI cs.CV cs.RO
Range Adaptation for 3D Object Detection in LiDAR
Duke University（杜克大学）；Volvo Car Technology USA（沃尔沃汽车美国技术公司）
基于LiDAR的3D目标检测在现代自动驾驶系统中起着至关重要的作用。LiDAR数据通常在不同的观测范围内表现出严重的性质变化。在本文中，我们探讨了使用LiDAR的3D目标检测的跨范围自适应，即，远距离观测适用于近距离观测。这样，远距离检测被优化为与近距离检测类似的性能。我们采用了一个鸟瞰视图（BEV）检测框架来执行建议的模型自适应。我们的模型自适应包括对抗性全局自适应和细粒度局部自适应。所提出的跨范围自适应框架在三个最先进的基于LiDAR的目标检测网络上进行了验证，并且我们始终观察到远距离对象的性能改善，而无需向模型添加任何辅助参数。据我们所知，本文是第一次尝试研究跨范围激光雷达适应点云中的目标检测。为了证明所提出的自适应框架的通用性，进一步进行了更具挑战性的跨设备自适应实验，并发布了具有高质量注释点云的新LiDAR数据集，以促进未来的研究。
2019-09-26 cs.CV
LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object Detection
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Gaussian Robotics（高仙机器人）
在本文中，我们提出了激光雷达蒸馏弥合域的差距所引起的不同激光雷达光束的三维目标检测。在许多实际应用中，大规模生产的机器人和车辆使用的LiDAR点通常比大规模公共数据集中的光束少。此外，随着LiDAR升级到具有不同光束量的其他产品型号，利用以前版本的高分辨率传感器捕获的标记数据变得具有挑战性。尽管最近在域自适应3D检测方面取得了进展，但大多数方法都难以消除波束引起的域间隙。我们发现，在训练过程中，将源域的点云密度与目标域的点云密度对齐是至关重要的。受这一发现的启发，我们提出了一个渐进的框架，以减轻光束引起的域移位。在每次迭代中，我们首先通过对远光点云进行下采样来生成近光伪LiDAR。然后采用师生框架从多波束数据中提取丰富的信息。在Waymo、nuScenes和KITTI数据集上使用三种不同的基于LiDAR的探测器进行了广泛的实验，证明了我们的LiDAR蒸馏的有效性。值得注意的是，我们的方法不会增加任何额外的计算成本的推断。
2022-08-15 cs.CV cs.RO
A Benchmark for Lidar Sensors in Fog: Is Detection Breaking Down?
Daimler AG（戴姆勒股份公司）
五级自动驾驶不仅仅意味着在阳光下自动驾驶。不利的天气尤其重要，因为雾、雨和雪会降低对环境的感知。在这项工作中，目前最先进的光探测和测距（激光雷达）传感器在雾室中的受控条件下进行测试。我们目前的问题和干扰模式为四个不同的国家的最先进的激光雷达系统。此外，我们研究如何调整内部参数可以提高他们的性能在恶劣的天气情况下。这是非常重要的，因为大多数最先进的检测算法是基于未受干扰的激光雷达数据。
2019-12-06 cs.CV
Leveraging 3D LiDAR Sensors to Enable Enhanced Urban Safety and Public Health: Pedestrian Monitoring and Abnormal Activity Detection
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
该研究提出融合LiDAR与IoT的双模型框架，用改进PV-RCNN做3D检测、PointNet分类行人活动，还通过Blender构建模拟数据集解决数据稀缺问题，助力城市交通管理与公共健康。
2024-04-17 cs.AI cs.CV cs.LG
Enhancing Lidar-based Object Detection in Adverse Weather using Offset Sequences in Time
Institute for Automotive Engineering RWTH Aachen University（亚琛工业大学汽车工程研究所）；Institute of Imaging and Computer Vision RWTH Aachen University（亚琛工业大学图像与计算机视觉研究所）
本文研究利用激光雷达点云序列的时间信息提升恶劣天气下目标检测鲁棒性，提出随机跳帧时间偏移增强方法，并在多个公开数据集上验证其优于基线模型。
2024-01-17 cs.CV cs.RO
False Positive Detection and Prediction Quality Estimation for LiDAR Point Cloud Segmentation
University of Wuppertal（伍珀塔尔大学）；Aptiv（安波福）
我们提出了一种新的激光雷达点云数据的语义分割后处理工具，称为LidarMetaSeg，它估计预测质量分段。为此，我们计算分散措施的基础上，网络的概率输出，以及基于点云输入功能的功能措施，并将它们聚集在段级。这些聚集的测量被用于训练Meta分类模型以预测预测的段是否是假阳性，以及Meta回归模型以预测段级交集。然后，这两个模型都可以应用于语义分割推理，而无需知道地面真相。在我们的实验中，我们使用不同的LiDAR分割模型和数据集，并分析我们的方法的能力。我们表明，我们的结果优于其他标准的方法。
2021-10-29 cs.AI cs.CV
Object Removal Attacks on LiDAR-based 3D Object Detectors
Imperial College London（帝国理工学院）
LiDAR在自动驾驶汽车（AV）的感知及其安全操作中发挥着关键作用。最近的工作表明，欺骗LiDAR返回信号以引出假物体是可能的。在这项工作中，我们将展示如何使用相同的物理能力来安装一个新的，甚至更危险的攻击类，即对象删除攻击（ORA）。ORA旨在迫使3D对象检测器失败。我们利用激光雷达的默认设置，记录每个方向的单个返回信号，以扰动3D对象的感兴趣区域（RoI）中的点云。通过在目标对象后面注入非法点，我们有效地将点从目标对象的ROI移开。我们使用一个简单的随机点选择策略的初步结果表明，攻击是有效的常用的三维目标检测模型的性能下降。
2021-02-07 cs.CR cs.CV cs.LG
Real-Time 3D Object Detection Using InnovizOne LiDAR and Low-Power Hailo-8 AI Accelerator
Tel-Aviv University（特拉维夫大学）
本研究针对自动驾驶三维目标检测的高硬件需求问题，采用InnovizOne激光雷达与低功耗Hailo-8 AI加速器部署PointPillars模型，实现了高精度实时检测，为低成本自动驾驶技术落地提供了可行方案。
2024-12-07 cs.AI cs.CV
Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in Adverse Weather
ETH Zürich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
这项工作解决了具有挑战性的任务，基于激光雷达的三维目标检测在雾天。在这样的场景中收集和注释数据是非常耗时、费力和成本密集的。在本文中，我们通过将物理上精确的雾模拟到晴朗的天气场景中来解决这个问题，以便在晴朗的天气中捕获的丰富的现有真实数据集可以重新用于我们的任务。我们的贡献是双重的：1）我们开发了一个物理上有效的雾模拟方法，适用于任何激光雷达数据集。这释放了大规模模糊训练数据的获取，而无需额外的成本。这些部分合成数据可以用于提高几种感知方法的鲁棒性，例如3D目标检测和跟踪或同时定位与地图构建。2)通过大量的实验与几个国家的最先进的检测方法，我们表明，我们的雾模拟可以利用显着提高性能的三维目标检测中存在的雾。因此，我们率先在Seeing Through Fog数据集上提供强大的3D目标检测基线。我们的代码可在www.trace.ethz.ch/lidar_fog_simulation上获得。
2021-08-16 cs.CV cs.LG
Vehicle Detection from 3D Lidar Using Fully Convolutional Network
Baidu Research – Institute for Deep Learning（百度研究院深度学习研究所）
卷积网络技术最近在基于视觉的检测任务中取得了巨大的成功。本文介绍了我们在将全卷积网络技术移植到三维距离扫描数据检测任务中的研究进展。具体而言，场景被设置为来自Velodyne 64E激光雷达的距离数据的车辆检测任务。我们建议在2D点地图中呈现数据，并使用单个2D端到端全卷积网络来同时预测对象置信度和边界框。通过仔细设计限界框编码，即使使用2D卷积网络，也能够预测完整的3D边界框。在KITTI数据集上的实验表明了该方法的最佳性能。
2016-08-29 cs.CV cs.RO
Li3DeTr: A LiDAR based 3D Detection Transformer
Institute of Systems and Robotics（系统与机器人研究所）；University of Coimbra（科英布拉大学）
受用于目标检测的视觉Transformer的最新进展的启发，我们提出了Li3DeTr，这是一种用于自动驾驶的基于端到端LiDAR的3D检测Transformer，它输入LiDAR点云并回归3D边界框。分别采用稀疏卷积和多尺度可变形注意对LiDAR的局部和全局特征进行编码。在解码器头中，首先，在新的Li3DeTr交叉关注块中，我们将LiDAR全局特征与利用从数据中学习的稀疏对象查询集的3D预测相关联。其次，对象查询交互公式化使用多头自注意。最后，解码器层被重复$L_{dec}$多次以细化对象查询。受DETR的启发，我们采用集到集损失来训练Li3DeTr网络。在没有花哨的情况下，Li3DeTr网络在nuScenes数据集上实现了61.3%的mAP和67.6%的NDS，超过了具有非最大抑制（NMS）的最先进方法，并且在KITTI数据集上也实现了具有竞争力的性能。我们还采用了知识蒸馏（KD），使用教师和学生模型，稍微提高了我们的网络的性能。
2022-10-27 cs.CV cs.LG
