3D Object Detection in LiDAR Point Clouds using Graph Neural Networks
LiDAR(Light Detection and Ranging)是一种先进的主动遥感技术,其工作原理是旅行时间(ToT),用于捕获周围环境的高精度3D信息。LiDAR在研发方面获得了广泛关注,预计到2025年LiDAR产业将达到28亿美元。虽然LiDAR数据集具有高密度和高空间分辨率,但由于其固有的3D几何形状和庞大的体积,处理LiDAR数据具有挑战性。但是这样的高分辨率数据集在许多应用中具有巨大的潜力,并且在3D目标检测和识别中具有巨大的潜力。在这项研究中,我们提出了基于图神经网络(GNN)的框架来学习和识别三维激光雷达点云中的对象。GNN是一类深度学习,它基于图学习的原理学习模式和对象,在各种3D计算机视觉任务中取得了成功。
2023-02-08 cs.CV cs.LG stat.ML
ALOOD: Exploiting Language Representations for LiDAR-based Out-of-Distribution Object Detection
ALOOD通过整合语言表示,提出了一种基于LiDAR的分布外物体检测新方法,利用视觉-语言模型实现零样本分类。
2026-03-09 cs.CV cs.LG
LiDAR-MIMO: Efficient Uncertainty Estimation for LiDAR-based 3D Object Detection
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
机器人视觉中的不确定性估计,例如3D目标检测,是开发安全自主系统的重要组成部分,这些系统能够意识到自己的性能。然而,由于时间和计算约束,在3D目标检测中部署当前的不确定性估计方法仍然具有挑战性。为了解决这个问题,我们提出了LiDAR-MIMO,多输入多输出(MIMO)不确定性估计方法的适应基于LiDAR的三维目标检测任务。我们的方法通过在特征级执行多输入来修改原始MIMO,以确保检测、不确定性估计和运行时性能益处被保留,尽管底层检测器的容量有限并且点云处理的计算成本很大。我们比较了LiDAR-MIMO与MC脱落和合奏作为基线,并显示了可比的不确定性估计结果,只有少量的输出头。此外,LiDAR-MIMO可以被配置为比MC dropout和合奏快两倍,同时实现比MC dropout更高的mAP并接近合奏。
2022-06-01 cs.CV
Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in Adverse Weather
ETH Zürich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所);KU Leuven(鲁汶大学)
这项工作解决了具有挑战性的任务,基于激光雷达的三维目标检测在雾天。在这样的场景中收集和注释数据是非常耗时、费力和成本密集的。在本文中,我们通过将物理上精确的雾模拟到晴朗的天气场景中来解决这个问题,以便在晴朗的天气中捕获的丰富的现有真实数据集可以重新用于我们的任务。我们的贡献是双重的:1)我们开发了一个物理上有效的雾模拟方法,适用于任何激光雷达数据集。这释放了大规模模糊训练数据的获取,而无需额外的成本。这些部分合成数据可以用于提高几种感知方法的鲁棒性,例如3D目标检测和跟踪或同时定位与地图构建。2)通过大量的实验与几个国家的最先进的检测方法,我们表明,我们的雾模拟可以利用显着提高性能的三维目标检测中存在的雾。因此,我们率先在Seeing Through Fog数据集上提供强大的3D目标检测基线。我们的代码可在www.trace.ethz.ch/lidar_fog_simulation上获得。
2021-08-16 cs.CV cs.LG
Enabling 3D Object Detection with a Low-Resolution LiDAR
Worcester Polytechnic Institute(伍斯特理工学院)
光探测和测距(LiDAR)已广泛用于自动驾驶车辆的感知和定位。然而,高分辨率激光雷达的成本仍然非常昂贵,而低分辨率激光雷达的成本则要便宜得多。因此,使用低分辨率LiDAR进行自动驾驶是一种经济可行的解决方案,但点云稀疏性使其极具挑战性。在本文中,我们提出了一个两阶段的神经网络框架,使三维目标检测使用低分辨率激光雷达。从低分辨率LiDAR点云和单目相机图像中获取输入,采用深度补全网络来产生密集点云,随后由基于体素的网络处理该密集点云以进行3D目标检测。利用KITTI数据集进行三维目标检测,实验结果表明,该方法的检测性能明显优于直接利用16线LiDAR点云进行目标检测。对于简单和中等情况,我们的3D车辆检测结果接近使用64线高分辨率LiDAR的结果。
2022-05-04 cs.CV cs.RO
End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection
Cornell Tech(康奈尔科技校区);Cornell Univeristy(康奈尔大学);The Ohio State University(俄亥俄州立大学)
可靠且准确的3D目标检测是安全自动驾驶的必要条件。虽然LiDAR传感器可以提供准确的环境3D点云估计,但对于许多设置来说,它们也非常昂贵。最近,伪激光雷达(PL)的引入已经导致基于激光雷达传感器的方法和基于廉价立体相机的方法之间的精度差距急剧缩小。PL通过将2D深度图输出转换为3D点云输入,将用于3D深度估计的最先进深度神经网络与用于3D目标检测的深度神经网络相结合。然而,到目前为止,这两个网络必须单独训练。在本文中,我们介绍了一种基于可微表示变化(CoR)模块的新框架,该框架允许端到端地训练整个PL管道。由此产生的框架与大多数最先进的网络兼容,并与PointRCNN相结合,在所有基准测试中始终优于PL-在提交时获得基于KITTI图像的3D目标检测排行榜上的最高条目。我们的代码将在https://github.com/mileyan/pseudo-LiDAR_e2e上提供。
2020-05-14 cs.CV eess.IV
Building Change Detection using Multi-Temporal Airborne LiDAR Data
KTH Royal Institute of Technology(KTH皇家理工学院)
建筑物变化检测对于监测城市化、灾害评估、城市规划和经常更新地图至关重要。机载光探测和测距(LiDAR)的3D结构信息对于检测城市变化非常有效。但是机载激光雷达(ALS)的三维点云包含大量无序和不规则的稀疏信息。处理这样的数据是棘手的,并消耗大量的内存进行处理。当我们寻找一种特定类型的城市变化时,这些信息大多是不必要的。在这项研究中,我们提出了一种自动的方法,减少了3D点云到一个更小的表示,而不会丢失检测建筑物变化所需的必要信息。该方法利用深度学习(DL)模型U-Net从背景中分割建筑物。然后进一步处理产生的分割图以检测变化,并使用形态学方法对结果进行细化。对于变化检测任务,我们使用多时相机载LiDAR数据。这些数据是在2017年和2019年在斯德哥尔摩获得的。建筑物的变化分为四种类型:“新建”、“拆除”、“增高”和“缩短”。检测到的变化在一张地图中可视化,以便更好地解释。
2022-04-26 cs.CV eess.IV
Joint 3D Object Detection and Tracking Using Spatio-Temporal Representation of Camera Image and LiDAR Point Clouds
Hanyang University(汉阳大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
在本文中,我们提出了一个新的联合目标检测和跟踪(JoDT)框架的三维目标检测和跟踪的基础上相机和激光雷达传感器。所提出的方法,被称为3D DetecTrack,使检测器和跟踪器合作,以生成相机和激光雷达数据的时空表示,然后执行3D目标检测和跟踪。检测器通过相机和LiDAR融合获得的空间特征的加权时间聚合来构建时空特征。然后,检测器使用来自直到前一个时间步保持的轨迹片段的信息来重新配置初始检测结果。基于由检测器生成的时空特征,跟踪器使用图神经网络(GNN)将检测到的对象与先前跟踪的对象相关联。我们设计了一个完全连接的GNN,它结合了基于规则的边缘修剪和基于注意力的边缘门控,利用空间和时间对象上下文来提高跟踪性能。在KITTI和nuScenes基准上进行的实验表明,所提出的3D DetecTrack在检测和跟踪性能方面都比基线方法有了显着的改进,并且通过检测器和跟踪器之间的协作,在现有方法中实现了最先进的性能。
2021-12-15 cs.CV cs.LG
Range Adaptation for 3D Object Detection in LiDAR
Duke University(杜克大学);Volvo Car Technology USA(沃尔沃汽车美国技术公司)
基于LiDAR的3D目标检测在现代自动驾驶系统中起着至关重要的作用。LiDAR数据通常在不同的观测范围内表现出严重的性质变化。在本文中,我们探讨了使用LiDAR的3D目标检测的跨范围自适应,即,远距离观测适用于近距离观测。这样,远距离检测被优化为与近距离检测类似的性能。我们采用了一个鸟瞰视图(BEV)检测框架来执行建议的模型自适应。我们的模型自适应包括对抗性全局自适应和细粒度局部自适应。所提出的跨范围自适应框架在三个最先进的基于LiDAR的目标检测网络上进行了验证,并且我们始终观察到远距离对象的性能改善,而无需向模型添加任何辅助参数。据我们所知,本文是第一次尝试研究跨范围激光雷达适应点云中的目标检测。为了证明所提出的自适应框架的通用性,进一步进行了更具挑战性的跨设备自适应实验,并发布了具有高质量注释点云的新LiDAR数据集,以促进未来的研究。
2019-09-26 cs.CV
Object Removal Attacks on LiDAR-based 3D Object Detectors
Imperial College London(帝国理工学院)
LiDAR在自动驾驶汽车(AV)的感知及其安全操作中发挥着关键作用。最近的工作表明,欺骗LiDAR返回信号以引出假物体是可能的。在这项工作中,我们将展示如何使用相同的物理能力来安装一个新的,甚至更危险的攻击类,即对象删除攻击(ORA)。ORA旨在迫使3D对象检测器失败。我们利用激光雷达的默认设置,记录每个方向的单个返回信号,以扰动3D对象的感兴趣区域(RoI)中的点云。通过在目标对象后面注入非法点,我们有效地将点从目标对象的ROI移开。我们使用一个简单的随机点选择策略的初步结果表明,攻击是有效的常用的三维目标检测模型的性能下降。
2021-02-07 cs.CR cs.CV cs.LG
Training a Fast Object Detector for LiDAR Range Images Using Labeled Data from Sensors with Higher Resolution
Ulm University(乌尔姆大学)
在本文中,我们描述了一种策略,用于训练神经网络从一种类型的激光雷达传感器获得的距离图像中的目标检测,使用来自不同类型的激光雷达传感器的标记数据。此外,提出了一种用于自动驾驶汽车的范围图像中的目标检测的有效模型。目前,用于从LiDAR测量进行目标检测的最高性能算法基于神经网络。使用监督学习训练这些网络需要大量的注释数据集。因此,大多数使用神经网络从LiDAR点云进行目标检测的研究都是在非常少量的公开数据集上进行的。因此,仅使用少量传感器类型。我们使用现有的注释数据集来训练一个神经网络,该神经网络可以与具有比用于记录注释数据集的分辨率更低的分辨率的LiDAR传感器一起使用。这是通过基于较高分辨率数据集模拟来自较低分辨率LiDAR传感器的数据来完成的。此外,提出了对使用LiDAR距离图像进行目标检测的模型的改进。使用模拟的传感器数据和安装在研究车辆上的实际低分辨率传感器的数据对结果进行了验证。实验结果表明,该模型能够实时的从360°距离像中检测出目标。
2019-12-05 cs.CV cs.LG cs.RO
Understanding the Domain Gap in LiDAR Object Detection Networks
Robert Bosch GmbH(罗伯特·博世有限公司)
为了使自动驾驶成为现实,人工神经网络必须在开放世界中可靠地工作。然而,开放世界是巨大的,不断变化的,因此在技术上不可行收集和注释准确表示该领域的训练数据集。因此,在训练数据集和开放世界之间总是存在必须理解的领域差距。在这项工作中,我们研究了目标检测网络中高分辨率和低分辨率LiDAR传感器之间的域间隙。使用一个独特的数据集,这使我们能够独立于其他影响研究传感器分辨率域差距,我们显示了两个不同的域差距-推理域差距和训练域差距。推理域间隙的特征在于强烈依赖于每个对象的LiDAR点的数量,而训练间隙则没有这种依赖性。这些发现表明,需要不同的方法来缩小这些推理和训练领域的差距。
2022-04-21 cs.CV cs.LG
PointPillars Backbone Type Selection For Fast and Accurate LiDAR Object Detection
AGH University of Science and Technology(AGH科技大学)
从LiDAR传感器数据中进行3D目标检测是自动驾驶汽车和无人机背景下的重要课题。在本文中,我们提出的实验结果的影响的骨干选择的深度卷积神经网络的检测精度和计算速度。我们选择了PointPillars网络,其特点是架构简单、速度快、模块化,便于扩展。在实验过程中,我们特别关注检测效率的变化(通过mAP度量测量)和处理一个点云所需的乘加运算总数。我们测试了10种不同的卷积神经网络架构,这些架构广泛用于基于图像的检测问题。对于像MobilenetV 1这样的骨干网,我们以mAP减少1.13%为代价获得了近4倍的加速。另一方面,对于CSPDarknet,我们在mAP增加0.33%的情况下获得了超过1.5倍的加速。因此,我们已经证明,有可能在检测效率略有下降的情况下,显著加快LiDAR点云中的3D物体检测器。当PointPillars或类似算法在嵌入式系统(包括SoC FPGA)中实现时,可以使用该结果。该代码可在https://github.com/vision-agh/pointpillars\_backbone上获得。
2022-09-30 cs.CV eess.IV
High-level camera-LiDAR fusion for 3D object detection with machine learning
Universidad Autónoma de Occidente(西方自治大学)
本文解决了3D目标检测问题,这对于自动驾驶等应用至关重要。我们的框架使用单目相机和LiDAR数据的组合上的机器学习(ML)管道来检测移动平台周围3D空间中的车辆。它使用由最先进的(SOTA)2D对象检测器生成的截头体区域建议将LiDAR点云分割成代表潜在单个对象的点群。我们评估了经典ML算法的性能,作为整体管道的一部分,用于估计移动平台周围车辆周围的3D边界框的参数。我们的研究结果表明,一个有效的和准确的推断验证集,实现了87.1%的整体准确性。
2021-05-24 cs.CV cs.LG cs.RO
LidarMultiNet: Unifying LiDAR Semantic Segmentation, 3D Object Detection, and Panoptic Segmentation in a Single Multi-task Network
TuSimple(图森未来);University of Central Florida(中佛罗里达大学)
本技术报告介绍了Waymo Open Dataset 3D语义分割挑战赛2022的第一名获奖解决方案。我们的网络,称为LidarMultiNet,统一了主要的激光雷达感知任务,如3D语义分割,目标检测和全景分割在一个单一的框架。LidarMultiNet的核心是一个强大的基于3D体素的编码器-解码器网络,具有一个新颖的全局上下文池(GCP)模块,从LiDAR帧中提取全局上下文特征以补充其局部特征。提出了可选的第二阶段以细化第一阶段分割或生成准确的全景分割结果。我们的解决方案实现了71.13的mIoU,并且是Waymo 3D语义分割测试集上22个类中大多数的最佳,优于官方排行榜上的所有其他3D语义分割方法。我们首次证明,主要的LiDAR感知任务可以统一在一个可以端到端训练的强大网络中。
2022-06-24 cs.CV
LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection
University of Michigan(密歇根大学)
本文提出LiRaFusion,通过设计早期和中间融合模块自适应融合LiDAR与radar特征,有效提升了3D目标检测性能并在nuScenes数据集上取得显著改善。
2024-02-18 cs.CV cs.RO
Accurate and Real-time Pseudo Lidar Detection: Is Stereo Neural Network Really Necessary?
Technical University of Munich(慕尼黑工业大学);Sun Yat-sen University(中山大学)
伪激光雷达表示的提出大大缩小了基于视觉和基于主动激光雷达的三维目标检测之间的差距。然而,目前的研究主要集中在利用复杂和耗时的神经网络来提高伪激光雷达的精度。很少有人探索伪激光雷达表现的深刻特点,以获得推广的机会。在本文中,我们深入研究了伪激光雷达表示,并认为三维目标检测的性能并不完全依赖于高精度立体深度估计。我们证明,即使是不可靠的深度估计,适当的数据处理和细化,它可以实现可比的三维目标检测精度。通过这一发现,我们进一步展示了在伪激光雷达系统中利用快速但不准确的立体匹配算法来实现低延迟响应的可能性。在实验中,我们开发了一个系统,一个功能不太强大的立体匹配预测器,并采用所提出的改进方案,以提高准确性。KITTI基准测试的评估表明,该系统实现了竞争力的准确性,国家的最先进的方法,只有23毫秒的计算,显示它是一个合适的候选人部署到真正的车载应用。
2022-06-28 cs.CV
DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars
Robert Bosch GmbH(罗伯特·博世有限公司)
我们提出了DeepFusion,这是一种模块化的多模态架构,可以将激光雷达,摄像头和雷达以不同的组合融合在一起,用于3D目标检测。专业的特征提取器利用每种模态,并且可以轻松交换,使方法简单而灵活。提取的特征被转换成鸟瞰图作为一个共同的表示融合。在特征空间中融合模态之前执行空间和语义对齐。最后,检测头利用丰富的多模态特征来提高3D检测性能。激光雷达-相机、激光雷达-相机-雷达和相机-雷达融合的实验结果表明了该融合方法的灵活性和有效性。在这个过程中,我们研究了远距离汽车检测的基本上未探索的任务,最远可达225米,展示了我们的激光雷达相机融合的好处。此外,我们调查所需的密度的激光雷达点的三维目标检测,并说明在对恶劣天气条件下的鲁棒性的例子的影响。此外,我们的相机雷达融合烧蚀研究突出了准确的深度估计的重要性。
2022-09-27 cs.AI cs.CV cs.LG
Multi-Echo LiDAR for 3D Object Detection
Carnegie Mellon University(卡内基梅隆大学);DENSO(电装)
LiDAR传感器可用于获得除简单的3D点云之外的各种测量信号,并且这些信号可用于改进诸如3D目标检测之类的感知任务。单个激光脉冲可以被多个物体沿着其路径部分反射,导致称为回波的多个测量。多回波测量可以提供关于物体轮廓和半透明表面的信息,这些信息可以用于更好地识别和定位物体。激光雷达还可以测量表面反射率(激光脉冲返回的强度)以及场景的环境光(物体反射的阳光)。这些信号已经在商业LiDAR设备中可用,但尚未用于大多数基于LiDAR的检测模型。我们提出了一个三维目标检测模型,利用激光雷达提供的测量信号的全频谱。首先,我们提出了一个多信号融合(MSF)模块,结合(1)反射率和环境特征提取的二维CNN,(2)点云特征提取使用三维图神经网络(GNN)。其次,我们提出了一个多回声聚合(MEA)模块,结合在不同的回声点集编码的信息。与传统的单回波点云方法相比,多信号激光雷达检测器(MSLiD)能够从更广泛的传感测量中提取更丰富的上下文信息,实现更精确的三维目标检测。实验表明,通过结合激光雷达的多模态,我们的方法比最先进的方法高出9.1%。
2021-07-23 cs.CV
Sparse LiDAR and Stereo Fusion (SLS-Fusion) for Depth Estimationand 3D Object Detection
Cerema(法国路桥与道路研究中心);Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Queen Mary University of London(伦敦玛丽女王大学)
准确检测和定位物体的能力被认为是感知自动驾驶汽车的最重要因素。从二维到三维目标检测,最困难的是确定从自车到目标的距离。像LiDAR这样昂贵的技术可以提供精确和准确的深度信息,因此大多数研究都倾向于关注这种传感器,显示出基于LiDAR的方法和基于相机的方法之间的性能差距。尽管许多作者已经研究了如何将LiSAR与RGB相机融合,但据我们所知,还没有研究将LiSAR和立体声融合到深度神经网络中以执行3D目标检测任务。本文介绍了SLS融合,一种新的方法,融合数据从4光束激光雷达和立体相机通过神经网络的深度估计,以实现更好的密集深度图,从而提高三维目标检测性能。由于4光束激光雷达比众所周知的64光束激光雷达便宜,因此这种方法也被归类为低成本的基于传感器的方法。通过对KITTI基准测试的评估,结果表明,与基线方法相比,该方法显著提高了深度估计性能。此外,当将其应用于3D目标检测时,实现了基于低成本传感器的方法的新的技术状态。
2021-05-28 cs.CV
RSN: Range Sparse Net for Efficient, Accurate LiDAR 3D Object Detection
Waymo LLC(Waymo有限责任公司);Google(谷歌)
从LiDAR数据中检测3D物体是大多数自动驾驶系统中的关键组成部分。安全、高速驾驶需要更大的检测范围,而新的激光雷达可以实现这一点。这些更大的检测范围需要更有效和更准确的检测模型。为了实现这一目标,我们提出了范围稀疏网络(RSN),一个简单,高效,准确的三维物体检测器,以解决实时的三维目标检测在这个扩展的检测制度。RSN从距离图像中预测前景点,并对选定的前景点应用稀疏卷积来检测对象。密集范围图像上的轻量级2D卷积导致显著更少的选择前景点,从而使RSN中的后期稀疏卷积能够有效地操作。组合来自距离图像的特征进一步增强检测精度。RSN在Waymo开放数据集(WOD)上的150米x 150米检测区域上以每秒60帧以上的速度运行,同时比之前发布的检测器更准确。截至2020年11月,RSN在基于激光雷达的行人和车辆检测的APH/LEVEL 1指标的WOD排行榜中排名第一,同时比其他替代品快几倍。
2021-06-25 cs.CV
Towards Safe, Real-Time Systems: Stereo vs Images and LiDAR for 3D Object Detection
National Robotics Engineering Center(国家机器人工程中心);Carnegie Mellon University(卡内基梅隆大学)
随着物体检测器的快速改进,人们的注意力已经从仅图像网络扩展到包括一系列3D和多模式框架,特别是那些包含LiDAR的框架。然而,由于成本,物流,甚至一些安全考虑,立体声可以是一个有吸引力的选择。为了理解立体声作为目标检测器中单目输入或LiDAR的替代品的功效,我们证明了使用传统视差算法的多模态学习可以在不增加参数数量的情况下改善基于图像的结果,并且立体声误差的学习可以在某些情况下赋予LiDAR类似的3D定位能力。此外,这样做还具有相对于仅图像方法的校准益处。我们在公共数据集KITTI上进行基准测试,并在此过程中揭示了目前在该集合上计算度量时使用的一些小但常见的算法错误,并提供了有效的,可证明正确的替代方案。
2022-02-25 cs.CV cs.LG cs.RO
AOP-Net: All-in-One Perception Network for Joint LiDAR-based 3D Object Detection and Panoptic Segmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于LiDAR的三维目标检测和全景分割是自主车辆和机器人感知系统中的两个关键任务。在本文中,我们提出了一体化感知网络(AOP-Net),这是一个基于激光雷达的多任务框架,结合了3D目标检测和全景分割。在这种方法中,开发了一个双任务3D骨干,从输入的LiDAR点云中提取全景和检测级特征。此外,还设计了一个将多层感知器(MLP)和卷积层交织在一起的新2D主干,以进一步提高检测任务性能。最后,提出了一种新的模块,通过恢复在3D骨干中的下采样操作期间丢弃的有用特征来引导检测头。该模块利用估计的实例分割掩模从每个候选对象恢复详细信息。AOP-Net在nuScenes基准测试中针对3D目标检测和全景分割任务实现了已发布作品的最先进性能。此外,实验表明,我们的方法很容易适应,并显着提高性能的任何基于BEV的三维目标检测方法。
2023-02-02 cs.CV
LRPD: Long Range 3D Pedestrian Detection Leveraging Specific Strengths of LiDAR and RGB
虽然短距离3D行人检测足以用于紧急制动,但需要长距离检测以顺利制动并获得对自动驾驶车辆的信任。目前最先进的KITTI基准测试在远距离检测行人位置方面表现不佳。因此,我们提出了一种专门针对长距离3D行人检测(LRPD)的方法,利用RGB的密度和LiDAR的精度。因此,对于建议,RGB实例分割和基于LiDAR点的建议生成被组合,随后是对称地使用两种传感器模态的第二阶段。这导致了一个显着的改善mAP的远距离相比,目前的最先进的。我们的LRPD方法的评估是从KITTI基准的行人。
2020-06-17 cs.CV
Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object Detection
Halmstad University(哈尔姆斯塔德大学)
本文提出一种仅依赖LiDAR和场景语义的伪点云生成框架,通过分割模型与多模态域转换器生成密集语义点云,并利用语义引导投影提升3D目标检测性能,在KITTI上取得最高2.9%的提升。
2023-09-16 cs.CV
Lidar-based Object Classification with Explicit Occlusion Modeling
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学与技术学院);Unmanned Systems Research Center, National Innovation Institute of Defense Technology(国防科技创新研究院无人系统研究中心)
激光雷达是无人地面车辆(UGV)最重要的传感器之一。基于激光雷达点云数据的目标检测与分类是UGV的关键技术。在目标检测和分类中,相邻目标之间的相互遮挡是影响精度的重要因素。在本文中,我们认为遮挡作为一个内在的属性的点云数据。我们提出了一种新的方法,明确建模的闭塞。然后在随后的分类步骤中考虑遮挡属性。我们在KITTI数据集上进行了实验。实验结果表明,利用我们所建立的遮挡特性,分类器获得了更好的性能。
2019-07-10 cs.CV cs.RO eess.IV
Systematic Evaluation of Depth Backbones and Semantic Cues for Monocular Pseudo-LiDAR 3D Detection
University of Toronto(多伦多大学)
本文系统评估了单目伪LiDAR 3D检测中深度骨干网络和语义线索的影响,发现几何保真度和深度骨干网络选择对性能更为关键。
2026-01-07 cs.CV cs.LG cs.RO
Deep Active Learning for Efficient Training of a LiDAR 3D Object Detector
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
训练用于自动驾驶的深度对象检测器需要大量的标记数据。虽然通过相机或LiDAR等机载传感器记录数据相对容易,但注释数据非常繁琐和耗时,特别是在处理3D LiDAR点或雷达数据时。主动学习有可能最大限度地减少人工注释工作,同时最大限度地提高对象检测器的性能。在这项工作中,我们提出了一种主动学习方法,训练激光雷达3D物体检测器与最少量的标记训练数据必要的。该检测器利用从RGB图像生成的2D区域建议来减少对象的搜索空间并加速学习过程。实验表明,该方法在不同的不确定性估计和查询函数下都能有效地工作,在达到相同网络性能的同时,可以节省多达60%的标注工作量。
2019-05-05 cs.CV cs.LG cs.RO
3D Dual-Fusion: Dual-Domain Dual-Query Camera-LiDAR Fusion for 3D Object Detection
Hanyang University(汉阳大学);Korea Advanced Institute of Science & Technology (KAIST)(韩国科学技术院(KAIST))
融合来自相机和LiDAR传感器的数据是实现稳健的3D目标检测的基本技术。相机-LiDAR融合的一个关键挑战是在融合其特征时,在坐标和数据分布方面减轻两个传感器之间的大域差距。在本文中,我们提出了一种新的相机-LiDAR融合架构,称为3D Dual-Fusion,旨在缩小相机和LiDAR数据的特征表示之间的差距。该方法融合了摄像机视图和三维体素视图域的特征,并通过可变形注意力来建模它们的交互。我们重新设计了Transformer融合编码器来聚合来自两个域的信息。两个主要的变化包括:1)基于双查询的可变形注意力,以交互方式融合双域特征; 2)3D局部自注意力,在双查询解码之前对体素域查询进行编码。实验评估的结果表明,所提出的相机-LiDAR融合架构在KITTI和nuScenes数据集上实现了具有竞争力的性能,在一些3D目标检测基准类别中具有最先进的性能。
2023-02-16 cs.CV
LISO: Lidar-only Self-Supervised 3D Object Detection
Mercedes-Benz(梅赛德斯-奔驰);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对3D目标检测依赖昂贵人工标注的问题,提出仅用未标注激光雷达点云序列的轨迹正则化自训练方法LISO,借助自监督场景流网络生成优化伪真值,在多数据集多检测网络上验证了有效性。
2024-03-11 cs.CV
Adaptive LiDAR Scanning: Harnessing Temporal Cues for Efficient 3D Object Detection via Multi-Modal Fusion
针对传统激光雷达密集扫描存在冗余、高功耗的问题,提出历史感知的自适应扫描框架,通过时序上下文预测关键ROI引导稀疏扫描,在nuScenes等基准上实现超65%的激光雷达降耗,同时保持优异的3D检测性能。
2025-11-14 cs.CV
Context-Aware Data Augmentation for LIDAR 3D Object Detection
对于三维目标检测而言,激光雷达点云标注是一个难点,因此数据增强是充分利用宝贵标注数据的重要模块。GT样本作为一种广泛使用的数据增强方法,通过在训练过程中向激光雷达帧中插入地面真值,有效地提高了检测性能。然而,这些样本往往被放置在不合理的区域,这会误导模型学习错误的目标和背景之间的上下文信息。为了解决这个问题,在本文中,我们提出了一个上下文感知的数据增强方法(CA-aug),它确保了合理的位置插入的对象,通过计算“有效空间”的激光雷达点云。CA-aug是轻量级的,与其他增强方法兼容。与GT采样和激光雷达中的类似方法相比,该方法具有更高的精度。我们还提出了一个深入的研究增强方法的范围视图为基础的(RV为基础的)模型,并发现CA-aug可以充分利用RV为基础的网络的潜力。对KITTI值分裂的实验表明,CA-aug可以使测试模型的mAP提高8%。
2022-11-20 cs.CV
BirdNet: a 3D Object Detection Framework from LiDAR information
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
无论交通状况如何,理解驾驶情况是自动驾驶汽车道路上的基石;然而,尽管常见的传感器设置已经包括激光雷达或雷达等辅助设备,但大多数感知系统的研究传统上都集中在计算机视觉上。我们提出了一个基于激光雷达的三维目标检测流水线,需要三个阶段。首先,激光信息被投射到一个新的细胞编码鸟瞰投影。之后,通过最初设计用于图像处理的卷积神经网络来估计飞机上的目标位置及其航向。最后,在后处理阶段计算3D定向检测。在KITTI数据集上的实验表明,该框架在同类方法中取得了最好的结果。在真实场景中使用不同LiDAR传感器进行的进一步测试评估了该方法的多设备能力。
2018-05-03 cs.CV
Vision Foundation Model Driven Foreground-Aware Pseudo-LiDAR Generation for Monocular 3D Object Detection
本文提出VFMM3D框架,利用DAM和SAM的先验生成前景感知伪激光雷达,在KITTI、Waymo数据集上实现最优性能,可无缝集成至多种激光雷达3D目标检测器。
2026-08-24 cs.CV
Point Density-Aware Voxels for LiDAR 3D Object Detection
University of Toronto(多伦多大学)
LiDAR已成为自动驾驶中主要的3D目标检测传感器之一。然而,LiDAR的发散点图案随着距离的增加而导致不均匀的采样点云不适合于离散化体积特征提取。目前的方法要么依赖于体素化点云,要么使用效率低下的最远点采样来减轻密度变化造成的不利影响,但在很大程度上忽略了点密度作为一个特征及其与距离LiDAR传感器的可预测关系。我们提出的解决方案,点密度感知体素网络(PDV),是一个端到端的两阶段激光雷达三维目标检测架构,旨在考虑这些点密度的变化。PDV通过体素点质心有效地从3D稀疏卷积主干定位体素特征。然后通过密度感知RoI网格池化模块使用核密度估计(KDE)和具有点密度位置编码的自关注来聚合空间局部化体素特征。最后,我们利用激光雷达的点密度与距离的关系来改进我们最终的限界框置信度。PDV在Waymo开放数据集上的表现优于所有最先进的方法,并在KITTI数据集上取得了有竞争力的结果。我们提供PDV的代码发布,可在https://github.com/TRAILab/PDV上获得。
2022-03-22 cs.CV
VaLID: Verification as Late Integration of Detections for LiDAR-Camera Fusion
University of California Santa Cruz(加州大学圣克鲁兹分校)
本文提出模型自适应后期融合方法 VaLID,通过轻量验证网络用相机检测校验 LiDAR 边界框,在 KITTI 上平均减少 63.9% 误报并提升 3DAP。
2025-02-19 cs.CV
TimePillars: Temporally-Recurrent 3D LiDAR Object Detection
Chalmers University of Technology(查尔姆斯理工大学);Zenseact
TimePillars提出一种时间递归的LiDAR目标检测流水线,利用跨时间的柱状表示和ZOD数据集,在长距离场景下实现稳健高效检测,验证了递归性的优势。
2023-12-22 cs.CV cs.LG cs.RO
SEGT: A General Spatial Expansion Group Transformer for nuScenes Lidar-based Object Detection Task
Tianyijiaotong Technology Ltd.(天宜交通科技有限公司)
提出SEGT,一种基于Transformer的通用空间扩展组框架,通过将体素迁移至有序字段并采用组注意力机制,有效处理点云稀疏性,在nuScenes激光雷达目标检测任务中取得NDS 73.9(无TTA)和74.5(有TTA)的领先成绩,排名第一。
2025-01-21 cs.CV
Leveraging 3D LiDAR Sensors to Enable Enhanced Urban Safety and Public Health: Pedestrian Monitoring and Abnormal Activity Detection
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
该研究提出融合LiDAR与IoT的双模型框架,用改进PV-RCNN做3D检测、PointNet分类行人活动,还通过Blender构建模拟数据集解决数据稀缺问题,助力城市交通管理与公共健康。
2024-04-17 cs.AI cs.CV cs.LG
A Multimodal Hybrid Late-Cascade Fusion Network for Enhanced 3D Object Detection
Politecnico di Milano(米兰理工学院)
本文提出了一种多模态混合后期级联融合网络,通过结合RGB和3D激光雷达检测器,提升3D物体检测的性能,特别是在行人和自行车检测方面表现优异。
2025-04-25 cs.AI cs.CV cs.RO
RoIFusion: 3D Object Detection from LiDAR and Vision
Cranfield University(克兰菲尔德大学)
当定位和检测用于自动驾驶场景的3D对象时,从多个传感器(例如相机、LIDAR)获得信息通常增加3D检测器的鲁棒性。然而,从激光雷达和相机捕获的不同特征的高效和有效的融合仍然是具有挑战性的,特别是由于点云分布的稀疏性和不规则性。尽管如此,点云还是提供了有用的补充信息。在本文中,我们希望利用激光雷达和摄像头传感器的优势,提出一种深度神经网络架构,通过识别相应的3D边界框和方向来融合和有效检测3D对象。为了实现这一任务,而不是密集地结合点云的逐点特征和相关的像素特征,我们提出了一种新的融合算法,通过将一组3D感兴趣区域(ROI)从点云投影到对应图像的2D ROI。最后,我们证明了我们的深度融合方法在KITTI 3D目标检测挑战性基准上达到了最先进的性能。
2020-09-09 cs.CV
3D Object Detection with a Self-supervised Lidar Scene Flow Backbone
Technical University of Munich(慕尼黑工业大学);Tongji University(同济大学)
最先进的基于激光雷达的3D目标检测方法依赖于监督学习和大型标记数据集。然而,注释激光雷达数据是消耗资源的,并且仅依赖于监督学习限制了训练模型的适用性。自我监督训练策略可以通过学习下游3D视觉任务的通用点云骨干模型来缓解这些问题。在此背景下,我们展示了自监督多帧流表示和单帧3D检测假设之间的关系。我们的主要贡献是利用学习的流和运动表示,并将自监督骨干与监督3D检测头相结合。首先,一个自我监督的场景流估计模型的训练与循环一致性。然后,该模型的点云编码器被用作单帧三维目标检测头部模型的骨干。该第二3D目标检测模型学习利用运动表示来区分呈现不同运动模式的动态对象。在KITTI和nuScenes基准测试上的实验表明,所提出的自监督预训练显著提高了3D检测性能。https://github.com/emecercelik/ssl-3d-detection.git
2022-07-19 cs.CV
GAFusion: Adaptive Fusing LiDAR and Camera with Multiple Guidance for 3D Object Detection
Nanjing University of Posts and Telecommunications(南京邮电大学);Shenyang Institute of Automation Chinese Academy of Science(中国科学院沈阳自动化研究所)
针对现有BEV视角3D多模态检测方法忽略模态间互补引导的问题,提出GAFusion方法,通过多类激光雷达引导模块、自适应融合Transformer及时序融合增强特征交互,在nuScenes测试集上取得SOTA检测精度。
2024-11-01 cs.CV
Is Pseudo-Lidar needed for Monocular 3D Object detection?
Toyota Research Institute(丰田研究所)
从单个图像进行3D目标检测的最新进展利用单目深度估计作为产生3D点云的一种方式,将相机变成伪激光雷达传感器。这些两阶段检测器随着中间深度估计网络的准确性而提高,中间深度估计网络本身可以在没有手动标记的情况下经由大规模自监督学习来提高。然而,它们往往比端到端方法更容易过拟合,更复杂,并且与类似的基于激光雷达的探测器的差距仍然很大。在这项工作中,我们提出了一种端到端的单级单目3D物体检测器DD 3D,它可以从深度预训练中受益,如伪激光雷达方法,但没有它们的局限性。我们的架构旨在实现深度估计和3D检测之间的有效信息传输,使我们能够根据未标记的预训练数据的数量进行扩展。我们的方法在两个具有挑战性的基准测试中取得了最先进的结果,在KITTI-3D基准测试中,汽车和行人的AP分别为16.34%和9.28%,在NuScenes上的mAP为41.5%。
2021-08-13 cs.CV
LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object Detection
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Gaussian Robotics(高仙机器人)
在本文中,我们提出了激光雷达蒸馏弥合域的差距所引起的不同激光雷达光束的三维目标检测。在许多实际应用中,大规模生产的机器人和车辆使用的LiDAR点通常比大规模公共数据集中的光束少。此外,随着LiDAR升级到具有不同光束量的其他产品型号,利用以前版本的高分辨率传感器捕获的标记数据变得具有挑战性。尽管最近在域自适应3D检测方面取得了进展,但大多数方法都难以消除波束引起的域间隙。我们发现,在训练过程中,将源域的点云密度与目标域的点云密度对齐是至关重要的。受这一发现的启发,我们提出了一个渐进的框架,以减轻光束引起的域移位。在每次迭代中,我们首先通过对远光点云进行下采样来生成近光伪LiDAR。然后采用师生框架从多波束数据中提取丰富的信息。在Waymo、nuScenes和KITTI数据集上使用三种不同的基于LiDAR的探测器进行了广泛的实验,证明了我们的LiDAR蒸馏的有效性。值得注意的是,我们的方法不会增加任何额外的计算成本的推断。
2022-08-15 cs.CV cs.RO
CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection
Michigan State University(密歇根州立大学)
神经网络在使用LiDAR的3D目标检测和使用视频的2D目标检测方面都有了显著的进步。然而,令人惊讶的是,很难训练网络有效地使用这两种模式的方式,证明增益超过单一模式的网络。在本文中,我们提出了一种新的相机-激光雷达目标候选者(CLOC)融合网络。CLOC融合提供了一个低复杂度的多模态融合框架,显著提高了单模态检测器的性能。CLOC在任何2D和任何3D检测器的非最大值抑制(NMS)之前对组合输出候选进行操作,并被训练以利用其几何和语义特征来产生更准确的最终3D和2D检测结果。我们的实验评估具有挑战性的KITTI目标检测基准,包括3D和鸟瞰图的指标,显示出显着的改善,特别是在长距离,在国家的最先进的融合为基础的方法。在提交时,CLOC在KITTI官方排行榜上的所有基于融合的方法中排名最高。我们将在接受后发布代码。
2020-09-02 cs.CV
Improving LiDAR 3D Object Detection via Range-based Point Cloud Density Optimization
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Saskatchewan(萨斯喀彻温大学)
针对LiDAR 3D目标检测器远距区域性能不佳的问题,提出基于距离的点云密度优化预处理机制,用迭代MCMC估计不同距离的密度调整参数,在多个数据集和检测器上验证了性能提升效果。
2023-06-09 cs.CV
Cross-Modality Knowledge Distillation Network for Monocular 3D Object Detection
Zhejiang University(浙江大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
利用基于LiDAR的检测器或真实LiDAR点数据来指导单目3D检测已经带来了显著的改进,例如,伪激光雷达方法。然而,现有的方法通常采用非端到端的训练策略,没有充分利用LiDAR信息,LiDAR数据的丰富潜力没有得到很好的开发。在本文中,我们提出了跨模态知识蒸馏(CMKD)网络的单目3D检测,有效地和直接地转移知识从激光雷达模态图像模态的功能和响应。此外,我们通过从大规模未标记数据中提取知识,进一步扩展CMKD作为半监督训练框架,并显着提高性能。在提交之前,CMKD将$1^{st}$列为单眼3D探测器中的一种,与之前的最先进方法相比,KITTI $test$集和Waymo $val$集都有显著的性能提升。
2022-11-14 cs.CV
A Versatile Multi-View Framework for LiDAR-based 3D Object Detection with Guidance from Panoptic Segmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
使用LiDAR数据的3D目标检测是自动驾驶系统不可或缺的组成部分。然而,只有少数基于LiDAR的3D目标检测方法利用分割信息来进一步指导检测过程。在本文中,我们提出了一种新的多任务框架,共同执行三维目标检测和全景分割。在我们的方法中,3D目标检测骨干在鸟瞰图(BEV)平面增加的距离视图(RV)的特征图从3D全景分割骨干的注入。这使得检测骨干能够利用多视图信息来解决每个投影视图的缺点。此外,前景语义信息被纳入,以减轻检测任务,突出显示的位置,每个对象类的特征图。最后,基于实例级信息生成的新中心密度热图通过建议对象的可能框中心位置来进一步指导检测骨干。我们的方法适用于任何基于BEV的3D目标检测方法,并且如在nuScenes数据集上的大量实验所示,它提供了显着的性能增益。值得注意的是,基于单级CenterPoint 3D目标检测网络的所提出的方法在nuScenes 3D检测基准测试中达到了最先进的性能,具有67.3 NDS。
2022-03-04 cs.CV
Fast LIDAR-based Road Detection Using Fully Convolutional Neural Networks
Chalmers University of Technology(查尔姆斯理工大学);Autoliv Research(奥托立夫研究院)
在这项工作中,开发了一种深度学习方法,仅使用LIDAR数据进行道路检测。从一个非结构化的点云,顶视图图像编码的几个基本统计数据,如平均海拔和密度生成。通过考虑一个顶视图表示,道路检测减少到一个单尺度的问题,可以解决一个简单而快速的全卷积神经网络(FCN)。FCN是专门为像素级语义分割的任务而设计的,它结合了大的感受野和高分辨率的特征图。所提出的系统取得了优异的性能,它是在KITTI的道路基准的表现最好的算法之一。它的快速推理使其特别适合于实时应用。
2017-03-29 cs.CV
3D Roadway Scene Object Detection with LIDARs in Snowfall Conditions
National Research Council Canada(加拿大国家研究理事会);Western University(西部大学);Transport Canada(加拿大交通部)
本研究针对降雪条件下LiDAR信号衰减问题,构建物理模型模拟不同降雪速率的合成数据,并评估其对预训练目标检测模型性能的影响。
2025-10-25 cs.CV
Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室);iFLYTEK(科大讯飞);University of Sydney(悉尼大学)
本文提出Bi-LRFusion双向LiDAR-Radar融合框架,先用LiDAR信息增强稀疏Radar特征,再在统一鸟瞰图中融合,实现动态目标3D检测的先进性能与跨数据格式泛化。
2023-06-02 cs.CV
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection
Johns Hopkins University(约翰斯·霍普金斯大学);Google(谷歌)
激光雷达和摄像头是关键的传感器,可为自动驾驶中的3D检测提供补充信息。虽然流行的多模态方法简单地用相机特征装饰原始激光雷达点云,并将其直接馈送到现有的3D检测模型,但我们的研究表明,将相机特征与深度激光雷达特征而不是原始点融合可以带来更好的性能。然而,由于这些特征经常被增强和聚合,融合中的一个关键挑战是如何有效地对齐来自两种模态的变换特征。在本文中,我们提出了两种新的技术:InverseAug,它可以反转几何相关的增强,例如,旋转,以实现激光雷达点和图像像素之间的精确几何对齐,以及LearnableAlign,利用交叉注意力在融合过程中动态捕获图像和激光雷达要素之间的相关性。基于InverseAug和LearnableAlign,我们开发了一系列名为DeepFusion的通用多模态3D检测模型,它比以前的方法更准确。例如,DeepFusion分别为6.7、8.9和6.2 LEVEL_2 APH改进了PointPillars、CenterPoint和3D-MAN行人检测基线。值得注意的是,我们的模型在Waymo Open Dataset上实现了最先进的性能,并显示出对输入损坏和分布外数据的强大模型鲁棒性。代码将在https://github.com/tensorflow/lingvo/tree/master/lingvo/上公开。
2022-03-15 cs.CV
RAF: Reliability-Aware Fusion of Camera, LiDAR, and 4D RADAR for Robust 3D Object Detection in Adverse Weather
Visual Intelligence Lab., KAIST(韩国科学技术院视觉智能实验室)
针对恶劣天气下多传感器3D目标检测难题,提出RAF方法,通过明确监督像素可靠性估计,利用预训练网络,仅训练新增相机分支等,实验证明该方法有效提升检测精度。
2026-07-07 cs.CV