Revisiting Cross-Domain Problem for LiDAR-based 3D Object Detection
University of Southampton(南安普顿大学);Meta
本文分析了基于LiDAR的3D目标检测模型在跨域场景下的过拟合问题,发现现有域自适应方法仅转移知识域而非提升泛化能力,并提出侧视图和前视图AP指标,揭示了前视图和宽度维度的过拟合现象及点云密度对跨域性能的显著影响。
2024-08-22 cs.CV
Revisiting Multi-modal 3D Semantic Segmentation in Real-world Autonomous Driving
Fudan University(复旦大学);Mogo Auto Intelligence and Telematics Information Technology Co., Ltd(蘑菇车联智能网联信息技术有限公司)
针对多模态三维语义分割的部署难和弱标定性能下降问题,提出CPGNet-LCF框架,通过继承实时能力和弱标定知识蒸馏,在nuScenes和SemanticKITTI上达到最优,单卡20ms运行。
2023-10-13 cs.CV
LiDAR Snowfall Simulation for Robust 3D Object Detection
ETH Zürich(苏黎世联邦理工学院);Princeton University(普林斯顿大学);MPI for Informatics(马克斯·普朗克信息学研究所);KU Leuven(鲁汶大学)
3D目标检测是自动驾驶等应用的核心任务,在这些应用中,即使在恶劣天气下,系统也需要对周围的交通代理进行定位和分类。在本文中,我们解决的问题,基于激光雷达的三维目标检测降雪。由于在这种情况下收集和注释训练数据的困难,我们提出了一种基于物理的方法来模拟降雪对真实晴朗天气LiDAR点云的影响。我们的方法在2D空间中对每条LiDAR线的雪粒子进行采样,并使用诱导的几何形状来相应地修改每条LiDAR光束的测量。此外,由于降雪往往会导致地面潮湿,我们还模拟地面湿度的激光雷达点云。我们使用我们的模拟来生成部分合成的降雪LiDAR数据,并利用这些数据来训练对降雪具有鲁棒性的3D目标检测模型。我们使用几种最先进的3D目标检测方法进行了广泛的评估,结果表明,与晴朗天气基线和竞争模拟方法相比,我们的模拟在真实下雪的STF数据集上始终产生显着的性能增益,同时不会牺牲晴朗天气下的性能。我们的代码可在www.github.com/SysCV/LiDAR_snow_sim上获得。
2022-06-05 cs.CV cs.LG
Lifting 2D Object Locations to 3D by Discounting LiDAR Outliers across Objects and Views
University of Oxford(牛津大学)
我们提出了一个系统,用于将2D掩模对象预测和原始LiDAR点云自动转换为对象的完整3D边界框。由于LiDAR点云是局部的,因此直接将边界框拟合到点云是没有意义的。相反,我们建议,获得良好的结果需要共享数据集中的\emph{all}对象之间的信息联合,在多个帧。然后,我们对基线进行了三项改进。首先,我们通过在这个空间中直接优化来解决预测对象旋转的模糊性,同时仍然通过模型反向传播旋转预测。其次,我们明确地对离群值进行建模,并让网络学习它们的典型模式,从而更好地对它们进行贴现。第三,当视频数据可用时,我们执行时间一致性。有了这些贡献,我们的方法显着优于以前的工作,尽管这些方法使用更复杂的管道,3D模型和额外的人类注释的外部先验信息源。
2021-10-09 cs.CV cs.LG
Fusing Bird View LIDAR Point Cloud and Front View Camera Image for Deep Object Detection
University of California, Berkeley(加利福尼亚大学伯克利分校);Department of Mechanical Engineering(机械工程系)
我们提出了一种在深度卷积神经网络(CNN)中融合LIDAR点云和相机捕获图像的新方法。该方法构造了一个新的层,称为非均匀池层,用于鸟瞰图和正视图之间的特征转换。稀疏LIDAR点云用于构建两个地图之间的映射。池化层允许在网络的任何阶段有效地融合鸟瞰图和正视图特征。这对于在自动驾驶场景中使用相机-LIDAR融合的3D-目标检测是有利的。设计了相应的深度CNN,并在KITTI鸟瞰图目标检测数据集上进行了测试,该数据集从鸟瞰图中产生3D边界框。与其他基于融合的目标检测网络相比,该融合方法对鸟瞰图中行人的检测具有特别的优势。
2018-02-14 cs.CV cs.LG
VALO: A Versatile Anytime Framework for LiDAR-based Object Detection Deep Neural Networks
George Mason University(乔治梅森大学);University of Kansas(堪萨斯大学)
VALO是一种数据驱动的随时计算框架,通过截止时间感知调度和输入缩减,在不修改架构的情况下动态平衡激光雷达目标检测的精度与延迟,在CenterPoint和VoxelNext上实现更高精度。
2024-09-17 cs.CV cs.LG
Joint 3D Object Detection and Tracking Using Spatio-Temporal Representation of Camera Image and LiDAR Point Clouds
Hanyang University(汉阳大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
在本文中,我们提出了一个新的联合目标检测和跟踪(JoDT)框架的三维目标检测和跟踪的基础上相机和激光雷达传感器。所提出的方法,被称为3D DetecTrack,使检测器和跟踪器合作,以生成相机和激光雷达数据的时空表示,然后执行3D目标检测和跟踪。检测器通过相机和LiDAR融合获得的空间特征的加权时间聚合来构建时空特征。然后,检测器使用来自直到前一个时间步保持的轨迹片段的信息来重新配置初始检测结果。基于由检测器生成的时空特征,跟踪器使用图神经网络(GNN)将检测到的对象与先前跟踪的对象相关联。我们设计了一个完全连接的GNN,它结合了基于规则的边缘修剪和基于注意力的边缘门控,利用空间和时间对象上下文来提高跟踪性能。在KITTI和nuScenes基准上进行的实验表明,所提出的3D DetecTrack在检测和跟踪性能方面都比基线方法有了显着的改进,并且通过检测器和跟踪器之间的协作,在现有方法中实现了最先进的性能。
2021-12-15 cs.CV cs.LG
Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in Adverse Weather
ETH Zürich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所);KU Leuven(鲁汶大学)
这项工作解决了具有挑战性的任务,基于激光雷达的三维目标检测在雾天。在这样的场景中收集和注释数据是非常耗时、费力和成本密集的。在本文中,我们通过将物理上精确的雾模拟到晴朗的天气场景中来解决这个问题,以便在晴朗的天气中捕获的丰富的现有真实数据集可以重新用于我们的任务。我们的贡献是双重的:1)我们开发了一个物理上有效的雾模拟方法,适用于任何激光雷达数据集。这释放了大规模模糊训练数据的获取,而无需额外的成本。这些部分合成数据可以用于提高几种感知方法的鲁棒性,例如3D目标检测和跟踪或同时定位与地图构建。2)通过大量的实验与几个国家的最先进的检测方法,我们表明,我们的雾模拟可以利用显着提高性能的三维目标检测中存在的雾。因此,我们率先在Seeing Through Fog数据集上提供强大的3D目标检测基线。我们的代码可在www.trace.ethz.ch/lidar_fog_simulation上获得。
2021-08-16 cs.CV cs.LG
Fast Object Classification and Meaningful Data Representation of Segmented Lidar Instances
University of Wuppertal(伍珀塔尔大学);Aptiv(安波福)
近年来,激光雷达数据的目标检测算法已经出现了许多出版物,报告了面向汽车需求的数据集基准测试的良好结果。然而,其中许多不能部署到嵌入式车辆系统,因为它们需要巨大的计算能力才能接近实时的执行。在这项工作中,我们提出了一种方法,以促进实时激光雷达对象分类的CPU。我们展示了我们的方法如何使用分割的对象实例来提取重要特征,从而实现计算效率高的批量分类。为此,我们引入了一种数据表示,它将三维信息转化为小的图像补丁,使用分解的法向量图像。我们将其与专用的对象统计数据相结合,以处理边缘情况。我们将我们的方法应用于目标检测和语义分割的任务,以及相对较新的全景分割的挑战。通过评估,我们表明,我们的算法能够在公共数据上产生良好的结果,同时在CPU上实时的运行,而无需使用特定的优化。
2020-06-17 cs.CV cs.LG
Understanding the Domain Gap in LiDAR Object Detection Networks
Robert Bosch GmbH(罗伯特·博世有限公司)
为了使自动驾驶成为现实,人工神经网络必须在开放世界中可靠地工作。然而,开放世界是巨大的,不断变化的,因此在技术上不可行收集和注释准确表示该领域的训练数据集。因此,在训练数据集和开放世界之间总是存在必须理解的领域差距。在这项工作中,我们研究了目标检测网络中高分辨率和低分辨率LiDAR传感器之间的域间隙。使用一个独特的数据集,这使我们能够独立于其他影响研究传感器分辨率域差距,我们显示了两个不同的域差距-推理域差距和训练域差距。推理域间隙的特征在于强烈依赖于每个对象的LiDAR点的数量,而训练间隙则没有这种依赖性。这些发现表明,需要不同的方法来缩小这些推理和训练领域的差距。
2022-04-21 cs.CV cs.LG
Object Removal Attacks on LiDAR-based 3D Object Detectors
Imperial College London(帝国理工学院)
LiDAR在自动驾驶汽车(AV)的感知及其安全操作中发挥着关键作用。最近的工作表明,欺骗LiDAR返回信号以引出假物体是可能的。在这项工作中,我们将展示如何使用相同的物理能力来安装一个新的,甚至更危险的攻击类,即对象删除攻击(ORA)。ORA旨在迫使3D对象检测器失败。我们利用激光雷达的默认设置,记录每个方向的单个返回信号,以扰动3D对象的感兴趣区域(RoI)中的点云。通过在目标对象后面注入非法点,我们有效地将点从目标对象的ROI移开。我们使用一个简单的随机点选择策略的初步结果表明,攻击是有效的常用的三维目标检测模型的性能下降。
2021-02-07 cs.CR cs.CV cs.LG
3D Object Detection in LiDAR Point Clouds using Graph Neural Networks
LiDAR(Light Detection and Ranging)是一种先进的主动遥感技术,其工作原理是旅行时间(ToT),用于捕获周围环境的高精度3D信息。LiDAR在研发方面获得了广泛关注,预计到2025年LiDAR产业将达到28亿美元。虽然LiDAR数据集具有高密度和高空间分辨率,但由于其固有的3D几何形状和庞大的体积,处理LiDAR数据具有挑战性。但是这样的高分辨率数据集在许多应用中具有巨大的潜力,并且在3D目标检测和识别中具有巨大的潜力。在这项研究中,我们提出了基于图神经网络(GNN)的框架来学习和识别三维激光雷达点云中的对象。GNN是一类深度学习,它基于图学习的原理学习模式和对象,在各种3D计算机视觉任务中取得了成功。
2023-02-08 cs.CV cs.LG stat.ML
Reliability-Driven LiDAR-Camera Fusion for Robust 3D Object Detection
University of Ottawa(渥太华大学);Carleton University(卡尔顿大学)
本文提出 ReliFusion,一种在 BEV 空间中的可靠性驱动 LiDAR-相机融合框架,通过时空特征聚合、可靠性评分和置信度加权互交叉注意力动态平衡多模态信息,在 nuScenes 上显著提升了传感器故障和 LiDAR 视场受限条件下的三维目标检测鲁棒性与精度。
2025-02-03 cs.CV cs.LG
Li3DeTr: A LiDAR based 3D Detection Transformer
Institute of Systems and Robotics(系统与机器人研究所);University of Coimbra(科英布拉大学)
受用于目标检测的视觉Transformer的最新进展的启发,我们提出了Li3DeTr,这是一种用于自动驾驶的基于端到端LiDAR的3D检测Transformer,它输入LiDAR点云并回归3D边界框。分别采用稀疏卷积和多尺度可变形注意对LiDAR的局部和全局特征进行编码。在解码器头中,首先,在新的Li3DeTr交叉关注块中,我们将LiDAR全局特征与利用从数据中学习的稀疏对象查询集的3D预测相关联。其次,对象查询交互公式化使用多头自注意。最后,解码器层被重复$L_{dec}$多次以细化对象查询。受DETR的启发,我们采用集到集损失来训练Li3DeTr网络。在没有花哨的情况下,Li3DeTr网络在nuScenes数据集上实现了61.3%的mAP和67.6%的NDS,超过了具有非最大抑制(NMS)的最先进方法,并且在KITTI数据集上也实现了具有竞争力的性能。我们还采用了知识蒸馏(KD),使用教师和学生模型,稍微提高了我们的网络的性能。
2022-10-27 cs.CV cs.LG
LiDAR-EDIT: LiDAR Data Generation by Editing the Object Layouts in Real-World Scenes
University of Utah(犹他大学);University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学)
LiDAR-EDIT通过编辑真实场景中的物体布局生成可控、真实的激光雷达数据,支持反事实场景并保留背景,实验证明其实际应用价值。
2025-05-24 cs.AI cs.CV cs.LG
Training a Fast Object Detector for LiDAR Range Images Using Labeled Data from Sensors with Higher Resolution
Ulm University(乌尔姆大学)
在本文中,我们描述了一种策略,用于训练神经网络从一种类型的激光雷达传感器获得的距离图像中的目标检测,使用来自不同类型的激光雷达传感器的标记数据。此外,提出了一种用于自动驾驶汽车的范围图像中的目标检测的有效模型。目前,用于从LiDAR测量进行目标检测的最高性能算法基于神经网络。使用监督学习训练这些网络需要大量的注释数据集。因此,大多数使用神经网络从LiDAR点云进行目标检测的研究都是在非常少量的公开数据集上进行的。因此,仅使用少量传感器类型。我们使用现有的注释数据集来训练一个神经网络,该神经网络可以与具有比用于记录注释数据集的分辨率更低的分辨率的LiDAR传感器一起使用。这是通过基于较高分辨率数据集模拟来自较低分辨率LiDAR传感器的数据来完成的。此外,提出了对使用LiDAR距离图像进行目标检测的模型的改进。使用模拟的传感器数据和安装在研究车辆上的实际低分辨率传感器的数据对结果进行了验证。实验结果表明,该模型能够实时的从360°距离像中检测出目标。
2019-12-05 cs.CV cs.LG cs.RO
LOGen: Toward Lidar Object Generation by Point Diffusion
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(LIGM,巴黎理工学院,埃菲尔大学,CNRS)
LOGen提出一种基于扩散的模型,用于生成激光雷达物体的点云(含强度),通过条件信息实现可控生成,并在nuScenes和KITTI-360上验证了质量。
2025-09-25 cs.CV
Deep Active Learning for Efficient Training of a LiDAR 3D Object Detector
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
训练用于自动驾驶的深度对象检测器需要大量的标记数据。虽然通过相机或LiDAR等机载传感器记录数据相对容易,但注释数据非常繁琐和耗时,特别是在处理3D LiDAR点或雷达数据时。主动学习有可能最大限度地减少人工注释工作,同时最大限度地提高对象检测器的性能。在这项工作中,我们提出了一种主动学习方法,训练激光雷达3D物体检测器与最少量的标记训练数据必要的。该检测器利用从RGB图像生成的2D区域建议来减少对象的搜索空间并加速学习过程。实验表明,该方法在不同的不确定性估计和查询函数下都能有效地工作,在达到相同网络性能的同时,可以节省多达60%的标注工作量。
2019-05-05 cs.CV cs.LG cs.RO
Towards Safe, Real-Time Systems: Stereo vs Images and LiDAR for 3D Object Detection
National Robotics Engineering Center(国家机器人工程中心);Carnegie Mellon University(卡内基梅隆大学)
随着物体检测器的快速改进,人们的注意力已经从仅图像网络扩展到包括一系列3D和多模式框架,特别是那些包含LiDAR的框架。然而,由于成本,物流,甚至一些安全考虑,立体声可以是一个有吸引力的选择。为了理解立体声作为目标检测器中单目输入或LiDAR的替代品的功效,我们证明了使用传统视差算法的多模态学习可以在不增加参数数量的情况下改善基于图像的结果,并且立体声误差的学习可以在某些情况下赋予LiDAR类似的3D定位能力。此外,这样做还具有相对于仅图像方法的校准益处。我们在公共数据集KITTI上进行基准测试,并在此过程中揭示了目前在该集合上计算度量时使用的一些小但常见的算法错误,并提供了有效的,可证明正确的替代方案。
2022-02-25 cs.CV cs.LG cs.RO
High-level camera-LiDAR fusion for 3D object detection with machine learning
Universidad Autónoma de Occidente(西方自治大学)
本文解决了3D目标检测问题,这对于自动驾驶等应用至关重要。我们的框架使用单目相机和LiDAR数据的组合上的机器学习(ML)管道来检测移动平台周围3D空间中的车辆。它使用由最先进的(SOTA)2D对象检测器生成的截头体区域建议将LiDAR点云分割成代表潜在单个对象的点群。我们评估了经典ML算法的性能,作为整体管道的一部分,用于估计移动平台周围车辆周围的3D边界框的参数。我们的研究结果表明,一个有效的和准确的推断验证集,实现了87.1%的整体准确性。
2021-05-24 cs.CV cs.LG cs.RO
LiDAR-MIMO: Efficient Uncertainty Estimation for LiDAR-based 3D Object Detection
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
机器人视觉中的不确定性估计,例如3D目标检测,是开发安全自主系统的重要组成部分,这些系统能够意识到自己的性能。然而,由于时间和计算约束,在3D目标检测中部署当前的不确定性估计方法仍然具有挑战性。为了解决这个问题,我们提出了LiDAR-MIMO,多输入多输出(MIMO)不确定性估计方法的适应基于LiDAR的三维目标检测任务。我们的方法通过在特征级执行多输入来修改原始MIMO,以确保检测、不确定性估计和运行时性能益处被保留,尽管底层检测器的容量有限并且点云处理的计算成本很大。我们比较了LiDAR-MIMO与MC脱落和合奏作为基线,并显示了可比的不确定性估计结果,只有少量的输出头。此外,LiDAR-MIMO可以被配置为比MC dropout和合奏快两倍,同时实现比MC dropout更高的mAP并接近合奏。
2022-06-01 cs.CV
3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial Feature Fusion for 3D Object Detection
Hanyang University(汉阳大学)
在本文中,我们提出了一种新的深度架构,用于融合相机和LiDAR传感器进行3D目标检测。由于相机和LiDAR传感器信号具有不同的特性和分布,因此融合这两种模态有望提高3D目标检测的准确性和鲁棒性。相机和激光雷达的融合所带来的挑战之一是,从每种模态获得的空间特征图由相机和世界坐标中的显著不同的视图表示;因此,在不丢失信息的情况下组合两个异构特征图并不是一件容易的任务。为了解决这个问题,我们提出了一种称为3D-CVF的方法,该方法使用跨视图空间特征融合策略将相机和LiDAR特征相结合。首先,该方法采用自动校准投影,将2D相机特征转换为与鸟瞰图(BEV)域中的LiDAR特征具有最高对应性的平滑空间特征图。然后,应用门控特征融合网络,使用空间注意力图来根据区域适当地混合相机和LiDAR特征。接下来,相机-LiDAR特征融合也在随后的建议细化阶段实现。摄像机功能通过3D RoI网格池从2D摄像机视图域使用,并与BEV功能融合以进行提案细化。在KITTI和nuScenes 3D目标检测数据集上进行的评估表明,相机-LiDAR融合在单一模态上提供了显着的性能增益,并且所提出的3D-CVF在KITTI基准中实现了最先进的性能。
2020-07-21 cs.CV cs.LG eess.IV
An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds
Google Research(谷歌研究院)
在3D LiDAR数据中检测物体是自动驾驶和其他机器人应用的核心技术。虽然LiDAR数据是随时间采集的,但大多数3D目标检测算法针对每个帧独立地提出对象边界框,而忽略了时域中可用的有用信息。为了解决这个问题,在本文中,我们提出了一种基于稀疏LSTM的多帧三维目标检测算法。我们使用U-Net风格的3D稀疏卷积网络来提取每帧LiDAR点云的特征。这些特征与上一帧的隐藏和记忆特征一起被馈送到LSTM模块,以预测当前帧中的3d对象以及传递到下一帧的隐藏和记忆特征。在Waymo开放数据集上的实验表明,我们的算法比传统的逐帧方法提高了7.5%mAP@0.7,比其他多帧方法提高了1.2%,同时每帧使用更少的内存和计算量。据我们所知,这是第一个使用LSTM在稀疏点云中进行3D目标检测的工作。
2020-07-24 cs.CV cs.LG eess.IV
Vision Foundation Model Driven Foreground-Aware Pseudo-LiDAR Generation for Monocular 3D Object Detection
本文提出VFMM3D框架,利用DAM和SAM的先验生成前景感知伪激光雷达,在KITTI、Waymo数据集上实现最优性能,可无缝集成至多种激光雷达3D目标检测器。
2026-08-24 cs.CV
Range Adaptation for 3D Object Detection in LiDAR
Duke University(杜克大学);Volvo Car Technology USA(沃尔沃汽车美国技术公司)
基于LiDAR的3D目标检测在现代自动驾驶系统中起着至关重要的作用。LiDAR数据通常在不同的观测范围内表现出严重的性质变化。在本文中,我们探讨了使用LiDAR的3D目标检测的跨范围自适应,即,远距离观测适用于近距离观测。这样,远距离检测被优化为与近距离检测类似的性能。我们采用了一个鸟瞰视图(BEV)检测框架来执行建议的模型自适应。我们的模型自适应包括对抗性全局自适应和细粒度局部自适应。所提出的跨范围自适应框架在三个最先进的基于LiDAR的目标检测网络上进行了验证,并且我们始终观察到远距离对象的性能改善,而无需向模型添加任何辅助参数。据我们所知,本文是第一次尝试研究跨范围激光雷达适应点云中的目标检测。为了证明所提出的自适应框架的通用性,进一步进行了更具挑战性的跨设备自适应实验,并发布了具有高质量注释点云的新LiDAR数据集,以促进未来的研究。
2019-09-26 cs.CV
LiDAR MOT-DETR: A LiDAR-based Two-Stage Transformer for 3D Multiple Object Tracking
University of Wuppertal(伍珀塔尔大学);Aptiv Services Deutschland GmbH(安波福服务德国有限公司);Osnabrück University(奥斯纳布吕克大学)
针对LiDAR点云多目标跟踪的挑战,提出一种基于DETR的两阶段Transformer(平滑器与跟踪器),在nuScenes和KITTI上以在线/离线模式训练,在线模式aMOTA达0.724,优于基线。
2025-09-24 cs.CV
Multi-Echo LiDAR for 3D Object Detection
Carnegie Mellon University(卡内基梅隆大学);DENSO(电装)
LiDAR传感器可用于获得除简单的3D点云之外的各种测量信号,并且这些信号可用于改进诸如3D目标检测之类的感知任务。单个激光脉冲可以被多个物体沿着其路径部分反射,导致称为回波的多个测量。多回波测量可以提供关于物体轮廓和半透明表面的信息,这些信息可以用于更好地识别和定位物体。激光雷达还可以测量表面反射率(激光脉冲返回的强度)以及场景的环境光(物体反射的阳光)。这些信号已经在商业LiDAR设备中可用,但尚未用于大多数基于LiDAR的检测模型。我们提出了一个三维目标检测模型,利用激光雷达提供的测量信号的全频谱。首先,我们提出了一个多信号融合(MSF)模块,结合(1)反射率和环境特征提取的二维CNN,(2)点云特征提取使用三维图神经网络(GNN)。其次,我们提出了一个多回声聚合(MEA)模块,结合在不同的回声点集编码的信息。与传统的单回波点云方法相比,多信号激光雷达检测器(MSLiD)能够从更广泛的传感测量中提取更丰富的上下文信息,实现更精确的三维目标检测。实验表明,通过结合激光雷达的多模态,我们的方法比最先进的方法高出9.1%。
2021-07-23 cs.CV
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology(南方科技大学);Jimei University(集美大学)
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题,最近随着新型激光雷达的出现变得更加苛刻,这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力,而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离,但具有稀疏的角分辨率,因此在径向测量中测量是精确的,但缺乏角度。另一方面,相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体,估计他们的速度,同时纠正点云失真。该框架在真实道路数据上进行了评估,融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的(https://github.com/ISEE-Technology/lidar-with-velocity),以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
Sparse LiDAR and Stereo Fusion (SLS-Fusion) for Depth Estimationand 3D Object Detection
Cerema(法国路桥与道路研究中心);Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Queen Mary University of London(伦敦玛丽女王大学)
准确检测和定位物体的能力被认为是感知自动驾驶汽车的最重要因素。从二维到三维目标检测,最困难的是确定从自车到目标的距离。像LiDAR这样昂贵的技术可以提供精确和准确的深度信息,因此大多数研究都倾向于关注这种传感器,显示出基于LiDAR的方法和基于相机的方法之间的性能差距。尽管许多作者已经研究了如何将LiSAR与RGB相机融合,但据我们所知,还没有研究将LiSAR和立体声融合到深度神经网络中以执行3D目标检测任务。本文介绍了SLS融合,一种新的方法,融合数据从4光束激光雷达和立体相机通过神经网络的深度估计,以实现更好的密集深度图,从而提高三维目标检测性能。由于4光束激光雷达比众所周知的64光束激光雷达便宜,因此这种方法也被归类为低成本的基于传感器的方法。通过对KITTI基准测试的评估,结果表明,与基线方法相比,该方法显著提高了深度估计性能。此外,当将其应用于3D目标检测时,实现了基于低成本传感器的方法的新的技术状态。
2021-05-28 cs.CV
Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving
Cornell University(康奈尔大学);The Ohio State University(俄亥俄州立大学)
在3D中检测汽车和行人等物体在自动驾驶中起着不可或缺的作用。现有的方法在很大程度上依赖于昂贵的LiDAR传感器来获得准确的深度信息。虽然最近伪激光雷达已被引入作为一个有前途的替代方案,在一个低得多的成本完全基于立体图像,仍然有一个显着的性能差距。在本文中,我们提供了实质性的进步,通过改进立体声深度估计的伪激光雷达框架。具体地说,我们调整立体声网络架构和损失函数,使其更符合遥远物体的准确深度估计-目前伪激光雷达的主要弱点。此外,我们探索了利用更便宜但非常稀疏的LiDAR传感器的想法,这些传感器单独为3D检测提供的信息不足,以消除我们的深度估计的偏差。我们提出了一种深度传播算法,在初始深度估计的指导下,将这些少量的精确测量值扩散到整个深度图中。我们在KITTI目标检测基准测试中表明,我们的组合方法在深度估计和基于立体的3D目标检测方面有了实质性的改进-比以前最先进的遥远物体检测精度高出40%。我们的代码可在https://github.com/mileyan/Pseudo_Lidar_V2上获得。
2020-02-15 cs.CV
LidarMultiNet: Unifying LiDAR Semantic Segmentation, 3D Object Detection, and Panoptic Segmentation in a Single Multi-task Network
TuSimple(图森未来);University of Central Florida(中佛罗里达大学)
本技术报告介绍了Waymo Open Dataset 3D语义分割挑战赛2022的第一名获奖解决方案。我们的网络,称为LidarMultiNet,统一了主要的激光雷达感知任务,如3D语义分割,目标检测和全景分割在一个单一的框架。LidarMultiNet的核心是一个强大的基于3D体素的编码器-解码器网络,具有一个新颖的全局上下文池(GCP)模块,从LiDAR帧中提取全局上下文特征以补充其局部特征。提出了可选的第二阶段以细化第一阶段分割或生成准确的全景分割结果。我们的解决方案实现了71.13的mIoU,并且是Waymo 3D语义分割测试集上22个类中大多数的最佳,优于官方排行榜上的所有其他3D语义分割方法。我们首次证明,主要的LiDAR感知任务可以统一在一个可以端到端训练的强大网络中。
2022-06-24 cs.CV
Investigating the Impact of Multi-LiDAR Placement on Object Detection for Autonomous Driving
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊);University of Southern California(南加州大学)
在过去的几年里,人们对提高自动驾驶汽车上LiDAR的感知性能越来越感兴趣。虽然大多数现有的工作都集中在开发新的深度学习算法或模型架构上,但我们从物理设计的角度研究这个问题,即,多个LiDAR的不同位置如何影响基于学习的感知。为此,我们引入了一个易于计算的信息理论替代度量,以定量和快速评估激光雷达的位置,用于不同类型物体的3D检测。我们还提出了一个新的数据汇集,检测模型的训练和评估框架,在现实的CARLA模拟器,以评估不同的多LiDAR配置。使用几个受自动驾驶公司设计启发的流行布局,我们通过广泛的实验展示了我们的替代度量与KITTI上不同代表性算法的目标检测性能之间的相关性,验证了我们的LiDAR布局评估方法的有效性。我们的研究结果表明,传感器的放置是不可忽略的三维点云为基础的目标检测,这将有助于高达10%的性能差异方面的平均精度在具有挑战性的三维目标检测设置。我们相信,这是定量研究LiDAR放置对感知性能影响的首批研究之一。该代码可在https://github.com/HanjiangHu/Multi-LiDAR-Placement-for-3D-Detection上获得。
2022-05-04 cs.AI cs.CV cs.LG
DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars
Robert Bosch GmbH(罗伯特·博世有限公司)
我们提出了DeepFusion,这是一种模块化的多模态架构,可以将激光雷达,摄像头和雷达以不同的组合融合在一起,用于3D目标检测。专业的特征提取器利用每种模态,并且可以轻松交换,使方法简单而灵活。提取的特征被转换成鸟瞰图作为一个共同的表示融合。在特征空间中融合模态之前执行空间和语义对齐。最后,检测头利用丰富的多模态特征来提高3D检测性能。激光雷达-相机、激光雷达-相机-雷达和相机-雷达融合的实验结果表明了该融合方法的灵活性和有效性。在这个过程中,我们研究了远距离汽车检测的基本上未探索的任务,最远可达225米,展示了我们的激光雷达相机融合的好处。此外,我们调查所需的密度的激光雷达点的三维目标检测,并说明在对恶劣天气条件下的鲁棒性的例子的影响。此外,我们的相机雷达融合烧蚀研究突出了准确的深度估计的重要性。
2022-09-27 cs.AI cs.CV cs.LG
Towards Learning to Complete Anything in Lidar
NVIDIA(英伟达);ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University (CMU)(卡内基梅隆大学)
提出CAL方法,通过多模态传感器序列的时间上下文挖掘物体形状和语义特征,提炼为仅激光雷达的实例级模型,实现野外任意物体补全与识别,可处理封闭词汇表外物体并在标准基准上有效应用。
2025-04-16 cs.CV
Enabling 3D Object Detection with a Low-Resolution LiDAR
Worcester Polytechnic Institute(伍斯特理工学院)
光探测和测距(LiDAR)已广泛用于自动驾驶车辆的感知和定位。然而,高分辨率激光雷达的成本仍然非常昂贵,而低分辨率激光雷达的成本则要便宜得多。因此,使用低分辨率LiDAR进行自动驾驶是一种经济可行的解决方案,但点云稀疏性使其极具挑战性。在本文中,我们提出了一个两阶段的神经网络框架,使三维目标检测使用低分辨率激光雷达。从低分辨率LiDAR点云和单目相机图像中获取输入,采用深度补全网络来产生密集点云,随后由基于体素的网络处理该密集点云以进行3D目标检测。利用KITTI数据集进行三维目标检测,实验结果表明,该方法的检测性能明显优于直接利用16线LiDAR点云进行目标检测。对于简单和中等情况,我们的3D车辆检测结果接近使用64线高分辨率LiDAR的结果。
2022-05-04 cs.CV cs.RO
Learning Moving-Object Tracking with FMCW LiDAR
University of Macau(澳门大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Baidu Research(百度研究院)
在本文中,我们提出了一种基于学习的运动物体跟踪方法,利用我们新开发的激光雷达传感器,调频连续波(FMCW)激光雷达。与大多数现有的商业激光雷达传感器相比,我们的FMCW激光雷达可以提供额外的多普勒速度信息的点云的每个3D点。受益于此,我们可以以半自动的方式生成实例标签作为基础事实。给定标签,我们提出了一个对比学习框架,该框架在嵌入空间中将来自同一实例的特征拉到一起,并将来自不同实例的特征推开,以提高跟踪质量。在我们记录的驾驶数据上进行了大量的实验,结果表明,我们的方法比基线方法有很大的优势。
2022-03-02 cs.CV
LISO: Lidar-only Self-Supervised 3D Object Detection
Mercedes-Benz(梅赛德斯-奔驰);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对3D目标检测依赖昂贵人工标注的问题,提出仅用未标注激光雷达点云序列的轨迹正则化自训练方法LISO,借助自监督场景流网络生成优化伪真值,在多数据集多检测网络上验证了有效性。
2024-03-11 cs.CV
Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object Detection
Halmstad University(哈尔姆斯塔德大学)
本文提出一种仅依赖LiDAR和场景语义的伪点云生成框架,通过分割模型与多模态域转换器生成密集语义点云,并利用语义引导投影提升3D目标检测性能,在KITTI上取得最高2.9%的提升。
2023-09-16 cs.CV
3D Dual-Fusion: Dual-Domain Dual-Query Camera-LiDAR Fusion for 3D Object Detection
Hanyang University(汉阳大学);Korea Advanced Institute of Science & Technology (KAIST)(韩国科学技术院(KAIST))
融合来自相机和LiDAR传感器的数据是实现稳健的3D目标检测的基本技术。相机-LiDAR融合的一个关键挑战是在融合其特征时,在坐标和数据分布方面减轻两个传感器之间的大域差距。在本文中,我们提出了一种新的相机-LiDAR融合架构,称为3D Dual-Fusion,旨在缩小相机和LiDAR数据的特征表示之间的差距。该方法融合了摄像机视图和三维体素视图域的特征,并通过可变形注意力来建模它们的交互。我们重新设计了Transformer融合编码器来聚合来自两个域的信息。两个主要的变化包括:1)基于双查询的可变形注意力,以交互方式融合双域特征; 2)3D局部自注意力,在双查询解码之前对体素域查询进行编码。实验评估的结果表明,所提出的相机-LiDAR融合架构在KITTI和nuScenes数据集上实现了具有竞争力的性能,在一些3D目标检测基准类别中具有最先进的性能。
2023-02-16 cs.CV
Adversarial Objects Against LiDAR-Based Autonomous Driving Systems
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Baidu Research, Baidu Inc.(百度公司百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度神经网络(DNN)被发现容易受到对抗性示例的攻击,这些示例是精心制作的输入,具有小幅度的扰动,旨在诱导任意错误的预测。最近的研究表明,对抗性示例可能对现实世界的安全关键型应用构成威胁:可以合成一个“物理对抗性停止标志”,这样自动驾驶汽车就会将其误认为其他标志(例如,限速标志)。然而,这些图像空间对抗的例子不能轻易改变自动驾驶汽车上广泛配备的激光雷达或雷达的3D扫描。在本文中,我们揭示了基于LiDAR的自动驾驶检测系统的潜在漏洞,提出了一种基于优化的方法LiDAR-Adv来生成可以在各种条件下逃避基于LiDAR的检测系统的对抗性对象。我们首先使用基于黑箱进化的算法来展示漏洞,然后使用我们基于梯度的方法LiDAR-Adv来探索强大的对手可以做多少。我们在百度Apollo自动驾驶平台上测试生成的对抗对象,并表明这些物理系统确实容易受到拟议攻击。我们还3D打印了我们的对抗对象,并进行了物理实验,以说明这种脆弱性存在于现实世界中。请在匿名网站https://sites.google.com/view/lidar-adv上找到更多的可视化和结果。
2019-07-11 cs.CR cs.CV cs.LG
Adaptive LiDAR Scanning: Harnessing Temporal Cues for Efficient 3D Object Detection via Multi-Modal Fusion
针对传统激光雷达密集扫描存在冗余、高功耗的问题,提出历史感知的自适应扫描框架,通过时序上下文预测关键ROI引导稀疏扫描,在nuScenes等基准上实现超65%的激光雷达降耗,同时保持优异的3D检测性能。
2025-11-14 cs.CV
Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving
Cornell University(康奈尔大学)
三维目标检测是自动驾驶中的一项重要任务。最近的技术具有高精度的检测率,只要从精确但昂贵的LiDAR技术获得3D输入数据。到目前为止,基于便宜的单眼或立体图像数据的方法导致了精确度的大幅降低-这一差距通常归因于基于图像的深度估计不佳。然而,在本文中,我们认为,这不是数据的质量,但它的代表性,占大多数的差异。考虑到卷积神经网络的内部工作原理,我们建议将基于图像的深度图转换为伪LiDAR表示--基本上模仿LiDAR信号。通过这种表示,我们可以应用不同的现有基于LiDAR的检测算法。在流行的KITTI基准测试中,我们的方法在现有的基于图像的性能方面取得了令人印象深刻的改进--将30米范围内物体的检测精度从之前的22%提高到前所未有的74%。在提交时,我们的算法在KITTI 3D目标检测排行榜上拥有最高的条目,用于基于立体图像的方法。我们的代码可在https://github.com/mileyan/pseudo_lidar上公开获取。
2020-02-22 cs.CV
OpenSight: A Simple Open-Vocabulary Framework for LiDAR-Based Object Detection
University of Queensland(昆士兰大学);DAMO Academy, Alibaba(阿里巴巴达摩院);Li Auto(理想汽车);Westlake University(西湖大学)
针对传统LiDAR目标检测的闭集局限及直接迁移2D开放词汇模型的过拟合问题,提出整合时空约束、跨模态对齐融合的OpenSight框架,在3D检测基准上实现了最优开放词汇检测性能。
2023-12-12 cs.CV
CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection
Michigan State University(密歇根州立大学)
神经网络在使用LiDAR的3D目标检测和使用视频的2D目标检测方面都有了显著的进步。然而,令人惊讶的是,很难训练网络有效地使用这两种模式的方式,证明增益超过单一模式的网络。在本文中,我们提出了一种新的相机-激光雷达目标候选者(CLOC)融合网络。CLOC融合提供了一个低复杂度的多模态融合框架,显著提高了单模态检测器的性能。CLOC在任何2D和任何3D检测器的非最大值抑制(NMS)之前对组合输出候选进行操作,并被训练以利用其几何和语义特征来产生更准确的最终3D和2D检测结果。我们的实验评估具有挑战性的KITTI目标检测基准,包括3D和鸟瞰图的指标,显示出显着的改善,特别是在长距离,在国家的最先进的融合为基础的方法。在提交时,CLOC在KITTI官方排行榜上的所有基于融合的方法中排名最高。我们将在接受后发布代码。
2020-09-02 cs.CV
SemanticBEVFusion: Rethink LiDAR-Camera Fusion in Unified Bird's-Eye View Representation for 3D Object Detection
Bosch Corporate Research(博世集团研究院);Shanghai Jiao Tong University(上海交通大学)
本文提出SemanticBEVFusion,通过统一BEV表示深度融合激光雷达几何与相机语义特征,在nuScenes上实现SOTA的3D检测性能。
2022-12-09 cs.CV
Context-Aware Data Augmentation for LIDAR 3D Object Detection
对于三维目标检测而言,激光雷达点云标注是一个难点,因此数据增强是充分利用宝贵标注数据的重要模块。GT样本作为一种广泛使用的数据增强方法,通过在训练过程中向激光雷达帧中插入地面真值,有效地提高了检测性能。然而,这些样本往往被放置在不合理的区域,这会误导模型学习错误的目标和背景之间的上下文信息。为了解决这个问题,在本文中,我们提出了一个上下文感知的数据增强方法(CA-aug),它确保了合理的位置插入的对象,通过计算“有效空间”的激光雷达点云。CA-aug是轻量级的,与其他增强方法兼容。与GT采样和激光雷达中的类似方法相比,该方法具有更高的精度。我们还提出了一个深入的研究增强方法的范围视图为基础的(RV为基础的)模型,并发现CA-aug可以充分利用RV为基础的网络的潜力。对KITTI值分裂的实验表明,CA-aug可以使测试模型的mAP提高8%。
2022-11-20 cs.CV
Lidar based Detection and Classification of Pedestrians and Vehicles Using Machine Learning Methods
University of Virginia(弗吉尼亚大学)
本文的目标是将LiDAR传感器映射的对象分类为不同的类别,如车辆,行人和骑自行车的人。利用基于LiDAR的物体检测器和基于神经网络的分类器,提出了一种新的实时目标检测,其基本上是关于辅助自动驾驶车辆识别和分类在驾驶过程中遇到的其他物体并相应地进行。我们使用机器学习方法来讨论我们的工作,以解决自动驾驶汽车机器学习应用中常见的高级问题:从3D LiDAR传感器获得的点云数据的分类。
2019-06-12 cs.CV cs.LG cs.RO
AOP-Net: All-in-One Perception Network for Joint LiDAR-based 3D Object Detection and Panoptic Segmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于LiDAR的三维目标检测和全景分割是自主车辆和机器人感知系统中的两个关键任务。在本文中,我们提出了一体化感知网络(AOP-Net),这是一个基于激光雷达的多任务框架,结合了3D目标检测和全景分割。在这种方法中,开发了一个双任务3D骨干,从输入的LiDAR点云中提取全景和检测级特征。此外,还设计了一个将多层感知器(MLP)和卷积层交织在一起的新2D主干,以进一步提高检测任务性能。最后,提出了一种新的模块,通过恢复在3D骨干中的下采样操作期间丢弃的有用特征来引导检测头。该模块利用估计的实例分割掩模从每个候选对象恢复详细信息。AOP-Net在nuScenes基准测试中针对3D目标检测和全景分割任务实现了已发布作品的最先进性能。此外,实验表明,我们的方法很容易适应,并显着提高性能的任何基于BEV的三维目标检测方法。
2023-02-02 cs.CV
BirdNet: a 3D Object Detection Framework from LiDAR information
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
无论交通状况如何,理解驾驶情况是自动驾驶汽车道路上的基石;然而,尽管常见的传感器设置已经包括激光雷达或雷达等辅助设备,但大多数感知系统的研究传统上都集中在计算机视觉上。我们提出了一个基于激光雷达的三维目标检测流水线,需要三个阶段。首先,激光信息被投射到一个新的细胞编码鸟瞰投影。之后,通过最初设计用于图像处理的卷积神经网络来估计飞机上的目标位置及其航向。最后,在后处理阶段计算3D定向检测。在KITTI数据集上的实验表明,该框架在同类方法中取得了最好的结果。在真实场景中使用不同LiDAR传感器进行的进一步测试评估了该方法的多设备能力。
2018-05-03 cs.CV
LiDAR Spoofing Meets the New-Gen: Capability Improvements, Broken Assumptions, and New Attack Strategies
University of California, Irvine(加利福尼亚大学欧文分校);Keio University(庆应义塾大学)
针对现有 LiDAR 欺骗研究仅覆盖单一传感器、假设未验证能力及评估设置有限的问题,我们首次对 9 种 LiDAR 和 3 类检测器进行大规模测量,提出改进欺骗器、新目标移除攻击及数学建模,揭示 15 项新发现并讨论防御。
2024-02-07 cs.CR cs.CV cs.LG
Empowering Urban Traffic Management: Elevated 3D LiDAR for Data Collection and Advanced Object Detection Analysis
Missouri University of Science and Technology (MST)(密苏里科技大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出利用高架LiDAR传感器和模拟点云数据,微调PV-RCNN模型,以提升城市交通场景中车辆和行人的3D检测精度,从而改善城市安全和智能交通系统。
2024-05-21 cs.AI cs.CV cs.LG
RoIFusion: 3D Object Detection from LiDAR and Vision
Cranfield University(克兰菲尔德大学)
当定位和检测用于自动驾驶场景的3D对象时,从多个传感器(例如相机、LIDAR)获得信息通常增加3D检测器的鲁棒性。然而,从激光雷达和相机捕获的不同特征的高效和有效的融合仍然是具有挑战性的,特别是由于点云分布的稀疏性和不规则性。尽管如此,点云还是提供了有用的补充信息。在本文中,我们希望利用激光雷达和摄像头传感器的优势,提出一种深度神经网络架构,通过识别相应的3D边界框和方向来融合和有效检测3D对象。为了实现这一任务,而不是密集地结合点云的逐点特征和相关的像素特征,我们提出了一种新的融合算法,通过将一组3D感兴趣区域(ROI)从点云投影到对应图像的2D ROI。最后,我们证明了我们的深度融合方法在KITTI 3D目标检测挑战性基准上达到了最先进的性能。
2020-09-09 cs.CV
Point Density-Aware Voxels for LiDAR 3D Object Detection
University of Toronto(多伦多大学)
LiDAR已成为自动驾驶中主要的3D目标检测传感器之一。然而,LiDAR的发散点图案随着距离的增加而导致不均匀的采样点云不适合于离散化体积特征提取。目前的方法要么依赖于体素化点云,要么使用效率低下的最远点采样来减轻密度变化造成的不利影响,但在很大程度上忽略了点密度作为一个特征及其与距离LiDAR传感器的可预测关系。我们提出的解决方案,点密度感知体素网络(PDV),是一个端到端的两阶段激光雷达三维目标检测架构,旨在考虑这些点密度的变化。PDV通过体素点质心有效地从3D稀疏卷积主干定位体素特征。然后通过密度感知RoI网格池化模块使用核密度估计(KDE)和具有点密度位置编码的自关注来聚合空间局部化体素特征。最后,我们利用激光雷达的点密度与距离的关系来改进我们最终的限界框置信度。PDV在Waymo开放数据集上的表现优于所有最先进的方法,并在KITTI数据集上取得了有竞争力的结果。我们提供PDV的代码发布,可在https://github.com/TRAILab/PDV上获得。
2022-03-22 cs.CV
Quantifying Data Augmentation for LiDAR based 3D Object Detection
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
在这项工作中,我们揭示了不同的数据增强技术通常用于光探测和测距(LiDAR)的三维目标检测。对于我们的大部分实验,我们利用了众所周知的PointPillars管道和完善的KITTI数据集。我们研究了各种全球和本地增强技术,其中全球增强技术应用于整个点云的场景和本地增强技术只适用于属于场景中的单个对象的点。我们的研究结果表明,这两种类型的数据增强都可以提高性能,但事实也证明,某些增强技术,例如单个对象翻译,可能会适得其反,并可能损害整体性能。我们表明,这些发现转移和推广以及其他国家的最先进的三维目标检测方法和具有挑战性的STF数据集。在KITTI数据集上,我们可以获得高达1.5%的增益,在STF数据集上,在中型汽车类的3D mAP中,我们可以获得高达1.7%的增益。
2022-07-29 cs.CV cs.LG eess.IV