SceneCalib: Automatic Targetless Calibration of Cameras and Lidars in Autonomous Driving
NVIDIA Corporation（英伟达公司）
本文提出SceneCalib，一种无需标定目标和人工操作的全自动方法，可同时标定多相机与激光雷达系统的内外参，并通过跨相机约束保证外参一致性。
2023-04-11 cs.CV
3DLabelProp: Geometric-Driven Domain Generalization for LiDAR Semantic Segmentation in Autonomous Driving
Centre for Robotics, Mines Paris - PSL, PSL University（巴黎矿业学院-PSL大学机器人中心）；U2IS, ENSTA Paris, Institut Polytechnique de Paris（巴黎综合理工学院ENSTA Paris的U2IS）
针对自动驾驶LiDAR语义分割中的域偏移问题，提出基于几何的3DLabelProp方法，利用传感器顺序结构，在七个数据集上达到最先进性能。
2025-01-24 cs.CV
DriveLiDAR4D: Sequential and Controllable LiDAR Scene Generation for Autonomous Driving
针对现有3D LiDAR点云生成方法缺乏序列生成能力、前景物体定位不准等局限，提出含多模态条件和LiDAR4DNet的DriveLiDAR4D流水线，实现时间一致、前景可控的LiDAR场景生成，在nuScenes数据集上性能较SOTA方法UniScene显著提升。
2025-11-17 cs.CV
Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving
Cornell University（康奈尔大学）；The Ohio State University（俄亥俄州立大学）
在3D中检测汽车和行人等物体在自动驾驶中起着不可或缺的作用。现有的方法在很大程度上依赖于昂贵的LiDAR传感器来获得准确的深度信息。虽然最近伪激光雷达已被引入作为一个有前途的替代方案，在一个低得多的成本完全基于立体图像，仍然有一个显着的性能差距。在本文中，我们提供了实质性的进步，通过改进立体声深度估计的伪激光雷达框架。具体地说，我们调整立体声网络架构和损失函数，使其更符合遥远物体的准确深度估计-目前伪激光雷达的主要弱点。此外，我们探索了利用更便宜但非常稀疏的LiDAR传感器的想法，这些传感器单独为3D检测提供的信息不足，以消除我们的深度估计的偏差。我们提出了一种深度传播算法，在初始深度估计的指导下，将这些少量的精确测量值扩散到整个深度图中。我们在KITTI目标检测基准测试中表明，我们的组合方法在深度估计和基于立体的3D目标检测方面有了实质性的改进-比以前最先进的遥远物体检测精度高出40%。我们的代码可在https://github.com/mileyan/Pseudo_Lidar_V2上获得。
2020-02-15 cs.CV
Lidar based Detection and Classification of Pedestrians and Vehicles Using Machine Learning Methods
University of Virginia（弗吉尼亚大学）
本文的目标是将LiDAR传感器映射的对象分类为不同的类别，如车辆，行人和骑自行车的人。利用基于LiDAR的物体检测器和基于神经网络的分类器，提出了一种新的实时目标检测，其基本上是关于辅助自动驾驶车辆识别和分类在驾驶过程中遇到的其他物体并相应地进行。我们使用机器学习方法来讨论我们的工作，以解决自动驾驶汽车机器学习应用中常见的高级问题：从3D LiDAR传感器获得的点云数据的分类。
2019-06-12 cs.CV cs.LG cs.RO
LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）；Massachusetts Institute of Techonology（麻省理工学院）
我们解决了生成LiDAR点云的逼真模拟的问题，LiDAR点云是大多数自动驾驶车辆的首选传感器。我们认为，通过利用真实的数据，我们可以更逼真地模拟复杂的世界相比，采用从CAD/程序模型构建的虚拟世界。为了实现这一目标，我们首先通过驾驶我们的自动驾驶车队在几个城市周围行驶，建立了一个大型的3D静态地图和3D动态对象目录。然后，我们可以通过从我们的目录中选择一个场景，并“虚拟地”将自动驾驶车辆（SDV）和一组动态对象从目录中放置在场景中的合理位置来生成场景。为了产生逼真的模拟，我们开发了一种新颖的模拟器，它可以捕获基于物理和基于学习的模拟的功能。我们首先在3D场景上使用光线投射，然后使用深度神经网络来产生与基于物理的模拟的偏差，从而产生逼真的LiDAR点云。我们展示了LiDARsim对于感知算法的实用性-长尾事件测试和安全关键场景的端到端闭环评估。
2020-06-16 cs.CV
Few-shot 3D LiDAR Semantic Segmentation for Autonomous Driving
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在自动驾驶中，新的物体和缺乏注释的情况对传统的基于深度学习的三维LiDAR语义分割提出了挑战。少样本学习是解决这些问题的可行途径。然而，目前的Few-Shot语义分割方法主要针对相机数据，大多数只预测新类，而没有考虑基类。出于安全考虑，该设置不能直接应用于自动驾驶。因此，我们提出了一个Few-Shot三维激光雷达语义分割方法，同时预测新的类和基类。该方法试图解决广义Few-Shot语义分割中的背景模糊问题。本文首先回顾了原有的交叉熵和知识蒸馏损失，然后提出了一种新的损失函数，该函数结合背景信息实现了三维激光雷达的Few-Shot语义分割。在SemanticKITTI上的大量实验证明了该方法的有效性。
2023-03-03 cs.CV cs.RO
Optimizing the Placement of Roadside LiDARs for Autonomous Driving
Beihang University（北京航空航天大学）；Shanghai AI Laboratory（上海人工智能实验室）；UCLA（加州大学洛杉矶分校）；NUS（新加坡国立大学）
针对自动驾驶中路边激光雷达布局优化问题，提出基于感知增益的贪心算法和感知预测器，并创建Roadside-Opt数据集，以提升协同感知性能。
2023-10-11 cs.CV cs.RO
Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving
Cornell University（康奈尔大学）
三维目标检测是自动驾驶中的一项重要任务。最近的技术具有高精度的检测率，只要从精确但昂贵的LiDAR技术获得3D输入数据。到目前为止，基于便宜的单眼或立体图像数据的方法导致了精确度的大幅降低-这一差距通常归因于基于图像的深度估计不佳。然而，在本文中，我们认为，这不是数据的质量，但它的代表性，占大多数的差异。考虑到卷积神经网络的内部工作原理，我们建议将基于图像的深度图转换为伪LiDAR表示--基本上模仿LiDAR信号。通过这种表示，我们可以应用不同的现有基于LiDAR的检测算法。在流行的KITTI基准测试中，我们的方法在现有的基于图像的性能方面取得了令人印象深刻的改进--将30米范围内物体的检测精度从之前的22%提高到前所未有的74%。在提交时，我们的算法在KITTI 3D目标检测排行榜上拥有最高的条目，用于基于立体图像的方法。我们的代码可在https://github.com/mileyan/pseudo_lidar上公开获取。
2020-02-22 cs.CV
LiDAR-BEVMTN: Real-Time LiDAR Bird's-Eye View Multi-Task Perception Network for Autonomous Driving
Valeo（法雷奥）；TU Ilmenau（伊尔梅瑙工业大学）
本文提出LiDAR-BEVMTN，一种基于共享编码器和任务特定解码器的实时多任务卷积网络，通过SWAG模块和异构训练统一实现LiDAR点云的检测、语义与运动分割，在嵌入式平台以3ms延迟取得领先性能。
2024-11-18 cs.CV cs.RO
Deep Learning for LiDAR Point Clouds in Autonomous Driving: A Review
University of Waterloo（滑铁卢大学）；Sun Yat-Sen University（中山大学）；Xilinx Technology Beijing Limited（赛灵思科技北京有限公司）；Ryerson University（瑞尔森大学）
最近，深度学习在从3D LiDAR数据进行区分特征学习方面的进步导致了自动驾驶领域的快速发展。然而，自动处理不均匀、非结构化、噪声和大量3D点云是一项具有挑战性且繁琐的任务。在本文中，我们对应用于LiDAR点云的现有引人注目的深度学习架构进行了系统的回顾，详细介绍了自动驾驶中的特定任务，如分割，检测和分类。尽管一些已发表的研究论文专注于自动驾驶汽车计算机视觉的特定主题，但迄今为止，还没有关于自动驾驶汽车LiDAR点云中应用的深度学习的一般调查。因此，本文的目的是缩小在这个问题上的差距。本次调查总结了近五年来的140多项关键贡献，包括里程碑式的3D深度架构，深度学习在3D语义分割、目标检测和分类中的显着应用;特定数据集，评估指标和最先进的性能。最后，我们总结了剩余的挑战和未来的研究。
2020-05-20 cs.CV
Been There, Scanned That: Nostalgia-Driven LiDAR Compression for Self-Driving Cars
Rochester Institute of Technology（罗切斯特理工学院）；Vellore Institute of Technology（维洛尔理工学院）；The University of Sydney（悉尼大学）
为降低自动驾驶车辆海量LiDAR数据的网络与存储成本，本文提出DejaView框架，利用车辆日常行驶路线重复的特性，在跨天乃至跨月的更大时间尺度上搜索冗余，通过diff操作将点云表示为相对历史数据的delta，实现高达210倍压缩且重建误差仅15厘米。
2025-11-01 cs.CV eess.IV
Augmented LiDAR Simulator for Autonomous Driving
Baidu（百度）
在自动驾驶（AD）中，道路上障碍物的检测和跟踪是一项关键任务。使用带注释的LiDAR数据的基于深度学习的方法是最广泛采用的方法。不幸的是，注释3D点云是一项非常具有挑战性、耗时耗钱的任务。在本文中，我们提出了一种新的激光雷达模拟器，它用合成障碍物（例如，汽车、行人和其他可移动物体）。与以前完全依赖CG模型和游戏引擎的模拟器不同，我们的增强模拟器绕过了创建高保真背景CAD模型的要求。相反，我们可以简单地部署一辆带有LiDAR扫描仪的车辆来扫描感兴趣的街道，以获得背景点云，并在此基础上自动生成带注释的点云。这种独特的“扫描和模拟”功能使我们的方法具有可扩展性和实用性，可用于大规模工业应用。在本文中，我们详细描述了我们的模拟器，特别是障碍物的位置，这是提高性能的关键。我们表明，仅使用我们模拟的LiDAR点云的探测器就可以使用这些用真实数据训练的点云进行重复检测（在两个百分点内）。混合真实和模拟数据可以达到95%以上的准确度。
2019-04-10 cs.CV
Towards Robust LiDAR-based Perception in Autonomous Driving: General Black-box Adversarial Sensor Attack and Countermeasures
University of Michigan（密歇根大学）；UC Irvine（加州大学尔湾分校）
感知在自动驾驶系统中起着关键作用，该系统利用摄像头和LiDAR（光探测和测距）等车载传感器来评估周围环境。最近的研究表明，基于LiDAR的感知很容易受到欺骗攻击，在这种攻击中，对手通过战略性地向受害者的LiDAR传感器发送激光信号来欺骗受害者自动驾驶汽车前面的假车辆。然而，现有的攻击遭受有效性和通用性的限制。在这项工作中，我们进行了第一项研究，以探索当前基于LiDAR的感知架构的一般脆弱性，并发现LiDAR点云中被忽略的遮挡模式使自动驾驶汽车容易受到欺骗攻击。我们构建了第一个黑盒欺骗攻击的基础上，我们确定的漏洞，普遍实现约80%的平均成功率在所有目标模型。我们进行了第一次防御研究，提出了CARLO来减轻LiDAR欺骗攻击。CARLO通过将忽略的遮挡模式视为不变的物理特征来检测欺骗数据，这将平均攻击成功率降低到5.5%。与此同时，我们迈出了探索基于LiDAR的鲁棒感知的通用架构的第一步，并提出了将被忽视的物理特征嵌入到端到端学习中的SVF。SVF进一步将平均攻击成功率降低到2.3%左右。
2020-06-30 cs.CR cs.CV cs.LG
One target to align them all: LiDAR, RGB and event cameras extrinsic calibration for Autonomous Driving
DEIB Politecnico di Milano（都灵理工大学DEIB）
针对自动驾驶中事件相机、激光雷达与RGB相机的多模态外参标定难题，提出一种基于定制3D标定靶的一次性联合标定框架，该靶标含适配三种传感器的特征，实验证实其准确性与鲁棒性。
2025-11-15 cs.CV
A Survey on 3D LiDAR Localization for Autonomous Vehicles
Worcester Polytechnic Institute（伍斯特理工学院）
LiDAR传感器正在成为实现自动驾驶汽车完全自主的最重要的传感器之一。激光雷达能够产生丰富、密集和精确的空间数据，这对定位和跟踪移动车辆有很大帮助。在本文中，我们回顾了自动驾驶汽车3D LiDAR定位的最新发现，并分析了每种方法获得的结果，以指导研究界走向似乎最有前途的道路。
2020-11-21 cs.CV
LiDAR-as-Camera for End-to-End Driving
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）
任何自动驾驶系统的核心任务都是将感官输入转换为驾驶命令。在端到端驾驶中，这是通过神经网络实现的，其中一个或多个摄像头作为最常用的输入，低级别驾驶命令（例如转向角）作为输出。然而，深度感应已经在模拟中显示，使端到端的驾驶任务更容易。在真实的汽车上，结合深度和视觉信息可能具有挑战性，因为难以获得传感器的良好空间和时间对准。为了缓解对准问题，Ouster LiDAR可以输出具有深度、强度和环境辐射通道的环绕视图LiDAR图像。这些测量数据来自同一个传感器，使它们在时间和空间上完美对齐。我们证明，这样的激光雷达图像是足够的实车道路跟踪任务，并执行至少等同于基于相机的模型在测试条件下，与差异增加时，需要推广到新的天气条件。在第二个方向的研究中，我们发现，时间平滑的政策外预测序列的相关性以及与实际的政策上的驾驶能力作为常用的平均绝对误差。
2022-06-30 cs.AI cs.CV cs.RO
CENet: Toward Concise and Efficient LiDAR Semantic Segmentation for Autonomous Driving
Southwest University（西南大学）；College of Computer and Information Science（计算机与信息科学学院）
准确、快速的场景理解是自动驾驶的挑战性任务之一，需要充分利用LiDAR点云进行语义分割。在本文中，我们提出了一个\textbf{concise}和\textbf{efficient}图像为基础的语义分割网络，命名为\textbf{CENet}。为了提高学习特征的描述能力并降低计算和时间复杂度，我们的CENet将具有较大核大小的卷积而不是MLP，精心选择的激活函数和具有相应损失函数的多个辅助分割头集成到架构中。在公开的基准测试SemanticKITTI和SemanticPOSS上进行的定量和定性实验表明，与最先进的模型相比，我们的管道实现了更好的mIoU和推理性能。该代码将在https://github.com/huixiancheng/CENet上提供。
2022-07-26 cs.CV
HiLoTs: High-Low Temporal Sensitive Representation Learning for Semi-Supervised LiDAR Segmentation in Autonomous Driving
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
针对自动驾驶半监督激光雷达分割现有方法忽略长期时序特性的问题，提出HiLoTs框架，学习高低时间敏感表征并融合，结合师生框架利用无标注数据，性能超越现有半监督方法且接近多模态方案。
2025-03-22 cs.CV
SLPC: a VRNN-based approach for stochastic lidar prediction and completion in autonomous driving
University of Stuttgart（斯图加特大学）；Robert Bosch GmbH（罗伯特·博世有限公司）
预测未来的3D LiDAR点云是一项具有挑战性的任务，在自动驾驶的许多应用中非常有用，例如轨迹预测，姿态预测和决策制定。在这项工作中，我们提出了一个新的LiDAR预测框架，该框架基于生成模型，即变分递归神经网络（VRNNs），名为随机LiDAR预测和完成（SLPC）。我们的算法是能够解决以前的视频预测框架的局限性时，处理稀疏数据空间修复的深度图在即将到来的帧。因此，我们的贡献可以总结如下：我们介绍了从空间稀疏数据预测和完成深度图的新任务，我们提出了一个稀疏版本的VRNN和一个有效的自监督训练方法，不需要任何标签。实验结果表明，我们的框架相比，在视频预测的最先进的方法的有效性。
2021-02-19 cs.AI cs.CV
Timely Fusion of Surround Radar/Lidar for Object Detection in Autonomous Driving Systems
City University of Hong Kong（香港城市大学）；Yale University（耶鲁大学）；The Chinese University of Hong Kong（香港中文大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对环绕雷达帧率低导致融合检测延迟高的问题，提出增强MVDNet训练以容忍雷达/激光雷达时间未对齐，实现以激光雷达频率进行及时融合，精度损失极小。
2024-05-27 cs.AI cs.CV
LiDAR View Synthesis for Robust Vehicle Navigation Without Expert Labels
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Oxford（牛津大学）
本文提出通过网格重建与光线投射合成新视角LiDAR点云以增强训练数据，并利用LiDAR里程计推断驾驶标签，无需专家标注即可提升自动驾驶模型在危险场景下的鲁棒性。
2023-08-05 cs.CV
A LiDAR Point Cloud Generator: from a Virtual World to Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）
3D LiDAR扫描仪在自动驾驶中发挥着越来越重要的作用，因为它们可以生成环境的深度信息。然而，创建具有点级标签的大型3D LiDAR点云数据集需要大量的手动注释。这危及监督式深度学习算法的有效开发，这些算法通常需要大量数据。我们提出了一个框架，快速创建点云与精确的点级别的标签从计算机游戏。该框架支持从自动驾驶场景和用户配置场景中收集数据汇集。来自自动驾驶场景的点云可以用作深度学习算法的训练数据，而来自用户配置场景的点云可以用于系统地测试神经网络的脆弱性，并使用伪造的示例通过再训练使神经网络更加鲁棒。此外，场景图像可以同时捕获，以便传感器融合任务，提出了一种方法来做点云和捕获的场景图像之间的自动校准。通过使用生成的合成数据增强训练数据集，我们在点云分割中的准确性（+9%）得到了显着提高。我们的实验还表明，通过使用来自用户配置场景的点云来测试和重新训练网络，可以修复神经网络的弱点/盲点。
2018-03-31 cs.CV
Timealign: A multi-modal object detection method for time misalignment fusing in autonomous driving
Tsinghua University（清华大学）
针对自动驾驶多模态感知中传感器时间对齐研究不足、激光雷达数据存在滞后的问题，提出基于GraphBEV框架的Timealign模块，利用激光雷达历史帧实现特征对齐以解决时间错位。
2024-12-13 cs.CV
Joint Multi-Object Detection and Tracking with Camera-LiDAR Fusion for Autonomous Driving
Southern University of Science and Technology（南方科技大学）；Sifakis Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology（南方科技大学西法基斯可信自主系统研究院）；Pazhou Lab（琶洲实验室）
基于相机-激光雷达融合的多目标跟踪要求实时的准确的目标检测、相似度计算和数据关联。本文提出了一种高效的多模态MOT框架，具有在线联合检测和跟踪方案以及用于自动驾驶应用的鲁棒数据关联。这项工作的新颖性包括：（1）开发端到端深度神经网络，用于使用2D和3D测量进行联合目标检测和相关;（2）开发鲁棒的亲和度计算模块，用于计算3D空间中的遮挡感知外观和运动亲和度;（3）开发综合数据关联模块，用于检测置信度、亲和度和起始-结束概率之间的联合优化。在KITTI跟踪基准上的实验结果表明，该方法在跟踪精度和处理速度方面都具有优越的性能。
2021-08-10 cs.CV
A Comprehensive Survey on Deep Learning-Based LiDAR Super-Resolution for Autonomous Driving
University College London（伦敦大学学院）
本文综述了自动驾驶中基于深度学习的激光雷达超分辨率方法，涵盖四种主要技术类别，并探讨了当前趋势和未来研究方向。
2026-02-15 cs.CV cs.RO
Adversarial Objects Against LiDAR-Based Autonomous Driving Systems
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Baidu Research, Baidu Inc.（百度公司百度研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度神经网络（DNN）被发现容易受到对抗性示例的攻击，这些示例是精心制作的输入，具有小幅度的扰动，旨在诱导任意错误的预测。最近的研究表明，对抗性示例可能对现实世界的安全关键型应用构成威胁：可以合成一个“物理对抗性停止标志”，这样自动驾驶汽车就会将其误认为其他标志（例如，限速标志）。然而，这些图像空间对抗的例子不能轻易改变自动驾驶汽车上广泛配备的激光雷达或雷达的3D扫描。在本文中，我们揭示了基于LiDAR的自动驾驶检测系统的潜在漏洞，提出了一种基于优化的方法LiDAR-Adv来生成可以在各种条件下逃避基于LiDAR的检测系统的对抗性对象。我们首先使用基于黑箱进化的算法来展示漏洞，然后使用我们基于梯度的方法LiDAR-Adv来探索强大的对手可以做多少。我们在百度Apollo自动驾驶平台上测试生成的对抗对象，并表明这些物理系统确实容易受到拟议攻击。我们还3D打印了我们的对抗对象，并进行了物理实验，以说明这种脆弱性存在于现实世界中。请在匿名网站https://sites.google.com/view/lidar-adv上找到更多的可视化和结果。
2019-07-11 cs.CR cs.CV cs.LG
RLPR: Radar-to-LiDAR Place Recognition via Two-Stage Asymmetric Cross-Modal Alignment for Autonomous Driving
Beijing Institute of Technology（北京理工大学）；Shanghai Jiaotong University（上海交通大学）
提出RLPR框架，通过双流网络提取结构特征，并利用两阶段非对称跨模态对齐策略，实现雷达与激光雷达之间的鲁棒地点识别，在四个数据集上达到最优性能。
2026-06-16 cs.CV
JVLDLoc: a Joint Optimization of Visual-LiDAR Constraints and Direction Priors for Localization in Driving Scenario
School of Intelligence Science and Technology（智能科学与技术学院）
移动智能体在环境中定位自身的能力是自动驾驶等新兴应用的基本需求。许多现有的基于多传感器的方法仍然存在漂移问题。我们提出了一个方案，融合地图先验和消失点的图像，它可以建立一个能量项，只限于旋转，称为方向投影误差。然后，我们将这些方向先验嵌入到视觉激光雷达SLAM系统中，该系统在后端以紧密耦合的方式集成了相机和激光雷达测量。具体来说，我们的方法产生视觉重投影误差和点的隐式移动最小二乘（IMLS）表面的扫描约束，并解决他们共同随着方向投影误差在全局优化。在KITTI、KITTI-360和Oxford Radar Robotcar上的实验结果表明，该方法的定位误差和绝对位姿误差（APE）均小于先验地图，验证了该方法的有效性。
2022-09-08 cs.CV cs.RO
Temporal LiDAR Frame Prediction for Autonomous Driving
UC Berkeley（加州大学伯克利分校）
在动态场景中预测未来对于自动驾驶和机器人等许多领域至关重要。在本文中，我们提出了一类新的神经网络架构来预测未来的激光雷达帧给定以前的。因为在这个应用程序中，基础事实只是序列中的下一帧，所以我们可以以一种自我监督的方式训练我们的模型。我们提出的架构是基于FlowNet3D和动态图CNN。我们使用倒角距离（CD）和地球移动器的距离（EMD）作为损失函数和评估指标。我们使用新发布的nuScenes数据集训练和评估我们的模型，并使用几个基线来表征它们的性能和复杂性。与直接使用FlowNet3D相比，我们提出的架构实现的CD和EMD几乎低一个数量级。此外，我们表明，我们的预测产生合理的场景流近似，而不使用任何标记的监督。
2020-12-17 cs.CV cs.LG
A Benchmark for Lidar Sensors in Fog: Is Detection Breaking Down?
Daimler AG（戴姆勒股份公司）
五级自动驾驶不仅仅意味着在阳光下自动驾驶。不利的天气尤其重要，因为雾、雨和雪会降低对环境的感知。在这项工作中，目前最先进的光探测和测距（激光雷达）传感器在雾室中的受控条件下进行测试。我们目前的问题和干扰模式为四个不同的国家的最先进的激光雷达系统。此外，我们研究如何调整内部参数可以提高他们的性能在恶劣的天气情况下。这是非常重要的，因为大多数最先进的检测算法是基于未受干扰的激光雷达数据。
2019-12-06 cs.CV
Multi-LiDAR Localization and Mapping Pipeline for Urban Autonomous Driving
Institute of Automotive Technology, Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich（慕尼黑工业大学汽车技术研究所，慕尼黑机器人与机器智能研究所）；Professorship Autonomous Vehicle Systems, Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich（慕尼黑工业大学自动驾驶车辆系统教授席，慕尼黑机器人与机器智能研究所）
针对城市自动驾驶的精准鲁棒定位建图需求，提出基于四路LiDAR与KISS-ICP的传感器融合流水线，可生成语义地图并集成至Autoware，性能优于现有最优方案。
2023-11-03 cs.CV cs.RO eess.SP
LiDAR Prompted Spatio-Temporal Multi-View Stereo for Autonomous Driving
Unmanned Vehicle Dept., CaiNiao Inc., Alibaba Group（无人车辆部门， Cainiao Inc.，阿里巴巴集团）；Harbin Institute of Technology（哈尔滨工业大学）
LiDAR驱动的时空多视角立体摄影框架DriveMVS通过几何提示和深度融合提升自动驾驶的度量精度和跨领域泛化能力。
2026-03-04 cs.CV
Towards Safe Autonomous Driving: Capture Uncertainty in the Deep Neural Network For Lidar 3D Vehicle Detection
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
为了确保自动驾驶汽车在公共道路上安全行驶，其目标检测模块不仅要正确工作，还要显示其预测的可信度。以前由深度学习驱动的对象检测器没有明确地对神经网络中的不确定性进行建模。我们通过提出实用的方法来捕获激光雷达点云的3D车辆检测器中的不确定性来解决这个问题。建议的概率检测器代表可靠的认知不确定性和任意的不确定性分类和定位任务。实验结果表明，认知不确定性与检测精度有关，而任意不确定性受车辆距离和遮挡的影响。实验结果还表明，通过对任意不确定度进行建模，可以使检测性能提高1%~ 5%。
2018-09-07 cs.CV cs.RO
MLOD: Awareness of Extrinsic Perturbation in Multi-LiDAR 3D Object Detection for Autonomous Driving
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Technologies（华为技术有限公司）
多传感器系统中往往存在外部扰动。在本文中，我们专注于在三维目标检测多激光雷达系统的外在不确定性。我们首先用两个基本的例子分析了外部扰动对几何任务的影响。为了最大限度地减少外部扰动的不利影响，我们在输入点云的每个点上传播不确定性，并使用此信息来提升3D几何任务的方法。然后，我们扩展了我们的研究结果，提出了一种称为MLOD的多LiDAR 3D对象检测器。MLOD是一个两阶段的网络，其中多个LiDAR信息融合通过各种方案在第一阶段，和外部扰动处理在第二阶段。我们进行了广泛的实验，在真实世界的数据集上，并证明了MLOD的准确性和鲁棒性的改善。代码、数据和补充材料可在以下网址获得：https://ram-lab.com/file/site/mlod
2020-09-29 cs.CV cs.RO
FuseMODNet: Real-Time Camera and LiDAR based Moving Object Detection for robust low-light Autonomous Driving
Valeo R&D（法雷奥研发中心）；Cairo University（开罗大学）；Valeo Vision Systems（法雷奥视觉系统公司）
运动目标检测是自主车辆的一项关键任务。由于动态对象比静态对象具有更高的碰撞风险，因此必须规划我们自己的自我轨迹，以关注场景中移动元素的未来状态。可以使用诸如光流的时间信息来感知运动。传统的光流计算仅基于相机传感器，这使得它在低照度条件下容易失败。另一方面，LiDAR传感器独立于照明，因为它们测量自己发射的激光的飞行时间。在这项工作中，我们提出了一个强大的和实时的【形】CNN架构的运动目标检测（MOD）在低光条件下，通过捕获来自相机和激光雷达传感器的运动信息。我们展示了我们的算法对KITTI数据集的影响，我们模拟了一个低光环境，创建了一个新的数据集“Dark KITTI”。相对于我们的基线，我们在Dark-KITTI上获得了10.1%的相对改善，在标准KITTI上获得了4.25%的改善。所提出的算法在标准桌面GPU上使用$256\times1224$分辨率图像以18 fps运行。
2019-11-21 cs.CV cs.RO eess.IV
A Unified Generative Framework for Realistic Lidar Simulation in Autonomous Driving Systems
WMG, University of Warwick（华威大学WMG学院）；School of Electronics, Electrical Engineering and Computer Science at Queen’s University of Belfast（贝尔法斯特女王大学电子、电气工程与计算机科学学院）
针对现有激光雷达仿真方法多为混合模型、缺乏统一生成方案的问题，提出基于CoLiGen模型的统一生成框架，通过无损投影与图像转换提升仿真保真度，在多项指标上优于现有最优模型。
2024-10-09 cs.CV cs.LG cs.RO
Spotting the Unexpected (STU): A 3D LiDAR Dataset for Anomaly Segmentation in Autonomous Driving
RWTH Aachen University（亚琛工业大学）；The University of Sydney（悉尼大学）
本文提出首个公开的、融合LiDAR与相机及序列信息的密集3D语义标注道路异常分割数据集STU，并评估多个3D分割基线模型，揭示自动驾驶中3D异常检测的挑战，以推动不同方法的测试与比较。
2025-05-04 cs.CV
Depth Sensing Beyond LiDAR Range
Cornell Tech, Cornell University（康奈尔大学康奈尔科技校区）；HKUST（香港科技大学）
深度传感是自动驾驶技术的关键组成部分，但当今基于LiDAR或立体相机的解决方案的范围有限。我们寻求增加自动驾驶汽车深度感知模块的最大范围，以提高安全性。为此，我们提出了一种新型的三摄像头系统，该系统利用小视场摄像头。我们的系统，以及我们用于计算度量深度的新算法，不需要完全的预校准，并且可以输出密集的深度图，对于大多数商业LiDAR无法很好覆盖的长距离场景和物体，具有实际可接受的精度。
2020-04-07 cs.CV
Efficient LiDAR Odometry for Autonomous Driving
Zhejiang University（浙江大学）
LiDAR测距在自主导航的自定位和地图绘制中起着重要作用，通常将其视为扫描配准问题。传统的基于搜索树的方法虽然在KITTI里程计测试中取得了很好的性能，但在处理大规模点云数据时仍然存在困难。近年来提出的基于球面距离像的方法具有球面映射快速最近邻搜索的优点。然而，它是不是很有效地处理地面点几乎平行于激光雷达光束。为了解决这些问题，我们提出了一种新的高效的激光雷达测距方法，利用非地面球面距离图像和鸟瞰地图的地面点。此外，一个范围自适应的方法被引入到鲁棒估计的局部表面法线。此外，一个非常快速和内存有效的模型更新计划，提出了融合点和它们相应的法线在不同的时间戳。我们在KITTI里程计基准上进行了广泛的实验，其令人鼓舞的结果表明我们提出的方法是有效的。
2021-04-22 cs.CV cs.RO
LiDAR Cluster First and Camera Inference Later: A New Perspective Towards Autonomous Driving
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最先进的自动驾驶车辆（AV）框架中的目标检测严重依赖于深度神经网络。通常，这些网络在整个相机LiDAR帧上均匀地执行目标检测。然而，这种一致性通过给予场景中的所有对象相同的优先级而不考虑它们对AV的碰撞风险而危及AV的安全。在本文中，我们提出了一种新的端到端的AV管道，首先引入LiDAR集群的概念，然后引入相机推理来检测和分类对象。我们提出的框架的好处是双重的。首先，我们的管道优先检测对AV构成较高碰撞风险的对象，为AV提供更多时间对不安全条件做出反应。其次，与流行的深度神经网络管道相比，它还提供了平均更快的推理速度。我们使用真实世界的数据集Waymo Open Dataset来设计我们的框架，解决了LiDAR传感器和目标检测算法的局限性带来的挑战。我们表明，我们的新型目标检测流水线优先检测高风险对象，同时实现可比的准确性和25%的平均速度相比，相机推理。
2021-11-19 cs.CV
Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data
LIGM（法国巴黎东区大学信息与数学实验室）；Ecole des Ponts（巴黎路桥学院）；Univ. Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
在稀疏的激光雷达点云中分割或检测物体是自动驾驶中的两项重要任务，以使车辆能够在其3D环境中安全行驶。3D语义分割或目标检测中的最佳执行方法依赖于大量的注释数据。然而，为这些任务注释3D激光雷达数据是繁琐和昂贵的。在这种情况下，我们提出了一种针对自动驾驶数据量身定制的3D感知模型的自监督预训练方法。具体来说，我们利用自动驾驶设置中同步和校准的图像和激光雷达传感器的可用性，将自我监督的预训练图像表示提取到3D模型中。因此，我们的方法不需要任何点云或图像注释。我们的方法的关键成分是使用超像素，用于在视觉上相似的区域中汇集3D点特征和2D像素特征。然后，我们训练一个3D网络的自我监督的任务，匹配这些池点的功能与相应的池图像像素功能。通过超像素获得的对比区域的优点在于：（1）将视觉相干区域的像素和点分组在一起导致更有意义的对比任务，其产生很好地适应于3D语义分割和3D目标检测的特征;（2）所有不同区域在对比损失中具有相同的权重，而不管在这些区域中采样的3D点的数量;（3）它减轻了由于不同传感器之间的遮挡而导致的点和像素的不正确匹配所产生的噪声。在自动驾驶数据集上进行的大量实验证明了我们的图像到激光雷达蒸馏策略能够产生在语义分割和目标检测任务上传输良好的3D表示。
2022-03-30 cs.CV cs.LG
SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving
Halmstad University（哈尔姆斯塔德大学）；Volvo Technology AB（沃尔沃技术公司）
在本文中，我们介绍了一种深度编码器-解码器网络，名为SalsaNet，用于3D LiDAR点云的有效语义分割。SalsaNet通过采用点云的鸟瞰图（BEV）图像投影来分割道路（即可驾驶的自由空间）和场景中的车辆。为了克服缺乏注释的点云数据，特别是对于路段，我们引入了自动标记过程，该过程将自动生成的标签从相机传输到LiDAR。我们还通过比较BEV与球形前视图投影来探索LiDAR数据的类图像投影在语义分割中的作用，并表明SalsaNet是投影不可知的。我们对KITTI数据集进行了定量和定性评估，结果表明，所提出的SalsaNet在准确性和计算时间方面优于其他最先进的语义分割网络。我们的代码和数据可在https://gitlab.com/aksoyeren/salsanet.git上公开获取。
2019-09-18 cs.CV cs.RO
Investigating the Impact of Multi-LiDAR Placement on Object Detection for Autonomous Driving
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）；University of Southern California（南加州大学）
在过去的几年里，人们对提高自动驾驶汽车上LiDAR的感知性能越来越感兴趣。虽然大多数现有的工作都集中在开发新的深度学习算法或模型架构上，但我们从物理设计的角度研究这个问题，即，多个LiDAR的不同位置如何影响基于学习的感知。为此，我们引入了一个易于计算的信息理论替代度量，以定量和快速评估激光雷达的位置，用于不同类型物体的3D检测。我们还提出了一个新的数据汇集，检测模型的训练和评估框架，在现实的CARLA模拟器，以评估不同的多LiDAR配置。使用几个受自动驾驶公司设计启发的流行布局，我们通过广泛的实验展示了我们的替代度量与KITTI上不同代表性算法的目标检测性能之间的相关性，验证了我们的LiDAR布局评估方法的有效性。我们的研究结果表明，传感器的放置是不可忽略的三维点云为基础的目标检测，这将有助于高达10%的性能差异方面的平均精度在具有挑战性的三维目标检测设置。我们相信，这是定量研究LiDAR放置对感知性能影响的首批研究之一。该代码可在https://github.com/HanjiangHu/Multi-LiDAR-Placement-for-3D-Detection上获得。
2022-05-04 cs.AI cs.CV cs.LG
Real-time Dynamic Object Detection for Autonomous Driving using Prior 3D-Maps
AKKA Technologies（AKKA科技公司）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）；Spleenlab（Spleenlab公司）；Valeo Vision Systems（法雷奥视觉系统公司）
激光雷达已成为自动驾驶的重要传感器，因为它提供可靠的深度估计。激光雷达也是用于构建3D地图的主要传感器，即使在不使用激光雷达的低成本系统中也可以使用。激光雷达点云的计算是密集的，因为它需要每秒处理数百万个点。此外，还有许多后续的任务，如聚类，检测，跟踪和分类，这使得实时的【形】执行具有挑战性。在本文中，我们讨论实时的【形】动态目标检测算法，利用以前映射的激光雷达点云，以减少处理。先验的3D地图提供了一个静态的背景模型，我们制定了动态的目标检测作为一个背景减法问题。描述了映射和在线执行管道中的计算和建模挑战。我们提出了一个拒绝级联架构，分别减去道路区域和其他3D区域。我们实现了我们提出的算法的初始版本，并评估了CARLA模拟器的准确性。
2019-07-05 cs.CV
PCB-RandNet: Rethinking Random Sampling for LIDAR Semantic Segmentation in Autonomous Driving Scene
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；Seyond（森未科技）
针对自动驾驶场景下激光雷达点云空间分布不均导致随机采样效果不佳的问题，提出极柱平衡随机采样方法与采样一致性损失，在两个基准上实现显著性能提升。
2024-03-06 cs.CV
Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving
WorldBench Team Project Lead（WorldBench团队项目负责人）
LaserMix++通过多模态方法提升自动驾驶中LiDAR数据高效3D场景理解，以更少标注实现更高精度。
2025-12-05 cs.CV cs.LG cs.RO
Trajectory-based Road Autolabeling with Lidar-Camera Fusion in Winter Conditions
Aalto University（阿尔托大学）
本文提出一种结合激光雷达与相机的轨迹自监督道路自动标注方法，在冬季驾驶数据集上优于单传感器方法，提升道路分割性能。
2025-02-28 cs.CV
MSeg3D: Multi-modal 3D Semantic Segmentation for Autonomous Driving
Zhejiang University（浙江大学）；University of Glasgow（格拉斯哥大学）
LiDAR和相机是自动驾驶中可用于3D语义分割的两种模态。由于激光点不足，流行的仅使用激光雷达的方法在小而远的物体上严重遭受劣质分割，而鲁棒的多模态解决方案尚未得到充分探索，我们研究了三个关键的固有困难：模态异构性，有限的传感器视场交叉和多模态数据增强。本文提出了一种多模态三维语义分割模型（MSeg3D），该模型结合模态内特征提取和模态间特征融合来降低模态异构性。MSeg3D中的多模态融合包括基于几何的特征融合GF-Phase、跨模态特征完成和基于语义的特征融合SF-Phase。通过对LiDAR点云和多相机图像分别进行非对称变换，使多模态数据增强重新焕发活力，有利于采用多样化的增强变换进行模型训练。MSeg3D在nuScenes、Waymo和SemanticKITTI数据集上实现了最先进的结果。在故障多相机输入和多帧点云输入下，MSeg3D仍然显示出鲁棒性，并改进了仅LiDAR基线。我们的代码可在\url{https://github.com/jialeli1/lidarseg3d}上公开获取。
2023-03-15 cs.CV
COLA: COarse-LAbel multi-source LiDAR semantic segmentation for autonomous driving
Centre of Robotics, Mines Paris - PSL, PSL University（巴黎矿业-PSL大学机器人中心，PSL大学）；U2IS, ENSTA Paris, Institut Polytechnique de Paris（巴黎综合理工学院U2IS，巴黎ENSTA学院）
本文提出多源训练方法并构建粗标签数据集COLA，通过COLA-DG、COLA-S2S和COLA-PT在领域泛化、源到源分割及预训练上系统性提升了LiDAR语义分割性能。
2025-01-26 cs.CV
FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving
School of Computer Science and School of Artificial Intelligence, Shanghai Jiao Tong University（计算机科学学院和人工智能学院，上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文全面探索了基于 Transformer 的稀疏相机-LiDAR 融合设计选择，提出 FlatFusion 框架，通过优化映射策略、注意力分组和微结构，在 nuScenes 上以 10.1 FPS 达到 73.7 NDS，显著超越现有方法。
2025-06-30 cs.CV
CLFT: Camera-LiDAR Fusion Transformer for Semantic Segmentation in Autonomous Driving
Tallinn University of Technology（塔林理工大学）；Czech Technical University in Prague（布拉格捷克技术大学）
本文提出 CLFT，一种基于 vision transformer 的双向相机-激光雷达融合语义分割网络，并通过受控基准证明其在黑暗潮湿场景中较 FCN 与单模态 Transformer 提升 5%–10%。
2024-09-09 cs.CV cs.RO
LCF3D: A Robust and Real-Time Late-Cascade Fusion Framework for 3D Object Detection in Autonomous Driving
LCF3D通过结合RGB图像和LiDAR点云的后期级联融合方法，提升自动驾驶中3D物体检测的鲁棒性和实时性。
2026-01-14 cs.CV cs.RO
PandaSet: Advanced Sensor Suite Dataset for Autonomous Driving
Hesai Technology Co., Ltd.（禾赛科技有限公司）；Scale AI, Inc.（Scale AI公司）；Princeton University（普林斯顿大学）
自动驾驶技术的加速发展对获取大量高质量数据提出了更高的要求。有代表性的、有标签的真实世界数据是训练深度学习网络的燃料，对于改进自动驾驶感知算法至关重要。在本文中，我们介绍了PandaSet，这是第一个由完整的高精度自动驾驶汽车传感器套件产生的数据集，具有免费的商业许可证。该数据集使用一个360°机械旋转LiDAR，一个前向长距离LiDAR和6个相机收集。该数据集包含100多个场景，每个场景长8秒，并提供28种用于对象分类的标签和37种用于语义分割的标签。我们为仅使用激光雷达的3D目标检测、激光雷达-相机融合3D目标检测和激光雷达点云分割提供基线。有关PandaSet和开发工具包的更多详细信息，请参见https://scale.com/open-datasets/pandaset。
2021-12-23 cs.CV cs.RO
