InfraDet3D: Multi-Modal 3D Object Detection based on Roadside Infrastructure Camera and LiDAR Sensors
Technical University of Munich（慕尼黑工业大学）
针对车载多模态目标检测感知范围有限的问题，提出路侧多模态3D检测器InfraDet3D，融合两路LiDAR与单目相机检测并结合HD地图优化，在A9数据集测试集达68.48 mAP，将开源数据与代码助力自动驾驶安全。
2023-04-29 cs.CV
High-Fidelity Digital Twins for Bridging the Sim2Real Gap in LiDAR-Based ITS Perception
Department of Civil, Environmental and Construction Engineering, University of Central Florida（土木、环境与建设工程系，中央佛罗里达大学）
针对基于激光雷达的智能交通系统感知中的Sim2Real差距问题，提出融合真实背景几何、车道级拓扑与传感器参数的高保真数字孪生框架，可生成域内合成数据，训练的检测模型性能超真实数据训练模型4.8%，有效降低域偏移。
2025-09-03 cs.CV
Cyber Mobility Mirror: A Deep Learning-based Real-World Object Perception Platform Using Roadside LiDAR
University of California at Riverside（加州大学河滨分校）；Toyota North America R&D Labs（丰田北美研发实验室）
协同驾驶自动化（CDA）被认为是下一代交通系统的革命性推动者，物体感知在其中起着基础性作用。然而，基于车辆的感知可能会受到有限的感知范围和遮挡以及连接中的低渗透率的影响。在本文中，我们提出了网络移动镜（CMM），下一代实时交通监控系统的三维对象的感知和重建，探索路边传感器的潜力，使CDA在现实世界中。CMM系统由六个主要部分组成：1）数据预处理器，用于检索和预处理原始数据; 2）路边3D目标检测器，用于生成3D检测结果; 3）多目标跟踪器，用于识别检测到的目标; 4）全球定位器，用于使用坐标变换将定位信息从LiDAR坐标映射到地理坐标; 5）基于云的通信器，用于将来自路边传感器的感知信息传输到装备的车辆，以及6）车载顾问，用于经由图形用户界面（GUI）重建和显示实时交通状况。在这项研究中，现场操作系统部署在一个现实世界的十字路口，大学大道和爱荷华大道河滨，加利福尼亚州，以评估我们的CMM系统的可行性和性能。现场测试结果表明，我们的CMM原型系统可以提供令人满意的感知性能与96.99%的准确率和83.62%的召回。高保真实时交通状况（在对象级别）可以以0.14 m的平均误差进行地理定位，并以3-4 Hz的频率显示在所配备车辆的GUI上。
2022-04-07 cs.CV
A Point-Based Approach to Efficient LiDAR Multi-Task Perception
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Freiburg（弗赖堡大学）
提出 PAttFormer，一种仅基于点表示的 LiDAR 多任务感知架构，联合语义分割与物体检测，模型缩小 3 倍、速度提升 1.4 倍，并在 nuScenes 和 KITTI 上取得竞争力性能，多任务学习带来显著提升。
2024-04-19 cs.CV
Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception
Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；ShanghaiTech University（上海科技大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Kentucky（肯塔基大学）
用于基于LiDAR的驾驶场景感知的现有方法（包括点云语义分割、全景分割和3D检测，\etc）通常将点云投影到2D空间，然后通过2D卷积来处理它们。虽然这种合作显示了点云的竞争力，但它不可避免地改变和放弃了3D拓扑结构和几何关系。一种自然的补救方法是利用3D体素化和3D卷积网络。然而，我们发现，在室外点云，以这种方式获得的改善是相当有限的。一个重要的原因是室外点云的性质，即稀疏性和密度变化。受此研究的启发，我们提出了一个新的框架，用于室外激光雷达分割，其中圆柱形分区和非对称3D卷积网络被设计用于探索3D几何图案，同时保持这些固有属性。所提出的模型充当骨干，并且从该模型学习的特征可以用于下游任务，例如点云语义和全景分割或3D检测。在本文中，我们基准我们的模型在这三个任务。对于语义分割，我们评估了几个大规模的数据集，\ie，SemanticKITTI，nuScenes和A2D2的模型。我们的方法在SemanticKITTI的排行榜上达到了最先进的水平（单扫描和多扫描挑战），并且在nuScenes和A2D2数据集上显着优于现有方法。此外，该三维框架在LiDAR全景分割和LiDAR三维检测方面也表现出了较强的性能和良好的泛化能力。
2021-09-12 cs.CV
Instant Domain Augmentation for LiDAR Semantic Segmentation
POSTECH（浦项科技大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管LiDAR传感器越来越受欢迎，但使用3D LiDAR数据的感知算法仍在与“传感器偏差问题”作斗争。具体而言，感知算法的性能显着下降时，一个看不见的规格的激光雷达传感器应用在测试时，由于域的差异。本文提出了一种快速灵活的激光雷达增强方法的语义分割任务，称为“LiDomAug'。它聚合原始LiDAR扫描并创建任何配置的LiDAR扫描，同时考虑动态失真和遮挡，从而实现即时域增强。我们的按需增强模块以330 FPS运行，因此可以无缝集成到学习框架中的数据加载器中。在我们的实验中，基于学习的方法与所提出的LiDomAug辅助受传感器偏置问题的影响较小，并实现新的最先进的领域自适应性能SemanticKITTI和nuScenes数据集，而不使用目标域数据。我们还提出了一个传感器不可知模型，忠实地工作在各种激光雷达配置。
2023-03-25 cs.CV
Lite-HDSeg: LiDAR Semantic Segmentation Using Lite Harmonic Dense Convolutions
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自动驾驶车辆和机器人系统依赖于对其周围环境的准确感知。场景理解是感知模块的重要组成部分。在所有可用的传感器中，LiDAR是自动驾驶系统的基本传感方式之一，因为它们具有高分辨率的传感器读数的主动传感特性。为了充分利用LiDAR传感器进行场景理解，需要准确快速的语义分割方法。在本文中，我们提出了Lite-HDSeg，一种新的实时卷积神经网络的完整$3$ D激光雷达点云的语义分割。Lite-HDSeg在SemanticKitti基准测试中可以实现最佳的精度与计算复杂性的权衡，并且是基于一种新的编码器-解码器架构设计的，该架构以轻量级谐波密集卷积为核心。此外，我们引入ICM，一个改进的全球上下文模块，以捕捉多尺度的上下文特征，和MCSPN，一个多类空间传播网络，以进一步细化语义边界。实验结果表明，该方法优于最先进的语义分割方法，可以实时运行，因此适用于机器人和自动驾驶应用。
2021-03-16 cs.CV
Multi-modal Streaming 3D Object Detection
University of British Columbia（不列颠哥伦比亚大学）
现代自动驾驶汽车在很大程度上依赖于机械激光雷达进行感知。目前的感知方法通常需要360°点云，当LiDAR扫描方位角并获取连续的楔形切片时，依次收集点云。全扫描的采集延迟（~ 100 ms）可能导致过时的感知，这对安全操作有害。最近的流式感知工作提出直接处理LiDAR切片，并通过重用来自先前切片的特征来补偿切片的窄视场（FOV）。然而，这些工作都是基于一种单一的模式，需要过去的信息，可能已经过时。同时，来自高频相机的图像可以支持流式模型，因为与LiDAR切片相比，它们提供了更大的FoV。然而，FoV中的这种差异使传感器融合复杂化。为了解决这一研究差距，我们提出了一个创新的相机激光雷达流3D目标检测框架，使用相机图像，而不是过去的激光雷达切片，提供一个最新的，密集的，广泛的上下文流感知。所提出的方法优于具有挑战性的NuScenes基准的先前流模型。它也优于强大的全扫描探测器，同时速度更快。我们的方法被证明是强大的丢失的相机图像，窄的激光雷达切片，和小相机激光雷达误校准。
2022-09-12 cs.CV cs.RO
ViCo3D: Empowering LiDAR-based Collaborative 3D Object Detection with Vision Foundation Models
University of Science and Technology of China（中国科学技术大学）
研究针对V2X系统中基于激光雷达协作式3D感知的不足，提出ViCo3D框架。通过将点云投影为图像让VFM提取特征，引入融合模块及跨智能体融合策略，实现了先进的3D检测性能，提升了协作增益。
2026-07-15 cs.CV
Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection
Alibaba Group（阿里巴巴集团）；Sun Yat-sen University（中山大学）；Peking University（北京大学）
在自动驾驶中，有两个关键的3D感知传感器，相机和激光雷达。相机提供丰富的语义信息，如颜色，纹理，LiDAR反映周围物体的3D形状和位置。人们发现，融合这两种模态可以显着提高3D感知模型的性能，因为每种模态都有互补的信息。然而，我们观察到，目前的数据集是从昂贵的车辆，明确设计用于数据汇集的目的，并不能真正反映现实的数据分布由于各种原因。为此，我们收集了一系列具有噪声数据分布的真实案例，并系统地制定了一个鲁棒性基准工具包，该工具包在任何干净的自动驾驶数据集上模拟这些案例。我们通过在两个广泛采用的自动驾驶数据集nuScenes和Waymo上建立鲁棒性基准来展示我们的工具包的有效性，然后，据我们所知，首次对最先进的融合方法进行全面基准测试。我们注意到：i）当仅基于这些数据开发时，大多数融合方法在LiDAR输入中断时往往不可避免地失败; ii）相机输入的改善明显劣于LiDAR输入。我们进一步提出了一个有效的鲁棒训练策略，以提高目前的融合方法的鲁棒性。基准测试和代码可在www.example.com上获得
2022-05-30 cs.CV
PillarGrid: Deep Learning-based Cooperative Perception for 3D Object Detection from Onboard-Roadside LiDAR
University of California at Riverside（加州大学河滨分校）；Toyota North America R&D Labs（丰田北美研发实验室）
3D目标检测在实现自动驾驶方面发挥着基础性作用，从安全性、移动性和可持续性的角度来看，自动驾驶被认为是解开当代交通系统瓶颈的重要关键。现有的点云目标检测目标检测方法大多是基于单个机载激光雷达，其性能不可避免地受到距离和遮挡的限制，尤其是在交通密集的场景中。在本文中，我们提出了\textit{PillarGrid}，一种新的合作感知方法，融合来自多个三维激光雷达（车载和路边）的信息，以提高连接和自动驾驶车辆（CAV）的态势感知。PillarGrid由四个主要阶段组成：1）点云的协同预处理，2）柱状体素化和特征提取，3）来自多个传感器的特征的网格深度融合，以及4）基于卷积神经网络（CNN）的增强3D目标检测。提出了一种用于模型训练和测试的协同感知平台。大量的实验表明，PillarGrid在精度和范围方面都大大优于SOTA基于单LiDAR的3D目标检测方法。
2022-03-19 cs.AI cs.CV
Temporal Consistency Checks to Detect LiDAR Spoofing Attacks on Autonomous Vehicle Perception
Imperial College London（帝国理工学院）
LiDAR传感器广泛用于自动驾驶汽车，以更好地感知环境，从而实现更安全的驾驶决策。最近的工作已经证明了严重的LiDAR欺骗攻击，其后果令人担忧。特别是，模型级LiDAR欺骗攻击旨在注入虚假的深度测量，以引出被3D对象检测器错误检测到的幽灵对象，从而导致危险的驾驶决策。在这项工作中，我们探索使用运动作为一个物理不变的真正的对象来检测这种攻击。在此基础上，我们提出了一种通用的方法，三维时间一致性检查（3D-TC 2），它利用运动预测的时空信息来验证三维对象检测器检测到的对象。我们初步设计并实现了一个3D-TC 2原型系统，该系统对假冒车辆（Car）对象的检测率超过98%，召回率达到91%，并能够在41 Hz的频率下实现实时检测
2021-06-15 cs.CR cs.CV
S3Net: 3D LiDAR Sparse Semantic Segmentation Network
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
语义分割是许多应用的感知系统中的关键组件，例如依赖于准确的环境感知和理解的机器人和自动驾驶。在文献中，引入了几种方法来尝试LiDAR语义分割任务，例如基于投影（范围视图或鸟瞰视图）和基于体素的方法。然而，它们要么放弃了有价值的3D拓扑和几何关系，并遭受在投影过程中引入的信息损失，要么效率低下。因此，需要能够在3D空间中处理3D驾驶场景点云的精确模型。在本文中，我们提出了S3 Net，一种新的卷积神经网络的激光雷达点云语义分割。它采用由稀疏通道内注意模块（SIntraAM）和稀疏通道间注意模块（SInterAM）组成的编码器-解码器骨干，以强调每个特征图内和附近特征图之间的精细细节。为了提取更深层的全局上下文，我们引入了基于稀疏卷积的稀疏残差塔，以适应不同稀疏度的LiDAR点云。此外，利用地理感知的各向异性损失来强调语义边界并惩罚每个预测区域内的噪声，从而实现鲁棒的预测。实验结果表明，该方法在SemanticKITTI \cite{DBLP:conf/iccv/BehleyGMQBSG19}测试集上的性能比其基准算法（MinkNet 42 \cite{choy20194d}）有了较大的提高（12%），并达到了语义分割方法的mIoU精度.
2021-03-15 cs.CV
Precise Synthetic Image and LiDAR (PreSIL) Dataset for Autonomous Vehicle Perception
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
我们介绍了用于自动驾驶汽车感知的精确合成图像和激光雷达（PreSIL）数据集。侠盗猎车手V（GTA V），一个商业视频游戏，有一个大的详细的世界与现实的图形，这提供了一个多样化的数据汇集环境。现有的为GTA V自动驾驶创建合成LiDAR数据的工作还没有发布他们的数据集，依赖于游戏中的光线投射功能，将人表示为圆柱体，并且可能无法捕获超过30米的车辆。我们的工作在GTA V中创建了一个精确的LiDAR模拟器，它与所有实体的详细模型相碰撞，无论其类型或位置如何。PreSIL数据集由超过50，000帧组成，包括具有全分辨率深度信息的高清图像、语义分割（图像）、逐点分割（点云）以及所有车辆和人员的详细注释。使用我们的框架收集额外的数据是完全自动的，不需要任何形式的人工注释。我们通过在KITTI 3D目标检测基准测试挑战中显示出高达5%的平均精度提高来证明我们数据集的有效性，当最先进的3D目标检测网络使用我们的数据进行预训练时。数据和代码可在https://tinyurl.com/y3tb9sxy上获得
2019-05-07 cs.CV cs.RO
AevaScenes: An FMCW LiDAR Dataset and Benchmark for Long-Range Perception
提出FMCW激光雷达远距离感知数据集AevaScenes及三项基准任务，验证多普勒测量可显著提升远距离检测与场景流精度。
2026-09-29 cs.CV cs.RO
LinK: Linear Kernel for LiDAR-based 3D Perception
Nanjing University（南京大学）；Shanghai AI Lab（上海人工智能实验室）
将2D大内核的成功扩展到3D感知是具有挑战性的，因为：1。处理3D数据时不断增加的开销; 2.数据的稀缺性和稀疏性给优化带来了困难。以前的工作已经迈出了第一步，通过引入块共享权重将内核大小从3x 3x 3扩展到7 x7 x7。然而，为了减少块内的特征变化，它只使用了适度的块大小，并且无法实现像21 x21 x21这样的更大的内核。为了解决这个问题，我们提出了一种新的方法，称为链接，实现更广泛的感知感受野的卷积式的方式与两个核心设计。第一种是用线性核生成器代替静态核矩阵，该线性核生成器仅为非空体素自适应地提供权重。第二种是在重叠块中重用预先计算的聚合结果，以降低计算复杂度。所提出的方法成功地使每个体素在21 x21 x21的范围内感知上下文。在两个基本的感知任务，三维目标检测和三维语义分割，广泛的实验，证明了我们的方法的有效性。值得注意的是，我们在nuScenes 3D检测基准（LiDAR跟踪）的公共排行榜上排名第一，只需将基于Link-based的主干集成到基本检测器CenterPoint中。我们还在SemanticKITTI测试集中将强分割基线的mIoU提高了2.7%。代码可在https://github.com/MCG-NJU/LinK上获得。
2023-03-28 cs.AI cs.CV
Is Your LiDAR Placement Optimized for 3D Scene Understanding?
University of Michigan（密歇根大学）；National University of Singapore（新加坡国立大学）；Carnegie Mellon University（卡内基梅隆大学）
针对现有单激光雷达驾驶数据集缺乏恶劣场景数据的问题，研究提出Place3D全流程管线，通过M-SOG指标优化多激光雷达布置，构建28万帧多条件数据集，在多项感知任务上优于基线方法。
2024-10-30 cs.CV cs.RO
3D Sensing of a Moving Object with a Nodding 2D LIDAR and Reconfigurable Mirrors
3D感知已成为机器人应用的大部分标准实践。高质量的3D感知是昂贵的。我们之前在点头2D激光雷达上的工作以低成本提供了高质量的3D深度信息，但这种传感器生成的稀疏数据在理解不确定环境中移动物体的特征方面提出了挑战。本文提出了一种新颖的设计点头激光雷达，但提供了动态可重构性方面的限制使用一组光学反射镜的传感器的视场。它不仅提供了更密集的扫描，而且还实现了三倍的扫描更新速率。此外，我们提出了一种新的校准机制，这种传感器，并证明其有效性的动态目标检测和跟踪。
2019-12-27 cs.CV cs.RO
LiDAR Based Semantic Perception for Forklifts in Outdoor Environments
Faculty of Engineering and Informatics, University of Applied Sciences Aschaffenburg（应用科学阿施芬堡大学工程与信息学院）；Linde Material Handling GmbH, Kion Group（林德物料搬运有限公司，Kion集团）
本研究提出一种基于双LiDAR系统的轻量级语义分割框架，专为复杂室外环境中的自主叉车设计，实现了对安全关键实例与环境类别的高精度分割，满足严格运行时要求，适用于动态环境下的安全自主导航。
2025-05-28 cs.CV cs.LG cs.RO
A Simple and Efficient Multi-task Network for 3D Object Detection and Road Understanding
University of California, Berkeley（加利福尼亚大学伯克利分校）；Ulm University（乌尔姆大学）
检测动态物体和预测静态道路信息（如可行驶区域和地面高度）对于安全自动驾驶至关重要。以往的工作研究了每个知觉任务单独，缺乏一个集体的定量分析。在这项工作中，我们表明，它是可以通过一个简单而有效的多任务网络执行所有的感知任务。我们提出的网络LidarMTL将原始LiDAR点云作为输入，并预测六个感知输出，用于3D目标检测和道路理解。该网络基于具有3D稀疏卷积和反卷积操作的编码器-解码器架构。大量的实验验证了所提出的方法具有竞争力的准确性相比，国家的最先进的目标检测器和其他特定任务的网络。LidarMTL还用于在线本地化。代码和预训练模型已在https://github.com/frankfengdi/LidarMTL上提供。
2021-03-06 cs.CV cs.RO
BikeScenes: LiDAR Semantic Segmentation for Bicycles
Denniz Goren（独立研究者）；Holger Caesar（独立研究者）
针对更快电动自行车普及带来的骑行者安全问题，研究人员推出BikeScenes-lidarseg数据集，验证了SemanticKITTI预训练的FRNet模型经微调后在自行车搭载激光雷达场景中的显著性能提升，为相关研究提供了资源。
2026-09-01 cs.CV cs.RO
Geometry-Aware Cross Modal Alignment for Light Field-LiDAR Semantic Segmentation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出融合光场数据和点云数据的多模态语义分割网络，通过特征补全和深度感知模块提升复杂场景下的分割性能，优于单模态方法。
2026-04-15 cs.AI cs.CV
Taming Perception Jitter: Uncertainty-Aware LiDAR Object Detection for Reliable Motion Classification
Technical University of Munich（慕尼黑工业大学）；Institute for Automotive Engineering, Munich Institute of Robotics and Machine Intelligence, School of Engineering and Design（汽车工程研究所，慕尼黑机器人与机器智能研究所，工程与设计学院）
提出一种部署友好的策略，通过不确定性估计和统计检验减少静态物体的虚假动态预测，在真实驾驶中显著降低误报和不必要停车。
2026-06-08 cs.CV cs.RO
Sense Less, Generate More: Pre-training LiDAR Perception with Masked Autoencoders for Ultra-Efficient 3D Sensing
University of Illinois Chicago (UIC)（伊利诺伊大学芝加哥分校）
本文提出径向掩码自编码（R-MAE）预训练策略，通过选择性生成而非感知可预测或低影响的LiDAR径向区域，在降低传感能耗的同时提升三维检测精度，并在多个数据集上验证了其有效性。
2024-06-12 cs.AI cs.CV
Radar-Lidar Fusion for Object Detection by Designing Effective Convolution Networks
Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence（芬兰人工智能中心）；Gwangju Institute of Science and Technology（光州科学技术院）
本文提出一种雷达-激光雷达融合的双分支目标检测框架，通过加性注意力整合特征并引入并行分叉结构处理尺度变化，在Radiate数据集上超越现有最优方法。
2023-10-30 cs.CV cs.RO
INTACT: Inducing Noise Tolerance through Adversarial Curriculum Training for LiDAR-based Safety-Critical Perception and Autonomy
University of Illinois at Chicago (UIC)（伊利诺伊大学芝加哥分校）
本文提出INTACT框架，通过元学习生成鲁棒显著性图并结合对抗性课程训练，逐步增强深度网络对LiDAR噪声的容忍能力，在KITTI等基准上将检测、跟踪和分类鲁棒性提升最高20%。
2025-02-04 cs.CV cs.RO
Class-Adaptive Cooperative Perception for Multi-Class LiDAR-based 3D Object Detection in V2X Systems
本文提出一种自适应协作感知架构，通过多尺度窗口注意力、类特定融合模块、鸟瞰图增强和类平衡目标加权，提升多类三维物体检测性能，实验显示在V2X-Real基准上，该方法在卡车、行人和汽车检测中均表现优异。
2026-04-11 cs.AI cs.CV cs.ET
StrObe: Streaming Object Detection from LiDAR Packets
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
许多现代机器人系统采用激光雷达作为其主要的传感方式，由于其几何丰富性。滚动快门激光雷达特别常见，其中激光阵列从旋转底座扫描场景。点作为数据包流发射，每个数据包覆盖360°覆盖范围的一个扇区。现代感知算法在处理数据之前等待建立完整的扫描，这引入了额外的延迟。对于典型的10Hz LiDAR，这将是100ms。因此，当产出产生时，它不再准确地反映世界的状况。这带来了挑战，因为机器人应用需要最短的反应时间，以便在安全关键情况下可以快速规划机动。在本文中，我们提出了StrObe，这是一种新的方法，它通过接收LiDAR数据包并发出检测流来最大限度地减少延迟，而无需等待建立完整的扫描。StrObe重用来自先前数据包的计算，并迭代地更新场景的潜在空间表示，该空间表示作为新证据的记忆，从而产生准确的低延迟感知。我们证明了我们的方法在大规模真实世界数据集上的有效性，表明当考虑延迟时，StrObe的性能远远优于最先进的技术，并且与传统设置中的性能相匹配。
2020-11-13 cs.CV cs.RO
SVQNet: Sparse Voxel-Adjacent Query Network for 4D Spatio-Temporal LiDAR Semantic Segmentation
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
针对自动驾驶中4D激光雷达语义分割现有方法计算冗余、性能受冗余信息影响的问题，提出SVQNet，将历史点分为体素邻接邻域与历史上下文两组并提取有效特征，在两大基准上取得SOTA性能。
2023-08-25 cs.CV cs.RO
Co-Win: Joint Object Detection and Instance Segmentation in LiDAR Point Clouds via Collaborative Window Processing
Turku Intelligent Embedded and Robotics Systems lab, Faculty of Technology University of Turku（图尔库智能嵌入式与机器人系统实验室，技术学院图尔库大学）
本文提出 Co-Win BEV 感知框架，融合点云编码、并行窗口特征提取、查询式检测头与变分掩码实例分割，以提升 LiDAR 点云场景理解及自动驾驶决策规划能力。
2025-07-25 cs.CV cs.RO
ALSO: Automotive Lidar Self-supervision by Occupancy estimation
LIGM（巴黎东部马恩拉瓦雷大学信息与数学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；IRISA（法国国家信息与自动化研究所雷恩分院）；Univ. Bretagne Sud（南布列塔尼大学）
提出一种基于表面重建的激光雷达点云自监督预训练方法，通过单流管道在有限资源下学习有效特征表示，在语义分割和目标检测任务上优于现有方法。
2023-04-04 cs.CV cs.LG
Comparative study of 3D object detection frameworks based on LiDAR data and sensor fusion techniques
University of Applied Sciences Bonn Rhein Sieg（波恩莱茵锡格应用科学大学）
准确地估计和理解车辆周围的环境是自动驾驶车辆的基本和关键步骤。感知系统在实时提供车辆环境的准确解释方面发挥着重要作用。通常，感知系统涉及各种子系统，诸如定位、障碍物（静态和动态）检测、以及回避、映射系统等。为了感知环境，这些车辆将配备各种外感受（被动和主动）传感器，特别是摄像头，雷达，激光雷达等。这些系统配备了深度学习技术，可以将来自传感器的大量数据转换为语义信息，并在此基础上执行目标检测和定位任务。对于许多驾驶任务，为了提供准确的结果，特定对象的位置和深度信息是必要的。3D目标检测方法通过利用来自激光雷达、立体相机等传感器的额外姿态数据，提供有关物体尺寸和位置的信息。基于最近的研究，三维目标检测框架执行目标检测和定位的激光雷达数据和传感器融合技术显示出显着的改善，在其性能。在这项工作中，使用激光雷达数据的效果进行比较研究的目标检测框架和使用传感器融合技术的性能改善。同时讨论了这两种情况下的各种最先进的方法，进行实验分析，并提供未来的研究方向。
2022-03-15 cs.AI cs.CV
UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation
UP-Fuse通过不确定性引导的融合框架，提升激光雷达与摄像头在3D全景分割中的鲁棒性和准确性。
2026-07-28 cs.AI cs.CV
Unsupervised Neural Sensor Models for Synthetic LiDAR Data Augmentation
Valeo Egypt AI Research（法雷奥埃及人工智能研究院）；Cairo University（开罗大学）
数据稀缺是基于机器学习的感知模块的瓶颈，通常通过使用来自模拟器的合成数据来增强真实数据来解决。车辆感知传感器的现实模型很难以封闭的形式表达，同时，它们需要存在待学习的成对数据。在这项工作中，我们提出了两个无监督的神经传感器模型的基础上不成对的域转换与CycleGAN和神经风格转移技术。我们采用CARLA作为模拟环境来获得模拟的LiDAR点云，以及它们的注释用于数据增强，并且我们使用KITTI数据集作为真实的LiDAR数据集，从中我们学习现实的传感器模型映射。此外，我们提供了一个框架，用于数据增强和评估开发的传感器模型，通过外部对象检测任务评估使用YOLO网络适应于提供定向的边界框激光雷达鸟瞰投影点云。对来自KITTI数据集的看不见的真实LiDAR帧进行评估，使用两种方法进行了不同数量的模拟数据增强，显示出目标检测任务的6%mAP的改进，有利于增强LiDAR点云，该点云与原始模拟LiDAR相比采用了建议的神经传感器模型。
2019-11-24 cs.CV cs.LG eess.IV
Enhancing Lidar-based Object Detection in Adverse Weather using Offset Sequences in Time
Institute for Automotive Engineering RWTH Aachen University（亚琛工业大学汽车工程研究所）；Institute of Imaging and Computer Vision RWTH Aachen University（亚琛工业大学图像与计算机视觉研究所）
本文研究利用激光雷达点云序列的时间信息提升恶劣天气下目标检测鲁棒性，提出随机跳帧时间偏移增强方法，并在多个公开数据集上验证其优于基线模型。
2024-01-17 cs.CV cs.RO
KPRNet: Improving projection-based LiDAR semantic segmentation
TomTom
语义分割是自主车辆感知系统的重要组成部分。在这项工作中，我们采用了图像和点云分割的最新进展，以实现更好的精度分割激光雷达扫描的任务。KPRNet改进了2D投影方法的卷积神经网络架构，并利用KPConv用可学习的逐点分量取代常用的后处理技术，使我们能够获得更准确的3D标签。通过这些改进，我们的模型在SemanticKITTI基准测试中的表现优于目前最好的方法，达到了63.1的mIoU。
2020-08-21 cs.CV cs.LG
Towards Multi-Object Detection and Tracking in Urban Scenario under Uncertainties
本文提出一种实时框架，结合3D激光雷达的遮挡感知检测与高效启发式过滤，以应对城市环境中传感器限制和目标运动复杂性带来的不确定性，实现高效的多目标跟踪。
2018-02-03 cs.CV cs.SY eess.SY
4D Radar Meets LiDAR and Camera: Cooperative Perception under Adverse Weather
FZI Research Center for Information Technology（FZI信息技术研究所以）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）
针对恶劣天气下相机和激光雷达性能下降的问题，提出集成4D成像雷达作为鲁棒模态，并引入多普勒引导的空间注意力机制进行多智能体融合，显著提升雾雨环境下的协同感知鲁棒性。
2026-05-29 cs.CV
ATLAS: A Large-Scale Evaluation Benchmark for Adversarial LiDAR Perception
Georgia Institute of Technology（佐治亚理工学院）
针对黑盒传感器攻击下激光雷达感知模型的鲁棒性评估空白，提出首个大规模物理驱动基准ATLAS，通过点注入和点移除两种攻击模式，揭示模型性能与鲁棒性的非对称性，并溯源至标准数据增强方法。
2026-06-01 cs.CV
CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion
针对协同感知中单一传感器数据共享的局限，提出CoBEVFusion框架，融合激光雷达与相机数据生成BEV表示，利用DWCA模块和3D CNN聚合多车特征，在OPV2V数据集上优于单模态及最先进BEV融合模型。
2023-10-09 cs.CV
Navigating Threats: A Survey of Physical Adversarial Attacks on LiDAR Perception Systems in Autonomous Vehicles
New York University (NYU) Abu Dhabi（纽约大学阿布扎比分校）
本文系统综述了自动驾驶中针对LiDAR感知系统的物理对抗攻击，分类分析欺骗与对抗物体攻击方法及影响，指出当前研究空白并提出增强安全韧性的未来方向。
2024-09-30 cs.CV
LiDARFormer: A Unified Transformer-based Multi-task Network for LiDAR Perception
TuSimple（图森未来）；University of Central Florida（中佛罗里达大学）
本文提出 LiDARFormer，通过跨空间 transformer 与跨任务注意力统一三维检测和语义分割，在 nuScenes、Waymo 上取得仅激光雷达单模型的最先进结果。
2024-03-02 cs.CV
UrbanTwin: Building High-Fidelity Digital Twins for Sim2Real LiDAR Perception and Evaluation
Department of Civil, Environmental and Construction Engineering, University of Central Florida（土木、环境与建设工程系，中央佛罗里达大学）
针对激光雷达感知数据标注昂贵的问题，本文提出构建高保真数字孪生的可复现工作流程，并发布三个合成数据集，在感知任务上优于真实数据训练的基线。
2025-10-14 cs.CV
Camera-Only Bird's Eye View Perception: A Neural Approach to LiDAR-Free Environmental Mapping for Autonomous Vehicles
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出一种仅用相机的鸟瞰图感知框架，通过扩展 Lift-Splat-Shoot 并结合 YOLOv11 与 DepthAnythingV2，在 OpenLane-V2 和 NuScenes 上实现接近 LiDAR 精度的低成本 360 度环境建图。
2025-05-09 cs.CV
Fooling LiDAR Perception via Adversarial Trajectory Perturbation
New York University（纽约大学）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）
从移动车辆收集的LiDAR点云是其轨迹的函数，因为传感器运动需要补偿以避免失真。当自动驾驶汽车将LiDAR点云发送到深度网络进行感知和规划时，由于深度学习的对抗性漏洞和基于GPS的车辆轨迹估计容易受到无线欺骗，运动补偿是否会因此成为这些网络中的一个敞开的后门？我们首次展示了这种可能性：而不是直接攻击点云坐标，这需要篡改原始LiDAR读数，只有对自动驾驶汽车轨迹进行小扰动的对抗性欺骗才足以使安全关键对象无法检测或检测到错误的位置。此外，多项式轨迹扰动的开发，以实现时间平滑和高度不可感知的攻击。对3D目标检测的大量实验表明，这种攻击不仅有效地降低了最先进的检测器的性能，而且还转移到其他检测器，为社区举起了红旗。该代码可在https://ai4ce.github.io/FLAT/上获得。
2021-07-30 cs.CV
R-LiViT: A LiDAR-Visual-Thermal Dataset Enabling Vulnerable Road User Focused Roadside Perception
XITASO GmbH（XITASO公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）；LiangDao GmbH（Liandao公司）
针对自动驾驶路侧感知中热成像数据不足的问题，提出首个路侧视角融合LiDAR、RGB与热成像、聚焦弱势道路使用者的R-LiViT数据集，含多时段多场景的标注数据并已公开，可支撑相关感知任务。
2025-07-30 cs.CV
Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds
Queen’s University（女王大学）
协作感知允许联网自主车辆（CAV）与附近的其他CAV交互，以增强对周围物体的感知，从而提高安全性和可靠性。它可以弥补传统车辆感知的局限性，如盲点，低分辨率和天气影响。一个有效的特征融合模型可以改善特征选择和信息聚合，进一步提高协同感知的中间融合方法的感知精度。我们提出了自适应特征融合模型与可训练的特征选择模块。我们提出的模型之一空间自适应特征融合（S-AdaFusion）在OPV 2V数据集的两个子集上的性能优于所有其他最先进的（SOTA）：用于车辆检测的默认CARLA Towns和用于领域自适应的Culver City。此外，以前的研究只测试了车辆检测的合作感知。然而，行人更有可能在交通事故中受重伤。我们使用CODD数据集评估车辆和行人检测的合作感知性能。我们的架构在CODD数据集上实现了比其他现有模型更高的车辆和行人检测平均精度（AP）。实验结果表明，与传统的单车辆感知过程相比，协同感知也提高了行人检测的准确性。
2023-01-12 cs.CV
Collective PV-RCNN: A Novel Fusion Technique using Collective Detections for Enhanced Local LiDAR-Based Perception
University of Tübingen（蒂宾根大学）
针对自动驾驶感知受限问题，提出CPV-RCNN，在局部LiDAR检测流程中融合集体检测，扩展PV-RCNN++框架，提升感知能力。
2023-09-11 cs.CV
A9 Intersection Dataset: All You Need for Urban 3D Camera-LiDAR Roadside Perception
Technical University of Munich（慕尼黑工业大学）
针对路口基础设施视角的3D LiDAR标注数据稀缺问题，研究团队推出包含标注点云、同步图像及标定数据的A9 Intersection Dataset，提供多类感知基准，助力3D相机-LiDAR路侧感知研究。
2023-06-15 cs.CV
V2VLoc: Robust GNSS-Free Collaborative Perception via LiDAR Localization
针对GNSS拒止环境下协同感知的位姿对齐难题，提出基于PGC和PASTAT模块的无GNSS激光雷达协同感知框架，构建V2VLoc数据集，实验验证其性能达到当前最优。
2025-11-18 cs.CV
RESOLVE: A Multi-Resolution and Multi-Modal Dataset for Roadside Cooperative Perception
The Polytechnic School, Arizona State University（亚利桑那州立大学理工学院）；Department of Computer Science and Engineering, New York University（纽约大学计算机科学与工程系）
提出RESOLVE数据集，包含多分辨率LiDAR和相机-LiDAR同步数据，用于评估路边3D检测与跟踪中的单模态与融合架构，揭示多模态融合如何补偿LiDAR点稀疏性。
2026-07-01 cs.CV
Human Segmentation with Dynamic LiDAR Data
Tokyo Institute of Technology（东京工业大学）
连续LiDAR扫描构成动态3D序列，其包含比单个帧更丰富的信息。与图像和视频感知的发展历史相似，在静态三维数据感知的研究受到启发后，动态三维序列感知开始进入人们的视线。提出了一种基于时空神经网络的动态激光雷达点云人体分割方法。它将一系列深度图像作为输入。它具有两个分支结构，即，空间分割分支和时间速度估计分支。速度估计分支被设计为从输入序列中捕获运动线索，然后将它们传播到另一个分支。因此，分割分支根据空间和时间特征分割人类。这两个分支在生成的用于人类识别的动态点云数据集上联合学习。该方法利用点云的球面表示填补了动态点云感知的空白，达到了较高的精度。实验表明，时间特征的引入有利于动态点云的分割。
2020-10-16 cs.CV
LiDARDustX: A LiDAR Dataset for Dusty Unstructured Road Environments
Wuxi Intelligent Control Research Institute,HNU（无锡智能控制研究院，湖南大学）；Hunan University（湖南大学）；Tsinghua University（清华大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
本文提出LiDARDustX数据集，包含3万帧多尘环境LiDAR数据，并建立基准评估3D检测与分割算法，揭示粉尘对感知精度的影响。
2025-05-28 cs.CV
HPL-ViT: A Unified Perception Framework for Heterogeneous Parallel LiDARs in V2V
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Waytous Inc.（Waytous公司）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对V2V中LiDAR型号与频率异构的问题，本文构建OPV2V-HPL数据集，并提出结合图注意力Transformer与交叉注意力的HPL-ViT融合框架，在全部设置下取得SOTA性能。
2023-09-27 cs.CV
