Fusing Bird View LIDAR Point Cloud and Front View Camera Image for Deep Object Detection
University of California, Berkeley(加利福尼亚大学伯克利分校);Department of Mechanical Engineering(机械工程系)
我们提出了一种在深度卷积神经网络(CNN)中融合LIDAR点云和相机捕获图像的新方法。该方法构造了一个新的层,称为非均匀池层,用于鸟瞰图和正视图之间的特征转换。稀疏LIDAR点云用于构建两个地图之间的映射。池化层允许在网络的任何阶段有效地融合鸟瞰图和正视图特征。这对于在自动驾驶场景中使用相机-LIDAR融合的3D-目标检测是有利的。设计了相应的深度CNN,并在KITTI鸟瞰图目标检测数据集上进行了测试,该数据集从鸟瞰图中产生3D边界框。与其他基于融合的目标检测网络相比,该融合方法对鸟瞰图中行人的检测具有特别的优势。
2018-02-14 cs.CV cs.LG
Label-Efficient LiDAR Semantic Segmentation with 2D-3D Vision Transformer Adapters
Department of Computer Science, University of Freiburg(德国弗莱堡大学计算机科学系)
提出BALViT方法,利用冻结视觉模型结合距离视图和鸟瞰图LiDAR编码机制,通过2D-3D适配器实现标签高效的LiDAR语义分割,在小数据场景下优于现有方法。
2025-03-05 cs.CV
End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds
Waymo LLC(Waymo有限责任公司)
最近的工作对3D目标检测主张点云体素化鸟瞰图,其中对象保持其物理尺寸和自然分离。然而,当在该视图中表示时,点云是稀疏的并且具有高度可变的点密度,这可能导致检测器难以检测远处或小的对象(行人、交通标志等)。另一方面,透视图提供了密集的观察,这可以允许对这种情况进行更有利的特征编码。在本文中,我们的目标是协同鸟瞰视图和透视视图,并提出了一种新的端到端的多视图融合(MVF)算法,它可以有效地学习,以利用两者的互补信息。具体来说,我们引入了动态体素化,与现有的体素化方法相比,它具有四个优点:i)不需要预先分配具有固定大小的张量; ii)克服由于随机点/体素丢失而导致的信息丢失; iii)产生确定性的体素嵌入和更稳定的检测结果; iv)建立点与体素之间的双向关系,这为跨视图特征融合奠定了基础。通过采用动态体素化,建议的特征融合架构,使每个点学习融合上下文信息从不同的意见。MVF对点进行操作,并且可以自然地扩展到使用LiDAR点云的其他方法。我们在新发布的Waymo Open Dataset和KITTI数据集上广泛评估了我们的MVF模型,并证明它比可比的单视图PointPillars基线显著提高了检测准确性。
2019-10-23 cs.CV
UniSeg: A Unified Multi-Modal LiDAR Segmentation Network and the OpenPCSeg Codebase
Shanghai AI Laboratory(上海人工智能实验室);Hochschule Bremerhaven(不来梅应用技术大学);The University of Hong Kong(香港大学);East China Normal University(华东师范大学);National University of Singapore(新加坡国立大学);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Tech University(上海科技大学)
本文提出统一的多模态LiDAR分割网络UniSeg,通过LMA和LVA模块融合RGB图像与点云三视图特征,实现语义与全景分割,在多个基准上取得第一,并发布最大室外LiDAR分割代码库OpenPCSeg。
2023-09-11 cs.CV
RLG-TPV: Radar- and LiDAR-Guided Tri-Perspective View Fusion for Camera-Radar 3D Object Detection
Ozyegin University(厄兹伊金大学)
提出RLG-TPV多模态TPV框架,融合雷达与激光雷达几何引导,结合射线引导注意力、多普勒时间融合等技术,在nuScenes验证集上较CRN基线显著降低方向和速度误差,提升相机-雷达3D目标检测性能。
2026-09-01 cs.CV
Fast LIDAR-based Road Detection Using Fully Convolutional Neural Networks
Chalmers University of Technology(查尔姆斯理工大学);Autoliv Research(奥托立夫研究院)
在这项工作中,开发了一种深度学习方法,仅使用LIDAR数据进行道路检测。从一个非结构化的点云,顶视图图像编码的几个基本统计数据,如平均海拔和密度生成。通过考虑一个顶视图表示,道路检测减少到一个单尺度的问题,可以解决一个简单而快速的全卷积神经网络(FCN)。FCN是专门为像素级语义分割的任务而设计的,它结合了大的感受野和高分辨率的特征图。所提出的系统取得了优异的性能,它是在KITTI的道路基准的表现最好的算法之一。它的快速推理使其特别适合于实时应用。
2017-03-29 cs.CV
3D Dual-Fusion: Dual-Domain Dual-Query Camera-LiDAR Fusion for 3D Object Detection
Hanyang University(汉阳大学);Korea Advanced Institute of Science & Technology (KAIST)(韩国科学技术院(KAIST))
融合来自相机和LiDAR传感器的数据是实现稳健的3D目标检测的基本技术。相机-LiDAR融合的一个关键挑战是在融合其特征时,在坐标和数据分布方面减轻两个传感器之间的大域差距。在本文中,我们提出了一种新的相机-LiDAR融合架构,称为3D Dual-Fusion,旨在缩小相机和LiDAR数据的特征表示之间的差距。该方法融合了摄像机视图和三维体素视图域的特征,并通过可变形注意力来建模它们的交互。我们重新设计了Transformer融合编码器来聚合来自两个域的信息。两个主要的变化包括:1)基于双查询的可变形注意力,以交互方式融合双域特征; 2)3D局部自注意力,在双查询解码之前对体素域查询进行编码。实验评估的结果表明,所提出的相机-LiDAR融合架构在KITTI和nuScenes数据集上实现了具有竞争力的性能,在一些3D目标检测基准类别中具有最先进的性能。
2023-02-16 cs.CV
VolMap: A Real-time Model for Semantic Segmentation of a LiDAR surrounding view
Valeo Interbranch Automotive Software(法雷奥跨部门汽车软件公司)
本文介绍了VolMap,一种用于自动驾驶汽车中的三维激光雷达周围视图系统的语义分割的实时的【形】方法。我们设计了一个优化的深度卷积神经网络,可以准确地分割由360 \degree{} LiDAR设置产生的点云,其中输入由体积鸟瞰图组成,LiDAR高度层用作输入通道。我们进一步研究了多LiDAR设置的使用及其对语义分割任务性能的影响。我们的评估是在包含LiDAR茧设置的大规模3D目标检测基准上进行的,以及KITTI数据集,其中每个点的分割标签来自3D边界框。我们表明,VolMap实现了高精度和实时的【形】CPU上运行之间的良好平衡。
2019-06-12 cs.CV cs.LG cs.RO
3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial Feature Fusion for 3D Object Detection
Hanyang University(汉阳大学)
在本文中,我们提出了一种新的深度架构,用于融合相机和LiDAR传感器进行3D目标检测。由于相机和LiDAR传感器信号具有不同的特性和分布,因此融合这两种模态有望提高3D目标检测的准确性和鲁棒性。相机和激光雷达的融合所带来的挑战之一是,从每种模态获得的空间特征图由相机和世界坐标中的显著不同的视图表示;因此,在不丢失信息的情况下组合两个异构特征图并不是一件容易的任务。为了解决这个问题,我们提出了一种称为3D-CVF的方法,该方法使用跨视图空间特征融合策略将相机和LiDAR特征相结合。首先,该方法采用自动校准投影,将2D相机特征转换为与鸟瞰图(BEV)域中的LiDAR特征具有最高对应性的平滑空间特征图。然后,应用门控特征融合网络,使用空间注意力图来根据区域适当地混合相机和LiDAR特征。接下来,相机-LiDAR特征融合也在随后的建议细化阶段实现。摄像机功能通过3D RoI网格池从2D摄像机视图域使用,并与BEV功能融合以进行提案细化。在KITTI和nuScenes 3D目标检测数据集上进行的评估表明,相机-LiDAR融合在单一模态上提供了显着的性能增益,并且所提出的3D-CVF在KITTI基准中实现了最先进的性能。
2020-07-21 cs.CV cs.LG eess.IV
LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation
Department of Automation, BNRist, Tsinghua University, China(自动化系、北京人工智能研究院、清华大学、中国)
本文提出LiCamPose,结合多视角RGB和稀疏点云数据,通过单帧实现鲁棒的3D人体姿态估计,并设计了合成数据生成器和无监督域适应策略,验证了方法在多种数据集上的泛化能力。
2026-05-07 cs.CV
PC-BEV: An Efficient Polar-Cartesian BEV Fusion Framework for LiDAR Semantic Segmentation
Fudan University(复旦大学);Bosch Corporate Research(博世企业研究院)
本文提出PC-BEV框架,通过在BEV空间直接融合极坐标与笛卡尔划分策略,结合混合Transformer-CNN架构,在SemanticKITTI和nuScenes上以170倍加速实现了优于多视图融合的LiDAR语义分割性能与速度。
2024-12-19 cs.CV
Beyond One Shot, Beyond One Perspective: Cross-View and Long-Horizon Distillation for Better LiDAR Representations
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出LiMA框架,通过跨视图聚合、长期特征传播和跨序列记忆对齐三种机制,在保持预训练效率和零下游开销的同时,显著提升LiDAR语义分割与3D目标检测性能。
2025-07-07 cs.CV cs.LG cs.RO
RV-FuseNet: Range View Based Fusion of Time-Series LiDAR Data for Joint 3D Object Detection and Motion Forecasting
Aurora Innovation(奥罗拉创新公司);Uber Advanced Technologies Group(优步先进技术集团);Motional(动势公司)
强大的实时检测和交通参与者的运动预测是必要的自动驾驶汽车安全地在城市环境中导航。在本文中,我们提出了RV-FuseNet,这是一种新的端到端方法,用于直接从时间序列LiDAR数据进行联合检测和轨迹估计。代替广泛使用的鸟瞰图(BEV)表示,我们利用本地范围视图(RV)表示的激光雷达数据。RV通过避免BEV中使用的体素化来保持传感器的全分辨率。此外,由于RV的紧凑性,可以有效地处理RV。以前的方法将时间序列数据投影到一个共同的视点进行时间融合,并且这个视点通常与捕获它的位置不同。这对于BEV方法是足够的,但是对于RV方法,这可能导致信息丢失和数据失真,这对性能具有不利影响。为了解决这一挑战,我们提出了一个简单而有效的新架构,\textit{Incremental Fusion},最大限度地减少信息损失的顺序投影到下一个扫描的角度每个RV扫描的时间。我们表明,我们的方法显着提高了运动预测性能超过现有的国家的最先进的。此外,我们证明了我们的顺序融合方法优于其他RV基于融合方法的多个数据集。
2021-03-23 cs.CV cs.RO
MASS: Multi-Attentional Semantic Segmentation of LiDAR Data for Dense Top-View Understanding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Stellantis, Opel Automobile GmbH(斯特兰蒂斯,欧宝汽车有限公司)
所有自动驾驶系统的核心是感知周围环境的能力,例如,通过LiDAR序列的语义分割,由于SemanticKITTI和nuScenes-LidarSeg等大型数据集的发布,其经历了显着的进步。虽然以前的大多数工作都集中在激光雷达输入的稀疏分割上,但密集的输出掩码为自动驾驶汽车提供了几乎完整的环境信息。在本文中,我们介绍了MASS -一个多注意力语义分割模型,专门为密集的顶视图理解的驾驶场景。我们的框架对支柱和占用特征进行操作,包括三个基于注意力的构建块:(1)关键点驱动的图形注意力,(2)从空间输入的向量嵌入计算的基于LSTM的注意力,以及(3)基于支柱的注意力,从而产生密集的360度分割掩码。通过对SemanticKITTI和nuScenes-LidarSeg的广泛实验,我们定量地证明了我们模型的有效性,在SemanticKITTI上的表现优于最先进的19.0%,在nuScenes-LidarSeg上的mIoU中达到30.4%,其中MASS是解决密集分割任务的第一项工作。此外,我们的多注意力模型被证明是非常有效的3D目标检测验证的KITTI-3D数据集上,展示了其高度的推广到其他任务相关的3D视觉。
2022-01-20 cs.CV cs.RO
BEVDistill: Cross-Modal BEV Distillation for Multi-View 3D Object Detection
University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学);SenseTime Research(商汤科技研究院)
从多个图像视图中进行3D目标检测是视觉场景理解的一项基本且具有挑战性的任务。多视角三维目标检测以其低成本、高效率的特点显示出良好的应用前景。然而,由于缺乏深度信息,通过透视图精确地检测对象是极其困难的。目前的方法倾向于采用沉重的骨干图像编码器,使他们不适用于现实世界的部署。与图像不同,LiDAR点在提供空间线索方面具有优势,从而实现高度精确的定位。在本文中,我们探讨了将基于激光雷达的检测器用于多视图3D目标检测。我们没有直接训练深度预测网络,而是将图像和LiDAR特征统一在鸟瞰图(BEV)空间中,并在师生范式中自适应地跨非同质表示传输知识。为此,我们提出了\textbf{BEVDistill},跨模态BEV知识蒸馏(KD)框架的多视图三维目标检测。大量的实验表明,所提出的方法优于目前的KD方法在一个高度竞争的基线,BEVFormer,而不会引入任何额外的成本在推理阶段。值得注意的是,我们最好的模型在nuScenes测试排行榜上达到了59.4 NDS,与各种基于图像的探测器相比,达到了新的最先进水平。代码将在https://github.com/zehuichen123/BEVDistill上提供。
2022-11-17 cs.CV
Proposal-free Lidar Panoptic Segmentation with Pillar-level Affinity
The Johns Hopkins University(约翰斯·霍普金斯大学);Motional
我们提出了一个简单而有效的激光雷达全景分割的无建议架构。我们共同优化语义分割和类不可知的实例分类在一个单一的网络使用基于支柱的鸟瞰图表示。实例分类头学习柱之间的成对亲和力,以确定柱是否属于同一实例。我们进一步提出了一个局部聚类算法,通过合并语义分割和亲和度预测来传播实例id。我们在nuScenes数据集上的实验表明,我们的方法优于以前的无建议方法,并且与基于建议的方法相当,后者需要额外的目标检测注释。
2022-04-19 cs.CV
RangeDet:In Defense of Range View for LiDAR-based 3D Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);TuSimple(图森未来);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
在本文中,我们提出了一种无锚单级激光雷达的三维物体检测器- RangeDet。与以前的作品最显着的区别是,我们的方法是纯粹基于范围视图表示。与常用的体素化或鸟瞰图(BEV)表示相比,距离视图表示更紧凑,没有量化误差。虽然有作品采用它的语义分割,其性能在目标检测很大程度上落后于体素化或BEV同行。我们首先分析了现有的基于距离视图的方法,发现两个问题被以前的工作忽略:1)附近和远处的对象之间的比例变化; 2)之间的不一致的二维距离图像坐标用于特征提取和三维笛卡尔坐标用于输出。然后,我们特意设计了三个组件来解决我们的RangeDet中的这些问题。我们在大规模Waymo开放数据集(WOD)中测试我们的RangeDet。我们最好的模型在车辆/行人/骑自行车者上实现了72.9/75.9/65.8的3D AP。这些结果优于其他范围视图为基础的方法的一个大的利润率(约20三维AP的车辆检测),并与国家的最先进的多视图为基础的方法的整体可比性。代码将公开。
2021-03-18 cs.CV cs.RO
S3Net: 3D LiDAR Sparse Semantic Segmentation Network
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
语义分割是许多应用的感知系统中的关键组件,例如依赖于准确的环境感知和理解的机器人和自动驾驶。在文献中,引入了几种方法来尝试LiDAR语义分割任务,例如基于投影(范围视图或鸟瞰视图)和基于体素的方法。然而,它们要么放弃了有价值的3D拓扑和几何关系,并遭受在投影过程中引入的信息损失,要么效率低下。因此,需要能够在3D空间中处理3D驾驶场景点云的精确模型。在本文中,我们提出了S3 Net,一种新的卷积神经网络的激光雷达点云语义分割。它采用由稀疏通道内注意模块(SIntraAM)和稀疏通道间注意模块(SInterAM)组成的编码器-解码器骨干,以强调每个特征图内和附近特征图之间的精细细节。为了提取更深层的全局上下文,我们引入了基于稀疏卷积的稀疏残差塔,以适应不同稀疏度的LiDAR点云。此外,利用地理感知的各向异性损失来强调语义边界并惩罚每个预测区域内的噪声,从而实现鲁棒的预测。实验结果表明,该方法在SemanticKITTI \cite{DBLP:conf/iccv/BehleyGMQBSG19}测试集上的性能比其基准算法(MinkNet 42 \cite{choy20194d})有了较大的提高(12%),并达到了语义分割方法的mIoU精度.
2021-03-15 cs.CV
Exploiting Multi-Layer Grid Maps for Surround-View Semantic Segmentation of Sparse LiDAR Data
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
在本文中,我们考虑转换成一个顶视图网格地图表示的激光测距仪只有语义分割的任务。自SemanticKITTI数据集最近发布以来,研究人员现在能够基于合理数量的数据研究城市LiDAR序列的语义分割。虽然其他方法建议直接在3D点云上学习,但我们正在利用网格地图框架来提取相关信息并使用多层网格地图来表示它们。这种表示允许我们使用来自图像域的经过充分研究的深度学习架构,仅使用单个LiDAR扫描的稀疏输入数据来预测密集语义网格地图。我们比较单层和多层的方法,并证明了多层网格地图输入的好处。由于网格地图表示允许我们预测密集的360°语义环境表示,因此我们进一步开发了一种方法来组合来自多次扫描的语义信息并创建密集的地面实况网格。这种方法使我们能够评估和比较我们的模型的性能,不仅基于网格单元与检测,但在整个可见光测量范围。
2020-05-13 cs.CV cs.RO eess.IV
AMVNet: Assertion-based Multi-View Fusion Network for LiDAR Semantic Segmentation
Motional;Nanyang Technological University(南洋理工大学)
在本文中,我们提出了一个基于断言的多视图融合网络(AMVNet)的激光雷达语义分割,聚合使用后期融合的单个基于投影的网络的语义特征。给定来自不同基于投影的网络的类分数,我们对分数不一致进行断言引导的点采样,并将每个采样点的一组点级特征传递给一个简单的点头,以细化预测。这种模块化和层次化的后期融合方法提供了具有两个独立网络的灵活性,而轻量级网络的开销较小。这样的方法对于机器人系统(例如,自动驾驶车辆)是期望的,对于机器人系统,计算和存储器资源通常是有限的。大量的实验表明,AMVNet在SemanticKITTI和nuScenes基准数据集上都取得了最先进的结果,并且我们的方法优于结合基于投影的网络的类得分的基线方法。
2020-12-09 cs.CV cs.LG cs.RO
UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation
UP-Fuse通过不确定性引导的融合框架,提升激光雷达与摄像头在3D全景分割中的鲁棒性和准确性。
2026-07-28 cs.AI cs.CV
LiDAR4D: Dynamic Neural Fields for Novel Space-time View LiDAR Synthesis
Tongji University(同济大学)
本文提出 LiDAR4D,一种仅用激光雷达的可微 4D 动态神经场框架,通过混合特征表示、点云几何约束和射线丢弃全局优化实现时空一致的新视角点云合成。
2024-04-03 cs.CV
GeoMIM: Towards Better 3D Knowledge Transfer via Masked Image Modeling for Multi-view 3D Understanding
SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室);CPII under InnoHK(香港创新人工智能中心)
针对多视角相机3D检测中LiDAR与相机BEV特征存在域差距的问题,提出几何增强掩码图像建模方法GeoMIM,通过预训练-微调范式迁移LiDAR知识,在nuScenes基准上实现相机3D检测与分割的SOTA性能。
2023-08-28 cs.AI cs.CV
Sensor Equivariance by LiDAR Projection Images
University of Applied Sciences Aschaffenburg(阿沙芬堡应用科学大学);University of Kassel(卡塞尔大学)
针对LiDAR等投影式传感器因分辨率、视场差异导致物体表示失真的问题,研究提出新增投影属性通道的图像扩展方案及对应实例分割架构,经合成实验验证可降低传感器偏差,且可推广至其他投影传感器,相关代码和数据集已公开。
2023-04-29 cs.CV eess.IV
Enabling 3D Object Detection with a Low-Resolution LiDAR
Worcester Polytechnic Institute(伍斯特理工学院)
光探测和测距(LiDAR)已广泛用于自动驾驶车辆的感知和定位。然而,高分辨率激光雷达的成本仍然非常昂贵,而低分辨率激光雷达的成本则要便宜得多。因此,使用低分辨率LiDAR进行自动驾驶是一种经济可行的解决方案,但点云稀疏性使其极具挑战性。在本文中,我们提出了一个两阶段的神经网络框架,使三维目标检测使用低分辨率激光雷达。从低分辨率LiDAR点云和单目相机图像中获取输入,采用深度补全网络来产生密集点云,随后由基于体素的网络处理该密集点云以进行3D目标检测。利用KITTI数据集进行三维目标检测,实验结果表明,该方法的检测性能明显优于直接利用16线LiDAR点云进行目标检测。对于简单和中等情况,我们的3D车辆检测结果接近使用64线高分辨率LiDAR的结果。
2022-05-04 cs.CV cs.RO
CaLiV: LiDAR-to-Vehicle Calibration of Arbitrary Sensor Setups
Technical University of Munich(慕尼黑技术大学)
CaLiV提出了一种基于目标的校准技术,用于多LiDAR系统的传感器到传感器和传感器到车辆的校准,适用于非重叠视野范围,无需外部设备,实现了高精度的平移和旋转误差校正。
2026-01-30 cs.CV cs.RO
3D Sensing of a Moving Object with a Nodding 2D LIDAR and Reconfigurable Mirrors
3D感知已成为机器人应用的大部分标准实践。高质量的3D感知是昂贵的。我们之前在点头2D激光雷达上的工作以低成本提供了高质量的3D深度信息,但这种传感器生成的稀疏数据在理解不确定环境中移动物体的特征方面提出了挑战。本文提出了一种新颖的设计点头激光雷达,但提供了动态可重构性方面的限制使用一组光学反射镜的传感器的视场。它不仅提供了更密集的扫描,而且还实现了三倍的扫描更新速率。此外,我们提出了一种新的校准机制,这种传感器,并证明其有效性的动态目标检测和跟踪。
2019-12-27 cs.CV cs.RO
LiDAR View Synthesis for Robust Vehicle Navigation Without Expert Labels
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Oxford(牛津大学)
本文提出通过网格重建与光线投射合成新视角LiDAR点云以增强训练数据,并利用LiDAR里程计推断驾驶标签,无需专家标注即可提升自动驾驶模型在危险场景下的鲁棒性。
2023-08-05 cs.CV
Spectral-Geometric Neural Fields for Pose-Free LiDAR View Synthesis
School of AIA, Huazhong University of Science and Technology(华中科技大学人工智能学院)
本文提出SG-NLF框架,通过融合光谱信息与几何一致性实现无姿态激光雷达视角合成,提升重建质量和姿态精度。
2026-03-13 cs.CV
LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团);University of Oxford(牛津大学);The University of Hong Kong(香港大学);EPFL(洛桑联邦理工学院)
本文提出端到端可微LiDAR渲染框架LiDAR-NeRF,利用NeRF联合学习几何与点属性,并以结构正则化改善低纹理区域几何,同时构建NeRF-MVL数据集,实验显示其显著优于传统仿真算法。
2023-07-14 cs.CV
SG-LDM: Semantic-Guided LiDAR Generation via Latent-Aligned Diffusion
The University of Melbourne(墨尔本大学)
提出SG-LDM,一种基于潜在对齐的语义引导LiDAR扩散模型,实现高保真LiDAR点云生成,并构建首个基于扩散的LiDAR翻译框架以提升下游感知性能。
2025-06-30 cs.CV
DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars
Robert Bosch GmbH(罗伯特·博世有限公司)
我们提出了DeepFusion,这是一种模块化的多模态架构,可以将激光雷达,摄像头和雷达以不同的组合融合在一起,用于3D目标检测。专业的特征提取器利用每种模态,并且可以轻松交换,使方法简单而灵活。提取的特征被转换成鸟瞰图作为一个共同的表示融合。在特征空间中融合模态之前执行空间和语义对齐。最后,检测头利用丰富的多模态特征来提高3D检测性能。激光雷达-相机、激光雷达-相机-雷达和相机-雷达融合的实验结果表明了该融合方法的灵活性和有效性。在这个过程中,我们研究了远距离汽车检测的基本上未探索的任务,最远可达225米,展示了我们的激光雷达相机融合的好处。此外,我们调查所需的密度的激光雷达点的三维目标检测,并说明在对恶劣天气条件下的鲁棒性的例子的影响。此外,我们的相机雷达融合烧蚀研究突出了准确的深度估计的重要性。
2022-09-27 cs.AI cs.CV cs.LG
LiDAR-EVS: Enhance Extrapolated View Synthesis for 3D Gaussian Splatting with Pseudo-LiDAR Supervision
本文提出LiDAR-EVS,通过伪LiDAR监督和空间约束dropout正则化,提升自动驾驶中外推视角LiDAR合成的鲁棒性与泛化能力,实验表明其在三个数据集上均取得最优性能。
2026-03-16 cs.CV cs.RO
SN-LiDAR: Semantic Neural Fields for Novel Space-time View LiDAR Synthesis
Shanghai Jiao Tong University(上海交通大学);Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院);Renji Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属仁济医院)
SN-LiDAR提出一种联合语义分割、几何重建与LiDAR新视角合成的方法,通过由粗到细的平面网格特征和CNN编码器融合多帧与当前帧特征,在SemanticKITTI和KITTI-360上验证了其在动态物体和大规模场景中的优越性能。
2025-04-11 cs.CV cs.RO
AlignMiF: Geometry-Aligned Multimodal Implicit Field for LiDAR-Camera Joint Synthesis
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);DarkMatter AI Research(DarkMatter AI研究);University of Oxford(牛津大学);HKU(香港大学);Cainiao Group(菜鸟集团);NCUT(北方工业大学);Sun Yat-sen University(中山大学);Westlake University(西湖大学)
针对 LiDAR 与相机多模态隐式场中的几何未对齐问题,提出 AlignMiF 及 GAA、SGI 模块,在 KITTI-360 和 Waymo 上显著提升联合合成性能。
2024-02-27 cs.CV
LidarPainter: One-Step Away From Any Lidar View To Novel Guidance
针对动态驾驶场景重建中新轨迹视角质量下降问题,提出单步扩散模型LidarPainter,可实时恢复一致视角,在速度、质量和资源效率上优于现有方法,还支持文本驱动的风格化生成。
2025-11-11 cs.CV
GeoISF: Instance Semantic Forest Inspired Large-Scale Cross-View Geo-Localization via Ground LiDAR-to-Satellite Image
提出GeoISF管道,利用WordNet构建实例语义森林增强语义表示,弥合点云与卫星图像模态差异,在KITTI数据集上R@10指标比并行方法提升13.22倍。
2026-06-17 cs.CV
M3GD: Multi-Modal Multi-View Geometric Diffusion for Camera--LiDAR Novel View Synthesis
New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校);U.S. Army Combat Capabilities Development Command, Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
M3GD利用相机-激光雷达多模态几何扩散,通过共享空间结构将激光雷达特征注入图像生成器,在GrandTour数据集上提升新视角RGB和深度合成质量,并支持地面机器人部署。
2026-09-25 cs.CV cs.RO
BEVFusion4D: Learning LiDAR-Camera Fusion Under Bird's-Eye-View via Cross-Modality Guidance and Temporal Aggregation
SAIC AI LAB(上汽人工智能实验室)
将LiDAR和相机信息集成到鸟瞰视图(BEV)中已成为自动驾驶中3D目标检测的重要课题。现有的方法大多采用独立的双分支框架来生成LiDAR和摄像机BEV,然后进行自适应模态融合。由于点云提供了更准确的定位和几何信息,它们可以作为一个可靠的空间之前,从图像中获取相关的语义信息。因此,我们设计了一个激光雷达引导的视图Transformer(LGVT),有效地获得相机表示在BEV空间,从而有利于整个双分支融合系统。LGVT将相机BEV作为原始语义查询,反复利用LiDAR BEV的空间线索来提取多个相机视图中的图像特征。此外,我们将我们的框架扩展到时间域与我们提出的时间变形对齐(TDA)模块,其目的是从多个历史帧聚合BEV功能。包括这两个模块在内,我们的BEVFusion4D框架在3D目标检测方面取得了最先进的结果,在nuScenes验证集上分别有72.0%的mAP和73.5%的NDS,在nuScenes测试集上分别有73.3%的mAP和74.7%的NDS。
2023-03-30 cs.CV
ReCamDriving: LiDAR-Free Camera-Controlled Video Synthesis for Novel Trajectories
Sun Yat-sen University(中山大学);ZYT;Shenzhen Polytechnic University(深圳职业技术大学);The Hong Kong University of Science and Technology(香港科技大学)
ReCamDriving通过基于3DGS的密集渲染和两阶段训练策略,实现了无需LiDAR的相机可控新型轨迹视频生成,构建了ParaDrive数据集并展示了卓越的生成效果。
2026-08-05 cs.CV
SemanticBEVFusion: Rethink LiDAR-Camera Fusion in Unified Bird's-Eye View Representation for 3D Object Detection
Bosch Corporate Research(博世集团研究院);Shanghai Jiao Tong University(上海交通大学)
本文提出SemanticBEVFusion,通过统一BEV表示深度融合激光雷达几何与相机语义特征,在nuScenes上实现SOTA的3D检测性能。
2022-12-09 cs.CV
Learning to Drop Points for LiDAR Scan Synthesis
Kyushu University(九州大学)
LiDAR传感器的3D激光扫描对于移动机器人了解其周围环境起着重要作用。然而,由于硬件限制、天气条件等原因,并非所有系统都具有高分辨率和准确度。将LiDAR数据作为场景先验的生成建模是补偿不可靠或不完整观测的有前途的解决方案之一。本文提出了一种基于生成对抗网络的LiDAR数据生成学习模型。与相关研究一样,我们将LiDAR数据处理为紧凑但无损的表示,即圆柱形深度图。然而,尽管现实世界的物体是平滑的,但深度图上的许多点通过激光测量被丢弃,这导致生成模型的学习困难。为了解决这个问题,我们将测量不确定性引入到生成过程中,这使得模型能够从真实LiDAR数据的集合中学习底层形状和丢弃噪声的解纠缠表示。为了模拟有损测量,我们采用可微采样框架来基于学习的不确定性丢弃点。我们证明了我们的方法的有效性,使用两个数据集的合成和重建任务。我们通过恢复具有各种类型损坏的LiDAR数据来进一步展示潜在的应用。
2021-08-01 cs.CV cs.RO eess.IV
Mapping LiDAR and Camera Measurements in a Dual Top-View Grid Representation Tailored for Automated Vehicles
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
我们提出了一个通用的证据网格映射管道设计的成像传感器,如激光雷达和相机。我们的基于网格的证据模型包含语义估计细胞占用率和地面分别。我们针对由点集表示的输入数据指定估计步骤,但是主要关注由诸如视差图或LiDAR距离图像的图像表示的输入数据。而不是依赖于一个外部地面分割,我们推断占用证据通过分析周围的测量表面方向。我们进行实验,并评估所提出的方法,使用激光雷达和立体摄像机的数据记录在真实的交通场景。我们的方法估计细胞占用鲁棒性和高层次的细节,同时最大限度地提高效率和最大限度地减少对外部处理模块的依赖。
2022-04-21 cs.CV
LiDAR-GS++:Improving LiDAR Gaussian Reconstruction via Diffusion Priors
针对现有基于GS的激光雷达渲染在外推新视角合成时存在伪影的问题,本文提出融合扩散先验的LiDAR-GS++方法,通过条件生成模型与蒸馏机制扩展重建,在多数据集上取得SOTA性能。
2025-11-15 cs.CV
LiDAR-assisted Large-scale Privacy Protection in Street-view Cycloramas
Eindhoven University of Technology(埃因霍温理工大学);Cyclomedia B.V(Cyclomedia公司)
近年来,隐私问题在多个领域,特别是街景图像中越来越受到重视。实现这一点的常规方法是从这些图像中自动检测和模糊敏感信息。然而,模糊的处理成本随着图像分辨率的不断增长而增加。我们提出了一个系统,是具有成本效益的,即使在增加了2.5倍的分辨率。新系统利用从LiDAR获得的深度数据,显著减少用于检测的搜索空间,从而降低处理成本。除此之外,我们在减少检测空间后测试了几个检测器,并提供了一种基于最先进的深度学习检测器的替代解决方案,以现有的HoG-SVM-Deep系统,速度更快,性能更高。
2019-03-13 cs.CV
BroadBEV: Collaborative LiDAR-camera Fusion for Broad-sighted Bird's Eye View Map Construction
NAVER LABS;Korea University(高丽大学)
针对现有BEV传感器融合存在的相机估计不准、远距离感知受激光雷达点稀疏限制的问题,提出BroadBEV方法,通过点散射模块实现跨模态空间同步,结合ColFusion模块完成特征融合,实现了高性能的广视野BEV感知。
2023-11-08 cs.CV
LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes
University of California, Irvine(加利福尼亚大学欧文分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);NEC Labs America(美国NEC实验室)
本文提出LidaRF框架,通过融合激光雷达几何表示、遮挡感知深度监督和激光雷达点增强训练视图,显著提升街景场景下神经辐射场的新视角合成质量。
2024-05-04 cs.CV
CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion
针对协同感知中单一传感器数据共享的局限,提出CoBEVFusion框架,融合激光雷达与相机数据生成BEV表示,利用DWCA模块和3D CNN聚合多车特征,在OPV2V数据集上优于单模态及最先进BEV融合模型。
2023-10-09 cs.CV
MB-Loc: Multi-planar Bird's-eye-view Localization in outdoor LiDAR scenes
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
提出MB-Loc框架,通过将LiDAR扫描投影为2.5D多平面鸟瞰图表示,结合KL正则化隐瓶颈和3D空间增强,实现轻量级、视角鲁棒的场景坐标回归定位,在NCLT数据集上达到实时推理并超越现有方法。
2026-06-11 cs.CV
BVMatch: Lidar-based Place Recognition Using Bird's-eye View Images
Zhejiang University(浙江大学);Ningbo Research Institute, Zhejiang University(浙江大学宁波研究院)
提出基于激光雷达鸟瞰图的位置识别框架BVMatch,通过Log-Gabor滤波器和BVFT描述符统一实现高召回率的位置识别与2D相对位姿估计,性能优于现有方法。
2022-01-16 cs.CV
Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing Simulation-to-Real Domain Shift in LiDAR Bird's Eye View
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
基于LiDAR信息的目标检测方法的性能受到训练数据的可用性的严重影响,通常限于某些激光设备。因此,当训练神经网络模型时,合成数据的使用变得流行,因为传感器规格和驾驶场景都可以临时生成。然而,弥合虚拟和真实环境之间的差距仍然是一个开放的挑战,因为目前的模拟器无法完全模拟真实的激光雷达操作。为了解决这个问题,通常应用领域自适应策略,当应用于范围视图(RV)和鸟瞰视图(BEV)投影时,在车辆检测上获得显著的结果,而对于较小的道路代理则失败。在本文中,我们提出了一种基于CycleGAN的BEV领域自适应方法,该方法使用先验语义分类,以便在领域自适应过程中保留感兴趣的小对象的信息。已使用KITTI 3D目标检测基准中最先进的3D目标检测框架对生成的BEV的质量进行了评估。所得到的结果表明,所提出的方法比现有的替代品的优势。
2021-04-22 cs.CV
Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction
University of Toronto(多伦多大学);Vector Institute(向量研究所)
提出 Transient NeRF,直接以单光子激光雷达的时间分辨光子计数直方图为监督,用瞬态体渲染方程实现新视图直方图渲染,并提升少视角下的三维几何与外观重建。
2024-04-05 cs.CV eess.IV
LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models
Faculty of Information Science and Electrical Engineering, Kyushu University(九州大学情报科学与电气工程学院)
本文提出基于 DDPM 的 R2DM 模型,利用距离与反射强度图像表示生成高保真 3D LiDAR 点云,并构建灵活补全流程,在 KITTI 数据集生成与补全任务上超越现有方法。
2024-03-04 cs.CV cs.RO
BirdNet+: End-to-End 3D Object Detection in LiDAR Bird's Eye View
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
自动驾驶车辆中的车载3D目标检测通常依赖于LiDAR设备捕获的几何信息。尽管图像特征通常是检测的首选,但许多方法仅将空间数据作为输入。在推理中利用这些信息通常涉及使用诸如鸟瞰视图(BEV)投影之类的紧凑表示,这会导致信息丢失,从而阻碍对对象的3D框的所有参数的联合推理。在本文中,我们提出了一个完全端到端的3D目标检测框架,可以推断定向3D盒仅从BEV图像通过使用两个阶段的对象检测器和ad-hoc回归分支,消除了对后处理阶段的需要。该方法优于其前身(BirdNet)的大幅度提高,并获得了最先进的结果KITTI三维目标检测基准的所有类别的评估。
2020-03-09 cs.CV