FusionRCNN: LiDAR-Camera Fusion for Two-stage 3D Object Detection
Beijing Institute of Technology(北京理工大学)
多传感器的三维目标检测对于自动驾驶和机器人的准确可靠的感知系统至关重要。现有的3D探测器通过采用两阶段范式显着提高了精度,该范式仅依赖于LiDAR点云进行3D建议细化。虽然令人印象深刻,点云的稀疏性,特别是对于遥远的点,使得仅LiDAR细化模块难以准确识别和定位对象。为了解决这个问题,我们提出了一种新的多模态两阶段方法FusionRCNN,它有效地融合了点云和感兴趣区域(RoI)中的相机图像。FusionRCNN自适应地将来自LiDAR的稀疏几何信息和来自相机的密集纹理信息集成在统一的注意力机制中。具体来说,首先利用RoIPooling得到统一大小的图像集,在RoI提取步骤中,对建议中的原始点进行采样得到点集;然后利用模态内自注意来增强域特定特征,随后是一个精心设计的交叉注意融合来自两种模态的信息。FusionRCNN基本上是即插即用的,支持不同的一个-几乎没有架构变化的阶段化方法。在KITTI和Waymo基准测试上的大量实验表明,我们的方法显著提高了流行检测器的性能。值得注意的是,FusionRCNN在Waymo上将强SECOND基线显著提高了6.14%mAP,并且优于竞争的两阶段方法。代码将很快在https://github.com/xxlbigbrother/Fusion-RCNN上发布。
2022-09-22 cs.CV
Indoor Layout Estimation by 2D LiDAR and Camera Fusion
University of Notre Dame(圣母大学)
本文提出了一种室内布局估计和重建算法,通过融合的一系列捕获的图像和激光雷达数据集。在所提出的系统中,可移动平台收集强度图像和2D LiDAR信息。姿态估计和语义分割是通过将LiDAR点与图像中的线段对齐来联合计算的。对于墙壁与地面正交的室内场景,将对齐问题分解为自顶向下的视图投影和二维相似变换估计,并采用递归随机抽样一致性(R-RANSAC)算法求解。当平台在整个环境中移动时,可以通过集成新的扫描来生成、评估和优化假设。该方法避免了大量的先验训练或长方体布局假设的需要,这是更有效和实用的大多数以前的室内布局估计方法相比。多传感器融合允许提供准确的深度估计和高分辨率视觉信息的能力。
2020-01-15 cs.CV
Adaptive LiDAR Scanning: Harnessing Temporal Cues for Efficient 3D Object Detection via Multi-Modal Fusion
针对传统激光雷达密集扫描存在冗余、高功耗的问题,提出历史感知的自适应扫描框架,通过时序上下文预测关键ROI引导稀疏扫描,在nuScenes等基准上实现超65%的激光雷达降耗,同时保持优异的3D检测性能。
2025-11-14 cs.CV
An Evaluation of RGB and LiDAR Fusion for Semantic Segmentation
The American University in Cairo(开罗美国大学)
激光雷达和摄像头是计划包含在许多已宣布的自动驾驶汽车原型中的两个主要传感器。两者都从不同的角度向周围环境提供了独特的数据形式。在本文中,我们探索并试图回答这个问题:在自动驾驶的背景下,为了语义分割的目的,融合这两种形式的数据是否有额外的好处?我们还试图表明,在哪个水平上说,融合证明是最有用的。我们在公开的SemanticKITTI数据集上评估了我们的算法。所有融合模型都显示出对基础模型的改进,其中中级融合在平均交集与并集(mIoU)度量方面显示出最高的2.7%的改进。
2021-08-17 cs.CV
Semantic-Supervised Spatial-Temporal Fusion for LiDAR-based 3D Object Detection
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanjing University(南京大学)
针对LiDAR点云稀疏导致的3D检测难题,提出语义监督的ST-Fusion时空融合方法,通过SA/TM模块缓解运动错位并增强时序特征,在nuScenes上提升NDS约2.8%。
2025-03-15 cs.CV
FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion
University of California, Davis(加州大学戴维斯分校)
针对3D目标检测的多模态数据融合需求,提出纯ViT架构的分层检测模型FusionViT,通过Transformer嵌入图像与点云并经融合ViT融合特征,在KITTI、Waymo Open数据集上达到SOTA性能。
2023-11-07 cs.CV
VaLID: Verification as Late Integration of Detections for LiDAR-Camera Fusion
University of California Santa Cruz(加州大学圣克鲁兹分校)
本文提出模型自适应后期融合方法 VaLID,通过轻量验证网络用相机检测校验 LiDAR 边界框,在 KITTI 上平均减少 63.9% 误报并提升 3DAP。
2025-02-19 cs.CV
Explore the LiDAR-Camera Dynamic Adjustment Fusion for 3D Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc(百度公司)
针对相机与激光雷达模态差异导致的融合难题,本文提出动态调整融合技术,含三相域对齐模块、改进表示获取及自适应学习,在nuScenes上取得与最先进方法相当的竞争力。
2024-07-22 cs.CV
RAF: Reliability-Aware Fusion of Camera, LiDAR, and 4D RADAR for Robust 3D Object Detection in Adverse Weather
Visual Intelligence Lab., KAIST(韩国科学技术院视觉智能实验室)
针对恶劣天气下多传感器3D目标检测难题,提出RAF方法,通过明确监督像素可靠性估计,利用预训练网络,仅训练新增相机分支等,实验证明该方法有效提升检测精度。
2026-07-07 cs.CV
V2X-R: Cooperative LiDAR-4D Radar Fusion with Denoising Diffusion for 3D Object Detection
Fujian Key Laboratory of Sensing and Computing for Smart Cities, Xiamen University, China(福建智能城市感知与计算重点实验室,厦门大学);Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, China(多媒体可信感知与高效计算重点实验室,中国教育部,厦门大学);Zhongguancun Academy(中关村学院);Shanghai Jiao Tong University(上海交通大学);Wuhan University(武汉大学);Texas A&M University(德克萨斯A&M大学)
针对V2X系统在恶劣天气下3D目标检测性能下降的问题,提出含激光雷达、相机和4D雷达的首个模拟数据集V2X-R,并设计带多模态去噪扩散模块的协作融合管道,提升了恶劣天气下的检测性能。
2025-08-25 cs.CV
PC-BEV: An Efficient Polar-Cartesian BEV Fusion Framework for LiDAR Semantic Segmentation
Fudan University(复旦大学);Bosch Corporate Research(博世企业研究院)
本文提出PC-BEV框架,通过在BEV空间直接融合极坐标与笛卡尔划分策略,结合混合Transformer-CNN架构,在SemanticKITTI和nuScenes上以170倍加速实现了优于多视图融合的LiDAR语义分割性能与速度。
2024-12-19 cs.CV
3DifFusionDet: Diffusion Model for 3D Object Detection with Robust LiDAR-Camera Fusion
University of California, Davis(加利福尼亚大学戴维斯分校)
本研究提出3DifFusionDet框架,将3D目标检测构建为去噪扩散过程,通过渐进式框细化实现鲁棒的激光雷达-相机融合,在KITTI基准上性能优于传统检测器,且适配不同精度与速度需求的场景。
2023-11-07 cs.CV
2D LiDAR and Camera Fusion Using Motion Cues for Indoor Layout Estimation
University of Notre Dame(圣母大学)
本文提出了一种新的室内布局估计系统的基础上融合的二维激光雷达和强度相机数据。地面机器人探索具有单层地板和垂直墙壁的室内空间,并收集一系列强度图像和2D LiDAR数据集。LiDAR提供准确的深度信息,而相机捕获高分辨率数据用于语义解释。通过将LiDAR点作为房间轮廓的样本与图像中的地墙边界对齐来联合计算传感器输出的对齐和图像分割。将对准问题解耦为自顶向下的视图投影和二维相似变换估计,根据两个传感器的垂直消失点和运动来求解。递归随机样本共识算法的实现,以产生,评估和优化多个假设的顺序测量。该系统允许联合分析来自不同传感器的几何解释,而无需离线校准。在LiDAR观测的辅助下,消除了地物边界提取图像中的模糊性,提高了语义分割的准确性。使用融合数据细化定位和映射,这使得系统能够在具有低纹理或低几何特征的场景中可靠地工作。
2022-04-24 cs.CV
Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection
Alibaba Group(阿里巴巴集团);Sun Yat-sen University(中山大学);Peking University(北京大学)
在自动驾驶中,有两个关键的3D感知传感器,相机和激光雷达。相机提供丰富的语义信息,如颜色,纹理,LiDAR反映周围物体的3D形状和位置。人们发现,融合这两种模态可以显着提高3D感知模型的性能,因为每种模态都有互补的信息。然而,我们观察到,目前的数据集是从昂贵的车辆,明确设计用于数据汇集的目的,并不能真正反映现实的数据分布由于各种原因。为此,我们收集了一系列具有噪声数据分布的真实案例,并系统地制定了一个鲁棒性基准工具包,该工具包在任何干净的自动驾驶数据集上模拟这些案例。我们通过在两个广泛采用的自动驾驶数据集nuScenes和Waymo上建立鲁棒性基准来展示我们的工具包的有效性,然后,据我们所知,首次对最先进的融合方法进行全面基准测试。我们注意到:i)当仅基于这些数据开发时,大多数融合方法在LiDAR输入中断时往往不可避免地失败; ii)相机输入的改善明显劣于LiDAR输入。我们进一步提出了一个有效的鲁棒训练策略,以提高目前的融合方法的鲁棒性。基准测试和代码可在www.example.com上获得
2022-05-30 cs.CV
L4DR: LiDAR-4DRadar Fusion for Weather-Robust 3D Object Detection
Xiamen University(厦门大学);Zhongguancun Academy(中关村学院);University of Waterloo(滑铁卢大学)
本文提出 L4DR 框架,通过早期多模态编码、前景去噪、{IM}2 并行主干与 MSGF 融合 LiDAR 和 4D 雷达,提升雾天等恶劣天气下的三维目标检测性能。
2025-02-16 cs.CV
InsFusion: Rethink Instance-level LiDAR-Camera Fusion for 3D Object Detection
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究院)
针对多模态3D目标检测中特征处理时噪声误差累积的问题,提出InsFusion方法,通过从原始与融合特征提取候选框查询原始特征并结合注意力机制,在nuScenes数据集上兼容先进基线且实现最优性能。
2025-11-17 cs.CV
LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection
University of Michigan(密歇根大学)
本文提出LiRaFusion,通过设计早期和中间融合模块自适应融合LiDAR与radar特征,有效提升了3D目标检测性能并在nuScenes数据集上取得显著改善。
2024-02-18 cs.CV cs.RO
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection
Johns Hopkins University(约翰斯·霍普金斯大学);Google(谷歌)
激光雷达和摄像头是关键的传感器,可为自动驾驶中的3D检测提供补充信息。虽然流行的多模态方法简单地用相机特征装饰原始激光雷达点云,并将其直接馈送到现有的3D检测模型,但我们的研究表明,将相机特征与深度激光雷达特征而不是原始点融合可以带来更好的性能。然而,由于这些特征经常被增强和聚合,融合中的一个关键挑战是如何有效地对齐来自两种模态的变换特征。在本文中,我们提出了两种新的技术:InverseAug,它可以反转几何相关的增强,例如,旋转,以实现激光雷达点和图像像素之间的精确几何对齐,以及LearnableAlign,利用交叉注意力在融合过程中动态捕获图像和激光雷达要素之间的相关性。基于InverseAug和LearnableAlign,我们开发了一系列名为DeepFusion的通用多模态3D检测模型,它比以前的方法更准确。例如,DeepFusion分别为6.7、8.9和6.2 LEVEL_2 APH改进了PointPillars、CenterPoint和3D-MAN行人检测基线。值得注意的是,我们的模型在Waymo Open Dataset上实现了最先进的性能,并显示出对输入损坏和分布外数据的强大模型鲁棒性。代码将在https://github.com/tensorflow/lingvo/tree/master/lingvo/上公开。
2022-03-15 cs.CV
TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
Hong Kong University of Science and Technology(香港科技大学);Huawei(华为);City University of Hong Kong(香港城市大学)
LiDAR和摄像头是自动驾驶中用于3D目标检测的两种重要传感器。尽管传感器融合在这一领域越来越受欢迎,但对较差图像条件的鲁棒性,例如,不良照明和传感器未对准的问题还未得到充分研究。现有的融合方法很容易受到这样的条件,主要是由于硬关联的激光雷达点和图像像素,建立校准矩阵。我们提出了TransFusion,这是一种强大的LiDAR相机融合解决方案,具有软关联机制来处理劣质图像条件。具体来说,我们的TransFusion由卷积骨干和基于Transformer解码器的检测头组成。解码器的第一层使用稀疏的对象查询集从LiDAR点云预测初始边界框,其第二解码器层自适应地将对象查询与有用的图像特征融合,利用空间和上下文关系。Transformer的注意力机制使我们的模型能够自适应地确定从图像中获取哪些信息,从而形成一种鲁棒有效的融合策略。我们还设计了一个图像引导的查询初始化策略来处理点云中难以检测的对象。TransFusion在大规模数据集上实现了最先进的性能。我们提供了大量的实验来证明其对退化的图像质量和校准误差的鲁棒性。我们还将所提出的方法扩展到3D跟踪任务,并在nuScenes跟踪排行榜中获得第一名,显示了其有效性和泛化能力。
2022-03-22 cs.CV
MoRAL: Motion-aware Multi-Frame 4D Radar and LiDAR Fusion for Robust 3D Object Detection
Technical University of Munich(慕尼黑技术大学);Infineon Technologies AG(英飞凌科技AG);China University of Geosciences(中国地质大学)
本文提出MoRAL框架,通过运动感知雷达编码与运动注意力门控融合校正多帧4D雷达错位并突出动态前景,在VoD数据集上显著提升3D检测性能。
2025-05-14 cs.CV
LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training
Amirkabir University of Technology(阿米尔卡比尔理工大学);The University of Tokyo(东京大学)
本文提出一种LiDAR与图像特征融合模块,结合两个简单修改,在无需视频训练的情况下显著提升自动驾驶场景的图像与视频全景分割性能,评估指标最高提升5个点。
2024-12-30 cs.CV
RoIFusion: 3D Object Detection from LiDAR and Vision
Cranfield University(克兰菲尔德大学)
当定位和检测用于自动驾驶场景的3D对象时,从多个传感器(例如相机、LIDAR)获得信息通常增加3D检测器的鲁棒性。然而,从激光雷达和相机捕获的不同特征的高效和有效的融合仍然是具有挑战性的,特别是由于点云分布的稀疏性和不规则性。尽管如此,点云还是提供了有用的补充信息。在本文中,我们希望利用激光雷达和摄像头传感器的优势,提出一种深度神经网络架构,通过识别相应的3D边界框和方向来融合和有效检测3D对象。为了实现这一任务,而不是密集地结合点云的逐点特征和相关的像素特征,我们提出了一种新的融合算法,通过将一组3D感兴趣区域(ROI)从点云投影到对应图像的2D ROI。最后,我们证明了我们的深度融合方法在KITTI 3D目标检测挑战性基准上达到了最先进的性能。
2020-09-09 cs.CV
FGFusion: Fine-Grained Lidar-Camera Fusion for 3D Object Detection
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Leicester(莱斯特大学);Luoyang Normal University(洛阳师范学院)
本文提出FGFusion方法,通过双路径层次结构、辅助网络和多尺度融合,细粒度地融合图像与点云特征,在KITTI和Waymo上提升三维目标检测性能。
2023-09-21 cs.CV
MR3D-Net: Dynamic Multi-Resolution 3D Sparse Voxel Grid Fusion for LiDAR-Based Collective Perception
University of Tübingen(蒂宾根大学)
针对协同感知中早期融合带宽需求大、晚期融合性能差的问题,提出动态多分辨率3D稀疏体素网格融合架构MR3D-Net,在OPV2V基准上实现SOTA性能,带宽较早期融合最多降94%。
2024-08-12 cs.CV
Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室);iFLYTEK(科大讯飞);University of Sydney(悉尼大学)
本文提出Bi-LRFusion双向LiDAR-Radar融合框架,先用LiDAR信息增强稀疏Radar特征,再在统一鸟瞰图中融合,实现动态目标3D检测的先进性能与跨数据格式泛化。
2023-06-02 cs.CV
DepthFusion: Depth-Aware Hybrid Feature Fusion for LiDAR-Camera 3D Object Detection
针对激光雷达-相机3D检测忽略深度影响的问题,提出DepthFusion,从全局和局部依据深度自适应加权多模态特征,并在nuScenes、KITTI及nuScenes-C上取得更优精度与鲁棒性。
2025-05-12 cs.CV
CPGNet: Cascade Point-Grid Fusion Network for Real-Time LiDAR Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院)
LiDAR语义分割对于高级自动驾驶至关重要,需要在移动平台上准确、快速且易于部署。以往的基于点或稀疏体素的方法由于采用了耗时的邻域搜索或稀疏三维卷积,远离了实时的应用。目前基于二维投影的方法,包括距离视图和多视图融合,能够实时的运行,但由于在二维投影过程中的信息丢失,精度较低。此外,为了提高性能,以前的方法通常采用测试时间增加(TTA),这进一步减慢了推理过程。为了达到更好的速度和精度的平衡,我们提出了级联点网格融合网络(Cascade Point-Grid Fusion Network,CPGNet),它主要通过以下两种技术来保证有效性和效率:1)新的点网格(Point-Grid,PG)融合块主要在二维投影网格上提取语义特征,同时在三维点上综合二维和三维特征,以最小化信息损失; 2)提出的转换一致性损失缩小了单次模型推理与TTA之间的差距。在SemanticKITTI和nuScenes基准测试上的实验表明,没有集成模型或TTA的CPGNet与最先进的RPVNet相当,而它的运行速度要快4.7倍。
2022-06-06 cs.CV
ESAFusion: LiDAR--4-D Radar Fusion via Local Geometric Complementation and Multiscale Adaptive Interaction for 3-D Object Detection
Shanghai University(上海大学);Fudan University(复旦大学)
ESAFusion提出证据感知与尺度自适应框架,通过局部几何互补和多尺度交互融合LiDAR与4-D雷达,在VoD数据集上实现最高mAP,提升3-D检测精度与鲁棒性。
2026-09-25 cs.CV
BOX3D: Lightweight Camera-LiDAR Fusion for 3D Object Detection and Localization
Luleå University of Technology(吕勒奥理工大学)
本文提出BOX3D,一种融合RGB相机与3D LiDAR的多模态轻量级三层架构方案,通过局部到全局的感知优化实现3D目标检测与定位,并在大规模城市数据集上验证了其有效性。
2024-08-27 cs.CV
Enhancing Pseudo-Boxes via Data-Level LiDAR-Camera Fusion for Unsupervised 3D Object Detection
PCA Lab, School of Computer Science and Engineering, Nanjing University of Science and Technology(PCA实验室,计算机科学与工程学院,南京理工大学)
针对无监督 3D 检测中伪框质量不足的问题,本文提出早期数据级 LiDAR-RGB 双向融合、局部/全局滤波与动态自演化策略,在 nuScenes 上达到 28.4% mAP。
2025-08-28 cs.CV
Multi Projection Fusion for Real-time Semantic Segmentation of 3D LiDAR Point Clouds
Nile University(尼罗河大学)
三维点云数据的语义分割对于增强自主平台中的高级感知至关重要。此外,鉴于汽车和无人机上LiDAR传感器的部署越来越多,特别强调在移动GPU上运行的非计算密集型算法。以前的有效的最先进的方法依赖于点云的2D球面投影作为2D全卷积神经网络的输入,以平衡精度-速度的权衡。本文介绍了一种新的三维点云语义分割的方法,利用多个投影的点云,以减轻在单一的投影方法固有的信息丢失。我们的多投影融合(MPF)框架使用两个独立的高效2D全卷积模型分析球面和鸟瞰视图投影,然后结合两个视图的分割结果。在SemanticKITTI数据集上验证了所提出的框架,其中它实现了55.5的mIoU,高于最先进的基于投影的方法RangeNet++和PolarNet,同时比前者快1.6倍,比后者快3.1倍。
2020-11-06 cs.CV
SIESEF-FusionNet: Spatial Inter-correlation Enhancement and Spatially-Embedded Feature Fusion Network for LiDAR Point Cloud Semantic Segmentation
Intelligent Autonomous Systems Laboratory, Shanghai University of Electric Power(上海电力大学智能自主系统实验室);College of Literature, Science and the Arts, University of Michigan-Ann Arbor(密歇根大学安娜堡分校文学、科学与艺术学院)
本文提出SIESEF-FusionNet,通过结合反距离加权与角度补偿增强空间互相关性,并设计空间自适应池化模块将空间信息嵌入语义特征,有效解决了点云语义分割中的边界模糊问题,在多个数据集上取得优异表现。
2024-11-11 cs.CV
2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds
Shenzhen Research Institute of Big Data(深圳大数据研究院);Shanghai University(上海大学);Tencent Map, T Lab(腾讯地图T实验室)
由于相机和激光雷达传感器捕获自动驾驶中使用的互补信息,因此已经做出了很大努力来通过多模态数据融合开发语义分割算法。然而,基于融合的方法需要成对的数据,即,LiDAR点云和相机图像具有严格的点到像素映射,作为训练和推理的输入,这严重阻碍了其在实际场景中的应用。因此,在这项工作中,我们提出了二维先验辅助语义分割(2DPASS),一个通用的训练计划,以提高点云的表示学习,充分利用2D图像具有丰富的外观。在实际应用中,2DPASS通过辅助模态融合和多尺度融合到单一知识蒸馏(MSFSKD),从多模态数据中获取更丰富的语义和结构信息,然后在线蒸馏到纯3D网络。因此,配备2DPASS后,我们的基线仅使用点云输入就显示出显著的改进。具体来说,它在两个大规模基准测试(即SemanticKITTI和NuScenes)上达到了最先进的水平,包括SemanticKITTI的单次和多次扫描比赛中的前1名结果。
2022-10-14 cs.CV
BEVDilation: LiDAR-Centric Multi-Modal Fusion for 3D Object Detection
BEVDilation提出以LiDAR为中心的多模态融合方法,通过稀疏体素扩张和语义引导BEV扩张模块提升3D目标检测性能,有效缓解深度误差带来的空间错位问题。
2025-12-02 cs.CV cs.RO
BiCo-Fusion: Bidirectional Complementary LiDAR-Camera Fusion for Semantic- and Spatial-Aware 3D Object Detection
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)人工智能方向);School of Electrical and Electronic Engineering (EEE), Nanyang Technological University (NTU)(南洋理工大学电子与电气工程学院)
针对多模态3D目标检测中直接融合导致语义与空间感知能力被削弱的问题,提出双向互补融合框架BiCo-Fusion,通过预融合增强双模态特征后自适应融合,提升了检测性能。
2025-06-11 cs.AI cs.CV
3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial Feature Fusion for 3D Object Detection
Hanyang University(汉阳大学)
在本文中,我们提出了一种新的深度架构,用于融合相机和LiDAR传感器进行3D目标检测。由于相机和LiDAR传感器信号具有不同的特性和分布,因此融合这两种模态有望提高3D目标检测的准确性和鲁棒性。相机和激光雷达的融合所带来的挑战之一是,从每种模态获得的空间特征图由相机和世界坐标中的显著不同的视图表示;因此,在不丢失信息的情况下组合两个异构特征图并不是一件容易的任务。为了解决这个问题,我们提出了一种称为3D-CVF的方法,该方法使用跨视图空间特征融合策略将相机和LiDAR特征相结合。首先,该方法采用自动校准投影,将2D相机特征转换为与鸟瞰图(BEV)域中的LiDAR特征具有最高对应性的平滑空间特征图。然后,应用门控特征融合网络,使用空间注意力图来根据区域适当地混合相机和LiDAR特征。接下来,相机-LiDAR特征融合也在随后的建议细化阶段实现。摄像机功能通过3D RoI网格池从2D摄像机视图域使用,并与BEV功能融合以进行提案细化。在KITTI和nuScenes 3D目标检测数据集上进行的评估表明,相机-LiDAR融合在单一模态上提供了显着的性能增益,并且所提出的3D-CVF在KITTI基准中实现了最先进的性能。
2020-07-21 cs.CV cs.LG eess.IV
RGB and LiDAR fusion based 3D Semantic Segmentation for Autonomous Driving
Valeo R&D(法雷奥研发);Cairo University(开罗大学)
LiDAR已成为自动驾驶应用的标准传感器,因为它们提供高精度的3D点云。LiDAR对于夜间的低光场景或由于阴影而导致相机性能下降的情况也是鲁棒的。LiDAR感知对于包括目标检测和SLAM在内的算法逐渐变得成熟。然而,语义分割算法仍然是相对较少的探索。基于图像数据的语义分割是一种成熟的分割算法,本文研究了基于传感器融合的三维图像分割方法。我们的主要贡献是将RGB图像转换为用于LiDAR的极网格映射表示,并设计早期和中级融合架构。此外,我们设计了一个混合融合架构,结合这两种融合算法。我们在KITTI数据集上评估了我们的算法,该数据集为汽车,行人和骑自行车的人提供了分割注释。我们评估了两种最先进的架构,即SqueezeSeg和PointSeg,并将两种情况下的mIoU评分相对于仅LiDAR基线提高了10%。
2019-07-17 cs.AI cs.CV cs.LG
SARFusion: Scene-Aware Routing Fusion for Robust Camera-LiDAR 3D Object Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan College(武汉学院)
SARFusion提出场景感知路由融合,将相机-激光雷达3D检测解耦为三个并行分支并按查询路由,在nuScenes上达到72.5 mAP和74.4 NDS,显著提升鲁棒性。
2026-09-25 cs.AI cs.CV
UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation
UP-Fuse通过不确定性引导的融合框架,提升激光雷达与摄像头在3D全景分割中的鲁棒性和准确性。
2026-07-28 cs.AI cs.CV
Fusing Bird View LIDAR Point Cloud and Front View Camera Image for Deep Object Detection
University of California, Berkeley(加利福尼亚大学伯克利分校);Department of Mechanical Engineering(机械工程系)
我们提出了一种在深度卷积神经网络(CNN)中融合LIDAR点云和相机捕获图像的新方法。该方法构造了一个新的层,称为非均匀池层,用于鸟瞰图和正视图之间的特征转换。稀疏LIDAR点云用于构建两个地图之间的映射。池化层允许在网络的任何阶段有效地融合鸟瞰图和正视图特征。这对于在自动驾驶场景中使用相机-LIDAR融合的3D-目标检测是有利的。设计了相应的深度CNN,并在KITTI鸟瞰图目标检测数据集上进行了测试,该数据集从鸟瞰图中产生3D边界框。与其他基于融合的目标检测网络相比,该融合方法对鸟瞰图中行人的检测具有特别的优势。
2018-02-14 cs.CV cs.LG
A Multimodal Hybrid Late-Cascade Fusion Network for Enhanced 3D Object Detection
Politecnico di Milano(米兰理工学院)
本文提出了一种多模态混合后期级联融合网络,通过结合RGB和3D激光雷达检测器,提升3D物体检测的性能,特别是在行人和自行车检测方面表现优异。
2025-04-25 cs.AI cs.CV cs.RO
Geometry-Aware Fisheye-LiDAR Fusion for Robust 3D Object Detection in Low-Overlap Setups
Technical University of Munich(慕尼黑工业大学)
针对稀疏视角下鱼眼相机与激光雷达的几何畸变和低重叠问题,提出几何感知混合融合框架,通过畸变感知LSS模块和双注意力校正模块实现极坐标与笛卡尔特征融合,在三个基准上提升检测精度。
2026-06-07 cs.CV cs.RO
Comparative study of 3D object detection frameworks based on LiDAR data and sensor fusion techniques
University of Applied Sciences Bonn Rhein Sieg(波恩莱茵锡格应用科学大学)
准确地估计和理解车辆周围的环境是自动驾驶车辆的基本和关键步骤。感知系统在实时提供车辆环境的准确解释方面发挥着重要作用。通常,感知系统涉及各种子系统,诸如定位、障碍物(静态和动态)检测、以及回避、映射系统等。为了感知环境,这些车辆将配备各种外感受(被动和主动)传感器,特别是摄像头,雷达,激光雷达等。这些系统配备了深度学习技术,可以将来自传感器的大量数据转换为语义信息,并在此基础上执行目标检测和定位任务。对于许多驾驶任务,为了提供准确的结果,特定对象的位置和深度信息是必要的。3D目标检测方法通过利用来自激光雷达、立体相机等传感器的额外姿态数据,提供有关物体尺寸和位置的信息。基于最近的研究,三维目标检测框架执行目标检测和定位的激光雷达数据和传感器融合技术显示出显着的改善,在其性能。在这项工作中,使用激光雷达数据的效果进行比较研究的目标检测框架和使用传感器融合技术的性能改善。同时讨论了这两种情况下的各种最先进的方法,进行实验分析,并提供未来的研究方向。
2022-03-15 cs.AI cs.CV
RV-FuseNet: Range View Based Fusion of Time-Series LiDAR Data for Joint 3D Object Detection and Motion Forecasting
Aurora Innovation(奥罗拉创新公司);Uber Advanced Technologies Group(优步先进技术集团);Motional(动势公司)
强大的实时检测和交通参与者的运动预测是必要的自动驾驶汽车安全地在城市环境中导航。在本文中,我们提出了RV-FuseNet,这是一种新的端到端方法,用于直接从时间序列LiDAR数据进行联合检测和轨迹估计。代替广泛使用的鸟瞰图(BEV)表示,我们利用本地范围视图(RV)表示的激光雷达数据。RV通过避免BEV中使用的体素化来保持传感器的全分辨率。此外,由于RV的紧凑性,可以有效地处理RV。以前的方法将时间序列数据投影到一个共同的视点进行时间融合,并且这个视点通常与捕获它的位置不同。这对于BEV方法是足够的,但是对于RV方法,这可能导致信息丢失和数据失真,这对性能具有不利影响。为了解决这一挑战,我们提出了一个简单而有效的新架构,\textit{Incremental Fusion},最大限度地减少信息损失的顺序投影到下一个扫描的角度每个RV扫描的时间。我们表明,我们的方法显着提高了运动预测性能超过现有的国家的最先进的。此外,我们证明了我们的顺序融合方法优于其他RV基于融合方法的多个数据集。
2021-03-23 cs.CV cs.RO
DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars
Robert Bosch GmbH(罗伯特·博世有限公司)
我们提出了DeepFusion,这是一种模块化的多模态架构,可以将激光雷达,摄像头和雷达以不同的组合融合在一起,用于3D目标检测。专业的特征提取器利用每种模态,并且可以轻松交换,使方法简单而灵活。提取的特征被转换成鸟瞰图作为一个共同的表示融合。在特征空间中融合模态之前执行空间和语义对齐。最后,检测头利用丰富的多模态特征来提高3D检测性能。激光雷达-相机、激光雷达-相机-雷达和相机-雷达融合的实验结果表明了该融合方法的灵活性和有效性。在这个过程中,我们研究了远距离汽车检测的基本上未探索的任务,最远可达225米,展示了我们的激光雷达相机融合的好处。此外,我们调查所需的密度的激光雷达点的三维目标检测,并说明在对恶劣天气条件下的鲁棒性的例子的影响。此外,我们的相机雷达融合烧蚀研究突出了准确的深度估计的重要性。
2022-09-27 cs.AI cs.CV cs.LG
CLFTv2: Efficient Camera-LiDAR Fusion for Semantic Segmentation via Hierarchical Feature Pyramids
Tallinn University of Technology(塔林理工大学);FinEst Centre for Smart Cities, Tallinn University of Technology(塔林理工大学芬埃斯特智慧城市中心);Universitas Mercatorum(梅尔卡托鲁姆大学)
CLFTv2提出层次化相机-激光雷达融合框架,用Swin多尺度编码器和轻量FPN解码器替代全局注意力,在三个数据集上提升VRU召回率,计算量更低、吞吐量更高,适用于实时车载感知。
2026-09-10 cs.CV cs.RO
Radar-Lidar Fusion for Object Detection by Designing Effective Convolution Networks
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence(芬兰人工智能中心);Gwangju Institute of Science and Technology(光州科学技术院)
本文提出一种雷达-激光雷达融合的双分支目标检测框架,通过加性注意力整合特征并引入并行分叉结构处理尺度变化,在Radiate数据集上超越现有最优方法。
2023-10-30 cs.CV cs.RO
AMVNet: Assertion-based Multi-View Fusion Network for LiDAR Semantic Segmentation
Motional;Nanyang Technological University(南洋理工大学)
在本文中,我们提出了一个基于断言的多视图融合网络(AMVNet)的激光雷达语义分割,聚合使用后期融合的单个基于投影的网络的语义特征。给定来自不同基于投影的网络的类分数,我们对分数不一致进行断言引导的点采样,并将每个采样点的一组点级特征传递给一个简单的点头,以细化预测。这种模块化和层次化的后期融合方法提供了具有两个独立网络的灵活性,而轻量级网络的开销较小。这样的方法对于机器人系统(例如,自动驾驶车辆)是期望的,对于机器人系统,计算和存储器资源通常是有限的。大量的实验表明,AMVNet在SemanticKITTI和nuScenes基准数据集上都取得了最先进的结果,并且我们的方法优于结合基于投影的网络的类得分的基线方法。
2020-12-09 cs.CV cs.LG cs.RO
High-level camera-LiDAR fusion for 3D object detection with machine learning
Universidad Autónoma de Occidente(西方自治大学)
本文解决了3D目标检测问题,这对于自动驾驶等应用至关重要。我们的框架使用单目相机和LiDAR数据的组合上的机器学习(ML)管道来检测移动平台周围3D空间中的车辆。它使用由最先进的(SOTA)2D对象检测器生成的截头体区域建议将LiDAR点云分割成代表潜在单个对象的点群。我们评估了经典ML算法的性能,作为整体管道的一部分,用于估计移动平台周围车辆周围的3D边界框的参数。我们的研究结果表明,一个有效的和准确的推断验证集,实现了87.1%的整体准确性。
2021-05-24 cs.CV cs.LG cs.RO
Dynamic Object Detection and Tracking in Construction: A Fisheye Camera and LiDAR Sensor Fusion Model
Georgia Institute of Technology(佐治亚理工学院)
针对建筑等复杂环境中机器人动态目标检测与跟踪问题,提出融合鱼眼相机与激光雷达传感器的框架,通过在配准点云里识别移动物体、投影坐标分配语义标签并结合图像检测更新卡尔曼滤波器观测,具有高精度、简单且鲁棒的特点。
2026-07-09 cs.CV cs.RO
Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic Segmentation
Friedrich-Alexander University (FAU) Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Technische Hochschule Ingolstadt(因戈尔施塔特应用技术大学);Research Institute AImotion Bavaria(巴伐利亚AImotion研究所)
自动驾驶汽车的强大环境感知是一个巨大的挑战,这使得相机,激光雷达和雷达等多样化的传感器集至关重要。在理解记录的传感器数据的过程中,三维语义分割起着重要的作用。因此,本工作提出了一种用于激光雷达和摄像机的基于XML的深度融合架构,以改善交通场景的3D语义分割。单个传感器主干提取相机图像和激光雷达点云的特征图。一种新的金字塔融合骨干融合这些特征图在不同的尺度,并结合多模态特征的特征金字塔计算有价值的多模态,多尺度的功能。Pyramid Fusion Head聚合这些金字塔特征,并在后期融合步骤中进一步细化,融合传感器主干的最终特征。在两个具有挑战性的室外数据集上对该方法进行了评估,并研究了不同的融合策略和设置。它优于最近的距离视图为基础的激光雷达方法,以及所有迄今提出的融合策略和架构。
2022-05-26 cs.AI cs.CV cs.RO
MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection
RWTH Aachen University(亚琛工业大学);TU Berlin(柏林工业大学)
提出MultiCorrupt多模态3D目标检测鲁棒性基准,评估五种先进检测器对十种损坏的抵抗能力,揭示不同损坏类型和融合策略对模型鲁棒性的影响。
2024-04-20 cs.AI cs.CV
SemanticVoxels: Sequential Fusion for 3D Pedestrian Detection using LiDAR Point Cloud and Semantic Segmentation
Opel Automobile GmbH(欧宝汽车公司);Institute of Measurement and Control Systems, Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院测量与控制系统研究所)
3D行人检测在自动驾驶中是一项具有挑战性的任务,因为行人相对较小,经常被遮挡,并且容易与狭窄的垂直物体混淆。激光雷达和相机是这一任务中两种常用的传感器形式,它们应该提供补充信息。出乎意料的是,在公共基准测试中,仅使用激光雷达的检测方法往往优于多传感器融合方法。最近,PointPainting已经被提出来通过有效地融合语义分割网络的输出而不是原始图像信息来消除这种性能下降。在本文中,我们提出了一个概括的PointPainting能够在不同的层次上应用融合。在对点云进行语义增强后,将原始点数据编码为柱体,得到几何特征,将语义点数据编码为体素,得到语义特征,并进行有效的融合。在KITTI测试集上的实验结果表明,SemanticVoxels在3D和鸟瞰图行人检测基准中都达到了最先进的性能。特别是,我们的方法证明了它在检测具有挑战性的行人案例中的优势,并且优于当前最先进的方法。
2020-09-25 cs.CV cs.RO eess.IV
LEF: Late-to-Early Temporal Fusion for LiDAR 3D Object Detection
Waymo LLC(Waymo有限责任公司)
本文提出 LEF 后层到前层循环时间融合方法,通过稀疏柱体注意力、BEV 前景分割和随机长度 FrameDrop 训练提升 LiDAR 3D 检测性能。
2023-09-28 cs.CV cs.LG cs.RO