FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection
Beihang University(北京航空航天大学);Baidu Research(百度研究院);Beijing Institute of Technology(北京理工大学)
三维障碍物的精确检测是自动驾驶和智能交通的重要任务。在这项工作中,我们提出了一个通用的多模态融合框架FusionPainting融合的2D RGB图像和3D点云在语义水平上提高3D目标检测任务。特别是,FusionPainting框架由三个主要模块组成:多模态语义分割模块、基于注意力的自适应语义融合模块和3D对象检测器。首先,基于2D和3D分割方法获得2D图像和3D激光雷达点云的语义信息。然后基于所提出的基于注意力的语义融合模块对不同传感器的分割结果进行自适应融合。最后,将绘制有融合语义标签的点云发送到3D检测器以获得3D对象结果。通过与三个不同的基线进行比较,在大规模nuScenes检测基准上验证了所提出的框架的有效性。实验结果表明,与仅使用点云的方法相比,该融合策略能显著提高检测性能,且仅使用点云的方法只需要绘制二维分割信息。此外,所提出的方法优于其他国家的最先进的方法在nuScenes测试基准。
2021-08-10 cs.CV
Automatic labelling of urban point clouds using data fusion
Chief Technology Office, City of Amsterdam(阿姆斯特丹市首席技术办公室)
在本文中,我们描述了一种方法来半自动地创建一个标记的数据集的语义分割的城市街道级点云。我们使用数据融合技术,使用公共数据源,如高程数据和大规模地形图,自动标记点云的部分,之后只需要有限的人力来检查结果,并在需要的地方进行修改。这极大地限制了创建标记数据集所需的时间,该标记数据集足够广泛以训练深度语义分割模型。我们将我们的方法应用于阿姆斯特丹地区的点云,并成功地在标记数据集上训练了RandLA-Net语义分割模型。这些结果证明了智能数据融合和语义分割在未来智能城市规划和管理中的潜力。
2021-10-15 cs.CV
Addressing Data Misalignment in Image-LiDAR Fusion on Point Cloud Segmentation
针对相机与LiDAR融合中点云投影错位导致分割困难的问题,本文基于nuScenes和2DPASS分析原因并提出改进方案。
2023-09-26 cs.CV
Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
立体激光雷达融合是一项很有前途的任务,因为我们可以利用两种不同类型的3D感知用于实际用途-密集的3D信息(立体相机)和高精度的稀疏点云(LiDAR)。然而,由于它们的模态和结构不同,传感器数据对齐的方法是成功的传感器融合的关键。为此,我们提出了一种几何感知的立体激光雷达融合网络的远程深度估计,称为体积传播网络。我们的网络的关键思想是利用稀疏和准确的点云作为线索,在统一的3D体积空间中引导立体图像的对应关系。与现有的融合策略不同,我们直接将点云嵌入到体积中,这使我们能够将有效信息传播到体积中的邻近体素中,并减少对应关系的不确定性。因此,它允许我们无缝地融合两种不同的输入方式,并回归一个长距离的深度图。我们的融合进一步增强了新提出的特征提取层的点云图像引导:FusionConv。FusionConv提取点云特征,考虑语义(2D图像域)和几何(3D域)关系,并帮助在体积上融合。在最近的立体激光雷达融合方法中,我们的网络在KITTI和Virtual-KITTI数据集上实现了最先进的性能。
2021-03-24 cs.CV
Multi-scale Network with Attentional Multi-resolution Fusion for Point Cloud Semantic Segmentation
University of Missouri - Columbia(密苏里大学哥伦比亚分校)
在本文中,我们提出了一个全面的点云语义分割网络,聚合本地和全球多尺度信息。首先,我们提出了一个角度相关点卷积(ACPonv)模块,以有效地学习点的局部形状。其次,基于ACPConv,我们引入了一个局部多尺度分裂(MSS)块,该块分层连接单个块内的特征,并逐渐扩大有利于利用局部上下文的感受野。第三,受到在2D图像视觉任务上具有出色性能的HRNet的启发,我们构建了一个为点云定制的HRNet来学习全球多尺度上下文。最后,我们介绍了一个逐点注意力融合方法,融合多分辨率预测,进一步提高点云语义分割性能。我们的实验结果和消融几个基准数据集上表明,我们提出的方法是有效的,能够实现国家的最先进的性能相比,现有的方法。
2022-06-27 cs.CV
Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
Shanghai Jiao Tong University(上海交通大学)
针对稀疏视图 NeRF 中深度图噪声与重建耗时问题,提出深度引导的点云融合及向量-矩阵分解体素网格方法,提升准确性、紧凑性和速度。
2024-03-04 cs.CV
Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion
Australian National University(澳大利亚国立大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织Data61)
鉴于当前3D传感器的突出性,对基本点云数据的细粒度分析值得进一步研究。特别是,真实点云场景可以直观地捕捉真实世界中的复杂环境,但由于3D数据的原始性,它对机器感知非常具有挑战性。在这项工作中,我们集中在基本的视觉任务,语义分割,为大规模的点云数据在现实中收集。一方面,为了减少附近点的歧义,我们通过充分利用双边结构中的几何和语义特征来增强它们的局部上下文。另一方面,我们从多个分辨率全面解释的点的独特性,并表示在点级的准确语义分割的自适应融合方法的特征图。此外,我们还提供具体的消融研究和直观的可视化,以验证我们的关键模块。通过与三个不同基准上的最先进的网络进行比较,我们证明了我们的网络的有效性。
2021-04-13 cs.CV
Deep Models with Fusion Strategies for MVP Point Cloud Registration
DeepGlint(深瞳);Shanghai Jiao Tong University(上海交通大学);Sichuan University(四川大学)
多视图部分(MVP)挑战赛2021中点云配准的主要目标是估计刚性变换以对齐点云对。本次比赛中的对具有低重叠、密度不均匀、旋转不受限制和模糊等特点,这对配准任务提出了巨大的挑战。在本报告中,我们介绍了我们的注册任务解决方案,该解决方案融合了两个深度学习模型:ROPNet和PREDATOR,并采用定制的集成策略。最后,在Rot_Error、Trans_Error和MSE指标下,我们分别以2.96546、0.02632和0.07808获得了配准轨迹的第二名。
2021-10-18 cs.CV
SIESEF-FusionNet: Spatial Inter-correlation Enhancement and Spatially-Embedded Feature Fusion Network for LiDAR Point Cloud Semantic Segmentation
Intelligent Autonomous Systems Laboratory, Shanghai University of Electric Power(上海电力大学智能自主系统实验室);College of Literature, Science and the Arts, University of Michigan-Ann Arbor(密歇根大学安娜堡分校文学、科学与艺术学院)
本文提出SIESEF-FusionNet,通过结合反距离加权与角度补偿增强空间互相关性,并设计空间自适应池化模块将空间信息嵌入语义特征,有效解决了点云语义分割中的边界模糊问题,在多个数据集上取得优异表现。
2024-11-11 cs.CV
Dual-Neighborhood Deep Fusion Network for Point Cloud Analysis
National University of Defense Technology(中国人民解放军国防科技大学);University of Science and Technology of China(中国科学技术大学)
最近,深度神经网络在三维点云分类方面取得了显著的成就。然而,现有的分类方法主要是在理想化的点云上实现的,并且在非理想化的情况下遭受严重的性能退化。针对这一问题,提出了一种特征表示学习方法--双邻域深度融合网络(DNDFN),作为一种改进的点云编码器,用于非理想化点云分类。DNDFN利用一种称为TN学习的可训练邻域学习方法来捕获全局关键邻域。然后,融合全局邻域和局部邻域,使网络具有更强的推理能力。此外,提出了一种信息传递卷积(IT-Conv)算法,用于DNDFN学习点对之间的边缘信息,有利于特征传递过程。信息在IT-Conv中的传递类似于信息在图中的传播,这使得DNDFN更接近人类的推理模式。在已有的基准测试特别是非理想数据集上的大量实验验证了DNDFN的有效性,DNDFN达到了最新的水平。
2022-05-05 cs.CV
Multimodal Diffusion Bridge with Attention-Based SAR Fusion for Satellite Image Cloud Removal
Washington University in St. Louis(圣路易斯华盛顿大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
提出扩散桥去云方法DB-CR,通过双分支多模态架构与跨模态融合块有效融合SAR与光学图像,在SEN12MS-CR数据集上实现高保真且计算高效的去云。
2025-04-04 cs.CV
Super-pixel cloud detection using Hierarchical Fusion CNN
Shanghai University(上海大学);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
云检测在遥感图像处理中起着非常重要的作用。设计了一种基于卷积神经网络(CNN)和深度森林的超像素级云检测方法。首先,通过SLIC和SEEDS的结合,遥感图像分割成超像素。采用结构森林算法计算每个像素的边缘概率,在此基础上对超像素进行更精确的分割。分割后的超像元构成超像元级遥感数据库。虽然云检测本质上是一个二进制分类问题,我们的数据库被标记为四个类别:厚云,卷云,建筑物和其他文化,以提高我们提出的模型的泛化能力。其次,利用超像素级数据库对基于CNN和深度森林的云检测模型进行训练。针对超像素级遥感图像与一般目标分类数据库相比所包含的语义信息较少的特点,提出了一种层次融合CNN(HFCNN)方法。它充分利用了颜色和纹理等底层特征,更适用于云检测任务。在测试阶段,遥感图像中的每一个超像素被我们提出的模型分类,然后结合我们提出的距离度量恢复最终的二值掩模,这是用来确定模糊的超像素。实验结果表明,与传统方法相比,HFCNN具有更好的查准率和查全率。
2018-10-19 cs.CV
Multi Projection Fusion for Real-time Semantic Segmentation of 3D LiDAR Point Clouds
Nile University(尼罗河大学)
三维点云数据的语义分割对于增强自主平台中的高级感知至关重要。此外,鉴于汽车和无人机上LiDAR传感器的部署越来越多,特别强调在移动GPU上运行的非计算密集型算法。以前的有效的最先进的方法依赖于点云的2D球面投影作为2D全卷积神经网络的输入,以平衡精度-速度的权衡。本文介绍了一种新的三维点云语义分割的方法,利用多个投影的点云,以减轻在单一的投影方法固有的信息丢失。我们的多投影融合(MPF)框架使用两个独立的高效2D全卷积模型分析球面和鸟瞰视图投影,然后结合两个视图的分割结果。在SemanticKITTI数据集上验证了所提出的框架,其中它实现了55.5的mIoU,高于最先进的基于投影的方法RangeNet++和PolarNet,同时比前者快1.6倍,比后者快3.1倍。
2020-11-06 cs.CV
Pillar-Voxel Fusion Network for 3D Object Detection in Airborne Hyperspectral Point Clouds
School of Electronics and Information Engineering, Harbin Institute of Technology(电子与信息工程学院,哈尔滨工业大学)
本文提出PiV-AHPC网络,通过柱体-体素双分支编码器和多级特征融合机制,有效解决空中超光谱点云中3D目标检测的几何-光谱失真问题,实现高精度检测与泛化能力。
2025-07-05 cs.CV
IB-HFN: Information Bottleneck-Driven SAR-Optical Fusion Network for High-Fidelity Cloud Removal
Institute of Geospatial Information, Information Engineering University(测绘信息研究院,信息工程大学)
提出IB-HFN网络,通过双流骨干、空间信息瓶颈融合模块和联合优化策略,抑制SAR散斑噪声并保留光学细节,实现高保真云去除。
2026-06-11 cs.CV
D-Net: Learning for Distinctive Point Clouds by Self-Attentive Point Searching and Learnable Feature Fusion
Tsinghua University(清华大学);Wayne State University(韦恩州立大学);Kuaishou Technology(快手科技)
提出D-Net,通过自注意力点搜索和可学习特征融合学习点云中点的独特性,以提升形状理解性能,并在ModelNet和ShapeNet数据集上达到最先进水平。
2023-05-10 cs.CV
FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion
University of California, Davis(加州大学戴维斯分校)
针对3D目标检测的多模态数据融合需求,提出纯ViT架构的分层检测模型FusionViT,通过Transformer嵌入图像与点云并经融合ViT融合特征,在KITTI、Waymo Open数据集上达到SOTA性能。
2023-11-07 cs.CV
End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds
Waymo LLC(Waymo有限责任公司)
最近的工作对3D目标检测主张点云体素化鸟瞰图,其中对象保持其物理尺寸和自然分离。然而,当在该视图中表示时,点云是稀疏的并且具有高度可变的点密度,这可能导致检测器难以检测远处或小的对象(行人、交通标志等)。另一方面,透视图提供了密集的观察,这可以允许对这种情况进行更有利的特征编码。在本文中,我们的目标是协同鸟瞰视图和透视视图,并提出了一种新的端到端的多视图融合(MVF)算法,它可以有效地学习,以利用两者的互补信息。具体来说,我们引入了动态体素化,与现有的体素化方法相比,它具有四个优点:i)不需要预先分配具有固定大小的张量; ii)克服由于随机点/体素丢失而导致的信息丢失; iii)产生确定性的体素嵌入和更稳定的检测结果; iv)建立点与体素之间的双向关系,这为跨视图特征融合奠定了基础。通过采用动态体素化,建议的特征融合架构,使每个点学习融合上下文信息从不同的意见。MVF对点进行操作,并且可以自然地扩展到使用LiDAR点云的其他方法。我们在新发布的Waymo Open Dataset和KITTI数据集上广泛评估了我们的MVF模型,并证明它比可比的单视图PointPillars基线显著提高了检测准确性。
2019-10-23 cs.CV
IMFNet: Interpretable Multimodal Fusion for Point Cloud Registration
Image X Institute, University of Sydney(悉尼大学 Image X 研究所);Jiangxi University of Finance and Economics(江西财经大学);Sany(三一集团)
现有的点描述器只依赖于点的结构信息,而忽略了纹理信息。然而,纹理信息对于我们人类区分场景部分至关重要。此外,目前基于学习的点描述符都是黑箱,不清楚原始点如何对最终描述符做出贡献。在本文中,我们提出了一种新的多模态融合方法来产生一个点云注册描述符,同时考虑结构和纹理信息。具体而言,一种新的注意力融合模块被设计为提取加权纹理信息的描述符提取。此外,我们提出了一个可解释的模块来解释原始点,有助于最终的描述符。我们使用描述符元素作为反向传播到目标层的损失,并将梯度视为该点对最终描述符的重要性。本文进一步解释了注册任务中的深度学习。在3DMatch、3DLoMatch和KITTI上的综合实验表明,该多模态融合描述子达到了最新的精度,提高了描述子的区分度。我们还证明了我们的解释模块在解释注册描述符提取。
2021-11-18 cs.CV
SelFLoc: Selective Feature Fusion for Large-scale Point Cloud-based Place Recognition
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
本文提出SelFLoc架构,通过结合堆叠非对称卷积块(SACB)和选择性特征融合块(SFFB),有效增强点云特征表示与融合,在多个基准上实现了最先进的场景识别性能。
2024-09-24 cs.CV
Advancing Precision in Multi-Point Cloud Fusion Environments
AIT Austrian Institute of Technology(奥地利技术研究所)
本研究通过引入合成数据集和CloudCompare插件,评估多点云匹配方法,提升工业检测中配准精度与缺陷可视化效率。
2025-08-05 cs.CV cs.GR
CasFusionNet: A Cascaded Network for Point Cloud Semantic Scene Completion by Dense Feature Fusion
Huazhong University of Science and Technology(华中科技大学)
语义场景补全(SSC)的目的是完成一个部分的三维场景,并同时预测其语义。现有的大多数工作采用体素表示,从而遭受的增长的内存和计算成本的体素分辨率的增加。虽然有一些工作试图从三维点云的角度来解决SSC,但他们没有充分利用场景完成和语义分割这两个任务之间的相关性和互补性。在我们的工作中,我们提出了CasFusionNet,一种新颖的级联网络,用于通过密集特征融合实现点云语义场景完成。具体来说,我们设计了(i)一个全局完成模块(GCM),以产生一个上采样和完整的,但粗糙的点集,(ii)一个语义分割模块(SSM),以预测由GCM生成的完成点的每点语义标签,以及(iii)一个局部细化模块(LRM),以进一步细化粗糙的完成点和相关的标签从局部的角度来看。我们通过在每一层中的密集特征融合来组织上述三个模块,并且级联总共四个层,其中我们还在每一层之间使用特征融合以充分利用信息。在我们编译的两个基于点的数据集上的定量和定性结果都验证了我们的CasFusionNet在场景完成和语义分割方面与最先进的方法相比的有效性和优越性。代码和数据集可在https://github.com/JinfengX/CasFusionNet上获得。
2022-11-24 cs.CV
Beyond single receptive field: A receptive field fusion-and-stratification network for airborne laser scanning point cloud classification
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
机载激光扫描点云分类是遥感和摄影测量领域的一项重要任务。虽然最近基于深度学习的方法取得了令人满意的性能,但它们忽略了感受野的单一性,这使得ALS点云分类对于具有复杂结构和极端尺度变化的区域的识别仍然具有挑战性。在这篇文章中,为配置多感受野功能的目标,我们提出了一种新的感受野融合和分层网络(RFFS-Net)。以一种新的扩张图卷积(DGConv)及其扩展的环形扩张卷积(ADConv)为基本构建块,利用扩张和环形图融合(DAGFusion)模块实现了感受野融合过程,该模块通过捕获具有不同感受区域的扩张和环形图来获得多感受野特征表示。以不同分辨率的点集为计算基础,通过嵌套在RFFS-Net中的多级解码器进行感受野分层,并由多级感受野聚集损失(MRFAloss)驱动,驱动网络向不同分辨率的监督标签方向学习。RFFS网络具有感受野融合和分层的特性,更适合于大尺度ALS点云中结构复杂、尺度变化剧烈的区域的分类。在ISPRS Vaihingen 3D数据集上进行评估,我们的RFFS-Net在mF 1和mIoU上的表现明显优于基线方法5.3%和5.4%,总体准确率为82.1%,mF 1为71.6%,mIoU为58.2%。此外,在LASDU数据集和2019年IEEE-GRSS数据融合竞赛数据集上的实验表明,RFFS-Net实现了新的最先进的分类性能。
2022-07-21 cs.CV
Multi-Sem Fusion: Multimodal Semantic Fusion for 3D Object Detection
University of Macau(澳门大学);Beijing Institute of Technology(北京理工大学);Beijing Jiaotong University(北京交通大学);Beihang University(北京航空航天大学);Inceptio(嬴彻科技)
提出多语义融合框架MSF,融合2D图像与3D点云语义分割结果,通过自适应注意力融合和深度特征融合模块,提升3D目标检测性能,在nuScenes基准上取得最先进结果。
2023-06-17 cs.CV
Data fusion of satellite imagery for generation of daily cloud free images at high resolution level
National University of Water and Environmental Engineering(国立水利与环境工程大学);EOS Data Analytics Ukraine(乌克兰EOS数据分析公司);Oles Honchar Dnipro National University(奥列西·贡恰尔第聂伯国立大学)
在本文中,我们讨论了一种新的变分方法的日期融合问题的多光谱卫星图像从哨兵-2和MODIS已被捕获在不同的分辨率水平,可以说,在不同的日子。我们的方法的关键点是MODIS图像是无云的,而Sentinel-2的图像可能会被云或噪声破坏。
2023-02-24 cs.CV math.OC
Heterogeneous SAR-optical fusion for near-real-time land use and land cover mapping under cloud contamination: A novel framework and global benchmark dataset
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing(信息工程测绘与遥感国家重点实验室);School of Computer Science and Information Engineering(计算机科学与信息工程学院);Hangzhou International Innovation Institute(杭州国际创新研究院);Oriental Space Port Research Institute(东方航天港研究院);Hubei Luojia Laboratory(湖北珞珈实验室)
针对云污染导致光学遥感不可靠的问题,提出端到端异质SAR-光学融合框架CloudLULC-Net,通过光学可靠性调制、异质信息自适应聚合和统一语义映射变换器,实现近实时LULC制图,并构建含40,223个三元组的全球基准数据集CloudLULC-Set,在多个指标上优于现有方法。
2026-06-17 cs.CV
TriFusion-AE: Language-Guided Depth and LiDAR Fusion for Robust Point Cloud Processing
Department of Mechanical Engineering(机械工程系);Indian Institute of Technology Bombay(印度理工学院班加罗尔);Mumbai, India(孟买,印度)
本文提出TriFusion-AE,通过融合文本先验、单目深度图和LiDAR点云,利用交叉注意力学习鲁棒表示,在强噪声和对抗攻击下显著提升点云自编码器的重建性能。
2025-09-23 cs.CV
Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds
Queen’s University(女王大学)
协作感知允许联网自主车辆(CAV)与附近的其他CAV交互,以增强对周围物体的感知,从而提高安全性和可靠性。它可以弥补传统车辆感知的局限性,如盲点,低分辨率和天气影响。一个有效的特征融合模型可以改善特征选择和信息聚合,进一步提高协同感知的中间融合方法的感知精度。我们提出了自适应特征融合模型与可训练的特征选择模块。我们提出的模型之一空间自适应特征融合(S-AdaFusion)在OPV 2V数据集的两个子集上的性能优于所有其他最先进的(SOTA):用于车辆检测的默认CARLA Towns和用于领域自适应的Culver City。此外,以前的研究只测试了车辆检测的合作感知。然而,行人更有可能在交通事故中受重伤。我们使用CODD数据集评估车辆和行人检测的合作感知性能。我们的架构在CODD数据集上实现了比其他现有模型更高的车辆和行人检测平均精度(AP)。实验结果表明,与传统的单车辆感知过程相比,协同感知也提高了行人检测的准确性。
2023-01-12 cs.CV
GLF-CR: SAR-Enhanced Cloud Removal with Global-Local Fusion
Wuhan University(武汉大学);Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心)
借助可以穿透云层的合成孔径雷达(SAR)图像,可以减轻除云任务的挑战。然而,光学图像与SAR图像之间存在较大的域差,SAR图像存在严重的斑点噪声,这可能对SAR图像去云产生严重干扰,导致去云性能下降。在本文中,我们提出了一种新的基于全局-局部融合的云去除(GLF-CR)算法,利用嵌入在SAR图像中的互补信息。利用SAR信息的力量来促进云的去除需要两个方面。第一,全局融合,引导所有局部光学窗口之间的关系,以保持恢复区域的结构与剩余的无云区域一致。第二,局部融合,转移互补信息嵌入在SAR图像中对应的多云区域,以产生可靠的纹理细节的缺失区域,并使用动态滤波,以减轻斑点噪声造成的性能下降。在SEN 12 MS-CR数据集上的实验结果表明,该算法能够获得高质量的无云图像,并且在PSNR方面比现有的去云算法提高了约1.7dB。
2022-08-09 cs.CV eess.IV
PV-SSD: A Multi-Modal Point Cloud Feature Fusion Method for Projection Features and Variable Receptive Field Voxel Features
针对点云3D检测中规则化表示易致信息损失的问题,提出PV-SSD多模态融合方法,通过双分支提取投影与可变感受野体素特征并融合,在KITTI和ONCE数据集上验证了有效性。
2024-04-13 cs.CV
Select-and-Combine (SAC): A Novel Multi-Stereo Depth Fusion Algorithm for Point Cloud Generation via Efficient Local Markov Netlets
The Ohio State University(俄亥俄州立大学);Geospatial Data Analytics lab(地理空间数据分析实验室);Department of Electrical and Computer Engineering(电气与计算机工程系);Translational Data Analytics Institute(转化数据分析研究所)
针对现有多立体深度融合算法假设高斯误差、易继承多深度不确定性导致精度低的问题,提出SAC范式,通过局部马尔可夫小网络选最优深度图再组合,F1分数提升2.07%,点云冗余降18%且精度更高。
2023-08-23 cs.CV
Training-Free Point Cloud Recognition Based on Geometric and Semantic Information Fusion
Institute of Data and Information Tsinghua University(清华大学数据与信息研究所);Intelligent Creation ByteDance(字节跳动智能创作)
针对现有免训练点云识别方法仅提取单一特征的局限,该研究首次提出融合几何与语义特征的免训练方法,引入GFE和MFF模块,在主流基准上性能超越现有SOTA免训练方法。
2025-01-11 cs.CV
Refine Then Fusion: Training-Free 3D Point Cloud Adaptation with Priority Refinement and Multi-Modal Knowledge Fusion
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对少样本三维点云识别中多模态特征冗余与模态可靠性差异问题,提出无训练框架RTF,通过优先级通道精炼和可靠性感知融合实现自适应多模态聚合,在五个基准上达到最先进性能。
2026-09-21 cs.CV
Fast Point Voxel Convolution Neural Network with Selective Feature Fusion for Point Cloud Semantic Segmentation
University of Missouri(密苏里大学)
我们提出了一种新的轻量级卷积神经网络的点云分析。与目前许多通过下采样点云来增加感受野的CNN相比,我们的方法直接对整个点集进行操作而无需采样,并且有效地实现了良好的性能。我们的网络由点体素卷积(PVC)层作为构建块组成。每一层都有两个平行的分支,即体素分支和点分支。对于体素分支,我们聚集非空体素中心的局部特征,以减少体素化引起的几何信息丢失,然后应用体积卷积来增强局部邻域几何编码。对于点分支,我们使用多层感知器(MLP)来提取精细详细的逐点特征。来自这两个分支的输出通过特征选择模块自适应地融合。此外,我们监督每个PVC层的输出,以学习不同层次的语义信息。最终预测是通过平均所有中间预测来进行的。我们的经验表明,我们的方法是能够实现可比的结果,同时是快速和内存效率。我们评估我们的方法对流行的点云数据集的对象分类和语义分割任务。
2021-09-23 cs.CV
Lean Learning Beyond Clouds: Efficient Discrepancy-Conditioned Optical-SAR Fusion for Semantic Segmentation
School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
本文提出EDC框架,通过三流编码器和Discrepancy-Conditioned Hybrid Fusion机制提升光- SAR融合的效率和鲁棒性,实验显示在M3M-CR和WHU-OPT-SAR数据集上mIoU提升0.56%和0.88%,参数量减少46.7%。
2026-03-21 cs.CV
A Multi-modal Garden Dataset and Hybrid 3D Dense Reconstruction Framework Based on Panoramic Stereo Images for a Trimming Robot
Shenzhen Amigaga Technology Co. Ltd.(深圳阿米嘎嘎科技有限公司);School of Informatics, University of Edinburgh(爱丁堡大学信息学院);The University of Sydney(悉尼大学)
提出一种基于全景立体相机和三个融合模块的混合框架,用于修剪机器人室外花园场景的三维稠密重建,并在真实数据集上验证了优越性能。
2023-05-10 cs.CV
SPARK: Scalable Real-Time Point Cloud Aggregation with Multi-View Self-Calibration
SPARK通过自校准实时多摄像机点云重建框架,实现稳定且高效的点云融合与外参估计,适用于大规模3D重建场景。
2026-02-06 cs.CV
3D Object Tracking with Transformer
Northeastern University(东北大学)
特征融合和相似度计算是三维目标跟踪中的两个核心问题,特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息,使相似度计算更加有效。然而,大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性,而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制,Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征,在当前点云特征中加入更多的目标线索,计算区域注意力,提高了相似度计算的效率。基于此特征融合网络,我们提出了一个端到端的点云目标跟踪框架,一个简单而有效的方法,用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明,我们的方法达到了新的最先进的性能。代码可在:https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Homogeneous Multi-modal Feature Fusion and Interaction for 3D Object Detection
East China Normal University(华东师范大学);Shanghai AI Lab(上海人工智能实验室);Fudan University(复旦大学)
多模态三维目标检测是自动驾驶领域的一个研究热点。然而,探索稀疏3D点和密集2D像素之间的跨模态特征融合并非易事。最近的方法要么融合图像特征与点云特征,投影到2D图像平面上,或者将稀疏点云与密集图像像素相结合。这些融合方法往往遭受严重的信息丢失,从而导致次优性能。为了解决这些问题,我们通过将相机特征转换到LiDAR 3D空间来构建点云和图像之间的同构结构,以避免投影信息丢失。本文提出了一种用于三维目标检测的同质多模态特征融合与交互方法。具体来说,我们首先设计了一个图像体素升降机模块(IVLM),以提升到3D空间的2D图像特征,并生成均匀的图像体素功能。然后,通过引入基于自注意的查询融合机制(QFM),将体素化后的点云特征与不同区域的图像特征进行融合。接下来,我们提出了一个体素特征交互模块(VXI),以加强同质点云和图像体素表示中相同对象的语义信息的一致性,这可以为跨模态特征融合提供对象级对齐指导,并增强复杂背景下的区分能力。我们在KITTI和Waymo Open Dataset上进行了广泛的实验,与最先进的多模态方法相比,所提出的HMFI实现了更好的性能。特别是,对于骑自行车的3D检测的KITTI基准,HMFI超过了所有已发表的算法的大幅度。
2022-10-18 cs.CV
FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection
China University of Mining and Technology(中国矿业大学);Shanghai Jiao Tong University(上海交通大学)
彩色图像的纹理特征与LiDAR点云的几何信息之间存在着很好的互补性。然而,在三维目标检测领域中,有效和鲁棒的特征融合仍然存在许多挑战。在本文中,首先,非结构化的三维点云填充在二维平面和三维点云特征提取更快地使用投影感知卷积层。此外,在数据预处理中预先建立不同传感器信号之间的对应指标,这使得能够更快地进行跨模态特征融合。为了解决LiDAR点和图像像素错位问题,提出了两种新的即插即用融合模块LiCameroon和BiLiCameroon。在LiCameroon中,提出了感知双峰特征的欧氏距离的软查询权重。在BiLiCamellia中,提出了具有双重注意力的融合模块,以深度关联场景的几何和纹理特征。在KITTI数据集上的定量结果表明,该方法实现了更好的特征级融合。此外,与现有方法相比,该网络的运行时间更短。
2022-09-15 cs.CV
2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds
Shenzhen Research Institute of Big Data(深圳大数据研究院);Shanghai University(上海大学);Tencent Map, T Lab(腾讯地图T实验室)
由于相机和激光雷达传感器捕获自动驾驶中使用的互补信息,因此已经做出了很大努力来通过多模态数据融合开发语义分割算法。然而,基于融合的方法需要成对的数据,即,LiDAR点云和相机图像具有严格的点到像素映射,作为训练和推理的输入,这严重阻碍了其在实际场景中的应用。因此,在这项工作中,我们提出了二维先验辅助语义分割(2DPASS),一个通用的训练计划,以提高点云的表示学习,充分利用2D图像具有丰富的外观。在实际应用中,2DPASS通过辅助模态融合和多尺度融合到单一知识蒸馏(MSFSKD),从多模态数据中获取更丰富的语义和结构信息,然后在线蒸馏到纯3D网络。因此,配备2DPASS后,我们的基线仅使用点云输入就显示出显著的改进。具体来说,它在两个大规模基准测试(即SemanticKITTI和NuScenes)上达到了最先进的水平,包括SemanticKITTI的单次和多次扫描比赛中的前1名结果。
2022-10-14 cs.CV
Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark
School of Electronic Information, Wuhan University(武汉大学电子信息学院);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对高分辨率去云中数据集缺失及生成结构语义有效性缺乏评估的问题,提出M3R-CR基准数据集与Align-CR基线,通过逐步扭曲与融合多模态多分辨率特征缓解错位问题,在图像重建与语义分割评估中均优于其他基线。
2024-10-11 cs.CV
RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation
Hikvision Research Institute(海康威视研究院);Zhejiang University(浙江大学)
点云可以以许多形式(视图)表示,通常是基于点的集合、基于体素的单元或基于范围的图像(即,全景)。基于点的视图在几何上是精确的,但它是无序的,这使得很难有效地找到局部邻居。基于体素的视图是规则的,但是稀疏的,并且当体素分辨率增加时,计算以立方方式增长。基于范围的视图是规则的并且通常是密集的,然而球面投影使物理维度失真。基于体素和基于范围的视图都遭受量化损失,特别是对于面对大规模场景的体素。为了在细粒度分割任务中充分利用不同视点的优势,同时弥补各自的不足,提出了一种新的距离-点-体素融合网络RPVNet。在该网络中,我们设计了一个深度融合框架,这三个视图之间的多个和互信息交互,并提出了一个门控融合模块(称为GFM),它可以自适应地合并三个功能的基础上并发输入。此外,建议RPV相互作用机制是高效的,我们总结成一个更一般的配方。通过利用这种有效的相互作用和相对较低的体素分辨率,我们的方法也被证明是更有效的。最后,我们在两个大规模数据集上评估了所提出的模型,即,SemanticKITTI和nuScenes,它在这两个方面都展示了最先进的性能。请注意,我们的方法目前在SemanticKITTI排行榜上排名第一,没有任何额外的技巧。
2021-03-24 cs.CV
PointMBF: A Multi-scale Bidirectional Fusion Network for Unsupervised RGB-D Point Cloud Registration
Fudan University(复旦大学);Shandong Computer Science Center (National Supercomputer Center in Jinan)(山东省计算中心(国家超级计算济南中心))
本文提出PointMBF网络,通过多尺度双向融合RGB图像与深度点云特征,提升无监督RGB-D点云配准精度,在ScanNet和3DMatch上取得最优性能。
2023-08-09 cs.CV
TFCT-I2P: Three stream fusion network with color aware transformer for image-to-point cloud registration
Huazhong University of Science and Technology(华中科技大学)
本文提出TFCT-I2P方法,通过三流融合网络结合图像颜色与点云结构信息,并设计颜色感知Transformer缓解块级错位,在多个数据集上显著提升图像到点云配准性能。
2024-10-01 cs.CV
LATTE: Accelerating LiDAR Point Cloud Annotation via Sensor Fusion, One-Click Annotation, and Tracking
Berkeley AI Research(伯克利人工智能研究院);University of California, Berkeley(加州大学伯克利分校);Huaqiao University(华侨大学)
LiDAR(光探测和测距)是自动驾驶汽车的一种重要且广泛采用的传感器,特别是对于那些在更高级别(L4-L5)自动驾驶下运行的车辆。最近的工作已经证明了深度学习方法对基于LiDAR的检测的承诺。然而,深度学习算法非常需要数据,需要大量标记的点云数据进行训练和评估。由于以下问题,对LiDAR点云数据进行注释具有挑战性:1)LiDAR点云通常是稀疏的并且具有低分辨率,使得人类注释者难以识别对象。2)与2D图像上的注释相比,在LiDAR点云上绘制3D边界框甚至逐点标签的操作更加复杂和耗时。3)LiDAR数据通常是按顺序收集的,因此连续的帧高度相关,导致重复注释。为了应对这些挑战,我们提出了LATTE,这是一种用于LiDAR点云的开源注释工具。LATTE具有以下创新:1)传感器融合:我们利用基于图像的检测算法自动预标记校准图像,并将标签转移到点云。2)一键标注:我们没有绘制3D边界框或逐点标签,而是将注释简化为只需单击目标对象,并自动生成目标的限界框。3)跟踪:我们将跟踪集成到序列注释中,使得我们可以将标签从一个帧转移到后续帧,从而显著减少重复标记。实验结果表明,该特征将标注速度提高了6.2倍,显著提高了标注质量,实例级准确率和召回率分别提高了23.6%和2.2%,限界框IoU提高了2.0%。LATTE在https://github.com/bernwang/latte上是开源的。
2019-04-19 cs.CV
MSF: Motion-guided Sequential Fusion for Efficient 3D Object Detection from Point Cloud Sequences
The Hong Kong Polytechnic University(香港理工大学)
点云序列通常用于在自动驾驶等应用中准确检测3D对象。当前性能最高的多帧检测器大多遵循检测并融合框架,该框架从序列的每个帧中提取特征并融合它们以检测当前帧中的对象。然而,这不可避免地导致冗余计算,因为相邻帧是高度相关的。在本文中,我们提出了一种有效的运动引导顺序融合(MSF)方法,该方法利用对象运动的连续性来挖掘有用的顺序上下文,用于当前帧中的目标检测。我们首先在当前帧上生成3D建议,并根据估计的速度将它们传播到前面的帧。然后从序列中汇集兴趣点并编码为建议特征。提出了一种新的双向特征聚合(BiFA)模块,以促进跨框架的建议特征的交互。此外,我们优化点云池基于体素的采样技术,使数百万点可以在几毫秒内处理。提出的MSF方法不仅比其他多帧检测器具有更好的效率,而且准确率也领先,在Waymo Open Dataset的LEVEL1和LEVEL2测试集上分别获得83.12%和78.30%的mAP。代码可在\url{https://github.com/skyhehe123/MSF}上找到。
2023-03-15 cs.CV
Asynchronous Remote Sensing Time-Series Fusion for Cloud Removal and Anytime Reconstruction
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学);School of Geographical Sciences and Urban Planning, Arizona State University(地理科学与城市规划学院,亚利桑那州立大学);Woodwell Climate Research Center(伍德沃德气候研究中心)
提出AGFlow模型,通过时间对齐生成流匹配融合异步S1/S2数据,实现云去除、缺失帧重建及任意时间查询。
2026-05-26 cs.CV
Frustum Fusion: Pseudo-LiDAR and LiDAR Fusion for 3D Detection
Koc University(科奇大学)
大多数自动驾驶汽车都配备了LiDAR传感器和立体摄像头。前者是非常准确的,但产生稀疏的数据,而后者是密集的,有丰富的纹理和颜色信息,但难以提取鲁棒的3D表示。在本文中,我们提出了一种新的数据融合算法相结合,从立体对密集,但不太准确的点云精确的点云。我们开发了一个框架,将该算法集成到各种三维目标检测方法。我们的框架从两个RGB图像的2D检测开始,计算平截头体及其相交,从立体图像创建伪LiDAR数据,并用密集的伪LiDAR点填充LiDAR数据缺乏的相交区域的部分。我们训练多个三维目标检测方法,并表明我们的融合策略不断提高检测器的性能。
2021-11-08 cs.CV
C-GenReg: Training-Free 3D Point Cloud Registration by Multi-View-Consistent Geometry-to-Image Generation with Probabilistic Modalities Fusion
Ben-Gurion University(本·古里安大学)
C-GenReg通过多视角一致的几何到图像生成,结合概率模态融合,实现无训练的3D点云配准,解决了跨模态、采样差异和环境的泛化问题。
2026-04-17 cs.CV
FGFusion: Fine-Grained Lidar-Camera Fusion for 3D Object Detection
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Leicester(莱斯特大学);Luoyang Normal University(洛阳师范学院)
本文提出FGFusion方法,通过双路径层次结构、辅助网络和多尺度融合,细粒度地融合图像与点云特征,在KITTI和Waymo上提升三维目标检测性能。
2023-09-21 cs.CV
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications(北京邮电大学)
随着自动驾驶技术的蓬勃发展,复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波(mmWave)雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先,我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说,我们将融合方法分为数据级,决策级和特征级融合方法。此外,我们还介绍了三维(3D)目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合,这些都是未来很有希望的。最后,对本文进行了总结。
2022-04-01 cs.CV
A Cross Branch Fusion-Based Contrastive Learning Framework for Point Cloud Self-supervised Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Tsinghua University(清华大学);Fraunhofer Institute of Optronics, System Technologies and Image Exploitation IOSB(弗劳恩霍夫光电、系统技术和图像处理研究所)
针对点云无监督学习,提出对比跨分支注意力框架PoCCA,通过引入子分支实现损失端前的跨分支信息交换,学习丰富3D表示,在无额外数据时下游任务达SOTA。
2025-05-30 cs.CV
APNet: Urban-level Scene Segmentation of Aerial Images and Point Clouds
University of Amsterdam(阿姆斯特丹大学)
提出 APNet 双分支网络,通过几何感知融合协同点云与由点云生成的航空图像,并以独立损失优化分支,在 SensatUrban 上达到 65.2 mIoU 的最先进水平。
2023-09-29 cs.CV