One-Nearest Neighborhood Guides Inlier Estimation for Unsupervised Point Cloud Registration
Xidian University（西安电子科技大学）；Swinburne University of Technology（斯威本科技大学）
针对无监督点云配准中缺乏可靠内点估计的问题，提出基于 One-Nearest Neighborhood 的几何结构一致性方法，通过双重邻域匹配和变换不变表示提升内点置信度评分，并提供自监督信号，实验验证了其有效性。
2023-07-26 cs.AI cs.CV
VTPNet for 3D deep learning on point cloud
Northwest University（西北大学）；East China Jiaotong University（华东交通大学）
针对基于Transformer的点云学习方法计算开销大的问题，提出VTPNet，结合体素、点和Transformer分支提取局部与全局特征，在多个基准上取得良好性能。
2023-05-10 cs.CV
MNEW: Multi-domain Neighborhood Embedding and Weighting for Sparse Point Clouds Segmentation
Aptiv Corporation（安波福公司）
点云在三维语义场景理解中得到了广泛的应用。然而，用于3D形状分割或室内场景解析等典型任务的点云比用于自动驾驶感知应用的室外LiDAR扫描要密集得多。由于点云空间特性的差异，许多针对密集点云的有效方法在稀疏点云上的效果往往会降低。在本文中，我们专注于室外稀疏点云的语义分割任务。我们提出了一种新的方法，称为MNEW，包括多域邻域嵌入，并注意力加权的基础上，他们的几何距离，特征相似性和邻域稀疏性。该网络结构继承了PointNet直接处理点云以捕获逐点细节和全局语义的思想，并通过在静态几何域和动态特征空间中引入多尺度局部邻域进行改进。MNEW的距离/相似性注意和稀疏适应加权机制使其能够适应广泛的数据稀疏分布。通过在虚拟和真实KITTI语义数据集上进行的实验，MNEW在稀疏点云上实现了最佳性能，这对基于LiDAR的自动驾驶感知的应用至关重要。
2020-04-05 cs.CV cs.LG eess.IV
DMF-Net: Image-Guided Point Cloud Completion with Dual-Channel Modality Fusion and Shape-Aware Upsampling Transformer
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
本文提出DMF-Net，通过双通道模态融合和形状感知上采样Transformer，以由粗到细的方式实现图像引导的点云补全，在ShapeNet-ViPC数据集上优于现有方法。
2024-06-25 cs.CV
Efficient LiDAR Point Cloud Geometry Compression Through Neighborhood Point Attention
Nanjing University（南京大学）
尽管多尺度稀疏张量的卷积表示在精确建模密集对象点云几何分量压缩的占用概率方面表现出了卓越的效率，但其表示稀疏LiDAR点云几何（PCG）的能力在很大程度上受到限制。这是因为：1）卷积的固定感受野不能很好地表征极端和不均匀分布的稀疏LiDAR点; 2）具有固定权重的预训练卷积不足以动态捕获以输入为条件的信息。因此，这项工作提出了邻域点注意（NPA）来解决这些问题，我们首先使用k个最近的邻居（kNN）来构建自适应的局部邻域，然后利用自注意力机制来动态地聚合该邻域内的信息。这种NPA被设计为NPAFormer，以最好地利用跨尺度和同尺度相关性进行几何占用概率估计。与使用标准化G-PCC的锚点相比，我们的方法在有损压缩下提供了>17%的BD速率增益，并且在SemanticKITTI和Ford数据集中使用流行的LiDAR点云的无损场景下提供了>14%的比特率降低。与使用注意力优化八叉树编码方法的最新（SOTA）解决方案相比，我们的方法需要更少的解码运行时间，平均约640倍的加速比，同时仍然呈现出更好的压缩效率。
2022-08-26 cs.CV eess.IV
Depth-Semantic Alignment and Affinity-Guided Fusion for Structured Radar Point Cloud Generation
Zhejiang University（浙江大学）
针对毫米波雷达点云稀疏、噪声大、结构不完整的问题，提出基于视觉-雷达融合的多模态点云生成方法，利用图像语义约束和稀疏补全策略提升点云质量，并在检测跟踪任务中验证有效性。
2026-07-20 cs.CV
BoundED: Neural Boundary and Edge Detection in 3D Point Clouds via Local Neighborhood Statistics
University of Bonn（波恩大学）；Delft University of Technology（代尔夫特理工大学）
从3D点云中提取高级结构信息具有挑战性，但对于城市规划或自动驾驶等需要深入了解现场的任务至关重要。现有的方法仍然不能产生高质量的结果一致，同时足够快，以部署在需要交互性的场景。我们建议利用一组新的特征，通过一阶和二阶统计量在每个点的基础上描述局部邻域，作为一个简单而紧凑的分类网络的输入，以区分给定数据中的非边缘，尖锐边缘和边界点。利用此嵌入功能，我们的算法能够在质量和处理时间方面优于最先进的技术。
2022-10-24 cs.CV cs.GR
Background-Aware 3D Point Cloud Segmentationwith Dynamic Point Feature Aggregation
Syracuse University（雪城大学）
随着激光雷达传感器和3D视觉相机的普及，3D点云分析近年来引起了人们的极大关注。在先驱工作PointNet取得成功之后，基于深度学习的方法越来越多地应用于各种任务，包括三维点云分割和三维对象分类。在本文中，我们提出了一种新的三维点云学习网络，称为动态点特征聚合网络（DPFA-Net），通过选择性地执行动态池和注意力机制的邻域特征聚合。DPFA-Net有两个变体用于3D点云的语义分割和分类。作为DPFA-Net的核心模块，我们提出了一个特征聚合层，其中每个点的动态邻域的特征通过自注意力机制聚合。与其他分割模型相比，它从固定的邻域中聚合特征，我们的方法可以聚合不同层中不同邻域的特征，为查询点提供更具选择性和更广泛的视图，并更多地关注局部邻域中的相关特征。此外，为了进一步提高所提出的语义分割模型的性能，我们提出了两个新的方法，即两阶段BF-网络和BF-正则化，以利用背景-前景信息。实验结果表明，该算法在S3 DIS数据集上实现了语义分割的最佳整体准确率，并在语义分割、零件分割和3D对象分类等不同任务中均具有令人满意的性能。与其他方法相比，它在计算上也更有效。
2021-11-14 cs.CV
Channel-Level Relation to Attentive Aggregation with Neighborhood-Homogeneity Constraint for Point Cloud Analysis
1School of Automation Science；Electrical Engineering, Beihang University, Beijing, China 2Wuhan Leaddo Measuring \& Control Technology, Wuhan, China 3School of Artificial Intelligence, Beihang University, Beijing, China Emails
本文提出PointCRA网络，通过引入时间趋势变化作为新评估维度，解决现有空间和通道注意机制中权重维度坍缩导致的信息丢失问题，提升点云分析的精度与效率。
2026-05-08 cs.CV
Automatic labelling of urban point clouds using data fusion
Chief Technology Office, City of Amsterdam（阿姆斯特丹市首席技术办公室）
在本文中，我们描述了一种方法来半自动地创建一个标记的数据集的语义分割的城市街道级点云。我们使用数据融合技术，使用公共数据源，如高程数据和大规模地形图，自动标记点云的部分，之后只需要有限的人力来检查结果，并在需要的地方进行修改。这极大地限制了创建标记数据集所需的时间，该标记数据集足够广泛以训练深度语义分割模型。我们将我们的方法应用于阿姆斯特丹地区的点云，并成功地在标记数据集上训练了RandLA-Net语义分割模型。这些结果证明了智能数据融合和语义分割在未来智能城市规划和管理中的潜力。
2021-10-15 cs.CV
Addressing Data Misalignment in Image-LiDAR Fusion on Point Cloud Segmentation
针对相机与LiDAR融合中点云投影错位导致分割困难的问题，本文基于nuScenes和2DPASS分析原因并提出改进方案。
2023-09-26 cs.CV
Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
立体激光雷达融合是一项很有前途的任务，因为我们可以利用两种不同类型的3D感知用于实际用途-密集的3D信息（立体相机）和高精度的稀疏点云（LiDAR）。然而，由于它们的模态和结构不同，传感器数据对齐的方法是成功的传感器融合的关键。为此，我们提出了一种几何感知的立体激光雷达融合网络的远程深度估计，称为体积传播网络。我们的网络的关键思想是利用稀疏和准确的点云作为线索，在统一的3D体积空间中引导立体图像的对应关系。与现有的融合策略不同，我们直接将点云嵌入到体积中，这使我们能够将有效信息传播到体积中的邻近体素中，并减少对应关系的不确定性。因此，它允许我们无缝地融合两种不同的输入方式，并回归一个长距离的深度图。我们的融合进一步增强了新提出的特征提取层的点云图像引导：FusionConv。FusionConv提取点云特征，考虑语义（2D图像域）和几何（3D域）关系，并帮助在体积上融合。在最近的立体激光雷达融合方法中，我们的网络在KITTI和Virtual-KITTI数据集上实现了最先进的性能。
2021-03-24 cs.CV
Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
Shanghai Jiao Tong University（上海交通大学）
针对稀疏视图 NeRF 中深度图噪声与重建耗时问题，提出深度引导的点云融合及向量-矩阵分解体素网格方法，提升准确性、紧凑性和速度。
2024-03-04 cs.CV
Deep Models with Fusion Strategies for MVP Point Cloud Registration
DeepGlint（深瞳）；Shanghai Jiao Tong University（上海交通大学）；Sichuan University（四川大学）
多视图部分（MVP）挑战赛2021中点云配准的主要目标是估计刚性变换以对齐点云对。本次比赛中的对具有低重叠、密度不均匀、旋转不受限制和模糊等特点，这对配准任务提出了巨大的挑战。在本报告中，我们介绍了我们的注册任务解决方案，该解决方案融合了两个深度学习模型：ROPNet和PREDATOR，并采用定制的集成策略。最后，在Rot_Error、Trans_Error和MSE指标下，我们分别以2.96546、0.02632和0.07808获得了配准轨迹的第二名。
2021-10-18 cs.CV
D-Net: Learning for Distinctive Point Clouds by Self-Attentive Point Searching and Learnable Feature Fusion
Tsinghua University（清华大学）；Wayne State University（韦恩州立大学）；Kuaishou Technology（快手科技）
提出D-Net，通过自注意力点搜索和可学习特征融合学习点云中点的独特性，以提升形状理解性能，并在ModelNet和ShapeNet数据集上达到最先进水平。
2023-05-10 cs.CV
TACOcc:Target-Adaptive Cross-Modal Fusion with Volume Rendering for 3D Semantic Occupancy
School of Software Engineering（软件工程学院）；Xi’an Jiaotong University（西安交通大学）
针对多模态3D占用预测中固定融合策略的几何语义不匹配与稀疏标注导致的表面细节丢失问题，提出TACOcc框架，通过目标自适应双向对称检索机制实现精准跨模态对齐，结合基于3D高斯溅射的体渲染监督增强细节重建，在两个基准上验证了有效性。
2025-05-19 cs.CV
IMFNet: Interpretable Multimodal Fusion for Point Cloud Registration
Image X Institute, University of Sydney（悉尼大学 Image X 研究所）；Jiangxi University of Finance and Economics（江西财经大学）；Sany（三一集团）
现有的点描述器只依赖于点的结构信息，而忽略了纹理信息。然而，纹理信息对于我们人类区分场景部分至关重要。此外，目前基于学习的点描述符都是黑箱，不清楚原始点如何对最终描述符做出贡献。在本文中，我们提出了一种新的多模态融合方法来产生一个点云注册描述符，同时考虑结构和纹理信息。具体而言，一种新的注意力融合模块被设计为提取加权纹理信息的描述符提取。此外，我们提出了一个可解释的模块来解释原始点，有助于最终的描述符。我们使用描述符元素作为反向传播到目标层的损失，并将梯度视为该点对最终描述符的重要性。本文进一步解释了注册任务中的深度学习。在3DMatch、3DLoMatch和KITTI上的综合实验表明，该多模态融合描述子达到了最新的精度，提高了描述子的区分度。我们还证明了我们的解释模块在解释注册描述符提取。
2021-11-18 cs.CV
SelFLoc: Selective Feature Fusion for Large-scale Point Cloud-based Place Recognition
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
本文提出SelFLoc架构，通过结合堆叠非对称卷积块（SACB）和选择性特征融合块（SFFB），有效增强点云特征表示与融合，在多个基准上实现了最先进的场景识别性能。
2024-09-24 cs.CV
LoGDesc: Local geometric features aggregation for robust point cloud registration
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ISIR（智能系统与机器人研究所）
本文提出LoGDesc混合描述子，结合PCA先验几何信息、三角形邻域法向量描述子以及图卷积和注意力传播，在多个基准上提升了含噪声和低重叠点云的配准性能。
2024-10-03 cs.CV
CasFusionNet: A Cascaded Network for Point Cloud Semantic Scene Completion by Dense Feature Fusion
Huazhong University of Science and Technology（华中科技大学）
语义场景补全（SSC）的目的是完成一个部分的三维场景，并同时预测其语义。现有的大多数工作采用体素表示，从而遭受的增长的内存和计算成本的体素分辨率的增加。虽然有一些工作试图从三维点云的角度来解决SSC，但他们没有充分利用场景完成和语义分割这两个任务之间的相关性和互补性。在我们的工作中，我们提出了CasFusionNet，一种新颖的级联网络，用于通过密集特征融合实现点云语义场景完成。具体来说，我们设计了（i）一个全局完成模块（GCM），以产生一个上采样和完整的，但粗糙的点集，（ii）一个语义分割模块（SSM），以预测由GCM生成的完成点的每点语义标签，以及（iii）一个局部细化模块（LRM），以进一步细化粗糙的完成点和相关的标签从局部的角度来看。我们通过在每一层中的密集特征融合来组织上述三个模块，并且级联总共四个层，其中我们还在每一层之间使用特征融合以充分利用信息。在我们编译的两个基于点的数据集上的定量和定性结果都验证了我们的CasFusionNet在场景完成和语义分割方面与最先进的方法相比的有效性和优越性。代码和数据集可在https://github.com/JinfengX/CasFusionNet上获得。
2022-11-24 cs.CV
Beyond single receptive field: A receptive field fusion-and-stratification network for airborne laser scanning point cloud classification
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
机载激光扫描点云分类是遥感和摄影测量领域的一项重要任务。虽然最近基于深度学习的方法取得了令人满意的性能，但它们忽略了感受野的单一性，这使得ALS点云分类对于具有复杂结构和极端尺度变化的区域的识别仍然具有挑战性。在这篇文章中，为配置多感受野功能的目标，我们提出了一种新的感受野融合和分层网络（RFFS-Net）。以一种新的扩张图卷积（DGConv）及其扩展的环形扩张卷积（ADConv）为基本构建块，利用扩张和环形图融合（DAGFusion）模块实现了感受野融合过程，该模块通过捕获具有不同感受区域的扩张和环形图来获得多感受野特征表示。以不同分辨率的点集为计算基础，通过嵌套在RFFS-Net中的多级解码器进行感受野分层，并由多级感受野聚集损失（MRFAloss）驱动，驱动网络向不同分辨率的监督标签方向学习。RFFS网络具有感受野融合和分层的特性，更适合于大尺度ALS点云中结构复杂、尺度变化剧烈的区域的分类。在ISPRS Vaihingen 3D数据集上进行评估，我们的RFFS-Net在mF 1和mIoU上的表现明显优于基线方法5.3%和5.4%，总体准确率为82.1%，mF 1为71.6%，mIoU为58.2%。此外，在LASDU数据集和2019年IEEE-GRSS数据融合竞赛数据集上的实验表明，RFFS-Net实现了新的最先进的分类性能。
2022-07-21 cs.CV
TriFusion-AE: Language-Guided Depth and LiDAR Fusion for Robust Point Cloud Processing
Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology Bombay（印度理工学院班加罗尔）；Mumbai, India（孟买，印度）
本文提出TriFusion-AE，通过融合文本先验、单目深度图和LiDAR点云，利用交叉注意力学习鲁棒表示，在强噪声和对抗攻击下显著提升点云自编码器的重建性能。
2025-09-23 cs.CV
Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds
Queen’s University（女王大学）
协作感知允许联网自主车辆（CAV）与附近的其他CAV交互，以增强对周围物体的感知，从而提高安全性和可靠性。它可以弥补传统车辆感知的局限性，如盲点，低分辨率和天气影响。一个有效的特征融合模型可以改善特征选择和信息聚合，进一步提高协同感知的中间融合方法的感知精度。我们提出了自适应特征融合模型与可训练的特征选择模块。我们提出的模型之一空间自适应特征融合（S-AdaFusion）在OPV 2V数据集的两个子集上的性能优于所有其他最先进的（SOTA）：用于车辆检测的默认CARLA Towns和用于领域自适应的Culver City。此外，以前的研究只测试了车辆检测的合作感知。然而，行人更有可能在交通事故中受重伤。我们使用CODD数据集评估车辆和行人检测的合作感知性能。我们的架构在CODD数据集上实现了比其他现有模型更高的车辆和行人检测平均精度（AP）。实验结果表明，与传统的单车辆感知过程相比，协同感知也提高了行人检测的准确性。
2023-01-12 cs.CV
Advancing Precision in Multi-Point Cloud Fusion Environments
AIT Austrian Institute of Technology（奥地利技术研究所）
本研究通过引入合成数据集和CloudCompare插件，评估多点云匹配方法，提升工业检测中配准精度与缺陷可视化效率。
2025-08-05 cs.CV cs.GR
Select-and-Combine (SAC): A Novel Multi-Stereo Depth Fusion Algorithm for Point Cloud Generation via Efficient Local Markov Netlets
The Ohio State University（俄亥俄州立大学）；Geospatial Data Analytics lab（地理空间数据分析实验室）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Translational Data Analytics Institute（转化数据分析研究所）
针对现有多立体深度融合算法假设高斯误差、易继承多深度不确定性导致精度低的问题，提出SAC范式，通过局部马尔可夫小网络选最优深度图再组合，F1分数提升2.07%，点云冗余降18%且精度更高。
2023-08-23 cs.CV
Training-Free Point Cloud Recognition Based on Geometric and Semantic Information Fusion
Institute of Data and Information Tsinghua University（清华大学数据与信息研究所）；Intelligent Creation ByteDance（字节跳动智能创作）
针对现有免训练点云识别方法仅提取单一特征的局限，该研究首次提出融合几何与语义特征的免训练方法，引入GFE和MFF模块，在主流基准上性能超越现有SOTA免训练方法。
2025-01-11 cs.CV
Refine Then Fusion: Training-Free 3D Point Cloud Adaptation with Priority Refinement and Multi-Modal Knowledge Fusion
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对少样本三维点云识别中多模态特征冗余与模态可靠性差异问题，提出无训练框架RTF，通过优先级通道精炼和可靠性感知融合实现自适应多模态聚合，在五个基准上达到最先进性能。
2026-09-21 cs.CV
Multi-Scale Neighborhood Occupancy Masked Autoencoder for Self-Supervised Learning in LiDAR Point Clouds
Bosch Center for AI（博世人工智能中心）；University of Freiburg（弗莱堡大学）
提出NOMAE，通过多尺度邻域占用重建解决LiDAR点云MAE的占用泄漏与计算复杂问题，在nuScenes和Waymo上实现SOTA。
2025-02-27 cs.AI cs.CV cs.RO
A Multi-modal Garden Dataset and Hybrid 3D Dense Reconstruction Framework Based on Panoramic Stereo Images for a Trimming Robot
Shenzhen Amigaga Technology Co. Ltd.（深圳阿米嘎嘎科技有限公司）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；The University of Sydney（悉尼大学）
提出一种基于全景立体相机和三个融合模块的混合框架，用于修剪机器人室外花园场景的三维稠密重建，并在真实数据集上验证了优越性能。
2023-05-10 cs.CV
SPARK: Scalable Real-Time Point Cloud Aggregation with Multi-View Self-Calibration
SPARK通过自校准实时多摄像机点云重建框架，实现稳定且高效的点云融合与外参估计，适用于大规模3D重建场景。
2026-02-06 cs.CV
RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation
Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）
点云可以以许多形式（视图）表示，通常是基于点的集合、基于体素的单元或基于范围的图像（即，全景）。基于点的视图在几何上是精确的，但它是无序的，这使得很难有效地找到局部邻居。基于体素的视图是规则的，但是稀疏的，并且当体素分辨率增加时，计算以立方方式增长。基于范围的视图是规则的并且通常是密集的，然而球面投影使物理维度失真。基于体素和基于范围的视图都遭受量化损失，特别是对于面对大规模场景的体素。为了在细粒度分割任务中充分利用不同视点的优势，同时弥补各自的不足，提出了一种新的距离-点-体素融合网络RPVNet。在该网络中，我们设计了一个深度融合框架，这三个视图之间的多个和互信息交互，并提出了一个门控融合模块（称为GFM），它可以自适应地合并三个功能的基础上并发输入。此外，建议RPV相互作用机制是高效的，我们总结成一个更一般的配方。通过利用这种有效的相互作用和相对较低的体素分辨率，我们的方法也被证明是更有效的。最后，我们在两个大规模数据集上评估了所提出的模型，即，SemanticKITTI和nuScenes，它在这两个方面都展示了最先进的性能。请注意，我们的方法目前在SemanticKITTI排行榜上排名第一，没有任何额外的技巧。
2021-03-24 cs.CV
PointMBF: A Multi-scale Bidirectional Fusion Network for Unsupervised RGB-D Point Cloud Registration
Fudan University（复旦大学）；Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东省计算中心（国家超级计算济南中心））
本文提出PointMBF网络，通过多尺度双向融合RGB图像与深度点云特征，提升无监督RGB-D点云配准精度，在ScanNet和3DMatch上取得最优性能。
2023-08-09 cs.CV
TFCT-I2P: Three stream fusion network with color aware transformer for image-to-point cloud registration
Huazhong University of Science and Technology（华中科技大学）
本文提出TFCT-I2P方法，通过三流融合网络结合图像颜色与点云结构信息，并设计颜色感知Transformer缓解块级错位，在多个数据集上显著提升图像到点云配准性能。
2024-10-01 cs.CV
LATTE: Accelerating LiDAR Point Cloud Annotation via Sensor Fusion, One-Click Annotation, and Tracking
Berkeley AI Research（伯克利人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）；Huaqiao University（华侨大学）
LiDAR（光探测和测距）是自动驾驶汽车的一种重要且广泛采用的传感器，特别是对于那些在更高级别（L4-L5）自动驾驶下运行的车辆。最近的工作已经证明了深度学习方法对基于LiDAR的检测的承诺。然而，深度学习算法非常需要数据，需要大量标记的点云数据进行训练和评估。由于以下问题，对LiDAR点云数据进行注释具有挑战性：1）LiDAR点云通常是稀疏的并且具有低分辨率，使得人类注释者难以识别对象。2)与2D图像上的注释相比，在LiDAR点云上绘制3D边界框甚至逐点标签的操作更加复杂和耗时。3)LiDAR数据通常是按顺序收集的，因此连续的帧高度相关，导致重复注释。为了应对这些挑战，我们提出了LATTE，这是一种用于LiDAR点云的开源注释工具。LATTE具有以下创新：1）传感器融合：我们利用基于图像的检测算法自动预标记校准图像，并将标签转移到点云。2)一键标注：我们没有绘制3D边界框或逐点标签，而是将注释简化为只需单击目标对象，并自动生成目标的限界框。3)跟踪：我们将跟踪集成到序列注释中，使得我们可以将标签从一个帧转移到后续帧，从而显著减少重复标记。实验结果表明，该特征将标注速度提高了6.2倍，显著提高了标注质量，实例级准确率和召回率分别提高了23.6%和2.2%，限界框IoU提高了2.0%。LATTE在https://github.com/bernwang/latte上是开源的。
2019-04-19 cs.CV
Random Walk on Point Clouds for Feature Detection
School of Information Science and Technology（信息科学与技术学院）
本文提出RWoDSN方法，通过两阶段分析提取点云中的关键特征点，结合局部表面的空间分布、拓扑属性和几何特性，提升提取精度和召回率。
2026-04-22 cs.CV
A Cross Branch Fusion-Based Contrastive Learning Framework for Point Cloud Self-supervised Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Tsinghua University（清华大学）；Fraunhofer Institute of Optronics, System Technologies and Image Exploitation IOSB（弗劳恩霍夫光电、系统技术和图像处理研究所）
针对点云无监督学习，提出对比跨分支注意力框架PoCCA，通过引入子分支实现损失端前的跨分支信息交换，学习丰富3D表示，在无额外数据时下游任务达SOTA。
2025-05-30 cs.CV
APNet: Urban-level Scene Segmentation of Aerial Images and Point Clouds
University of Amsterdam（阿姆斯特丹大学）
提出 APNet 双分支网络，通过几何感知融合协同点云与由点云生成的航空图像，并以独立损失优化分支，在 SensatUrban 上达到 65.2 mIoU 的最先进水平。
2023-09-29 cs.CV
GAM : Gradient Attention Module of Optimization for Point Clouds Analysis
Zhejiang Leapmotor Technology CO., LTD.（浙江零跑科技股份有限公司）；OPPO Research Institute（OPPO研究院）；The University of Sydney（悉尼大学）
在点云分析任务中，现有的局部特征聚合描述子（LFAD）无法充分利用中心点邻域内的信息。以往的方法仅依赖于欧氏距离来约束局部聚集过程，容易受到异常点的影响，不能充分拟合点云的原始几何形状。我们认为，细粒度的几何信息（FGGI）是重要的局部特征的聚合。因此，我们提出了一个基于梯度的局部注意力模块，称为梯度注意力模块（GAM），以解决上述问题。我们提出的GAM简化了提取邻域中梯度信息的过程，并使用天顶角矩阵和方位角矩阵作为显式表示，使模块加速35倍。在五个基准数据集上进行了综合实验，以证明所提出的GAM用于三维点云分析的有效性和泛化能力。特别是在S3 DIS数据集上，GAM的mIoU/OA/mAcc分别为74.4%/90.6%/83.2%，在当前基于点的模型中表现最好。
2023-03-21 cs.CV
Cross-Modal Registration Between 3D and 2D Fingerprints via Pose-Aware Unwrapping and Point-Cloud Fusion
Department of Automation, Tsinghua University（自动化系，清华大学）
本文提出统一框架，实现3D指纹预处理与跨接触式和非接触式2D指纹的注册，结合非参数可视化解缠、点云融合、姿态归一化和姿态感知注册策略，提升3D与2D指纹兼容性。
2026-06-16 cs.CV
Fusion-Aware Point Convolution for Online Semantic 3D Scene Segmentation
National University of Defense Technology（国防科技大学）
与实时RGB-D重建相结合的在线语义3D分割带来了特殊的挑战，例如如何直接在渐进融合的3D几何数据上执行3D卷积，以及如何智能地从帧到帧融合信息。我们提出了一种新的融合感知3D点卷积，它直接在被重建的几何表面上操作，并有效地利用帧间相关性进行高质量的3D特征学习。这是通过专用的动态数据结构来实现的，该动态数据结构利用全局-局部树来组织在线获取的点云。在全局上，我们将在线重建的3D点编译成一个增量增长的坐标区间树，使快速点插入和邻域查询。在局部，我们使用一个八叉树来维护每个点的邻域信息，该八叉树的构造得益于全局树的快速查询，两级树都是动态更新的，有助于3D卷积有效地利用时间相干性，实现跨RGB-D帧的有效信息融合。
2022-01-13 cs.CV cs.GR
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology（南方科技大学）；Jimei University（集美大学）
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题，最近随着新型激光雷达的出现变得更加苛刻，这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力，而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离，但具有稀疏的角分辨率，因此在径向测量中测量是精确的，但缺乏角度。另一方面，相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体，估计他们的速度，同时纠正点云失真。该框架在真实道路数据上进行了评估，融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的（https：//github.com/ISEE-Technology/lidar-with-velocity），以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
GraphFit: Learning Multi-scale Graph-Convolutional Representation for Point Cloud Normal Estimation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
针对非结构化三维点云，提出了一种精确有效的法向估计方法，该方法可以有效地处理噪声和密度不均匀的问题。与现有的直接获取补丁并忽略局部邻域关系的方法不同，这使得它们容易受到尖锐边缘等具有挑战性的区域的影响，我们建议学习用于正常估计的图卷积特征表示，它强调更多的局部邻域几何形状并有效地编码内在关系。此外，我们设计了一种基于注意力机制的新型自适应模块，将点特征与其邻近特征结合起来，从而进一步增强了所提出的正态估计器对点密度变化的鲁棒性。为了使其更具可区分性，我们在图块中引入了多尺度架构，以学习更丰富的几何特征。我们的方法在各种基准数据集上具有最先进的准确性，并且对噪声，离群值以及密度变化非常鲁棒。
2022-07-23 cs.CV
MANet: Multimodal Attention Network based Point- View fusion for 3D Shape Recognition
三维形状识别作为三维视觉研究的一个重要课题，受到了越来越多的关注。3D数据的激增鼓励了基于3D数据的各种深度学习方法。现在已经有许多基于点云数据或多视图数据的深度学习模型。然而，在大数据时代，整合两种不同模态的数据以获得统一的3D形状描述符势必会提高识别精度。因此，本文提出了一种基于多模态注意力机制的融合网络用于三维形状识别。考虑到多视点数据的局限性，提出了一种软注意方案，利用全局点云特征对多视点特征进行过滤，实现了两种特征的有效融合。更具体地说，我们通过挖掘每个多视图图像对整体形状识别的贡献来获得增强的多视图特征，然后融合点云特征和增强的多视图特征以获得更具鉴别力的3D形状描述符。在ModelNet40数据集上进行了相关实验，实验结果验证了该方法的有效性。
2020-02-28 cs.CV
Hierarchical Image-Guided 3D Point Cloud Segmentation in Industrial Scenes via Multi-View Bayesian Fusion
本文提出一种分层图像引导的3D点云分割框架，通过多视角贝叶斯融合解决工业场景中的遮挡和语义不一致问题，提升分割精度与鲁棒性。
2025-12-07 cs.CV
Differentiable Manifold Reconstruction for Point Cloud Denoising
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
由于采集设备的固有限制，三维点云数据经常受到噪声干扰，影响了后续的曲面重建、绘制等工作，以往的工作主要是推断噪声点与底层曲面之间的位移，但没有明确地指定这些位移来恢复曲面，可能会导致去噪效果不佳。为此，我们建议从具有微小噪声扰动的可微子采样点及其嵌入的邻域特征中学习噪声点云的底层流形，旨在捕获点云中的内在结构。具体来说，我们提出了一个自动编码器一样的神经网络。编码器学习每个点的局部和非局部特征表示，然后通过自适应可微分池化操作以低噪声采样点。然后，解码器通过将每个采样点及其邻域的嵌入特征变换为以该点为中心的局部表面来推断底层流形。通过对重构流形的重构，得到去噪后的点云。此外，我们设计了一个无监督的训练损失，这样我们的网络就可以以无监督或有监督的方式进行训练。实验表明，我们的方法显着优于国家的最先进的去噪方法在合成噪声和现实世界的噪声。代码和数据可在https://github.com/luost26/DMRDenoise上获得
2020-08-09 cs.CV
Efficient Volumetric Fusion of Airborne and Street-Side Data for Urban Reconstruction
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
空中采集和道路移动测绘提供了城市景观的互补3D信息：前者大规模采集屋顶结构，地面和植被，但缺乏立面和街道细节，而后者对于更高的楼层是不完整的，并且通常完全错过了仅限行人的区域或未驾驶的区域。在这项工作中，我们介绍了一种方法，有效地统一了详细的街边结构从运动（SfM）或多视图立体视觉（MVS）的点云和一个粗糙，但更完整的点云从空中采集的联合表面网格。我们提出了一个点云混合和体积融合的基础上，在3D四面体（3DT）的光线投射，扩展与数据简化技术来处理大型数据集。据我们所知，我们是第一个采用3DT方法进行机载/路边数据融合的公司。我们的管道利用了机载和地面数据的典型特征，并产生了一个完整而详细的无缝，防水的网格。在多源、不同数据密度的三维城市数据上的实验表明了该方法的有效性和优越性。
2016-09-05 cs.CV
STAR-Edge: Structure-aware Local Spherical Curve Representation for Thin-walled Edge Extraction from Unstructured Point Clouds
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
提出STAR-Edge方法，利用局部球面曲线表示和旋转不变描述符结合轻量级多层感知机，解决薄壁结构点云边缘提取中邻域采样不足的问题，并优化边缘点投影，在多种挑战条件下表现优于现有方法。
2025-03-02 cs.CV
Classification of Point Cloud Scenes with Multiscale Voxel Deep Network
Mines ParisTech（巴黎高等矿业学院）；PSL Research University（巴黎文理研究大学）；Centre for Robotics（机器人中心）
在这篇文章中，我们描述了一种新的卷积神经网络（CNN）来分类城市或室内场景的3D点云。给出了解决方案的工作场景点云遇到的问题，并描述了一个网络，允许点分类只使用在多尺度邻域中的点的位置。在简化的8 Semantic3D基准上[Hackel等人，2017]，这个网络排名第二，击败了点分类方法的最新技术（那些不使用正则化步骤的方法）。
2018-04-10 cs.CV
Learned Gridification for Efficient Point Cloud Processing
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对点云因数据不规则导致邻域操作扩展性差的问题，提出可学习的网格化与去网格化步骤，将其转为规则网格以利用 Conv3D 等高效操作，在保持竞争力的同时显著提升了内存和时间扩展性。
2023-07-22 cs.CV cs.LG
PointSee: Image Enhances Point Cloud
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Dalian Naval Academy（大连海军学院）；Lingnan University（岭南大学）；Hong Kong Metropolitan University（香港都会大学）；The Polytechnic University of Hong Kong（香港理工大学）
融合多模态信息进行三维目标检测（3 OD）是一种趋势。然而，在设计多模态融合发动机时，轻量化、即插即用的灵活性差、特征对齐不准确等具有挑战性的问题仍然没有得到很好的解决。我们提出PointSee，一个轻量级的，灵活的和有效的多模态融合解决方案，以促进各种3 OD网络的语义特征增强LiDAR点云组装场景图像。除了现有的3 OD智慧，PointSee由一个隐藏模块（HM）和一个可见模块（SM）组成：HM以离线融合的方式使用2D图像信息装饰LiDAR点云，导致现有3 OD网络的适应性最小甚至没有; SM通过获取逐点代表性的语义特征进一步丰富LiDAR点云，从而增强现有3 OD网络的性能。除了PointSee的新架构之外，我们还提出了一种简单而有效的训练策略，以减轻2D目标检测网络的潜在不准确回归。对流行的室外/室内基准进行的广泛实验显示，我们的PointSee在22项最新技术水平上取得了数值改进。
2022-11-03 cs.CV
Multi-view Vision-Prompt Fusion Network: Can 2D Pre-trained Model Boost 3D Point Cloud Data-scarce Learning?
Fudan University（复旦大学）；Centre for Frontier AI Research (CFAR), A*STAR（新加坡科技研究局前沿人工智能研究中心）；Shanghai AI Laboratory（上海人工智能实验室）；Tencent PCG（腾讯平台与内容事业群）
提出多视图视觉提示融合网络（MvNet），通过将3D点云编码为多视图图像特征并融合为2D提示，利用2D预训练模型先验知识缓解3D数据依赖，在3D少样本点云分类任务上达到SOTA。
2023-08-04 cs.AI cs.CV
MCI-Net: A Robust Multi-Domain Context Integration Network for Point Cloud Registration
MCI-Net通过多域上下文整合提升点云配准性能，采用图邻域聚合、渐进式上下文交互和动态内点选择方法，在3DMatch数据集上达到96.4%的配准召回率。
2025-12-29 cs.CV
FPS-Net: A Convolutional Fusion Network for Large-Scale LiDAR Point Cloud Segmentation
Nanyang Technological University（南洋理工大学）；University of Macau（澳门大学）
基于LiDAR点云的场景理解是自动驾驶汽车安全行驶的关键，通常采用球面投影将三维点云映射为多通道二维图像进行语义分割。大多数现有方法简单地堆叠不同的点属性/模态（例如，坐标、强度、深度等）。作为图像通道，以增加信息容量，但忽略了点属性在不同图像通道中的明显特点。我们设计了FPS-Net，这是一种卷积融合网络，它利用投影图像通道之间的唯一性和差异来进行最佳点云分割。FPS-Net采用编解码器结构。我们不是简单地将多个通道图像堆叠为单个输入，而是将它们分组到不同的模态中，首先分别学习模态特定的特征，然后将学习到的特征映射到一个公共的高维特征空间中进行像素级融合和学习。具体来说，我们设计了一个具有多个感受野的残差密集块作为编码器中的构建块，该构建块保留了每个模态中的详细信息，并有效地学习了分层模态特定和融合特征。在FPS-Net解码器中，我们同样使用递归卷积块将融合特征分层解码到输出空间中，以进行像素级分类。在两个被广泛采用的点云数据集上进行的大量实验表明，与最先进的基于投影的方法相比，FPS-Net实现了优越的语义分割。此外，所提出的模态融合的想法是兼容的典型的基于投影的方法，并可以纳入他们一致的性能改进。
2021-03-01 cs.AI cs.CV
HybridFusion: LiDAR and Vision Cross-Source Point Cloud Fusion
Northwestern Polytechnical University（西北工业大学）；PLA Strategic Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）
针对跨源点云密度与结构差异导致配准困难的问题，提出由粗到细的HybridFusion算法，通过分块匹配、2D边界配准与3D调整及聚类融合确定最终位姿，在跨源点云配准中达到SOTA性能。
2023-04-10 cs.CV cs.RO
