Multi-scale Network with Attentional Multi-resolution Fusion for Point Cloud Semantic Segmentation
University of Missouri - Columbia（密苏里大学哥伦比亚分校）
在本文中，我们提出了一个全面的点云语义分割网络，聚合本地和全球多尺度信息。首先，我们提出了一个角度相关点卷积（ACPonv）模块，以有效地学习点的局部形状。其次，基于ACPConv，我们引入了一个局部多尺度分裂（MSS）块，该块分层连接单个块内的特征，并逐渐扩大有利于利用局部上下文的感受野。第三，受到在2D图像视觉任务上具有出色性能的HRNet的启发，我们构建了一个为点云定制的HRNet来学习全球多尺度上下文。最后，我们介绍了一个逐点注意力融合方法，融合多分辨率预测，进一步提高点云语义分割性能。我们的实验结果和消融几个基准数据集上表明，我们提出的方法是有效的，能够实现国家的最先进的性能相比，现有的方法。
2022-06-27 cs.CV
Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
University of South Carolina（南卡罗来纳大学）
三维点云语义分割的目的是将所有的点按不同的语义分类，有利于点云场景重建和理解等重要应用。现有的监督点云语义分割方法通常需要大规模的标注点云进行训练，并且不能处理新的类别。虽然最近提出了一种少样本学习方法来解决这两个问题，但它存在由图构造引起的高计算复杂性以及由于使用池化操作而无法学习点之间的细粒度关系。在本文中，我们进一步解决这些问题，通过开发一个新的多层Transformer网络的Few-Shot点云语义分割。在该网络中，查询点云特征基于不同尺度下的类特定支持特征进行聚合。在不使用池操作的情况下，我们的方法充分利用了支持样本中的所有像素级特征。通过更好地利用支持功能的少样本学习，所提出的方法实现了新的国家的最先进的性能，与现有的Few-Shot 3D点云分割模型的S3DIS数据集和ScanNet数据集的推理时间减少了15\%。
2023-03-28 cs.CV
TANet: Robust 3D Object Detection from Point Clouds with Triple Attention
Huazhong University of Science and Technology（华中科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在本文中，我们专注于探索的鲁棒性的点云数据中的三维目标检测，这已经很少讨论在现有的方法。我们观察到两个关键现象：1）硬物体的检测精度，例如，行人，是不能令人满意的，2）当添加额外的噪声点，现有的方法的性能迅速下降。为了缓解这些问题，本文介绍了一种新的TANet，它主要包含一个三重注意（TA）模块，和一个粗到精回归（CFR）模块。TA模块综合考虑通道、点和体素的注意力，增强了目标的关键信息，同时抑制了不稳定的云点。此外，新的堆叠TA进一步利用多层次的特征注意。此外，CFR模块提高了定位的准确性，而不需要过多的计算成本。在KITTI数据集的验证集上的实验结果表明，在具有挑战性的噪声情况下，即，在每个对象周围添加额外的随机噪声点，所提出的方法远远超出了现有技术的方法。此外，对于KITTI基准的3D目标检测任务，我们的方法通过使用点云作为唯一输入，在行人类中排名第一。运行速度约为每秒29帧。
2019-12-11 cs.CV
Voxel Set Transformer: A Set-to-Set Approach to 3D Object Detection from Point Clouds
The Hong Kong Polytechnic University（香港理工大学）
Transformer在许多2D视觉任务中表现出良好的性能。然而，由于点云是一个长序列，在三维空间中分布不均匀，因此计算大规模点云数据的自注意力是非常繁琐的。为了解决这个问题，现有的方法通常通过将点分组为相同大小的聚类来局部计算自注意力，或者在离散化表示上执行卷积自注意力。然而，前者导致随机点丢失，而后者通常具有狭窄的注意力领域。在本文中，我们提出了一种新的基于体素的体系结构，即体素集Transformer（VoxSeT），检测3D对象从点云通过集到集的翻译。VoxSeT是建立在一个基于体素的集合注意力（VSA）模块，它减少了在每个体素的自我注意力的两个交叉注意力和模型的特征在一个隐藏的空间诱导的一组潜在的代码。通过VSA模块，VoxSeT可以管理大范围内任意大小的体素化点簇，并以线性复杂度并行处理。所提出的VoxSeT将Transformer的高性能与基于体素的模型的效率相结合，可以用作卷积和基于点的骨干的良好替代。VoxSeT报告了KITTI和Waymo检测基准的竞争结果。源代码可在\url{https://github.com/skyhehe123/VoxSeT}中找到。
2022-03-19 cs.CV
SVGA-Net: Sparse Voxel-Graph Attention Network for 3D Object Detection from Point Clouds
University of Electronic Science and Technology of China（电子科技大学）
从点云中精确检测3D目标检测已成为自动驾驶的关键组成部分。然而，在以往的作品的体积表示和投影方法未能建立局部点集之间的关系。在本文中，我们提出了稀疏体素图注意力网络（SVGA-Net），这是一种新型的端到端可训练网络，主要包含体素图模块和稀疏到密集回归模块，用于从原始LIDAR数据中实现可比的3D检测任务。具体来说，SVGA-Net在每个划分的3D球形体素内构建局部完整图，并通过所有体素构建全局KNN图。局部和全局图作为注意力机制来增强提取的特征。此外，新的稀疏到稠密回归模块通过在不同级别上聚合特征图来提高3D框估计的准确性。在KITTI检测基准上的实验表明，将图表示扩展到三维目标检测是有效的，所提出的SVGA-Net能够达到良好的检测精度。
2021-12-23 cs.CV
SAT: Size-Aware Transformer for 3D Point Cloud Semantic Segmentation
Beijing University of Posts and Telecommunications（北京邮电大学）
Transformer模型在点云分割中取得了很好的效果。然而，大多数现有的注意力计划提供了相同的特征学习范式，平等地为所有点，忽略了巨大的差异，在场景对象的大小。在本文中，我们提出了尺寸感知的Transformer（SAT），可以定制有效的感受野不同大小的对象。我们的SAT通过两个步骤实现大小感知学习：为每个注意层引入多尺度特征，并允许每个点自适应地选择其注意领域。它包含两个关键设计：多粒度注意（MGA）方案和再注意模块。MGA解决了两个挑战：有效地聚合来自遥远地区的令牌，并在一个注意力层内保留多尺度特征。具体而言，点-体素交叉注意力被提出来解决第一个挑战，和分流策略的基础上，标准的多头自我注意力被应用于解决第二个。Re-Attention模块根据MGA为每个点输出的细粒度和粗粒度特征动态调整注意力分数。大量的实验结果表明，SAT在S3 DIS和ScanNetV 2数据集上实现了最先进的性能。我们的SAT也实现了最平衡的性能，在所有提到的方法，这说明了建模不同大小的类别的优越性。我们的代码和模型将在本文通过验收后发布。
2023-01-17 cs.CV
D-Align: Dual Query Co-attention Network for 3D Object Detection Based on Multi-frame Point Cloud Sequence
Hanyang University（汉阳大学）
LiDAR传感器广泛用于各种移动机器人应用中的3D目标检测。LiDAR传感器持续实时生成点云数据。传统的3D对象检测器使用在固定持续时间内获取的一组点来检测对象。然而，最近的研究表明，目标检测的性能可以进一步提高，通过利用从点云序列中获得的时空信息。在本文中，我们提出了一种新的三维物体检测器，命名为D-Align，它可以有效地产生强大的鸟瞰图（BEV）的功能，通过对齐和聚合从一系列点集获得的功能。该方法包括一个新的双查询共注意网络，使用两种类型的查询，包括目标查询集（T-QS）和支持查询集（S-QS），分别更新目标和支持框架的功能。D-Align基于从相邻特征图中提取的时间上下文特征将S-QS与T-QS对齐，然后使用门控注意力机制将S-QS与T-QS聚合。通过多个关注层更新双重查询，以逐步增强用于产生检测结果的目标帧特征。我们在nuScenes数据集上的实验表明，所提出的D-Align方法大大提高了基于单帧的基线方法的性能，并显着优于最新的3D对象检测器。
2022-09-30 cs.CV
GaIA: Graphical Information Gain based Attention Network for Weakly Supervised Point Cloud Semantic Segmentation
Korea University（高丽大学）
虽然点云语义分割是三维场景理解中的一项重要任务，但该任务需要一个耗时的完全注释标签的过程。为了解决这个问题，最近的研究采用了稀疏注释下的弱监督学习方法。与现有研究不同的是，本研究旨在减少由熵度量的认知不确定性，以实现精确的语义分割。我们提出了基于图形信息增益的注意力网络称为GaIA，它基于可靠的信息来计算每个点的熵。图信息增益利用目标点与邻域之间的相对熵来判别可靠点。我们进一步介绍了基于锚点的附加角余量损失，ArcPoint。ArcPoint算法将含有高熵的未标记点优化为超球空间上标记点的语义相似类。在S3 DIS和ScanNet-v2数据集上的实验结果表明，我们的框架优于现有的弱监督方法。我们在https://github.com/Karel911/GaIA上发布了GaIA。
2022-10-02 cs.CV
CLiSA: A Hierarchical Hybrid Transformer Model using Orthogonal Cross Attention for Satellite Image Cloud Segmentation
Space Applications Centre, ISRO（印度空间研究组织空间应用中心）
本文提出CLiSA模型，将正交自注意力与分层交叉注意力结合并验证其Lipschitz稳定性，在多个卫星数据集上实现优于现有方法的云分割精度和泛化能力。
2023-12-01 cs.CV eess.IV
Investigating Vision-Language Model for Point Cloud-based Vehicle Classification
City College of New York（纽约城市学院）
针对传统激光雷达卡车分类依赖大量标注的问题，提出融合路测点云与视觉语言模型的新框架，通过点云预处理和少样本上下文学习实现高效分类，可降低标注成本并提升精度。
2025-04-10 cs.CV
RealViformer: Investigating Attention for Real-World Video Super-Resolution
National University of Singapore（新加坡国立大学）
针对真实世界视频超分辨率中伪影传播问题，探究通道注意力优于空间注意力，提出RealViformer框架，以更少参数和更快速度在真实数据集上达到最优性能。
2024-07-19 cs.CV
Point Cloud Quality Assessment Using the Perceptual Clustering Weighted Graph (PCW-Graph) and Attention Fusion Network
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
本文提出结合感知聚类加权图与注意力融合网络的无参考点云质量评估方法，用于在缺少参考模型时评价3D内容质量。
2025-06-04 cs.CV
Point Cloud Completion by Skip-attention Network with Hierarchical Folding
Tsinghua University（清华大学）；University of Maryland, College Park（马里兰大学帕克分校）
点云补全的目的是从不完整的点云中推断出三维物体缺失区域的完整几何形状。以往的方法通常是基于从不完整输入中提取的全局形状表示来预测完整的点云。然而，不完整点云的全局表示往往存在局部区域结构细节信息丢失的问题。为了解决这个问题，我们提出了跳过注意力网络（SA-Net）的三维点云完成。我们的主要贡献在于以下两个方面。首先，我们提出了一个跳跃-注意力机制，有效地利用局部结构的细节不完整的点云在推理的缺失部分。跳过-注意力机制有选择地从不完整点云的局部区域传递几何信息，以生成不同分辨率的完整点云，其中跳过-注意力以可解释的方式揭示了完整过程。其次，为了充分利用跳过-注意力机制在不同分辨率下编码的选定几何信息，我们提出了一种新的结构保持解码器与分层折叠完整的形状生成。分层折叠通过逐步细化局部区域来保留在上层生成的完整点云的结构，使用相同分辨率的跳过注意几何。我们在ShapeNet和KITTI数据集上进行了全面的实验，结果表明，所提出的SA-Net优于最先进的点云完成方法。
2020-05-18 cs.CV
Investigating Text Insulation and Attention Mechanisms for Complex Visual Text Generation
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Jiutian Research（中移九天）；The Hong Kong University of Science and Technology（香港科学与技术大学）
TextCrafter通过文本绝缘与注意力机制，提升复杂视觉文本生成性能，引入CVTG-2K基准测试集验证有效性。
2026-02-27 cs.CV
Attention-based Point Cloud Edge Sampling
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer IOSB（弗劳恩霍夫光电、系统技术与图像利用研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）
点云采样是这种数据表示的一个较少探索的研究主题。最常用的抽样方法仍然是经典的随机抽样和最远点抽样。随着神经网络的发展，已经提出了各种方法来以基于任务的学习方式对点云进行采样。然而，这些方法大多是基于生成的，而不是直接使用数理统计来选择点。受Canny图像边缘检测算法的启发，结合注意力机制，提出了一种非生成式的基于注意力的点云边缘采样方法（APES），该方法捕捉点云轮廓中的显著点。定性和定量的实验结果表明，我们的抽样方法在常见的基准任务的优越性能。
2023-03-26 cs.CV
PU-MFA : Point Cloud Up-sampling via Multi-scale Features Attention
Graduate School of Automotive Engineering（汽车工程研究生院）；Kookmin University（国民大学）；Department of Automobile and IT Convergence（汽车与IT融合系）
近来，随着3D扫描仪技术的发展，使用点云的研究已经增加。根据这一趋势，对高质量点云的需求正在增加，但仍然存在获得高质量点云的高成本问题。因此，随着最近深度学习的显著发展，使用深度学习从低质量点云生成高质量点云的点云上采样研究是吸引相当多关注的领域之一。提出了一种新的点云上采样方法--基于多尺度特征关注度的点云上采样方法。受先前使用多尺度特征或注意力机制报告良好性能的研究的启发，PU-MFA通过U-Net结构将两者合并。此外，PU-MFA自适应地使用多尺度特征来有效地细化全局特征。通过使用PU-GAN数据集（合成点云数据集）和KITTI数据集（实时扫描点云数据集）的各种实验，将PU-MFA的性能与其他最先进的方法进行了比较。在各种实验结果中，PU-MFA表现出优越的性能，在定量和定性评价相比，其他国家的最先进的方法，证明了所提出的方法的有效性。PU-MFA的注意力图也被可视化，以显示多尺度特征的效果。
2022-08-22 cs.CV
Multi-scale Receptive Fields Graph Attention Network for Point Cloud Classification
Shanghai Jiao Tong University（上海交通大学）；Foshan Woman and Children’s Hospital（佛山市妇幼保健院）
由于点云数据的不规则性和稀疏性，理解点云数据的含义仍然是实现分类或分割目标的一个挑战。PointNet架构作为点云领域的一个突破性的研究成果，能够直接在无序的三维点云上高效地学习形状特征，并取得了良好的性能。然而，该模型没有考虑点云局部结构的细粒度语义信息。之后，提出了许多有价值的工作，以提高PointNet的性能，通过局部补丁的点云的语义特征。本文提出了一种多尺度感受野图注意网络（MRFGAT）用于点云分类。通过关注点云的局部精细特征，并应用基于通道亲和度的多注意模块，我们的网络学习特征映射可以很好地捕捉点云的丰富特征信息。在ModelNet10和ModelNet40数据集上测试了所提出的MRFGAT架构，结果表明它在形状分类任务中实现了最先进的性能。
2020-09-28 cs.CV
Point Cloud Recognition with Position-to-Structure Attention Transformers
UC San Diego（加州大学圣地亚哥分校）；The Bishop’s School（毕晓普学校）
在本文中，我们提出了位置到结构的注意力Transformers（PS-Former），一个基于transformer的三维点云识别算法。PS-Former解决了3D点云表示中的挑战，其中点没有定位在固定的网格结构中，并且具有有限的特征描述（只有分散点的3D坐标（$x, y, z$））。该领域中现有的基于Transformer的架构通常需要预先指定的特征工程步骤来提取点特征。在这里，我们介绍了PS-Former中的两个新方面：1）一个可学习的凝聚层，它执行点下采样和特征提取; 2）一个位置到结构注意力机制，它通过位置注意力分支递归地丰富结构信息。与竞争的方法相比，虽然是通用的，较少的几何特征设计，PS-Former展示了三个三维点云任务，包括分类，部分分割和场景分割的竞争力的实验结果。
2022-10-05 cs.CV
Rethinking Attention Module Design for Point Cloud Analysis
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer Institute of Optronics, System Technologies and Image Exploitation IOSB（弗劳恩霍夫光学技术、系统技术和图像利用研究所IOSB）
针对点云注意力模块因设置异质难以公平比较的问题，在统一框架下全面评估全局与局部注意力设计，发现无普适最优解，进而提出面向特定任务的定制模块，在分类与分割基准上取得更优性能。
2024-07-27 cs.CV
PointAttN: You Only Need Attention for Point Cloud Completion
Zhejiang University of Technology（浙江工业大学）；Zhejiang University（浙江大学）
点云补全是指从部分三维点云中补全三维形状，是三维点云分析任务的一个基本问题。得益于深度神经网络的发展，近年来点云数据的自动补全研究取得了很大的进展。然而，显式的局部区域划分，如在现有的方法涉及kNN使他们敏感的点云的密度分布。此外，它服务于有限的感受野，防止从远程上下文信息中捕获特征。为了解决这些问题，我们利用交叉注意和自我注意力机制，设计了一种新颖的神经网络，用于以逐点的方式处理点云，以消除kNN。提出了几何细节感知（GDP）和自特征增强（SFA）两个基本模块，通过注意力机制，以简单有效的方式直接建立点之间的短程和长程结构关系。然后，基于GDP和SFA，我们构建了一个新的框架，流行的编码器-解码器结构的点云完成。所提出的框架，即PointAttN，是简单，整洁和有效的，它可以精确地捕捉三维形状的结构信息和预测完整的点云与高度详细的几何形状。实验结果表明，我们的PointAttN在流行的基准测试（如Completion 3D和PCN）上大幅优于最先进的方法。代码可在：https://github.com/ohhhyeahhh/PointAttN
2022-03-16 cs.CV
Airborne LiDAR Point Cloud Classification with Graph Attention Convolution Neural Network
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）
机载激光雷达（Airborne Light Detection and Ranging，简称LiDAR）以其快速获取大范围、高精度地面信息的能力，在城市规划、地形测绘、环境监测、电力线路探测等领域发挥着越来越重要的作用。为了实现点云分类，以前的研究提出了点云深度学习模型，可以直接处理原始点云基于PointNet的架构。最近的一些工作提出了基于点云固有拓扑结构的图卷积神经网络。然而，上述点云深度学习模型只注重探索局部几何结构，而忽略了所有点之间的全局上下文关系。在本文中，我们提出了一个图形注意力卷积神经网络（GACNN），可以直接应用于机载激光雷达获得的非结构化三维点云的分类。具体来说，我们首先介绍了一个图形注意力卷积模块，它结合了全局上下文信息和局部结构特征。基于所提出的图形注意力卷积模块，我们进一步设计了一个端到端的编码器-解码器网络，名为GACNN，以捕获点云的多尺度特征，从而实现更准确的机载点云分类。在ISPRS 3D标注数据集上的实验表明，该模型的平均F1得分（71.5%）和总体准确率（83.2%）均达到了最新水平。此外，通过与其他流行的点云深度学习模型进行比较，在2019年数据融合竞赛数据集上进一步进行的实验表明，所提出的模型具有良好的泛化能力。
2020-04-20 cs.CV
Point Clouds Learning with Attention-based Graph Convolution Networks
Southwest Jiaotong University（西南交通大学）；Sun Yat-sen University（中山大学）
点云数据作为三维物体的一种表示形式，是三维传感器获得的最原始的输出。与2D图像不同，点云是无序和非结构化的。因此，将卷积神经网络等分类技术直接应用于点云分析并不简单。为了解决这个问题，我们提出了一种新的网络结构，命名为基于注意力的图卷积网络（AGCN），提取点云特征。将学习过程看作是相邻点之间的信息传播过程，引入注意力机制来分析点的局部特征之间的关系。此外，我们引入了一个额外的全局图结构网络来补偿图结构网络中各个点的相对信息。建议的网络也扩展到一个编码器-解码器结构的分割任务。实验结果表明，该网络可以实现国家的最先进的分类和分割任务的性能。
2019-05-31 cs.CV
Spatiotemporal Transformer Attention Network for 3D Voxel Level Joint Segmentation and Motion Prediction in Point Cloud
包括检测、分类、跟踪和运动预测在内的环境感知是自动驾驶系统和智能交通应用的关键推动因素。随着传感技术和机器学习技术的发展，基于LiDAR的传感系统已经成为一种很有前途的解决方案。该解决方案目前面临的挑战是如何有效地将不同的感知任务组合到一个单一的骨干中，以及如何有效地直接从点云序列中学习时空特征。在这项研究中，我们提出了一种新的时空注意力网络的基础上，Transformer自我注意力机制的联合语义分割和运动预测内的点云在体素水平。该网络被训练为通过直接从一系列点云数据集学习来同时输出体素级别类和预测运动。建议的骨干包括一个时间注意力模块（TAM）和空间注意力模块（SAM）学习和提取复杂的时空特征。这种方法已经用nuScenes数据集进行了评估，并且已经实现了有希望的性能。
2022-02-28 cs.CV
PointGrow: Autoregressively Learned Point Cloud Generation with Self-Attention
Massachusetts Institute of Technology（麻省理工学院）；The Chinese University of Hong Kong（香港中文大学）；Michigan State University（密歇根州立大学）
生成3D点云具有挑战性，但也是高度期望的。这项工作提出了一种新的自回归模型，PointGrow，它可以从头开始或以语义上下文为条件生成多样化和逼真的点云样本。该模型循环运行，每个点根据给定其先前生成的点的条件分布进行采样，允许很好地利用点间相关性，并更好地解释3D形状生成过程。由于点云对象形状通常由长程依赖性编码，因此我们使用专用的自我注意模块来增强我们的模型以捕获这种关系。广泛的评估表明，PointGrow在无条件和有条件的点云生成任务上，在现实主义和多样性方面都取得了令人满意的性能。几个重要的应用，如无监督的特征学习和形状算术运算，也被证明。
2019-11-06 cs.CV
GAPNet: Graph Attention based Point Neural Network for Exploiting Local Feature of Point Cloud
Cranfield University（克兰菲尔德大学）
由于点云在非欧空间中的不规则和稀疏结构，开发其细粒度语义特征仍然具有挑战性。在现有的研究中，PointNet提供了一种有效的和有前途的方法来学习形状特征直接在无序的三维点云，并取得了竞争力的性能。然而，有助于更好的上下文学习的局部特征没有被考虑。同时，注意力机制通过关注相邻节点来捕获基于图的数据上的节点表示。在本文中，我们提出了一种新的神经网络的点云，被称为GAPNet，学习局部几何表示嵌入图注意力机制内堆叠的多层感知器（MLP）层。首先，我们引入了一个GAPLayer，通过在邻域上突出显示不同的注意力权重来学习每个点的注意力特征。其次，为了利用足够的功能，多头机制，允许GAPLayer聚合不同的功能，从独立的头。第三，我们提出了一个邻居的注意力池层，以捕获本地签名，旨在提高网络的鲁棒性。最后，GAPNet将堆叠的MLP层应用于注意力特征和局部签名，以充分提取局部几何结构。所提出的GAPNet架构在ModelNet40和ShapeNet零件数据集上进行了测试，并在形状分类和零件分割任务中实现了最先进的性能。
2019-05-21 cs.CV
PointCAT: Cross-Attention Transformer for point cloud
Nanjing University of Science and Technology（南京理工大学）
针对点云不规则无序导致Transformer模型发展受限的问题，提出PointCAT，通过双交叉注意力分支结合多尺度特征，并引入仅处理单个类标记的高效模型降低计算量，在多项3D任务中取得优异性能。
2023-04-06 cs.CV
Geometric Attention for Prediction of Differential Properties in 3D Point Clouds
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；New York University（纽约大学）
离散三维数据表示中微分几何量的估计是几何处理流水线中的关键步骤之一。具体来说，从原始点云估计法线和尖锐的特征线有助于提高网格质量，并允许我们使用更精确的表面重建技术。当设计一个可学习的方法来解决这些问题时，主要的困难是在点云中选择邻域并结合点之间的几何关系。在这项研究中，我们提出了一个几何注意力机制，可以提供这样的属性在一个可学习的方式。我们建立了有用的建议的技术与几个实验的预测法向量和提取的特征线。
2020-08-06 cs.CV
Fully-Geometric Cross-Attention for Point Cloud Registration
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Technology Sydney（悉尼技术大学）
本文提出完全几何交叉注意力，利用 Gromov-Wasserstein 距离实现任意刚性变换下的跨点云超点特征融合，并结合局部几何自注意力提升低重叠点云配准精度。
2025-06-08 cs.CV
Enhancing Local Feature Learning for 3D Point Cloud Processing using Unary-Pairwise Attention
Tokyo Institute of Technology（东京工业大学）；Dalian University of Technology（大连理工大学）
我们提出了一个简单而有效的注意力命名为一元成对注意力（UPA）的三维点云之间的关系建模。我们的想法是出于分析，标准的自我注意力（SA），在全球范围内运作，往往会产生几乎相同的注意力地图不同的查询位置，揭示学习查询独立和查询相关的信息共同的困难。因此，我们重新制定的SA，并提出查询独立（一元）和查询依赖（成对）组件，以促进学习这两个术语。与SA相比，UPA通过本地操作来确保查询依赖性。大量的实验表明，UPA优于SA一致的各种点云理解任务，包括形状分类，部分分割，场景分割。此外，简单地为流行的PointNet++方法配备UPA甚至优于或等同于最先进的基于注意力的方法。此外，当UPA作为一个组合模块集成到标准网络和现代网络中时，它可以系统地提高网络的性能。
2022-03-17 cs.CV
FESTA: Flow Estimation via Spatial-Temporal Attention for Scene Point Clouds
InterDigital（交互数字公司）；The City College of New York（纽约城市学院）
场景流描述了3D场景的动态，这对于自动驾驶、机器人导航、AR/VR等各种应用至关重要。随着深度传感技术的发展，通过点云可以获得精确的3D测量，这引发了3D场景流的新研究。然而，由于点云采样模式的稀疏性和不规则性，从点云中提取场景流仍然具有挑战性。与不规则采样相关的一个主要问题被确定为点集抽象/特征提取期间的随机性-这是许多流量估计场景中的基本过程。因此，提出了一种新的注意空间抽象（SA^2）层，以减轻不稳定的抽象问题。此外，提出了具有注意力的时间抽象（TA^2）层来纠正时间域中的注意力，从而在更大范围内缩放运动。广泛的分析和实验验证了我们的方法的动机和显着的性能增益，被称为通过时空注意流估计（FESTA），相比，几个国家的最先进的场景流估计基准。
2021-12-06 cs.CV
DANet: Density Adaptive Convolutional Network with Interactive Attention for 3D Point Clouds
Hunan University（湖南大学）；Xidian University（西安电子科技大学）；The University of Western Australia（西澳大学）
局部特征和上下文相关性对于3D点云分析至关重要。许多工作致力于设计更好的局部卷积核，利用上下文依赖性。然而，当前的点卷积对不同的点云密度缺乏鲁棒性。此外，上下文建模是由非本地或自我注意力模型，这是计算昂贵的占主导地位。为了解决这些问题，我们提出了密度自适应卷积，创造了DAConv。关键思想是从点密度和位置获得的几何连接中自适应地学习卷积权重。为了以更少的计算量提取精确的上下文依赖关系，我们提出了一个交互式注意模块（IAM），该模块将空间信息嵌入到沿着不同空间方向的通道注意中。DAConv和IAM集成在分层网络架构中，以实现点云分析的局部密度和上下文方向感知学习。实验表明，与现有方法相比，DAConv对点密度的鲁棒性更强，并且在具有挑战性的3D点云数据集上的广泛比较表明，我们的网络在ModelNet40上实现了93.6%的最先进分类结果，在S3DIS上实现了68.71% mIoU的竞争性语义分割结果，在ShapeNet上实现了86.7% mIoU的部分分割结果。
2023-03-08 cs.CV
PCAM: Product of Cross-Attention Matrices for Rigid Registration of Point Clouds
Inria（法国国家信息与自动化研究所）；Mines ParisTech（巴黎矿业学院）；PSL Research University（巴黎文理研究大学）；LIGM（巴黎马恩河谷信息、数学与系统实验室）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
具有部分重叠的点云的刚性配准是一个长期存在的问题，通常通过两个步骤来解决：（a）找到点云之间的对应关系;（b）过滤这些对应关系以仅保留最可靠的对应关系来估计变换。最近，已经提出了几个深度网络来联合解决这些步骤。我们建立在这些工作，并提出PCAM：一个神经网络，其关键元素是一个逐点的产品的交叉注意矩阵，允许混合低层次的几何和高层次的上下文信息，以找到点对应。这些交叉注意矩阵还允许在每一层的点云之间交换上下文信息，从而允许网络在重叠区域内构建更好的匹配特征。实验表明，PCAM在像我们一样通过深度网联合解决步骤（a）和（b）的方法中获得了最先进的结果。我们的代码和训练模型可以在https://github.com/valeoai/PCAM上找到。
2021-10-04 cs.CV
Global Hierarchical Attention for 3D Point Cloud Analysis
RWTH Aachen University（亚琛工业大学）；Visual Computing Institute（视觉计算研究所）
我们提出了一种新的注意力机制，称为全局层次注意力（GHA），三维点云分析。GHA通过在多个层次上进行一系列粗化和插值操作来近似规则的全局点积注意。GHA的优势是双重的。首先，它相对于点的数量具有线性复杂性，从而能够处理大型点云。第二，GHA固有地具有集中于空间上接近的点的归纳偏差，同时保持所有点之间的全局连通性。与前馈网络相结合，GHA可以插入到许多现有的网络架构中。我们对多个基线网络进行了实验，结果表明，添加GHA可以持续提高不同任务和数据集的性能。对于语义分割任务，GHA使ScanNet上的MinkowskiEngine基线增加了+1.7% mIoU。对于3D目标检测任务，GHA将nuScenes数据集上的CenterPoint基线提高了+0.5% mAP，将ScanNet上的3DETR基线提高了+2.1% mAP 25和+1.5% mAP 50。
2022-08-07 cs.CV
DAPnet: A Double Self-attention Convolutional Network for Point Cloud Semantic Labeling
Central South University（中南大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Southwest Jiaotong University（西南交通大学）
机载激光扫描（ALS）点云具有复杂的结构，其三维语义标注一直是一项具有挑战性的任务。它有三个问题：（1）对来自不同类别的对象的边界周围的点云进行分类的难度，（2）同一类别内的形状的多样性，以及（3）类别之间的尺度差异。在这项研究中，我们提出了一种新的双自注意卷积网络，称为DAPnet。双重自我注意包括点注意模块（PAM）和群体注意模块（GAM）。对于问题（1），PAM可以基于相邻区域中点云的相关性来有效地分配不同的权重。同时，对于问题（2），GAM增强了组之间的相关性，即，在同一类中分组的要素。为了解决问题（3），我们采用多尺度半径来构造组，并将提取的层次特征与相应的上采样过程的输出连接起来。在ISPRS 3D Semantic Labeling Contest数据集下，DAPnet的整体准确率为90.7%，优于基准85.2%。通过进行烧蚀比较，我们发现PAM有效地改善了模型比GAM。引入双重自我注意模块后，学生的课前正确率平均提高了7%。此外，DAPnet消耗的训练时间与没有注意力模块的模型收敛时间相似。DAPnet可以根据点云与其邻域之间的相关性为特征分配不同的权重，从而有效地提高分类性能。源代码可在https://github.com/RayleighChen/point-attention上获得。
2021-09-15 cs.CV
Joint Retrieval of Cloud properties using Attention-based Deep Learning Models
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文提出带有注意力模块的紧凑UNet模型CAM，通过注意力机制和专用损失函数联合反演云光学厚度与云有效半径，在大涡模拟数据集上显著优于现有深度学习方法与IPA物理方法。
2025-04-09 cs.CV
Distribution-aware Interactive Attention Network and Large-scale Cloud Recognition Benchmark on FY-4A Satellite Image
State Key Laboratory of Integrated Services Networks, Xidian University（西安电子科技大学综合业务网理论及关键技术国家重点实验室）
针对卫星图像云识别特性关注不足的问题，提出包含9类云的FYH数据集，并设计DIAnet网络结合高分辨率分支、分布感知损失和交互式注意力模块，在mIoU上取得优于其他云识别网络的性能。
2024-01-06 cs.CV
ASAP-Net: Attention and Structure Aware Point Cloud Sequence Segmentation
Shanghai Jiaotong University（上海交通大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近的点云工作表明，多帧时空建模优于单帧版本，通过利用跨帧信息。在本文中，我们进一步提高时空点云特征学习与一个灵活的模块称为ASAP同时考虑跨帧的注意力和结构信息，我们发现这是成功分割动态点云的两个重要因素。首先，我们的ASAP模块包含一个新的关注时间嵌入层，以循环的方式融合跨帧的相对信息丰富的局部特征。其次，提出了一种有效的时空相关方法，利用更多的局部结构进行嵌入，同时增强了时间一致性，降低了计算复杂度。最后，我们展示了所提出的ASAP模块的泛化能力与不同的骨干网络的点云序列分割。我们的ASAP-Net（骨干加上ASAP模块）在Synthia和SemanticKITTI数据集上的性能优于基线和以前的方法（不同骨干的+3.4到+15.2 mIoU点）。代码可在https://github.com/intrepidChw/ASAP-Net
2020-08-12 cs.CV
OCA: ODE-Driven Cross-Attention for Image-to-Point-Cloud Registration
Huazhong University of Science and Technology（华中科技大学）；Northwestern Polytechnical University（西北工业大学）；Huazhong Agricultural University（华中农业大学）；Delft University of Technology（代尔夫特理工大学）
针对图像到点云配准中交叉注意力模糊性问题，提出ODE驱动的交叉注意力模块（OCA），通过常微分方程建模特征交互，集成至五个基线，在四个数据集上配准召回率提升最高达15%。
2026-09-30 cs.CV
SOE-Net: A Self-Attention and Orientation Encoding Network for Point Cloud based Place Recognition
Technical University of Munich（慕尼黑工业大学）；Beijing Institute of Technology（北京理工大学）
我们解决了从点云数据中识别位置的问题，并引入了一个自我关注和方向编码网络（SOE-Net），该网络充分探索了点之间的关系，并将长程上下文结合到逐点局部描述符中。从八个方向的每个点的本地信息被捕获在PointOE模块中，而本地描述符之间的远程特征依赖性被捕获与自我关注单元。此外，我们提出了一种新的损失函数称为硬正硬负四重损失（HPHN四重），实现更好的性能比常用的度量学习损失。在各种基准数据集上的实验表明，该网络的性能优于当前最先进的方法。我们的代码在https://github.com/Yan-Xia/SOE-Net上公开发布。
2021-05-23 cs.CV
GAM : Gradient Attention Module of Optimization for Point Clouds Analysis
Zhejiang Leapmotor Technology CO., LTD.（浙江零跑科技股份有限公司）；OPPO Research Institute（OPPO研究院）；The University of Sydney（悉尼大学）
在点云分析任务中，现有的局部特征聚合描述子（LFAD）无法充分利用中心点邻域内的信息。以往的方法仅依赖于欧氏距离来约束局部聚集过程，容易受到异常点的影响，不能充分拟合点云的原始几何形状。我们认为，细粒度的几何信息（FGGI）是重要的局部特征的聚合。因此，我们提出了一个基于梯度的局部注意力模块，称为梯度注意力模块（GAM），以解决上述问题。我们提出的GAM简化了提取邻域中梯度信息的过程，并使用天顶角矩阵和方位角矩阵作为显式表示，使模块加速35倍。在五个基准数据集上进行了综合实验，以证明所提出的GAM用于三维点云分析的有效性和泛化能力。特别是在S3 DIS数据集上，GAM的mIoU/OA/mAcc分别为74.4%/90.6%/83.2%，在当前基于点的模型中表现最好。
2023-03-21 cs.CV
PointLAMA: Latent Attention meets Mamba for Efficient Point Cloud Pretraining
本文提出 PointLAMA 点云预训练框架，通过任务感知序列化、融合 PMLA 与 Mamba 的混合编码器及条件扩散去噪，以极低参数量和 FLOPs 取得有竞争力的性能。
2025-07-23 cs.CV
APSNet: Attention Based Point Cloud Sampling
Georgia State University（佐治亚州立大学）
处理大型点云是一项具有挑战性的任务。因此，数据通常被下采样到更小的大小，使得它可以被更有效地存储、传输和处理，而不会导致显著的性能下降。传统的任务无关采样方法，如最远点采样（FPS），在采样点云时不考虑下游任务，因此通常会对任务的非信息点进行采样。本文探讨了一种面向任务的三维点云采样，旨在采样点的一个子集，专门为下游的感兴趣的任务。与FPS类似，我们假设接下来要采样的点应该很大程度上取决于已经采样的点。因此，我们制定了点云采样作为一个连续的生成过程，并开发了一个基于注意力的点云采样网络（APSNet）来解决这个问题。在每个时间步，APSNet通过利用先前采样点的历史来关注云中的所有点，并对信息量最大的点进行采样。提出了APSNet的监督学习和基于知识蒸馏的自监督学习。此外，联合训练的APSNet在多个样本大小的调查，导致一个单一的APSNet，可以产生任意长度的样本具有突出的性能。大量的实验证明了APSNet在各种下游任务中的卓越性能，包括3D点云分类，重建和配准。
2022-10-11 cs.CV
ProxyTransformation: Preshaping Point Cloud Manifold With Proxy Attention For 3D Visual Grounding
Tsinghua University（清华大学）
针对自我中心三维视觉定位中点云冗余噪声干扰目标流形的问题，提出代理变换方法，利用可变形点聚类和代理注意力引导子流形变换，在简单和困难目标上分别提升7.49%和4.60%，并降低40.6%计算开销，达到新SOTA。
2025-02-27 cs.CV
Self-positioning Point-based Transformer for Point Cloud Understanding
Korea University（高丽大学）；Meta Reality Labs（Meta现实实验室）
Transformers在各种计算机视觉任务中表现出卓越的性能，能够捕获远程依赖关系。尽管取得了成功，但由于点云的二次成本，直接将Transformers应用于点云是具有挑战性的。在本文中，我们提出了一个自定位点为基础的Transformer（SPoTr），这是旨在捕捉本地和全球的形状上下文，降低了复杂性。具体来说，该体系结构由局部自注意和基于自定位点的全局交叉注意组成。自定位点，自适应定位的输入形状的基础上，考虑空间和语义信息与分离的注意力，以提高表达能力。通过自定位点，我们提出了一种新颖的点云全局交叉注意力机制，通过允许注意力模块仅使用一小部分自定位点来计算注意力权重，提高了全局自注意力的可扩展性。实验结果表明，SPoTr的三个点云任务，如形状分类，部分分割，场景分割的有效性。特别是，我们提出的模型在使用ScanObjectNN进行形状分类时，比以前的最佳模型精度提高了2.6%。我们还提供了定性分析，以证明自定位点的可解释性。SPoTr的代码可在https://github.com/mlvlab/SPoTr上获得。
2023-03-29 cs.CV
Hierarchical Point Cloud Encoding and Decoding with Lightweight Self-Attention based Model
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）；Alibaba Group（阿里巴巴集团）
在本文中，我们提出了SA-CNN，一个层次化的和轻量级的基于自注意力的编码和解码架构，用于点云数据的表示学习。拟议的SA-CNN引入卷积和转置卷积堆栈来捕获和生成无序3D点之间的上下文信息。遵循传统的分层流水线，编码过程以局部到全局的方式提取特征，而解码过程以粗到细的多分辨率阶段生成特征和点云。我们证明了SA-CNN能够广泛应用，即分类，部分分割，重建，形状检索和无监督分类。虽然在基准测试中达到了最先进或相当的性能，但SA-CNN保持了比其他人低几个数量级的模型复杂性。在定性结果方面，我们可视化的多阶段点云重建和潜在的行走刚性物体以及可变形的非刚性的人类和机器人模型。
2022-02-13 cs.CV
3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds
University of Central Florida（中佛罗里达大学）；University of Western Australia（西澳大学）
我们提出了一种方法，用于联合检测和跟踪的多个对象在三维点云，一个任务，传统上被视为一个两步的过程，包括目标检测，其次是数据关联。我们的方法将这两个步骤嵌入到一个端到端的可训练网络中，消除了对外部对象检测器的依赖。我们的模型利用时间信息，采用多帧来检测对象并在单个网络中跟踪它们，从而使其成为现实世界场景的实用公式。利用连续点云扫描的特征相似性计算亲和矩阵是视觉跟踪的重要组成部分。我们提出了一个基于注意力的细化模块，通过抑制错误的对应关系来细化亲和力矩阵。该模块被设计为通过在每个亲和矩阵内采用自注意和跨一对亲和矩阵的交叉注意来捕获亲和矩阵中的全局上下文。与竞争方法不同，我们的网络不需要复杂的后处理算法，并处理原始LiDAR帧以直接输出跟踪结果。我们证明了我们的方法在三个跟踪基准上的有效性：JRDB，Waymo和KITTI。实验评估表明，我们的模型能够很好地推广到不同的数据集。
2022-11-01 cs.CV
Attention-based Transformation from Latent Features to Point Clouds
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）
在点云生成和完成中，用于将潜在特征转换为点云的先前方法通常基于全连接层（基于FC）或折叠操作（基于折叠）。然而，基于FC的方法生成的点云通常受到离群点和粗糙表面的困扰。对于基于折叠的方法，其数据流大，收敛速度慢，并且难以处理非光滑表面的生成。在这项工作中，我们提出了AXform，一个基于注意力的方法来转换潜在的功能点云。AXform首先使用全连接层在过渡空间中生成点。然后将这些中间点聚合以生成目标点云。AXform同时考虑了参数共享和数据流，使得它具有更少的离群值，更少的网络参数，更快的收敛速度。AXform生成的点不具有强的2-流形约束，这改善了非光滑曲面的生成。当AXform被扩展为多个分支用于局部生成时，向心约束使其具有自聚类和空间一致性，这进一步实现了无监督的语义分割。我们也采用这种方案，并设计了AXformNet的点云完成。在不同数据集上的大量实验表明，我们的方法达到了最先进的结果。
2021-12-10 cs.CV
Investigating the Effectiveness of Cross-Attention to Unlock Zero-Shot Editing of Text-to-Video Diffusion Models
INSAIT, Sofia University（INSAIT，索非亚大学）；ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文首次研究交叉注意力在 T2V 扩散模型零样本视频编辑中的作用，证明其可在无需训练样本的情况下控制对象形状、位置与运动。
2024-04-08 cs.CV cs.LG
Point-Focused Attention Meets Context-Scan State Space: Robust Biological Visual Perception for Point Cloud Representation
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院）；School of Mathematical Sciences, Beijing University of Posts and Telecommunications（北京邮电大学数学科学学院）
本文提出仿生点云表示学习网络PointLearner，结合点聚焦注意力与上下文扫描状态空间，在多点云任务中实现最优性能且鲁棒性卓越。
2026-10-09 cs.CV
SCA-PVNet: Self-and-Cross Attention Based Aggregation of Point Cloud and Multi-View for 3D Object Retrieval
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
本文提出SCA-PVNet，通过模态内自注意力和跨模态交叉注意力聚合点云与多视图特征，在多个数据集上验证了其三维物体检索性能优于现有方法。
2023-11-30 cs.CV
Anchor-Based Spatio-Temporal Attention 3D Convolutional Networks for Dynamic 3D Point Cloud Sequences
Shanghai Jiao Tong University（上海交通大学）；Beijing Institute of Technology（北京理工大学）；University of Cambridge（剑桥大学）
随着测量技术的快速发展，LiDAR和深度相机被广泛应用于3D环境的感知。目前基于学习的机器人感知方法大多集中在图像或视频上，但用于动态3D点云序列的深度学习方法尚未得到充分研究。因此，开发与这些先进仪器兼容的高效准确的感知方法是自动驾驶和服务机器人的关键。提出了一种基于锚点的时空注意力三维卷积运算（ASTA3DConv），用于处理动态三维点云序列。所提出的卷积操作通过在每个点周围设置几个虚拟锚来在每个点周围建立规则的感受野。首先基于时空注意力机制将邻域点的特征聚合到每个锚点上。然后，采用基于锚点的3D卷积将这些锚点的特征聚合到核心点。该方法更好地利用了局部区域内的结构化信息，并从动态三维点云序列中学习时空嵌入特征。基于锚点的时空注意力三维卷积神经网络（ASTA 3DCNN），在提出的ASTA 3DConv的基础上构建了用于分类和分割任务的ASTA 3DCNN，并在动作识别和语义分割任务上进行了评估。在MSRD3D和Synthia数据集上的实验和消融研究表明，该方法对动态3D点云序列具有优越的性能和有效性。我们的方法实现了最先进的性能之间的方法与动态三维点云序列作为输入的MSRD3D和Synthia数据集。
2021-07-29 cs.CV
GraNet: Global Relation-aware Attentional Network for ALS Point Cloud Classification
Technical University of Munich（慕尼黑工业大学）
在这项工作中，我们提出了一种新的神经网络专注于ALS点云的语义标记，调查的重要性，长距离的空间和通道的关系，并被称为全球关系感知注意网络（GraNet）。GraNet首先使用局部空间差异注意卷积模块（LoSDA）学习局部几何描述和局部依赖关系。在LoSDA中，通过堆叠多个局部空间几何学习模块来充分考虑方向信息、空间分布和高程差异，并通过使用注意力池模块来嵌入局部依赖性。然后，一个全局关系感知注意模块（GRA），包括一个空间关系感知注意模块（SRA）和一个通道关系感知注意模块（CRA），进一步学习的任何空间位置和特征向量之间的全局空间和通道的关系。上述两个重要模块嵌入到多尺度网络架构中，以进一步考虑大城市地区的尺度变化。我们在两个ALS点云数据集上进行了全面的实验，以评估我们提出的框架的性能。实验结果表明，与其他常用的高级分类方法相比，该方法可以达到更高的分类精度。我们的方法在ISPRS基准数据集上的总体准确率（OA）可以提高到84.5%，以分类9个语义类，平均F1度量（AvgF1）为73.5%。详细地说，每个对象类别的F1值如下：电力线：66.3%，低植被：82.8%，不透水表面：91.8%，汽车：80.7%，栅栏：51.2%，屋顶：94.6%，立面：62.1%，灌木：49.9%，树木：82.1%。此外，使用覆盖高度密集的城市区域的新ALS点云数据集进行实验。
2020-12-24 cs.CV
VA-GCN: A Vector Attention Graph Convolution Network for learning on Point Clouds
Zhejiang University（浙江大学）；Peking University（北京大学）
随着局部聚合算子研究的不断深入，点云分析模型取得了突破性进展。然而，现有的局部聚合算子在目前的文献中没有重视体面的点云的局部信息，这限制了模型的能力。为了弥补这一缺陷，本文提出了一种高效的矢量注意力卷积模块（VAConv），该模块利用K-最近邻（KNN）提取每个输入点的相邻点，然后利用中心点和相邻点之间矢量的仰角和方位角关系构造边缘特征的注意力权重矩阵。之后，VAConv采用双通道结构融合加权边缘特征和全局特征。为了验证VAConv的有效性，我们将具有不同感受野的VAConv并行连接以获得多尺度图卷积网络VA-GCN。拟议的VA-GCN在包括ModelNet 40，S3 DIS和ShapeNet在内的标准基准测试中实现了最先进的性能。值得注意的是，在3D分类的ModelNet 40数据集上，VA-GCN与基线相比增加了2.4%。
2021-06-01 cs.CV
Learning Dense Features for Point Cloud Registration Using a Graph Attention Network
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））
点云配准是定位、制图、跟踪和重建等许多应用中的基本任务。成功的配准依赖于提取鲁棒的和有区别的几何特征。虽然现有的基于学习的方法需要高计算能力来同时处理大量的原始点，但由于使用GPU的强大并行计算过程，计算能力限制不是问题。在本文中，我们介绍了一个框架，有效地和经济地提取密集的功能，使用图注意力网络点云匹配和注册（DFGAT）。DFGAT的检测器负责在大型原始数据集中找到高度可靠的关键点。DFGAT的描述符将这些关键点与它们的邻居相结合，以提取不变的密度特征，为匹配做准备。图形注意力网络（GAT）使用注意力机制来丰富点云之间的关系。最后，我们认为这是一个最优的运输问题，并使用Sinkhorn算法找到积极和消极的匹配。我们在KITTI数据集上进行了全面的测试，并评估了这种方法的有效性。实验结果表明，该方法具有高效、简洁的关键点选择和描述方法，能够获得最佳的匹配性能指标，配准成功率达到99.88%，优于其他方法。
2022-11-04 cs.CV
