Completing point cloud from few points by Wasserstein GAN and Transformers
Jianghan University(江汉大学);Wuhan University(武汉大学);Yangtze University(长江大学)
在许多视觉和机器人应用中,捕获的对象通常由非常少的点表示。现有的点云数据补全方法大多是针对点云数据量大的局部点云数据而设计的,在点云数据量少的情况下,补全效果较差甚至完全失效。然而,由于缺乏细节信息,从几个点完成对象面临着巨大的挑战。受GAN和Transformers在基于图像的视觉任务中成功应用的启发,我们引入了GAN和Transformer技术来解决上述问题。首先,预训练具有Transformers的端到端编码器-解码器网络和具有Transformer的Wasserstein GAN,然后微调整个网络。在ShapeNet数据集上的实验结果表明,该方法不仅可以提高多输入点的补全性能,而且可以在少输入点的情况下保持稳定。我们的源代码可以在https://github.com/WxfQjh/Stability-point-recovery.git上找到。
2022-11-23 cs.CV
3DCTN: 3D Convolution-Transformer Network for Point Cloud Classification
University of Waterloo(滑铁卢大学);University of Oxford(牛津大学)
虽然准确和快速的点云分类是三维应用中的一项基本任务,但由于点云的不规则性和无序性,难以实现这一目的,这使得实现有效和高效的全局判别特征学习具有挑战性。最近,已经采用3D Transformers来改进点云处理。然而,大量的Transformer层往往会导致巨大的计算和内存成本。本文提出了一种新的分层框架,结合卷积与Transformer的点云分类,命名为三维卷积-Transformer网络(3DCTN),结合强大的和有效的局部特征学习能力的卷积和显着的全局上下文建模能力的Transformer。我们的方法有两个主要模块操作的下采样点集,每个模块由一个多尺度的局部特征聚合(LFA)块和一个全局特征学习(GFL)块,这是分别使用图卷积和Transformer实现。我们还对一系列Transformer变体进行了详细调查,以探索我们网络的更好性能。在ModelNet 40上的各种实验表明,我们的方法在准确性和效率方面都达到了最先进的分类性能。
2022-03-02 cs.CV
NoiseTrans: Point Cloud Denoising with Transformers
Jilin University(吉林大学)
针对含噪点云影响下游任务的问题,提出 NoiseTrans 模型,利用 Transformer、Local Point Attention 与稀疏编码恢复干净点云,并在多数据集和噪声环境中取得最优去噪效果。
2023-04-24 cs.CV
PointCAT: Cross-Attention Transformer for point cloud
Nanjing University of Science and Technology(南京理工大学)
针对点云不规则无序导致Transformer模型发展受限的问题,提出PointCAT,通过双交叉注意力分支结合多尺度特征,并引入仅处理单个类标记的高效模型降低计算量,在多项3D任务中取得优异性能。
2023-04-06 cs.CV
Applying Plain Transformers to Real-World Point Clouds
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文重新审视朴素Transformer在真实世界点云理解中的应用,通过分析patchifier和位置嵌入等基本组件,并提出drop patch改进掩码自编码器自监督预训练,在S3DIS语义分割和ScanNet目标检测上以更低计算成本取得SOTA结果。
2023-08-06 cs.CV
REGTR: End-to-end Point Cloud Correspondences with Transformers
National University of Singapore(新加坡国立大学)
尽管最近在将学习结合到点云配准中方面取得了成功,但许多工作都集中在学习特征描述符上,并继续依赖于最近邻特征匹配和通过RANSAC进行离群值过滤来获得最终的对应关系集以进行姿态估计。在这项工作中,我们推测,注意力机制可以取代显式特征匹配和RANSAC的作用,从而提出了一个端到端的框架,直接预测最终的对应关系。我们使用一个网络架构主要由Transformer层包含自我和交叉注意力,并训练它来预测每个点位于重叠区域的概率及其在其他点云中的相应位置。然后,可以直接从预测的对应关系估计所需的刚性变换,而无需进一步的后处理。尽管简单,但我们的方法在3DMatch和ModelNet基准测试中实现了最先进的性能。我们的源代码可以在https://github.com/yewzijian/RegTR上找到。
2022-03-28 cs.CV
Efficient Complex-Valued Vision Transformers for MRI Classification Directly from k-Space
Institute for AI in Medicine (IKIM), University Hospital Essen(人工智能医学研究所(IKIM)、埃森大学医院);Cancer Research Center Cologne Essen (CCCE), University Medicine Essen(科隆埃森癌症研究中心(CCCE)、埃森大学医学中心);RACOON Study Group, Site Essen(RACOON研究组、埃森站点);Department of Physics, Technical University Dortmund(物理系、多特蒙德技术大学);German Cancer Consortium (DKTK), Partner Site Essen(德国癌症联合会(DKTK)、埃森合作站点);Medical Faculty and Faculty of Computer Science, University of Duisburg-Essen(医学系和计算机科学系、杜伊斯堡-埃森大学);German Cancer Research Center (DKFZ), 69120 Heidelberg(德国癌症研究中心(DKFZ)、海德堡);Department of Radiology, University Hospital Essen(放射学系、埃森大学医院);Department of Neurosurgery and Spine Surgery, University Hospital Essen(神经外科和脊柱外科系、埃森大学医院)
本文提出复数值视觉变换器kViT,直接在MRI的k空间数据上进行分类,实现高效且鲁棒的MRI分类性能。
2026-01-26 cs.CV
GTNet: Graph Transformer Network for 3D Point Cloud Classification and Semantic Segmentation
School of Information Science and Technology, Northwest University(西北大学信息科学与技术学院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
针对静态图邻域聚合缺陷与Transformer局部建模不足,提出融合动态图局部交叉注意力和全局自注意力的GTNet,用于点云分类、部件及语义分割。
2024-08-05 cs.CV
Point Cloud Recognition with Position-to-Structure Attention Transformers
UC San Diego(加州大学圣地亚哥分校);The Bishop’s School(毕晓普学校)
在本文中,我们提出了位置到结构的注意力Transformers(PS-Former),一个基于transformer的三维点云识别算法。PS-Former解决了3D点云表示中的挑战,其中点没有定位在固定的网格结构中,并且具有有限的特征描述(只有分散点的3D坐标($x, y, z$))。该领域中现有的基于Transformer的架构通常需要预先指定的特征工程步骤来提取点特征。在这里,我们介绍了PS-Former中的两个新方面:1)一个可学习的凝聚层,它执行点下采样和特征提取; 2)一个位置到结构注意力机制,它通过位置注意力分支递归地丰富结构信息。与竞争的方法相比,虽然是通用的,较少的几何特征设计,PS-Former展示了三个三维点云任务,包括分类,部分分割和场景分割的竞争力的实验结果。
2022-10-05 cs.CV
EventFormer: AU Event Transformer for Facial Action Unit Event Detection
针对帧级AU结果无法直接用于高级情感分析的问题,提出EventFormer,首次将AU事件检测视为类特定集合预测,直接从视频序列检测AU事件,在BP4D上验证了优越性。
2023-05-11 cs.CV
Pix4Point: Image Pretrained Standard Transformers for 3D Point Cloud Understanding
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
针对3D点云数据不足导致Transformer性能受限的问题,提出含渐进式点块嵌入的PViT模型降低数据依赖,并构建Pix4Point跨模态预训练流程,复用图像预训练Transformer提升点云理解任务性能。
2024-02-02 cs.CV
HiTPR: Hierarchical Transformer for Place Recognition in Point Cloud
Nanjing University of Science and Technology(南京理工大学);University of Macau(澳门大学)
位置识别或环路闭合检测是完整SLAM系统中的核心组件之一。为了同时增强局部邻域点的关联性和全局点之间的上下文依赖性,本文研究了基于变换器的网络特征提取方法,提出了一种基于层次Transformer的位置识别方法(HiTPR)。HiTPR由四个主要部分组成:点单元生成、短程Transformer(SRT)、长程Transformer(LRT)和全局描述符聚合。具体地说,点云最初被划分成一系列的小细胞通过下采样和最近的邻居搜索。在SRT中,我们提取每个点细胞的局部特征。而在LRT中,我们建立了整个点云中所有点单元之间的全局依赖关系。在几个标准基准上的实验证明了HiTPR在平均召回率方面的优越性,例如在Oxford RobotCar数据集上,前1%和前1分别达到93.71%和86.63%。
2022-04-12 cs.CV
DRS-VPT: Directly Relocalizing in a Scan with Vision Point Transformers
University of Oxford(牛津大学)
DRS-VPT提出一种前馈变换器架构,实现图像到扫描的直接配准,统一自动驾驶标定与室内重定位,达到最先进性能并支持零样本迁移。
2026-11-13 cs.CV cs.RO
Adaptive Channel Encoding Transformer for Point Cloud Analysis
National University of Defense Technology(国防科技大学);University of Science and Technology of China(中国科学技术大学)
Transformer在计算机视觉的各个领域中发挥着越来越重要的作用,在点云分析方面也取得了显著的成果。针对现有的信道编码算法主要集中在逐点Transformer上的问题,提出了一种自适应信道编码Transformer。具体而言,称为Transformer-Conv的通道卷积被设计用于对通道进行编码。它可以通过捕获坐标和特征之间的潜在关系来编码特征通道。与简单地为每个通道分配注意力权重相比,我们的方法旨在对通道进行自适应编码。此外,我们的网络采用了低层和高层双重语义感受野的邻域搜索方法,以提高性能。大量的实验表明,我们的方法是优于国家的最先进的点云分类和分割方法在三个基准数据集。
2022-07-17 cs.CV
Bytes Are All You Need: Transformers Operating Directly On File Bytes
Apple(苹果公司);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Meta AI
本文提出ByteFormer,直接在文件字节上进行模态无关的表示学习,无需解码或模态特定预处理,在ImageNet和音频分类上取得有竞争力的准确率,并能联合处理图像和音频。
2024-07-01 cs.CV
PCT: Point cloud transformer
Tsinghua University(清华大学);Cardiff University(卡迪夫大学)
不规则域和缺乏有序性使得设计用于点云处理的深度神经网络具有挑战性。本文提出了一种新的点云学习框架点云Transformer(PCT)。PCT是基于Transformer的,它在自然语言处理方面取得了巨大的成功,在图像处理方面显示出巨大的潜力。它在处理点序列时具有固有的置换不变性,因此非常适合点云学习。为了更好地捕捉点云内的局部上下文,我们在最远点采样和最近邻搜索的支持下增强了输入嵌入。大量的实验表明,PCT实现的形状分类,部分分割和正常的估计任务的最先进的性能。
2021-06-07 cs.CV
Point Transformer V2: Grouped Vector Attention and Partition-based Pooling
The University of Hong Kong(香港大学);Intel Labs(英特尔实验室);Max Planck Institute(马克斯·普朗克研究所)
作为探索用于3D点云理解的Transformer架构的开创性工作,Point Transformer在多个极具竞争力的基准测试中取得了令人印象深刻的结果。在这项工作中,我们分析了点Transformer的局限性,并提出了我们强大而高效的点Transformer V2模型与新颖的设计,克服了以前的工作的局限性。特别是,我们首次提出了组向量注意力,这是更有效的比以前版本的向量注意力。继承了可学习的权重编码和多头注意力的优点,我们提出了一种高效的实现分组向量注意力与一个新的分组权重编码层。我们还通过一个额外的位置编码乘数来加强注意力的位置信息。此外,我们设计了新的和轻量级的基于分区的池化方法,使更好的空间对齐和更有效的采样。大量的实验表明,我们的模型比其前身实现了更好的性能,并在几个具有挑战性的3D点云理解基准测试中达到了最先进的水平,包括ScanNet v2和S3DIS上的3D点云分割以及ModelNet40上的3D点云分类。我们的代码将在https://github.com/Gofinge/PointTransformerV2上提供。
2022-10-12 cs.CV
PTTR: Relational 3D Point Cloud Object Tracking with Transformer
Nanyang Technological University(南洋理工大学);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室);Sensetime Research(商汤科技研究院)
在点云序列中,3D对象跟踪的目的是在给定模板点云的情况下预测对象在当前搜索点云中的位置和方向。受Transformers成功的启发,我们提出了点跟踪变压器(PTTR),它有效地预测高质量的三维跟踪结果,在一个粗略到精细的方式与Transformer操作的帮助。PTTR由三种新颖的设计组成。1)代替随机采样,我们设计了一种基于感知的采样,在二次采样过程中保留与给定模板相关的点。2)此外,我们提出了一个点关系Transformer(PRT)的自注意和交叉注意模块组成。全局自注意操作捕获长范围依赖关系,以分别增强搜索区域和模板的编码点特征。随后,我们通过交叉注意匹配两组点特征来生成粗略的跟踪结果。3)基于粗跟踪结果,我们采用了一种新的预测细化模块,以获得最终的细化预测。此外,我们还基于Waymo Open Dataset创建了一个大规模点云单对象跟踪基准。大量的实验表明,PTTR实现优越的点云跟踪的准确性和效率。
2022-03-30 cs.CV
PatchFormer: An Efficient Point Transformer with Patch Attention
Hangzhou Dianzi University(杭州电子科技大学);University College London(伦敦大学学院)
点云学习社区见证了从CNN到Transformers的建模转变,其中纯Transformer架构在主要学习基准上实现了最高精度。然而,现有的点Transformers在计算上是昂贵的,因为它们需要生成大的注意力图,其相对于输入大小具有二次复杂度(在空间和时间两者上)。为了解决这个缺点,我们引入了补丁注意力(PAT)自适应地学习一个小得多的基础上计算的注意力地图。通过在这些基础上的加权求和,PAT不仅捕获全局形状上下文,而且实现了输入尺寸的线性复杂度。此外,我们提出了一个轻量级的多尺度注意力(MST)块,以建立不同尺度的功能之间的注意力,提供多尺度功能的模型。配备了PAT和MST,我们构建了称为PatchFormer的神经架构,将这两个模块集成到一个用于点云学习的联合框架中。大量的实验表明,我们的网络在一般点云学习任务上实现了相当的准确性,比以前的点Transformers提高了9.2倍。
2022-03-24 cs.CV
Point Transformer
University of Oxford(牛津大学);The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Intel Labs(英特尔实验室)
自注意网络已经彻底改变了自然语言处理,并在图像分析任务(如图像分类和目标检测)方面取得了令人印象深刻的进展。受此成功的启发,我们研究了自注意网络在3D点云处理中的应用。我们为点云设计了自注意层,并使用这些层来构建自注意网络,用于语义场景分割,对象部分分割和对象分类等任务。我们的Point Transformer设计改进了以前跨域和任务的工作。例如,在用于大规模语义场景分割的具有挑战性的S3DIS数据集上,Point Transformer在Area 5上达到了70.4%的mIoU,比最强的先验模型高出3.3个绝对百分点,并首次超过了70%的mIoU阈值。
2021-09-26 cs.CV
BPT: Binary Point Cloud Transformer for Place Recognition
Nanjing University of Science and Technology(南京理工大学);Illinois Institute of Technology(伊利诺伊理工学院)
地点识别是一种识别重访地点的算法,在完整的SLAM系统中起着后端优化触发器的作用。许多搭载了深度学习工具的作品,如MLP、CNN、Transformer等,在这一研究领域取得了很大的进步。点云Transformer是机器人位置识别的优秀框架之一,但点云Transformer网络的内存消耗大、计算量大,不利于在移动或嵌入式设备中广泛部署。为了解决这个问题,我们提出了一个二进制点云Transformer的地点识别。因此,32位全精度模型可以减少到1位模型,具有更少的内存占用和更快的二进制逐位操作。据我们所知,这是第一个可以部署在移动设备上的二进制点云Transformer,用于在线应用,如位置识别。在多个标准基准上的实验表明,该方法可以获得与相应的全精度Transformer模型相当的结果,甚至优于一些全精度深度学习方法。例如,在Oxford RobotCar数据集上,就平均召回率的度量而言,所提出的方法在顶部@1%处达到93.28%,在顶部@1%处达到85.74%。同时,在相同的Transformer结构下,模型的规模和浮点运算精度分别比原始模型的精度降低了56.1%和34.1%。
2023-03-02 cs.CV
Spatiotemporal Transformer Attention Network for 3D Voxel Level Joint Segmentation and Motion Prediction in Point Cloud
包括检测、分类、跟踪和运动预测在内的环境感知是自动驾驶系统和智能交通应用的关键推动因素。随着传感技术和机器学习技术的发展,基于LiDAR的传感系统已经成为一种很有前途的解决方案。该解决方案目前面临的挑战是如何有效地将不同的感知任务组合到一个单一的骨干中,以及如何有效地直接从点云序列中学习时空特征。在这项研究中,我们提出了一种新的时空注意力网络的基础上,Transformer自我注意力机制的联合语义分割和运动预测内的点云在体素水平。该网络被训练为通过直接从一系列点云数据集学习来同时输出体素级别类和预测运动。建议的骨干包括一个时间注意力模块(TAM)和空间注意力模块(SAM)学习和提取复杂的时空特征。这种方法已经用nuScenes数据集进行了评估,并且已经实现了有希望的性能。
2022-02-28 cs.CV
CpT: Convolutional Point Transformer for 3D Point Cloud Processing
University of Glasgow(格拉斯哥大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
我们提出了CpT:卷积点Transformer -一种用于处理3D点云数据的非结构化性质的新型深度学习架构。CpT是对现有的基于注意力的卷积神经网络以及以前的3D点云处理Transformers的改进。它之所以能实现这一壮举,是因为它通过一个专门用于动态处理局部点集邻域的卷积投影层,有效地创建了一个新颖而强大的基于注意力的点集嵌入。所得的点集嵌入对输入点的排列具有鲁棒性。我们的新CpT块建立在通过动态图计算在网络结构的每一层获得的点的局部邻域上。它是完全可微的,可以像卷积层一样堆叠,以学习点的全局属性。我们在标准基准数据集上评估我们的模型,如ModelNet 40,ShapeNet Part Segmentation和S3 DIS 3D室内场景语义分割数据集,以表明与现有的最先进的方法相比,我们的模型可以作为各种点云处理任务的有效骨干。
2021-11-21 cs.CV
Spatial Transformer for 3D Point Clouds
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
深度神经网络广泛用于理解3D点云。在每个点卷积层,从3D点的局部邻域计算特征,并将其组合用于后续处理,以提取语义信息。现有的方法在整个网络层中采用相同的单个点邻域,由固定输入点坐标上的相同度量定义。这种常见的做法很容易实现,但不一定是最佳的。理想情况下,局部邻域在不同的层应该是不同的,因为更多的潜在信息是在更深的层提取。我们提出了一种新的端到端的方法来学习输入点云的不同的非刚性变换,以便在每一层都可以采用最佳的局部邻域。我们提出了线性(仿射)和非线性(投影和变形)的空间Transformers的三维点云。通过ShapeNet零件分割数据集上的空间Transformers,该网络对所有类别都实现了更高的准确性,特别是耳机和火箭的准确率提高了8%。我们的方法也优于其他点云任务,如分类,检测和语义分割的最先进的。可视化结果表明,空间Transformers可以通过根据3D形状的几何形状和语义动态改变局部邻域来更有效地学习特征,尽管它们在类别内存在变化。我们的代码可在https://github.com/samaonline/spatial-transformer-for-3d-point-clouds上公开获取。
2021-03-30 cs.CV
PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture
针对Transformer架构点云分析计算成本高、收敛慢等问题,提出高效混合架构PointMT,通过线性局部注意力、通道温度自适应等机制,在性能与精度间实现最优平衡。
2024-09-16 cs.CV
Self-positioning Point-based Transformer for Point Cloud Understanding
Korea University(高丽大学);Meta Reality Labs(Meta现实实验室)
Transformers在各种计算机视觉任务中表现出卓越的性能,能够捕获远程依赖关系。尽管取得了成功,但由于点云的二次成本,直接将Transformers应用于点云是具有挑战性的。在本文中,我们提出了一个自定位点为基础的Transformer(SPoTr),这是旨在捕捉本地和全球的形状上下文,降低了复杂性。具体来说,该体系结构由局部自注意和基于自定位点的全局交叉注意组成。自定位点,自适应定位的输入形状的基础上,考虑空间和语义信息与分离的注意力,以提高表达能力。通过自定位点,我们提出了一种新颖的点云全局交叉注意力机制,通过允许注意力模块仅使用一小部分自定位点来计算注意力权重,提高了全局自注意力的可扩展性。实验结果表明,SPoTr的三个点云任务,如形状分类,部分分割,场景分割的有效性。特别是,我们提出的模型在使用ScanObjectNN进行形状分类时,比以前的最佳模型精度提高了2.6%。我们还提供了定性分析,以证明自定位点的可解释性。SPoTr的代码可在https://github.com/mlvlab/SPoTr上获得。
2023-03-29 cs.CV
Semantic Segmentation of Textured Non-manifold 3D Meshes using Transformers
Institute of Photogrammetry and GeoInformation, Leibniz University Hannover(汉诺威莱布尼茨大学摄影测量与地理信息研究所)
本文提出一种纹理感知的Transformer模型,结合多尺度特征聚合方案,用于纹理非流形3D网格的语义分割,实验证明在SUM和文化遗产数据集上均优于现有方法。
2026-04-02 cs.CV
PTT: Point-Track-Transformer Module for 3D Single Object Tracking in Point Clouds
Northeastern University(东北大学)
3D单目标跟踪是机器人技术的一个关键问题。在本文中,我们提出了一个Transformer模块称为点跟踪Transformer(PTT)的点云为基础的三维单目标跟踪。PTT模块包含特征嵌入、位置编码和自注意特征计算三个模块。特征嵌入的目的是将具有相似语义信息的特征在嵌入空间中放置得更近。位置编码用于将点云的坐标编码为高维可区分的特征。自我注意力通过计算注意力权重来生成精细的注意力特征。此外,我们将PTT模块嵌入到开源的最先进的方法P2B中,以构建PTT-Net。在KITTI数据集上的实验表明,我们的PTT-Net以明显的优势(约10%)超越了最先进的技术。此外,PTT-Net可以在NVIDIA 1080Ti GPU上实现实时性能(约40 FPS)。我们的代码在https://github.com/shanjiayao/PTT上为机器人社区开源。
2021-10-07 cs.CV
SEFormer: Structure Embedding Transformer for 3D Object Detection
Tsinghua University(清华大学);Australian National University(澳大利亚国立大学);National University of Singapore(新加坡国立大学)
在不规则稀疏的LiDAR点云数据中有效地保留和编码目标的结构特征是点云数据上三维目标检测的关键挑战。最近,Transformer在许多2D甚至3D视觉任务中表现出了良好的性能。与固定和刚性卷积核相比,Transformer中的自注意力机制可以自适应地排除不相关或噪声点,因此适用于保持不规则LiDAR点云的局部空间结构。然而,Transformer仅基于自我注意力机制对点要素执行简单的求和,并且所有点共享相同的值变换。这种各向同性操作缺乏捕获对于3D目标检测重要的方向-距离-定向的局部结构的能力。本文提出了一种结构嵌入transFormer(SEFormer),它既能像传统的Transformer一样保持局部结构,又能对局部结构进行编码。与传统Transformer中的自注意力机制相比,SEFormer基于到查询点的相对方向和距离来学习值点的不同特征转换。然后,我们提出了一个SEFormer为基础的网络高性能的三维目标检测。大量的实验表明,该架构可以在Waymo Open Dataset上实现SOTA结果,Waymo Open Dataset是自动驾驶领域最大的3D检测基准。具体而言,SEFormer实现了79.02%的mAP,比现有工程高出1.2%。我们会发布密码的。
2022-09-05 cs.CV
Exploring Point-BEV Fusion for 3D Point Cloud Object Tracking with Transformer
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院)
随着LiDAR传感器在自动驾驶中的普及,3D目标跟踪越来越受到关注。在点云序列中,3D对象跟踪的目的是在给定对象模板的情况下预测对象在连续帧中的位置和方向。受Transformers成功的启发,我们提出了点跟踪变压器(PTTR),它有效地预测高质量的三维跟踪结果,在一个粗略到精细的方式与Transformer操作的帮助。PTTR由三种新颖的设计组成。1)代替随机采样,我们设计了一种基于感知的采样,以在子采样过程中保留与给定模板相关的点。2)我们提出了一个点关系Transformer有效的特征聚合和模板和搜索区域之间的特征匹配。3)基于粗跟踪结果,我们采用了一种新的预测细化模块,通过局部特征池获得最终的细化预测。此外,受点云的鸟瞰图(BEV)在捕捉物体运动方面的有利特性的启发,我们进一步设计了一个更先进的框架PTTR++,它结合了点视图和BEV表示,以利用它们的互补作用来生成高质量的跟踪结果。PTTR++以较低的计算开销大大提高了PTTR的跟踪性能。在多个数据集上的大量实验表明,我们提出的方法实现了卓越的3D跟踪精度和效率。
2022-08-10 cs.CV
Exploiting Inductive Bias in Transformer for Point Cloud Classification and Segmentation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Shandong University(山东大学);Charles Sturt University(查尔斯特大学)
针对点云处理中点间连接提取难、现有方法难兼顾局部与全局特征的问题,提出归纳偏置辅助Transformer(IBT),融合相对位置编码等局部特征增强自注意力,在分类分割任务上表现更优。
2023-04-27 cs.CV
Efficient Point Transformer with Dynamic Token Aggregating for LiDAR Point Cloud Processing
本文提出DTA-Former,通过可学习令牌稀疏化、动态令牌聚合和全局特征增强模块实现高效点云分类,并引入迭代令牌重建与W-net架构改进密集预测,在降低计算开销的同时提升LiDAR点云处理性能。
2024-12-25 cs.CV
Investigating transformers in the decomposition of polygonal shapes as point collections
Delft University of Technology(代尔夫特理工大学)
Transformers可以通过两种方法生成预测:1.通过以先前的序列元素为条件来自回归地调节每个序列元素,或者2.直接并行产生输出序列。虽然研究主要探讨了NLP中顺序任务的这种差异,但我们研究了视觉集预测任务中自回归和并行预测之间的差异,特别是图像中的多边形形状,因为多边形代表了许多类型的对象,例如建筑物或飞行器的障碍物。这对于深度学习架构来说是具有挑战性的,因为多边形可以由不同的点组成。我们提供的证据自然秩序的重要性,Transformers,并显示出的好处,分解复杂的多边形的点的集合中的自回归的方式。
2021-08-17 cs.CV
DPText-DETR: Towards Better Scene Text Detection with Dynamic Points in Transformer
JD Explore Academy(京东探索研究院)
近年来,基于Transformer的文本检测方法,通过预测多边形点或Bezier曲线控制点来定位文本,成为场景文本检测的主流方法。然而,这些方法建立在检测Transformer框架可能会达到次优的训练效率和性能,由于粗糙的位置查询建模。此外,在以前的工作中利用的点标签形式暗示了人类的阅读顺序,这阻碍了我们的观察检测鲁棒性。为了应对这些挑战,本文提出了一个简洁的动态点文本检测Transformer网络,称为DPText-DETR。详细地说,DPText-DETR直接利用显式点坐标来生成位置查询,并以渐进的方式动态更新它们。此外,为了改善Transformer中非局部自注意的空间归纳偏差,我们提出了一个增强的因子化自注意模块,该模块在每个实例中提供圆形形状指导的点查询。此外,我们设计了一个简单而有效的位置标签形式,以解决前一个形式的副作用。为了进一步评估不同标记形式对真实场景下检测鲁棒性的影响,我们建立了一个包含500张手动标记图像的反文本测试集。大量的实验证明了我们的方法在流行的基准测试中的高训练效率,鲁棒性和最先进的性能。代码和反文本测试集可在https://github.com/ymy-k/DPText-DETR上获得。
2022-11-28 cs.CV
Fast Point Transformer
POSTECH GSAI & CSE(浦项科技大学研究生院人工智能系与计算机科学与工程系)
最近神经网络的成功使得能够更好地解释3D点云,但处理大规模3D场景仍然是一个具有挑战性的问题。目前大多数方法将大规模场景划分为小区域,并将局部预测组合在一起。然而,该方案不可避免地涉及额外的预处理和后处理阶段,并且由于局部视角的预测,也可能降低最终输出。本文介绍了Fast Point Transformer,它由一个新的轻量级自关注层组成。我们的方法对连续的3D坐标进行编码,基于体素散列的架构提高了计算效率。通过三维语义分割和三维检测验证了该方法的有效性。我们的方法的准确性与最好的基于体素的方法相比具有竞争力,我们的网络的推理时间比最先进的Point Transformer快129倍,并且在S3DIS数据集上的3D语义分割中具有合理的准确性。
2022-04-04 cs.CV
PoinTramba: A Hybrid Transformer-Mamba Framework for Point Cloud Analysis
The University of Hong Kong(香港大学);The University of Sydney(悉尼大学)
针对点云分析中Transformer计算量大、Mamba性能有限的问题,提出融合二者的PoinTramba混合框架,结合组内Transformer建模与组间Mamba建模,辅以双向重要性感知排序策略,在多个数据集上实现点云识别新SOTA。
2024-06-16 cs.CV
Point Virtual Transformer
Texas A \& M University Email;Engineering Technology \& Industrial Distribution Texas A \& M University Texas, USA
PointViT通过融合真实和虚拟点,提升远距离3D目标检测性能,实现91.16%的3D AP和95.94%的BEV AP。
2026-02-04 cs.CV
APPT : Asymmetric Parallel Point Transformer for 3D Point Cloud Understanding
Zhejiang University(浙江大学);Fabu(法布)
本文提出非对称并行点Transformer(APPT),通过引入全局枢轴注意力扩大有效感受野,并设计非对称并行结构融合局部与全局特征,在多个三维点云理解基准上达到最先进水平。
2023-03-31 cs.CV
Point Transformer V3 Extreme: 1st Place Solution for 2024 Waymo Open Dataset Challenge in Semantic Segmentation
HKU SH AI Lab(香港大学上海人工智能实验室);NUS(新加坡国立大学);NTU(南洋理工大学)
本方案通过多帧训练、无裁剪点策略及模型集成,显著提升Point Transformer V3性能,在2024年Waymo语义分割挑战赛中夺得第一。
2024-07-21 cs.CV
Cloud Transformers: A Universal Approach To Point Cloud Processing Tasks
Samsung AI Center Moscow(三星莫斯科人工智能中心);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Yandex
我们提出了一个新的多功能构建块的深点云处理架构,同样适用于不同的任务。这个构建块将空间Transformers和多视图卷积网络的思想与二维和三维密集网格中标准卷积层的效率相结合。新的块通过多个平行的头进行操作,而每个头将各个点的特征表示可区分地光栅化到低维空间中,然后使用密集卷积来跨点传播信息。然后将各个头部的处理结果组合在一起,从而更新点特征。使用新的块,我们建立了区分(点云分割,点云分类)和生成(点云修复和基于图像的点云重建)任务的架构。由此产生的架构实现了这些任务的最先进的性能,展示了点云处理的新块的多功能性。
2021-10-03 cs.CV
LCPFormer: Towards Effective 3D Point Cloud Analysis via Local Context Propagation in Transformers
Aberystwyth University(阿伯里斯特威斯大学);AnMai Technology (Ningbo) Co., Ltd.(安迈科技(宁波)有限公司);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);University of Sheffield(谢菲尔德大学)
Transformer具有底层的注意力机制和捕获长距离依赖关系的能力,使其成为无序点云数据的自然选择。然而,从一般采样架构分离的局部区域破坏了实例的结构信息,并且相邻局部区域之间的固有关系缺乏探索,而局部结构信息在基于变换的3D点云模型中是至关重要的。因此,在本文中,我们提出了一个新的模块命名为本地上下文传播(LCP),利用相邻的本地区域之间的消息传递,使他们的表示更翔实和歧视。更具体地说,我们使用相邻局部区域的重叠点(统计上显示是普遍的)作为中介,然后在将它们传递到下一层之前重新加权来自不同局部区域的这些共享点的特征。在两个Transformer层之间插入LCP模块可以显著提高网络的表现力。最后,我们设计了一个灵活的LCPFormer架构,配备了LCP模块。所提出的方法适用于不同的任务,并优于各种基于变换的方法在基准,包括三维形状分类和密集的预测任务,如三维目标检测和语义分割。代码将被发布用于复制。
2023-02-19 cs.CV
SeedFormer: Patch Seeds based Point Cloud Completion with Upsample Transformer
Nanjing University(南京大学);Tencent(腾讯)
点云补全在3D点云生成任务中越来越受欢迎,因为从其部分观察恢复3D对象的完整形状是一个具有挑战性但不可或缺的问题。在本文中,我们提出了一种新的SeedFormer,以提高在点云完成的细节保存和恢复的能力。与以往的方法基于一个全球性的特征向量,我们引入了一个新的形状表示,即补丁种子,它不仅捕捉一般结构的部分输入,但也保留了区域信息的局部模式。然后,通过将种子特征集成到生成过程中,我们可以以从粗到细的方式恢复完整点云的忠实细节。此外,我们设计了一个上采样Transformer通过扩展的Transformer结构到点生成器的基本操作,有效地结合了空间和语义之间的关系相邻点。定性和定量评估表明,我们的方法优于国家的最先进的完成网络在几个基准数据集。我们的代码可在https://github.com/hrzhou2/seedformer上获得。
2022-07-21 cs.CV
PT-WNO: Point Transformer with Wavelet Neural Operator for 3D Point Cloud Semantic Segmentation
Lehigh University(里海大学)
针对点云语义分割中全局上下文不足的问题,提出PT-WNO,通过在跳跃连接旁集成可学习的小波神经算子分支捕获多尺度全局频谱上下文,在四个基准上提升性能。
2026-06-11 cs.CV
SANDFORMER: CNN and Transformer under Gated Fusion for Sand Dust Image Restoration
Xinjiang University(新疆大学);Shandong University of Technology(山东理工大学)
尽管卷积神经网络(CNN)在图像复原方面取得了很好的进展,但卷积的内在等价性和局部性仍然制约着图像质量的进一步提高。最近的视觉Transformer和自我注意力在各种计算机视觉任务上取得了可喜的成果。然而,直接利用Transformer进行图像复原是一项具有挑战性的任务。在本文中,我们介绍了一种有效的混合架构的沙子图像复原任务,它利用本地功能从CNN和远程依赖捕获的Transformer,以进一步改善结果。针对Transformer和CNN之间的特征不一致问题,提出了一种有效的沙尘图像复原混合结构。该框架通过调制基于CNN和基于Transformer的分支的特征来补充每个表示,而不是简单地添加或连接特征。实验表明,与以往的沙粒图像复原方法相比,SandFormer在合成和真实沙尘场景中的复原性能都有了显著的提高。
2023-03-08 cs.CV
SnowflakeNet: Point Cloud Completion by Snowflake Point Deconvolution with Skip-Transformer
Tsinghua University(清华大学);Kuaishou Technology(快手科技);Wayne State University(韦恩州立大学)
点云补全的目的是从点云的部分观测数据中高精度地预测出一个完整的形状。然而,以往的方法往往由于点云的离散性和局部区域点的非结构化预测,难以揭示完整形状上的局部几何细节。为了解决这个问题,我们提出了SnowflakeNet与雪花点反卷积(SPD)生成完整的点云。SnowflakeNet将完整点云的生成建模为3D空间中点的雪花状增长,其中通过在每个SPD之后分裂其父点来逐步生成子点。我们揭示细节几何的见解是在SPD中引入跳跃变换器来学习最适合局部区域的点分裂模式。Skip-transformer利用注意力机制来总结在先前SPD层中使用的分裂模式,以在当前SPD层中产生分裂。SPD生成的局部紧凑和结构化的点云能够精确地捕获局部块中3D形状的结构特征,这使得网络能够预测高度详细的几何形状,例如平滑区域,尖锐的边缘和拐角。在广泛使用的基准测试中,我们的实验结果优于最先进的点云完成方法。代码将在https://github.com/AllenXiangX/SnowflakeNet上提供。
2021-10-27 cs.CV
3D Object Tracking with Transformer
Northeastern University(东北大学)
特征融合和相似度计算是三维目标跟踪中的两个核心问题,特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息,使相似度计算更加有效。然而,大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性,而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制,Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征,在当前点云特征中加入更多的目标线索,计算区域注意力,提高了相似度计算的效率。基于此特征融合网络,我们提出了一个端到端的点云目标跟踪框架,一个简单而有效的方法,用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明,我们的方法达到了新的最先进的性能。代码可在:https://github.com/3bobo/lttr.
2021-10-28 cs.CV
RegFormer: An Efficient Projection-Aware Transformer Network for Large-Scale Point Cloud Registration
Shanghai Jiao Tong University(上海交通大学);China University of Mining and Technology(中国矿业大学);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软)
本文提出端到端Transformer网络RegFormer,通过投影感知分层Transformer和双射关联Transformer实现大规模点云配准,无需后处理,在KITTI和NuScenes上兼顾精度与效率。
2023-08-10 cs.CV
Voxel Set Transformer: A Set-to-Set Approach to 3D Object Detection from Point Clouds
The Hong Kong Polytechnic University(香港理工大学)
Transformer在许多2D视觉任务中表现出良好的性能。然而,由于点云是一个长序列,在三维空间中分布不均匀,因此计算大规模点云数据的自注意力是非常繁琐的。为了解决这个问题,现有的方法通常通过将点分组为相同大小的聚类来局部计算自注意力,或者在离散化表示上执行卷积自注意力。然而,前者导致随机点丢失,而后者通常具有狭窄的注意力领域。在本文中,我们提出了一种新的基于体素的体系结构,即体素集Transformer(VoxSeT),检测3D对象从点云通过集到集的翻译。VoxSeT是建立在一个基于体素的集合注意力(VSA)模块,它减少了在每个体素的自我注意力的两个交叉注意力和模型的特征在一个隐藏的空间诱导的一组潜在的代码。通过VSA模块,VoxSeT可以管理大范围内任意大小的体素化点簇,并以线性复杂度并行处理。所提出的VoxSeT将Transformer的高性能与基于体素的模型的效率相结合,可以用作卷积和基于点的骨干的良好替代。VoxSeT报告了KITTI和Waymo检测基准的竞争结果。源代码可在\url{https://github.com/skyhehe123/VoxSeT}中找到。
2022-03-19 cs.CV
Point Transformer for Shape Classification and Retrieval of 3D and ALS Roof PointClouds
IIT Madras(印度理工学院马德拉斯分校)
深度学习方法的成功使三维点云处理任务在遥感应用中取得了重大突破。现有的方法利用具有一些限制的卷积,因为它们假设均匀的输入分布并且不能学习长期依赖性。最近的研究表明,在这些方法的同时增加注意力可以提高性能。这就提出了一个问题:注意力层能完全取代卷积吗?本文提出了一个完全注意力模型-- { \em Point Transformer},用于导出丰富的点云表示。该模型的形状分类和检索性能进行了评估的大规模城市数据集-RoofN 3D和标准基准数据集ModelNet 40。大量的实验进行了测试模型的鲁棒性看不见的点腐败分析其在真实数据集上的有效性。所提出的方法在RoofN 3D数据集中优于其他最先进的模型,在ModelNet 40基准测试中给出了有竞争力的结果,并对各种看不见的点损坏表现出高鲁棒性。此外,与其他方法相比,该模型具有高度的内存和空间效率。
2021-02-20 cs.CV
PCT-Prompt: A Prompt-Guided Transformer Framework for Dense Prediction Tasks in Point Clouds
China University of Geosciences(中国地质大学);Li Auto Inc(理想汽车)
PCT-Prompt是一种提示引导Transformer框架,通过引入提示引导特征分支和提示丢弃机制,提升了标准Transformer在点云密集预测任务中的适应性,在多个公开数据集上取得了优异性能。
2026-08-18 cs.CV
PVT-SSD: Single-Stage 3D Object Detector with Point-Voxel Transformer
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);COMAC Beijing Aircraft Technology Research Institute(中国商飞北京民用飞机技术研究中心)
提出PVT-SSD,一种结合点与体素表示的单阶段3D检测器,通过点-体素Transformer模块融合长距离上下文与局部几何信息,并设计虚拟距离图像模块加速邻近点搜索,在自动驾驶基准上验证了高效性与有效性。
2023-05-11 cs.CV
3D Landmark Detection on Human Point Clouds: A Benchmark and A Dual Cascade Point Transformer Framework
Shenzhen Technology University(深圳技术大学);Georgia Institute of Technology(佐治亚理工学院);Lenovo Research(联想研究院)
本文针对无序三维人体点云关键点检测研究稀缺的问题,构建了包含103个样本的HPoint103基准数据集,并提出双级联点Transformer模型D-CPT,通过级联解码器与局部RefineNet实现精确关键点定位,在多个数据集上显著超越现有方法。
2024-01-14 cs.CV
PU-EdgeFormer: Edge Transformer for Dense Prediction in Point Cloud Upsampling
Chung-Ang University(中央大学)
针对现有基于MLP的点云上采样方法难以同时学习局部与全局结构的问题,提出结合图卷积与Transformer的PU-EdgeFormer方法,构建含EdgeConv图卷积和多头自注意力的EdgeFormer单元,实验证明其主客观性能均优于现有最优方法。
2023-05-02 cs.CV
Leveraging Point Transformers for Detecting Anatomical Landmarks in Digital Dentistry
TESCAN 3DIM, s.r.o.(TESCAN 3DIM有限责任公司);Brno University of Technology(布尔诺理工大学)
针对数字牙科解剖学标志点自动检测面临的数据集规模有限、解剖学变异性大等挑战,提出基于Transformer架构的点云学习方法,设计Point Transformer v3启发模块,在2024年MICCAI的3DTeethLand挑战赛中取得有前景的结果并探讨特征可解释性。
2025-04-15 cs.CV