Detail Preserved Point Cloud Completion via Separated Feature Aggregation
Wuhan University(武汉大学);JD.com American Technologies Corporation(京东美国科技公司)
点云形状的求补是三维视觉和机器人领域的一个具有挑战性的问题。现有的基于学习的框架利用编码器-解码器架构从高度编码的全局特征向量恢复完整的形状。虽然全局特征可以近似地表示三维物体的整体形状,但在完成过程中会导致形状细节的丢失。在这项工作中,而不是使用一个全局功能来恢复整个完整的表面,我们探索的功能,多层次的功能和聚合不同的功能,分别代表已知的部分和缺失的部分。我们提出了两种不同的特征聚合策略,即全局和局部特征聚合(GRFA)和残余特征聚合(RFA),来表达这两种特征并从它们的组合中重建坐标。此外,我们还设计了一个细化组件,以防止生成的点云的非均匀分布和离群值。在ShapeNet数据集上进行了大量实验。定性和定量的评估表明,我们提出的网络优于目前最先进的方法,特别是在细节保护。
2020-07-05 cs.CG cs.CV
LoGDesc: Local geometric features aggregation for robust point cloud registration
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);ISIR(智能系统与机器人研究所)
本文提出LoGDesc混合描述子,结合PCA先验几何信息、三角形邻域法向量描述子以及图卷积和注意力传播,在多个基准上提升了含噪声和低重叠点云的配准性能。
2024-10-03 cs.CV
PAPooling: Graph-based Position Adaptive Aggregation of Local Geometry in Point Clouds
Beijing Institute of Technology(北京理工大学);Beijing Institute of Technology Chongqing Innovation Center(北京理工大学重庆创新中心)
通过局部区域内点特征的聚集获得的细粒度几何特征对于点云中的目标识别和场景理解至关重要。然而,现有的优秀点云骨干通常包含用于局部特征聚合的最大/平均池,这在很大程度上忽略了点的位置分布,导致细粒度结构的组装不足。为了缓解这一瓶颈,我们提出了一个有效的替代最大池,位置自适应池(PAPooling),明确模型的局部点之间的空间关系,使用一种新的图形表示,并聚集功能的位置自适应的方式,使位置敏感的表示聚合功能。具体而言,PAPooling由两个关键步骤组成,图构造和特征聚合,分别负责构造具有连接局部区域中的中心点与每个相邻点的边的图,以将它们的相对位置信息映射到通道关注权值,并通过图卷积网络(GCN)基于生成的权值自适应地聚合局部点特征。PAPooling简单而有效,并且足够灵活,可以随时用于不同的流行骨干网,如PointNet++和DGCNN,作为即插即用操作符。从3D形状分类,部分分割到场景分割的各种任务的大量实验表明,PAPooling可以显着提高预测精度,同时具有最小的额外计算开销。代码将被释放。
2021-11-28 cs.CV
Enhancing Robustness to Noise Corruption for Point Cloud Recognition via Spatial Sorting and Set-Mixing Aggregation Module
School of Computer Science, University of Sydney(悉尼大学计算机科学学院)
针对点云识别模型在现实噪声数据上鲁棒性不足的问题,本文通过网络架构设计提出噪声鲁棒的Set-Mixer聚合模块与排序策略,在ModelNet40-C上显著提升了噪声环境下的识别性能。
2024-11-15 cs.CV
SAVTrack: Selective Vote Aggregation for Reliability-Aware Point Cloud Tracking
Southeast University(东南大学);Key Laboratory of Measurement and Control of Complex Systems of Engineering, Ministry of Education(教育部复杂工程系统测量与控制重点实验室);University of Pennsylvania(宾夕法尼亚大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对点云稀疏导致投票不可靠的问题,提出SAVTrack,通过选择性投票聚合估计投票可靠性并过滤低置信度假设,在KITTI和nuScenes上取得领先性能且计算开销小。
2026-09-16 cs.CV
SPARK: Scalable Real-Time Point Cloud Aggregation with Multi-View Self-Calibration
SPARK通过自校准实时多摄像机点云重建框架,实现稳定且高效的点云融合与外参估计,适用于大规模3D重建场景。
2026-02-06 cs.CV
A Closer Look at Few-Shot 3D Point Cloud Classification
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
本文系统评估了2D少样本学习算法在3D点云上的迁移效果,并提出包含三个即插即用模块的PCIA网络,显著提升了3D点云少样本分类的性能。
2023-03-31 cs.CV
Full Point Encoding for Local Feature Aggregation in 3D Point Clouds
Hunan University(湖南大学);The University of Western Australia(西澳大学)
点云处理方法通过聚集来利用局部点特征和全局上下文,该聚集没有显式地建模局部特征和全局特征之间的内部关联。为了解决这个问题,我们提出了适用于卷积和Transformer架构的全点编码。具体来说,我们提出了全点卷积(FPConv)和全点Transformer(FP Transformer)架构。其核心思想是从局部和全局几何连接中自适应地学习权值,其中连接分别通过局部和全局相关函数建立。FPConv和FPTransformer同时对局部和全局几何关系及其内部相关性进行建模,表现出强大的泛化能力和高性能。FPConv被整合到经典的分层网络架构中,以实现局部和全局形状感知学习。在FPTransformer中,我们在自我注意力中引入了完整的点位置编码,它对全局和局部感受野中的每个点位置进行分层编码。我们还提出了一个形状感知的下采样块,它考虑到了局部形状和全局上下文。在基准数据集上与现有方法进行的实验比较显示了FPConv和FPTransformer在语义分割、目标检测、分类和正常估计任务中的有效性。特别是,我们实现了最先进的语义分割结果,在S3DIS 6倍上为76%的mIoU,在S3DIS Area5上为72.2%。
2023-03-08 cs.CV
DAR-Net: Dynamic Aggregation Network for Semantic Scene Segmentation
Purdue University(普渡大学)
传统的基于网格/邻域的静态池已经成为点云几何分析的一个限制。在本文中,我们提出了DAR-Net,这是一种新型网络架构,专注于动态特征聚合。DAR-Net的核心思想是生成一个自适应池化骨架,该骨架同时考虑场景复杂度和局部几何特征。骨架提供可变的半局部感受野和权重,作为连接局部卷积特征提取器和全局递归特征集成器的桥梁。室内场景数据集上的实验结果表明,所提出的方法相比,采用静态池化方法的最先进的架构的优势。
2019-12-26 cs.CV cs.LG
Walk in the Cloud: Learning Curves for Point Clouds Shape Analysis
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
离散点云对象缺乏足够的3D几何形状描述符。本文提出了一种新的点云虚拟曲线聚合方法。连接点(曲线)的序列最初通过在点云中进行引导行走进行分组,然后聚合以增强其逐点特征。我们提供了一个有效的实施建议的聚合策略,包括一个新的曲线分组操作符,然后由曲线聚合操作符。我们的方法在几个点云分析任务上进行了基准测试,其中我们在ModelNet40分类任务上实现了94.2%的最新分类准确率,在ShapeNetPart分割任务上实现了86.8的实例IoU,在ModelNet40正常估计任务上实现了0.11的余弦误差。
2021-07-29 cs.CV
CRA-PCN: Point Cloud Completion with Intra- and Inter-level Cross-Resolution Transformers
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室)
提出Cross-Resolution Transformer进行层级内与层级间交叉分辨率聚合,构建由粗到细的CRA-PCN模型,在多个基准上大幅提升点云补全性能。
2024-02-14 cs.CV
BiPointNet: Binary Neural Network for Point Clouds
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);University of California, San Diego(加州大学圣地亚哥分校)
为了缓解在边缘设备上运行的实时点云应用程序的资源限制,本文提出了BiPointNet,这是第一种用于点云高效深度学习的模型二值化方法。我们发现,点云二值化模型的巨大性能下降主要源于两个挑战:聚合引起的特征同质化,导致信息熵的退化,以及规模失真,阻碍优化和无效的规模敏感的结构。通过理论论证和深入分析,我们的BiPointNet引入了熵最大化聚合(EMA)来调整聚合前的分布以获得最大信息熵,并引入了分层尺度恢复(LSR)来有效地恢复特征表示能力。大量的实验表明,BiPointNet通过令人信服的边缘优于现有的二值化方法,甚至可以与全精度对应方法相媲美。我们强调,我们的技术是通用的,保证对各种基本任务和主流骨干的显着改进。此外,BiPointNet在实际资源受限的设备上提供了令人印象深刻的14.7倍加速和18.9倍存储节省。
2021-06-11 cs.CV
Exploiting Implicit Rigidity Constraints via Weight-Sharing Aggregation for Scene Flow Estimation from Point Clouds
本文提出一种隐式利用刚性约束的权重共享聚合(WSA)方法和形变度模块,并将其集成到PointPWC-Net构建WSAFlowNet,在FlyingThings3D和KITTI数据集上大幅提升了场景流估计性能。
2023-04-01 cs.CV
GAM : Gradient Attention Module of Optimization for Point Clouds Analysis
Zhejiang Leapmotor Technology CO., LTD.(浙江零跑科技股份有限公司);OPPO Research Institute(OPPO研究院);The University of Sydney(悉尼大学)
在点云分析任务中,现有的局部特征聚合描述子(LFAD)无法充分利用中心点邻域内的信息。以往的方法仅依赖于欧氏距离来约束局部聚集过程,容易受到异常点的影响,不能充分拟合点云的原始几何形状。我们认为,细粒度的几何信息(FGGI)是重要的局部特征的聚合。因此,我们提出了一个基于梯度的局部注意力模块,称为梯度注意力模块(GAM),以解决上述问题。我们提出的GAM简化了提取邻域中梯度信息的过程,并使用天顶角矩阵和方位角矩阵作为显式表示,使模块加速35倍。在五个基准数据集上进行了综合实验,以证明所提出的GAM用于三维点云分析的有效性和泛化能力。特别是在S3 DIS数据集上,GAM的mIoU/OA/mAcc分别为74.4%/90.6%/83.2%,在当前基于点的模型中表现最好。
2023-03-21 cs.CV
Enhancing point cloud analysis via neighbor aggregation correction based on cross-stage structure correlation
School of Automation Science and Electrical Engineering, Beihang University(自动化科学与电气工程学院,北航);Chinese Aeronautical Radio Electronics Research Institute(中国航空无线电电子研究所);School of Artificial Intelligence, Beihang University(人工智能学院,北航)
针对点云分析中邻居聚合的无关点干扰和特征层次差距问题,提出基于跨阶段结构相关性的PDSA模块,通过高维相关性校正特征分布,提升效率与鲁棒性,在分割和分类任务上以更少参数实现显著性能提升。
2025-06-18 cs.CV
Point2SpatialCapsule: Aggregating Features and Spatial Relationships of Local Regions on Point Clouds using Spatial-aware Capsules
School of Software, Tsinghua University(清华大学软件学院);Department of Computer Science, University of Maryland at College Park(马里兰大学帕克分校计算机科学系);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心)
直接在点云上学习有区别的形状表示在3D形状分析和理解中仍然具有挑战性。目前的研究通常包括三个步骤:首先将点云划分为若干局部区域,然后提取每个局部区域的相应特征,最后使用简单的最大池将所有局部区域特征聚合成一个全局特征作为形状表示。然而,这种基于池化的特征聚合方法没有充分考虑局部区域之间的空间关系,这极大地限制了学习有区别的形状表示的能力。为了解决这个问题,我们提出了一种新的深度学习网络,名为Point2SpatialCapsule,用于聚合点云上局部区域的特征和空间关系,旨在学习更多有区别的形状表示。与传统的基于最大池的特征聚合网络相比,Point2SpatialCapsule不仅可以显式地学习局部区域的几何特征,还可以学习它们之间的空间关系。它由两个模块组成。为了解决局部区域的无序问题,第一个模块,命名为几何特征聚合,被设计为聚合的局部区域的特征到可学习的聚类中心,显式编码的空间位置从原始的3D空间。第二个模块,命名为空间关系聚合,提出了进一步聚合聚类功能和它们之间的空间关系,在特征空间中使用本文开发的空间感知胶囊。与以前的基于胶囊网络的方法相比,空间感知胶囊上的特征路由可以学习点云的局部区域之间更具区分性的空间关系,这通过特征聚类在日志先验和空间位置之间建立了直接映射。
2019-08-29 cs.CV
Channel-Level Relation to Attentive Aggregation with Neighborhood-Homogeneity Constraint for Point Cloud Analysis
1School of Automation Science;Electrical Engineering, Beihang University, Beijing, China 2Wuhan Leaddo Measuring \& Control Technology, Wuhan, China 3School of Artificial Intelligence, Beihang University, Beijing, China Emails
本文提出PointCRA网络,通过引入时间趋势变化作为新评估维度,解决现有空间和通道注意机制中权重维度坍缩导致的信息丢失问题,提升点云分析的精度与效率。
2026-05-08 cs.CV
Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation
PKU(北京大学);HKU(香港大学);Tencent(腾讯);Kwai Inc.(快手)
本文提出了一种高效的金字塔多视图立体视觉(MVS)网络,该网络具有自适应视图聚合功能,能够实现稠密点云的精确、完整重建。与以往基于深度学习的MVS方法中使用均方方差来生成成本体积不同,我们的\textbf{VA-MVSNet}通过引入两种新的自适应视图聚合:像素视图聚合和体素视图聚合,以较小的额外内存消耗来合并不同视图中的成本方差。为了进一步提高三维点云重建的鲁棒性和完整性,我们扩展了VA-MVSNet与金字塔多尺度图像输入为\textbf{PVA-MVSNet},其中多度量约束被利用来聚合可靠的深度估计在较粗的尺度,以填充在较细的尺度不匹配的区域。实验结果表明,我们的方法建立了一个新的国家的最先进的\textsl{\textbf{DTU}}数据集的完整性和整体质量的显着改善,并通过实现与国家的最先进的方法在\textsl{\textbf{Tanks and Temples}}基准相当的性能具有很强的泛化能力。我们的代码库位于\hyperlink{https://github.com/yhw-yhw/PVAMVSNet}{https://github.com/yhw-yhw/PVAMVSNet}
2020-07-21 cs.CV
Global Attention-Guided Dual-Domain Point Cloud Feature Learning for Classification and Segmentation
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(南京航空航天大学人工智能学院);School of Computing, Mathematics, and Engineering, Charles Sturt University(查尔斯斯特大学计算、数学与工程学院);George Mason University(乔治梅森大学)
针对点云分析中原始点输入嵌入效率低、邻域聚合效果有限的问题,提出全局注意力引导的双域特征学习网络GAD,通过CPT模块生成全局感知嵌入、DKFF模块实现双域特征聚合,在多类点云任务上取得更优性能。
2024-07-12 cs.CV
Any Motion Detector: Learning Class-agnostic Scene Dynamics from a Sequence of LiDAR Point Clouds
Yandex(Yandex(俄罗斯互联网公司));Google(谷歌)
目标检测和运动参数估计是自动驾驶汽车在复杂城市环境中安全导航的关键任务。在这项工作中,我们提出了一种新的实时方法的时间上下文聚合的运动检测和运动参数估计的基础上的三维点云序列。我们引入了一个自我运动补偿层,以实现实时推理的性能相媲美的原始点云序列的朴素里程变换。所提出的体系结构不仅能够估计常见道路参与者(如车辆或行人)的运动,而且还能推广到训练数据中不存在的其他对象类别。我们还对不同的时间上下文聚合策略进行了深入分析,例如循环单元和3D卷积。最后,我们提供了我们最先进的模型与KITTI场景流数据集上现有解决方案的比较结果。
2020-04-24 cs.CV cs.RO
VA-GCN: A Vector Attention Graph Convolution Network for learning on Point Clouds
Zhejiang University(浙江大学);Peking University(北京大学)
随着局部聚合算子研究的不断深入,点云分析模型取得了突破性进展。然而,现有的局部聚合算子在目前的文献中没有重视体面的点云的局部信息,这限制了模型的能力。为了弥补这一缺陷,本文提出了一种高效的矢量注意力卷积模块(VAConv),该模块利用K-最近邻(KNN)提取每个输入点的相邻点,然后利用中心点和相邻点之间矢量的仰角和方位角关系构造边缘特征的注意力权重矩阵。之后,VAConv采用双通道结构融合加权边缘特征和全局特征。为了验证VAConv的有效性,我们将具有不同感受野的VAConv并行连接以获得多尺度图卷积网络VA-GCN。拟议的VA-GCN在包括ModelNet 40,S3 DIS和ShapeNet在内的标准基准测试中实现了最先进的性能。值得注意的是,在3D分类的ModelNet 40数据集上,VA-GCN与基线相比增加了2.4%。
2021-06-01 cs.CV
Point Deformable Network with Enhanced Normal Embedding for Point Cloud Analysis
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文提出PDNet,一种基于MLP的点云分析网络,通过可变形聚合模块捕获长距离依赖,并引入增强法向嵌入提升单点表示,在多个基准上验证了其优越性。
2023-12-20 cs.CV
Robust Kernel-based Feature Representation for 3D Point Cloud Analysis via Circular Convolutional Network
Seoul National University(首尔国立大学);Soongsil University(崇实大学)
点云的特征描述符用于多种应用中,例如3D点云的配准和部分分割。学习局部几何特征的判别表示无疑是精确点云分析的最重要任务。然而,它是具有挑战性的开发旋转或尺度不变的描述符。大多数以前的研究要么忽略了旋转或经验研究的最佳尺度参数,这阻碍了现实世界的数据集的方法的适用性。在本文中,我们提出了一种新的局部特征描述方法,是强大的旋转,密度和规模的变化。此外,为了改善局部描述符的表示,我们提出了一种全局聚合方法。首先,我们在法线方向上放置围绕每个点对齐的内核。为了避免法向量的符号问题,我们在切平面上使用对称核点分布。从每个核点,我们首先将点从空间空间投影到特征空间,这对基于角度和距离的多尺度和旋转具有鲁棒性。随后,我们通过考虑局部核点结构和通过全局聚合方法获得的长程全局上下文来执行图卷积。我们在基准数据集上试验了我们提出的描述符(即,ModelNet40和ShapeNetPart)来评估3D点云上的配准、分类和部件分割的性能。我们的方法表现出优越的性能相比,国家的最先进的方法,减少70 $\%$的旋转和平移误差的注册任务。我们的方法在具有简单和低维架构的分类和部分分割任务中也表现出相当的性能。
2022-08-31 cs.CV
PACE: Post-Causal Entropy Modeling for Learned LiDAR Point Cloud Compression
School of Information Science and Technology, Hangzhou Normal University, Hangzhou, China.(信息科学与技术学院,杭州师范大学,杭州,中国);School of Electronic Science and Engineering, Nanjing University, Nanjing, China(电子科学与工程学院,南京大学,南京,中国)
PACE通过非因果骨干网络和轻量级预测器提升LiDAR点云压缩效率,实现90%以上的解码延迟降低和BD-BR节省。
2026-06-06 cs.CV
PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture
针对Transformer架构点云分析计算成本高、收敛慢等问题,提出高效混合架构PointMT,通过线性局部注意力、通道温度自适应等机制,在性能与精度间实现最优平衡。
2024-09-16 cs.CV
DuMLP-Pin: A Dual-MLP-dot-product Permutation-invariant Network for Set Feature Extraction
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
现有的置换不变方法根据聚集范围可以分为两类,即全局聚集和局部聚集。虽然全球聚合方法,e。例如,在一个实施例中,PointNet和Deep Sets涉及更简单的结构,它们的性能比PointNet++和Point Transformer等局部聚合的性能差。是否存在一种结构简单、性能优良、参数少得多的全局集结方法仍然是一个悬而未决的问题。在本文中,我们提出了一种新的全球聚合置换不变的网络的基础上双MLP点积,称为DuMLP-Pin,这是能够被用来提取特征集的输入,包括无序或非结构化的像素,属性和点云数据集。严格证明了当给定输入集的基数大于某个阈值时,由DuMLP-Pin实现的任意置换不变函数都可以以点积的方式分解为两个或多个置换等变函数.我们还证明了在一定条件下,DuMLP-Pin可以被看作是具有强约束的深集。DuMLP-Pin的性能在几个不同的任务与不同的数据集进行评估。实验结果表明,我们的DuMLP-Pin在像素集和属性集的两个分类问题上取得了最好的结果。无论是在点云分类还是零件分割方面,DuMLP-Pin的准确性都非常接近迄今为止性能最好的局部聚集方法,仅相差1-2%,而所需参数的数量则显着减少了85%以上分类和分割分别为69%。该代码可在https://github.com/JaronTHU/DuMLP-Pin上公开获取。
2022-08-31 cs.AI cs.CV
S3I-PointHop: SO(3)-Invariant PointHop for 3D Point Cloud Classification
University of Southern California(南加利福尼亚大学)
许多点云分类方法都是在假设数据集中的所有点云都与规范轴对齐的情况下开发的,以便可以采用3D笛卡尔点坐标来学习特征。当输入点云不对齐时,分类性能显著下降。在这项工作中,我们专注于一个数学上透明的点云分类方法称为PointHop,分析其失败的原因,由于姿态变化,并解决了这个问题,取代其姿态相关的模块与旋转不变的同行。该方法被称为SO(3)-Invariant PointHop(简称S3 I-PointHop)。我们还大大简化了PointHop管道,只使用一个单跳以及多个空间聚合技术。利用更多空间信息的想法是新颖的。在ModelNet 40数据集上的实验证明了S3 I-PointHop方法优于传统的类PointHop方法。
2023-02-22 cs.CV
Learning Part Boundaries from 3D Point Clouds
University of Cyprus(塞浦路斯大学);RISE CoE(RISE卓越中心);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一种方法,检测表示为点云的3D形状的零件的边界。我们的方法是基于一个图卷积网络架构,输出一个点的概率位于一个区域,在一个3D形状分开两个或多个部分。我们的边界检测器是相当通用的:它可以被训练来定位3D建模中常用的语义部分或几何图元的边界。我们的实验表明,我们的方法可以提取更准确的边界,更接近地面实况的替代品相比。我们还展示了我们的网络在细粒度语义形状分割中的应用,其中我们还展示了部分标记性能的改进。
2020-07-15 cs.CG cs.CV
Point Cloud Processing via Recurrent Set Encoding
Rutgers University(罗格斯大学);Stony Brook University(石溪大学)
提出了一种新的用于三维点云处理的置换不变网络。我们的网络由一个递归集编码器和一个卷积特征聚合器组成。给定一个无序点集,编码器首先将其周围空间划分为平行光束。然后,每个波束内的点被建模为一个序列,并通过共享的递归神经网络(RNN)编码成次区域几何特征。波束的空间布局是规则的,并且这允许波束特征被进一步馈送到高效的2D卷积神经网络(CNN)中以用于分层特征聚合。我们的网络在空间特征学习方面是有效的,并且在许多基准测试中与最先进的(SOTA)竞争。与此同时,与SOTA相比,它的效率更高。
2019-11-25 cs.CV
Improving Point Cloud Based Place Recognition with Ranking-based Loss and Large Batch Training
Warsaw University of Technology(华沙理工大学)
本文提出了一种简单有效的基于学习的方法来计算一个有区别的三维点云描述符的地方识别的目的。最近的最先进的方法具有相对复杂的架构,例如与特征聚合模块的金字塔相结合的点Transformers的多尺度金字塔。我们的方法使用一个简单而有效的3D卷积特征提取,基于稀疏体素化表示,增强与通道注意块。我们采用图像检索的最新进展,并提出了一个修改后的版本的损失函数的基础上可微的平均精度近似。这种损失函数需要以非常大的批量进行训练以获得最佳结果。这是通过使用多级反向传播实现的。在流行的基准测试上的实验评估证明了我们的方法的有效性,与最先进的状态一致的改进
2022-04-07 cs.CV
Point Cloud Upsampling and Normal Estimation using Deep Learning for Robust Surface Reconstruction
Ilmenau University of Technology(伊尔梅瑙工业大学);Carl Zeiss AG(卡尔蔡司公司)
真实世界表面的重建在各种应用中都有很高的要求。大多数现有的重建方法应用3D扫描仪来创建通常稀疏且低密度的点云。这些点云将被三角化并与通过几何方法估计的表面法线结合用于可视化。然而,重建的质量取决于点云的密度和表面法线的估计。在本文中,我们提出了一种新的点云上采样深度学习架构,使后续的稳定和平滑的表面重建。一个低密度的噪声点云与相应的点法线被用来估计具有较高的密度和附加的点法线的点云。为此,我们提出了一个复合损失函数,鼓励网络估计点,躺在一个表面上,包括法线准确地预测表面的方向。我们的研究结果显示了估计法线与点位置的好处。生成的点云更平滑、更完整,最终的曲面重建更接近地面实况。
2021-02-26 cs.CV
Dual-Neighborhood Deep Fusion Network for Point Cloud Analysis
National University of Defense Technology(中国人民解放军国防科技大学);University of Science and Technology of China(中国科学技术大学)
最近,深度神经网络在三维点云分类方面取得了显著的成就。然而,现有的分类方法主要是在理想化的点云上实现的,并且在非理想化的情况下遭受严重的性能退化。针对这一问题,提出了一种特征表示学习方法--双邻域深度融合网络(DNDFN),作为一种改进的点云编码器,用于非理想化点云分类。DNDFN利用一种称为TN学习的可训练邻域学习方法来捕获全局关键邻域。然后,融合全局邻域和局部邻域,使网络具有更强的推理能力。此外,提出了一种信息传递卷积(IT-Conv)算法,用于DNDFN学习点对之间的边缘信息,有利于特征传递过程。信息在IT-Conv中的传递类似于信息在图中的传播,这使得DNDFN更接近人类的推理模式。在已有的基准测试特别是非理想数据集上的大量实验验证了DNDFN的有效性,DNDFN达到了最新的水平。
2022-05-05 cs.CV
Applying Plain Transformers to Real-World Point Clouds
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文重新审视朴素Transformer在真实世界点云理解中的应用,通过分析patchifier和位置嵌入等基本组件,并提出drop patch改进掩码自编码器自监督预训练,在S3DIS语义分割和ScanNet目标检测上以更低计算成本取得SOTA结果。
2023-08-06 cs.CV
PIVOT-Net: Heterogeneous Point-Voxel-Tree-based Framework for Point Cloud Compression
InterDigital
提出异构点云压缩框架PIVOT-Net,统一点、体素和树表示及其骨干网络,并引入上下文感知上采样和增强体素变换器,在多种点云上实现最先进压缩性能。
2024-02-11 cs.CV eess.IV
SRINet: Learning Strictly Rotation-Invariant Representations for Point Cloud Classification and Segmentation
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
随着点云分析在各个领域的应用需求不断增加,点云分析得到了越来越广泛的关注。尽管在几个数据库上取得了令人印象深刻的性能,但研究人员忽略了这些点云数据的方向是对齐的这一事实。改变点云的方向可能导致性能下降,限制了推广到实际应用中的能力,其中方向的先验往往是未知的。在本文中,我们提出的点投影功能,这是不变性的输入点云的旋转。设计了一种新颖的体系结构来挖掘不同层次的特征。我们采用基于PointNet的主干提取点云的全局特征,并采用图聚合操作来感知局部形状结构。此外,我们还引入了一个有效的关键点描述符,为每个点分配不同的响应,并帮助识别整体几何形状。数学分析和实验结果表明,该方法不需要数据增强,就能提取出严格旋转不变的点云表示,从而实现点云的识别和分割,且性能优于其他现有方法.
2019-11-06 cs.CV eess.IV
Voxel-FPN: multi-scale voxel feature aggregation in 3D object detection from point clouds
Hangzhou Hikvision Digital Technology Co. Ltd(杭州海康威视数字技术股份有限公司)
点云数据中的目标检测是计算机视觉系统中的关键组成部分之一,特别是对于自动驾驶应用。在这项工作中,我们提出了体素FPN,一种新的一级3D物体检测器,只利用激光雷达传感器的原始数据。核心框架包括一个编码器网络和一个相应的解码器,然后是一个区域建议网络。编码器采用自底向上的方式提取多尺度体素信息,解码器采用自顶向下的方式融合不同尺度的多个特征图。大量的实验表明,该方法具有更好的性能,从点数据中提取特征,并证明了其优越性,在具有挑战性的KITTI-3D基准上的一些基线,在现实世界的场景中获得良好的性能,在速度和准确性。
2019-07-16 cs.CV cs.LG stat.ML
Segregation and Context Aggregation Network for Real-time Cloud Segmentation
Carnegie Mellon University(卡内基梅隆大学);University of Nottingham(诺丁汉大学);The University of Hong Kong(香港大学);Cornell University(康奈尔大学);University College Dublin(都柏林大学)
针对现有云分割方法难以兼顾精度与效率的问题,提出轻量级模型SCANet,通过分离与上下文聚合模块优化分割,在降低参数的同时达到最先进精度,并实现超实时速度。
2025-04-19 cs.CV
From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
从LiDAR点云数据中检测三维目标检测是三维场景理解中的一个具有挑战性的问题,有着广泛的实际应用。在本文中,我们将我们的初步工作PointRCNN扩展到一个新的,强大的基于点云的3D目标检测框架,部分感知和聚合神经网络(部分- $A^2$网)。整个框架由部件感知阶段和部件聚合阶段组成。首先,部件感知阶段首次充分利用来自3D地面实况框的免费部件监督,同时预测高质量的3D建议和准确的对象内部件位置。同一提案中的预测对象内部分位置由我们新设计的RoI感知点云池化模块分组,这导致有效的表示来编码每个3D提案的几何特定特征。然后,部件聚合阶段学习对框重新评分,并通过探索池化的对象内部件位置的空间关系来细化框位置。进行了大量的实验,以证明我们提出的框架的每个组件的性能改进。我们的Part- $A^2$网络优于所有现有的3D检测方法,并通过仅利用LiDAR点云数据在KITTI 3D目标检测数据集上实现了新的最先进技术。代码可在https://github.com/sshaoshuai/PointCloudDet3D上获得。
2020-03-16 cs.CV
Semantic Segmentation for Point Cloud Scenes via Dilated Graph Feature Aggregation and Pyramid Decoders
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学)
点云的语义分割通过密集预测每个点的类别来产生对场景的全面理解。由于感受野的单一性,点云的语义分割对于多感受野特征的表达具有挑战性,容易导致空间结构相似的实例误分类。在本文中,我们提出了一个图卷积网络DGFA-Net植根于扩张图特征聚合(DGFA),通过金字塔解码器计算的多基聚合损失(MALoss)的指导。为了配置多感受野特征,DGFA以所提出的扩张图卷积(DGConv)为基本构建块,通过捕获具有各种感受区域的扩张图来聚合多尺度特征表示。通过同时考虑不同分辨率的点集作为计算基础对感受野信息进行惩罚,针对感受野基础的多样性,引入MALoss驱动的金字塔解码器。结合这两个方面,DGFA-Net显着提高分割性能的实例具有相似的空间结构。在S3 DIS、ShapeNetPart和Toronto-3D上的实验表明,DGFA-Net的性能优于基线方法,实现了新的最先进的分割性能。
2022-11-03 cs.CV
TransPillars: Coarse-to-Fine Aggregation for Multi-Frame 3D Object Detection
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
基于点云的三维目标检测在自动驾驶、机器人等领域有着广泛的应用前景,受到了越来越多的关注。然而,大多数现有的研究集中在单点云框架没有利用点云序列中的时间信息。在本文中,我们设计的transPillars,一种新的基于变换的特征聚合技术,利用连续点云帧的时间特性的多帧三维目标检测。TransPillars从两个角度聚合时空点云特征。首先,它直接从多帧特征图中融合体素级特征,而不是合并实例特征,以保留实例细节和上下文信息,这些信息对准确的对象定位至关重要。其次,它引入了一个分层的粗到精的策略,逐步融合多尺度特征,以有效地捕捉运动对象的运动和指导精细功能的聚合。此外,为了提高跨帧特征匹配的有效性,本文还引入了变形Transformer。大量实验表明,与现有的多帧检测方法相比,我们提出的TransPillars实现了最先进的性能。代码将被释放。
2022-08-04 cs.CV
DoppDrive: Doppler-Driven Temporal Aggregation for Improved Radar Object Detection
General Motors(通用汽车公司);Ben Gurion University of the Negev(本· Gurion 内盖夫大学)
本文提出DoppDrive多普勒驱动时间聚合方法,通过径向移动和按多普勒与角度分配聚合时长来增强雷达点云密度并减少散射,从而在多种检测器和数据集上显著提升目标检测性能。
2025-08-17 cs.CV
White Aggregation and Restoration for Few-shot 3D Point Cloud Semantic Segmentation
Sungkyunkwan University(全州大学)
研究少样本3D点云语义分割,针对现有方法问题,提出基于注意力机制的白色聚合与恢复模块(WARM),解决分布差距,生成有效原型,在多个数据集上取得良好性能,证明其在确定性原型生成中的有效性。
2026-07-13 cs.CV
Neighborhood Spatial Aggregation MC Dropout for Efficient Uncertainty-aware Semantic Segmentation in Point Clouds
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Standard and Metrology Research Institute of China Academy of Railway Sciences Corporation Limited(中国铁道科学研究院集团有限公司标准计量研究所)
基于不确定性的点云语义分割包括预测性不确定性估计和基于不确定性的模型优化。任务中的一个关键挑战是逐点预测分布建立的效率。广泛使用的MC dropout通过使用多个随机前向传播计算样本的标准差来建立分布,这对于基于包含大量点的点云的任务来说是耗时的。因此,提出了一种嵌入有NSA-MC dropout(MC dropout的变体)的框架,以在一个正向传递中建立分布。具体地说,NSA-MC dropout通过空间依赖的方式对模型进行多次采样,通过聚合邻居的随机推理结果来输出逐点分布。在此基础上,从预测分布中获得任意和预测不确定性。将随机不确定性引入到损失函数中,对噪声点进行惩罚,在一定程度上避免了模型的过拟合。此外,预测不确定度量化了预测的置信度。实验结果表明,该框架对真实世界的点云数据获得了较好的分割效果,并有效地量化了分割结果的可信度。我们的NSA-MC dropout比MC dropout快几倍,并且推理时间与采样时间没有建立耦合关系。如果论文被接受,代码将可用。
2021-12-05 cs.CV
2DDATA: 2D Detection Annotations Transmittable Aggregation for Semantic Segmentation on Point Cloud
National Cheng Kung University(国立成功大学)
本文提出2DDATA方法,通过利用易于获取的2D检测框标注设计局部目标分支,将边界框先验信息传递给3D编码器,从而在不依赖复杂多模态标定和配对数据的情况下融合RGB与点云信息,提升点云语义分割性能。
2023-09-21 cs.AI cs.CV
Efficiently Expanding Receptive Fields: Local Split Attention and Parallel Aggregation for Enhanced Large-scale Point Cloud Semantic Segmentation
Xidian University(西安电子科技大学)
本文提出LSNet框架,通过局部分裂注意力池化(LSAP)和并行聚合增强(PAE)模块高效扩展感受野,在大规模点云语义分割中提升mIoU最高达11%,并实现约38.8%的加速。
2024-09-03 cs.CV
Learning Multi-View Aggregation In the Wild for Large-Scale 3D Semantic Segmentation
ENGIE Lab CRIGEN(ENGIE CRIGEN实验室);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学)
最近关于3D语义分割的工作提出通过用专用网络处理每个模态并将学习到的2D特征投影到3D点上来利用图像和点云之间的协同作用。合并大规模点云和图像会带来一些挑战,例如在点和像素之间构建映射,以及在多个视图之间聚合特征。目前的方法需要网格重建或专门的传感器来恢复遮挡,并使用几何学来选择和聚合可用的图像。相比之下,我们提出了一个端到端的可训练的多视图聚合模型,利用3D点的观看条件来合并在任意位置拍摄的图像的特征。我们的方法可以结合标准的2D和3D网络,并优于彩色点云和混合2D/3D网络上运行的3D模型,而不需要着色,网格化,或真正的深度图。我们在S3 DIS(74.7 mIoU 6-Fold)和KITTI-360(58.3 mIoU)上为大规模室内/室外语义分割设置了新的最先进技术。我们的完整管道可以在https://github.com/drprojects/DeepViewAgg访问,并且只需要原始3D扫描和一组图像和姿势。
2022-07-07 cs.CV
3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation
RWTH Aachen University(亚琛工业大学);Google(谷歌);Technical University Munich(慕尼黑工业大学)
提出了一种基于三维点云的实例分割方法3D-MPA。给定一个输入点云,我们提出了一个以对象为中心的方法,每个点投票的对象中心。我们从预测的对象中心采样对象建议。然后,我们从投票支持同一对象中心的分组点特征中学习提案特征。图卷积网络引入了建议间关系,除了较低级别的点特征之外,还提供了更高级别的特征学习。每个建议包括一个语义标签,一组相关的点,我们定义了一个前景-背景掩码,对象得分和聚合功能。以前的工作通常执行非最大抑制(NMS)的建议,以获得最终的目标检测或语义实例。然而,NMS可以丢弃潜在正确的预测。相反,我们的方法保留了所有建议,并根据学习到的聚合特性将它们分组在一起。我们表明,分组建议改善了NMS和优于以前的国家的最先进的方法的任务上的三维目标检测和语义实例分割的ScanNetV 2基准和S3 DIS数据集。
2020-03-30 cs.CV
MVP-Net: Multiple View Pointwise Semantic Segmentation of Large-Scale Point Clouds
LiangDao GmbH(亮道智能);Ilmenau University of Technology(伊尔梅瑙工业大学)
三维点云的语义分割是自动驾驶环境感知的一项重要任务。大多数逐点语义分割方法的流程包括点采样、邻域搜索、特征聚合和分类。邻域搜索方法如K近邻算法(KNN)得到了广泛的应用。然而,KNN算法的复杂性一直是其效率的瓶颈。在本文中,我们提出了一个端到端的神经架构,多视图点态网络,MVP-网络,有效地和直接地推断大规模的户外点云没有KNN或任何复杂的预/后处理。在点特征聚合和感受野扩展中,引入了基于空间填充曲线和点云多次旋转的方法。数值实验表明,本文提出的MVP-Net比最有效的逐点语义分割方法RandLA-Net快11倍,并且在大规模SemanticKITTI数据集上达到了相同的精度。
2022-05-31 cs.AI cs.CV
Boundary-guided Feature Aggregation Network for Salient Object Detection
全卷积网络(FCN)显著提高了许多像素标记任务的性能,例如语义分割和深度估计。然而,充分利用多级卷积特征图和边界信息用于显著目标检测仍然是重要的。在本文中,我们提出了一种新的FCN框架,结合对象边界信息的指导下,递归地集成多层卷积特征。首先,使用深度卷积网络来提取多级特征图,并将其分别聚合为多个分辨率,这些分辨率可用于生成粗糙的显著性图。同时,提出了另一个边界信息抽取分支,用于生成边界特征。最后,设计了一个基于注意力的特征融合模块,将边界信息融合到显著区域中,实现精确的边界推断和语义增强。最后的显着图是预测的边界图和集成显着图的组合,更接近地面真相。在四个大规模的基准测试上的实验和分析表明,我们的框架取得了新的最先进的结果。
2018-09-28 cs.CV
AutoAlign: Pixel-Instance Feature Aggregation for Multi-Modal 3D Object Detection
University of Science and Technology(科技大学);Harbin Institute of Technology(哈尔滨工业大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);IIIS, Tsinghua University(清华大学智能产业研究院)
通过RGB图像或LiDAR点云的目标检测已在自动驾驶中得到广泛探索。然而,要使这两个数据源相辅相成,相互受益,仍然是一个挑战。在本文中,我们提出了\textit{AutoAlign},一个自动特征融合策略的三维目标检测。而不是建立确定性的对应与相机投影矩阵,我们模型之间的映射关系的图像和点云与一个可学习的对齐映射。该地图使我们的模型能够以动态和数据驱动的方式自动对齐非同质特征。具体而言,交叉注意特征对准模块被设计为自适应地聚合每个体素的\textit{pixel-level}图像特征。为了提高特征对齐过程中的语义一致性,设计了一个自监督的跨模态特征交互模块,通过该模块,模型可以在\textit{instance-level}特征指导下学习特征聚合。广泛的实验结果表明,我们的方法可以导致2.3 mAP和7.0 mAP的KITTI和nuScenes数据集上的改进,分别。值得注意的是,我们最好的模型在nuScenes测试排行榜上达到70.9 NDS,在各种最先进的产品中实现了具有竞争力的性能。
2022-04-21 cs.CV
PUFA-GAN: A Frequency-Aware Generative Adversarial Network for 3D Point Cloud Upsampling
Shandong University(山东大学);City University of Hong Kong(香港城市大学);De Montfort University(德蒙福特大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
提出了一种用于点云上采样的生成对抗网络,该网络不仅可以使上采样点均匀分布在底层表面上,而且可以有效地生成干净的高频区域。我们的网络的生成器包括一个动态图分层残差聚合单元和一个分层残差聚合单元,分别用于点特征提取和上采样。前者提取多尺度逐点描述性特征,而后者则利用层次残差捕获丰富的特征细节。为了生成整齐的边缘,我们的算法使用图形过滤器来提取和保留高频点。生成的高分辨率点云和对应的高频点帮助机器学习器学习点云的全局和高频属性。我们还提出了一个身份分布损失函数,以确保上采样点保持在输入低分辨率点云的底层表面上。为了评估高频区域中上采样点的规律性,我们引入了两个评估指标。客观和主观的结果表明,我们的方法产生的上采样点云的视觉质量优于国家的最先进的方法。
2022-03-02 cs.CV cs.MM eess.IV
Hierarchical Aggregation for 3D Instance Segmentation
Huazhong University of Science & Technology(华中科技大学);Horizon Robotics(地平线机器人)
点云上的实例分割是三维场景感知中的一项基本任务。在这项工作中,我们提出了一个简洁的基于聚类的框架命名为HAIS,它充分利用了点和点集的空间关系。考虑到基于聚类的方法可能会导致过度分割或欠分割,我们引入分层聚合来逐步生成实例建议,即,点聚合用于初步聚类点到集合,集合聚合用于从集合生成完整实例。一旦获得完整的3D实例,则采用实例内预测的子网络进行噪声点过滤和掩模质量评分。HAIS速度快(每帧仅410 ms),不需要非最大抑制。它在ScanNet v2基准测试中排名第一,达到了最高的69.9% AP50,并大大超过了以前的最先进的(SOTA)方法。在S3DIS数据集上的SOTA实验结果验证了该方法的良好泛化能力。代码将在https://github.com/hustvl/HAIS上提供。
2021-08-05 cs.CV
SALA: Soft Assignment Local Aggregation for Parameter Efficient 3D Semantic Segmentation
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
在这项工作中,我们专注于设计一个点的局部聚合功能,产生参数有效的网络三维点云语义分割。我们探讨了在基于网格的聚合函数中使用可学习的邻域到网格软分配的想法。文献中的先前方法在预定义的几何网格上操作,例如局部体积分区或不规则核点。一个更通用的替代方案是允许网络学习最适合最终任务的分配函数。由于它是可学习的,因此允许每个层的映射不同,而不是在整个网络的深度上均匀应用。通过赋予网络学习自己的邻居到电网分配的灵活性,我们可以获得参数高效模型,该模型在S3 DIS上实现最先进(SOTA)性能,参数比当前的主导方法少至少10个$\times$。与更大的SOTA模型相比,我们还在ScanNet和PartNet上展示了具有竞争力的性能。
2021-04-05 cs.CV
Multimodal Point Cloud Semantic Segmentation With Virtual Point Enhancement
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology (HUST)(华中科技大学人工智能与自动化学院);School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院)
提出基于虚拟点增强的多模态点云语义分割方法,通过自适应滤波模块提取有效伪点并利用噪声鲁棒稀疏特征编码器,显著提升了中程和小型目标的分割精度。
2025-04-02 cs.CV