Serialized Point Mamba: A Serialized Point Cloud Mamba Segmentation Model
Hunan University(湖南大学)
提出序列化点云Mamba分割模型,利用状态空间模型动态压缩序列,集成局部-全局建模,在室内外数据集上达到SOTA性能,实现高效准确分割。
2024-07-17 cs.CV
An optimal hierarchical clustering approach to segmentation of mobile LiDAR point clouds
University of Calgary(卡尔加里大学)
提出了一种基于层次聚类的移动LiDAR点云分割方法。我们执行无组织的点云上的邻近矩阵的基础上的层次聚类。邻近矩阵中的相异性度量是通过聚类之间的欧氏距离和给定点处法向量的差来计算的。本文的主要贡献是成功地对层次聚类中的聚类组合进行了优化。该组合通过实现二分图的匹配来获得,并通过求解最小代价完美匹配来优化。实验结果表明,提出的最优层次聚类(OHC)方法能够自动实现多个独立目标的分割,并且优于现有的激光雷达点云分割方法。
2017-11-09 cs.CV
GRJointNET: Synergistic Completion and Part Segmentation on 3D Incomplete Point Clouds
Technical University of Munich(慕尼黑工业大学);Bilkent University(比尔肯特大学);Stanford University(斯坦福大学);Özyeğin University(厄兹耶金大学)
提出GRJointNet架构,在3D不完整点云上联合执行补全与部件分割任务,通过特征互相利用提升整体性能,在ShapeNet-Part数据集上优于仅能补全的GRNet。
2023-11-23 cs.CV
ViewPCL: a point cloud based active learning method for multi-view segmentation
本研究提出一种名为ViewPCL的新型多视图语义分割主动学习框架,通过衡量模型跨视图预测的几何信息生成的点云分布差异构建评分,实现了数据高效且可解释的主动学习方法并开源了代码。
2025-06-16 cs.CV
SSPC-Net: Semi-supervised Semantic 3D Point Cloud Segmentation Network
Nanjing University of Science and Technology(南京理工大学)
点云语义分割是三维场景理解中的一项重要任务。现有的方法主要集中在采用大量的注释标签的监督语义分割。尽管如此,手动标记这样大的点云的监督分割任务是耗时的。为了减少标注标签的数量,我们提出了一个半监督语义点云分割网络,命名为SSPC-Net,其中我们通过从少量标注的3D点推断未标注点的标签来训练语义分割网络。在我们的方法中,我们首先将整个点云划分成超点,并建立超点图来挖掘点云中的长程依赖关系。基于构造的超点图,我们开发了一种动态标签传播方法来生成无监督超点的伪标签。特别地,我们采用超点丢弃策略来动态地选择生成的伪标签。为了充分利用生成的伪标签的无监督的叠加点,我们还提出了一个耦合的注意力机制的叠加点特征嵌入。最后,我们采用交叉熵损失训练的语义分割网络与监督的超点的标签和伪标签的无监督的超点。在各种数据集上的实验表明,我们的半监督分割方法可以实现更好的性能比目前的半监督分割方法与更少的注释3D点。我们的代码可在https://github.com/MMCheng/SSPC-Net上获得。
2021-05-24 cs.CV
Synthetic Point Cloud Generation for Class Segmentation Applications
M.E. Rinker, Sr. School of Construction Management, University of Florida(佛罗里达大学M.E.林克 Sr.建筑管理学院);H. Wertheim College of Engineering, University of Florida(佛罗里达大学H.沃特海姆工程学院)
由于确定基础设施退化所需的程序繁琐,工业设施的维护是一个日益严重的危险。数字孪生有潜力通过监测基础设施的连续数字表示来改善维护。但是,映射现有几何体所需的时间使其无法使用。我们以前开发了类分割算法来自动化数字孪生,但是需要大量的注释点云。目前,不存在用于自动分割的合成数据生成。我们使用Helios++从3D模型中自动分割点云。我们的研究有可能为有效的工业阶级细分铺平道路。
2022-05-07 cs.CV
Weakly Supervised Semantic Point Cloud Segmentation:Towards 10X Fewer Labels
A-STAR(新加坡科技研究局);National University of Singapore(新加坡国立大学)
点云分析是近年来研究的热点问题之一,而点云分割是其中的重要内容。现有方法的成功归因于深度网络设计和大量的标记训练数据,其中后者被假设为总是可用的。然而,获得3D点云分割标签在实践中通常是非常昂贵的。在这项工作中,我们提出了一个弱监督点云分割方法,只需要一小部分的点被标记在训练阶段。这是通过学习梯度近似和利用额外的空间和颜色平滑度约束。在三个不同弱监督程度的公开数据集上进行了实验。特别是,我们提出的方法可以产生的结果是接近,有时甚至比它的完全监督的同行与10 $\times$少标签。
2020-04-08 cs.CV
Graph Based Over-Segmentation Methods for 3D Point Clouds
Technion - Israel Institute of Technology(以色列理工学院)
过分割或超像素生成是许多计算机视觉应用的常见初始阶段。新的采集技术能够捕获包含颜色和几何信息的3D点云。这个3D信息引入了一个新的概念变化,可以用来改善过度分割的结果,主要使用颜色信息,并生成我们称之为超级点的点簇。我们考虑了各种可能的3D扩展的局部变化(LV)图为基础的过分割算法,并彻底比较它们。我们考虑不同的替代方案,用于构建连接图,用于分配边权重,以及用于定义合并标准,现在必须考虑几何信息,而不仅仅是颜色。在此评估之后,我们推导出一种新的通用算法,用于过分割的三维点云。我们称这种新算法为点云局部变分(PCLV)。新的过分割算法的优点是证明在室外和杂乱的室内场景。所提出的方法相比,国家的最先进的2D和3D过分割算法的性能分析显示出显着的改善,根据共同的性能指标。
2017-02-14 cs.CV
A Ground Segmentation Method Based on Point Cloud Map for Unstructured Roads
Research Institute for Frontier Science, Beihang University(北京航空航天大学前沿科学研究院);School of Transportation Science and Engineering, Beihang University(北京航空航天大学交通科学与工程学院)
针对非结构化道路地面分割易出错的问题,提出一种基于点云地图的地面分割方法,通过感兴趣区域提取、点云配准和背景相减实现高精度分割,并在露天矿场景中验证了其优于Patchwork++的有效性。
2023-09-15 cs.CV
DPMix: Mixture of Depth and Point Cloud Video Experts for 4D Action Segmentation
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
针对点云视频长时序建模能力不足的问题,提出DPMix方法,将点云视频转换为深度视频并结合传统视频建模,通过集成深度与点云视频专家显著提升了4D动作分割准确率,在HOI4D Challenge 2023中获得第一名。
2023-07-31 cs.CV
Generalized Few-Shot Point Cloud Segmentation Via Geometric Words
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文首次提出广义少样本点云分割范式,通过几何词和几何原型构建几何感知语义表示,在仅少量支持样本下同时实现新类泛化与基类分割能力保持,并在S3DIS和ScanNet上验证了优越性能。
2023-09-20 cs.CV
Dual Adaptive Transformations for Weakly Supervised Point Cloud Segmentation
Nanyang Technological University(南洋理工大学);Monash University(莫纳什大学);SenseTime Research(商汤科技研究院)
弱监督点云分割,即在整个3D场景中仅用少量标记点对点云进行语义分割,由于为模型训练收集大量密集注释的沉重负担,因此非常可取。然而,现有的方法仍然具有挑战性的准确分割3D点云,因为有限的注释数据可能会导致标签传播到未标记的数据的指导不足。考虑到基于光滑度的方法已经取得了可喜的进展,在本文中,我们提倡应用各种扰动下的一致性约束,以有效地正则化未标记的3D点。具体而言,我们提出了一种新的DAT(\textbf{D} ual \textbf{A} daptive \textbf{T} transformations)模型的弱监督点云分割,其中的双重自适应变换通过对抗策略在点级别和区域级别上执行,旨在加强对3D点云的局部和结构平滑约束。我们评估我们提出的DAT模型与两个流行的骨干上的大规模S3 DIS和ScanNet-V2数据集。大量的实验表明,我们的模型可以有效地利用未标记的3D点,并在两个数据集上实现显着的性能提升,为弱监督点云分割提供了新的最先进的性能。
2022-07-19 cs.CV
PointResNet: Residual Network for 3D Point Cloud Segmentation and Classification
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
点云分割和分类是3D计算机视觉中的一些主要任务,其应用范围从增强现实到机器人。然而,由于不规则的点格式,使用基于深度学习的算法处理点云是相当具有挑战性的。体素化或基于3D网格的表示是将深度神经网络应用于该问题的不同方式。在本文中,我们提出了PointResNet,一种基于残差块的方法。我们的模型直接处理3D点,使用深度神经网络进行分割和分类任务。该架构的主要组成部分是:1)残差块和2)多层感知器(MLP)。我们表明,它保留了深刻的功能和结构信息,这是有用的分割和分类任务。实验评估表明,该模型产生的分割和可比的结果相比,传统的基线分类的最佳结果。
2022-11-20 cs.CV
3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-尚佩恩分校)
我们提出了一种方法,用于从输入视频中对放置在平面上的单个对象进行3D重建和分割。我们的方法是执行密集的深度图估计多个视图使用建议的目标函数,保留细节。然后,使用对估计误差具有鲁棒性的建议的隐式表面函数来融合所得到的深度图,从而产生整个场景的平滑表面重建。最后,使用建议的2D-3D分割,将图像和深度线索与先验和正则化的3D体积和2D分割从剩余的场景中分割出对象。我们在我们的Object-Videos数据集上定性评估3D重建,与融合,多视图立体和分割基线进行比较。我们还使用RGBD场景V2数据集[Henry et al. 2013]定量评估了密集深度估计,并使用Object-Videos数据集的关键帧注释进行了分割。
2016-07-27 cs.CV
Background-Aware 3D Point Cloud Segmentationwith Dynamic Point Feature Aggregation
Syracuse University(雪城大学)
随着激光雷达传感器和3D视觉相机的普及,3D点云分析近年来引起了人们的极大关注。在先驱工作PointNet取得成功之后,基于深度学习的方法越来越多地应用于各种任务,包括三维点云分割和三维对象分类。在本文中,我们提出了一种新的三维点云学习网络,称为动态点特征聚合网络(DPFA-Net),通过选择性地执行动态池和注意力机制的邻域特征聚合。DPFA-Net有两个变体用于3D点云的语义分割和分类。作为DPFA-Net的核心模块,我们提出了一个特征聚合层,其中每个点的动态邻域的特征通过自注意力机制聚合。与其他分割模型相比,它从固定的邻域中聚合特征,我们的方法可以聚合不同层中不同邻域的特征,为查询点提供更具选择性和更广泛的视图,并更多地关注局部邻域中的相关特征。此外,为了进一步提高所提出的语义分割模型的性能,我们提出了两个新的方法,即两阶段BF-网络和BF-正则化,以利用背景-前景信息。实验结果表明,该算法在S3 DIS数据集上实现了语义分割的最佳整体准确率,并在语义分割、零件分割和3D对象分类等不同任务中均具有令人满意的性能。与其他方法相比,它在计算上也更有效。
2021-11-14 cs.CV
OmniPlantSeg: Species Agnostic 3D Point Cloud Organ Segmentation for High-Resolution Plant Phenotyping Across Modalities
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所);University of Bamberg(巴明翰大学)
本文提出KDSS算法,实现物种与传感器无关的植物点云子采样,避免下采样,保留全分辨率,结合现有分割模型在多种模态上取得满意结果。
2025-09-25 cs.CV
Scale Disparity of Instances in Interactive Point Cloud Segmentation
Zhejiang University(浙江大学);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
针对交互式点云分割中物体与背景实例尺度差异问题,提出ClickFormer模型,通过查询增强和全局注意力机制,在室内外数据集上以更少点击实现更优分割。
2024-07-19 cs.CV
3D Point Cloud Classification and Segmentation using 3D Modified Fisher Vector Representation for Convolutional Neural Networks
点云作为一种表示3D形状的方法越来越突出,但其不规则的格式对深度学习方法构成了挑战。将数据转换为3D体素网格的常见解决方案引入了其自身的挑战,主要是大内存大小。在本文中,我们提出了一种新的三维点云表示称为3D修改Fisher矢量(3DmFV)。我们的表示是混合的,因为它结合了离散结构的网格与连续推广的Fisher向量,在一个紧凑和计算效率高的方式。使用网格使我们能够设计一个新的CNN体系结构的点云分类和部分分割。在一系列的实验中,我们在具有挑战性的基准数据集上展示了具有竞争力的性能,甚至优于最先进的性能。
2017-11-22 cs.CV
Unsupervised Feedforward Feature (UFF) Learning for Point Cloud Classification and Segmentation
Media Communications Lab(媒体通信实验室);University of Southern California(南加州大学);Tencent Media Lab(腾讯媒体实验室);Tencent America(腾讯美国)
与深度神经网络(DNN)中基于监督反向传播的特征学习相比,本文提出了一种用于3D点云联合分类和分割的无监督前馈特征(UFF)学习方案。UFF方法利用点云集合中的点的统计相关性,通过级联的编码器-解码器架构以单次前馈方式学习形状和点特征。它通过编码器学习全局形状特征,通过级联的编码器-解码器架构学习局部点特征。输入点云的提取的特征被馈送到用于形状分类和部分分割的分类器。实验进行UFF方法的性能进行评估。对于形状分类,UFF优于现有的无监督方法,并与最先进的DNN相当。对于部分分割,UFF优于半监督方法,并且比DNN稍差。
2020-09-02 cs.CV
BPNet: Bézier Primitive Segmentation on 3D Point Clouds
Inria(法国国家信息与自动化技术研究院);Geometry Factory(几何工厂);The University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学)
提出BPNet端到端框架,通过贝塞尔分解和联合优化实现三维点云通用基元分割,引入软投票正则化与自动权重嵌入,在ABC和真实扫描数据上超越基线且推理更快。
2023-10-15 cs.CV
Language-Level Semantics Conditioned 3D Point Cloud Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
在这项工作中,提出了一个语言级语义条件的三维点云分割框架,称为SeCondPoint,其中语言级语义被引入到条件的点特征分布的建模以及伪特征的生成,并进一步提出了一个基于特征几何的混合方法,以促进分布学习。据我们所知,这是文献中首次尝试将语言级语义引入3D点云分割任务。由于语义条件建模可以从学习的分布中生成大量的点特征,因此任何现有的分割网络都可以嵌入到所提出的框架中,以提高其性能。此外,所提出的框架具有处理新类的固有优势,这对于当前的分割网络来说似乎是不可能的。在两个公开数据集上的大量实验结果表明,在传统的3D分割任务中,三个典型的分割网络在增强后可以实现显着的改进。两个基准测试也介绍了一个新推出的zero-shot三维分割任务,结果也验证了所提出的框架。
2022-03-30 cs.CV
SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation
University of California, Berkeley(加州大学伯克利分校);Facebook Inc(Facebook公司)
LiDAR点云分割是许多应用中的重要问题。对于大规模点云的分割,\textit{de facto}方法是将三维点云投影成二维LiDAR图像,并对其进行卷积处理。使用标准卷积来处理这样的LiDAR图像是有问题的,因为卷积滤波器只会拾取图像中特定区域的局部特征。结果,网络的容量未被充分利用,并且分段性能降低。为了解决这个问题,我们提出了空间自适应卷积(SAC),根据输入图像的不同位置采用不同的滤波器。SAC可以有效地计算,因为它可以实现为一系列逐元素乘法,im2col和标准卷积。它是一个通用的框架,因此之前的几种方法可以被视为SAC的特殊情况。使用SAC,我们构建了用于LiDAR点云分割的SqueezeSegV3,并且在SemanticKITTI基准测试中以可比的推理速度超过了所有以前发表的方法至少3.7%的mIoU。
2021-04-13 cs.CV
Using t-distributed stochastic neighbor embedding for visualization and segmentation of 3D point clouds of plants
Osmangazi University(奥斯曼加齐大学)
在这项工作中,使用t-SNE提出了嵌入到2D空间的植物特征的三维点云的植物。它表明,t-SNE操作作为一个实用的工具,扁平化和可视化一个完整的三维植物模型在二维空间。t-SNE的复杂度参数允许在各种组织水平上对植物结构进行2D渲染。除了作为植物科学家的可视化工具外,t-SNE还提供了一个网关,用于使用2D中的嵌入式对应物处理植物的3D点云。本文提出了一种简单的方法,通过对嵌入的二维点进行分组来执行语义分割和实例分割。这些方法在公共3D植物数据集上的评估传达了t-SNE用于实现自动3D表型分析管道中所涉及的各种步骤的2D实施的潜力。
2023-02-07 cs.CV
GSECnet: Ground Segmentation of Point Clouds for Edge Computing
Korea Advanced Institute of Science and Technology(韩国科学技术院);Chongqing University of Technology(重庆理工大学)
由于点云数据的数据结构稀疏无序,使得点云数据的地面分割具有挑战性。本文提出了GSECnet -边缘计算的地面分割网络,这是一种专门设计用于低功耗边缘计算单元上部署的点云的高效地面分割框架。首先,原始点云转换成一个离散表示柱。然后,将柱内点的特征输入PointNet,得到相应的柱特征图。然后,一个具有注意力模块的深度可分离的U型网络从柱子特征图中学习分类,模型参数大小大大减小。我们提出的框架进行了评估SemanticKITTI对基于点和基于离散化的国家的最先进的学习方法,并实现了高精度和低计算复杂性之间的良好平衡。值得注意的是,我们的框架在桌面平台上实现了135.2 Hz的推理运行时间。此外,实验证明它可以部署在仅10瓦的低功耗边缘计算单元上。
2021-04-05 cs.CV
A Fast Point Cloud Ground Segmentation Approach Based on Coarse-To-Fine Markov Random Field
Hefei Institutes of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);University of Science and Technology(科技大学);Anhui Engineering Laboratory for Intelligent Driving Technology and Application(安徽省智能驾驶技术与应用工程实验室);Innovation Research Institute of Robotics and Intelligent Manufacturing Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院)
地面分割是自动驾驶汽车(AVs)三维激光雷达的重要预处理任务。针对现有地面分割方法难以兼顾精度和计算复杂性的问题,提出一种基于由粗到细的马尔可夫随机场(MRF)方法的点云地面快速分割方法。该方法利用改进的高程图进行地面粗分割,然后利用时空相邻点对分割结果进行优化。将处理后的点云分为高置信度障碍点、地面点和未知分类点,以初始化MRF模型。然后采用图切割法对模型进行求解,实现精细分割。数据集上的实验表明,我们的方法在地面分割精度方面比其他算法有所改进,并且比其他基于图形的算法更快,这些算法只需要一个I7-3770 CPU的单核来处理一帧Velodyne HDL-64 E数据(平均39.77 ms)。现场试验也证明了所提出的方法的有效性。
2021-01-29 cs.CV
ASAP-Net: Attention and Structure Aware Point Cloud Sequence Segmentation
Shanghai Jiaotong University(上海交通大学);Johns Hopkins University(约翰斯·霍普金斯大学)
最近的点云工作表明,多帧时空建模优于单帧版本,通过利用跨帧信息。在本文中,我们进一步提高时空点云特征学习与一个灵活的模块称为ASAP同时考虑跨帧的注意力和结构信息,我们发现这是成功分割动态点云的两个重要因素。首先,我们的ASAP模块包含一个新的关注时间嵌入层,以循环的方式融合跨帧的相对信息丰富的局部特征。其次,提出了一种有效的时空相关方法,利用更多的局部结构进行嵌入,同时增强了时间一致性,降低了计算复杂度。最后,我们展示了所提出的ASAP模块的泛化能力与不同的骨干网络的点云序列分割。我们的ASAP-Net(骨干加上ASAP模块)在Synthia和SemanticKITTI数据集上的性能优于基线和以前的方法(不同骨干的+3.4到+15.2 mIoU点)。代码可在https://github.com/intrepidChw/ASAP-Net
2020-08-12 cs.CV
Effective Utilisation of Multiple Open-Source Datasets to Improve Generalisation Performance of Point Cloud Segmentation Models
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);Lockheed Martin Australia STELaRLab(洛克希德·马丁澳大利亚STELaR实验室)
航空点云数据的语义分割可用于区分哪些点属于诸如地面、建筑物或植被的类别。从安装在无人机或飞机上的航空传感器生成的点云可以利用激光雷达传感器或相机以及摄影测量。每种数据汇集方法都包含独特的特征,这些特征可以通过最先进的点云分割模型独立学习。在点云传感器、质量和结构可能发生变化的情况下,可能需要使用单个点云分割模型。在这些情况下,期望分割模型能够以可预测且一致的结果来处理这些变化。虽然深度学习可以准确地分割点云,但它通常在泛化方面受到影响,对不同于训练数据的数据适应性差。为了解决这个问题,我们建议利用多个可用的开源完全注释的数据集训练和测试模型,更好地概括。在本文中,我们讨论了将这些数据集组合成一个简单的训练集和具有挑战性的测试集。结合数据集使我们能够评估点云数据中已知变化的泛化性能。我们表明,一个天真的数据集组合产生了一个模型,提高了泛化性能的预期。我们继续表明,一个改进的采样策略,减少采样变化,增加了泛化性能大大在此之上。实验发现,哪些样本变化可以提高性能,一致的密度是最重要的。
2022-11-29 cs.CV
Robust Human Registration with Body Part Segmentation on Noisy Point Clouds
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软公司);Stanford University(斯坦福大学);Google(谷歌公司)
针对含噪点云人体网格配准不精确的问题,提出将身体部位分割融入SMPL-X两步拟合过程的混合方法,在真实数据集上显著提升了姿态估计与分割准确性。
2025-04-04 cs.CV
Domain-aware Category-level Geometry Learning Segmentation for 3D Point Clouds
Xidian University(西电大学)
本文提出类别级几何学习框架,通过类别级几何嵌入和几何一致性学习提取域不变几何特征,提升三维点云语义分割的域泛化性能。
2025-08-15 cs.CV
Boundary-Enhanced Segmentation of Pig Point Clouds in Commercial Housing Environments
针对商业猪舍中猪只点云分割的边界模糊等问题,采用Octree Transformer骨干网络,结合软距离边界伪标签与双向跨边界语义模块,提升分割性能,为精准畜牧养殖提供可靠输入。
2026-08-13 cs.CV
PBP-Net: Point Projection and Back-Projection Network for 3D Point Cloud Segmentation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
随着3D扫描技术的长足发展,最近提出了许多研究,其中包括利用2D卷积神经网络(CNN)的一些方法。然而,尽管2D CNN在许多2D视觉任务中取得了很高的性能,但现有的工作还没有有效地将它们应用到3D视觉任务中。特别是,由于难以对每个点进行密集预测,因此分割尚未得到很好的研究,这需要丰富的特征表示。在本文中,我们提出了一种简单有效的架构,称为点投影和反投影网络(PBP-Net),它利用2D CNN进行3D点云分割。引入了3个模块,每个模块将3D点云投影到2D平面上,使用2D CNN主干提取特征,并将特征反向投影到原始3D点云上。为了证明使用2D CNN进行有效的3D特征提取,我们进行了各种实验,包括与最近的方法进行比较。我们通过消融研究分析了所提出的模块,并在对象部分分割(ShapeNet-Part数据集)和室内场景语义分割(S3 DIS数据集)上进行了实验。实验结果表明,提出的PBP-Net实现了与现有的最先进的方法相当的性能。
2020-11-02 cs.CV
SegPoint: Segment Any Point Cloud via Large Language Model
Nanyang Technological University(南洋理工大学);Institute of Big Data, Fudan University(复旦大学大数据研究院)
SegPoint利用多模态大语言模型在统一框架中处理多种三维点云分割任务,并引入新基准Instruct3D,在多个数据集上取得良好性能。
2024-07-18 cs.CV
3DSES: an indoor Lidar point cloud segmentation dataset with real and pseudo-labels from a 3D model
Univ. Gustave Eiffel(古斯塔夫·埃菲尔大学);IGN(法国国家地理学会)
3DSES是一个覆盖427平方米的室内TLS点云分割数据集,提供点级语义标签和完整3D CAD模型双重标注,并提出模型到点云算法生成准确率超95%的伪标签,显著节省深度模型训练时间。
2025-01-29 cs.CV
In-Field 3D Wheat Head Instance Segmentation From TLS Point Clouds Using Deep Learning Without Manual Labels
本文提出一种无需手动标注的深度学习方法,直接从TLS点云中实现田间小麦头实例分割,通过两阶段流程提升分割效果,优于现有基于多视角RGB图像和3D高斯点划法的解决方案。
2026-03-15 cs.CV
Point Cloud Colorization Based on Densely Annotated 3D Shape Dataset
Nagoya University(名古屋大学)
本文介绍了DensePoint,一个密集采样和注释的点云数据集,包含16个类别的10,000多个单个对象,通过合并来自两个现有数据集的不同类型的信息。DensePoint中的每个点云包含40,000个点,每个点与两种信息相关联:RGB值和零件注释。此外,我们提出了一种利用生成对抗网络(GANs)的点云着色方法。该网络可以通过只给出点云本身来为单个对象的点云生成颜色。在DensePoint上的实验表明,在物体的不同部分之间的点云中存在清晰的边界,这表明所提出的网络能够生成相当好的颜色。我们的数据集在项目页面上公开提供。
2018-10-12 cs.CV
Reliability-Adaptive Consistency Regularization for Weakly-Supervised Point Cloud Segmentation
Nanyang Technological University(南洋理工大学);Monash University(莫纳什大学)
针对弱监督点云分割中直接应用一致性正则化存在的伪标签含噪、约束不足问题,提出结合置信度与不确定性的RAC-Net,实现自适应一致性训练,在基准数据集上取得更优性能。
2023-12-14 cs.CV
S2AM3D: Scale-controllable Part Segmentation of 3D Point Clouds
Harbin Institute of Technology(哈尔滨理工大学)
本文提出S2AM3D,通过结合2D分割先验与3D一致监督,解决3D点云分割中数据稀缺和视图不一致的问题,实现对复杂结构的鲁棒分割。
2026-04-26 cs.CV
Point Cloud Segmentation of Integrated Circuits Package Substrates Surface Defects Using Causal Inference: Dataset Construction and Methodology
Bingyang Guo, Qiang Zuo, Ruiyun Yu(作者)
本文构建了用于陶瓷封装基板表面缺陷分割的高质量点云数据集CPS3D-Seg,并提出基于因果推断的CINet方法,通过结构细化与质量评估模块显著提升分割性能。
2025-11-08 cs.CV
EllipsoidNet: Ellipsoid Representation for Point Cloud Classification and Segmentation
Worcester Polytechnic Institute(伍斯特理工学院);Volvo Car Technology USA(沃尔沃汽车技术美国公司)
由于无序点云模式隐含着局部几何特征,使得点云模式难以学习。近年来,点云在二维空间中的表示由于能够揭示二维空间中的局部几何特征而引起了人们越来越多的研究兴趣。通过将这些点投影到2D特征图,点之间的关系在像素之间的上下文中被继承,像素之间的上下文由2D卷积神经网络进一步提取。然而,现有的2D表示方法要么精度有限,要么耗时。在本文中,我们提出了一种新的2D表示方法,投影点云到椭球表面空间,其中局部模式是很好地暴露在椭球级和点级。此外,一种新的卷积神经网络命名为EllipsoidNet提出利用这些功能的点云分类和分割应用。所提出的方法在ModelNet40和ShapeNet基准测试中进行了评估,其优势明显优于现有的2D表示方法。
2021-10-19 cs.CV
Human Segmentation with Dynamic LiDAR Data
Tokyo Institute of Technology(东京工业大学)
连续LiDAR扫描构成动态3D序列,其包含比单个帧更丰富的信息。与图像和视频感知的发展历史相似,在静态三维数据感知的研究受到启发后,动态三维序列感知开始进入人们的视线。提出了一种基于时空神经网络的动态激光雷达点云人体分割方法。它将一系列深度图像作为输入。它具有两个分支结构,即,空间分割分支和时间速度估计分支。速度估计分支被设计为从输入序列中捕获运动线索,然后将它们传播到另一个分支。因此,分割分支根据空间和时间特征分割人类。这两个分支在生成的用于人类识别的动态点云数据集上联合学习。该方法利用点云的球面表示填补了动态点云感知的空白,达到了较高的精度。实验表明,时间特征的引入有利于动态点云的分割。
2020-10-16 cs.CV
PriFit: Learning to Fit Primitives Improves Few Shot Point Cloud Segmentation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe(奥多比);University of Cyprus(塞浦路斯大学)
我们提出了PriFit,这是一种用于3D点云分割网络的标签有效学习的半监督方法。PriFit将几何图元拟合与基于点的表示学习相结合。它的核心思想是学习点表示,其聚类揭示了可以很好地近似基本几何图元(如长方体和椭圆体)的形状区域。然后,学习的点表示可以在现有网络架构中重新用于3D点云分割,并提高其在Few-Shot设置中的性能。根据我们对广泛使用的ShapeNet和PartNet基准测试的实验,PriFit在这种情况下优于几种最先进的方法,这表明可分解为原语是学习预测语义部分的表示的有用先验。我们提出了一些烧蚀实验不同的几何图元和下游任务的选择,以证明该方法的有效性。
2022-06-23 cs.CV
PST: Plant segmentation transformer for 3D point clouds of rapeseed plants at the podding stage
Zhejiang University(浙江大学)
提出PST网络,通过DVFE、双窗口集注意力和稠密特征传播实现高分辨率油菜点云语义与实例分割,性能显著优于PAConv和PG。
2024-01-20 cs.CV
Ground Awareness in Deep Learning for Large Outdoor Point Cloud Segmentation
Fraunhofer IOSB(弗劳恩霍夫IOSB);Technical University of Darmstadt(达姆施塔特工业大学)
本文提出利用数字地形模型提取相对高程特征,以增强RandLA-Net等机器学习模型在大型室外点云语义分割中的性能,实验证明该非局部特征能显著提升多数据集的分割精度。
2025-01-30 cs.CV
SuperLine3D: Self-supervised Line Segmentation and Description for LiDAR Point Cloud
Zhejiang University(浙江大学);DAMO Academy(达摩院)
电线杆和建筑物边缘是城市道路上经常观察到的对象,为各种计算机视觉任务提供可靠的提示。为了重复提取它们作为特征并在离散LiDAR帧之间进行关联以进行配准,我们提出了第一个基于学习的LiDAR点云中3D线条的特征分割和描述模型。为了训练我们的模型,而不需要耗时和繁琐的数据标记过程,我们首先为目标线的基本外观生成合成基元,并建立一个迭代的线自动标记过程,以逐步细化真实LiDAR扫描上的线标签。我们的分割模型可以在任意尺度扰动下提取线条,我们使用共享的EdgeConv编码器层来训练两个分割和描述符头。基于该模型,我们可以建立一个高可用性的全局配准模块,用于点云配准,在没有初始变换提示的情况下。实验表明,我们的线为基础的注册方法是非常有竞争力的国家的最先进的点为基础的方法。我们的代码可在https://github.com/zxrzju/SuperLine3D.git上获得。
2022-08-03 cs.CV
Weakly Supervised 3D Point Cloud Segmentation via Multi-Prototype Learning
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);South China University of Technology(华南理工大学)
解决3D点云分割中的注释挑战激发了对弱监督学习的研究。现有的方法主要集中在利用流形和伪标记来利用大型未标记数据点。这里的一个根本挑战在于局部几何结构的大类内变化,导致语义类内的子类。在这项工作中,我们利用这种直觉,并选择为每个子类维护一个单独的分类器。从技术上讲,我们设计了一个多原型分类器,每个原型作为一个子类的分类器权重。为了使多原型分类器的权重的有效更新,我们提出了两个约束分别更新的原型w.r.t.所有的点特征,并鼓励学习不同的原型。弱监督三维点云分割任务的实验验证了该方法的有效性,特别是在低标签制度。我们的假设也验证了一致的语义子类的发现,在没有额外的注释成本。
2022-05-06 cs.CV
Point cloud segmentation using hierarchical tree for architectural models
Lahore University of Management Sciences(拉合尔管理科学大学)
3D扫描技术的最新发展使得高精度3D点云的生成相对容易,但这些点云的分割仍然是一个具有挑战性的领域。许多技术在文献中已经建立了基于平面或基元的分割的先例。在这项工作中,我们提出了一种新的和有效的基元为基础的点云分割算法。主要的焦点,即我们的方法的主要技术贡献是一个层次树,迭代地将点云划分为段。该树使用唯一的能量函数和3D卷积神经网络HollowNets对片段进行分类。我们使用真实和合成数据测试我们提出的方法的有效性,获得大于90%的准确度圆顶和尖塔。
2018-06-22 cs.CV cs.GR
Learning to Optimally Segment Point Clouds
Carnegie Mellon University(卡内基梅隆大学);Argo AI
我们专注于类无关的激光雷达点云的实例分割的问题。我们提出了一种结合图论搜索和数据驱动学习的方法:它搜索一组候选分割,并根据数据驱动的基于点的“对象”模型返回一个单独的片段得分很高的区域。我们证明,如果我们得分分割的最坏的对象之间的个别部分,有一个有效的算法,找到最佳的最坏情况下的分割指数大量的候选分割。我们还提出了一个有效的算法的平均情况下。为了进行评估,我们重新将KITTI 3D检测作为分割基准,并根据经验证明,我们的算法在分割点云方面明显优于过去的自下而上的分割方法和自上而下的基于对象的算法。
2019-12-10 cs.CV cs.RO
False Positive Detection and Prediction Quality Estimation for LiDAR Point Cloud Segmentation
University of Wuppertal(伍珀塔尔大学);Aptiv(安波福)
我们提出了一种新的激光雷达点云数据的语义分割后处理工具,称为LidarMetaSeg,它估计预测质量分段。为此,我们计算分散措施的基础上,网络的概率输出,以及基于点云输入功能的功能措施,并将它们聚集在段级。这些聚集的测量被用于训练Meta分类模型以预测预测的段是否是假阳性,以及Meta回归模型以预测段级交集。然后,这两个模型都可以应用于语义分割推理,而无需知道地面真相。在我们的实验中,我们使用不同的LiDAR分割模型和数据集,并分析我们的方法的能力。我们表明,我们的结果优于其他标准的方法。
2021-10-29 cs.AI cs.CV
Fine-grained Metrics for Point Cloud Semantic Segmentation
School of Automation, Nanjing University of Science and Technology(南京理工大学自动化学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对点云语义分割中类别与尺寸不平衡导致的评估偏差,本文提出细粒度mIoU和mAcc指标,并在三个室内外数据集上验证其能更全面地评估分割算法。
2024-07-31 cs.CV cs.GR
LatticeNet: Fast Spatio-Temporal Point Cloud Segmentation Using Permutohedral Lattices
深度卷积神经网络(CNN)在语义分割图像的任务中表现出出色的性能。由于大量的内存需求和缺乏结构化数据,在3D数据上应用相同的方法仍然面临挑战。在这里,我们提出了LatticeNet,一种新的三维语义分割方法,它以原始点云作为输入。一个PointNet描述了我们嵌入到一个稀疏的permutohedral晶格的局部几何。晶格允许快速卷积,同时保持低内存占用。此外,我们引入了DeformSlice,这是一种新的学习数据相关插值,用于将晶格特征投影回点云。我们在多个数据集上展示了3D分割的结果,我们的方法达到了最先进的性能。我们还扩展和评估了我们的网络,例如动态对象分割。
2021-08-09 cs.CV cs.LG
Point Cloud Segmentation Using Transfer Learning with RandLA-Net: A Case Study on Urban Areas
Huawei Turkey R&D Center(华为土耳其研发中心);Huawei Technologies(华为技术有限公司);Eskisehir Technical University(埃斯基谢希尔技术大学);Yeditepe University(耶迪特佩大学)
针对中国城市区域点云标注数据稀缺、分割难度大的问题,本研究采用迁移学习将Sensat Urban、Toronto 3D数据集的权重迁移至RandLA-Net并结合类别重映射,在三座城市的点云分割中实现了超80%的F1分数,为城市点云分析提供了鲁棒方案。
2023-12-19 cs.CV cs.LG
DRINet++: Efficient Voxel-as-point Point Cloud Segmentation
Hong Kong University of Science and Technology(香港科技大学)
近年来,人们提出了多种方法来提高点云语义分割的性能。然而,这些工作并没有在性能、效率和存储器消耗之间保持良好的平衡。为了解决这些问题,我们提出了DRINet++,它通过增强点云的稀疏性和几何特性来扩展DRINet,并采用体素作为点的原则。为了提高效率和性能,DRINet++主要由两个模块组成:稀疏特征编码器和稀疏几何特征增强。稀疏特征编码器提取每个点的局部上下文信息,稀疏几何特征增强通过多尺度稀疏投影和多尺度融合来增强稀疏点云的几何特性。此外,我们在训练阶段提出了深度稀疏监督,以帮助收敛和缓解内存消耗问题。我们的DRINet++在SemanticKITTI和Nuscenes数据集上实现了最先进的户外点云分割,同时运行速度更快,占用内存更少。
2021-11-16 cs.CV cs.RO
Unsupervised Learning for Cuboid Shape Abstraction via Joint Segmentation from Point Clouds
University of Science and Technology of China(中国科学技术大学)
将复杂的3D对象表示为简单的几何图元,称为形状抽象,对于几何建模,结构分析和形状合成非常重要。在本文中,我们提出了一个无监督的形状抽象方法来映射点云到一个紧凑的长方体表示。我们共同预测长方体分配部分分割和长方体形状,并加强分割和形状抽象之间的一致性,以进行自学习。对于长方体抽象任务,我们使用变分自动编码器网络将输入点云转换为一组参数长方体。分割网络将每个点分配到一个长方体中,考虑点-长方体的亲和力。在没有手动注释的点云中的零件,我们设计了四个新的损失,共同监督两个分支的几何相似性和长方体的紧凑性。我们评估我们的方法对多个形状集合,并证明其优于现有的形状抽象方法。此外,基于我们的网络架构和学习表示,我们的方法支持各种应用,包括结构化形状生成,形状插值和结构形状聚类。
2021-06-07 cs.CV cs.GR
Road Segmentation on low resolution Lidar point clouds for autonomous vehicles
Center for Mathematical Morphology (CMM) - MINES ParisTech - PSL Research University(数学形态学中心(CMM)- 巴黎高等矿业学院 - PSL研究大学);NavyaTech(Navya科技公司);Terra3D(Terra3D公司)
在自动驾驶背景下,用于感知任务的点云数据集通常依赖于高分辨率的64层光探测和测距(LIDAR)扫描仪。它们部署在现实世界的自动驾驶传感器架构上是昂贵的,这些架构通常采用16/32层LIDAR。我们评估了基于图像的二次采样表示的密集点云的道路分割任务的准确性的影响。在我们的实验中,低分辨率的16/32层LIDAR点云通过对原始的64层数据进行二次采样来模拟,用于随后转换为点云的鸟瞰视图(BEV)和球面视图(SV)表示中的特征图。我们介绍了使用本地法向量与激光雷达的球坐标作为输入通道现有的LoDNN架构。我们证明,这种局部正常功能结合经典功能,不仅提高了性能的二进制道路分割的全分辨率点云,但它也减少了负面影响的准确性时,二次采样密集的点云相比,单独使用经典功能。我们在两个数据集上进行了几个实验来评估我们的方法:KITTI道路分割基准和最近发布的语义KITTI数据集。
2020-05-27 cs.CV stat.ML