ParaPoint: Learning Global Free-Boundary Surface Parameterization of 3D Point Clouds
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学)
本文提出ParaPoint,一种无监督神经学习流程,通过双向循环映射框架实现三维点云的全局自由边界曲面参数化,并设计了有效损失函数与微分几何约束,实验验证了其有效性。
2024-03-15 cs.CV
Point Cloud Colorization Based on Densely Annotated 3D Shape Dataset
Nagoya University(名古屋大学)
本文介绍了DensePoint,一个密集采样和注释的点云数据集,包含16个类别的10,000多个单个对象,通过合并来自两个现有数据集的不同类型的信息。DensePoint中的每个点云包含40,000个点,每个点与两种信息相关联:RGB值和零件注释。此外,我们提出了一种利用生成对抗网络(GANs)的点云着色方法。该网络可以通过只给出点云本身来为单个对象的点云生成颜色。在DensePoint上的实验表明,在物体的不同部分之间的点云中存在清晰的边界,这表明所提出的网络能够生成相当好的颜色。我们的数据集在项目页面上公开提供。
2018-10-12 cs.CV
Topology-Aware Non-Rigid Point Cloud Registration
University of Maryland, College Park(马里兰大学帕克分校);University of Maryland Institute for Advanced Computer Studies (UMIACS), University of Maryland, College Park(马里兰大学帕克分校马里兰高级计算机研究所)
在本文中,我们介绍了一个非刚性配准管道对无组织的点云,可能是拓扑结构不同。标准的翘曲场估计算法,即使在鲁棒的,不连续保持正则化,往往会产生不稳定的运动估计与“接近开放”的拓扑结构的变化相关联的边界。我们通过利用向后运动克服了这一限制:在相反的运动方向上,“关闭到打开”事件变成了“打开到关闭”,默认情况下可以正确处理。在我们的方法的核心在于一个通用的,拓扑不可知的翘曲场估计算法,类似于最近推出的动态重建系统从RGB-D输入。我们提高了运动估计的边界与拓扑结构的变化,在一个有效的后处理阶段。基于向前和(反向)向后翘曲假设,我们明确地检测变形的几何形状,通过局部变形标准进行拓扑变化的区域,并将其大致分类为“接触”或“分离”。随后,根据检测到的事件的类型和接近度,在局部基础上无缝地混合两个运动假设。我们的方法在MPI Sintel数据集上实现了最先进的运动估计精度。在具有拓扑事件注释的自定义数据集上的实验证明了我们的流水线在估计事件边界上的运动方面的有效性,以及在显式拓扑事件检测中的良好性能。
2019-11-03 cs.CV cs.GR cs.RO
TIBR4D: Tracing-Guided Iterative Boundary Refinement for Efficient 4D Gaussian Segmentation
Zhejiang University of Technology(浙江工业大学)
TIBR4D通过两阶段迭代边界精修方法,提升动态4D高斯分割的精度和效率,有效处理遮挡和模糊边界问题。
2026-02-09 cs.CV cs.GR
DeepCurrents: Learning Implicit Representations of Shapes with Boundaries
UC San Diego(加州大学圣地亚哥分校);Massachusetts Institute of Technology(麻省理工学院)
最近的技术已经成功地将表面重建为由深度神经网络参数化的学习函数(例如带符号距离场)的水平集。然而,这些方法中的许多方法仅学习闭合曲面,并且无法重建具有边界曲线的形状。我们提出了一种混合形状表示,结合显式边界曲线与隐式学习内部。使用几何测度理论的机器,我们使用深度网络参数化电流,并使用随机梯度下降来解决最小曲面问题。通过根据目标几何形状来修改度量,例如,从网格或点云,我们可以使用这种方法来表示任意表面,学习隐式定义的形状与显式定义的边界曲线。我们进一步展示了学习家庭的形状共同参数化的边界曲线和潜在的代码。
2022-03-21 cs.CV cs.GR
Gap Completion in Point Cloud Scene occluded by Vehicles using SGC-Net
Chair of Cartography and Visual Analytics, Technical University of Munich(慕尼黑工业大学制图与视觉分析主席);Institute of Cartography and Geoinformatics, Leibniz University Hannover(汉诺威莱布尼茨大学制图与地理信息研究所);Computer Vision Group, Technical University of Munich(慕尼黑工业大学计算机视觉组)
针对车辆遮挡导致城市点云信息缺失的问题,本文通过虚拟车辆与光线投射构建成对训练场景,并提出端到端 SGC-Net 补全遮挡缺口,97.66% 填补点误差在 5 厘米内。
2024-07-11 cs.CV
Separability Membrane: 3D Active Contour for Point Cloud Surface Reconstruction
University of Tsukuba(筑波大学);Aoyama Gakuin University(青山学院大学)
本文提出可分离性膜方法,通过最大化点特征类间可分离性并结合自适应B样条表面,在无需训练数据和体积转换的情况下,从含噪声的三维点云中鲁棒重建物体表面。
2025-03-07 cs.CV
Visual Enhanced 3D Point Cloud Reconstruction from A Single Image
Nanyang Technological University(南洋理工大学)
解决从单个图像进行3D对象重建的挑战性问题适当地给予现有技术利用单个单目相机而不是需要深度传感器来执行的能力。近年来,由于深度学习的发展,单个图像的3D重建已经展示了令人印象深刻的进展。现有的研究多采用倒角距离作为损失函数来指导神经网络的训练。但是,倒角损失将为3D点云中的所有点提供相等的权重。它倾向于牺牲细粒度和薄结构,以避免招致高损失,这将导致视觉上不满意的结果。本文提出了一个框架,可以恢复一个详细的三维点云从一个单一的图像,重点放在边界(边缘和角点)。实验结果表明,该方法在定性和定量上都明显优于现有技术,并且具有更少的训练参数。
2021-08-17 cs.AI cs.CV
Neural Point Cloud Rendering via Multi-Plane Projection
University of Electronic Science and Technology of China(电子科技大学);Google Research(谷歌研究院);Nuro Inc(Nuro公司)
提出了一种新的基于多平面投影的深度点云绘制流水线。网络的输入是场景的原始点云,输出是来自新视图或沿着新相机轨迹的图像或图像序列。与以前的方法,直接从3D点投影到2D图像域的功能,我们建议将这些功能投影到一个分层的相机截头体的体积。通过这种方式,可以通过网络自动学习3D点的可见性,从而成功地避免了由于虚假可见性检查引起的重影效应以及由噪声干扰引起的遮挡。接下来,将3D特征体积馈送到3D CNN中以产生多层图像w.r. t。在深度方向上的空间划分。然后,基于学习的权重混合分层图像,以产生最终的渲染结果。实验表明,与以前的方法相比,我们的网络产生更稳定的渲染,特别是在对象边界附近。此外,我们的管道是强大的噪声和相对稀疏的点云的各种具有挑战性的场景。
2020-06-25 cs.CV
Boundary-Enhanced Segmentation of Pig Point Clouds in Commercial Housing Environments
针对商业猪舍中猪只点云分割的边界模糊等问题,采用Octree Transformer骨干网络,结合软距离边界伪标签与双向跨边界语义模块,提升分割性能,为精准畜牧养殖提供可靠输入。
2026-08-13 cs.CV
Towards Sharper Object Boundaries in Self-Supervised Depth Estimation
LIRIS, UMR5205 INSA Lyon, CNRS, École Centrale de Lyon, Universite Claude Bernard Lyon 1, Université Lumière Lyon 2(LIRIS,UMR5205 INSA里昂,CNRS,中央理工里昂,克莱尔伯恩 Lyon 1 大学,里昂 2 大学)
该研究针对自监督单目深度估计中目标边界模糊问题,提出将像素深度建模为混合分布,通过方差感知损失和不确定性传播集成现有管道,在KITTI等数据集上边界清晰度提升35%,改善点云质量。
2025-11-17 cs.AI cs.CV cs.RO
Depth Completion using Piecewise Planar Model
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学)
深度图可以由一组学习的基础来表示,并且可以在封闭形式的解决方案中有效地求解。然而,这种方法的一个问题是,当颜色边界与深度边界不一致时,它可能会产生伪影。事实上,这在自然图像中非常常见。为了解决这个问题,我们在深度恢复中实施了更严格的模型:分段平面模型。更具体地说,我们表示所需的深度图作为一个集合的3D平面和重建问题被制定为平面参数的优化。这样的问题可以被公式化为连续CRF优化问题,并且可以通过基于粒子的方法(MP-PBP)\cite{Yamaguchi14}来求解。在KITTI视觉里程计数据集上进行的大量实验表明,该方法具有很高的抗虚假物体边界能力,可以生成有用的、视觉上令人愉悦的三维点云。
2020-12-06 cs.CV
ChartPointFlow for Topology-Aware 3D Point Cloud Generation
Kobe University(神户大学);Osaka University(大阪大学);Osaka Gakuin University(大阪学院大学)
点云用作三维(3D)形状的表面的表示。深度生成模型已经被修改为通常使用来自一组球状潜在变量的映射来对其变化进行建模。然而,以前的方法并没有太多的关注点云的拓扑结构,尽管一个连续的地图不能表达不同数量的孔和交叉点。而且,一个点云往往由多个子部分组成,也很难表达。在这项研究中,我们提出了ChartPointFlow,一个基于流的生成模型,具有多个潜在的3D点云标签。每个标签都以无监督的方式分配给点。然后,将以标签为条件的地图分配给点云的连续子集,类似于流形的图表。这使得我们提出的模型,以保持清晰的边界的拓扑结构,而以前的方法往往会产生模糊的点云,并未能产生洞。实验结果表明,与其他点云生成器相比,ChartPointFlow在生成和重建方面达到了最先进的性能。此外,ChartPointFlow使用图表将对象划分为语义子部分,并且在无监督分割的情况下表现出卓越的性能。
2021-08-07 cs.CV cs.GR cs.LG
ProtoGuard-guided PROPEL: Class-Aware Prototype Enhancement and Progressive Labeling for Incremental 3D Point Cloud Segmentation
Southern University of Science and Technology(南方科技大学);National University of Singapore(新加坡国立大学)
针对3D点云增量分割中类别相似性高、分布不平衡导致的灾难性遗忘、相似类别误分及长尾问题,提出ProtoGuard引导的PROPEL方法,通过类别感知原型增强和渐进式标注提升分割性能,在S3DIS数据集5步CIL场景下mIoU最大提升20.39%。
2025-04-12 cs.CV
Adaptive Dual-Weighted Gravitational Point Cloud Denoising Method
Xi'an University of Technology(西安理工大学)
本文提出一种自适应双权重引力点云去噪方法,通过八叉树空间划分、自适应体素统计和引力评分函数,提升去噪精度、边缘保持和实时性能。
2026-01-03 cs.CV
Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting
Zhejiang University, China(浙江大学);Monash University, Australia(墨尔本大学);MBZUAI;GigaAI(极佳科技)
本文针对前馈 3DGS 中深度边界导致点云稀疏、渲染退化的问题,提出基于预训练 transformer pointmap 的 PM-Loss 正则化,以增强边界几何平滑并跨架构提升渲染质量。
2025-06-05 cs.CV
Window Normalization: Enhancing Point Cloud Understanding by Unifying Inconsistent Point Densities
Northeastern University(东北大学);Beijing Eyecool Technology Co., Ltd.(北京眼神科技有限公司)
降采样和特征提取是三维点云理解的重要步骤。现有的方法受到点云中不同部分的点密度不一致的限制。在这项工作中,我们分析了下采样阶段的局限性,并提出了预抽象组的窗口归一化模块。特别地,利用窗口归一化方法来统一不同部分中的点密度。此外,提出了分组策略,以获得多类型的功能,包括纹理和空间信息。我们还提出了预抽象模块来平衡局部和全局特征。大量的实验表明,我们的模块执行更好的几个任务。在S3 DIS(Area 5)的分割任务中,该模块在小目标识别上表现更好,且结果具有更精确的边界。对沙发和柱子的识别率分别从69.2%提高到84.4%和42.7%提高到48.7%。基准从71.7%/77.6%/91.9%(mIoU/mAcc/OA)提高到72.2%/78.2%/91.4%。在S3 DIS上进行6重交叉验证的准确率分别为77.6%/85.8%/91.7%。它在mIoU上的表现比最好的型号PointNeXt-XL(74.9%/83.0%/90.3%)高出2.7%,达到了最先进的性能。代码和模型可在https://github.com/DBDXSS/Window-Normalization.git上获得。
2022-12-05 cs.CV
GridFlow: Structured Latent Flow for Seamless City-Scale 3D Point Cloud Generation
The University of Western Australia(西澳大学)
该研究提出GridFlow框架,结合多模态条件生成城市级无缝三维点云,并构建City3D-MultiGen基准,实验显示其性能优于现有基线。
2026-09-01 cs.CV
ForestQuery: Boundary-Aware and Spatially Anchored Query Learning for Unified Forest Point Cloud Segmentation
Nanjing University(南京大学);TopXGun Robotics(拓攻机器人);Nanjing University of Posts and Telecommunications(南京邮电大学);Tsinghua University(清华大学)
针对森林点云分割中结构不规则、遮挡严重和边界模糊等挑战,提出ForestQuery框架,通过边界不确定性建模和空间锚定语义查询增强,提升单木与语义分割性能,并在多个基准和真实数据集上验证了有效性。
2026-10-05 cs.AI cs.CV
DAPnet: A Double Self-attention Convolutional Network for Point Cloud Semantic Labeling
Central South University(中南大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Southwest Jiaotong University(西南交通大学)
机载激光扫描(ALS)点云具有复杂的结构,其三维语义标注一直是一项具有挑战性的任务。它有三个问题:(1)对来自不同类别的对象的边界周围的点云进行分类的难度,(2)同一类别内的形状的多样性,以及(3)类别之间的尺度差异。在这项研究中,我们提出了一种新的双自注意卷积网络,称为DAPnet。双重自我注意包括点注意模块(PAM)和群体注意模块(GAM)。对于问题(1),PAM可以基于相邻区域中点云的相关性来有效地分配不同的权重。同时,对于问题(2),GAM增强了组之间的相关性,即,在同一类中分组的要素。为了解决问题(3),我们采用多尺度半径来构造组,并将提取的层次特征与相应的上采样过程的输出连接起来。在ISPRS 3D Semantic Labeling Contest数据集下,DAPnet的整体准确率为90.7%,优于基准85.2%。通过进行烧蚀比较,我们发现PAM有效地改善了模型比GAM。引入双重自我注意模块后,学生的课前正确率平均提高了7%。此外,DAPnet消耗的训练时间与没有注意力模块的模型收敛时间相似。DAPnet可以根据点云与其邻域之间的相关性为特征分配不同的权重,从而有效地提高分类性能。源代码可在https://github.com/RayleighChen/point-attention上获得。
2021-09-15 cs.CV
Hierarchical Image-Guided 3D Point Cloud Segmentation in Industrial Scenes via Multi-View Bayesian Fusion
本文提出一种分层图像引导的3D点云分割框架,通过多视角贝叶斯融合解决工业场景中的遮挡和语义不一致问题,提升分割精度与鲁棒性。
2025-12-07 cs.CV
GeoSegNet: Point Cloud Semantic Segmentation via Geometric Encoder-Decoder Modeling
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University(南京大学);Lingnan University(岭南大学);Hong Kong Metropolitan University(香港都会大学)
GeoSegNet通过多重几何编码器和边界引导解码器深入利用点云几何信息,在提升对象级分割精度的同时增强边界清晰度,有效缓解误分类与边界歧义问题。
2022-07-14 cs.CV cs.GR
MRG: A Multi-Robot Manufacturing Digital Scene Generation Method Using Multi-Instance Point Cloud Registration
SAIC General Motors Corporation(上汽通用汽车有限公司)
本文提出MRG方法,通过实例中心transformer、假设生成及筛选优化实现多实例点云配准,用于生成高保真多机器人制造数字场景,并在两个数据集上显著提升MR与MP。
2025-01-03 cs.AI cs.CV
Push-the-Boundary: Boundary-aware Feature Propagation for Semantic Segmentation of 3D Point Clouds
Delft University of Technology(代尔夫特理工大学)
前馈全卷积神经网络目前在3D点云的语义分割中占主导地位。尽管它们取得了巨大的成功,但它们在低层次上丢失了局部信息,对准确的场景分割和精确的对象边界描绘提出了重大挑战。先前的工作要么通过后处理来解决这个问题,要么联合学习对象边界以隐式地改进网络的特征编码。这些方法通常需要额外的模块,这些模块很难集成到原始架构中。为了提高对象边界附近的分割,我们提出了一个边界感知的特征传播机制。这种机制是通过利用一个多任务学习框架,旨在明确地引导边界到其原始位置。通过一个共享编码器,我们的网络在三个并行流中输出(i)边界定位,(ii)指向对象内部的方向预测,以及(iii)语义分割。预测的边界和方向被融合以传播学习的特征来细化分割。我们对S3 DIS和SensatUrban数据集进行了广泛的实验,针对各种基线方法,证明我们提出的方法通过减少边界误差得到了一致的改进。我们的代码可在https://github.com/shenglandu/PushBoundary上获得。
2022-12-23 cs.CV
Geometry-Aware 3D Salient Object Detection Network
Northwestern Polytechnical University(西北工业大学);Nanjing University of Science and Technology(南京理工大学)
针对点云显著目标检测中边界模糊问题,提出几何感知网络,通过超点划分与几何增强模块,在PCSOD数据集上取得最先进性能。
2025-02-23 cs.CV
Road Boundary Detection Using 4D mmWave Radar for Autonomous Driving
Stanford University(斯坦福大学)
本文提出4DRadarRBD,首个基于4D毫米波雷达的道路边界检测方法,通过物理约束、基于距离的损失和时空特征融合克服点云噪声,在真实测试中达到93%分割准确率且误差降低92.6%。
2025-03-03 cs.CV cs.LG
SIESEF-FusionNet: Spatial Inter-correlation Enhancement and Spatially-Embedded Feature Fusion Network for LiDAR Point Cloud Semantic Segmentation
Intelligent Autonomous Systems Laboratory, Shanghai University of Electric Power(上海电力大学智能自主系统实验室);College of Literature, Science and the Arts, University of Michigan-Ann Arbor(密歇根大学安娜堡分校文学、科学与艺术学院)
本文提出SIESEF-FusionNet,通过结合反距离加权与角度补偿增强空间互相关性,并设计空间自适应池化模块将空间信息嵌入语义特征,有效解决了点云语义分割中的边界模糊问题,在多个数据集上取得优异表现。
2024-11-11 cs.CV
CloudSegNet: A Deep Network for Nychthemeron Cloud Image Segmentation
ADAPT SFI Research Centre(ADAPT SFI研究中心);Trinity College Dublin(都柏林圣三一学院);Nanyang Technological University(南洋理工大学);AI Singapore(新加坡人工智能中心);National University of Singapore(新加坡国立大学)
我们用地面的天空照相机分析地球大气中的云。由于云边界的模糊性,在所捕获的天空/云图像中的云的准确分割是困难的。已经提出了几种使用颜色作为云检测的判别特征的技术。然而,在现有的文献中,白天和夜间图像的分析被认为是分开的,主要是因为图像特性和应用的差异。在本文中,我们提出了一个轻量级的深度学习架构,称为CloudSegNet。它是第一个将白天和夜间(也称为nychthemeron)图像分割集成在一个框架中,并在公共数据库上实现最先进的结果。
2019-04-16 cs.CV eess.IV physics.ao-ph
CenterNet3D: An Anchor Free Object Detector for Point Cloud
Sun Yat-sen University(中山大学);University of Waterloo(滑铁卢大学)
从点云数据中准确快速地检测三维目标检测是自动驾驶中的一项关键任务。现有的单阶段三维目标检测方法虽然能够实现实时性,但主要是基于锚点的检测器,效率低下,需要额外的后处理。在本文中,我们消除了锚点,并将对象建模为单个点--其限界框的中心点。基于中心点,我们提出了一个无锚CenterNet 3D网络,执行3D目标检测没有锚。我们的CenterNet 3D使用关键点估计来找到中心点,并直接回归3D边界框。然而,由于点云固有的稀疏性,3D对象的中心点很可能位于空的空间中,这使得难以估计准确的边界。为了解决这个问题,我们提出了一个额外的角落注意模块,以强制CNN骨干更加关注对象边界。此外,考虑到一级检测器遭受预测的边界框和相应的分类置信度之间的不一致性,我们开发了一种有效的关键点敏感的扭曲操作,以对齐预测的边界框的置信度。我们提出的CenterNet 3D是非最大抑制自由,这使得它更有效,更简单。我们在广泛使用的KITTI数据集和更具挑战性的nuScenes数据集上评估了CenterNet 3D。我们的方法优于所有国家的最先进的锚为基础的一阶段的方法,并具有相当的性能,以及两阶段的方法。它具有20 FPS的推理速度,并实现了最佳的速度和准确性权衡。我们的源代码将在https://github.com/wangguojun2018/CenterNet3d上发布。
2021-10-25 cs.CV
ACLNet: An Attention and Clustering-based Cloud Segmentation Network
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
我们提出了一种新的深度学习模型ACLNet,用于从地面图像中分割云。ACLNet同时使用深度神经网络和机器学习(ML)算法来提取互补特征。具体来说,它使用EfficientNet-B 0作为骨干,“一个特洛伊空间金字塔池”(ASPP)在多个感受野学习,“全局注意力模块”(GAM)从图像中提取细粒度的细节。ACLNet还使用k-means聚类来更精确地提取云边界。ACLNet对白天和夜间图像都有效。它提供了更低的出错率,更高的召回率和更高的F1分数比国家的最先进的云分割模型。ACLNet的源代码可在这里获得:https://github.com/ckmvigil/ACLNet。
2022-07-13 cs.AI cs.CV
Dense 3D Visual Mapping via Semantic Simplification
Politecnico di Milano(米兰理工大学)
密集3D视觉映射为每个图像估计尽可能多的像素深度。这会导致非常密集的点云,其中通常包含冗余和噪声信息,特别是对于大致平面的曲面,例如场景中的地面或墙壁。在本文中,我们利用语义图像分割来区分场景的哪些区域需要简化,哪些应该保持在高层次的细节。我们提出了四种不同的点云简化方法,通过依赖于类特定的局部和全局统计数据来抽取感知到的点云,仍然在类边界附近保持更多的点,以保留类内边缘和不连续性。在三维德洛内三角剖分中对点云数据进行融合处理,得到三维稠密模型。在实验评估中,我们已经表明,通过利用语义,可以简化模型并减少影响点云的噪声。
2019-02-20 cs.CV
Effective Cloud Detection and Segmentation using a Gradient-Based Algorithm for Satellite Imagery; Application to improve PERSIANN-CCS
The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Irvine(加州大学欧文分校)
能够有效地识别云并监测其演变是实现更准确的定量降水估计和预报的重要一步。在这项研究中,一个新的基于梯度的云图像分割技术开发使用的工具,从图像处理技术。该方法将形态学图像的梯度幅度集成到可分离的云系统和补丁边界。为了降低图像分割对噪声的敏感性,并捕获具有各种边缘精细度的遥感图像中的目标,实现了一种变尺度核。所提出的方法是灵活的和可扩展的单到多光谱图像。通过将所提出的分割算法应用于由高分辨率天气预报模型模拟的地球同步业务环境卫星(GOES-R)通道的合成辐射度,进行了案例研究以验证该算法。所提出的方法相比,毫不逊色于现有的云补丁为基础的分割技术实现的PERSIANN-CCS(降水估计从遥感信息使用人工神经网络-云分类系统)降雨反演算法。基于事件的图像的评估表明,该算法有可能提高降雨检测和估计技能,与PERSIANN-CCS中使用的分割技术相比,平均增益超过45%,并将云区域识别为准确率高达98%的对象。
2018-09-27 cs.CV
Task-Driven Prompt Learning: A Joint Framework for Multi-modal Cloud Removal and Segmentation
Wuhan University(武汉大学)
本文提出TDP-CR框架,通过任务驱动的多模态方法联合实现云去除与土地覆盖分割,解决云遮挡导致的语义不一致问题,提升分析级数据质量。
2026-04-28 cs.CV
LACV-Net: Semantic Segmentation of Large-Scale Point Cloud Scene via Local Adaptive and Comprehensive VLAD
China University of Geosciences, Wuhan(中国地质大学(武汉))
本文提出端到端LACV-Net,通过LAFA局部增强、C-VLAD多尺度全局描述及聚合损失优化边界,提升大规模点云语义分割性能。
2022-10-12 cs.CV
JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds
Hong Kong University of Science and Technology(香港科技大学);City University of Hong Kong(香港城市大学)
语义分割和语义边缘检测可以看作是计算机视觉中关系密切的两个对偶问题。尽管基于学习的3D语义分割方法发展迅速,但很少有人关注3D语义边缘检测器的学习,更少有人关注这两个任务的联合学习方法。在本文中,我们首次解决了3D语义边缘检测任务,并提出了一种新的双流全卷积网络,它可以联合执行这两项任务。特别是,我们设计了一个联合细化模块,明确电线区域信息和边缘信息,以提高这两个任务的性能。此外,我们提出了一种新的损失函数,鼓励网络产生具有更好边界的语义分割结果。S3DIS和ScanNet数据集上的广泛评估表明,我们的方法达到了同等或更好的性能比最先进的方法为语义分割和优于基线方法的语义边缘检测。代码发布:https://github.com/hzykent/JSENet
2020-07-14 cs.CV
Object-Centric Stereo Matching for 3D Object Detection
University of Toronto(多伦多大学)
安全的自动驾驶需要可靠的3D目标检测-确定感兴趣对象的6自由度姿态和尺寸。使用立体摄像机来解决这一任务是广泛使用的LiDAR传感器的一种具有成本效益的替代方案。立体3D目标检测的当前技术水平采用现有的PSMNet立体匹配网络,没有修改,并将估计的视差转换为3D点云,并将该点云馈送到基于LiDAR的3D目标检测器中。现有的立体匹配网络的问题在于,它们被设计用于视差估计,而不是3D目标检测;对象点云的形状和精度不是焦点。立体匹配网络通常在对象边界处遭受不准确的深度估计,我们将其定义为条纹,因为背景和前景点是联合估计的。现有的网络也惩罚视差,而不是在其损失函数中的对象点云的估计位置。我们提出了一种新的2D框关联和以对象为中心的立体匹配方法,只估计感兴趣的对象的差异,以解决这两个问题。我们的方法在KITTI 3D和BEV基准测试中获得了最先进的结果。
2020-03-10 cs.CV
RefRec: Pseudo-labels Refinement via Shape Reconstruction for Unsupervised 3D Domain Adaptation
University of Bologna(博洛尼亚大学)
无监督领域自适应(UDA)点云分类是一个新兴的研究问题,具有相关的实际动机。依靠多任务学习来跨领域对齐特征一直是解决这个问题的标准方法。在本文中,我们采取了不同的路径,并提出了RefRec,这是第一种研究点云UDA中伪标签和自训练的方法。我们提出了两个主要的创新,使自训练有效的3D数据:i)通过匹配的形状描述符的噪声伪标签的细化,这些形状描述符是通过两个域上的形状重建的无监督任务学习的; ii)一种新的自训练协议,学习特定于域的决策边界,并减少错误标记的目标样本和域内类内变异性的负面影响。RefRec在用于测试UDA点云分类的两个标准基准测试中都达到了最新水平,展示了自我训练对这一重要问题的有效性。
2021-10-21 cs.CV
Primitive Fitting Using Deep Boundary Aware Geometric Segmentation
University of Alberta(阿尔伯塔大学);New York University(纽约大学)
为了识别和拟合几何图元(例如,平面、球体、圆柱体、圆锥体)对于诸如机器人学和逆向工程的领域来说是具有挑战性但有益的任务。作为一个多模型多实例拟合问题,它已被解决与不同的方法,包括RANSAC,但往往适合劣质模型在实践中与嘈杂的输入杂乱的场景。受相应的人类识别过程的启发,并受益于最近使用深度神经网络进行图像语义分割的进展,我们提出BAGSFit作为解决这个问题的新框架。首先,通过一个完全的卷积神经网络,输入点云逐点分割成多个类划分联合检测实例边界没有任何几何拟合。因此,段可以用作具有关联原语类的概率估计的原语假设。最后,所有的假设发送通过几何验证,以纠正任何错误的分类分别拟合基元。我们使用模拟范围图像进行训练,并使用模拟和真实世界的点云进行测试。定量和定性实验证明了BAGSFit的优越性。
2018-10-03 cs.CV