BEV-MAE: Bird's Eye View Masked Autoencoders for Point Cloud Pre-training in Autonomous Driving Scenarios
Peking University(北京大学);Chongqing Changan Automobile Co., Ltd(重庆长安汽车股份有限公司);University of California, Merced(加州大学默塞德分校)
针对自动驾驶 LiDAR 三维检测标注成本高的问题,提出 BEV-MAE 自监督预训练框架,通过 BEV 引导掩码、可学习点 token 和点密度预测提升性能与效率。
2024-01-21 cs.CV
SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving
Halmstad University(哈尔姆斯塔德大学);Volvo Technology AB(沃尔沃技术公司)
在本文中,我们介绍了一种深度编码器-解码器网络,名为SalsaNet,用于3D LiDAR点云的有效语义分割。SalsaNet通过采用点云的鸟瞰图(BEV)图像投影来分割道路(即可驾驶的自由空间)和场景中的车辆。为了克服缺乏注释的点云数据,特别是对于路段,我们引入了自动标记过程,该过程将自动生成的标签从相机传输到LiDAR。我们还通过比较BEV与球形前视图投影来探索LiDAR数据的类图像投影在语义分割中的作用,并表明SalsaNet是投影不可知的。我们对KITTI数据集进行了定量和定性评估,结果表明,所提出的SalsaNet在准确性和计算时间方面优于其他最先进的语义分割网络。我们的代码和数据可在https://gitlab.com/aksoyeren/salsanet.git上公开获取。
2019-09-18 cs.CV cs.RO
PointDistiller: Structured Knowledge Distillation Towards Efficient and Compact 3D Detection
Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);DIDI(滴滴出行)
点云表示学习方面的显着突破促进了其在自动驾驶汽车和虚拟现实等现实应用中的使用。然而,这些应用通常对不仅准确而且高效的3D目标检测具有迫切的要求。最近,知识蒸馏已被提出作为一种有效的模型压缩技术,它将知识从过度参数化的教师转移到轻量级的学生,并在2D视觉中实现一致的有效性。然而,由于点云的稀疏性和不规则性,直接将先前基于图像的知识蒸馏方法应用于点云检测器通常会导致性能不理想。为了填补这一空白,本文提出了PointDistiller,一个结构化的知识蒸馏框架,用于基于点云的3D检测。具体而言,PointDistiller包括局部提取,通过动态图卷积和重加权学习策略提取和提取点云的局部几何结构,突出学生对关键点或体素的学习,提高知识蒸馏效率。基于体素和基于原始点的检测器上的大量实验已经证明了我们的方法的有效性超过七个以前的知识蒸馏方法。例如,我们的4倍压缩PointPillars学生在BEV和3D目标检测方面分别实现了2.8和3.4 mAP的改进,分别比老师高出0.9和1.8 mAP。代码已在https://github.com/RunpeiDong/PointDistiller上发布。
2022-05-23 cs.CV cs.LG
L2G Auto-encoder: Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);University of Maryland(马里兰大学)
自动编码器是自重构点云数据编码和解码过程中理解点云数据的重要结构。目前的自动编码器主要关注于通过全局形状重构来学习全局结构,而忽略了对局部结构的学习。为了解决这个问题,我们提出了局部到全局自动编码器(L2 G-AE),通过局部到全局重建同时学习点云的局部和全局结构。具体地,L2 G-AE采用编码器来同时对局部区域中的多个尺度的几何信息进行编码。此外,我们还引入了一种新颖的分层自注意力机制,突出编码器信息聚合中不同层次的重要点、尺度和区域。同时,L2 G-AE采用递归神经网络(RNN)作为解码器,在局部区域中重建一系列尺度,在此基础上增量重建全局点云。我们在形状分类,检索和上采样方面的出色结果表明,L2 G-AE可以比最先进的方法更好地理解点云。
2019-08-02 cs.CV cs.LG
Irregular Convolutional Auto-Encoder on Point Clouds
Tokyo Institute of Technology(东京工业大学)
我们提出了一种新的图卷积神经网络,它可以从密集的原始点云构建粗糙的稀疏潜在点云。通过在不规则几何形状上定义一种新的非各向同性卷积运算,该模型可以从该潜在云重建原始点云,并具有精细的细节。此外,我们提出甚至可以使用从一些模拟粒子云(例如流体)编码的潜云来执行粒子模拟,以加速粒子模拟过程。我们的模型已经在ShapeNetCore数据集上进行了测试,用于自动编码,具有有限的潜在维度,并在流体模拟的合成数据集上进行了测试。我们还将该模型与其他最先进的模型进行了比较,并进行了几次可视化以直观地理解该模型。
2019-10-07 cs.LG stat.ML
PointTree: Transformation-Robust Point Cloud Encoder with Relaxed K-D Trees
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
能够直接在原始点云上学习有效的语义表示已经成为3D理解的中心话题。尽管进展迅速,但最先进的编码器仅限于规范化的点云,并且在遇到几何变换失真时具有弱于必要的性能。为了克服这一挑战,我们提出了PointTree,一个通用的点云编码器,是强大的变换的基础上放松的K-D树。我们的方法的关键是使用主成分分析(PCA)的划分规则的设计在K-D树。我们使用松弛K-D树的结构作为我们的计算图,并将特征建模为边界描述符,并与逐点最大值操作合并。除了这种新颖的架构设计,我们进一步提高了鲁棒性,通过引入预对齐-一个简单而有效的基于PCA的归一化方案。我们的PointTree编码器与预对齐相结合,在广泛基准化数据集的各种转换版本上,从对象分类到语义分割的应用中,性能始终优于最先进的方法。代码和预训练模型可在https://github.com/immortalCO/PointTree上获得。
2022-08-11 cs.CV cs.LG
Voxel-FPN: multi-scale voxel feature aggregation in 3D object detection from point clouds
Hangzhou Hikvision Digital Technology Co. Ltd(杭州海康威视数字技术股份有限公司)
点云数据中的目标检测是计算机视觉系统中的关键组成部分之一,特别是对于自动驾驶应用。在这项工作中,我们提出了体素FPN,一种新的一级3D物体检测器,只利用激光雷达传感器的原始数据。核心框架包括一个编码器网络和一个相应的解码器,然后是一个区域建议网络。编码器采用自底向上的方式提取多尺度体素信息,解码器采用自顶向下的方式融合不同尺度的多个特征图。大量的实验表明,该方法具有更好的性能,从点数据中提取特征,并证明了其优越性,在具有挑战性的KITTI-3D基准上的一些基线,在现实世界的场景中获得良好的性能,在速度和准确性。
2019-07-16 cs.CV cs.LG stat.ML
Cloud Model Characteristic Function Auto-Encoder: Integrating Cloud Model Theory with MMD Regularization for Enhanced Generative Modeling
提出云模型特征函数自编码器(CMCFAE),将云模型先验与MMD正则化集成于WAE框架,提升重建质量、潜在空间结构和样本多样性,在多个数据集上优于现有模型。
2025-08-06 cs.AI cs.LG
SE-MD: A Single-encoder multiple-decoder deep network for point cloud generation from 2D images
University of Kashmir(克什米尔大学);South Valley University(南谷大学)
从单个2D RGB图像生成3D模型是一个具有挑战性的和积极研究的计算机视觉任务。已经提出了使用传统网络架构的各种技术。然而,研究工作的主体是有限的,并且存在各种问题,例如使用低效的3D表示格式,弱3D模型生成骨干,无法生成密集点云,依赖于生成密集点云的后处理,以及依赖于RGB图像中的轮廓。本文提出了一种新的2D RGB图像点云转换技术,它改善了该领域的最新技术水平,由于其高效,鲁棒和简单的模型,通过使用网络架构中的并行化概念。它不仅使用了点云的高效和丰富的3D表示,而且还使用了一个新颖的和强大的点云生成骨干,以解决普遍存在的问题。这涉及使用单编码器多解码器深度网络架构,其中每个解码器生成某些固定视点。然后融合所有视点以生成密集的点云。进行了各种实验的技术和它的性能与其他国家的最先进的技术和令人印象深刻的增益的性能进行了比较。代码可在https://github.com/mueedhafiz1982/上获得
2021-06-17 cs.AI cs.CV cs.LG
UPAQ: A Framework for Real-Time and Energy-Efficient 3D Object Detection in Autonomous Vehicles
Colorado State University(科罗拉多州立大学)
本文提出UPAQ框架,通过半结构化模式剪枝与量化压缩LiDAR点云和相机3D检测器,在Jetson Orin Nano上显著提升Pointpillar与SMOKE的压缩率、推理速度和能效。
2025-01-08 cs.AI cs.CV cs.LG
Unsupervised Point Cloud Pre-Training via Occlusion Completion
University of Cambridge(剑桥大学);University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);University College London(伦敦大学学院)
我们描述了一个简单的点云预训练方法。它分为三个步骤:1.屏蔽在相机视图中被遮挡的所有点; 2.学习编码器-解码器模型以重建被遮挡点; 3.使用编码器权重作为下游点云任务的初始化。我们发现,即使我们构建了一个单一的预训练数据集(来自ModelNet 40),这种预训练方法也可以提高不同数据集和编码器在广泛的下游任务中的准确性。具体来说,我们证明了我们的方法在对象分类以及基于部分和语义分割任务方面优于以前的预训练方法。我们研究了预训练的特征,发现它们会导致宽的下游最小值,具有高变换不变性,并且具有与部件标签高度相关的激活。代码和数据可在https://github.com/hansen7/OcCo上获得
2021-10-13 cs.CV cs.LG
PointPainting: Sequential Fusion for 3D Object Detection
nuTonomy: an Aptiv Company(nuTonomy(安波福旗下公司))
摄像头和激光雷达是机器人的重要传感器模式,特别是自动驾驶汽车。传感器提供互补信息,为紧密的传感器融合提供了机会。令人惊讶的是,仅激光雷达方法在主要基准数据集上的表现优于融合方法,这表明文献中存在差距。在这项工作中,我们提出了PointPainting:一个顺序融合的方法来填补这一空白。PointPainting的工作原理是将激光雷达点投影到仅图像语义分割网络的输出中,并将类分数附加到每个点。然后,附加(绘制)的点云可以馈送到任何仅激光雷达的方法。实验表明,在KITTI和nuScenes数据集上,三种不同的最先进的方法,Point-RCNN,VoxelNet和PointPillars都有很大的改进。PointRCNN的绘画版本代表了KITTI排行榜上鸟瞰视图检测任务的最新技术水平。在消融中,我们研究了绘画的效果如何取决于语义分割输出的质量和格式,并演示了如何通过流水线最大限度地减少延迟。
2020-05-06 cs.CV cs.LG eess.IV
Quantifying Data Augmentation for LiDAR based 3D Object Detection
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
在这项工作中,我们揭示了不同的数据增强技术通常用于光探测和测距(LiDAR)的三维目标检测。对于我们的大部分实验,我们利用了众所周知的PointPillars管道和完善的KITTI数据集。我们研究了各种全球和本地增强技术,其中全球增强技术应用于整个点云的场景和本地增强技术只适用于属于场景中的单个对象的点。我们的研究结果表明,这两种类型的数据增强都可以提高性能,但事实也证明,某些增强技术,例如单个对象翻译,可能会适得其反,并可能损害整体性能。我们表明,这些发现转移和推广以及其他国家的最先进的三维目标检测方法和具有挑战性的STF数据集。在KITTI数据集上,我们可以获得高达1.5%的增益,在STF数据集上,在中型汽车类的3D mAP中,我们可以获得高达1.7%的增益。
2022-07-29 cs.CV cs.LG eess.IV
CLIPoint3D: Language-Grounded Few-Shot Unsupervised 3D Point Cloud Domain Adaptation
University of Trento(特伦托大学);MDSR Labs Adobe(Adobe MDSR实验室);IIT Bombay(印度理工学院班加罗尔分校);Fondazione Bruno Kessler(布鲁诺·科斯勒基金会)
本文提出CLIPoint3D,首个基于CLIP的3D点云无监督领域适应框架,通过知识驱动的提示调优和熵引导视图采样策略,实现跨领域3D点云适应,实验表明在PointDA-10和GraspNetPC-10基准上性能提升3-16%。
2026-04-21 cs.CV cs.LG
DSFEC: Efficient and Deployable Deep Radar Object Detection
Robert Bosch GmbH(罗伯特·博世有限公司);Corporate Research, India(印度公司研究部)
针对边缘设备部署雷达检测模型的资源受限问题,研究结合深度可分离卷积与新型FEC模块提出DSFEC系列模型,在nuScenes数据集上实现性能提升的同时大幅降低计算量与树莓派运行时间。
2024-12-10 cs.AI cs.CV cs.LG
nach0-pc: Multi-task Language Model with Molecular Point Cloud Encoder
Insilico Medicine Canada Inc.(英矽智能加拿大公司);Insilico Medicine AI Ltd.(英矽智能人工智能有限公司)
提出nach0-pc模型,结合分子点云编码器与语言模型处理原子空间排列,通过新颖预训练方案蒸馏空间结构知识,在多任务框架下实现与其他扩散模型相当的生成质量,同时降低训练与推理时间。
2024-10-11 cs.CL cs.LG
REaaS: Enabling Adversarially Robust Downstream Classifiers via Robust Encoder as a Service
Huazhong University of Science and Technology(华中科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Duke University(杜克大学)
编码器即服务是一种新兴的云服务。具体地,服务提供商首先预训练编码器(即,通用特征提取器),然后将其部署为云服务API。客户端在训练/测试其分类器(称为下游分类器)时查询云服务API以获得用于其训练/测试输入的特征向量。下游分类器容易受到对抗性示例的影响,这些示例是带有精心设计的扰动的测试输入,下游分类器会错误分类。因此,在安全和安全关键应用中,客户端的目标是构建一个强大的下游分类器,并证明其对对抗性示例的鲁棒性保证。云服务应该提供哪些API,以便客户端可以使用任何认证方法来证明其下游分类器对对抗性示例的鲁棒性,同时最大限度地减少对API的查询数量?服务提供商如何预训练编码器,以便客户端可以构建更可靠的下游分类器?我们的目标是回答这两个问题在这项工作中。对于第一个问题,我们表明,云服务只需要提供两个API,我们精心设计,使客户端能够证明其下游分类器的鲁棒性与最少数量的查询API。对于第二个问题,我们证明了使用谱范数正则化项预训练的编码器使客户端能够构建更强大的下游分类器。
2023-01-07 cs.CR cs.LG
DeepCompress: Efficient Point Cloud Geometry Compression
Worcester Polytechnic Institute(伍斯特理工学院);Ericsson Research(爱立信研究院)
点云是一种基本的数据类型,随着3D内容变得越来越普遍,点云越来越受到关注。使用点云的应用包括虚拟、增强和混合现实以及自动驾驶。我们提出了一种更高效的基于深度学习的点云压缩编码器架构,该架构融合了已建立的3D目标检测和图像压缩架构的原理。通过消融研究,我们表明,将从计算高效神经图像压缩(CENIC)中学习的激活函数和设计更具参数效率的卷积块在效率和性能方面产生了显着的收益。我们提出的架构结合了广义分裂归一化激活,并提出了一个空间可分离的InceptionV4启发块。然后,我们在标准JPEG Pleno 8i体素化全身数据集上评估率失真曲线,以评估我们模型的性能。我们提出的修改在Bjontegard delta速率和PSNR值方面以较小的幅度优于基线方法,但将必要的编码器卷积操作减少了8%,并将总编码器参数减少了20%。我们提出的架构,当考虑其本身,有一个小的罚款0.02%的倒角的距离和0.32%的增加比特率在点到平面的距离为相同的峰值信噪比。
2021-06-02 cs.CV cs.GR cs.LG
Generative Models for 3D Point Clouds
Stanford University(斯坦福大学)
点云是一种丰富的几何数据结构,其三维结构为理解三维空间中的表示学习和生成式建模提供了一个很好的领域。在这项工作中,我们的目标是通过实验与Transformer编码器,潜在空间流模型,和自回归解码器,以提高点云潜在空间生成模型的性能。我们分析和比较这些模型的生成和重建性能的各种对象类型。
2023-02-26 cs.AI cs.CV cs.LG
Unsupervised Multi-Task Feature Learning on Point Clouds
Autodesk AI Lab(欧特克人工智能实验室)
我们引入了一个无监督的多任务模型来联合学习点云上的点和形状特征。我们定义了三个无监督的任务,包括聚类,重建和自监督分类训练多尺度基于图的编码器。我们评估我们的模型的形状分类和分割基准。结果表明,它优于现有的最先进的无监督模型:在ModelNet40分类任务中,它实现了89.1%的准确率,在ShapeNet分割任务中,它实现了68.2的mIoU和88.6%的准确率。
2019-10-18 cs.CV cs.LG
Squeeze3D: Extreme Neural Compression with Latent Space Bridging
University of Toronto(多伦多大学)
本文提出Squeeze3D,通过可训练映射网络连接预训练3D编码器与生成模型的潜在空间,在无需真实3D数据集的情况下实现网格、点云和辐射场的高倍率压缩与高质量重建。
2026-09-29 cs.CV cs.GR cs.LG
Learned Point Cloud Compression for Classification
Simon Fraser University(西蒙弗雷泽大学)
本文提出一种基于PointNet、专用于点云分类任务的轻量编解码器,在ModelNet40上相比非专用编解码器降低94% BD-bitrate,并给出两种低资源编码器配置,在极少计算开销下保持高压缩性能。
2023-08-11 cs.CV cs.LG eess.IV
CD-CTFM: A Lightweight CNN-Transformer Network for Remote Sensing Cloud Detection Fusing Multiscale Features
College of Information Science and Technology(信息科学与技术学院)
本文提出轻量级CNN-Transformer网络CD-CTFM,通过轻量级特征金字塔融合多尺度特征,并在跳跃连接中引入通道-空间注意力模块,在38-Cloud和MODIS数据集上以更低计算成本实现了与最先进方法相当的云检测精度。
2023-06-12 cs.CV cs.LG eess.IV
2D-3D Interlaced Transformer for Point Cloud Segmentation with Scene-Level Supervision
National Taiwan University(国立台湾大学);MediaTek(联发科技);NVIDIA(英伟达);National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院)
本文提出多模态交错Transformer(MIT),仅用场景级类别标签实现弱监督点云分割,通过双编码器与交错2D-3D交叉注意力解码器迭代融合互补特征,在S3DIS和ScanNet上显著超越现有方法。
2024-01-22 cs.AI cs.CV cs.LG
3D Point Capsule Networks
Technische Universität München(慕尼黑工业大学);University of Padova(帕多瓦大学);Siemens AG(西门子公司)
在本文中,我们提出了3D点胶囊网络,一个自动编码器,旨在处理稀疏的3D点云,同时保持空间排列的输入数据。3D胶囊网络的出现是我们新颖的统一3D自动编码器公式的直接结果。他们的动态路由方案和我们的方法部署的特殊的2D潜在空间带来了几个常见的点云相关的任务,如对象分类,对象重建和部分分割的改进,我们广泛的评估证实。此外,它还支持新的应用,如零件插值和替换。
2019-07-11 cs.CV cs.LG cs.NE
DAPoinTr: Domain Adaptive Point Transformer for Point Cloud Completion
Deakin University(迪肯大学);Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Zhejiang University(浙江大学);The University of Western Australia(西澳大学)
本文提出域自适应点Transformer框架DAPoinTr,通过域查询特征对齐、逐点Token特征对齐和投票预测一致性三个组件解决点云补全中的域偏移问题,实验证明其优于现有方法。
2024-12-26 cs.CV cs.LG
Contrastive Self-Supervised Learning for Skeleton Representations
Imperial College London(帝国理工学院);Apple(苹果公司)
人类骨骼点云通常用于自动分类和预测他人的行为。在本文中,我们使用对比自监督学习方法,Simplified,学习表示捕捉骨架点云的语义。这项工作的重点是系统地评估不同的算法决策(包括增强,数据集分区和骨干架构)对学习的骨架表示的影响。为了预训练表示,我们对六个现有数据集进行了归一化,以获得超过4000万个骨架帧。我们通过三个下游任务来评估学习到的表示的质量:骨架重建,运动预测和活动分类。我们的研究结果证明了1)结合空间和时间增强,2)包括编码器训练的额外数据集,以及3)使用图神经网络作为编码器的重要性。
2022-11-10 cs.CV cs.LG
MM811 Project Report: Cloud Detection and Removal in Satellite Images
University of Alberta(阿尔伯塔大学)
对于卫星图像,云层的存在带来了一个问题,因为云层掩盖了一半以上至三分之二的地面信息。这个问题导致了在无噪声环境中传输数据和其他需要无缝监控的应用程序的可靠性的许多问题。从图像中去除云,同时保持背景像素不变,可以帮助解决上述问题。最近,深度学习方法通过展示有希望的结果而成为研究云去除的热门方法,其中生成对抗网络(GAN)表现出更好的性能。在这个项目中,我们的目标是使用AttentionGAN从卫星图像中去除云,然后通过复制使用传统GANs和自动编码器获得的结果来比较我们的结果。我们使用RICE数据集。该项目的成果可用于开发需要无云卫星图像的应用程序。此外,我们的研究结果可能有助于进一步的研究改进。
2022-12-21 cs.CV cs.LG eess.IV
Point2Radio: A Foundation Model for Cross-Scene Radio Fields from Material-Aware Point Clouds
Hong Kong University of Science and Technology(香港科技大学)
Point2Radio是从多环境学习可迁移传播先验的基础模型,基于材料感知点云实现跨场景无线电场预测,在路径增益预测上较UNet基线误差降76.7%,轻量微调可提升环境适应性。
2026-08-03 cs.AI cs.CV cs.LG
Multiresolution Tree Networks for 3D Point Cloud Processing
College of Information and Computer Sciences, University of Massachusetts - Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
我们提出了多分辨率树结构的网络来处理点云的三维形状理解和生成任务。我们的网络将3D形状表示为一组多分辨率的局部保持1D有序点列表。这允许通过1D卷积进行有效的前馈处理,通过多网格架构进行粗到细的分析,并且在训练期间实现更快的收敛和更小的内存占用。所提出的树结构编码器可用于对形状进行分类,并在形状分类基准上优于现有的基于点的架构,而树结构解码器可用于直接生成点云,并且它们优于使用ShapeNet数据集学习的图像到形状推理任务的现有方法。我们的模型还允许通过使用变分自编码器对基于点云的形状进行无监督学习,从而生成更高质量的形状。
2018-07-11 cs.CV cs.GR cs.LG
ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds
Uber ATG(优步先进技术集团);University of Michigan(密歇根大学);University of Toronto(多伦多大学)
我们引入了ShapeAdv,这是一个新的框架,用于研究反映潜在形状变化的形状感知对抗扰动(例如,几何变形和结构差异)。我们通过利用点云自动编码器的学习潜在空间来开发形状感知的对抗性3D点云攻击,其中对抗性噪声应用于潜在空间。具体来说,我们提出了三种不同的变体,包括一个基于范例的变体,通过辅助数据引导形状变形,使得生成的点云类似于同一类别中对象之间的形状变形。与以前的作品不同,所得到的对抗性3D点云反映了3D点云空间中的形状变化,同时仍然接近原始点云。此外,在ModelNet40基准测试上的实验评估表明,我们的对手更难以用现有的点云防御方法进行防御,并且在分类器之间表现出更高的攻击可转移性。我们的形状感知对抗攻击与现有的基于点云的攻击正交,并揭示了3D深度神经网络的脆弱性。
2020-05-24 cs.CV cs.LG eess.IV
Learning-based lossless compression of 3D point cloud geometry
CNRS(法国国家科学研究中心)
提出了一种基于上下文自适应算术编码的静态点云几何数据的学习无损压缩方法。与大多数现有的方法在八叉树域工作,我们的编码器在混合模式下工作,混合八叉树和基于体素的编码。根据点云的结构自适应地将点云划分为多分辨率的体素块,并使用八叉树来表示划分。一方面,八叉树表示可以消除点云数据的稀疏性。另一方面,在体素域中,卷积可以被自然地表达,并且几何信息(即,平面、曲面等)是由神经网络明确处理的。我们的上下文模型受益于这些属性,并使用具有掩码过滤器的深度卷积神经网络(称为VoxelDNN)学习体素的概率分布。实验表明,我们的方法优于国家的最先进的MPEG G-PCC标准,平均节省28%的点云从微软体素化上半身(MVUB)和MPEG的不同集合。该实现可在https://github.com/Weafre/VoxelDNN上获得。
2021-04-20 cs.CV cs.LG eess.IV
Point Cloud Completion by Learning Shape Priors
National University of Singapore(新加坡国立大学)
针对点云补全中物体细节重建困难的问题,提出了一种基于形状先验学习的物体补全方法。形状先验包括完整点云和部分点云中的几何信息。我们设计了一个特征对齐策略,从完整的点学习形状先验,和一个粗到精的策略,将部分先验的精细阶段。为了事先学习完整的对象,我们首先训练一个点云自动编码器来从完整的点中提取潜在的嵌入。然后我们学习一个映射,通过优化特征对齐损失将点特征从部分点转移到完整点。特征对齐损失由L2距离和由最大均值离散生成对抗网络(MMD-GAN)获得的对抗损失组成。L2距离优化了特征空间中的部分特征,MMD-GAN减小了再生核希尔伯特空间中两个点特征的统计距离。我们在点云完成任务上实现了最先进的性能。我们的代码可在https://github.com/xiaogangw/point-cloud-completion-shape-prior上获得。
2021-07-15 cs.CV cs.LG eess.IV
PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers
Tsinghua University(清华大学)
在实际应用中,由于传感器分辨率有限、视点单一和遮挡等原因,获取的点云往往是不完整的。因此,从部分点云恢复完整的点云成为许多实际应用中不可缺少的任务。在本文中,我们提出了一种新的方法,重新制定的点云完成作为一个集到集的翻译问题,并设计了一个新的模型,称为PointTr,采用Transformer编码器-解码器架构的点云完成。通过将点云表示为一组具有位置嵌入的无序点群,我们将点云转换为一系列点代理,并采用Transformers生成点云。为了便于Transformers,以更好地利用感应偏置点云的三维几何结构,我们进一步设计了一个几何感知块,模型的局部几何关系明确。Transformers的迁移使我们的模型能够更好地学习结构知识,并保留点云完成的详细信息。此外,我们提出了两个更具挑战性的基准,更多样化的不完整的点云,可以更好地反映现实世界的情况,以促进未来的研究。实验结果表明,我们的方法优于国家的最先进的方法,在新的基准和现有的大幅度。代码可在https://github.com/yuxumin/PoinTr上获得
2021-08-19 cs.AI cs.CV cs.LG