PointRegGPT: Boosting 3D Point Cloud Registration using Generative Point-Cloud Pairs for Training
University of Electronic Science and Technology of China(电子科技大学);The Chinese University of Hong Kong(香港中文大学);Hong Kong University of Science and Technology(香港科技大学);Megvii Technology(商汤科技)
PointRegGPT通过生成式点云对训练数据提升3D点云配准性能,采用深度修复扩散和校正模块增强真实性,使多种算法在基准上达到最先进水平。
2024-07-19 cs.CV
Generative PointNet: Deep Energy-Based Learning on Unordered Point Sets for 3D Generation, Reconstruction and Classification
Cognitive Computing Lab Baidu Research(百度研究院认知计算实验室);University of California Los Angeles (UCLA)(加州大学洛杉矶分校);Tsinghua University(清华大学);Peking University(北京大学)
我们提出了一个生成模型的无序点集,如点云,在一个基于能量的模型的形式,其中的能量函数是参数化的输入置换不变的自底向上的神经网络。能量函数学习每个点的坐标编码,然后将所有单独的点特征聚合成整个点云的能量。我们称我们的模型为生成PointNet,因为它可以从判别PointNet派生出来。我们的模型可以通过基于MCMC的最大似然学习(及其变体)进行训练,而无需任何辅助网络(如GANs和VAE)的帮助。与大多数依赖于手工制作的距离度量的点云生成器不同,我们的模型不需要任何手工制作的距离度量来生成点云,因为它通过根据能量函数定义的统计特性匹配观察到的示例来合成点云。此外,我们可以学习一个短期的MCMC对基于能量的模型作为一个流动的生成器点云重建和插值。学习的点云表示可以用于点云分类。实验结果表明,所提出的点云生成模型的优点。
2021-04-07 cs.CV
GenReg: Deep Generative Method for Fast Point Cloud Registration
Image X Institute, University of Sydney(悉尼大学 Image X 研究所);Chongqing University of Posts and Telecommunications(重庆邮电大学);University of Techonology Sydney(悉尼科技大学);Jiangxi University of Finance and Economics(江西财经大学);Xpeng(小鹏)
由于噪声和大量点影响对应搜索,因此精确和高效的点云配准是一个挑战。这一挑战仍然是一个遗留的研究问题,因为大多数现有的方法依赖于对应搜索。为了解决这一挑战,我们提出了一种新的数据驱动的配准算法,通过研究深度生成神经网络点云配准。给定两个点云,动机是直接生成对齐的点云,这在许多应用中非常有用,如3D匹配和搜索。我们设计了一个端到端的生成神经网络对齐点云生成,以实现这一动机,包含三个新的组件。首先,提出了一种点多感知层(MLP)混合器(PointMixer)网络,以有效地保持全局和局部结构信息在多个层次上从自我点云。其次,提出了一个特征交互模块,用于融合交叉点云信息。第三,提出了一种并行差分样本一致性方法,根据生成的配准结果计算输入点云的变换矩阵。通过保持数据分布和结构相似性,在GAN框架中训练所提出的生成式神经网络。在ModelNet40和7Scene数据集上的实验表明,该算法具有较高的准确性和效率。值得注意的是,我们的方法减少了$2\times$的注册错误(CD)和$12\times$运行时间相比,最先进的基于对应关系的算法。
2021-11-23 cs.CV
Lossless Coding of Point Cloud Geometry using a Deep Generative Model
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupelec(巴黎中央理工-高等电力学院)
提出了一种利用神经网络估计体素占用概率分布的无损点云几何压缩方法。首先,考虑到PC稀疏性,我们的方法自适应地将点云划分为多个体素块大小。这种划分是通过八叉树来表示的。其次,我们采用深度自回归生成模型来估计给定先前编码的每个体素的占用概率。然后,我们采用估计的概率有效地使用基于上下文的算术编码器的块进行编码。我们的上下文大小可变,可以扩展到当前块之外,以学习更准确的概率。我们还考虑使用数据增强技术来提高学习概率模型的泛化能力,特别是在存在噪声和低密度点云的情况下。实验评估,从四个不同的数据集和不同的特性进行的各种点云,表明我们的方法大大降低(高达30%)的速率相比,最先进的MPEG编解码器的无损编码。
2021-07-01 cs.CV cs.LG eess.IV
Generative Adversarial Synthesis of Radar Point Cloud Scenes
RWTH Aachen University(亚琛工业大学);Technische Universität Ilmenau(伊尔梅瑙工业大学);Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学)
本文提出基于PointNet++的GAN模型合成逼真雷达点云场景,以替代费力的真实数据采集与仿真方法,并通过二分类器验证其性能接近真实场景(约87%)。
2024-10-17 cs.CV cs.LG eess.IV
Point Cloud Generation with Continuous Conditioning
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Stuttgart(斯图加特大学);Research Center for Information Technology(信息技术研究中心)
生成模型可用于合成高质量和多样性的3D对象。然而,通常没有控制所生成的object.This属性提出了一种新的生成对抗网络(GAN)设置,生成3D点云形状的连续参数的条件。在示例性应用程序中,我们使用它来指导生成过程,以创建具有定制形状的3D对象。我们通过使用辅助分类器GANs的概念在多任务设置中制定了这个生成过程。此外,我们建议从数据集的核密度估计(KDE)中对生成器标签输入进行采样以进行训练。我们的消融表明,这导致在样本较少的区域中显著的性能提高。大量的定量和定性实验表明,我们获得明确的控制对象的尺寸,同时保持良好的生成质量和多样性。
2022-02-17 cs.AI cs.CV cs.LG
Discriminative and Generative Models for Anatomical Shape Analysison Point Clouds with Deep Neural Networks
LMU Munich(慕尼黑大学)
我们引入深度神经网络来分析解剖形状,从给定的任务中学习低维形状表示,而不是依赖于手工设计的表示。我们的框架是模块化的,由几个计算块,执行基本的形状处理任务。网络在无序的点云上运行,并为相似性变换提供不变性,从而避免了识别形状之间的点对应关系的需要。基于该框架,我们组装了一个判别模型的疾病分类和年龄回归,以及生成模型的累积重建的形状。特别是,我们提出了一个条件生成模型,其中的条件向量提供了一种机制来控制生成过程。例如,当将其作为辅助信息传递时,它能够评估特定于特定诊断的形状变化。在处理单个形状之后,我们引入了多个解剖结构的联合分析的扩展,其中多个结构的同时建模可以导致更紧凑的编码和更好地理解疾病。我们展示了我们的框架在真实和合成数据的综合实验的优势。关键的见解是:(i)学习特定于给定任务的形状表示比其他形状描述符产生更高的性能,(ii)多结构分析比单结构分析更有效,更准确,以及(iii)我们的模型生成的点云捕获与阿尔茨海默病相关的形态差异,以至于它们可以用于训练用于疾病分类的判别模型。我们的框架自然地扩展到大型数据集的分析,使其有可能在大规模人群中学习特征变化。
2020-10-02 cs.CV cs.LG
Unified Geometry and Color Compression Framework for Point Clouds via Generative Diffusion Priors
National University of Singapore(新加坡国立大学)
针对现有点云压缩方法几何与颜色分离处理、泛化性不足的问题,提出基于预训练扩散模型与提示调优的测试时统一压缩框架,将点云压缩为稀疏种子点再通过去噪解压缩,性能优于现有基线。
2025-03-23 cs.CV
Generative Data Augmentation for Object Point Cloud Segmentation
Technical University of Munich(慕尼黑技术大学);Siemens AG(西门子股份公司);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对传统数据增强在点云分割中数据多样性不足的问题,本文扩展3D扩散模型Lion为部件感知生成模型,提出3步生成式数据增强流程,在多数据集上优于传统及相关半/自监督方法。
2025-08-26 cs.CV
A Point Cloud Generative Model via Tree-Structured Graph Convolutions for 3D Brain Shape Reconstruction
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Shenzhen University(深圳大学);Renmin University of China(中国人民大学)
融合医学图像和相应的三维形状表示可以提供互补信息和微观结构细节,以提高脑外科手术的操作性能和准确性。然而,与大量的图像数据相比,使用传感器扫描等物理方法几乎不可能获得术中3D形状信息,特别是在微创手术和机器人引导手术中。本文提出了一种基于图卷积网络的通用生成对抗网络(GAN)架构,利用一张二维图像重建大脑的三维点云,从而缓解了手术过程中获取三维形状数据的限制。具体地说,一个树结构的生成机制被构造成有效地使用的潜在向量和隐藏层之间准确地转移功能。该生成模型实现了图像到PC机的自动实时转换。在我们的模型上取得了有竞争力的定性和定量实验结果。在多种评价方法中,该模型优于另一种常见的点云生成模型PointOutNet。
2021-07-21 cs.CV eess.IV
Latent-Space Laplacian Pyramids for Adversarial Representation Learning with 3D Point Clouds
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Zhejiang University(浙江大学);IMPA(巴西纯粹与应用数学研究所)
构建高质量的三维形状生成模型是计算机视觉的一项基本任务,在几何处理、工程和设计中有着广泛的应用。尽管最近在深度生成建模方面取得了进展,但从零开始合成精细的3D表面(例如高分辨率点云)尚未通过现有方法实现。在这项工作中,我们建议采用潜在的空间拉普拉斯金字塔表示的层次生成模型的三维点云。我们结合最近提出的潜在空间GAN和拉普拉斯GAN架构,形成一个多尺度模型,能够生成3D点云在增加的细节水平。我们的评估表明,我们的模型优于现有的三维点云生成模型。
2019-12-13 cs.CV eess.IV
C-Flow: Conditional Generative Flow Models for Images and 3D Point Clouds
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(机器人与工业信息研究所(CSIC-UPC));Google Research(谷歌研究院)
基于流的生成模型具有非常理想的特性,如精确对数似然估计和精确潜变量推断,但它们仍处于起步阶段,并没有像替代生成模型那样受到关注。在本文中,我们介绍了C-Flow,一种新的调节方案,使规范化流到一个全新的场景,具有很大的可能性,多模态数据建模。C-Flow基于可逆映射的并行序列,其中源流在每一步都引导目标流,从而实现对生成过程的细粒度控制。我们还设计了一种新的策略来建模无序的3D点云,结合条件化方案,使得有可能解决从单个图像的3D重建及其逆问题,即渲染给定点云的图像。我们证明了我们的调节方法是非常适应性,也适用于图像操作,风格转移和多模态图像到图像映射在不同的领域,包括RGB图像,分割图,和边缘掩模。
2020-04-03 cs.CV
Flow-based GAN for 3D Point Cloud Generation from a Single Image
University of Twente(特文特大学)
从单个二维图像生成三维点云对于三维场景理解应用是非常重要的。为了重建图像中所示的对象的整个3D形状,现有的基于深度学习的方法使用点云的显式或隐式生成建模,然而,其质量有限。在这项工作中,我们的目标是通过引入混合显式-隐式生成建模方案来缓解这个问题,该方案继承了基于流的显式生成模型,用于以任意分辨率采样点云,同时通过利用隐式生成对抗网络(GANs)来改善点云的详细3D结构。我们在大规模合成数据集ShapeNet上进行了评估,实验结果证明了该方法的优越性能。此外,我们的方法的泛化能力证明了跨类别的合成图像,以及通过测试的真实图像从PASCAL 3D+数据集。
2022-10-08 cs.CV
DualGenerator: Information Interaction-based Generative Network for Point Cloud Completion
针对现有方法忽略相邻点空间与语义信息、部件区分及鲁棒性不足的问题,本文提出双路径交互共享权重的DualGenerator,结合局部细化与DGStyleGAN融合分析,在MVP和Completion3D上取得更优且抗噪、抗稀疏的补全效果。
2023-12-07 cs.CV
GenPC: Zero-shot Point Cloud Completion via 3D Generative Priors
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
GenPC提出利用3D生成先验的零样本点云补全框架,通过深度提示模块连接部分点云与生成模型,并用几何保持融合保留原始结构,实现真实世界扫描的高质量补全。
2025-02-27 cs.CV
GPN: Generative Point-based NeRF
College of Mechanical Engineering, Zhejiang Sci-Tech University(浙江理工大学机械工程学院)
针对扫描点云不完整且现有补全方法难保证与图像颜色几何一致的问题,提出GPN方法结合扫描图像与点云修复重建,通过自动解码器优化单场景全局隐式条件,在ShapeNet上取得与前沿点云神经渲染编辑方法相当的性能。
2024-04-12 cs.CV cs.GR
Learning to Generate Realistic LiDAR Point Clouds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了LiDARGen,一种新颖的,有效的,可控的生成模型,产生逼真的激光雷达点云传感器读数。我们的方法利用了强大的分数匹配基于能量的模型,并制定了点云生成过程作为一个随机去噪过程中的等距矩形视图。该模型使我们能够在保证物理可行性和可控性的情况下对多样化和高质量的点云样本进行采样。我们在具有挑战性的KITTI-360和NuScenes数据集上验证了我们方法的有效性。定量和定性的结果表明,我们的方法产生更真实的样本比其他生成模型。此外,LiDARGen可以根据输入对点云进行采样,而无需重新训练。我们证明了我们提出的生成模型可以直接用于加密LiDAR点云。我们的代码可在:https://www.zyrianov.org/lidargen/
2022-09-24 cs.CV
HyperPocket: Generative Point Cloud Completion
Jagiellonian University(雅盖隆大学);Warsaw University of Technology(华沙理工大学)
使用现代配准设备扫描现实场景通常会给出不完整的点云表示,主要是由于扫描过程和3D遮挡的限制。因此,完成这样的部分表示仍然是许多计算机视觉应用的基本挑战。大多数现有的方法旨在通过学习在整洁的环境中重建单个3D对象来解决这个问题,这与现实生活中的场景相去甚远。在这项工作中,我们将点云完成问题重新表述为对象幻觉任务。因此,我们引入了一种新的基于自动编码器的架构,称为HyperPocket,它可以解开潜在的表示,因此,可以生成完成的3D点云的多个变体。我们将点云处理分成两个不相交的数据流,并利用超网络范式来填充缺失对象部分留下的空间(称为口袋)。因此,生成的点云不仅是光滑的,而且是合理的,几何形状与场景一致。我们的方法提供了竞争力的表现,其他国家的最先进的模型,它使大量的新的应用。
2021-02-11 cs.CV
Guided and Unguided Conditional Diffusion Mechanisms for Structured and Semantically-Aware 3D Point Cloud Generation
Department of Computer Science;Engineering, University of Nevada, Reno, USA
本文提出一种将逐点语义条件直接嵌入扩散过程的框架,实现三维点云几何与语义的联合生成,并通过对比有引导与无引导扩散机制验证了条件变量对生成质量的显著提升。
2025-09-21 cs.AI cs.CV cs.LG
Conditional Invertible Flow for Point Cloud Generation
Tooploox;University of Wrocław(弗罗茨瓦夫大学);Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);NavAlgo
本文重点介绍了一种新的三维点云生成方法,利用可逆的流动为基础的模型。该方法的主要思想是将点云视为使用云特定的神经网络建模的3D空间中的概率密度。为了捕捉点云之间的相似性,我们依赖于网络之间的参数共享,每个云只有一个小的嵌入向量来定义它。我们使用可逆流网络来生成单个点云,并正则化嵌入向量。我们以定性和定量的方式评估模型的生成能力。
2019-10-16 cs.CV cs.LG stat.ML
Not-So-Optimal Transport Flows for 3D Point Cloud Generation
The Chinese University of Hong Kong(香港中文大学);NVIDIA(英伟达公司)
针对等变OT流在大型点云上扩展性差且轨迹初期难学习的问题,提出离线预计算近似OT并结合独立耦合构建混合耦合的流模型,在ShapeNet多项任务上优于扩散与流方法。
2025-02-18 cs.AI cs.CV
PointGPT: Auto-regressively Generative Pre-training from Point Clouds
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
提出PointGPT方法,将GPT概念扩展至点云,通过点云自回归生成任务预训练Transformer,采用点块划分与双重掩码策略,在分类和少样本学习等下游任务上取得最先进性能。
2023-05-23 cs.CV
Flow AM: Generating Point Cloud Global Explanations by Latent Alignment
AI Group TU Dortmund(多特蒙德工业大学AI组)
针对点云模型全局解释保真度不足的问题,提出基于激活流的AM方法,无需生成模型即可生成可感知的全局解释,显著提升了解释的可感知性与保真度。
2024-04-29 cs.CV
Learning Efficient Point Cloud Generation for Dense 3D Object Reconstruction
Carnegie Mellon University(卡内基梅隆大学)
传统的3D对象生成建模方法使用具有3D卷积操作的深度网络来学习体积预测,这与经典的2D卷积操作直接类似。然而,这些方法在试图预测3D形状时在计算上是浪费的,其中信息仅在表面上丰富。在本文中,我们提出了一种新的三维生成建模框架,以有效地生成密集的点云形式的对象形状。我们使用2D卷积运算从多个视角预测3D结构,并将几何推理与2D投影优化联合应用。我们引入了伪渲染器,一个可微的模块来近似真实的渲染操作,以合成新的深度图进行优化。单图像三维物体重建任务的实验结果表明,我们优于国家的最先进的方法在形状相似性和预测密度。
2017-06-21 cs.CV cs.LG
Spectral-GANs for High-Resolution 3D Point-cloud Generation
点云由于其精确的形状描述和直接从距离扫描仪获取而成为视觉和图形任务的热门选择。这就需要能够合成和重建高质量的点云。用于3D数据的当前深度生成模型通常在简化表示(例如,体素化对象),并且不能处理点云中固有的冗余和不规则性。最近在3D点云生成方面的一些努力提供了有限的分辨率,并且其复杂性随着输出分辨率的增加而增加。在本文中,我们开发了一个原则性的方法来合成三维点云使用频谱域生成对抗网络(GAN)。我们的频谱表示是高度结构化的,并允许我们解开各种频带,从而简化了GAN模型的学习任务。与空间域生成方法相比,我们的公式允许我们以最小的计算开销生成任意数量的点的高分辨率点云。此外,我们提出了一个完全可微的块来从谱域变换到空间域并返回,从而使我们能够整合来自成熟空间模型的知识。我们证明了Spectral-GAN在点云生成任务中表现良好。此外,它可以以无监督的方式学习高度区分的表示,并可用于准确地重建3D对象。
2020-07-19 cs.CV
ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion
University of Waterloo(滑铁卢大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
ZVeC提出零样本实例驱动框架,通过分解场景并利用深度和3D高斯条件扩散模型独立补全车辆,再重组场景,在稀疏输入下实现几何一致的点云补全,优于场景级基线。
2026-09-22 cs.CV
Attention-based Point Cloud Edge Sampling
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫光电、系统技术与图像利用研究所);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
点云采样是这种数据表示的一个较少探索的研究主题。最常用的抽样方法仍然是经典的随机抽样和最远点抽样。随着神经网络的发展,已经提出了各种方法来以基于任务的学习方式对点云进行采样。然而,这些方法大多是基于生成的,而不是直接使用数理统计来选择点。受Canny图像边缘检测算法的启发,结合注意力机制,提出了一种非生成式的基于注意力的点云边缘采样方法(APES),该方法捕捉点云轮廓中的显著点。定性和定量的实验结果表明,我们的抽样方法在常见的基准任务的优越性能。
2023-03-26 cs.CV
PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers
Tsinghua University(清华大学)
在实际应用中,由于传感器分辨率有限、视点单一和遮挡等原因,获取的点云往往是不完整的。因此,从部分点云恢复完整的点云成为许多实际应用中不可缺少的任务。在本文中,我们提出了一种新的方法,重新制定的点云完成作为一个集到集的翻译问题,并设计了一个新的模型,称为PointTr,采用Transformer编码器-解码器架构的点云完成。通过将点云表示为一组具有位置嵌入的无序点群,我们将点云转换为一系列点代理,并采用Transformers生成点云。为了便于Transformers,以更好地利用感应偏置点云的三维几何结构,我们进一步设计了一个几何感知块,模型的局部几何关系明确。Transformers的迁移使我们的模型能够更好地学习结构知识,并保留点云完成的详细信息。此外,我们提出了两个更具挑战性的基准,更多样化的不完整的点云,可以更好地反映现实世界的情况,以促进未来的研究。实验结果表明,我们的方法优于国家的最先进的方法,在新的基准和现有的大幅度。代码可在https://github.com/yuxumin/PoinTr上获得
2021-08-19 cs.AI cs.CV cs.LG
DeepCAD: A Deep Generative Network for Computer-Aided Design Models
Columbia University(哥伦比亚大学)
3D形状的深度生成模型已经引起了大量的研究兴趣。然而,几乎所有的方法都生成离散的形状表示,如体素、点云和多边形网格。我们提出了第一个3D生成模型的一个完全不同的形状表示-描述一个形状作为一个序列的计算机辅助设计(CAD)操作。与网格和点云不同,CAD模型对3D形状的用户创建过程进行编码,广泛用于许多工业和工程设计任务。然而,CAD操作的顺序和不规则结构对现有的3D生成模型提出了重大挑战。通过类比CAD操作和自然语言,我们提出了一个基于Transformer的CAD生成网络。我们证明了我们的模型的形状自动编码和随机形状生成的性能。为了训练我们的网络,我们创建了一个由178,238个模型及其CAD构造序列组成的新CAD数据集。我们已经公开了这个数据集,以促进未来对这个主题的研究。
2021-08-16 cs.CV cs.GR cs.LG
SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data
KAIST(韩国科学技术院)
集结构数据(如点云)的生成式建模需要在各种尺度上对局部和全局结构进行推理。然而,采用多尺度框架的普通顺序数据集结构化的数据是不平凡的,因为它应该是不变的,其元素的排列。在本文中,我们提出了SetVAE,一个分层的变分自编码器的集合。出于最近在集合编码的进展,我们建立SetVAE后,注意模块,第一次分区的集合和项目的分区回到原来的基数。利用这个模块,我们的分层VAE在多个尺度上学习潜在变量,捕获集合元素的粗到细依赖性,同时实现排列不变性。我们评估我们的模型上的点云生成任务,并实现具有竞争力的性能与现有技术的模型容量大大减小。我们定性地证明了我们的模型推广到看不见的集合大小,并在没有监督的情况下学习有趣的子集关系。我们的实现可以在https://github.com/jw9730/setvae上获得。
2021-03-29 cs.CV cs.LG
Channel-adaptive Cross-modal Generative Semantic Communication for Point Cloud Transmission
IEEE
提出GenSeC-PC框架,通过跨模态语义编码融合图像与点云,结合信道自适应联合编解码和扩散模型加速,实现低信噪比下的鲁棒点云传输。
2026-06-25 cs.CV cs.NI eess.SP
Guiding Diffusion-Based Articulated Object Generation by Partial Point Cloud Alignment and Physical Plausibility Constraints
University of Augsburg(奥格斯堡大学)
该研究提出基于扩散模型的PhysNAP方法,通过部分点云对齐、物理合理性约束及类别感知机制生成铰接物体,在PartNet-Mobility数据集上验证了其可提升约束一致性并平衡生成能力。
2025-08-01 cs.CV cs.LG
RadarGen: Automotive Radar Point Cloud Generation from Cameras
Technion(技术学院);MIT(麻省理工学院);NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
RadarGen通过扩散模型从摄像头图像生成逼真的雷达点云,结合BEV对齐的深度、语义和运动线索,提升雷达生成的物理合理性与多模态模拟能力。
2026-08-14 cs.AI cs.CV cs.LG
GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds
Zhejiang University(浙江大学);Shanghai AI Lab(上海人工智能实验室);Beihang University(北京航空航天大学);COMAC Beijing Aircraft Technology Research Institute(中国商飞北京民用飞机技术研究中心)
尽管掩码自编码器(MAE)在开发图像和视频等视觉任务方面取得了巨大进展,但由于固有的不规则性,在大规模3D点云中探索MAE仍然具有挑战性。与以前的3D MAE框架相比,该框架要么设计一个复杂的解码器来从维护的区域推断掩蔽信息,要么采用复杂的掩蔽策略,我们反而提出了一个更简单的范例。其核心思想是应用\textbf{G}生成式\textbf{D}编码器(GD-MAE)自动融合周围的上下文,以分层融合的方式恢复被屏蔽的几何知识。在这样做时,我们的方法是免费的,从引入启发式设计的解码器,并享有探索各种掩蔽策略的灵活性。与传统方法相比,相应部分的成本小于\textbf{12\%}延迟,同时获得更好的性能。我们在几个大型基准测试中证明了所提出的方法的有效性:Waymo,KITTI和ONCE。下游检测任务的持续改进说明了强大的鲁棒性和泛化能力。我们的方法不仅揭示了最先进的结果,而且值得注意的是,即使使用Waymo数据集上标记数据的\textbf{20\%},我们也实现了相当的准确性。代码将在https://github.com/Nightmare-n/GD-MAE上发布。
2023-03-17 cs.CV
3DLatNav: Navigating Generative Latent Spaces for Semantic-Aware 3D Object Manipulation
University of Moratuwa(莫拉图瓦大学);The University of Sydney(悉尼大学)
3D生成模型最近已经成功地以点云的形式生成逼真的3D对象。然而,大多数模型不提供可控性来操纵没有广泛的语义属性标签或其他参考点云的组件对象部分的形状语义。此外,除了执行简单的潜在向量算术或插值的能力之外,还缺乏对3D形状的部件级语义如何在其相应的生成潜在空间中编码的理解。在本文中,我们提出了3DLatNav;一种导航预训练生成潜在空间的新方法,以实现3D对象的受控部分级语义操作。首先,我们提出了一个部分级弱监督形状语义识别机制,使用潜在的表示三维形状。然后,我们将这些知识转移到预先训练的3D对象生成潜在空间中,以解开纠缠嵌入,以线性子空间的形式表示对象组成部分的不同形状语义,尽管在训练期间无法使用部分级别标签。最后,我们利用这些确定的子空间来表明,可以通过将所提出的框架应用于任何预训练的3D生成模型来实现可控的3D对象部分操作。通过两个新的定量指标来评估部件级操作的一致性和定位精度,我们表明3DLatNav在识别编码3D对象的部件级形状语义的潜在方向方面优于现有的无监督潜在解缠方法。通过对最先进的生成模型进行多次消融研究和测试,我们表明3DLatNav可以在输入点云上实现受控的部分级语义操作,同时保留其他特征和对象的真实性。
2022-11-17 cs.CV
ChartPointFlow for Topology-Aware 3D Point Cloud Generation
Kobe University(神户大学);Osaka University(大阪大学);Osaka Gakuin University(大阪学院大学)
点云用作三维(3D)形状的表面的表示。深度生成模型已经被修改为通常使用来自一组球状潜在变量的映射来对其变化进行建模。然而,以前的方法并没有太多的关注点云的拓扑结构,尽管一个连续的地图不能表达不同数量的孔和交叉点。而且,一个点云往往由多个子部分组成,也很难表达。在这项研究中,我们提出了ChartPointFlow,一个基于流的生成模型,具有多个潜在的3D点云标签。每个标签都以无监督的方式分配给点。然后,将以标签为条件的地图分配给点云的连续子集,类似于流形的图表。这使得我们提出的模型,以保持清晰的边界的拓扑结构,而以前的方法往往会产生模糊的点云,并未能产生洞。实验结果表明,与其他点云生成器相比,ChartPointFlow在生成和重建方面达到了最先进的性能。此外,ChartPointFlow使用图表将对象划分为语义子部分,并且在无监督分割的情况下表现出卓越的性能。
2021-08-07 cs.CV cs.GR cs.LG
Generative AI Empowered LiDAR Point Cloud Generation with Multimodal Transformer
University of Ottawa(渥太华大学);Ericsson Inc.(爱立信公司)
本文提出一种基于多模态Transformer架构和预训练编码模型的方法,从图像和RADAR数据合成LiDAR点云,在DeepSense 6G数据集上实现10.3931修正均方误差,有效增强基站环境感知与无线应用性能。
2024-05-20 cs.CV eess.SP
Toward Mesh-Invariant 3D Generative Deep Learning with Geometric Measures
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CRIStAL(里尔计算机、信号与自动控制实验室);Laboratoire Paul Painlevé(保罗·潘勒韦实验室);Institut Mines-Télécom(法国国立高等矿业电信学校联盟);IMT Nord Europe(法国北部国立高等矿业电信学校);Universität Wien(维也纳大学)
提出一种基于几何测量的网格不变性3D生成架构,利用currents和varifolds构建损失函数,解决未配准网格或点云的形状比较问题,并在人脸生成任务中验证了其鲁棒性。
2023-06-27 cs.CV
Discrete Point Flow Networks for Efficient Point Cloud Generation
Univ. Grenoble Alpes(格勒诺布尔-阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Facebook AI Research(Facebook人工智能研究院)
生成模型已被证明在建模3D形状及其统计变化方面是有效的。在本文中,我们调查他们的应用点云,三维形状表示广泛用于计算机视觉,但是,只有少数生成模型尚未提出。我们引入了一个潜在的变量模型,建立在规范化流与仿射耦合层生成一个潜在的形状表示的任意大小的3D点云。为了评估其形状建模的好处,我们将此模型用于生成,自动编码和单视图形状重建任务。我们在评估生成和自动编码的大多数指标方面改进了最近的基于GAN的模型。与最近基于连续流的工作相比,我们的模型在训练和推理时间上都有显着的加速,以获得类似或更好的性能。对于单视图形状重建,我们还获得了与最先进的体素,点云和基于网格的方法相当的结果。
2020-07-20 cs.CV
Semantics-aware Multi-modal Domain Translation:From LiDAR Point Clouds to Panoramic Color Images
Halmstad University(哈尔姆斯塔德大学);Middle East Technical Univetsity(中东技术大学)
在这项工作中,我们提出了一个简单而有效的框架,以解决不同的传感器模态与独特的数据格式之间的域转换问题。通过仅依赖于场景的语义,我们的模块化生成框架可以首次从给定的全3D LiDAR点云合成全景彩色图像。该框架从点云的语义分割开始,点云最初被投影到球面上。将相同的语义分割应用于对应的相机图像。接下来,我们的新条件生成模型逆向学习将预测的LiDAR片段映射转换为相机图像对应物。最后,处理生成的图像片段以渲染全景场景图像。我们对SemanticKitti数据集进行了全面的定量评估,并表明我们提出的框架优于其他强大的基线模型。我们的源代码可以在https://github.com/halmstad-University/TITAN-NET上找到
2021-06-26 cs.CV
DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Freiburg(弗莱堡大学)
针对3D视觉任务数据标注成本高的问题,提出DatasetNeRF方法,利用3D生成模型的语义先验训练解码器,仅需少量标注即可生成无限3D一致的多任务数据,性能优于基线且通用性强。
2024-08-19 cs.CV
Patch-Wise Point Cloud Generation: A Divide-and-Conquer Approach
The University of Sydney(悉尼大学);Inria(法国国家信息与自动化研究所)
针对3D点云生成需兼顾局部与全局几何结构的难题,提出基于分治策略的逐块生成框架,结合可学习先验与点/块级transformer,在ShapeNet数据集上性能优于现有高保真点云生成SOTA方法。
2023-07-22 cs.CV
Energy-Based Residual Latent Transport for Unsupervised Point Cloud Completion
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
无监督点云补全的目的是推断部分对象观测的整个几何形状,而不需要部分-完全对应。与现有的确定性方法不同,我们提倡基于生成式建模的无监督点云完成,以探索缺失的对应关系。具体而言,我们提出了一种新的框架,通过使用潜在的传输模块将部分形状编码转换为完整的编码来完成,并且它被设计为编码器-解码器架构中的基于潜在空间能量的模型(EBM),旨在学习以部分形状编码为条件的概率分布。为了联合训练潜在代码传输模块和编码器-解码器网络,我们引入了残差采样策略,其中残差捕获部分和完整形状潜在空间之间的域间隙。作为一个基于生成模型的框架,我们的方法可以产生与人类感知一致的不确定性地图,从而实现可解释的无监督点云完成。我们的实验表明,所提出的方法产生高保真的完成结果,优于国家的最先进的模型的显着保证金。
2022-11-13 cs.CV
BuildAnyPoint: 3D Building Structured Abstraction from Diverse Point Clouds
HKUST(GZ)(香港科技大学(广州));Xi’an Jiaotong University(西安交通大学)
BuildAnyPoint通过Loca-DiT框架从多样点云中生成结构化三维建筑抽象,提升重建的表面准确性和分布均匀性。
2026-02-27 cs.CV
GLiDR: Topologically Regularized Graph Generative Network for Sparse LiDAR Point Clouds
IIT Delhi(印度理工学院德里分校);IIT Indore(印度理工学院印多尔分校);BITS Pilani(pilani bits 学院)
针对稀疏LiDAR点云导致静态结构细节丢失的问题,提出GLiDR图生成网络,利用0维持续同调约束保持全局拓扑,沿骨干增补新静态点,在三个数据集上优于基线,并生成静态/动态分割掩码以辅助导航。
2024-05-24 cs.CV cs.RO
Quartet of Diffusions: Structure-Aware Point Cloud Generation through Part and Symmetry Guidance
四重扩散通过部件和对称性指导,实现了结构感知的点云生成,首次在生成过程中整合并强制执行对称性和部件先验。
2026-01-28 cs.CV
Are All Point Clouds Suitable for Completion? Weakly Supervised Quality Evaluation Network for Point Cloud Completion
Dji Co(大疆创新科技有限公司);Hong Kong University of Science and Technology(香港科技大学)
在实际应用中的点云完成任务,真实数据的质量通常比用于训练的CAD数据集差得多。少量的噪声数据通常会显著影响整个系统的精度。在本文中,我们提出了一个质量评估网络来评分的点云,并帮助判断点云的质量之前,应用完成模型。我们相信我们的评分方法可以帮助研究人员选择更合适的点云,为后续的完成和重建,避免手动参数调整。此外,我们的评估模型是快速和直接的,可以直接插入到任何模型的训练或使用过程中,以促进点云的自动选择和后处理。提出了一种基于ShapeNet的完整数据集构建和模型评估方法。我们使用KITTI上的检测和流量估计任务来验证我们的网络,KITTI是一个真实的自动驾驶数据集。实验结果表明,该模型能有效区分点云的质量,对实际工作有一定的帮助。
2023-03-03 cs.AI cs.CV
Planning with Learned Dynamic Model for Unsupervised Point Cloud Registration
Nanjing University of Science and Technology(南京理工大学)
点云配准是三维计算机视觉中的一个基本问题。本文将点云配准问题转化为强化学习中的规划问题,通过试错法寻求源点云和目标点云之间的转换。通过将点云配准过程建模为马尔可夫决策过程(MDP),我们开发了一个潜在的点云动态模型,由转换网络和评估网络组成。变换网络旨在预测在执行刚性变换之后点云的新的变换特征(即,动作),而评估网络旨在预测变换后的源点云和目标点云之间的对准精度作为奖励信号。一旦点云的动态模型被训练,我们采用交叉熵方法(CEM)迭代更新规划策略,通过最大化点云配准过程中的回报。因此,最优策略,即,源点云和目标点云之间的变换可以通过逐渐缩小变换的搜索空间来获得。在ModelNet40和7Scene基准数据集上的实验结果表明,该方法可以在无监督的情况下获得良好的配准性能。
2021-08-19 cs.AI cs.CV
Generating Unrestricted 3D Adversarial Point Clouds
The Hong Kong Polytechnic University(香港理工大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
利用3D点云数据已成为面部识别和自动驾驶等许多领域部署人工智能的迫切需求。然而,3D点云的深度学习仍然容易受到对抗攻击的攻击,例如,迭代攻击、点变换攻击和生成攻击。这些攻击需要将对抗性示例的扰动限制在严格的范围内,从而导致不切实际的对抗性3D点云。在本文中,我们提出了一个对抗图卷积生成对抗网络(AdvGCGAN)从头开始生成视觉上逼真的对抗3D点云。具体来说,我们使用一个图卷积生成器和一个带有辅助分类器的卷积器来生成逼真的点云,它从真实的3D数据中学习潜在的分布。在GAN的特殊对抗训练中加入了无限制的对抗攻击损失,使生成器能够生成对抗样本来欺骗目标网络。实验结果表明,与现有的攻击方法相比,本文提出的无限制对抗攻击方法具有更高的攻击成功率和更好的视觉效果。此外,所提出的AdvGCGAN可以实现更好的性能对防御模型和更好的可移植性比现有的攻击方法具有较强的伪装。
2021-11-19 cs.CV eess.IV
Shape Generation using Spatially Partitioned Point Clouds
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一种方法来生成三维形状使用点云。给定一个3D形状的点云表示,我们的方法建立一个kd树空间分区的点。这使得它们在所有形状上都保持一致,从而在所有形状上都有相当好的对应关系。然后,我们使用PCA分析,以获得一个线性形状的基础上,在空间上划分的点,并通过迭代最小化PCA重建误差优化点排序。即使在空间排序的情况下,点云本身也是有噪声的,并且所得到的形状系数上的分布可能是高度多模态的。我们建议使用神经网络的表达能力,学习分布的形状系数在一个生成的对抗框架。与在体素表示上训练的3D形状生成模型相比,我们的基于点的方法更轻,可扩展性更强,质量损失很小。它还在定性和定量方面优于更简单的线性因子模型,如概率PCA,在ShapeNet数据集的许多类别上。此外,我们的方法可以很容易地将其他点属性,如正常和颜色信息,一个额外的优势,基于体素的表示。
2017-07-19 cs.CV cs.GR
PointGuard: Provably Robust 3D Point Cloud Classification
Duke University(杜克大学)
3D点云分类具有许多安全关键型应用,例如自动驾驶和机器人抓取。然而,几项研究表明,它容易受到对抗攻击。特别是,攻击者可以通过仔细修改、添加和/或删除少量点来使分类器预测3D点云的不正确标签。随机平滑是构建可证明鲁棒的2D图像分类器的最先进技术。然而,当应用于3D点云分类时,随机平滑只能证明对逆向修改点的鲁棒性。在这项工作中,我们提出了PointGuard,第一个防御,具有可证明的鲁棒性保证对抗修改,添加和/或删除点。具体来说,给定一个3D点云和一个任意的点云分类器,我们的PointGuard首先创建多个二次采样点云,每个点云包含原始点云中点的随机子集;然后我们的PointGuard预测原始点云的标签,作为点云分类器预测的二次采样点云标签中的多数票。我们的第一个主要的理论贡献是,我们证明PointGuard预测相同的标签为3D点云时,adversarially修改,添加和/或删除的点的数量是有界的。我们的第二个主要的理论贡献是,我们证明了我们的导出边界的紧密性时,没有假设的点云分类器。此外,我们设计了一个有效的算法来计算我们的认证的鲁棒性保证。我们还在ModelNet 40和ScanNet基准数据集上对PointGuard进行了经验评估。
2021-07-02 cs.CR cs.CV cs.LG
PointCert: Point Cloud Classification with Deterministic Certified Robustness Guarantees
Duke University(杜克大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
点云分类是自动驾驶和增强现实等许多安全关键型应用的重要组成部分。然而,点云分类器容易受到不利扰动的点云。针对对抗性点云的现有认证防御受到一个关键限制:它们的认证鲁棒性保证是概率性的,即,它们以某种概率产生不正确的经认证的鲁棒性保证。在这项工作中,我们提出了一个通用的框架,即PointCert,它可以将任意点云分类器转换为具有确定性保证的对抗性点云的可证明鲁棒性。当任意添加、删除和/或修改的点的数量小于阈值时,PointCert可证明为点云预测相同的标签。此外,我们提出了多种方法来优化PointCert在三个应用场景中的认证鲁棒性保证。我们在ModelNet和ScanObjectNN基准数据集上系统地评估了PointCert。我们的研究结果表明,PointCert大大优于国家的最先进的认证防御,即使他们的鲁棒性保证是概率。
2023-03-03 cs.AI cs.CR cs.CV
Point Cloud Colorization Based on Densely Annotated 3D Shape Dataset
Nagoya University(名古屋大学)
本文介绍了DensePoint,一个密集采样和注释的点云数据集,包含16个类别的10,000多个单个对象,通过合并来自两个现有数据集的不同类型的信息。DensePoint中的每个点云包含40,000个点,每个点与两种信息相关联:RGB值和零件注释。此外,我们提出了一种利用生成对抗网络(GANs)的点云着色方法。该网络可以通过只给出点云本身来为单个对象的点云生成颜色。在DensePoint上的实验表明,在物体的不同部分之间的点云中存在清晰的边界,这表明所提出的网络能够生成相当好的颜色。我们的数据集在项目页面上公开提供。
2018-10-12 cs.CV
RangeLDM: Fast Realistic LiDAR Point Cloud Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
针对 LiDAR 数据昂贵且现有生成模型慢、不真实的问题,本文提出 RangeLDM,结合 Hough voting 投影校正、VAE 潜空间扩散与距离引导判别器,实现快速高保真点云生成。
2024-09-10 cs.CV eess.IV