Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild
Peking University（北京大学）；Beijing Institute for General AI（北京通用人工智能研究院）；Virginia Tech（弗吉尼亚理工大学）；Stanford University（斯坦福大学）；Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）
在这项工作中，我们解决了具有挑战性的任务，联合跟踪手对象的姿势和重建他们的形状从深度点云序列在野外，给定的初始姿势在帧0。我们首次提出了一个基于点云的手关节跟踪网络，HandTrackNet，估计帧间的手关节运动。我们的HandTrackNet提出了一种新的手部姿势规范化模块，以减轻跟踪任务，产生准确和强大的手关节跟踪。然后，我们的管道通过将预测的手部关节转换为基于模板的参数化手部模型MANO来重建整只手。对于对象跟踪，我们设计了一个简单而有效的模块，估计对象SDF从第一帧，并进行基于优化的跟踪。最后，采用联合优化步骤进行手和物体的联合推理，消除了遮挡引起的模糊性，并进一步细化了手的姿态。在训练期间，整个流水线只看到纯粹的合成数据，这些数据是用足够的变化和深度模拟合成的，以便于泛化。整个管道与泛化差距有关，因此可以直接转换为真实的野外数据。我们在两个真实的手部对象交互数据集上评估了我们的方法，例如HO3D和DexYCB，没有任何微调。我们的实验表明，所提出的方法显着优于以前的国家的最先进的基于深度的手和对象的姿态估计和跟踪方法，运行在帧速率为9 FPS。
2022-09-24 cs.CV
FloorPP-Net: Reconstructing Floor Plans using Point Pillars for Scan-to-BIM
The University of Hong Kong（香港大学）
针对Scan-to-BIM（building information model，建筑信息模型）任务，提出了一种基于深度学习的点云处理方法FloorPP-Net。FloorPP-Net首先将建筑物楼层的输入点云转换为点柱（PP），然后预测角和边以输出楼层平面图。总之，FloorPP-Net为Scan-to-Floor-Plan（Scan2FP）任务建立了一个端到端的监督学习框架。在与CVPR 2021联合举办的第一届国际扫描到BIM挑战赛中，FloorPP-Net在平面图重建赛道中获得亚军。未来的工作包括一般边缘建议，2D计划规则化和3D BIM重建。
2021-06-20 cs.CV
NeuralTailor: Reconstructing Sewing Pattern Structures from 3D Point Clouds of Garments
KAIST（韩国科学技术院）
SocialVR、性能捕捉和虚拟试穿等领域通常需要在虚拟世界中忠实地再现真实服装。一个关键的任务是从由于织物特性、物理力和与身体接触而引起的变形中解开固有的服装形状。我们建议使用一个服装缝纫模式，一个现实的和紧凑的服装描述符，以促进内在的服装形状估计。另一个主要挑战是该领域的形状和设计的高度多样性。在3D服装上进行深度学习的最常见方法是为单个服装或服装类型构建专门的模型。我们认为，建立一个统一的模型，为各种服装设计的好处，推广到新的服装类型，因此覆盖了更大的设计域比个别模型。我们介绍了NeuralTailor，一种新的体系结构的基础上点级的注意力与可变基数集回归，并将其应用到重建2D服装缝纫模式的任务，从3D点可以服装模型。我们的实验表明，NeuralTailor成功地重建了缝纫模式，并推广到训练过程中看不到的模式拓扑的服装类型。
2022-06-28 cs.AI cs.CV cs.GR
Reconstructing Building Height from Spaceborne TomoSAR Point Clouds Using a Dual-Topology Network
The Chair of Data Science in Earth Observation, Technical University of Munich (TUM)（地球观测数据科学教授职位，慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；School of Engineering and Design, Technical University of Munich (TUM)（工程与设计学院，慕尼黑技术大学）
本文提出了一种双拓扑网络，用于从空间borne TomoSAR点云中重建建筑高度，通过点和网格分支联合处理，实现去噪和缺失区域填充，提升城市高度映射的精度。
2026-01-02 cs.CV
PX2Tooth: Reconstructing the 3D Point Cloud Teeth from a Single Panoramic X-ray
Zhejiang University（浙江大学）；Hangzhou ChohoTech（杭州创恒科技）；Angelalign Technology Inc.（时代天使科技有限公司）
提出PX2Tooth两阶段框架，从单张全景X射线重建三维牙齿，含分割网络和生成网络，在499对数据集上达到IoU 0.793，优于现有方法。
2024-11-06 cs.CV
IterativePFN: True Iterative Point Cloud Filtering
Deakin University（迪肯大学）；China University of Mining and Technology（中国矿业大学）；Defense Science and Technology Group（澳大利亚国防科学技术集团）；Nanyang Technological University（南洋理工大学）
针对现有基于学习的点云滤波方法迭代仅在测试时进行、收敛慢的问题，提出内置多迭代模块、采用自适应真实标签损失训练的IterativePFN，实现真正的迭代滤波，性能优于现有最优方法。
2023-04-04 cs.CV
Iterative Transformer Network for 3D Point Cloud
The Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
三维点云是一种高效、灵活的三维结构表示方法。最近，在点云上运行的神经网络在形状分类和零件分割等3D理解任务上表现出优异的性能。然而，这些任务的性能是在标准框架中对齐的完整形状上进行评估的，而真实世界的3D数据是部分和未对齐的。从部分未对齐的点云数据中学习的一个关键挑战是学习相对于几何变换不变或等变的特征。为了解决这一挑战，我们提出了迭代Transformer网络（IT-Net），一个网络模块，规范化的一系列3D刚性变换预测的迭代方式的部分对象的姿势。我们证明了IT-Net作为部分点云的随时姿态估计器的有效性，而无需使用完整的对象模型。此外，我们表明，IT-Net在各种任务上，如部分形状分类和对象部分分割，都比替代的3D Transformer网络具有更好的性能。
2019-10-18 cs.CV cs.LG
DRINet: A Dual-Representation Iterative Learning Network for Point Cloud Segmentation
Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新颖而灵活的点云分割与双表示迭代学习的架构。在点云数据处理中，不同的表示方法各有利弊，如何在保持点云数据结构自身物理性质（如置换、尺度不变性）的前提下，找到合适的表示方法是一个基本问题。因此，我们提出了我们的工作，DRINet，它作为基本的网络结构的双重表示学习具有很大的灵活性，在特征转移和计算成本较低，特别是对于大规模的点云。DRINet主要由两个模块组成，称为稀疏点-体素特征提取和稀疏体素-点特征提取。通过迭代地利用这两个模块，特征可以在两个不同的表示之间传播。我们进一步提出了一种新的多尺度池层逐点局部学习，以改善上下文信息传播。我们的网络在多个数据集上实现了点云分类和分割任务的最新结果，同时保持了高运行时效率。对于大规模的户外场景，我们的方法优于最先进的方法，实时推理速度为每帧62毫秒。
2021-08-09 cs.CV cs.RO
SPU-IMR: Self-supervised Arbitrary-scale Point Cloud Upsampling via Iterative Mask-recovery Network
Northwestern Polytechnical University（西北工业大学）；Shenzhen University（深圳大学）
提出一种将点云上采样视为全局形状补全的自监督方法，通过分块、掩码和迭代恢复网络实现任意尺度上采样，实验证明优于现有自监督和监督方法。
2025-02-26 cs.CV eess.IV
Iterative Differential Entropy Minimization (IDEM) method for fine rigid pairwise 3D Point Cloud Registration: A Focus on the Metric
Department of Engineering, University of Messina（工程学院，墨西拿大学）
IDEM方法通过微分熵度量提升点云配准的鲁棒性，有效应对密度差异、噪声和部分重叠等挑战。
2026-01-14 cs.CV
Volumetric Cloud Field Reconstruction
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
本文提出一种融合深度立体模型、3D CNN与平流模块的深度学习框架，从少量立体图像对重建云等体积的密度与速度场，并利用时间演化提升运动推断与时间一致性。
2023-11-29 cs.CV
Refining the bounding volumes for lossless compression of voxelized point clouds geometry
Tampere University（坦佩雷大学）；Nokia Technologies（诺基亚科技）
本文介绍了一种新的点云几何无损压缩方法，建立在最近的有损压缩方法，旨在重建只有包围体的点云。所提出的方案通过从与单个投影方向相关联的两个深度图部分地重建几何形状开始。通过沿一个方向逐段扫描并编码不包含在两个深度图中的点，完成从深度图获得的部分重建到点云的完全重建。主要成分是一个基于列表的编码的内部点（位于可行区域内）的一种新的算术三维上下文编码过程，有效地利用旋转不变性存在于输入数据。在基准数据集上获得了最先进的每体素位数结果。
2021-06-01 cs.CV cs.MM
CATRE: Iterative Point Clouds Alignment for Category-level Object Pose Refinement
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）；University of Washington（华盛顿大学）
虽然最近出现了类别级9自由度对象姿态估计，但由于对象形状和颜色等的巨大类别内差异，以前的基于对应关系或直接回归方法在准确性方面都受到限制。与它们正交，这项工作提出了一种类别级对象姿态和大小细化器CATRE，它能够迭代地增强点云的姿态估计，以产生准确的结果。给定初始姿态估计，CATRE通过对齐部分观测点云和抽象形状先验来预测初始姿态和地面实况之间的相对变换。具体而言，我们提出了一种新的解纠缠体系结构意识到旋转和平移/大小估计之间的固有区别。大量的实验表明，我们的方法显着优于国家的最先进的方法在REAL275，CAMERA25和LM基准高达~85.32Hz的速度，并取得了竞争力的结果类别级跟踪。我们进一步证明了CATRE可以对看不见的类别进行姿势细化。代码和训练模型可用。
2022-07-17 cs.CV
Hidden Markov Random Field Iterative Closest Point
University of Colorado, Boulder（科罗拉多大学博尔德分校）
当配准从底层2-D像素结构解析的点云（诸如从结构光和闪光LiDAR传感器或立体重建产生的点云）时，预期一个云中的一些点在另一云中不具有对应点，并且这些点将一起出现，诸如沿着深度图的边缘。在这项工作中，隐马尔可夫随机场模型被用来捕捉这一先验的迭代最近点算法的框架内。EM算法被用来估计分布参数和隐藏组件的成员。实验表明，该方法优于其他几种离群点拒绝方法时，点云有低或中度重叠。
2017-11-07 cs.CV cs.RO
Iterative Distance-Aware Similarity Matrix Convolution with Mutual-Supervised Point Elimination for Efficient Point Cloud Registration
Washington University in St. Louis（圣路易斯华盛顿大学）；Megvii Inc.（旷视科技）
在本文中，我们提出了一种新的基于学习的管道部分重叠的三维点云配准。该模型包括一个迭代的距离感知相似性矩阵卷积模块，将来自特征和欧几里得空间的信息合并到成对点匹配过程中。这些卷积层学习基于整个几何特征的联合信息和每个点对的欧几里得偏移来匹配点，克服了简单地采用特征向量的内积进行匹配的缺点。此外，一个两阶段的学习点消除技术，以提高计算效率，减少误报对应对。提出了一种新的相互监督损失训练模型没有额外的注释的关键点。管道可以很容易地与传统（例如FPFH）和基于学习的功能集成。部分重叠和噪声点云配准的实验表明，我们的方法优于目前的最先进的，同时更计算效率。代码可在https://github.com/jiahaowork/idam上公开获取。
2020-08-06 cs.CV
MonteFloor: Extending MCTS for Reconstructing Accurate Large-Scale Floor Plans
Graz University of Technology（格拉茨技术大学）；École des Ponts ParisTech（巴黎高科路桥学院）
我们提出了一种新的方法，从嘈杂的3D点云重建平面图。我们的主要贡献是一个原则性的方法，依赖于蒙特卡罗树搜索（MCTS）算法，以最大限度地提高一个合适的目标函数有效地，尽管问题的复杂性。与以前的工作一样，我们首先将输入的点云投影到顶视图上，以创建密度图并从中提取房间建议。我们的方法选择并优化这些房间建议的多边形形状，以适应密度图，并输出精确的矢量化楼层图，即使是大型复杂场景。为此，我们调整了MCTS，一种最初设计用于学习玩游戏的算法，通过最大化目标函数来选择房间提案，该目标函数将适应度与深度网络预测的密度图相结合，并对房间形状进行正则化。我们还向MCTS引入了一个细化步骤，用于调整房间建议的形状。对于这一步，我们提出了一种新的微分方法来渲染这些建议的多边形形状。我们评估我们的方法在最近的和具有挑战性的Structured 3D和Floor-SP数据集，并显示出显着的改进，在最先进的，没有施加任何硬约束，也没有假设的平面图配置。
2021-09-13 cs.AI cs.CV cs.LG
Iterative Global Similarity Points : A robust coarse-to-fine integration solution for pairwise 3D point cloud registration
Wuhan University（武汉大学）
在本文中，我们提出了一个由粗到细的集成解决方案的启发经典ICP算法，两个改进的混合度量空间（例如，BSC特征和欧几里得几何空间）和全局最佳对应匹配的成对3D点云配准。首先，我们检测点云的关键点，并使用二进制形状上下文（BSC）描述符来编码其局部特征。然后，我们制定的对应匹配任务作为一个能量函数，它模拟的BSC特征和欧氏几何的混合空间上的关键点的全局相似性。然后，我们通过Kuhn-Munkres算法优化能量函数来估计全局最优对应，然后基于对应计算变换。最后，通过最优对应匹配和变换计算相互补充，迭代地优化两点云之间的变换，实现统一框架下的粗到精配准。综合实验结果表明，该算法具有良好的性能，在旋转和平移误差方面均优于现有方法。
2018-08-12 cs.CV
High-Resolution Cranial Defect Reconstruction by Iterative, Low-Resolution, Point Cloud Completion Transformers
AGH University of Science and Technology（AGH科技大学）；University of Applied Sciences Western Switzerland (HES-SO Valais)（瑞士西部应用科学大学（瓦莱州高等学院））；Information Systems Institute（信息系统研究所）
针对现有体素法颅骨缺损重建的局限性，本研究将其重构为点云补全任务，提出迭代式Transformer方法，可实现任意高分辨率重建，且内存效率优于现有先进方法。
2024-05-21 cs.AI cs.CV cs.LG
Automated Reconstruction of 3D Open Surfaces from Sparse Point Clouds
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
真实世界的3D数据可能包含由显著表面间隙定义的复杂细节。这些开放表面的自动重建（例如，非防水网格）对于混合现实应用中的环境合成来说是一个具有挑战性的问题。现有的基于学习的隐式重建技术可以在闭曲面重建上达到很高的保真度。然而，它们依赖于表面内部和外部之间的区别，使得它们无法重建开放表面。最近，一类新的隐式函数在通过回归无符号距离场来重建开放曲面方面显示出了希望。然而，这些方法依赖于原始数据的离散化表示，这会丢失重要的表面细节，并可能导致重建中的离群值。我们提出了IPVNet，这是一种基于学习的隐式模型，它通过利用原始点云数据及其离散体素对应物来预测3D空间中表面和查询点之间的无符号距离。在合成和真实世界公共数据集上的实验表明，IPVNet的性能优于现有技术，同时在重建中产生的离群值要少得多。
2023-01-18 cs.CV cs.GR
Deep Surface Reconstruction from Point Clouds with Visibility Information
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；IGN-ENSG（法国国立地理科学学院）；Ecole des Ponts（巴黎综合理工学院桥梁学校）；CNRS（法国国家科学研究中心）
大多数当前用于从点云重建表面的神经网络忽略传感器姿态并且仅对原始点定位进行操作。然而，传感器的可见性，持有有关空间占用和表面取向的有意义的信息。在本文中，我们提出了两种简单的方法来增强原始点云的可见性信息，因此它可以直接由表面重建网络以最小的适应性来利用。我们提出的修改一致地提高了生成的表面的准确性以及网络对看不见的形状域的泛化能力。我们的代码和数据可在https://github.com/raphaelsulzer/dsrv-data上获得。
2022-02-03 cs.CV
Cascading Feature Extraction for Fast Point Cloud Registration
The University of Tokyo（东京大学）
我们提出了一种通过级联特征提取来加速三维点云配准的方法。具有最高精度的当前方法是通过使用深度特征迭代地执行特征提取和配准来实现的。然而，迭代特征提取需要时间。我们提出的方法显着降低了计算成本，使用级联浅层。我们的想法是省略不总是有助于最终精度的冗余计算。所提出的方法是大约三倍的速度比现有的方法，而不损失的准确性。
2021-10-23 cs.CV
SlingBAG Pro: Accelerating point cloud-based iterative reconstruction for 3D photoacoustic imaging with arbitrary array geometries
SlingBAG Pro通过任意阵列几何加速基于点云的3D光声成像重建，提升速度2.2倍。
2026-01-06 cs.CV
Iterative Feedback Network for Unsupervised Point Cloud Registration
本文提出一种用于无监督点云配准的迭代反馈网络（IFNet），通过级联的反馈配准块和Feedback Transformer将高层特征反馈以优化低层特征，并引入几何感知描述符，在多个基准数据集上取得更优配准性能。
2024-01-09 cs.AI cs.CV
Local and Global Point Cloud Reconstruction for 3D Hand Pose Estimation
National University of Singapore（新加坡国立大学）；University of Bonn（波恩大学）
本文研究了基于RGB图像的三维点云重建和人手三维姿态估计。为此，我们提出了一种新的管道，用于使用3D手模板进行局部和全局点云重建，同时学习姿势估计的潜在表示。为了证明我们的方法，我们引入了一个新的多视图手姿态数据集，以获得完整的三维点云的手在现实世界中。在我们新提出的数据集和四个公共基准上的实验证明了该模型的优势。我们的方法在3D姿态估计方面优于竞争对手，同时重建逼真的完整3D手部点云。
2021-12-13 cs.AI cs.CV
iPUNet:Iterative Cross Field Guided Point Cloud Upsampling
Shandong University（山东大学）；Microsoft Research Asia（微软亚洲研究院）；University of Edinburgh（爱丁堡大学）
针对稀疏、噪声、非均匀点云，提出iPUNet，利用自监督交叉场引导局部参数化曲面实现任意比例上采样，并通过迭代细化分布，优于现有方法。
2023-10-13 cs.CV
GiNGR: Generalized Iterative Non-Rigid Point Cloud and Surface Registration Using Gaussian Process Regression
University of Basel（巴塞尔大学）
在本文中，我们统一流行的点集和曲面的非刚性配准方法在我们的一般框架，GiNGR。GiNGR建立在高斯过程变形模型（GPMM）的基础上，因此将变形建模与配准模型自适应分离开来。此外，它还提供了可解释的超参数、多分辨率配准、专家注释的简单包含，以及使用和组合分析和统计变形先验的能力。但更重要的是，重新表述允许对登记方法进行直接比较。而不是在优化步骤中使用一般的求解器，我们展示了高斯过程回归（GPR）如何迭代地将参考扭曲到目标上，从而以原则性的方式在任何密集，稀疏或部分估计的对应关系之前平滑变形。我们展示了如何流行的CPD和ICP算法可以直接与GiNGR解释。此外，我们展示了GiNGR框架中的现有算法如何执行概率注册，以获得不同注册的分布，而不是单个最佳注册。这可以用于分析不确定性，例如在记录部分观测时。GiNGR是公开可用的，完全模块化，允许特定领域的事先构建。
2022-03-18 cs.CV
CMR-Agent: Learning a Cross-Modal Agent for Iterative Image-to-Point Cloud Registration
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制与网络系统研究所）；Polytechnic Institute, Zhejiang University（浙江大学理工学院）
本文将图像到点云配准建模为迭代马尔可夫决策过程，提出结合强化学习与模仿学习的跨模态智能体CMR-Agent，通过2D-3D混合状态表示和一次性嵌入复用，在KITTI-Odometry与NuScenes上实现了高精度且高效的配准。
2024-08-05 cs.CV cs.RO
A Graph Attention Network-Based Framework for Reconstructing Missing LiDAR Beams
Computer Information Technology Department, SUNY Morrisville（SUNY Morrisville 计算机信息科技系）；Electrical and Computer Engineering Department, Portland State University（波特兰州立大学电气与计算机工程系）；Electrical and Computer Engineering Department, Lawrence Technological University（劳伦斯技术大学电气与计算机工程系）
本文提出基于图注意力网络的框架，通过点云几何数据恢复旋转激光雷达中因硬件老化等导致的垂直束丢失，实现高精度重建与快速推理。
2025-12-13 cs.AI cs.CV
Reconstructing People, Places, and Cameras
UC Berkeley（伯克利大学）
该研究提出HSfM方法，结合数据驱动场景重建与传统SfM框架，利用人体统计模型估计公制尺度，联合优化人体网格、场景点云和相机参数，在基准数据集上显著提升人体定位与相机位姿估计精度，同时改善场景重建质量。
2025-05-20 cs.CV
NeuralSSD: A Neural Solver for Signed Distance Surface Reconstruction
针对现有隐式场参数化难以确保曲面与输入数据紧密拟合的问题，提出基于神经伽辽金法的NeuralSSD方法，通过新型能量方程和卷积网络提升曲面重建精度与泛化性，在ShapeNet等数据集上取得最优结果。
2025-11-18 cs.CV cs.GR cs.LG
TearingNet: Point Cloud Autoencoder to Learn Topology-Friendly Representations
InterDigital；Princeton（普林斯顿）
拓扑很重要。尽管最近使用几何深度学习处理点云取得了成功，但使用学习模型捕获点云数据的复杂拓扑结构仍然很困难。给定一个点云数据集包含具有不同属的对象，或具有多个对象的场景，我们提出了一个自动编码器TearingNet，它可以解决使用固定长度描述符表示点云的挑战性任务。与直接变形亏格为零的预定义基元（例如，一个2D正方形补丁）到一个对象级点云，我们的TearingNet的特点是提出了撕裂网络模块和折叠网络模块相互迭代。特别地，撕裂网络模块明确地学习点云拓扑。通过打破原始图的边缘，它将图撕裂成补丁或孔，以模拟目标点云的拓扑结构，从而实现忠实的重建。实验表明，我们的建议在重建点云以及生成更多的拓扑友好的表示比基准方面的优越性。
2021-09-04 cs.CV
An Iterative Direct Sampling Method for Reconstructing Moving Inhomogeneities in Parabolic Problems
针对抛物型问题中移动非均匀性的成像需求，提出迭代直接采样方法，可在数据有限（含单对横向柯西数据）时高效识别其位置形状，兼具噪声稳定性与普适性（适用于线性/非线性抛物问题），实验验证其有效性与鲁棒性。
2025-11-11 cs.NA math.NA
Dense 3D Point Cloud Reconstruction Using a Deep Pyramid Network
Video Analytics Lab, CDS, Indian Institute of Science, Bangalore（印度科学学院计算机与数据科学系视频分析实验室）
重建物体的高分辨率三维模型是计算机视觉中一项具有挑战性的任务。在解决这个问题时，设计可扩展的轻量级架构至关重要。现有的基于点云的重建方法在单个阶段中直接预测整个点云。虽然这种技术可以处理低分辨率的点云，但它不是生成密集的高分辨率输出的可行解决方案。在这项工作中，我们介绍了DensePCR，一个深金字塔网络的点云重建，分层预测点云的分辨率不断提高。为此，我们提出了一个架构，首先预测低分辨率的点云，然后分层增加的分辨率，通过聚合本地和全球点的功能变形网格。我们的方法生成的点云是准确的，均匀的和密集的。通过对合成和真实数据集进行广泛的定量和定性评估，我们证明了DensePCR优于现有的最先进的点云重建工作，同时还提供了一个轻量级和可扩展的架构来预测高分辨率输出。
2019-01-25 cs.CV
Sliding Gaussian ball adaptive growth (SlingBAG): point cloud-based iterative algorithm for large-scale 3D photoacoustic imaging
Peking University（北京大学）；Nanjing University（南京大学）；Pohang University of Science and Technology（浦项科技大学）
提出基于点云的SlingBAG迭代算法，以极低内存和快速迭代实现大规模三维光声成像的高质量重建，并在仿真和动物实验中验证。
2024-11-05 cs.CV
Capturing, Reconstructing, and Simulating: the UrbanScene3D Dataset
Shenzhen University（深圳大学）
介绍了一个用于城市场景感知与重建研究的大规模数据平台UrbanScene 3D。UrbanScene 3D包含超过12.8万张高分辨率图像，覆盖16个场景，包括大规模的真实城市区域和总面积为136平方公里的合成城市。该数据集还包含高精度LiDAR扫描和数百个具有不同观测模式的图像集，为设计和评估空中路径规划和3D重建算法提供了全面的基准。此外，该数据集基于虚幻引擎和Airsim模拟器构建，并为数据集中的每个建筑物提供手动注释的唯一实例标签，可以生成各种数据，例如，2D深度图、2D/3D边界框和3D点云/网格分割等。具有物理引擎和照明系统的模拟器不仅可以生成各种数据，还可以让用户在拟议的城市环境中模拟汽车或无人机，以供未来研究。
2022-07-19 cs.CV cs.GR
Optimizing Implicit Neural Representations from Point Clouds via Energy-Based Models
The University of Tokyo（东京大学）；KAUST（阿卜杜拉国王科技大学）；Albert Inc.（艾伯特公司）
针对三维点云曲面重建任务，提出利用能量基模型优化隐式神经表示的方法，以坐标神经网络绝对值为能量函数，可适配点云噪声幅度，抗噪鲁棒性优于传统方法。
2023-11-05 cs.CV cs.LG
High Fidelity Semantic Shape Completion for Point Clouds using Latent Optimization
Carnegie Mellon University（卡内基梅隆大学）
语义形状完成是3D计算机视觉中的一个具有挑战性的问题，其中的任务是使用部分3D形状作为输入来生成完整的3D形状。我们提出了一种基于学习的方法来完成不完整的3D形状，通过生成建模和潜在的流形优化。我们的算法直接在点云上工作。我们使用自动编码器和GAN来学习对象类的点云的嵌入分布。首先将具有缺失区域的输入点云编码为特征向量。由GAN学习的表示然后用于使用组合优化来找到流形上的最佳潜在向量，该组合优化在似然向量的流形中找到接近原始输入的向量（在特征空间和解码器的输出空间两者中）。实验表明，我们的算法是能够成功地重建点云与大的缺失区域，具有非常高的保真度，而不必依赖于基于样本的数据库检索。
2018-09-30 cs.CV
A Concept for Reconstructing Stucco Statues from historic Sketches using synthetic Data only
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；Interactive Graphics Research Group, TU Darmstadt（达姆施塔特工业大学交互式图形研究组）
提出一种仅用合成数据训练的全自动方法，从历史sinopia草图重建灰泥雕像的点云、彩色图像、深度图和表面法线，支持现场实时重建。
2024-02-08 cs.AI cs.CV
Anomaly Detection in 3D Point Clouds using Deep Geometric Descriptors
MVTec Software GmbH（MVTec软件有限公司）；Technical University of Munich（慕尼黑工业大学）
提出了一种新的高分辨率三维点云几何异常的无监督检测方法。特别是，我们提出了一个适应的学生，教师异常检测框架的三个维度。训练学生网络以匹配无异常点云上预训练教师网络的输出。当应用于测试数据时，教师和学生之间的回归误差允许异常结构的可靠定位。为了构建一个富有表现力的教师网络，提取密集的局部几何描述符，我们引入了一种新的自监督预训练策略。教师通过重建局部感受野进行培训，不需要注释。在综合MVTec 3D异常检测数据集上进行的广泛实验突出了我们方法的有效性，该方法的性能远远优于下一个最佳方法。消融研究表明，我们的方法满足实际应用的性能，运行时间和内存消耗的要求。
2022-02-23 cs.CV
Learning to Generate Dense Point Clouds with Textures on Multiple Categories
University of Maryland, College Park（马里兰大学帕克分校）
图像三维重建是计算机视觉的核心问题。随着深度学习的最新进展，甚至第一次可以从单个RGB图像中恢复合理的3D形状。然而，获得具有任意拓扑结构的物体的详细几何形状和纹理仍然具有挑战性。在本文中，我们提出了一种新的方法来重建点云从RGB图像。与其他方法不同，我们可以恢复具有数十万个点的密集点云，并且我们还包括RGB纹理。此外，我们训练我们的模型在多个类别，这导致更好的泛化到看不见的类别相比，以前的技术。我们使用两个阶段的方法来实现这一点，首先从输入的RGB图像中推断出对象坐标图，然后使用重投影和完成步骤来获得最终的点云。我们展示了标准基准测试的结果，证明了我们的技术的优势。代码可在https://github.com/TaoHuUMD/3D-Reconstruction上获得。
2019-12-22 cs.CV
MV2Cyl: Reconstructing 3D Extrusion Cylinders from Multi-View Images
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Stanford University（斯坦福大学）；NVIDIA（英伟达）
提出MV2Cyl方法，利用2D卷积神经网络从多视图图像中提取信息并结合基曲线，实现高精度的草图-拉伸CAD模型3D重建。
2024-11-18 cs.CV
3D Brain Reconstruction by Hierarchical Shape-Perception Network from a Single Incomplete Image
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Biomedical Engineering, Shenzhen University（深圳大学生物医学工程学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；College of Computer Science and Technology, Qingdao University（青岛大学计算机科学与技术学院）
3D形状重建在微创和自动机器人引导手术的导航中是必不可少的，其操作环境是间接和狭窄的，并且已经有一些工作集中于通过有限的可用2D信息重建手术器官的3D形状。但未考虑术中紧急情况（如出血）和风险控制条件导致的此类信息的缺失和不完整。本文提出了一种新的分层形状感知网络（HSPN），用于从单个不完整图像中以低延迟重建特定大脑的3D点云（PC）。构造分支预测器和多个层次注意力管道来生成精确描述不完整图像的点云，然后以高质量完成这些点云。同时，设计了注意力门模块（AGB），有效地聚合层次注意力管道传输的不完整PC的几何局部特征和重建点云的内部特征。利用所提出的HSPN，可以自发地实现3D形状感知和完成。通过倒角距离和PC到PC误差的综合测量结果表明，所提出的HSPN的性能优于其他竞争力的方法在定性显示，定量实验和分类评价。
2021-10-12 cs.CV eess.IV
Hierarchical Frequency-Domain Compression of Implicit Geometric Representations for Large-Scale Point Clouds
针对大规模点云压缩成本高的问题，提出统一框架，结合隐式几何场、分层频域压缩与条件高频预测，在超八百万点复杂点云上实现更高压缩比且保持重建质量。
2026-10-14 cs.CV
An Unsupervised, Iterative N-Dimensional Point-Set Registration Algorithm
提出了一种无监督迭代的N维欧氏点云点集配准算法。它基于线性最小二乘法，并考虑所有可能的点配对，并迭代地对齐两个集合，直到点配对的数量不超过允许的一对一配对的最大数量。
2019-08-06 cs.CV cs.LG
Learning Indoor Layouts from Simple Point-Clouds
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
重建室内空间的布局已经成为日益增长的基于室内位置的服务的关键部分。在基于室内位置的服务的扩散中的关键挑战之一是由于捕获室内空间模型的复杂性质（例如，平面图）的现有建筑物。在本文中，我们提出了一个系统来自动生成平面图，可以识别房间从点云通过智能手机，如谷歌的探戈。特别是，我们提出了两种方法-基于递归神经网络的方法使用指针网络和基于卷积神经网络的方法使用Mask-RCNN从点云识别房间（从而楼层平面图）。在不同数据集上的实验结果表明，Intersection-over-Union得分约为0.80-0.90，这表明我们的模型可以有效地识别异构环境中的房间并重新生成房间的形状。
2021-08-07 cs.CV cs.LG
EOE: Expected Overlap Estimation over Unstructured Point Cloud Data
NVIDIA Research（英伟达研究院）
我们提出了一种迭代重叠估计技术，以增强现有的点云配准算法，可以实现高性能的困难的现实世界的情况下，大的姿势位移和非重叠的几何形状，否则会导致传统的方法失败。我们的方法估计重叠区域，通过迭代的期望最大化过程，编码到注册过程中的传感器视场。所提出的技术，预期重叠估计（EOE），是来自观察，在视场的差异违反了iid假设隐含地举行的所有最大似然注册技术。我们展示了我们的方法如何以最小的计算开销来增强许多流行的注册方法。通过对合成数据集和真实数据集的实验，我们发现添加显式重叠估计步骤可以帮助鲁棒的离群值处理，并提高基于ICP和基于GMM的配准方法的准确性，特别是在大型非结构化域中，点云之间的重叠量非常小。
2018-08-06 cs.CV
NeurCADRecon: Neural Representation for Reconstructing CAD Surfaces by Enforcing Zero Gaussian Curvature
Shandong University（山东大学）；The University of Hong Kong（香港大学）；Qingdao University of Science and Technology（青岛科技大学）；AMSS, Chinese Academy Of Sciences（中国科学院数学与系统科学研究院）；Texas A&M University（德克萨斯农工大学）
本文提出自监督方法NeurCADRecon，通过引入可展开性损失促使高斯曲率趋于0，并采用双槽曲线和动态采样策略，直接从低质量无方向点云高保真地重建具有清晰特征的CAD模型。
2024-04-20 cs.CV
Taming Transformers for Realistic Lidar Point Cloud Generation
WMG, University of Warwick（华威大学 WMG）
本文提出 LidarGRIT，通过自回归 Transformer 在 VQ-VAE 潜在空间迭代采样距离图像并分别解码射线丢失掩码，解决扩散模型难以逼真建模激光雷达射线丢失噪声的问题，在两个 KITTI 数据集上超越 SOTA。
2024-04-08 cs.CV cs.LG cs.RO
Reconstruction of Convex Polytope Compositions from 3D Point-clouds
Institute for Computer Science, LMU Munich（慕尼黑大学计算机科学研究所）；The University of Aizu（会津大学）
重构与输入点云完全吻合的凸多面体的组合（并集）是一个困难的优化问题，在逆向工程和刚体动力学仿真中有着重要的应用。我们提出了一个管道，首先提取一组平面，然后将输入点云划分为弱凸聚类，最后生成一组凸多面体作为每个分区的拟合平面的交集。找到最佳拟合凸多面体制定为一个组合优化问题的一组拟合平面，并使用进化算法解决。对于凸聚类，我们采用了两种不同的方法，并详细介绍了他们的优点和缺点，在一个彻底的评估的基础上，多个输入数据集。
2021-04-27 cs.CG cs.CV
A PCA Based Model for Surface Reconstruction from Incomplete Point Clouds
Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）
本文提出基于PCA的模型，用于从不完整点云数据中重建表面，通过估计法线信息和操作分裂方法提升重建效果。
2025-12-06 cs.CV
Recovery of Point Clouds on Surfaces: Application to Image Reconstruction
University of Iowa（爱荷华大学）
我们介绍了一个框架，在高维空间中的光滑表面上的点的恢复，与应用程序的动态成像。我们假设曲面是带限函数的零水平集。我们证明了曲面上点的指数映射满足湮灭关系，这意味着它们位于有限维子空间中。我们依赖于核范数最小化的地图，以恢复从噪声和采样不足的测量点。由于这种直接的方法遭受灾难的维度，我们引入了一个迭代的加权算法，使用“内核技巧”。由此产生的算法有相似之处，迭代算法中使用的图形信号处理（GSP），这个框架可以被看作是一个连续域替代离散GSP理论。该算法在恢复自由呼吸和非门控心脏数据中的使用显示了该框架在实际应用中的潜力。
2018-01-03 cs.CV
Adaptive Local Adversarial Attacks on 3D Point Clouds for Augmented Reality
Xiamen University（厦门大学）
作为增强现实（AR）的关键技术，3D识别和跟踪总是容易受到对抗性样本的攻击，这将给AR系统带来严重的安全隐患。对抗样本有利于提高三维神经网络模型的鲁棒性，增强AR系统的稳定性。目前，大多数3D对抗攻击方法扰动整个点云来生成对抗示例，这导致扰动代价高，难以重建物理世界中相应的真实对象。在本文中，我们提出了一个自适应的局部对抗攻击方法（AL-Adv）的3D点云生成对抗点云。首先，我们分析了三维网络模型的脆弱性，并提取输入点云的显著区域，即脆弱区域。其次，我们提出了一个自适应梯度攻击算法，目标脆弱的区域。该攻击算法自适应地在点云三维坐标的不同方向上分配不同的扰动。实验结果表明，我们提出的方法AL-Adv实现了更高的攻击成功率比全局攻击方法。具体而言，AL-Adv生成的对抗性示例表现出良好的不可感知性和较小的生成成本。
2023-03-12 cs.CV eess.IV
Learning Implicit Representation for Reconstructing Articulated Objects
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种无需类别特定骨架的关节物体重建方法，通过从视频运动线索中同时学习显式三维表示和由骨架、蒙皮权重、刚性系数及时变变换构成的隐式表示，并在标准数据集上取得优于现有方法的性能。
2024-01-16 cs.CV
VTLoc: Learning-based Tactile Contact Localization in Visual Point Clouds
Department of Engineering, King’s College London（伦敦国王学院工程系）
研究视觉与触觉融合的接触定位问题，提出VTLoc框架，通过几何多模态对齐模块和迭代定位更新器，利用视觉点云从触觉读数定位接触点，在新基准上减少对应模糊性，改善单触接触定位。
2026-07-20 cs.CV cs.RO
