Local and Global Point Cloud Reconstruction for 3D Hand Pose Estimation
National University of Singapore（新加坡国立大学）；University of Bonn（波恩大学）
本文研究了基于RGB图像的三维点云重建和人手三维姿态估计。为此，我们提出了一种新的管道，用于使用3D手模板进行局部和全局点云重建，同时学习姿势估计的潜在表示。为了证明我们的方法，我们引入了一个新的多视图手姿态数据集，以获得完整的三维点云的手在现实世界中。在我们新提出的数据集和四个公共基准上的实验证明了该模型的优势。我们的方法在3D姿态估计方面优于竞争对手，同时重建逼真的完整3D手部点云。
2021-12-13 cs.AI cs.CV
Single-View View Synthesis with Self-Rectified Pseudo-Stereo
Fuzhou University（福州大学）；Hong Kong Polytechnic University（香港理工大学）；Singapore Management University（新加坡管理大学）；South China University of Technology（华南理工大学）
针对单视图新视图合成的不适定性，提出自校正伪立体方法，将任务解耦为立体合成与三维重建，并在多项实验中优于现有方法。
2023-04-20 cs.CV
P$^2$GNet: Pose-Guided Point Cloud Generating Networks for 6-DoF Object Pose Estimation
Tsinghua University（清华大学）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
通过利用从日常生活中学习的对象模型先验，即使在严重遮挡下，人类也能够执行快速准确的对象姿态估计。然而，大多数最近提出的姿态估计算法忽略了利用对象模型的信息，往往以有限的精度结束，并往往在杂乱的场景中失败。在本文中，我们提出了一种新的基于学习的模型，\underline{P} ose-Guided \underline{P} oint Cloud \underline{G} generating Networks for 6D Object Pose Estimation（P $^2$ GNet），旨在有效地利用对象模型先验来促进6D对象姿态估计。我们通过一个端到端的逐代估计工作流来实现这一点，该工作流将RGB-D图像的外观信息和对象点云的结构知识相结合，以实现准确和鲁棒的姿态估计。在两个常用的6D姿态估计基准YCB-Video数据集和LineMOD数据集上的实验表明，P $^2$ GNet的性能大大优于最先进的方法，并对严重遮挡显示出显着的鲁棒性，同时实现实时推理。
2019-12-20 cs.CV cs.RO
PCKRF: Point Cloud Completion and Keypoint Refinement With Fusion Data for 6D Pose Estimation
Faculty of Information Technology, Beijing University of Technology（北京工业大学信息学部）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对传统点云配准位姿精修方法在初始位姿精度提升后效果减弱的问题，提出包含位姿敏感点云补全与颜色辅助迭代关键点配准的PCKRF流水线，可集成于现有6D位姿估计方法提升精度，在高初始精度、无纹理对称物体场景下表现优异。
2024-09-14 cs.CV cs.RO
RMAvatar: Photorealistic Human Avatar Reconstruction from Monocular Video Based on Rectified Mesh-embedded Gaussians
College of Computer Engineering, Jimei University（集美大学计算机工程学院）；National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康与医学数据科学国家研究院）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；School of Informatics, Xiamen University（厦门大学信息学院）；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）
本研究提出RMAvatar，一种将高斯溅射嵌入网格的人形化身表示方法，通过网格控制高斯运动并设计姿态相关校正模块学习精细非刚性形变，从单目视频重建的带服饰化身在渲染质量与定量评估上达SOTA。
2025-01-13 cs.CV
Coarse-to-Fine Point Cloud Registration with SE(3)-Equivariant Representations
National Taiwan University（国立台湾大学）；Mobile Drive Technology（移动驱动科技公司）
点云配准是计算机视觉和机器人学中的一个关键问题。现有的方法要么依赖于匹配局部几何特征，这是敏感的姿态差异，或利用全局形状，这导致不一致时，面对分布的变化，如部分重叠。结合这两种方法的优点，我们采用了一个由粗到细的流水线，同时处理这两个问题。我们首先通过对齐全局特征来减少输入点云之间的姿态差异;然后匹配局部特征，以进一步改进由分布方差引起的不准确对齐。由于全局特征对齐要求特征保持输入点云的姿态，而局部特征匹配要求特征对这些姿态不变，因此我们提出了一种SE（3）-等变特征提取器来同时生成两种类型的特征。在这个特征提取器中，保留姿态的表示首先由我们新的SE（3）-等变网络编码，然后由姿态分离模块转换为姿态不变的表示。实验表明，我们提出的方法提高了20%的召回率相比，国家的最先进的方法时，面临的姿势差异和分布方差。
2023-03-04 cs.CV cs.RO
Line-based Camera Pose Estimation in Point Cloud of Structured Environments
Wuhan University（武汉大学）；Carnegie Mellon University（卡内基梅隆大学）
二维影像与点云的精确配准是影像-LiDAR点云融合、摄像机-激光扫描仪标定和摄像机定位的关键技术。尽管不断改进，但在不使用额外纹理信息的情况下自动配准2D和3D数据仍然面临巨大挑战。在本文中，我们提出了一种新的2D-3D配准方法来估计2D-3D线特征对应关系和相机姿态在结构化环境的无纹理点云。具体来说，我们首先使用消失点和3D平行线之间的几何约束来计算所有可行的相机旋转。然后，我们利用假设检验策略来估计2D-3D线对应和平移向量。通过检查与计算的对应关系的一致性，可以找到最佳的旋转矩阵。最后，使用所有2D-3D线对应关系的非线性优化来进一步细化相机位姿。实验结果表明，该方法的有效性的合成和真实数据集（室外和室内）的重复结构和快速的深度变化。
2019-12-12 cs.CV cs.RO
PCRP: Unsupervised Point Cloud Object Retrieval and Pose Estimation
University of Southern California（南加州大学）；Tencent America（腾讯美国）；Tencent Media Lab（腾讯媒体实验室）
提出了一种无监督的点云目标检索和姿态估计方法，称为PCRP。假设存在包含具有给定姿态定向信息的点云对象的图库点云集合。PCRP尝试将未知点云对象与图库集合中的对象进行配准，从而联合实现基于内容的对象检索和姿态估计，其中点云配准任务建立在无监督R-PointHop方法的增强版本上。在ModelNet 40数据集上的实验证明，与传统方法和基于学习的方法相比，PCRP具有优越的性能。
2022-02-16 cs.CV
Rotation-Aware Point-Cloud Embeddings for Vision-Based In-Hand Reorientation
University at Buffalo（布法罗大学）
提出旋转感知点云嵌入，通过校准欧氏潜在距离与SO(3)测地误差，使无模型强化学习策略无需显式姿态或稠密流即可从点云目标实现手中重定向。
2026-06-23 cs.CV cs.RO
CloudAAE: Learning 6D Object Pose Regression with On-line Data Synthesis on Point Clouds
University of Hamburg（汉堡大学）；Tsinghua University（清华大学）
通常期望在合成数据上训练6D姿态估计系统，因为手动注释是昂贵的。然而，由于合成图像和真实图像之间的大的域间隙，合成彩色图像是昂贵的。相比之下，这个域间隙相当小，并且更容易填充深度信息。在这项工作中，我们提出了一个系统，从点云表示的深度信息中回归6D对象姿态，以及一个轻量级的数据合成管道，创建用于训练的合成点云段。我们使用一个增强的自动编码器（AAE）学习一个潜在的代码，编码6D对象姿态信息的姿态回归。数据合成流水线只需要无纹理的3D对象模型和期望的视点，并且在时间和硬件存储方面都很便宜。我们的数据合成过程比渲染RGB图像数据的常用方法快三个数量级。我们展示了我们的系统在LineMOD，LineMOD遮挡和YCB视频数据集上的有效性。我们的系统的实现可在https://github.com/GeeeG/CloudAAE上获得。
2021-03-02 cs.CV
Point2Graph: An End-to-end Point Cloud-based 3D Open-Vocabulary Scene Graph for Robot Navigation
University of Michigan（密歇根大学）
针对现有开放词汇场景图生成算法依赖带位姿RGB-D图像的问题，提出仅基于点云的端到端分层框架Point2Graph，在真实场景数据集上性能优于现有SOTA方法。
2024-09-16 cs.AI cs.CV cs.RO
OmniColor: A Global Camera Pose Optimization Approach of LiDAR-360Camera Fusion for Colorizing Point Clouds
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对LiDAR与相机融合中因相机位姿不准导致点云着色效果差的问题，提出OmniColor算法，通过直接最大化LiDAR地图的光度一致性联合优化360度全景图像位姿，无需特征提取匹配，实现准确稳定的场景重建。
2024-09-26 cs.CV cs.RO
CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds
Peking University（北京大学）；Stanford University（斯坦福大学）；Shandong University（山东大学）；UCSD（加州大学圣地亚哥分校）；Tencent AI Lab（腾讯AI实验室）；Beijing Institute for General AI（北京通用人工智能研究院）
在这项工作中，我们解决了问题的类别级在线姿态跟踪的对象从点云序列。这是第一次，我们提出了一个统一的框架，可以处理新的刚性对象实例的9DoF姿态跟踪，以及从已知类别的铰接对象的每部分姿态跟踪。这里，包括6D姿态和3D尺寸的9DoF姿态等效于具有自由6D姿态的3D非模态限界框表示。给定当前帧的深度点云和上一帧的估计姿态，我们的新型端到端流水线学习准确更新姿态。我们的流水线由三个模块组成：1）一个姿势规范化模块，用于规范化输入深度点云的姿势; 2）RotationNet，一个直接回归小帧间增量旋转的模块; 3）CoordinateNet，一个预测规范化坐标和分割的模块，支持3D大小和平移的分析计算。利用姿势规范化点云中的小姿势机制，我们的方法通过结合密集坐标预测和直接旋转回归来整合两个世界的最佳效果，从而产生针对9DoF姿势精度优化的端到端可微分流水线（而不使用不可微分RANSAC）。我们广泛的实验表明，我们的方法在类别级刚性对象姿态（NOCS-REAL 275）和铰接对象姿态基准（SAPIEN，BMVC）上以最快的FPS ~12实现了新的最先进的性能。
2021-10-21 cs.CV
Category-Agnostic Pose Estimation for Point Clouds
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
针对现有姿态估计方法无法处理未见类别未见物体的问题，提出基于旋转不变面片几何特征的类别无关点云姿态估计方法，无需类别信息即可达到与类别方法相当的效果，在两个数据集上验证了有效性。
2024-03-12 cs.CV
Self-Supervised Feature Learning from Partial Point Clouds via Pose Disentanglement
NEC Labs America（NEC美国实验室）；National Yang Ming Chiao Tung University（阳明交通大学）
点云上的自监督学习最近得到了很多关注，因为它解决了点云任务的标签效率和域间隙问题。在本文中，我们提出了一种新的自监督框架，学习信息表示部分点云。我们利用激光雷达扫描的包含内容和姿态属性的部分点云，我们表明，从部分点云中分离出这两个因素可以增强特征表示学习。为此，我们的框架由三个主要部分组成：1）一个完整的网络来捕捉点云的整体语义; 2）一个姿势回归网络来理解部分数据被扫描的视角; 3）一个部分重建网络来鼓励模型学习内容和姿势特征。为了证明学习的特征表示的鲁棒性，我们进行了几个下游任务，包括分类，部分分割和配准，并与最先进的方法进行比较。我们的方法不仅优于现有的自监督方法，而且在合成和真实世界的数据集上显示出更好的泛化能力。
2022-01-09 cs.CV
Unsupervised Learning of Shape and Pose with Differentiable Point Clouds
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Labs（英特尔实验室）
我们解决的问题，学习准确的3D形状和相机姿势从一组未标记的类别特定的图像。我们训练一个卷积网络，通过最小化重投影误差来预测单个图像的形状和姿态：给定对象的几个视图，预测形状到预测相机姿态的投影应该匹配提供的视图。为了处理姿态模糊，我们引入了一个合奏的姿态预测，然后我们提取到一个单一的“学生”模型。为了让高效的学习高保真的形状，我们表示的点云的形状，并设计一个配方，允许这些微分投影。我们的实验表明，姿态预测器的蒸馏合奏学习准确地估计姿态，而点云表示允许预测详细的形状模型。补充视频可以在https://www.youtube.com/watch?上找到v= LuIGovKeo 60
2018-10-22 cs.CV cs.LG
CATRE: Iterative Point Clouds Alignment for Category-level Object Pose Refinement
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）；University of Washington（华盛顿大学）
虽然最近出现了类别级9自由度对象姿态估计，但由于对象形状和颜色等的巨大类别内差异，以前的基于对应关系或直接回归方法在准确性方面都受到限制。与它们正交，这项工作提出了一种类别级对象姿态和大小细化器CATRE，它能够迭代地增强点云的姿态估计，以产生准确的结果。给定初始姿态估计，CATRE通过对齐部分观测点云和抽象形状先验来预测初始姿态和地面实况之间的相对变换。具体而言，我们提出了一种新的解纠缠体系结构意识到旋转和平移/大小估计之间的固有区别。大量的实验表明，我们的方法显着优于国家的最先进的方法在REAL275，CAMERA25和LM基准高达~85.32Hz的速度，并取得了竞争力的结果类别级跟踪。我们进一步证明了CATRE可以对看不见的类别进行姿势细化。代码和训练模型可用。
2022-07-17 cs.CV
3D Convolution on RGB-D Point Clouds for Accurate Model-free Object Pose Estimation
Nanyang Technological University（南洋理工大学）
传统的3D物体姿态估计通常需要物体的3D模型的知识。即使随着卷积神经网络（CNN）的最新发展，在最终估计中也常常需要3D模型。在本文中，我们提出了一个两阶段的管道，在原始彩色点云数据和估计对象的平移和旋转，通过运行三维卷积体素。流水线简单但高度精确：平移误差降低到体素分辨率（约1 cm），旋转误差约为5度。该管道还用于实际的机器人抓取测试，测试对象的成功率达到90%以上。另一个创新是使用运动捕捉系统来自动标记点云样本，这使得可以快速收集大量高精度的真实数据用于训练神经网络。
2018-12-29 cs.CV cs.LG cs.RO
SAR-Net: Shape Alignment and Recovery Network for Category-level 6D Object Pose and Size Estimation
Fudan University（复旦大学）；Baidu Research（百度研究院）
针对单场景图像，提出了一种基于目标点云的类别级6D物体位姿和尺寸估计（COPSE）方法，该方法无需外部真实位姿标注的训练数据。具体来说，除了RGB图像中的视觉线索之外，我们主要依赖于来自深度（D）通道的形状信息。其关键思想是探索每个实例的形状对齐对其相应的类别级模板形状，以及每个对象类别的对称对应关系，用于估计粗略的3D对象形状。我们的框架变形点云的类别级模板形状对齐观察到的实例点云隐式地表示其3D旋转。然后，我们模型的对称对应预测对称点云从部分观测点云。观察到的点云和对称点云的连接重建了粗略的物体形状，从而便于物体中心（3D平移）和3D尺寸估计。在类别级NOCS基准上进行的大量实验表明，我们的轻量级模型仍然可以与需要标记真实世界图像的最先进方法竞争。我们还将我们的方法部署到物理Baxter机器人上，对看不见但类别已知的实例执行抓取任务，结果进一步验证了我们提出的模型的有效性。代码和预训练模型可在项目网页上找到。
2022-04-11 cs.CV cs.RO
Learning to Estimate 3D Human Pose from Point Cloud
University of Ottawa（渥太华大学）
三维位姿估计是计算机视觉中一个具有挑战性的问题。大多数现有的基于神经网络的方法通过卷积网络（CNN）来处理颜色或深度图像。在本文中，我们研究的任务，三维人体姿态估计从深度图像。与现有的基于CNN的人体姿态估计方法不同，我们提出了一种深度人体姿态网络，通过将点云数据作为输入数据，对复杂人体结构的表面进行建模，进行三维姿态估计。我们首先将三维人体姿态估计从2D深度图像投射到3D点云，并直接预测3D关节位置。我们在两个公共数据集上的实验表明，我们的方法比以前的最先进的方法实现了更高的准确性。ITOP和EVAL数据集上的报告结果证明了我们的方法在目标任务上的有效性。
2022-12-25 cs.CV cs.MM
Unconstrained Matching of 2D and 3D Descriptors for 6-DOF Pose Estimation
The University of Western Australia（西澳大学）；Murdoch University（莫道克大学）
本文提出了一种新的概念，直接匹配的特征描述符提取的二维图像与特征描述符提取的三维点云。我们使用这个概念来直接定位3D点云中的图像。我们生成匹配的2D和3D点及其相应的特征描述符的数据集，用于学习描述符匹配器分类器。为了在测试时定位图像的姿态，我们从查询图像中提取关键点和特征描述符。然后使用训练的描述符匹配器来匹配来自图像和点云的特征。匹配特征的位置被用于鲁棒的姿态估计算法中以预测查询图像的位置和方向。我们对所提出的方法进行了广泛的评估，用于室内和室外场景以及不同类型的点云，以验证我们的方法的可行性。实验结果表明，直接匹配的特征描述符从图像和点云不仅是一个可行的想法，但也可以可靠地用于估计6自由度的查询相机在任何类型的三维点云在一个无约束的方式与高精度。
2020-05-29 cs.CV cs.LG cs.RO
A Representation Separation Perspective to Correspondences-free Unsupervised 3D Point Cloud Registration
Northwestern Polytechnical University（西北工业大学）；Baidu Research（百度研究院）；National Engineering Laboratory of Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
基于深度学习的方法极大地推进了遥感领域中的3D点云配准，其中刚性变换直接从两个点云回归（无对应关系方法）或从学习的对应关系计算（基于对应关系的方法）。现有的无对应关系方法通常学习整个点云的整体表示，这对于部分和噪声点云是脆弱的。在本文中，我们提出了一个对应的自由无监督点云配准（UPCR）方法从表示分离的角度。首先，我们将输入点云建模为姿态不变表示和姿态相关表示的组合。其次，使用姿态相关表示来分别学习源和目标点云的相对姿态Wrt“潜在的标准形状”。第三，从上述两个学习的相对姿势获得刚性变换。我们的方法不仅过滤掉姿态不变表示中的干扰，而且对部分到部分点云或噪声具有鲁棒性。在基准数据集上的实验表明，我们的无监督方法即使没有比最先进的监督配准方法更好的性能，也可以与之媲美。
2022-03-24 cs.CV
Mushroom Segmentation and 3D Pose Estimation from Point Clouds using Fully Convolutional Geometric Features and Implicit Pose Encoding
School of Electrical and Computer Engineering, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院）
本文提出一种基于全卷积几何特征和隐式姿态编码的深度学习方法，利用合成点云数据训练网络，实现蘑菇分割与三维姿态估计，并在真实数据上验证有效性。
2024-04-17 cs.CV
Robust Large-Scale Localization in 3D Point Clouds Revisited
我们解决的问题，得到一个完整的6自由度的姿态估计的查询图像内一个给定的点云。本技术报告重新评估了Y. Li等人，“Worldwide Pose Estimation using 3D Point Cloud”。我们的代码从3或4个点计算姿态，焦距已知和未知。结果可以通过Meshlab轻松显示和分析。我们发现所提出的方法的优点和缺点。此外，额外的先验和参数的点选择，RANSAC和姿态质量估计（内点测试）的建议和应用。
2015-11-03 cs.CV
6D Object Pose Regression via Supervised Learning on Point Clouds
University of Hamburg（汉堡大学）；Tsinghua University（清华大学）
本文讨论了从点云表示的深度信息中估计已知3D对象的6个自由度姿态的任务。由卷积神经网络从颜色信息中学习的深度特征已经成为用于推断对象姿态的主要特征，而深度信息受到的关注要少得多。然而，深度信息包含丰富的几何信息的对象形状，这是重要的推断对象的姿态。我们使用点云表示的深度信息作为深度网络和基于几何的姿势优化的输入，并使用单独的网络进行旋转和平移回归。我们认为轴角表示是适合深度学习的旋转表示，并使用测地线损失函数进行旋转回归。消融研究表明，这些设计选择优于替代方案，如四元数表示和L2损失，或用相同的网络回归平移和旋转。我们简单而有效的方法在YCB视频数据集上明显优于最先进的方法。可在https://github.com/GeeeG/CloudPose上获取实施和训练模型。
2020-01-24 cs.CV
ArrowPose: Segmentation, Detection, and 5 DoF Pose Estimation Network for Colorless Point Clouds
SDU Robotics, Mærsk Mc-Kinney Møller Institute University of Southern Denmark（SDU机器人学院、马士基麦克金尼莫勒研究所、南丹麦大学）
本文提出ArrowPose网络，通过预测物体中心点和顶点，从无色点云中完成检测、分割与5 DoF位姿估计，在基准上达到最优且推理仅需250毫秒。
2025-06-10 cs.CV
From Image Collections to Point Clouds with Self-supervised Shape and Pose Networks
University of California, Merced（加州大学默塞德分校）；Google Research（谷歌研究院）；Indian Institute of Science（印度科学学院）
从二维图像重建三维模型是计算机视觉的基本问题之一。在这项工作中，我们提出了一种用于从单个图像重建3D对象的深度学习技术。与最近使用3D监督或多视图监督的作品相反，我们在训练期间也只使用没有姿势信息的单视图图像。这使得我们的方法更实用，只需要一个对象类别和相应的剪影的图像集合。我们以自监督的方式学习3D点云重建和姿态估计网络，利用可微分点云渲染器进行2D监督训练。所提出的技术的一个关键的新颖性是施加3D几何推理到预测的3D点云，通过旋转它们与随机采样的姿势，然后强制执行3D重建和姿势的周期一致性。此外，使用单视图监督允许我们对给定的测试图像进行测试时优化。在合成ShapeNet和真实世界Pix3D数据集上的实验表明，与姿势监督和多视图监督方法相比，我们的方法尽管使用较少的监督，但可以实现具有竞争力的性能。
2020-05-05 cs.CV
Deep-PE: A Learning-Based Pose Evaluator for Point Cloud Registration
Shandong University（山东大学）；Shandong University of Science and Technology（山东科技大学）；National Deep Sea Center（国家深海中心）；Qingdao University of Science and Technology（青岛科技大学）；Texas A&M University（德克萨斯农工大学）
针对低重叠点云配准中姿态选择精度低的问题，提出基于学习的轻量级姿态评估器Deep-PE，利用姿态感知注意力和置信度预测模块学习对齐先验，在3DLoMatch上显著提升配准召回率。
2024-05-25 cs.CV
Matching Distance and Geometric Distribution Aided Learning Multiview Point Cloud Registration
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）；Shaanxi Joint Key Laboratory for Artifact Intelligence（陕西人工智能智能物证联合重点实验室）
本文针对多视角点云配准，提出利用匹配距离识别可靠配对以构建位姿图，并通过考虑几何分布和改进注意力的神经网络以数据驱动方式同步运动，在多个数据集上验证了有效性与泛化性。
2025-05-06 cs.CV cs.RO
3-D Hand Pose Estimation from Kinect's Point Cloud Using Appearance Matching
Seconda Universitá di Napoli (SUN)（那不勒斯第二大学）
我们提出了一种新的外观为基础的方法，使用点云提供的低成本微软Kinect传感器的人手姿态估计。无论是徒手的情况下，其中的手是从周围环境中隔离，和手对象的情况下，其中的不同类型的相互作用进行了分类，已被认为是。手物体的情况下，显然是最具挑战性的任务，必须处理多个轨道。这里提出的方法属于部分姿态估计类，其中帧中的估计姿态用于下一帧的初始化。通过将迭代最近点（ICP）算法的修改版本应用于合成模型以获得刚性变换来获得姿态估计，所述刚性变换将每个模型相对于输入数据对准。所提出的框架使用Kinect传感器提供的“纯”点云，而没有任何其他信息，如RGB值或法向量分量。出于这个原因，所提出的方法也可以应用于从其他类型的深度传感器或RGB-D相机获得的数据。
2016-04-07 cs.CV
Keypoint Cascade Voting for Point Cloud Based 6DoF Pose Estimation
Queen’s University（女王大学）
提出了一种新的关键点投票6自由度物体姿态估计方法，该方法以无RGB信息的纯无序点云几何作为输入。所提出的级联关键点投票方法，称为RCVPose 3D，是基于一种新的架构，分离的语义分割的关键点回归的任务，从而增加了两者的有效性，提高了最终的性能。该方法还引入了一个成对的约束，在不同的关键点之间的损失函数回归的关键点估计的数量时，这是有效的，以及一个新的选民信心分数，提高了学习和推理阶段。我们提出的RCVPose 3D在Occlusion LINEMOD（74.5%）和YCB-Video（96.9%）数据集上实现了最先进的性能，优于现有的纯RGB和基于RGB-D的方法，并且与RGB加点云方法竞争。
2022-10-14 cs.CV
Category-Level Global Camera Pose Estimation with Multi-Hypothesis Point Cloud Correspondences
University of Minnesota（明尼苏达大学）
对应搜索是刚性点云配准算法中必不可少的一步。大多数方法在每一步都保持一个对应关系，并逐渐删除错误的对应关系。然而，建立一对一的对应与硬分配是非常困难的，特别是当匹配两个点云与许多本地相似的功能。本文提出了一种优化方法，保留所有可能的对应关系，为每个关键点匹配时，部分点云的完整点云。这些不确定的对应关系，然后逐渐更新与估计的刚性变换，考虑匹配成本。此外，我们提出了一个新的点特征描述符，衡量局部点云区域之间的相似性。大量的实验表明，我们的方法优于国家的最先进的（SoTA）的方法，即使在同一类别中匹配不同的对象。值得注意的是，我们的方法在将真实世界的噪声深度图像配准到模板形状时的性能优于SoTA方法，高达20%。
2022-09-28 cs.CV
Temporal Point Cloud Completion with Pose Disturbance
Department of Electronic and Computer Engineering, the Hong Kong University of Science and Technology（香港科技大学电子与计算机工程学系）；Dji Co.（大疆创新公司）
现实世界中的传感器采集的点云数据往往是不对齐和稀疏的，这使得从单帧数据重建物体的完整形状变得非常困难。在这项工作中，我们设法提供完整的点云从稀疏的输入与姿态干扰有限的平移和旋转。我们还使用时间信息来增强完成模型，用一系列输入来细化输出。借助门控恢复单元（GRU）和注意力机制作为时间单元，我们提出了一个点云补全框架，该框架接受一系列未对齐和稀疏的输入，并输出一致和对齐的点云。我们的网络以在线方式执行，并为每个帧提供精细的点云，这使其能够集成到任何SLAM或重建管道中。据我们所知，我们的框架是第一个利用时间信息，并确保时间的一致性与有限的转换。通过在ShapeNet和KITTI上的实验，我们证明了我们的框架在合成和真实世界数据集上都是有效的。
2022-02-07 cs.CV
Rotational Symmetry based Object Pose Estimation from Point Clouds in the Absence of Known 3D Models
Key Laboratory of Brain Machine Collaborative Intelligence of Zhejiang Province, School of Computer Science, Hangzhou Dianzi University（浙江省脑机协同智能重点实验室，杭州电子科技大学计算机学院）；Advanced Intelligent Manufacturing Research Group, the University of Nottingham Ningbo China（先进智能制造研究组，宁波诺丁汉大学）
提出利用工业物体的旋转对称性，通过迭代优化联合估计姿态与点云，无需已知3D模型，在合成和真实数据集上达到与有模型方法相当的性能。
2026-06-16 cs.CV
StereoPose: Category-Level 6D Transparent Object Pose Estimation from Stereo Images via Back-View NOCS
The Chinese University of Hong Kong（香港中文大学）；University of California, Berkeley（加州大学伯克利分校）；Dyson Robot Learning Lab（戴森机器人学习实验室）；Hong Kong Centre for Logistics Robotics（香港物流机器人中心）
大多数现有的类别级姿态估计方法依赖于对象点云。然而，当考虑透明对象时，深度相机通常无法捕获有意义的数据，从而导致具有严重伪影的点云。没有高质量的点云，现有的方法不适用于具有挑战性的透明对象。为了解决这个问题，我们提出了StereoPose，这是一种用于类别级对象姿态估计的新型立体图像框架，非常适合透明对象。对于纯立体图像的鲁棒估计，我们开发了一个管道，该管道将类别级姿态估计分解为对象大小估计、初始姿态估计和姿态细化。StereoPose然后基于归一化对象坐标空间~（NOCS）中的表示来估计对象姿态。为了解决图像内容锯齿的问题，我们进一步定义了一个后视图的透明对象的NOCS地图。后视图NOCS旨在减少由内容混叠引起的网络学习模糊性，并利用透明对象背面的信息线索进行更准确的姿态估计。为了进一步提高立体框架的性能，StereoPose配备了用于立体特征融合的视差注意模块和用于提高网络预测的立体视图一致性的极线损失。在公共TOD数据集上的大量实验证明了所提出的StereoPose框架在类别级6D透明对象姿态估计方面的优越性。
2022-11-03 cs.AI cs.CV cs.LG
LiDAR Iris for Loop-Closure Detection
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）；MIT（麻省理工学院）
在本文中，一个全球性的激光雷达点云描述符，称为激光雷达虹膜，提出了快速，准确的闭环检测。在对LiDAR-Iris图像表示进行若干LoG-Gabor滤波和阈值化操作之后，可以针对每个点云获得二进制签名图像。给定两个点云，它们的相似度可以计算为分别从两个点云提取的两个对应的二值签名图像的汉明距离。如果假设3D（x，y，yaw）姿态空间，我们的LiDAR-Iris方法可以通过LiDAR-Iris表示的傅立叶变换在描述符级别实现姿态不变的闭环检测，尽管我们的方法通常可以通过重新对齐点云与附加的IMU传感器来应用于6D姿态空间。在五个道路场景序列上的实验结果表明，该算法具有良好的环路闭合检测性能。
2020-07-02 cs.CV cs.RO
Object Pose Distribution Estimation for Determining Revolution and Reflection Uncertainty in Point Clouds
SDU Robotics（SDU机器人研究所）；The Mærsk Mc-Kinney Møller Institute（马士基麦金尼莫勒研究所）；University of Southern Denmark（南部丹麦大学）
本文提出了一种基于深度学习的点云姿态分布估计方法，无需RGB输入，用于评估旋转和反射的不确定性。
2025-12-08 cs.CV
Converting Depth Images and Point Clouds for Feature-based Pose Estimation
Institute of Computer Science, Technical University Bergakademie Freiberg（弗赖贝格工业大学计算机科学研究所）；German Centre for Rail Traffic Research at the Federal Railway Authority（联邦铁路局德国轨道交通研究中心）
针对原始深度数据配准难题，提出一种将深度数据转换为Flexion图像的新方法，编码邻域点法向量差值，在视觉里程计与RGB-D SLAM的位姿估计中表现优于Bearing Angle图像。
2023-10-23 cs.CV cs.RO
PWCLO-Net: Deep LiDAR Odometry in 3D Point Clouds Using Hierarchical Embedding Mask Optimization
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
本文提出了一种新的用于深度LiDAR测距的3D点云学习模型PWCLO-Net，该模型使用分层嵌入掩模优化。在这个模型中，金字塔，翘曲，和成本体积（PWC）结构的激光雷达里程计任务的建立，以细化估计的姿态在一个粗略的到精细的方法分层。建立一个关注的成本卷，以关联两个点云，并获得嵌入的运动模式。然后，提出了一种新的可训练的嵌入掩模来加权所有点的局部运动模式，以回归整体姿态并过滤离群点。利用估计的当前位姿对第一点云进行变形，以桥接到第二点云的距离，然后建立剩余运动的代价体。同时，对嵌入模板进行了由粗到细的分层优化，以获得更准确的滤波信息用于姿态细化。迭代地使用可训练的姿态扭曲细化过程以使姿态估计对于离群值更鲁棒。我们的LiDAR里程模型的卓越性能和有效性在KITTI里程数据集上得到了证明。我们的方法优于所有最近的基于学习的方法，并优于基于几何的方法，LOAM与映射优化，在大多数序列的KITTI里程数据集。我们的源代码将在https://github.com/IRMVLab/PWCLONet上发布。
2021-04-02 cs.CV
A Constrained Optimization Approach for Gaussian Splatting from Coarsely-posed Images and Noisy Lidar Point Clouds
dConstruct Robotics（dConstruct机器人公司）；National University of Singapore（新加坡国立大学）
针对3D高斯溅射需SfM初始化的问题，提出约束优化方法，分解相机姿态为两步优化并引入参数与几何约束，无需SfM即可同时估计相机姿态与重建3D场景，性能优于现有基线及COLMAP辅助方法。
2025-04-12 cs.CV
HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud
Sungkyunkwan University（成均馆大学）；ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）；INSAIT；College of Information and Communication Engineering, Sungkyunkwan University（成均馆大学信息与通信工程学院）
本文提出HandDiff扩散模型，以图像-点云为条件迭代去噪生成3D手部关键点，并通过关节级与局部细节条件解决排列映射和精确定位难题，在四个基准上显著优于现有方法。
2024-04-04 cs.CV
SPiKE: 3D Human Pose from Point Cloud Sequences
TU Wien（维也纳技术大学）
SPiKE提出利用Transformer编码点云序列时空关系进行3D人体姿态估计，在ITOP基准上以89.19% mAP和更低推理时间达到最先进性能。
2024-09-03 cs.CV
Generalized Grasping for Mechanical Grippers for Unknown Objects with Partial Point Cloud Representations
Simon Fraser University（西蒙菲莎大学）；University of Regina（里贾纳大学）
我们提出了一个广义的抓取算法，使用点云（即一组点和它们各自的表面法线），以发现把握姿势解决方案，多个把握类型，由机械抓手执行，在近实时。该算法引入了两个想法：1）手指接触法线的直方图用于表示抓取“形状”，以在对象表面法线的直方图中引导抓取器取向搜索，以及2）抓取器和对象的体素网格表示互相关以匹配手指接触点，即抓取“尺寸”，以发现抓取姿势。约束，例如与相邻对象的碰撞，可选地结合在互相关计算中。我们通过模拟和实验表明：1）三种抓取类型的抓取姿势可以近实时地找到，2）抓取姿势解决方案与部分和完整点云扫描的体素分辨率变化一致，以及3）用机械夹具执行计划的抓取。
2020-06-23 cs.CV cs.RO eess.IV
Leveraging SE(3) Equivariance for Self-Supervised Category-Level Object Pose Estimation
Virginia Tech（弗吉尼亚理工大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
类别级对象姿态估计旨在从已知类别中找到先前未见过的对象实例的6D对象姿态，而无需访问对象CAD模型。为了减少类别级学习所需的大量姿态标注，我们首次提出了一种自监督学习框架，用于从单个3D点云估计类别级6D对象姿态。在训练过程中，我们的方法假设没有地面实况姿态标注，没有CAD模型，也没有多视图监督。我们的方法的关键是通过一个由SE（3）等变点云网络授权的不变形状重建模块和等变姿态估计模块来解开形状和姿态。不变形状重建模块学习执行对齐重建，在不使用任何注释的情况下产生类别级参考框架。此外，等变姿态估计模块实现了与一些完全监督方法相当的类别级姿态估计精度。大量的实验证明了我们的方法对ModelNet 40基准测试的完整和部分深度点云以及NOCS-REAL 275数据集的真实深度点云的有效性。包含代码和可视化的项目页面可以在https://dragonlong.github.io/equi-pose上找到。
2021-10-30 cs.CV
Classification of Single-View Object Point Clouds
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）
自ModelNet和ShapeNet等基准数据集发布以来，对象点云分类引起了极大的研究关注。这些基准测试假设点云覆盖对象实例的完整表面，为此已经开发了大量高性能的方法。然而，它们的设置偏离了实践中经常遇到的设置，在实践中，由于（自）遮挡，从任意视图捕获覆盖对象部分表面的点云。在本文中，我们表明，现有的点云分类器的性能急剧下降下所考虑的单视图，部分设置;该现象是一致的观察，部分对象表面的语义类别是不那么模糊，只有当它在整个表面上的分布是明确规定的。为此，我们主张一个单视图，部分设置对象姿态估计的监督学习应伴随着分类。从技术上讲，我们提出了一种姿势伴随点云分类网络（PAPNet）的基线方法;建立在SE（3）-等变卷积的基础上，PAPNet学习矢量场上定义的等变特征的中间姿势变换，这使得后续分类更容易（理想情况下）在类别级别，规范姿势。通过将现有的ModelNet 40和ScanNet数据集适应于单视图、部分设置，实验结果可以验证目标姿态估计的必要性以及我们的PAPNet相对于现有分类器的优越性。
2022-02-27 cs.CV
2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud
National University of Singapore（新加坡国立大学）
从3D传感器生成的大规模点云比基于图像的点云更准确。然而，它很少用于视觉姿态估计，由于难以获得2D-3D图像点云对应。在本文中，我们提出了2D 3D-MatchNet-一种端到端的深度网络架构，用于分别从图像和点云中联合学习2D和3D关键点的描述符。因此，我们能够直接从查询图像和3D点云参考图中匹配并建立2D-3D对应关系，以进行视觉姿态估计。我们从Oxford Robotcar数据集创建了我们的Oxford 2D-3D Patches数据集，其中包含地面实况相机姿势和2D-3D图像到点云对应关系，用于训练和测试深度网络。实验结果验证了该方法的可行性。
2019-04-22 cs.CV
Evaluation of Intra-operative Patient-specific Methods for Point Cloud Completion for Minimally Invasive Liver Interventions
Rochester Institute of Technology（罗切斯特理工学院）；Center for Imaging Science（成像科学中心）；Biomedical Engineering（生物医学工程系）
本文评估六种SOTA点云补全方法在患者特异性微创肝脏介入中的表现，发现AdaPoinTr在标准姿态下最优，但在非标准姿态和噪声条件下性能明显下降。
2025-03-15 cs.CV
CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses
Tsinghua University（清华大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Queensland（昆士兰大学）
针对不完美相机位姿导致NeRF新视角合成质量下降的问题，提出CBARF框架，通过级联束调整和邻居替换策略优化位姿，并用密度体素网格重建场景，实现最先进的位姿优化和新视角合成性能。
2023-10-15 cs.CV
MaFreeI2P: A Matching-Free Image-to-Point Cloud Registration Paradigm with Active Camera Pose Retrieval
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院 Cyber-Systems 研究所）；Polytechnic Institute, Zhejiang University（浙江大学理工学院）
本文提出无匹配图像到点云配准范式MaFreeI2P，通过构建代价体并利用卷积网络在SE(3)空间中主动检索相机位姿，在KITTI-Odometry和Apollo-DaoxiangLake数据集上取得有竞争力的配准精度与召回率。
2024-08-05 cs.CV eess.IV
KGpose: Keypoint-Graph Driven End-to-End Multi-Object 6D Pose Estimation via Point-Wise Pose Voting
Sogang University（西江大学）
本研究提出KGpose端到端多目标6D姿态估计框架，结合关键点法与图卷积嵌入实现逐点姿态回归投票，无需额外定位步骤，在基准数据集上取得有竞争力的结果，适用于机器人复杂场景几何理解。
2024-07-12 cs.CV cs.RO
Direct Image to Point Cloud Descriptors Matching for 6-DOF Camera Localization in Dense 3D Point Cloud
The University of Western Australia（西澳大学）；Murdoch University（默多克大学）
我们提出了一个新的概念，直接匹配从RGB图像中提取的特征描述符，从三维点云提取的特征描述符。我们使用这个概念来本地化的位置和方向（姿态）的查询图像的相机在密集的点云。我们生成一个数据集匹配的2D和3D描述符，并用它来训练一个建议的描述符匹配算法。为了在点云中定位查询图像，我们从查询图像中提取2D关键点和描述符。然后使用描述符匹配器通过将2D描述符与点云的预提取的3D描述符进行匹配来找到对应的2D和3D关键点对。该信息用于鲁棒的姿态估计算法中，以在3D点云中定位查询图像。实验表明，直接匹配的2D和3D描述符不仅是一个可行的想法，但也实现了竞争力的准确性相比，其他国家的最先进的相机姿态定位的方法。
2019-06-14 cs.CV
Robust Multiview Point Cloud Registration with Reliable Pose Graph Initialization and History Reweighting
Wuhan University（武汉大学）；The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）；Texas A&M University（德州农工大学）
本文提出一种多视角点云配准新方法，通过神经网络估计重叠率构建稀疏可靠位姿图，并在IRLS中设计历史重加权函数提升对异常边缘的鲁棒性，显著提高了配准召回率和精度并大幅减少了成对配准需求。
2023-04-02 cs.CV
PSA-SSL: Pose and Size-aware Self-Supervised Learning on LiDAR Point Clouds
University of Toronto（多伦多大学）
本文提出 PSA-SSL，通过边界框回归预训练任务和 LiDAR 光束模式增强学习位姿、尺寸及传感器无关特征，在少标签三维语义分割和目标检测上优于现有 SSL 方法。
2025-03-18 cs.CV
3D Human Pose and Shape Estimation from LiDAR Point Clouds: A Review
本文综述基于野外LiDAR点云的3D人体姿态与形状估计研究，提出结构化分类体系分析方法优劣，量化比较数据集、统一定义指标并建立基准表，同时概述挑战与研究方向，还维护配套更新网页以推动领域发展。
2025-09-23 cs.CV
