Faster VoxelPose: Real-time 3D Human Pose Estimation by Orthographic Projection
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
虽然基于体素的方法已经取得了可喜的成果，从多个摄像机的多人3D姿态估计，他们遭受沉重的计算负担，特别是对于大场景。我们提出了Faster VoxelPose，通过将特征体积重新投影到三个二维坐标平面并分别估计X，Y，Z坐标来解决这一挑战。为此，我们首先通过3D限界框来定位每个人，通过基于投影到xy平面和z轴的体积特征来估计2D框及其高度。然后，对于每个人，我们分别从三个坐标平面估计部分关节坐标，然后融合以获得最终的3D姿态。该方法不需要昂贵的3D-CNN，将VoxelPose的速度提高了10倍，同时达到了与最先进方法相同的竞争精度，证明了其在实时的【形】应用中的潜力。
2022-07-22 cs.CV
Objects detection for remote sensing images based on polar coordinates
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Institute of Electronics, Chinese Academy of Sciences（中国科学院电子学研究所）；University of Chinese Academy of Science（中国科学院大学）
面向目标的目标检测是遥感目标检测领域的一个重要课题。已有的研究表明，极坐标系在处理旋转物体建模问题上具有明显的优势，即用更少的参数实现更精确的旋转目标检测。然而，目前基于深度学习的最先进的检测器都是在笛卡尔坐标中建模的。本文首次将极坐标系统引入到深度学习检测器中，提出了一种无锚极坐标遥感目标检测器（P-RSDet），通过使用更简单的目标表示模型和更少的回归参数，实现了具有竞争力的检测精度。在P-RSDet方法中，通过预测中心点，回归一个极半径和两个极角，可以实现任意方向的目标检测。此外，为了表达极半径和极角之间的几何约束关系，提出了极环面积损失函数，以提高角点位置的预测精度。在DOTA、UCAS-AOD和NWPU VHR-10数据集上的实验表明，P-RSDet具有更简单的模型和更少的回归参数，达到了最先进的性能。
2020-09-21 cs.CV
SimCC: a Simple Coordinate Classification Perspective for Human Pose Estimation
Tsinghua University（清华大学）；Southeast University（东南大学）；Meituan Inc.（美团公司）；Nreal；Peng Cheng Laboratory（鹏城实验室）
基于2D热图的方法由于其高性能而多年来一直主导着人体姿态估计（HPE）。然而，基于二维热图的方法中长期存在的量化误差问题导致了几个众所周知的缺点：1）低分辨率输入的性能有限; 2）为了提高特征图分辨率以获得更高的定位精度，需要多个昂贵的上采样层; 3）采用额外的后处理来减少量化误差。为了解决这些问题，我们的目标是探索一个全新的方案，称为\textit{SimCC}，它将HPE重新定义为水平和垂直坐标的两个分类任务。该算法将每个像素均匀划分为若干个bin，从而实现了\emph{sub-pixel}定位精度和低量化误差。得益于此，SimCC可以省略额外的细化后处理，并在某些设置下排除上采样层，从而为HPE提供更简单、更有效的管道。在COCO、CrowdPose和MPII数据集上进行的大量实验表明，SimCC的性能优于基于热图的同行，特别是在低分辨率设置下。
2022-07-05 cs.CV
3D Human Pose Estimation with Siamese Equivariant Embedding
Eötvös Loránd University（厄特沃什·罗兰大学）
在单目3D人体姿态估计中，常见的设置是首先检测2D位置，然后将检测提升到3D坐标中。许多算法在训练集中遭受过拟合到相机位置。我们提出了一个连体架构，学习旋转等变隐藏表示，以减少数据增强的需要。我们的方法在具有不同基础网络的多个数据库上进行了评估，并显示出误差度量的一致改进。在仅使用估计的2D关节坐标的算法中，它实现了最先进的跨相机出错率。
2019-02-16 cs.CV
Dual networks based 3D Multi-Person Pose Estimation from Monocular Video
Yale-NUS College（耶鲁-新加坡国大学院）；National University of Singapore（新加坡国立大学）；CtrsVision (USA)（CtrsVision（美国））
单目三维人体姿态估计技术近年来取得了一定的进展。大多数方法集中于单个人，其在以人为中心的坐标中估计姿势，即，以目标人物的中心为坐标因此，这些方法不适用于多人3D姿态估计，其中绝对坐标（例如，相机坐标）。此外，由于人与人之间的遮挡和密切的人类交互，多人姿态估计比单姿态估计更具挑战性。现有的自上而下的多人方法依赖于人检测（即，自上而下的方法），并且因此遭受检测误差并且不能在多人场景中产生可靠的姿态估计。与此同时，现有的自下而上的方法，不使用人体检测不受检测错误，但由于他们处理所有的人在一个场景中，他们很容易出错，特别是在小规模的人。为了应对所有这些挑战，我们建议整合自上而下和自下而上的方法，以利用它们的优势。我们自上而下的网络从所有人而不是图像补丁中的一个人估计人体关节，使其对可能的错误边界框具有鲁棒性。我们自下而上的网络结合了基于人体检测的归一化热图，使网络在处理尺度变化方面更加稳健。最后，从自上而下和自下而上的网络估计的3D姿态被馈送到我们的集成网络中，以获得最终的3D姿态。为了解决训练和测试数据之间的常见差距，我们在测试期间进行优化，通过使用高阶时间约束，重新投影损失和骨骼长度正则化来细化估计的3D人体姿势。我们的评估证明了所提出的方法的有效性。代码和模型可在https://github.com/3dpose/3D-Multi-Person-Pose上找到。
2022-05-06 cs.CV
Train Your Data Processor: Distribution-Aware and Error-Compensation Coordinate Decoding for Human Pose Estimation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Orbbec Inc.（奥比中光科技集团股份有限公司）
最近，人体姿态估计的主要性能由基于热图的方法主导。虽然热图解码是热图处理的基本组成部分，但据我们所知，热图解码（即将热图转换为坐标）只接受了有限的研究。这项工作通过研究热图解码处理填补了这一空白，特别关注在整个预测过程中引入的错误。我们发现，基于热图的方法的误差是惊人的显着，然而，这是普遍被忽视之前。鉴于发现的重要性，我们进一步揭示了以前广泛使用的热图解码方法的内在局限性，并由此提出了分布感知和误差补偿坐标解码（DAEC）。作为一个模型无关的插件，DAEC从训练数据中学习其解码策略，并显着提高了各种最先进的人体姿态估计模型的性能，而额外的计算量可以忽略不计。具体而言，配备DAEC后，SimpleBaseline-ResNet 152 - 256 x192和HRNet-W 48 - 256 x192分别在COCO上显著提高了2.6 AP和2.9 AP，分别达到72.6 AP和75.7 AP。此外，HRNet-W32- 256 x256和ResNet-152- 256 x256框架在PCKh0.1度量的MPII上获得了8.4%和7.8%的大幅提升。在这两个常见的基准上进行的大量实验表明，DAEC远远超过其竞争对手，支持我们新颖的热图解码思想的合理性和通用性。该项目可在https://github.com/fyang235/DAEC查阅。
2020-07-17 cs.CV
Learning to Fuse 2D and 3D Image Cues for Monocular Body Pose Estimation
EPFL（洛桑联邦理工学院）
最新的单目3D人体姿态估计方法依赖于深度学习。它们通常涉及从图像直接回归到3D关节坐标或从其推断3D坐标的2D关节位置。这两种方法都有各自的优点和缺点，因此，我们提出了一种新的架构，旨在提供最好的两个世界，同时执行和融合的信息。我们框架的核心是一个可训练的融合方案，它学习如何最佳地融合信息，而不是手工设计。这在标准3D人体姿态估计基准上的最新技术水平上产生了显著的改进。
2017-04-10 cs.CV
On the role of depth predictions for 3D human pose estimation
Inseer Inc.（英瑟公司）；University of Iowa（爱荷华大学）
继深度卷积神经网络成功应用于2D人体姿态估计之后，下一个要解决的逻辑问题是从单目图像估计3D人体姿态。虽然先前的解决方案已经显示出一些成功，但是它们没有充分利用来自2d输入的深度信息。为了解决这种深度模糊的问题，我们建立了一个系统，该系统将2d关节位置作为输入，并将其估计的深度值作为输入，并预测其在相机坐标中的3d位置。考虑到从单目图像估计深度图的固有噪声和不准确性，我们进行了广泛的统计分析，表明考虑到这种噪声，预测的深度值和相机坐标的第三坐标之间仍然存在统计上显著的相关性。我们进一步解释了我们在H3.6M验证集上实现的最先进的结果是如何由于额外的深度输入。值得注意的是，我们的结果产生的神经网络，接受低维输入，并集成到一个实时系统。此外，我们的系统可以与现成的2d姿态检测器和深度图预测器相结合，以在野外执行3d姿态估计。
2021-03-03 cs.CV
A Dynamic Keypoints Selection Network for 6DoF Pose Estimation
School of Mechanical Engineering, Tianjin University（天津大学机械工程学院）
6自由度位姿估计问题的目的是估计物体世界坐标系和摄像机世界坐标系之间的旋转和平移参数。尽管在深度学习的帮助下取得了一些进展，但如何充分利用场景信息仍然是一个问题。现有的工作通过逐像素特征融合来解决这个问题，但需要从图像中随机选择大量的点，这不能同时满足快速推理和精确位姿估计的要求。在这项工作中，我们提出了一种新的深度神经网络的基础上动态关键点的选择，旨在从一个单一的RGBD图像的6自由度姿态估计。我们的网络包括三个部分，实例语义分割，边缘点检测和6自由度姿态估计。给定一个RGBD图像，我们的网络被训练来预测像素类别以及到边缘点和中心点的平移。然后，采用最小二乘拟合的方法估计出6自由度的位姿参数。具体来说，我们提出了一个动态的关键点选择算法，从前景特征图中选择关键点。它允许我们利用几何和外观信息。在6自由度姿态估计过程中，利用实例语义分割结果滤除背景点，仅利用前景点完成边缘点检测和6自由度姿态估计。在两个常用的6DoF估计基准数据集YCB-Video和LineMoD上的实验表明，我们的方法优于最先进的方法，并且在时间效率上比其他同类方法有了显着的提高。
2021-10-24 cs.CV
Multi-Person 3D Human Pose Estimation from Monocular Images
IIT Bombay（印度理工学院孟买分校）；Axogyan AI（Axogyan AI公司）
从单个图像中估计多人的3D人体姿态是一个具有挑战性的问题，特别是对于缺乏3D注释数据的野外环境。我们提出了HG-RCNN，这是一种基于Mask-RCNN的网络，它还利用了沙漏架构的优点来进行多人3D人体姿态估计。提出了一种两阶段的方法，首先估计每个感兴趣区域（ROI）中的2D关键点，然后将估计的关键点提升到3D。最后，使用弱透视投影假设和焦距和根平移的联合优化将估计的3D姿态放置在相机坐标中。其结果是一个简单的模块化网络，用于多人3D人体姿态估计，不需要任何多人3D姿态数据集。尽管HG-RCNN的公式简单，但它在MuPoTS-3D上实现了最先进的结果，同时也近似于相机坐标系中的3D姿态。
2019-09-24 cs.CV
3D Human Pose Estimation with 2D Marginal Heatmaps
La Trobe University（乐卓博大学）
从单目RGB图像数据中自动确定三维人体姿态是一个具有挑战性的问题。输入的二维性质导致固有的模糊性，这使得推断深度特别困难。最近，研究人员已经证明，深度神经网络灵活的统计建模能力足以以合理的准确度做出这样的推断。然而，这些模型中的许多使用坐标输出技术，这是内存密集型的，不可微的，和/或不空间概括以及。我们提出了对3D坐标预测的改进，通过在增强的soft-argmax方案下预测2D边缘热图来避免上述不良特性。我们生成的模型MargiPose可以生成视觉上连贯的热图，同时保持可区分性。我们还能够在公开的3D人体姿态估计数据上实现最先进的精度。
2018-11-08 cs.CV
Breaking Coordinate Overfitting: Geometry-Aware WiFi Sensing for Cross-Layout 3D Pose Estimation
University of Science and Technology of China（科学技术大学）；Shanghai Artificial Intelligence Lab（上海人工智能实验室）；Tianjin University（天津大学）；Hefei University of Technology（合肥工业大学）；Guizhou Normal University（贵州师范大学）；The University of Electro-Communications（电子通信大学）
PerceptAlign通过几何条件化学习实现布局无关的WiFi姿态估计，显著提升跨域泛化能力。
2026-01-18 cs.CV cs.HC
Hybrid model for Single-Stage Multi-Person Pose Estimation
LG Electronics（LG电子）
提出HybridPose混合模型，结合回归与热图方法，利用自相关损失注入空间依赖，实现单阶段多人姿态估计，兼顾密集关键点检测与不存在关键点过滤，且精度无下降。
2023-06-19 cs.CV
Category-Level Metric Scale Object Shape and Pose Estimation
KAIST（韩国科学技术院）
深度学习识别的进步已经导致了2D图像的准确目标检测。然而，这些2D感知方法不足以获得完整的3D世界信息。目前，先进的3D形状估计方法集中在形状本身，而不考虑度量尺度。这些方法不能确定对象的准确位置和方向。为了解决这个问题，我们提出了一个框架，联合估计一个度量尺度的形状和姿势从一个单一的RGB图像。我们的框架有两个分支：度量尺度对象形状分支（MSOS）和归一化对象坐标空间分支（NOCS）。MSOS分支估计在相机坐标中观察到的度量尺度形状。NOCS分支预测归一化的对象坐标空间（NOCS）图，并从预测的度量尺度网格与渲染的深度图执行相似性变换，以获得6d姿态和大小。此外，我们引入归一化对象中心估计（NOCE）来估计从相机到对象中心的几何对齐距离。我们在合成和真实世界的数据集上验证了我们的方法，以评估类别级对象的姿态和形状。
2021-09-01 cs.CV cs.RO
Synthetic Occlusion Augmentation with Volumetric Heatmaps for the 2018 ECCV PoseTrack Challenge on 3D Human Pose Estimation
RWTH Aachen University（亚琛工业大学）；Robert Bosch GmbH（罗伯特·博世有限公司）
在本文中，我们介绍了我们在2018年ECCV PoseTrack挑战赛中关于3D人体姿势估计的获奖作品。使用完全卷积的主干架构，我们获得每个身体关节的体积热图，我们使用soft-argmax将其转换为坐标。通过1D热图预测头估计绝对人中心深度。坐标被反向投影到3D相机空间，在那里我们最小化L1损失。我们获得良好结果的关键是使用Pascal VOC数据集随机放置的封堵器进行训练数据增强。除了在挑战赛中获得第一名之外，我们的方法还超越了在训练中不使用额外姿势数据集的方法中完整的Human3.6M基准测试的最先进水平。应用合成遮挡的代码可在https://github.com/isarandi/synthetic-occlusion上获得。
2018-11-06 cs.CV cs.RO
Manipulation-Oriented Object Perception in Clutter through Affordance Coordinate Frames
University of Michigan（密歇根大学）；Robotics Institute（机器人研究所）
为了在非结构化环境中实现鲁棒操作，机器人应该能够将操作动作推广到新的对象实例。例如，要倒饮料和提供饮料，机器人应该能够识别承担任务的新容器。最重要的是，机器人应该能够操纵这些新颖的容器来完成任务。为了实现这一目标，我们的目标是提供强大的和广义的感知对象的启示和他们的相关操作构成可靠的操作。在这项工作中，我们结合了启示和类别级姿态的概念，并引入了启示坐标框架（ACF）。使用ACF，我们根据各个启示部件及其之间的兼容性来表示每个对象类，其中每个部件与机器人操作的部件类别级姿势相关联。在我们的实验中，我们证明了ACF优于最先进的目标检测方法，以及对象部分的类别级姿态估计。我们进一步证明了ACF的机器人操作任务的适用性，通过在模拟环境中的实验。
2022-10-11 cs.CV cs.RO
SOCS: Semantically-aware Object Coordinate Space for Category-Level 6D Object Pose Estimation under Large Shape Variations
National University of Defense Technology（国防科技大学）
大多数基于学习的类别级6D姿态估计方法都是围绕归一化对象坐标空间（NOCS）设计的。虽然是成功的，基于NOCS的方法变得不准确和不太鲁棒时，处理对象的类别包含显着的类别内的形状变化。这是因为由对象的全局和刚性对齐引起的对象坐标在语义上是不一致的，使得坐标回归难以学习和推广。我们提出了语义感知的对象坐标空间（SOCS）建立的翘曲和对齐的关键点与语义有意义的对应关系的稀疏集的指导下的对象。SOCS在语义上是一致的：物体表面上的任何点都可以映射到SOCS中的语义上有意义的位置，从而允许在大的形状变化下进行准确的姿态和大小估计。为了学习有效的坐标回归到SOCS，我们提出了一种新的多尺度基于坐标的注意力网络。评估表明，我们的方法是很容易训练，以及推广大类内形状变化和强大的对象间遮挡。
2023-03-18 cs.CV
Pix2Pose: Pixel-Wise Coordinate Regression of Objects for 6D Pose Estimation
TU Wien（维也纳技术大学）
由于诸如遮挡和对称性之类的问题，仅使用RGB图像来估计对象的6D姿态仍然具有挑战性。如果没有专业知识或专门的扫描设备，也很难构建具有精确纹理的3D模型。为了解决这些问题，我们提出了一种新颖的姿态估计方法Pix 2 Pose，它可以在没有纹理模型的情况下预测每个对象像素的3D坐标。设计了一种自动编码器架构，用于估计每个像素的3D坐标和预期误差。这些逐像素的预测然后在多个阶段中使用以形成2D-3D对应关系，以利用具有RANSAC迭代的PSTAR算法直接计算姿态。我们的方法通过利用生成对抗训练的最新成就来精确恢复被遮挡的部分，对遮挡具有鲁棒性。此外，提出了一种新的损失函数，Transformer loss，通过引导预测到最接近的对称姿态来处理对称对象。在三个不同的基准数据集包含对称和遮挡对象的评估表明，我们的方法优于只使用RGB图像的最新技术。
2019-08-20 cs.CV
Scene Coordinate and Correspondence Learning for Image-Based Localization
Siemens AG（西门子股份公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
场景坐标回归已成为当前摄像机重定位方法的重要组成部分。不同的版本，如回归森林和深度学习方法，已成功应用于估计给定单个输入图像的相应相机姿态。在这项工作中，我们建议通过使用深度学习来回归给定RGB图像的场景坐标。与最近的方法相比，通常采用RANSAC从建立的点对应关系中获得鲁棒的姿态估计，我们建议回归这些对应关系的置信度，这使我们能够立即丢弃错误的预测并改善初始姿态估计。最后，所得到的置信度可以用于对初始姿势假设进行评分并帮助姿势细化，从而提供了解决该任务的通用解决方案。
2018-07-26 cs.CV
Large Scale Joint Semantic Re-Localisation and Scene Understanding via Globally Unique Instance Coordinate Regression
University of Cambridge（剑桥大学）
在这项工作中，我们提出了一种新的方法，联合语义定位和场景理解。我们的工作是出于对定位算法的需求，这些算法不仅可以预测6-DoF相机姿态，还可以同时识别周围的物体并估计3D几何形状。这种能力对于与环境交互的计算机视觉引导系统至关重要：自动驾驶，增强现实和机器人技术。特别是，我们提出了一个两步程序。在第一步中，我们训练一个卷积神经网络，以联合预测静态对象（例如建筑物）的每个实例的每像素全局唯一实例标签和相应的局部坐标。在第二步中，我们通过结合对象中心坐标和局部坐标来获得场景坐标，并使用它们来执行6-DoF相机位姿估计。我们在真实世界（CamVid-360）和人工（SceneCity）自动驾驶数据集上评估了我们的方法。我们获得更小的平均距离和角度误差比国家的最先进的6自由度姿态估计算法的基础上直接姿态回归和姿态估计从场景坐标的所有数据集。我们的贡献包括：（i）作为对象实例识别和局部坐标回归的两个独立任务的场景坐标回归的新公式化，以及我们提出的解决方案允许预测静态对象的准确3D几何形状并在（ii）比场景坐标回归方法先前尝试的大几个数量级的地图上估计相机的6-DoF姿态的演示，以及（iii）轻量级，从3D图元（如建筑物对齐的长方体）构建的近似3D贴图。
2019-09-23 cs.CV
Camera Pose Estimation from Lines using Plücker Coordinates
3D线与由相机捕获的其2D图像之间的对应关系通常用于确定相机在空间中的位置和取向。在这项工作中，我们提出了一种新的代数算法来估计相机的姿态。我们使用Plücker坐标对3D线条进行参数化，该坐标允许线条线性投影到图像中。使用线性最小二乘法估计线投影矩阵，然后从矩阵中提取相机姿态。一个代数方法来处理不匹配的线对应也包括在内。所提出的算法是一个数量级更快，但不精确和鲁棒的国家的最先进的，它不需要初始化，它只产生一个解决方案。所描述的方法需要至少9条线，并且特别适合于具有25条或更多条线的场景，如结果中所示。
2016-08-09 cs.CV
Coordinate-based Texture Inpainting for Pose-Guided Image Generation
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院（Skoltech））
我们提出了一种新的深度学习方法来指导人体照片的姿势再合成。新方法的核心是基于一张照片估计完整的身体表面纹理。由于输入的照片总是只观察到表面的一部分，我们提出了一种新的修复方法，完成了人体的纹理。修复网络不是直接处理纹理元素的颜色，而是为身体表面的每个元素估计输入图像中的适当源位置。输入图像和纹理之间的该对应字段然后基于期望的姿态被进一步扭曲到目标图像坐标系中，从而即使在姿态变化剧烈时也有效地建立源视图和目标视图之间的对应。然后，最终的卷积网络使用建立的对应关系和所有其他可用信息来合成输出图像。使用具有由估计的对应字段引导的可变形跳过连接的全卷积架构。我们展示了姿态引导图像合成的最新结果。此外，我们展示了我们的系统的性能服装转移和姿势引导的人脸重新合成。
2019-07-19 cs.CV
CoordAR: One-Reference 6D Pose Estimation of Novel Objects via Autoregressive Coordinate Map Generation
CoordAR通过自回归坐标图生成方法，实现对新型物体的单参考6D姿态估计，提升了对称性和遮挡等挑战的鲁棒性。
2025-12-15 cs.CV
Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation
Stanford University（斯坦福大学）；Google Inc.（谷歌公司）；Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）
本文的目标是估计RGB-D图像中看不见的对象实例的6D姿态和尺寸。与“实例级”6D姿态估计任务相反，我们的问题假设在训练或测试期间没有精确的对象CAD模型可用。为了处理给定类别中不同的和不可见的对象实例，我们引入了规范化对象坐标空间（NOCS）-一个类别中所有可能的对象实例的共享规范表示。然后，我们的基于区域的神经网络被训练来直接推断从观察到的像素到这个共享对象表示（NOCS）的对应关系以及其他对象信息，如类标签和实例掩码。这些预测可以与深度图相结合，以联合估计杂乱场景中多个对象的度量6D姿态和尺寸。为了训练我们的网络，我们提出了一种新的上下文感知技术来生成大量的完全注释的混合现实数据。为了进一步改进我们的模型并评估其在真实数据上的性能，我们还提供了一个具有大环境和实例变化的完全注释的真实世界数据集。大量的实验表明，该方法能够鲁棒地估计在真实环境中看不见的对象实例的姿态和大小，同时也实现了标准的6D姿态估计基准的最先进的性能。
2019-06-23 cs.CV
Human Pose and Shape Estimation from Single Polarization Images
University of Alberta（阿尔伯塔大学）；University of Manitoba（曼尼托巴大学）
本文研究了一个新的问题，即从单偏振图像中估计人体的姿态和形状。已知偏振相机能够捕获保留物体表面的丰富几何线索的反射光的偏振。受偏振图像表面法线重建应用的启发，本文尝试利用偏振诱导的几何线索从单偏振图像中估计人体姿态和形状。提出了一个专用的两阶段流水线：给定一个单一的偏振图像，第一阶段（Polar 2Normal）专注于精细详细的人体表面法线估计;第二阶段（Polar 2Shape）然后从偏振图像和估计的表面法线重建穿着的人体形状。为了从经验上验证我们的方法，构建了一个专用数据集（PHSPD），由超过50万帧组成，具有准确的姿势和参数化形状注释。对这个真实世界的数据集以及合成数据集SURREAL的实证评估证明了我们方法的有效性。它建议偏振相机作为一个有前途的替代更传统的RGB相机的人体姿态和形状估计。
2022-03-22 cs.CV
Polarization Human Shape and Pose Dataset
University of Alberta（阿尔伯塔大学）；Simon Fraser University（西蒙弗雷泽大学）；School of Automation, China University of Geosciences（中国地质大学自动化学院）；University of Guelph（圭尔夫大学）
偏振图像能够捕获偏振反射光，保留物体的丰富几何线索，这促使其最近在重建感兴趣的物体的详细表面法线中的应用。同时，受最近从单色图像中估计人体形状的突破的启发，我们试图研究偏振相机的几何线索是否可以用于估计详细的人体形状的新问题。这导致了Polarization Human Shape and Pose Dataset（PHSPD）的策展，这是我们自主开发的各种人体形状和姿势的偏振图像数据集。
2020-07-29 cs.CV
HOPE-Net: A Graph-based Model for Hand-Object Pose Estimation
Indiana University Bloomington（印第安纳大学伯明顿分校）；University of Washington（华盛顿大学）
手物体姿态估计（HOPE）的目的是联合检测手和持有的对象的姿态。在本文中，我们提出了一个轻量级的模型，称为HOPE-Net联合估计手和物体的姿态在2D和3D实时。我们的网络使用两个自适应图卷积神经网络的级联，一个用于估计手关节和对象角点的2D坐标，另一个用于将2D坐标转换为3D。我们的实验表明，通过完整网络的端到端训练，我们在2D和3D坐标估计问题上都实现了更好的精度。所提出的基于2D到3D图形卷积的模型可以应用于其他3D地标检测问题，其中可以首先预测2D关键点，然后将其转换为3D。
2020-03-31 cs.CV
Global Pose Control for Generative View Synthesis in Normalized Object Coordinate Space
The Chinese University of Hong Kong（香港中文大学）；Amazon（亚马逊）
针对现有生成模型在目标视图全局控制上的不足，提出在归一化物体坐标空间中精确相机控制的新方法，以单张或少量无姿态图像为输入，将视图合成视为图像编辑问题，提升了视图生成质量和保真度。
2026-07-07 cs.CV
Polarimetric Information for Multi-Modal 6D Pose Estimation of Photometrically Challenging Objects with Limited Data
TU Munich（慕尼黑工业大学）
针对现有6D位姿估计方法处理光度挑战性物体的局限，提出利用偏振信息的监督学习方法，并扩展为无需标注真实数据的自监督范式，结合偏振几何信息、形状先验与物理约束显著提升位姿估计效果。
2023-08-21 cs.CV
Polarimetric Pose Prediction
Technical University of Munich（慕尼黑工业大学）
光具有视觉传感器可以被动测量的许多特性。颜色带分离的波长和强度可以说是最常用于单目6D物体姿态估计。本文探讨了互补偏振信息，即光波振荡的方向，如何影响姿态预测的准确性。一个混合模型，利用物理先验知识与数据驱动的学习策略，设计和仔细测试的对象具有不同程度的光度复杂性。我们的设计显着提高了姿态精度相比，国家的最先进的光度方法，并使对象姿态估计高度反射和透明的对象。一个新的多模态实例级6D对象姿态数据集，具有高度准确的姿态注释的多个对象具有不同的光度复杂性作为基准。
2022-07-12 cs.CV
Semi-supervised 3D Hand-Object Pose Estimation via Pose Dictionary Learning
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）
三维手目标位姿估计是理解人与环境交互的一个重要问题。目前的手部物体姿态估计方法需要详细的3D标签，这是昂贵的和劳动密集型的。为了解决数据汇集的问题，我们提出了一种半监督的三维手部物体位姿估计方法，其中包括两个关键技术：位姿字典学习和面向对象的坐标系。所提出的位姿字典学习模块可以通过重构误差来区分不可行位姿，使未标记的数据能够提供监督信号。所提出的面向对象的坐标系可以使3D估计等变的相机的角度。在FPHA和HO-3D数据集上进行了实验。我们的方法减少了19.5% / 24.9%的手/物体的估计误差相比，直接使用标记数据FPHA和优于几个基线方法。大量的实验也验证了所提出的方法的鲁棒性。
2021-07-16 cs.CV
L6DNet: Light 6 DoF Network for Robust and Precise Object Pose Estimation with Small Datasets
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；IRISA（法国信息与随机系统研究所）；CNRS（法国国家科学研究中心）
估计物体的3D姿态是一项具有挑战性的任务，可以在增强现实或机器人应用中考虑。在本文中，我们提出了一种新的方法来执行6自由度物体姿态估计从一个单一的RGB-D图像。我们采用了两个阶段的混合流水线：数据驱动和几何分别。数据驱动步骤包括分类CNN，用于从局部块估计图像中的对象2D位置，随后是回归CNN，其被训练以预测相机坐标系中的一组关键点的3D位置。为了提取姿态信息，几何步骤包括通过最小化配准误差将相机坐标系中的3D点与世界坐标系中的对应3D点对准，从而计算姿态。我们在标准数据集LineMod上的实验表明，我们的方法比最先进的方法更鲁棒和准确。通过视觉伺服实现了6自由度的定位。
2022-05-29 cs.CV
Rethinking the Fully Hyperbolic Vision Transformer in Polar Coordinates
针对双曲变换器在环境坐标下数值不稳定、限制半径利用的问题，提出极坐标下的全双曲变换器，含极坐标全连接层、等距双曲移位和平均半径Lorentz提升，在视觉任务上显著优于基线，并能在ImageNet上预训练后泛化。
2026-09-29 cs.CV
Full-range Head Pose Geometric Data Augmentations
Docomo Innovations（Docomo创新公司）；Santa Clara University（圣克拉拉大学）
本文针对头部姿态估计在全角度范围内精度不足的问题，提出了基于正确坐标系和欧拉角的二维几何数据增强方法，并通过数学验证实现了全范围俯仰-偏航覆盖，显著提升了现有HPE模型的性能。
2024-08-02 cs.CV
HandSCS: Structural Coordinate Space for Animatable Hand Gaussian Splatting
Queen Mary University of London（伦敦女王学院）；University of Surrey（萨里大学）
HandSCS 通过结构引导的 3D 高斯点云框架实现高保真的手部动画，采用结构坐标空间和跨姿态一致性损失提升姿态间一致性。
2026-07-28 cs.CV
Pixel-wise Regression: 3D Hand Pose Estimation via Spatial-form Representation and Differentiable Decoder
Harbin Institute of Technology（哈尔滨工业大学）
基于单幅深度图像的三维手姿态估计是计算机视觉和人机交互领域的一个重要课题。虽然深度学习方法的兴起大大提高了准确率，但由于人手结构的复杂性，该问题仍然难以解决。现有的深度学习方法要么丢失了手部结构的空间信息，要么缺乏对关节坐标的直接监督。本文提出了一种新的逐像素回归方法，该方法使用空间形式表示（SFR）和可微解码器（DD）来解决这两个问题。为了使用我们的方法，我们建立了一个模型，在这个模型中，我们设计了一个特殊的SFR和相关的DD，它将三维关节坐标分为两部分，平面坐标和深度坐标，并使用两个模块分别称为平面回归（PR）和深度回归（DR）来处理它们。我们进行了烧蚀实验，表明我们提出的方法取得了更好的效果比以前的方法。并探讨了不同的训练策略对学习到的SFR和结果的影响。在三个公共数据集上的实验表明，我们的模型与现有的最先进的模型是相当的，在其中一个我们的模型可以减少平均3D联合误差25%。
2019-05-27 cs.CV
PostoMETRO: Pose Token Enhanced Mesh Transformer for Robust 3D Human Mesh Recovery
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
本文提出PostoMETRO，通过专门的姿态分词器将2D姿态数据压缩为紧凑的姿态token序列，并与图像token一起输入Transformer，以鲁棒地融合姿态与图像信息，从而在遮挡等极端场景下实现更精确的3D人体网格和关节坐标恢复。
2024-03-19 cs.CV
Domain Adaptation of Networks for Camera Pose Estimation: Learning Camera Pose Estimation Without Pose Labels
Nokia Bell Labs（诺基亚贝尔实验室）；New York University（纽约大学）
对深度学习的一个关键批评是，为了训练具有高性能和良好泛化能力的模型，需要大量昂贵且难以获取的训练数据。针对通过场景坐标回归（SCR）进行单目摄像机姿态估计的任务，提出了一种新的摄像机姿态估计网络（DANCE）的领域自适应方法，该方法能够在不访问目标任务上的任何标签的情况下训练模型。DANCE需要未标记的图像（没有已知的姿势，排序或场景坐标标签）和空间的3D表示（例如，扫描的点云），这两者都可以使用现成的商品硬件以最小的努力来捕获。DANCE从3D模型中渲染标记的合成图像，并通过应用无监督图像级领域自适应技术（不成对的图像到图像转换）来弥合合成图像和真实图像之间不可避免的领域差距。当在真实图像上进行测试时，使用DANCE训练的SCR模型以一小部分成本实现了与其完全监督的对应模型相当的性能（在这两种情况下，都使用PnP-RANSAC进行最终姿态估计）。我们的代码和数据集可在https://github.com/JackLangerman/dance上获得
2021-11-29 cs.CV
Dense Pose Transfer
Facebook AI Research（脸书人工智能研究院）；INRIA（法国国家信息与自动化研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）
在这项工作中，我们将基于表面的建模与神经合成的思想相结合：我们提出了基于表面的姿态估计和深度生成模型的组合，使我们能够执行准确的姿态转移，即基于该人的单个图像和姿态供体的图像合成该人的新图像。我们使用一个密集的姿态估计系统，将两个图像的像素映射到一个共同的基于表面的坐标系，使两个图像相互对应。我们在表面坐标系中对源图像强度进行修补和细化，然后将它们扭曲到目标姿势上。这些预测通过神经合成模块与卷积预测模块的预测融合，从而允许端到端联合训练整个管道，优化对抗性和感知损失的组合。我们表明，密集姿态估计是一个比地标或基于掩码的替代方案更强大的条件输入，并报告了DeepFashion和MVC数据集上最先进的生成器的系统改进。
2018-09-06 cs.CV
Coordinate Singularities Break Conformal Coverage for Gaze and Head Pose
Smart Health Technologies Group, Centre for Computational Intelligence, School of Computer Science and Electronic Engineering, University of Essex（智能健康技术组，计算智能中心，埃塞克斯大学计算机科学与电子工程学院）
研究共形预测在视觉任务中的覆盖问题，指出中间预测头在平面坐标图定义导致坐标奇点处有几何失真，证明其结构性，用黎曼体积密度诊断，提出无坐标测地线评分可消除失真且无需重新训练和计算成本增加。
2026-07-07 cs.CV cs.HC
Learning Shape-Independent Transformation via Spherical Representations for Category-Level Object Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Jianghuai Advance Technology Center（江淮先进技术中心）；Dongguan University of Technology（东莞理工学院）；Sangfor Technologies（深信服科技）
针对类别级物体位姿估计中现有基于点表示的方法存在形状依赖导致语义不一致的问题，提出SpherePose架构，通过球面表示学习形状无关变换，结合SO(3)不变特征提取、球面注意力及双曲对应损失，在多个基准上实现更优性能。
2025-03-19 cs.CV
Joint Coordinate Regression and Association For Multi-Person Pose Estimation, A Pure Neural Network Approach
提出一种单阶段端到端多人姿态估计方法JCRA，通过对称编码器-解码器和Transformer直接回归关节坐标及关联，无需后处理，在MS COCO和CrowdPose上达到69.2 mAP，推理速度提升78%。
2024-04-19 cs.CV cs.LG
No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达公司）；Microsoft（微软公司）；UC Merced（加州大学默塞德分校）；Google DeepMind（谷歌DeepMind）
本研究提出NoPoSplat前馈模型，通过锚定单视图局部坐标为规范空间、结合相机内参token嵌入，仅用光度损失训练即可从稀疏未标定图像实时重建3D高斯，在新视角合成和位姿估计任务上均优于现有方法。
2024-10-31 cs.CV
Accelerated Coordinate Encoding: Learning to Relocalize in Minutes using RGB and Poses
Niantic（Niantic公司）；University of Oxford（牛津大学）
本文提出加速坐标编码方法，通过拆分网络为场景无关特征主干与场景特定MLP预测头，并采用重投影损失课程学习替代端到端训练，在5分钟内实现与现有方法精度持平的视觉重定位，建图速度提升达300倍。
2023-05-23 cs.CV cs.LG
HccePose(BF): Predicting Front & Back Surfaces to Construct Ultra-Dense 2D-3D Correspondences for Pose Estimation
Southeast University（东南大学）；Purdue University（普渡大学）
本文提出HccePose(BF)，通过预测物体前后表面并密集采样构建超密集2D-3D对应关系，结合HCCE编码，在BOP七个核心数据集上超越现有SOTA方法，提升姿态估计精度。
2025-10-14 cs.AI cs.CV
CNN Profiler on Polar Coordinate Images for Tropical Cyclone Structure Analysis
National Taiwan University（台湾大学）
卷积神经网络（CNN）在热带气旋（TC）的卫星图像分析中取得了巨大的成功，在几个任务，如TC强度估计。与此相反，传统上由气象专家主观估计的几个参数来描述TC结构，仍然很难客观和常规地进行廓线。本研究将CNN应用于卫星影像，以建立涵盖所有结构参数的完整TC结构剖面。通过利用气象领域的知识来构建基于历史结构参数的TC风廓线，我们为我们新发布的基准数据集的训练提供了有价值的标签。通过这样的数据集，我们希望引起数据科学家对这个关键问题的更多关注。同时，使用在极坐标上操作的专用卷积模型建立基线。我们发现，根据TC的旋转和螺旋性质，在极坐标上提取结构信息比在笛卡尔坐标上提取结构信息更可行，物理上更合理。在发布的基准数据集上的实验结果验证了所提出的模型的鲁棒性，并证明了将深度学习技术应用于这个几乎没有发展但重要的主题的潜力。
2020-10-28 cs.AI cs.CV
Mathematical Foundation and Corrections for Full Range Head Pose Estimation
Docomo Innovations（Docomo创新公司）；Santa Clara University（圣克拉拉大学）
本文系统梳理了头部姿态估计中坐标系与欧拉角旋转顺序定义不清的问题，通过分析300W-LP、3DDFA-v2、6D-RepNet、WHENet等方法，提出了坐标系推断、姿态转换、二维增广公式及正确绘制例程，并论证了右手坐标系定义的可行性。
2024-05-03 cs.CV cs.LG
The Cartesian Shortcut: Re-evaluate Vision Reasoning in Polar Coordinate Space
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
针对多模态大语言模型在视觉推理中利用笛卡尔坐标捷径的问题，提出Polaris-Bench基准，将任务转换至极坐标空间，揭示模型缺乏拓扑不变性视觉推理。
2026-10-01 cs.AI cs.CV
Single Image based Head Pose Estimation with Spherical Parameterization and 3D Morphing
Shandong University（山东大学）；City University of Hong Kong（香港城市大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
头部姿态估计在各种应用中起着至关重要的作用，例如，本文结合驾驶辅助系统、人机交互、虚拟现实等技术，提出了一种新的基于几何的人脸姿态估计算法。具体地，首先将来自预定义的3D面部模型的仅四个非共面特征点的直角坐标以及从2D面部图像自动/手动提取的对应特征点的直角坐标归一化以排除外部因素的影响（即，比例因子和平移参数）。然后，四个标准化的3D特征点被表示在以自身唯一确定的球体为基准的球坐标中。由于球面参数化，特征点的坐标可以沿直角坐标系中的所有三个方向有效地变形。最后，通过最小化归一化的2D特征点与变形的3D特征点的2D重投影之间的欧几里得距离来获得指示头部姿态的旋转矩阵。在两个流行的数据库，即，Point '04和Biwi Kinect的实验结果表明，与现有的基于几何的方法相比，该算法能够以更高的精度和更低的运行时间估计头部姿态。即使与最先进的基于学习的方法或具有额外深度信息的基于几何的方法相比，我们的算法仍然可以产生相当的性能。
2020-01-03 cs.CV eess.IV
FastV2C-HandNet: Fast Voxel to Coordinate Hand Pose Estimation with 3D Convolutional Neural Networks
Indian Institute of Information Technology Pune（印度信息技术学院浦那分院）
从单目深度图像中估计手部姿态一直是计算机视觉领域的一个重要且具有挑战性的问题。在本文中，我们提出了一种新的方法来估计3D手关节位置从2D深度图像。与以前的大多数方法不同，我们的模型从深度图像中捕获3D空间信息，从而更好地理解输入。我们对输入深度图进行体素化以捕获输入的3D特征，并执行3D数据增强以使我们的网络对真实世界的图像具有鲁棒性。我们的网络以端到端的方式进行训练，与其他方法相比，大大降低了时间和空间复杂度。通过大量的实验，我们表明，我们的模型优于国家的最先进的方法方面所需的时间训练和预测3D手关节位置。这使得我们的方法更适合于现实世界的手姿态估计场景。
2020-02-20 cs.CV cs.HC cs.LG
Ultrasound Plane Pose Regression: Assessing Generalized Pose Coordinates in the Fetal Brain
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS)（惠康/工程与物理科学研究理事会介入与外科科学中心（WEISS））；University College London (UCL)（伦敦大学学院（UCL））
本文基于CNN回归预测胎儿脑超声平面6D位姿，分析归一化参考系与配准质量影响，并通过数据增强和更大训练集将平移、旋转中位误差降至2.97 mm和6.63度。
2023-11-02 cs.AI cs.CV
W-PoseNet: Dense Correspondence Regularized Pixel Pair Pose Regression
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）；Peng Cheng Laboratory（鹏城实验室）
针对6D姿态估计受遮挡、光照等影响的难题，提出W-PoseNet算法，通过稠密对应正则化、像素对特征组合与软投票提升鲁棒性，在YCB-Video、LineMOD基准上性能优于现有最优方法。
2021-03-04 cs.CV cs.RO
PolarRec: Radio Interferometric Data Reconstruction with Polar Coordinate Representation
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；GZHU（广州大学）
PolarRec提出将射电干涉可见度数据转换为极坐标表示，并结合Transformer编码器、径向距离损失和按极角分组编码，在降低计算开销的同时实现更完整的高质量成像重建。
2023-11-27 astro-ph.IM cs.AI cs.CV
CoCPF: Coordinate-based Continuous Projection Field for Ill-Posed Inverse Problem in Imaging
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）
针对稀疏视图CT重建中隐式神经表示方法存在孔洞的不适定问题，提出CoCPF方法，通过条带体采样与可微渲染填补孔洞、优化场域，在多类数据集与设置下实现更优的2D/3D重建效果。
2024-06-21 cs.CV eess.IV
