Estimating 3D Camera Pose from 2D Pedestrian Trajectories
Carnegie Mellon University（卡内基梅隆大学）
我们考虑重新校准静态监控摄像机的3D姿态的任务，其姿态可能会由于外力而改变，例如鸟类，风，坠落物体或地震。传统上，当3D点已知时，可以使用2D到3D特征对应的PSPIRE（Perspective-n-Point，视角n点）方法来解决相机姿态估计。然而，3D点注释在现实世界的应用中并不总是可用的或实际的。我们提出了一种替代策略，用于提取3D信息，以解决通过使用行人轨迹的相机姿态。我们观察到，2D行人轨迹间接包含有用的3D信息，可用于推断相机姿态。为了利用这些信息，我们提出了一种数据驱动的方法，通过训练一个神经网络（NN）回归模型的直接映射从二维行人轨迹投影在图像平面上的三维相机姿态。我们证明，我们的回归训练只对合成数据可以直接应用于真实数据，从而消除了需要标记任何真实数据。我们评估我们的方法在六个不同的场景从市中心街道和DUKEMTMC数据集。我们的方法实现了$\sim50\%$的位置和方向预测精度相比，其他SOTA方法。
2020-01-02 cs.CV
Estimating Egocentric 3D Human Pose in Global Space
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Facebook Reality Labs（Facebook现实实验室）
使用单个鱼眼相机的以自我为中心的3D人体姿态估计最近变得流行，因为它允许在不受约束的环境中捕获广泛的日常活动，这对于使用外部相机的传统由外向内运动捕获是困难的。然而，现有的方法有几个局限性。一个突出的问题是，所估计的姿势位于鱼眼相机的局部坐标系中，而不是在世界坐标系中，这对于许多应用是限制性的。此外，这些方法遭受有限的准确性和时间不稳定性，由于由单眼设置和严重遮挡在强烈扭曲的自我中心的角度引起的模糊性。为了解决这些局限性，我们提出了一种新的方法，使用一个单一的头戴式鱼眼相机的自我中心的全球3D身体姿态估计。为了实现准确和时间稳定的全局姿态，通过最小化热图重投影误差并强制执行从mocap数据集学习的局部和全局身体运动先验，在帧序列上执行时空优化。实验结果表明，我们的方法优于国家的最先进的方法在定量和定性。
2021-08-24 cs.CV
Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Facebook Reality Labs（Facebook现实实验室）
以自我为中心的3D人体姿态估计与一个单一的鱼眼相机最近引起了大量的关注。然而，现有的方法难以从野外图像中进行姿态估计，因为它们只能在合成数据上训练，这是由于大规模的野外自我中心数据集的不可用。此外，当身体部位被周围场景遮挡或与周围场景交互时，这些方法容易失败。为了解决野外数据短缺的问题，我们收集了一个大规模的野外自我中心数据集，称为野外自我中心姿势（Egocentric Poses in the Wild，EgoPW）。该数据集由头戴式鱼眼摄像头和辅助外部摄像头捕获，在训练期间从第三人称视角提供对人体的额外观察。我们提出了一种新的以自我为中心的姿态估计方法，该方法可以在弱外部监督的情况下在新数据集上进行训练。具体来说，我们首先生成伪标签的EgoPW数据集的时空优化方法，通过将外部视图的监督。然后，伪标签用于训练自我中心姿态估计网络。为了便于网络训练，我们提出了一种新的学习策略来监督自我中心的功能与高质量的特征提取的预训练的外部视图姿态估计模型。实验表明，我们的方法预测准确的3D姿态从一个单一的在野生自我中心的图像，并优于国家的最先进的方法在定量和定性。
2022-01-20 cs.CV
Joint Pose and Shape Estimation of Vehicles from LiDAR Data
Argo AI；Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
我们解决了从LiDAR扫描中估计车辆姿态和形状的问题，这是自动驾驶汽车社区面临的一个常见问题。最近的工作倾向于单独解决姿势和形状估计，尽管两者之间存在固有的联系。我们研究了一种联合估计形状和姿态的方法，其中学习了单个编码，可以以高效而有效的方式对形状和姿态进行解码。我们还介绍了一种新的联合姿态和形状损失，并表明这种联合训练方法产生更好的结果比独立训练的姿态和形状估计。我们评估我们的方法对合成数据和真实世界的数据，并显示出优越的性能对国家的最先进的基线。
2020-09-08 cs.CV
Estimating Human Poses Across Datasets: A Unified Skeleton and Multi-Teacher Distillation Approach
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；University of Kaiserslautern-Landau (RPTU)（凯泽斯劳滕-兰道大学）
针对跨数据集骨架标注不一致问题，提出结合多教师知识蒸馏与统一骨架表示的方法，联合训练COCO和MPII数据集预测21个关键点，显著提升了跨数据集泛化能力与准确率。
2024-05-30 cs.CV
SE(3)-PoseFlow: Estimating 6D Pose Distributions for Uncertainty-Aware Robotic Manipulation
Department of Computer Science, TU Darmstadt（图宾根大学计算机科学系）；Honda Research Institute Europe GmbH（本田欧洲研究院）；DFKI, Research Department SAIROL（德累斯顿人工智能研究所）
针对物体位姿估计中的歧义和多模态分布问题，提出基于SE(3)流形流匹配的概率框架SE(3)-PoseFlow，通过样本估计完整6D位姿分布以实现不确定性推理，并在多个基准上达到SOTA，成功应用于下游机器人操作任务。
2025-11-03 cs.CV cs.RO
VideoPose: Estimating 6D object pose from videos
Georgia Institute of Technology（佐治亚理工学院）
我们介绍了一个简单而有效的算法，使用卷积神经网络，直接估计视频对象的姿态。我们的方法利用了视频序列中的时间信息，并且计算效率高，鲁棒性强，可以支持机器人和AR领域。我们提出的网络采用预先训练的2D对象检测器作为输入，并通过递归神经网络聚合视觉特征，以在每帧进行预测。在YCB-Video数据集上的实验结果表明，该方法与现有算法相比具有较好的性能。此外，在30 fps的速度下，它也比现有技术更有效，因此适用于需要实时对象姿态估计的各种应用。
2021-11-20 cs.CV eess.IV
Estimating 6D Pose From Localizing Designated Surface Keypoints
在本文中，我们提出了一个准确而有效的解决方案，从RGB图像的6D姿态估计。我们的方法的核心是，我们首先指定一组表面点的目标对象模型作为关键点，然后训练一个关键点检测器（KPD）定位他们。最后利用关键点的2D-3D关系，采用Pestrian算法恢复出6D姿态。与最近最先进的基于CNN的方法不同，这些方法依赖于耗时的后处理过程，我们的方法可以在姿态预测后无需任何改进即可实现具有竞争力的准确性。与此同时，我们得到了30%的相对改善的ADD精度之间的方法，而不使用细化。此外，我们通过选择最有信心的关键点来恢复6D姿态，成功地处理了严重的遮挡。为了可重复性，我们将很快公开我们的代码和模型。
2018-12-04 cs.CV cs.GR
Estimating Pedestrian Moving State Based on Single 2D Body Pose
University of Minnesota（明尼苏达大学）
交叉或不交叉（C/NC）问题对于自动驾驶车辆（AV）的安全车辆/行人交互是重要的。然而，该问题设置经常忽略沿着车辆运动方向（LONG）行走的行人。为了提高无人驾驶汽车对行人行为的感知能力，我们迈出了将C/NC扩展到C/NC/LONG问题的第一步，并基于单个人体姿态识别行人。相比之下，以前的C/NC状态分类器依赖于多个姿势或上下文信息。我们提出的浅层神经网络分类器旨在快速识别这三种状态。我们在JAAD数据集上进行了测试，平均准确率为81.23%。此外，该模型可以与提供2D行人身体姿势的不同传感器和算法集成，以便能够在多种光线和天气条件下发挥作用。
2019-09-16 cs.CV cs.RO
Iterative Greedy Matching for 3D Human Pose Tracking from Multiple Views
University of Bonn（波恩大学）
在这项工作中，我们提出了一种方法来估计3D人体姿势的多个人从一组校准的相机。从多个视图估计3D人体姿势具有几个引人注目的特性：在全局坐标空间内估计人体姿势，并且多个相机提供扩展的视场，这有助于解决模糊性，遮挡和运动模糊。我们的方法建立在一个实时的2D多人姿态估计系统和greatly解决了多个视图之间的关联问题。我们利用二分匹配来跟踪多个人在多个帧。这证明是特别有效的，因为与贪婪匹配相关的问题，如遮挡，可以很容易地在3D中解决。我们的方法在流行的基准测试中取得了最先进的结果，并可作为未来工作的基线。
2021-01-24 cs.CV
Quantifying Epistemic Uncertainty in Absolute Pose Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）；Univrses AB（Univrses AB公司）
本文提出在变分框架下估计观测似然来量化绝对位姿回归模型的认知不确定性，统一处理观测歧义与重复结构下的概率定位，并在不确定性与预测误差关系建模上优于现有方法。
2025-04-09 cs.CV
Learning Dynamics from Kinematics: Estimating 2D Foot Pressure Maps from Video Frames
Kitware, Inc（Kitware公司）；The Pennsylvania State University（宾夕法尼亚州立大学）
姿势稳定性分析是理解运动和身体平衡控制的关键，在运动学，医学和机器人技术等众多领域都有应用。在生物力学中，压力中心（CoP）用于人体姿势控制和步态的研究。我们提出并验证了一种新的方法来学习CoP从人体的姿势，以帮助稳定性分析。更具体地说，我们提出了一个端到端的深度学习架构，从视频中导出的2D人体姿势中回归足部压力热图，从而回归CoP位置。我们已经收集了一组长（5分钟以上）编排的太极（太极）序列的多个科目同步脚的压力和视频数据。导出的人体姿势数据和相应的足部压力图共同用于训练具有残余结构的卷积神经网络，称为PressNET。跨主题验证结果显示PressNET的性能很有希望，显著优于K-最近邻的基线方法。此外，我们证明，我们从PressNET计算的压力中心（CoP）不仅比从基线方法获得的更准确，而且符合运动学稳定性研究的相应实验室测量的预期。
2019-05-28 cs.CV
Estimating Accurate Hand Pose in Camera Space with Vision Transformer
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对单目RGB手部姿态估计中的深度模糊和局部-全局耦合问题，提出变换同构监督与透视信息嵌入，结合帧率感知多数据集训练，在HO3D上CS-MJE指标提升最多37.1%。
2026-09-23 cs.AI cs.CV cs.GR
Real-Time ESFP: Estimating, Smoothing, Filtering, and Pose-Mapping
School of Engineering and Applied Science（工程与应用科学学院）；University of Pennsylvania（宾夕法尼亚大学）
本文提出 ESFP 端到端流水线，通过 ROMP 估计、HPSTM 平滑、不确定性滤波及几何重定向四个模块，将单目 RGB 视频转化为低成本 4-DoF 桌面机械臂的可执行关节轨迹。
2025-06-26 cs.CV cs.RO
From Kinematics To Dynamics: Estimating Center of Pressure and Base of Support from Video Frames of Human Motion
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Kitware, Inc（Kitware公司）；The Pennsylvania State University（宾夕法尼亚州立大学）
为了了解给定的人体姿势图像与人体主体的相应物理足部压力之间的关系，我们提出并验证了两种端到端的深度学习架构PressNet和PressNet-Simple，以从视频帧导出的2D人体姿势（运动学）回归足部压力热图（动态）。一个独特的视频和脚的压力数据集813,050同步对，由5分钟长的编排太极运动序列的6个科目，收集和用于leaving-one-subject-out交叉验证。我们的初步实验结果表明，可靠的和可重复的足部压力预测从一个单一的图像，设置这样一个复杂的跨模态映射问题在计算机视觉的第一个基线。此外，我们计算和定量验证中心的压力（CoP）和基地的支持（BoS）从预测的足部压力分布，获得关键组成部分的姿势稳定性分析的图像在运动学，医学，体育和机器人技术的潜在应用。
2020-01-02 cs.CV
Towards 3D Face Reconstruction in Perspective Projection: Estimating 6DoF Face Pose from Monocular Image
Alibaba Group（阿里巴巴集团）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
本文提出PerspNet深度网络，通过同时重建规范空间三维人脸并学习2D-3D对应关系来估计6DoF姿态，解决透视投影下的单图像三维人脸重建问题，并贡献了含90余万张图像的ARKitFace数据集，实验性能显著超越现有方法。
2023-05-17 cs.CV
GS-Pose: Generalizable Segmentation-based 6D Object Pose Estimation with 3D Gaussian Splatting
Tampere University（坦佩雷大学）；University of Oulu（奥卢大学）
本文提出GS-Pose统一框架，通过分阶段采用不同物体表示，结合3D高斯溅射优化6D物体姿态估计，在两个数据集上达到当前最优性能，支持用普通设备采集新物体。
2024-08-14 cs.CV
Focal Length and Object Pose Estimation via Render and Compare
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS（巴黎桥路学院、古斯塔夫·埃菲尔大学、法国国家科学研究中心信息、信号与系统实验室）；CIIRC CTU（捷克理工大学捷克信息学、机器人与控制论研究所）；ENS/Inria（巴黎高等师范学院/法国国家信息与自动化研究所）；Adobe Research（奥多比研究院）
我们介绍了FocalPose，这是一种神经渲染和比较方法，用于在给定单个RGB输入图像描绘已知对象的情况下联合估计相机对象6D姿态和相机焦距。这项工作的贡献是双重的。首先，我们推导出焦距更新规则，该规则扩展了现有的最先进的渲染和比较6D姿态估计器，以解决联合估计任务。其次，我们研究了几种不同的损失函数，用于联合估计物体的姿态和焦距。我们发现，结合直接焦距回归与重投影损失解开平移，旋转和焦距的贡献，导致改进的结果。我们展示了三个具有挑战性的基准数据集的结果，这些数据集描述了在不受控制的设置中的已知3D模型。我们证明了我们的焦距和6D姿态估计比现有的最先进的方法具有更低的误差。
2022-04-11 cs.CV
Estimating the Pose of a Euro Pallet with an RGB Camera based on Synthetic Training Data
Institute for Technical Logistics（技术物流研究所）；Hamburg University of Technology（汉堡工业大学）
估计托盘和其他物流对象的姿态对于各种用例至关重要，例如自动化物料处理或跟踪。计算机视觉、计算能力和机器学习的创新为基于摄像头和神经网络的无设备定位开辟了新的机会。训练网络需要具有注释姿态的大型图像数据集。手动注释，尤其是6D姿势的手动注释，是一个极其劳动密集型的过程。因此，较新的方法通常利用合成训练数据来自动化生成带注释的图像数据集的过程。在这项工作中，产生的合成训练数据的6D位姿估计托盘。然后，数据用于训练深度对象姿态估计（DOPE）算法。通过实验验证了该算法的可行性，证明了基于红绿蓝（RGB）相机的标准化欧式托盘6D位姿估计的可行性。在不同的照明条件下，从三个不同的数据集的结果的比较显示了适当的数据集设计的相关性，以实现准确和鲁棒的定位。定量评估显示，优选数据集的平均位置误差小于20 cm。公开提供了经过验证的训练数据集和欧洲托盘的真实感模型。
2022-10-12 cs.CV cs.SY eess.IV
From Correspondences to Pose: Non-minimal Certifiably Optimal Relative Pose without Disambiguation
I3A, University of Zaragoza（萨拉戈萨大学I3A研究所）
本文提出一种无需本质矩阵消歧的非最小相对位姿估计方法，将问题建模为QCQP并引入可认证全局最优约束，通过合成与真实实验验证其有效性、效率和准确性。
2024-03-27 cs.CV
Temporal-Aware Self-Supervised Learning for 3D Hand Pose and Mesh Estimation in Videos
University of California, Irvine（加州大学尔湾分校）；Tencent America（腾讯美国）；Amazon（亚马逊）；National Chiao Tung University（国立交通大学）
直接从RGB图像估计3D手部姿势具有挑战性，但最近通过使用注释的3D姿势训练深度模型取得了稳定进展。然而，注释3D姿势是困难的，因此只有少数3D手姿势数据集可用，所有样本都有限。在这项研究中，我们提出了一个新的框架，从RGB图像训练三维姿态估计模型，而不使用显式的三维注释，即，仅使用2D信息进行训练。我们的框架是由两个观察的动机：1）视频提供更丰富的信息，估计3D posesas而不是静态图像; 2）估计的3D poses应该是一致的，无论是在向前或反向顺序观看的视频。我们利用这两个方面来开发一个自监督学习模型，称为时间感知自监督网络（TASSN）。通过强制执行时间一致性约束，TASSN从仅具有2D关键点位置注释的视频中学习3D手部姿势和网格。实验表明，我们的模型取得了令人惊讶的好结果，3D估计精度与用3D注释训练的最先进的模型相当，突出了约束3D预测模型的时间一致性的好处。
2020-12-06 cs.CV
1-Point RANSAC-Based Method for Ground Object Pose Estimation
Qualcomm Korea YH（高通韩国YH）；XL8 Inc（XL8公司）
求解透视n点（Perspective-n-Point，简称PSPs）问题是一种传统的估计物体姿态的方法。给定离群污染的数据，在基于RANSAC的方案中，使用n = {3，4}的Pestrian算法来计算对象的位姿。然而，计算复杂性随着n而显著增加，并且高复杂性对应当实时的估计多个对象姿态的设备施加了严重的压力。在本文中，我们提出了一种有效的方法，基于1点RANSAC估计的地面上的物体的姿态。在所提出的方法中，通过使用地面对象假设和2D对象限界框作为附加观测，使用1-DoF参数化来计算姿态，从而在基于RANSAC的方法中实现最快的性能。此外，由于该方法遭受的额外信息的错误，我们提出了一个分层的鲁棒估计方法抛光一个粗略的姿态估计和发现更多的内点在一个由粗到细的方式。在人工数据集和真实数据集上的实验证明了该方法的优越性。
2021-06-10 cs.CV
Semi-Supervised 3D Hand-Object Poses Estimation with Interactions in Time
UC San Diego（加州大学圣迭戈分校）；NVIDIA（英伟达）
从单个图像估计3D手部和物体姿态是一个极具挑战性的问题：手部和物体在交互过程中经常会自我遮挡，并且3D注释很少，因为即使是人类也无法直接从单个图像中完美地标记地面实况。为了应对这些挑战，我们提出了一个统一的框架，估计三维手和物体构成半监督学习。我们建立了一个联合学习框架，我们执行明确的上下文推理之间的手和对象表示的Transformer。超越单一图像中有限的3D注释，我们利用大规模手部对象视频中的时空一致性作为半监督学习中生成伪标签的约束。我们的方法不仅提高了在具有挑战性的现实世界数据集中的手部姿态估计，而且还大大提高了每个实例具有更少地面真实值的对象姿态。通过使用大规模多样化的视频进行训练，我们的模型还可以更好地在多个域外数据集上进行推广。项目页面和代码：https://stevenlsw.github.io/Semi-Hand-Object
2021-06-09 cs.CV
The challenge of simultaneous object detection and pose estimation: a comparative study
University of Alcalá（阿尔卡拉大学）
检测物体并估计其姿态仍然是计算机视觉研究界的主要挑战之一。在定位对象和估计它们的视点之间存在折衷。理想情况下，检测器需要是视图不变的，而姿态估计过程应该能够向类别级别泛化。这项工作是对使用深度学习模型同时解决这两个问题的探索。为此，我们提出了三种新的深度学习架构，它们能够执行联合检测和姿态估计，在这里我们逐渐将这两项任务解耦。我们还研究了姿态估计问题是否应该作为分类或回归问题来解决，这仍然是计算机视觉界的一个悬而未决的问题。我们详细介绍了我们所有的解决方案和方法，目前定义了这个问题的最先进的比较分析。我们使用PASCAL3D+和ObjectNet3D数据集，提出了全面的实验评估和主要结果。通过所提出的模型，我们在两个数据集中实现了最先进的性能。
2018-01-24 cs.CV
A Simple Algebraic Solution for Estimating the Pose of a Camera from Planar Point Features
I3S, CNRS, Université Côte d’Azur（I3S、CNRS、法国埃克塞大学）；Insitut Universitaire de France（法国大学研究院）；INRIA Sophia Antipolis（Sophia Antipolis INRIA）；I3S Sophia Antipolis（Sophia Antipolis I3S）
本文提出一种分层代数方法，利用至少四个平面点特征及其方位测量，依次求解平面法向量、相机位置、距离和完整姿态，并通过平均化方法提升抗噪性，实验验证了其精度与鲁棒性。
2025-08-03 cs.CV cs.RO
Event-based Egocentric Human Pose Estimation in Dynamic Environment
Keio University（庆应义塾大学）；JST Presto（日本科学技术振兴机构先驱计划）
提出基于事件相机的自我中心人体姿态估计新任务及首个框架D-EventEgo，通过运动分割模块去除动态物体干扰，在合成数据集的五项指标中四项优于基线。
2025-05-28 cs.CV
SPnet: Estimating Garment Sewing Patterns from a Single Image
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出SPnet，从单张姿态用户图像通过两阶段方法（预测T姿态服装图像并估计缝纫版型参数）重建可自适应变形到任意姿态的三维服装，克服了直接重建导致新姿态下不自然的问题。
2023-12-26 cs.AI cs.CV
Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior
University of Leeds（利兹大学）；University of Tasmania（塔斯马尼亚大学）
针对动物录像缺乏标注的问题，提出一种基于合成姿态先验和生成对抗网络的自监督方法，实现无标注图像中的二维小鼠姿态估计，并在实验中展现出与监督方法相当的性能及跨物种适应性。
2023-07-25 cs.CV
Fine-Grained Head Pose Estimation Without Keypoints
Georgia Institute of Technology（佐治亚理工学院）
估计人的头部姿势是一个至关重要的问题，它具有大量的应用，例如帮助凝视估计，建模注意力，将3D模型拟合到视频和执行面部对齐。传统的头部姿态计算方法是从目标人脸中估计出一些关键点，然后用平均的人类头部模型解决2D到3D的对应问题。我们认为，这是一个脆弱的方法，因为它完全依赖于地标检测性能，无关的头部模型和一个特设的拟合步骤。我们提出了一种优雅而强大的方式来确定姿势，通过在300 W-LP（一个大型综合扩展数据集）上训练多损失卷积神经网络，通过联合分箱姿势分类和回归直接从图像强度预测固有欧拉角（偏航，俯仰和滚动）。我们目前的经验测试常见的野生姿态基准数据集，显示国家的最先进的结果。此外，我们在通常用于使用深度进行姿势估计的数据集上测试我们的方法，并开始缩小与最先进的深度姿势方法的差距。我们开源了我们的训练和测试代码，并发布了我们的预训练模型。
2018-04-13 cs.CV
Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement
UNIST（蔚山科学技术院）；eSmart Systems（eSmart系统公司）；Yeongnam Univ.（岭南大学）
从单目RGB图像中以网格的形式估计3D姿态和形状是具有挑战性的。显然，这比仅以骨架或热图的形式估计3D姿势更困难。当涉及交互的人时，由于人与人之间的遮挡引入的模糊性，3D网格重建变得更具挑战性。为了解决这些挑战，我们提出了一个从粗到细的流水线，该流水线受益于1）来自遮挡鲁棒的3D骨架估计的逆运动学和2）基于变换器的关系感知细化技术。在我们的管道中，我们首先从RGB图像中获得多个人的遮挡鲁棒3D骨架。然后，我们应用逆运动学将估计的骨架转换为可变形的3D网格参数。最后，我们应用基于transformer的网格细化，细化所获得的网格参数，考虑内部和人与人之间的3D网格的关系。通过大量的实验，我们证明了我们的方法的有效性，在3DPW，MuPoTS和AGORA数据集上的表现优于最先进的技术。
2022-10-30 cs.CV
Estimating Metric Poses of Dynamic Objects Using Monocular Visual-Inertial Fusion
Hong Kong University of Science and Technology（香港科技大学）；Tencent Inc（腾讯公司）
单目3D对象跟踪系统通常仅具有最大比例的姿态估计结果，而没有被跟踪对象的任何先验知识。在本文中，我们提出了一种新的想法来恢复度量尺度的任意动态对象，通过优化世界帧中的对象的轨迹，没有运动假设。通过在时域中引入一个额外的约束，我们的单目视觉惯性跟踪系统可以获得连续的六个自由度（6-DoF）的姿态估计没有尺度模糊。我们的方法既不需要固定的多相机也不需要深度传感器设置来实现尺度可观测性，相反，单目传感套件内的IMU为相机本身和跟踪对象提供尺度信息。我们建立在我们的单目视觉惯性系统（VINS）的顶部，以获得准确的状态估计的单目相机在世界帧的建议系统。整个系统由二维目标跟踪器、基于目标区域的视觉光束法平差（BA）、VINS和基于相关分析的尺度估计器组成。与地面实况的实验比较证明了我们的3D跟踪性能的跟踪精度，而移动增强现实（AR）演示显示了潜在应用的可行性。
2018-08-21 cs.CV cs.RO
EPOS: Estimating 6D Pose of Objects with Symmetries
Czech Technical University in Prague（布拉格捷克理工大学）；MTA SZTAKI（匈牙利科学院计算机科学与控制研究所）
我们提出了一种新的方法来估计6D姿态的刚性物体与可用的3D模型从一个单一的RGB输入图像。该方法适用于广泛的对象，包括具有全局或局部对称性的挑战性对象。一个对象是由紧凑的表面片段，允许处理对称性在一个系统的方式。密集采样的像素和片段之间的对应关系使用编码器-解码器网络进行预测。在每个像素处，网络预测：（i）每个对象存在的概率，（ii）给定对象存在的碎片的概率，以及（iii）每个碎片上的精确3D位置。每个像素选择数据相关数量的对应3D位置，并且使用PnP-RANSAC算法的鲁棒且高效的变体来估计可能的多个对象实例的姿态。在BOP Challenge 2019中，该方法在T-LESS和LM-O数据集上优于所有RGB和大多数RGB-D和D方法。在YCB-V数据集上，它优于所有竞争对手，比第二好的RGB方法有很大的优势。源代码位于：cmp.felk.cvut.cz/epos。
2020-04-01 cs.CV cs.LG cs.RO
Simultaneous Multi-View Camera Pose Estimation and Object Tracking with Square Planar Markers
Instituto Maimónides de Investigación Biomédica de Córdoba (IMIBIC)（科尔多瓦迈蒙尼德生物医学研究所）；Universidad de Córdoba（科尔多瓦大学）
对象跟踪是许多应用中的关键方面，例如医学中的增强现实（例如，跟踪手术器械）或机器人技术。方形平面标记已经成为流行的跟踪工具，因为它们的姿态可以从它们的四个角估计。虽然使用单个标记和单个相机相当大地限制了工作区域，但是使用附接到对象的多个标记需要估计它们的相对位置，这对于高精度跟踪来说不是微不足道的。同样，使用多个相机需要估计它们的外部参数，这也是一个每当相机移动时必须重复的繁琐过程。这项工作提出了一种新的方法，同时解决上述问题。从一个视频序列显示了一组刚性的平面标记记录从多个摄像机，所提出的方法是能够自动获得的三维配置的标记，外部参数的摄像机，和相对姿态之间的标记和摄像机在每一帧。我们的实验表明，我们的方法可以获得高度准确的结果，估计这些参数使用低分辨率相机。一旦获得参数，就可以以低计算成本实时的完成对对象的跟踪。所提出的方法是一个步骤，在开发具有成本效益的解决方案，用于对象跟踪。
2021-03-16 cs.CV
Deep Pose Consensus Networks
Seoul National University（首尔大学）；Hanyang University（汉阳大学）；Gachon University（嘉泉大学）
在本文中，我们解决的问题，从一个单一的图像，这是重要的，但难以解决，由于许多原因，如自遮挡，野生外观的变化，和固有的模糊性，从一个2D线索的3D估计的3D人体姿势估计。这些困难使问题不适定，这已经成为需要越来越复杂的估计，以提高性能。另一方面，大多数现有的方法试图处理这个问题的基础上，一个单一的复杂的估计，这可能不是很好的解决方案。在本文中，为了解决这个问题，我们提出了一个多部分假设为基础的框架，从一个单一的图像，它可以在一个端到端的方式进行微调估计三维人体姿势的问题。我们首先使用所提出的采样方案从人体关节模型中选择几个关节组，并基于深度神经网络分别估计每个关节组的3D姿态。之后，他们被聚合，以获得最终的3D姿态使用所提出的鲁棒优化公式。整个过程可以以端到端的方式进行微调，从而获得更好的性能。在实验中，该框架显示了流行的基准数据集，即Human3.6M和HumanEva的最先进的性能，这证明了该框架的有效性。
2019-10-07 cs.CV
EPOCH: Jointly Estimating the 3D Pose of Cameras and Humans
University of Trento（特伦托大学）；Epic Games（Epic Games公司）
本文提出EPOCH框架，通过LiftNet和RegNet联合估计相机参数与人体三维姿态，利用完整透视相机模型建立无歧义的二维-三维关系，并在Human3.6M和MPI-INF-3DHP上取得最优结果。
2024-06-28 cs.CV cs.GR cs.LG
Handbook on Leveraging Lines for Two-View Relative Pose Estimation
ETH Zurich（苏黎世联邦理工学院）；Microsoft Mixed Reality and AI Zurich lab（微软苏黎世混合现实与人工智能实验室）
本文提出融合点、直线及其重合关系的混合双视图相对位姿估计框架，配套多灭点对应估计与多模态光束法平差，在室内外数据集上以相近速度显著优于基于点的方法。
2023-09-27 cs.CV
3D Hand Shape and Pose Estimation from a Single RGB Image
Nanyang Technological University（南洋理工大学）；Wormpex AI Research（Wormpex AI研究院）；Snap Inc.（Snap公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
这项工作解决了一个新的和具有挑战性的问题，估计完整的3D手的形状和姿势从一个单一的RGB图像。现有的基于单目RGB图像的三维手部分析方法大多只关注手部关键点的三维位置估计，不能完整地表达手部的三维形状。相比之下，我们提出了一种基于图卷积神经网络（图CNN）的方法来重建一个完整的3D网格的手表面，包含更丰富的信息的3D手的形状和姿态。为了训练具有完全监督的网络，我们创建了一个包含地面真实3D网格和3D姿态的大规模合成数据集。当在没有3D地面实况的真实世界数据集上微调网络时，我们提出了一种弱监督方法，即利用深度图作为训练中的弱监督。通过对我们提出的新数据集和两个公共数据集的广泛评估，我们表明，我们提出的方法可以产生准确和合理的3D手部网格，并可以实现优越的3D手部姿态估计精度时，与国家的最先进的方法相比。
2019-04-20 cs.CV
MDN-VO: Estimating Visual Odometry with Confidence
University of Surrey（萨里大学）
视觉里程计（VO）用于许多应用中，包括机器人和自主系统。然而，基于特征匹配的传统方法在计算上是昂贵的，并且不直接解决故障情况，而是依赖于探试法来检测故障。在这项工作中，我们提出了一个基于深度学习的VO模型，以有效地估计6自由度的姿态，以及这些估计的置信度模型。我们利用CNN - RNN混合模型从图像序列中学习特征表示。然后，我们采用混合密度网络（MDN）估计相机运动的高斯混合物，基于提取的时空表示。我们的模型使用姿势标签作为监督的来源，但以无监督的方式获得不确定性。我们在KITTI和nuScenes数据集上评估了所提出的模型，并报告了大量的定量和定性结果，以分析姿态和不确定性估计的性能。我们的实验表明，该模型超过了国家的最先进的性能，除了使用预测的姿势不确定性检测故障情况。
2021-12-23 cs.CV cs.RO
Hand Pose Estimation via Latent 2.5D Heatmap Regression
NVIDIA Research（英伟达研究院）；University of Bonn（波恩大学）
手的三维姿态估计是人机交互的重要组成部分。随着计算机视觉的最新进展，使用深度或多视图传感器估计3D姿态已经变得更容易，然而，从单个RGB图像回归姿态要不那么简单。主要的困难来自于3D姿态需要某种形式的深度估计的事实，这在仅给出RGB图像的情况下是模糊的。在本文中，我们提出了一种新的方法，通过一个新的2.5D姿态表示从单目图像的3D手姿态估计。我们的新表示估计构成了一个缩放因子，如果给出了手的大小的先验，则可以额外估计。我们隐式地学习深度图和热图分布与一个新的CNN架构。我们的系统在存在严重遮挡的情况下，在几个具有挑战性的数据集上实现了2D和3D手部姿势的最新估计。
2018-04-25 cs.CV cs.LG
Efficient Minimal Solvers for Visual-Inertial Relative Pose Estimation in Multi-Camera Systems
Naval Aviation University（海军航空大学）；National University of Defense Technology（国防科技大学）
提出两种基于IMU先验的最小求解器，仅需4个点对应，将多相机相对位姿问题简化为单变量6次多项式，显著降低计算复杂度，在RANSAC框架中表现优异。
2026-06-08 cs.CV
Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation
在自然的对话和互动中，我们的手经常重叠或相互接触。由于手的均匀外观，这使得从图像估计交互手的3D姿态变得困难。在本文中，我们证明了自相似性，以及由此产生的模糊性，在分配像素观察到各自的手和他们的部分，是最终的3D姿态误差的主要原因。出于这种见解，我们提出了DIGIT，一种新的方法，用于估计从一个单目图像的两个相互作用的手的3D姿态。该方法由两个交织的分支，处理成一个每像素的语义部分分割掩模和视觉特征量的输入图像。与之前的工作相比，我们没有将分割与姿态估计阶段解耦，而是直接在下游姿态估计任务中利用每像素概率。为此，将部分概率与视觉特征合并，并通过全卷积层进行处理。我们的实验表明，该方法实现了新的国家的最先进的性能InterHand2.6M数据集。我们提供了详细的消融研究，以证明我们的方法的有效性，并提供深入了解像素所有权的建模如何影响3D手部姿势估计。
2021-11-28 cs.CV
DeepHMap++: Combined Projection Grouping and Correspondence Learning for Full DoF Pose Estimation
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，利用卷积神经网络（CNN）估计对象实例的6D姿态受到了相当大的关注。根据是否使用中间线索，相关文献可以大致分为两大类：直接方法和两阶段管道。对于后者，中间线索，如3D对象坐标，语义关键点，或虚拟控制点，而不是姿态参数回归CNN在第一阶段。然后，可以通过用这些中间线索构造的对应约束来求解对象姿态。在本文中，我们专注于两阶段流水线的后处理，并提出结合两个学习概念来估计具有挑战性的场景下的物体姿态：一边是投影分组，另一边是对应学习。我们首先采用一种基于局部补丁的方法来预测投影热图，它表示3D包围盒角点投影的置信度分布。然后提出了一个投影分组模块，以从每层热图中去除冗余的局部最大值。代替直接将2D-3D对应关系馈送到透视n点（Perspective-n-point，PPENS）算法，多个对应关系假设从局部最大值及其对应的邻域中采样，并通过对应关系评估网络进行排名。最后，选择具有较高置信度的对应关系来确定对象姿态。在三个公共数据集上的大量实验表明，所提出的框架优于几种最先进的方法。
2019-04-29 cs.CV
Facial Information Analysis Technology for Gender and Age Estimation
KyungPook National University（庆北国立大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
这是对用于估计性别和年龄的面部信息分析技术的研究，并且使用相机坐标系和用于估计面部图像的姿势的世界坐标系之间的变换关系矩阵来估计姿势。与年龄估计相比，性别分类相对简单，并且使用基于深度学习的面部识别技术使年龄估计成为可能。提出了一种比较性的CNN，使用购买的数据库和公共数据库计算实验结果，基于深度学习的性别分类和年龄估计在显著水平上进行，与现有的机器学习技术相比，对环境变化更鲁棒。
2021-11-17 cs.CV
Pushing the Envelope for RGB-based Dense 3D Hand Pose Estimation via Neural Rendering
Imperial College London（帝国理工学院）；UNIST（蔚山科学技术院）
由于固有的2D-3D映射模糊性和有限的训练数据，从单个RGB图像估计3D手部网格具有挑战性。我们采用了一个紧凑的参数化三维手模型，代表可变形和关节手网格。为了实现RGB图像的模型拟合，我们在三个方面进行了研究和贡献：1）神经渲染：受最近人体工作的启发，我们的手部网格估计器（HME）由神经网络和可微分渲染器实现，由2D分割掩码和3D骨架监督。HME在估计不同的手形方面表现出良好的性能，并提高了姿态估计精度。2)迭代测试细化：我们的拟合函数是可微的。我们使用梯度迭代地改进初始估计，本着迭代模型拟合方法（如ICP）的精神。这一想法得到了最新人体研究的支持。3)自数据增强：收集用于训练的大小的RGB网格（或分割掩码）-骨架三元组是一个很大的障碍。一旦模型成功地拟合到输入RGB图像，它的网格，即形状和关节，是真实的，我们在估计的密集手部姿势之上增加视点。使用三个基于RGB的基准测试的实验表明，我们的框架在3D姿态估计方面提供了超越最先进的精度，并恢复了密集的3D手部形状。上述每个技术组件都有意义地提高了消融研究的准确性。
2019-04-09 cs.CV
A Structure-Aware Method for Direct Pose Estimation
University of Kentucky（肯塔基大学）；DZYNE Technologies（DZYNE技术公司）
从单幅图像中估计摄像机的姿态是计算机视觉中的一个基本问题。解决这个问题的现有方法分为两个不同的类别，我们称之为直接和间接。直接方法，如PoseNet，从图像中回归姿态作为固定函数，例如使用前馈卷积网络。这样的方法是可取的，因为它们是确定性的，并在恒定的时间内运行。姿势回归的间接方法通常是不确定的，具有各种外部依赖性，例如图像检索和假设采样。我们提出了一种直接的方法，从基于结构的方法的灵感，将明确的3D约束到网络。我们的方法保持了其他直接方法的理想品质，同时实现了更低的误差。
2020-12-22 cs.CV
Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Czech Technical University in Prague（布拉格捷克理工大学）；Université de Toulouse（图卢兹大学）
在本文中，我们介绍了一种方法来自动重建一个人与一个物体从一个单一的RGB视频的3D运动。我们的方法估计的3D姿态的人连同对象的姿态，接触位置和接触力施加在人体上。这项工作的主要贡献有三个方面。首先，我们介绍了一种方法来共同估计的运动和驱动力的人对被操纵的对象建模接触和动态的相互作用。这是一个大规模的轨迹优化问题。其次，我们开发了一种方法，可以从输入视频中自动识别人与物体或地面之间接触的2D位置和时间，从而大大简化了优化的复杂性。第三，我们在最近的视频+MoCap数据集上验证了我们的方法，该数据集捕捉了典型的跑酷动作，并在一个新的互联网视频数据集上展示了它的性能，该数据集显示人们在不受约束的环境中操纵各种工具。
2021-11-02 cs.CV
Improving Head Pose Estimation with a Combined Loss and Bounding Box Margin Adjustment
Tohoku University（东北大学）；Riken Center for AIP（理化学研究所AIP中心）
我们解决了一个问题，估计一个人的头部构成从其RGB图像。在最近的工作中，使用CNN解决这个问题有助于显著提高准确性。然而，我们表明，以下两种方法，尽管它们的简单，可以实现进一步的改进：（i）适当调整的边缘检测到的脸的限界框，和（ii）选择的损失函数。我们表明，这两种方法的集成实现了新的国家的最先进的标准基准数据集在野外头部姿态估计。
2019-05-14 cs.CV
FocalPose++: Focal Length and Object Pose Estimation via Render and Compare
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（布拉格捷克技术大学捷克信息学、机器人与控制研究所）；Reality Labs, Meta Platforms（元平台公司现实实验室）；Adobe Research（奥多比研究院）；LIGM, École des Ponts, UGE, CNRS（巴黎路桥学院LIGM实验室、巴黎东部大学、法国国家科学研究中心）
FocalPose++提出一种神经渲染与比较方法，联合估计单张RGB图像中物体的6D姿态和相机焦距，通过新的焦距更新规则和组合损失函数，在三个基准数据集上实现了优于现有方法的精度。
2024-11-06 cs.CV
Zero-Shot Peg Insertion: Identifying Mating Holes and Estimating SE(2) Poses with Vision-Language Models
Institute of Science Tokyo（科学东京学院）；Mitsubishi Electric（三菱电机）
本文提出一种基于视觉-语言模型的零样本销钉插入框架，无需任务特定训练即可识别配合孔并估计 SE(2) 位姿，在多种未见物体上达到 90.2% 识别准确率和 88.3% 真实插入成功率。
2025-03-08 cs.AI cs.CV cs.RO
VolNet: Estimating Human Body Part Volumes from a Single RGB Image
Technical University of Munich（慕尼黑工业大学）；Audi AG（奥迪股份公司）
从单个RGB图像中估计人体体积是一个具有挑战性的问题，尽管研究界的关注很少。然而，VolNet，一种利用2D和3D姿态估计、从单个2D RGB图像中提取的身体部位分割和体积回归与受试者的身体高度相结合的架构，可以用于估计总身体体积。VolNet旨在预测2D和3D姿势以及中间任务中的身体部位分割。我们生成了一个合成的，大规模的人体照片级逼真图像数据集，具有广泛的身体形状和逼真的姿势，称为SURREALvols。通过使用Volnet并将多个堆叠的沙漏网络与ResNeXt相结合，我们的模型在约82%的情况下正确预测了体积，公差阈值为10%。与BodyNet等最先进的解决方案（成功率仅为~38%）相比，这是一个相当大的改进。
2021-07-05 cs.AI cs.CV cs.LG
Monocular Rotational Odometry with Incremental Rotation Averaging and Loop Closure
School of Computer Science, University of Adelaide（阿德莱德大学计算机科学学院）
估计相机的绝对方位对于姿态估计任务是必不可少的。已建立的方法是首先执行视觉里程计（VO）或视觉SLAM（V-SLAM），并且从由VO或V-SLAM估计的相机姿态（6 DOF）检索相机取向（3 DOF）。除了在估计全6 DOF相机姿态中的冗余之外，该方法的一个缺点是由于对结构和运动的基本约束而对估计地图（3D场景点）连同6 DOF姿态的依赖性。为了简化绝对方向估计的任务，我们制定了单目旋转里程计问题，并设计了一个快速算法，以准确地估计相机的方向与2D-2D特征匹配单独。支撑我们的系统是一个新的增量旋转平均快速和恒定时间迭代更新方法。此外，我们的系统维护视图图，其1）允许求解环路闭合以移除相机定向漂移，以及2）可用于热启动V-SLAM系统。我们在真实世界的数据集上进行了大量的定量实验，以证明我们的增量相机方向求解器的准确性。最后，我们展示了我们的算法对V-SLAM的好处：1）解决已知的旋转问题来估计相机和周围地图的轨迹，以及2）使V-SLAM系统能够跟踪纯旋转运动。
2020-10-05 cs.CV
Car Pose in Context: Accurate Pose Estimation with Ground Plane Constraints
Johns Hopkins University（约翰斯·霍普金斯大学）
场景上下文是对场景内的对象的几何形状的强大约束，在诸如监视的情况下，其中相机几何形状是未知的并且图像质量可能是差的。在本文中，我们描述了一种方法，用于估计汽车在场景中的姿势与地面，支持他们。我们制定这作为一个联合优化，占不同的汽车形状使用统计图集，并同时计算几何和内部摄像机参数。我们证明，这种方法产生了显着的改善，汽车姿态估计，我们表明，所产生的3D几何，当计算的视频序列，使得有可能提高最先进的汽车行为的分类。我们还表明，引入平面约束，使我们能够以可靠的方式估计相机焦距。
2019-12-09 cs.CV
LSPnet: A 2D Localization-oriented Spacecraft Pose Estimation Neural Network
LMO
据建议，能够估计空间中不合作物体的姿态是能够进行空间会合、在轨维修和主动清除碎片等安全近距离作业的一项关键资产。姿态估计的基本方法涉及经典的基于计算机视觉的解决方案或深度学习（DL）技术的应用。本工作探讨了一种新的DL为基础的方法，使用卷积神经网络（CNN），估计的姿态不合作的航天器。与其他方法相反，所提出的CNN直接回归姿势，而不需要任何先前的3D信息。此外，图像中航天器的边界框以简单而有效的方式进行预测。所进行的实验显示了这项工作如何与最先进的非合作航天器姿态估计进行竞争，包括需要3D信息的工作以及通过复杂的CNN预测边界框的工作。
2021-08-23 cs.CV cs.LG
A Divide et Impera Approach for 3D Shape Reconstruction from Multiple Views
University of Bologna（博洛尼亚大学）；Google Inc.（谷歌公司）；Technische Universität München（慕尼黑工业大学）
由于最近由深度学习推动的突破，从单个或多个图像中估计物体的3D形状已经越来越受欢迎。大多数方法以规范姿势回归完整的对象形状，可能基于学习的先验知识外推被遮挡的部分。然而，他们的观点不变的技术往往放弃了从输入图像中可见的独特结构。相比之下，本文提出了依赖于通过合并来自给定视图的可见信息的视点变体重建。我们的方法分为三个步骤。从物体的稀疏视图开始，我们首先通过估计所有对之间的相对姿态将它们对齐到一个公共坐标系中。然后，受传统体素雕刻的启发，我们从图像上的轮廓和它们的相对姿态生成对象的占用网格。最后，我们改进初始重建以构建一个干净的3D模型，该模型保留了每个视点的细节。为了验证所提出的方法，我们对ShapeNet参考基准进行了相对姿态估计和3D形状重建方面的综合评估。
2020-11-18 cs.CV
