Beyond Weak Perspective for Monocular 3D Human Pose Estimation
Amazon Lab126（亚马逊 Lab126）
我们考虑的任务的三维关节的位置和方向预测从单目视频与皮肤多人线性（SMPL）模型。我们首先推断2D关节位置与现成的姿态估计算法。我们使用SPIN算法，并从深度回归神经网络中估计身体姿势、形状和相机参数的初始预测。然后，我们坚持SMPLify算法，该算法接收这些初始参数，并对其进行优化，以便从SMPL模型推断的3D关节将适合2D关节位置。该算法涉及3D关节到2D图像平面的投影步骤。传统的方法是遵循弱透视假设，使用特设焦距。通过在3D Poses in the Wild（3DPW）数据集上的实验，我们证明了使用全透视投影，正确的相机中心和近似的焦距，可以提供良好的结果。我们的算法已经在3DPW挑战赛中获胜，在关节定位精度方面达到第一名。
2020-09-14 cs.CV
Lifting from the Deep: Convolutional 3D Pose Estimation from a Single Image
University College London（伦敦大学学院）；The Turing Institute（图灵研究所）；The University of Edinburgh（爱丁堡大学）
我们提出了一个统一的公式，从一个单一的原始RGB图像的原因，共同对2D联合估计和3D姿态重建，以提高这两个任务的3D人体姿态估计的问题。我们采取了一种综合的方法，将3D人体姿势的概率知识与多级CNN架构融合在一起，并使用合理的3D地标位置的知识来改进对更好的2D位置的搜索。整个过程是端到端训练的，非常有效，并在Human3.6M上获得了最先进的结果，在2D和3D错误方面都优于以前的方法。
2017-10-11 cs.CV
A simple yet effective baseline for 3d human pose estimation
University of British Columbia（不列颠哥伦比亚大学）；Body Labs Inc.（Body Labs公司）
在深度卷积网络取得成功之后，用于3d人体姿态估计的最先进方法集中在深度端到端系统上，该系统在给定原始图像像素的情况下预测3d关节位置。尽管它们表现出色，但通常不容易理解它们剩余的错误是否源于有限的2d姿势（视觉）理解，或者未能将2d姿势映射到三维位置。为了理解这些误差来源，我们开始构建一个系统，给定2d关节位置预测3d位置。令我们非常惊讶的是，我们发现，利用当前的技术，“提升”地面真实2D关节位置到3D空间是一项可以以非常低的出错率解决的任务：相对简单的深度前馈网络在Human3.6M上的表现优于最好的报告结果约30%，Human3.6M是最大的公开可用的3D姿态估计基准。此外，在现成的最先进的2D检测器（\ie，使用图像作为输入）的输出上训练我们的系统会产生最先进的结果-这包括专门为此任务进行端到端训练的系统阵列。我们的研究结果表明，现代深度三维姿态估计系统的大部分误差源于他们的视觉分析，并建议进一步推进三维人体姿态估计的最新技术水平的方向。
2017-08-04 cs.CV
Human Pose Estimation using Deep Consensus Voting
Weizmann Institute of Science（魏茨曼科学研究所）
在本文中，我们考虑的问题，人体姿态估计从一个单一的静止图像。我们提出了一种新的方法，其中图像中的每个位置使用卷积神经网络为每个关键点的位置投票。投票方案允许我们利用来自整个图像的信息，而不是依赖于稀疏的关键点位置集。使用密集的多目标投票，不仅可以产生良好的关键点预测，还可以通过查看共识投票来计算图像相关的联合关键点概率。这与大多数以前的方法不同，其中联合概率是从相对关键点位置学习的，并且与图像无关。最后，我们结合关键点投票和联合概率，以确定最佳的姿势配置。我们在MPII人体姿势和利兹运动姿势数据集上展示了我们的竞争性能。
2016-03-27 cs.CV cs.LG
Exploiting temporal information for 3D pose estimation
University of British Columbia（不列颠哥伦比亚大学）
在这项工作中，我们解决了3D人体姿态估计的问题，从一个序列的2D人体姿势。尽管深度网络最近的成功已经导致许多用于3D姿态估计的最先进方法端到端地训练深度网络以直接从图像进行预测，但性能最好的方法已经显示了将3D姿态估计任务分为两个步骤的有效性：使用最先进的2D姿态估计器从图像估计2D姿态，然后将其映射到3D空间。他们还表明，像一组关节的2D位置这样的低维表示可以足够有区别地以高精度估计3D姿态。然而，由于每个帧中的独立误差导致抖动，对各个帧的3D姿态的估计导致时间上不相干的估计。因此，在这项工作中，我们利用跨序列的2D关节位置的时间信息来估计序列的3D姿态。我们设计了一个序列到序列网络，它由层规范化的LSTM单元组成，具有将输入连接到解码器端输出的快捷连接，并在训练期间施加时间平滑度约束。我们发现，时间一致性的知识将Human3.6M数据集上的最佳报告结果提高了约$12.2\%$，并帮助我们的网络在图像序列上恢复时间一致的3D姿态，即使2D姿态检测器失败。
2018-09-12 cs.CV
Associative Embedding: End-to-End Learning for Joint Detection and Grouping
University of Michigan（密歇根大学）；Tsinghua University（清华大学）
我们介绍了关联嵌入，一种新的方法，监督卷积神经网络的检测和分组的任务。许多计算机视觉问题可以以这种方式来构建，包括多人姿态估计、实例分割和多对象跟踪。通常，检测的分组是通过多级管道实现的，相反，我们提出了一种方法，教导网络同时输出检测和分组分配。这种技术可以很容易地集成到任何最先进的网络架构中，产生逐像素的预测。我们展示了如何将此方法应用于多人姿态估计和实例分割，并报告了MPII和MS-COCO数据集上多人姿态的最新性能。
2017-06-09 cs.CV
DiffPose: Multi-hypothesis Human Pose Estimation using Diffusion models
Linköping University（林雪平大学）
传统上，单目3D人体姿态估计采用机器学习模型来预测给定输入图像的最可能的3D姿态。然而，单个图像可能是高度模糊的，并且引起2D-3D提升步骤的多个合理的解决方案，这导致过度自信的3D姿态预测器。为此，我们提出了\emph{DiffPose}，一个有条件的扩散模型，预测一个给定的输入图像的多个假设。与类似的方法相比，我们的扩散模型是简单的，避免了密集的超参数调整，复杂的网络结构，模式坍塌，和不稳定的训练。此外，我们解决了常见的两步方法的问题，即首先通过关节式热图估计2D关节位置的分布，并基于一阶矩或二阶矩统计数据连续近似它们。由于热图的这种简化删除了关于可能正确的有效信息，尽管标记为不太可能，关节位置，我们建议将热图表示为一组2D关节候选样本。为了从这些样本中提取有关原始分布的信息，我们引入了我们的\emph{embedding transformer}，它制约了扩散模型。在实验中，我们表明，DiffPose稍微提高了最先进的多假设姿态估计简单的姿势，并优于它的高度模糊的姿势的大幅度。
2022-11-29 cs.CV
A Simple Method to Boost Human Pose Estimation Accuracy by Correcting the Joint Regressor for the Human3.6m Dataset
University of British Columbia（不列颠哥伦比亚大学）
许多人体姿态估计方法估计皮肤多人线性（SMPL）模型，并从这些SMPL估计回归人体关节。在这项工作中，我们表明，最广泛使用的SMPL联合线性层（联合回归）是不准确的，这可能会误导姿态评估结果。为了实现更精确的联合回归，我们提出了一种方法来创建伪地面实况SMPL姿势，然后可以用来训练改进的回归。具体来说，我们优化了来自最先进方法的SMPL估计，使其投影与场景中人类的轮廓以及地面真实2D关节位置相匹配。虽然由于缺乏实际的地面实况SMPL，这种伪地面实况的质量很难评估，但使用人类3.6米数据集，我们定性地表明我们的关节位置更准确，并且我们的回归量导致测试集上的姿态估计结果得到改善，而无需进行任何重新训练。我们在https://github.com/ubc-vision/joint-regressor-refinement上发布了我们的代码和联合回归器
2022-04-29 cs.CV
PoseRN: A 2D pose refinement network for bias-free multi-view 3D human pose estimation
Kyushu University（九州大学）；Osaka University（大阪大学）；Microsoft Corp（微软公司）
我们提出了一个新的2D姿态细化网络，学习预测估计的2D姿态中的人类偏见。由于基于注释者感知的2D关节位置的注释与由运动捕获（MoCap）系统定义的那些注释之间的差异，2D姿态估计中存在偏差。这些偏差被制作成公开可用的2D姿态数据集，并且不能用现有的误差减少方法来消除。我们提出的姿态细化网络使我们能够有效地消除人类偏见的估计2D姿态，实现高度准确的多视图3D人体姿态估计。
2021-07-07 cs.CV
Joint Multi-Person Pose Estimation and Semantic Part Segmentation
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
人体姿态估计和语义部分分割是计算机视觉中两个相辅相成的任务。在本文中，我们建议解决这两个任务联合自然多人图像，其中估计的姿态提供对象级形状之前，正则化部分段，而部分级段约束的姿态位置的变化。具体来说，我们首先训练两个完全卷积神经网络（FCN），即Pose FCN和Part FCN，以提供姿势联合潜力和语义部分潜力的初始估计。然后，细化姿态关节位置，这两种类型的潜力融合与一个完全连接的条件随机场（FCRF），其中一个新的段关节平滑项是用来鼓励零件和关节之间的语义和空间的一致性。为了细化零件段，通过零件FCN集成细化的姿态和原始零件潜力，其中来自姿态的骨架特征用作零件段的附加正则化线索。最后，为了降低FCRF的复杂性，我们引入了人类检测框并推断每个框内的图形，使推理速度提高了40倍。由于没有包含部分片段和姿势标签的数据集，我们使用人体姿势关节扩展了PASCAL VOC部分数据集，并进行了大量的实验，将我们的方法与几种最新的策略进行比较。我们表明，在这个数据集上，我们的算法在这两项任务中都大大优于竞争方法。
2017-08-10 cs.CV
Combining detection and tracking for human pose estimation in videos
AWS Rekognition
我们提出了一种新的自上而下的方法，解决了多人的人体姿态估计和跟踪视频中的问题。与现有的自上而下的方法相比，我们的方法不受其人检测器的性能限制，可以预测未本地化的人实例的姿势。它通过在时间上向前和向后传播已知的人的位置并搜索这些区域中的姿势来实现这种能力。我们的方法由三个部分组成：（i）一个剪辑跟踪网络，同时对小视频剪辑进行身体关节检测和跟踪;（ii）一个视频跟踪管道，将剪辑跟踪网络产生的固定长度轨迹合并为任意长度的轨迹;以及（iii）一个时空合并过程，根据空间和时间平滑项细化关节位置。由于我们的剪辑跟踪网络和我们的合并过程的精度，我们的方法产生非常准确的联合预测，并可以修复常见的错误在困难的情况下，如严重纠缠的人。我们的方法在PoseTrack 2017和2018数据集以及所有自上而下和自下而下的方法上实现了联合检测和跟踪的最新结果。
2020-03-30 cs.CV
Fashion Apparel Detection: The Role of Deep Convolutional Neural Network and Pose-dependent Priors
University of Maryland, College Park（马里兰大学帕克分校）；eBay Research（eBay研究院）
在这项工作中，我们提出并解决了一个新的计算机视觉的任务，我们称之为时尚项目检测，其目的是检测各种时尚项目的人在图像中穿着或携带。我们在这项工作中考虑的时尚物品的类型包括帽子，眼镜，包，裤子，鞋等。时尚物品的检测可以是时尚行业各种电子商务应用的重要的第一步。我们的方法基于最先进的目标检测方法管道，该管道将对象建议方法与深度卷积神经网络相结合。由于时尚物品的位置与身体关节位置的位置具有很强的相关性，因此我们将来自身体姿势的上下文信息结合起来，以提高检测性能。通过实验验证了该方法的有效性。
2016-01-24 cs.CV
Human Pose Estimation using Global and Local Normalization
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
在本文中，我们解决了估计人体关节位置的问题，即，关节姿态估计。最近的最先进的解决方案模型的两个关键问题，联合检测和空间配置细化，一起使用卷积神经网络。我们的工作主要集中在空间配置细化，通过减少统计上的变化的人的姿态，这是由观察到，分散分布的相对位置的关节，左手腕几乎均匀地分布在左肩周围的圆形区域中）使得卷积空间模型的学习变得困难。我们提出了一个两阶段的归一化方案，人体归一化和肢体归一化，使相对关节位置的分布紧凑，从而更容易学习卷积空间模型和更准确的姿态估计。此外，我们的实证结果表明，将多尺度监督和多尺度融合到联合检测网络是有益的。实验结果表明，我们的方法始终优于国家的最先进的方法的基准。
2017-09-21 cs.CV
PoseLifter: Absolute 3D human pose lifting network from a single noisy 2D human pose
Kwangwoon University（光云大学）；Seoul National University（首尔国立大学）
该研究提出了一种新的网络（即，PoseLifter），其可以在相机坐标系中将2D人体姿势提升到绝对3D姿势。与现有的姿态提升方法相比，所提出的网络估计目标对象的绝对3D位置，并生成改进的3D相对姿态估计。使用PoseLifter与2D姿态估计器以级联方式可以从单个RGB图像估计3D人体姿态。在这种情况下，我们凭经验证明，使用真实的2D姿态与2D身体关节的真实误差分布合成，大大提高了我们的PoseLifter的性能。所提出的方法被应用到公共数据集，以实现最先进的2D到3D姿态提升和3D人体姿态估计。
2020-03-13 cs.CV
Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition
University of Rochester（罗切斯特大学）；Bytedance AI Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一个新的解决方案，三维人体姿态估计视频。我们从人体骨骼解剖学中得到启发，将任务分解为骨方向预测和骨长度预测，而不是直接回归3D关节位置，从而可以完全导出3D关节位置。我们的动机是人类骨骼的骨长度在不同时间保持一致。这促使我们开发有效的技术来利用视频中所有帧的全局信息进行高精度的骨长度预测。此外，对于骨骼方向预测网络，我们提出了一种具有长跳跃连接的全卷积传播架构。从本质上讲，它分层预测不同骨骼的方向，而不使用任何耗时的存储单元（例如LSTM）。进一步引入新的关节移位损失来桥接骨长度和骨方向预测网络的训练。最后，我们采用了一种隐式的注意力机制，将2D关键点可见性分数作为额外的指导馈送到模型中，这大大减轻了许多具有挑战性的姿势中的深度模糊性。我们的完整模型在Human3.6M和MPI-INF-3DHP数据集上的表现优于以前的最佳结果，综合评估验证了我们模型的有效性。
2021-01-26 cs.CV
Efficient 2D to Full 3D Human Pose Uplifting including Joint Rotations
University of Augsburg（奥格斯堡大学）
针对体育分析中3D人体关节位置与旋转捕捉的需求，提出一种高效的2D到3D提升模型，直接估计含关节旋转的3D人体姿态，解决了现有方法计算成本高或精度低的问题，性能优于基于IK的方法和HMR模型。
2025-04-14 cs.CV
Location-Sensitive Visual Recognition with Cross-IOU Loss
University of Chinese Academy of Sciences（中国科学院大学）；Huawei Inc（华为公司）；Huazhong University of Science and Technology（华中科技大学）
目标检测、实例分割和姿态估计是流行的视觉识别任务，其需要通过内部或边界界标来定位目标。本文将这些任务归纳为位置敏感视觉识别，并提出了一个统一的解决方案，命名为位置敏感网络（LSNet）。LSNet以深度神经网络为主干，预测一个锚点和一组地标，它们共同定义了目标对象的形状。优化LSNet的关键在于拟合各种尺度的能力，为此，我们设计了一种新的损失函数，称为交叉IOU损失，该损失函数计算每个锚点-地标对的交叉IOU，以近似预测和地面实况之间的全局IOU。灵活定位和准确预测的地标也使LSNet能够整合更丰富的上下文信息进行视觉识别。在MS-COCO数据集上进行评估，LSNet为无锚目标检测（53.5%的框AP）和实例分割（40.2%的掩模AP）设置了新的最先进的准确性，并在检测多尺度人体姿势方面表现出良好的性能。代码可在https://github.com/Duankaiwen/LSNet上获得
2021-04-11 cs.CV
Map-Mono-Ego: Map-Grounded Global Human Pose Estimation from Monocular Egocentric Video
Keio University（庆应大学）；National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院）
本文提出Map-MonoEgo框架，通过利用预扫描的3D点云实现从单目摄像头获得的全局一致的人体姿态估计，并引入AIST-Living数据集，证明该方法在无需专用硬件的情况下能有效提升日常监控任务的实用性。
2026-05-20 cs.CV
Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation
New York University（纽约大学）
本文提出了一种新的混合架构，由深度卷积网络和马尔可夫随机场。我们展示了这种架构是如何成功地应用于具有挑战性的问题，关节的人在单目图像的姿态估计。该架构可以利用结构域约束，例如身体关节位置之间的几何关系。我们表明，这两个模型范例的联合训练提高了性能，并使我们能够显着优于现有的最先进的技术。
2014-09-17 cs.CV
3D Human Pose Estimation in Multi-View Operating Room Videos Using Differentiable Camera Projections
Centre for Artificial Intelligence, Meander Medisch Centrum（米德尔医疗中心人工智能中心）；University of Twente（特文特大学）
本文提出利用可微摄像机投影，通过3D损失端到端训练2D CNN，直接优化多视角手术室视频中的3D人体姿态估计，在MVOR数据集上优于2D空间优化方法。
2022-10-21 cs.CV
Learning Heatmap-Style Jigsaw Puzzles Provides Good Pretraining for 2D Human Pose Estimation
University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics（地平线机器人）；Harbin Institute of Technology（哈尔滨工业大学）
二维人体姿态估计的目标是从输入的二维图像中定位人体部位的关键点。最先进的姿态估计方法通常从关键点构建像素级热图作为学习卷积神经网络的标签，卷积神经网络通常随机初始化或使用ImageNet上的分类模型作为其骨干。我们注意到，2D姿态估计任务高度依赖于图像块之间的上下文关系，因此我们引入了一种自监督的方法来预训练2D姿态估计网络。具体来说，我们提出了热图式拼图（HSJP）问题作为我们的预文本任务，其目标是学习每个补丁的位置，从一个由洗牌补丁组成的图像。在我们的预训练过程中，我们只使用MS-COCO中的人实例的图像，而不是引入额外的更大的ImageNet数据集。设计了一种热图式的斑块定位标签，学习过程采用非对比的方式。通过HSJP prefect任务学习的权重被用作2D人体姿态估计器的骨干，然后在MS-COCO人体关键点数据集上进行微调。使用两个流行且强大的2D人体姿势估计器HRNet和SimpleBaseline，我们在MS-COCO验证和测试开发数据集上评估mAP评分。我们的实验表明，使用我们的自我监督预训练的下游姿态估计器比从头开始训练的姿态估计器获得了更好的性能，并且与使用ImageNet分类模型作为其初始主干的姿态估计器相当。
2020-12-13 cs.CV
DeepSportLab: a Unified Framework for Ball Detection, Player Instance Segmentation and Pose Estimation in Team Sports Scenes
UCLouvain（鲁汶大学）；SportRadar AG（SportRadar公司）
本文提出了一个统一的框架，（i）定位球，（ii）预测的姿态，（iii）分割的团队运动场景中的球员的实例面具。这些问题在自动化体育分析，制作和广播中具有很高的兴趣。一种常见的做法是通过利用通用的最先进的模型\eg、Panoptic-DeepLab来单独解决每个问题。除了由单任务模型的倍增导致的增加的复杂性之外，由于团队运动场景的复杂性和特异性，例如强遮挡和运动模糊，使用现成模型也阻碍了性能。为了克服这些局限性，我们提出了一个训练单一的模型，同时预测球和球员面具和姿势相结合的部分强度场和空间嵌入原则。部分强度字段提供球和球员位置，以及球员关节位置。然后利用空间嵌入将玩家实例像素与其各自的玩家中心相关联，但也将玩家关节分组为骨架。我们在DeepSport篮球数据集上证明了所提出的模型的有效性，实现了与单独处理每个任务的SoA模型相当的性能。
2021-12-01 cs.CV
Unsupervised Object Representation Learning using Translation and Rotation Group Equivariant VAE
Simons Machine Learning Center（西蒙斯机器学习中心）；New York Structural Biology Center（纽约结构生物学中心）
在许多成像模态中，感兴趣对象可以以各种位置和姿态出现（即，经受2d或3d中的平移和旋转），但是对象的位置和姿态不改变其语义（即，对象的本质）。也就是说，卫星图像中飞机的特定位置和旋转，或自然图像中椅子的3d旋转，或低温电子显微照片中粒子的旋转，不会改变这些物体的内在性质。在这里，我们考虑的问题，学习语义表示的对象是不变的姿势和位置在一个完全无监督的方式。我们在以前的方法来解决这个问题，通过引入目标VAE，平移和旋转组等变变分自编码器框架的缺点。TARGET-VAE结合了三个核心创新：1）旋转和平移组等变编码器架构，2）潜在旋转，平移和旋转-平移不变语义对象表示的结构分解分布，它们由近似推理网络联合推断，以及3）空间等变生成器网络。在全面的实验中，我们表明，TARGET-VAE在没有监督的情况下学习解缠表示，显着改善，并避免了以前的方法的病态。当在被旋转和平移严重破坏的图像上训练时，TARGET-VAE学习到的语义表示与在一致姿势的对象上学习到的语义表示相似，从而大大提高了语义潜在空间中的聚类。此外，TARGET-VAE能够执行非常准确的无监督姿势和位置推断。我们预计像TARGET-VAE这样的方法将成为未来无监督对象生成、姿态预测和目标检测的基础。
2023-01-03 cs.CV cs.LG
Beyond Physical Connections: Tree Models in Human Pose Estimation
Nanjing University of Science and Technology（南京理工大学）；National ICT Australia (NICTA)（澳大利亚国家信息与通信技术研究院（NICTA））
在过去的十年里，用于铰接对象的简单树模型盛行。然而，还认为这些简单的树模型不能够在许多场景中捕获大的变化，诸如人类姿势估计。本文试图解决三个问题：1）简单的树模型足够吗？2）如何有效地利用树模型进行人体姿态估计？（3）如何有效地利用组合件和单件？假设我们有一组单个部分和组合部分，目标是估计它们位置的联合分布。我们惊讶地发现，在Leeds Sport Dataset（LSP）中，在学习用于可变形模型的潜在树的过程中没有引入潜在变量，其目的是使用最小树结构来近似身体部位位置的关节分布。这表明可以直接使用单个和组合部分的混合表示来近似它们在简单树模型中的联合分布。因此，只需要构建组合部分的视觉类别，然后对学习的潜在树进行推理。我们的方法在LSP上的表现优于现有技术，无论是在训练图像来自同一数据集还是来自PARSE数据集的情况下。来自VOC挑战的动物图像实验进一步支持了我们的发现。
2013-05-10 cs.CV
Learning to Fuse 2D and 3D Image Cues for Monocular Body Pose Estimation
EPFL（洛桑联邦理工学院）
最新的单目3D人体姿态估计方法依赖于深度学习。它们通常涉及从图像直接回归到3D关节坐标或从其推断3D坐标的2D关节位置。这两种方法都有各自的优点和缺点，因此，我们提出了一种新的架构，旨在提供最好的两个世界，同时执行和融合的信息。我们框架的核心是一个可训练的融合方案，它学习如何最佳地融合信息，而不是手工设计。这在标准3D人体姿态估计基准上的最新技术水平上产生了显著的改进。
2017-04-10 cs.CV
3D Object Detection and Pose Estimation of Unseen Objects in Color Images with Local Surface Embeddings
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；LaBRI（波尔多计算机科学研究实验室）；Siemens Corporate Technology（西门子企业技术部）；LIGM（几何与图像实验室）；IMAGINE（图像、建模、分析、几何与计算机视觉实验室）；Ecole des Ponts（巴黎综合理工学院桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）
我们提出了一种用于检测和估计图像中对象的3D姿态的方法，该方法只需要无纹理的CAD模型，并且不需要新对象的训练阶段。我们的方法结合了深度学习和3D几何：它依赖于嵌入局部3D几何来匹配CAD模型和输入图像。对于物体表面的点，这种嵌入可以直接从CAD模型中计算出来;对于图像位置，我们可以从图像本身中预测。这建立了CAD模型上的3D点与输入图像的2D位置之间的对应关系。然而，这些对应关系中的许多是模糊的，因为许多点可能具有相似的局部几何形状。我们表明，我们可以以类不可知的方式使用Mask-RCNN来检测新对象，而无需重新训练，从而大大限制了可能的对应关系的数量。然后，我们可以使用RANSAC类算法从这些区别性对应中鲁棒地估计3D姿态。我们在T-LESS数据集上展示了这种方法的性能，通过使用少量对象来学习嵌入并在其他对象上进行测试。实验结果表明，该方法与已有方法相比，具有较好的性能。
2020-10-08 cs.CV
ProbPose: A Probabilistic Approach to 2D Human Pose Estimation
Visual Recognition Group（视觉识别组）；Department of Cybernetics（cybernetics系）；Faculty of Electrical Engineering（电气工程学院）；Czech Technical University in Prague（布拉格捷克技术大学）
针对现有2D人体姿态估计模型忽略图像外关键点、热图未校准的问题，提出概率方法ProbPose，配套新数据集和评估指标，提升了内外关键点定位精度与边缘鲁棒性。
2024-12-03 cs.CV
Self-supervised Learning of Pose Embeddings from Spatiotemporal Relations in Videos
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；IWR, Heidelberg University（海德堡大学跨学科科学计算中心）
人体姿势分析目前由深度卷积网络主导，该网络通过对关节位置及其他位置的大量手动注释进行训练。为了避免昂贵的标签的需要，我们利用时空关系的训练视频的姿态嵌入的自监督学习。其关键思想是将时间排序和空间位置估计相结合，作为学习Siamese卷积网络中姿势相似性的辅助任务。由于从自然视频中对两个任务进行自监督采样可能会导致模糊和不正确的训练标签，因此我们的方法采用了课程学习的思想，即从最可靠的数据样本开始训练，并逐渐增加难度。为了进一步完善训练过程，我们挖掘了单个视频中的重复姿势，这些姿势提供了可靠的标签，同时消除了不一致。我们的姿势嵌入捕捉人体姿势的视觉特征，可以提高现有的监督表示在人体姿势估计和检索。我们在奥林匹克运动会，利兹姿势运动和MPII人体姿势数据集中报告了这些任务的定量和定性结果。
2017-08-07 cs.CV
Zero-shot Human Pose Estimation using Diffusion-based Inverse solvers
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出InPose方法，通过预训练扩散模型和旋转测量条件，解决人体姿态估计中用户体型差异导致的泛化问题。
2026-05-12 cs.CV cs.HC cs.LG
Exploiting Offset-guided Network for Pose Estimation and Tracking
Beijing Laboratory of Advanced Information Networks（北京先进信息网络实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；Horizon Robotics（地平线机器人）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于深度学习的发展，人体姿态估计已经取得了重大进展。最近的人体姿态估计方法倾向于直接预测位置热图，这会导致量化误差，并且不可避免地在减少的网络输出内降低性能。为了解决这个问题，我们重新审视了热图偏移聚合方法，并提出了偏移引导网络（OGN），该网络具有直观但有效的融合策略，用于两阶段姿态估计和Mask R-CNN。对于两阶段姿态估计，还提出了一种贪婪盒生成策略，以保持更多的必要候选人，同时执行人检测。对于掩码R-CNN，采用比率一致性来提高网络的泛化能力。COCO和PoseTrack数据集上的最新结果验证了我们的偏移引导姿态估计和跟踪的有效性。
2019-06-04 cs.CV
Slot3R: Set-Associative Spatial Memory for Streaming 3D Reconstruction
Westlake AGI Lab（西湖AGI实验室）
Slot3R是一种无需训练的组关联空间记忆改造，冻结Point3R骨干网络，在300-500帧时显著降低点云精度误差与绝对轨迹误差，且内存效率优于Point3R和InfiniteVGG。
2026-10-09 cs.CV
Lighter Stacked Hourglass Human Pose Estimation
人体姿态估计（HPE）是计算机视觉中最具挑战性的任务之一，因为人体天生是可变形的，因此其姿态具有如此大的变化。HPE旨在正确识别给定图像或视频中单个人或多个人的主要关节位置。在图像或视频中定位人的关节是可以应用于动作识别和对象跟踪的重要任务。与许多计算机视觉任务一样，慧与在该领域引入深度学习后取得了巨大进步。在本文中，我们关注Newell等人提出的HPE基于深度学习的方法之一，他们称之为堆叠沙漏网络。他们的方法被广泛应用于许多应用中，被认为是这一领域的最佳作品之一。他们的方法的主要重点是在所有可能的尺度上捕获尽可能多的信息，以便对局部特征和全身位置进行连贯的理解。他们的研究结果表明，重要的线索，如一个人的方向，四肢的排列，和相邻关节的相对位置，可以从多个尺度在不同的分辨率。为此，他们使用单个管道来处理多个分辨率的图像，其中包括一个跳过层，以避免丢失每个分辨率的空间信息。图像的分辨率可以低至4x4，以确保包含更小的空间特征。在这项研究中，我们研究了结构修改对网络计算速度和准确性的影响。
2021-07-28 cs.CV eess.IV
MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision
Boston University（波士顿大学）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
在深度学习时代，迄今为止，来自具有未知校准的多个相机的人体姿态估计很少受到关注。我们展示了如何训练神经模型以高精度和最小延迟开销执行此任务。所提出的模型考虑了由于多个视图的遮挡而导致的关节位置不确定性，并且仅需要2D关键点数据进行训练。我们的方法在成熟的Human3.6M数据集以及更具挑战性的野外Ski-Pose PTZ数据集上的性能优于经典束法平差和弱监督单目3D基线。
2021-11-25 cs.CV cs.LG
Composite Localization for Human Pose Estimation
现有的人体姿态估计方法由于学习目标的复杂性而面临着长距离回归不准确或计算代价高的问题。这项工作提出了一种新的深度学习框架，用于人体姿态估计，称为复合定位，将复杂的学习目标分为两个简单的目标：一个稀疏的热图，以找到关键点的近似位置和两个短距离的offsetmaps，以获得其最终的精确坐标。为了实现该框架，我们构建了两种类型的复合定位网络：CLNet-ResNet和CLNet-Hourglass。我们在三个基准数据集上评估了网络，包括Leeds Sports Pose数据集、MPII Human Pose数据集和COCO关键点检测数据集。实验结果表明，我们的CLNet-ResNet 50优于SimpleBaseline的1.14%，约1/2 GFLOPs。我们的CLNet-Hourglass在COCO上的性能比原来的堆叠沙漏高出4.45%。
2021-05-15 cs.AI cs.CV
Learning from Pattern Completion: Self-supervised Controllable Generation
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Peking University（北京大学）；Xi’an Jiaotong University（西安交通大学）；University of Chinese Academy of Science（中国科学院大学）
受大脑皮层模块化与海马体模式补全启发，提出自监督可控生成框架SCG，通过等变约束实现模块功能特化，以模式补全训练获得联想生成能力，较ControlNet更鲁棒且可扩展。
2024-11-07 cs.AI cs.CV
An Occluded Stacked Hourglass Approach to Facial Landmark Localization and Occlusion Estimation
University of California San Diego（加利福尼亚大学圣地亚哥分校）
驾驶员安全的关键步骤是观察驾驶员的活动，其中面部是提取信息的关键步骤，例如头部姿势，眨眼率，打哈欠，与乘客交谈，然后可以帮助获得更高级别的信息，例如分心，困倦，意图以及他们在看什么。在驾驶安全的背景下，重要的是系统在强光和遮挡下执行鲁棒估计，而且还能够检测何时发生遮挡，使得可以适当地考虑从面部的遮挡部分预测的信息。本文介绍了Occluded Stacked Hourglass，基于原始Stacked Hourglass网络用于身体姿势联合估计的工作，对其进行重新训练以处理检测到的面部窗口并输出68个遮挡热图，每个热图对应于一个面部地标。从这些热图中提取地标位置、遮挡水平和细化的面部检测分数，以拒绝误报。使用面部标志位置，可以提取诸如头部姿势和眼睛/嘴巴张开度的特征以导出驾驶员注意力和活动。该系统进行了评估的人脸检测，头部姿态，并在野外的各种数据集上的遮挡估计，定量和定性，并显示国家的最先进的结果。
2018-02-05 cs.CV stat.ML
Tracking People by Predicting 3D Appearance, Location & Pose
UC Berkeley（加州大学伯克利分校）
在本文中，我们提出了一种方法来跟踪人在单目视频中，通过预测他们未来的3D表示。为了实现这一目标，我们首先以稳健的方式将人从单个帧提升到3D。该提升包括关于人的3D姿势、他或她在3D空间中的位置以及3D外观的信息。当我们跟踪一个人时，我们会在tracklet表示中收集随时间变化的3D观察结果。考虑到我们观察的3D性质，我们为前面的每个属性构建时间模型。我们使用这些模型来预测轨迹的未来状态，包括3D位置，3D外观和3D姿态。对于未来的帧，我们以概率的方式计算轨迹片段的预测状态与单帧观测之间的相似性。关联通过简单的匈牙利匹配来解决，匹配用于更新相应的tracklet。我们根据各种基准评估我们的方法，并报告最先进的结果。
2021-12-08 cs.CV
Human Head Pose Estimation by Facial Features Location
University of Maryland（马里兰大学）
我们描述了一种方法，用于估计人的头部姿势在彩色图像中，包含足够的信息来定位头部轮廓和检测非平凡的颜色边缘的个人面部特征。该方法的工作原理是通过在任意背景上定位人的头部，提取头部轮廓，并在3D空间中定位描述头部方向所需的面部特征。它是足够强大的工作与彩色和灰度图像具有准正面视图的人的头部在可变的照明条件下。
2015-10-09 cs.CV
CLIFF: Carrying Location Information in Full Frames into Human Pose and Shape Estimation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自上而下的方法在3D人体姿势和形状估计领域占据主导地位，因为它们与人体检测脱钩，使研究人员能够专注于核心问题。然而，裁剪，他们的第一步，从一开始就丢弃了位置信息，这使得他们无法准确预测原始相机坐标系中的全局旋转。为了解决这个问题，我们建议在这个任务中携带全帧位置信息（CLIFF）。具体来说，我们饲料更多的整体功能CLIFF连接裁剪图像功能与其限界框信息。我们用更广泛的全帧视图计算2D重投影损失，采用与图像中投影的人类似的投影过程。由全球位置感知信息提供和监督，CLIFF直接预测全球旋转以及更准确的关节姿势。此外，我们提出了一个基于CLIFF的伪地面实况注释器，它为野外2D数据集提供高质量的3D注释，并为基于回归的方法提供关键的全面监督。在流行的基准测试上进行的大量实验表明，CLIFF的性能明显优于现有技术，并在AGORA排行榜（SMPL-Algorithms赛道）上排名第一。代码和数据可在https://github.com/huawei-noah/noah-research/tree/master/CLIFF上获得。
2022-09-21 cs.CV
CamLoc: Pedestrian Location Detection from Pose Estimation on Resource-constrained Smart-cameras
University Politehnica of Bucharest（布加勒斯特理工大学）；The University of Edinburgh（爱丁堡大学）
节能硬件技术的最新进展正在推动我们在物联网（IoT）领域的指数增长，在数据生成源附近执行更普遍的计算。一系列执行本地检测的智能设备和应用正在出现（活动识别、健身监测等）。从而带来明显的优点，例如减少检测等待时间以改善与设备的交互，以及通过不离开设备来保护用户数据。视频处理对于物联网领域的许多新兴应用和数据标签具有实用性。然而，在互联网的边缘用深度神经网络执行这种视频处理并不简单。在本文中，我们表明，使用深度神经网络的行人位置估计是在有限的计算资源的固定摄像机上实现的。我们的方法使用姿势估计的关键身体点检测扩展行人骨架时，整个身体不在图像中（被障碍物遮挡或部分帧外），这实现了更好的位置估计性能（infrence时间和内存足迹）相比，拟合一个限界框在行人和缩放。我们收集了一个相当大的数据集，包括来自一个和两个监控摄像头从不同角度指向场景的视频中的2100多帧，并在42个不同的活动和遮挡场景中，用图像中人的确切位置注释每个帧。我们将我们基于姿态估计的位置检测与流行的检测算法YOLOv2进行比较，用于重叠边界框生成，我们的解决方案在嵌入式设备的资源能力范围内以一半的内存占用实现了更快的推理时间（15倍加速），这表明CamLoc是智能相机视频中位置估计的有效解决方案。
2018-12-28 cs.CV
Two-hand Global 3D Pose Estimation Using Monocular RGB
Brigham Young University（杨百翰大学）
我们解决了具有挑战性的任务，估计全球3D关节位置的双手通过只有单目RGB输入图像。我们提出了一种新的基于多级卷积神经网络的流水线，该流水线准确地分割和定位手，尽管双手之间的遮挡和复杂的背景噪声，并且在没有任何深度信息的情况下估计2D和3D规范关节位置。全局关节相对于摄像机原点的位置计算使用的手姿态估计和关键骨的实际长度与一种新的投影算法。为了训练CNN来完成这项新任务，我们引入了一个大规模的合成3D手部姿势数据集。我们证明了我们的系统优于以前的作品3D规范的手姿态估计基准数据集与RGB的唯一信息。此外，我们提出了第一个工作，实现准确的全球3D手跟踪双手使用RGB的唯一输入，并提供广泛的定量和定性评估。
2020-08-25 cs.CV
GPRAR: Graph Convolutional Network based Pose Reconstruction and Action Recognition for Human Trajectory Prediction
University of Colorado Denver（科罗拉多大学丹佛分校）
高精度预测对于自动驾驶等各种应用至关重要。现有的预测模型很容易在现实世界的环境中出现错误，其中观察（例如人类姿势和位置）通常是嘈杂的。为了解决这个问题，我们引入了GPRAR，一个基于图卷积网络的姿态重建和动作识别的人体轨迹预测。GPRAR的核心思想是在噪声场景下生成鲁棒的特征：人体姿势和动作。为此，我们设计了GPRAR使用两个新的子网络：PRAR（姿态重建和动作识别）和FA（特征聚合器）。PRAR的目标是同时重建人体姿态和动作特征的连贯性和结构特性的人体骨骼。它是一个编码器和两个解码器的网络，每个解码器包括多层时空图卷积网络。此外，我们提出了一个功能聚合器（FA）通道聚合学习的功能：人体姿势，动作，位置和相机运动使用基于编码器-解码器的时间卷积神经网络预测未来的位置。在常用数据集上进行的广泛实验：JAAD [13]和TITAN [19]显示GPRAR的准确性优于最先进的模型。具体而言，GPRAR在JAAD和TITAN数据集上的噪声观测下分别将预测精度提高了22%和50
2021-03-25 cs.CV
HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud
Sungkyunkwan University（成均馆大学）；ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）；INSAIT；College of Information and Communication Engineering, Sungkyunkwan University（成均馆大学信息与通信工程学院）
本文提出HandDiff扩散模型，以图像-点云为条件迭代去噪生成3D手部关键点，并通过关节级与局部细节条件解决排列映射和精确定位难题，在四个基准上显著优于现有方法。
2024-04-04 cs.CV
Location-guided Head Pose Estimation for Fisheye Image
School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）；Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）；Brigham Young University（杨百翰大学）
针对鱼眼图像畸变导致头部姿态估计性能下降的问题，提出利用头部位置进行多任务学习的端到端 CNN，无需校正或标定即可直接估计，并在三个鱼眼畸变数据集上验证了精度提升。
2024-04-10 cs.AI cs.CV
Segmentation-driven 6D Object Pose Estimation
EPFL（洛桑联邦理工学院）
估计刚性对象的6D姿态的最新趋势是训练深度网络，以直接从图像回归姿态或预测3D关键点的2D位置，可以使用Pestrian算法从3D关键点获得姿态。在这两种情况下，对象被视为一个全球实体，并计算一个单一的姿态估计。因此，所得到的技术可能容易受到大的遮挡。在本文中，我们引入了一个分割驱动的6D姿态估计框架，其中对象的每个可见部分以2D关键点位置的形式贡献局部姿态预测。然后，我们使用预测的置信度来将这些姿态候选者组合成一组强大的3D到2D对应关系，从中可以获得可靠的姿态估计。我们在具有挑战性的Occluded-LINEMOD和YCB-Video数据集上的表现优于最先进的技术，这证明我们的方法可以很好地处理多个纹理不良的对象相互遮挡。此外，它依赖于一个足够简单的架构来实现实时性能。
2019-04-06 cs.CV
MirrorCalib: Utilizing Human Pose Information for Mirror-based Virtual Camera Calibration
McMaster University（麦克马斯特大学）
针对镜面场景下真实与虚拟相机视角无重叠难标定的问题，提出MirrorCalib方法，结合人体姿态与改进八点算法、RANSAC优化，实现了优于现有方法的标定精度。
2024-05-17 cs.CV
LocPoseNet: Robust Location Prior for Unseen Object Pose Estimation
EPFL（洛桑联邦理工学院）；Magic Leap（魔法跃公司）；ClearSpace SA（ClearSpace SA公司）
LocPoseNet通过模板匹配与多尺度相关计算，结合解耦的平移估计器，为未见物体提供鲁棒位置先验，在LINEMOD和GenMOP上大幅超越现有方法。
2024-02-06 cs.CV cs.RO
Deep ChArUco: Dark ChArUco Marker Pose Estimation
Magic Leap, Inc.（Magic Leap公司）
ChArUco板用于机器人和增强现实中的相机校准、单目姿态估计和姿态验证。在光线充足的环境中，通过传统的计算机视觉方法（如OpenCV中所发现的）可以检测到这些基准点，但当照明不足或图像经历极端运动模糊时，经典方法就会失败。我们提出了Deep ChArUco，这是一个实时姿态估计系统，它将两个自定义深度网络ChArUcoNet和RefineNet与Perspective-n-Point（Pestrian）算法相结合，以估计标记的6DoF姿态。ChArUcoNet是一个双头标记特定卷积神经网络（CNN），它联合输出ID特定分类器和2D点定位。使用RefineNet将2D点定位进一步细化为子像素坐标。我们的网络使用目标标记的自动标记视频、合成子像素角点数据和极端数据增强的组合进行训练。我们在具有挑战性的低光，高运动，高模糊场景中评估了Deep ChArUco，并证明了我们的方法优于传统的基于OpenCV的ChArUco标记检测和姿态估计方法。
2019-07-02 cs.CV
Location Field Descriptors: Single Image 3D Model Retrieval in the Wild
Institute of Computer Graphics and Vision, Graz University of Technology, Austria（奥地利格拉茨工业大学计算机图形与视觉研究所）
我们提出了位置字段描述符，一种新的方法，在野外的单图像三维模型检索。与之前直接将3D模型和RGB图像映射到嵌入空间的方法相反，我们以位置字段的形式建立了一个通用的低级表示，我们从中计算姿态不变的3D形状描述符。位置字段对2D像素和3D表面坐标之间的对应关系进行编码，并且因此明确地捕获3D形状和3D姿态信息，而没有与任务无关的外观变化。这种3D模型和RGB图像的早期融合产生了三个主要优点：首先，瓶颈位置场预测在训练期间充当正则化器。其次，系统的主要部分受益于对几乎无限数量的合成数据的训练。最后，预测的位置字段是视觉上可解释的，并且使系统非黑盒化。我们在三个具有挑战性的现实世界数据集（Pix3D，Comp和Stanford）上评估了我们提出的方法，这些数据集具有不同的对象类别，并且在多个3D检索指标中的绝对值高达20%。
2019-08-07 cs.CV
Fast Single Shot Detection and Pose Estimation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；George Mason University（乔治梅森大学）
对于导航和机器人应用，估计物体的3D姿态与检测一样重要。姿态估计的许多方法依赖于检测或跟踪部件或关键点[11，21]。在本文中，我们构建了一个最新的用于滑动窗口检测的卷积网络[10]，以在Single Shot中提供检测和粗略的姿态估计，而无需检测部件或初始边界框的中间阶段。虽然不是第一个将姿态估计视为分类问题的系统，但这是第一次尝试使用深度学习方法在同一级别上组合检测和姿态估计。该架构的关键是一个深度卷积网络，其中对象类别的存在分数，其位置的偏移量以及近似姿态都是在图像中的规则网格位置上估计的。由此产生的系统与最近的姿态估计工作一样准确（Pascal 3D+上的42.4% 8 View mAVP [21]），并且速度更快（TITAN X GPU上的每秒46帧（FPS））。这种检测和粗略姿态估计的方法足够快速和准确，可以广泛应用于包括高精度姿态估计、对象跟踪和定位以及vSLAM在内的任务的预处理步骤。
2016-09-19 cs.CV
Face Detection in Repeated Settings
University of Maryland（马里兰大学）；Colorado State University（科罗拉多州立大学）
人脸检测是人脸验证和识别的重要第一步。在不受约束的设置中，由于姿势、照明、比例、背景和位置的变化，这仍然是一个开放的挑战。然而，为了验证的目的，我们可以对背景和位置进行控制。图像主要是在敏感建筑物的入口处、门前或背景不变的地方拍摄的。我们提出了一个基于相关性的人脸检测算法来检测人脸在这样的设置中，我们控制的位置，并离开照明，姿势和规模不受控制。在这些情况下，结果表明，我们的算法是容易和快速的训练，优于Viola和琼斯人脸检测精度和更快的测试。
2019-03-20 cs.CV
Matching 2-D Ellipses to 3-D Circles with Application to Vehicle Pose Estimation
从单个二维的图像中找到场景的全部或部分的三维表示是一项具有挑战性的任务。在本文中，我们提出了一种方法，用于识别的姿态和位置的物体与圆形突起的三维从一个单一的图像和三维表示或模型的对象的兴趣。要做到这一点，我们提出了一种新的技术，利用对象之间的强度差异和几何技术匹配的椭圆在2D中的一个圆在3D中的椭圆形快速，可靠地识别椭圆及其属性的方法。我们将这些技术应用于从单个图像确定车辆，特别是汽车的姿态和位置的具体问题。我们在人工生成的汽车图像上实现了出色的姿态恢复性能，并在真实车辆图像上显示出良好的效果。我们还利用椭圆检测方法从图像中识别出汽车车轮，具有很高的匹配成功率。
2009-12-18 cs.CV
L6DNet: Light 6 DoF Network for Robust and Precise Object Pose Estimation with Small Datasets
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；IRISA（法国信息与随机系统研究所）；CNRS（法国国家科学研究中心）
估计物体的3D姿态是一项具有挑战性的任务，可以在增强现实或机器人应用中考虑。在本文中，我们提出了一种新的方法来执行6自由度物体姿态估计从一个单一的RGB-D图像。我们采用了两个阶段的混合流水线：数据驱动和几何分别。数据驱动步骤包括分类CNN，用于从局部块估计图像中的对象2D位置，随后是回归CNN，其被训练以预测相机坐标系中的一组关键点的3D位置。为了提取姿态信息，几何步骤包括通过最小化配准误差将相机坐标系中的3D点与世界坐标系中的对应3D点对准，从而计算姿态。我们在标准数据集LineMod上的实验表明，我们的方法比最先进的方法更鲁棒和准确。通过视觉伺服实现了6自由度的定位。
2022-05-29 cs.CV
Learning Sequential Contexts using Transformer for 3D Hand Pose Estimation
Queen’s University（女王大学）
3D手部姿态估计（HPE）是根据任何视觉输入在3D中定位手部关节的过程。由于在各种人机交互应用中发挥的关键作用，HPE最近受到了越来越多的关注。最近的HPE方法已经证明了采用视频或多视图图像的优势，从而实现更强大的HPE系统。因此，在这项研究中，我们提出了一种新的方法来执行顺序学习与Transformer的手姿态（SeTHPose）估计。我们的SeTHPose管道首先从单个手部图像中提取视觉嵌入。然后，我们使用一个Transformer编码器来学习时间或视角的顺序上下文，并生成准确的2D手关节位置。然后，使用具有U-Net配置的图卷积神经网络将2D手关节位置转换为3D姿态。我们的实验表明，SeTHPose表现良好的手序列品种，时间和角度。此外，SeTHPose优于该领域的其他方法，在两个公共可用的序列数据集STB和MuViHand上获得了最新的结果。
2022-06-11 cs.CV
