Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而,没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中,我们提出了在视频的每一帧中估计3D姿态,并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性,提高了3D姿态估计精度。
2020-11-04 cs.CV
Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos
University of Bonn(波恩大学);RWTH Aachen(亚琛工业大学)
视频注释是昂贵且耗时的。因此,与用于人类姿态估计的大规模图像数据集相比,用于多人姿态估计和跟踪的数据集不太多样化并且具有更稀疏的注释。这使得学习用于跨帧关联关键点的基于深度学习的模型具有挑战性,这些模型对于多人姿势跟踪任务的干扰因素(例如运动模糊和遮挡)是鲁棒的。为了解决这个问题,我们提出了一种方法,依赖于关键点的对应关系相关联的人在视频中。不是训练网络来估计视频数据上的关键点对应关系,而是在大规模图像数据集上训练网络,以使用自我监督进行人体姿势估计。结合自上而下的人体姿态估计框架,我们使用关键点对应来(i)恢复错过的姿态检测(ii)跨视频帧关联姿态检测。我们的方法在PosTrack $2017$和PoseTrack $2018$数据集上实现了多帧姿态估计和多人姿态跟踪的最新结果。
2021-03-15 cs.CV
Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image
Seoul National University(首尔国立大学);Kwangwoon University(光云大学)
虽然最近在3D人体姿态估计方面取得了显着的改进,但大多数先前的方法仅处理单人情况。在这项工作中,我们首先提出了一个完全基于学习的,相机距离感知自顶向下的方法,从一个单一的RGB图像的三维多人姿态估计。所提出的系统的管道由人体检测,绝对三维人体根定位,根相对三维单人姿势估计模块。我们的系统实现了与最先进的3D单人姿势估计模型相当的结果,而无需任何地面实况信息,并且在公开数据集上显着优于以前的3D多人姿势估计方法。该代码可在https://github.com/mks0601/3DMPPE_ROOTNET_RELEASE、https://github.com/mks0601/3DMPPE_POSENET_RELEASE上获得。
2019-08-17 cs.CV
Car Segmentation and Pose Estimation using 3D Object Models
Johns Hopkins University(约翰斯·霍普金斯大学)
图像分割和三维姿态估计是任何场景理解算法中的两个关键环节。然而,用于图像分割的最先进的基于CRF的模型主要依赖于2D对象模型来构造自上而下的高阶势。在本文中,我们提出了新的自上而下的潜力的图像分割和姿态估计的基础上的形状和体积的三维物体模型。我们表明,这些复杂的自上而下的潜力,可以很容易地分解成标准的形式,在分割和姿态估计任务的有效推理。在汽车数据集上的实验表明,分割的知识有助于更好地执行姿态估计,反之亦然。
2016-06-17 cs.CV
Learning to Refine Human Pose Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Saarland Informatics Campus(萨尔州信息学园区)
图像和视频中的多人姿态估计是一项重要而具有挑战性的任务,具有许多应用。尽管卷积神经网络的发展使得人类姿势估计有了很大的改进,但仍然存在许多困难的情况,即使是最先进的模型也不能正确地定位所有身体关节。这就需要一个额外的细化步骤来解决这些具有挑战性的情况,并且可以很容易地应用于任何现有的方法之上。在这项工作中,我们引入了一个姿态细化网络(PoseRefiner),它将图像和给定的姿态估计作为输入,并通过对输入输出空间的联合推理来学习直接预测细化的姿态。为了让网络学习改进不正确的身体关节预测,我们采用了一种新的数据增强方案进行训练,其中我们对“硬”人体姿势情况进行建模。我们评估了我们的方法在四个流行的大规模姿态估计基准,如MPII单人和多人姿态估计,PoseTrack姿态估计和PoseTrack姿态跟踪,并报告系统的改进,在最先进的。
2018-04-21 cs.CV
AP-10K: A Benchmark for Animal Pose Estimation in the Wild
The University of Sydney(悉尼大学);Xidian University(西安电子科技大学);JD Explore Academy(京东探索研究院)
准确的动物姿态估计是理解动物行为的重要一步,并且可以潜在地有益于许多下游应用,例如野生动物保护。以往的研究只关注特定的动物,而忽略了动物物种的多样性,限制了动物的泛化能力。在本文中,我们提出了AP-10 K,第一个大规模的基准哺乳动物姿态估计,以促进动物姿态估计的研究。AP-10 K包含从23个动物科和54个物种中收集和过滤的10,015张图像,这些图像遵循分类等级和高质量的关键点注释,并手动标记和检查。基于AP-10 K,我们在以下三个方面对代表性的姿势估计模型进行了基准测试:(1)用于动物姿势估计的监督学习,(2)从人类姿势估计到动物姿势估计的跨域迁移学习,以及(3)未见过动物的家族内和家族间领域泛化。实验结果提供了良好的经验证据的优势,从不同的动物物种学习的准确性和泛化能力。它开辟了新的方向,以促进未来的研究在动物姿态估计。AP-10 k可在https://github.com/AlexTheBad/AP10K上公开获得。
2021-11-01 cs.CV
A Review on Human Pose Estimation
Northeastern University(东北大学);Augmented Cognition Laboratory (ACLab)(增强认知实验室(ACLab))
人体姿态估计(HPE)现象是多年来一直在探索的问题,特别是在计算机视觉中。但它到底是什么?要回答这个问题,首先必须理解姿势的概念。姿势可以定义为人体关节以特定方式的排列。因此,我们可以将人体姿态估计问题定义为图像和视频中人体关节或预定义地标的定位。姿势估计有多种类型,包括身体、面部和手部,以及它的许多方面。本文将从HPE的经典方法到基于深度学习的模型开始介绍它们。
2021-10-13 cs.CV
3D Human Pose Estimation from Deep Multi-View 2D Pose
University of Maryland(马里兰大学);Systems and Technology Research (STR)(系统与技术研究公司)
人体姿态估计-在视频中识别人体肢体位置和方向的过程-具有许多重要的应用,包括监视,运动障碍诊断和计算机动画。虽然深度学习已经在从单个视频源进行2D和3D姿态估计方面取得了很大进展,但是从具有重叠视场的多个视频传感器估计3D人体姿态的问题受到的关注较少。当应用允许使用多个相机时,可以通过多视图姿态估计的融合和对在一些视图中完全或部分被遮挡的肢体的观察来极大地改进3D人类姿态估计。过去的多视图3D姿态估计方法使用概率图形模型来推理约束,包括每图像姿态估计、时间平滑度和肢体长度。在本文中,我们提出了一个多个人的多视图3D姿态估计的管道,它结合了一个国家的最先进的2D姿态检测器与3D肢体约束的因素图优化与信念传播。我们在TUM-Campus和Shelf数据集上评估了多人3D姿态估计的结果,并表明我们的系统通过更简单的肢体依赖模型显着优于以前的最新技术。
2019-02-07 cs.CV
Semi- and Weakly-supervised Human Pose Estimation
Toyota Technological Institute(丰田工业大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对静止图像中的人体姿态估计,本文提出了三种半监督和弱监督学习方案。虽然卷积神经网络的最新进展使用监督训练数据改进了人体姿势估计,但我们的重点是探索半监督和弱监督方案。我们提出的方案最初从少量带有人类姿势注释的标准训练图像中学习用于姿势估计的传统模型。对于第一种半监督学习方案,这种传统的姿态模型在没有人类注释的情况下检测训练图像中的候选姿态。从这些候选姿势中,只有真阳性被分类器使用表示所有身体部位的配置的姿势特征选择。这些候选姿势估计和真阳性姿势选择的准确性通过在我们的第二和第三学习方案中向这些图像提供动作标签来提高,所述第二和第三学习方案是半和弱监督学习。虽然第一和第二学习方案仅选择与监督训练数据中的姿态相似的姿态,但是第三方案选择与任何监督姿态显著不同的更真实肯定的姿态。该姿势选择通过使用具有Dirichlet过程混合物和贝叶斯因子的离群姿势检测的姿势聚类来实现。所提出的方案进行了验证与大规模的人体姿势数据集。
2019-06-04 cs.CV
ER-Pose: Rethinking Keypoint-Driven Representation Learning for Real-Time Human Pose Estimation
ER-Pose通过关键点驱动学习范式提升姿态估计精度,实现更高效的实时多人姿态估计
2026-03-09 cs.CV
It's all Relative: Monocular 3D Human Pose Estimation from Weakly Supervised Data
California Institute of Technology(加州理工学院)
我们解决的问题,三维人体姿态估计从二维输入图像只使用弱监督训练数据。尽管在2D姿态估计方面取得了相当大的成功,但将监督机器学习应用于现实世界图像中的3D姿态估计目前受到缺乏具有对应3D姿态的各种训练图像的阻碍。大多数现有的3D姿态估计算法训练在已经在仔细控制的工作室设置中收集的数据上或者已经合成地生成的数据上。相反,我们采取了不同的方法,并提出了一种3D人体姿势估计算法,只需要在训练时对深度进行相对估计。这样的训练信号虽然有噪声,但是可以容易地从人群注释器收集,并且具有足够的质量以使得能够成功训练和评估3D姿态算法。我们的研究结果与基于Human3.6M数据集的完全监督回归方法相比具有竞争力,尽管使用了明显较弱的训练数据。我们提出的算法打开了大门,使用现有的广泛的2D数据集的3D姿态估计,允许微调与噪声的相对约束,从而导致更准确的3D姿态。
2018-07-28 cs.CV
Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose Estimation
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Idiap Research Institute(Idiap研究所)
我们建议利用卷积神经网络(CNN)在可靠的2D姿态估计方面的最新进展,在多人人机交互(HRI)场景中从深度图像中估计人的3D姿态。我们的方法是基于这样的观察,即使用深度信息从2D身体标志检测中获得3D提升点提供了对真实3D人体姿势的粗略估计,因此仅需要细化步骤。在这方面,我们的贡献是三方面的。(i)我们提出通过解耦2D姿态估计和3D姿态细化来从深度图像执行3D姿态估计;(ii)我们提出了一种深度学习方法,该方法回归提升的3D姿态和真实3D姿态之间的残留姿态;(iii)我们表明,尽管它很简单,我们的方法在两个公共数据集上的准确性和速度方面都取得了非常有竞争力的结果,人的HRI相比,最近的国家的最先进的方法。
2020-11-10 cs.CV
UniPose: Unified Human Pose Estimation in Single Images and Videos
Rochester Institute of Technology(罗切斯特理工学院);Rochester, NY(罗切斯特,纽约州(注意:这是地址信息,严格按要求不应提取,此处原数据可能有误,正确机构应为Rochester Institute of Technology))
我们提出了UniPose,一个统一的框架,用于人体姿态估计,基于我们的“瀑布”Atrous空间池架构,实现了国家的最先进的结果上的几个姿态估计指标。利用标准CNN架构的当前姿态估计方法严重依赖于统计后处理或用于关节定位的预定义锚姿态。UniPose结合了上下文分割和联合定位,在单个阶段中以高精度估计人体姿势,而不依赖于统计后处理方法。UniPose中的Waterfall模块利用级联架构中渐进式滤波的效率,同时保持与空间金字塔配置相当的多尺度视野。此外,我们的方法被扩展到UniPose-LSTM进行多帧处理,并在视频中的时间姿态估计方面取得了最先进的结果。我们在多个数据集上的结果表明,具有ResNet主干和瀑布模块的UniPose是一种鲁棒且高效的姿态估计架构,可以在单个图像和视频的单人姿态检测中获得最先进的结果。
2020-01-22 cs.CV
Turbo Learning Framework for Human-Object Interactions Recognition and Human Pose Estimation
SenseTime Group Ltd.(商汤集团有限公司);Tsinghua University(清华大学)
人-物交互(HOI)识别和姿态估计是两个密切相关的任务。人体姿态是识别动作和定位交互对象的重要线索。同时,人的动作和交互对象的定位为姿态估计提供了指导。在本文中,我们提出了一个涡轮学习框架,同时执行HOI识别和姿态估计。首先,设计了两个模块来执行任务之间的消息传递,即姿态感知HOI识别模块和HOI引导的姿态估计模块。然后,这两个模块形成一个闭环,以迭代地利用互补信息,可以以端到端的方式进行训练。该方法在V-COCO和HICO-DET两个公共基准测试数据集上取得了最好的性能。
2019-03-15 cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab(字节跳动人工智能实验室)
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型,大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计,但尚未研究在多数据集上训练的最佳实践。在本文中,我们提出了一个简单的网络称为多域姿态网络(MDPN)来解决这个问题。通过将任务视为多域学习,我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合,它显示出比基线的显着改进,并在PoseTrack ECCV 2018挑战赛上实现了最佳性能,而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
PoseTrans: A Simple Yet Effective Pose Transformation Augmentation for Human Pose Estimation
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室)
人体姿态估计旨在准确地估计各种各样的人体姿态。然而,现有的数据集往往遵循长尾分布,不寻常的姿态只占一小部分,这进一步导致缺乏多样性的罕见姿态。这些问题导致当前姿态估计器的泛化能力较差。在本文中,我们提出了一个简单而有效的数据增强方法,称为姿态变换(PoseTrans),以减轻上述问题。具体来说,我们提出了姿势变换模块(PTM),以创建新的训练样本,具有不同的姿势,并采取姿势训练,以确保增强的姿势的可扩展性。此外,我们提出了姿势聚类模块(PCM)来衡量姿势的稀有性,并选择“稀有”的姿势,以帮助平衡长尾分布。在三个基准数据集上的大量实验证明了该方法的有效性,特别是在稀有姿势上。此外,我们的方法是高效和简单的实现,它可以很容易地集成到现有的姿态估计模型的训练管道。
2022-08-16 cs.CV
Robust Estimation of 3D Human Poses from a Single Image
Peking University(北京大学);University of California, Los Angeles(加州大学洛杉矶分校)
人体姿态估计是动作识别的关键步骤。我们提出了一种从单个图像估计3D人体姿态的方法,该方法与现有的2D姿态/关节检测器一起工作。3D姿态估计是具有挑战性的,因为由于缺乏深度信息,多个3D姿态在投影之后可能对应于相同的2D姿态。此外,当前的2D姿态估计器通常是不准确的,这可能导致3D估计中的误差。我们以三种方式应对挑战:(i)我们将3D姿势表示为从3D人体骨骼中学习的稀疏基集的线性组合。(ii)我们强制肢体长度约束,以消除拟人化的不合理的骨骼。(iii)我们通过最小化3D姿态的投影和相应的2D检测之间的$L_1$范数误差来估计3D姿态。$L_1$ -范数损失项对不准确的2D联合估计是鲁棒的。我们使用交替方向法(ADM)有效地解决优化问题。我们的方法在三个基准数据集上的表现优于最先进的方法。
2014-06-09 cs.CV
Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D Pose Data
Northeastern University(东北大学)
推理模型的最终目标是在实际应用中具有鲁棒性和功能性。然而,训练与测试数据域差距往往会对模型性能产生负面影响。这个问题对于单目3D人体姿态估计问题尤其重要,其中3D人体数据通常在受控的实验室设置中收集。在本文中,我们专注于减轻域转移的负面影响,在外观和姿态空间的三维人体姿态估计提出我们的适应人体姿态(AHuP)的方法。AHuP建立在两个关键组件上:(1)用于跨域特征空间自适应的语义感知自适应(SAA),以及(2)用于姿态空间自适应的骨架姿态自适应(SPA),其仅从目标域获取有限的信息。通过使用零真实3D人体姿势数据,我们的一个自适应合成模型显示出与使用大规模真实3D人体数据集训练的SOTA姿势估计模型相当的性能。所提出的SPA也可以独立地作为一个轻量级的头,以改善现有的SOTA模型在一个新的上下文中。一个新的基于3D扫描的合成人类数据集ScanAva+也将与这项工作一起公开发布。
2022-01-22 cs.CV
Single Person Pose Estimation: A Survey
Nanjing University of Posts and Telecommunications(南京邮电大学);University of Surrey(萨里大学);University of Electronic Science and Technology of China(电子科技大学)
无约束图像和视频中的人体姿态估计是计算机视觉的一项基本任务。为了说明技术的演变路径,在本调查中,我们总结了结构化分类中具有代表性的人类姿势方法,特别关注深度学习模型和单人图像设置。具体来说,我们检查和调查的所有组件的一个典型的人体姿态估计管道,包括数据增强,模型架构和骨干,监督表示,后处理,标准数据集,评估指标。展望未来的发展方向,我们最后讨论了关键的未解决的问题和潜在的趋势,人体姿态估计。
2021-09-21 cs.CV
DiffPose: Toward More Reliable 3D Pose Estimation
Monash University(莫纳什大学);Lancaster University(兰卡斯特大学);Singapore University of Technology and Design(新加坡科技设计大学);New York University(纽约大学)
针对单目3D人体姿态估计中的模糊性和遮挡问题,提出将3D姿态估计表述为反向扩散过程的DiffPose框架,通过姿态特定初始化、基于高斯混合模型的正向扩散和上下文条件反向扩散等设计,在Human3.6M和MPI-INF-3DHP基准上显著优于现有方法。
2023-04-09 cs.CV
2D-3D Pose Consistency-based Conditional Random Fields for 3D Human Pose Estimation
Kwangwoon University(光云大学);Seoul National University(首尔大学)
这项研究认为,在一个单一的RGB图像中的三维人体姿态估计问题,提出了一个条件随机场(CRF)模型在2D构成,其中的3D姿态是作为一个副产品的推理过程。CRF模型的一元项是基于一个强大的热图回归网络定义的,该网络已被提出用于2D人体姿态估计。本研究亦提出一个回归网路,以提升二维位姿至三维位姿,并根据估计三维位姿与二维位姿的一致性,提出先验项。为了获得所提出的CRF模型的近似解,采用N-最佳策略。所提出的推理算法可以被视为基于深度网络从输入2D图像自下而上生成2D和3D姿态提议以及通过检查其可扩展性来自上而下验证这些提议的顺序过程。为了评估所提出的方法,我们使用了两个大规模数据集:Human3.6M和HumanEva。实验结果表明,该方法达到了最先进的三维人体姿态估计性能。
2017-12-28 cs.CV
DeepPose: Human Pose Estimation via Deep Neural Networks
Google(谷歌)
提出了一种基于深度神经网络的人体姿态估计方法。姿势估计被公式化为针对身体关节的基于DNN的回归问题。我们提出了一系列这样的DNN回归器,导致高精度的姿态估计。该方法具有以整体方式推理姿势的优势,并且具有简单但强大的公式,该公式利用了深度学习的最新进展。我们提出了一个详细的实证分析与国家的最先进的或更好的性能上的四个学术基准的不同的现实世界的图像。
2014-08-20 cs.CV
SPGNet: Spatial Projection Guided 3D Human Pose Estimation in Low Dimensional Space
University of Alberta(阿尔伯塔大学)
我们提出了一种方法SPGNet的三维人体姿态估计,混合多维重投影到监督学习。在该方法中,2D-to-3D-lifting网络预测3D人体姿态的全局位置和坐标。然后,我们将估计的3D姿势重新投影回2D关键点并进行空间调整。损失函数将估计的3D姿态与3D姿态地面实况进行比较,并将重新投影的2D姿态与输入的2D姿态进行比较。此外,我们提出了一个运动学约束,以限制预测的目标与恒定的人骨长度。基于数据集Human3.6M的估计结果,我们的方法在定性和定量方面都优于许多最先进的方法。
2022-06-04 cs.CV
View Invariant 3D Human Pose Estimation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
深度网络最近的成功极大地推进了从2D图像进行3D人体姿势估计。然而,捕捉视点的多样性和人类姿势的灵活性仍然是一些重大挑战。在本文中,我们提出了一个视图不变的三维人体姿态估计模块,以减轻视点多样性的影响。该框架包括一个基础网络,它提供了一个初始估计的3D姿态,一个视图不变的层次校正网络(VI-HC)的顶部,学习一致的意见下的3D姿态细化,和一个视图不变的判别网络(VID),以执行高层次的约束身体配置。在VI-HC中,初始3D姿势输入被自动转换为一致的视图,以分别在全局身体和局部身体部位级别上进行进一步的细化。对于VID,在一致的观点下,我们使用对抗学习来区分估计姿势和真实姿势,以避免不可信的3D姿势。实验结果表明,一致的观点可以显着提高性能。我们的模块显示了不同的3D姿态基础网络的鲁棒性,并在公共3D姿态估计基准Human3.6M的强大基线上实现了显着的改进(约9%)。
2019-01-30 cs.CV
Exploiting Offset-guided Network for Pose Estimation and Tracking
Beijing Laboratory of Advanced Information Networks(北京先进信息网络实验室);Beijing University of Posts and Telecommunications(北京邮电大学);Horizon Robotics(地平线机器人);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
由于深度学习的发展,人体姿态估计已经取得了重大进展。最近的人体姿态估计方法倾向于直接预测位置热图,这会导致量化误差,并且不可避免地在减少的网络输出内降低性能。为了解决这个问题,我们重新审视了热图偏移聚合方法,并提出了偏移引导网络(OGN),该网络具有直观但有效的融合策略,用于两阶段姿态估计和Mask R-CNN。对于两阶段姿态估计,还提出了一种贪婪盒生成策略,以保持更多的必要候选人,同时执行人检测。对于掩码R-CNN,采用比率一致性来提高网络的泛化能力。COCO和PoseTrack数据集上的最新结果验证了我们的偏移引导姿态估计和跟踪的有效性。
2019-06-04 cs.CV
Deep Dual Consecutive Network for Human Pose Estimation
Zhejiang Gongshang University(浙江工商大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
复杂环境下的多帧人体姿态估计是一个挑战。虽然国家的最先进的人体关节检测器已经表现出显着的效果,静态图像,他们的表现是短的,当我们将这些模型应用到视频序列。普遍存在的缺点包括无法处理运动模糊、视频散焦或姿势遮挡,这是由于无法捕获视频帧之间的时间依赖性而引起的。另一方面,直接采用传统的递归神经网络在建模空间上下文时会遇到经验困难,特别是在处理姿态遮挡时。在本文中,我们提出了一种新的多帧人体姿态估计框架,利用视频帧之间的丰富的时间线索,以促进关键点检测。在我们的框架中设计了三个模块化组件。姿态时间合并器编码关键点时空上下文以生成有效的搜索范围,而姿态残差融合模块计算双向的加权姿态残差。然后通过我们的姿态校正网络进行处理,以有效地改进姿态估计。我们的方法在大规模基准数据集PoseTrack2017和PoseTrack2018上的多帧人物姿势估计挑战中排名第一。我们已经发布了我们的代码,希望能激发未来的研究。
2021-03-19 cs.CV
Evaluation of Deep Learning based Pose Estimation for Sign Language Recognition
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
人体姿态估计和手部检测是执行基于计算机视觉的手语识别(SLR)的系统的两个重要任务。然而,这两个任务都是具有挑战性的,特别是当输入是没有深度信息的彩色视频时。在文献中已经提出了许多算法用于这些任务,并且最近一些最成功的算法基于深度学习。在本文中,我们介绍了一个数据集的人体姿态估计的SLR域。我们通过在我们的数据集上进行用户独立的实验来评估两种基于深度学习的姿势估计方法的性能。我们还进行了迁移学习,我们得到的结果表明,迁移学习可以提高姿态估计精度。这些方法的数据集和结果可以为未来的工作创建有用的基线。
2016-04-19 cs.CV
TFPose: Direct Human Pose Estimation with Transformers
The University of Adelaide(阿德莱德大学);Alibaba Group(阿里巴巴集团)
我们提出了一个人的姿态估计框架,解决了基于回归的时尚的任务。与以前的基于回归的方法,这往往落后于那些国家的最先进的方法,我们制定的姿势估计任务到一个序列预测问题,可以有效地解决Transformers。我们的框架是简单和直接的,绕过了基于热图的姿势估计的缺点。此外,与Transformers中的注意力机制,我们提出的框架是能够自适应地注意到最相关的目标关键点的功能,这在很大程度上克服了以前的基于回归的方法的特征不对齐的问题,并大大提高了性能。重要的是,我们的框架可以从本质上利用关键点之间的结构化关系。在MS-COCO和MPII数据集上的实验表明,我们的方法可以显着提高基于回归的姿态估计的最新技术水平,并与最好的基于热图的姿态估计方法进行比较。
2021-03-29 cs.CV
In-Bed Pose Estimation: Deep Learning with Shallow Dataset
Northeastern University(东北大学)
尽管在过去几十年中已经广泛地研究了用于各种计算机视觉(CV)应用的人体姿态估计,但是使用基于相机的视觉方法的床内姿态估计已经被CV社区忽略,因为它被假定为与通用姿态估计方法相同。然而,床内姿态估计具有其自身的专门方面,并且具有特定的挑战,包括全天照明条件的显著差异,并且从常见的人类监视观点来看还具有不同的姿态分布。在本文中,我们证明了这些挑战显着降低现有的通用姿态估计模型的有效性。为了应对光照变化的挑战,提出了红外选择性(IRS)图像采集技术,以提供各种光照条件下的均匀质量的数据。此外,针对非常规的姿态透视,提出了一种双端方向梯度直方图(HOG)校正方法。在这项工作中,我们探索了采用预训练的卷积神经网络(CNN)模型的想法,该模型在一般人类姿势的大型公共数据集上训练,并使用我们自己的浅床IRS数据集对模型进行微调。我们开发了一个IRS成像系统,并收集IRS图像数据,从几个现实的真人大小的人体模型在模拟医院的房间环境。一个预先训练的CNN,称为卷积姿态机(CPM),通过微调其特定的中间层,被重新用于床上姿态估计。使用HOG校正方法,CPM的位姿估计性能显着提高了26.4%,在PCK0.1标准相比,没有这样的校正模型。
2018-07-07 cs.CV
An Improved Baseline Framework for Pose Estimation Challenge at ECCV 2022 Visual Perception for Navigation in Human Environments Workshop
Beijing University of Posts and Telecommunications(北京邮电大学)
本技术报告描述了我们在ECCV 2022人类环境中导航视觉感知研讨会上应对姿态估计挑战的一流解决方案。在这个挑战中,我们的目标是从野外拼接的全景图像中估计人类的姿势。我们的方法是基于用于人体检测的Faster R-CNN和用于人体姿态估计的HRNet构建的。我们描述了JRDB-Pose数据集的技术细节,以及一些实验结果。在比赛中,我们在JRDB-Pose的测试集上获得了0.303 $\text{OSPA}_{\text{IOU}}$和64.047 $\text{AP}_{\text{0.5}}$。
2023-03-13 cs.CV
Fast Human Pose Estimation
University of Electronic Science and Technology of China(电子科技大学);Vision Semantics Limited(视觉语义有限公司)
现有的人体姿态估计方法往往只考虑如何提高模型的泛化性能,而忽略了显著的效率问题。这导致开发的重型模型在实际使用中具有较差的可扩展性和成本效益。在这项工作中,我们调查研究不足,但实际上关键的姿势模型的效率问题。为此,我们提出了一种新的快速姿态蒸馏(FPD)模型学习策略。具体地,FPD训练能够以低计算成本快速执行的轻量级姿态神经网络架构。它是通过有效地传递一个强大的教师网络的姿势结构知识。广泛的评估表明,我们的FPD方法在两个标准的基准数据集,MPII人体姿势和利兹运动姿势的模型成本效益方面的优势,在广泛的国家的最先进的姿态估计方法。
2019-04-02 cs.CV
PedRecNet: Multi-task deep neural network for full 3D human pose and orientation estimation
Reutlingen University(罗伊特林根大学)
我们提出了一个多任务网络,支持各种基于深度神经网络的行人检测功能。除了2D和3D人体姿势,它还支持基于全身限界框输入的身体和头部方向估计。这消除了对明确的面部识别的需要。我们表明,三维人体姿态估计和方向估计的性能是相媲美的国家的最先进的。由于很少的数据集存在的三维人体姿态,特别是身体和头部的方向估计的基础上,全身数据,我们进一步显示特定的模拟数据的好处,训练网络。该网络结构相对简单,但功能强大,易于适应进一步的研究和应用。
2022-04-25 cs.CV
Invariant Representation Learning for Infant Pose Estimation with Small Data
Northeastern University(东北大学)
婴儿运动分析是儿童早期发展研究中的一个重要课题。然而,虽然人类姿势估计的应用已经变得越来越广泛,但由于婴儿的身体比例和姿势的多样性存在显着差异,因此在大规模成人姿势数据集上训练的模型在估计婴儿姿势方面几乎没有成功。此外,隐私和安全考虑阻碍了从头开始训练鲁棒模型所需的足够的婴儿姿势数据的可用性。为了解决这个问题,本文提出了(1)建立并公开发布一个混合合成和真实婴儿姿势(SyRIP)数据集,该数据集具有小而多样的真实婴儿图像以及生成的合成婴儿姿势,以及(2)一个多阶段不变的表示学习策略,该策略可以将来自成人姿势和合成婴儿图像的相邻域的知识转移到我们微调的域适应婴儿姿势(FiDIP)估计模型。在我们的消融研究中,使用相同的网络结构,在SyRIP数据集上训练的模型比在其他公共婴儿姿势数据集上训练的模型有明显的改善。与具有不同复杂性的姿态估计骨干网络相结合,FiDIP的性能始终优于这些模型的微调版本。我们在最先进的DarkPose模型上最好的婴儿姿势估计表现之一显示平均精度(mAP)为93.6。
2021-11-01 cs.CV
Spatial Shortcut Network for Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学)
像许多计算机视觉问题一样,人体姿态估计是一个具有挑战性的问题,因为识别身体部位不仅需要来自局部区域的信息,而且需要来自具有大空间距离的区域的信息。为了在空间上传递信息,通常使用大卷积核和深层,这引入了高计算成本和大参数空间。幸运的是,对于姿势估计,人体在图像中是几何结构的,从而能够对空间依赖性进行建模。在本文中,我们提出了一个空间捷径网络的姿态估计任务,其中信息更容易在空间上流动。我们评估我们的模型进行了详细的分析,并提出了其出色的性能与较小的结构。
2019-04-05 cs.CV
Kinematic-aware Hierarchical Attention Network for Human Pose Estimation in Videos
Korea University(高丽大学)
先前基于视频的人体姿态估计方法已经通过利用连续帧的聚合特征显示出有希望的结果。然而,大多数方法妥协的准确性,以减轻抖动或不充分理解人类运动的时间方面。此外,遮挡增加了连续帧之间的不确定性,这导致不平滑的结果。为了解决这些问题,我们设计了一个架构,利用关键点运动学功能与以下组件。首先,我们有效地捕捉时间特征,利用个别关键点的速度和加速度。其次,所提出的分层Transformer编码器聚合时空依赖性,并细化从现有估计器估计的2D或3D输入姿态。最后,我们在编码器生成的精确输入姿势和解码器的最终姿势之间提供在线交叉监督,以实现联合优化。我们展示了全面的结果,并验证了我们的模型在各种任务中的有效性:2D姿态估计,3D姿态估计,人体网格恢复,稀疏注释的多人姿态估计。我们的代码可在https://github.com/KyungMinJin/HANet上获得。
2022-11-29 cs.CV
A Bayesian Framework for Sparse Representation-Based 3D Human Pose Estimation
Sharif University of Technology(谢里夫理工大学)
提出了一种基于稀疏表示的单目图像三维人体姿态估计的贝叶斯框架。我们的概率方法旨在同时学习两个过完备字典(一个用于视觉输入空间,另一个用于姿势空间),并具有共享的稀疏表示。现有的基于SR的姿态估计方法仅提供字典和稀疏码的点估计。因此,当训练样本的数量较少时,它们可能不可靠。我们的贝叶斯框架估计后验分布的稀疏代码和字典标记的训练数据。因此,它对小尺寸训练数据的过拟合是鲁棒的。对各种人体活动的实验结果表明,该方法优于最先进的姿态估计算法。
2014-11-29 cs.CV
A Survey on 3D Egocentric Human Pose Estimation
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文针对当前缺乏第一人称3D人体姿态估计系统性综述的现状,梳理了该领域研究进展,分类讨论了数据集与模型,对比分析了各方法优劣,为相关研究者和从业者提供了参考。
2024-04-18 cs.CV
PointVoteNet: Accurate Object Detection and 6 DoF Pose Estimation in Point Clouds
University of Southern Denmark(南丹麦大学)
提出了一种基于学习的点云数据中刚体6自由度位姿估计方法。许多最近的基于学习的方法主要使用RGB信息来检测对象,在某些情况下使用深度数据添加细化步骤。我们的方法消耗无序点集与/不RGB信息,从初始检测到最终的变换估计阶段。这使我们能够实现准确的姿态估计,在某些情况下超过了在相同数据上训练的最先进的方法。
2020-06-17 cs.CV
A Top-down Approach to Articulated Human Pose Estimation and Tracking
JD.com Silicon Valley Research Center(京东硅谷研究中心)
视频中的多人姿态估计和姿态跟踪任务都是相当具有挑战性的。现有的方法可分为两类:自上而下和自下而上的方法。在本文中,遵循自顶向下的方法,我们的目标是建立一个强大的基线系统,三个模块:人体候选人检测器,单人姿势估计器和人体姿势跟踪器。首先,我们选择一个通用的对象检测器中的国家的最先进的方法来检测人类候选人。然后,使用级联金字塔网络来估计相应的人体姿态。最后,我们使用基于流的姿势跟踪器来渲染跨帧的关键点关联,即,为了多目标姿态跟踪的目的,为每个人类候选者分配唯一的和时间上一致的ID。我们进行了广泛的烧蚀实验,以验证各种选择的模型和配置。我们参加了两个ECCV 18 PoseTrack挑战:姿态估计和姿态跟踪。
2019-01-23 cs.CV
Visual-based Positioning and Pose Estimation
Universiti Teknologi Brunei(文莱理工大学);National Institute of Information and Communications Technology(日本国立信息通信研究机构);National Electronics and Computer Technology Center (NECTEC)(泰国国家电子与计算机技术中心);CLEALINKTECHNOLOGY Co., Ltd.(CLEALINK科技有限公司)
深度学习和计算机视觉的最新进展为研究高级视觉分析任务(如人体定位和人体姿势估计)提供了绝佳的机会。虽然在最近的报告中,人体定位和人体姿态估计的性能已经显著提高,但是它们并不完美,并且可以预期在视频帧之间的错误定位和姿态估计。关于将这些技术集成到对从这些错误引入的噪声具有鲁棒性的通用管道中的研究仍然缺乏。本文填补了研究的空白。我们探索并开发了两个适合基于视觉的定位和姿态估计任务的工作管道。在羽毛球比赛中对拟建管道进行了分析。我们表明,通过检测跟踪的概念可以很好地工作,位置和姿态的误差可以有效地处理的线性插值技术,使用来自附近帧的信息。实验结果表明,基于视觉的定位和位姿估计方法能够提供具有良好空间和时间分辨率的位置和位姿估计。
2022-04-20 cs.CV
Towards Accurate Cross-Domain In-Bed Human Pose Estimation
Johns Hopkins University(约翰斯·霍普金斯大学);Florida International University(佛罗里达国际大学)
睡眠期间的人类行为监测对于各种医疗应用至关重要。大多数非接触式人体姿态估计算法基于RGB模态,由于毯子和变化的照明条件的遮挡,导致床上姿态估计无效。基于长波红外(LWIR)模态的姿态估计算法克服了上述挑战;然而,在这种条件下由人类注释器生成地面实况姿态是不可行的。解决这个问题的一个可行的解决方案是转移从具有姿势标签且没有遮挡的图像中学习的知识,并使其适应真实世界条件(由于毯子引起的遮挡)。在本文中,我们提出了一种新的学习策略,包括双重的数据增强,以减少跨域的差异和知识蒸馏,学习在现实世界条件下的未标记图像的分布。我们的实验和分析表明,我们的方法在多个标准的人体姿态估计基线的有效性。
2021-10-07 cs.CV
Multi-Stage HRNet: Multiple Stage High-Resolution Network for Human Pose Estimation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
人体姿态估计对于诸如动作识别和人机交互等视觉理解任务具有重要意义。在这项工作中,我们提出了一个多级高分辨率网络(多级HRNet)来解决图像中的多人姿态估计问题。具体来说,我们遵循自上而下的管道,并且在单人姿势估计期间保持高分辨率表示。此外,采用多级网络和跨级特征聚合进一步细化关键点位置。所得到的方法在COCO数据集上取得了令人满意的结果。我们的单模型单尺度测试配置使用公开的训练数据在测试开发中获得77.1 AP分数。
2019-10-14 cs.CV
Lite Pose: Efficient Architecture Design for 2D Human Pose Estimation
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
姿态估计在以人为中心的视觉应用中起着关键作用。然而,由于高计算成本(每帧超过150个GMAC),很难在资源受限的边缘设备上部署最先进的基于HRNet的姿态估计模型。在本文中,我们研究了有效的架构设计,实时多人姿态估计的边缘。我们揭示了HRNet的高分辨率分支对于低计算区域的模型是冗余的,通过我们逐渐缩小的实验。删除它们可以提高效率和性能。受这一发现的启发,我们设计了LitePose,一种用于姿态估计的高效单分支架构,并引入了两种简单的方法来增强LitePose的能力,包括Fusion Deconv Head和Large Kernel Convs。Fusion Deconv Head消除了高分辨率分支中的冗余,允许以低开销进行尺度感知特征融合。大核转换显著提高了模型的容量和感受野,同时保持了较低的计算成本。在CrowdPose数据集上,只有25%的计算增量,7x7内核比3x3内核实现了+14.0 mAP。在移动平台上,与现有的最先进的高效姿态估计模型相比,LitePose在不牺牲性能的情况下将延迟降低了高达5.0倍,推动了边缘实时多人姿态估计的前沿。我们的代码和预训练模型在https://github.com/mit-han-lab/litepose上发布。
2022-07-11 cs.CV
Consensus-based Optimization for 3D Human Pose Estimation in Camera Coordinates
Paris Seine University(巴黎塞纳大学);ENSEA(国立电子与应用技术学院);CNRS(法国国家科学研究中心);Samsung Research Institute(三星研究院);Université Paris Saclay(巴黎萨克雷大学);École des Ponts(巴黎高科路桥学校)
3D人体姿态估计经常被视为估计相对于根身体关节的3D姿态的任务。另外,我们提出了一个三维人体姿态估计方法在相机坐标,它允许有效地结合2D注释数据和3D姿态和一个简单的多视图概括。为此,我们将问题转换为视锥空间姿态估计,其中绝对深度预测和联合相对深度估计被解开。通过逆相机投影在相机坐标中获得最终3D预测。在此基础上,我们还提出了一种基于共识的优化算法,用于从未校准的图像进行多视图预测,这需要一个单目训练过程。虽然我们的方法是间接绑定到训练相机的内在,它仍然收敛的相机具有不同的内在参数,导致相干估计的比例因子。我们的方法改进了已知3D人体姿势数据集的最新技术,在最常见的基准测试中将预测误差降低了32%。我们还报告了我们的结果,在绝对位姿位置误差,达到80毫米的单目估计和51毫米的多视图,平均。
2021-08-20 cs.CV
On the Robustness of Human Pose Estimation
Indian Institute of Science(印度科学学院);IIT Bombay(印度理工学院孟买分校);Axogyan AI(Axogyan人工智能公司)
本文对人体姿态估计模型的对抗攻击及其鲁棒性评估进行了全面而详尽的研究。除了强调研究充分的分类系统和人类姿态估计系统之间的重要差异。对抗攻击,我们还提供了深入的见解姿态估计系统的设计选择,以塑造未来的工作。我们对在多个数据集、MPII和COCO上训练的几个2D单人姿势估计架构的鲁棒性进行了基准测试。在这样做的过程中,我们还探讨了攻击非分类网络的问题,包括基于回归的网络,这在过去几乎没有被探索过。\par我们发现,分类和语义分割相比,人体姿态估计架构是相对强大的对抗攻击的单步攻击是令人惊讶的无效。我们的研究表明,基于热图的姿态估计模型比直接基于回归的系统具有显著的鲁棒性,并且显式地模拟人体拟人化语义的系统比其他系统更好。此外,有针对性的攻击比无针对性的攻击更难获得,一些身体关节比其他关节更容易欺骗。我们提出了可视化的普遍扰动,以促进前所未有的见解,他们的工作姿态估计。此外,我们还展示了它们在不同网络中的泛化能力。最后,我们对这些例子的感知性进行了用户研究。
2021-06-10 cs.CV
Weakly-supervised Pre-training for 3D Human Pose Estimation via Perspective Knowledge
现代基于深度学习的3D姿态估计方法需要大量的3D姿态注释。然而,现有的3D数据集缺乏多样性,这限制了现有方法的性能和泛化能力。虽然现有的方法利用2D姿态标注来帮助3D姿态估计,但它们主要集中在从2D姿态中提取2D结构约束,忽略了隐藏在图像中的3D信息。在本文中,我们提出了一种新的方法来提取弱的三维信息直接从二维图像没有三维姿态监督。首先,我们利用2D姿态标注和透视先验知识来生成关键点与摄像机的远近关系,称为相对深度。我们收集一个2D姿态数据集(MCPC),并生成相对深度标签。基于MCPC,我们提出了一种弱监督预训练(WSP)策略来区分图像中两点之间的深度关系。WSP算法能够在大量的野外图像中学习两个关键点的相对深度,这对于3D人体姿态估计具有更强的深度预测能力和泛化能力。在对3D姿态数据集进行微调后,WSP在两个广泛使用的基准测试中获得了最先进的结果。
2022-11-22 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia(不列颠哥伦比亚大学)
从单幅图像中估计人体姿态是一个具有挑战性的问题,通常通过监督学习来解决。不幸的是,标记的训练数据还不存在许多人类活动,因为3D注释需要专用的运动捕捉系统。因此,我们提出了一种无监督的方法,该方法可以学习从单个图像中预测3D人体姿势,同时只使用2D姿势数据进行训练,这些数据可以是众包的,并且已经广泛使用。为此,我们估计最有可能通过随机投影的3D姿势,使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识,但我们学习了相机角度的分布,这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上,我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
A Multi-view RGB-D Approach for Human Pose Estimation in Operating Rooms
ICube, University of Strasbourg, CNRS, IHU Strasbourg(ICube实验室,斯特拉斯堡大学,法国国家科学研究中心,斯特拉斯堡大学医院);University Hospital of Strasbourg(斯特拉斯堡大学医院)
已经提出了许多方法用于单视图和多视图RGB图像中的人体姿态估计。然而,某些环境,例如手术室,对于最先进的RGB方法仍然非常具有挑战性。在本文中,我们提出了一种从RGB-D图像进行多视图3D人体姿态估计的方法,并证明了使用额外的深度通道进行姿态细化的好处,而不仅仅是用于生成改进的功能。所提出的方法允许联合检测和估计的姿态,而不知道先验的场景中存在的人数。我们在一个新的多视图RGB-D数据集上评估了这种方法,该数据集是在现场手术期间获得的,并用地面真实3D姿势进行了注释。
2017-01-25 cs.CV
Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive Keypoint Estimates
Microsoft Research(微软研究院)
典型的自自底向上的【形】人体姿态估计框架包括两个阶段,关键点检测和分组。大多数现有的工作集中于开发分组算法,例如,关联嵌入和我们在方法中采用的像素关键点回归。我们提出了几个方案,很少或不彻底的研究之前,提高关键点检测和分组(关键点回归)的性能。首先,我们利用关键点热图进行逐像素关键点回归,而不是将它们分离以改进关键点回归。其次,我们采用逐像素空间Transformer网络来学习自适应表示,以处理尺度和方向方差,从而进一步提高关键点回归质量。最后,我们提出了一个联合形状和热值评分计划,以促进更有可能是真实的姿态估计的姿态。连同用于平衡背景和关键点像素从而提高热图估计质量的权衡热图估计损失,我们得到了最先进的自自底向上的【形】的人体姿态估计结果。代码可在https://github.com/HRNet/HRNet-Bottom-up-Pose-Estimation上获得。
2020-06-28 cs.CV
A review of 3D human pose estimation algorithms for markerless motion capture
Univ Montpellier(蒙彼利埃大学);IMT Mines Ales(法国国立高等矿业电信学校联盟阿莱斯矿业学院)
人体姿态估计是一个非常活跃的研究领域,受到其在机器人、娱乐或健康和体育科学等方面的重要应用的刺激。卷积网络的进步引发了2D姿态估计的显著改进,使现代3D无标记运动捕捉技术的每个关节平均误差达到20 mm。在这里,我们回顾了过去五年中领先的人体姿势估计方法,重点是度量,基准和方法结构。我们提出了一种基于准确性、速度和鲁棒性的分类法,用于对de方法进行分类并得出未来研究的方向。
2021-07-12 cs.CV
3D Human Pose Estimation with Relational Networks
Seoul National University(首尔大学)
提出了一种基于神经网络的单幅图像三维人体姿态估计算法。我们采用了关系网络的结构,以捕捉不同的身体部位之间的关系。在我们的方法中,每对不同的身体部位生成特征,并且来自所有对的特征的平均值用于3D姿态估计。此外,我们提出了一个辍学的方法,可以在关系模块中使用,这本身就规定了鲁棒性的闭塞。所提出的网络在Human 3.6M数据集中实现了最先进的3D姿态估计性能,即使在存在缺失关节的情况下也能有效地产生合理的结果。
2018-07-20 cs.CV
OTPose: Occlusion-Aware Transformer for Pose Estimation in Sparsely-Labeled Videos
Korea University(高丽大学)
虽然许多方法在视频中的多人姿态估计已经显示出深刻的结果,他们需要密集的注释数据,这需要过多的人力劳动。此外,存在遮挡和运动模糊,这不可避免地导致差的估计性能。为了解决这些问题,我们提出了一种方法,利用注意掩模遮挡关节和编码使用Transformers帧之间的时间依赖性。首先,我们的框架组成了不同的组合稀疏注释的帧,表示整体关节运动的轨迹。我们从这些组合中提出了一个遮挡注意掩码,使编码遮挡感知热图成为一个半监督任务。其次,所提出的时间编码器采用Transformer架构,以有效地聚合每个时间步长的时间关系和关键点关注,并精确地细化目标帧的最终姿态估计。我们为PoseTrack2017和PoseTrack2018数据集实现了最先进的姿态估计结果,并证明了我们的方法对稀疏注释视频数据中的遮挡和运动模糊的鲁棒性。
2022-07-28 cs.CV
Live Stream Temporally Embedded 3D Human Body Pose and Shape Estimation
Northeastern University(东北大学)
时间序列内的3D人体姿态和形状估计对于理解人类行为非常关键。尽管近年来在基于单幅图像或视频的人体姿态估计方面取得了很大的进展,但考虑到其对实时输出和时间一致性的特殊要求,实时流视频上的人体运动估计仍然是一个很少涉及的领域。为了解决这个问题,我们提出了一个时间嵌入的三维人体姿态和形状估计(TePose)方法,以提高实时流视频中的姿态估计的准确性和时间一致性。TePose使用以前的预测作为桥梁,以反馈当前帧中的错误,以便更好地估计,并学习历史数据帧和预测之间的对应关系。提出了一种多尺度时空图卷积网络作为运动训练器,用于使用没有任何3D标记的数据集进行对抗训练。针对直播流媒体特殊的数据处理需求,提出了一种顺序加载策略。我们通过大量的实验证明了每个模块的重要性。结果表明,TePose在广泛使用的人体姿势基准测试中具有最先进的性能。
2022-07-25 cs.CV
Simple Baselines for Human Pose Estimation and Tracking
Microsoft Research Asia(微软亚洲研究院);University of Electronic Science and Technology of China(电子科技大学)
近年来,姿态估计和姿态跟踪的研究取得了重大进展。同时,整体算法和系统复杂度也增加,使得算法分析和比较更加困难。这项工作提供了简单有效的基线方法。它们有助于激发和评估该领域的新想法。在具有挑战性的基准上取得了最先进的成果。该代码将在https://github.com/leoxiaobin/pose.pytorch上提供。
2018-08-21 cs.CV