Enhancing Hands in 3D Whole-Body Pose Estimation with Conditional Hands Modulator
本文提出Hand4Whole++框架,结合预训练全身和手部姿态估计器,通过条件手模块提升手部姿态准确性与全身姿态一致性。
2026-03-16 cs.CV
Human Pose-based Estimation, Tracking and Action Recognition with Deep Learning: A Survey
Zhengzhou University(郑州大学);Amazon Prime Video(亚马逊Prime Video)
本文全面综述了基于深度学习的人体姿态估计、跟踪与动作识别技术,探讨了现有方法的优势与局限,并强调了将三者整合至视频统一框架的方法及未来研究方向。
2023-10-19 cs.CV
Transformer-based Global 3D Hand Pose Estimation in Two Hands Manipulating Objects Scenarios
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
本报告介绍了我们针对ECCV 2022人体、手部和活动(HBHA)挑战的第一名解决方案,该挑战来自以自我为中心和多视角相机(手部姿势估计)。在这个挑战中,我们的目标是从输入图像中估计全局3D手部姿势,其中双手和物体在以自我为中心的观点上进行交互。我们提出的方法通过Transformer架构进行端到端的多手姿态估计。特别是,我们的方法鲁棒地估计在两只手相互作用的情况下的手部姿势。此外,我们提出了一种算法,认为手尺度鲁棒地估计绝对深度。即使每个人的手的大小不同,所提出的算法也能很好地工作。我们的方法达到14.4毫米(左)和15.9毫米(右)的误差为每只手在测试集。
2022-10-20 cs.CV
1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023 Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction
Jiiov Technology(极欧科技)
针对第一人称视角3D手部姿态估计挑战,提出基于ViT主干和简单回归器的简洁流程,结合多视角融合、测试时增强与模型集成,在AssemblyHands上以12.21mm MPJPE获第一名。
2023-10-10 cs.CV
Semi-supervised 3D Hand-Object Pose Estimation via Pose Dictionary Learning
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体网络创新中心)
三维手目标位姿估计是理解人与环境交互的一个重要问题。目前的手部物体姿态估计方法需要详细的3D标签,这是昂贵的和劳动密集型的。为了解决数据汇集的问题,我们提出了一种半监督的三维手部物体位姿估计方法,其中包括两个关键技术:位姿字典学习和面向对象的坐标系。所提出的位姿字典学习模块可以通过重构误差来区分不可行位姿,使未标记的数据能够提供监督信号。所提出的面向对象的坐标系可以使3D估计等变的相机的角度。在FPHA和HO-3D数据集上进行了实验。我们的方法减少了19.5% / 24.9%的手/物体的估计误差相比,直接使用标记数据FPHA和优于几个基线方法。大量的实验也验证了所提出的方法的鲁棒性。
2021-07-16 cs.CV
Development of a hand pose recognition system on an embedded computer using CNNs
Universidad Nacional de Ingeniería(国立工程大学)
在过去的几年里,在人机界面等技术中,对手势识别系统的需求正在增长。这项工作提出了一种使用手部跟踪和CNN在嵌入式计算机中进行手部姿势识别的方法。实验结果表明,该系统具有响应速度快、功耗低、精度达94.50%的特点。
2019-10-18 cs.CV
SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation
Seoul National University(首尔大学);University of Birmingham(伯明翰大学)
基于RGB图像的三维手势估计已经研究了很长时间。然而,大多数研究都是基于独立的静态图像进行逐帧估计。在本文中,我们试图不仅考虑手的外观,而且将运动中的手的时间运动信息纳入学习框架中,以获得更好的3D手部姿势估计性能,这导致需要具有连续RGB手部图像的大规模数据集。我们提出了一种新的方法,生成一个合成的数据集,模仿自然的人类手部动作,通过重新设计的注释现存的静态手部姿势数据集的姿势流。与生成的数据集,我们训练一个新提出的经常性框架,利用视觉时间的功能,从序列图像的合成手在运动中,并强调时间平滑的时间一致性约束的估计。我们的新的训练策略分离的框架的递归层在域微调从合成到真实允许保存的视觉-时间特征从顺序合成的手图像。因此,顺序估计的手部姿势产生自然和平滑的手部运动,这导致更鲁棒的估计。我们表明,利用时间信息的3D手姿态估计显着提高了一般的姿态估计优于国家的最先进的方法在手姿态估计基准的实验。
2020-07-10 cs.CV
A Survey on 3D Egocentric Human Pose Estimation
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文针对当前缺乏第一人称3D人体姿态估计系统性综述的现状,梳理了该领域研究进展,分类讨论了数据集与模型,对比分析了各方法优劣,为相关研究者和从业者提供了参考。
2024-04-18 cs.CV
A Survey of Efficient Regression of General-Activity Human Poses from Depth Images
本文对基于回归的人体姿态估计方法进行了综述。人体姿态估计问题已经得到了深入的研究,并使许多应用从娱乐到培训。传统的方法往往只依赖于彩色图像,不能完全模糊关节的三维位置,特别是在复杂的背景下。随着深度传感器的普及,三维估计的精度有了显著的提高。在本文中,我们给出了一个详细的分析,最先进的人体姿态估计,包括基于深度图像和RGB-D的方法。实验结果表明,他们的优势和局限性,为不同的场景。
2017-09-02 cs.CV
InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image
ECE & ASRI, Seoul National University(首尔大学电气与计算机工程系及自动化与系统研究所);Facebook Reality Labs(Facebook现实实验室)
分析手与手的交互是更好地理解人类行为的关键一步。然而,大多数的研究,在三维手部姿态估计集中在孤立的单手的情况下。因此,我们首先提出(1)一个大规模的数据集,InterHand2.6M,和(2)一个基线网络,InterNet,用于从单个RGB图像进行3D交互手部姿势估计。所提出的InterHand2.6M由来自多个主体的各种姿势下的\textbf{2.6M labeled single and interacting hand frames}组成。我们的InterNet同时执行3D单个和交互式手部姿势估计。在我们的实验中,我们证明了利用InterHand2.6M中的交互手部数据时,3D交互手部姿势估计准确度的大幅提高。我们还报告了InterHand2.6M上的InterNet的准确性,这是这个新数据集的强大基线。最后,我们展示了3D交互式手姿态估计结果从一般的图像。我们的代码和数据集可以在https://mks0601.github.io/InterHand2.6M/上找到。
2020-08-21 cs.CV
HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud
Sungkyunkwan University(成均馆大学);ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学);INSAIT;College of Information and Communication Engineering, Sungkyunkwan University(成均馆大学信息与通信工程学院)
本文提出HandDiff扩散模型,以图像-点云为条件迭代去噪生成3D手部关键点,并通过关节级与局部细节条件解决排列映射和精确定位难题,在四个基准上显著优于现有方法。
2024-04-04 cs.CV
LG-Hand: Advancing 3D Hand Pose Estimation with Locally and Globally Kinematic Knowledge
Hanoi University of Science and Technology(河内科技大学);MICA International Research Institute(MICA国际研究院);Asilla Inc.(Asilla公司)
从RGB图像中估计3D手部姿态存在难以获得深度信息的问题。因此,大量的注意力已经花费在从2D手部关节估计3D手部姿势上。在本文中,我们充分利用时空图卷积神经网络的优势,提出了LG-手,一个强大的方法来估计三维手的姿态。我们的方法将空间和时间的依赖性纳入一个单一的过程。我们认为,运动学信息起着重要的作用,有助于三维手姿态估计的性能。因此,我们引入了两个新的目标函数,角度和方向损失,考虑到手的结构。角度损失覆盖局部运动信息,方向损失处理全局运动信息。我们的LG-Hand在第一人称手部动作基准(FPHAB)数据集上取得了令人鼓舞的结果。我们还进行了消融研究,以显示所提出的两个目标函数的有效性。
2022-11-06 cs.CV
End-to-End 3D Hand Pose Estimation from Stereo Cameras
Snap Inc.(Snap公司);Nanyang Technological University(南洋理工大学);Wormpex AI Research(Wormpex人工智能研究院)
这项工作提出了一种端到端的方法来估计立体相机的完整的3D手部姿势。现有的从立体相机估计手部姿态的方法大多应用立体匹配来获得深度图,并使用基于深度的解决方案来估计手部姿态。相比之下,我们建议绕过立体匹配,直接估计的3D手的姿势从立体图像对。所提出的神经网络架构从任何关键点预测器扩展到估计手部关节的稀疏视差。为了有效地训练模型,我们提出了一个大规模的合成数据集,由立体图像对和地面真实的3D手部姿势注释。实验结果表明,该方法优于现有的基于立体深度的方法。
2022-06-03 cs.CV
Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods
Northwestern Polytechnical University(西北工业大学);The City College, City University of New York(纽约城市大学城市学院)
基于视觉的单目人体姿态估计是计算机视觉中最基本、最具挑战性的问题之一,其目的是从输入图像或视频序列中获取人体的姿态。近年来,深度学习技术的发展为人体姿态估计领域带来了重大进展和突破。该调查广泛回顾了自2014年以来发表的基于深度学习的2D和3D人体姿态估计方法。本文总结了该领域面临的挑战、主要框架、基准数据集、评估指标、性能比较,并讨论了未来的研究方向。
2020-06-02 cs.CV
Model-based Deep Hand Pose Estimation
Fudan University(复旦大学);Microsoft Research(微软研究院)
以往的基于学习的手部姿态估计方法没有充分利用手部模型几何形状的先验信息。相反,它们通常依赖于单独的模型拟合步骤来生成有效的手部姿势。这样的后处理是不方便的并且是次优的。在这项工作中,我们提出了一个基于模型的深度学习方法,采用了一个基于正运动学的层,以确保估计的姿态的几何有效性。我们首次证明,在深度学习中嵌入这种非线性生成过程对于手部姿势估计是可行的。我们的方法在具有挑战性的公共数据集上得到了验证,并实现了最先进的性能。
2016-06-22 cs.CV
Articulated Hand Pose Estimation Review
Columbia University(哥伦比亚大学)
随着越来越多的公司专注于商业化增强现实(AR)、虚拟现实(VR)和可穿戴设备,对基于手的输入机制的需求变得至关重要,以便使体验自然、无缝和身临其境。由于引入了商品深度相机,手部姿势估计近年来取得了巨大进展。基于视觉的手部姿态估计仍然是一个具有挑战性的问题,由于其复杂性,从自遮挡(手指之间),手指之间的密切相似性,灵巧的手,速度的姿态和高维的手运动学参数。关节手姿态估计仍然是一个开放的问题,并在学术界和工业界的深入研究。用于手部姿势估计的2种方法是:判别式和生成式。生成式方法是一种基于模型的方法,试图将手部模型拟合到观察到的数据。判别方法是基于外观的,通常用机器学习(ML)来实现,并且需要大量的训练数据。最近的手部姿态估计使用混合方法,将判别和生成方法结合到单个手部流水线中。在本文中,我们集中在审查的最新进展,从深度传感器的手姿态估计。我们将综述判别方法、生成方法和混合方法。本文并不是对所有手部姿态估计技术的全面综述,它是一些最新技术的一个子集。
2016-04-21 cs.CV
Learning to Estimate Pose and Shape of Hand-Held Objects from RGB Images
KTH(瑞典皇家理工学院);Stanford University(斯坦福大学)
我们开发了一个系统,从RGB图像,显示了一只手,这是持有一个新的对象从一个已知的类别在3D建模手对象的相互作用。我们设计了一个卷积神经网络(CNN)用于手持物体的姿态和形状估计,称为HOPS-Net,并利用以前的工作来估计手的姿态和配置。我们利用的洞察力,手的信息,促进对象的姿态和形状的估计,将手到对象的姿态和形状的训练和推理,以及估计的姿态的细化。该网络在与人手交互的对象的大型合成数据集上进行训练。为了弥合真实图像和合成图像之间的差距,我们采用了一种图像到图像的转换模型(增强CycleGAN),该模型在合成渲染的情况下生成逼真的纹理对象。这提供了一种可扩展的方法来生成用于训练HOPS-Net的注释数据。我们的定量实验表明,即使是嘈杂的手参数显着帮助对象的姿态和形状估计。定性的实验结果表明,由一只手“在野外”举行的对象的姿态和形状估计。
2019-11-11 cs.CV
HandFoldingNet: A 3D Hand Pose Estimation Network Using Multiscale-Feature Guided Folding of a 2D Hand Skeleton
Sungkyunkwan University(成均馆大学)
随着三维手势估计在各种人机交互应用中的应用越来越多,基于卷积神经网络(CNN)的估计模型已经被积极地开发。然而,现有的模型需要复杂的架构或冗余的计算资源,以可接受的精度进行交易。为了解决这一限制,本文提出了HandFoldingNet,这是一种准确有效的手部姿势估计器,它可以从归一化的3D手部点云输入中回归手部关节位置。该模型利用了一个基于折叠的解码器,将给定的2D手骨架折叠成相应的关节坐标。为了获得更高的估计精度,折叠由多尺度特征引导,多尺度特征包括全局和联合局部特征。实验结果表明,该模型优于现有的方法在三个手部姿势基准数据集与最低的模型参数要求。代码可在https://github.com/cwc1260/HandFold上获得。
2021-08-12 cs.CV
Point-to-Pose Voting based Hand Pose Estimation using Residual Permutation Equivariant Layer
Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心)
近来,基于3D输入数据的手姿态估计方法已经显示出最先进的性能,因为3D数据比深度图像捕获更多的空间信息。而基于3D体素的方法需要大量的内存,基于PointNet的方法需要繁琐的预处理步骤,如每个点的K-最近邻搜索。在本文中,我们提出了一种新的深度学习手姿态估计方法的无序点云。我们的方法需要1024个3D点作为输入,并且不需要额外的信息。我们使用置换等变层(PEL)作为基本元素,其中的剩余网络版本的PEL提出的手姿态估计任务。此外,我们提出了一个基于投票的计划,从各个点的信息合并到最终的姿态输出。除了姿态估计任务之外,基于投票的方案还可以提供点云分割结果,而无需用于分割的地面实况。我们在NYU数据集和Hands2017Challenge数据集上评估了我们的方法。我们的方法优于最近的最先进的方法,其中我们的姿势准确度目前是Hands2017挑战数据集的最佳。
2018-12-05 cs.CV
Bi-stream Pose Guided Region Ensemble Network for Fingertip Localization from Stereo Images
Tsinghua University(清华大学);University College London(伦敦大学学院);Beijing Huajie IMI Technology Co., Ltd.(北京华捷艾米科技有限公司)
在人机交互中,准确估计手的姿态尤其是指尖的姿态是非常重要的。然而,传统的指尖定位方法主要依赖于深度图像,因此受到噪声和缺失值的影响。代替深度图像,立体图像还可以提供手部的3D信息并促进3D手部姿态估计。然而,在公开可用的基于立体的手部姿势数据集中,数据集大小、全局视点、手部关节和手部形状存在限制。为了缓解这些限制,促进进一步研究从立体图像的手姿态估计,我们提出了一个新的大规模双目手姿态数据集称为THU-Bi-Hand,提供了一个新的视角指尖定位。在THU-Bi-Hand数据集中,有来自10个受试者的447 k对不同手形的立体图像,具有手腕和五个指尖的准确3D位置注释。该数据集对手部运动范围的限制最小,覆盖了大的全局视点空间和手部关节空间。为了更好地呈现THU-Bi-Hand的指尖定位性能,我们提出了一种新的方案,称为双流位姿引导区域包围网(Bi-Pose-REN)。该方法在先前估计的姿态的指导下,在特征图中的关节点周围提取更具代表性的特征区域。根据手部关节的拓扑结构对特征区域进行分层集成,以回归精确的手部姿态。在THU-Bi-Hand上对Bi-Pose-REN和几种现有的方法进行了评估,以便为进一步的研究提供基准。实验结果表明,我们的新方法在THU-Bi-Hand上取得了最好的性能。
2019-02-26 cs.CV
Learning to Estimate 3D Hand Pose from Single RGB Images
University of Freiburg(弗赖堡大学)
低成本的消费级深度相机和深度学习已经实现了从单个深度图像进行合理的3D手部姿势估计。在本文中,我们提出了一种方法,估计3D手姿态从常规的RGB图像。由于缺少深度信息,该任务具有更多的模糊性。为此,我们提出了一个深度网络,它可以学习网络隐式3D清晰度先验。与图像中检测到的关键点一起,该网络产生了对3D姿态的良好估计。我们介绍了一个大规模的三维手部姿势数据集的基础上合成的手模型训练所涉及的网络。在包括手语识别在内的多种测试集上的实验证明了在单色图像上进行三维手势估计的可行性。
2017-10-15 cs.CV
Recent Advances in 3D Object and Hand Pose Estimation
LIGM(LIGM实验室);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
3D物体和手部姿态估计对于增强现实具有巨大的潜力,以实现有形界面、自然界面以及模糊真实世界和虚拟世界之间的边界。在这一章中,我们提出了最近的发展,三维物体和手姿态估计使用摄像机,并讨论他们的能力和局限性和可能的未来发展的领域。
2020-06-10 cs.CV
Hand3D: Hand Pose Estimation using 3D Neural Network
Institute of Software, CAS(中国科学院软件研究所);Princeton University(普林斯顿大学);Simon Fraser University(西蒙菲莎大学);Beijing Normal University(北京师范大学)
我们提出了一种新的三维神经网络架构的三维手部姿态估计从一个单一的深度图像。与以前的工作主要在2D深度图像域上运行并且需要中间或后处理来引入3D空间的监督不同,我们将深度图转换为3D体积表示,并将其馈送到3D卷积神经网络(CNN)中,以直接产生3D中的姿势,不需要进一步的处理。我们的系统不需要地面实况参考点进行初始化,我们的网络架构自然地集成了3D空间中的局部特征和全局上下文。为了增加训练数据的手部姿态空间的覆盖率,我们通过从现有的真实图像数据集转移手部姿态来渲染合成深度图像。我们评估我们的算法在两个公共基准测试,并达到了最先进的性能。合成手部姿势数据集将可用。
2017-04-07 cs.CV
Generalized Feedback Loop for Joint Hand-Object Pose Estimation
Graz University of Technology(格拉茨理工大学);Laboratoire Bordelais de Recherche en Informatique(波尔多计算机研究实验室);Université de Bordeaux(波尔多大学);X, Alphabet Inc.(Alphabet公司X部门)
我们提出了一种方法来估计的3D姿态的手,可能处理的对象,给定的深度图像。我们表明,我们可以纠正错误的卷积神经网络训练预测估计的3D姿态通过使用反馈回路。这个反馈回路的组件也是深度网络,使用训练数据进行优化。这种方法可以推广到手与物体的交互。因此,我们联合估计手的3D姿态和对象的3D姿态。我们的方法与用于3D手部姿势估计的最先进的方法相当,并且在仅使用深度图像时优于用于联合手部对象姿势估计的最先进的方法。此外,我们的方法是高效的,因为我们的实现在单个GPU上实时运行。
2019-03-25 cs.CV
Efficient Virtual View Selection for 3D Hand Pose Estimation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Alibaba(阿里巴巴);Simon Fraser University(西蒙弗雷泽大学);Google(谷歌)
基于单深度的三维手位估计是计算机视觉中的一个基本问题,具有广泛的应用前景,但由于视角变化和人手遮挡等因素的影响,现有的手位估计方法仍不能获得满意的结果。在本文中,我们提出了一个新的虚拟视图选择和融合模块,从单一深度的3D手姿态估计。我们提出了自动选择多个虚拟视点的姿态估计和融合的结果,并发现这经验提供准确和鲁棒的姿态估计。为了选择最有效的虚拟视图进行位姿融合,我们评估的虚拟视图的信任度的基础上,使用一个轻量级的网络,通过网络蒸馏。在NYU、ICVL和Hands 2019三个主要基准数据集上的实验表明,我们的方法在NYU和ICVL上的性能优于最先进的方法,在Hands 2019-Task 1上的性能也非常有竞争力,我们提出的虚拟视图选择和融合模块对3D手部姿态估计都是有效的。
2022-03-29 cs.CV
SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition
TU Wien(维也纳技术大学);University of Bristol(布里斯托尔大学)
本研究提出仅用RGB帧结合伪深度的SHARP方法分割场景无关部分,在H2O数据集上实现91.73%的动作识别准确率,姿态误差28.66mm,无需深度传感器即可提升自我中心3D手部姿态估计与动作识别性能。
2024-08-19 cs.CV
HandMCM: Multi-modal Point Cloud-based Correspondence State Space Model for 3D Hand Pose Estimation
本文提出HandMCM,通过结合局部信息注入/过滤模块和对应建模,利用状态空间模型提升3D手姿态估计的鲁棒性和精度,实验表明其在严重遮挡场景中优于现有方法。
2026-04-05 cs.CV
Two-hand Global 3D Pose Estimation Using Monocular RGB
Brigham Young University(杨百翰大学)
我们解决了具有挑战性的任务,估计全球3D关节位置的双手通过只有单目RGB输入图像。我们提出了一种新的基于多级卷积神经网络的流水线,该流水线准确地分割和定位手,尽管双手之间的遮挡和复杂的背景噪声,并且在没有任何深度信息的情况下估计2D和3D规范关节位置。全局关节相对于摄像机原点的位置计算使用的手姿态估计和关键骨的实际长度与一种新的投影算法。为了训练CNN来完成这项新任务,我们引入了一个大规模的合成3D手部姿势数据集。我们证明了我们的系统优于以前的作品3D规范的手姿态估计基准数据集与RGB的唯一信息。此外,我们提出了第一个工作,实现准确的全球3D手跟踪双手使用RGB的唯一输入,并提供广泛的定量和定性评估。
2020-08-25 cs.CV
MC-hands-1M: A glove-wearing hand dataset for pose estimation
Centre for Research & Technology Hellas(希腊研究与技术中心)
如今,对用于训练计算机视觉模块的大量仔细且复杂的注释数据的需求持续增长。此外,虽然研究界提出了许多问题的最新解决方案,但存在特殊情况,例如戴手套的手的姿势估计和跟踪,其中一般方法往往无法提供准确的解决方案或完全失败。在这项工作中,我们提出了一个合成的手套戴的手的三维姿态估计,以描绘数据合成的价值在计算机视觉。该数据集用于微调公共手关节检测模型,在戴手套的手的合成图像和真实图像中均实现了显著的性能。
2022-10-19 cs.CV
Ego2HandsPose: A Dataset for Egocentric Two-hand 3D Global Pose Estimation
Brigham Young University(杨百翰大学)
在许多应用中,全局坐标系中基于颜色的双手3D姿态估计是必不可少的。然而,有很少的数据集专门用于这项任务,没有现有的数据集支持在非实验室环境中的估计。这在很大程度上归因于3D手部姿势注释所需的复杂的数据汇集过程,这也导致难以获得具有野外估计所需的视觉多样性水平的实例。为了实现这一目标,最近提出了一个大规模数据集Ego2Hands,以解决野外双手分割和检测的任务。所提出的基于组合的数据生成技术可以创建具有质量、数量和多样性的双手实例,这些实例可以很好地推广到看不见的领域。在这项工作中,我们提出了Ego2HandsPose,它是Ego2Hands的扩展,包含3D手部姿势注释,是第一个在看不见的领域中实现基于颜色的双手3D跟踪的数据集。为此,我们开发了一组参数拟合算法,以实现1)使用单个图像的3D手部姿势注释,2)从2D到3D手部姿势的自动转换和3)具有时间一致性的准确双手跟踪。我们对多阶段流水线进行了增量定量分析,并表明在我们的数据集上进行训练可以获得最先进的结果,在以自我为中心的双手全局3D姿态估计任务中,这些结果明显优于其他数据集。
2022-06-10 cs.CV
Silhouette-Net: 3D Hand Pose Estimation from Silhouettes
National Tsing Hua University(国立清华大学);Tohoku University(东北大学)
三维手势估计因其广泛的应用而受到广泛关注,并由于深度学习的发展而取得了很大的进展。现有的方法主要考虑不同的输入模态和设置,例如单目RGB、多视图RGB、深度或点云,以提供足够的线索来解决由自遮挡和视点变化引起的变化。相比之下,这项工作的目的是解决较少探索的想法,使用最少的信息来估计3D手部姿势。我们提出了一个新的架构,自动学习的指导,从隐式深度感知,并解决了模糊的手姿势,通过端到端的培训。实验结果表明,3D手姿态可以准确地估计单独的{ \em手轮廓},而无需使用深度图。在{ \em 2017 Hands In the Million Challenge}(HIM 2017)基准数据集上的广泛评估进一步证明,我们的方法实现了与最近的基于深度的方法相当甚至更好的性能,并且在从轮廓估计3D手部姿势方面作为其自身的最先进技术。
2019-12-28 cs.CV
Feature Identification and Matching for Hand Hygiene Pose
Technological University, Dublin(都柏林理工大学)
比较和评价了计算机视觉中三种常用的特征描述符SIFT、SURF和ORB。针对原始手部卫生姿势--搓手掌对掌图像和旋转图像,提取并匹配了正确的特征数。根据匹配总数和生成的正确匹配数计算的准确性分数。实验表明,ORB算法在更短的时间内给出了大量的正确匹配,从而取得了更好的效果。ORB特征检测技术应用于洗手视频记录的特征提取和手部卫生姿势分类作为未来的工作。OpenCV用于在Python脚本中应用算法。
2021-08-14 cs.CV
UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation
The Chinese University of Hong Kong(香港中文大学)
本文提出UniHOPE统一框架,通过抓取感知融合、物体切换器、去遮挡训练对和多层次特征增强,实现单目图像中裸手与手-物交互两类3D姿态估计的SOTA性能。
2025-03-17 cs.CV
Image-free Domain Generalization via CLIP for 3D Hand Pose Estimation
UNIST(蔚山科学技术院);NC Soft(NC Soft公司)
由于大规模数据库和深度学习,基于RGB的3D手部姿势估计已经成功了几十年。然而,手部姿态估计网络对于其特性与训练数据大不相同的手部姿态图像不能很好地操作。这是由各种因素造成的,如照明,摄像机角度,不同的背景,在输入图像等,许多现有的方法试图解决它提供额外的大规模无约束/目标域图像,以增加数据空间,但是收集这样的大规模图像需要大量的劳动。在本文中,我们提出了一个简单的无图像领域泛化方法的手姿态估计框架,只使用源域数据。我们尝试通过使用CLIP(对比图像预训练)模型添加来自文本描述的特征来操纵手部姿势估计网络的图像特征。然后,通过对比学习框架,利用操作的图像特征来训练手部姿态估计网络。在STB和RHD数据集的实验中,我们的算法表现出比最先进的领域泛化方法更好的性能。
2022-10-30 cs.CV
3D Hand Pose and Shape Estimation from RGB Images for Keypoint-Based Hand Gesture Recognition
Sapienza University(罗马第一大学);University of Udine(乌迪内大学);University of Bristol(布里斯托大学)
从2D图像估计手的3D姿态是一个研究得很好的问题,并且是诸如虚拟现实、增强现实和手势识别的若干现实应用的要求。目前,可以从单个RGB图像计算合理的估计,特别是当使用多任务学习方法来迫使系统在确定手的姿势时考虑手的形状时。然而,根据用于表示手的方法,在现实生活中的任务中,性能可能会大大下降,这表明需要稳定的描述才能获得令人满意的结果。在本文中,我们提出了一个基于关键点的端到端的框架,三维手和姿态估计,并成功地将其应用到手势识别的任务作为一个研究案例。具体来说,在对图像进行标准化的预处理步骤之后,所提出的流水线使用从RGB图像生成2D热图和手部轮廓的多任务语义特征提取器、预测手部和相机视图参数的视点编码器、稳定的手部估计器来生成3D手部姿势和形状,以及在学习阶段联合指导所有组件的损失函数。在3D姿态和形状估计基准数据集上进行测试,以评估所提出的框架,该框架获得了最先进的性能。我们的系统还在两个手势识别基准数据集上进行了评估,并且显著优于其他基于关键点的方法,这表明它是一种有效的解决方案,能够生成稳定的手部姿势和形状的3D估计。
2022-05-09 cs.CV
MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation
University of California, Irvine(加州大学尔湾分校);Tencent America(腾讯美国);Amazon(亚马逊);National Chiao Tung University(国立交通大学)
从单个RGB图像估计3D手部姿势是具有挑战性的,因为深度模糊导致问题不适定。使用3D手部网格注释和多视图图像训练手部姿势估计器通常会导致显着的性能提升。然而,现有的多视图数据集相对较小,手关节由现成的跟踪器注释或通过模型预测自动化,这两者都可能不准确并可能引入偏差。采集具有精确网格和关节注释的大规模多视图3D手部姿势图像是有价值的,但费力。在本文中,我们设计了一个自旋匹配算法,使刚性网格模型匹配与任何目标网格地面实况。基于匹配算法,我们提出了一个高效的流水线来生成一个大规模的多视图手网格(MVHM)数据集与准确的三维手网格和关节标签。我们进一步提出了一个多视图的手姿态估计方法,以验证我们生成的数据集训练手姿态估计大大提高了性能。实验结果表明,我们的方法在MHP数据集上的$\text{AUC}_{\text{20-50}}$中实现了0.990的性能,而在该数据集上的性能为0.939。我们的数据资产是公开可用的。\footnote{\url{https://github.com/Kuzphi/MVHM}}我们的数据资产可在~ \href{https://github.com/Kuzphi/MVHM}{\color{blue}{https://github.com/Kuzphi/MVHM}}获得。
2020-12-06 cs.CV
2D Human Pose Estimation: A Survey
Zhejiang Gongshang University(浙江工商大学);Zhejiang Lab(之江实验室)
人体姿态估计旨在定位输入数据中的人体解剖关键点或身体部位(例如,图像、视频或信号)。它形成了使机器对人类行为有深刻理解的关键组成部分,并且已经成为计算机视觉和相关领域的突出问题。深度学习技术允许直接从数据中学习特征表示,从而显著提升人体姿势估计的性能边界。在本文中,我们收获的二维人体姿态估计方法的最新成果,并提出了一个全面的调查。简要地说,现有的方法把他们的努力在三个方向,即网络架构设计,网络训练细化,和后处理。网络架构设计着眼于人体姿态估计模型的架构,提取更强大的特征用于关键点识别和定位。网络训练精化是对神经网络训练的一种改进,旨在提高模型的代表性。后处理进一步结合了模型不可知的抛光策略,以提高关键点检测的性能。本次调查涉及200多项研究成果,涵盖方法框架、通用基准数据集、评估指标和性能比较。我们试图为研究人员提供一个更全面和系统的审查人体姿态估计,使他们能够获得一个宏伟的全景,更好地确定未来的发展方向。
2022-04-15 cs.CV
Using a single RGB frame for real time 3D hand pose estimation in the wild
Institute of Computer Science, FORTH(FORTH 计算机科学研究所);Computer Science Department, UOC(克里特大学计算机科学系)
我们提出了一种使用单个商品RGB相机实时估计一个或多个人手的完整3D姿态的方法。最近在该领域的工作显示了令人印象深刻的进展,使用RGBD输入。然而,自从RGBD传感器的引入以来,对于单眼彩色输入的情况几乎没有进展。我们利用深度学习的最新进展,将其与生成手部姿势估计技术的功能相结合,以实现在不受限制的场景中实时单目3D手部姿势估计。更具体地说,给定RGB图像和相关的相机校准信息,我们采用最先进的检测器来定位手。给定图像中的一只手,我们运行OpenPose的预训练网络来估计手关节的2D位置。最后,非线性最小二乘最小化拟合的3D模型的手估计的2D关节位置,恢复的3D手姿势。广泛的实验结果提供了与现有技术的比较以及该方法在野外的定性评估。
2017-12-11 cs.CV
PCIE_EgoHandPose Solution for EgoExo4D Hand Pose Challenge
Lenovo Research(联想研究院)
针对EgoExo4D手部姿态估计任务中动作细微、遮挡多的难题,团队提出HP-ViT模型,结合ViT骨干与Transformer头,用MPJPE和RLE损失训练,获CVPR2024挑战赛第一名。
2024-06-18 cs.CV
Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所)
本文系统综述3D手部姿态估计中的高效标注方法与标注稀缺场景下的学习策略,并总结现有局限与未来方向。
2023-04-26 cs.CV
BigHand2.2M Benchmark: Hand Pose Dataset and State of the Art Analysis
Imperial College London(帝国理工学院);Rakuten Institute of Technology(乐天技术研究院);IIT Jodhpur(印度理工学院焦特布尔分校)
在本文中,我们介绍了一个大规模的手部姿势数据集,收集使用一种新的捕获方法。现有的数据集要么是合成生成的,要么是使用深度传感器捕获的:合成数据集与真实深度图像表现出一定程度的外观差异,而真实数据集在数量和覆盖范围方面受到限制,主要是由于难以对其进行注释。我们提出了一个跟踪系统与6个6D磁传感器和逆运动学,以自动获得21个关节的手姿势注释的深度图捕获的运动范围的限制最小。捕获协议旨在完全覆盖自然手部姿势空间。如嵌入图所示,与现有基准相比,新数据集显示出更广泛和更密集的手部姿势范围。目前国家的最先进的方法进行评估的数据集,我们证明了跨基准性能的显着改善。我们还展示了在新数据集上训练的CNN在以自我为中心的手部姿势估计方面的显着改进。
2017-12-09 cs.CV
The Invisible EgoHand: 3D Hand Forecasting through EgoBody Pose Estimation
Keio University(庆应义塾大学);University of Bristol(布里斯托尔大学)
本文提出EgoH4,一种基于扩散Transformer的第一人称手部预测方法,利用全身姿态约束和可见性预测,在视野内外预测双手3D轨迹与姿态,并在Ego-Exo4D上显著优于基线。
2025-04-11 cs.CV
HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出HOISDF网络,利用手部和物体的全局符号距离场作为隐式形状先验,从单目图像中联合估计手物三维姿态,在DexYCB和HO3Dv2基准上达到最先进性能。
2024-02-26 cs.CV
The 2017 Hands in the Million Challenge on 3D Hand Pose Estimation
Imperial College London(帝国理工学院)
我们提出了2017年Hands in the Million Challenge,这是一项旨在评估3D手部姿势估计任务的公开竞赛。这项挑战的目标是评估在解决3D手部姿势估计问题方面的最新技术水平,以及检测系统和评估指标的主要故障和强度模式,以帮助确定未来的研究方向。该挑战是最近发布的BigHand2.2M和第一人称手部动作数据集的后续,这些数据集旨在详尽地涵盖多个手部、视点、手部关节和遮挡。该挑战赛包括一个标准化的数据集,两个不同任务的评估协议,以及一个公开的比赛。在本文件中,我们描述了挑战的不同方面,并与参与者的结果一起,将在2017年第三届观察和理解动手国际研讨会(HANDS 2017)上与ICCV 2017一起展示。
2017-07-07 cs.CV
REACH: Hand Pose Estimation from Room Corners
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);RIKEN(理化学研究所);Kyoto Institute of Technology(京都工业大学)
本文提出了一种新的3D手部姿态估计器,能够从远处(通常是从房间角落的固定摄像头)在极低分辨率且频繁遮挡的视图中准确恢复人的手部形状和姿态。核心方法是充分利用手部与身体的协调性、时间序列变化以及多视角观测,通过一种新的基于Transformer的模型实现,利用视图令牌之间的相关性建模手部和身体的配置,并以自回归方式利用时间协调性。同时引入了一个名为REACH的新型数据集,用于训练和测试方法。REACH是首个大规模的手部姿态数据集,记录了50名参与者在多种日常活动中的准确手部运动。通过大量实验,包括与现有方法的比较研究,证明了我们的模型REACH-Net在远距离3D手部姿态估计上取得了高度准确的结果。这些结果拓展了3D手部姿态估计的视野,尤其在“野外”连续人类行为分析方面。
2026-05-21 cs.CV
Temporally Guided Articulated Hand Pose Tracking in Surgical Videos
University of Michigan(密歇根大学);Microsoft(微软公司);University of Edinburgh(爱丁堡大学);Harvard Medical School(哈佛医学院)
本文提出时间引导的手部姿态估计模型 CondPose,并构建首个手术视频多实例手部姿态数据集 Surgical Hands,在姿态估计和跟踪精度上均优于现有方法。
2025-02-06 cs.CV
Denoising Diffusion for 3D Hand Pose Estimation from Images
University of Surrey(萨里大学)
本文提出融合扩散模型与正向运动学约束的端到端框架,并在时序数据中加入Transformer,实现从单目图像或序列准确估计3D手部姿态。
2023-08-18 cs.CV
Semi-Supervised 3D Hand-Object Poses Estimation with Interactions in Time
UC San Diego(加州大学圣迭戈分校);NVIDIA(英伟达)
从单个图像估计3D手部和物体姿态是一个极具挑战性的问题:手部和物体在交互过程中经常会自我遮挡,并且3D注释很少,因为即使是人类也无法直接从单个图像中完美地标记地面实况。为了应对这些挑战,我们提出了一个统一的框架,估计三维手和物体构成半监督学习。我们建立了一个联合学习框架,我们执行明确的上下文推理之间的手和对象表示的Transformer。超越单一图像中有限的3D注释,我们利用大规模手部对象视频中的时空一致性作为半监督学习中生成伪标签的约束。我们的方法不仅提高了在具有挑战性的现实世界数据集中的手部姿态估计,而且还大大提高了每个实例具有更少地面真实值的对象姿态。通过使用大规模多样化的视频进行训练,我们的模型还可以更好地在多个域外数据集上进行推广。项目页面和代码:https://stevenlsw.github.io/Semi-Hand-Object
2021-06-09 cs.CV
HOnnotate: A method for 3D Annotation of Hand and Object Poses
Graz University of Technology(格拉茨技术大学);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
我们提出了一种方法,用于注释图像的手操纵对象的手和对象的3D姿态,连同使用这种方法创建的数据集。我们的动机是目前缺乏注释的真实图像的这个问题,因为估计的3D构成是具有挑战性的,主要是因为手和对象之间的相互遮挡。为了应对这一挑战,我们使用一个或多个RGB-D相机捕获序列,并同时在所有帧上联合优化3D手部和物体姿势。这种方法允许我们自动注释每个帧的姿态的准确估计,尽管大的相互遮挡。通过这种方法,我们创建了HO-3D,这是第一个带有手部和物体3D注释的彩色图像无标记数据集。该数据集目前由77,558帧,68个序列,10个人和10个对象组成。使用我们的数据集,我们开发了一种基于RGB图像的方法来预测与严重遮挡下的对象交互时的手部姿势,并将其推广到数据集中看不到的对象。
2020-05-30 cs.CV
Semi-Supervised 3D Hand Shape and Pose Estimation with Label Propagation
ANU(澳大利亚国立大学);ACRV(澳大利亚机器人视觉中心)
为了获得3D注释,我们被限制在受控环境或合成数据集,导致我们获得对真实世界场景具有较低概括性的3D数据集。为了在半监督3D手部形状和姿势估计的背景下解决这个问题,我们提出了Pose对齐网络,以将3D注释从标记的帧传播到稀疏注释视频中的附近未标记的帧。我们表明,将对齐监督对标记的未标记的帧,使我们能够提高姿态估计的准确性。此外,我们表明,建议的姿势对齐网络可以有效地传播注释看不见的稀疏标记的视频,而无需微调。
2021-11-30 cs.CV
Disentangling Latent Hands for Image Synthesis and Pose Estimation
University of Bonn(波恩大学);National University of Singapore(新加坡国立大学)
由于从图像背景内容到相机视点的变化因素之间存在很大差异,因此从RGB图像合成手部图像和姿态估计都是非常具有挑战性的任务。为了更好地分析这些因素的变化,我们提出了使用解开表示和解开变分自编码器(dVAE),允许特定的采样和推断这些因素。从变分下界导出的目标以及建议的训练策略是高度灵活的,使我们能够处理跨模态编码器和解码器以及半监督学习场景。实验表明,我们的dVAE可以合成高度逼真的图像的手指定的姿势和图像背景内容,也估计3D的手构成从RGB图像的准确性竞争与国家的最先进的两个公共基准。
2019-04-25 cs.CV
Learning Correlation-aware Aleatoric Uncertainty for 3D Hand Pose Estimation
Grad. School of AI POSTECH(POSTECH人工智能研究生院);Dept. of Electrical Engineering POSTECH(POSTECH电气工程系);School of Computing KAIST(KAIST计算学院)
针对3D手部姿态估计中缺乏偶然不确定性建模及关节相关性考量的问题,提出基于单线性层的概率分布参数化方法作为附加任务头,在保证精度的同时实现高效的相关性感知不确定性建模,性能优于现有方法。
2025-09-01 cs.CV
HandAugment: A Simple Data Augmentation Method for Depth-Based 3D Hand Pose Estimation
Rokid Corportation Ltd.(Rokid Corporation Ltd.)
在计算机视觉领域中,已经使用各种技术广泛地探索了从3D深度图像估计手姿态。虽然最近基于深度学习的方法大大提高了性能,但是由于缺乏像ImageNet这样的大数据集或有效的数据合成方法,这个问题仍然没有解决。在本文中,我们提出了HandAugment,一种合成图像数据的方法来增强神经网络的训练过程。我们的方法有两个主要部分:第一,我们提出了一个两阶段的神经网络的方案。该方案可以使神经网络集中于手部区域,从而提高性能。其次,我们介绍了一种简单而有效的方法来合成数据,结合实际和合成图像在图像空间。最后,我们证明了我们的方法在HANDS 2019挑战赛中基于深度的3D手部姿势估计任务中获得了第一名。
2020-01-23 cs.CV
Hands Deep in Deep Learning for Hand Pose Estimation
Graz University of Technology(格拉茨工业大学)
我们介绍并评估了几种卷积神经网络的架构,以预测给定深度图的手的3D关节位置。我们首先表明,可以轻松引入3D姿势的先验,并显着提高预测的准确性和可靠性。我们还展示了如何有效地使用上下文来处理手指之间的歧义。这两个贡献使我们能够在几个具有挑战性的基准测试中显着优于最先进的水平,无论是在准确性还是计算时间方面。
2016-12-02 cs.CV