Towards Robust and Realistic Human Pose Estimation via WiFi Signals
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系);Department of Land Surveying and Geo-Informatics, The Hong Kong Polytechnic University(香港理工大学土地测量及地理资讯学系)
本文提出DT-Pose框架,通过领域一致表示学习和拓扑约束姿态解码,解决WiFi信号中姿态分布差异和骨骼拓扑失真问题,提升2D/3D人体姿态估计性能。
2026-04-07 cs.CV
SuPEr-SAM: Using the Supervision Signal from a Pose Estimator to Train a Spatial Attention Module for Personal Protective Equipment Recognition
SecurifAI;University of Bucharest(布加勒斯特大学)
我们提出了一种深度学习的方法来自动检测个人防护设备(PPE),如头盔,外科口罩,反光背心,靴子等,在人的图像。基于深度学习的PPE检测的典型方法是(i)针对诸如上面列出的那些物品的物品训练对象检测器,或者(ii)训练人检测器和分类器,该分类器采用由检测器预测的边界框并且在穿戴和未穿戴对应PPE物品的人之间进行区分。我们提出了一种新的和准确的方法,使用三个组成部分:一个人的检测器,一个身体姿势估计和分类。我们的新颖之处在于只在训练时使用姿态估计器,以提高分类器的预测性能。我们通过添加空间注意力机制来修改分类器的神经架构,该空间注意力机制使用来自姿势估计器的监督信号来训练。通过这种方式,分类器学习专注于PPE项目,使用来自姿势估计器的知识,在推理期间几乎没有计算开销。
2020-11-02 cs.CV
BGM2Pose: Active 3D Human Pose Estimation with Non-Stationary Sounds
Keio University(庆应义塾大学);NTT Corporation(日本电信电话公司);Tokyo University of Science(东京理科大学)
提出BGM2Pose,利用自然音乐作为主动传感信号,通过对比学习消除音乐干扰和频率注意力捕捉细微声学变化,实现非侵入式3D人体姿态估计,性能优于现有方法。
2026-09-15 cs.AI cs.CV cs.SD
Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image
Seoul National University(首尔国立大学);Kwangwoon University(光云大学)
虽然最近在3D人体姿态估计方面取得了显着的改进,但大多数先前的方法仅处理单人情况。在这项工作中,我们首先提出了一个完全基于学习的,相机距离感知自顶向下的方法,从一个单一的RGB图像的三维多人姿态估计。所提出的系统的管道由人体检测,绝对三维人体根定位,根相对三维单人姿势估计模块。我们的系统实现了与最先进的3D单人姿势估计模型相当的结果,而无需任何地面实况信息,并且在公开数据集上显着优于以前的3D多人姿势估计方法。该代码可在https://github.com/mks0601/3DMPPE_ROOTNET_RELEASE、https://github.com/mks0601/3DMPPE_POSENET_RELEASE上获得。
2019-08-17 cs.CV
MoDeep: A Deep Learning Framework Using Motion Features for Human Pose Estimation
New York University(纽约大学)
在这项工作中,我们提出了一种新颖而有效的方法,用于使用卷积网络架构进行视频中的人体姿态估计,该架构结合了颜色和运动特征。我们提出了一个新的人体姿态数据集,FLIC运动,扩展FLIC数据集与额外的运动功能。我们将我们的架构应用到这个数据集,并报告比当前最先进的姿态检测系统有更好的性能。
2014-09-28 cs.CV cs.LG cs.NE
Multi-modal Pose Diffuser: A Multimodal Generative Conditional Pose Prior
University of California, Riverside(加州大学河滨分校)
本文提出MOPED,首次将多模态条件扩散模型用作SMPL姿态参数先验,支持图像和文本条件生成,并在姿态估计、去噪和补全任务上显著超越现有方法。
2024-10-18 cs.CV
3D Human Pose Estimation for Free-from and Moving Activities Using WiFi
Florida State University(佛罗里达州立大学);Trinity University(三一大学);Rutgers University(罗格斯大学)
本文介绍了GoPose,一个基于3D信标的人体姿态估计系统,在家里使用WiFi设备。我们的系统利用人体反射的WiFi信号进行3D姿态估计。与需要专用硬件或专用传感器的现有系统相比,我们的系统不需要用户佩戴或携带任何传感器,并且可以重复使用家庭环境中已经存在的WiFi设备以供大规模采用。为了实现这样的系统,我们利用从人体反射的信号的2D AoA频谱和深度学习技术。特别地,提出了2D AoA谱以定位人体的不同部位以及实现与环境无关的姿态估计。结合深度学习来对人体的2D AoA谱和3D骨架之间的复杂关系进行建模,以进行姿势跟踪。我们的评估结果显示,GoPose在各种场景下(包括跟踪看不见的活动和NLoS场景)的精度约为4.7厘米。
2022-04-16 cs.CV cs.HC
Self-Constrained Inference Optimization on Structural Groups for Human Pose Estimation
Southern University of Science and Technology(南方科技大学)
我们观察到,由于人体不同部位的生物学约束,人体姿势在关键点之间表现出很强的组间结构相关性和空间耦合性。可以探索这种逐组结构相关性以提高人体姿态估计的准确性和鲁棒性。在这项工作中,我们开发了一个自约束的预测-验证网络来表征和学习训练过程中关键点之间的结构相关性。在推理阶段,来自验证网络的反馈信息允许我们执行姿势预测的进一步优化,这显著提高了人体姿势估计的性能。具体来说,我们根据人体的生物结构将关键点划分为组。在每个组内,关键点被进一步划分为两个子集,高置信度基础关键点和低置信度终端关键点。我们开发了一个自约束的预测验证网络来执行这些关键点子集之间的前向和后向预测。姿态估计以及一般预测任务中的一个基本挑战是,由于地面实况不可用,因此我们没有机制来验证所获得的姿态估计或预测结果是否准确。一旦成功学习,验证网络就充当前向姿态预测的准确度验证模块。在推理阶段,以高置信度关键点的自约束损失为目标函数,指导低置信度关键点姿态估计结果的局部优化。我们在基准MS COCO和CrowdPose数据集上的大量实验结果表明,该方法可以显着改善姿态估计结果。
2022-07-06 cs.AI cs.CV
It's all Relative: Monocular 3D Human Pose Estimation from Weakly Supervised Data
California Institute of Technology(加州理工学院)
我们解决的问题,三维人体姿态估计从二维输入图像只使用弱监督训练数据。尽管在2D姿态估计方面取得了相当大的成功,但将监督机器学习应用于现实世界图像中的3D姿态估计目前受到缺乏具有对应3D姿态的各种训练图像的阻碍。大多数现有的3D姿态估计算法训练在已经在仔细控制的工作室设置中收集的数据上或者已经合成地生成的数据上。相反,我们采取了不同的方法,并提出了一种3D人体姿势估计算法,只需要在训练时对深度进行相对估计。这样的训练信号虽然有噪声,但是可以容易地从人群注释器收集,并且具有足够的质量以使得能够成功训练和评估3D姿态算法。我们的研究结果与基于Human3.6M数据集的完全监督回归方法相比具有竞争力,尽管使用了明显较弱的训练数据。我们提出的算法打开了大门,使用现有的广泛的2D数据集的3D姿态估计,允许微调与噪声的相对约束,从而导致更准确的3D姿态。
2018-07-28 cs.CV
Test-Time Personalization with a Transformer for Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学);UC San Diego(加州大学圣地亚哥分校)
我们建议个性化的人的姿态估计给出了一组测试图像的人,而不使用任何手动注释。虽然在人体姿态估计方面取得了重大进展,但模型推广到不同的未知环境和看不见的人仍然非常具有挑战性。而不是使用一个固定的模型为每个测试用例,我们适应我们的姿势估计在测试时间利用个人特定的信息。我们首先训练我们的模型在不同的数据与监督和自我监督的姿态估计目标联合。我们使用Transformer模型来构建自监督关键点和监督关键点之间的转换。在测试期间,我们通过自监督目标进行微调来个性化和调整我们的模型。然后通过变换更新的自监督关键点来改进姿势。我们对多个数据集进行了实验,并通过我们的自我监督个性化在姿势估计方面取得了显着改进。
2021-11-08 cs.CV
PyCAT4: A Hierarchical Vision Transformer-based Framework for 3D Human Pose Estimation
Department of Computer Science(计算机科学系);University College London(伦敦大学学院);School of Electronic Engineering(电子工程学院);Queen Mary University of London(伦敦女王学院);Department of Earth Science(地球科学系);Imperial College London(帝国理工学院)
本研究提出PyCAT4框架,通过引入自注意力机制的Transformer特征提取层、特征时间融合技术和空间金字塔结构,优化Pymaf网络,在COCO和3DPW数据集上显著提升3D人体姿态估计的检测能力。
2026-05-26 cs.CV cs.LG
PoseFormerV2: Exploring Frequency Domain for Efficient and Robust 3D Human Pose Estimation
Shandong University(山东大学);University of Central Florida(中佛罗里达大学);Amazon Prime Video(亚马逊Prime Video);Peking University(北京大学)
最近,基于变换器的方法在顺序的2D到3D提升人体姿态估计中取得了显著的成功。作为一项开创性的工作,PoseFormer捕获了每个视频帧中人体关节的空间关系以及级联Transformer层跨帧的人体动态,并取得了令人印象深刻的性能。然而,在实际场景中,PoseFormer及其后续操作的性能受到两个因素的限制:(a)输入联合序列的长度;(b)2D联合检测的质量。现有的方法通常对输入序列的所有帧应用自注意,当帧数目增加以获得高级估计精度时造成巨大的计算负担,并且它们对由2D联合检测器的有限能力自然带来的噪声不鲁棒。在本文中,我们提出了PoseFormerV 2,它利用频域中冗长骨架序列的紧凑表示来有效地扩大感受野,并提高对噪声2D联合检测的鲁棒性。通过对PoseFormer的最小修改,所提出的方法有效地融合了时域和频域中的特征,比其前身具有更好的速度-精度权衡。在两个基准数据集(即,Human3.6M和MPI-INF-3DHP)证明,所提出的方法显著优于原始PoseFormer和其他基于transformer的变体。代码在\url{https://github.com/QitaoZhao/PoseFormerV2}发布。
2023-03-30 cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab(字节跳动人工智能实验室)
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型,大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计,但尚未研究在多数据集上训练的最佳实践。在本文中,我们提出了一个简单的网络称为多域姿态网络(MDPN)来解决这个问题。通过将任务视为多域学习,我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合,它显示出比基线的显着改进,并在PoseTrack ECCV 2018挑战赛上实现了最佳性能,而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
Convolutional Neural Networks for joint object detection and pose estimation: A comparative study
Université Paris-Est(巴黎东大)
在本文中,我们研究了应用卷积神经网络联合检测对象描绘在静态图像和估计其三维姿态。我们确定了定向对象的不同特征表示,以及导致网络学习这种表示的能量。表示的选择是至关重要的,因为对象的姿势具有自然的连续结构,而其类别是离散变量。我们使用平均视点精度评估Pascal 3D+基准的联合目标检测和姿态估计任务的不同方法。我们表明,离散化的观点的分类方法实现联合目标检测和姿态估计的最先进的性能,并显着优于现有的基准。
2015-02-28 cs.CV cs.LG cs.NE
Graph-based 3D Human Pose Estimation using WiFi Signals
本文提出GraphPose-Fi,一种基于图的WiFi信号3D人体姿态估计框架,通过建模骨骼拓扑结构提升估计精度。
2025-11-24 cs.CV
In-Bed Pose Estimation: Deep Learning with Shallow Dataset
Northeastern University(东北大学)
尽管在过去几十年中已经广泛地研究了用于各种计算机视觉(CV)应用的人体姿态估计,但是使用基于相机的视觉方法的床内姿态估计已经被CV社区忽略,因为它被假定为与通用姿态估计方法相同。然而,床内姿态估计具有其自身的专门方面,并且具有特定的挑战,包括全天照明条件的显著差异,并且从常见的人类监视观点来看还具有不同的姿态分布。在本文中,我们证明了这些挑战显着降低现有的通用姿态估计模型的有效性。为了应对光照变化的挑战,提出了红外选择性(IRS)图像采集技术,以提供各种光照条件下的均匀质量的数据。此外,针对非常规的姿态透视,提出了一种双端方向梯度直方图(HOG)校正方法。在这项工作中,我们探索了采用预训练的卷积神经网络(CNN)模型的想法,该模型在一般人类姿势的大型公共数据集上训练,并使用我们自己的浅床IRS数据集对模型进行微调。我们开发了一个IRS成像系统,并收集IRS图像数据,从几个现实的真人大小的人体模型在模拟医院的房间环境。一个预先训练的CNN,称为卷积姿态机(CPM),通过微调其特定的中间层,被重新用于床上姿态估计。使用HOG校正方法,CPM的位姿估计性能显着提高了26.4%,在PCK0.1标准相比,没有这样的校正模型。
2018-07-07 cs.CV
Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals
Gwangju Institute of Science and Technology (GIST)(光州科学技术院);University of Washington(华盛顿大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出SCOTTI模型,通过共享表示同时处理3D姿态估计、动作分类和运动进度预测,利用多任务学习提升性能,实验表明其在三项任务中均优于独立学习方法。
2026-03-26 cs.CV
On Self-Contact and Human Pose
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院)
虽然许多人的图像包含某种形式的自我接触,但当前的3D人体姿势和形状(HPS)回归方法通常无法估计这种接触。为了解决这个问题,我们开发了新的数据集和方法,显着提高人体姿态估计与自我接触。首先,我们创建了一个3D接触姿势(3DCP)数据集,其中包含适合3D扫描的SMPL-X身体以及来自AMASS的姿势,我们对其进行了优化以确保良好的接触。其次,我们利用它来创建通过Amazon Mechanical Turk收集的图像的Mimic-The-Pose(MTP)数据集,其中包含通过自我接触模仿3DCP姿势的人。第三,我们开发了一种新的HPS优化方法,SMPLify-XMC,包括接触约束,并在拟合过程中使用已知的3DCP身体姿势来创建MTP图像的近地面真实姿势。第四,为了获得更多的图像多样性,我们使用离散自接触(DSC)信息标记野外图像数据集,并使用另一种新的优化方法SMPLify-DC,该方法在姿势优化期间利用离散接触。最后,我们在SPIN训练过程中使用我们的数据集来学习一个新的3D人体姿势回归器,称为TUCH(Towards Understanding Contact in Humans)。我们表明,新的自接触训练数据显着提高了3D人体姿态估计扣留测试数据和现有的数据集,如3DPW。我们的方法不仅提高了自接触姿态的结果,而且还提高了非接触姿态的精度。代码和数据可在https://tuch.…
2021-04-08 cs.CV
Simple Baselines for Human Pose Estimation and Tracking
Microsoft Research Asia(微软亚洲研究院);University of Electronic Science and Technology of China(电子科技大学)
近年来,姿态估计和姿态跟踪的研究取得了重大进展。同时,整体算法和系统复杂度也增加,使得算法分析和比较更加困难。这项工作提供了简单有效的基线方法。它们有助于激发和评估该领域的新想法。在具有挑战性的基准上取得了最先进的成果。该代码将在https://github.com/leoxiaobin/pose.pytorch上提供。
2018-08-21 cs.CV
Is This The Right Place? Geometric-Semantic Pose Verification for Indoor Visual Localization
Tokyo Institute of Technology(东京工业大学);Inria(法国国家信息与自动化研究所);CIIRC, CTU in Prague(捷克布拉格技术大学信息学、机器人与控制论研究所);Chalmers University of Technology(查尔姆斯理工大学)
在由弱纹理房间和重复几何图案主导的大型复杂室内场景中的视觉定位是一个具有挑战性的问题,对于诸如增强现实和机器人技术的应用具有高度的实际相关性。为了处理这种情况下出现的歧义,一个常见的策略是,首先,生成多个估计的相机姿态,从给定的查询图像。与查询图像具有最大几何一致性的姿态,例如,然后在第二阶段中选择内围值计数的形式。虽然大量的研究集中在第一阶段,但在第二阶段的工作却少得多。因此,在本文中,我们专注于姿势验证。我们表明,结合不同的方式,即外观,几何和语义,大大提高了姿态验证,从而构成准确性。我们开发了多种手工制作的方法以及可训练的方法来加入几何语义验证,并在一个非常具有挑战性的室内数据集上显示出对最先进技术的显着改进。
2019-09-02 cs.CV
GenHPE: Generative Counterfactuals for 3D Human Pose Estimation with Radio Frequency Signals
Imperial College London(帝国理工学院)
GenHPE通过生成反事实射频信号消除特定域混杂因素,学习域无关表示,在三个公开数据集上显著提升跨受试者和跨环境三维人体姿态估计性能。
2025-03-12 cs.AI cs.CV cs.MM
3D Human Pose Estimation with Occlusions: Introducing BlendMimic3D Dataset and GCN Refinement
Institute for Systems and Robotics(系统与机器人研究所)
本研究针对3D人体姿态估计中的遮挡问题,提出BlendMimic3D数据集和基于GCN的即插即用姿态优化模块,显著提升遮挡场景下的姿态估计性能。
2024-04-24 cs.CV
Fast Human Pose Estimation
University of Electronic Science and Technology of China(电子科技大学);Vision Semantics Limited(视觉语义有限公司)
现有的人体姿态估计方法往往只考虑如何提高模型的泛化性能,而忽略了显著的效率问题。这导致开发的重型模型在实际使用中具有较差的可扩展性和成本效益。在这项工作中,我们调查研究不足,但实际上关键的姿势模型的效率问题。为此,我们提出了一种新的快速姿态蒸馏(FPD)模型学习策略。具体地,FPD训练能够以低计算成本快速执行的轻量级姿态神经网络架构。它是通过有效地传递一个强大的教师网络的姿势结构知识。广泛的评估表明,我们的FPD方法在两个标准的基准数据集,MPII人体姿势和利兹运动姿势的模型成本效益方面的优势,在广泛的国家的最先进的姿态估计方法。
2019-04-02 cs.CV
AnimePose: Multi-person 3D pose estimation and animation
Indian Institute of Information Technology, Sri City(印度斯里卡特里信息技术学院)
人类在行动中的3D动画是相当具有挑战性的,因为它涉及到使用一个巨大的设置与几个运动跟踪器遍布人的身体,以跟踪每个肢体的运动。这是耗时的,并且可能导致人在穿戴具有运动传感器的外骨骼身体套装时感到不适。在这项工作中,我们提出了一个简单而有效的解决方案,使用深度学习从2D视频中生成多个人的3D动画。虽然最近在3D人体姿态估计方面已经取得了显着的改进,但是大多数先前的工作在单人姿态估计的情况下工作良好,并且多人姿态估计仍然是一个具有挑战性的问题。在这项工作中,我们首先提出了一个监督的多人3D姿态估计和动画框架,即AnimePose为一个给定的输入RGB视频序列。所提出的系统的流水线由各种模块组成:i)人检测和分割,ii)深度图估计,iii)将2D提升到3D信息以用于人定位iv)人轨迹预测和人姿势跟踪。我们提出的系统在公开可用的数据集MuCo-3DHP和MuPoTS-3D数据集上产生了与以前最先进的3D多人姿势估计方法相当的结果,并且它还优于以前最先进的人类姿势跟踪方法,在Posetrack 2018数据集上的MOTA得分上获得了11.7%的性能增益。
2020-02-06 cs.CV cs.GR
Robust Collaborative 3D Object Detection in Presence of Pose Errors
Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学);Meta Reality Labs(Meta现实实验室);University of Warwick(华威大学);New York University(纽约大学);Shanghai AI Laboratory(上海人工智能实验室)
协作3D目标检测利用多个代理之间的信息交换来增强在存在诸如遮挡的传感器损伤的情况下的目标检测的准确性。然而,在实践中,由于不完美的定位造成的姿态估计误差会导致空间消息不对齐,并显着降低协作的性能。为了减轻姿态误差的不利影响,我们提出了CoAlign,一种新的混合协作框架,对未知的姿态误差具有鲁棒性。所提出的解决方案依赖于一种新的代理对象姿态图建模,以提高协作代理之间的姿态一致性。此外,我们采用了多尺度数据融合策略,聚合在多个空间分辨率的中间功能。与以前的作品相比,需要地面实况构成的训练监督,我们提出的CoAlign是更实用的,因为它不需要任何地面实况构成的监督在训练中,并没有具体的假设姿势错误。在多个数据集上对所提出的方法进行了广泛的评估,证明CoAlign显着降低了相对定位误差,并在存在姿态误差时实现了最先进的检测性能。代码可在https://github.com/yifanlu0227/CoAlign上供研究社区使用。
2023-03-03 cs.CV cs.MA cs.RO
A Survey of Efficient Regression of General-Activity Human Poses from Depth Images
本文对基于回归的人体姿态估计方法进行了综述。人体姿态估计问题已经得到了深入的研究,并使许多应用从娱乐到培训。传统的方法往往只依赖于彩色图像,不能完全模糊关节的三维位置,特别是在复杂的背景下。随着深度传感器的普及,三维估计的精度有了显著的提高。在本文中,我们给出了一个详细的分析,最先进的人体姿态估计,包括基于深度图像和RGB-D的方法。实验结果表明,他们的优势和局限性,为不同的场景。
2017-09-02 cs.CV
Robust Low-Light Human Pose Estimation through Illumination-Texture Modulation
Nanjing University of Posts and Telecommunications(南京邮电大学);Surrey Institute for People-Centred Artificial Intelligence(萨里以人为本人工智能研究所);University of Surrey(萨里大学)
针对极低光照图像下人体姿态估计精度低的问题,提出基于分治原则的频域框架,分别对高低频分量做光照校正和低秩去噪,在多种低光照场景下性能优于现有最优方法。
2025-01-14 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia(不列颠哥伦比亚大学)
从单幅图像中估计人体姿态是一个具有挑战性的问题,通常通过监督学习来解决。不幸的是,标记的训练数据还不存在许多人类活动,因为3D注释需要专用的运动捕捉系统。因此,我们提出了一种无监督的方法,该方法可以学习从单个图像中预测3D人体姿势,同时只使用2D姿势数据进行训练,这些数据可以是众包的,并且已经广泛使用。为此,我们估计最有可能通过随机投影的3D姿势,使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识,但我们学习了相机角度的分布,这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上,我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
LangPose: Language-Aligned Motion for Robust 3D Human Pose Estimation
McMaster University(麦斯特大学)
针对2D到3D人体姿态提升因深度模糊和遮挡导致的不适定问题,提出LangPose框架,通过对齐运动嵌入与细粒度动作文本嵌入利用语义信息,经预训练和微调优化,在Human3.6M等数据集上实现SOTA性能。
2025-11-12 cs.CV
Semi- and Weakly-supervised Human Pose Estimation
Toyota Technological Institute(丰田工业大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对静止图像中的人体姿态估计,本文提出了三种半监督和弱监督学习方案。虽然卷积神经网络的最新进展使用监督训练数据改进了人体姿势估计,但我们的重点是探索半监督和弱监督方案。我们提出的方案最初从少量带有人类姿势注释的标准训练图像中学习用于姿势估计的传统模型。对于第一种半监督学习方案,这种传统的姿态模型在没有人类注释的情况下检测训练图像中的候选姿态。从这些候选姿势中,只有真阳性被分类器使用表示所有身体部位的配置的姿势特征选择。这些候选姿势估计和真阳性姿势选择的准确性通过在我们的第二和第三学习方案中向这些图像提供动作标签来提高,所述第二和第三学习方案是半和弱监督学习。虽然第一和第二学习方案仅选择与监督训练数据中的姿态相似的姿态,但是第三方案选择与任何监督姿态显著不同的更真实肯定的姿态。该姿势选择通过使用具有Dirichlet过程混合物和贝叶斯因子的离群姿势检测的姿势聚类来实现。所提出的方案进行了验证与大规模的人体姿势数据集。
2019-06-04 cs.CV
2D Human Pose Estimation: A Survey
Zhejiang Gongshang University(浙江工商大学);Zhejiang Lab(之江实验室)
人体姿态估计旨在定位输入数据中的人体解剖关键点或身体部位(例如,图像、视频或信号)。它形成了使机器对人类行为有深刻理解的关键组成部分,并且已经成为计算机视觉和相关领域的突出问题。深度学习技术允许直接从数据中学习特征表示,从而显著提升人体姿势估计的性能边界。在本文中,我们收获的二维人体姿态估计方法的最新成果,并提出了一个全面的调查。简要地说,现有的方法把他们的努力在三个方向,即网络架构设计,网络训练细化,和后处理。网络架构设计着眼于人体姿态估计模型的架构,提取更强大的特征用于关键点识别和定位。网络训练精化是对神经网络训练的一种改进,旨在提高模型的代表性。后处理进一步结合了模型不可知的抛光策略,以提高关键点检测的性能。本次调查涉及200多项研究成果,涵盖方法框架、通用基准数据集、评估指标和性能比较。我们试图为研究人员提供一个更全面和系统的审查人体姿态估计,使他们能够获得一个宏伟的全景,更好地确定未来的发展方向。
2022-04-15 cs.CV
Compositional Human Pose Regression
Microsoft Research(微软研究院);Tongji University(同济大学)
基于回归的方法的性能不如基于检测的方法用于人体姿势估计。一个核心问题是,在姿势中的结构信息没有很好地利用在以前的回归方法。在这项工作中,我们提出了一个结构感知回归方法。它采用了重新参数化的姿势表示,使用骨骼而不是关节。它利用关节连接结构来定义一个组合损失函数,该函数对姿势中的长程相互作用进行编码。该方法简单、有效、通用,可在统一的环境中进行二维和三维姿态估计。综合评价验证了该方法的有效性。它显著推进了Human3.6M的最新技术水平,并与MPII的最新结果竞争。
2017-08-02 cs.CV
POSESTITCH-SLT: Linguistically Inspired Pose-Stitching for End-to-End Sign Language Translation
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎浦尔学院(IIT坎浦尔))
针对手语翻译数据集稀缺问题,提出受语言学模板启发的预训练方案POSESTITCH-SLT,通过引入模板生成的合成句子对训练简单的Transformer模型,在How2Sign和iSign数据集上显著提升了BLEU-4分数并超越现有方法。
2025-10-31 cs.AI cs.CL cs.CV
Can Everybody Sign Now? Exploring Sign Language Video Generation from 2D Poses
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
最近的工作已经解决了由用于手语的人体关节的2D/3D坐标表示的人体姿势的生成。我们使用深度学习中最先进的技术进行运动传输,并在美国手语数据集How2 Sign上对其进行评估,以生成签名者在给定2D姿势骨架的情况下执行手语的视频。我们对生成的视频进行了定量和定性评估,结果表明,由于缺乏手中的细节,目前的模型不足以生成足够的手语视频。
2021-01-04 cs.AI cs.CV
Pose-Based Sign Language Appearance Transfer
University of Zurich(苏黎世大学)
提出一种在手语骨骼姿态中迁移打手势者外观并保留手语内容的方法,在掩盖身份改进渲染的同时揭示了隐私保护与手语识别性能之间的权衡。
2025-04-29 cs.CL cs.CV
OpenHands: Making Sign Language Recognition Accessible with Pose-based Pretrained Models across Languages
AI4Bharat;IIT-Madras(印度理工学院马德拉斯分校);Microsoft Research(微软研究院)
自然语言的人工智能技术最近取得了巨大的进展。然而,在手语方面没有取得相应的进展,特别是在将手语识别为单个单词或完整句子方面。我们介绍了OpenHands,一个库,我们从NLP社区中为低资源语言提供了四个关键思想,并将其应用于手语的单词级识别。首先,我们建议使用通过预训练模型提取的姿势作为数据的标准模式,以减少训练时间并实现有效的推理,我们发布了6种不同手语的标准化姿势数据集-美国,阿根廷,中国,希腊,印度和土耳其。其次,我们训练并发布了所有6种语言的4个基于姿势的孤立手语识别模型的检查点,为部署提供基线和准备好的检查点。第三,为了解决缺乏标记数据的问题,我们提出了对未标记数据进行自我监督预训练。我们策划并发布了印度手语(Indian-SL)上最大的基于姿势的预训练数据集。第四,我们比较了不同的预训练策略,并首次建立了预训练是有效的手语识别证明(a)改善微调性能,特别是在低资源设置,和(b)高跨语言迁移从印度SL到其他几个手语。我们在OpenHands中开源了所有模型和数据集,希望它能使手语研究更容易获得,可在https://github.com/AI4Bharat/OpenHands上获得。
2021-10-12 cs.AI cs.CL cs.CV
SignVerse-2M: A Two-Million-Clip Pose-Native Universe of 55+ Sign Languages
Rutgers University(罗格斯大学);Georgia Institute of Technology(佐治亚理工学院);Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出SignVerse-2M,这是一个包含55+种手语、约200万片段的大规模多语言姿态原生手语数据集,适配现代姿态驱动的生成与识别范式,兼具真实场景适配性,可支撑多语言手语姿态建模与评估。
2026-10-27 cs.AI cs.CL cs.CV
Pose-based Sign Language Recognition using GCN and BERT
Purdue University(普渡大学)
手语识别(SLR)在弥合听力和发声障碍社区与社会其他人之间的沟通差距方面发挥着至关重要的作用。单词级手语识别(WSLR)是理解和解释手语的第一步。然而,从视频中识别标志是一项具有挑战性的任务,因为单词的含义取决于微妙的身体运动,手部配置和其他运动的组合。最近的基于姿态的架构WSLR要么模型的空间和时间的依赖关系之间的姿态在不同的帧同时或只建模的时间信息,而没有充分利用空间信息。我们使用一种新型的基于姿势的方法来解决WSLR问题,该方法分别捕获空间和时间信息并执行后期融合。我们提出的架构明确地捕捉空间的相互作用,在视频中使用图卷积网络(GCN)。使用来自Transformers的双向编码器表示(BERT)来捕获帧之间的时间依赖性。在WLASL(一个标准的单词级手语识别数据集)上的实验结果表明,我们的模型在基于姿势的方法上的表现明显优于最先进的方法,预测准确率提高了5%。
2020-12-01 cs.CV
Ham2Pose: Animating Sign Language Notation into Pose Sequences
Reichman University(雷赫曼大学);Bar-Ilan University(巴伊兰大学)
为实现听障与健听群体交流,提出首个将通用手语记谱法HamNoSys文本生成姿态序列的方法,用Transformer编码器结合时空信息生成预测,通过弱监督从非完整数据学习,提出nDTW度量并验证,代码已公开。
2025-04-14 cs.CL cs.CV
The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production
CNRS(国家科学研究中心);Inria(法国国家信息与自动化技术研究所);LORIA(洛林信息与自动化研究所)
研究变分自编码器(VAE)架构和训练目标设计如何影响潜在空间结构,进而影响基于潜在扩散模型的手语生成性能,发现潜在空间特性比重建精度更能解释生成性能差异。
2026-06-23 cs.AI cs.CV
SignX: Continuous Sign Recognition in Compact Pose-Rich Latent Space
Rutgers University(罗格斯大学);Nanyang Technological University(南洋理工大学);Columbia University(哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院);University of Wisconsin--Madison(威斯康星大学麦迪逊分校);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出SignX框架,通过统一潜在表示和ViT模型实现高效连续手语识别,显著降低计算消耗并在翻译任务中达到SOTA准确率。
2026-04-17 cs.CL cs.CV
Pose-Guided Sign Language Video GAN with Dynamic Lambda
Beuth University of Applied Sciences Berlin(柏林博伊特应用科学大学)
我们提出了一种使用GANs合成手语视频的新方法。我们扩展了Stoll等人以前的工作。通过使用Soft-Gated Warping-GAN的人类语义解析器来生成由区域级空间布局指导的逼真视频。合成目标姿态提高了对独立和对比签名者的性能。因此,我们使用高度异构的MS-ASL数据集评估了我们的系统,该数据集具有超过200个签名者,导致SSIM为0.893。此外,我们引入了一个周期性的加权方法的发电机,重新激活的训练,并导致定量更好的结果。
2021-05-06 cs.CV
Diversity-Aware Sign Language Production through a Pose Encoding Variational Autoencoder
University of Surrey(萨里大学)
针对多样性感知手语生成需求,提出结合姿态信息与属性条件的姿态编码变分自编码器,采用UNet架构和分部位解码器,在SMILE II数据集上多项指标优于现有基线。
2024-05-16 cs.CV
ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation
King Fahd University of Petroleum and Minerals(国王法赫德石油矿物大学);University of British Columbia(不列颠哥伦比亚大学)
研究尝试无注释手语翻译,提出ViPo-MLLM框架结合时空RGB和人体姿势特征,用专用编码器与交叉模态注意力,经结构化提示和训练后由大语言模型处理。该模型在数据集取得新成果,验证了机制有效性。
2026-07-07 cs.AI cs.CV
Emotion-Conditioned Short-Horizon Human Pose Forecasting with a Lightweight Predictive World Model
本文研究了情感嵌入对短周期姿态预测的辅助作用,提出轻量级自回归预测世界模型,结合姿态关键点与情感嵌入,提升情感驱动动作序列的预测性能。
2026-04-26 cs.AI cs.CV
SignAligner: Harmonizing Complementary Pose Modalities for Coherent Sign Language Generation
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学)
本研究扩展了手语数据集PHOENIX14T,提出三阶段SignAligner方法,通过多模态协同生成与校正及视频合成,提升了手语生成的准确性与表现力。
2025-06-13 cs.CV
G2P-DDM: Generating Sign Pose Sequence from Gloss Sequence with Discrete Diffusion Model
Beihang University(北京航空航天大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出 G2P-DDM,通过 Pose-VQVAE 离散化姿态、离散扩散建模、CodeUnet 融合时空信息及聚类预测长度,实现 gloss 到手语姿态序列生成,并在 SLP 基准上达到最优。
2023-12-18 cs.CV
SSD-Poser: Avatar Pose Estimation with State Space Duality from Sparse Observations
Academy for Engineering & Technology, Fudan University(复旦大学工程与技术学院);College of Vocational and Technical Teacher Education, Shanghai Polytechnic University(上海理工大学职业技术与教师教育学院)
SSD-Poser提出一种轻量模型,利用状态空间对偶性和频率感知解码器,从HMD稀疏观测中实现实时高精度全身姿态估计。
2025-04-25 cs.CV cs.HC
Improving 3D Pose Estimation for Sign Language
University of Surrey(萨里大学)
针对单张图像的手语3D人体姿态重建,本文提出结合神经网络与PyTorch FK层的方法,联合预测关节旋转和骨骼长度,在精度、视觉效果、泛化性和CPU运行效率上优于MediaPipe。
2023-08-18 cs.CV
FlashSign: Pose-Free Guidance for Efficient Sign Language Video Generation
HUST(华中科技大学);GigaAI(极佳科技);UTS(悉尼科技大学);HKU(香港大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Warwick(华威大学);TJU(天津大学);NNU(南京师范大学);UCAS(中国科学院大学);UTHealth Houston(德克萨斯大学休斯顿健康科学中心)
本文提出无需姿态表示的高效手语视频生成框架,通过扩散模型直接映射自然语言文本到手语视频,引入可训练滑动瓷砖注意力机制提升推理效率,实现3.07倍的生成速度提升。
2026-03-30 cs.CV
PoseKernelLifter: Metric Lifting of 3D Human Pose using Sound
Samsung AI Center NY(三星人工智能中心纽约);University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota Twin Cities(明尼苏达大学双城分校)
从单视点图像重建度量尺度下的人体三维姿态是一个几何不适定问题。例如,我们不能在没有附加场景假设的情况下从单个视图图像测量人到相机的确切距离(例如,已知高度)。现有的基于学习的方法通过按比例重建3D姿势来规避这个问题。然而,有许多应用,如虚拟远程呈现,机器人,和增强现实,需要度量尺度重建。在本文中,我们表明,随着图像记录的音频信号,提供补充信息,以重建度量的3D姿态的人。关键的见解是,当音频信号穿过3D空间时,它们与身体的交互提供了关于身体姿势的度量信息。基于这一认识,我们引入了一个称为姿态核的时不变传递函数-由身体姿态引起的音频信号的脉冲响应。姿态核的主要特性是:(1)其包络与3D姿态高度相关,(2)时间响应对应于到达时间,指示到麦克风的度量距离,以及(3)它对场景几何配置的变化是不变的。因此,它很容易推广到看不见的场景。我们设计了一个多级3D CNN,它融合了音频和视觉信号,并学习以度量尺度重建3D姿态。我们表明,我们的多模态方法在现实世界的场景中产生准确的度量重建,这是不可能的,与国家的最先进的提升方法,包括参数网格回归和深度回归。
2021-12-03 cs.CV cs.SD eess.AS
Isolated Sign Language Recognition with Segmentation and Pose Estimation
University of Tennessee, Knoxville(田纳西大学,诺克斯维尔)
本文提出了一种降低计算成本且具备鲁棒性的孤立手语识别模型,通过姿态估计、分割模块和ResNet-Transformer主干联合建模空间与时间依赖性,以提升对签署人变异的适应能力。
2025-12-16 cs.CV
Pose-Based Sign Language Spotting via an End-to-End Encoder Architecture
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种基于姿态的端到端编码器架构,用于手语 spotting 任务,通过减少计算成本和视觉噪声,实现了在连续手语序列中检测特定手语的高准确率。
2025-12-09 cs.CL cs.CV
HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出HOISDF网络,利用手部和物体的全局符号距离场作为隐式形状先验,从单目图像中联合估计手物三维姿态,在DexYCB和HO3Dv2基准上达到最先进性能。
2024-02-26 cs.CV