Gait Recognition Using 3-D Human Body Shape Inference
University of Southern California(南加州大学)
步态识别是一种重要的生物特征识别技术,它可以从远处观察到,并且不需要主体的合作。识别一个人的步态是困难的,因为不同的视角,携带的物体,和服装产生的人体轮廓序列的外观变化。最近的研究已经产生了一些应对这些变异的方法。在本文中,我们介绍了从有限图像中推断3D体型的用法,这些图像原则上对指定的变体是不变的。三维形状的推断是一项困难的任务,特别是当数据集中只提供轮廓时。我们提供了一种方法来学习3-D身体推断从剪影通过转移知识,从3-D形状先验RGB照片。我们在多个现有的最先进的步态基线上使用我们的方法,并在两个公共数据集CASIA-B和OUMVLP上的步态识别方面获得了一致的改进,包括在训练期间未看到的新视图的新设置。
2022-12-18 cs.CV
Spatial Shortcut Network for Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学)
像许多计算机视觉问题一样,人体姿态估计是一个具有挑战性的问题,因为识别身体部位不仅需要来自局部区域的信息,而且需要来自具有大空间距离的区域的信息。为了在空间上传递信息,通常使用大卷积核和深层,这引入了高计算成本和大参数空间。幸运的是,对于姿势估计,人体在图像中是几何结构的,从而能够对空间依赖性进行建模。在本文中,我们提出了一个空间捷径网络的姿态估计任务,其中信息更容易在空间上流动。我们评估我们的模型进行了详细的分析,并提出了其出色的性能与较小的结构。
2019-04-05 cs.CV
ZoomNAS: Searching for Whole-body Human Pose Estimation in the Wild
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学);Shanghai AI Laboratory(上海人工智能实验室)
本文研究了二维全身人体姿态估计的任务,其目的是定位整个人体(包括身体,脚,脸和手)上的密集地标。我们提出了一个单一的网络方法,称为ZoomNet,考虑到整个人体的层次结构,并解决不同的身体部位的规模变化。我们进一步提出了一个神经架构搜索框架,称为ZoomNAS,以提高全身姿势估计的准确性和效率。ZoomNAS联合搜索模型架构和不同子模块之间的连接,并自动为搜索到的子模块分配计算复杂性。为了训练和评估ZoomNAS,我们引入了第一个大规模2D人体全身数据集,即COCO-WholeBody V1.0,它为野外图像注释了133个关键点。大量的实验证明了ZoomNAS的有效性和COCO-WholeBody V1.0的重要性。
2022-08-23 cs.CV
ARBEE: Towards Automated Recognition of Bodily Expression of Emotion In the Wild
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon Lab126(亚马逊Lab126)
可以说,人类天生就准备好从微妙的身体动作中理解他人的情感表达。如果机器人或计算机能够被赋予这种能力,许多机器人应用就成为可能。然而,鉴于对情感表达和身体动作之间关系的不完全理解,在不受约束的情况下自动识别人体表情是令人畏惧的。目前的研究,作为计算机和信息科学,心理学和统计学之间的多学科努力,提出了一种可扩展和可靠的众包方法,用于收集野外感知的情感数据,供计算机学习识别人类的肢体语言。为了完成这一任务,我们创建了一个庞大且不断增长的注释数据集,其中包含9,876个身体动作视频片段和13,239个人类角色,名为BoLD(肢体语言数据集)。对数据集的全面统计分析揭示了许多有趣的见解。一个系统来模拟的情感表达的基础上,身体的动作,命名为ARBEE(自动识别的身体表达的情感),也已经开发和评估。我们的分析表明,拉班运动分析(LMA)功能的有效性,在表征唤醒,我们的实验使用LMA功能进一步证明了身体表达的可计算性。我们的报告和比较结果的其他几个基线方法,开发的动作识别的基础上两种不同的方式,身体骨架,和原始图像。这项工作中提出的数据集和发现可能会成为未来身体语言理解发现的发射台,这将使未来的机器人能够更有效地与人类互动和合作。
2019-07-09 cs.CV
Posture recognition using an RGB-D camera : exploring 3D body modeling and deep learning approaches
Laboratoire de recherche en Imagerie et Orthopédie (LIO)(影像与骨科研究实验室(LIO));TÉLUQ University(加拿大远程大学)
RGB-D传感器的出现为有效解决复杂的人工视觉问题提供了新的可能性。人体姿态识别是这些计算机视觉问题中的一个,具有广泛的应用,例如环境辅助生活和智能医疗保健系统。在这种情况下,我们的论文提出了新的方法和思想来设计使用RGB-D相机的自动姿态识别系统。更具体地说,我们介绍了两种监督方法,使用RGB-D相机提供的主要类型的视觉数据来学习和识别人体姿势。第一种方法是基于从2D图像中提取的卷积特征。训练卷积神经网络(CNN)以在RGB和深度图像上使用迁移学习来识别人类姿势。其次,我们建议在3D空间中使用身体关节配置来建模姿势。然后,通过基于3D特征的SVM分类来执行位置识别。为了评估所提出的方法,我们创建了一个具有挑战性的姿态识别数据集,具有相当大的可变性有关的采集条件。实验结果表明,这两种方法在识别人体姿势方面具有相当的性能和较高的精度,在应用于深度图像时,基于CNN的方法略有优势。此外,这两种方法表现出较高的鲁棒性的几个扰动因素,如规模和方向的变化。
2018-10-13 cs.CV
Human Body Orientation Estimation using Convolutional Neural Network
Seoul National University(首尔大学)
个人机器人被期望通过识别用户的面部来与用户交互。然而,在大多数服务机器人应用中,用户需要移动他/她自己以允许机器人面对面地看到他/她。为了克服这样的限制,需要一种用于估计人体取向的方法。以前的研究使用各种组件,如特征提取器和分类模型来分类的方向,导致低性能。为了更稳健和准确的方法,我们提出了轻量级的卷积神经网络,一个端到端的系统,用于估计人体方向。我们的身体取向估计模型在基准数据集和我们自己的数据集上分别达到了81.58%和94%的准确率。所提出的方法可以用于广泛的服务机器人的应用,这取决于估计人体方向的能力。为了展示其在服务机器人应用中的实用性,我们设计了一个简单的机器人应用程序,它允许机器人向用户的正面移动。有了这个,我们证明了提高的人脸检测率。
2016-09-07 cs.CV cs.LG cs.RO
Hierarchical Spatial Sum-Product Networks for Action Recognition in Still Images
Nanyang Technological University(南洋理工大学)
从静止图像中识别动作是近年来的研究热点。在本文中,我们提出了一个新的空间SPN(和积网络)的身体部位的空间配置的灵活数量的行动类模型。首先,我们通过无监督学习发现图像集合中的一组部分。然后,我们的新的空间SPN被应用到模型的空间关系,也是高阶相关的零件。为了学习鲁棒网络,我们进一步开发了一种分层空间SPN方法,该方法对子图像内部部分之间的成对空间关系进行建模,并通过SPN的额外层对子图像的相关性进行建模。我们的方法被证明是有效的两个基准数据集。
2016-07-08 cs.CV
A Deep Learning Framework for Recognizing both Static and Dynamic Gestures
LIRMM;Université de Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心);Technische Universiteit Delft(代尔夫特理工大学)
直观的用户界面对于与以人为中心的智能环境进行交互是必不可少的。在本文中,我们提出了一个统一的框架,识别静态和动态手势,使用简单的RGB视觉(无深度传感)。这一特性使其适用于社会或工业环境中廉价的人机交互。我们采用姿势驱动的空间注意力策略,指导我们提出的静态和动态手势网络- StaDNet。从人体上半身的图像,我们估计他/她的深度,以及他/她的手周围的感兴趣区域。StaDNet中的卷积神经网络在背景替代手势数据集上进行了微调。它被用来检测10个静态手势为每只手,以及获得的手图像嵌入。这些随后与增强的姿态向量融合,然后传递到堆叠的长短期记忆块。因此,来自增强姿态向量和来自左/右手图像嵌入的以人为中心的逐帧信息被及时聚合以预测表演者的动态姿势。在一些实验中,我们表明,所提出的方法超越了大规模Chalearn 2016数据集上的最新结果。此外,我们将通过所提出的方法学到的知识转移到Praxis手势数据集,并且所获得的结果也超过了该数据集的最新水平。
2021-03-17 cs.CV cs.HC cs.LG
Significance of Skeleton-based Features in Virtual Try-On
TCG Centres for Research and Education in Science and Technology(TCG科学技术研究与教育中心);Osaka University(大阪大学);Indian Statistical Institute(印度统计研究所);Indian Institute of Information Technology Kalyani(印度卡利亚尼信息技术学院)
针对虚拟试穿中手臂交叉姿势导致的服装变形不一致问题,提出基于骨架几何特征分割独立变形并结合合成器与掩码预测网络的无配对数据解决方案。
2024-01-06 cs.CV
Action Recognition via Pose-Based Graph Convolutional Networks with Intermediate Dense Supervision
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
基于姿态的动作识别近年来引起了广泛的关注。现有方法利用关节位置从卷积网络的激活图中提取身体部位特征来辅助人类动作识别。然而,在以前的作品中,这些功能只是简单地连接或最大池化。身体各部分之间的结构化关联对于理解复杂的人类行为至关重要,但尚未得到充分利用。为了解决这个问题,我们提出了一个姿势为基础的图卷积网络(PGCN),它编码的身体部位的功能到一个基于人类的时空图,并明确建模与一个新的轻量级自适应图卷积模块的相关性,以产生一个高度歧视性的表示人类动作识别。此外,我们发现骨干网络倾向于从输入的最具鉴别力的区域识别模式,而不管其他区域。因此,由来自其他区域的联合位置汇集的特征的信息量较少,这因此妨碍了随后的用于识别动作的聚合过程的性能。为了缓解这个问题,我们引入了一个简单的中间密集监督机制的骨干网络,充分解决了这个问题,在推理过程中没有额外的计算成本。我们在三个流行的基于姿势的动作识别任务的基准上评估所提出的方法,即,Sub-JHMDB,PennAction和NTU-RGBD,我们的方法在没有花里胡哨的情况下显著优于最先进的方法。
2019-11-28 cs.CV
Parts-Mamba: Augmenting Joint Context with Part-Level Scanning for Occluded Human Skeleton
The Pennsylvania State University(宾夕法尼亚州立大学);Intel Corp.(英特尔公司)
Parts-Mamba通过部分级扫描和身体融合模块提升遮挡环境下的人体骨架动作识别精度
2025-11-21 cs.CV
Advancements in Repetitive Action Counting: Joint-Based PoseRAC Model With Improved Performance
Missouri University of Science and Technology(密苏里科技大学);Stony Brook University(石溪大学);Peloton Interactive(Peloton互动公司)
本文提出将关节角度与人体姿态关键点结合的 PoseRAC 模型,解决重复动作计数中视角变化、多计漏计等问题,在 RepCount 数据集上取得优于现有方法的性能。
2024-02-24 cs.CV
Full-Body Articulated Human-Object Interaction
Peking University(北京大学);Beijing Institute of General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Tsinghua University(清华大学)
本文构建大规模全身铰接式人-物交互数据集CHAIRS,并提出利用人体姿态与交互先验估计铰接物体位姿和形状的模型,在多种设置下显著优于基线。
2023-12-18 cs.CV
Action-Affect Classification and Morphing using Multi-Task Representation Learning
SRI International(SRI国际)
最近的研究大多集中在面部表情的影响上,而不是身体。本研究的重点是身体影响分析。情感不是孤立发生的。人类通常在自然互动中将影响与动作结合在一起;例如,一个人可以说话和微笑。识别序列中的身体影响需要高效的算法来捕捉区分快乐和悲伤的微观动作以及不同动作之间的宏观变化。我们从传统的时间序列数据分析方法出发,提出了一个多任务学习模型,该模型学习一个非常适合动作-影响分类和生成的共享表示。在本文中,我们选择条件限制玻尔兹曼机作为我们的积木。我们提出了一个新的模型,增强了CRBM模型与因子化的多任务组件,成为多任务条件限制玻尔兹曼机(MTCRBM)。我们在两个公开可用的数据集上评估了我们的方法,即Body Affect数据集和Tower Game数据集,并显示出优于最先进技术的分类性能改进,以及我们模型的生成能力。
2016-03-21 cs.AI cs.CV cs.HC
Free-body Gesture Tracking and Augmented Reality Improvisation for Floor and Aerial Dance
UC San Diego(加州大学圣地亚哥分校);Calit2 UCSD(加州大学圣地亚哥分校加州电信与信息技术学院)
本文介绍了一个更新的互动表演系统,地板和空中舞蹈,控制视觉和声音方面的介绍,通过深度传感摄像头(MS Kinect)。为了检测、测量和跟踪空间中的自由运动,使用IR标记执行空间中(地面和空中)的3自由度(3-DOF)跟踪,其中添加并详细描述了用于多目标跟踪能力的方法。本文介绍了一种改进的手势跟踪和识别系统-动作图(AG)。动作图使用一个有效的增量构造从一个单一的长序列的运动特征,并自动捕捉重复的子段在运动中从开始到结束,没有手动交互需要与其他先进的功能讨论以及。通过使用手势的新模型,我们可以通过动态跟踪和识别手势和作品的子部分来统一整个编舞作品。这给予表演者基于一组记录的姿势/编舞的部分即兴创作的自由,并且使系统在一组相关的排练动作内相对于表演者动态地响应,这是迄今为止在任何其他系统中都没有看到的能力。
2015-09-15 cs.CV cs.HC cs.MM
Two-person Graph Convolutional Network for Skeleton-based Human Interaction Recognition
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
针对现有GCN方法拆分双人骨架导致交互信息丢失的问题,提出统一双人图拓扑与双人图卷积网络(2P-GCN),结合图标记策略学习时空交互特征,在SBU等三个数据集的四个基准上取得最优结果。
2022-11-15 cs.AI cs.CV
HumanCLAW: Can Vision-Language Models Act Through a Body?
Meta;Nanyang Technological University(南洋理工大学);University of Washington(华盛顿大学);Brown University(布朗大学);Northwestern University(西北大学)
本研究提出HumanCLAW框架与HumanCLAW-Bench基准,测试9个先进VLM发现其均未解决具身动作任务,最优仅16.8%成功率,核心缺失具身自我意识。
2026-08-05 cs.CV cs.RO
Particle Filter Based Monocular Human Tracking with a 3D Cardbox Model and a Novel Deterministic Resampling Strategy
Technische Universität München(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心)
无标记人体运动跟踪的挑战是搜索空间的高维性。因此,在搜索空间中的有效探索具有重要意义。本文提出了一种运动捕捉算法,用于上半身运动跟踪。该系统基于单目轮廓匹配跟踪人体运动,它是建立在一个分层粒子滤波器,其中一个新的确定性恢复策略(DRS)的顶部。建议的系统进行定量评估与地面实况数据测量的惯性传感器系统。此外,我们比较了DRS与分层再分配策略(SRS)。实验结果表明,在相同粒子数的情况下,DRS优于SRS。此外,一个新的3D关节的人体上半身模型的名称3D cardbox模型被创建,并被证明是成功的运动跟踪工作。实验表明,该系统能够鲁棒地跟踪上半身运动,且不会产生自遮挡现象。也可以很好地跟踪朝向相机的运动。
2020-02-21 cs.CV cs.RO
Coarse Temporal Attention Network (CTA-Net) for Driver's Activity Recognition
Edge Hill University(边山大学)
在从视频中识别传统人类活动方面取得了重大进展,这些视频侧重于涉及有区别的身体运动、身体-物体和/或人-人交互的高度独特的动作。驾驶员的活动是不同的,因为它们是由相同的主体以相似的身体部位运动执行的,从而导致微妙的变化。为了解决这个问题,我们提出了一个新的框架,利用时空注意力模型的微妙变化。我们的模型被命名为粗时间注意力网络(CTA-Net),其中粗时间分支被引入到可训练的一瞥网络中。其目标是通过关注视频的特定部分,允许一瞥捕捉高级时间关系,例如“期间”,“之前”和“之后”。这些分支还尊重视频中时间动态的拓扑,确保不同的分支学习有意义的空间和时间变化。然后,该模型使用创新的注意力机制,通过探索LSTM的隐藏状态来生成用于活动识别的高级动作特定上下文信息。注意力机制通过在构建视频的表示时对每个隐藏状态进行加权来帮助学习确定每个隐藏状态对于识别任务的重要性。我们的方法在四个公开访问的数据集上进行了评估,并且在仅使用RGB视频作为输入的情况下,其性能明显优于最先进的技术。
2021-01-17 cs.AI cs.CV cs.LG
Action in Mind: A Neural Network Approach to Action Recognition and Segmentation
Lund University(隆德大学)
识别和分类人类行为是一项重要的任务,在各种领域,如人机交互,视频分析,监控,视频检索,医疗保健系统和娱乐行业的应用。本文提出了一种新的基于人工神经网络多层结构的人体动作识别方法。每个系统级开发旨在解决动作识别问题的不同方面,包括在线实时处理,动作分割和对象的参与。实验结果的分析在六篇文章中进行了说明和描述。本文提出的动作识别体系结构由预处理层、有序向量表示层和三层神经网络组成。它利用自组织神经网络,如Kohonen特征映射和生长网格作为主要的神经网络层。因此,该架构提出了一种生物学上合理的方法,具有某些特征,如神经元的拓扑组织、横向相互作用、半监督学习和在低维映射中表示高维输入空间的能力。对于每个开发水平,系统用由连续3D身体姿势组成的输入数据训练,并用系统以前从未遇到过的一般化输入数据测试。不同系统级开发的实验结果表明,该系统性能良好,具有相当高的准确率识别人的行动。
2021-04-30 cs.AI cs.CV cs.HC