Human-Centric Transformer for Domain Adaptive Action Recognition
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Peng Cheng Laboratory(鹏城实验室)
针对跨域动作识别中现有方法易丢失人类线索、依赖无关背景导致性能下降的问题,提出HCTransformer,通过解耦的以人为中心学习范式建模人类线索及人-动作相关背景的领域不变交互,在三个基准上取得SOTA性能。
2024-07-15 cs.CV
THORN: Temporal Human-Object Relation Network for Action Recognition
Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学)
大多数动作识别模型将人类活动视为单一事件。然而,人类的活动往往遵循一定的等级制度。事实上,许多人类活动都是合成的。此外,这些动作大多是人与物体的交互。在本文中,我们建议利用定义一个动作的一组交互来识别人的动作。在这项工作中,我们提出了一个端到端的网络:THORN,它可以利用重要的人与对象和对象与对象的交互来预测动作。该模型建立在3D骨干网络之上。我们的模型的关键组成部分是:1)一个对象表示过滤器建模对象。2)对象关系推理模块,用于捕获对象关系。3)一个分类层来预测动作标签。为了展示THORN的鲁棒性,我们在EPIC-Kitchen 55和EGTEA Gaze+上进行了评估,这是两个最大和最具挑战性的第一人称和人机交互数据集。THORN在这两个数据集上都实现了最先进的性能。
2022-04-20 cs.CV
A Novel Approach for Human Action Recognition from Silhouette Images
A.K.Choudhury School of Information Technology, University of Calcutta(加尔各答大学A.K.乔杜里信息技术学院);Jadavpur University(贾达普大学)
提出了一种新的视频人体动作识别方法。人的任何动作都是由人的一个或多个身体部位执行的若干微动作序列的组合。该方法使用时空人体部位运动(STBPM)特征提取的前景轮廓的人体对象。新提出的STBPM功能估计任何给定时间段内不同身体部位的运动,以分类动作。我们还提出了一个基于规则的逻辑命名为规则动作分类器(RAC),它使用了一系列的条件动作规则的基础上先验知识,因此不需要训练来分类任何动作。由于我们不需要训练来分类动作,因此所提出的方法是视图无关的。在公开的Wizeman和MuHVAi数据集上的实验结果与相关研究工作在人体动作检测的准确性方面进行了比较,所提出的技术优于其他技术。
2015-10-15 cs.CV
Spatio-Temporal Human Action Recognition Modelwith Flexible-interval Sampling and Normalization
人类动作识别是一项众所周知的计算机视觉和模式识别任务,用于识别一个人实际上正在做的动作。本文提出了一种基于红绿蓝(RGB)输入视频的人体动作识别系统,并设计了相应的识别模块。在基于GRU的时空特征提取算法的基础上,增加了采样模块和归一化模块,提高了模型的性能,从而实现了对人体动作的识别。此外,我们建立了一个新的数据集,具有类似的背景和歧视性的行动,人类关键点预测和行为识别。为了获得更好的结果,我们使用新数据集重新训练姿势模型以获得更好的性能。在我们自己的人类行为识别数据集和一些公共数据集上的实验结果表明了该模型的有效性。
2021-08-12 cs.CV
Human Action Recognition without Human
National Institute of Advanced Industrial Science and Technology (AIST)(日本先进工业科学技术研究院(AIST))
针对背景特征可能主导动作识别的问题,本文提出“无人的人体动作识别”概念,并在 UCF101 等数据集上验证仅凭背景序列理解动作标签的效果。
2024-10-23 cs.CV cs.MM
Learning a Deep Model for Human Action Recognition from Novel Viewpoints
The University of Western Australia(西澳大学);University of Central Florida(中佛罗里达大学)
从未知的和看不见的(新的)观点识别人类行为是一个具有挑战性的问题。本文从新颖的角度提出了一种用于人体动作识别的鲁棒非线性知识转移模型(R-NKTM)。所提出的R-NKTM是一个深度全连接的神经网络,通过找到连接视图的非线性虚通路,将人类行为的知识从任何未知视图转移到共享的高级虚拟视图。R-NKTM是从适合真实运动捕捉数据的合成3D人体模型的密集轨迹中学习的,并推广到人类动作的真实视频。我们的技术的优势在于,我们为所有动作和所有观点学习单个R-NKTM,用于任何真实人类动作视频的知识转移,而无需重新训练或微调模型。因此,R-NKTM可以有效地扩展以纳入新的操作类。R-NKTM是通过虚拟标签学习的,在任何阶段都不需要了解相机视点。在三个基准交叉视图人体动作数据集上的实验表明,我们的方法优于现有的最先进的。
2016-02-02 cs.CV
Attentive Action and Context Factorization
Stony Brook University(石溪大学);University of Pennsylvania(宾夕法尼亚大学);Dartmouth College(达特茅斯学院)
我们提出了一种方法,人类的行动识别,一个可以本地化的时空区域,“定义”的行动。这是一项具有挑战性的任务,因为视频中人类动作的微妙性和上下文元素的共同出现。为了解决这一挑战,我们利用共轭样本的人类行动,这是视频剪辑,是上下文类似的人类行动样本,但不包含的行动。我们引入了一种新的注意机制,可以在空间和时间上将人类的行为与共同发生的上下文因素分开。动作和上下文因素的分离是弱监督的,消除了在训练样本中对这两个因素进行费力的详细注释的需要。我们的方法可以用来建立具有更高的准确性和更好的可解释性的人类行为分类器。几个人类动作识别数据集上的实验证明了我们的方法的定量和定性的好处。
2019-04-10 cs.CV
A Grid-based Representation for Human Action Recognition
Polytechnique Montreal(蒙特利尔综合理工学院)
视频中的人体动作识别是计算机视觉的一个基础研究课题。它主要是基于一系列视觉观察来理解人类的行为。近年来,HAR取得了重大进展,特别是随着深度学习模型的出现。然而,大多数现有的方法动作识别依赖于信息,并不总是相关的这项任务,并限制了他们融合的时间信息的方式。在本文中,我们提出了一种新的人类动作识别方法,有效地编码的最具歧视性的外观信息的行动与明确的关注代表姿态功能,到一个新的紧凑的网格表示。我们的GRAR(基于网格的动作识别表示)方法在几个基准数据集上进行了测试,证明我们的模型可以准确地识别人类动作,尽管存在类内外观变化和遮挡挑战。
2020-10-29 cs.CV
Combining Spatio-Temporal Appearance Descriptors and Optical Flow for Human Action Recognition in Video Data
University of Zagreb(萨格勒布大学);Graz University of Technology(格拉茨技术大学)
本文提出了结合时空外观(STA)描述符和光流的人类行为识别。STA描述符是基于局部直方图的时空描述符,适用于构建任意时空现象的部分表示。由于迭代细化的可能性,它们在在线人类动作识别的背景下很有趣。我们研究使用密集的光流作为图像功能的STA描述符的人类动作识别,使用两种不同的算法计算流量:Farnebäck算法和TVL1算法。我们提供了一个详细的分析的影响光流算法参数上产生的光流领域。在KTH人体动作数据集上对基于光流的STA描述符在人体动作识别中进行了广泛的实验验证。令人鼓舞的实验结果表明,我们的方法在在线人类行为识别的潜力。
2013-10-01 cs.CV
Multiview Cauchy Estimator Feature Embedding for Depth and Inertial Sensor-Based Human Action Recognition
Kinect和惯性传感器的日益普及促使人们对人类动作识别进行了深入的研究。由于人的动作可以通过从Kinect和惯性传感器中提取的多个特征表示来表征,因此必须将多视图特征编码到用于人的动作识别的统一空间中。在本文中,我们提出了一种新的无监督特征融合方法称为多视图柯西估计特征嵌入(MCEFE)的人体动作识别。通过最小化经验风险,MCEFE集成多个视图中的编码互补信息,以找到统一的数据表示和投影矩阵。为了增强对异常值的鲁棒性,对重构误差施加Cauchy估计。此外,集成流形正则化的投影矩阵上进行编码不同的视图之间的相关性,并避免过拟合。在中国科学院-云南大学-多模态人体动作数据库(CAS-YNU-MHAD)上进行了实验,验证了MCEFE对人体动作识别的有效性和鲁棒性。
2016-09-04 cs.CV
Human Action Sequence Classification
A*AI, A*STAR(新加坡科技研究局人工智能研究所)
本文使用机器翻译模型对视频中的人体动作序列进行分类。与输出一组动作的经典人类动作分类相比,我们的方法按照人类执行的动作的时间顺序输出一系列动作。因此,我们的方法是使用连续的性能指标,如双语评估替补(BLEU)分数进行评估。动作序列分类在示教学习、动作分割、动作检测、动作定位、视频描述等领域有着广泛的应用。此外,我们使用我们的模型,训练输出动作序列来解决下游任务,如视频描述和动作定位。我们在挑战性的Charades数据集中获得了视频描述的最新结果,获得了BLEU-4评分34.8和METEOR评分33.6,分别优于先前的最新水平18.8和19.5。同样,在ActivityNet字幕上,我们在ROUGE(20.24)和CIDER(37.58)得分方面获得了优异的成绩。对于动作本地化,不使用任何显式的开始/结束动作注释,我们的方法获得了22.2 mAP的本地化性能优于以前的完全监督方法。
2019-10-07 cs.CV
Advances in Human Action Recognition: A Survey
University of North Texas(北德克萨斯大学)
由于在视频监控、人机交互、视频检索等方面的广泛应用,人体动作识别一直是计算机视觉的重要研究课题。这些应用程序背后的一个核心问题是自动识别感兴趣的低级操作和高级活动。前者通常是后者的基础。这项调查概述了人类行为识别的最新进展,在过去的几年中,根据以前的调查提出了一个良好的分类。从这项最先进的调查中,研究人员可以看到这一领域的进展全景,以供未来研究。
2015-01-23 cs.CV
Human Action Recognition System using Good Features and Multilayer Perceptron Network
Institute of Technology, Nirma University(尼尔玛大学理工学院)
人类动作识别涉及通过视频数据的自动分析来表征人类动作,并且在智能计算机视觉系统的开发中是不可或缺的。然而,诸如动态背景、相机稳定、复杂动作、遮挡等的若干挑战使得以实时的和鲁棒的方式进行动作识别变得困难。存在几种复杂的方法,但计算密集。本文提出了一种新的方法,使用良好的功能,随着迭代光流算法的组合来计算特征向量,使用多层感知器(MLP)网络进行分类。运动描述符的多个特征的使用增强了跟踪的质量。前馈神经网络的训练采用弹性反向传播算法,减少了学习时间。通过优化多层感知器网络的各种参数,提高了整个系统的精度。
2017-08-22 cs.AI cs.CV cs.HC
View-invariant action recognition
CRCV University of Central Florida(中佛罗里达大学计算机视觉研究中心)
人体动作识别是计算机视觉中的一个重要问题。它在监控、人机交互、增强现实、视频索引和检索等方面有着广泛的应用。由人类动作产生的时空外观的变化模式是识别所执行动作的关键。我们已经看到很多研究探索这种时空外观的动态,以学习人类行为的视觉表示。然而,大多数动作识别的研究都集中在一些共同的观点,这些方法并没有表现出良好的时,有一个改变的观点。人类动作在三维环境中执行,并且当从给定视点捕获为视频时被投影到二维空间。因此,一个动作从不同的视角看会有不同的时空表现。视点不变动作识别的研究就是为了解决这个问题,主要从看不见的视点来识别人的动作。
2020-09-01 cs.CV
Action2Motion: Conditioned Generation of 3D Human Motions
University of Alberta(阿尔伯塔大学);University of Chicago(芝加哥大学);Yale University(耶鲁大学);University of Guelph(圭尔夫大学)
动作识别是一个相对成熟的任务,它是在给定一个输入序列的情况下,预测其动作类别。另一方面,本文考虑了一个相对较新的问题,它可以被认为是动作识别的逆:给定一个规定的动作类型,我们的目标是在3D中生成合理的人体运动序列。重要的是,生成的运动集有望保持其多样性,以便能够探索整个动作条件运动空间;同时,每个采样序列忠实地类似于anaturalhuman bodyarticulation dynamics。基于这些目标,我们遵循人体运动学的物理规律,采用李代数理论来表示人体的自然运动,并提出了一种时间变分自动编码器(VAE),鼓励运动空间的双向性。还构建了一个新的三维人体运动数据集HumanAct 12。在三个不同的人体运动数据集(包括我们的)的实证实验证明了我们的方法的有效性。
2020-07-30 cs.CV
Video-based Human Action Recognition using Deep Learning: A Review
Centre d’Etudes et d’Expertise sur les Risques, l’environnement la mobilité et l’aménagement (CEREMA)(风险、环境、流动性与规划研究与专业中心);VinUniversity(文林大学);Université Paul Sabatier(保罗·萨巴蒂埃大学);Universidad de los Andes(安第斯大学);University Carlos III Madrid(马德里卡洛斯三世大学)
人体动作识别是计算机视觉的一个重要应用领域。它的主要目标是根据传感器获取的以前从未见过的数据序列准确描述人类行为及其交互。识别、理解和预测复杂人类行为的能力使得许多重要应用的构建成为可能,例如智能监控系统、人机界面、医疗保健、安全和军事应用。近年来,深度学习受到了计算机视觉界的特别关注。本文概述了使用视频分析和深度学习技术进行动作识别的当前最新技术。我们提出了最重要的深度学习模型来识别人类动作,并分析它们,以提供深度学习算法应用于解决现实视频中的人类动作识别问题的当前进展,突出其优点和缺点。基于文献中报道的识别精度的定量分析,我们的研究确定了动作识别中最先进的深层架构,然后为该领域未来的工作提供了当前的趋势和开放的问题。
2022-08-07 cs.CV
Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
骨架数据携带有价值的运动信息,在人体动作识别中得到了广泛的应用。然而,不仅运动信息,而且与环境的相互作用提供了区别性的线索,以识别人的动作。在本文中,我们提出了一个共同的学习框架,相互帮助的“互动对象定位”和“人体动作识别”的基础上骨架数据。这两个任务被序列化在一起并相互协作以促进彼此,其中仅从骨架导出的初步动作类型有助于改善交互对象定位,这反过来又为最终的人类动作识别提供了有价值的线索。此外,我们探索的时间一致性的相互作用的对象作为约束,以更好地定位的相互作用的对象与地面真理标签的情况下。在SYSU-3D、NTU 60 RGB+D、Northwestern-UCLA和UAV-Human数据集上的实验表明,该方法在人体动作识别方面取得了最好的效果,与现有的方法相比具有竞争力。可视化结果表明,我们的方法也可以提供合理的相互作用的对象定位结果。
2022-05-10 cs.CV
Interpretable 3D Human Action Analysis with Temporal Convolutional Networks
Johns Hopkins University(约翰斯·霍普金斯大学)
现代深度学习模型在3D人体动作识别方面的辨别能力越来越强大。结合最近使用3D骨架的3D人体动作表示的复兴,最近进展的质量和速度都很重要。然而,在3D人类动作识别中,最先进的基于学习的方法的内部工作仍然主要是黑箱。在这项工作中,我们建议使用一类新的模型称为时间卷积神经网络(TCN)的三维人体动作识别。与流行的基于LSTM的递归神经网络模型相比,给定可解释的输入(如3D骨架),TCN为我们提供了一种明确学习易于解释的时空表示的方法,用于3D人类动作识别。我们提供了我们的策略,在重新设计的TCN与可解释性,以及如何利用这些特性的模型来构建一个强大的三维活动识别方法。通过这项工作,我们希望朝着更容易理解,解释和解释的时空模型迈出一步。由此产生的模型Res-TCN在最大的3D人体动作识别数据集NTU-RGBD上实现了最先进的结果。
2017-04-14 cs.CV
A Survey of Video-based Action Quality Assessment
Fudan University(复旦大学);ZhongShan Hospital(中山医院);Ji Hua Laboratory(季华实验室)
人体行为识别与分析在视频监控、视频检索、人机交互等领域有着巨大的需求和重要的应用意义。人类行为质量评价的任务要求智能系统能够自动、客观地评价人类完成的行为。行动质量评估模型可以减少行动评估所花费的人力物力,降低主观性。在本文中,我们提供了一个全面的调查现有的文件基于视频的动作质量评估。与人类动作识别不同,动作质量评估的应用场景相对狭窄。现有的大部分工作集中在体育和医疗保健方面。我们首先介绍了人类行为质量评估的定义和挑战。然后,我们提出了现有的数据集和评估指标。此外,根据体育和医疗领域的特点,按模式类别和出版机构分别对这两个领域的方法进行了总结。最后,结合近年来的研究工作,对行动质量评估的发展方向进行了展望。
2022-04-20 cs.CV
Synthetic Humans for Action Recognition from Unseen Viewpoints
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS(法国国家科学研究中心、古斯塔夫·埃菲尔大学、巴黎桥路学院、LIGM实验室);Inria(法国国家信息与自动化研究所);University of Oxford(牛津大学)
虽然合成的训练数据已被证明是有益的任务,如人体姿态估计,其使用RGB人体动作识别是相对未开发的。我们在这项工作中的目标是回答合成人是否可以提高人类动作识别的性能的问题,特别关注对看不见的观点的泛化。我们利用最新的进展,单目3D人体重建从真实的动作序列,自动渲染合成训练视频的动作标签。我们做了以下贡献:(一)我们调查的变化和增强,有利于提高性能在新的观点的程度。我们考虑个人的体型和服装的变化,以及更多的动作相关的增强,如非均匀帧采样,和执行相同动作的个人的运动之间的插值;(ii)我们引入了一种新的数据生成方法,SURREACT,允许训练时空CNN动作分类;(iii)我们在NTU RGB+D和UESTC标准人体动作多视图基准上大幅提高了最先进的动作识别性能;最后,(iv)我们将增强方法扩展到来自Kinetics数据集子集的野外视频,以研究只有一次性训练数据可用的情况,并在这个案例中展示了改进。
2021-05-23 cs.CV
A Novel Approach for Robust Multi Human Action Recognition and Summarization based on 3D Convolutional Neural Networks
Qatar University(卡塔尔大学);Northumbria University(诺森比亚大学);Galilee Institute(加利利学院)
视频中的人类行为是3D信号。然而,有一些方法可用于多个人类动作识别。对于长视频,很难在视频中搜索特定的动作和/或人物。针对这一问题,本文提出了一种新的监控视频多人动作识别和摘要技术。所提出的方法提出了一种新的表示的数据提取序列的每个人从场景中。随后分析每个序列,以使用3D卷积神经网络(3DCNN)检测和识别相应的动作。通过保存每个人在视频的每个时间的动作来执行基于视频的摘要。这项工作的结果表明,所提出的方法提供了准确的多人动作识别,很容易用于总结的任何行动。此外,对于可以从互联网上收集的其他视频,这些视频很复杂,不是为监控应用而构建的,所提出的模型在UCF 101和YouTube等数据集上进行了评估,而没有进行任何预处理。对于这类视频,通过总结每个子序列中的动作来对视频序列执行总结。所获得的结果表明其效率相比,国家的最先进的方法。
2021-03-15 cs.CV
Human Action Localization with Sparse Spatial Supervision
Xerox Research Centre Europe(施乐欧洲研究中心);Inria(法国国家信息与自动化研究所)
我们介绍了一种方法,用于时空人体动作定位使用稀疏空间监督。我们的方法利用了当今可用的大量带注释的人类,并通过将最先进的人体检测器与检测跟踪方法相结合来提取人体管道。考虑到这些高质量的人体管和时间监督,我们选择具有非常稀疏的空间监督的阳性管和阴性管,即,每个实例仅一个空间注释帧。选定的管使我们能够有效地学习基于密集轨迹或CNN的时空动作检测器。我们在现有的动作本地化基准:UCF-Sports,J-HMDB和UCF-101上进行实验。我们的结果表明,尽管使用稀疏空间监督,我们的方法与使用完全监督的方法表现相当,即,每帧一个限界框注释。为了进一步验证我们的方法,我们引入了DALY(Daily Action Localization in YouTube),这是一个在空间和时间上进行真实动作定位的数据集。它包含31小时视频(330万帧)中10个动作的3.6k实例的高质量时间和空间注释。它比现有的数据集大一个数量级,具有更多样的外观和较长的未修剪视频。
2017-05-23 cs.CV
Action Search: Spotting Actions in Videos and Its Application to Temporal Action Localization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
最先进的时间动作检测器在整个视频中搜索特定动作的效率很低。尽管这些方法取得了令人鼓舞的进展,但设计自动化方法至关重要,该方法仅探索与搜索的动作最相关的视频部分。为了满足这一需求,我们提出了在视频中发现动作的新问题,我们将其定义为在观察视频的一小部分的同时在视频中找到特定动作。受人类在发现和发现视频中的动作实例方面非常高效和准确的观察的启发,我们提出了动作搜索,这是一种新型的递归神经网络方法,它模仿了人类发现动作的方式。此外,为了解决缺乏记录人类注释者行为的数据的问题,我们提出了人类注释数据集,它编译了人类注释者在AVA和THUMOS 14数据集中发现动作所使用的搜索序列。我们认为时间动作定位的动作定位问题的应用。在THUMOS 14数据集上的实验表明,我们的模型不仅能够有效地探索视频(平均观察到17.3%的视频),而且还能准确地发现人类活动,mAP为30.8%。
2018-07-27 cs.CV
Human Action Recognition and Prediction: A Survey
B. Thomas Golisano College of Computing and Information Sciences, Rochester Institute of Technology(罗切斯特理工学院B. Thomas Golisano计算与信息科学学院);Department of ECE and College of CIS, Northeastern University(东北大学电气与计算机工程系及计算与信息科学学院)
由于计算机视觉和机器学习的快速发展,视频分析任务已经从推断当前状态转移到预测未来状态。基于视觉的动作识别和预测是这样的任务,其中动作识别是基于完整的动作执行来推断人类动作(当前状态),并且动作预测是基于不完整的动作执行来预测人类动作(未来状态)。这两个任务已经成为特别流行的话题,最近,因为他们的爆炸性新兴的现实世界中的应用,如视觉监控,自动驾驶汽车,娱乐,视频检索等,在过去的几十年里,许多人都致力于建立一个强大的和有效的框架,动作识别和预测。在本文中,我们调查了完整的国家的最先进的技术在行动识别和预测。现有的模型,流行的算法,技术难点,流行的行动数据库,评估协议,并提供了有前途的未来方向进行了系统的讨论。
2022-02-13 cs.CV
Multiple Human Tracking using Multi-Cues including Primitive Action Features
KDDI Research, Inc.(KDDI综合研究所);Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
在本文中,我们提出了一个多人跟踪方法使用多线索,包括原始动作特征(MHT-PAF)。MHT-PAF可以在无人机拍摄的动态空中视频中执行精确的人体跟踪。PAF采用全局上下文、多标签动作的丰富信息和中间层特征。使用PAF的准确的人体跟踪结果有助于基于多帧的动作识别。在实验中,我们使用Okutama-Action数据集验证了所提出的方法的有效性。我们的代码可在线获取。
2019-09-18 cs.CV cs.RO
Dynamic Probabilistic Network Based Human Action Recognition
Computer Science and Emerging Research Lab, AU(AU 计算机科学与新兴研究实验室);Lead IT(Lead IT 公司);Infobahn Softworld Inc(Infobahn Softworld 公司)
本文探讨了使用动态概率网络(DPN)的人类行为识别。实验中使用了在房间中举起物体和行走、坐在房间中和中立站立姿势的动作来测试分类。该研究使用了人体(面部、身体、手臂、腿部)上各种不同感兴趣区域(ROI)之间的动态相互关系以及与这些ROI相关的基于时间序列的事件。然后,使用该动态链接来识别场景中的人类行为方面。首先,一个模型来识别在室内场景中的人类活动,这个模型是依赖于使用DPN的各种动态事件之间的关键特征和相互联系。使用DPN对子ROI进行分类,以将组合的互连与特定的人类活动相关联。将室内(受控照明条件)与室外照明条件之间的识别精度性能进行比较。在室外场景中的准确性低于受控环境。
2016-07-26 cs.AI cs.CV cs.HC
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务,提出两阶段级联Transformer架构CascadeFormer,结合掩码预训练与级联微调,在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
CZU-MHAD: A multimodal dataset for human action recognition utilizing a depth camera and 10 wearable inertial sensors
Changzhou University(常州大学);Tongji University(同济大学)
人体动作识别在生活的许多领域得到了广泛的应用,同时也有大量的人体动作数据集被公开。然而,大多数多模态数据库在传感器的布局和数量上存在一些缺点,不能完全表示动作特征。针对这些问题,本文提出了一个免费的数据集,命名为CZU-MHAD(常州大学:一个全面的多模态人类行动数据集)。它由22个动作和三个模态的时间同步数据组成。这些模态包括来自kinect v2摄像头的深度视频和骨骼位置,以及来自10个可穿戴传感器的惯性信号。与单模态传感器相比,多模态传感器可以采集不同模态的数据,因此使用多模态传感器可以更准确地描述动作。此外,CZU-MHAD通过绑定惯性传感器获得10个主运动关节的3轴加速度和3轴角速度,这些数据是同时捕获的。实验结果表明,该数据集可用于研究人体不同部位之间的结构关系时,执行的动作和融合方法,涉及多模态传感器数据。
2022-02-07 cs.CV
Action-Conditioned 3D Human Motion Synthesis with Transformer VAE
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS(LIGM, 巴黎综合理工学院桥路学校, 古斯塔夫·埃菲尔大学, 法国国家科学研究中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们解决的问题,现实和多样的人体运动序列的动作条件生成。与完成或扩展运动序列的方法相比,该任务不需要初始姿势或序列。在这里,我们通过训练生成变分自编码器(VAE)来学习人类运动的动作感知潜在表示。通过从这个潜在的空间采样和查询一定的持续时间,通过一系列的位置编码,我们合成可变长度的运动序列的条件下的分类行动。具体来说,我们设计了一个基于transformer的架构,ACTOR,用于编码和解码从动作识别数据集估计的参数SMPL人体模型序列。我们在NTU RGB+D,HumanAct12和UESTC数据集上评估了我们的方法,并展示了对最先进技术的改进。此外,我们还介绍了两个用例:通过将我们的合成数据添加到训练中来提高动作识别,以及运动去噪。代码和模型可以在我们的项目页面上找到。
2021-09-19 cs.CV
GPRAR: Graph Convolutional Network based Pose Reconstruction and Action Recognition for Human Trajectory Prediction
University of Colorado Denver(科罗拉多大学丹佛分校)
高精度预测对于自动驾驶等各种应用至关重要。现有的预测模型很容易在现实世界的环境中出现错误,其中观察(例如人类姿势和位置)通常是嘈杂的。为了解决这个问题,我们引入了GPRAR,一个基于图卷积网络的姿态重建和动作识别的人体轨迹预测。GPRAR的核心思想是在噪声场景下生成鲁棒的特征:人体姿势和动作。为此,我们设计了GPRAR使用两个新的子网络:PRAR(姿态重建和动作识别)和FA(特征聚合器)。PRAR的目标是同时重建人体姿态和动作特征的连贯性和结构特性的人体骨骼。它是一个编码器和两个解码器的网络,每个解码器包括多层时空图卷积网络。此外,我们提出了一个功能聚合器(FA)通道聚合学习的功能:人体姿势,动作,位置和相机运动使用基于编码器-解码器的时间卷积神经网络预测未来的位置。在常用数据集上进行的广泛实验:JAAD [13]和TITAN [19]显示GPRAR的准确性优于最先进的模型。具体而言,GPRAR在JAAD和TITAN数据集上的噪声观测下分别将预测精度提高了22%和50
2021-03-25 cs.CV
Action Motifs: Self-Supervised Hierarchical Representation of Human Body Movements
Kyoto University(京都大学);Kyoto Institute of Technology(京都理工学院);RIKEN(理化学研究所)
提出一种层次化表示方法,通过自监督学习从人体姿态数据中提取动作原子和动作基元,用于动作识别、运动预测和运动插值等任务。
2026-06-02 cs.CV
Learning Human Pose Models from Synthesized Data for Robust RGB-D Action Recognition
The University of Western Australia(西澳大利亚大学)
我们提出了人体姿态模型,表示RGB和深度图像的人体构成独立的服装纹理,背景,照明条件,身体形状和相机的观点。学习这种通用模型需要训练图像,其中所有因素都因每个人的姿势而异。获取此类数据的成本高得令人望而却步。因此,我们开发了一个综合训练数据的框架。首先,我们从一个大的语料库的真实运动捕获的人体骨架数据学习代表性的人体姿势。接下来,我们将具有不同体型的合成3D人类适合每个姿势,并从180个相机视点渲染每个姿势,同时随机改变服装纹理,背景和照明。采用生成对抗网络来最小化合成图像分布与真实图像分布之间的差距。然后学习CNN模型,将人体姿势转移到共享的高级不变空间。然后将学习的CNN模型用作来自人类动作视频的真实RGB和深度帧的不变特征提取器,并且通过傅立叶时间金字塔对时间变化进行建模。最后,使用线性SVM进行分类。在三个基准交叉视图人体动作数据集上的实验表明,该算法在RGB和RGB-D动作识别方面明显优于现有方法。
2018-05-01 cs.CV
Learning and Recognizing Human Action from Skeleton Movement with Deep Residual Neural Networks
University Carlos III Madrid(马德里卡洛斯三世大学)
人体动作自动识别是视频监控、人机接口、视频检索等人工智能系统中不可或缺的一部分。尽管取得了很大的进展,但在计算机视觉中,识别未知视频中的动作仍然是一项具有挑战性的任务。最近,深度学习算法在许多与视觉相关的识别任务中证明了其巨大的潜力。在本文中,我们提出使用深度残差神经网络(ResNets)从Kinect传感器提供的骨架数据中学习和识别人体动作。首先,将人体关节坐标转换为三维数组并保存在RGB图像空间中。设计了五种不同的基于ResNet的深度学习模型来提取图像特征并将其分类。在两个公开的视频数据集上进行了包含各种挑战的人体动作识别实验。实验结果表明,与现有方法相比,该方法具有最佳的性能。
2018-03-21 cs.CV
View-invariant Deep Architecture for Human Action Recognition using late fusion
未知视角下的人体动作识别是一项具有挑战性的任务。我们提出了一个视图不变的深度人类动作识别框架,这是一个新的整合两个重要的动作线索:运动和形状的时间动态(STD)。运动流将动作的运动内容封装为RGB动态图像(RGB-DI),由微调的InceptionV 3模型处理。STD流使用从基于结构相似性指数矩阵(SSIM)的关键深度人类姿势帧中挖掘的基于人类姿势模型(HPM)的视图不变特征来学习动作的长期视图不变形状动态。为了预测测试样本的分数,三种类型的后期融合(最大值,平均值和产品)技术应用于个人流分数。为了验证所提出的新框架的性能,使用跨主题和跨视图验证方案在三个可供参考的基准上进行实验- NUCLA多视图数据集,UWA 3D-II活动数据集和NTU RGB-D活动数据集。我们的算法在准确性、受试者操作特征(ROC)曲线和曲线下面积(AUC)方面显着优于现有的最新技术。
2019-12-08 cs.CV
A discussion on the validation tests employed to compare human action recognition methods using the MSR Action3D dataset
University of Alicante(阿利坎特大学);Kingston University(金斯顿大学)
本文旨在确定哪种是基于从RGB-D设备(如Microsoft Kinect)中提取的特征的最佳人体动作识别方法。对所有参考MSR 3D的论文进行了回顾,MSR 3D是最常用的数据集,包括从RGB-D设备获取的深度信息。我们发现,每个工作所使用的验证方法与其他工作不同。因此,不能对作品进行直接比较。然而,几乎所有的作品都没有考虑到这个问题,提出了他们的结果进行比较。因此,我们提出不同的排名根据方法用于验证在奥登澄清现有的混乱。
2015-06-16 cs.CV
Spatio-Temporal LSTM with Trust Gates for 3D Human Action Recognition
Nanyang Technological University(南洋理工大学);University of Sydney(悉尼大学)
3D动作识别-基于3D骨架数据的人类动作分析-由于其简洁性,鲁棒性和视图不变表示而变得流行。最近对这个问题的尝试建议开发基于RNN的学习方法来建模时间域中的上下文依赖性。在本文中,我们将这一想法扩展到时空域,分析隐藏的来源的动作相关的信息内的输入数据在这两个域同时进行。受人体骨架图形结构的启发,我们进一步提出了一种更强大的基于树结构的遍历方法。为了处理3D骨架数据中的噪声和遮挡,我们在LSTM中引入了新的门控机制来学习顺序输入数据的可靠性,并相应地调整其对更新存储在存储单元中的长期上下文信息的影响。我们的方法在4个具有挑战性的3D人体动作分析基准数据集上实现了最先进的性能。
2016-07-24 cs.AI cs.CV cs.LG
ActionXPose: A Novel 2D Multi-view Pose-based Algorithm for Real-time Human Action Recognition
我们提出了一种新的基于姿态的二维人体动作识别(HAR)算法--XPose。该方法利用OpenPose检测器从RGB视频中提供的2D人体姿势。XPose旨在处理姿势数据,以提供给长短期记忆神经网络和一维卷积神经网络,从而解决分类问题。XPose是最早利用2D人体姿势进行HAR的算法之一。该算法具有实时性,对摄像机运动、被摄体邻近度变化、视点变化、被摄体外观变化等具有较强的鲁棒性,泛化能力强。事实上,大量的模拟表明,可以使用不同的数据集一次成功地训练XPose。最先进的性能流行的数据集上的姿势相关的HAR问题(i3 DPost,KTH),并与其他方法获得的结果进行比较,包括选定的XPose基线。此外,我们还提出了两个新的数据集,称为MPOSE和ISLD,记录在我们的智能传感实验室,以显示XPose的泛化性能。
2018-10-29 cs.CV eess.IV
A real-time algorithm for human action recognition in RGB and thermal video
JOANNEUM RESEARCH(约阿尼姆研究中心)
提出一种基于深度学习的实时算法,结合Scaled YoloV4、RAFT和EvoSkeleton,在NVIDIA GPU上实现对RGB和热成像视频中人体目标检测、跟踪及四种基本动作的稳健识别。
2023-04-04 cs.CV
Learning zeroth class dictionary for human action recognition
Xiamen University of Technology(厦门理工学院);Huazhong Agricultural University(华中农业大学);Sun Yat-sen University(中山大学)
在本文中,歧视性的两阶段字典学习框架,提出了用于分类人类动作的稀疏形状表示,其中第一阶段的字典是学习所选择的歧视性框架和第二阶段的字典是建立识别使用重建错误的第一阶段字典作为输入特征。我们提出了一个“零级”的技巧,用于检测测试视频的无差别帧,并在对动作类别进行投票之前消除它们。基准测试的实验结果证明了该方法的有效性。
2016-09-28 cs.CV
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Chinese Academy of Sciences(中国科学院)
人体动作识别是计算机视觉的一个重要课题。提取有区别的空间和时间特征来模拟不同动作的时空演变是完成这项任务的关键。在这项工作中,我们提出了一个端到端的空间和时间的注意力模型,从骨架数据的人类动作识别。我们在具有长短期记忆(LSTM)的递归神经网络(RNN)之上构建我们的模型,它学会选择性地关注输入的每一帧内骨架的区别性关节,并对不同帧的输出给予不同程度的关注。此外,为了确保网络的有效训练,我们提出了一个正则化的交叉熵损失来驱动模型学习过程,并相应地开发了一个联合训练策略。实验结果表明,该模型的有效性,无论是在SBU的小人体动作识别数据集和目前最大的NTU数据集。
2016-11-18 cs.CV
Hand Guided High Resolution Feature Enhancement for Fine-Grained Atomic Action Segmentation within Complex Human Assemblies
Newcastle University(纽卡斯尔大学);Tharsus Ltd.(塔苏斯有限公司)
由于复杂的人类组装原子动作的快速时间和细粒度性质,需要对视频帧进行空间(并且通常是时间)下采样的传统动作分割方法通常会丢失制造领域内准确分类所需的重要细粒度空间和时间信息。为了充分利用更高分辨率的视频数据(通常在制造领域内收集),并促进实时的准确的动作分割-人类机器人协作所需的-我们提出了一种新的手位置引导的高分辨率特征增强模型。我们还提出了一种简单而有效的方法,通过在训练时使用环绕采样和在推理时使用时间感知标签清理,将离线训练的动作识别模型部署为实时的动作分割。我们评估我们的模型上的一个新的动作分割数据集,包含24(+背景)原子动作从视频数据的真实世界的机器人装配生产线。显示高分辨率的手功能以及传统的帧宽功能,提高了细粒度的原子动作分类,虽然时间感知标签清除我们的模型是能够超越类似的编码器/解码器的方法,同时允许实时的分类。
2022-11-24 cs.CV
View Adaptive Recurrent Neural Networks for High Performance Human Action Recognition from Skeleton Data
Microsoft Research Asia(微软亚洲研究院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室)
基于骨骼的人体动作识别近年来受到越来越多的关注,由于3D骨架数据的普及。一个主要的挑战在于捕捉的人类动作中的大视图变化。我们提出了一种新的视图自适应方案,自动调节观察的观点,在发生的行动。我们设计了一个具有LSTM架构的视图自适应递归神经网络(RNN),而不是基于人类定义的先验标准重新定位骨架,这使得网络本身能够从端到端适应最合适的观察视点。大量的实验分析表明,所提出的视图自适应RNN模型致力于(1)将各种视图的骨架转换为更一致的视点,(2)保持动作的连续性,而不是将每个帧转换到具有相同身体方向的相同位置。我们的模型在三个基准数据集上实现了对最先进方法的显着改进。
2017-08-04 cs.CV
Grounding Foundational Vision Models with 3D Human Poses for Robust Action Recognition
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学);University of California, Berkeley(加州大学伯克利分校);Delft University of Technology(代尔夫特理工大学);Algoverse AI Research(Algoverse AI 研究)
本文提出融合V-JEPA 2世界动态与CoMotion三维人体姿态的模型,在InHARD和UCF-19-Y-OCC上优于三个基线,证明空间理解对鲁棒动作识别的重要性。
2025-11-06 cs.AI cs.CV cs.LG
HAA500: Human-Centric Atomic Action Dataset with Curated Videos
HKUST(香港科技大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);Kuaishou Technology(快手科技)
我们贡献了HAA 500,一个手动注释的以人为中心的原子动作数据集,用于500个类的动作识别,超过591 K个标记帧。为了最大限度地减少动作分类中的模糊性,HAA 500由高度多样化的细粒度原子动作类别组成,其中只有一致的动作属于同一标签,例如,“棒球投球”vs“篮球罚球”。因此,HAA 500与现有的原子动作数据集不同,在现有的原子动作数据集中,粗粒度的原子动作被标记为粗糙的动作动词,例如“Throw”。HAA 500经过精心策划,可以捕捉人物的精确运动,几乎没有类无关的运动或时空标签噪声。HAA 500的优势有四个方面:1)以人为中心的动作,相关人体姿势的可检测关节平均高达69.7%; 2)可扩展性高,因为添加新类可以在20-60分钟内完成; 3)精心策划的视频捕捉原子动作的基本元素,而没有不相关的帧; 4)细粒度的原子动作类。我们的广泛实验,包括使用野外收集的数据集进行交叉数据验证,证明了HAA 500以人为中心和原子特征的明显优势,这使得即使是基线深度学习模型也能够通过关注原子人类姿势来提高预测。我们详细介绍了HAA 500数据集的统计数据和收集方法,并与现有的动作识别数据集进行了定量比较。
2021-08-16 cs.CV cs.LG eess.IV
Distillation of Human-Object Interaction Contexts for Action Recognition
Durham University(杜伦大学)
时空关系建模对于识别人类行为至关重要,特别是当人类与对象交互时,而多个对象随着时间的推移以不同的方式出现在人类周围。大多数现有的动作识别模型专注于学习场景的整体视觉线索,但忽略了信息的细粒度特征,这些特征可以通过学习人与对象的关系和交互来捕获。在本文中,我们学习人与物体的关系,利用他们的本地和全球背景的相互作用。因此,我们提出了全局-局部交互蒸馏网络(GLIDN),通过知识蒸馏,通过空间和时间来学习人和物体的交互,以实现细粒度的场景理解。GLIDN将人和物体编码成图节点,并通过图注意力网络学习局部和全局关系。局部上下文图通过在特定时间步捕获人与对象的共现来在帧级别上学习人与对象之间的关系。全局关系图是基于人与对象交互的视频级别构建的,在整个视频序列中识别它们的长期关系。更重要的是,我们研究了如何从这些图中提取知识,以提高人-物交互(HOI)识别。我们评估我们的模型进行全面的实验,包括Charades和CAD-120数据集。我们取得了比基线和对应方法更好的结果。
2021-12-17 cs.CV
Active Generation Network of Human Skeleton for Action Recognition
针对骨架动作识别数据生成方法存在的时间一致性难保障、少样本下生成数据多样性不足的问题,提出由动作生成网络和不确定性度量网络组成的AGN,通过运动风格迁移实现少样本下的动作生成与不确定性引导。
2024-01-30 cs.CV
Attention-Oriented Action Recognition for Real-Time Human-Robot Interaction
Tencent Robotics X(腾讯Robotics X)
尽管在动作识别任务中取得了显着的进展,但在专门用于人机交互的动作识别方面还没有做太多的工作。本文深入探讨了交互场景中动作识别任务的特点,提出了一种面向注意力的多级网络框架,以满足实时的【形】交互需求。具体地说,一个预注意力网络被用来粗略地集中在场景中的交互者在低分辨率,然后执行细粒度的姿态估计在高分辨率。另一个紧凑的CNN接收提取的骨架序列作为动作识别的输入,利用类似注意力的机制来有效地捕获局部时空模式和全局语义信息。为了评估我们的方法,我们构建了一个新的动作数据集专门用于识别任务的互动场景。在移动计算平台(Nvidia Jetson AGX Xavier)上对我们的数据集和高效率(在640 x 480 RGBD下为112 fps)的实验结果证明了我们的方法在实时的【形】人机交互中对动作识别的良好适用性。
2020-07-02 cs.CV
Eigen Evolution Pooling for Human Action Recognition
Stony Brook University(石溪大学)
我们引入了特征进化池,一种有效的方法来聚合一系列的特征向量。本征演化池被设计为为特征向量序列产生紧凑的特征表示,同时尽可能多地保留关于序列的信息,特别是特征随时间的时间演化。特征进化池化是一种通用池化方法,可应用于任何特征向量序列,从低级RGB值到高级卷积神经网络(CNN)特征向量。我们表明,本征进化池是更有效的平均,最大,和排名池编码的动态视频中的人类行动。我们在UCF101和Hollywood2数据集上展示了特征进化池的强大功能,这两个数据集是两个人类动作识别基准,并实现了最先进的性能。
2017-08-17 cs.CV
Region-aware Image-based Human Action Retrieval with Transformers
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
本文聚焦基于图像的人体动作检索任务,建立基准并设置基线方法,提出端到端模型从锚定人物、上下文区域和全局图像学习动作表示,设计融合Transformer模块融合特征,在Stanford-40和PASCAL VOC 2012 Action数据集上显著优于先前方法。
2024-07-29 cs.CV
A Multi-viewpoint Outdoor Dataset for Human Action Recognition
深度神经网络的进步为许多计算机视觉问题(如物体识别、人脸识别和姿态估计)带来了近乎完美的结果。然而,人类动作识别距离人类水平的性能还很远。由于人体的铰接性质,从多个视点,特别是从空中视点检测动作是具有挑战性的。由于缺乏涵盖多种行动观点的数据集,这一问题更加严重。为了填补这一空白,并使研究能够在更广泛的应用领域,我们提出了一个多视点户外动作识别数据集收集从YouTube和我们自己的无人机。该数据集由20个动态人体动作类,2324个视频片段和503086帧组成。所有视频都被裁剪和调整为720x720,而不会扭曲视频中人类主体的原始长宽比。这个数据集应该是有用的许多研究领域,包括行动识别,监视和态势感知。我们评估了数据集与双流CNN架构,再加上最近提出的时间池方案称为核化秩池,产生非线性特征子空间表示。整体基线动作识别准确率为74.0%。
2021-10-07 cs.CV cs.LG
Improvement of Human-Object Interaction Action Recognition Using Scene Information and Multi-Task Learning Approach
Asilla
针对图卷积网络在人-物交互识别中因缺乏场景信息而表现不佳的问题,提出结合固定物体信息与多任务学习的方法,在自建真实数据集上使识别准确率达99.25%,较基础模型提升2.75%。
2025-09-16 cs.CV
Modeling Spatio-Temporal Human Track Structure for Action Localization
Inria Paris(巴黎法国国立信息学及其自动化研究院);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);Inria Grenoble(格勒诺布尔法国国立信息学及其自动化研究院);LJK(让·库隆实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);National Research University Higher School of Economics(高等经济大学)
本文讨论了视频中人类动作的时空定位问题。为了在时间上定位动作,我们提出了一个递归定位网络(RecLNet),旨在对人轨迹水平上的动作的时间结构进行建模。我们的模型被训练为同时识别和定位动作类的时间,是基于两层门控递归单元(GRU)分别适用于两个流,即外观和光流流。当与最先进的人检测和跟踪一起使用时,我们的模型被证明可以大大提高视频中的时空动作定位。所示的增益主要是由于改进的时间定位。我们评估我们的方法在最近的两个数据集的时空动作定位,UCF 101 -24和DALY,展示了显着的改进的最先进的。
2018-06-28 cs.CV
A Fine-to-Coarse Convolutional Neural Network for 3D Human Action Recognition
Tokyo Institute of Technology(东京工业大学)
本文提出了一种新的框架,从三维骨架序列的人体动作识别。以前的研究没有充分利用人类动作中视频片段之间的时间关系。一些研究成功地使用了非常深的卷积神经网络(CNN)模型,但经常遭受数据不足的问题。在这项研究中,我们首先段骨架序列到不同的时间段,以利用它们之间的相关性。然后,通过利用针对人体骨骼序列优化的从细到粗(F2C)CNN架构同时提取骨骼序列的时间和空间特征。我们在NTU RGB+D和SBU Kinect Interaction数据集上评估了我们提出的方法。它在NTU RGB+D上分别实现了79.6%和84.6%的精度,与最先进的性能几乎相同。此外,我们的方法显着提高了两人互动中的动作的准确性。
2018-08-18 cs.CV
Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition
Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya(计算机科学系,信息学院,布拉格亚大学)
本文提出了一种基于多模态深度网络的自适应融合方法,通过门控机制提升人类动作识别的准确性和鲁棒性。
2025-12-04 cs.CV