Application-Driven AI Paradigm for Human Action Recognition
ChinaUnicom(中国联通)
计算机视觉中的人体动作识别是近年来研究的热点。然而,大多数算法只考虑特定的动作,计算代价甚至很高。这不适合于需要以低计算成本识别多个动作的实际应用。为了满足不同的应用场景,本文提出了一个统一的人体动作识别框架,多形式的人体检测和相应的动作分类。其中,构建开源数据集,训练区分人体全身、上半身或部分身体的多形态人体检测模型,并采用后续动作分类模型识别摔倒、睡觉或值班等动作,部分实验结果表明,该统一框架对多种应用场景有效。它有望成为一种新的应用驱动的人工智能范式,用于人类动作识别。
2022-09-30 cs.AI cs.CV
Human Activity Recognition Using Cascaded Dual Attention CNN and Bi-Directional GRU Framework
Kansas State University(堪萨斯州立大学)
基于视觉的人体活动识别已成为视频分析领域的重要研究领域之一。在过去的十年中,已经引入了许多先进的深度学习算法来从视频流中识别复杂的人类动作。这些深度学习算法在人类活动识别任务中表现出了令人印象深刻的性能。然而,这些新引入的方法要么只关注模型性能,要么只关注这些模型在计算效率和鲁棒性方面的有效性,从而导致他们的建议在处理具有挑战性的人类活动识别问题时出现偏差。为了克服当代深度学习模型用于人类活动识别的局限性,本文提出了一种计算效率高且通用的时空级联框架,该框架利用了用于人类活动识别的深度判别性空间和时间特征。为了有效地表示人类动作,我们提出了一种有效的双注意力卷积神经网络(CNN)架构,该架构利用统一的通道空间注意力机制来提取视频帧中以人为中心的显著特征。双通道空间注意力层与卷积层一起学习在具有超过特征图数量的对象的空间感受野中更加注意。然后将提取的区别性显著特征转发到堆叠双向门控递归单元(Bi-GRU),用于使用前向和后向传递梯度学习进行人类动作的长期时间建模和识别。进行了大量的实验,所获得的结果表明,所提出的框架实现了改进的执行时间高达167倍的帧每秒相比,大多数当代动作识别方法。
2022-08-09 cs.AI cs.CV
UMSNet: An Universal Multi-sensor Network for Human Activity Recognition
基于多模态传感器的人体活动识别(HAR)已成为生物特征识别和人工智能的一个快速发展的分支。然而,如何充分挖掘多模态时间序列数据,有效地学习准确的行为特征一直是该领域的热门话题。实际应用还需要一个通用的框架,可以快速处理各种原始传感器数据,并学习更好的特征表示。本文提出了一种通用的多传感器网络(UMSNet)的人体活动识别。特别是,我们提出了一种新的轻量级传感器残差块(称为LSR块),通过减少激活函数和归一化层的数量,并添加反向瓶颈结构和分组卷积来提高性能。然后利用Transformer提取序列特征之间的关系,实现对人体活动的分类识别。我们的框架具有清晰的结构,可以直接应用于各种类型的多模态时间序列分类(TSC)任务后,简单的专业化。大量的实验表明,所提出的UMSNet优于其他国家的最先进的方法在两个流行的多传感器人类活动识别数据集(即HHAR数据集和MHEALTH数据集)。
2022-05-24 cs.AI cs.CV
Decision method choice in a human posture recognition context
Université Savoie Mont Blanc(萨瓦勃朗峰大学)
人体姿态识别提供了一个动态的领域,产生了许多方法。采用基于模糊子集的数据融合方法对不同类型识别过程的结果进行融合,是一种改进识别方法的便捷途径。然而,选择一种去模糊化方法来实现决策是该方法的关键。本文的目标是提出一种方法,其中解模糊方法的选择是由最终数据用户的约束驱动的,这些约束表示为对置信度或准确度等指标的限制。一个实际的实验说明了这种方法:从深度相机传感器,人体姿势的解释和去模糊化方法的选择,根据最终的信息消费者的约束。本文说明了兴趣的方法在基于姿态的人类机器人通信的背景下。
2018-07-11 cs.AI cs.CV
Non-stationary BERT: Exploring Augmented IMU Data For Robust Human Activity Recognition
The University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学);OPPO Research Institute(OPPO研究院)
针对手机端用户特定的人类活动识别问题,本文构建了OPPOHAR数据集,提出了轻量级网络Non-stationary BERT及两阶段训练方法,并设计了探索加速度计与陀螺仪数据深层关系的数据增强策略,在多个数据集上实现了最先进的性能。
2024-09-25 cs.AI cs.CV
On effective human robot interaction based on recognition and association
INDIAN INSTITUTE OF INFORMATION TECHNOLOGY, ALLAHABAD(印度理工学院阿拉哈巴德分校)
人脸在人类与机器人的互动中扮演着重要的角色,就像它们在我们的日常生活中一样。人类思维的固有能力有助于我们通过利用人脸识别中涉及的各种挑战(例如不良照明、遮挡、姿势变化等)来识别人。但是,由人形机器人识别人脸在自然界中是一个非常复杂的任务。人脸生物特征识别在结构化环境下解决身份识别问题的研究文献非常丰富。但人脸生物识别技术在移动机器人中的应用受到限制,因为它不能在不均匀的环境中产生准确的识别。现有的人脸识别问题已经解决了我们提出的组件为基础的碎片人脸识别框架。所提出的框架只使用了一个子集的完整的脸,如眼睛,鼻子和嘴来识别一个人。它的搜索成本低,令人鼓舞的准确性和能力,以应对各种挑战的人脸识别提供了其适用性的人形机器人。人脸识别中的第二个问题是人脸欺骗,其中人脸识别系统无法区分人和冒名顶替者(真实用户的照片/视频)。当机器人被用作机器人时,这个问题将变得更加有害。我们在研究工作中研究了一种深度分析方法来测试冒名顶替者的活跃度,以将他们与合法用户区分开来。先前获得的技术的含义已被用于刑事识别与NAO机器人。目击者可以通过用户界面与NAO交互。NAO会询问嫌疑人的几个问题,如年龄、身高、面部形状和大小等,然后猜猜她/他的脸
2018-12-08 cs.AI cs.CV
SkeletonVis: Interactive Visualization for Understanding Adversarial Attacks on Human Action Recognition Models
Georgia Institute of Technology(佐治亚理工学院);Intel(英特尔)
基于以太网的人类动作识别技术越来越多地用于基于视频的应用,例如家庭机器人、老龄化人口的医疗保健和监控。然而,这样的模型容易受到对抗攻击,在安全关键应用中使用它们引起了严重的关注。为了开发针对攻击的有效防御,必须了解此类攻击如何误导姿势检测模型做出不正确的预测。我们提出了一个交互式系统,可视化的攻击如何在模型上工作,以提高人类对攻击的理解。
2021-01-26 cs.AI cs.CV
Skeleton-based Human Action Recognition via Convolutional Neural Networks (CNN)
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);College of Computing and Informatics(计算与信息学院)
最近,有一个显着增加的兴趣在研究社区内对基于信标的动作识别,由于其各种有利的功能,包括计算效率,代表性的功能,和光照不变性。尽管如此,研究人员仍在继续探索和研究通过骨架表示和提取的特征来表示人类动作的最佳方式。因此,人类动作识别数据集的增长和可用性大幅上升。此外,由于各种计算机视觉任务的显著进步,基于深度学习的算法已经获得了广泛的普及。大多数最先进的贡献,在基于动作识别的图神经网络(GCN)架构,用于表示人体和提取功能。我们的研究表明,卷积神经网络(CNN)可以达到与GCN相当的结果,只要应用适当的训练技术,增强和优化。我们的方法已经过严格验证,在NTU-60数据集上,我们的得分达到了95
2023-01-31 cs.AI cs.CV
Human-AI Divergence in Ego-centric Action Recognition under Spatial and Spatiotemporal Manipulations
University of Surrey(索尔福德大学);Newcastle University(新卡茨大学)
本文通过大规模研究揭示了人类与AI在空间和时空操作下动作识别的性能差异,发现人类依赖稀疏语义线索,而AI则依赖上下文特征。
2026-03-09 cs.AI cs.CV
Harmonizing the object recognition strategies of deep neural networks with humans
Brown University(布朗大学);Artificial and Natural Intelligence Toulouse Institute (ANITI)(图卢兹人工智能与自然智能研究所(ANITI));Carney Institute for Brain Science(卡尼脑科学研究所)
在过去十年中,深度神经网络(DNN)的许多成功在很大程度上是由计算规模而不是生物智能的见解驱动的。在这里,我们探索这些趋势是否也伴随着解释人类依赖于物体识别的视觉策略的改进。我们通过比较人类和DNN中视觉策略的两个相关但不同的属性来做到这一点:他们认为重要的视觉特征在图像中的位置,以及他们如何使用这些特征来对对象进行分类。在ImageNet上训练的84个不同的DNN和三个独立的数据集中,测量了人类视觉策略在这些图像上识别对象的位置和方式,我们发现DNN分类准确性与人类视觉策略之间的系统权衡。随着其准确性的提高,最先进的DNN逐渐变得与人类不那么一致。我们用我们的神经协调器来纠正这个日益严重的问题:一个通用的训练例程,既可以调整DNN和人类视觉策略,又可以提高分类准确性。我们的工作代表了第一次证明,今天指导DNN设计的缩放定律也产生了更差的人类视觉模型。我们在www.example.com上发布我们的代码和数据,以帮助该领域构建更多类似人类的DNN。
2022-11-11 cs.AI cs.CV
CMD-HAR: Cross-Modal Disentanglement for Wearable Human Activity Recognition
CMD-HAR通过交叉模态解耦和时空注意力机制,提升可穿戴设备中人类活动识别的准确性和部署效率。
2026-02-05 cs.AI cs.CV
Panoramic Human Activity Recognition
Tianjin University(天津大学);University of South Carolina(南卡罗来纳大学)
为了获得更全面的活动理解,在拥挤的场景中,在本文中,我们提出了一个新的问题,全景人类活动识别(PAR),其目的是同时实现个人行动,社会群体活动,和全球活动识别。这在现实世界的应用中是一个具有挑战性的实际问题。针对这个问题,我们开发了一种新的分层图神经网络,逐步表示和建模的多粒度的人类活动和相互的社会关系的人群。我们进一步建立了一个基准来评估所提出的方法和其他现有的相关方法。实验结果验证了PAR问题的合理性、方法的有效性和基准测试的实用性。我们将向公众发布源代码和基准测试,以促进对该问题的研究。
2022-11-07 cs.AI cs.CV
Conformal Predictions for Human Action Recognition with Vision-Language Models
ICTEAM, UCLouvain(鲁汶大学(法语区)ICTEAM研究所)
本文探讨了如何利用置信域预测技术提升基于视觉-语言模型的人类动作识别系统可靠性,通过调整softmax温度参数减少候选类别数量,缓解长尾分布影响。
2025-07-22 cs.AI cs.CV
A Study of Vision based Human Motion Recognition and Analysis
MCOERC, SPPU(马哈拉施特拉邦工程教育与研究学院,萨维特里拜·菲勒浦那大学)
基于视觉的人体运动识别由于其严峻的挑战和广泛的应用而吸引了许多研究人员。其应用范围从简单的手势识别到监控系统中复杂的行为理解。这导致了与人体运动表示和识别相关的技术的重大发展。本文讨论了应用,人体运动识别的一般框架,以及它的每个组成部分的细节。本文重点介绍了人体运动的表示和识别方法,并分析了它们的优缺点。本研究还讨论了选定的文献,流行的数据集,并总结了该领域的挑战以及未来的方向。人体运动识别领域已经活跃了二十多年,并提供了大量的文献。本文对该领域的新研究者进行了鸟瞰。
2016-08-24 cs.CV
What can human minimal videos tell us about dynamic recognition models?
Massachusetts Institute of Technology(麻省理工学院);GE Research(通用电气研究);Weizmann Institute of Science(魏茨曼科学研究所)
在人类视觉中,物体及其部分可以从纯粹的空间或纯粹的时间信息中视觉识别,但整合空间和时间的机制却知之甚少。在这里,我们表明,人类的视觉识别的对象和动作,可以通过有效地结合空间和运动线索的配置中,每个源本身是不够的识别。这种分析是通过识别最小视频来实现的:这些视频是短而小的视频片段,其中的对象、部件和动作可以被可靠地识别,但空间或时间的任何减少都会使它们无法识别。用于动态视觉识别的最先进的深度网络无法在这些配置中复制人类行为。人类和机器之间的这种差距表明了当前模型中缺乏的人类动态视觉中的关键机制。
2021-04-19 cs.AI cs.CV q-bio.NC
Human Emotional Facial Expression Recognition
Southeast University(东南大学)
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
Personalized Human Activity Recognition Using Convolutional Neural Networks
Washington State University(华盛顿州立大学)
使用可穿戴传感器的个性化人类活动识别的主要障碍是识别模型的性能在新用户采用系统或用户的身体/行为状态改变时显著下降。因此,需要通过在新的上下文中收集新的标记数据来重新训练模型。在这项研究中,我们使用卷积神经网络开发了一个迁移学习框架,以最小的用户监督来构建个性化的活动识别模型。
2018-01-25 cs.CV
Spatio-Temporal Human Action Recognition Modelwith Flexible-interval Sampling and Normalization
人类动作识别是一项众所周知的计算机视觉和模式识别任务,用于识别一个人实际上正在做的动作。本文提出了一种基于红绿蓝(RGB)输入视频的人体动作识别系统,并设计了相应的识别模块。在基于GRU的时空特征提取算法的基础上,增加了采样模块和归一化模块,提高了模型的性能,从而实现了对人体动作的识别。此外,我们建立了一个新的数据集,具有类似的背景和歧视性的行动,人类关键点预测和行为识别。为了获得更好的结果,我们使用新数据集重新训练姿势模型以获得更好的性能。在我们自己的人类行为识别数据集和一些公共数据集上的实验结果表明了该模型的有效性。
2021-08-12 cs.CV
Combining Spatio-Temporal Appearance Descriptors and Optical Flow for Human Action Recognition in Video Data
University of Zagreb(萨格勒布大学);Graz University of Technology(格拉茨技术大学)
本文提出了结合时空外观(STA)描述符和光流的人类行为识别。STA描述符是基于局部直方图的时空描述符,适用于构建任意时空现象的部分表示。由于迭代细化的可能性,它们在在线人类动作识别的背景下很有趣。我们研究使用密集的光流作为图像功能的STA描述符的人类动作识别,使用两种不同的算法计算流量:Farnebäck算法和TVL1算法。我们提供了一个详细的分析的影响光流算法参数上产生的光流领域。在KTH人体动作数据集上对基于光流的STA描述符在人体动作识别中进行了广泛的实验验证。令人鼓舞的实验结果表明,我们的方法在在线人类行为识别的潜力。
2013-10-01 cs.CV
Human Posture Recognition and Gesture Imitation with a Humanoid Robot
ENSTA Paris-Tech(巴黎高等先进技术研究院(ENSTA ParisTech))
这项研究提出了不同的方法,静态和动态手势分析和模仿与社会机器人Nao
2020-03-21 cs.CV cs.RO
Human Action Adverb Recognition: ADHA Dataset and A Three-Stream Hybrid Model
Shanghai Jiao Tong University(上海交通大学)
本文介绍了人类行为副词识别的第一个基准测试:描述人类行为的副词(ADHA)。这是计算机视觉从模式识别转变为真正的AI的第一步。我们展示了ADHA的一些关键特征:描述人类行为的一组语义完整的副词,一组常见的,可描述的人类行为,以及每个视频中同时出现的动作的详尽标签。本文对现有有效的动作识别模型和图像描述模型在副词识别中的实现进行了深入的分析,结果表明这些方法并不令人满意。此外,我们提出了一种新的三流混合模型来处理HAA问题,取得了更好的效果。
2018-02-12 cs.CV
Age group and gender recognition from human facial images
Université Toulouse III - Paul Sabatier(图卢兹第三大学-保罗·萨巴蒂埃大学)
本文提出了一个基于人脸图像的性别和年龄自动识别系统。它做了广泛的实验,行像素强度值的功能和离散余弦变换(DCT)系数的功能与主成分分析和k-最近邻分类,以确定最佳的识别方法。最终结果表明,使用DCT系数的方法优于其对应部分,在看不见的测试图像中,正确的性别识别率为99%,正确的年龄组识别率为68%(考虑四个不同的年龄组)。详细的实验设置和获得的结果在本报告中清楚地介绍和解释。
2013-03-29 cs.CV
Learning multimodal representations for sample-efficient recognition of human actions
INESC-ID(里斯本高等理工学院信息与通信技术研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院);National Institute of Informatics(国立信息学研究所);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学)
人类以丰富多样的方式与环境互动。然而,这种行为的人工代理的代表性往往是有限的。在这项工作中,我们提出了\textit{motion concepts},一种新的多模态表示人类在家庭环境中的行动。运动概念包括动作的运动学的概率描述及其上下文背景,即在表演期间保持的位置和对象。此外,我们提出了在线运动概念学习(OMCL),一种新的算法,学习新的运动概念,从动作演示和识别以前学到的运动概念。该算法进行评估的虚拟现实的家庭环境中存在的人类化身。OMCL在一次性识别任务上优于标准运动识别算法,证明了其在人类动作样本有效识别方面的潜力。
2019-03-06 cs.AI cs.CV cs.LG
Entropy Decision Fusion for Smartphone Sensor based Human Activity Recognition
人类活动识别在构建连续行为监测系统中起着重要作用,这些系统可用于视觉监控,患者康复,游戏,甚至个人倾向的灵巧家庭。本文展示了我们的努力,以开发一个协作决策融合机制,集成的预测分数从多个学习算法训练智能手机传感器基于人类活动数据。提出了一种融合卷积神经网络、递归卷积网络和支持向量机的方法,通过计算和融合基于Tsallis熵的各个分类器的相对加权得分来提高人体活动识别性能。为了评估这种方法的适用性,实验进行了两个基准数据集,UCI-HAR和WISDM。使用所提出的方法获得的识别结果与现有的方法。
2020-05-30 cs.CV
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University(堪萨斯州立大学)
人类活动识别是计算机视觉中一个新兴的重要领域,它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)和递归神经网络(RNN)的组合,卷积神经网络(CNN)从数据中执行特征提取,递归神经网络(RNN)确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络:一种递归Transformer(ReT),一种用于对数据序列进行预测的专用神经网络,以及一种视觉Transformer(ViT),一种用于从图像中提取显著特征的Transformer,以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Multiview Cauchy Estimator Feature Embedding for Depth and Inertial Sensor-Based Human Action Recognition
Kinect和惯性传感器的日益普及促使人们对人类动作识别进行了深入的研究。由于人的动作可以通过从Kinect和惯性传感器中提取的多个特征表示来表征,因此必须将多视图特征编码到用于人的动作识别的统一空间中。在本文中,我们提出了一种新的无监督特征融合方法称为多视图柯西估计特征嵌入(MCEFE)的人体动作识别。通过最小化经验风险,MCEFE集成多个视图中的编码互补信息,以找到统一的数据表示和投影矩阵。为了增强对异常值的鲁棒性,对重构误差施加Cauchy估计。此外,集成流形正则化的投影矩阵上进行编码不同的视图之间的相关性,并避免过拟合。在中国科学院-云南大学-多模态人体动作数据库(CAS-YNU-MHAD)上进行了实验,验证了MCEFE对人体动作识别的有效性和鲁棒性。
2016-09-04 cs.CV
A Grid-based Representation for Human Action Recognition
Polytechnique Montreal(蒙特利尔综合理工学院)
视频中的人体动作识别是计算机视觉的一个基础研究课题。它主要是基于一系列视觉观察来理解人类的行为。近年来,HAR取得了重大进展,特别是随着深度学习模型的出现。然而,大多数现有的方法动作识别依赖于信息,并不总是相关的这项任务,并限制了他们融合的时间信息的方式。在本文中,我们提出了一种新的人类动作识别方法,有效地编码的最具歧视性的外观信息的行动与明确的关注代表姿态功能,到一个新的紧凑的网格表示。我们的GRAR(基于网格的动作识别表示)方法在几个基准数据集上进行了测试,证明我们的模型可以准确地识别人类动作,尽管存在类内外观变化和遮挡挑战。
2020-10-29 cs.CV
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University(多特蒙德工业大学);Department of Computer Science(计算机科学系)
属性表示在图像识别和单词识别中变得相关,在存在不平衡和不相交数据集的情况下提供支持。然而,对于使用来自身体传感器的序列数据的人类活动识别,缺乏人类标记的属性。本文介绍了一种搜索属性,代表有利的信号段识别人类活动。它提出了三种深度架构,包括时间卷积和以IMU为中心的设计,用于预测属性。随机和学习的属性表示,以及网络的经验评估是在两个数据集上进行的,优于最先进的。
2018-02-02 cs.CV
Advances in Human Action Recognition: A Survey
University of North Texas(北德克萨斯大学)
由于在视频监控、人机交互、视频检索等方面的广泛应用,人体动作识别一直是计算机视觉的重要研究课题。这些应用程序背后的一个核心问题是自动识别感兴趣的低级操作和高级活动。前者通常是后者的基础。这项调查概述了人类行为识别的最新进展,在过去的几年中,根据以前的调查提出了一个良好的分类。从这项最先进的调查中,研究人员可以看到这一领域的进展全景,以供未来研究。
2015-01-23 cs.CV
Human-Centric Transformer for Domain Adaptive Action Recognition
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Peng Cheng Laboratory(鹏城实验室)
针对跨域动作识别中现有方法易丢失人类线索、依赖无关背景导致性能下降的问题,提出HCTransformer,通过解耦的以人为中心学习范式建模人类线索及人-动作相关背景的领域不变交互,在三个基准上取得SOTA性能。
2024-07-15 cs.CV
Human Action Recognition without Human
National Institute of Advanced Industrial Science and Technology (AIST)(日本先进工业科学技术研究院(AIST))
针对背景特征可能主导动作识别的问题,本文提出“无人的人体动作识别”概念,并在 UCF101 等数据集上验证仅凭背景序列理解动作标签的效果。
2024-10-23 cs.CV cs.MM
A Real-time Hand Gesture Recognition and Human-Computer Interaction System
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
在本项目中,我们设计了一个基于手势的实时的【形】人机交互系统。整个系统由手部检测、手势识别和基于识别的人机交互三部分组成,在手势识别准确率较高的情况下,实现了对鼠标和键盘事件的鲁棒控制。具体来说,我们使用卷积神经网络(CNN)来识别手势,并使其能够实现识别相对复杂的手势,只使用一个便宜的单目相机。我们引入了卡尔曼滤波器来估计手的位置,在此基础上实现了鼠标光标控制在一个稳定和平滑的方式。在人机交互阶段,我们开发了一个简单的策略,以避免由噪声引起的错误识别-主要是短暂的,错误的手势,从而提高交互的可靠性。所开发的系统具有高度的可扩展性,可以用于具有更复杂命令格式的人机交互场景,而不仅仅是鼠标和键盘事件。
2017-04-24 cs.CV
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester(曼彻斯特大学)
人体动作识别是指从视频片段中自动识别人体动作。在现实中,视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释,而不是将每个标签分配给对应于单个动作的特定视频片段,这导致了多标签学习问题。此外,现实中存在许多有意义的人类动作,但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的,这导致零样本学习场景。据我们所知,还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中,我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题,并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题,并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此,我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此,多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架,包括一个专门为评估多标签零样本学习而设计的新型数据分割方案,在两个数据集上:早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
Perception of Image Features in Post-Mortem Iris Recognition: Humans vs Machines
Research and Academic Computer Network(研究与学术计算机网络);University of Notre Dame(圣母大学);Medical University of Warsaw(华沙医科大学)
死后虹膜识别可以提供一种额外的个人身份识别方法。然而,与已经建立的人类指纹检查相反,虹膜识别更难被人类解释,因此它从未被应用于法医诉讼。虹膜特征,特别是死后获取的虹膜图像中的虹膜特征,对于解决虹膜识别任务的人类专家来说是最重要的,在生物识别专家中没有强烈的共识。本文探讨了两种方法来拓宽这方面的知识:(a)与眼动仪,人类使用的显着特征比较虹膜图像在屏幕上提取,和(b)类激活映射产生的卷积神经网络解决虹膜识别任务进行了分析。人类和基于深度学习的解决方案都使用同一组虹膜图像对进行了检查。这使得比较注意力地图成为可能,并得出结论:(a)基于深度学习的方法可以提供人类可解释的决策,并通过视觉解释将人类检查员指向显著区域,以及(b)在许多情况下,人类和机器使用不同的特征,这意味着基于深度学习的方法可以为人类专家提供补充支持。本文提供了我们第一个已知的人类可解释的比较基于机器和基于人类的死后虹膜识别,和训练的模型注释显着的虹膜图像区域。
2019-10-09 cs.CV
Simultaneous Implementation Features Extraction and Recognition Using C3D Network for WiFi-based Human Activity Recognition
China University of Mining and Technology(中国矿业大学);Xuzhou University of Technology(徐州工程学院)
人体动作识别越来越受到人们的关注。人们已经开发了许多技术来表达人类行为的特征,如图像,基于信标的,和信道状态信息(CSI)。其中,CSI由于其易于装备、对光线要求不高等特点,在一些特殊的场景中得到了越来越多的关注。然而,CSI信号与人的行为之间的关系是非常复杂的,必须做一些初步的工作,使CSI特征易于理解的计算机。目前,许多工作将基于CSI的特征行为处理分为两个部分。一部分用于特征提取和降维,另一部分用于时间序列问题。有些人甚至忽略了两部分工作中的一部分。因此,目前的识别系统的准确性远远不能令人满意。本文提出了一种新的基于深度学习的方法,即C3D网络和具有注意力机制的C3D网络,用于使用CSI信号的人体动作识别。这种网络可以同时进行空间卷积和时间卷积的特征提取,通过这种网络可以同时实现基于CSI的人体动作识别的上述两个部分。整个算法结构得到简化。实验结果表明,我们提出的C3D网络是能够实现最佳的识别性能的所有活动相比,一些基准方法。
2019-11-21 cs.CV
Dynamic Probabilistic Network Based Human Action Recognition
Computer Science and Emerging Research Lab, AU(AU 计算机科学与新兴研究实验室);Lead IT(Lead IT 公司);Infobahn Softworld Inc(Infobahn Softworld 公司)
本文探讨了使用动态概率网络(DPN)的人类行为识别。实验中使用了在房间中举起物体和行走、坐在房间中和中立站立姿势的动作来测试分类。该研究使用了人体(面部、身体、手臂、腿部)上各种不同感兴趣区域(ROI)之间的动态相互关系以及与这些ROI相关的基于时间序列的事件。然后,使用该动态链接来识别场景中的人类行为方面。首先,一个模型来识别在室内场景中的人类活动,这个模型是依赖于使用DPN的各种动态事件之间的关键特征和相互联系。使用DPN对子ROI进行分类,以将组合的互连与特定的人类活动相关联。将室内(受控照明条件)与室外照明条件之间的识别精度性能进行比较。在室外场景中的准确性低于受控环境。
2016-07-26 cs.AI cs.CV cs.HC
CIFAR10 to Compare Visual Recognition Performance between Deep Neural Networks and Humans
The University of Danang – University of Science and Technology(岘港大学-科技大学)
视觉目标识别在人类的日常生活中起着至关重要的作用。这种能力是如此有效,以至于我们可以毫不费力地识别一张脸或一个物体,尽管它们可能在位置,规模,姿势和照明方面有所不同。在计算机视觉领域,人们已经进行了大量的研究来构建类人的物体识别系统。最近,深度神经网络在对象分类性能方面取得了令人印象深刻的进展,并据报道超过了人类。然而,人类和人工识别系统之间仍然缺乏彻底和公平的比较。虽然一些研究考虑了人工退化的图像,但人类对广泛用于深度神经网络的数据集的识别性能尚未得到充分评估。本论文进行了广泛的实验,以评估人类的分类精度CIFAR10,一个著名的自然图像数据集。这样就可以与最先进的深度神经网络进行公平的比较。我们基于CIFAR10的评估显示,最近的CNN具有非常有效的对象识别能力,但同时也证明了它们距离人类水平的泛化能力还很远。此外,使用多个难度级别的详细调查显示,对于人类来说容易的图像对于深度神经网络来说可能并不容易。这些图像形成CIFAR 10的子集,可以用于评估和改进未来的神经网络。
2019-08-15 cs.CV
Video-based Human Action Recognition using Deep Learning: A Review
Centre d’Etudes et d’Expertise sur les Risques, l’environnement la mobilité et l’aménagement (CEREMA)(风险、环境、流动性与规划研究与专业中心);VinUniversity(文林大学);Université Paul Sabatier(保罗·萨巴蒂埃大学);Universidad de los Andes(安第斯大学);University Carlos III Madrid(马德里卡洛斯三世大学)
人体动作识别是计算机视觉的一个重要应用领域。它的主要目标是根据传感器获取的以前从未见过的数据序列准确描述人类行为及其交互。识别、理解和预测复杂人类行为的能力使得许多重要应用的构建成为可能,例如智能监控系统、人机界面、医疗保健、安全和军事应用。近年来,深度学习受到了计算机视觉界的特别关注。本文概述了使用视频分析和深度学习技术进行动作识别的当前最新技术。我们提出了最重要的深度学习模型来识别人类动作,并分析它们,以提供深度学习算法应用于解决现实视频中的人类动作识别问题的当前进展,突出其优点和缺点。基于文献中报道的识别精度的定量分析,我们的研究确定了动作识别中最先进的深层架构,然后为该领域未来的工作提供了当前的趋势和开放的问题。
2022-08-07 cs.CV
Improving Human Action Recognition by Non-action Classification
Stony Brook University(石溪大学)
在本文中,我们认为,在现实的视频中,人类的行动是由不相关的因素占主导地位的识别人类的行动的任务。我们首先研究删除非动作视频片段的好处,这些片段不描绘任何人类动作。然后,我们学习一个非动作分类器,并使用它来降低不相关视频片段的权重。非动作分类器是使用NATIONAL Thread训练的,NATIONAL Thread是一个具有镜头级注释的数据集,用于人类动作的发生或不发生。非动作分类器可用于以高精度识别非动作镜头,并随后用于提高动作识别系统的性能。
2016-04-22 cs.CV
Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
骨架数据携带有价值的运动信息,在人体动作识别中得到了广泛的应用。然而,不仅运动信息,而且与环境的相互作用提供了区别性的线索,以识别人的动作。在本文中,我们提出了一个共同的学习框架,相互帮助的“互动对象定位”和“人体动作识别”的基础上骨架数据。这两个任务被序列化在一起并相互协作以促进彼此,其中仅从骨架导出的初步动作类型有助于改善交互对象定位,这反过来又为最终的人类动作识别提供了有价值的线索。此外,我们探索的时间一致性的相互作用的对象作为约束,以更好地定位的相互作用的对象与地面真理标签的情况下。在SYSU-3D、NTU 60 RGB+D、Northwestern-UCLA和UAV-Human数据集上的实验表明,该方法在人体动作识别方面取得了最好的效果,与现有的方法相比具有竞争力。可视化结果表明,我们的方法也可以提供合理的相互作用的对象定位结果。
2022-05-10 cs.CV
Vision-based Human Gender Recognition: A Survey
Universiti Tunku Abdul Rahman(拉曼大学)
性别是人们的一个重要人口属性。本文综述了计算机视觉中人类性别识别的研究进展。回顾了利用面部和全身(无论是从静止图像或步态序列)的信息的方法。我们强调所面临的挑战,并调查这些方法的代表性方法。基于这些结果,在受控环境下捕获的数据集已经取得了良好的性能,但仍有许多工作可以做,以提高现实生活环境下性别识别的鲁棒性。
2012-04-07 cs.CV
Robustness of Humans and Machines on Object Recognition with Extreme Image Transformations
Northeastern University(东北大学)
最近的神经网络架构声称可以解释来自人类视觉皮层的数据。然而,他们的表现仍然是有限的依赖于利用低层次的功能来解决视觉任务。这种策略限制了它们在分布外/对抗性数据的情况下的性能。与此同时,人类学习抽象概念,即使是极端的图像扭曲也不会影响人类。人类和网络使用截然不同的策略来解决视觉任务。为了探索这一点,我们引入了一组新的图像变换,并在对象识别任务中评估人类和网络。我们发现,一些常见网络的性能迅速下降,而人类能够以高精度识别物体。
2022-05-27 cs.AI cs.CV cs.LG
Human Action Recognition System using Good Features and Multilayer Perceptron Network
Institute of Technology, Nirma University(尼尔玛大学理工学院)
人类动作识别涉及通过视频数据的自动分析来表征人类动作,并且在智能计算机视觉系统的开发中是不可或缺的。然而,诸如动态背景、相机稳定、复杂动作、遮挡等的若干挑战使得以实时的和鲁棒的方式进行动作识别变得困难。存在几种复杂的方法,但计算密集。本文提出了一种新的方法,使用良好的功能,随着迭代光流算法的组合来计算特征向量,使用多层感知器(MLP)网络进行分类。运动描述符的多个特征的使用增强了跟踪的质量。前馈神经网络的训练采用弹性反向传播算法,减少了学习时间。通过优化多层感知器网络的各种参数,提高了整个系统的精度。
2017-08-22 cs.AI cs.CV cs.HC
Facial Descriptors for Human Interaction Recognition In Still Images
Hacettepe University(哈塞特佩大学)
针对计算机视觉的一个研究较少的领域:静止图像中的人机交互识别,提出了一种新的方法。我们探讨是否面部区域及其空间配置有助于识别的相互作用。在这方面,我们的方法涉及提取的几个视觉特征的面部区域,以及结合场景特征和深层特征的识别。提取的多个特征被用于区分性学习框架内,以识别人与人之间的交互。我们设计的面部描述符是基于观察到的相对位置,大小和位置的脸可能是重要的特征人类的互动。由于在这个相对较新的领域中没有可用的数据集,因此收集了包括人类交互的几个图像的全面的新数据集。我们的实验结果表明,人脸和场景特征包含重要的信息,以识别人与人之间的互动。
2015-09-17 cs.CV
Simultaneous Learning from Human Pose and Object Cues for Real-Time Activity Recognition
Colorado School of Mines(科罗拉多矿业学院);U.S. Army Research Laboratory(美国陆军研究实验室)
实时的【形】人体活动识别在以人为中心的机器人应用中起着至关重要的作用,例如辅助生活和人机协作。虽然先前的基于骨架数据来编码人类姿势的方法在实时的【形】活动识别上显示出有希望的结果,但是它们缺乏考虑场景内的对象提供的上下文和人类使用的上下文的能力,这可以提供人类活动类别之间的进一步判别。在本文中,我们提出了一种新的方法来实时的【形】人类活动识别,通过同时学习从观察的人的姿势和对象参与的人类活动。我们将人体活动识别作为一个统一的数学框架下的联合优化问题,它使用一个回归类损失函数,以整合人体姿势和对象线索,并定义结构化的稀疏诱导规范,以确定歧视性的身体关节和对象属性。为了评估我们的方法,我们在两个基准数据集和一个物理机器人上进行了大量的实验。实验结果表明,该方法的识别性能优于以往的方法,并获得了实时的【形】人体活动识别性能,处理速度为10^4 Hz。
2020-03-26 cs.CV cs.RO
Comparing Facial Expression Recognition in Humans and Machines: Using CAM, GradCAM, and Extremal Perturbation
Korea University(高丽大学)
人脸表情识别是心理学和机器学习领域的重要研究课题,具有广泛的应用前景。尽管对人类FER进行了大量的研究,并且通过深度神经网络(DNN)使计算FER取得了相当大的进展,但在比较DNN与人类表现相当的程度方面所做的工作相对较少。在这项工作中,我们比较了识别性能和注意力模式的人类和机器在一个两个选择强迫选择FER任务。在这里,人类的注意力是通过点击数据收集的,这些数据逐渐揭示了一张脸,而模型的注意力是使用三种不同的流行技术从可解释的人工智能中获得的:CAM,GradCAM和极值扰动。在这两种情况下,性能都以正确率为单位收集。在这项任务中,我们发现人类的表现明显优于机器。在注意力模式方面,我们发现极端扰动在任务期间与人类注意力地图的整体拟合最好。
2021-10-09 cs.CV
Human Saliency-Driven Patch-based Matching for Interpretable Post-mortem Iris Recognition
University of Notre Dame(圣母大学)
与活体虹膜识别相反,法医虹膜识别是一个新兴的研究领域,它利用虹膜生物识别的辨别能力来帮助人类检查人员识别死者。作为一种基于机器学习的技术,在一个主要的人类控制的任务,法医识别作为“备份”,以人类的专业知识,在死后的识别任务。因此,机器学习模型必须是(a)可解释的,并且(b)死后特异性的,以考虑腐烂的眼组织中的变化。在这项工作中,我们提出了一种方法,满足这两个要求,并采用人类感知的一种新的方式接近创建一个死后特定的特征提取器。我们首先在死后虹膜图像上训练一个基于深度学习的特征检测器,使用人类突出显示的图像区域的注释作为他们的决策。实际上,该方法直接从人类那里学习可解释的特征,而不是纯粹的数据驱动特征。其次,区域虹膜代码(再次,与人类驱动的过滤内核)被用来配对检测到的虹膜补丁,这是成对的,基于补丁的比较分数翻译。通过这种方式,我们的方法向人类考官提供人类可理解的视觉线索,以证明识别决策和相应的置信度得分是合理的。当对从259名死者中收集的死后虹膜图像数据集进行测试时,所提出的方法在三个最佳虹膜匹配器中名列前茅,表现出比商业(非人类可解释的)VeriEye方法更好的结果。我们提出了一种独特的死后虹膜识别方法,该方法采用人类显着性进行训练,以提供完全可解释的比较结果,用于法医检查,实现最先进的识别性能。
2022-08-03 cs.CV
Facial Expression Recognition Using Human to Animated-Character Expression Translation
University of Central Florida(中佛罗里达大学);Hacettepe University(哈塞特佩大学)
人脸表情识别是一项具有挑战性的任务,由于两个主要问题:在人脸表情识别数据集和不纯的表情所构成的人类主体之间的差异的存在。在本文中,我们提出了一种新型的人到动画条件生成对抗网络(HA-GAN),通过使用多个(人脸)到一个(动画人脸)映射来克服这两个问题。具体来说,对于任何给定的输入人类表情图像,我们的HA-GAN将表情信息从输入图像传输到固定的动画身份。从面部表情研究组数据库(FERGDB)的风格化的动画人物用于生成固定的身份。通过使用我们提出的HA-GAN学习这种多对一的身份映射函数,可以减少面部表情识别(FER)中主体间变化的影响。我们还认为,在生成的动画图像中的表情是纯表情,因为FER是在这些生成的图像上进行,面部表情识别的性能得到提高。我们在最先进的数据集上的初步实验结果表明,使用我们的HA-GAN框架对生成的动画图像进行的面部表情识别优于基线深度神经网络,并产生与最先进的面部表情识别方法相当甚至更好的结果。
2019-10-12 cs.CV
Human activity recognition from skeleton poses
Plymouth University(普利茅斯大学)
人类动作识别是人机交互的一项重要任务,因为机器人和人类之间的合作需要人工智能体识别来自环境的复杂线索。一种很有前途的方法是使用经过训练的分类器,通过从传感器的图像或RGB-D数据中提取的骨架姿势序列来识别人类动作。然而,由于许多不同的数据集集中在略微不同的动作集和不同的算法上,因此不清楚哪种策略对于在家庭环境中执行的室内活动产生最高的准确度。本工作讨论,测试和比较经典的算法,即支持向量机和k-近邻,2个类似的分层神经气体的方法,需要时增长的神经气体和增长的神经气体。
2019-08-20 cs.CV
Early Recognition of Human Activities from First-Person Videos Using Onset Representations
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们提出了一种方法,从第一人称视角拍摄的视频中早期识别人类活动。早期识别,也称为活动预测,是一种在早期阶段推断正在进行的活动的能力。我们提出了一种算法来执行识别的活动针对摄像头从流媒体视频,使系统预测预期的活动的互动的人,并避免有害的事件发生之前,他们实际上发生。我们引入了新的概念“发病”,有效地总结了活动前的观察,并设计了一种方法来考虑事件的历史,除了正在进行的视频观察早期第一人称识别的活动。我们建议使用时间序列梯度的级联直方图来表示发病,我们描述了一种新的算法设置,以利用发病的早期识别活动。实验结果清楚地表明,所提出的概念的发病能够更好地/更早地识别人类活动的第一人称视频。
2015-07-06 cs.CV
Convolutional neural net face recognition works in non-human-like ways
University of Stirling(斯特林大学)
卷积神经网络(CNN)在许多模式识别问题中具有最先进的性能,但可能被精心设计的噪声模式所欺骗。我们报告说,CNN的人脸识别系统也会出现令人惊讶的“错误”。我们测试了六个商业人脸识别CNN,发现它们在标准人脸匹配任务中的表现优于典型的人类参与者。然而,他们也宣布了人类不会的匹配,其中一个图像已经被转换为不同的性别或种族。这并不是因为性能差;最好的CNN在人脸匹配任务上几乎完美地执行,但也声明了不同种族或性别的人脸的最多匹配。虽然性别和种族的显著性不同,但人类和计算机系统的工作方式并不完全不同。他们倾向于发现相同的图像对很难,这表明他们对潜在的相似性空间有一定的一致性。
2020-06-23 cs.CV
Human-Centered Emotion Recognition in Animated GIFs
University of Rochester(罗切斯特大学)
作为一种直观的情感表达方式,GIF动画图像在社交媒体上得到了广泛的应用。以往的GIF情感识别研究大多未能有效利用GIF的独特属性,这可能会限制识别性能。在这项研究中,我们证明了人类相关的信息在GIF的重要性,并进行以人为中心的GIF情感识别与建议的关键点注意视觉注意力网络(KAVAN)。该框架包括一个面部注意模块和一个分层的片段时间模块。人脸注意模块利用GIF图像内容与人物之间的紧密联系,提取帧级视觉特征,重点关注人脸。然后提出了分层分段LSTM(HS-LSTM)模块,以更好地学习全局GIF表示。我们提出的框架在MIT GIFGIF数据集上的表现优于最先进的。此外,面部注意力模块提供可靠的面部区域掩模预测,这提高了模型的可解释性。
2019-04-27 cs.CV
Different Approaches for Human Activity Recognition: A Survey
Macquarie University(麦考瑞大学)
人类活动识别近年来由于其在健康、安全和监控、娱乐和智能环境等各个领域的应用而变得越来越重要。在人类活动识别方面已经做了大量的工作,研究人员利用不同的方法来识别人类活动,例如可穿戴,对象标记和无设备。在本文中,我们对2010-2018年期间在人类活动识别各个领域进行的工作进行了全面调查,主要关注无设备解决方案。无设备的方法变得非常流行,因为受试者不需要携带任何东西,而是用设备标记环境以捕获所需的信息。我们提出了一个新的分类法进行分类的研究工作在活动识别领域,并将现有的文献分为三个子领域:基于动作,基于运动,基于交互。我们进一步将这些领域划分为十个不同的子课题,并介绍了这些子课题的最新研究工作。以往的调查只集中于某一类活动,而今次的调查则涵盖活动识别的所有次范畴,并就这些次范畴的最新研究工作作出比较。具体来说,我们讨论的关键属性和设计方法的工作。然后,我们提供了基于10个重要指标的广泛分析,为读者提供了人类活动识别不同子领域的最新技术和趋势的完整概述。最后,我们讨论了开放的研究问题,并提供了未来的研究方向,在人类活动识别领域。
2019-06-11 cs.CV
Human Activity Recognition Using Multichannel Convolutional Neural Network
Khulna University(库尔纳大学)
人类活动识别(Human Activity Recognition,HAR)是指机器感知人类行为的能力。HAR是先进的机器学习和人工智能技术的一个突出应用,这些技术利用计算机视觉来理解异构人类行为的语义含义。本文描述了一种监督学习方法,该方法可以根据从实际人体运动中收集的数据来区分人体动作。使用HAR时的主要挑战是克服活动信号的循环平稳性质带来的困难。提出了一种基于双通道卷积神经网络(CNN)的HAR分类模型,该模型利用了所采集的人体动作信号的频率和功率特征。该模型在UCI HAR数据集上进行了测试,分类准确率为95.25%。该方法将有助于进一步研究基于生物医学信号的人体活动识别。
2021-01-17 cs.CV