Recognizing Activities of Daily Living with a Wrist-mounted Camera
The University of Tokyo(东京大学)
我们提出了一种新的数据集和一种新的算法,用于从第一人称可穿戴相机中识别日常生活活动(ADL)。处理对象是至关重要的自我中心的ADL识别。为了与环境中的其他对象分开地对与用户的动作相关的对象进行特定检查,许多先前的工作已经解决了从头戴式和胸戴式相机捕获的图像中的被处理对象的检测。然而,检测被处理的对象并不总是容易的,因为它们往往在图像中显得很小。它们可能被用户的身体遮挡。如本文所述,我们将相机安装在用户的手腕上。腕戴式摄像机可以大规模地捕获被处理的对象,因此它使我们能够跳过目标检测过程。为了比较腕戴式摄像头和头戴式摄像头,我们还开发了一个新颖的公开数据集,其中包括两个摄像头同时捕获的日常活动的视频和注释。此外,我们提出了一个有区别的视频表示,保留空间和时间信息编码后提取的卷积神经网络(CNN)的帧描述符。
2016-04-28 cs.CV
Pairwise Emotional Relationship Recognition in Drama Videos: Dataset and Benchmark
Alibaba Group(阿里巴巴集团)
识别人的情绪状态是视频理解中一项基本但具有挑战性的任务。在本文中,我们提出了一个新的任务在这一领域,命名为成对情感关系识别(PERR)。该任务旨在识别给定视频片段中两个交互角色之间的情感关系。它不同于传统的情绪和社会关系识别任务。各种各样的信息,包括人物的外观,行为,面部表情,对话,背景音乐以及字幕,对最终结果的贡献不同,这使得任务更具挑战性,但在开发更先进的多模态模型时有意义。为了促进这项任务,我们开发了一个新的数据集,称为情感关系的互动(ERATO)的基础上戏剧和电影。ERATO是PERR任务的大规模多模态数据集,包含31,182个视频片段,持续约203个视频小时。与现有的数据集不同,ERATO包含以交互为中心的视频,具有多镜头,不同的视频长度,以及包括视觉,音频和文本在内的多种形式。作为一个小小的贡献,我们提出了一个基线模型组成的同步模态-时间注意(SMTA)单元融合多模态信息的PERR任务。与其他流行的注意力机制相比,我们提出的SMTA可以稳定地提高性能约1%.我们期望ERATO以及我们提出的SMTA为视频理解中的PERR任务开辟一条新的途径,并进一步推动多模态融合方法的研究。
2021-09-23 cs.CV
Recognizing Fine-Grained and Composite Activities using Hand-Centric Features and Script Data
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Technische Universität München(慕尼黑工业大学);Stanford University(斯坦福大学);SPIEGEL-Verlag(明镜出版社)
近年来,对活动的确认取得了令人瞩目的进展。然而,检测细粒度活动和了解它们如何组合成复合活动的挑战在很大程度上被忽视了。在这项工作中,我们处理这两个任务,并提出了一个数据集,提供详细的注释来解决这些问题。第一个挑战是检测细粒度的活动,这是由低的类间变异性定义的,通常以细粒度的身体运动为特征。我们探索人类的姿势和手可以帮助解决这一挑战,通过比较两个姿势为基础的和两个以手为中心的功能与国家的最先进的整体功能。为了应对第二个挑战,识别复合活动,我们利用这些活动是组合的,并且可以从文本描述或脚本中获得活动的基本组件。我们展示了以手为中心的方法对细粒度活动分类和检测的好处。对于复合活动识别,我们发现分解为属性允许在复合材料之间共享信息,并且对于攻击这个硬任务至关重要。使用脚本数据,我们可以识别新的复合材料,而无需训练数据。
2015-10-15 cs.CV
Recognizing Facial Expressions in the Wild using Multi-Architectural Representations based Ensemble Learning with Distillation
SZABIST(巴基斯坦真纳科技大学);Technische Universität Dresden (TU Dresden)(德累斯顿工业大学)
面部表情是肢体语言中最常见的普遍形式。在过去的几年里,自动面部表情识别(FER)一直是一个活跃的研究领域。然而,由于各种不确定性和复杂性,这仍然是一项具有挑战性的任务。然而,效率和性能仍然是建立强大系统的重要方面。我们提出了两种模型,一种是用于学习卷积面部表示的集成学习技术,另一种是用于将知识从集成模型转移到高效深度神经网络的蒸馏技术,该技术使用标签平滑软标签,能够实时有效地检测表情。这两种技术都表现得很好,其中集成模型(SEMXNet)有助于在FER+注释的FER 2013上实现85.07%的测试准确度,在RAF-DB上实现86.25%的测试准确度。此外,蒸馏模型(XNUMX NetLite)在FER 2013上显示82.07%的测试准确度,并带有FER+注释,在RAF-DB上显示81.78%的测试准确度。结果表明,我们的模型似乎很好地概括了新的数据,并学会了专注于相关的面部表情识别。
2021-08-20 cs.CV
Hierarchical Spatial Sum-Product Networks for Action Recognition in Still Images
Nanyang Technological University(南洋理工大学)
从静止图像中识别动作是近年来的研究热点。在本文中,我们提出了一个新的空间SPN(和积网络)的身体部位的空间配置的灵活数量的行动类模型。首先,我们通过无监督学习发现图像集合中的一组部分。然后,我们的新的空间SPN被应用到模型的空间关系,也是高阶相关的零件。为了学习鲁棒网络,我们进一步开发了一种分层空间SPN方法,该方法对子图像内部部分之间的成对空间关系进行建模,并通过SPN的额外层对子图像的相关性进行建模。我们的方法被证明是有效的两个基准数据集。
2016-07-08 cs.CV
IGFormer: Interaction Graph Transformer for Skeleton-based Human Interaction Recognition
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学);Lancaster University(兰卡斯特大学);Singapore University of Technology and Design(新加坡科技设计大学)
人机交互识别在许多应用中是非常重要的。识别互动的一个关键线索是互动的身体部位。在这项工作中,我们提出了一种新的交互图Transformer(IGFormer)网络,通过建模的交互式身体部位的图形为基础的交互识别。更具体地说,建议IGFormer构造交互图根据交互身体部位之间的语义和距离的相关性,并提高了每个人的表示通过聚合的信息的交互身体部位的基础上学习的图形。此外,我们提出了一个语义划分模块,将每个人的骨架序列转换成一个身体部分时间序列,以更好地捕捉空间和时间信息的骨架序列学习的图形。在三个基准数据集上进行的大量实验表明,我们的模型优于最先进的模型,具有显著的优势。
2022-07-25 cs.CV
Survey on Emotional Body Gesture Recognition
University of Tartu(塔尔图大学);Lodz University of Technology(罗兹理工大学);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Hasan Kalyoncu University(哈桑·卡利永丘大学)
在过去的十年中,自动情感识别已经成为一个热门的研究课题。虽然基于面部表情或语音的作品比比皆是,但从肢体动作中识别情感仍然是一个较少探索的主题。我们提出了一个新的全面调查,希望能促进该领域的研究。我们首先介绍情感肢体动作,作为通常所说的“肢体语言”的一个组成部分,并评论性别差异和文化依赖等一般方面。然后,我们定义了一个完整的框架,自动情感身体姿态识别。本文介绍了人体检测技术,评述了RGB和3D环境下的静态和动态人体姿态估计方法。然后,我们评论了最近的文献相关的表示学习和情绪识别的图像的情绪表达的姿态。我们还讨论了多模态方法,结合语音或面部与身体姿势,以提高情感识别。虽然预处理方法(如人体检测和姿态估计)是目前成熟的技术,充分发展强大的大规模分析,我们表明,情感识别的标记数据的数量是稀缺的,没有明确定义的输出空间和表示是浅,主要是基于天真的几何表示。
2018-01-23 cs.CV
How Do You Perceive My Face? Recognizing Facial Expressions in Multi-Modal Context by Modeling Mental Representations
Technische Universität Berlin(柏林工业大学);Science of Intelligence, Research Cluster of Excellence(卓越集群“智慧科学”);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆斯特实验室);Humboldt-Universität zu Berlin(柏林洪堡大学)
本文提出一种基于VAE-GAN和情境依赖注意力机制的面部表情分类方法,可同时分类表情并合成人类心理表征,在RAVDESS和MEAD数据集上取得领先准确率。
2024-09-04 cs.CV
Gait Recognition Using 3-D Human Body Shape Inference
University of Southern California(南加州大学)
步态识别是一种重要的生物特征识别技术,它可以从远处观察到,并且不需要主体的合作。识别一个人的步态是困难的,因为不同的视角,携带的物体,和服装产生的人体轮廓序列的外观变化。最近的研究已经产生了一些应对这些变异的方法。在本文中,我们介绍了从有限图像中推断3D体型的用法,这些图像原则上对指定的变体是不变的。三维形状的推断是一项困难的任务,特别是当数据集中只提供轮廓时。我们提供了一种方法来学习3-D身体推断从剪影通过转移知识,从3-D形状先验RGB照片。我们在多个现有的最先进的步态基线上使用我们的方法,并在两个公共数据集CASIA-B和OUMVLP上的步态识别方面获得了一致的改进,包括在训练期间未看到的新视图的新设置。
2022-12-18 cs.CV
Spatial Shortcut Network for Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学)
像许多计算机视觉问题一样,人体姿态估计是一个具有挑战性的问题,因为识别身体部位不仅需要来自局部区域的信息,而且需要来自具有大空间距离的区域的信息。为了在空间上传递信息,通常使用大卷积核和深层,这引入了高计算成本和大参数空间。幸运的是,对于姿势估计,人体在图像中是几何结构的,从而能够对空间依赖性进行建模。在本文中,我们提出了一个空间捷径网络的姿态估计任务,其中信息更容易在空间上流动。我们评估我们的模型进行了详细的分析,并提出了其出色的性能与较小的结构。
2019-04-05 cs.CV
Proper Body Landmark Subset Enables More Accurate and 5X Faster Recognition of Isolated Signs in LIBRAS
Federal Institute of Espírito Santo, Campus Serra(巴西埃斯普里托圣昂托联邦理工学院塞拉校区)
本文探讨了使用轻量级肢体关键点检测识别孤立手语的可行性,通过选择关键点子集优化识别性能,实验表明在提升速度的同时保持或超越现有方法的准确率。
2026-04-17 cs.CV
Zoom-RNN: A Novel Method for Person Recognition Using Recurrent Neural Networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
社交媒体的普及导致每天都有大量的个人照片上传到互联网上。由于这些照片是在不受约束的环境中拍摄的,因此识别照片中的人的身份仍然是一个挑战。研究表明,利用人脸外观以外的证据可以提高人识别系统的性能。在这项工作中,我们的目标是利用从不同的身体区域获得的额外的线索在一个人识别的方式放大。因此,我们提出了Zoom-RNN,这是一种基于循环神经网络的新方法,用于结合从全身,上身和头部区域提取的证据。我们的模型在一个具有挑战性的数据集上进行了评估,即相册中的人物(PIPA),我们证明了采用我们的系统可以显著提高传统融合方法的性能。
2018-09-26 cs.CV
Mocap Anywhere: Towards Pairwise-Distance based Motion Capture in the Wild (for the Wild)
Reichman University(雷赫曼大学);CYENS Centre of Excellence(CYENS卓越中心);University of Cyprus(塞浦路斯大学)
Mocap Anywhere提出了一种基于成对距离的实时运动捕捉系统,能够无需摄像头在野外环境中实现高精度的3D人体和动物运动重建。
2026-01-27 cs.AI cs.CV cs.GR
Efficient and Accurate Skeleton-Based Two-Person Interaction Recognition Using Inter- and Intra-body Graphs
Hitachi, Ltd.(日立有限公司)
随着姿态估计和图卷积网络的发展,基于信标的两人交互识别得到了越来越多的关注。虽然准确度已经逐渐提高,但增加的计算复杂性使得其对于真实世界环境更加不切实际。由于传统的方法不能完全代表椎体间关节之间的关系,因此仍有提高精度的空间。在本文中,我们提出了一个用于准确识别两人交互的轻量级模型。除了采用中间融合的架构之外,我们还引入了因子分解卷积技术来降低模型的权重参数。我们还引入了一个网络流,该网络流考虑了身体间关节之间的相对距离变化,以提高准确性。使用两个大规模的数据集,NTU RGB+D 60和120,实验表明,我们的方法同时实现了最高的准确性和相对较低的计算复杂性与传统的方法相比。
2022-07-26 cs.CV cs.LG
Human Body Orientation Estimation using Convolutional Neural Network
Seoul National University(首尔大学)
个人机器人被期望通过识别用户的面部来与用户交互。然而,在大多数服务机器人应用中,用户需要移动他/她自己以允许机器人面对面地看到他/她。为了克服这样的限制,需要一种用于估计人体取向的方法。以前的研究使用各种组件,如特征提取器和分类模型来分类的方向,导致低性能。为了更稳健和准确的方法,我们提出了轻量级的卷积神经网络,一个端到端的系统,用于估计人体方向。我们的身体取向估计模型在基准数据集和我们自己的数据集上分别达到了81.58%和94%的准确率。所提出的方法可以用于广泛的服务机器人的应用,这取决于估计人体方向的能力。为了展示其在服务机器人应用中的实用性,我们设计了一个简单的机器人应用程序,它允许机器人向用户的正面移动。有了这个,我们证明了提高的人脸检测率。
2016-09-07 cs.CV cs.LG cs.RO
A Deep Learning Framework for Recognizing both Static and Dynamic Gestures
LIRMM;Université de Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心);Technische Universiteit Delft(代尔夫特理工大学)
直观的用户界面对于与以人为中心的智能环境进行交互是必不可少的。在本文中,我们提出了一个统一的框架,识别静态和动态手势,使用简单的RGB视觉(无深度传感)。这一特性使其适用于社会或工业环境中廉价的人机交互。我们采用姿势驱动的空间注意力策略,指导我们提出的静态和动态手势网络- StaDNet。从人体上半身的图像,我们估计他/她的深度,以及他/她的手周围的感兴趣区域。StaDNet中的卷积神经网络在背景替代手势数据集上进行了微调。它被用来检测10个静态手势为每只手,以及获得的手图像嵌入。这些随后与增强的姿态向量融合,然后传递到堆叠的长短期记忆块。因此,来自增强姿态向量和来自左/右手图像嵌入的以人为中心的逐帧信息被及时聚合以预测表演者的动态姿势。在一些实验中,我们表明,所提出的方法超越了大规模Chalearn 2016数据集上的最新结果。此外,我们将通过所提出的方法学到的知识转移到Praxis手势数据集,并且所获得的结果也超过了该数据集的最新水平。
2021-03-17 cs.CV cs.HC cs.LG