Pose-based Body Language Recognition for Emotion and Psychiatric Symptom Interpretation
University of Rochester(罗切斯特大学);University of Rochester Medical Center(罗切斯特大学医学中心);Google Inc.(谷歌公司)
受人类从肢体语言推断情感的能力的启发,我们提出了一个基于肢体语言的情感识别的自动化框架,从常规的RGB视频开始。与心理学家合作,我们进一步扩展了精神症状预测的框架。由于所提出的框架的特定应用领域可能只提供有限的数据量,该框架被设计为工作在一个小的训练集,并具有良好的可移植性。在第一阶段,所提出的系统根据从输入视频中估计的人体姿势生成肢体语言预测序列。在第二阶段,预测序列被送入一个时间网络的情绪解释和精神症状预测。我们首先验证了几个公共行动识别数据集的准确性和可移植性的身体语言识别方法。然后,我们在一个拟议的URMC数据集上评估该框架,该数据集包括标准化患者和行为健康专业人员之间的对话,以及肢体语言、情绪和潜在精神症状的专家注释。该框架在URMC数据集上的性能优于其他方法。
2020-10-30 cs.CV
Deep Temporal Analysis for Non-Acted Body Affect Recognition
Sapienza University(萨皮恩扎大学);University of Udine(乌迪内大学)
情感计算在许多计算机视觉应用中是一个非常感兴趣的领域,包括视频监控、行为分析和人机交互。大多数现有的文献都通过分析不同的人脸特征集来解决这一问题。然而,在过去的十年中,一些研究已经表明身体动作如何在情绪识别中发挥关键作用。大多数这些身体实验都是由训练有素的演员进行的,其目的是模拟情绪反应。这些不自然的表情不同于更具挑战性的真实情感,因此使所获得的结果无效。本文提出了一种基于三维骨架和深度神经网络(DNN)的基本非动作情感识别解决方案。拟议的工作介绍了三个主要贡献。首先,不像目前的国家的最先进的非行动的身体影响识别,其中只考虑静态或全球的身体特征,在这项工作中,还检查在每个帧中的受试者进行的时间局部运动。第二,提供了一组原始的全局和时间相关的身体运动描述的功能。第三,据我们所知,这是第一次尝试使用深度学习方法进行非行为身体情感识别。由于该主题的新颖性,目前只有UCLIC数据集被认为是比较测试的基准。在后者,所提出的方法优于所有的竞争对手。
2019-07-23 cs.CV
Deformable Convolutional LSTM for Human Body Emotion Recognition
University of Tehran(德黑兰大学);Islamic Azad University, Science and Research Branch(伊斯兰阿扎德大学科学研究分校)
人们用无数种方式表达自己的情感。其中最重要的是全身表情,它在不同的领域,如人机交互(HCI)有许多应用。人类情感识别中最重要的挑战之一是人们使用他们的面部和身体以各种方式表达相同的情感。最近,许多方法试图使用深度神经网络(DNN)来克服这些挑战。然而,这些方法中的大多数仅基于图像或面部表情,并且没有考虑图像中可能发生的变形,例如缩放和旋转,这会对识别精度产生不利影响。在这项工作中,受最近的研究可变形卷积的动机,我们将可变形的行为到卷积长短期记忆(ConvLSTM)的核心,以提高这些变形的图像的鲁棒性,从而提高其准确性的情感识别任务从任意长度的视频。我们在GEMEP数据集上进行了实验,在验证集上的整个人体情感识别任务上达到了最先进的98.8%的准确率。
2020-10-27 cs.CV
Whole-body Detection, Recognition and Identification at Altitude and Range
Johns Hopkins University(约翰斯·霍普金斯大学);City University of Hong Kong(香港城市大学)
本文提出一种端到端全身生物特征检测识别系统,在远距离(500米)和大俯仰角(50度)下,通过预训练与微调,在BRIAR数据集上达到高F1分数和识别准确率。
2023-11-09 cs.CV
Towards Human Body-Part Learning for Model-Free Gait Recognition
Normandie Univ(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(鲁昂信息处理科学实验室)
基于步态的生物识别旨在通过人们走路的方式或方式来区分他们。它代表了一种远距离的生物特征,与其他生物特征模式相比具有许多优势。最先进的方法需要个人的有限合作。因此,与其他模式相反,步态是一种非侵入性方法。步态作为一种行为分析,是很难回避的。此外,步态可以在主体没有意识到的情况下进行,因此,试图篡改自己的生物特征签名更加困难。在本文中,我们回顾了不同的特征和方法用于步态识别。提出了一种新的方法,能够学习有区别的人体部位,以提高识别精度。将在CASIA步态基准数据库上进行广泛的实验,并将结果与最先进的方法进行比较。
2019-04-02 cs.CV
Pairwise Body-Part Attention for Recognizing Human-Object Interactions
Shanghai Jiao Tong University(上海交通大学);Tencent YouTu Lab(腾讯优图实验室)
在人-物交互(HOI)识别中,传统的方法将人体视为一个整体,并对整个身体区域给予统一的关注。他们忽略了一个事实,即正常情况下,人类通过使用身体的某些部分与物体进行交互。本文认为,在HOI识别中,对不同的身体部位应给予不同的关注,并应进一步考虑不同身体部位之间的相关性。这是因为我们的身体部位总是协同工作。我们提出了一个新的成对身体部位注意力模型,它可以学习专注于关键部位,以及它们之间的相关性,用于HOI识别。该模型引入了一种新的基于注意力的特征选择方法和一种能够捕捉身体部位间成对相关性的特征表示方案。我们提出的方法在HIO数据集上的HOI识别中比最先进的结果提高了4%。我们将公开我们的模型和源代码。
2018-07-28 cs.CV
Fusing Body Posture with Facial Expressions for Joint Recognition of Affect in Child-Robot Interaction
National Technical University of Athens(雅典国立技术大学);Athena Research and Innovation Center(雅典娜研究与创新中心)
在本文中,我们解决的问题,多线索的影响识别具有挑战性的情况下,如儿童机器人互动。为了实现这一目标,我们提出了一种自动识别影响的方法,该方法利用身体表情和面部表情,而不是传统的方法,通常只关注后者。我们基于深度学习的方法使用分层多标签注释和多阶段损失,可以联合和单独训练,并为我们提供了用于个体模态以及全身情感的计算模型。我们评估我们的方法上的一个具有挑战性的儿童机器人互动数据库的情感表达,我们收集的,以及GEMEP公共数据库的成人行为的情绪,并表明,所提出的方法取得了显着更好的结果比面部表情基线。
2019-09-05 cs.CV
A Generalized Zero-Shot Framework for Emotion Recognition from Body Gestures
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Psychology, Chinese Academy of Sciences(中国科学院心理研究所)
虽然基于面部表情和语音的自动情感识别已经取得了显著的进展,但是基于身体姿态的情感识别还没有得到深入的研究。人们经常使用各种各样的肢体语言来表达情感,很难列举出所有的情感肢体动作并为每个类别收集足够的样本。因此,识别新的情感肢体动作对于更好地理解人类情感至关重要。然而,现有的方法无法准确地确定一个新的身体姿态属于哪种情绪状态。为了解决这个问题,我们引入了一个广义的零样本学习(GSTML)框架,它由三个分支组成,推断新的身体姿态的情感状态,只有他们的语义描述。第一个分支是基于原型的检测器(Prototype-Based Detector,PBD),用于确定样本是否属于所看到的身体姿态类别,并从所看到的类别中获得样本的预测结果。第二个分支是具有流形正则化的Stacked AutoEncoder(StAE),它利用语义表示来预测来自未知类别的样本。请注意,上述两个分支都用于身体姿势识别。我们还添加了一个带有softmax层的情感分类器作为第三个分支,以便更好地学习这个情感分类任务的特征表示。这三个分支的输入特征由共享的特征提取网络学习,即,a具有自我注意模块的双向长短期记忆网络(BLSTM)。我们将这三个分支视为子任务,并使用多任务学习策略进行联合训练。我们的框架在情感识别数据集上的性能明显优于传统的情感分类方法和最先进的零样本学习方法。
2020-10-20 cs.CV
Body Joint guided 3D Deep Convolutional Descriptors for Action Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
三维卷积神经网络(3D CNN)是一种能够同时从空间和时间两个维度学习特征的有力工具,适合应用于基于视频的动作识别。在这项工作中,我们建议不直接使用3D CNN的全连接层的激活作为视频特征,而是使用选择性卷积层激活来形成视频的区分描述符。它在身体关节位置的指导下将卷积层上的特征池化。讨论了将身体关节映射到卷积特征映射以用于池化的两种方案。身体关节位置可以从任何现成的骨架估计算法获得。系统地评估了具有不准确骨架估计的身体关节引导特征池的有用性。为了使其端到端并且不依赖于任何复杂的身体关节检测算法,我们进一步提出了一种双流双线性模型,该模型可以同时从身体关节学习指导并捕获时空特征。在该模型中,身体关节引导的特征池被方便地公式化为双线性乘积运算。在三个真实世界数据集上的实验结果证明了身体关节引导池的有效性,取得了良好的性能。
2017-04-25 cs.CV
Towards On-Device Face Recognition in Body-worn Cameras
Wichita State University(威奇托州立大学)
与识别身份相关的人脸识别技术广泛应用于情报收集、执法、监视和消费者应用中。最近,这项技术已被移植到智能手机和身体佩戴式相机(BWC)。佩戴式摄像头中的人脸识别技术用于监视、态势感知和保护警官的安全。只有少数学术研究存在于使用身体佩戴相机的面部识别中。最近的一项研究已经收集了使用随身佩戴的相机获取的BWCFace面部图像数据集,并评估了用于面部识别的ResNet-50模型。然而,对于资源受限的体戴式相机中的实时推断和涉及面部图像的隐私问题,需要设备上的面部识别。为此,本研究评估了轻量级MobileNet-V2,EfficientNet-B 0,LightCNN-9和LightCNN-29模型,用于使用佩戴式摄像头进行人脸识别。实验是在公开的BWCface数据集上进行的。在三个移动设备上评估实时推理。比较分析是使用重型VGG-16和ResNet-50模型以及六个手工制作的功能来评估性能和模型大小之间的权衡。实验结果表明,轻量级LightCNN-29与性能最佳的ResNet-50的最大秩1准确度的差异是\textbf{1.85\%},模型参数的减少是\textbf{23.49M}。大多数深度模型在秩-5和秩-10处获得类似的性能。LightCNN的推理时间比移动设备上的其他模型快2.1倍。注意到LightCNN-29和局部相位量化(LPQ)描述符之间的\textbf{14\%}的最小性能…
2021-04-07 cs.CV
Pose-Aware Person Recognition
CVIT, IIIT Hyderabad(海得拉巴国际信息技术学院 CVIT);Facebook AI Research(Facebook 人工智能研究院)
使用多个身体区域的人识别方法已经显示出比传统的基于面部的识别显著的改进。全身人物识别的主要挑战之一是姿势和视角的极端变化。在这项工作中,(i)我们提出了一种方法,该方法利用在特定姿势上训练的多个模型来处理姿势变化,并在测试期间使用姿势感知权重进行组合。(ii)为了学习一个人的表示,我们提出了一个网络,联合优化多个身体区域的单一损失。(iii)最后,我们引入了新的基准来评估不同场景下的人识别,并在所有基准上(包括PIPA的相册设置)显示了比以前提出的方法的显着改进。
2017-05-29 cs.CV
IGFormer: Interaction Graph Transformer for Skeleton-based Human Interaction Recognition
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学);Lancaster University(兰卡斯特大学);Singapore University of Technology and Design(新加坡科技设计大学)
人机交互识别在许多应用中是非常重要的。识别互动的一个关键线索是互动的身体部位。在这项工作中,我们提出了一种新的交互图Transformer(IGFormer)网络,通过建模的交互式身体部位的图形为基础的交互识别。更具体地说,建议IGFormer构造交互图根据交互身体部位之间的语义和距离的相关性,并提高了每个人的表示通过聚合的信息的交互身体部位的基础上学习的图形。此外,我们提出了一个语义划分模块,将每个人的骨架序列转换成一个身体部分时间序列,以更好地捕捉空间和时间信息的骨架序列学习的图形。在三个基准数据集上进行的大量实验表明,我们的模型优于最先进的模型,具有显著的优势。
2022-07-25 cs.CV
Exploring Body Texture from mmW Images for Person Recognition
Rutgers University(罗格斯大学)
使用毫米波(mmW)的成像具有许多优点,包括穿透诸如衣服和聚合物的遮蔽物的能力。在探索了从毫米波图像中检索的形状信息进行人员识别后,在这项工作中,我们的目标是获得一些洞察力的潜力,使用毫米波纹理信息用于相同的任务,不仅考虑毫米波的脸,但也毫米波躯干和毫米波全身。我们使用mmW TNO数据库报告实验结果,该数据库由50个个体组成,基于Alexnet和VGG面部预训练卷积神经网络(CNN)模型的手工制作和学习特征。首先,我们分析了三个mmW身体部位的个体性能,得出以下结论:i)mmW躯干区域比mmW面部和整个身体更具区分力,ii)与mmW面部和整个身体上的手工特征相比,CNN特征产生更好的结果,以及iii)手工特征在mmW躯干上的表现略优于CNN特征。在这项工作的第二部分中,我们分析了不同的多算法和多模态技术,包括一种新的基于CNN的融合技术,将验证结果提高到2%EER,识别秩1结果高达99%。还报告了在可见光和近红外光谱带中与毫米波体型信息和人脸识别的比较分析。
2022-03-27 cs.CV
YinYang-Net: Complementing Face and Body Information for Wild Gender Recognition
University of Beira Interior(贝拉内陆大学)
监控场景中的软生物特征推断是各种应用,特别是在安全相关领域中感兴趣的主题。然而,软生物特征分析在野生条件下没有广泛报道。特别是,以前的性别识别工作报告了他们在人脸数据集中的结果,具有相对较好的图像质量和正面姿势。鉴于在野生条件下的面部区域的可用性的不确定性,我们认为这些方法是不足够的监视设置。为了克服这些局限性,我们:1)提出了三个著名的监控数据集的正面和野生人脸版本; 2)提出了阴阳网(YY-Net),这是一种有效和动态补充面部和身体信息的模型,这使得它适合在野生条件下进行性别识别。正面和野生人脸数据集来自广泛使用的行人属性识别(PAR)集(PETA,PA-100K和RAP),使用基于姿势的方法来过滤正面样本和面部区域。这种方法检索图像的面部区域与不同的图像/主体条件,其中国家的最先进的人脸检测器往往失败。YY-Net通过一个可学习的融合矩阵和一个通道注意力子网络将面部和身体信息结合起来,根据特定的图像/主体特征聚焦于最有影响力的身体部位。我们将其与五种PAR方法进行比较,始终获得最先进的性别识别结果,并将正面样本的预测误差降低了24%。公布的PAR数据集版本和YY-Net作为野生软生物特征分类的基础,可在www.example.com上获得。
2021-09-20 cs.CV
A Generic Regression Framework for Pose Recognition on Color and Depth Images
级联回归方法是一种快速、准确地从RGB图像中提取物体二维姿态的方法。它能够找到准确的姿态的对象在图像中的良好的初始猜测的对象的姿态的大量的校正。本文介绍了该算法,并展示了研究人员进行的两个实验的结果。提出了一种新的方法,快速,准确地预测3D位置的身体关节从一个单一的深度图像,不使用时间信息。我们采取了一种对象识别方法,设计了一个中间的身体部位表示,将困难的姿势估计问题映射到一个更简单的每像素分类问题。我们的大型和高度多样化的训练数据集允许分类器估计姿势,体型,服装不变的身体部位。最后,我们通过重新投影分类结果并找到局部模式来生成几个身体部位的置信度评分3D建议。
2017-09-23 cs.CV
Emotion Recognition by Body Movement Representation on the Manifold of Symmetric Positive Definite Matrices
IMT Lille Douai(里尔杜埃IMT商学院);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);University of Florence(佛罗伦萨大学)
情感识别因其在现实生活中的潜在应用而引起了人们的极大兴趣。这一领域的大部分计算机视觉研究都集中在将情绪与面部表情联系起来,调查很少包括上半身。在这项工作中,我们提出了一个新的情况下,情绪状态与整个身体运动的3D动态。为了解决人体运动的复杂性,我们使用了3D骨架关节序列的协方差描述符,并将它们表示在对称正定矩阵的非线性黎曼流形中。在此过程中,我们利用流形上的测地线距离和几何平均值来执行情感分类。使用五个主要情绪状态下的自发行走序列,我们报告了一种方法,成功地将不同的情绪进行分类,与基于人类的力选择分类任务中观察到的性能相当。
2017-07-22 cs.CV
Noisy Student Training using Body Language Dataset Improves Facial Expression Recognition
The Pennsylvania State University(宾夕法尼亚州立大学)
由于缺乏丰富的标记训练数据,野外视频中的人脸表情识别是一项具有挑战性的任务。大型DNN(深度神经网络)架构和集成方法带来了更好的性能,但由于数据不足,在某些时候很快就会达到饱和。在本文中,我们使用了一种自我训练方法,该方法利用了标记数据集和未标记数据集(Body Language Dataset - BoLD)的组合。实验分析表明,迭代地训练一个有噪声的学生网络有助于获得更好的结果。此外,我们的模型隔离了面部的不同区域,并使用多层次的注意力机制独立地处理它们,这进一步提高了性能。我们的研究结果表明,该方法实现了最先进的性能基准数据集CK+和AFEW 8.0相比,其他单一的模型。
2021-02-24 cs.CV
BWCFace: Open-set Face Recognition using Body-worn Camera
Wichita State University(威奇托州立大学)
随着计算机视觉在过去十年中达到一个转折点,人脸识别技术在警务、情报收集和消费者应用中变得普遍。最近,面部识别技术已被部署在随身摄像头上,以确保官员的安全,实现态势感知并为审判提供证据。然而,有限的学术研究已经进行了这一主题,使用传统的技术在小样本数据集。本文的目的是弥合差距,在国家的最先进的人脸识别使用体佩相机(BWC)。为此目的,这项工作的贡献是双重的:(1)收集一个名为BWCFace的数据集,该数据集由在室内和日光条件下使用体戴式摄像头捕获的132名受试者的总共178 K张面部图像组成,以及(2)对最新的基于深度学习的卷积神经网络(CNN)架构进行开放集评估,并结合五种不同的损失函数进行面部识别,在收集的数据集上。在我们的BWCFace数据集上的实验结果表明,当使用在大规模VGGFace 2面部图像数据集上训练的SENet-50提取面部特征时,最高可获得33.89%的Rank-1准确率。然而,当预训练的CNN模型在我们的BWCFace数据集中的身份子集上进行微调时,性能最高可提高到99.00%的Rank-1准确度。在现有人脸数据集中使用的身体佩戴的相机传感器模型中获得了等效性能。收集的BWCFace数据集和预训练/微调的算法已公开,以促进该领域的进一步研究和开发。该数据集和算法的可下载链接可通过联系作者获得。
2020-09-24 cs.CV
Multi-Domain Biometric Recognition using Body Embeddings
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对跨红外光谱人员识别,基于IJB-MDF多域数据集和vision transformer验证身体嵌入优于面部嵌入,并给出小样本训练洞见与LLCM上的SOTA mAP。
2025-03-13 cs.CV
Proper Body Landmark Subset Enables More Accurate and 5X Faster Recognition of Isolated Signs in LIBRAS
Federal Institute of Espírito Santo, Campus Serra(巴西埃斯普里托圣昂托联邦理工学院塞拉校区)
本文探讨了使用轻量级肢体关键点检测识别孤立手语的可行性,通过选择关键点子集优化识别性能,实验表明在提升速度的同时保持或超越现有方法的准确率。
2026-04-17 cs.CV
Gait Recognition Using 3-D Human Body Shape Inference
University of Southern California(南加州大学)
步态识别是一种重要的生物特征识别技术,它可以从远处观察到,并且不需要主体的合作。识别一个人的步态是困难的,因为不同的视角,携带的物体,和服装产生的人体轮廓序列的外观变化。最近的研究已经产生了一些应对这些变异的方法。在本文中,我们介绍了从有限图像中推断3D体型的用法,这些图像原则上对指定的变体是不变的。三维形状的推断是一项困难的任务,特别是当数据集中只提供轮廓时。我们提供了一种方法来学习3-D身体推断从剪影通过转移知识,从3-D形状先验RGB照片。我们在多个现有的最先进的步态基线上使用我们的方法,并在两个公共数据集CASIA-B和OUMVLP上的步态识别方面获得了一致的改进,包括在训练期间未看到的新视图的新设置。
2022-12-18 cs.CV
Recognizing Involuntary Actions from 3D Skeleton Data Using Body States
Sharif University of Technology(谢里夫理工大学)
人体动作识别是近年来计算机视觉中最活跃的研究领域之一。二维的动作识别方法面临着严重的挑战,如遮挡和丢失数据的三维性。深度传感器的发展使得随着时间的推移跟踪人体关节的位置变得可行。本文提出了一种新的方法,动作识别,使用时间的三维骨架Kinect数据。该方法引入了身体状态的定义,然后将每个动作建模为这些状态的序列。学习阶段使用Fisher线性判别分析(LDA)来构造判别特征空间,用于判别身体状态。此外,本文建议使用Mahalonobis距离作为一个适当的距离度量的分类状态的非自愿行动。隐马尔可夫模型(HMM),然后用于模拟在每个动作的身体状态之间的时间过渡。实验结果表明,该方法对8种不同动作的识别率为88.64%,对跌倒动作的识别率高达96.18%,明显优于其他常用方法。
2017-08-21 cs.CV
Fine-grained Human Activity Recognition Using Virtual On-body Acceleration Data
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
以前的工作已经证明,使用跨模态传输方法(如IMUTube)从视频中提取的虚拟加速度测量数据有利于训练复杂和有效的人类活动识别(HAR)模型。像IMUTube这样的系统最初设计用于覆盖基于大量身体(部分)运动的活动。然而,生活是复杂的,日常生活的一系列活动仅基于相当微妙的运动,这就产生了一个问题,即像IMUTube这样的系统在多大程度上对细粒度HAR也有价值,即,IMUTube什么时候坏?在这项工作中,我们首先介绍了一种措施,以定量评估人类运动的细微之处,是潜在的活动的兴趣-运动细微指数(MSI)-它捕获本地像素运动和姿态变化的目标虚拟传感器位置附近,并将其与最终的活动识别精度。然后,我们在IMUTube上进行了一次“压力测试”,并探索了跨模态转移方法适用于哪些具有潜在微妙运动的活动,以及哪些不适用。因此,本文中提出的工作使我们能够在实际场景中绘制出IMUTube应用的前景。
2022-11-02 cs.CV
Posture recognition using an RGB-D camera : exploring 3D body modeling and deep learning approaches
Laboratoire de recherche en Imagerie et Orthopédie (LIO)(影像与骨科研究实验室(LIO));TÉLUQ University(加拿大远程大学)
RGB-D传感器的出现为有效解决复杂的人工视觉问题提供了新的可能性。人体姿态识别是这些计算机视觉问题中的一个,具有广泛的应用,例如环境辅助生活和智能医疗保健系统。在这种情况下,我们的论文提出了新的方法和思想来设计使用RGB-D相机的自动姿态识别系统。更具体地说,我们介绍了两种监督方法,使用RGB-D相机提供的主要类型的视觉数据来学习和识别人体姿势。第一种方法是基于从2D图像中提取的卷积特征。训练卷积神经网络(CNN)以在RGB和深度图像上使用迁移学习来识别人类姿势。其次,我们建议在3D空间中使用身体关节配置来建模姿势。然后,通过基于3D特征的SVM分类来执行位置识别。为了评估所提出的方法,我们创建了一个具有挑战性的姿态识别数据集,具有相当大的可变性有关的采集条件。实验结果表明,这两种方法在识别人体姿势方面具有相当的性能和较高的精度,在应用于深度图像时,基于CNN的方法略有优势。此外,这两种方法表现出较高的鲁棒性的几个扰动因素,如规模和方向的变化。
2018-10-13 cs.CV
Does Melania Trump have a body double from the perspective of automatic face recognition?
EURECOM;Advanced Technologies Application Center (CENATAV)(先进技术应用中心(CENATAV))
在本文中,我们将探讨自动人脸识别是否有助于验证社交媒体上广泛存在的错误信息,特别是基于身体替身存在的阴谋论。本文所讨论的阴谋论是梅拉尼娅·特朗普的替身案。我们采用了四种不同的最先进的面部识别描述符来验证所研究的阴谋论的完整性。此外,我们还评估了不同图像质量指标对人脸识别结果变化的影响。考虑了两组图像质量指标:采集相关指标和受试者相关指标。
2021-09-06 cs.CV cs.LG
Masked Video and Body-worn IMU Autoencoder for Egocentric Action Recognition
Institute of Industrial Science, the University of Tokyo(东京大学生产技术研究所)
针对第一人称动作识别中IMU潜力挖掘不足、标注多模态数据稀缺的问题,提出融合穿戴式IMU与第一人称视频的方法,通过基于MAE的自监督预训练和图结构IMU建模实现多数据集SOTA,且在复杂场景下仍具鲁棒性。
2024-07-09 cs.CV
Real-time Automatic Emotion Recognition from Body Gestures
University of Genova(热那亚大学)
虽然心理学研究表明,身体表情传达重要的情感信息,但迄今为止,情感识别的研究主要集中在面部表情或语音分析上。在本文中,我们提出了一种方法,实时自动识别情感的身体动作。从序列3D骨架中提取一组姿势,运动学和几何特征,并将其馈送到多类SVM分类器。所提出的方法已通过两个不同的系统:一个professionalgrade光学运动捕捉系统,和微软Kinect的数据进行了评估。该系统已被评估的“六种情绪”的识别问题,并使用leave-one-subject-out交叉验证策略,达到了61.3%的整体识别率,这是非常接近人类观察者获得的识别率61.9%。为了进一步测试该系统,开发了两个游戏,其中一个或两个用户必须进行交互,以理解和表达他们的身体的情绪。
2014-02-20 cs.CV cs.HC
A Quantitative Evaluation of the Expressivity of BMI, Pose and Gender in Body Embeddings for Recognition and Identification
Johns Hopkins University(约翰霍普金斯大学)
本文通过互信息框架定量评估ReID模型中BMI、姿态和性别的表达力,发现BMI在最终层和注意力层中影响最大,揭示了身体属性在行人重识别中的主导作用。
2025-05-07 cs.CV
Body-Hand Modality Expertized Networks with Cross-attention for Fine-grained Skeleton Action Recognition
School of Computing, KAIST(韩国成均馆大学计算机学院)
本文提出BHaRNet,通过体-手专家化网络和交叉注意力机制,提升细粒度骨骼动作识别的准确率,同时降低计算成本。
2026-01-01 cs.CV
ARBEE: Towards Automated Recognition of Bodily Expression of Emotion In the Wild
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon Lab126(亚马逊Lab126)
可以说,人类天生就准备好从微妙的身体动作中理解他人的情感表达。如果机器人或计算机能够被赋予这种能力,许多机器人应用就成为可能。然而,鉴于对情感表达和身体动作之间关系的不完全理解,在不受约束的情况下自动识别人体表情是令人畏惧的。目前的研究,作为计算机和信息科学,心理学和统计学之间的多学科努力,提出了一种可扩展和可靠的众包方法,用于收集野外感知的情感数据,供计算机学习识别人类的肢体语言。为了完成这一任务,我们创建了一个庞大且不断增长的注释数据集,其中包含9,876个身体动作视频片段和13,239个人类角色,名为BoLD(肢体语言数据集)。对数据集的全面统计分析揭示了许多有趣的见解。一个系统来模拟的情感表达的基础上,身体的动作,命名为ARBEE(自动识别的身体表达的情感),也已经开发和评估。我们的分析表明,拉班运动分析(LMA)功能的有效性,在表征唤醒,我们的实验使用LMA功能进一步证明了身体表达的可计算性。我们的报告和比较结果的其他几个基线方法,开发的动作识别的基础上两种不同的方式,身体骨架,和原始图像。这项工作中提出的数据集和发现可能会成为未来身体语言理解发现的发射台,这将使未来的机器人能够更有效地与人类互动和合作。
2019-07-09 cs.CV
Video-based Pose-Estimation Data as Source for Transfer Learning in Human Activity Recognition
TU Dortmund University(多特蒙德工业大学)
人体活动识别(HAR)使用身体上的设备识别特定的人类活动在不受约束的环境中。HAR是具有挑战性的,由于人的运动的内部和内部的变化;此外,从身体上的设备注释的数据集是稀缺的。这个问题主要是由于数据创建的困难,即,记录,昂贵的注释,以及缺乏对人类活动的标准定义。以前的工作表明,迁移学习是一个很好的策略,解决方案与稀缺的数据。然而,带注释的身体上设备数据集的稀缺性仍然存在。本文提出使用用于人体姿态估计的数据集作为迁移学习的源;具体而言,它部署了来自视频数据集的人体关节的注释像素坐标序列,用于HAR和人体姿态估计。我们在四个基于基准视频的源数据集上预训练了一个深度架构。最后,对三个提高HAR性能的体上设备数据集进行了评估。
2022-12-02 cs.CV
Multi-Modal Human Authentication Using Silhouettes, Gait and RGB
Johns Hopkins University(约翰斯·霍普金斯大学)
基于全身的人体认证是远程生物识别场景中一种很有前途的方法。目前的文献主要集中在基于RGB图像的人体识别或基于体型和行走模式的步态识别,两者都有各自的优点和缺点。在这项工作中,我们提出了双模态Entrance(DME),它结合了RGB和轮廓数据,以实现更强大的性能,为室内和室外的全身识别。在DME中,我们提出了GaitPattern,它的灵感来自于传统步态分析中使用的双螺旋步态模式。步态模式有助于在大范围的视角下实现鲁棒的识别性能。在CASIA-B数据集上的大量实验结果表明,该方法优于最先进的识别系统。我们还提供了使用新收集的BRIAR数据集的实验结果。
2022-10-08 cs.CV
PERI: Part Aware Emotion Recognition In The Wild
NVIDIA(英伟达);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
情感识别旨在基于包括音频、视觉和文本线索在内的各种输入来解释人的情感状态。本文主要研究基于视觉特征的情感识别。为了利用面部表情和人的情绪状态之间的相关性,开创性的方法主要依赖于面部特征。然而,面部特征在自然的无约束场景中通常是不可靠的,例如在拥挤的场景中,因为面部缺乏像素分辨率并且由于遮挡和模糊而包含伪影。为了解决这个问题,在野生情绪识别利用全身人作物以及周围的场景上下文。为了使用身体姿势进行情感识别,这些方法未能实现面部表情(当可用时)提供的潜力。因此,本文的目的是双重的。首先,我们展示了我们的方法,PERI,利用身体姿势和面部标志。我们创建部分感知空间(PAS)图像提取关键区域从输入图像使用从身体姿势和面部标志生成的掩模。这使我们能够利用身体姿势,除了面部上下文,只要可用。其次,原因从PAS图像,我们引入上下文注入(Cont-In)块。这些模块处理特定于部分的信息,并将其传递到情感识别网络的中间特征。我们的方法在概念上是简单的,可以应用到任何现有的情感识别方法。我们提供了我们的结果公开可用的野生EMOTIC数据集。与现有方法相比,PERI实现了卓越的性能,并导致情绪类别的mAP的显着改善,同时减少效价,唤醒和优势错误。重要的是,我们观察到,我们的方法提高了在完全可见的人脸图像以及在被遮挡或模糊的人脸图像中的性能。
2022-10-18 cs.CV
RRV: A Spatiotemporal Descriptor for Rigid Body Motion Recognition
City University of Hong Kong(香港城市大学);Zhejiang University of Technology(浙江工业大学)
刚体的运动行为可以由6维运动轨迹来表征,该6维运动轨迹包含刚体上的参考点的位置向量和该刚体随时间的旋转。通过研究刚体运动轨迹的局部平移和旋转不变量,设计了一种旋转和相对速度(RRV)描述子,该描述子对噪声不敏感,对刚体变换和缩放不敏感。还引入了一个灵活的度量来度量两个RRV描述符之间的距离。RRV描述符,然后应用到人体骨架建模为多个刚体的铰接互连的运动特征。为了说明RRV描述符的描述能力,我们探讨了不同的刚体运动识别任务。基准数据集上的实验结果表明,这种简单的RRV描述符优于以前的识别精度,而不增加计算成本。
2017-06-04 cs.CV cs.RO
IMUTube: Automatic Extraction of Virtual on-body Accelerometry from Video for Human Activity Recognition
Georgia Institute of Technology(佐治亚理工学院);University of Oxford(牛津大学)
缺乏大规模的标记数据集阻碍了为基于身体传感器的人类活动识别(HAR)开发鲁棒和广义预测模型的进展。由于传感器数据汇集成本高、标注耗时且容易出错,人类活动识别中的标注数据稀缺且难以获得。为了解决这个问题,我们引入了IMUTube,这是一种自动化处理管道,它集成了现有的计算机视觉和信号处理技术,将人类活动的视频转换为IMU数据的虚拟流。这些虚拟IMU流表示人体上各种位置处的加速度测量。我们展示了虚拟生成的IMU数据如何提高已知HAR数据集上各种模型的性能。我们的初步结果非常有希望,但这项工作的更大希望在于计算机视觉,信号处理和活动识别社区的集体方法,以我们概述的方式扩展这项工作。这将导致基于传感器的人体HAR成为大数据集识别突破的又一个成功案例。
2020-08-04 cs.CV eess.IV
FAF: A novel multimodal emotion recognition approach integrating face, body and text
University of Nantong(南通大学);Nanjing University of Science and Technology(南京理工大学)
多模态情感分析在情感识别中表现更好,依赖于更全面的情感线索和多模态情感数据集。在本文中,我们开发了一个大型的多模态情感数据集,命名为“HED”数据集,以促进情感识别任务,并相应地提出了一种多模态情感识别方法。为了提高识别的准确性,“特征后特征”的框架被用来探索关键的情感信息,从对齐的人脸,身体和文本样本。我们采用各种基准测试来评估“HED”数据集,并与我们的方法进行性能比较。实验结果表明,所提出的多模态融合方法的五类分类准确率达到83.75%,与单模态相比,性能分别提高了1.83%、9.38%和21.62%.有效地利用了各通道之间的互补性,提高了情感识别的性能。我们还建立了多通道在线情绪预测平台,旨在为更多用户提供免费的情绪预测。
2022-11-20 cs.AI cs.CV
Human Body Parts Tracking: Applications to Activity Recognition
University of Nevada Reno(内华达大学里诺分校)
随着照相机和计算机的普及,计算机视觉技术的应用引起了人们极大的关注。计算机视觉领域最重要的应用之一是人类活动识别。为了识别人体活动,我们提出了一个人体部位跟踪系统,跟踪人体部位,如头部,躯干,手臂和腿,以执行活动识别任务,在实时的。本文提出了一个基于视频序列的实时人体部位跟踪系统(HBPT)。我们的身体部位模型主要由身体部件表示,如腿,头,躯干和手臂。使用躯干位置和大小,这是通过躯干跟踪方法在每个帧中获得的身体组件建模。为了跟踪躯干,我们使用斑点跟踪模块来找到躯干在每帧中的大致位置和大小。通过跟踪躯干,我们将能够基于它们相对于检测到的轮廓上的躯干的位置来跟踪其他身体部位。在所提出的用于人体部位跟踪的方法中,我们还使用细化模块来通过细化前景掩模(即,通过背景减除获得)来改进检测到的轮廓,以便相对于躯干位置和大小来检测身体部位。找到躯干的大小和位置后,轮廓上的每个人体部位的区域将在每帧中由2D高斯斑点建模,以显示其位置,大小和姿势。本文所提出的方法在不同的光照条件下和存在部分遮挡的情况下准确地跟踪身体部位。所提出的方法适用于活动识别任务,如接近一个对象,携带一个对象,打开一个盒子或手提箱。
2019-07-02 cs.CV eess.IV
A Novel Local-Global Feature Fusion Framework for Body-weight Exercise Recognition with Pressure Mapping Sensors
RPTU Kaiserslautern-Landau(凯泽斯劳滕-兰道莱茵兰-普法尔茨工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
提出一种结合局部与全局特征的压力映射传感器自重运动识别框架,利用YOLO定位身体部位提取局部特征,并采用知识蒸馏正则化,使F1分数提升11%。
2023-09-14 cs.CV cs.LG
Efficient and Accurate Skeleton-Based Two-Person Interaction Recognition Using Inter- and Intra-body Graphs
Hitachi, Ltd.(日立有限公司)
随着姿态估计和图卷积网络的发展,基于信标的两人交互识别得到了越来越多的关注。虽然准确度已经逐渐提高,但增加的计算复杂性使得其对于真实世界环境更加不切实际。由于传统的方法不能完全代表椎体间关节之间的关系,因此仍有提高精度的空间。在本文中,我们提出了一个用于准确识别两人交互的轻量级模型。除了采用中间融合的架构之外,我们还引入了因子分解卷积技术来降低模型的权重参数。我们还引入了一个网络流,该网络流考虑了身体间关节之间的相对距离变化,以提高准确性。使用两个大规模的数据集,NTU RGB+D 60和120,实验表明,我们的方法同时实现了最高的准确性和相对较低的计算复杂性与传统的方法相比。
2022-07-26 cs.CV cs.LG
Attention-Driven Body Pose Encoding for Human Activity Recognition
Edge Hill University(边山大学)
本文提出了一种新的基于注意力的人体姿势编码的人体活动识别,提出了一个丰富的表示身体姿势的学习。丰富的数据补充了3D身体关节位置数据并提高了模型性能。在本文中,我们提出了一种新的方法,学习增强功能表示从一个给定的序列的3D身体关节。为了实现这种编码,该方法利用1)空间流,其对每个时间点处的各种身体关节之间的空间关系进行编码,以学习涉及不同身体关节的空间分布的空间结构; 2)时间流,其学习整个序列持续时间上的个体身体关节的时间变化,以呈现时间增强的表示。之后,这两个姿势流与多头注意力机制融合。%改编自神经机器翻译。我们还使用Inception-ResNet-V2模型结合多头注意力和双向长短期记忆(LSTM)网络从RGB视频流中捕获上下文信息。%此外,我们的表现是通过多头注意力机制增强。最后,将RGB视频流与融合的身体姿势流相结合,以给出用于有效人体活动识别的新型端到端深度模型。
2020-10-02 cs.CV cs.LG eess.IV
Body-Area Capacitive or Electric Field Sensing for Human Activity Recognition and Human-Computer Interaction: A Comprehensive Survey
ETH Zürich(苏黎世联邦理工学院);DFKI(德国人工智能研究中心)
本文系统综述了基于身体区域电容或电场传感的人体活动识别与人机交互研究,按身体局部、全身及身体间电场分类梳理现有工作,并总结传感前端电路与数据处理方法,指出挑战与前景。
2024-01-11 cs.CV eess.SP
Body Gesture Recognition to Control a Social Robot
Institut de Robòtica i Informàtica Industrial de Barcelona(巴塞罗那工业机器人与信息学研究所)
在这项工作中,我们提出了一个基于手势的语言,让人类与机器人使用他们的身体在一个自然的方式进行交互。我们已经创建了一个新的手势检测模型,使用神经网络和人类执行一组身体手势的自定义数据集来训练我们的网络。此外,我们将身体姿态通信与其他通信渠道进行比较,以确认将这些知识添加到机器人中的重要性。所提出的方法在不同的模拟和现实生活中的实验与未经培训的志愿者进行了广泛的验证。这取得了显着的成果,并表明它是一个有价值的框架,社会机器人应用,如人类机器人协作或人机交互。
2022-06-15 cs.CV cs.HC cs.LG
Fusing Hand and Body Skeletons for Human Action Recognition in Assembly
Ilmenau University of Technology(伊尔默瑙工业大学)
针对装配场景中仅用身体骨架识别动作精度不足的问题,提出融合低细节身体骨架与高细节手部骨架的方法,结合CNN与擅长注意力融合的Transformer,提升了装配场景的人体动作识别效果。
2023-07-18 cs.CV cs.LG cs.RO
Application-Driven AI Paradigm for Human Action Recognition
ChinaUnicom(中国联通)
计算机视觉中的人体动作识别是近年来研究的热点。然而,大多数算法只考虑特定的动作,计算代价甚至很高。这不适合于需要以低计算成本识别多个动作的实际应用。为了满足不同的应用场景,本文提出了一个统一的人体动作识别框架,多形式的人体检测和相应的动作分类。其中,构建开源数据集,训练区分人体全身、上半身或部分身体的多形态人体检测模型,并采用后续动作分类模型识别摔倒、睡觉或值班等动作,部分实验结果表明,该统一框架对多种应用场景有效。它有望成为一种新的应用驱动的人工智能范式,用于人类动作识别。
2022-09-30 cs.AI cs.CV
Medical Face Masks and Emotion Recognition from the Body: Insights from a Deep Learning Perspective
National Technical University of Athens(雅典国立技术大学);Athena Research Center(雅典娜研究中心)
本文研究医用口罩遮挡对面部情感识别的影响,提出基于 Temporal Segment Network 的深度学习框架,分别处理面部与身体特征并融合预测分数,证明完整身体输入优于仅使用被遮挡面部,从而有效克服口罩带来的情感识别困难。
2023-05-25 cs.CV cs.LG
Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition
研究视频级矛盾心理和犹豫识别难题,提出PRISM-AH框架,通过冻结编码器、轻量级流模型处理多模态冲突,经窗口级注释监督、知识引导大语言模型推理,在测试中取得较好宏观F1,验证推理增益可转移。
2026-07-30 cs.AI cs.CV
Synthetic Data Generation of Body Motion Data by Neural Gas Network for Emotion Recognition
Cyrus Intelligence Research Ltd(赛勒斯智能研究有限公司)
针对人体运动情感识别领域数据集匮乏的问题,本研究创新性地将神经气体网络(NGN)用于合成人体运动数据,在真实感、情感区分度及生成速度上均优于GAN、VAE等现有方法。
2025-03-11 cs.AI cs.CV eess.IV
3Mformer: Multi-order Multi-mode Transformer for Skeletal Action Recognition
Australian National University(澳大利亚国立大学);Data61;CSIRO(联邦科学与工业研究组织)
许多骨骼动作识别模型使用GCN来表示人体的3D身体关节连接的身体部位。GCN聚合一跳或几跳图邻域,并忽略未链接的身体关节之间的依赖性。我们提出形成超图来对图节点之间的超边进行建模(例如,第三和第四阶超边缘捕获三个和四个节点),其帮助捕获身体关节组的更高阶运动模式。我们将动作序列分成时间块,高阶Transformer(HoT)基于(i)身体关节,(ii)身体关节的成对链接和(iii)骨架身体关节的高阶超边缘来产生每个时间块的嵌入。我们将阶数为1,…,r通过一种新的多阶多模式Transformer(3 Mformer),其具有两个模块,其顺序可以交换,以实现基于“通道-时间块”、“顺序-通道-身体联合”、“通道-超边缘(任何顺序)”和“通道-唯一”对的耦合模式令牌上的耦合模式注意。第一个模块,称为多阶池(MP),另外学习沿超边缘模式的加权聚合,而第二个模块,时间块池(TP),沿时间块模式聚合。与基于GCN、Transformer和超图的对等网络相比,我们的端到端可训练网络可产生最先进的结果。
2023-03-25 cs.AI cs.CV cs.LG
Gesture Recognition in RGB Videos UsingHuman Body Keypoints and Dynamic Time Warping
University of Koblenz-Landau(科布伦茨-兰道大学)
手势识别为人类与机器的直观交互开辟了新的途径。特别是对于服务机器人,手势可以是通信手段的有价值的补充,例如,将机器人的注意力吸引到某人或某事上。从视频数据中提取手势并对其进行分类是一项具有挑战性的任务,多年来已经提出了各种方法。本文提出了一种RGB视频中的手势识别方法,使用OpenPose提取人的姿势,并使用动态时间规整(DTW)结合一个最近邻(1NN)进行时间序列分类。这种方法的主要特点是独立于任何特定的硬件和高度的灵活性,因为只需添加几个示例就可以将新的手势添加到分类器中。我们利用了基于深度学习的OpenPose框架的鲁棒性,同时避免了自己训练神经网络的数据密集型任务。我们使用公共数据集证明了我们的方法的分类性能。
2019-06-25 cs.CV cs.LG cs.RO
A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
本研究提出一种整合面部表情、身体动作、语音和口语的多模态情感识别系统,为心理评估提供客观、数据驱动的工具,降低误诊风险并提升诊断准确性。
2026-10-16 cs.CL cs.CV cs.HC