Object recognition through pose and shape estimation
School of Electronics Engineering, VIT University（VIT大学电子工程学院）
计算机视觉帮助机器或计算机像人一样看东西。计算机从图像中获取信息，然后从图像中理解有用的信息。手势识别和运动识别是当前计算机视觉的研究热点。对于手势和运动识别，发现对象的姿态是非常重要的。本文对基于形状、基于外观、基于特征的目标位姿提取方法进行了综述，并从精度、复杂度和性能等方面进行了比较
2020-06-23 cs.CV
Local feature hierarchy for face recognition across pose and illumination
Northwestern Polytechnical University（西北工业大学）
尽管在正面和正常光照条件下的人脸识别效果很好，但在极端条件下性能急剧下降。最近有许多工作分别处理姿态和光照问题。然而，照明和姿势变化将总是同时遇到。因此，我们提出了一种端到端的人脸识别方法，同时处理姿态和光照基于卷积网络的区别性的非线性特征，是不变的姿态和光照提取。通常，在不同视图中拍摄的图像的全局结构是相当不同的。因此，我们建议使用1*1卷积核来提取局部特征。进一步提出了并行多流多层1*1卷积网络来提取多层次特征。在实验中，我们在multiPIE数据集上获得了96.9%的平均人脸识别率，这将跨姿势和光照的人脸识别的最新水平提高了7.5%。特别是对于轮廓位置，我们提出的网络的平均识别率为97.8%，这将最先进的识别率提高了19%。
2016-07-12 cs.CV
Face Recognition Using Deep Multi-Pose Representations
Information Sciences Institute（信息科学研究所）；Institute for Robotics and Intelligent Systems（机器人与智能系统研究所）；University of Southern California（南加州大学）；The Open University（开放大学）
我们介绍了我们的方法和系统，用于使用多个姿势感知深度学习模型进行人脸识别。在我们的表示中，人脸图像由几个姿势特定的深度卷积神经网络（CNN）模型处理，以生成多个姿势特定的特征。3D渲染用于从输入图像生成多个面部姿势。由于我们使用特定于姿势的CNN特征的集合，因此识别系统对姿势变化的敏感性降低。本文提出了广泛的实验结果的影响，地标检测，CNN层选择和姿势模型选择的识别管道的性能。我们的新表示在验证和识别（即搜索）任务中取得了比IARPA的CS2和NIST的IJB-A更好的结果。
2016-03-23 cs.CV
Multi-Task Convolutional Neural Network for Pose-Invariant Face Recognition
Michigan State University（密歇根州立大学）
本文探讨了多任务学习（MTL）的人脸识别。我们回答了MTL如何以及为什么可以提高人脸识别性能的问题。首先，我们提出了一个多任务卷积神经网络（CNN）的人脸识别，身份分类是主要任务和姿态，照明和表情估计是副任务。其次，我们开发了一个动态加权方案，自动分配损失的重量，每个边任务，这是一个关键问题，在MTL。第三，我们提出了一个姿势导向的多任务CNN通过分组不同的姿势学习姿势特定的身份特征，同时在所有的姿势。最后，我们提出了一种基于能量的权重分析方法来探索基于CNN的MTL是如何工作的。我们观察到，侧任务作为正则化，以解开的变化，从学习的身份特征。在整个Multi-PIE数据集上的实验证明了该方法的有效性。据我们所知，这是第一次使用Multi-PIE中的所有数据进行人脸识别。我们的方法也适用于姿态不变人脸识别的野外数据集，并在LFW，CFP和IJB-A数据集上实现了与现有技术相当或更好的性能。
2017-05-09 cs.CV
Illumination,Expression and Occlusion Invariant Pose-Adaptive Face Recognition System for Real-Time Applications
NIT Warangal（瓦朗加尔国家理工学院）
实时的【形】场景下的人脸识别主要受光照、表情和姿态变化以及遮挡的影响。提出了一种基于姿态自适应组件的人脸识别系统框架。拟议的框架涉及上述所有问题。所提出的框架中涉及的步骤是（i）面部地标定位，（ii）面部组件提取，（iii）面部图像的预处理（iv）面部姿态估计（v）特征提取使用每个组件的局部二进制模式直方图，然后（vi）融合组件的姿态自适应分类。通过采用姿态自适应分类，基于估计的姿态对数据库的某些部分执行识别过程，而不是对整个数据库应用识别过程。本文还讨论了用于克服光照变化问题的预处理技术。与整体方法相比，当人脸图像被遮挡时，基于一致性的技术提供了更好的识别率。我们的方法是简单的，可行的，并提供了更好的结果相比，其他整体的方法。
2014-03-06 cs.CV
Does Head Pose Correction Improve Biometric Facial Recognition?
University of California, Berkeley（加州大学伯克利分校）
研究探讨了AI驱动的头部姿态校正与图像修复对面部识别准确率的影响，发现选择性应用CFR-GAN与CodeFormer可提升识别性能。
2026-06-19 cs.CV
When 3D-Aided 2D Face Recognition Meets Deep Learning: An extended UR2D for Pose-Invariant Face Recognition
University of Houston（休斯顿大学）
大多数的人脸识别工作集中在特定的模块或演示一个研究思路。本文提出了一种姿态不变的三维辅助二维人脸识别系统（UR 2D），是强大的姿态变化高达90？通过利用深度学习技术。描述了UR 2D的体系结构和接口，并对各个模块进行了详细介绍。在UHDB 31和IJB-A上进行了大量的实验，证明UR 2D在人脸识别任务中比现有的2D人脸识别系统，如VGG-Face，FaceNet和商业现成软件（COTS），在UHDB 31数据集上至少有9%，在IJB-A数据集上平均有3%。UR 2D还通过比较模板匹配的Rank-1准确度得分，在IJB-A数据集上实现了85%的最新性能。它通过提供3D辅助2D人脸识别系统填补了一个空白，该系统具有与使用深度学习技术的2D人脸识别系统兼容的结果。
2017-09-19 cs.CV
Pose is all you need: The pose only group activity recognition system (POGARS)
La Trobe University（拉筹伯大学）；Australian Institute of Sport（澳大利亚体育学院）
提出仅基于追踪姿态的群体活动识别系统POGARS，利用1D CNNs和时空注意力机制学习时空动态并推断个体重要性，结合多任务学习同时分类群体与个体动作，在排球数据集上取得极具竞争力的结果且泛化能力优于RGB输入方法。
2021-08-09 cs.CV
A Comprehensive Survey on Pose-Invariant Face Recognition
University of Technology, Sydney（悉尼科技大学）
在各种姿势下识别人脸的能力是人类的基本能力，这对计算机视觉系统提出了独特的挑战。相对于近几十年来被广泛研究并逐渐成熟的正面人脸识别，姿态不变人脸识别（PIFR）仍然是一个很大程度上尚未解决的问题。然而，PIFR对于实现人脸识别在现实世界应用中的全部潜力至关重要，因为人脸识别本质上是一种用于识别不合作主体的被动生物特征识别技术。在本文中，我们讨论了固有的困难PIFR，并提出了一个全面的审查已建立的技术。现有的PIFR方法可以分为四类，即，姿态鲁棒特征提取方法、多视图子空间学习方法、面部合成方法和混合方法。的动机，战略，优点/缺点，和代表性的方法的性能进行了描述和比较。此外，有前途的未来研究方向进行了讨论。
2016-07-16 cs.CV
Disentangling Identity and Pose for Facial Expression Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
人脸表情识别是一个具有挑战性的问题，因为表情成分总是与其他无关因素（如身份和头部姿势）纠缠在一起。在这项工作中，我们提出了一个身份和姿态解开面部表情识别（IPD-FER）模型，学习更多的歧视性特征表示。我们认为整体面部表征是身份、姿态和表情的结合。这三个分量使用不同的编码器进行编码。在身份编码器中，利用预先训练好的人脸识别模型，并在训练过程中将其固定下来，克服了以往对特定表情训练数据的限制，使解纠缠在野外数据集上切实可行。同时，使用相应的标签优化姿势和表情编码器。结合身份特征和姿态特征，解码器生成输入个体的中性人脸。当添加表情特征时，需要对输入图像进行重构。通过比较合成的中性图像和表情图像之间的差异，表情成分进一步从身份和姿态中解脱出来。实验结果验证了我们的方法在实验室控制和野生数据库的有效性，我们实现了最先进的识别性能。
2022-08-17 cs.CV
Cross-pose Face Recognition by Canonical Correlation Analysis
National University of Singapore（新加坡国立大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
姿态问题是自动人脸识别的瓶颈之一。我们认为，在这个问题中的困难之一是严重的不对齐的人脸图像或特征向量与不同的姿态。在本文中，我们提出，这个问题可以在统计上解决或至少减轻通过典型相关分析（CCA）最大化的主题内跨姿势相关性。在我们的方法中，基于具有相同身份和两个不同姿势的耦合人脸图像的数据集，CCA同时学习两个线性变换，每个变换对应一个姿势。在变换后的子空间中，不同姿态之间的对象内相关性被最大化，这意味着实现了姿态不变性或姿态鲁棒性。实验结果表明，该方法可以大大提高识别性能。如果进一步增强整体+局部特征表示，性能可以与最先进的技术相媲美。
2015-07-29 cs.CV
PoseFace: Pose-Invariant Features and Pose-Adaptive Loss for Face Recognition
AiBee Inc.（爱比公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The University of Sydney（悉尼大学）；Northwestern Polytechnical University（西北工业大学）；Mininglamp Technology（明略科技）；University of Chinese Academy of Sciences（中国科学院大学）
尽管深度学习方法在人脸识别中取得了巨大的成功，但在无约束环境中（例如，在监视和照片标记的情况下）。为了解决这个问题，当前的方法要么部署特定于姿势的模型，要么通过额外的模块来正面化面部。尽管如此，他们忽略了身份信息应该在各个姿势之间保持一致的事实，并且没有意识到在训练过程中正面和侧面人脸图像之间的数据不平衡。在本文中，我们提出了一个有效的PoseFace框架，它利用面部地标解开姿态不变的功能，并利用姿态自适应损失自适应地处理不平衡的问题。在Multi-PIE、CFP、CPLFW和IJB的实验结果表明了该方法的优越性。
2021-07-25 cs.CV
P-CNN: Pose-based CNN Features for Action Recognition
École Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
这项工作的目标是视频中的人类动作识别。虽然最近的方法通常表示本地视频特征的统计动作，在这里，我们认为来自人类姿势的表示的重要性。为此，我们提出了一种新的基于姿态的卷积神经网络描述符（P-CNN）的动作识别。描述符沿着人体部位的轨迹聚集运动和外观信息。我们研究了不同的时间聚合方案，并对自动估计和手动注释的人类姿势获得的P-CNN特征进行了实验。我们评估我们的方法对最近的和具有挑战性的JHMDB和MPII烹饪数据集。对于这两个数据集，我们的方法显示出对现有技术的一致改进。
2015-09-23 cs.CV
Flexible Table Recognition and Semantic Interpretation System
Fraunhofer IAIS（弗劳恩霍夫智能分析和信息系统研究所）；University of Bonn（波恩大学）；University of Cologne（科隆大学）
表抽取是一个重要但尚未解决的问题。在本文中，我们介绍了一个灵活的和模块化的表提取系统。我们开发了两个基于规则的算法，执行完整的表识别过程，包括表检测和分割，并支持最常见的表格格式。此外，结合语义信息的提取，我们开发了一个基于图的表解释方法。我们对具有挑战性的表格识别基准ICDAR 2013和ICDAR 2019进行了广泛的实验，取得了与最先进方法相竞争的结果。我们完整的信息抽取系统表现出很高的F1得分为0.7380。为了支持未来的研究信息抽取从文件中，我们使资源（地面实况注释，评估脚本，算法参数）从我们的表解释实验公开。
2021-12-02 cs.CV
Temporal Hockey Action Recognition via Pose and Optical Flows
Tsinghua University（清华大学）；University of Waterloo（滑铁卢大学）
由于设备庞大和图像质量不足，使用计算机视觉识别冰球中的动作带来了挑战。一种新的双流框架已被设计为使用三个主要组件来提高曲棍球动作识别的准确性。首先，姿态估计通过部分亲和场模型从球员中提取有意义的线索。其次，光流（使用LiteFlowNet）用于提取时间特征。第三，姿势和光流流被融合并传递到完全连接的层以估计曲棍球运动员的动作。创建了一个名为HARPET（曲棍球动作识别姿势估计，时间）的新型公开数据集，由曲棍球运动员的注释动作和姿势序列组成，包括他们的曲棍球棒作为人体姿势的扩展。三个贡献得到认可。(1)新的双流架构实现了85%的动作识别准确率，包括光流提高精度约10%。(2)手持物体的独特定位（例如，曲棍球棒）作为姿势的一部分增加了大约13%的准确性。(3)对于姿态估计，一个更大和更一般的数据集，MSCOCO，成功地用于迁移学习到一个更小和更具体的数据集，HARPET，实现了87%的PCKh。
2018-12-22 cs.CV
Video Pose Distillation for Few-Shot, Fine-Grained Sports Action Recognition
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
人体姿态是精细运动动作理解的一个有用特征。然而，姿态估计往往是不可靠的，当运行在体育视频由于域移位和因素，如运动模糊和遮挡。当下游任务（例如动作识别）依赖于姿势时，这导致准确性差。端到端学习绕过了pose，但需要更多的标签来泛化。我们介绍了视频姿态蒸馏（VPD），这是一种弱监督技术，用于学习新视频领域的特征，例如挑战姿态估计的个人运动。在VPD下，学生网络学习从体育视频中的RGB帧中提取鲁棒的姿势特征，这样，只要姿势被认为是可靠的，这些特征就会与预先训练的教师姿势检测器的输出相匹配。我们的策略保留了姿势和端到端世界的最佳部分，利用原始视频帧中丰富的视觉模式，同时学习与运动员在目标视频域中的姿势和运动一致的特征，以避免过度拟合与运动员运动无关的模式。VPD功能提高了四个真实世界体育视频数据集中的Few-Shot、细粒度动作识别、检索和检测任务的性能，而不需要额外的地面实况姿势注释。
2021-09-03 cs.CV
Distilling Facial Knowledge With Teacher-Tasks: Semantic-Segmentation-Features For Pose-Invariant Face-Recognition
University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）
提出了一种基于语义分割特征提高人脸识别姿态不变性的方法。所提出的Seg-Distilled-ID网络联合学习识别和语义分割任务，其中分割任务然后被“蒸馏”（MobileNet编码器）。性能基准对三个国家的最先进的编码器上公开的数据集，强调头部姿势的变化。实验评估表明，Seg-Distilled-ID网络显示出显著的鲁棒性优势，测试准确率达到99.9%，而ResNet-101为81.6%，VGG-19为96.1%，InceptionV 3为96.3%。这是使用大约十分之一的顶部编码器的推理参数来实现的。这些结果表明，提取语义分割特征可以有效地解决人脸识别的姿态不变性。
2022-09-02 cs.CV
PAM: Pose Attention Module for Pose-Invariant Face Recognition
National Tsing Hua University（台湾清华大学）
姿态变化是人脸识别的关键挑战之一。传统的技术主要集中在图像空间中的人脸正面化或人脸增强。然而，在图像空间中变换人脸图像并不能保证无损地保留原始图像的身份特征。此外，这些方法遭受更多的计算成本和内存需求，由于额外的模型。我们认为，它是更可取的，在分层特征空间，而不是图像空间，它可以利用不同的特征水平和受益于联合学习与表示学习进行特征变换。为此，我们提出了一个轻量级的和易于实现的注意块，命名为姿势注意模块（PAM），姿态不变的人脸识别。具体地说，PAM执行前端轮廓特征变换的分层特征空间，通过学习姿态变化之间的残差与软门机制。我们通过广泛的消融研究验证了PAM块设计的有效性，并在几个流行的基准测试中验证了性能，包括LFW、CFP-FP、CARDB-30、CPLFW和CALFW。实验结果表明，我们的方法不仅优于国家的最先进的方法，但也有效地减少了超过75倍的内存需求。值得注意的是，我们的方法并不局限于人脸识别与大姿态变化。通过将PAM的软门机制调整为特定系数，这种语义注意力块可以容易地扩展以解决人脸识别中的其他类内不平衡问题，包括年龄、光照、表情等的大变化。
2021-11-23 cs.CV
Aligned to the Object, not to the Image: A Unified Pose-aligned Representation for Fine-grained Recognition
Brigham Young University（杨百翰大学）
由于姿势引起的显著外观变化构成了细粒度识别中的巨大挑战，最近使用注意力机制或二阶统计的方法未能充分解决这一挑战。现代CNN通常缺乏对对象姿态的明确理解，而是被纠缠的姿态和外观所迷惑。在本文中，我们提出了一个统一的对象表示从层次结构的姿势对齐的区域。而不是表示一个对象的区域对齐的图像轴，所提出的表示特征的外观相对于对象的姿态使用姿态对齐补丁的功能是强大的姿态，比例和旋转的变化。我们提出了一种算法，执行姿态估计，并形成统一的对象表示为级联的层次姿态对齐的区域功能，然后送入一个分类网络。该算法超越了其他方法的性能，在广泛使用的CUB-200数据集上将最先进的性能提高了近2%，在更大的NABIrds数据集上提高了8%以上。这种模式相对于竞争方法的有效性表明，解开姿势和外观的细粒度识别的持续进展至关重要。
2018-09-11 cs.CV
Pose Discrepancy Spatial Transformer Based Feature Disentangling for Partial Aspect Angles SAR Target Recognition
这封信提出了一个新的框架称为Distillum的合成孔径雷达（SAR）的自动目标识别（ATR）的任务。与传统的SAR ATR算法相比，Distillance考虑了一个更具挑战性的实际情况下，非合作目标的训练是不完整的，并在部分范围内的限制，而那些测试样本是无限的。为了解决这个问题，而不是学习的姿态不变的功能，distinctively新涉及一个精心设计的功能去纠缠模型分离的SAR目标的身份，使他们可以独立地控制目标图像的表示过程中学习的姿态因素。为了解开可解释的姿态因子，我们在DistSTN中开发了一个姿态差异空间变换器模块，以通过显式几何模型来表征两个不同目标的因子之间的内在变换。Transformer模块。此外，Distillo开发了一种分期偿还的推理方案，该方案使用编码器-解码器机制实现了高效的特征提取和识别。运动和静止目标捕获和识别（MSTAR）基准测试的实验结果表明，我们提出的方法的有效性。与其他ATR算法相比，Disturbance算法具有更高的识别精度。
2021-03-07 cs.CV
FastPoseGait: A Toolbox and Benchmark for Efficient Pose-based Gait Recognition
Beijing Normal University（北京师范大学）
FastPoseGait是一个基于PyTorch的开源工具箱，集成多种SOTA姿态步态识别算法，提供预训练模型和基准结果，以促进高效比较和领域研究。
2023-09-02 cs.CV
Fine-grained pose prediction, normalization, and recognition
姿态变化和外观上的细微差异是细粒度分类的关键挑战。虽然深度网络显着改善了一般识别，但许多细粒度识别方法依赖于将网络锚定到零件以提高准确性。识别零件以找到对应折扣构成变化，以便可以根据外观调整特征。为此，以前的方法已经研究了如何找到零件和提取姿势规范化的功能。这些方法通常将细粒度识别分为几个阶段，首先使用手工设计和粗定位的建议特征定位零件，然后分别学习以推断的零件位置为中心的深度描述符。我们将这些步骤统一到一个由关键点位置和类标签监督的端到端可训练网络中，该网络通过完全卷积网络定位零件，以集中学习细粒度分类任务的特征表示。在流行的CUB200数据集上的实验表明，我们的方法是最先进的，并建议继续发挥强监管的作用。
2015-11-22 cs.CV
In-the-wild Facial Expression Recognition in Extreme Poses
International Doctoral Innovation Centre, University of Nottingham Ningbo China（宁波诺丁汉大学国际博士创新中心）；School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机科学学院）；Institute of Microscopy Science and Technology, Ningbo Yongxin Optics Co. LTD.（宁波永新光学股份有限公司显微科学与技术研究所）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
在计算机研究领域，人脸表情识别是一个热门的研究课题。近年来，研究已经从实验室环境转移到野外环境。这是具有挑战性的，特别是在极端的姿势下。但目前的表情检测系统都在努力避免姿态效应，以获得通用性。在这项工作中，我们以相反的方式解决问题。我们认为，头部姿势和特殊的头部姿势内检测的表情。我们的工作包括两部分：检测头部姿势并将其分组到一个预定义的头部姿势类中;在每个姿势类中进行面部表情识别。实验结果表明，与不考虑姿态的直接识别相比，采用姿态类分组的方法识别效果更好。我们将手工特征、SIFT、LBP和几何特征与深度学习特征相结合，作为表达式的表示。手工制作的功能与高级深度学习功能一起添加到深度学习框架中。作为比较，我们实现了SVM和随机森林作为预测模型。为了训练和测试我们的方法，我们用6种基本表情标记了人脸数据集。
2018-11-06 cs.CV
Test-Time Augmentation for Pose-invariant Face Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对人脸识别中的姿态变化问题，本文提出无需训练的 Pose-TTA，在推理时生成匹配侧面姿态并加权聚合特征，从而在多种数据集和预训练模型上稳定提升识别性能。
2025-05-14 cs.CV
Human Pose-based Estimation, Tracking and Action Recognition with Deep Learning: A Survey
Zhengzhou University（郑州大学）；Amazon Prime Video（亚马逊Prime Video）
本文全面综述了基于深度学习的人体姿态估计、跟踪与动作识别技术，探讨了现有方法的优势与局限，并强调了将三者整合至视频统一框架的方法及未来研究方向。
2023-10-19 cs.CV
Evaluation of Deep Learning based Pose Estimation for Sign Language Recognition
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
人体姿态估计和手部检测是执行基于计算机视觉的手语识别（SLR）的系统的两个重要任务。然而，这两个任务都是具有挑战性的，特别是当输入是没有深度信息的彩色视频时。在文献中已经提出了许多算法用于这些任务，并且最近一些最成功的算法基于深度学习。在本文中，我们介绍了一个数据集的人体姿态估计的SLR域。我们通过在我们的数据集上进行用户独立的实验来评估两种基于深度学习的姿势估计方法的性能。我们还进行了迁移学习，我们得到的结果表明，迁移学习可以提高姿态估计精度。这些方法的数据集和结果可以为未来的工作创建有用的基线。
2016-04-19 cs.CV
A Generic Regression Framework for Pose Recognition on Color and Depth Images
级联回归方法是一种快速、准确地从RGB图像中提取物体二维姿态的方法。它能够找到准确的姿态的对象在图像中的良好的初始猜测的对象的姿态的大量的校正。本文介绍了该算法，并展示了研究人员进行的两个实验的结果。提出了一种新的方法，快速，准确地预测3D位置的身体关节从一个单一的深度图像，不使用时间信息。我们采取了一种对象识别方法，设计了一个中间的身体部位表示，将困难的姿势估计问题映射到一个更简单的每像素分类问题。我们的大型和高度多样化的训练数据集允许分类器估计姿势，体型，服装不变的身体部位。最后，我们通过重新投影分类结果并找到局部模式来生成几个身体部位的置信度评分3D建议。
2017-09-23 cs.CV
Dataset Augmentation for Pose and Lighting Invariant Face Recognition
Vision Systems, Inc.（视觉系统公司）；Systems and Technology Research（系统与技术研究院）
现代人脸识别系统的性能取决于它们所训练的数据集。大多数数据集在很大程度上偏向于具有良好照明条件的“近正面”视图，对不符合这些标准的图像的识别性能产生负面影响。所提出的方法演示了如何使用具有模拟姿势和照明条件的半合成图像来增强基线训练集以增加姿势和照明可变性。半合成图像是使用快速和鲁棒的3-d形状估计和渲染流水线生成的，其中包括完整的头部和背景。研究了在不修改网络本身的结构的情况下将半合成渲染并入现有技术的基于深度神经网络的识别系统的训练过程中的各种方法。使用最先进的识别管道作为基线，在具有挑战性的IJB-A识别数据集上呈现定量结果。
2017-04-14 cs.CV
When Regression Meets Manifold Learning for Object Recognition and Pose Estimation
Technichal University Munich（慕尼黑工业大学）；Siemens AG（西门子股份公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们提出了一种使用卷积神经网络从深度图像中进行对象识别和姿态估计的方法。解决这个问题的先前方法依赖于流形学习来学习低维视点描述符，并在估计的描述符空间上的最近邻搜索中使用它们。相比之下，我们创建了一个有效的多任务学习框架，结合流形描述符学习和姿态回归。通过结合使用三元组损失和姿态回归的流形学习的优势，我们可以直接估计姿态，与NN搜索相比降低复杂度，或者使用学习的描述符进行NN描述符匹配。通过对新的损失函数进行深入的实验评估，我们观察到网络学习的视图描述符更具鉴别力，与相关工作相比，相对姿态精度提高了近30%。另一方面，关于直接回归的姿势，我们得到了重要的改进相比，简单的姿势回归。通过利用流形学习和回归任务的优势，我们能够改进当前最先进的对象识别和姿态检索，我们通过深入的实验评估证明了这一点。
2018-05-16 cs.CV
SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition
TU Wien（维也纳技术大学）；University of Bristol（布里斯托尔大学）
本研究提出仅用RGB帧结合伪深度的SHARP方法分割场景无关部分，在H2O数据集上实现91.73%的动作识别准确率，姿态误差28.66mm，无需深度传感器即可提升自我中心3D手部姿态估计与动作识别性能。
2024-08-19 cs.CV
Pose Attention-Guided Profile-to-Frontal Face Recognition
West Virginia University（西弗吉尼亚大学）
近年来，由于深度学习架构的有前途的进步，人脸识别系统取得了非凡的成功。然而，他们仍然无法达到预期的准确性时，匹配的轮廓图像对画廊的正面图像。当前的方法或者执行姿态归一化（即，正面化）或解开用于面部识别的姿态信息。相反，我们提出了一种新的方法，利用姿态作为辅助信息，通过注意力机制。在本文中，我们假设，姿势出席信息使用的注意力机制可以指导上下文和独特的特征提取从侧面的脸，这进一步有利于更好的表示学习在嵌入式领域。为了实现这一点，首先，我们设计了一个统一的耦合侧面到正面人脸识别网络。它通过类特定的对比损失来学习从人脸到紧凑嵌入子空间的映射。其次，我们开发了一种新的姿态注意块（PAB），专门指导姿态不可知的特征提取从侧面的脸。更具体地说，PAB旨在明确地帮助网络关注通道和空间维度上的重要特征，同时在嵌入子空间中学习有区别但姿态不变的特征。为了验证我们所提出的方法的有效性，我们进行了控制和野生基准测试，包括多PIE，CFP，IJBC的实验，并显示出优于国家的艺术。
2022-09-15 cs.CV
Human Action Recognition in Egocentric Perspective Using 2D Object and Hands Pose
TU Wien（维也纳工业大学）
本研究探索2D手部与物体姿态用于第一人称动作识别的可行性，采用基于transformer的序列分类方法，验证集准确率达94%，为3D方法提供了更具隐私性、低计算量的替代方案。
2023-06-08 cs.CV
Pose-based Sign Language Recognition using GCN and BERT
Purdue University（普渡大学）
手语识别（SLR）在弥合听力和发声障碍社区与社会其他人之间的沟通差距方面发挥着至关重要的作用。单词级手语识别（WSLR）是理解和解释手语的第一步。然而，从视频中识别标志是一项具有挑战性的任务，因为单词的含义取决于微妙的身体运动，手部配置和其他运动的组合。最近的基于姿态的架构WSLR要么模型的空间和时间的依赖关系之间的姿态在不同的帧同时或只建模的时间信息，而没有充分利用空间信息。我们使用一种新型的基于姿势的方法来解决WSLR问题，该方法分别捕获空间和时间信息并执行后期融合。我们提出的架构明确地捕捉空间的相互作用，在视频中使用图卷积网络（GCN）。使用来自Transformers的双向编码器表示（BERT）来捕获帧之间的时间依赖性。在WLASL（一个标准的单词级手语识别数据集）上的实验结果表明，我们的模型在基于姿势的方法上的表现明显优于最先进的方法，预测准确率提高了5%。
2020-12-01 cs.CV
Unsupervised Domain Adaptation Learning for Hierarchical Infant Pose Recognition with Synthetic Data
University of Washington（华盛顿大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）
阿尔伯塔省婴儿运动量表（AIMS）是一个众所周知的评估方案，通过记录实现的特定姿势的数量来评估婴儿的大运动发育。借助基于图像的姿势识别模型，AIMS评估程序可以缩短和自动化，提供潜在发育障碍的早期诊断或指标。由于有限的公共婴儿相关的数据集，许多作品使用基于SMIL的方法来生成合成的婴儿图像进行训练。然而，真实训练样本和合成训练样本之间的这种域不匹配通常会导致推理过程中的性能下降。在本文中，我们提出了一个基于CNN的模型，该模型以任何婴儿图像作为输入，并预测粗和细级别的姿势标签。该模型由图像分支和姿态分支组成，分别通过无监督领域自适应和使用具有SMPLify优化的HRNet生成3D关键点来生成粗级logits。然后，这些分支的输出将被发送到分层姿态识别模块，以估计精细级别的姿态标签。我们还收集并标记了一个新的AIMS数据集，其中包含750个真实和4000个合成婴儿图像与AIMS姿势标签。我们的实验结果表明，该方法可以显着对齐合成和真实世界的数据集的分布，从而实现细粒度的婴儿姿势识别的准确性能。
2022-05-04 cs.CV
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University（卡内基梅隆大学）
如何表现一个动作？如何描述一个我们从未见过的行为？这些问题通过零样本学习范式来解决，其中模型仅在类的子集上进行训练，并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中，我们提出了一个基于身体姿势的zero shot动作识别网络，并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者，以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识，使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV
Pose Augmentation: Class-agnostic Object Pose Transformation for Object Recognition
University of Southern California（南加州大学）；Google Research（谷歌研究院）
对象姿态增加了类内对象方差，这使得从2D图像中识别对象变得更加困难。为了使分类器对姿势变化具有鲁棒性，大多数深度神经网络试图通过使用每个类别具有许多姿势的大型数据集来消除姿势的影响。在这里，我们提出了一种不同的方法：类不可知的对象姿态变换网络（OPT-Net）可以沿着3D偏航和俯仰轴变换图像，以连续合成其他姿态。合成图像导致对象分类器的更好训练。我们设计了一种新的消除-添加结构来明确地从对象身份中分离出姿态：首先消除输入图像的姿态信息，然后添加目标姿态信息（正则化为连续变量）来合成任何目标姿态。我们在来自iLab-20 M数据集的转盘上拍摄的玩具车图像上训练OPT-Net。在对不平衡的离散姿态（每个对象实例有6个姿态的5个类，加上只有2个姿态的5个类）进行训练后，我们表明OPT-Net可以沿着偏航和俯仰轴高质量地合成平衡的连续新姿态。使用原始姿势和合成姿势训练ResNet-18分类器，仅在原始姿势上过度训练，可将mAP准确性提高9%。此外，预训练的OPT-Net可以推广到新的对象类，我们在iLab-20 M和RGB-D上都演示了这一点。我们还证明了学习的特征可以推广到ImageNet。
2021-01-14 cs.CV
Pose-Based Two-Stream Relational Networks for Action Recognition in Videos
Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology（脑科学与智能技术卓越创新中心）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，基于姿态的动作识别由于其较传统的基于外观的方法具有更好的性能而受到越来越多的关注。但是，还存在两个问题需要进一步解决。首先，现有的基于姿态的方法通常识别具有捕获的3D人体姿态的人体动作，这在真实场景中是非常难以获得的。其次，在识别对象扮演重要角色的人-对象交互动作时，很少有基于姿势的方法对动作相关对象进行建模。为了解决上述问题，我们提出了一个基于姿态的双流关系网络（PSRN）的动作识别。在PSRN中，一个流对直接从原始视频中提取的目标2D人体姿势序列的时间动态进行建模，另一个流对来自随机采样视频帧的动作相关对象进行建模。最重要的是，我们提出了一个姿势-对象关系网络来建模人体姿势和动作相关对象之间的关系，而不是像以前那样在类得分层中融合两个流。我们在两个具有挑战性的基准上评估拟议的PSRN，即，Sub-JHMDB和PennAction。实验结果表明，我们的PSRN获得了最先进的性能Sub-JHMDB（80.2%）和PennAction（98.1%）。我们的工作打开了一扇新的大门，动作识别相结合的2D人体姿势提取的原始视频和图像外观。
2018-05-22 cs.CV
A Coarse-to-Fine Model for 3D Pose Estimation and Sub-category Recognition
Allen Institute for AI（艾伦人工智能研究所）；University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；Stanford University（斯坦福大学）
尽管目标检测、3D姿态估计和子类别识别是高度相关的任务，但是由于参数的巨大空间，它们通常彼此独立地被解决。为了联合建模所有这些任务，我们提出了一个由粗到细的分层表示，其中层次结构的每个级别表示不同粒度级别的对象。分层表示防止了性能损失，这通常是由参数数量的增加引起的（因为我们考虑了更多的任务来建模），并且联合建模能够解决这些任务的独立建模中存在的模糊性。我们增加了PASCAL 3D+数据集的注释，这些任务，并表明我们的分层模型是有效的联合建模的目标检测，三维姿态估计，子类识别。
2015-04-10 cs.CV
A Unified Deep Framework for Joint 3D Pose Estimation and Action Recognition from a Single RGB Camera
Cerema Research Center（Cerema研究中心）；Aparnix；Cortexica Vision Systems Ltd.（Cortexica视觉系统有限公司）；Vingroup Big Data Institute (VinBDI)（Vingroup大数据研究所（VinBDI））
我们提出了一个基于深度学习的多任务框架，用于从RGB视频序列中进行联合3D人体姿势估计和动作识别。我们的方法分为两个阶段。首先，我们运行实时2D姿态检测器来确定身体重要关键点的精确像素位置。然后设计并训练双流神经网络以将检测到的2D关键点映射到3D姿态。在第二，我们部署的高效神经架构搜索（ENAS）算法，以找到一个最佳的网络架构，用于通过基于图像的中间表示和执行动作识别的估计3D姿态的时空演变建模。在Human3.6M、MSR 3D和SBU Kinect Interaction数据集上的实验验证了该方法在目标任务上的有效性。此外，我们表明，我们的方法需要一个低的计算预算的培训和推理。
2019-07-16 cs.CV
A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition
Fudan University（复旦大学）；Ping An OneConnect（平安金融壹账通）
近年来，随着深度学习技术的发展，人脸表情识别的研究取得了很大的进展，但一些典型的具有挑战性的问题，如丰富的面部表情和姿态的多样性，仍然没有得到解决。为了解决这些问题，我们开发了一个新的面部表情识别（FER）框架，涉及到我们的图像合成和分类过程中的面部姿态。这项工作有两个主要的创新之处。首先，我们创建了一个新的面部表情数据集，其中包含超过20万张图像，包括119个人，4个姿势和54个表情。据我们所知，这是第一个为表情识别目的标记具有细微情感变化的人脸的数据集。它也是第一个足够大的数据集，可以验证不平衡姿势、表情和zero-shot受试者ID上的FER任务。其次，我们提出了一个面部姿态生成对抗网络（FaPE-GAN）来合成新的面部表情图像，以增强用于训练目的的数据集，然后学习基于LightCNN的Fa-Net模型进行表情分类。最后，我们在这个数据集上提出了四个新的学习任务。实验结果很好地验证了该方法的有效性。
2019-07-25 cs.CV
Recurrent Regression for Face Recognition
Southeast University（东南大学）
为了解决图像的顺序变化，包括姿势，在本文中，我们提出了一个递归回归神经网络（RRNN）框架，统一两个经典的任务，跨姿势人脸识别静态图像和基于视频的人脸识别。为了模拟图像的变化，我们显式地构造序列图像的潜在依赖关系，从而使最终的学习模型正则化。通过对顺序相邻的图像进行渐进变换，RRNN可以自适应地记忆和忘记有利于最终分类的信息。对于静止图像的人脸识别，给定任意一幅具有任意一个姿态的图像，我们递归地预测具有其顺序姿态的图像，期望捕获其他姿态的一些有用信息。对于基于视频的人脸识别，递归回归需要一个完整的序列，而不是一个图像作为其输入。我们在静态人脸数据集MultiPIE和人脸视频数据集YouTube Celebrity（YTC）中验证了RRNN。综合实验结果证明了所提出的RRNN方法的有效性。
2016-07-24 cs.CV
Group Activity Recognition using Unreliable Tracked Pose
La Trobe University（拉筹伯大学）；Australian Institute of Sport（澳大利亚体育学院）
提出RePGARS方法，通过容忍不可靠追踪和姿态信息，解决视频群体活动识别中对高质量追踪的依赖问题，在无真实标注条件下性能优于现有算法。
2024-01-06 cs.CV
Facial UV Map Completion for Pose-invariant Face Recognition: A Novel Adversarial Approach based on Coupled Attention Residual UNets
Chosun University（朝鲜大学）；Hanoi University of Science and Technology（河内理工大学）；Vietnam Academy of Science and Technology（越南科学技术院）
姿态不变的人脸识别是指通过分析从不同姿态捕获的人脸图像来识别或验证一个人的问题。这个问题是具有挑战性的，由于姿态，照明和面部表情的大变化。一种很有前途的方法来处理姿态变化是实现不完整的UV地图提取在野外的脸，然后附加完成的UV地图到一个合适的3D网格，最后生成不同的2D人脸的任意姿态。合成的人脸增加了用于训练深度人脸识别模型的姿势变化，并减少了测试阶段的姿势差异。在本文中，我们提出了一种新的生成模型，称为Attention ResCUNet-GAN，以提高UV地图完成。我们通过使用几个U网来增强原始的UV-GAN。特别是，每个U-Net内的跳跃连接都是通过注意门来提升的。同时，从两个U-网的特征融合与可训练的标量权重。在Multi-PIE、LFW、CPLWF和CFP数据集上的实验结果表明，该方法具有较好的性能。
2020-11-02 cs.CV
LAMP-HQ: A Large-Scale Multi-Pose High-Quality Database and Benchmark for NIR-VIS Face Recognition
University of Chinese Academy of Sciences（中国科学院大学）
近红外-可见光（NIR-VIS）异构人脸识别将NIR匹配到相应的VIS人脸图像。然而，由于传感间隙，近红外图像往往会丢失一些身份信息，使识别问题比传统的VIS人脸识别更困难。近红外-可见光异构人脸识别由于其方便性和实用性，近年来受到了计算机视觉界的广泛关注。已经提出了各种基于深度学习的方法，并大大提高了识别性能，但缺乏NIR-VIS训练样本导致模型训练过程困难。在本文中，我们提出了一个新的大规模多姿态高质量的近红外-可见光数据库LAMP-HQ包含56,788近红外和16,828可见光图像的573个主题，具有大的姿态，照明，属性，场景和附件的变化。我们通过在LAMP-HQ上生成NIR-VIS人脸识别协议提供了基准，包括Pixel 2 Pixel，CycleGAN和ADFL。此外，我们提出了一种新的基于样本的变分光谱注意力网络产生高保真VIS图像从近红外数据。引入光谱条件注意模块来减少NIR和VIS数据之间的域间隙，从而提高NIR-VIS异构人脸识别在包括LAMP-HQ在内的各种数据库上的性能。
2020-03-29 cs.CV
H2O: Two Hands Manipulating Objects for First Person Interaction Recognition
ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）；Samsung AI Center, Cambridge（三星AI中心（剑桥））
我们提出了一个全面的框架，以自我为中心的互动识别使用无标记的3D注释的两只手操纵对象。为此，我们提出了一种方法来创建一个以自我为中心的3D交互识别的统一数据集。我们的方法产生注释的3D姿态的双手和6D姿态的操纵对象，以及他们的互动标签为每帧。我们的数据集名为H2O（2 Hands and Objects），提供同步的多视图RGB-D图像、交互标签、对象类、左右手的地面实况3D姿势、6D对象姿势、地面实况相机姿势、对象网格和场景点云。据我们所知，这是第一个基准测试，可以使用左右手操纵对象的姿势来研究第一人称动作，并为以自我为中心的3D交互识别提供前所未有的细节水平。我们进一步提出的方法来预测交互类估计的3D姿态的双手和6D姿态的操纵对象，联合从RGB图像。我们的方法通过学习预测相互作用的图卷积网络的拓扑结构，对双手和物体之间的相互依赖和内部依赖进行建模。我们表明，我们的方法促进了这个数据集建立了一个强大的基线联合手对象姿态估计，并实现了最先进的第一人称交互识别的准确性。
2021-08-24 cs.CV
Unsupervised 3D Pose Estimation for Hierarchical Dance Video Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
舞蹈专家通常将舞蹈视为信息的层次结构，跨越低层次（原始图像，图像序列），中级（人体姿势和身体部位运动）和高级（舞蹈类型）。我们提出了一个层次化的舞蹈视频识别框架（HDVR）。HDVR估计2D姿势序列、跟踪舞者，然后同时估计相应的3D姿势和3D到2D成像参数，而不需要3D姿势的地面实况。与大多数对单个人起作用的方法不同，我们的跟踪在遮挡下对多个舞者起作用。从估计的3D姿态序列中，HDVR提取身体部位运动，并从中提取舞蹈类型。由此产生的分层舞蹈表示是可以解释的专家。为了克服噪声和帧间对应的模糊性，我们强制执行空间和时间的运动平滑度和光度连续性随着时间的推移。我们使用LSTM网络来提取3D运动序列，从中识别舞蹈类型。对于实验，我们已经确定了154个运动类型，16个身体部位，并组装了一个新的伊利诺伊大学舞蹈（UID）数据集，包含1143个视频剪辑的9个流派，涵盖30小时，注释运动和流派标签。我们的实验结果表明，我们的算法优于国家的最先进的3D姿态估计方法，这也提高了我们的舞蹈识别性能。
2021-09-19 cs.CV
Lie-X: Depth Image Based Articulated Object Pose Estimation, Tracking, and Action Recognition on Lie Groups
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）
从深度图像中对关节对象进行姿态估计、跟踪和动作识别是重要且具有挑战性的问题，通常单独考虑。本文提出了一个基于李群理论的统一范式，使我们能够共同解决这些相关问题。我们的方法也适用于广泛的铰接对象。在实验室动物（包括小鼠和鱼）以及人手上进行了经验评估。在这些应用程序中，它被证明提供竞争力的结果相比，国家的最先进的，和非平凡的基线，包括卷积神经网络和回归森林方法。
2016-09-13 cs.CV
Pose-based Deep Gait Recognition
National Research University Higher School of Economics（国立研究型大学高等经济学院）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
人的步态或行走方式是一种生物特征，当其他生物特征（如面部或虹膜）不可见时，可以识别人。本文提出了一种新的基于姿态的卷积神经网络步态识别模型。与许多考虑运动人的全高轮廓的方法不同，我们考虑人体关节周围区域中的点的运动。为了提取运动信息，我们估计连续帧之间的光流。我们提出了一个深度卷积模型，用于计算基于姿势的步态描述符。我们比较了不同的网络架构和聚合方法，并通过实验评估了不同的身体部位，以确定哪些对步态识别最重要。此外，我们调查的泛化能力的开发算法之间的数据集转移。这些实验的结果表明，我们的方法优于国家的最先进的方法。
2018-02-08 cs.CV
Global Norm-Aware Pooling for Pose-Robust Face Recognition at Low False Positive Rate
Beijing Jiaotong University（北京交通大学）；Watchdata Inc.（握奇数据股份有限公司）；DeepInSight（深识）
在本文中，我们提出了一种新的全局Norm-Aware Pooling（GNAP）块，该块根据卷积神经网络（CNN）的L2范数自适应地对局部特征进行重新加权，并输出具有全局平均池层的全局特征向量。我们的GNAP块旨在为不同空间位置的局部特征提供动态权重，而不会失去空间对称性。我们在人脸特征嵌入CNN中使用GNAP块来产生用于姿态鲁棒人脸识别的判别性人脸特征向量。GNAP块的计算成本非常低，但它对正面轮廓人脸识别非常强大。在CFP前向轮廓方案下，GNAP阻断不仅可以显著降低EER，而且可以显著提高TPR@FPR=0.1%（TPR即真阳性率，FPR即假阳性率）。实验结果表明，GNAP块大大提高了姿态鲁棒人脸识别的基础模型，特别是在低误报率。
2018-08-01 cs.CV
2D/3D Pose Estimation and Action Recognition using Multitask Deep Learning
ETIS UMR 8051（ETIS联合研究单位8051）；Paris Seine University（巴黎塞纳大学）；ENSEA（法国国立高等电子及应用学院）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Laboratoire d’Informatique de Paris 6, LIP6（巴黎第六大学计算机实验室）
动作识别和人体姿态估计是密切相关的，但这两个问题通常在文献中作为不同的任务处理。在这项工作中，我们提出了一个多任务框架，联合2D和3D姿态估计从静止图像和人类动作识别视频序列。我们表明，一个单一的架构可以用来解决这两个问题，在一个有效的方式，仍然达到了最先进的结果。此外，我们还证明了端到端的优化比单独学习的准确性要高得多。所提出的架构可以同时以无缝的方式使用来自不同类别的数据进行训练。四个数据集（MPII，Human3.6M，Penn Action和NTU）上的报告结果证明了我们的方法在目标任务上的有效性。
2018-03-21 cs.CV
A 3D GAN for Improved Large-pose Facial Recognition
Ecole Centrale de Lyon（里昂中央理工学院）；IDEMIA
使用深度卷积神经网络的面部识别依赖于面部图像的大数据集的可用性。需要许多身份的例子，并且对于每个身份，需要大量的图像，以便网络学习对类内变化的鲁棒性。在实践中，这样的数据集是难以获得的，特别是那些包含足够的姿态变化。生成对抗网络（GANs）提供了一个潜在的解决方案，因为它们能够生成逼真的合成图像。然而，最近的研究表明，目前的方法从身份解开姿势是不够的。在这项工作中，我们将一个3D变形模型的生成器的GAN，以学习一个非线性的纹理模型，在野生图像。这允许生成新的合成身份，以及在不损害身份的情况下操纵姿势、照明和表达。我们的合成数据用于增强面部识别网络的训练，并在具有挑战性的CFP和CPLFW数据集上进行性能评估。
2021-03-31 cs.CV
GPRAR: Graph Convolutional Network based Pose Reconstruction and Action Recognition for Human Trajectory Prediction
University of Colorado Denver（科罗拉多大学丹佛分校）
高精度预测对于自动驾驶等各种应用至关重要。现有的预测模型很容易在现实世界的环境中出现错误，其中观察（例如人类姿势和位置）通常是嘈杂的。为了解决这个问题，我们引入了GPRAR，一个基于图卷积网络的姿态重建和动作识别的人体轨迹预测。GPRAR的核心思想是在噪声场景下生成鲁棒的特征：人体姿势和动作。为此，我们设计了GPRAR使用两个新的子网络：PRAR（姿态重建和动作识别）和FA（特征聚合器）。PRAR的目标是同时重建人体姿态和动作特征的连贯性和结构特性的人体骨骼。它是一个编码器和两个解码器的网络，每个解码器包括多层时空图卷积网络。此外，我们提出了一个功能聚合器（FA）通道聚合学习的功能：人体姿势，动作，位置和相机运动使用基于编码器-解码器的时间卷积神经网络预测未来的位置。在常用数据集上进行的广泛实验：JAAD [13]和TITAN [19]显示GPRAR的准确性优于最先进的模型。具体而言，GPRAR在JAAD和TITAN数据集上的噪声观测下分别将预测精度提高了22%和50
2021-03-25 cs.CV
Pose-aware Adversarial Domain Adaptation for Personalized Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
目前的面部表情识别方法无法同时处理姿势和主题变化。在本文中，我们提出了一种新的无监督对抗领域自适应方法，可以同时减轻这两种变化。特别地，我们的方法由三种学习策略组成：对抗性领域自适应学习、跨对抗性特征学习和重建学习。第一个目标是学习源域中与姿势和表情相关的特征表示，并通过实施对抗性学习使两个特征分布适应目标域的特征分布。通过使用个性化的对抗性领域自适应，该学习策略可以减轻主题变化，并利用来自源领域的信息来帮助目标领域的学习。第二个用于通过推动姿势相关特征表示expression-undistinguished和姿势相关特征表示expression-undistinguished来执行姿势相关特征表示和表情相关特征表示之间的特征解纠缠。最后一个可以通过应用人脸图像重建来进一步增强特征学习，使得学习的表情相关特征表示更具姿态和身份鲁棒性。在四个基准数据集上的实验结果证明了该方法的有效性。
2020-07-12 cs.CV
In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition
TU Wien（维也纳技术大学）
本文针对第一人称视频理解，提出EffHandNet和EffHandEgoNet两种2D手部姿态估计方法，并结合transformer构建动作识别架构，在H2O和FPHA数据集上分别达到91.32%和94.43%准确率，超越现有3D方法。
2024-07-24 cs.CV
