Robust Gait Recognition by Integrating Inertial and RGBD Sensors
Wuhan University(武汉大学);Shenzhen University(深圳大学);University of South Carolina(南卡罗来纳大学)
步态已被认为是一种有前途的和独特的身份识别生物特征。传统上,步态数据是使用颜色传感器(诸如CCD相机)、深度传感器(诸如Microsoft Kinect)或惯性传感器(诸如加速度计)来收集的。然而,单一类型的传感器可能只能捕获部分动态步态特征,并使步态识别对复杂的协变量条件敏感,导致脆弱的基于步态的身份识别系统。在本文中,我们建议结合所有三种类型的传感器的步态数据汇集和步态识别,可用于重要的身份识别应用,如身份识别访问一个受限制的建筑物或区域。我们提出了两个新的算法,即EigenGait和TrajGait,分别从惯性数据和RGBD(颜色和深度)数据中提取步态特征。具体而言,EigenGait从特征空间中的加速度计读数中提取一般步态动态,TrajGait通过分析3D密集轨迹提取更详细的子动态。最后,两个提取的特征被送入一个监督分类器的步态识别和身份识别。对50名受试者的实验结果表明,该方法具有较高的识别精度和鲁棒性,并与其他几种步态识别方法进行了比较。
2016-10-31 cs.CV
Model-based gait recognition using graph network on very large population database
College of Automation Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学自动化学院)
目前,现有的步态识别系统主要致力于从轮廓图像中提取鲁棒的步态特征,并取得了很大的成功。然而,步态可能对服装和携带物品等外观特征敏感。与基于外观的方法相比,基于模型的步态识别由于对这些变化的鲁棒性而具有很好的前景。近年来,随着人体姿态估计技术的发展,基于模型的步态识别方法的难度得到了缓解。为了抵抗主题的增加和视图的变化,本文建立了局部特征,并提出了一种最大化来自同一主题的样本距离的连体网络。我们利用动作识别的最新进展,将人体姿势序列嵌入到一个向量中,并引入时空图卷积块(STGCB),它已被普遍用于步态识别的动作识别。在OUMVLP-Pose和CASIA-B数据集上的实验表明,该方法在基于模型的步态识别中具有一定的SOTA性能。我们的方法的代码和模型在被接受后可在https://github.com/timelessnaive/Gait-for-Large-Dataset上获得。
2021-12-20 cs.CV
Pedestrian Attribute Editing for Gait Recognition and Anonymization
Southern University of Science and Technology(南方科技大学)
针对步态识别的应用价值与隐私风险双重属性,该研究提出GaitEditor步态属性编辑框架,可通过不同程度属性编辑实现数据增强或去身份化,经多基准验证同时助力步态识别与隐私保护,为首个支持多步态属性编辑的双功能框架。
2024-03-06 cs.CV
A Comprehensive Survey on Deep Gait Recognition: Algorithms, Datasets and Challenges
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学);University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The Hong Kong Polytechnic University(香港理工大学)
本文从深度表示学习与网络架构两个层面系统综述深度步态识别方法、数据集与性能,并探讨其隐私安全挑战及未来方向。
2023-08-05 cs.CV
HEATGait: Hop-Extracted Adjacency Technique in Graph Convolution based Gait Recognition
Islamic University of Technology(伊斯兰技术大学)
基于步态的生物特征认证由于其隐蔽性而成为一个很有前途的领域。最近的方法在基于模型的步态识别技术利用时空图优雅的步态特征提取。然而,现有的方法往往依赖于多尺度算子来提取关节之间的长程关系,从而导致有偏加权。在本文中,我们提出了HEATGait,步态识别系统,提高了现有的多尺度图卷积有效的跳提取技术,以减轻这个问题。结合预处理和增强技术,我们提出了一个功能强大的特征提取器,利用ResGCN在CASIA-B步态数据集上实现基于模型的步态识别的最新性能。
2022-04-21 cs.CV
Silhouette based View embeddings for Gait Recognition under Multiple Views
Beihang University(北京航空航天大学)
多视角下的步态识别是计算机视觉和模式识别的重要课题。在新兴的基于卷积神经网络的方法中,视角信息在一定程度上被忽略。我们提出了一个兼容的框架,可以将视图信息嵌入到现有的步态识别架构中,而不是直接的视图估计和训练特定于视图的识别模型。通过选择性投影层简单地实现嵌入。在两个大型公共数据集上的实验结果表明,该框架是非常有效的。
2021-08-12 cs.CV
On Learning Disentangled Representations for Gait Recognition
Michigan State University(密歇根州立大学)
步态是人体的行走模式,是生物特征识别的重要形式之一。现有的步态识别方法大多采用轮廓或关节模型作为步态特征。这些方法在处理诸如服装、携带和视角等混杂变量时会降低识别性能。为了解决这个问题,我们提出了一个新的AutoEncoder框架,GaitNet,明确地从RGB图像中分离外观,规范和姿势特征。LSTM将随时间推移的姿势特征集成为动态步态特征,而将规范特征平均为静态步态特征。这两个特征都被用作分类特征。此外,我们收集了一个正视步态(FVG)数据集,专注于从正视行走步态识别,这是一个具有挑战性的问题,因为它包含最少的步态线索相比,其他意见。FVG还包括其他重要的变化,例如,步行速度、携带和衣着。通过在CASIA-B、USF和FVG数据集上的大量实验,我们的方法在定量上表现出优于SOTA的性能,在定性上表现出特征解纠缠的能力,并且具有很好的计算效率。我们进一步将我们的GaitNet与最先进的人脸识别进行比较,以证明步态生物识别在某些场景下的优势,例如,长距离/低分辨率、交叉视角。
2019-09-05 cs.CV
Robust Cross-View Gait Recognition with Evidence: A Discriminant Gait GAN (DiGGAN) Approach
Newcastle University(纽卡斯尔大学);University of Cambridge(剑桥大学);Durham University(杜伦大学);Georgia Institute of Technology(佐治亚理工学院)
步态作为一种生物特征,在过去几十年中,在身份识别和认证等许多安全和隐私应用中引起了人们的广泛关注。由于其作为长距离生物特征的性质,步态可以很容易地收集,并用于通过闭路电视摄像头非侵入性地识别个人。然而,这是非常困难的,以开发强大的自动步态识别系统,因为步态可能会受到许多协变量因素,如服装,步行速度,摄像机视角等,其中,大的视角变化已被视为最具挑战性的因素,因为它可以改变整体步态外观显着。现有的步态识别工作远远不足以提供令人满意的性能,因为这样的视图变化。此外,很少有工作考虑证据-可证明的信息揭示决策的可靠性,这被认为是基于机器学习的识别/认证应用程序中的重要需求。为了解决这些问题,在本文中,我们提出了一个判别式步态生成对抗网络,即DiGGAN,它可以有效地提取视图不变的跨视图步态识别功能,更重要的是,转移步态图像到不同的视图-作为证据,并显示如何作出的决定。在两个最流行的跨视图步态数据集OU-MVLP和CASIA-B上进行了定量实验,其中所提出的DiGGAN优于最先进的方法。定性分析也已提供,并证明了建议的DiGGAN的能力,提供证据。
2020-09-17 cs.CV
GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition
步态作为一种可远距离识别的生物特征,在预防犯罪、司法鉴定和社会安全等方面有着广泛的应用。为了描述步态,现有的步态识别方法要么使用步态模板,其中时间信息很难保存,要么使用步态序列,这必须保留不必要的序列约束,从而失去了步态识别的灵活性。在本文中,我们提出了一个新的观点,步态被视为一组独立的框架组成。我们提出了一个名为GaitSet的新网络来从集合中学习身份信息。该方法基于集合视角,不受帧间置换的影响,能够自然地融合不同场景下拍摄的视频帧,如不同视角、不同着装/携带条件等。实验表明,在正常行走条件下,我们的单模型方法在CASIA-B步态数据集上的平均rank-1准确率为95.0%,在OU-MVLP步态数据集上的准确率为87.1%。这些结果代表了新的最先进的识别精度。在各种复杂的情况下,我们的模型表现出显着的鲁棒性。在CASIA-B上,该算法在背包和穿外套行走条件下的识别准确率分别为87.2%和70.4%。这些方法远远优于现有的最佳方法。所提出的方法还可以在测试样本中使用少量帧来实现令人满意的精度,例如,在仅7帧的CASIA-B上为82.5%。源代码已在https://github.com/AbnerHqC/GaitSet上发布。
2018-12-12 cs.CV
Gait Recognition in the Wild with Dense 3D Representations and A Benchmark
Hangzhou Dianzi University(杭州电子科技大学);Explore Academy of JD.com(京东探索研究院)
现有的步态识别研究主要是由2D表示,如轮廓或骨架的人体在受限的场景。然而,人类生活和行走在不受约束的3D空间中,因此将3D人体投影到2D平面上将丢弃用于步态识别的许多关键信息,如视点、形状和动力学。因此,本文旨在探索密集的三维表示在野外步态识别,这是一个实际的,但被忽视的问题。特别是,我们提出了一种新的框架,探索三维皮肤多人线性(SMPL)模型的人体步态识别,命名为SMPLGait。我们的框架有两个精心设计的分支,其中一个从轮廓提取外观特征,另一个从3D SMPL模型学习3D视点和形状的知识。此外,由于缺乏合适的数据集,我们建立了第一个大规模的基于三维表示的步态识别数据集,命名为Gait 3D。它包含了4,000个主题和超过25,000个序列,从39个相机中提取的一个不受约束的室内场景。更重要的是,它提供了从视频帧中恢复的3D SMPL模型,可以提供密集的3D身体形状,视点和动态信息。基于Gait 3D,我们全面比较了我们的方法与现有的步态识别方法,这反映了我们的框架的优越性能和3D表示在野外步态识别的潜力。代码和数据集可在https://gait3d.github.io上获得。
2022-04-06 cs.CV
GaitMM: Multi-Granularity Motion Sequence Learning for Gait Recognition
Hebei Agricultural University(河北农业大学)
提出多粒度运动表示网络GaitMM,通过结合全身与细粒度序列学习模块FFSL和逐帧压缩策略MSMA解决步态序列数据冗余问题,在CASIA-B和OUMVLP数据集上达到SOTA性能。
2023-06-24 cs.CV
Towards Human Body-Part Learning for Model-Free Gait Recognition
Normandie Univ(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(鲁昂信息处理科学实验室)
基于步态的生物识别旨在通过人们走路的方式或方式来区分他们。它代表了一种远距离的生物特征,与其他生物特征模式相比具有许多优势。最先进的方法需要个人的有限合作。因此,与其他模式相反,步态是一种非侵入性方法。步态作为一种行为分析,是很难回避的。此外,步态可以在主体没有意识到的情况下进行,因此,试图篡改自己的生物特征签名更加困难。在本文中,我们回顾了不同的特征和方法用于步态识别。提出了一种新的方法,能够学习有区别的人体部位,以提高识别精度。将在CASIA步态基准数据库上进行广泛的实验,并将结果与最先进的方法进行比较。
2019-04-02 cs.CV
Mind the Gap: Bridging Occlusion in Gait Recognition via Residual Gap Correction
Johns Hopkins University(约翰斯·霍普金斯大学)
针对步态识别中遮挡数据难配对且完整输入性能下降的问题,本文提出 RG-Gait,通过学习遮挡步态相对完整表示的残差并自适应融合,在多个数据集上提升遮挡识别且保持完整输入准确率。
2025-07-21 cs.CV
On Model and Data Scaling for Skeleton-based Self-Supervised Gait Recognition
University Politehnica of Bucharest(布加勒斯特理工大学);Faculty of Automatic Control and Computer Science(自动控制与计算机科学学院)
本文首次对基于骨架的自监督步态识别进行规模化实证研究,通过在270万行走序列上预训练GaitPT变体并评估四个基准数据集,揭示了数据、模型规模和计算量的幂律规模化定律,为实际步态识别系统的资源分配与性能估计提供指导。
2025-04-10 cs.CV
OpenGait: Revisiting Gait Recognition Toward Better Practicality
Southern University of Science and Technology(南方科技大学);Research Institute of Trustworthy Autonomous System, Southern University of Science and Technology(南方科技大学可信自主系统研究院);The University of Hong Kong(香港大学);Beijing Normal University(北京师范大学)
步态识别是最关键的长距离身份识别技术之一,在研究和工业界越来越受欢迎。尽管在室内数据集方面取得了重大进展,但许多证据表明步态识别技术在野外表现不佳。更重要的是,我们还发现,从室内数据集得出的一些结论不能推广到实际应用。因此,本文的主要目标是提出一个全面的基准研究,以获得更好的实用性,而不仅仅是一个特定的模型,以获得更好的性能。为此,我们首先开发了一个灵活高效的步态识别代码库OpenGait。基于OpenGait,我们通过重新进行消融实验,深入回顾了步态识别的最新发展。令人鼓舞的是,我们发现了某些先前工作的一些不完美的部分,以及新的见解。受这些发现的启发,我们开发了一个结构简单,经验强大,实际上强大的基线模型,GaitBase。在实验中,我们在多个公共数据集上全面比较了GaitBase与当前许多步态识别方法,结果表明,GaitBase在大多数情况下,无论室内还是室外情况下,都具有显着的强大性能。代码可在https://github.com/ShiqiYu/OpenGait上获得。
2023-03-22 cs.CV
Relative distance features for gait recognition with Kinect
National Laboratory for Parallel and Distributed Processing, National University of Defense Technology(国防科技大学并行与分布处理国家重点实验室);College of Computer, National University of Defense Technology(国防科技大学计算机学院)
步态和静态人体测量是被动人体识别的重要生物特征技术。许多以前的工作认为,完全基于步态特征的识别性能是有限的。业绩有限的原因尚不清楚。研究表明,通过一种新的表示方法--基于相对距离的步态特征,步态特征可以有效地区分不同的人。实验结果表明,相对距离特征的识别准确率可达85%,与人体测量特征的识别准确率相当。相对距离特征和人体测量特征的组合可以提供超过95%的准确度。结果表明,相对距离特征是非常有效的,值得在更一般的场景中进一步研究(例如,Kinect)。
2016-05-18 cs.CV
LidarGait: Benchmarking 3D Gait Recognition with Point Clouds
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学)
基于视频的步态识别在受限场景中取得了令人印象深刻的结果。然而,视觉摄像机忽略了人体的三维结构信息,这限制了步态识别的可行性,在三维野生世界。这项工作不是从图像中提取步态特征,而是从点云中探索精确的3D步态特征,并提出了一个简单而有效的3D步态识别框架,称为LidarGait。我们提出的方法将稀疏点云投影到深度图中,以学习具有3D几何信息的表示,其性能明显优于现有的逐点和基于相机的方法。由于缺乏点云数据集,我们构建了第一个基于LiDAR的大规模步态识别数据集SUSTEch 1 K,该数据集由LiDAR传感器和RGB相机收集。该数据集包含来自1,050个主题的25,239个序列,涵盖了许多变化,包括可见性,视图,遮挡,服装,携带和场景。大量的实验表明:(1)三维结构信息是步态识别的重要特征。(2)LidarGait比现有的基于点和基于轮廓的方法有显著的优势,同时它还提供稳定的交叉视图结果。(3)LiDAR传感器在户外环境下的步态识别方面优于RGB相机。源代码和数据集已在https://lidargait.github.io上提供。
2023-03-30 cs.CV
GaitRef: Gait Recognition with Refined Sequential Skeletons
University of Southern California(南加州大学)
本文提出GaitRef方法,通过结合剪影序列的时间信息精化逐帧关节骨架,在无需额外标注的情况下提升步态识别性能,并在四个公开数据集上取得最先进结果。
2023-08-08 cs.CV
Gait Recognition via Disentangled Representation Learning
Michigan State University(密歇根州立大学);Ford Research and Innovation Center(福特研究与创新中心)
步态是人体的行走模式,是最重要的生物特征识别方式之一。现有的步态识别方法大多采用轮廓或关节模型作为步态特征。这些方法在处理混杂变量(如服装、携带和视角)时识别性能下降。为了解决这个问题,我们提出了一种新的AutoEncoder框架,以显式地从RGB图像中分离姿态和外观特征,并且基于LSTM的姿态特征随时间的整合产生步态特征。此外,我们收集了一个正视步态(FVG)数据集,专注于从正视行走步态识别,这是一个具有挑战性的问题,因为它包含最少的步态线索相比,其他意见。FVG还包括其他重要的变化,例如,步行速度、携带和衣着。通过在CASIA-B、USF和FVG数据集上的大量实验,我们的方法在定量上表现出优于现有技术的性能,在定性上表现出特征解纠缠的能力,并且具有很好的计算效率。
2019-04-09 cs.CV
RealGait: Gait Recognition for Person Re-Identification
Beihang University(北京航空航天大学);Michigan State University(密歇根州立大学)
人体步态被认为是一种独特的生物特征识别,可以在一定距离内以隐蔽的方式获取。然而,在受控场景中捕获的现有公共领域步态数据集上训练的模型在应用于真实世界的无约束步态数据时会导致性能急剧下降。另一方面,视频人重新识别技术在大规模公开数据集上取得了令人满意的性能。由于服装特征的多样性,服装线索在一般情况下并不可靠。因此,实际上不清楚为什么最先进的人员重新识别方法工作得那么好。在本文中,我们构建了一个新的步态数据集提取轮廓从现有的视频人重新识别的挑战,其中包括1,404人走在一个不受约束的方式。基于此数据集,可以进行步态识别和人的重新识别之间的一致性和比较研究。鉴于我们的实验结果表明,目前的步态识别方法下收集的数据在控制的情况下设计的不适合真实的监控场景,我们提出了一种新的步态识别方法,称为RealGait。我们的研究结果表明,在真实的监控场景中通过步态识别人是可行的,潜在的步态模式可能是视频人重新认证在实践中起作用的真正原因。
2023-02-08 cs.CV
A Benchmark for Gait Recognition under Occlusion Collected by Multi-Kinect SDAS
Northwestern Polytechnical University(西北工业大学)
步态是远距离身份识别的重要生物特征之一。在实际应用中,步态识别中经常会出现遮挡现象,严重影响了步态识别的准确性。然而,目前还没有数据库支持对这一问题的深入研究,现有的步态识别方法也没有对这一问题给予足够的重视,因此本文主要研究遮挡情况下的步态识别。我们通过多个同步Azure Kinect DK传感器数据采集系统(multi-Kinect SDAS)收集了一个新的步态识别数据库,称为OG RGB+D数据库,它突破了其他步态数据库的限制,包括各种遮挡(自遮挡,主动遮挡和被动遮挡)的多模态步态数据,也可以应用于安全场合。由于Azure Kinect DK可以同时采集多模态数据来支持不同类型的步态识别算法,特别是使我们能够有效地获得以摄像机为中心的多人3D姿态,并且多视图比单视图更好地处理遮挡。特别地,OG RGB+D数据库通过融合由多Kinect收集的数据来提供准确的轮廓和优化的人体3D关节数据(OJ),这在遮挡下的人体姿势表示中更准确。我们还使用OJ数据训练一个先进的三维多人位姿估计模型,以提高其在遮挡下的位姿估计的准确性,以提高通用性。此外,由于人体姿态对遮挡的敏感性低于人体外观,我们提出了一种新的步态识别方法,基于人体双骨架模型,使用暹罗时空图卷积网络(暹罗ST-GCN)的框架。在OG RGB+D数据库和流行的CAISA-B数据库上的评估结果表明,与最先进的步态识别方法相比,该方法…
2021-07-19 cs.CV
You Can Run but not Hide: Improving Gait Recognition with Intrinsic Occlusion Type Awareness
Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对步态识别中的遮挡问题,提出一种遮挡感知方法,通过利用学习到的遮挡类型增强现有步态识别模型,并在 GREW 和 BRIAR 数据集上验证了其有效性。
2023-12-04 cs.CV
GaitEdge: Beyond Plain End-to-end Gait Recognition for Better Practicality
Southern University of Science and Technology(南方科技大学);Beijing Normal University(北京师范大学);The University of Hong Kong(香港大学)
步态是最有前途的生物特征之一,以识别个人在长距离。虽然大多数以前的方法都集中在识别轮廓上,但直接从RGB图像中提取步态特征的几种端到端方法性能更好。然而,我们证明了这些端到端方法可能不可避免地受到与步态无关的噪声的影响,即,低级纹理和彩色信息。实验上,我们设计了跨域评估来支持这一观点。在这项工作中,我们提出了一个新的端到端框架命名为GaitEdge,它可以有效地阻止步态无关的信息,并释放端到端的训练潜力。具体来说,GaitEdge合成行人分割网络的输出,然后将其馈送到后续的识别网络,其中合成轮廓由身体的可训练边缘和固定内部组成,以限制识别网络接收的信息。此外,用于对齐轮廓的GaitAlign被嵌入到GaitEdge中,而不会失去可微性。在CASIA-B和我们新构建的TTG-200上的实验结果表明,GaitEdge显著优于以前的方法,并提供了一个更实用的端到端范例。所有的源代码都可以在https://github.com/ShiqiYu/OpenGait上找到。
2022-07-18 cs.CV
Gait Recognition in Large-scale Free Environment via Single LiDAR
ShanghaiTech University(上海科技大学);The University of Hong Kong(香港大学)
本文针对单激光雷达下的大规模自由环境步态识别问题,提出层次化多表示特征交互网络HMRNet,并构建大规模无约束步态数据集FreeGait,在SUSTech1K和FreeGait上均取得最先进性能。
2024-10-01 cs.CV
Learning Rich Features for Gait Recognition by Integrating Skeletons and Silhouettes
Beihang University(北京航空航天大学);Watrix Technology Limited Co. Ltd.(银河水滴科技有限公司);Lenovo Co. Ltd.(联想有限公司)
步态识别从个体的行走序列中捕获步态模式以用于身份识别。大多数现有的步态识别方法从轮廓或骨架中学习特征,以抵抗服装,携带和其他外部因素。然而,这两种数据模式的结合并未得到充分利用。以往的多模态步态识别方法主要利用骨架数据辅助局部特征提取,忽略了骨架数据的内在区分性。本文提出了一种简单而有效的双模态融合(BiFusion)网络,该网络挖掘骨架中的判别步态模式,并与轮廓表示相结合,以学习丰富的识别特征。特别地,利用骨架中身体关节的固有层次语义,设计了用于骨架的特征提取的新颖的多尺度步态图(MSGG)网络。在CASIA-B和OUMVLP上的大量实验证明了所提出的MSGG网络在建模骨架方面的优越性和双峰融合步态识别的有效性。在CASIA-B上穿着不同衣服行走的最具挑战性的条件下,我们的方法达到了92.1%的rank-1准确率。
2022-05-05 cs.CV
GaitSTR: Gait Recognition with Sequential Two-stream Refinement
University of Southern California(南加州大学)
针对轮廓与骨架步态表征的缺陷,本文提出GaitSTR,通过图卷积自校正和轮廓引导的时间一致性跨模态校正细化双流关节与骨骼,在无需额外标注下提升公开数据集识别性能。
2024-04-02 cs.CV
Parsing is All You Need for Accurate Gait Recognition in the Wild
Hangzhou Dianzi University(杭州电子科技大学);JD Explore Academy(京东探索研究院);Lishui Institute of Hangzhou Dianzi University(杭州电子科技大学丽水研究院)
本文提出步态解析序列(GPS)和基于人体解析的ParsingGait框架,利用细粒度人体分割提高野外步态识别精度,并构建Gait3D-Parsing数据集验证其有效性。
2023-08-31 cs.CV
Watch Where You Head: A View-biased Domain Gap in Gait Recognition and Unsupervised Adaptation
OriginAI
该研究揭示步态识别UDA中由目标域视角或行走方向偏置导致的域差距,提出结合课程学习与三元组选择的GOUDA,并在多数据集和骨干网络上验证其优越性能。
2023-12-10 cs.CV
Deep Gait Recognition: A Survey
Queen’s University(女王大学);Ingenuity Labs Research Institute(才智实验室研究所)
步态识别是一种有吸引力的生物特征识别方式,其目的是根据人的行走方式来识别人。自2015年以来,深度学习通过自动学习判别表示的能力重塑了该领域的研究格局。基于深度学习的步态识别方法现在在该领域占据主导地位,并且已经促进了现实世界的应用。在本文中,我们全面概述了深度学习步态识别的突破和最新发展,并涵盖了广泛的主题,包括数据集,测试协议,最先进的解决方案,挑战和未来的研究方向。我们首先回顾了常用的步态数据集以及用于评估它们的原则。然后,我们提出了一种新的分类法,由四个独立的维度,即身体表示,时间表示,特征表示和神经架构,以帮助表征和组织在这一领域的研究景观和文献。根据我们提出的分类法,对使用深度学习的步态识别方法进行了全面的调查,并讨论了它们的性能,特点,优势和局限性。最后,我们对当前的挑战进行了讨论,并提出了一些有前途的方向,为未来的研究在步态识别调查。
2022-02-13 cs.CV
Gait Recognition via Effective Global-Local Feature Representation and Local Temporal Aggregation
Beijing Jiaotong University(北京交通大学);University of Technology Sydney(悉尼科技大学)
步态识别是生物特征识别中最重要的技术之一,在许多领域都有着广泛的应用。最近的步态识别框架通过从人类的全局外观或局部区域提取的描述符来表示每个步态帧。然而,基于全局信息的表示往往忽略了步态帧的细节,而基于局部区域的描述符不能捕捉相邻区域之间的关系,从而降低了它们的区分度。在本文中,我们提出了一种新的特征提取和融合框架,以实现步态识别的歧视性特征表示。为了实现这一目标,我们利用全局视觉信息和局部区域的细节,并开发了一个全局和局部特征提取器(GLFE)。具体来说,我们的GLFE模块由我们新设计的多个全局和局部卷积层(GLConv)组成,以原则方式集成全局和局部特征。此外,我们提出了一种新的操作,即局部时间聚合(LTA),以进一步保持空间信息,通过降低时间分辨率,以获得更高的空间分辨率。在我们的GLFE和LTA的帮助下,我们的方法显着提高了我们的视觉特征的区分度,从而提高步态识别性能。大量的实验表明,我们提出的方法优于国家的最先进的步态识别方法在两个流行的数据集。
2021-08-14 cs.CV
GaitMA: Pose-guided Multi-modal Feature Fusion for Gait Recognition
Faculty of Information Science and Engineering(信息科学与工程学院);Ocean University of China(中国海洋大学)
提出GaitMA框架,融合轮廓与骨架热图两种模态,通过共注意力对齐和互学习模块实现稳健步态识别,在Gait3D、OU-MVLP和CASIA-B上表现优越。
2024-07-20 cs.CV
The Arm-Swing Is Discriminative in Video Gait Recognition for Athlete Re-Identification
Delft University of Technology(代尔夫特理工大学)
在本文中,我们评估的跑步步态作为一个属性的视频人重新识别在长跑事件。我们表明,运行步态识别实现竞争力的性能相比,外观为基础的方法在跨相机检索任务,步态和外观特征是互补的。对于步态,由于躯干区域的模糊性,当使用二进制步态轮廓时,跑步期间的手臂摆动不太可区分。我们建议使用人类的语义解析来创建部分步态轮廓的躯干被遗漏。省略躯干可以让手臂的摆动在正面和倾斜的视角下更明显,从而提高识别结果,这暗示了手臂的摆动在某种程度上是个人的。实验表明,与使用全身轮廓相比,CampusRun上的mAP增加了3.2%,CASIA-B上的正面和背面视图的准确性增加了4.8%。
2021-06-21 cs.CV
BarbieGait: An Identity-Consistent Synthetic Human Dataset with Versatile Cloth-Changing for Gait Recognition
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);AMAP, Alibaba Group(阿里集团AMAP)
本文提出BarbieGait数据集,通过虚拟引擎模拟衣物变换以保持步态身份信息,提出GaitCLIF模型提升跨衣物步态识别性能,推动相关研究进展。
2026-04-14 cs.CV
Persistent-homology-based gait recognition
Advance Technologies Application Center (CENATAV)(先进技术应用中心);Universidad de Sevilla(塞维利亚大学)
步态识别是视频监控任务中一项重要的生物特征识别技术,因为它具有远距离使用的优势。在本文中,我们提出了一个持久的同源性为基础的方法来提取拓扑特征(所谓的{ \it拓扑步态签名})从步态序列的身体轮廓。%它已被用于在人类识别,性别分类,进行目标检测和监测人类活动的距离相同的作者的几个会议论文。本文的创新之处在于研究了拓扑步态特征在小扰动下的稳定性和步态序列中包含的步态周期数。换句话说,我们表明,拓扑步态签名是鲁棒的存在下的噪声中的身体轮廓和步态周期的数量包含在一个给定的步态序列。我们还表明,计算我们的拓扑步态签名的身体轮廓的最低的第四部分,我们避免了上半身的运动,是无关的步态的自然动态,例如携带一个包或穿一件外套。
2017-07-21 cs.CV
ST-Gait++: Leveraging spatio-temporal convolutions for gait-based emotion recognition on videos
Voxar Labs(沃克萨实验室);Centro de Informática(信息中心);Universidade Federal de Pernambuco(伯南布哥联邦大学);University of Twente(特文特大学)
提出ST-Gait++深度框架,利用时空图卷积网络分析步态进行情感识别,在E-Gait数据集上准确率较现有方法提升约5%,且收敛更快。
2024-05-22 cs.CV
Motion Gait: Gait Recognition via Motion Excitation
Hebei Key Laboratory for Electromagnetic Environmental Effects and Information Processing(河北省电磁环境效应与信息处理重点实验室);Shijiazhuang Tiedao University(石家庄铁道大学)
步态识别是一种重要的生物识别技术,可以实现远距离、非接触的身份识别。目前的步态识别方法主要是学习人体行走时的运动或外观模式,并构造相应的时空表示。然而,不同个体的运动模式有其自身的规律,简单的时空特征难以描述人体各部位的运动变化,尤其是当包含服装、携带等混杂变量时,特征的可扩展性降低。本文提出了运动激励模块(MEM)来引导时空特征聚焦于动态变化较大的人体部位,MEM学习帧间和区间间的差异信息,从而获得时间运动变化的表示,值得一提的是MEM能够适应长度不确定的帧序列,并且不添加任何额外的参数。此外,我们提出了精细特征提取器(FFE),它独立地学习人体的时空表示,根据不同的水平部分的个人。受益于MEM和FFE,我们的方法创新地结合了运动变化信息,显着提高了交叉外观条件下的模型性能。在流行的数据集CASIA-B上,我们提出的运动步态识别方法优于现有的步态识别方法。
2022-06-22 cs.CV
Exploring Deep Models for Practical Gait Recognition
Southern University of Science and Technology(南方科技大学);Beijing Normal University(北京师范大学)
本文针对真实世界步态识别效果不佳的问题,提出统一视角构建基于CNN的DeepGaitV2和基于Transformer的SwinGait深度模型,证明显式时间建模和深层结构的优越性,在多个数据集上取得显著性能提升。
2024-01-10 cs.CV
GaitStrip: Gait Recognition via Effective Strip-based Feature Representations and Multi-Level Framework
Beijing Jiaotong University(北京交通大学);National University of Singapore(新加坡国立大学);PhiGent Robotics(鉴智机器人);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Shandong Normal University(山东师范大学);University of Technology Sydney(悉尼科技大学)
许多步态识别方法首先将人体步态划分为N个部分,然后将它们组合起来建立基于部分的特征表示。它们的步态识别性能通常受到分区策略的影响,分区策略是在不同数据集中根据经验选择的。然而,我们观察到,作为零件的基本组成部分的条带对不同的分区策略是不可知的。基于这一观察,我们提出了一个基于条带的多层次步态识别网络,命名为GaitStrip,在不同层次上提取全面的步态信息。具体来说,我们的高级别分支探索步态序列的背景,我们的低级别分支专注于详细的姿势变化。我们引入了一种新的基于条带的特征提取器(SPB),通过直接以人体的每个条带为基本单元来学习基于条带的特征表示。此外,我们提出了一种新的多分支结构,称为增强卷积模块(ECM),提取不同的步态表示。ECM由时空特征提取器(ST)、帧级特征提取器(FL)和SPB组成,具有两个明显的优点:第一,每个分支关注一个特定的表示,可以用来提高网络的鲁棒性。具体而言,ST的目的是提取步态序列的时空特征,而FL用于生成每帧的特征表示。其次,通过引入结构重新参数化技术,可以在测试中减少ECM的参数。大量的实验结果表明,我们的GaitStrip在正常行走和复杂条件下都达到了最先进的性能。
2022-10-09 cs.CV
Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline
Waytous;XForwardAI;Tsinghua University(清华大学);Imperial College London(帝国理工学院);National University of Singapore(新加坡国立大学)
本文提出首个野外步态识别大规模基准GREW,并设计首个基于NAS的步态识别模型SPOSGait,在多个基准上大幅超越现有方法。
2024-01-11 cs.CV
GaitFormer: Revisiting Intrinsic Periodicity for Gait Recognition
MEGVII Technology(旷视科技);Zhejiang University(浙江大学);Fudan University(复旦大学);Behang University(北京航空航天大学)
本文提出基于内在周期性的即插即用TPA策略(含AFPE与TAM),用于步态识别,在CASIA-B、OU-MVLP和GREW数据集上取得最先进性能。
2023-07-25 cs.CV
MimicGait: A Model Agnostic approach for Occluded Gait Recognition using Correlational Knowledge Distillation
Johns Hopkins University(约翰斯·霍普金斯大学)
针对野外步态识别中的遮挡问题,提出模型无关方法MimicGait,通过多实例相关性蒸馏损失与辅助可见性估计网络捕获序列间和序列内相关性,在GREW、Gait3D和BRIAR数据集上验证了有效性。
2025-01-26 cs.CV
Learning Geometric Invariance for Gait Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Watrix Technology Limited Co. Ltd(华矩阵科技有限公司)
本文提出了一种基于几何变换的步态识别方法,通过学习反射、旋转和缩放的不变性来提升跨视角和跨服装的识别性能。
2026-01-09 cs.CV
Distillation-guided Representation Learning for Unconstrained Gait Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);City University of Hong Kong(香港城市大学)
提出GADER框架,通过双螺旋签名检测步态片段、编码视角信息并从RGB模型蒸馏表示,显著提升了无约束场景下步态识别的鲁棒性和准确率。
2024-10-13 cs.CV
GaitGS: Temporal Feature Learning in Granularity and Span Dimension for Gait Recognition
Huazhong University of Science and Technology(华中科技大学)
针对步态识别中时序信息利用不足的问题,提出 GaitGS 框架,通过 MGFE 和 MSFE 从粒度与跨度双维度聚合时序特征,并在 CASIA-B 与 OU-MVLP 上取得领先识别准确率。
2024-06-18 cs.CV
Cross-Covariate Gait Recognition: A Benchmark
Central South University(中南大学);Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
本文构建含970人、约160万序列的多视角多协变量CCGR基准,并提出ParsingGait;实验表明现有SOTA准确率不足43%,跨协变量步态识别仍具紧迫挑战。
2024-03-04 cs.CV
Pose-based Deep Gait Recognition
National Research University Higher School of Economics(国立研究型大学高等经济学院);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
人的步态或行走方式是一种生物特征,当其他生物特征(如面部或虹膜)不可见时,可以识别人。本文提出了一种新的基于姿态的卷积神经网络步态识别模型。与许多考虑运动人的全高轮廓的方法不同,我们考虑人体关节周围区域中的点的运动。为了提取运动信息,我们估计连续帧之间的光流。我们提出了一个深度卷积模型,用于计算基于姿势的步态描述符。我们比较了不同的网络架构和聚合方法,并通过实验评估了不同的身体部位,以确定哪些对步态识别最重要。此外,我们调查的泛化能力的开发算法之间的数据集转移。这些实验的结果表明,我们的方法优于国家的最先进的方法。
2018-02-08 cs.CV
GaitSnippet: Gait Recognition Beyond Unordered Sets and Ordered Sequences
School of Artificial Intelligence, Beijing Normal University(人工智能学院,北京师范大学)
GaitSnippet通过将步态视为由个性化动作组成的片段,提出了一种新的步态识别方法,利用多尺度时间上下文提升特征学习,实验表明在Gait3D和GREW数据集上取得高准确率。
2026-03-04 cs.CV
Camera-LiDAR Cross-modality Gait Recognition
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
本文提出首个相机与激光雷达跨模态步态识别框架 CL-Gait,通过双流网络、对比预训练和基于单目深度估计的伪点云生成策略缓解三维与二维模态差异,实验验证了该任务的挑战性与可行性。
2024-07-04 cs.CV
GaitSet: Cross-view Gait Recognition through Utilizing Gait as a Deep Set
Fudan University(复旦大学)
步态是一种可以远距离识别的独特生物特征,因此,它在预防犯罪、法医鉴定和社会安全方面有着广泛的应用。为了描述步态,现有的步态识别方法要么利用步态模板,这使得它很难保持时间信息,或步态序列,保持不必要的顺序约束,从而失去了步态识别的灵活性。在本文中,我们提出了一种新的观点,即利用步态作为深度集,这意味着一组步态帧由全局-局部融合深度网络集成,其灵感来自我们的左半球和右半球处理信息以学习可用于识别的信息的方式。基于这种深集视角,我们的方法不受帧排列的影响,并且可以自然地整合来自不同场景下获取的不同视频的帧,例如不同的视角,不同的衣服或不同的物品携带条件。实验表明,在正常行走条件下,我们的单模型方法在CASIA-B步态数据集上的平均rank-1准确率为96.1%,在OU-MVLP步态数据集上的准确率为87.9%。在各种复杂的场景下,我们的模型也表现出很高的鲁棒性。它实现了90.8%和70.3%的准确率CASIA-B下,背着包和穿着外套的步行条件下,分别显着优于现有的最好的方法。此外,所提出的方法保持了令人满意的准确性,即使在测试样本中只有少量的帧,例如,它达到了85.0%的CASIA-B,即使只使用7帧。源代码已在https://github.com/AbnerHqC/GaitSet上发布。
2021-02-05 cs.CV
From Indoor To Outdoor: Unsupervised Domain Adaptive Gait Recognition
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);University of South Carolina(南卡罗来纳大学)
针对现有步态识别方法难以从室内场景迁移到户外场景的问题,提出基于不确定性估计与正则化的无监督域自适应步态识别方法,构建新基准并验证方法有效,将公开基准与代码。
2022-11-21 cs.CV
GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition
The City University of New York(纽约城市大学);Wuhan University(武汉大学);Beijing Jiaotong University(北京交通大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Oulu(奥卢大学)
本文提出GaitKD框架,通过解耦决策级和边界级蒸馏提升姿态识别性能,支持异构教师-学生模型,实验显示其优于现有基线。
2026-04-29 cs.CV
Covariate conscious approach for Gait recognition based upon Zernike moment invariants
Qualcomm Incorporated(高通公司);Delhi Technological University(德里理工大学)
步态识别,即从他/她的行走模式识别个体是一个新兴的领域。虽然现有的步态识别技术在正常行走条件下表现令人满意,但其性能往往会随着服装和携带条件的变化而急剧下降。在这项工作中,我们提出了一个新的协变量认知框架来处理这种协变量的存在。我们通过从视频序列中形成一个单一的二维时空模板来描述步态运动,称为平均能量轮廓图像(AESI)。然后计算Zernike不变矩(ZMI)以筛选受协变量影响的AESI部分。在此之后,特征提取的空间分布的有向投影(SDOG)和新的平均方向像素(MDP)的方法。将获得的特征融合在一起以形成最终的赋能良好的特征集。在三个公开的数据集,即CASIA数据集B,OU-ISIR跑步机数据集B和USF Human-ID挑战数据集与最近发表的步态识别方法上的实验评估,证明了其优越的性能。
2016-11-21 cs.CV
Pyramidal Fisher Motion for Multiview Gait Recognition
IMIBIC(迈蒙尼德生物医学研究所);University of Cordoba(科尔多瓦大学)
本文的目标是通过分析步态来识别个体。而不是使用二进制轮廓作为输入数据(如在许多以前的作品中所做的),我们建议和评估使用的运动描述符的基础上密集采样的短期轨迹。我们利用国家的最先进的人检测器来定义目标人物周围的描述符的自定义空间配置。因此,获得步态运动的金字塔表示。局部运动特征(描述的Divergence-Curl-Shear描述符)提取的不同空间区域的人被组合成一个单一的高层次的步态描述符,通过使用Fisher矢量编码。所提出的方法,创造金字塔费舍尔运动,实验验证最近的“AVA多视图步态”数据集。实验结果表明,该方法在步态识别中取得了较好的效果。
2014-03-27 cs.CV
Vocabulary-Guided Gait Recognition
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
本文提出词汇引导的步态识别范式Gait-World及模型α-Gait,利用视觉-语言模型词汇知识引导步态网络学习,通过词汇关系映射器和细粒度检测器解决模态异质性,在多个数据集上验证了有效性。
2026-09-17 cs.CV