Gender Recognition in Walk Gait through 3D Motion by Quadratic Bezier Curve and Statistical Techniques
运动捕捉是记录物体或人的运动的过程。它被用于军事、娱乐、体育和医疗应用，以及计算机视觉和机器人技术的验证。在电影制作和视频游戏开发中，它指的是记录人类演员的动作，并使用这些信息在2D或3D计算机动画中制作数字角色模型。当它包括脸和手指或捕捉微妙的
2013-01-16 cs.CV
Auto-Gait: Automatic Ataxia Risk Assessment with Computer Vision on Gait Task Videos
University of Rochester（罗切斯特大学）；Houston Methodist（休斯顿卫理公会医院）；University of Rochester Medical Center（罗切斯特大学医学中心）
在本文中，我们研究了我们是否可以1）检测参与者与共济失调特异性步态特征（风险预测），和2）评估共济失调的严重程度从步态（严重程度评估）使用计算机视觉。我们创建了一个包含89名参与者、24名对照和65名被诊断为（或预先表现为）脊髓小脑共济失调（SCA）的155个视频的数据集，从位于美国8个不同州的11个医疗站点执行共济失调评估和评级量表（SARA）的步态任务。我们开发了一个计算机视觉管道来检测，跟踪和分离出的参与者从他们的周围环境和构造几个功能，从他们的身体姿势坐标捕捉步态特征，如步宽，步长，摆动，稳定性，速度等，我们的风险预测模型达到83.06%的准确率和80.23%F1得分。同样，我们的严重性评估模型达到了0.6225的平均绝对误差（MAE）得分和0.7268的皮尔逊相关系数得分。我们的模型在对训练期间未使用的网站的数据进行评估时仍然具有竞争力。此外，通过特征重要性分析，我们发现我们的模型将更宽的步数，降低的步行速度和增加的不稳定性与更大的共济失调严重程度相关联，这与先前建立的临床知识一致。我们的模型为未来在非临床环境中进行共济失调远程评估创造了可能性，这可以显着提高共济失调护理的可及性。此外，我们的基础数据集是从地理上多样化的队列中收集的，突出了其进一步提高公平性的潜力。本研究中使用的代码对公众开放，匿名身体姿势标志数据集也可应要求提供。
2022-04-15 cs.CV cs.LG
Mind the Gap: Bridging Occlusion in Gait Recognition via Residual Gap Correction
Johns Hopkins University（约翰斯·霍普金斯大学）
针对步态识别中遮挡数据难配对且完整输入性能下降的问题，本文提出 RG-Gait，通过学习遮挡步态相对完整表示的残差并自适应融合，在多个数据集上提升遮挡识别且保持完整输入准确率。
2025-07-21 cs.CV
CHD:Consecutive Horizontal Dropout for Human Gait Feature Extraction
College of Automation（自动化学院）；Harbin Engineering University（哈尔滨工程大学）；Beijing University of Technology（北京工业大学）
尽管步态识别和身份再识别的研究已经取得了很大的进展，但在一些特定的情况下，识别的准确率还不够高，例如，人们携带包或更换外套。为了缓解上述情况，本文提出了一种简单有效的用于深度学习网络中人体特征提取的CHD（ConcretiveHorizontalDropout）方法，以避免过拟合。在CHD中，我们加强了深度学习网络的鲁棒性，用于跨视图步态识别和人员重新识别。实验结果表明，在跨视角步态识别任务中，Rank-1正确率从68.0%提高到78.201%，提高了约10%;在穿外套或夹克的人的再识别任务中，Rank-1正确率从83.545%提高到91.364%，提高了约8%。此外，100%的准确性NM条件首次获得了CHD。在CASIA-B的基准上，上述精度是最先进的。
2019-10-16 cs.CV
RealGait: Gait Recognition for Person Re-Identification
Beihang University（北京航空航天大学）；Michigan State University（密歇根州立大学）
人体步态被认为是一种独特的生物特征识别，可以在一定距离内以隐蔽的方式获取。然而，在受控场景中捕获的现有公共领域步态数据集上训练的模型在应用于真实世界的无约束步态数据时会导致性能急剧下降。另一方面，视频人重新识别技术在大规模公开数据集上取得了令人满意的性能。由于服装特征的多样性，服装线索在一般情况下并不可靠。因此，实际上不清楚为什么最先进的人员重新识别方法工作得那么好。在本文中，我们构建了一个新的步态数据集提取轮廓从现有的视频人重新识别的挑战，其中包括1,404人走在一个不受约束的方式。基于此数据集，可以进行步态识别和人的重新识别之间的一致性和比较研究。鉴于我们的实验结果表明，目前的步态识别方法下收集的数据在控制的情况下设计的不适合真实的监控场景，我们提出了一种新的步态识别方法，称为RealGait。我们的研究结果表明，在真实的监控场景中通过步态识别人是可行的，潜在的步态模式可能是视频人重新认证在实践中起作用的真正原因。
2023-02-08 cs.CV
GaitFormer: Learning Gait Representations with Noisy Multi-Task Learning
University Politehnica of Bucharest（布加勒斯特理工大学）
本文提出最大步态预训练数据集 DenseGait 和基于 Transformer 的 GaitFormer 模型，通过噪声多任务学习仅从运动模式实现行人识别与外观属性识别，在 CASIA-B 和 FVG 上分别达到 92.5% 和 85.33% 的准确率。
2023-10-30 cs.CV
DIOR: Dataset for Indoor-Outdoor Reidentification -- Long Range 3D/2D Skeleton Gait Collection Pipeline, Semi-Automated Gait Keypoint Labeling and Baseline Evaluation Methods
University at Buffalo, SUNY（纽约州立大学布法罗分校）
本文提出DIOR框架，构建含14名受试者、164.9万帧RGB图像的室内外步态再识别数据集，并通过低成本混合3D视觉与学习流程实现远距离骨架半自动标注。
2023-09-21 cs.CV
MA^2: A Self-Supervised and Motion Augmenting Autoencoder for Gait-Based Automatic Disease Detection
School of Information Technology and Media, Hexi University（河西学院信息技术与媒体学院）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对步态疾病检测中标注成本高和泛化不足的问题，提出自监督运动增强自编码器MA2，通过掩码重建学习表征，在1%标注样本上达90.91%准确率，并在帕金森数据集上泛化良好。
2024-11-05 cs.CV physics.bio-ph
GaitPT: Skeletons Are All You Need For Gait Recognition
Faculty of Automatic Control and Computer Science, University Politehnica of Bucharest（布加勒斯特理工大学自动控制与计算机科学学院）
本文提出基于姿态估计骨骼的步态金字塔Transformer（GaitPT），利用分层Transformer以解剖学一致方式提取步态时空特征，在CASIA-B和GREW上取得领先性能。
2024-01-24 cs.CV cs.LG
Generalized Inter-class Loss for Gait Recognition
Watrix（银河水滴）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
步态识别是一种独特的生物特征识别技术，可以在远距离非合作地进行，在公共安全和智能交通系统中有着广泛的应用。以往的步态算法更多地关注类内方差的最小化，而忽略了约束类间方差的重要性。为此，我们提出了一个广义的类间损失，解决了样本级特征分布和类级特征分布的类间方差。而不是相等的惩罚强度对得分，建议的损失优化样本级的类间特征分布，通过动态调整成对的权重。此外，在类级分布中，广义类间损失增加了对类间特征分布均匀性的约束，这迫使特征表示近似于超球面并保持最大类间方差。此外，所提出的方法自动调整类之间的差距，使类间的特征分布更加灵活。该方法可以推广到不同的步态识别网络，并取得了显着的改善。我们在CASIA-B和OUMVLP上进行了一系列的实验，实验结果表明，提出的损耗可以显著提高性能，达到了最先进的性能。
2022-10-13 cs.CV
Multimodal feature fusion for CNN-based gait recognition: an empirical comparison
University of Malaga（马拉加大学）；University of Cordoba（科尔多瓦大学）；University of Granada（格拉纳达大学）；Department of Computer Architecture, University of Malaga, Spain（西班牙马拉加大学计算机架构系）；Department of Computing and Numerical Analysis, University of Cordoba, Spain（西班牙科尔多瓦大学计算与数值分析系）；Department of Computer Science and Artificial Intelligence, University of Granada, Spain（西班牙格拉纳达大学计算机科学与人工智能系）
基于人们行走的方式（即步态）的视频中的人识别是使用非侵入性方法的计算机视觉中的相关任务。标准和当前的方法通常从从图像中提取的受试者的二进制能量图的序列中导出步态特征，但是该过程引入了大量的非平稳噪声，因此，影响了它们的功效。相比之下，在本文中，我们专注于原始像素或从它们派生的简单函数，让高级学习技术来提取相关特征。因此，我们在两个广泛采用且具有挑战性的数据集：TUM-GAID和CASIA-B上，通过使用三种不同的模式（即灰色像素，光流通道和深度图）对不同的卷积神经网络（CNN）架构进行了比较研究。此外，我们进行了不同的早期和晚期融合方法之间的比较研究，用于结合从每种模态获得的信息。我们的实验结果表明，（i）与传统的基于轮廓的特征相比，原始像素值代表了具有竞争力的输入模态（例如GEI），因为获得了同等或更好的结果;（ii）原始像素信息与来自光流和深度图的信息的融合允许获得步态识别任务的图像分辨率比以前报告的结果小几倍的艺术结果;以及，（iii）CNN架构的选择和设计是关键点，可以在最先进的结果或较差的结果之间产生差异。
2020-02-20 cs.CV
Why Commodity WiFi Sensors Fail at Multi-Person Gait Identification: A Systematic Analysis Using ESP32
University of Cambridge（剑桥大学）
通过ESP32实验发现，多人体步态识别性能差主要源于商用WiFi的感知质量限制，而非算法选择。
2026-06-12 cs.CR cs.CV
Pose2Gait: Extracting Gait Features from Monocular Video of Individuals with Dementia
University of Toronto（多伦多大学）；KITE Research Institute, Toronto Rehabilitation Institute, University Health Network（多伦多康复研究所KITE研究所，大学健康网络）；The Hospital for Sick Children（病童医院）；Morton and Gloria Shulman Movement Disorders Clinic, Toronto Western Hospital, University Health Network（多伦多西部医院莫顿与格洛丽亚·舒尔曼运动障碍诊所，大学健康网络）；Krembil Brain Institute, University Health Network（大学健康网络克雷姆比尔脑研究所）；Center for Advancing Neurotechnological Innovation to Application（神经技术创新应用推进中心）；Centre for Mental Health, University Health Network（大学健康网络心理健康中心）
针对现有公开姿态跟踪模型未针对老年痴呆人群步态分析优化的问题，提出Pose2Gait深度模型，可从单目视频二维姿态序列预测三维时空步态特征，速度、步长与深度相机数据的斯皮尔曼系数分别达0.83、0.60，为痴呆老人步态环境监测提供新方法。
2023-08-22 cs.CV
Cross Vision-RF Gait Re-identification with Low-cost RGB-D Cameras and mmWave Radars
Southeast University（东南大学）；University of Minnesota（明尼苏达大学）；Singapore University of Technology and Design（新加坡科技设计大学）；The University of Edinburgh（爱丁堡大学）
人体识别是日常生活中许多应用的关键要求，例如个性化服务，自动监控，连续认证和流行病期间的接触者追踪等。本工作研究了跨模态人体重新识别（ReID）问题，以响应跨摄像机允许区域（例如，街道）和摄像机受限区域（例如，办公室）部署有异构传感器。通过利用新兴的低成本RGB-D相机和毫米波雷达，我们提出了首个用于跨模态多人ReID的视觉RF系统。首先，为了解决基本的模态间的差异，我们提出了一种新的签名合成算法的基础上观察到的镜面反射模型的人体。其次，引入了一种有效的跨模态深度度量学习模型来处理雷达和相机之间的不同步数据所造成的干扰。通过在室内和室外环境中的广泛实验，我们证明了我们提出的系统能够在56名志愿者中实现~92.5%的前1精度和~97.5%的前5精度。我们还表明，我们提出的系统能够鲁棒地重新识别主体，即使在传感器的视野中存在多个主体。
2022-07-16 cs.CV
Deep Convolution Network Based Emotion Analysis for Automatic Detection of Mild Cognitive Impairment in the Elderly
University of Strathclyde（思克莱德大学）；Shanghai Jiaotong University（上海交通大学）；University of Leicester（莱斯特大学）；Shanghai University（上海大学）
全世界有相当多的人患有认知障碍。认知障碍的早期检测对患者和护理人员都非常重要。然而，现有的方法有其不足之处，如在临床和神经影像学阶段所涉及的时间消耗和财务费用。已经发现，认知障碍患者表现出异常的情绪模式。在本文中，我们提出了一种新的基于深度卷积网络的系统，通过分析参与者观看设计的视频刺激时面部情绪的演变来检测认知障碍。在我们提出的系统中，一种新的面部表情识别算法开发使用层从MobileNet和支持向量机（SVM），这表明在3个数据集的满意的性能。为了验证所提出的系统在检测认知障碍，61名老年人，包括认知障碍患者和健康人作为对照组已被邀请参加实验，并建立相应的数据集。利用该数据集，该系统成功地实现了73.3%的检测准确率。
2021-11-09 cs.CV
Automatic Group Cohesiveness Detection With Multi-modal Features
University of Delaware（特拉华大学）
团队凝聚力是团队动力学和团队绩效中一个引人注目的组成部分，经常被研究。大量的网络图片可以用来开发一种有效的方法来检测群体凝聚力。本文介绍了一种自动群体凝聚力预测方法，用于第七届情感识别野外（2019年）大挑战赛中基于群体的凝聚力预测类别。任务是预测图像中一组人的凝聚力水平。为了解决这个问题，提出了一种混合网络，包括回归模型，分别训练人脸特征，骨架特征和场景特征。预测的回归值，对应于每个功能，融合的最终内聚强度。实验结果表明，该混合网络是有效的，并取得了可喜的进展。测试集的均方误差（MSE）为0.444，优于基线MSE 0.5。
2019-10-02 cs.CV
Two Deep Learning Solutions for Automatic Blurring of Faces in Videos
École des Ponts, ParisTech（巴黎理工学院）；Universitat de les Illes Balears（巴利阿里群岛大学）
本文针对公共视频中的人脸隐私保护问题，提出了两种深度学习解决方案：基于YOLO架构检测人脸后模糊的直接方法，以及训练类Unet分割网络输出模糊图像的间接方法。
2024-09-23 cs.CV
Automatic Social Distance Estimation From Images: Performance Evaluation, Test Benchmark, and Algorithm
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）；Finnish Environment Institute（芬兰环境研究所）
COVID-19病毒自二零二零年三月起引发全球大流行。世界卫生组织（世卫组织）已就如何减少病毒传播提供了指导方针，其中一项最重要的措施是保持社交距离。强烈建议与其他人保持至少一米的距离，以减少感染的风险。这引起了人们对监测社会距离的强烈兴趣，无论是作为一种安全措施，还是研究这些措施如何影响人类行为和国家差异。社会距离自动估计算法的需求是显而易见的，但没有合适的测试基准，这样的算法。使用不同的相机设置收集所有人之间测量的地面真实成对距离的图像是很麻烦的。此外，社交距离估计算法的性能评估并不简单，并且没有广泛接受的评估协议。在本文中，我们提供了一个不同的图像数据集，在不同的相机位置和焦距值下测量成对的社会距离。我们提出了一个性能评估协议，并提供了一个基准，很容易评估社会距离估计算法。我们还提出了一种自动社会距离估计的方法。我们的方法利用目标检测和人体姿态估计。它可以应用于任何单一的图像，只要焦距和传感器的尺寸信息是已知的。在我们的基准测试中，结果令人鼓舞，人类检测率为92%，检测到的人之间的距离估计平均误差仅为28.9%。
2021-06-18 cs.CV cs.LG
CCBlock: An Effective Use of Deep Learning for Automatic Diagnosis of COVID-19 Using X-Ray Images
Ferdowsi University of Mashhad（马什哈德费尔多西大学）；University of Kufa（库法大学）
倡议：COVID-19大流行给一个又一个国家带来麻烦，严重影响了世界人口的健康和福祉。由于每天新增病例数量不断增加，病毒迅速传播，以及PCR分析结果延迟，该疾病可能继续更广泛地持续存在。因此，有必要考虑开发检测和诊断COVID-19的辅助方法，以消除新型冠状病毒在人群中的传播。基于卷积神经网络（CNN）的自动检测系统已经显示出通过放射摄影诊断COVID-19患者的有希望的结果;因此，它们被引入作为COVID-19诊断的可行解决方案。材料与方法：基于卷积COVID块（CCBlock）对经典视觉几何组（VGG）网络的增强，本研究提出了一种高效的筛查模型，用于通过X射线摄影诊断和区分COVID-19患者与肺炎患者和健康人群。模型测试数据集包括公共平台上提供的1，828张X射线图像。310张图像显示确诊的COVID-19病例，864张图像显示肺炎病例，654张图像显示健康人。结果如下：根据测试结果，用射线照相增强经典VGG网络提供了最高的诊断性能，两类的总准确率为98.52%，三类的准确率为95.34%。结论：根据结果，使用增强的VGG深度神经网络可以帮助放射科医生通过放射摄影自动诊断COVID-19。
2020-09-21 cs.CV eess.IV
Who's Waldo? Linking People Across Text and Images
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）
我们提出了一个以人为中心的视觉基础的任务和基准数据集，标题中命名的人和图像中描绘的人之间的联系问题。与之前主要基于对象的视觉基础工作相比，我们的新任务掩盖了标题中的人名，以鼓励在这种图像-标题对上训练的方法专注于上下文线索（例如多个人之间的丰富交互），而不是学习名字和外观之间的关联。为了方便这项任务，我们引入了一个新的数据集，谁的沃尔多，自动挖掘维基共享资源上的图像标题数据。我们提出了一种基于transformer的方法，在这项任务上优于几个强大的基线，并将我们的数据发布给研究社区，以促进考虑视觉和语言的上下文模型的工作。
2021-08-17 cs.CL cs.CV cs.LG
Automatic Reminiscence Therapy for Dementia
Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；Consorci Sanitari de Terrassa（特拉萨医疗联盟）；Universitat de Barcelona（巴塞罗那大学）
随着人们的寿命比以往任何时候都长，老年痴呆症等痴呆症的病例数量稳步增加。它影响到全世界4 600多万人，估计到2050年将有1亿多人受到影响。虽然没有有效的治疗方法来治疗这些晚期疾病，但建议使用回忆等疗法来刺激对过去的记忆。目前，回忆疗法在护理院进行，并由治疗师或护理人员指导。在这项工作中，我们提出了一个基于人工智能的解决方案，以自动化的回忆疗法，其中包括一个对话系统，使用照片作为输入来生成问题。我们对诊断为轻度认知障碍的患者进行了一项可用性案例研究，表明他们发现该系统非常有趣和具有挑战性。总的来说，本文介绍了如何通过使用机器学习自动化回忆疗法，并将其部署到智能手机和笔记本电脑上，使每一个受痴呆症影响的人更容易获得这种疗法。
2021-01-19 cs.CL cs.CV cs.MM
Continual Person Identification using Footstep-Induced Floor Vibrations on Heterogeneous Floor Structures
Stanford University（斯坦福大学）
针对脚步振动识别受结构异质和步态差异影响准确率低的问题，提出可变性量化分解与特征变换方法，实现了异质楼板下90%准确率的持续人员识别。
2025-02-21 cs.CV eess.SP physics.app-ph
