High Five: Improving Gesture Recognition by Embracing Uncertainty
The Pennsylvania State University（宾夕法尼亚州立大学）；Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
移动设备上的传感器-加速计、陀螺仪、压力计和GPS-在手势识别、游戏和健身跟踪方面有着新的应用。然而，对它们进行编程仍然具有挑战性，因为传感器捕获的人类手势是嘈杂的。本文阐述了噪声手势降低训练和分类精度的手势识别在国家的最先进的确定性隐马尔可夫模型（HMM）。我们引入了一种新的统计量化方法，通过（1）在训练过程中，为手势序列生成特定于手势的码本、Hacker和错误模型;以及（2）在分类过程中，利用错误模型来探索多个可行的HMM状态序列来缓解这些问题。我们在Uncertain中实现了分类<t>，Uncertain是一个概率编程系统，它封装了障碍和错误模型，然后在运行时自动进行采样和推理。不确定<T>的开发人员直接表达了在手势识别时，而不是在训练时，在召回和精度之间的应用程序特定的权衡选择。我们展示了在可配置性，精度，召回率和识别两个数据集的25个手势，从28人和4200个手势。在建模中更准确地消除手势错误将20个手势的平均识别率从先前工作的34%提高到62%。在分类过程中对错误模型进行简化，进一步将平均手势识别率提高到71%。据我们所知，没有先前的工作表明如何在训练期间生成HMM错误模型并使用它来提高分类率。
2017-10-25 cs.CV
Spectral Collaborative Representation based Classification for Hand Gestures recognition on Electromyography Signals
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在这项研究中，我们介绍了一种新的变体和应用程序的合作表示为基础的分类在频谱域识别的手势使用的原始表面肌电信号。通过循环矩阵来解释光谱特征的直观使用。所提出的光谱协作表示为基础的分类（SCRC）是能够识别手势具有较高的准确度，一个相当丰富的手势集。在四组实验中，每种手势的识别率最低，为97.3%，是文献中最好的识别率。识别结果报告了大量的实验和标记计算。
2015-06-26 cs.CV
Real-Time Human-Computer Interaction Based on Face and Hand Gesture Recognition
Shahid Rajaee Teacher Training University（沙希德·拉贾伊师范大学）；University of Mohaghegh Ardabili（莫哈格赫·阿尔达比勒大学）；Blaise Pascal University（布莱斯·帕斯卡大学）
目前，手势识别系统可以作为一种更有希望和实用的人机交互方法。自动手势识别系统为我们与虚拟环境的交互提供了一种新的策略。本文提出了一种能够控制计算机媒体播放器的人脸和手势识别系统。手势和人脸是与智能系统交互的关键要素。我们使用的观众验证和手势识别机制的计算机媒体播放器中的人脸识别方案，例如，音量下降/上升，下一个音乐等。在所提出的技术，首先，手势和人脸位置提取的皮肤和级联检测器的组合从主图像，然后被发送到识别阶段。在识别阶段，首先检查阈值条件，然后识别提取的人脸和手势。在结果阶段，将所提出的方法应用于视频数据集，获得了较高的准确率。在静态的美国手语（ASL）数据库上进行了手势识别实验，正确率达到99.40%。所设计的方法也可用于基于手势的计算机游戏和虚拟现实。
2014-08-07 cs.CV
HaGRIDv2: 1M Images for Static and Dynamic Hand Gesture Recognition
SberDevices Russia（俄罗斯SberDevices公司）
本文发布手势识别数据集HaGRIDv2，新增15种静态与动态手势并优化“无手势”样本，使误报降低6倍，提升模型预训练、泛化及扩散生成手势质量。
2024-12-02 cs.CV
A Real-time Hand Gesture Recognition and Human-Computer Interaction System
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本项目中，我们设计了一个基于手势的实时的【形】人机交互系统。整个系统由手部检测、手势识别和基于识别的人机交互三部分组成，在手势识别准确率较高的情况下，实现了对鼠标和键盘事件的鲁棒控制。具体来说，我们使用卷积神经网络（CNN）来识别手势，并使其能够实现识别相对复杂的手势，只使用一个便宜的单目相机。我们引入了卡尔曼滤波器来估计手的位置，在此基础上实现了鼠标光标控制在一个稳定和平滑的方式。在人机交互阶段，我们开发了一个简单的策略，以避免由噪声引起的错误识别-主要是短暂的，错误的手势，从而提高交互的可靠性。所开发的系统具有高度的可扩展性，可以用于具有更复杂命令格式的人机交互场景，而不仅仅是鼠标和键盘事件。
2017-04-24 cs.CV
Multi-Task and Multi-Modal Learning for RGB Dynamic Gesture Recognition
手势识别由于在人机交互中的各种应用可能性而变得越来越流行。现有的多模态手势识别系统采用多模态数据作为输入以提高准确性，但此类方法需要更多的模态传感器，这将极大地限制其应用场景。因此，我们提出了一个端到端的多任务学习框架，在训练二维卷积神经网络。该框架可以使用深度模态来提高训练过程中的准确性，并通过在推理过程中仅使用RGB模态来节省成本。我们的框架被训练来学习多任务学习的表示：手势分割和手势识别。深度模态包含手势位置的先验信息。因此，它可以用来作为监督手势分割。设计了一个即插即用的多尺度解码器模块来实现手势分割，该模块包含两个子解码器。它分别用于较低阶段和较高阶段，可以帮助网络关注关键目标区域，忽略无关信息，提取更多的判别特征。此外，MSD模块和深度模态仅用于训练阶段以提高手势识别性能。在推理过程中只需要RGB模态和网络，而不需要MSD。在三个公开的手势识别数据集上的实验结果表明，与现有的手势识别框架相比，我们提出的方法提供了优越的性能。此外，在其他基于2D CNN的框架中使用所提出的即插即用MSD也获得了出色的准确性提高。
2021-10-29 cs.CV
Study and Survey on Gesture Recognition Systems
Pune Institute of Computer Technology（浦那计算机技术学院）
本文综述了手势识别系统在游戏、医疗、家电、工业机器人和虚拟现实等领域的应用，比较了手势捕捉方法与数据采集技术，并回顾了手语识别方法及常见挑战。
2023-12-01 cs.CV
Surgical Gesture Recognition with Optical Flow only
University of Rennes 1（雷恩第一大学）；Inserm（法国国家健康与医学研究院）
在本文中，我们解决了开放的研究问题，手术手势识别仅使用视频数据的运动线索。我们采用了最初由Simonyan等人提出的光流ConvNets。虽然Simonyan同时使用RGB帧和密集光流，但我们仅使用密集光流表示作为输入，以强调运动在手术手势识别中的作用，并将其作为运动学数据的鲁棒替代方案。我们还克服了光流ConvNets的局限性之一，通过跨模态预训练初始化我们的模型。大量有前途的研究，解决手术手势识别高度依赖于运动学数据，需要额外的记录设备。据我们所知，这是第一篇论文，解决手术手势识别使用密集的光流信息。我们在JIGSAWS数据集上取得了有竞争力的结果，此外，我们的模型以更小的标准差取得了更鲁棒的结果，这表明光流信息可以作为运动学数据的替代品用于手术手势的识别。
2020-05-15 cs.CV
EmotionGesture: Audio-Driven Diverse Emotional Co-Speech 3D Gesture Generation
The Hong Kong University of Science and Technology（香港科技大学）；The University of Queensland（昆士兰大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
本文提出EmotionGesture框架，通过Emotion-Beat Mining模块、Spatial-Temporal Prompter、Motion-Smooth Loss和情感条件VAE，从音频生成生动多样的情感协同语音3D手势，优于现有方法。
2024-01-03 cs.AI cs.CV cs.MM
Micro-gesture Online Recognition using Learnable Query Points
School of Computer Science and Information Engineering（计算机与信息工程学院）；School of Artificial Intelligence（人工智能学院）；Hefei University of Technology (HFUT)（合肥工业大学）；Key Laboratory of Knowledge Engineering with Big Data (HFUT), Ministry of Education（大数据知识工程教育部重点实验室）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Zhejiang University（浙江大学）；Anhui Zhonghuitong Technology Co., Ltd.（安徽中汇通科技有限公司）
本文提出HFUT-VUT团队在IJCAI 2024 MiGA挑战赛微手势在线识别赛道中排名第二的解决方案，利用可学习查询点实现微手势类别识别与起止时间定位。
2024-07-05 cs.CV
DriverMHG: A Multi-Modal Dataset for Dynamic Recognition of Driver Micro Hand Gestures and a Real-Time Recognition Framework
TU Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；University of Tuebingen（图宾根大学）；Intel Labs Europe（英特尔欧洲实验室）；Intel Deutschland GmbH（英特尔德国有限公司）
手势的使用为人机交互（HCI）系统的笨重接口设备提供了自然的替代方案。然而，从视频流中实时的【形】动态微手势的识别对于车载场景是具有挑战性的，因为（i）手势应该自然地执行而不会分散驾驶员的注意力，（ii）微手势在空间受限区域处发生在非常短的时间间隔内，（iii）所执行的手势应该仅被识别一次，及（iv）整个架构应设计为轻量型，因为其将部署到嵌入式系统。在这项工作中，我们提出了一个HCI系统的动态识别驾驶员的微手势，这可能会产生至关重要的影响，特别是在汽车行业的安全相关的问题。为此，我们最初收集了一个名为Driver Micro Hand Gestures（DriverMHG）的数据集，该数据集由RGB、深度和红外模态组成。微手势的动态识别的挑战已经解决了提出一个轻量级的卷积神经网络（CNN）的基础架构，有效地运行在网上与滑动窗口的方法。对于CNN模型，应用了几种三维资源有效网络，并分析了它们的性能。手势的在线识别已与3D-MobileNetV 2，它提供了最好的离线准确性之间的应用网络具有类似的计算复杂性。最终的架构部署在驾驶员模拟器上，实时的【形】操作。我们公开了DriverMHG数据集和我们的源代码。
2021-10-19 cs.CV
Head Gesture Recognition using Optical Flow based Classification with Reinforcement of GMM based Background Subtraction
Don Bosco University（顿博斯科大学）
描述了一种实时的头部姿态识别系统的技术。该方法包括高斯混合模型（GMM）伴随着光流算法，它提供了我们所需的信息，头部运动。所提出的模型可以在各种控制系统中实现。我们还介绍了这两种方法的结果和实施。
2013-08-05 cs.CV
Large-scale Continuous Gesture Recognition Using Convolutional Neural Networks
University of Wollongong（伍伦贡大学）
本文解决了使用卷积神经网络（ConvNets）从深度图序列中识别连续手势的问题。该方法首先根据运动量（QOM）从深度序列中分割出各个手势。对于每个分割的手势，构造一个将深度序列转换为一个图像的改进的深度运动图（IIMM），并将其馈送到ConvNet进行识别。IDMM有效地编码了空间和时间信息，并允许与现有的ConvNet模型进行微调，以进行分类，而无需引入数百万个参数进行学习。该方法在2016年ChaLearn Looking at People（注视人）挑战赛的大规模连续手势识别上进行了评估。其性能达到0.2655（平均Jaccard指数），并在该挑战中排名$3^{rd}$。
2016-09-12 cs.CV
Boosting Gesture Recognition with an Automatic Gesture Annotation Framework
Massachusetts Institute of Technology（麻省理工学院）；University of Cambridge（剑桥大学）；Reality Labs Research, Meta（元现实实验室研究部门）
针对手势识别标注数据成本高的问题，提出含CTC损失标注模型与半监督伪标签流程的自动标注框架，可提升标注准确率并显著增强下游模型性能。
2024-10-05 cs.CV
A Prototype-Based Generalized Zero-Shot Learning Framework for Hand Gesture Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
手势识别是人机交互中理解人类各种手势及其意图的重要手段。然而，大多数现有的工作只能识别有限的标记类的手势，并不能适应新的类别。手势识别的广义零样本学习（GSTML）的任务旨在通过利用语义表示和检测可见和不可见的类样本来解决上述问题。在本文中，我们提出了一个端到端的基于原型的手势识别框架，它由两个分支。第一个分支是基于原型的检测器，它学习手势表示并确定输入样本是否属于可见或不可见类别。第二个分支是一个zero-shot标签预测器，它将看不见的类的特征作为输入，并通过特征和语义空间之间的学习映射机制输出预测。我们进一步建立了一个手势数据集，专门针对这个GREML任务，并在这个数据集上进行了全面的实验，证明了我们提出的方法在识别可见和不可见手势方面的有效性。
2020-09-29 cs.CV
On-device Real-time Hand Gesture Recognition
Google Research（谷歌研究院）
我们提出了一个设备上的实时手势识别（HGR）系统，它检测一组预定义的静态手势从一个单一的RGB摄像头。该系统由两部分组成：手部骨骼跟踪器和手势分类器。我们使用MediaPipe Hands作为手部骨骼跟踪器的基础，提高了关键点的准确性，并在世界度量空间中添加了3D关键点的估计。我们创建了两个不同的手势分类器，一个是基于手势识别，另一个是使用神经网络（NN）。
2021-10-29 cs.CV
Interpretable Underwater Diver Gesture Recognition
Pune Institute Of Computer Technology（浦那计算机技术学院）
本文提出一种基于深度学习的水下潜水员手势识别系统，在CADDY数据集上达到98.01%准确率，并通过XAI技术提升模型可解释性。
2023-12-08 cs.CV
Gesture recognition based mouse events
Samsung Research India-Bangalore（三星研究院（印度班加罗尔））
本文介绍了鼠标指针的操纵，并利用手势识别技术执行左键单击、右单击、双击、拖动等各种鼠标操作。手势识别是一项复杂的任务，涉及到运动建模、运动分析、模式识别和机器学习等多个方面。考虑到所有的基本因素，已经创建了一个系统，该系统可以识别手指的运动和由它们形成的各种模式。颜色帽已用于手指，以将其与背景颜色（如肤色）区分开来。因此，识别手势，执行各种鼠标事件。该应用程序已被创建在MATLAB环境下与操作系统为Windows 7。
2014-01-09 cs.CV
Hand Gesture Recognition with Leap Motion
Dalian University of Technology（大连理工大学）
最近推出的深度相机（如Leap Motion Controller）使研究人员能够利用深度信息更强大地识别手势。提出了一种基于Leap运动控制器的手势识别系统。从Leap Motion跟踪数据中提取了一系列特征，将这些特征与从传感器图像中提取的HOG特征一起输入到多类SVM分类器中进行手势识别，并讨论了降维和特征加权融合。我们的研究结果表明，我们的模型是更准确的比以前的工作。
2017-11-12 cs.CV
Deep Fisher Discriminant Learning for Mobile Hand Gesture Recognition
Beihang University（北京航空航天大学）；China University of Mining and Technology（中国矿业大学）；University of Central Florida（中佛罗里达大学）；Nortumbria Univesity（诺森比亚大学）
手势识别是生物特征识别领域的一个具有挑战性的问题。本文将Fisher准则引入到双向长短期记忆（BLSTM）网络和双向门控递归单元（BGRU）中，得到了两个新的深度模型F-BLSTM和F-BGRU。两种Fisher判别式深度模型都可以基于分析人类手势的加速度和角速度数据来有效地对手势进行分类。此外，我们收集了一个大型的移动手势数据库（MGD）的基础上的加速度和角速度包含5547序列的12个手势。进行了大量的实验，以验证所提出的网络相比，最先进的BLSTM和BGRU的MGD数据库和两个基准数据库（即BUAA移动手势和SmartWatch手势）的优越性能。
2017-07-12 cs.CV
Gesture Recognition with a Skeleton-Based Keyframe Selection Module
KAIST（韩国科学技术院）
我们提出了一个双向连续连接的双路径网络（BCCN）的高效手势识别。BCCN由两条通路组成：（i）关键帧通路和（ii）时间注意通路。关键帧路径使用基于信标的关键帧选择模块进行配置。关键帧通过该路径提取自身的空间特征，时间-注意路径提取时间语义。我们的模型提高了视频中的手势识别性能，并获得了更好的空间和时间属性的激活图。在Chalearn数据集、ETRI-Activity 3D数据集和丰田灵巧家庭数据集上进行了测试。
2021-12-03 cs.CV
Real-time Egocentric Gesture Recognition on Mobile Head Mounted Displays
Google Inc.（谷歌公司）
移动虚拟现实（VR）盔装显示器（HMD）近年来在消费者中变得流行。在这项工作中，我们展示了实时的自我为中心的手势检测和定位移动头戴式显示器。我们的主要贡献是：1）一种新颖的混合现实数据汇集工具，用于自动注释边界框和手势标签; 2）迄今为止最大的以自我为中心的手势和限界框数据集，具有超过400，000个注释帧; 3）一个神经网络，在现代移动CPU上实时的运行，并在8个类别的手势识别上实现高于76%的精度。
2017-12-13 cs.CV
Hand Gesture Recognition Library
St. Xavier’s College（圣沙勿略学院）
在本文中，我们提出了一个手势识别库。各种功能包括检测聚类计数、聚类方向、手指指向方向等。为了使用这些功能，首先需要将输入图像处理成已经开发了功能的逻辑阵列。该库的开发一直保持灵活性，因此为应用程序开发人员提供了广泛的选项来开发自定义手势。
2015-07-19 cs.CV
Multi-modal Fusion for Single-Stage Continuous Gesture Recognition
Queensland University of Technology（昆士兰科技大学）
手势识别是一个被广泛研究的领域，它在机器人和人机交互等领域有着广泛的应用。当前的手势识别方法集中于识别孤立的手势，并且现有的连续手势识别方法限于两阶段方法，其中需要独立的模型用于检测和分类，后者的性能受到检测性能的约束。相比之下，我们引入了一个单阶段连续手势识别框架，称为时间多模态融合（TMMF），可以通过单个模型检测和分类视频中的多个手势。这种方法学习手势和非手势之间的自然过渡，而不需要预处理分割步骤来检测各个手势。为了实现这一点，我们引入了一个多模态融合机制，以支持从多模态输入流的重要信息的集成，并可扩展到任何数量的模式。此外，我们提出了单模态特征映射（UFM）和多模态特征映射（MFM）模型，分别映射单模态特征和融合的多模态特征。为了进一步提高性能，我们提出了一个基于中点的损失函数，它鼓励地面实况和预测之间的平滑对齐，帮助模型学习自然的手势过渡。我们展示了我们提出的框架的实用性，它可以处理可变长度的输入视频，并在三个具有挑战性的数据集上表现优于最先进的技术：EgoGesture，IPN手和ChaLearn连续手势数据集（ConGD）。此外，烧蚀实验表明所提出的框架的不同组件的重要性。
2021-08-24 cs.CV
Computer Vision-Driven Gesture Recognition: Toward Natural and Intuitive Human-Computer
Loughborough University（拉夫堡大学）；Trine University（特莱恩大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出基于三维手部骨架模型的手势识别方法，通过构建动态与静态手势模型提升识别准确率与效率，并结合多模态技术推动自然直观的人机交互。
2024-12-24 cs.CV
Towards Open-World Gesture Recognition
Meta Reality Labs Research（Meta现实实验室）；University of Bristol（布里斯托尔大学）；University of Cambridge（剑桥大学）
该研究针对真实世界手势识别中数据分布随时间变化的问题，定义了开放世界手势识别任务，提出用设计工程方法离线分析参数、对比持续学习方法，并给出腕戴式开放世界手势识别的设计准则。
2024-10-05 cs.CV
Principal motion components for gesture recognition using a single-example
Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子研究所）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Beijing Jiaotong University（北京交通大学）
介绍了一种新的单次手势识别方法--主运动分量法。在所考虑的场景中，单个训练视频可用于待识别的每个手势，这限制了传统技术（例如，阻碍）。在PMC中，针对视频中的每对连续帧获得运动能量的2D图。与视频相关联的运动图被处理以获得PCA模型，该PCA模型用于在重建误差方法下的识别。所提出的方法的主要优点是它的简单性，易于实施，具有竞争力的性能和效率。我们报告了使用ChaLearn手势数据集进行一次性手势识别的实验结果;该基准包括超过50，000个手势，使用Kinect相机记录为RGB和深度视频。与PMC获得的结果是有竞争力的替代方法提出了相同的数据集。
2014-01-31 cs.CV
Fast and Robust Dynamic Hand Gesture Recognition via Key Frames Extraction and Feature Fusion
University of Trento（特伦托大学）；Peking University（北京大学）；Lingxi Artificial Intelligence Co., Ltd（灵汐人工智能有限公司）
手势识别是计算机视觉和模式识别领域的一个研究热点，在自然人机界面中起着至关重要的作用。虽然近年来取得了很大的进展，快速和鲁棒的手势识别仍然是一个开放的问题，因为现有的方法没有很好地平衡的性能和效率同时。为了弥补这一不足，本文结合图像熵和密度聚类，利用手势视频中的关键帧进行进一步的特征提取，提高了识别效率。此外，还提出了一种特征融合策略，进一步改善了特征表示，提高了识别性能。为了在“野生”环境中验证我们的方法，我们还引入了两个新的数据集，称为HandGesture和HandGesture 3D数据集。实验一致表明，我们的策略在西北大学，剑桥，HandGesture和3D手势数据集上取得了有竞争力的结果。我们的代码和数据集将在https://github.com/Ha0Tang/HandGestureRecognition上发布。
2019-01-15 cs.CV
Real-Time and Robust Method for Hand Gesture Recognition System Based on Cross-Correlation Coefficient
Shahid Rajaee Teacher Training University（沙希德·拉贾伊师范大学）；Shahid Bahonar University（沙希德·巴哈尔大学）；Hamedan Science and Research University（哈马丹科学与研究大学）
手势识别在虚拟现实、手语识别、计算机游戏等领域有着广泛的应用。手势的直接接口为我们提供了一种新的方式与虚拟环境进行交流。本文提出了一种新的实时的【形】手势识别方法。该方法首先通过图像分割和形态学运算从主图像中提取出手势，然后送入特征提取阶段。在特征提取阶段，采用互相关系数对手势进行识别，在识别结果部分，将该方法应用于美国手语（ASL）数据库，识别率达到98.34%。
2014-08-08 cs.CV
Understanding the hand-gestures using Convolutional Neural Networks and Generative Adversial Networks
Boston University（波士顿大学）
本文介绍了一个实时的识别字符的手势识别系统。该系统由实时手势跟踪、手势训练和基于卷积神经网络的手势识别三个模块组成。利用Camshift算法和手部斑点分析进行手部跟踪，得到运动描述符和手部区域。该算法对背景聚类具有较好的鲁棒性，并利用肤色信息进行手势跟踪和识别。此外，已经提出的技术，以提高识别的性能和准确性，使用的方法，如选择的训练图像和自适应阈值手势，以消除非手势模式，这有助于有资格的输入模式作为手势。在实验中，对包括字母和数字在内的36个手势词汇进行了测试，结果表明了该方法的有效性。
2020-11-10 cs.CV
On the Evaluation Protocol of Gesture Recognition for UAV-based Rescue Operation based on Deep Learning: A Subject-Independence Perspective
本文指出，无人机救援中手势识别的评估协议存在数据泄露问题，强调需采用受试者无关的数据划分以提高对未见个体的手势识别可靠性。
2026-02-19 cs.CV
Multi-task Learning For Joint Action and Gesture Recognition
AthenaRC（亚特兰大研究中心）
本文提出用多任务学习在单一架构中联合训练动作与手势识别，利用任务间协同作用提升视觉表示的效率、稳健性与泛化能力，实验证明其性能优于单任务学习。
2025-05-23 cs.CV
A New GNG Graph-Based Hand Gesture Recognition Approach
Shahid Beheshti University, G.C.（沙希德·贝赫什提大学）
手势识别（HGR）在人机交互（HCI）应用中具有重要意义。在本文中，我们提出了一种新的手势识别方法称为GNG-IEMD。在这种方法中，首先，我们使用生长神经气体（GNG）图来建模图像。然后我们从这个图中提取特征。这些特征不是基于几何或像素的，因此不依赖于缩放、旋转和清晰度。手势之间的相异性是用一种新的改进的地球移动器\textquotesingle的距离（IEMD）度量来测量的。我们评估了所提出的方法在具有挑战性的公共数据集上的性能，包括NTU Hand Digits，HKU，HKU multi-angle和UESTC-ASL，并将结果与最先进的方法进行比较。实验结果证明了所提出的方法的性能。
2019-09-08 cs.CV
Motion Feature Augmented Recurrent Neural Network for Skeleton-based Dynamic Hand Gesture Recognition
Tsinghua University（清华大学）
动态手势识别由于其在人机交互中的重要性而受到越来越多的关注。在本文中，我们提出了一个新的运动特征增强的循环神经网络的基于神经网络的动态手势识别。提取手指运动特征描述手指运动，利用全局运动特征描述手部骨骼的全局运动。然后将这些运动特征与骨架序列一起输入到双向循环神经网络（RNN）中，这可以增强RNN的运动特征并提高分类性能。实验表明，我们提出的方法是有效的，优于开始的最先进的方法。
2017-08-10 cs.CV
Feasibility of Principal Component Analysis in hand gesture recognition system
Mody University of Science and Technology（莫迪科技大学）
如今，人们越来越多地以电子方式处理行动，而不是物理交互。从较早的时候，生物识别技术被用于一个人的身份验证。它通过使用与之相关的人类特征（如眼睛）（通过计算眼睛之间的距离）和使用手势，指纹检测，面部检测等来识别人。这些是人类的独特特征，它们被广泛用于使人类生活更简单。手势识别系统是支持用户与计算机进行高效交互的有力工具。手势识别研究的主要目的是创建一个系统，可以识别特定的手势，并使用它们来传达有用的信息，设备控制。本文对主成分分析在手势识别系统中的可行性进行了实验研究。PCA是一种强大的数据分析工具。PCA的主要目标是降维。从Sheffield KInect Gesture（SKIG）数据集中提取帧。实现是通过创建一个训练集，然后训练识别器。它通过对训练集中图像的特征值和特征向量进行处理，使用特征空间。采用带阈值的欧氏距离作为相似性度量来识别手势。实验结果表明，PCA用于手势识别系统是可行的。
2017-02-23 cs.CV
CNN+RNN Depth and Skeleton based Dynamic Hand Gesture Recognition
University of Calgary（卡尔加里大学）
人类活动和手势识别是快速增长的环境智能领域的重要组成部分，特别是在辅助生活和灵巧家庭中。在本文中，我们提出将卷积神经网络（CNN）和递归神经网络（RNN）这两种深度学习技术的力量结合起来，使用深度和骨架数据进行自动手势识别。这些类型的数据中的每一种都可以单独用于训练神经网络以识别手势。虽然RNN以前被报道在识别每个骨骼关节的运动序列时表现良好，但本研究旨在利用深度数据并应用CNN从深度图像中提取重要的空间信息。串联的CNN+RNN能够更准确地识别一系列手势。同时，研究了各种类型的融合，将骨架和深度信息结合起来，以提取时空信息。在动态手势-14/28数据集上实现了85.46%的总体准确率。
2020-07-22 cs.CV
On-device Real-time Custom Hand Gesture Recognition
Google LLC（谷歌有限责任公司）
本文提出一个用户友好的自定义手势识别框架，通过预训练单手嵌入模型微调、低代码训练部署和无代码网页前端，使用户无需深厚机器学习背景即可在几分钟内构建并部署设备端实时手势识别系统。
2023-09-19 cs.CV
Traffic Control Gesture Recognition for Autonomous Vehicles
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Universität Ulm（乌尔姆大学）
汽车司机知道如何对交通警察的手势作出反应。显然，对于自动驾驶汽车来说情况并非如此，除非它具有道路交通控制手势识别功能。在这项工作中，我们解决了现有的自动驾驶数据集的限制，为交通控制手势识别提供学习数据。我们引入了一个数据集，该数据集是基于3D人体骨架输入进行交通控制手势分类的每一个时间步。我们的数据集由来自几个演员的250个序列组成，每个序列的时间从16秒到90秒不等。为了评估我们的数据集，我们提出了八个基于深度神经网络的顺序处理模型，如递归网络，注意力机制，时间卷积网络和图卷积网络。我们对我们的数据集的所有方法进行了广泛的评估和分析，以及现实世界的定量评估。代码和数据集是公开的。
2020-07-31 cs.CV
A multimodal gesture recognition dataset for desktop human-computer interaction
Xidian University（西安电子科技大学）
针对桌面级手势识别数据集的缺失，本文构建了包含多模态和多种手部位置的GR4DHCI数据集，并提出细粒度分类模块有效提升了模型识别准确率。
2024-01-08 cs.CV
Towards Open-set Gesture Recognition via Feature Activation Enhancement and Orthogonal Prototype Learning
Shanghai Jiao Tong University（上海交通大学）；OYMotion Technologies（OYMotion科技）
针对 sEMG 手势识别中的未知类拒识问题，提出 FAEM 与 OPL，利用特征激活差异和正交投影不一致提升开集识别性能。
2023-12-05 cs.CV
Facial Gesture Recognition Using Correlation And Mahalanobis Distance
Lingaya,s Institute of Mgt & Tech.（林加亚管理与技术学院）
用面部表情的自动分析和合成来增强人机交互是最近投入了大量研究努力的目标。人脸姿态识别是自然人机界面的重要组成部分之一，它也可以用于行为科学，安全系统和临床实践。虽然人类几乎不费力或不延迟地识别面部表情，但机器的可靠表情识别仍然是一个挑战。人脸表情识别是一个具有挑战性的问题，因为不同的人表现出不同的相同的表情。本文综述了基于相关性和马氏距离的实时的识别方法，我们考虑了六种普遍的情感类别，即喜悦、愤怒、恐惧、厌恶、悲伤和惊讶。
2010-03-09 cs.CV
Egocentric Gesture Recognition for Head-Mounted AR devices
Trinity College Dublin（都柏林圣三一学院）
在AR/VR环境中与虚拟对象的自然交互有助于实现流畅的用户体验。手势是从现实世界到增强空间的自然延伸，以实现这些交互。识别自我中心手势的主要挑战是在自我视角下找到与手势和手相关的有区别的时空特征。在这项工作中，我们提出了一个数据驱动的端到端的深度学习方法来解决以自我为中心的手势识别问题，它结合了一个自我-手编码器网络，以找到自我-手的功能，和一个递归神经网络，以辨别时间区分功能。由于深度学习网络是数据密集型的，我们提出了一种新的数据增强技术，使用绿色屏幕捕获来缓解地面实况注释的问题。此外，我们还发布了一个数据集，其中包含在绿屏前以自然方式执行的10个手势用于训练，以及在没有绿屏的不同自然场景中执行的相同10个手势用于验证。我们还将我们的网络性能与使用AirGest数据集的最先进网络进行了比较
2018-08-16 cs.CV
A Gesture Recognition System for Detecting Behavioral Patterns of ADHD
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Parc Taulí Fundation（塔乌利公园基金会）
我们提出了一个手势识别的应用程序，使用动态时间规整（DTW）的扩展来识别注意缺陷多动障碍（ADHD）的行为模式。我们提出了一个扩展DTW使用一类分类器，以便能够编码的手势类别的变化，从而执行手势样本和手势类之间的对齐。我们使用Gestival或凸包的近似来对特定手势类别的手势样本集进行建模。因此，我们增加了一个理论贡献，包括类内手势变化的局部建模，经典的扭曲路径DTW。这种方法应用于临床背景下，检测一组由心理学/精神病学专家定义的ADHD行为模式，为临床医生在诊断过程中提供支持。所提出的方法进行测试的一种新的多模态数据集（RGB加深度）的ADHD儿童记录与行为模式。我们得到令人满意的结果相比，标准的国家的最先进的方法在DTW上下文中。
2014-11-05 cs.CV
Regional Attention with Architecture-Rebuilt 3D Network for RGB-D Gesture Recognition
Center for Biometrics and Security Research, NLPR, CASIA（中国科学院自动化研究所生物识别与安全研究中心）
手势识别是计算机视觉领域的一个研究热点。然而，手势识别的性能总是受到一些手势无关的因素，如背景和表演者的服装。因此，专注于手/手臂的区域是重要的手势识别。同时，一个更自适应的架构搜索网络结构也可以比像Resnet这样的块固定网络结构表现得更好，因为它更好地增加了网络不同阶段的特征多样性。在本文中，我们提出了一个区域注意与架构重建的三维网络（RAAR 3DNet）的手势识别。由于网络的前、中、后期特征的形状和表示能力不同，我们通过神经结构搜索（NAS）将固定的Inception模块替换为网络自动重建的结构。它使网络能够更自适应地在不同层捕获不同级别的特征表示。同时，我们还设计了一个可堆叠的区域注意力模块，称为动态静态注意力（DSA），它导出高斯指导热图和动态运动图，以突出手/手臂区域和运动信息，分别在空间和时间域。在最近的两个大规模RGB-D手势数据集上进行的大量实验验证了所提出方法的有效性，并显示其优于最先进的方法。我们的方法的代码可在https://github.com/zhoubenjia/RAAR3DNet上获得。
2021-03-09 cs.CV
Zero-shot Prompt-based Video Encoder for Surgical Gesture Recognition
Vanderbilt University（范德堡大学）
本文研究利用Bridge-Prompt框架对CLIP模型进行提示微调，实现手术视频手势识别，展现出在零样本场景下的强泛化能力和优于标准编码器的性能。
2024-08-21 cs.CV
Hand Gesture Recognition Based on Karhunen-Loeve Transform
Assam Don Bosco University（阿萨姆唐博斯科大学）
本文提出了一种基于K-L变换的手势识别系统。该系统包括五个步骤：皮肤过滤，手掌裁剪，边缘检测，特征提取，分类。首先，使用皮肤滤波检测手和手掌裁剪进行提取出的手掌部分的手。然后对提取的图像进行Canny边缘检测，提取手掌轮廓图像。在手掌提取之后，利用K-L变换技术提取手势特征，最后利用合适的分类器对输入手势进行识别。在我们的系统中，我们已经测试了10个不同的手势，并获得了96%的识别率。因此，我们提出了一个简单的方法来识别不同的手势。
2013-06-11 cs.CV
ChaLearn Looking at People: IsoGD and ConGD Large-scale RGB-D Gesture Recognition
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；JD Finance（京东金融）；University of Southern California（南加州大学）；Xidian University（西安电子科技大学）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Institute of Technology, University of Tartu（塔尔图大学技术学院）；Hasan Kalyoncu University（哈桑·卡尔永库大学）；Loughborough University London（拉夫堡大学伦敦校区）；ChaLearn；University Paris-Saclay（巴黎萨克雷大学）；Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
ChaLearn大规模手势识别挑战赛已经在2016年国际模式识别会议（ICPR）和2017年国际计算机视觉会议（ICCV）的两个研讨会上举办了两次，吸引了全球超过$200$团队。这项挑战有两个轨道，分别侧重于孤立和连续的手势识别。本文介绍了这两个基准数据集的创建，并分析了基于这两个数据集的大规模手势识别的进展。我们讨论了收集手势识别的大规模地面实况注释的挑战，并详细分析了基于RGB-D视频序列的大规模孤立和连续手势识别的当前最先进的方法。除了识别率和平均jaccard指数（MJI）作为我们以前的挑战中使用的评估指标，我们还引入了校正分割率（CSR）度量来评估连续手势识别的时间分割性能。此外，我们提出了一种双向长短期记忆（Bi-LSTM）基线方法，基于卷积姿态机（CPM）提取的骨架点确定视频分割点。实验表明，所提出的Bi-LSTM优于最先进的方法，具有CSR的$8.1\%$的绝对改善（从$0.8917$到$0.9639$）。
2019-07-29 cs.CV
HGR-Net: A Fusion Network for Hand Gesture Segmentation and Recognition
University of Bristol（布里斯托大学）；Shahid Beheshti University（沙希德·贝赫什提大学）
我们提出了一个两阶段的卷积神经网络（CNN）架构，用于手势的鲁棒识别，称为HGR-Net，其中第一阶段执行准确的语义分割，以确定手部区域，第二阶段识别手势。分割阶段架构基于完全卷积残差网络和空间金字塔池化的组合。虽然分割子网络是在没有深度信息的情况下训练的，但它对光照变化和复杂背景等挑战特别鲁棒。识别阶段部署了双流CNN，它通过在分类之前将它们的深度表示组合在完全连接的层中来融合来自红-绿-蓝和分割图像的信息。在公共数据集上进行的大量实验表明，我们的架构在静态手势的分割和识别方面几乎达到了最先进的性能，而训练时间、运行时间和模型大小只占一小部分。我们的方法可以以平均每帧23 ms的速度运行。
2019-12-28 cs.CV
Duodepth: Static Gesture Recognition Via Dual Depth Sensors
University of California, Berkeley（加州大学伯克利分校）
静态手势识别是用户和他们的设备之间的有效的非语言通信信道;然而，许多现代方法对用户的手相对于捕获设备的相对姿势敏感，因为手势的部分可能被遮挡。我们提出了两种方法，通过同步记录从两个深度相机的手势识别，以减轻这种遮挡问题。一种是更经典的方法，使用迭代最近点配准来精确地融合点云和用于分类的单个PointNet架构，另一种是用于分类而无需配准的双PointNet架构。在手动收集的20，100个点云数据集上，与标准单相机管道相比，融合点云方法的错误分类减少了39.2%，双PointNet减少了53.4%。
2020-06-25 cs.CV
Hand Gesture Recognition for Contactless Device Control in Operating Rooms
Isfahan University of Technology（伊斯法罕理工大学）；University of Michigan（密歇根大学）
手势是人与机器之间进行非接触式交流的重要手段之一。通过手势控制手术室中的电子设备以减少手术时间和感染的可能性，引起了极大的兴趣。在手势识别系统的实现中存在挑战。它必须满足高精度和快速响应等要求。本文介绍了一种基于深度学习方法的手势识别系统。深度学习被认为是一种精确的检测模型，但其高复杂性使其无法被制造成嵌入式系统。为了解决这个问题，我们对工作结构进行了一些改变，以实现低复杂性。因此，所提出的方法可以在一个幼稚的嵌入式系统上实现。我们的实验表明，该系统的结果在更高的准确性，同时具有较低的复杂性与现有的可比方法相比。
2016-11-13 cs.CV
BEAT: A Large-Scale Semantic and Emotional Multi-Modal Dataset for Conversational Gestures Synthesis
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）；Huawei Technologies Japan K.K.（华为技术日本株式会社）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Huawei Turkey R&D Center（华为土耳其研发中心）
由于缺乏可用的数据集、模型和标准评估指标，实现以多模态数据为条件的逼真、生动和人性化的合成会话手势仍然是一个未解决的问题。为了解决这个问题，我们构建了身体表达音频文本数据集BEAT，它具有i）76小时，高质量，多模态的数据，这些数据是从30个说话者以八种不同的情绪和四种不同的语言交谈中捕获的，ii）3200万帧级情感和语义相关性注释。我们对BEAT的统计分析表明，除了与音频、文本和说话者身份的已知相关性之外，会话手势与面部表情、情感和语义的相关性。基于这一观察，我们提出了一个基线模型，级联运动网络（CaMN），它包括上述六个模态建模的级联架构的手势合成。为了评估语义相关性，我们引入了一个度量，语义相关性手势召回（SRGR）。定性和定量实验证明了指标的有效性，地面实况数据质量和基线的最先进的性能。据我们所知，BEAT是研究人类手势的最大的运动捕捉数据集，这可能有助于许多不同的研究领域，包括可控手势合成，跨模态分析和情感手势识别。数据、代码和模型可在https://pantomatrix.github.io/BEAT/上获得。
2022-09-20 cs.CL cs.CV cs.GR
Zero-Shot Underwater Gesture Recognition
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）
本文提出一种两阶段零样本水下手势识别框架，结合Transformer与条件生成对抗网络，在CADDY数据集上优于现有零样本方法。
2024-07-19 cs.CV
Low-latency hand gesture recognition with a low resolution thermal imager
KU Leuven（鲁汶大学）；Melexis Technologies nv（迈来芯科技公司）
在驾驶汽车时使用手势接听电话或控制收音机，现在是更昂贵汽车的既定功能。高分辨率的飞行时间相机和强大的嵌入式处理器通常构成这些手势识别系统的核心。然而，这是有代价的。因此，我们研究了设计一种算法的可能性，该算法使用仅具有32x24像素的廉价低分辨率热成像相机来预测手势，该相机重量轻，足以在低成本处理器上运行。我们记录了超过1300个视频片段的新数据集用于训练和评估，并提出了一种轻量级的低延迟预测算法。我们的最佳模型实现了95.9%的分类准确率和83%的mAP检测准确率，而其处理管道的延迟仅为一帧。
2020-04-24 cs.CV
A novel shape matching descriptor for real-time hand gesture recognition
Imperial College London（伦敦帝国学院）
当前最先进的手势识别方法严重依赖于机器学习的使用。然而，在某些情况下，机器学习无法成功应用，例如在数据稀缺的情况下。这是在查询和手势数据集之间需要一对一匹配的情况，其中每个手势表示唯一的类。在无法训练学习算法的情况下，可以使用诸如特征提取之类的经典计算机视觉技术来识别对象之间的相似性。形状是从图像中提取的最重要的特征之一，然而，对于实时的【形】应用，最精确的形状匹配算法往往是计算效率低的。在这项工作中，我们提出了一种新的形状匹配方法的实时的【形】手势识别。使用我们自己收集的手势数据集和修改后的MPEG-7数据集进行了大量的实验，比较了我们的方法与其他形状匹配方法的准确性和计算复杂性。它广泛用于比较2D形状匹配算法。我们的方法优于其他方法，并提供了一个很好的组合精度和计算效率的实时的【形】应用。
2021-03-10 cs.CV
