Enabling Voice-Accompanying Hand-to-Face Gesture Recognition with Cross-Device Sensing
伴随语音执行的手势对于语音交互是必不可少的，以传达用于交互目的的补充语义，例如唤醒状态和输入模态。在本文中，我们研究了语音伴随的手到脸（VAHF）手势的语音交互。我们以手对脸的手势为目标，因为这种手势与语音密切相关，并产生重要的声学特征（例如，阻碍语音传播）。我们进行了一项用户研究，以探索VAHF手势的设计空间，其中我们首先收集候选手势，然后在不同维度（例如，接触位置和类型），输出总共8个VAHF手势，具有良好的可用性和最少的混淆。为了促进VAHF手势识别，我们提出了一种新的跨设备感测方法，该方法利用来自商品设备（耳塞，手表和戒指）的数据的异构通道（声音，超声和IMU）。我们的识别模型实现了97.3%的识别3手势和91.5%的识别8手势，除了“空”的手势，证明了高适用性。定量分析还揭示了每个传感器通道及其不同组合的识别能力。最后，我们举例说明了可行的用例及其设计原则，以证明我们的系统在各种场景中的适用性。
2023-03-18 cs.HC
Application of Artificial Intelligence in Hand Gesture Recognition with Virtual Reality: Survey and Analysis of Hand Gesture Hardware Selection
本文综述了虚拟现实中手势识别硬件（控制器与头戴显示器）的优缺点及数据集，并指出未来研究方向，如噪声过滤、轻量网络、触觉反馈和眼手数据融合。
2024-05-25 cs.HC
Static Gesture Recognition using Leap Motion
Uppsala University（乌普萨拉大学）
在这份报告中，开发了一个自动化的酒保系统，使订单在酒吧使用手势。该系统的手势识别是使用机器学习技术开发的，其中该模型被训练为使用收集的数据对手势进行分类。系统中使用的最终模型达到了95%的平均准确度。该系统在用户交互和在现实世界中使用这样的系统方面都引起了伦理问题，但它最初可以作为真正的调酒师的补充。
2017-05-16 cs.AI cs.CV cs.HC
Lightweight assistive technology: A wearable, optical-fiber gesture recognition system
该项目的目标是创建一个便宜，轻便，可穿戴的辅助设备，可以测量手或手指运动准确到足以识别一系列手势。一个最终的应用是为听力受损者提供辅助技术和手语检测。我的系统叫做LiTe（光基技术），使用嵌入腕带的光纤。手腕是带的最佳位置，因为当执行手势时，即使手腕中的肌腱的轻微移动也会影响光纤中的光传播。该原型采用光敏电阻来测量这些光传播的变化。在创建LiTe时，我考虑了各种纤维材料、光频率和物理形状，以优化肌腱运动检测，使其能够准确地与不同的手势相关联。我实现并评估了两种手势识别方法。第一种方法使用将传感器读数的移动平均值与手势传感器读数签名相结合的算法来确定当前手势。第二种方法是使用一个神经网络来识别手势。使用基于签名的方法，我能够在识别不同手势时达到99.8%的准确率。用神经网络进行识别，识别率为98.8%.这表明使用这两种方法都可以实现高精度。结果表明，这种使用基于光纤的传感器的新方法是创建手势识别系统的有希望的第一步。
2020-09-11 cs.HC
GesturePrint: Enabling User Identification for mmWave-based Gesture Recognition Systems
Zhejiang University（浙江大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出 GesturePrint，首次利用商用毫米波雷达同时实现手势识别与用户识别，通过 GesIDNet 多级特征融合在多个场景中取得高准确率。
2024-07-25 cs.CV cs.HC cs.LG
Long-Range Gesture Recognition Using Millimeter Wave Radar
基于毫米波（mmWave）的手势识别技术提供了良好的人机交互（HCI）体验。现有的工作集中在近距离手势识别，但在范围扩展方面存在不足，即，它们不能识别距离相当大的噪声运动超过一米的手势。在本文中，我们设计了一个远程手势识别模型，利用一种新的数据处理方法和定制的人工卷积神经网络（CNN）。首先将手势分解为多个反射点，提取反映手势细节的时空特征;其次，我们设计了一个CNN来学习变化的模式分别提取的特征，并输出识别结果。我们通过在商品毫米波雷达上实施来彻底评估我们提出的系统。此外，我们还提供了更广泛的评估，以证明所提出的系统是实用的，在几个现实世界的场景。
2020-02-07 cs.HC eess.SP
What makes a gesture a gesture? Neural signatures involved in gesture recognition
手势产生领域的先前工作已经假设机器可以通过连接运动轨迹中的一组有界的显著点来复制“类人”手势。这些拐点被假设也显示出认知显着性。本文的目的是使用脑电图（EEG）来验证这种说法。也就是说，本文试图找到手势（也称为占位符）在人类认知中的神经签名，这些签名有助于手势的理解，学习和重复。此外，讨论了在手势轨迹中的占位符和运动学显著点之间是否存在直接映射。这些被表示为手势轨迹中的拐点与EEG中的振荡μ节律（8-12 Hz）之间的关系。这是通过将手势观察期间的μ功率波动与针对每个手势找到的显著运动点相关联来实现的。在中央电极（运动皮层）和枕叶电极（视觉皮层）的EEG信号的峰值被用来隔离每个手势内的显著事件。我们发现，一个线性模型预测μ峰的运动拐点符合数据。分别在枕部和中央电极的拐点后380和500 ms检测到EEG功率的增加。这些结果表明，视觉和运动皮层的协调活动是敏感的手势观察过程中的运动轨迹，它是一致的建议，拐点作为占位符在手势识别。
2017-01-20 cs.HC
It's all about you: Personalized in-Vehicle Gesture Recognition with a Time-of-Flight Camera
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Saarland Informatics Campus（萨尔兰信息学园区）
针对驾驶场景手势识别数据稀缺、环境动态的挑战，提出结合飞行时间相机硬件与数据增强、个性化适配、增量学习的CNNLSTM模型适配方法，实现最高90%的识别准确率，提升车载交互的安全性与体验。
2023-10-02 cs.AI cs.CV cs.HC
AirWare: Utilizing Embedded Audio and Infrared Signals for In-Air Hand-Gesture Recognition
我们介绍AirWare，这是一种空中手势识别系统，它使用大多数电子设备中已经嵌入的扬声器和麦克风，以及嵌入式红外接近传感器。AirWare识别的手势是在触摸屏或手机上方的空中执行的。AirWare利用卷积神经网络，使用多模态音频多普勒特征和红外（IR）传感器信息对大量手势进行分类。与其他使用高频多普勒雷达或深度相机来唯一识别空中手势的系统相反，AirWare不需要任何外部传感器。在我们的分析中，我们使用公开可用的API与三星Galaxy S5音频和接近传感器进行接口，以进行数据汇集。我们发现，AirWare是不够可靠的部署交互系统时，试图分类的手势集的21个手势，平均真阳性率只有50.5%的手势。为了提高性能，我们训练AirWare根据可能的使用场景识别21个手势词汇表的子集。我们发现，AirWare可以识别三个手势集，平均真阳性率大于80%，使用4- 7手势，其中包括一个词汇表的16个独特的空中手势。
2021-01-25 cs.HC
UAV-GESTURE: A Dataset for UAV Control and Gesture Recognition
University of South Australia（南澳大学）；Defence Science and Technology Group（国防科学技术集团）
目前无人机记录的数据集主要限于动作识别和对象跟踪，而手势信号数据集主要在室内空间记录。目前，无人机指挥信号没有室外录制的公共视频数据集。通过利用UAV的视觉传感器和操作简单性，可以有效地与UAV一起使用手势信号。为了填补这一空白，使研究在更广泛的应用领域，我们提出了一个无人机姿态信号数据集记录在户外设置。我们从一般的飞机操纵和直升机操纵信号中选择了13种适用于基本无人机导航和指挥的手势。我们提供119个高清视频剪辑，由37151帧组成。使用基于姿势的卷积神经网络（P-CNN）计算的总体基线手势识别性能为91.9%。所有的帧都用身体关节和手势类进行了注释，以便将数据集的适用性扩展到更广泛的研究领域，包括手势识别，动作识别，人体姿势识别和态势感知。
2019-01-09 cs.CV cs.HC cs.LG
Real-Time Head Gesture Recognition on Head-Mounted Displays using Cascaded Hidden Markov Models
头部姿态是人与人之间面对面交流的自然手段，但是在虚拟现实的背景下头部姿态的识别以及头部姿态作为与虚拟化身和虚拟环境交互的接口的使用很少被研究。在目前的研究中，我们提出了一种方法，实时的【形】头部姿态识别的盔装显示器使用级联隐马尔可夫模型。我们进行了两个实验来评估我们提出的方法。在实验1中，我们训练了级联隐马尔可夫模型，并使用收集的头部运动数据评估了离线分类性能。在实验2中，我们通过估计延迟来识别具有记录实时的【形】分类数据的头部姿态，来表征该方法的实时的【形】性能。实验结果表明，该方法在识别头部姿态时是有效的。该方法可以集成到虚拟现实系统中作为用于与虚拟世界交互的头部姿态接口。
2018-02-02 cs.HC
GestureKeeper: Gesture Recognition for Controlling Devices in IoT Environments
本文介绍和评估GestureKeeper，一个强大的手势识别系统的基础上可穿戴惯性测量单元（IMU）。在不依赖于明确的用户动作或特殊手势标记的情况下识别手势发生的时间窗口是非常具有挑战性的任务。为了解决这个问题，GestureKeeper通过使用递归量化分析（RQA）利用相关时间序列的潜在动态来识别手势的开始。RQA是一种强有力的非线性时间序列分析方法，它可以检测系统动力学行为中的临界跃迁。最重要的是，它没有对管理数据的底层分布或模型做出任何假设。在估计手势窗口之后，采用支持向量机来识别特定手势。我们所提出的方法是通过一个小规模的试点研究在FORTH进行评估，并证明GestureKeeper可以正确地识别一个手势的开始与87\%的平均平衡准确率和正确分类的平均准确率超过96\%的特定手势。据我们所知，GestureKeeper是第一个仅基于加速度计的自动手势识别系统。性能分析揭示了预测能力的功能和系统的鲁棒性存在的加性噪声。我们还进行了敏感性分析，以检查各种参数的影响和不同分类器（SVM，随机森林）的比较分析。最重要的是，该系统可以扩展为包含大量手势字典，并且无需为新用户进行进一步校准即可操作。
2019-03-15 cs.HC
putEMG -- a surface electromyography hand gesture recognition dataset
在本文中，我们提出了一个putEMG数据集旨在评估手势识别方法的基础上sEMG信号。该数据集是为44名健全的受试者采集的，包括8个手势（3个完整的手势，4个捏和空闲）。它包括来自受试者前臂的24个sEMG通道的不间断记录、RGB视频流和用于手部运动跟踪的深度相机图像。此外，还发布了示例性处理脚本。putEMG数据集在Creative Commons Attribution-NonCommercial 4.0 International（CC BY-NC 4.0）许可下可在https://www.biolab.put.poznan.pl/putemg-dataset/获得。该数据集进行了验证sEMG振幅和手势识别性能。使用最先进的分类器和特征集进行分类。利用RMS特征的SVM分类器以及使用Hudgin和Du特征集的LDA分类器的准确率达到了90%。对特定手势的性能分析表明，LDA/Du组合对于全手势具有显著更高的准确性，而SVM/RMS对于捏手势表现得更好。所呈现的数据集可用作各种分类方法的基准、电极定位概念的评价或对用户特定特征或电极位移不变的分类方法的开发。
2019-08-22 cs.HC
GesSure- A Robust Face-Authentication enabled Dynamic Gesture Recognition GUI Application
Manipal Institute of Technology, MAHE（玛尼帕尔高等教育学院马尼帕尔理工学院）
使用鼠标和键盘等物理交互设备阻碍了自然的人机交互，并增加了流行病期间表面接触的可能性。现有的手势识别系统不具备用户身份验证功能，因此不可靠。当前手势识别技术中的静态手势引入了长的适应期并降低了用户兼容性。我们的技术非常重视用户识别和安全。我们使用有意义和相关的手势进行任务操作，从而获得更好的用户体验。本文的目的是设计一个强大的，人脸验证，启用手势识别系统，利用图形用户界面，并主要侧重于通过用户识别和授权的安全性。人脸模型使用MTCNN和FaceNet来验证用户，我们的LSTM-CNN架构用于手势识别，在五种手势下实现了95%的准确率。通过我们的研究开发的原型已经成功地执行上下文相关的任务，如保存，打印，控制视频播放器的操作和退出，和上下文无关的操作系统任务，如睡眠，关机，解锁直观。我们的应用程序和数据集是开源的。
2022-09-07 cs.CV cs.HC
Gesture Based Interaction NUI: An Overview
触摸、面部、话音识别和运动传感器都是新兴计算领域的一部分，通常被称为自然用户界面或NUI。以这些人性化的方式与技术互动不再局限于高科技特工。手势触摸、面部、话音识别和运动传感器都是新兴计算领域的一部分，通常被称为自然用户界面或NUI。以这些人性化的方式与技术互动不再局限于高科技特工。手势识别是使系统知道用户形成的手势的过程。在完全沉浸式的VR环境中，键盘通常不包括在内，技术结合了面部，语音，手势和对象识别，为用户提供各种与控制台交互的方式，而无需控制器。本文重点介绍了新兴的人机交互方式、手势识别的概念和手势类型。
2014-04-09 cs.HC
Optimizing Gesture Recognition for Seamless UI Interaction Using Convolutional Neural Networks
本文提出基于优化卷积神经网络的手势识别系统，采用Focal Loss处理类别不平衡，在AUC和召回率上优于VGG16等基准，支持实时交互，推动以手势为核心的下一代UI设计。
2024-11-23 cs.HC
Gesture Recognition in Millimeter-Wave Radar Based on Spatio-Temporal Feature Sequences
本文提出一种基于毫米波雷达和CNN-TCN时空特征序列的手势识别方法，通过信号预处理与神经网络分类实现98.2%的识别准确率，并展现出较强的鲁棒性。
2023-09-18 cs.HC
Prosody Based Co-analysis for Continuous Recognition of Coverbal Gestures
虽然语音和手势识别已经被广泛研究，但将它们结合在统一框架中的所有成功尝试都是语义上的，例如，关键词手势同现这样的公式继承了自然语言处理的复杂性。本文提出了一种贝叶斯公式，使用的手势和语音清晰度的现象，以提高自动识别的准确性，连续coverbal手势。来自语音信号的韵律特征与视觉信号进行共分析，以学习突出的口语片段与手势的特定运动学相位的共现的先验概率。发现上述共同分析有助于检测和消除视觉上小的手势的歧义，这随后提高了连续手势识别的速率。所提出的方法的有效性证明了从天气频道广播收集的大型数据库。这一提法为自下而上的多式联运框架开辟了新的途径。
2002-11-05 cs.CV cs.HC
Engineering Gesture-Based Authentication Systems
手势是身份验证中越来越感兴趣的主题，成功实现安全层需要可靠的手势识别。到目前为止，许多工作都集中在识别手势的新方法上，将关于身份验证方案中识别的可行性的讨论留在了背景中。目前还不清楚如何部署识别以实现实用和强大的真实世界身份验证。在这篇文章中，我们分析了不同的方法来识别手势的有效性和潜在的使用在安全的基于手势的身份验证系统。
2014-08-26 cs.CR cs.HC
Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation
Institute for Transport Studies（交通研究所）；University of Leeds（利兹大学）
本研究提出基于骨架姿态评估的行人手势识别框架，通过分析手部位置和运动速度提升AV对交通手势的识别准确率至87%。
2026-02-09 cs.AI cs.CV cs.ET
Towards Domain-Independent and Real-Time Gesture Recognition Using mmWave Signal
University of Science and Technology of China（中国科学技术大学）；China Nanhu Academy of Electronics and Information Technology（中国南湖电子信息技术研究院）
使用毫米波（mmWave）信号的人类手势识别提供了有吸引力的应用，包括灵巧家庭和车内接口。虽然现有的工作在受控设置下实现了有前途的性能，但由于需要密集的数据汇集，适应新领域时的额外训练工作以及实时的【形】识别性能差，实际应用仍然受到限制。在本文中，我们提出了DI-Gesture，一个领域无关的和实时的【形】毫米波手势识别系统。具体来说，我们首先推导出信号的变化对应于人类的姿态与时空处理。为了增强系统的鲁棒性并减少数据收集工作，我们基于信号模式和手势变化之间的相关性为毫米波信号设计了一个数据增强框架。此外，还采用了时空手势分割算法进行实时的【形】手势识别。大量的实验结果表明，DI手势实现了平均准确率为97.92%，99.18%，和98.76%的新用户，环境和位置，分别。我们还评估了具有挑战性的场景中的DI-手势，如实时的【形】识别和极端角度的传感，所有这些都证明了我们的系统的优越的鲁棒性和有效性。
2022-10-08 cs.CV cs.HC cs.LG
WiFE: WiFi and Vision based Intelligent Facial-Gesture Emotion Recognition
情感是人工智能（AI）和人类心理健康的重要组成部分。当前的情感识别研究主要集中在单一模态（例如，面部表情），而人类情感表达本质上是多模态的。在本文中，我们提出了一个混合情感识别系统，利用两个情感丰富和紧密耦合的模态，即，面部表情和身体姿态。然而，无偏见和细粒度的面部表情和手势识别仍然是一个主要问题。为此，与依赖接触式甚至侵入式传感器的竞争对手不同，我们探索了商品WiFi信号，以实现无设备和非接触式手势识别，同时采用基于视觉的面部表情。然而，存在两个设计挑战，即，如何提高WiFi信号的灵敏度，以及如何处理两种模式提供的大容量、异构和非同步数据。对于前者，我们提出了一种基于Rician K因子理论的信号灵敏度增强方法;对于后者，我们结合CNN和RNN来挖掘双峰数据的高层特征，并进行分数级融合以实现细粒度识别。为了评估所提出的方法，我们建立了第一个同类的视觉CSI情感数据库（VCED），并进行了广泛的实验。实验结果表明，该方法对七种情绪的识别准确率为83.24%，而仅基于手势和仅基于面部的识别准确率分别为66.48%和66.67%。VCED数据库下载链接为https://github.com/purpleleaves007/WIFE-Dataset。
2020-12-20 cs.HC
SolarGest: Ubiquitous and Battery-free Gesture Recognition using Solar Cells
我们设计了一个系统，SolarGest，它可以通过分析光电流的模式来识别太阳能设备附近的手势。SolarGest是基于这样的观察，即每个手势都以独特的方式干扰太阳能电池板上的入射光线，在收集的光电流中留下其可区分的特征。利用太阳能收集法，我们开发了一个模型，以优化设计和使用的SolarGest。为了进一步提高SolarGest在非确定性操作条件下的鲁棒性，我们在信号处理管道中将动态时间规整与Z分数变换相结合，以便在分析每个手势波形进行分类之前对其进行预处理。我们评估了SolarGest与传统的不透明太阳能电池以及新兴的透视透明电池。我们对6种不同手势的6，960个手势样本进行的实验表明，即使使用透明单元，SolarGest也可以检测到96%的手势，同时与基于光传感器的系统相比，功耗降低了44%。
2018-12-10 cs.HC
What's the point? Frame-wise Pointing Gesture Recognition with Latent-Dynamic Conditional Random Fields
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人体工程学与机器人研究所）
我们使用潜在动态条件随机场在视频序列的每个时间实例执行基于信标的指向手势分类，其中我们实现了大约83%的逐帧指向准确度。随后，我们确定任意长度的连续时间序列，形成个人的指向手势，这种方式可靠地检测指向手势的误报率为0.63%。
2015-10-20 cs.CV cs.HC cs.RO
ImmCOGNITO: Identity Obfuscation in Millimeter-Wave Radar-Based Gesture Recognition for IoT Environments
Aalto University（阿尔托大学）
ImmCOGNITO通过基于图的自编码器在毫米波雷达手势识别中实现身份混淆，减少身份信息泄露，同时保持高识别性能。
2026-02-06 cs.HC
Real-Time Control of a Virtual Orchestra by Recognition of Conducting Gestures
KTH Royal Institute of Technology（皇家理工学院）；SMASH Studios（SMASH工作室）；IVAR Studios（IVAR工作室）；Swedish e-Science Research Centre（瑞典电子科学研究中心）
本文提出一个180度穹顶剧院的博物馆装置，让参观者体验指挥交响乐团。通过识别参观者的手势，实时控制预录音乐的播放速度，采用分层LSTM网络进行手势识别，系统通过定量研究、用户研究和实地测试进行评估。
2026-04-30 cs.HC
ViMoWear: Visual Motion-Guided sEMG-IMU Representation Learning for Subject-Independent Thumb Gesture Recognition
University of Edinburgh（爱丁堡大学）
ViMoWear通过视觉运动引导的对比学习和掩蔽重建，仅用可穿戴信号实现受试者无关的拇指手势识别，提升泛化性能。
2026-09-24 cs.HC
Study of Gesture Recognition methods and augmented reality
随着技术的发展，我们人类总是需要一些与众不同的东西。手势是与机器进行通信的最理想的来源。人机交互发现它的重要性，当涉及到与人类的手势来控制计算机应用程序。通常，我们使用鼠标，键盘，激光笔等控制应用程序，但随着技术的最近出现，它甚至通过引入更有效的技术来控制应用程序而落后于它们的使用。在过去，存在许多已经使用图像处理实现的手势识别技术。然而，在嘈杂的背景下识别手势一直是一项困难的任务。在所提出的系统中，我们将使用一个这样的技术称为增强图像处理来控制媒体播放器。我们将识别手势使用我们要控制媒体播放器上的操作。当涉及到虚拟现实时，增强通常领先一步。它对背景没有任何限制。此外，它也不依赖于某些东西，如手套，颜色指针等来识别手势。该系统主要吸引那些总是寻找更好的选择，使他们与计算机的交互更简单或更容易的用户。
2014-11-19 cs.HC
A Comparative Study of EMG- and IMU-based Gesture Recognition at the Wrist and Forearm
研究基于IMU信号的手势识别潜力，通过比较不同肌肉群，发现其含足够信息用于静态手势识别，肌腱诱导微运动是主要贡献因素，该研究为多领域手势识别及假肢可用性提升提供新可能。
2026-07-08 cs.HC cs.LG
Micro Hand Gesture Recognition System Using Ultrasonic Active Sensing
本文提出基于超声波主动传感的微手势识别系统HUG，通过300kHz超声波获取距离-多普勒特征，分别采用状态转移隐马尔可夫模型（准确率近90%）和端到端神经网络（准确率96.32%）实现识别，并发布实时原型验证应用潜力。
2024-11-29 cs.HC eess.SP
Real-Time Recognition of In-Place Body Actions and Head Gestures using Only a Head-Mounted Display
身体动作和头部姿态是虚拟环境中交互的自然接口。用于就地身体动作识别的现有方法通常需要比盔装显示器（HMD）更多的硬件，使得身体动作接口难以被引入到普通虚拟现实（VR）用户，因为他们通常仅拥有HMD。此外，缺乏一个统一的解决方案来识别到位的身体动作和头部姿势。这潜在地阻碍了在虚拟环境中使用到位的身体动作和头部姿势来获得新颖的交互体验的探索。我们提出了一个统一的双流1-D卷积神经网络（CNN），用于识别身体动作时，用户执行原地行走（walking-in-place）和识别头部姿势时，用户站着不动，只戴着头戴式显示器。与以前的方法相比，我们的方法不需要专门的硬件和/或除了HMD之外的额外跟踪设备，并且可以识别比其他现有方法显著更多的身体动作和头部姿势。总的来说，十个到位的身体动作和八个头部姿态可以识别与所提出的方法，这使得该方法一个现成的身体动作接口（包括头部姿态）与虚拟环境的交互。我们通过一个虚拟的运动任务演示了一个实用程序的接口。结果表明，目前的身体动作接口是可靠的，在检测身体动作的VR运动任务，但物理要求相比，触摸控制器接口。目前的身体动作界面对于新的VR体验和应用是有希望的，特别是对于旨在锻炼的VR健身应用。
2023-02-25 cs.HC
Evaluating Gesture Recognition in Virtual Reality
Sapienza Università di Roma（罗马大学）；PaleBlue
本文旨在解决人机交互中手势识别系统的数据生成与标准化挑战，提出利用虚拟现实仿真生成数据，并定义可作为地面机器人标准的手势命令。
2024-01-09 cs.HC cs.RO
Domain Adaptation for sEMG-based Gesture Recognition with Recurrent Neural Networks
Nokia Bell Labs（诺基亚贝尔实验室）
表面肌电图（sEMG/EMG）是通过使用电极从皮肤的有限区域记录肌肉的电活动。基于表面肌电信号的手势识别对会话间和主体间的差异非常敏感。我们提出了一个模型和一个基于深度学习的领域自适应方法来近似识别精度提高的域移动。对稀疏和高密度（HD）sEMG公共数据集进行的分析验证了我们的方法优于最先进的方法。
2019-11-28 cs.HC cs.LG stat.ML
Skeleton-Based Hand Gesture Recognition by Learning SPD Matrices with Neural Networks
Normandie Univ（诺曼底大学）；ENSICAEN（卡昂国立高等工程师学院）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；GREYC（GREYC实验室）
本文提出了一种新的基于骨架数据的手势识别方法，该方法利用神经网络学习SPD矩阵。我们将手的骨架建模为一个图形，并引入一个神经网络进行SPD矩阵学习，将手关节的3D坐标作为输入。该网络基于两个新设计的层，将一组SPD矩阵转换为SPD矩阵。对于手势识别，我们训练一个线性SVM分类器使用从我们的网络中提取的特征。在具有挑战性的数据集（来自SHREC 2017 3D形状检索竞赛的动态手势数据集）上的实验结果表明，所提出的方法优于最先进的方法。
2019-05-20 cs.CV cs.HC cs.NE
WaveGlove: Transformer-based hand gesture recognition using multiple inertial sensors
Comenius University Bratislava（布拉迪斯拉发夸美纽斯大学）
近年来，基于惯性数据的手势识别（HGR）发展迅速，最先进的方法是利用单个手持传感器和由简单手势组成的词汇表。在这项工作中，我们探讨使用多个惯性传感器的好处。使用WaveGlove，一个定制的硬件原型，在一个手套的形式与五个惯性传感器，我们获得两个数据集组成的$11000$样本。为了使它们与以前的工作相媲美，它们与$9$其他公开可用的数据集一起进行了规范化，随后用于评估一系列用于手势识别的机器学习方法，包括新提出的基于transformer的架构。我们的研究结果表明，即使是复杂的手势，涉及不同的手指可以识别出高精度。对采集的数据集进行的消融研究证明了多个传感器的重要性，当使用多达三个传感器时，性能有所提高，除此之外没有显著改善。
2021-05-04 cs.HC cs.LG eess.SP
Talking With Your Hands: Scaling Hand Gestures and Recognition With CNNs
TU Munich（慕尼黑工业大学）；Infineon Technologies AG（英飞凌科技股份公司）
手势的使用为人机交互（HCI）系统的笨重接口设备提供了自然的替代方案。随着技术的进步和人机之间的通信变得更加复杂，HCI系统也应该相应地扩展，以适应引入的复杂性。在本文中，我们提出了一种方法来缩放手势，形成他们与预定义的手势音素，和卷积神经网络（CNN）为基础的框架来识别手势，只学习他们的成分的手势音素。可能的手势的总数可以通过增加所使用的手势音素的数量而指数地增加。为此，我们引入了一个新的基准数据集，命名为缩放手势数据集（SHGD），在其训练集中只有手势音素，在测试集中只有3元组手势。在我们的实验分析中，我们实现了识别手势包含一个和三个手势音素的准确率分别为98.47%（在15类）和94.69%（在810类）。我们的数据集，代码和预训练模型是公开的。
2019-08-30 cs.CV cs.HC cs.LG
Wisture: RNN-based Learning of Wireless Signals for Gesture Recognition in Unmodified Smartphones
KTH Royal Institute of Technology（瑞典皇家理工学院）；Watty AB；Purdue University（普渡大学）
本文介绍了一种新的在线机器学习解决方案，用于识别智能手机上的非接触式动态手势。它依赖于使用长短期记忆（LSTM）递归神经网络（RNN）、阈值滤波器和流量感应的标准Wi-Fi接收信号强度（RSS）。与其他基于Wi-Fi的手势识别方法不同，所提出的方法不需要修改智能电话硬件或操作系统，并且在不干扰其他智能电话应用的正常操作的情况下执行手势识别。我们讨论了机器学习的特点，并进行了大量的实验，以比较其性能与最先进的机器学习解决方案的准确性和时间效率。这些实验包括一组不同的场景，包括智能手机和Wi-Fi接入点（AP）之间的空间设置和流量。实验结果表明，该方法在三种手势的检测和分类中，在线识别准确率高达94%（平均78%）。
2017-07-28 cs.HC cs.LG cs.NI
Hand Gesture Recognition through Reflected Infrared Light Wave Signals
Oklahoma State University（俄克拉荷马州立大学）；University of Windsor（温莎大学）；Texas A&M University（得克萨斯农工大学）
本研究提出一种利用红外LED等低成本光源的反射非相干光波实现的非接触式手势识别方法，20-35cm范围内平均准确率最高达96%，可低成本应用于各类人机交互场景。
2023-06-13 cs.HC cs.LG eess.SP
Analysis of Contraction Effort Level in EMG-Based Gesture Recognition Using Hyperdimensional Computing
University of California, Berkeley（加州大学伯克利分校）；University of Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
在基于肌电图的手势识别中，肌肉收缩水平的变化是一个很大的挑战。一些用例要求分类器对不同的力变化具有鲁棒性，而其他用例则要求区分执行相同手势的不同努力水平。我们使用大脑启发的多维计算范式来构建分类模型，这些模型对这些变化都是鲁棒的，并且能够识别多个收缩水平。5名受试者在3个努力水平下执行9个手势的实验结果显示，在不同努力水平下进行训练和测试时，准确率下降了39.17%，应用我们的算法后恢复率高达30.35%。
2019-08-30 cs.HC cs.LG eess.SP
Multiscaled Multi-Head Attention-based Video Transformer Network for Hand Gesture Recognition
Indian Institute of Technology（印度理工学院）
本文提出多尺度多头注意力视频Transformer网络MsMHA-VTN，通过为各注意力头设置不同维度提取多尺度金字塔特征，并验证多模态识别效果，在NVGesture和Briareo数据集上分别达到88.22%和99.10%的准确率。
2025-01-01 cs.CV cs.HC
Long-Distance Gesture Recognition using Dynamic Neural Networks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Bosch Research North America（博世北美研究院）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出一种基于动态神经网络的长距离手势识别方法，通过选择手势区域特征提升准确性和计算效率，在LD-ConGR数据集上超越现有方法。
2023-08-09 cs.CV cs.HC cs.RO
TinyGaze: Lightweight Gaze-Gesture Recognition on Commodity Mobile Devices
University of St Andrews（圣安德鲁斯大学）；University of Essex（埃塞克斯大学）；King's College London（伦敦国王学院）
本文提出了一种轻量级的 gaze-手势识别方法，通过端到端流程和基于学习理论的指导-回忆协议，在移动设备上实现高效的手势识别与用户身份识别。
2026-03-30 cs.CV cs.HC
Force myography benchmark data for hand gesture recognition and transfer learning
Aalborg University（奥尔堡大学）
力肌描记术最近在手势识别任务中获得了越来越多的关注。然而，缺乏公开的基准数据，大多数现有的研究通常使用定制硬件和不同的手势集收集自己的数据。这限制了比较各种算法的能力，以及在不首先需要自己收集数据的情况下进行研究的可能性。我们通过使用商业上可用的传感器设置从20人收集的基准数据集，涵盖18个独特的手势，希望能够进一步比较结果，并更容易进入这一研究领域，从而为这一领域的发展做出贡献。我们举例说明了这种数据的一个用例，展示了我们如何通过利用迁移学习来合并来自多个其他人的数据来提高手势识别的准确性。这也说明该数据集可以作为基准数据集，以促进迁移学习算法的研究。
2020-07-29 cs.CV cs.HC cs.LG
Body Gesture Recognition to Control a Social Robot
Institut de Robòtica i Informàtica Industrial de Barcelona（巴塞罗那工业机器人与信息学研究所）
在这项工作中，我们提出了一个基于手势的语言，让人类与机器人使用他们的身体在一个自然的方式进行交互。我们已经创建了一个新的手势检测模型，使用神经网络和人类执行一组身体手势的自定义数据集来训练我们的网络。此外，我们将身体姿态通信与其他通信渠道进行比较，以确认将这些知识添加到机器人中的重要性。所提出的方法在不同的模拟和现实生活中的实验与未经培训的志愿者进行了广泛的验证。这取得了显着的成果，并表明它是一个有价值的框架，社会机器人应用，如人类机器人协作或人机交互。
2022-06-15 cs.CV cs.HC cs.LG
Impact of Electrode Position on Forearm Orientation Invariant Hand Gesture Recognition
本研究通过19名受试者和12种手势实验，证明前臂电极位置相比肘部位置能提升最高5.35%的前臂方向不变手势识别性能，并验证了其鲁棒性，为肌电假肢和人机交互设备优化电极布局提供了依据。
2024-09-16 cs.HC eess.SP
NFS: A Hand Gesture Recognition Based Game Using MediaPipe and PyGame
本文介绍了一种通过手势运动与人类进行交互的游戏。如今，像这样的应用程序似乎很少见，似乎有一个窗口打开这种应用程序将在不久的将来更加流行和有用。这个应用程序是基于手势移动，而不是依赖于键盘和鼠标。主要的问题是弄清楚如何利用机器学习来使这个应用程序正常工作。首先，选择两个游戏，一个使用传统的控制器，另一个使用手势方法。然后，这两个游戏的基础上使用的难度，乐趣的元素，游戏性，和可重玩性进行了比较。虽然难度有所增加，但其他三个方面都有明显提高。经历了所有这些之后，可以得出这样的结论：人们更有可能玩简单的基于手势的游戏。
2022-04-23 cs.HC cs.SE
Spatio-Temporal Covariance Descriptors for Action and Gesture Recognition
NICTA；University of Queensland（昆士兰大学）
我们提出了一种新的动作和手势识别方法的基础上的时空协方差描述符和加权黎曼局部保持投影方法，考虑到弯曲的空间形成的描述符。然后在提升期间利用加权投影来创建采用最有用的时空区域的最终多类分类算法。我们还展示了如何通过使用积分视频表示的描述符可以快速计算。UCF运动，CK+面部表情和剑桥手势数据集上的实验表明，与最近几种最先进的技术相比，所提出的方法具有更好的性能。所提出的方法是鲁棒的，并且不需要额外的处理的视频，如前景检测，兴趣点检测或跟踪。
2013-03-25 cs.CV cs.HC
FineHand: Learning Hand Shapes for American Sign Language Recognition
George Mason University（乔治梅森大学）
美国手语识别是手势识别中的一个难点问题，其特点是快速、清晰的手势。这些是由手臂运动与不同的手形，面部表情和头部运动。在这些组成部分中，手形是至关重要的，往往是手势中最具辨别力的部分。在这项工作中，我们提出了一种有效的学习手形嵌入，这是判别ASL手势的方法。对于手形识别，我们的方法使用手动标记的手形和高置信度预测的混合来训练深度卷积神经网络（CNN）。通过在第一阶段中学习的嵌入上训练的递归神经网络（RNN）来捕获顺序手势分量。我们将证明，更高质量的手形模型可以显着提高最终的视频手势分类的准确性，在具有挑战性的条件下，各种扬声器，不同的照明和显着的运动模糊。我们将我们的模型与利用不同模态和数据表示的替代方法进行比较，并在GMU-ASL 51基准数据集上显示了改进的视频手势识别准确性
2020-03-04 cs.CV cs.HC cs.LG
A Multi-label Classification Approach to Increase Expressivity of EMG-based Gesture Recognition
Northeastern University（东北大学）
本文提出一种多标签分类方法，将sEMG手势分解为手腕方向与手指修饰两个独立组件，仅用单个手势训练并通过受限合成数据外推组合手势，在缩短校准时间的同时提升手势识别表达能力。
2023-09-13 cs.HC cs.LG eess.SP
Sound-Based Recognition of Touch Gestures and Emotions for Enhanced Human-Robot Interaction
Ghent University（根特大学）；Ghent University-IMEC（根特大学-IMEC）；University of Surrey（萨里大学）
本文提出一种仅用触摸声音的轻量级模型，在保护隐私的同时识别触觉手势和情感唤醒度与效价，以极低参数量和计算量达到与大型预训练音频网络相近的效果。
2024-12-24 cs.HC cs.RO cs.SD
Recognition and Localisation of Pointing Gestures using a RGB-D Camera
ETH Zurich（苏黎世联邦理工学院）
非语言交流是我们日常对话的一部分，多种手势用于交换信息。在这些手势中，指向是最重要的一个。如果其他团队成员（例如盲人和视障人士（BVIP））无法感知这些手势，他们就缺乏重要信息，几乎无法参与生动的工作流程。因此，本文描述了一种用于检测这种指向手势以向BVIP提供用于合适的输出模态的输入的系统。我们的系统采用RGB-D摄像头来识别用户的指向手势。该系统还定位例如在公共工作空间上的指向目标。我们通过对26名用户进行用户研究来评估该系统。结果表明，该系统使用左臂和右臂分别对2 × 3矩阵具有89.59%和79.92%的成功率，并且使用左臂和右臂分别对3 × 4矩阵具有73.57%和68.99%的成功率。
2020-01-10 cs.HC cs.RO eess.SP
