Skeleton-Based Intake Gesture Detection With Spatial-Temporal Graph Convolutional Networks
KU Leuven（鲁汶大学）；University of Gävle（耶夫勒大学）；Wageningen University and Research（瓦赫宁根大学与研究中心）；OnePlanet Research Center（OnePlanet研究中心）
针对超重肥胖与不健康饮食相关的问题，提出ST-GCN-BiLSTM模型，结合扩张时空图卷积网络与双向长短时记忆框架，基于骨架检测进食手势，在OREBA及自收集数据集验证了可行性与鲁棒性。
2025-04-14 cs.CV
Skeleton-based Gesture Recognition Using Several Fully Connected Layers with Path Signature Features and Temporal Transformer Module
South China University of Technology（华南理工大学）
基于骨架的手势识别由于其广泛的应用前景而越来越受欢迎。其关键问题是如何提取判别特征和如何设计分类模型。在本文中，我们首先利用一个强大的特征描述符，路径签名（PS），并提出了三个PS特征来显式地表示空间和时间运动特性，即，空间PS（S_PS）、时间PS（T_PS）和时间空间PS（T_S_PS）。考虑到手势中手部精细动作的重要性，我们提出了一种“手部注意力”（AOH）原则来定义S_PS的关节对，并为T_PS选择单个关节。此外，采用并元方法提取T_PS和T_S_PS特征，对运动中的全局和局部时间动态进行编码。其次，在没有递归策略的情况下，分类模型仍然面临不同序列之间的时间变化的挑战。我们提出了一个新的时间Transformer模块（TTM），可以匹配的序列关键帧，通过学习的时间移位参数为每个输入。这是一个基于学习的模块，可以包含在标准神经网络架构中。最后，我们设计了一个基于多流全连接层的网络来分别处理空间和时间特征，并将它们融合在一起以获得最终结果。我们已经在三个基准手势数据集上测试了我们的方法，即，ChaLearn 2016、ChaLearn 2013和MSRC-12。实验结果表明，我们达到了国家的最先进的性能，在基于手势识别与高计算效率。
2018-12-07 cs.CV
Real-Time Online Skeleton Extraction and Gesture Recognition on Pepper
Softbank Robotics Europe（软银机器人欧洲公司）；INSA, University of Lyon（里昂大学国立应用科学学院）
我们提出了一个简单的手势识别的多级流水线。我们方法的新颖之处在于不同技术的结合，从而产生了迄今为止第一个实时的【形】系统，可以在Pepper机器人上联合提取骨架并识别手势。为了完成这项任务，Pepper增加了一个嵌入式GPU，用于运行深度CNN和一个鱼眼摄像头来捕捉整个场景的交互。我们在这篇文章中表明，真实情况下的场景是具有挑战性的，最先进的方法很难处理未知的人类手势。我们在这里提出了一种处理这种情况的方法。
2022-06-22 cs.CV cs.RO
On-device Real-time Hand Gesture Recognition
Google Research（谷歌研究院）
我们提出了一个设备上的实时手势识别（HGR）系统，它检测一组预定义的静态手势从一个单一的RGB摄像头。该系统由两部分组成：手部骨骼跟踪器和手势分类器。我们使用MediaPipe Hands作为手部骨骼跟踪器的基础，提高了关键点的准确性，并在世界度量空间中添加了3D关键点的估计。我们创建了两个不同的手势分类器，一个是基于手势识别，另一个是使用神经网络（NN）。
2021-10-29 cs.CV
Towards Fine-Grained Emotion Understanding via Skeleton-Based Micro-Gesture Recognition
Hefei University of Technology, No. 485, Danxia Road, Shushan District, Hefei, 230601, China（合肥工业大学）
针对微手势识别用于隐藏情绪理解的挑战，本研究在PoseC3D基线基础上引入三项改进，在iMiGUE测试集达67.01% Top-1准确率，获MiGA挑战赛第三名。
2025-06-15 cs.CV
SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild
University of Verona（维罗纳大学）；Università di Modena e Reggio Emilia（摩德纳雷焦艾米利亚大学）；University of Central Florida（中佛罗里达大学）；University of Science, Ho Chi Minh City（胡志明市科学大学）
手势识别是一种基本工具，可以在各种应用场景中实现新颖的交互模式，如混合现实环境，非接触式公共信息亭，娱乐系统等。手势的识别现在可以直接从由低成本跟踪器（Ultraleap）和MR头戴式耳机（Hololens，Oculus Quest）提供的软件或视频处理软件模块（例如Google Mediapipe）估计的手骨架流执行。尽管最近在骨架的手势和动作识别方面取得了进展，但目前还不清楚当前最先进的技术在现实世界中识别大量异构手势的情况下的表现如何，因为许多基准测试不测试在线识别并且使用有限的字典。这激发了SHREC 2021的提案：追踪野外基于伊顿的手势识别。对于这次比赛，我们创建了一个具有不同类型和持续时间的异构手势的新颖数据集。这些手势必须在在线识别场景中的序列中找到。本文介绍了比赛结果，展示了四个研究小组在这项具有挑战性的任务上提出的技术与简单基线方法相比的性能。
2021-06-21 cs.CV cs.LG
OMG-Bench: A New Challenging Benchmark for Skeleton-based Online Micro Hand Gesture Recognition
School of Systems Science and Engineering, Sun Yat-sen University（中山大学系统科学与工程学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Shanghai Jiao Tong University（上海交通大学）；Nankai University（南开大学）；Defense Innovation Institute, Academy of Military Sciences（军事科学院国防创新研究院）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）
本文提出OMG-Bench，首个大规模公开基准，用于基于骨架的在线微手势识别，包含40个细粒度手势类别，提出HMATr框架提升识别性能。
2026-03-30 cs.CV cs.HC
DSTSA-GCN: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
Nagaoka University of Technology（长冈技术科学大学）；Guizhou College of Electronic Science and Technology（贵州电子科技学院）；Guizhou University（贵州大学）
针对现有GCN在手势识别中缺乏动态时空拓扑建模和多尺度结构建模的问题，提出DSTSA-GCN，通过GC-GC、GT-GC和MS-TCN三个模块增强拓扑学习，在多个基准上取得最优性能。
2025-01-21 cs.CV
A Non-Anatomical Graph Structure for isolated hand gesture separation in continuous gesture sequences
Semnan University（塞姆南大学）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
连续手势识别（CHGR）在过去的几十年里得到了研究人员的广泛研究。最近，已经提出了一种模型来处理连续手势视频中孤立手势的边界检测的挑战[17]。为了提高模型性能，并取代[17]中提出的模型中的手工特征提取器，我们提出了一个GCN模型，并将其与堆叠的Bi-LSTM和Attention模块相结合，以推送视频流中的时间信息。考虑到GCN模型在骨骼形态方面的突破，我们提出了一个两层的GCN模型来增强3D手部骨骼特征。最后，每个孤立手势的类概率被馈送到后处理模块，借用[17]。此外，我们用一些非解剖图结构代替解剖图结构。由于缺乏一个大的数据集，包括连续的手势序列和相应的孤立的手势，在动态手势识别（DHGR），RKS-PERSIANSIGN和ASLVID的三个公共数据集，用于评估。实验结果表明，该模型在处理连续手势序列中孤立手势边界检测方面具有优越性
2022-07-15 cs.CV
Skeleton-Based Hand Gesture Recognition by Learning SPD Matrices with Neural Networks
Normandie Univ（诺曼底大学）；ENSICAEN（卡昂国立高等工程师学院）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；GREYC（GREYC实验室）
本文提出了一种新的基于骨架数据的手势识别方法，该方法利用神经网络学习SPD矩阵。我们将手的骨架建模为一个图形，并引入一个神经网络进行SPD矩阵学习，将手关节的3D坐标作为输入。该网络基于两个新设计的层，将一组SPD矩阵转换为SPD矩阵。对于手势识别，我们训练一个线性SVM分类器使用从我们的网络中提取的特征。在具有挑战性的数据集（来自SHREC 2017 3D形状检索竞赛的动态手势数据集）上的实验结果表明，所提出的方法优于最先进的方法。
2019-05-20 cs.CV cs.HC cs.NE
GestureGAN for Hand Gesture-to-Gesture Translation in the Wild
University of Trento（特伦托大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Oxford（牛津大学）；Texas State University（得克萨斯州立大学）
在野外进行手势到手势的翻译是一项具有挑战性的任务，因为手势可以具有任意的姿势、大小、位置和自遮挡。因此，该任务需要对输入源手势和输出目标手势之间的映射的高级理解。为了解决这个问题，我们提出了一种新的手势生成对抗网络（GestureGAN）。GestureGAN由单个生成器$G$和一个生成器$D$组成，生成器将条件手部图像和目标手部骨骼图像作为输入。GestureGAN显式地利用手部骨骼信息，并通过两种新的损失（颜色损失和周期一致性损失）来学习手势到手势的映射。所提出的颜色损失处理“通道污染”的问题，同时反向传播的梯度。此外，我们提出了Fréchet ResNet距离（FRD）来评估生成图像的质量。在两个广泛使用的基准数据集上进行的大量实验表明，所提出的GestureGAN在无约束手势到手势翻译任务上实现了最先进的性能。同时，所生成的图像是高质量的，是照片般真实的，允许它们被用作数据增强，以提高手势分类器的性能。我们的模型和代码可以在https://github.com/Ha0Tang/GestureGAN上找到。
2019-07-19 cs.CV
Gesture Recognition from Skeleton Data for Intuitive Human-Machine Interaction
Centre for Mechanical Engineering, Materials and Processes, University of Coimbra（科英布拉大学机械工程、材料与过程中心）
人类手势识别在工业应用中扮演着重要的角色，例如人机交互。我们提出了一种基于一组手工制作的功能，这是从Kinect传感器提供的骨架数据绘制的动态手势的分割和分类的方法。用于手势检测的模块依赖于执行逐帧二进制分类的前馈神经网络。用于手势识别的方法应用滑动窗口，其从空间和时间维度提取信息。然后，我们结合不同的持续时间的窗口，得到一个多时间尺度的方法和额外的性能增益。最近的成功的递归神经网络的时间序列域的鼓舞下，我们还提出了一种方法，同时手势分割和分类的基础上的双向长短期记忆细胞，这已经显示出学习的能力，在长时间尺度上的时间关系。我们评估了ChaLearn在2014年的挑战中发布的数据集上的所有不同方法。最有效的方法实现了0.75的Jaccard指数，这表明与最先进的技术所呈现的性能几乎是成对的。最后，识别的手势用于与协作机器人进行交互。
2020-08-26 cs.CV cs.RO
Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation
Institute for Transport Studies（交通研究所）；University of Leeds（利兹大学）
本研究提出基于骨架姿态评估的行人手势识别框架，通过分析手部位置和运动速度提升AV对交通手势的识别准确率至87%。
2026-02-09 cs.AI cs.CV cs.ET
Real-Time Hand Gesture Recognition: Integrating Skeleton-Based Data Fusion and Multi-Stream CNN
The American University in Cairo (AUC)（美国亚历山大大学）；The Norwegian University of Science and Technology (NTNU)（挪威科学技术大学）；Amazon（亚马逊）
本文提出一种基于骨架的实时手部姿态识别框架，通过将动态手部姿态识别转化为静态图像分类任务，降低硬件和计算需求，采用多流CNN架构优化数据表示的语义连接，实现在消费级PC上高效运行。
2024-10-06 cs.CV cs.HC
A neural network based on SPD manifold learning for skeleton-based hand gesture recognition
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（GREYC实验室）
提出了一种新的基于SPD流形学习的神经网络，用于手势识别。给定的手的关节位置流，我们的方法结合了两个聚合过程分别在空间和时间域。我们的网络架构的管道包括三个主要阶段。第一阶段基于卷积层，以提高学习特征的区分能力。第二阶段依赖于不同的架构的空间和时间高斯聚合的联合功能。第三阶段从骨架数据学习最终的SPD矩阵。第三阶段提出了一种新型的层，基于Stiefel流形上的随机梯度下降的变体。该网络在两个具有挑战性的数据集上进行了验证，并在两个数据集上显示出最先进的精度。
2019-04-29 cs.CV cs.LG cs.NE
Computer Vision-Driven Gesture Recognition: Toward Natural and Intuitive Human-Computer
Loughborough University（拉夫堡大学）；Trine University（特莱恩大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出基于三维手部骨架模型的手势识别方法，通过构建动态与静态手势模型提升识别准确率与效率，并结合多模态技术推动自然直观的人机交互。
2024-12-24 cs.CV
How do Foundation Models Compare to Skeleton-Based Approaches for Gesture Recognition in Human-Robot Interaction?
Chair for Computer Vision, RWTH Aachen University（计算机视觉教研室，亚琛RWTH大学）；Robert Bosch GmbH, Corporate Research & Bosch Center for AI（博世公司，博世企业研究院及博世人工智能中心）
本研究比较了 V-JEPA、Gemini Flash 2.0 和 HD-GCN 在动态全身手势识别中的表现，发现 HD-GCN 性能最佳，V-JEPA 接近且有望降低系统复杂性，而 Gemini 在零样本设置下表现不佳。
2025-06-25 cs.CV cs.HC cs.RO
Literature on Hand GESTURE Recognition using Graph based methods
基于骨架的识别系统越来越受欢迎，并且关注骨架中的点或关节的机器学习模型已被证明在计算上是有效的，并且应用于许多领域，如机器人学。它很容易跟踪点，从而保持空间和时间信息，这在提取所需信息中起着重要作用，分类成为一个容易的任务。在本文中，我们的目标是研究这些点，但使用云机制，我们将云定义为点的集合。然而，当我们添加时间信息时，可能无法检索每个帧中的点的坐标，因此我们可以使用k-邻居来检索讨论中的点的状态，而不是关注单个点。我们的重点是使用权重共享来收集这些信息，但要确保当我们试图从邻居中检索信息时，我们不会携带噪音。LSTM具有长期建模的能力，可以携带时间和空间信息。本文试图对基于图的手势识别方法进行总结。
2022-07-01 cs.CV
Democratizing High-Fidelity Co-Speech Gesture Video Generation
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯AI实验室）
提出轻量级框架利用2D骨架作为辅助条件，通过扩散模型融合细粒度音频与骨架特征预测运动，结合现成视频生成模型合成高保真协同语音手势视频，并发布405小时公开数据集CSG-405，在视觉质量与同步性上超越现有方法。
2025-07-14 cs.AI cs.CV
An Ensemble of Knowledge Sharing Models for Dynamic Hand Gesture Recognition
University of Calgary（卡尔加里大学）
提出融合 transformer 与 ON-LSTM RNN 的知识共享模型，并通过知识蒸馏和周期性学习率构建集成，在 DHG-14/28 上仅用骨骼信息达到 86.11% 准确率。
2020-08-13 cs.CV
Pose2Drone: A Skeleton-Pose-based Framework for Human-Drone Interaction
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
无人机已成为一种常见的工具，用于许多任务，如航空摄影，监视和交付。然而，操作无人机需要与用户进行越来越多的互动。一种自然安全的人机交互（HDI）方法是使用手势。在本文中，我们介绍了一个HDI框架的基础上，基于codeon的姿态估计。我们的框架提供了通过简单的手臂手势控制无人机移动的功能，并在保持安全距离的同时跟随用户。我们还提出了一种单目距离估计方法，该方法完全基于图像特征，不需要任何额外的深度传感器。为了进行全面的实验和定量分析，我们创建了一个定制的测试数据集。实验结果表明，该框架对11种常见手势的识别率平均达到93.5%.该代码可从以下网址获得：https://github.com/Zrrr1997/Pose2Drone
2021-05-28 cs.CV cs.RO
A Methodological and Structural Review of Hand Gesture Recognition Across Diverse Data Modalities
The University of Aizu（会津大学）；Bangamata Sheikh Fojilatunnesa Mujib Science & Technology University（班加玛塔·谢赫·福吉拉图内萨·穆吉布科技大学）；Pabna University of Science and Technology（巴布纳科技大学）；Sheikh Hasina University（谢赫·哈西娜大学）
该综述梳理2014-2024年跨多模态的手势识别技术进展，分析200余篇文献的技术与实验情况，指出连续手势识别的研究空白，为相关研究提供参考。
2024-08-10 cs.CV
WaveFormer: A Lightweight Transformer Model for sEMG-based Gesture Recognition
Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）；DEI, University of Bologna（博洛尼亚大学工程学院）；DIEF, University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学经济工程学院）
本文提出轻量级 Transformer 架构 WaveFormer，利用可学习小波变换和 WaveletConv 融合 sEMG 时频特征，以更少参数实现高准确率与 CPU 端低延迟实时手势识别。
2025-10-20 cs.CV
Gesture Control of Micro-drone: A Lightweight-Net with Domain Randomization and Trajectory Generators
University of Electronic Science and Technology of China（电子科技大学）；University of Cincinnati（辛辛那提大学）
微型无人机可以集成到各种工业应用中，但受到其计算能力和专业飞行员的限制，这是一个次要挑战。该研究提出了一种计算高效的深度卷积神经网络，该网络利用了具有低计算复杂性的Gabor滤波器和空间可分离卷积。注意力模块与模型集成，以补充性能。此外，基于感知的动作空间和轨迹生成器与模型的预测集成在一起，以实现直观的导航。计算效率高的模型帮助人类操作员通过手势控制微型无人机。在训练过程中，使用NVIDIA GPU分析器可节省近18%的计算资源。使用低成本的DJI Tello无人机进行实验验证，与最先进的传统计算机视觉技术相比，计算效率高的模型显示出有希望的结果。
2023-01-29 cs.CV
The Imaginative Generative Adversarial Network: Automatic Data Augmentation for Dynamic Skeleton-Based Hand Gesture and Human Action Recognition
University of Cambridge（剑桥大学）
本文提出想象生成对抗网络（Imaginative GAN），通过近似数据分布自动生成合成样本，以低成本解决骨架动作识别中训练数据不足问题，实验证明其能提升传统网络和最先进方法的分类准确率。
2023-08-10 cs.CV cs.HC
Gesture-to-Gesture Translation in the Wild via Category-Independent Conditional Maps
University of Trento（特伦托大学）；FBK（布鲁诺·凯斯勒基金会）
最近的研究表明，生成对抗网络（GANs）在图像到图像的翻译中特别有效。然而，在诸如身体姿势和手势翻译的任务中，现有方法通常需要精确的注释，例如关键点或骨架，这是耗时的绘制。在这项工作中，我们提出了一种新的GAN架构，它将所需的注释合并到一个类别标签中-指定手势类型-和一个简单的绘制类别独立的条件映射-表示手势的位置，旋转和大小。我们的架构合成的目标手势，同时保留背景上下文，从而有效地处理手势翻译在野外。为此，我们使用了注意力模块和滚动指导方法，将生成的图像循环回网络，并产生比竞争作品更高质量的图像。因此，我们的GAN学会从简单的注释生成新图像，而不需要关键点或骨架标签。在两个公共数据集上的结果表明，我们的方法在定量和定性上都优于最先进的方法。据我们所知，到目前为止，还没有任何工作通过要求用户友好的注释来解决野外的手势到手势翻译。
2019-07-31 cs.CV cs.MM
Traffic Control Gesture Recognition for Autonomous Vehicles
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Universität Ulm（乌尔姆大学）
汽车司机知道如何对交通警察的手势作出反应。显然，对于自动驾驶汽车来说情况并非如此，除非它具有道路交通控制手势识别功能。在这项工作中，我们解决了现有的自动驾驶数据集的限制，为交通控制手势识别提供学习数据。我们引入了一个数据集，该数据集是基于3D人体骨架输入进行交通控制手势分类的每一个时间步。我们的数据集由来自几个演员的250个序列组成，每个序列的时间从16秒到90秒不等。为了评估我们的数据集，我们提出了八个基于深度神经网络的顺序处理模型，如递归网络，注意力机制，时间卷积网络和图卷积网络。我们对我们的数据集的所有方法进行了广泛的评估和分析，以及现实世界的定量评估。代码和数据集是公开的。
2020-07-31 cs.CV
UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer，通过单一注意力模块集成时空建模并引入多尺度池化融合模块，在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
Deep self-supervised learning with visualisation for automatic gesture recognition
Télécom SudParis（南巴黎电信学院）
针对自动手势识别难题，研究探索了监督学习、自监督学习及Grad-CAM可视化三种基于深度学习的3D动态骨架手势识别方案，验证了自监督对模拟场景准确率的提升作用，并明确了模型的关注关节。
2024-06-18 cs.CV cs.HC
What's the point? Frame-wise Pointing Gesture Recognition with Latent-Dynamic Conditional Random Fields
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人体工程学与机器人研究所）
我们使用潜在动态条件随机场在视频序列的每个时间实例执行基于信标的指向手势分类，其中我们实现了大约83%的逐帧指向准确度。随后，我们确定任意长度的连续时间序列，形成个人的指向手势，这种方式可靠地检测指向手势的误报率为0.63%。
2015-10-20 cs.CV cs.HC cs.RO
Construct Dynamic Graphs for Hand Gesture Recognition via Spatial-Temporal Attention
Rutgers University（罗格斯大学）；University of Delaware（特拉华大学）；University of Rochester（罗切斯特大学）
提出了一种基于动态图的时空注意力（DG-STA）手势识别方法。其关键思想是首先从手部骨架构建一个全连接图，然后通过在空间和时间域中执行的自注意力机制自动学习节点特征和边缘。我们进一步建议利用联合位置的时空线索，以保证在具有挑战性的条件下的鲁棒识别。此外，一种新的时空掩模被应用到显着减少99%的计算成本。我们进行了广泛的实验基准（DHG-14/28和SHREC'17），并证明了我们的方法相比，国家的最先进的方法的优越性能。源代码可以在https://github.com/yuxiaochen1103/DG-STA上找到。
2019-07-20 cs.CV
FreqMixFormerV2: Lightweight Frequency-aware Mixed Transformer for Human Skeleton Action Recognition
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of Central Florida（中佛罗里达大学）
本文提出轻量级模型FreqMixFormerV2，通过重新设计频率算子和简化频率感知注意力模块，在仅用60%参数量的情况下超越现有方法，实现人体骨架动作识别中效率与精度的更优平衡。
2024-12-29 cs.CV
AugmentGest: Can Random Data Cropping Augmentation Boost Gesture Recognition Performance?
Computer Vision Lab, CAIDAS, University of Würzburg, Germany（计算机视觉实验室，CAIDAS，乌尔姆大学）
本文提出融合随机裁剪、几何与强度变换的 AugmentGest 增强框架，将数据扩充四倍，并在多个模型与基准上验证其显著提升手势及动作识别泛化性。
2025-06-08 cs.CV
DriverMHG: A Multi-Modal Dataset for Dynamic Recognition of Driver Micro Hand Gestures and a Real-Time Recognition Framework
TU Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；University of Tuebingen（图宾根大学）；Intel Labs Europe（英特尔欧洲实验室）；Intel Deutschland GmbH（英特尔德国有限公司）
手势的使用为人机交互（HCI）系统的笨重接口设备提供了自然的替代方案。然而，从视频流中实时的【形】动态微手势的识别对于车载场景是具有挑战性的，因为（i）手势应该自然地执行而不会分散驾驶员的注意力，（ii）微手势在空间受限区域处发生在非常短的时间间隔内，（iii）所执行的手势应该仅被识别一次，及（iv）整个架构应设计为轻量型，因为其将部署到嵌入式系统。在这项工作中，我们提出了一个HCI系统的动态识别驾驶员的微手势，这可能会产生至关重要的影响，特别是在汽车行业的安全相关的问题。为此，我们最初收集了一个名为Driver Micro Hand Gestures（DriverMHG）的数据集，该数据集由RGB、深度和红外模态组成。微手势的动态识别的挑战已经解决了提出一个轻量级的卷积神经网络（CNN）的基础架构，有效地运行在网上与滑动窗口的方法。对于CNN模型，应用了几种三维资源有效网络，并分析了它们的性能。手势的在线识别已与3D-MobileNetV 2，它提供了最好的离线准确性之间的应用网络具有类似的计算复杂性。最终的架构部署在驾驶员模拟器上，实时的【形】操作。我们公开了DriverMHG数据集和我们的源代码。
2021-10-19 cs.CV
A Spatio-Temporal Multilayer Perceptron for Gesture Recognition
Ulm University（乌尔姆大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
手势识别对于自动驾驶车辆与人类的交互至关重要。虽然目前的方法集中在结合几种模式，如图像特征，关键点和骨骼矢量，我们提出了神经网络架构，提供最先进的结果，只有身体骨架输入数据。我们提出了时空多层感知器的手势识别的背景下，自动驾驶汽车。随着时间的推移，给定的3D身体姿势，我们定义时间和空间的混合操作来提取这两个域中的功能。此外，每个时间步的重要性都用挤压和激励层重新加权。TCG和Drive&Act数据集的广泛评估，展示了我们的方法的良好性能。此外，我们将我们的模型部署到我们的自动驾驶汽车，以显示其实时能力和稳定的执行。
2022-08-18 cs.CV
Continual Gesture Learning without Data via Synthetic Feature Sampling
Carnegie Mellon University（卡内基梅隆大学）
本研究针对基于骨架的手势分类场景，提出合成特征重放（SFR）方法，通过从类别原型采样合成特征实现无数据类别增量学习，平均准确率最高提升15%，缓解新旧类别准确率失衡。
2025-03-19 cs.AI cs.CV
OO-dMVMT: A Deep Multi-view Multi-task Classification Framework for Real-time 3D Hand Gesture Classification and Segmentation
University of Verona（维罗纳大学）
本文提出OO-dMVMT框架，通过多时间局部视图与可开关的多任务机制，在连续3D手势识别中同时提升分类与分割精度并降低延迟，达到实时SotA性能。
2023-04-12 cs.CV
ASL Recognition with Metric-Learning based Lightweight Network
Intel（英特尔）
在过去的几十年里，由机器解决的人类任务范围急剧扩大。从简单的图像分类问题，研究人员现在转向解决更复杂和重要的问题，如自动驾驶和语言翻译。语言翻译的情况包括手语翻译的一个具有挑战性的领域，它结合了图像和语言处理。我们在这个方向上迈出了一步，提出了一个轻量级的网络ASL手势识别的性能足以满足实际应用。所提出的解决方案在MS-ASL数据集和连续手势识别场景的实时模式下表现出令人印象深刻的鲁棒性。此外，我们描述了如何结合动作识别模型的训练与度量学习训练网络上的数据库的大小有限。培训代码作为英特尔OpenVINO培训扩展的一部分提供。
2020-04-10 cs.CV
What and Where: Modeling Skeletons from Semantic and Spatial Perspectives for Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
骨架数据，其中只包括人体关节的2D/3D坐标，已被广泛研究的人体动作识别。现有的骨骼建模方法以语义为先验知识，对人体关节进行分组，并根据其空间位置绘制相关性，我们称之为骨骼建模的语义视角。在本文中，与以前的方法相比，我们提出了一种新的空间角度来建模骨架，从该模型的空间位置作为先验知识组人体关节和挖掘的歧视性模式的局部地区的分层方式。这两个视角是相互正交和互补的，通过将它们融合在一个统一的框架中，我们的方法实现了对骨架数据的更全面的理解。此外，我们还为这两个角度定制了两个网络。从语义的角度来看，我们提出了一个类似于Transformer的网络，它是建模关节相关性的专家，并提出了三种有效的技术来适应骨架数据。从空间的角度来看，我们将骨架数据转换为稀疏格式，以实现高效的特征提取，并提出了两种类型的稀疏卷积网络用于稀疏骨架建模。在三个具有挑战性的数据集上进行了大量的实验，用于基于机器人的人类动作/手势识别，即NTU-60，NTU-120和SHREC，其中我们的方法达到了最先进的性能。
2021-03-22 cs.CV
Logsig-RNN: a novel network for robust and efficient skeleton-based action recognition
University College London（伦敦大学学院）；University of Oxford（牛津大学）
本文致力于视频中的人类动作识别的挑战。关键的一步是开发一个通用的网络架构来提取时空骨架数据的判别特征。在本文中，我们提出了一种新的模块，即Logsig-RNN，它是日志签名层和递归型神经网络（RNN）的组合。前一种方法是基于数学原理的签名和日志签名技术，它可以处理高采样率的数据流、非均匀采样和可变长度的时间序列。它作为递归层的增强，可以方便地插入神经网络。此外，我们提出了两个路径转换层，以显着降低路径维度，同时保留输入Logsig-RNN模块的基本信息。最后，数值结果表明，在SOTA网络中用Logsig-RNN模块替换RNN模块，在准确性和鲁棒性方面始终提高了Chalearn手势数据和NTU RGB+D 120动作数据的性能。特别是，我们通过将简单的路径转换层与Logsig-RNN相结合，在Chalearn 2013手势数据上实现了最先进的准确性。代码可在https://github.com/steveliao93/GCN_LogsigRNN上获得。
2021-11-01 cs.CV cs.LG
TinyGaze: Lightweight Gaze-Gesture Recognition on Commodity Mobile Devices
University of St Andrews（圣安德鲁斯大学）；University of Essex（埃塞克斯大学）；King's College London（伦敦国王学院）
本文提出了一种轻量级的 gaze-手势识别方法，通过端到端流程和基于学习理论的指导-回忆协议，在移动设备上实现高效的手势识别与用户身份识别。
2026-03-30 cs.CV cs.HC
Local Spherical Harmonics Improve Skeleton-Based Hand Action Recognition
University of Siegen（锡根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Mannheim（曼海姆大学）
本文提出基于相对角度嵌入和局部球谐函数的手部表示方法，利用旋转不变性提升基于骨架的手部动作识别鲁棒性，并在两个基准上验证其有效性。
2023-11-14 cs.CV
Bengali Sign Language Recognition through Hand Pose Estimation using Multi-Branch Spatial-Temporal Attention Model
Military Institute of Science and Technology (MIST)（军事科学技术学院）
针对现有孟加拉手语识别泛化能力受限的问题，提出基于手部骨架和时空注意力机制的低计算复杂度模型，在多基准数据集上展现出高精度和快速度。
2024-08-26 cs.CV
DMMG: Dual Min-Max Games for Self-Supervised Skeleton-Based Action Recognition
University of Technology Sydney（悉尼科技大学）；University of Queensland（昆士兰大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在这项工作中，我们提出了一个新的双最小最大游戏（DMMG）的自监督骨架动作识别方法，通过增加未标记的数据在对比学习框架。我们的DMMG由一个观点变化的最小-最大博弈和边扰动的最小-最大博弈。这两个最小-最大游戏采用对抗范式，分别对骨架序列和图形结构的身体关节执行数据增强。我们的观点变化最小最大游戏的重点是构建各种硬对比对生成骨架序列从不同的观点。这些硬对比对帮助我们的模型学习代表性动作特征，从而促进模型向下游任务的转移。此外，我们的边扰动最小-最大游戏专门通过扰动基于图的身体关节之间的连接强度来构建不同的硬对比样本。连接强度变化对比对使得模型能够捕获不同动作的最小的足够信息，诸如动作的代表性手势，同时防止模型过拟合。通过充分利用所提出的DMMG，我们可以生成足够的具有挑战性的对比对，从而以自监督的方式从未标记的骨架数据中实现有区别的动作特征表示。大量的实验表明，我们的方法在广泛使用的NTU-RGB+D和NTU 120-RGB+D数据集上的各种评估协议下取得了优异的结果。
2023-02-22 cs.CV
Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition
Sony Corporation（索尼公司）
提出融合自适应拓扑、时空自注意力与膨胀多尺度卷积的 MSST-GCN，以增强骨骼动作的长程时空依赖建模并在多个数据集上达到最先进性能。
2024-04-03 cs.CV
Enhancing Micro Gesture Recognition for Emotion Understanding via Context-aware Visual-Text Contrastive Learning
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；Lappeenranta-Lahti University of Technology LUT（拉彭兰塔-拉赫蒂理工大学（LUT））
本文针对微手势识别中忽略文本信息的问题，提出一种上下文感知的视觉-文本对比学习方法，并设计自适应提示模块，在两个公开数据集上取得最优性能，同时证明文本化识别结果可将情感理解性能提升6%以上。
2024-05-03 cs.CV
ChaLearn Looking at People: IsoGD and ConGD Large-scale RGB-D Gesture Recognition
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；JD Finance（京东金融）；University of Southern California（南加州大学）；Xidian University（西安电子科技大学）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Institute of Technology, University of Tartu（塔尔图大学技术学院）；Hasan Kalyoncu University（哈桑·卡尔永库大学）；Loughborough University London（拉夫堡大学伦敦校区）；ChaLearn；University Paris-Saclay（巴黎萨克雷大学）；Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
ChaLearn大规模手势识别挑战赛已经在2016年国际模式识别会议（ICPR）和2017年国际计算机视觉会议（ICCV）的两个研讨会上举办了两次，吸引了全球超过$200$团队。这项挑战有两个轨道，分别侧重于孤立和连续的手势识别。本文介绍了这两个基准数据集的创建，并分析了基于这两个数据集的大规模手势识别的进展。我们讨论了收集手势识别的大规模地面实况注释的挑战，并详细分析了基于RGB-D视频序列的大规模孤立和连续手势识别的当前最先进的方法。除了识别率和平均jaccard指数（MJI）作为我们以前的挑战中使用的评估指标，我们还引入了校正分割率（CSR）度量来评估连续手势识别的时间分割性能。此外，我们提出了一种双向长短期记忆（Bi-LSTM）基线方法，基于卷积姿态机（CPM）提取的骨架点确定视频分割点。实验表明，所提出的Bi-LSTM优于最先进的方法，具有CSR的$8.1\%$的绝对改善（从$0.8917$到$0.9639$）。
2019-07-29 cs.CV
Skeleton-based sign language recognition using a dual-stream spatio-temporal dynamic graph convolutional network
School of Computer Science Sichuan University Chengdu, China（计算机科学学院 四川大学 成都）
本文提出双参考双流架构DSLNet，分别以手腕和面部为中心解耦建模手形与轨迹，并通过几何驱动最优传输融合，在多个手语数据集上以更少参数取得最优准确率。
2025-09-18 cs.AI cs.CV
Hybrid-supervised Hypergraph-enhanced Transformer for Micro-gesture Based Emotion Recognition
School of Electronics and Information at Northwestern Polytechnical University（西北工业大学电子与信息学院）；Innovation Center NPU Chongqing（西北工业大学重庆创新中心）；University of Oulu（奥卢大学）
本文提出混合监督超图增强变换器，通过自监督和监督学习结合，实现基于微手势的情感识别，取得最佳性能。
2025-07-20 cs.CV
Accurate online action and gesture recognition system using detectors and Deep SPD Siamese Networks
本文提出一种基于SPD矩阵表示和孪生网络的骨架序列流在线识别系统，通过检测器预测运动区间并由分类器识别动作，在多个基准上取得领先性能。
2025-11-07 cs.AI cs.CV cs.HC
Tesla-Rapture: A Lightweight Gesture Recognition System from mmWave Radar Point Clouds
Aalto University（阿尔托大学）；University of Bergen（卑尔根大学）；Aalborg University（奥尔堡大学）
我们提出了Tesla-Rapture，一个用于毫米波雷达生成的点云的手势识别界面。最先进的手势识别模型要么太消耗资源，要么不够准确，无法集成到使用物联网设备（例如Raspberry PI）、XR硬件（例如HoloLens）或智能手机等可穿戴或受限设备的现实生活场景中。为了解决这个问题，我们开发了Tesla，一种用于毫米波雷达点云的消息传递神经网络（MPNN）图形卷积方法。该模型在两个数据集上的准确性优于现有技术，同时降低了计算复杂性，因此减少了执行时间。特别是，该方法能够预测手势的速度比最准确的竞争对手快近8倍。我们在不同场景（环境、角度、距离）下的性能评估表明，Tesla在具有挑战性的场景（如穿墙设置和极端角度下的传感）中具有良好的泛化能力，并将准确度提高了20%。利用特斯拉，我们开发Tesla-Rapture，这是一种在树莓PI 4上使用毫米波雷达的实时实现，并评估其准确性和时间复杂度。我们还发布了源代码，训练的模型，以及嵌入式设备的模型的实现。
2021-09-14 cs.CV cs.LG eess.IV
Decoupled Spatial-Temporal Attention Network for Skeleton-Based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
动态骨骼数据以人体关节的二维/三维坐标表示，由于其高层次的语义信息和环境鲁棒性，在人体动作识别中得到了广泛的研究。然而，以前的方法严重依赖于设计手工制作的遍历规则或图形拓扑来绘制关节之间的依赖关系，这在性能和可推广性方面受到限制。在这项工作中，我们提出了一种新的解耦时空注意力网络（DSTA-Net）的动作识别。它只涉及注意力块，允许建模关节之间的时空依赖关系，而不需要知道它们的位置或相互连接。具体而言，针对骨架数据的具体要求，提出了三种注意力块构建技术，即时空注意力解耦、解耦位置编码和空间全局正则化。此外，在数据方面，我们引入骨架数据解耦技术，强调空间/时间和不同运动尺度的特定特征，从而更全面地理解人类动作。为了验证所提出方法的有效性，我们在四个具有挑战性的基于骨架的手势和动作识别数据集上进行了大量的实验，即SHREC，DHG，NTU-60和NTU-120，DSTA-Net在所有这些方面都实现了最先进的性能。
2020-07-07 cs.CV
CLIP-MG: Guiding Semantic Attention with Skeletal Pose Features and RGB Data for Micro-Gesture Recognition on the iMiGUE Dataset
Cyrion Labs, Texas, United States（Cyrion实验室，德克萨斯州，美国）
本文提出CLIP-MG，一种融合骨骼姿态与RGB数据的改进CLIP模型，通过姿态引导语义查询和门控多模态融合，在iMiGUE数据集上实现61.82%的Top-1准确率，验证了方法潜力并揭示适配挑战。
2025-06-19 cs.AI cs.CV cs.LG
Online hand gesture recognition using Continual Graph Transformers
CESI LINEACT；LICIT-ECO7, ENTPE, Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；IMT Nord Europe（北加来海峡高等电信学院）；University of Lille（里尔大学）
针对现有基于骨架的动作识别方法多为片段式、不适配实时连续场景的问题，提出融合S-GCN、TGE与持续学习机制的在线识别系统，在SHREC'21上达SOTA准确率且降低假阳性率，适用于多实时交互场景。
2025-02-20 cs.AI cs.CV
