Masked Autoencoder with Swin Transformer Network for Mitigating Electrode Shift in HD-EMG-based Gesture Recognition
Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程学院）；Concordia University（康考迪亚大学）；Nanyang Technological University (NTU)（南洋理工大学）
本文提出MAST框架，通过四种掩码策略与三路径Swin-Unet编码器-解码器结构对HD-sEMG信号进行自监督预训练，有效缓解电极偏移导致的手势识别性能下降。
2024-10-07 cs.AI cs.LG eess.SP
On the Metrics and Adaptation Methods for Domain Divergences of sEMG-based Gesture Recognition
Nokia Bell Labs（诺基亚贝尔实验室）
本文提出了一种新的度量域分歧的方法和一种新的领域自适应时间序列分类方法。该度量属于基于概率分布的度量类，是可转换的，并且不假设存在源数据样本。2阶段方法利用改进的自回归，基于RNN的架构，具有深度/非线性变换。我们评估我们的指标和我们的模型的性能在sEMG/EMG为基础的手势识别的上下文中会话间和学科间域的变化。
2019-12-18 cs.CV cs.LG stat.ML
Transformer-based Hand Gesture Recognition via High-Density EMG Signals: From Instantaneous Recognition to Fusion of Motor Unit Spike Trains
Concordia University（康考迪亚大学）；New York University（纽约大学）；University of Calgary（卡尔加里大学）
设计高效、省力的假手需要强大的手势识别算法，这些算法可以在有限的复杂性和延迟的情况下实现高精度。在这种情况下，本文提出了一种紧凑的深度学习框架，称为CT-HGR，它采用Vision Transformer网络，使用高密度sEMG（HD-sEMG）信号进行手势识别。在所提出的模型中的注意力机制识别不同的数据段之间的相似性，具有更大的并行计算能力，并解决了内存限制的问题，同时处理大序列长度的输入。CT-HGR可以从头开始训练，无需任何迁移学习，并且可以同时提取HD-sEMG数据的时间和空间特征。此外，CT-HGR框架可以使用从HD-sEMG信号空间组成的sEMG图像执行瞬时识别。CT-HGR的变体还被设计为以使用盲源分离（BSS）从HD-sEMG信号提取的运动单位尖峰串（MUST）的形式并入微观神经驱动信息。该变体通过混合架构与其基线版本相结合，以评估融合宏观和微观神经驱动信息的潜力。所利用的HD-sEMG数据集涉及128个电极，其收集与20个受试者的65个等长手势相关的信号。所提出的CT-HGR框架应用于利用32、64、128个电极通道的上述数据集的31.25、62.5、125、250 ms窗口大小。使用32个电极和31.25 ms的窗口大小的所有参与者的平均准确率为86.23%，逐渐增加，直到达到91.98%的128个电极和250 ms的窗口大小。CT-HGR实现基于单帧HD-sE…
2022-12-07 cs.LG eess.SP
sEMG Gesture Recognition with a Simple Model of Attention
Southern Methodist University（南卫理公会大学）
肌电控制是机器人假肢领域的前沿研究领域之一。我们介绍了我们在表面肌电信号（sEMG）信号分类方面的研究，其中我们简单而新颖的基于注意力的方法现在处于行业领先地位，普遍击败了更复杂的最先进模型。我们的新型基于注意力的模型在多个行业标准数据集上实现了基准领先的结果，包括53个手指，手腕和抓握动作，比复杂的信号处理和基于CNN的方法都有所改进。我们用一个简单的模型得出的强有力的结果也表明，sEMG代表了未来机器学习研究的一个有前途的途径，不仅在假肢中有应用，而且在其他重要领域也有应用，如神经退行性疾病的诊断和诊断，计算介导的手术和先进的机器人控制。我们加强了这一建议与广泛的消融研究，证明了一个神经网络可以很容易地提取高阶时空特征从噪声sEMG数据收集负担得起的，消费级传感器。
2020-11-18 cs.LG eess.SP stat.ML
Bioformers: Embedding Transformers for Ultra-Low Power sEMG-based Gesture Recognition
Università di Bologna（博洛尼亚大学）；Politecnico di Torino（都灵理工大学）；ETH Zurich（苏黎世联邦理工学院）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
人机交互在康复任务中越来越受到关注，例如控制假肢或机器人手臂。利用表面肌电信号（sEMG）信号进行手势识别是最有前途的方法之一，因为sEMG信号采集是无创的并且与肌肉收缩直接相关。然而，这些信号的分析仍然存在许多挑战，因为相似的手势会导致相似的肌肉收缩。因此，得到的信号形状几乎相同，导致低分类精度。为了应对这一挑战，采用了复杂的神经网络，这需要大量的内存，消耗相对较高的能量，并限制了用于分类的设备的最大电池寿命。这项工作解决了这个问题，引入了生物成形剂。这一新的超小型注意力架构系列接近最先进的性能，同时减少了4.9倍的参数和操作数量。此外，通过引入新的受试者间预训练，我们将我们最好的Bioformer的准确性提高了3.39%，与最先进的准确性相匹配，而无需任何额外的推理成本。在并行超低功耗（PULP）微控制器单元（MCU）GreenWaves GAP 8上部署我们性能最好的Bioformer，我们实现了推理延迟和能量分别为2.72 ms和0.14 mJ，比之前最先进的神经网络低8.0倍，同时仅占用94.2 kB内存。
2022-03-25 cs.LG eess.SP
TEMGNet: Deep Transformer-based Decoding of Upperlimb sEMG for Hand Gestures Recognition
Concordia University（康考迪亚大学）；Concordia Institute for Information System Engineering (CIISE)（康考迪亚大学信息系统工程研究所（CIISE））；Electrical and Computer Engineering (ECE), Concordia University（康考迪亚大学电气与计算机工程系（ECE））；Department of Bioengineering, Imperial College London（帝国理工学院生物工程系）；Electrical and Computer Engineering and Mechanical and Aerospace Engineering, New York University (NYU)（纽约大学（NYU）电气与计算机工程及机械与航空航天工程系）；New York University (NYU)（纽约大学（NYU））；Imperial College London（帝国理工学院）
最近对机器学习（ML），特别是基于深度神经网络（DNN）的模型的兴趣激增，以从表面肌电图（sEMG）信号解码肌肉活动，用于神经机器人系统的肌电控制。然而，基于DNN的模型需要大的训练集，并且通常具有高的结构复杂性，即，它们依赖于大量的可训练参数。为了解决这些问题，我们开发了一个框架的基础上的Transformer架构处理表面肌电信号。我们提出了一种新的视觉Transformer（ViT）为基础的神经网络架构（简称为TEMGNet）分类和识别上肢手势从表面肌电信号用于肌控制的假肢。所提出的TEMGNet架构使用小数据集进行训练，无需预训练或微调。为了评估有效性，根据最近的文献，使用了NinaPro DB2数据集的第二个子集（练习B），其中提出的TEMGNet框架分别在300 ms和200 ms的窗口大小下实现了82.93%和82.05%的识别准确率，优于其最先进的同行。此外，所提出的TEMGNet框架在结构能力方面更优越，同时可训练参数减少了七倍。这些特性和高性能使得基于DNN的模型成为神经机器人肌电控制的有前途的方法。
2021-09-25 cs.LG eess.SP
Tackling Electrode Shift In Gesture Recognition with HD-EMG Electrode Subsets
Imperial College London（伦敦帝国理工学院）
针对sEMG手势识别中电极偏移导致的性能下降问题，提出在HD-sEMG输入通道子集上训练并利用不同电极位置数据增强训练分布的方法，同时降低输入维度，显著提升了跨会话鲁棒性与识别性能。
2024-01-05 cs.AI cs.LG eess.SP
MyoFlow: Anchor-Tied Rectified Flow for HD-sEMG Gesture Recognition Across Sessions and Subjects
Waseda University（早稻田大学）；KDDI Research Inc.（KDDI综合研究所）；The University of Manchester（曼彻斯特大学）
MyoFlow提出判别式流匹配框架，通过锚定修正流实现跨会话和跨受试者的HD-sEMG手势识别，无需独立分类头，显著提升准确率。
2026-09-24 cs.LG
MEET: Mixture of Experts Extra Tree-Based sEMG Hand Gesture Identification
Malaviya National Institute of Technology（马拉维亚国家理工学院）；Manipal Institute of Technology（马尼帕尔理工学院）
针对sEMG手部手势识别中多类别处理与偏差影响模型性能的问题，提出融合多专家模型与门控机制的MEET模型，在4名受试者6种手势的11种模型对比实验中取得最优识别效果。
2024-05-06 cs.LG eess.SP
An Exploratory Study of Single Channel Surface Electromyography for Hand Gesture Classification
研究探索单通道表面肌电图结合轻量级机器学习架构对手势分类的可行性，通过转换信号为综合特征表示、减少特征冗余等，评估三种分类器，结果表明结合相关技术和紧凑型神经网络能达90%准确率，凸显其在低功耗手势识别应用中的潜力。
2026-07-20 cs.LG
A Deep Learning Sequential Decoder for Transient High-Density Electromyography in Hand Gesture Recognition Using Subject-Embedded Transfer Learning
University of California Los Angeles (UCLA)（加州大学洛杉矶分校（UCLA））；New York University (NYU)（纽约大学（NYU））；NYU WIRELESS（纽约大学无线研究中心）；NYU Center for Urban Science and Progress (CUSP)（纽约大学城市科学与进步中心（CUSP））
针对表面肌电个体差异大、深度学习训练数据需求高导致手势识别实用性低的问题，提出带受试者嵌入迁移学习的瞬态HD-sEMG序列解码器，跨用户泛化性能更优，减少新用户数据需求。
2023-09-23 cs.HC cs.LG cs.RO
ViT-HGR: Vision Transformer-based Hand Gesture Recognition from High Density Surface EMG Signals
Concordat University（康考迪亚大学）；Concordia Institute for Information System Engineering (CITIES)（康考迪亚信息系统工程研究所（CITIES））
最近，人们对应用深度学习（DL）模型使用表面肌电图（sEMG）信号自主地执行手势识别产生了极大的兴趣。然而，DL模型主要设计用于稀疏sEMG信号。此外，由于其复杂的结构，通常，我们面临着内存的限制，需要大量的训练时间和大量的训练样本，并有必要诉诸数据增强和/或迁移学习。在本文中，第一次（据我们所知），我们调查和设计了一个基于视觉Transformer（ViT）的架构，从高密度（HD-sEMG）信号进行手势识别。直观地说，我们利用最近的突破性作用的Transformer架构，在处理不同的复杂问题，以及其潜在的采用更多的输入并行化通过其注意力机制。所提出的基于视觉Transformer的手势识别（ViT-HGR）框架可以克服上述训练时间问题，并且可以从头开始准确地分类大量手势，而不需要任何数据增强和/或迁移学习。建议的ViT-HGR框架的效率进行评估，使用最近发布的HD-sEMG数据集组成的65等距手势。我们的实验与64个样本（31.25毫秒）窗口大小产生的平均测试精度为84.62 +/-3.07%，其中只有78210个参数被利用。所提出的基于ViT的ViT-HGR框架的紧凑结构（即，具有显著减少的可训练参数的数量）对于其用于假肢控制的实际应用显示出巨大的潜力。
2022-01-25 cs.CV cs.LG eess.SP
Leveraging Convolutional Sparse Autoencoders for Robust Movement Classification from Low-Density sEMG
本文提出利用两个sEMG通道通过卷积稀疏自编码器实现准确的手势识别，通过少样本迁移学习提升多用户性能，并支持功能扩展，实现高效且可扩展的假肢系统。
2026-01-30 cs.AI cs.LG eess.SP
A Multi-label Classification Approach to Increase Expressivity of EMG-based Gesture Recognition
Northeastern University（东北大学）
本文提出一种多标签分类方法，将sEMG手势分解为手腕方向与手指修饰两个独立组件，仅用单个手势训练并通过受限合成数据外推组合手势，在缩短校准时间的同时提升手势识别表达能力。
2023-09-13 cs.HC cs.LG eess.SP
IsoNet: Causal Analysis of Multimodal Transformers for Neuromuscular Gesture Classification
Dept. of Electrical and Computer Engineering（电气与计算机工程系）；New York University（纽约大学）；Tandon School of Engineering（坦顿工程学院）
本研究提出IsoNet因果分析方法，通过隔离注意力路径揭示跨模态交互贡献约30%决策信号，证明分层Transformer融合策略在手势分类中显著优于单模态基线。
2025-06-20 cs.LG cs.RO eess.SP
User Training with Error Augmentation for Electromyogram-based Gesture Classification
Northeastern University（东北大学）；Khoury College of Computer Sciences（科里计算机科学学院）；Meta Reality Labs Research（Meta现实实验室）；Institute for Experiential AI（体验式人工智能研究院）；Department of Physical Therapy, Movement, and Rehabilitation Sciences（物理治疗、运动与康复科学系）
提出一种基于sEMG的实时手势分类系统，通过在用户训练阶段引入隐藏的误差增强反馈，显著提升了手势识别准确率和类别分离度。
2024-03-22 cs.HC cs.LG eess.SP
Machine Learning-based sEMG Signal Classification for Hand Gesture Recognition
Wichita State University（威奇托州立大学）
本文通过融合时域描述符、时空描述符和小波变换特征，结合机器学习与深度学习模型对手势识别进行基准测试，在Grabmyo和FORS-EMG数据集上分别以97%和94.95%的准确率验证了1D Dilated CNN和随机森林的最优性能。
2024-11-23 cs.CV cs.LG
Conservative Subject Invariant EMG-based Gesture Recognition
Department of Electrical Engineering, Center of Excellence on Soft Computing and Intelligent Information Processing, Ferdowsi University of Mashhad（马什哈德费尔多西大学电气工程系，软计算与智能信息处理卓越中心）；Department of Computer Engineering, Ne. C., Islamic Azad University, Neyshabur（内沙布尔伊斯兰阿扎德大学计算机工程系）
研究基于表面肌电图的手势识别中跨主体泛化难题。提出保守多目标学习框架，采用多头架构联合优化手势分类等，引入自适应加权机制，在两个数据集上评估，提升跨主体泛化性能。
2026-07-07 cs.LG
Dual Stage Classification of Hand Gestures using Surface Electromyogram
Amity University（阿米提大学）
表面肌电图（sEMG）在涉及人体运动分析的应用中变得非常有用，例如人机界面，辅助技术，医疗保健和假肢开发。提出了一种新的双阶段分类方法，用于从表面肌电信号中分类抓取手势。对这些活动进行了统计评估，以确定所考虑的活动之间的相似特征。类似的活动被归为一类。在分类的第一阶段，一项活动被确定为属于一个组，然后在分类的第二阶段被进一步分类为该组内的一项活动。所提出的方法的性能相比，传统的单阶段分类方法的分类精度。使用建议的双阶段分类获得的分类精度显着高于单阶段分类。
2020-04-27 cs.LG cs.NE eess.SP
Unsupervised Domain Adversarial Self-Calibration for Electromyographic-based Gesture Recognition
表面肌电图（sEMG）提供了一个直观的和非侵入性的界面，从中控制机器。然而，由于用这种记录技术获得的信号的瞬态性质，在多天内保持肌电控制系统的性能是具有挑战性的。在实践中，如果系统要保持可用，则需要进行耗时且定期的重新校准。在每隔几天使用sEMG接口的情况下，用户可能需要在每次使用之前进行重新校准。因此，严重限制了这种控制方法的实用性。因此，本文提出通过引入自校准异步域对抗神经网络（SCADANN）来解决sEMG信号的无监督自适应这一特别具有挑战性的任务。SCADANN与两种最先进的自校准算法进行了比较，这两种算法是专门为基于EMG的手势识别背景下的深度学习开发的，还有三种最先进的领域对抗算法。比较是在离线和动态数据集（每个数据集20个参与者）上进行的，使用两种不同的深度网络架构，具有两种不同的输入模式（时空描述符和频谱图）。总体而言，SCADANN被证明在没有重新校准的情况下大幅系统地提高了分类性能，并在所有方法的所有测试案例中获得了最高的平均准确度。
2020-10-09 cs.HC cs.LG eess.SP
TraHGR: Transformer for Hand Gesture Recognition via ElectroMyography
Concordia University（康考迪亚大学）；York University（约克大学）
基于深度学习的手势识别（HGR）通过表面肌电图（sEMG）信号最近显示出开发先进的肌电控制假肢的巨大潜力。现有的深度学习方法通常只包括一个模型，因此在不断变化的场景中很难保持可接受的泛化性能。在本文中，我们的目标是通过利用混合模型和Transformers的最新进展来应对这一挑战。换句话说，我们提出了一个基于Transformer架构的混合框架，这是一个相对较新的革命性深度学习模型。所提出的混合架构，称为Transformer的手势识别（TraHGR），由两个并行的路径，其次是一个线性层，作为一个融合中心，以整合每个模块的优势，并提供不同的情况下的鲁棒性。我们基于常用的第二个Ninapro数据集（称为DB2）评估了拟议的架构TraHGR。DB2数据集中的sEMG信号是在现实生活条件下测量的，来自40个健康用户，每个用户执行49个手势。我们已经进行了大量的实验来测试和验证所提出的TraHGR架构，并在同一数据集上将其可实现的准确性与最近提出的五种以上的HGR分类算法进行了比较。我们还比较了建议的TraHGR架构与每个单独的路径的结果，并证明了所提出的混合架构的区分能力。TraHGR的识别率分别为86.18%、88.91%、81.44%和93.84%，比DB2的最新性能分别提高了2.48%、5.12%、8.82%和4.30 DB2-B（17个手势）、DB2-C（23个手势）和DB2-D…
2022-03-31 cs.LG eess.SP
Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control
Department of Information Engineering, University of Padua（帕多瓦大学信息工程系）；Padova Neuroscience Center, University of Padua（帕多瓦大学帕多瓦神经科学中心）；Department of Biomedical Sciences, University of Padua（帕多瓦大学生物医学科学系）；Department of Neuroscience, University of Padua（帕多瓦大学神经科学系）；Information Systems Institute, University of Applied Sciences Western Switzerland (HES-SO Valais)（瑞士西部应用科学大学（HES-SO瓦莱州）信息系统研究所）
研究针对表面肌电手势识别用于假肢控制时当前架构的局限，提出EMG-CrossFormer，通过级联交叉注意力融合层组合单模态编码器表示，经实验验证该方法能提升仅sEMG解码及多模态融合下的手势识别性能。
2026-07-28 cs.AI cs.LG
Activity Detection from Wearable Electromyogram Sensors using Hidden Markov Model
Amity University（阿米提大学）
表面肌电图（sEMG）在用于医疗保健系统、手势分析和识别以及手语交流的消费电子产品的最近发展中具有重要意义。对于这样的系统，必须确定连续记录的sEMG信号中的活动区域。所提出的工作提供了一种新的活动检测方法的基础上隐马尔可夫模型（HMM）使用sEMG信号记录时，各种手势进行。检测过程是基于概率的观点，利用数学模型设计的。消除了对活动检测阈值的要求，使其独立于主体和活动。通过将检测到的过渡区域周围的信号段分类为活动或静止来断言预测输出的正确性。将分类输出与给予受试者执行活动的刺激中的过渡区域进行比较。活动开始检测的平均准确度为96.25%，而活动终止区域的平均准确度为87.5%，与所考虑的一组六个活动和四个主题。
2020-04-27 cs.LG eess.SP stat.ML
An LSTM Feature Imitation Network for Hand Movement Recognition from sEMG Signals
New York University Abu Dhabi（纽约大学阿布扎比分校）；New York University（纽约大学）；Center for AI and Robotics (CAIR)（人工智能与机器人中心）；NYUAD Research Institute（纽约大学阿布扎比分校研究院）
本文提出轻量级LSTM特征模仿网络（LSTM-FIN），在Ninapro DB2上对300ms sEMG信号窗口模仿四种时间特征，实现17种手部动作识别，在数据稀缺场景下取得80%识别精度并验证了跨受试者与低延迟鲁棒性。
2024-12-30 cs.AI cs.LG cs.RO
FatigueFormer: A Physiology-Informed Model for Upper-Limb Muscle Fatigue Assessment
Zhejiang University（浙江大学）
FatigueFormer通过结合显著性引导的特征分离与深度时间建模，实现从sEMG信号中学习可解释且通用的肌肉疲劳动态，提升低和高MVC条件下的性能稳定性。
2026-11-04 cs.AI cs.LG
XceptionTime: A Novel Deep Architecture based on Depthwise Separable Convolutions for Hand Gesture Classification
Concordia University（康考迪亚大学）；Concordia Institute for Information System Engineering（康考迪亚信息系统工程研究院）；New York University（纽约大学）
利用通过稀疏多通道表面肌电信号（sEMG）信号解决与手势识别相关的现有挑战的需求，本文提出了一种新的深度学习模型，称为XceptionTime架构。提出的创新XceptionTime是通过集成dependency可分离卷积，自适应平均池化和一种新的非线性归一化技术而设计的。在所提出的架构的核心是几个XceptionTime模块串联的方式，旨在捕捉时间和空间的稀疏多通道sEMG信号的信息承载内容，而不需要数据增强和/或手动设计的特征提取。此外，通过集成自适应平均池化、Conv 1D和非线性归一化方法，XceptionTime不太容易过拟合，对输入的时间转换更鲁棒，更重要的是与输入窗口大小无关。最后，通过使用dependency可分离卷积，XceptionTime网络的参数要少得多，从而降低了网络的复杂性。XceptionTime的性能在一个子Ninapro数据集DB 1上进行了测试，结果显示，与任何现有的同类数据集相比，XceptionTime的性能都更优越。在这方面，5：71%的精度提高，窗口大小为200毫秒，本文报道，为第一次。
2019-11-09 cs.LG eess.SP stat.ML
S-ConvNet: A Shallow Convolutional Neural Network Architecture for Neuromuscular Activity Recognition Using Instantaneous High-Density Surface EMG Images
Université du Québec à Trois-Rivières（魁北克大学三河分校）；Concordia University（康考迪亚大学）
针对HD-sEMG图像识别中深度网络计算成本高的问题，提出S-ConvNet和All-ConvNet模型从头学习特征，在无需预训练、数据集缩小约12倍且大幅减少参数的情况下，仍取得极具竞争力的准确率，尤其适用于资源受限场景。
2019-06-08 cs.AI cs.CV cs.LG
A temporal-to-spatial deep convolutional neural network for classification of hand movements from multichannel electromyography data
The University of Sheffield（谢菲尔德大学）
深度卷积神经网络（CNN）对于从表面肌电图（sEMG）数据分类手部运动的目的很有吸引力，因为它们能够从原始数据中执行自动化的个人特定特征提取。在本文中，我们提出了新的贡献，并评估了设计的早期处理层的深CNN多通道表面肌电信号。具体来说，我们提出了一种新的时间到空间（TtS）CNN架构，其中第一层分别对每个sEMG通道进行卷积以提取时间特征。这是由以下想法激发的：每个通道中的sEMG信号由肌肉的一个或一小部分介导，其时间激活模式与手势的签名特征相关联。时间层分别捕获每个通道的这些签名特征，然后在连续的层中空间混合以识别特定的手势。一个实际的优点是，这种方法也使CNN简单地设计不同的采样率。我们使用NinaPro数据库1（27名受试者和52个运动+休息），以100 Hz采样，数据库2（40名受试者和40个运动+休息），以2 kHz采样，以评估我们提出的CNN设计。我们对基于特征的支持向量机（SVM）分类器、文献中的两个CNN以及CNN的额外标准设计进行了基准测试。我们发现，我们的新型TtS CNN设计在数据库1上实现了66.6%的每类准确率，在数据库2上实现了67.8%的每类准确率，并且TtS CNN在2%的显著性水平下使用统计假设检验优于所有其他比较分类器。
2020-08-19 cs.LG eess.SP
Hand Gesture Recognition Using Temporal Convolutions and Attention Mechanism
Concordia University（康考迪亚大学）；Concordia Institute for Information System Engineering（康考迪亚信息系统工程研究院）；Imperial College London（帝国理工学院）；New York University（纽约大学）
生物信号处理和机器学习的进步，特别是深度神经网络（DNN），为开发用于解码人类意图和控制假肢的创新人机界面铺平了道路。DNN模型相对于其他用于解码肌肉电活动的算法，特别是用于识别手势，已经显示出有希望的结果。然而，这种数据驱动的模型由于需要大量的可训练参数及其结构复杂性而受到挑战。在这里，我们提出了新的时间卷积为基础的手势识别架构（TC-HGR），以减少这种计算负担。利用这种方法，我们通过注意力机制和时间卷积的表面肌电图（sEMG）信号的手势分类。所提出的方法导致81.65%和80.72%的分类精度分别为300毫秒和200毫秒的窗口大小。训练所提出的TC-HGR架构的参数数量比其最先进的对应物少11.9倍。
2021-10-17 cs.LG eess.SP
Cascade of one-class classifier ensemble and dynamic naive Bayes classifier applied to the myoelectric-based upper limb prosthesis control with contaminated channels detection
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
本文提出级联单类分类器集成与动态朴素贝叶斯分类器的肌电假肢控制系统，用于检测受污染 sEMG 通道并识别运动意图，真实信号实验表明其提升了分类质量。
2025-03-10 cs.LG eess.SP
Light-weighted CNN-Attention based architecture for Hand Gesture Recognition via ElectroMyography
Concordia University（康考迪亚大学）；Concordia Institute for Information System Engineering（康考迪亚信息系统工程研究所）
生物信号处理（BSP）和机器学习（ML）模型的进步为开发新型沉浸式人机界面（HMI）铺平了道路。在这种背景下，利用表面肌电图（sEMG）信号的手势识别（HGR）已经引起了极大的兴趣。这是因为它具有解码可穿戴数据的独特潜力，可以解释人类沉浸在混合现实（MR）环境中的意图。为了达到尽可能高的精度，通常开发复杂且权重较大的深度神经网络（DNN），这限制了其在低功耗和资源受限的可穿戴系统中的实际应用。在这项工作中，我们提出了一个轻量级的混合架构（HDCAM）的卷积神经网络（CNN）和注意力机制的基础上，有效地提取本地和全局表示的输入。所提出的具有58，441个参数的HDCAM模型达到了新的最先进（SOTA）性能，在300 ms和200 ms的窗口大小上对17个手势进行分类的准确率分别为82.91%和81.28%。用于训练所提出的HDCAM架构的参数数量比其先前的SOTA对应物少18.87倍。
2022-10-27 cs.LG eess.SP
HYDRA-HGR: A Hybrid Transformer-based Architecture for Fusion of Macroscopic and Microscopic Neural Drive Information
Concordia University（康考迪亚大学）；Concordia Institute of Information Systems Engineering (CIISE)（康考迪亚信息系统工程研究院）；New York University (NYU)（纽约大学）；UNSW SYDNEY（悉尼新南威尔士大学）
基于表面肌电图（sEMG）的高级人机界面（HMI）系统的开发对于为未来的网络-物理-人类（CPH）世界的出现铺平道路至关重要。在这种背景下，最近文献的主要焦点是开发不同的基于深度神经网络（DNN）的架构，这些架构在宏观层面上执行手势识别（HGR）（即，直接来自sEMG信号）。与此同时，高密度sEMG信号（HD-sEMG）采集的进步导致了对sEMG分解技术的极大兴趣，以提取微观神经驱动信息。然而，由于sEMG分解的复杂性和增加的计算开销，微观水平的HGR比其前述基于DNN的对应物探索得更少。在这方面，我们提出了HYDRA-HGR框架，这是一个混合模型，同时提取一组时间和空间的功能，通过其两个独立的Vision Transformer（ViT）为基础的并行架构（所谓的宏和微路径）。宏路径直接在预处理的HD-sEMG信号上进行训练，而微路径被馈送每个源的提取的运动单位动作电位（MUAP）的p-to-p值。然后，在宏观和微观层面上提取的特征通过全连接（FC）融合层耦合。我们通过最近发布的HD-sEMG数据集评估了所提出的混合HYDRA-HGR框架，并表明它显着优于其独立的同行。建议的HYDRA-HGR框架实现了平均准确率为94.86%的250毫秒的窗口大小，这是5.52%和8.22%，分别高于宏和微路径。
2022-10-27 cs.CV cs.LG eess.SP
Surface EMG-Based Inter-Session/Inter-Subject Gesture Recognition by Leveraging Lightweight All-ConvNet and Transfer Learning
Université du Québec à Trois-Rivières（魁北克大学三河分校）；Concordia University（康考迪亚大学）
针对表面肌电手势识别中跨会话和跨被试数据变异导致的分布偏移问题，本文提出仅由卷积层构成的轻量级All-ConvNet+TL模型，以极低计算成本在多个数据集上超越现有复杂方法并取得最先进性能。
2024-02-19 cs.AI cs.CV cs.LG
GesturePrint: Enabling User Identification for mmWave-based Gesture Recognition Systems
Zhejiang University（浙江大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出 GesturePrint，首次利用商用毫米波雷达同时实现手势识别与用户识别，通过 GesIDNet 多级特征融合在多个场景中取得高准确率。
2024-07-25 cs.CV cs.HC cs.LG
Sensor-Based Continuous Hand Gesture Recognition by Long Short-Term Memory
National Taiwan Normal University（台湾师范大学）
提出了一种基于长短期记忆（LSTM）的基于传感器的连续手势识别算法。算法只需要基本的加速器和/或陀螺仪。给定一个输入传感器数据序列，采用多对多LSTM方案产生一条输出路径，然后基于观察到的路径进行最大后验估计，得到最终的分类结果。基于智能手机的原型系统已经实现的性能评估。实验结果表明，该算法是一种有效的替代鲁棒性和准确的手势识别。
2020-07-22 cs.LG eess.SP
Wi-Fringe: Leveraging Text Semantics in WiFi CSI-Based Device-Free Named Gesture Recognition
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
缺乏足够的训练数据是基于WiFi的活动识别系统的主要障碍之一。在本文中，我们提出了Wi-Fringe，这是一个基于WiFi CSI的无设备人类手势识别系统，可以识别命名手势，即，在英语中具有语义上有意义的名称的活动和手势，而不是任意的自由形式的手势。给定一个Activity列表（只有它们的英文名称），以及每个Activity的零个或多个训练示例（WiFi CSI值），Wi-Fringe能够在运行时检测所有Activity。换句话说，Wi-Fringe检测到的活动子集根本不需要任何训练样本。
2019-08-16 cs.LG eess.SP stat.ML
CLIP-MG: Guiding Semantic Attention with Skeletal Pose Features and RGB Data for Micro-Gesture Recognition on the iMiGUE Dataset
Cyrion Labs, Texas, United States（Cyrion实验室，德克萨斯州，美国）
本文提出CLIP-MG，一种融合骨骼姿态与RGB数据的改进CLIP模型，通过姿态引导语义查询和门控多模态融合，在iMiGUE数据集上实现61.82%的Top-1准确率，验证了方法潜力并揭示适配挑战。
2025-06-19 cs.AI cs.CV cs.LG
Simultaneous Segmentation and Recognition: Towards more accurate Ego Gesture Recognition
V-Sense；Trinity College Dublin（都柏林圣三一学院）
自我手势可以用作AR和VR环境中的界面。虽然图像的上下文对于场景理解、对象识别、图像字幕生成和活动识别等任务很重要，但它在自我手势识别中起的作用最小。用于AR和VR环境的自我手势传达相同的信息，而不管背景如何。考虑到这一点，我们提出了我们的工作自我手势识别，产生嵌入RBG图像与自我的手，这是同时用于自我的手分割和自我手势识别。在这个程度上，我们在公开的最大的自我手势数据集上实现了更好的识别准确率（96.9%），而不是最先进的（92.2%）。我们提出了一种手势识别深度神经网络，它通过从不同长度的图像序列中生成和识别自我手的嵌入来从视频（包含单个手势的视频）中识别自我手势。我们介绍了同时分割和识别自我手势的概念，提出了网络结构，训练过程和结果相比，最先进的EgoGesture数据集
2019-09-18 cs.CV cs.LG
WaveGlove: Transformer-based hand gesture recognition using multiple inertial sensors
Comenius University Bratislava（布拉迪斯拉发夸美纽斯大学）
近年来，基于惯性数据的手势识别（HGR）发展迅速，最先进的方法是利用单个手持传感器和由简单手势组成的词汇表。在这项工作中，我们探讨使用多个惯性传感器的好处。使用WaveGlove，一个定制的硬件原型，在一个手套的形式与五个惯性传感器，我们获得两个数据集组成的$11000$样本。为了使它们与以前的工作相媲美，它们与$9$其他公开可用的数据集一起进行了规范化，随后用于评估一系列用于手势识别的机器学习方法，包括新提出的基于transformer的架构。我们的研究结果表明，即使是复杂的手势，涉及不同的手指可以识别出高精度。对采集的数据集进行的消融研究证明了多个传感器的重要性，当使用多达三个传感器时，性能有所提高，除此之外没有显著改善。
2021-05-04 cs.HC cs.LG eess.SP
Temporal Posed and Spontaneous Gesture Recognition from Electromyography in the Rock-Paper-Scissors Game
研究利用双通道肌电图在剪刀石头布游戏中检测手势，发现肌电信号可在视觉动作前800毫秒检测到，摆拍手势识别准确率63.4%，自发手势53.6%，对手肌电信号可反映观察手势。
2026-06-28 cs.LG
Deformable Deep Convolutional Generative Adversarial Network in Microwave Based Hand Gesture Recognition System
传统的基于视觉的手势识别系统在黑暗环境下具有局限性。本文构建了一个基于微波收发器和深度学习算法的手势识别系统。采用5.8GHz双接收通道多普勒雷达传感器采集大量手势信号。然后对接收到的手势信号进行时频分析。基于这些大的手势数据库，我们提出了一种新的机器学习架构，称为可变形深度卷积生成对抗网络。实验结果表明，新的结构可以提高识别率10%，变形核可以减少测试时间成本30%。
2017-11-22 cs.LG stat.ML
UAV-GESTURE: A Dataset for UAV Control and Gesture Recognition
University of South Australia（南澳大学）；Defence Science and Technology Group（国防科学技术集团）
目前无人机记录的数据集主要限于动作识别和对象跟踪，而手势信号数据集主要在室内空间记录。目前，无人机指挥信号没有室外录制的公共视频数据集。通过利用UAV的视觉传感器和操作简单性，可以有效地与UAV一起使用手势信号。为了填补这一空白，使研究在更广泛的应用领域，我们提出了一个无人机姿态信号数据集记录在户外设置。我们从一般的飞机操纵和直升机操纵信号中选择了13种适用于基本无人机导航和指挥的手势。我们提供119个高清视频剪辑，由37151帧组成。使用基于姿势的卷积神经网络（P-CNN）计算的总体基线手势识别性能为91.9%。所有的帧都用身体关节和手势类进行了注释，以便将数据集的适用性扩展到更广泛的研究领域，包括手势识别，动作识别，人体姿势识别和态势感知。
2019-01-09 cs.CV cs.HC cs.LG
Natural Typing Recognition via Surface Electromyography
Nokia Bell Labs（诺基亚贝尔实验室）
通过使用计算机键盘作为手指记录设备，我们通过表面肌电图（sEMG）构建了用于手势识别的最大现有数据集，并使用深度学习完全从测量的肌肉电位重建键入文本时实现了超过90%的字符级准确度。我们优先考虑EMG信号的时间结构，而不是电极布局的空间结构，使用受实时口语转录启发的网络架构。我们的体系结构认识到自然计算机打字的快速运动，这些运动以不规则的间隔发生，并且经常在时间上重叠。我们的数据集的广泛大小也使我们能够在综合降低空间或时间分辨率后研究手势识别，显示实时手势识别所需的系统功能。
2021-09-29 cs.HC cs.LG
Beyond Temporal Pooling: Recurrence and Temporal Convolutions for Gesture Recognition in Video
Ghent University（根特大学）；Google DeepMind（谷歌DeepMind）
最近的研究已经证明了递归神经网络在机器翻译、图像描述和语音识别方面的强大功能。然而，对于捕获视频中的时间结构的任务，仍然存在许多开放的研究问题。目前的研究建议使用一个简单的时间特征池策略，以考虑到视频的时间方面。我们证明，这种方法是不够的手势识别，时间信息是更具歧视性相比，一般的视频分类任务。我们探索了视频中手势识别的深层架构，并提出了一种新的端到端可训练神经网络架构，该架构结合了时间卷积和双向递归。我们的主要贡献是双重的;首先，我们证明了递归对于这项任务至关重要;其次，我们证明了添加时间卷积会带来显着的改进。我们在Montalbano手势识别数据集上评估了不同的方法，在那里我们获得了最先进的结果。
2016-02-10 cs.AI cs.CV cs.LG
Dynamic Gesture Recognition in Ultra-Range Distance for Effective Human-Robot Interaction
School of Mechanical Engineering（工程学院）；Tel-Aviv University（特拉维夫大学）
本文针对远距离人机交互中的手势识别问题，提出时序-时空融合网络（TSFN），在服务机器人、搜索救援和无人机交互等场景中显著提升了超远距离及长序列手势识别的准确率。
2024-07-31 cs.CV cs.LG cs.RO
Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation
Institute for Transport Studies（交通研究所）；University of Leeds（利兹大学）
本研究提出基于骨架姿态评估的行人手势识别框架，通过分析手部位置和运动速度提升AV对交通手势的识别准确率至87%。
2026-02-09 cs.AI cs.CV cs.ET
Dynamic Hand Gesture Recognition for Robot Manipulator Tasks
Indian Institute of Technology Mandi（印度理工学院曼迪分校）
本文提出基于高斯混合模型的无监督方法，用于实时识别动态手部姿态以提升人机交互的无缝性。
2026-01-19 cs.LG cs.RO
Towards Domain-Independent and Real-Time Gesture Recognition Using mmWave Signal
University of Science and Technology of China（中国科学技术大学）；China Nanhu Academy of Electronics and Information Technology（中国南湖电子信息技术研究院）
使用毫米波（mmWave）信号的人类手势识别提供了有吸引力的应用，包括灵巧家庭和车内接口。虽然现有的工作在受控设置下实现了有前途的性能，但由于需要密集的数据汇集，适应新领域时的额外训练工作以及实时的【形】识别性能差，实际应用仍然受到限制。在本文中，我们提出了DI-Gesture，一个领域无关的和实时的【形】毫米波手势识别系统。具体来说，我们首先推导出信号的变化对应于人类的姿态与时空处理。为了增强系统的鲁棒性并减少数据收集工作，我们基于信号模式和手势变化之间的相关性为毫米波信号设计了一个数据增强框架。此外，还采用了时空手势分割算法进行实时的【形】手势识别。大量的实验结果表明，DI手势实现了平均准确率为97.92%，99.18%，和98.76%的新用户，环境和位置，分别。我们还评估了具有挑战性的场景中的DI-手势，如实时的【形】识别和极端角度的传感，所有这些都证明了我们的系统的优越的鲁棒性和有效性。
2022-10-08 cs.CV cs.HC cs.LG
SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild
University of Verona（维罗纳大学）；Università di Modena e Reggio Emilia（摩德纳雷焦艾米利亚大学）；University of Central Florida（中佛罗里达大学）；University of Science, Ho Chi Minh City（胡志明市科学大学）
手势识别是一种基本工具，可以在各种应用场景中实现新颖的交互模式，如混合现实环境，非接触式公共信息亭，娱乐系统等。手势的识别现在可以直接从由低成本跟踪器（Ultraleap）和MR头戴式耳机（Hololens，Oculus Quest）提供的软件或视频处理软件模块（例如Google Mediapipe）估计的手骨架流执行。尽管最近在骨架的手势和动作识别方面取得了进展，但目前还不清楚当前最先进的技术在现实世界中识别大量异构手势的情况下的表现如何，因为许多基准测试不测试在线识别并且使用有限的字典。这激发了SHREC 2021的提案：追踪野外基于伊顿的手势识别。对于这次比赛，我们创建了一个具有不同类型和持续时间的异构手势的新颖数据集。这些手势必须在在线识别场景中的序列中找到。本文介绍了比赛结果，展示了四个研究小组在这项具有挑战性的任务上提出的技术与简单基线方法相比的性能。
2021-06-21 cs.CV cs.LG
Hand Gesture Recognition Based on a Nonconvex Regularization
University of Kentucky（肯塔基大学）
手势识别是人机交互中最基本的任务之一。基于稀疏表示的方法由于其效率高和对训练数据要求低而得到广泛应用。最近，在图像处理界已经提出了包括$\ell_{1-2}$正则化的非凸正则化技术，以在实现有效性能的同时促进稀疏性。本文提出了一种基于$\ell_{1-2}$正则化的视觉手势识别模型，并用交替方向乘法（ADMM）求解。在二值和灰度数据集上的数值实验证明了该方法在手势识别中的有效性。
2022-04-25 cs.CV cs.LG math.OC
A Comparative Study of EMG- and IMU-based Gesture Recognition at the Wrist and Forearm
研究基于IMU信号的手势识别潜力，通过比较不同肌肉群，发现其含足够信息用于静态手势识别，肌腱诱导微运动是主要贡献因素，该研究为多领域手势识别及假肢可用性提升提供新可能。
2026-07-08 cs.HC cs.LG
Adversary Helps: Gradient-based Device-Free Domain-Independent Gesture Recognition
Zhejiang University（浙江大学）
基于无线信号的手势识别技术促进了虚拟现实游戏、灵巧家庭等领域的发展。当识别模型在一个域中训练但在另一个域中使用时，会出现低识别准确度。虽然已经提出了对抗学习、迁移学习和体坐标速度剖面等方法来实现跨域识别，但这些方法或多或少都存在缺陷。在本文中，我们定义了域间隙的概念，然后提出了一个更有前途的解决方案，即DI，以消除域间隙，进一步实现领域无关的手势识别。DI利用梯度图的符号图作为域间隙消除器来提高识别精度。我们进行了十个领域和十个手势的实验。实验结果表明，DI在KNN、SVM和CNN上的识别准确率分别为87.13%、90.12%和94.45%，优于现有的识别方法。
2020-04-08 cs.CV cs.LG eess.IV
Multi-velocity neural networks for gesture recognition in videos
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的动作识别深度神经网络，除了分类之外，它还自适应地学习最佳动作速度。虽然深度神经网络在图像理解任务方面已经成熟，但我们仍在探索网络拓扑和功能，以处理更丰富的视频剪辑环境。在这里，我们解决了动作识别中的多速度问题，并在已知和新收集的数据集上提供了手势识别的最新结果。我们进一步为我们的半监督网络提供了训练步骤，适合从只有一小部分标记示例的大型未标记数据集中学习。
2016-03-22 cs.CV cs.LG
Appearance-based Gesture recognition in the compressed domain
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的基于外观的手势识别算法，使用压缩域信号处理技术。手势特征直接从压缩的测量值中提取，压缩的测量值是图像传感器的像素值的块平均值和编码线性组合。我们还提高了以前的DTW为基础的K-NN手势分类器的计算效率和内存需求。仿真测试和硬件实现都有力地支持了该算法。
2019-02-19 cs.CV cs.LG stat.ML
