arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

EMG-GPT:基于残差量化EMG令牌的预测预训练用于手部姿态估计

EMG-GPT: Predictive Pretraining on Residual-Quantized EMG Tokens for Hand Pose Estimation

Ettore Magni, Rolandos Alexandros Potamias, Stefanos Zafeiriou, Konstantinos Barmpas

arXiv 2610.05235首次发表:更新:

发表机构

Imperial College London(帝国理工学院)

机构由 AI 辅助整理,请以论文原文为准。

AI 中文总结

本文提出EMG-GPT,一种基于因果Transformer的模型,利用残差量化sEMG令牌进行自监督预训练,通过深度自回归未来代码预测学习时间动态,在手部姿态估计的回归和跟踪任务中取得竞争性结果,验证了仅EMG预训练的有效性。

AI 中文摘要

表面肌电信号(sEMG)是一种低功耗、成本低廉的生物信号,用于手部姿态估计和手势分类。在这项工作中,我们研究了在sEMG上进行自监督预训练是否能够产生可迁移的表示,用于连续手部姿态估计。我们提出了EMG-GPT,一种基于因果Transformer的模型,它操作于来自冻结的残差向量量化(RVQ)分词器的离散sEMG表示,并通过深度自回归未来代码预测来学习时间动态。该模型结合了帧内集成与因果时间建模,同时保留了预训练码本的几何结构。EMG-GPT在回归和跟踪任务中均表现出竞争性结果,支持仅使用EMG的预训练作为学习可迁移sEMG表示的一种可行方法。

英文摘要

Surface electromyography (sEMG) is a low-power, cost-effective biosignal for hand-pose estimation and gesture classification. In this work, we examine whether self-supervised pretraining on sEMG can yield transferable representations for continuous hand-pose estimation. We introduce EMG-GPT, a causal transformer-based model that operates on discrete sEMG representations from a frozen residual vector quantization (RVQ) tokenizer and learns temporal dynamics through depth-autoregressive future-code prediction. The model combines within-frame integration with causal temporal modeling while preserving the geometry of the pretrained codebook. EMG-GPT shows competitive results in both Regression and Tracking tasks, supporting EMG-only pretraining as a viable approach for learning transferable sEMG representations.

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑