In-Place Gestures Classification via Long-term Memory Augmented Network
基于手势的虚拟运动技术使用户能够控制他们的视点并直观地在3D虚拟环境中移动。一个关键的研究问题是准确和快速地识别到位的手势，因为他们可以触发虚拟视点的特定运动，提高用户体验。然而，为了实现实时体验，只能将短期传感器序列数据（最多约300ms，6至10帧）作为输入，这实际上由于有限的时空信息而影响分类性能。在本文中，我们提出了一种新的长期记忆增强网络在地方手势分类。它将短期手势序列样本及其对应的长期序列样本作为输入，这些样本在训练阶段提供额外的相关时空信息。我们用外部存储器队列存储长期序列特征。此外，我们设计了一个记忆增强的损失，以帮助集群的功能相同的类和推分开的功能，从不同的类，从而使我们的记忆队列，以记住更多相关的长期序列的功能。在推理阶段，我们只输入短期序列样本来调用相应的存储特征，并将它们融合在一起来预测手势类。我们从25个参与者中创建了一个大规模的到位手势数据集，其中包含11个手势。我们的方法实现了一个有前途的准确率为95.1%的延迟为192毫秒，和准确率为97.3%的延迟为312毫秒，并被证明是优于最近的到位手势分类技术。用户研究也验证了我们的方法。我们的源代码和数据集将提供给社区。
2022-09-02 cs.HC
A Browser-Based Gesture-Driven Avatar Interaction Framework for Metaverse Onboarding Environments
Infosys Limited（印孚瑟斯有限公司）
本文提出一种面向元宇宙入门环境的基于浏览器的手势驱动交互框架，结合Google MediaPipe手势识别与两种移动技术，经5人评估验证，实现无控制器的轻量交互。
2026-08-13 cs.GR cs.HC
VR-Stepper: A Do-It-Yourself Game Interface For Locomotion In Virtual Environments
与现实世界的任务相比，在虚拟环境（VE）中完成任务很少涉及人体提供的全部技能。VE中的用户输入通常通过简单的手指手势来完成，例如通过简单地按下按钮在场景中行走，即使这种交互不是很合适。为了创造一个更直观和自然的交互，不同的项目试图通过尝试实现自然的行走运动来解决虚拟环境中的运动问题，这也应该增加沉浸感。现有的解决方案，如粉碎机仍然是昂贵的，并需要额外的固定身体。在本文中，我们描述了一种简单而廉价的方法来构建一个有用的运动接口，使用传统的运动步进器和Arduino。该装置能够通过原地行走在VE中进行控制，而不需要任何额外的固定小工具。我们与10名参与者进行了一项用户研究，以评估与其他用于运动的界面（如Wii平衡板和Wand操纵杆）相比，对乐趣和易用性，沉浸感和可靠性的印象。我们发现，在沉浸感和使用乐趣方面，踏步机的体验略好。此外，发现按下操纵杆上的按钮被认为更可靠。
2014-07-15 cs.HC
Spatial Orchestra: Locomotion Music Instruments through Spatial Exploration
University of California Santa Barbara（加州大学圣塔芭芭拉分校）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出空间乐团AR系统，通过用户步入颜色编码气泡触发大提琴音符，利用空间音频实现自然运动演奏，让各技能水平者轻松创作音乐，探索空间意识与音乐表演的关系。
2025-10-27 cs.HC
How to Improve Your Virtual Experience -- Exploring the Obstacles of Mainstream VR
什么是虚拟现实？一个专业的工具，为方便我们的日常工作？一个概念上的错误，伴随着电脑病和未解决的运动问题，从一开始？或者只是另一种娱乐来源，帮助我们逃离我们日益恶化的世界？在这方面，公众和科学界的意见各不相同。此外，作为研究人员，我们有时会问自己，鉴于对VR未来的模糊预测，我们在这一领域的工作是否真的“值得”。为了解决这个问题，我们在这篇论文中探索了VR研究的三个不同领域，即运动，交互和感知。我们通过构建VR运动并通过引入一种新的运动概念来开始我们的旅程，这种运动概念通过虚拟身体来进行长距离旅行。在第二部分中，我们专注于VR中的交互可能性。我们学习如何通过自我转换控制器来表示虚拟对象，以及如何将我们的物品存储在VR库存中。我们为观众设计了全面的3D手势，并提供了一个I/O抽象层，以促进实现和使用这种不同的交互方式。第三部分致力于探索VR中的感知现象。与运动和互动相反，我们在感知领域的贡献强调了沉浸式设置的优点。我们利用VR将虚拟身体所有权的错觉转移到非人形化身上，并利用这种现象来创造以动物为主角的新颖游戏体验。作为我们的贡献之一，我们展示了如何重新利用沉浸式设置的二分表示功能，以实现可视化中的预注意零开销突出显示。我们通过回到VR研究来完成论文，对我们的贡献进行了批判性评估，并分享了我们在此过程中学到的经验教训。
2020-09-09 cs.HC
Vision-Based Hand Gesture Customization from a Single Demonstration
本文提出一种基于单目摄像头和单次演示的手势定制方法，利用Transformer与元学习解决少样本学习问题，支持单手、双手、静态、动态手势及不同视角，并在真实应用中实现高达94%的平均识别准确率。
2024-10-02 cs.HC
AdaptaFace: Adversarial Assistance for Inclusive Facial Gesture Interaction
University of Bristol（布里斯托大学）；Zhongguancun Academy（中关村学院）
AdaptaFace是一种输入级兼容层，通过对抗性扰动将用户适配的面部手势转换为标准识别器输入，提升了运动障碍人群的面部手势交互任务完成率、降低了工作负荷，为包容性交互提供了新方案。
2026-10-14 cs.HC
Enhancing Hand Palm Motion Gesture Recognition by Eliminating Reference Frame Bias via Frame-Invariant Similarity Measures
Department of Mechanical Engineering and Flanders Make（机械工程系和佛兰德斯制造）
本文提出了一种通过帧不变相似性度量消除参考框架偏差的方法，用于提升手部手掌运动手势识别的鲁棒性，并在实时应用中实现了92.3%的识别准确率。
2025-12-11 cs.CV cs.HC cs.RO
Accessible Gesture-Driven Augmented Reality Interaction System
Stevens Institute of Technology（斯蒂文斯理工学院）
本研究提出一种基于深度学习手势识别的增强现实交互系统，通过联邦学习保护隐私并优化界面，实验显示运动障碍用户任务效率提升20%、满意度提升25%。
2025-06-18 cs.AI cs.HC
HapTable: An Interactive Tabletop Providing Online Haptic Feedback for Touch Gestures
Koc University（科奇大学）
我们提出HapTable;一种多模式交互桌面，允许用户通过自然触摸手势与数字图像和对象交互，并相应地接收视觉和触觉反馈。在我们的系统中，手的姿态是由红外摄像机和手势进行分类，使用支持向量机（SVM）分类器。为了显示一组丰富的静态和动态手势的触觉效果，我们有效地集成了机电和静电驱动技术的HapTable，这是一个表面电容式触摸屏的桌面表面。我们将四个压电贴片连接到桌面的边缘，以显示静态手势的振动触觉反馈。为此，通过激光多普勒测振仪在其表面上获得84个网格点的频率响应函数（FRFs）形式的台面振动响应。使用这些FRF，可以在表面上显示静态手势的局部振动触觉反馈。对于动态手势，我们利用静电驱动技术，通过施加电压到其导电层来调制手指皮肤和桌面表面之间的摩擦力。在这里，我们提出了两个这样的应用程序的例子，一个静态和动态手势，以及详细的用户研究。在第一个示例中，用户通过将手放在桌面上并感觉在其下方行进的振动触觉刺激来检测虚拟流动的方向，例如风或水的方向。在第二个示例中，用户旋转桌面上的虚拟旋钮以从菜单中选择项目，同时以摩擦触觉反馈的形式感觉旋钮的止动件和旋转阻力。
2021-03-30 cs.CV cs.GR cs.HC
Head and eye egocentric gesture recognition for human-robot interaction using eyewear cameras
Universitat Jaume I（海梅一世大学）；Institute of New Imaging Technologies（新型成像技术研究所）
非语言交流在人机交互（HRI）的各种场景中起着特别重要的作用。因此，这项工作解决了人类手势识别的问题。特别是，我们专注于头部和眼睛的姿态，并采用以自我为中心（第一人称）的角度使用眼镜相机。我们认为，这种以自我为中心的观点可能会提供一些概念和技术上的好处场景或机器人为中心的观点。提出了一种基于运动的识别方法，该方法在两个时间粒度上进行操作。局部地，利用卷积神经网络（CNN）估计帧到帧单应性。该CNN的输出被输入到长短期记忆（LSTM）中，以捕获与表征手势相关的长期时间视觉关系。关于网络架构的配置，一个特别有趣的发现是，使用单应性CNN的内部层的输出相对于使用单应性矩阵本身增加了识别率。虽然这项工作的重点是动作识别，还没有机器人或用户的研究已经进行，该系统的设计，以满足实时的限制。令人鼓舞的结果表明，所提出的自我中心的观点是可行的，这一概念验证工作提供了新的和有用的贡献，令人兴奋的领域HRI。
2022-06-10 cs.CV cs.HC cs.RO
CentiTrack: Towards Centimeter-Level Passive Gesture Tracking with Commodity WiFi
手势感知在促进人机接口方面起着至关重要的作用。以前的工作要么依赖于定制的硬件，要么需要先验学习无线信号模式，在隐私问题，可用性和可靠性方面面临着不利因素。在本文中，我们提出了CentiTrack，第一个厘米级的被动手势跟踪系统，只与三个commodityWiFi设备，没有任何额外的硬件修改或可穿戴传感器。为此，首先在物理层过程中识别出信道状态信息（CSI）测量误差源，然后通过相邻天线间的复比对CSI进行去噪。主成分分析（PCA）被进一步用于分离反射信号和噪声。基准实验进行了验证，去噪CSI的相位变化成正比的动态路径的长度变化的反射了手。此外，我们采用多信号分类（MUSIC）算法来估计的到达角（AoAs）的动态路径，然后定位的初始位置的手三角。本文还提出了一种新的静态成分消除算法，通过消除与运动无关的成分来进行跟踪校正。CentiTrack的原型完全实现，并在各种真实场景中进行评估。大量的实验表明，与最先进的技术相比，CentiTrack在跟踪精度、传感范围和设备成本方面都有优势。
2020-11-13 cs.HC eess.SP
Speech-driven Personalized Gesture Synthetics: Harnessing Automatic Fuzzy Feature Inference
Macau University of Science and Technology（澳门科技大学）；Communication University of Zhejiang（浙江传媒学院）；Zhejiang Lab（之江实验室）；Communication University of China（中国传媒大学）；Zhejiang University（浙江大学）；Zhejiang Institute of Economics and Trade（浙江经贸职业技术学院）
针对语音驱动手势生成中多特征处理难题，提出Persona-Gestor模型，利用模糊特征推理和AdaLN Transformer扩散架构，仅凭语音生成个性化3D手势，在多个数据集上超越现有方法。
2024-03-16 cs.AI cs.CV cs.GR
VergeIO: Depth-Aware Eye Interaction on Glasses
Carnegie Mellon University（卡内基梅隆大学）；BNRist, Tsinghua University（清华大学交叉信息研究院）；Michigan State University（密歇根州立大学）；Zhejiang University（浙江大学）；Wuhan University（武汉大学）；Qinghai University（青海大学）
VergeIO是一种基于深度的护目镜眼交互系统，通过优化电极布局和智能原型实现高准确率的眼动作识别，支持个性化模型和无校准的跨用户应用。
2026-07-28 cs.HC
FingerMapper: Mapping Finger Motions onto Virtual Arms to Enable Safe Virtual Reality Interaction in Confined Spaces
全身运动增强了虚拟现实（VR）体验的存在感和乐趣。然而，使用大的手势通常是不舒服的，并且在有限的空间中是不可能的（例如，公共交通）。我们引入了FingerMapper，将小范围的手指运动映射到虚拟手臂和手上，以实现VR中的全身虚拟运动。在第一个目标选择研究（n=13）中，将FingerMapper与手部跟踪和光线投射进行比较，我们发现FingerMapper可以显着减少身体运动和疲劳，同时具有相似的精度。在一项连续的研究（n=13）中，我们将FingerMapper与有限空间（汽车前排乘客座位）内的手部跟踪进行了比较。结果显示，参与者对FingerMapper的安全感明显更高，碰撞更少，同时保持了与手部跟踪相似的存在和享受程度。最后，我们提出了三个示例应用程序，展示了FingerMapper如何应用于有限空间中VR的运动和交互。
2023-02-23 cs.HC
CyanKitten: AI-Driven Markerless Motion Capture for Improved Elderly Well-Being
本研究推出专为老年人设计的CyanKitten虚拟伴侣系统，通过三层架构、双摄与老年运动训练的CNN实现姿态与手势识别，结合多模态交互提升老年生活质量。
2025-03-25 cs.HC
Virtual Reality in Sign Language Education: Opportunities, Challenges, and the Road Ahead
本文系统综述55项研究，探讨VR与AI在手语教育中的应用，涵盖手势识别、交互环境等五大主题，指出硬件与精度挑战，并提出兼顾包容性的发展建议。
2025-08-28 cs.HC
Revisiting Walking-in-Place by Introducing Step-Height Control, Elastic Input, and Pseudo-Haptic Feedback
本文通过引入步高控制、弹性输入和伪触觉反馈，重新设计了原地行走交互方案，实验证明其能提升虚拟速度控制效率和斜坡感知真实感。
2023-08-30 cs.HC
