Designing Mid-Air Haptic Gesture Controlled User Interfaces for Cars
我们介绍了利用手势输入和超声波空中触觉反馈的车载信息娱乐系统的设计和开发方面的进展。这种系统采用了最先进的手部跟踪技术和新颖的触觉反馈技术，并有望减少驾驶员在执行次要任务时的分心，从而降低道路事故的风险。在本文中，我们的文件设计过程中考虑的开发过程中的一个半空中的触觉手势启用用户界面的人车互动。这包括在线调查，业务开发见解，背景研究和敏捷框架组件，其中包括三个原型迭代和简化驾驶模拟器上的用户测试。我们报告的推理，导致最终原型中使用的所选的手势输入和触觉反馈集的收敛，讨论了经验教训，并给出提示和提示，作为未来研究和开发这项技术在汽车中的设计指南。
2020-05-18 cs.HC
Exploring Gestural Interaction with a Cushion Interface for Smart Home Control
本研究面向智能家居控制场景，设计用户自定义靠垫手势，提出两种传感器嵌入方案并基于CNN实现手势识别，实验验证了较高的识别准确率。
2024-10-07 cs.HC
Exploring Mid-Air Hand Interaction in Data Visualization
本研究通过引出研究、用户研究和专家研究，探索数据可视化中的空中手势交互，提出了促进无器具、无触摸和嵌入式交互的新设计，并揭示了其在表达、认知和参与度方面的优势及设计挑战。
2023-11-26 cs.HC
Objestures: Everyday Objects Meet Mid-Air Gestures for Expressive Interaction
Department of Engineering University of Cambridge（剑桥大学工程系）
本文提出Objestures，融合日常物品交互和空中手势交互，设计出 expressive uni-和双手交互的空间。通过用户研究和案例研究，展示了其在Sound、Draw和Shadow等应用中的直观性和表达性。
2026-03-30 cs.HC
TripCEAiR: A Multi-Loss minimization approach for surface EMG based Airwriting Recognition
空写识别是指通过手指的运动来识别空写字母的问题。它可以被看作是动态手势识别的特殊情况，其中手势集是特定语言中的字母。表面肌电图（sEMG）是一种非侵入性方法，用于捕获由于肌肉收缩和放松而产生的电信号。sEMG已被广泛用于手势识别应用。与静态手势不同，动态手势是用户友好的，并且可以用作人机交互中的应用的输入方法。在动态手势识别方面的工作有限，例如使用sEMG信号的airwriting，并且形成了当前工作的核心。在这项工作中，多损失最小化框架的表面肌电信号为基础的手写识别。所提出的框架旨在学习一个特征嵌入向量，最大限度地减少三重损失，同时学习分类器头的参数，以识别相应的字母。该方法在实验室记录的数据集上进行了验证，该数据集包括来自50名参与者书写英文字母的sEMG信号。三重丢失，三重挖掘策略和特征嵌入维数的不同变化的影响也被提出。使用半硬正和硬负三元组挖掘，在用户依赖和独立场景下的最佳准确率分别为81.26%和65.62%。我们实现的代码将在https://github.com/ayushayt/TripCEAiR上提供。
2023-03-19 cs.HC
Point&Spawn: Mid-Air Reference-Free Object Instantiation Using Gaze and Hand Gestures in Extended Reality
KAIST（韩国科学技术院）；Aarhus University（奥胡斯大学）
本文针对XR中无空间参考的空中物体实例化问题，提出Point&Spawn分阶段手势控制流程，通过用户研究对比不同方向与深度设定技术，为XR实例化交互设计提供实证指导。
2026-09-04 cs.HC
Preprint Imagining In-Air Interaction for Hemiplegia Sufferer
这是我们在2015年虚拟康复国际会议（ICVR 2015）上的论文的预印本。在本文中，我们描述了一种面向偏瘫患者的非接触式交互技术的想象场景，该技术可以支持手或脚与智能手机或头戴式设备（HMD）的交互。在我们之前的工作中实现了计算机视觉交互技术，通过精确检测和跟踪手或脚的手势，为手势交互提供了核心支持。患者在摄像机视图中使用手/脚手势运动与应用程序交互。
2015-07-29 cs.HC
Hand-Gesture-Recognition Based Text Input Method for AR/VR Wearable Devices
静态和动态手部动作是人机交互的基本方式。为了识别和分类这些运动，首先，这些运动由安装在增强现实（AR）或虚拟现实（VR）可穿戴设备上的相机捕获。采用分割方法对手部进行分割，并将其手势传递给手势识别算法，该算法依赖于深度可分离的卷积神经网络进行训练、测试，最终在移动AR/VR设备上平稳运行，同时保持准确性和负载平衡。对多个手势进行处理，以识别正确的手势，并对手势进行分类，忽略所有间歇手势。利用所提出的方法，用户可以通过在空中移动他/她的手来在空中书写字母和数字。基于手势的操作被执行，并且手的轨迹被记录为手写文本。最后，手写文本被处理用于文本识别。
2020-04-02 cs.HC
SurfMyoAiR: A surface Electromyography based framework for Airwriting Recognition
空写识别是指通过手指的运动来识别写在自由空间中的字母。肌电图（EMG）是一种用于记录由于运动而导致的肌肉收缩和放松期间的电活动的技术，并广泛用于手势识别。目前手势识别的研究主要集中在静态手势的识别上。然而，动态手势作为人机交互应用中的替代输入方法是自然的和用户友好的。因此，使用从前臂肌肉记录的EMG信号进行空写识别是一种可行的解决方案。由于用户不需要学习任何新的手势，并且可以通过连接这些字母来形成大范围的单词，因此它可以推广到更广泛的人群。在识别使用肌电信号的空气书写方面的工作有限，并形成了当前工作的核心思想。构建了由书写英文字母过程中记录的肌电信号组成的SurfMyoAiR数据集。研究了几种不同的时域特征来构建EMG包络和两种不同的时频图像表示：短时傅立叶变换和连续小波变换，以形成用于航空笔迹识别的深度学习模型的输入。几种不同的深度学习架构被用于此任务。此外，各种参数，如信号长度，窗口长度和插值技术对识别性能的影响进行了全面的探讨。最佳实现的准确率分别为78.50%和62.19%，在用户依赖和独立的情况下，通过使用短时傅立叶变换结合二维卷积神经网络为基础的分类器。在人机交互应用中，空写作为一种用户友好的输入方式具有很大的潜力。
2022-10-31 cs.HC
User-Generated Free-Form Gestures for Authentication: Security and Memorability
本文研究了用于移动认证的自由形式多点触摸手势的安全性和可记忆性。为此，我们收集了一个数据集与生成-测试-重测范式，参与者（N=63）生成自由形式的手势，重复他们，后来重新测试的记忆。一半的参与者决定生成一个手指手势，另一半生成多个手指手势。虽然最近有基于模板的手势的工作，但还没有指标来分析模板或自由形式手势的安全性。例如，用于基于文本的密码的基于熵的度量不适合捕获自由形式手势的安全性和可记忆性。因此，我们修改了最近提出的度量分析信息容量的连续全身运动为此目的。我们的度量计算估计互信息在重复的手势集。令人惊讶的是，单指手势具有更高的平均互信息。具有许多硬角度和转弯的手势具有最高的互信息。记忆最深刻的手势包括签名和简单的棱角形状。我们还实现了一个多点触摸识别器，以评估自由形式的手势在真实身份验证系统中的实用性，以及它们如何对抗肩部冲浪攻击。我们得出结论的纸张与战略，产生安全和难忘的自由形式的手势，提出了一个强大的移动身份验证方法。
2014-01-02 cs.CR cs.HC
Combining Gesture and Voice Control for Mid-Air Manipulation of CAD Models in VR Environments
在计算机辅助设计（CAD）等领域中对3D对象进行建模非常耗时，并且需要掌握设计过程以及工具复杂性。为了简化建模过程，我们设计并实现了一个原型系统，该系统利用虚拟现实（VR）手势识别的优势，结合基于语音的界面的表现力，用于3D建模任务。此外，我们在VR环境中使用3D模型的构造性实体几何（CSG）树表示，让用户从头开始操作对象，从而直观地了解底层基本形状如何连接。该系统使用标准的空中3D对象操作技术，并添加了一组语音命令，以帮助减轻当前手势识别技术的不足。进行了用户研究，以评估拟议的原型。我们的混合输入范例的组合显示出朝着更容易使用CAD建模迈出了有希望的一步。
2020-11-18 cs.CG cs.HC
GesPlayer: Using Augmented Gestures to Empower Video Players
在本文中，我们介绍了GesPlayer，一个基于手势的授权视频播放器，探讨用户如何通过手势体验他们的手作为一个界面。我们提供了三种基于计算机或其他智能设备的摄像头的语义手势，分别用于检测和调整视频播放进度、音量和屏幕亮度。我们的目标是使用户能够通过他们在空中的手势来控制视频播放，而不需要使用鼠标或键盘，特别是当这样做不方便时。最终，我们希望通过理解将手设计为交互界面的包容性来扩展我们对基于手势的交互的理解，并通过计算交互方法进一步拓宽交互环境中语义手势的状态。
2022-10-21 cs.HC
Beyond the Mirror: Balancing Interaction Modality and Avatar Fidelity in Public 3D Virtual Try-On Systems
Jiangxi University of Finance and Economics（江西财经大学）；Communication University of China（中国传媒大学）
该研究针对公共3D虚拟试穿系统的交互疲劳与社交尴尬问题，提出整合无标记动作捕捉与动态逼真度控制的系统，揭示了交互模态与化身逼真度的平衡规律，构建了情境感知逼真度框架。
2026-08-25 cs.HC
NeuroAiR: Deep Learning Framework for Airwriting Recognition from Scalp-recorded Neural Signals
本研究构建NeuroAiR脑电数据集，探索多种EEG特征与深度学习模型实现空中书写字母识别，最高准确率达44.04%，为基于脑电的空中书写识别建立了基线并验证其可行性。
2023-08-07 cs.HC
AirFi: Empowering WiFi-based Passive Human Gesture Recognition to Unseen Environment via Domain Generalization
Nanyang Technological University（南洋理工大学）
近年来，由信道状态信息（CSI）实现的基于WiFi的智能人体感知技术受到了极大的关注。然而，基于CSI的感测系统在部署在不同环境中时遭受性能降级。现有的工作解决了这个问题的领域自适应使用大量的未标记的高质量的数据从新的环境，这通常是在实践中无法实现的。在本文中，我们提出了一种新的增强环境不变的鲁棒WiFi手势识别系统命名为AirFi，从一个新的角度来处理环境依赖性的问题。AirFi是一种新型的领域泛化框架，它可以学习CSI的关键部分，而不管不同的环境，并将模型推广到看不见的场景，这不需要收集任何数据来适应新的环境。AirFi从多个训练环境设置中提取共同特征，并最大限度地减少它们之间的分布差异。该功能进一步增强，对环境更加鲁棒。此外，系统还可以通过少样本学习技术进一步改进。与最先进的方法相比，AirFi能够在不同的环境设置中工作，而无需从新环境中获取任何CSI数据。实验结果表明，我们的系统在新的环境中仍然是强大的，并优于比较系统。
2022-12-17 cs.CV cs.HC
Assessing the Acceptance of a Mid-Air Gesture Syntax for Smart Space Interaction: An Empirical Study
本文提出受语言启发的位置感知空中手势命令三元组语法，并通过12人被试内实验评估其在手机、手表和无设备实现中的可用性与社会接受度。
2025-01-08 cs.CY cs.HC
NICER: A New and Improved Consumed Endurance and Recovery Metric to Quantify Muscle Fatigue of Mid-Air Interactions
本文提出混合模型 NICER，结合扭矩模型、肌肉收缩经验项与恢复因子，以更准确地预测空中交互中的肌肉疲劳，实验证明其优于累积疲劳模型。
2024-06-13 cs.HC
SCLAiR : Supervised Contrastive Learning for User and Device Independent Airwriting Recognition
航空笔迹识别是指通过手指的运动来识别书写在自由空间中的字母。它本质上是手势识别的特殊情况，其中手势的词汇表对应于特定语言中的字母。随着智能可穿戴设备在普通人群中的广泛采用，使用来自智能带的运动传感器的手写识别可以用作用于人机交互中的应用的用户输入的介质。在使用运动传感器识别空中轨迹方面的工作有限，并且在用于记录信号的装置改变的情况下的技术性能迄今尚未被探索。受此启发，提出了一种基于监督对比学习的与设备和用户无关的手写体识别新范式。采用两阶段分类策略，其中第一阶段涉及训练具有监督对比度损失的编码器网络。在随后的阶段中，分类头在保持冻结的编码器权重的情况下被训练。所提出的方法的有效性通过在公开可用的数据集上的实验以及在我们实验室中使用不同设备记录的数据集来证明。实验已经进行了监督和无监督的设置和几个国家的最先进的领域自适应技术进行比较。数据和我们的实现代码将在https://github.com/ayushayt/SCLAiR上提供。
2021-12-29 cs.HC
WiGest: A Ubiquitous WiFi-based Gesture Recognition System
我们推出WiGest：一种利用WiFi信号强度变化来感知用户移动终端周围空中手势的系统。与相关工作相比，WiGest的独特之处在于使用标准WiFi设备，无需修改，也无需进行手势识别培训。该系统识别不同的信号变化原语，从我们构建相互独立的手势族。这些系列可以映射到可区分的应用程序操作。我们解决了各种挑战，包括清理噪声信号，手势类型和属性检测，减少由于人为干扰造成的误报，以及适应不断变化的信号极性。我们使用现成的笔记本电脑实现了一个概念验证原型，并在办公室环境和具有标准WiFi接入点的典型公寓中广泛评估了该系统。我们的研究结果表明，WiGest检测的基本原语的准确性为87.5%，只使用一个AP，包括通过墙的非视线的情况。使用三个偷听AP时，准确率提高到96%。此外，当使用多媒体播放器应用程序评估系统时，我们实现了96%的分类准确率。这种准确性对于其他干扰人类的存在是鲁棒的，突出了WiGest的能力，使未来无处不在的免提手势与移动设备的互动。
2015-05-18 cs.HC
A CNN Based Framework for Unistroke Numeral Recognition in Air-Writing
Indian Statistical Institute（印度统计研究所）
本文提出一种借助摄像机、基于颜色分割跟踪固定颜色标记轨迹并用预训练 CNN 及迁移学习分类的空中书写框架，在英语、孟加拉语和天城文单笔数字上取得高识别率。
2025-02-18 cs.CV cs.HC
Establishing Awareness through Pointing Gestures during Collaborative Decision-Making in a Wall-Display Environment
本文研究墙面显示环境中协作决策时的空中指向手势，通过24人用户实验识别出叙述性、松散和锐利三种手势子类型，揭示手势使用差异及模糊指向在口头协商中的作用。
2024-01-17 cs.HC
Gestop : Customizable Gesture Control of Computer Systems
PES University（PES大学）；OffNote Labs（OffNote实验室）
与大多数计算机系统连接的既定方式是鼠标和键盘。手势是与计算机系统交互的直观且有效的非接触方式。然而，基于手势的系统在最终用户中的采用率很低，主要是由于在准确检测空中手势方面存在许多技术障碍。本文介绍了Gestop，一个框架开发，以弥合这一差距。该框架学习从演示中检测手势，可由最终用户自定义，并使用户能够使用手势与仅具有RGB摄像头的计算机实时交互。
2020-10-25 cs.CV cs.HC
WristSketcher: Creating Dynamic Sketches in AR with a Sensing Wristband
受限于原生AR眼镜的有限交互区域（例如，触摸条），在AR眼镜中创建草图具有挑战性。最近的工作已经尝试使用移动设备（例如，平板电脑）或空中徒手手势来扩展交互空间，并可用作AR眼镜的2D/3D草图输入接口。在它们之间，移动设备允许准确的草图，但往往是沉重的携带，而徒手草图是零负担，但可能是不准确的，由于手臂不稳定。此外，在空中徒手写生容易引起社会误解，长时间使用会造成手臂疲劳。作为一种新的尝试，在这项工作中，我们提出了WristSketcher，一个新的AR系统，基于一个灵活的传感腕带，用于创建2D动态草图，具有几乎零负担的创作模型，在现实世界的场景中准确和舒适的草图创建。具体来说，我们简化了从半空到轻量级传感腕带表面的交互空间，并通过开发基于腕带上的传感压力点的手势识别方法来实现AR草图和相关交互命令。我们的WristSketcher使用的交互式手势集是由用户偏好的启发式研究确定的。此外，我们赋予我们的WristSketcher动画创作能力，使其能够创建动态和富有表现力的草图。实验结果表明，我们的WristSketcher i）忠实地识别用户的手势交互，准确率高达96.0%; ii）实现了比Freehand草图更高的草图准确率; iii）在易用性，可用性和功能性方面实现了较高的用户满意度; iv）在艺术创作，记忆辅助和娱乐应用方面显示了创新潜力。
2022-10-27 cs.HC
Air Signing and Privacy-Preserving Signature Verification for Digital Documents
University of Moratuwa（莫拉图瓦大学）
本文提出基于摄像头单指追踪与手势命令的 Air Signature 空中签名系统，并利用神经核心实时分析动作、速度和笔画以完成隐私保护的签名验证。
2024-05-17 cs.CV cs.HC
Voluntary Triggering of Shared-Autonomous Prosthetic Control via IMU-Based Motion Gestures
Memorial University of Newfoundland（纽芬兰纪念大学）
提出基于IMU的手势触发接口，允许用户自愿启动或覆盖假肢的抓取和释放动作，实验表明肘部拍动手势最受偏好，成功率达95%，提高了用户意图与假肢动作的一致性。
2026-06-23 cs.HC
User interface for in-vehicle systems with on-wheel finger spreading gestures and head-up displays
已知通过中央控制台与车载系统交互会引起视觉和生物力学干扰，从而延迟驾驶员的危险识别和响应时间，并显著增加事故风险。为了解决这个问题，已经开发了各种手势。虽然这样的手势可以减少视觉需求，但它们数量有限，缺乏被动反馈，并且可能是模糊和不精确的，难以理解和记忆，并且受文化限制。为了克服这些限制，我们开发了一种新的车轮上的手指传播手势界面结合了抬头显示器（HUD），允许用户选择一个菜单显示在HUD的手势。该界面在HUD的中央控制台上显示音频和空调功能，并使用特定数量的手指进行控制，同时保持双手在方向盘上。我们比较了新提出的混合界面对传统的触觉界面的中央控制台使用客观测量和主观评价的车辆和驾驶员的行为的有效性。共招募了32名受试者在驾驶模拟器上进行实验，该驾驶模拟器配备了各种情况下的建议接口。结果表明，该接口的应急响应速度比传统接口提高了约20%，但在车速和车道保持方面与传统接口没有显著差异。
2021-02-21 cs.HC
UAV-GESTURE: A Dataset for UAV Control and Gesture Recognition
University of South Australia（南澳大学）；Defence Science and Technology Group（国防科学技术集团）
目前无人机记录的数据集主要限于动作识别和对象跟踪，而手势信号数据集主要在室内空间记录。目前，无人机指挥信号没有室外录制的公共视频数据集。通过利用UAV的视觉传感器和操作简单性，可以有效地与UAV一起使用手势信号。为了填补这一空白，使研究在更广泛的应用领域，我们提出了一个无人机姿态信号数据集记录在户外设置。我们从一般的飞机操纵和直升机操纵信号中选择了13种适用于基本无人机导航和指挥的手势。我们提供119个高清视频剪辑，由37151帧组成。使用基于姿势的卷积神经网络（P-CNN）计算的总体基线手势识别性能为91.9%。所有的帧都用身体关节和手势类进行了注释，以便将数据集的适用性扩展到更广泛的研究领域，包括手势识别，动作识别，人体姿势识别和态势感知。
2019-01-09 cs.CV cs.HC cs.LG
Mid-Air Haptics in Aviation -- creating the sensation of touch where there is nothing but thin air
令人兴奋的空中触觉技术已被包括汽车和娱乐在内的多个行业采用，但它尚未出现在模拟飞行员培训或现实飞行甲板中。全飞行模拟器的制造、维护和操作都很昂贵。不仅如此，每个模拟器仅限于一种飞机类型，这对于大多数航空公司来说效率低下，因为大多数航空公司都有几个在服务。随着触摸屏仪表的发展趋势，驾驶舱显示器要求飞行员的注意力从窗外转移开。但通过使用手势识别界面与空中触觉反馈相结合，我们可以减轻这一缺点，同时也为已经熟悉使用传统驾驶舱的飞行员增加了另一个维度。与此同时，使用增强和虚拟现实技术的模拟环境提供了高质量的沉浸式训练，飞行员可以从数百小时的模拟训练到在第一次飞行时负责数百人的生命。空中触觉技术结合基本的全运动平台所提供的软件可重新编程性和动态丰富性可以允许仪器布局的互换，从而增强模拟的沉浸感和环境。最后，通过借鉴和探索汽车行业的概念，这篇概念论文介绍了飞行甲板设计如何通过采用这项技术来发展。如果飞行员的证词表明，他们可以适应虚拟物体，这是否可以取代物理控制？
2020-01-06 cs.HC
SketchPlay: Intuitive Creation of Physically Realistic VR Content with Gesture-Driven Sketching
Beijing Technology and Business University（北京技术与商业大学）；The University of Sydney（悉尼大学）
SketchPlay通过手势驱动的草图创建直观的物理真实VR内容，提升非专家用户的创作体验和应用潜力。
2025-12-26 cs.CV cs.HC
You Have a Point There: Object Selection Inside an Automobile Using Gaze, Head Pose and Finger Pointing
汽车行业中复杂的用户交互是一个新兴的话题。空中手势和语音已经在驾驶员与汽车的互动中有了许多应用。此外，正在开发多模式方法，以利用多个传感器的使用来获得额外的优势。在本文中，我们提出了一个快速和实用的多模态融合方法的基础上机器学习的选择各种控制模块的汽车。考虑的模态是凝视、头部姿势和手指指向手势。语音仅用作融合的触发器。单模态先前已经被多次用于识别用户的指向方向。然而，我们演示了如何将多个输入融合在一起，以提高识别性能。此外，我们将不同的深度神经网络架构与传统的机器学习方法（即支持向量回归和随机森林）进行了比较，并展示了使用深度学习在指向方向准确性方面的增强。结果表明，使用多模态输入具有很大的潜力，可以应用于车辆中的更多用例。
2020-12-24 cs.HC
Sign in the Air to Unlock: An Interface for authentication in Virtual and Augmented Reality Powered by Point-Voxel Cross-Attention Network
提出一种空中签名认证接口，利用点-体素交叉注意力网络（PV-Net）建模3D轨迹的局部运动与全局结构，在公开和自建数据集上实现低错误率，支持沉浸式环境中的自然交互认证。
2026-07-16 cs.CR cs.CV cs.HC
SurfaceXR: Fusing Smartwatch IMUs and Egocentric Hand Pose for Seamless Surface Interactions
University of Chicago（芝加哥大学）；Northwestern University（西北大学）；Northwestern University and Google（西北大学和谷歌）；Google（谷歌）
SurfaceXR通过融合智能手表IMU与第一人称手姿态数据，提升表面交互的准确性和舒适性，实验验证其在触控跟踪和8类手势识别上的显著优势。
2026-03-19 cs.CV cs.HC cs.LG
