"I Don't Want People to Look At Me Differently": Designing User-Defined Above-the-Neck Gestures for People with Upper Body Motor Impairments
最近的研究提出了眼睑手势,让有上半身运动障碍(UMI)的人在没有手指触摸的情况下与智能手机互动。然而,这种眼睑手势是由研究人员设计的。目前还不清楚UMI患者想要什么样的眼睑手势,并且能够执行。此外,其他颈部以上的身体部位(例如,嘴、头)可以用来形成更多的手势。我们进行了一项用户研究,其中17名UMI患者为智能手机上的26个常见命令设计了颈部以上的手势。我们总共收集了442个用户定义的手势,包括眼睛、嘴巴和头部。参与者更倾向于用眼睛做手势,并且更喜欢简单,易于记忆,不太可能引起他人注意的手势。我们进一步进行了调查(N = 24),以验证这些用户定义的手势的可用性和接受度。结果表明,用户定义的手势是可以接受的人和没有运动障碍。
2022-02-12 cs.HC
At a Glance to Your Fingertips: Enabling Direct Manipulation of Distant Objects Through SightWarp
Aarhus University(奥胡斯大学);American University of Beirut(贝鲁特美国大学);Lancaster University(兰开斯特大学)
SightWarp通过眼手协调实现对远距离物体的直接操控,提升3D交互性能与灵活性。
2025-08-06 cs.HC
GazeSwipe: Enhancing Mobile Touchscreen Reachability through Seamless Gaze and Finger-Swipe Integration
GazeSwipe结合凝视与手指滑动,无需校准和额外硬件,利用前置摄像头提升大屏手机单手操作可达性,实验证明高成功率且受用户青睐。
2025-03-27 cs.HC
A Fuzzy Set-based Approach for Matching Hand-Drawing Shapes of Touch-based Gestures for Graphical Passwords
针对现有手势技术难以适配人手运动导致的手绘手势不精准问题,本文提出一种基于二维模糊集、采用模糊提示点击点技术的触控手势匹配方法,以提升对接近参考手势的不精准手绘手势的接受度,增强人机交互灵活性。
2025-07-30 cs.HC
You Have a Point There: Object Selection Inside an Automobile Using Gaze, Head Pose and Finger Pointing
汽车行业中复杂的用户交互是一个新兴的话题。空中手势和语音已经在驾驶员与汽车的互动中有了许多应用。此外,正在开发多模式方法,以利用多个传感器的使用来获得额外的优势。在本文中,我们提出了一个快速和实用的多模态融合方法的基础上机器学习的选择各种控制模块的汽车。考虑的模态是凝视、头部姿势和手指指向手势。语音仅用作融合的触发器。单模态先前已经被多次用于识别用户的指向方向。然而,我们演示了如何将多个输入融合在一起,以提高识别性能。此外,我们将不同的深度神经网络架构与传统的机器学习方法(即支持向量回归和随机森林)进行了比较,并展示了使用深度学习在指向方向准确性方面的增强。结果表明,使用多模态输入具有很大的潜力,可以应用于车辆中的更多用例。
2020-12-24 cs.HC
Enhancing Communication in Speech Therapy: Exploring the Cognitive Synergy Between Gesture and Speech
De Vinci Research Center, De Vinci Higher Education(德·文西研究中心,德·文西高等教育)
本文研究将基于节奏的界面从手部康复改编至言语治疗,通过手指敲击控制合成语音,利用手势与言语的认知协同,经访谈和试点测试发现其能提升动机和治疗效果。
2026-09-09 cs.HC
A Deep Learning-based Multimodal Depth-Aware Dynamic Hand Gesture Recognition System
Systems \& Software Lab (SSL), Department of Computer Science
本文提出了一种基于深度学习的多模态深度感知动态手部姿态识别系统,通过量化深度值和改进多模态融合CRNN架构,提高了识别准确性和参数效率。
2021-11-05 cs.CV cs.HC cs.LG
Effective Gesture Based Framework for Capturing User Input
MLR Institute of Technology(MLR理工学院);Chandigarh College of Engineering and Technology(昌迪加尔工程技术学院);Kalinga Institute of Industrial Technology(卡林加工业技术学院)
今天的计算机不仅仅局限于笔记本电脑和台式机。移动设备如移动电话和笔记本电脑也使用它。然而,在过去的50年里,有一种输入设备没有改变,那就是QWERTY键盘。由于传感器技术和人工智能,虚拟键盘的用户可以在任何表面上打字,就好像它是键盘一样。在这项研究中,我们使用图像处理的想法,创建一个应用程序,看到一个计算机键盘使用一个新的框架,可以检测手势与精确的准确性,同时也是可持续的和经济上可行的。相机用于捕获键盘图像和手指运动,随后充当虚拟键盘。此外,一个可视的虚拟鼠标,接受手指坐标作为输入,也在这项研究中描述。该系统的直接好处是降低了外围设备成本,减少了由于外部设备而产生的电子废物,并为无法使用传统键盘和鼠标的人提供了可访问性。
2022-08-01 cs.AI cs.HC
Visual motion analysis of the player's finger
Politecnico di Milano(米兰理工大学)
这项工作是关于提取的手指的运动,在他们的三个关节,从视频序列的键盘手。这个问题的相关性涉及几个方面,事实上,手指运动的提取可以用来计算演奏效率和单个关节的贡献,如Werner Goebl和Caroline Palmer在论文“Temporal Control and Hand Movement Efficiency in Skilled Music Performance”中所示。这些措施直接关系到时间和力量措施的精确性。在论文“Real-Time Hand Gesture Recognition Using Finger Segmentation”中提出了一种很好的手势识别方法。检测键盘上的按键是一项复杂的任务,因为阴影会降低结果的质量,并可能导致检测到未按下的按键。在已经存在的几种方法中,它们中的很大一部分是基于帧的减法,以检测由按键的压力引起的按键的移动。检测被按下的键对于自动评估钢琴家的演奏或自动编写正在演奏的旋律的乐谱可能是有用的。
2023-02-24 cs.CV cs.HC
TouchWalker: Real-Time Avatar Locomotion from Touchscreen Finger Walking
Hanyang University(汉阳大学);University of Melbourne(墨尔本大学)
TouchWalker通过触摸屏手指行走手势与MoE-GRU神经运动生成器,实现实时、连续且上下文感知的全身虚拟化身运动控制,并在用户研究中验证其优于虚拟摇杆基线,显著提升具身感、愉悦感和沉浸感。
2025-11-11 cs.GR cs.HC
UniScale: Exploring Unimanual Gesture Mapping Strategies for Gaze+Pinch-based Scaling Interaction
Graduate School of Culture Technology at KAIST(KAIST文化技术研究生院)
该研究针对XR环境提出单手势缩放方案UniScale,设计五种映射策略并与双手捏合基线对比,发现单手势技术在无抓持缩放时可显著减少手部移动,为XR多模态交互提供设计启示。
2026-09-02 cs.HC
Finger-Stylus for Non Touch-Enable Systems
自从计算机被发明以来,人们使用各种设备与计算机进行交互。最初有键盘,鼠标等,但随着技术的进步,新的方式正在被发现,这是非常常见的和自然的人类一样,手写笔,触摸系统。在当前的技术时代,用户被期望触摸机器界面来给出输入。手势是一种与机器进行交互的方式,其中使用自然的裸手进行通信而不接触机器界面。它给用户一种感觉,他正在以自然的方式与一些人互动,而不是与传统的机器。本文提出了一种用户不需要触摸机器界面就可以在屏幕上绘图的技术。在这里,手指像手写笔一样在显示器上绘制形状,而不接触显示器。这种方法可以用于许多应用程序,包括游戏。手指被用作输入设备,就像画笔或手指笔一样,用于在相机前制作形状。在Matlab环境下,利用实时的【形状】约束,完成了指尖的提取和运动跟踪。这项工作是一个早期的尝试,以取代手写笔与自然的手指没有触摸屏幕。
2014-09-27 cs.HC
Finger Based Techniques for Nonvisual Touchscreen Text Entry
本研究提出以手指为基础的技术(FBT)为盲人设计的非视觉触摸屏设备交互。基于所提出的技术,盲人用户可以访问基于手指持有位置的虚拟键。提出了三种不同的模式。它们是单数字手指数字输入(FDI),用于数字文本输入的双数字FDI和用于普通文本输入的手指文本输入(FTI)。所有提出的模型都实现了语音反馈,同时使触摸作为输入手势。使用Samsung Galaxy S2设备对7名盲人参与者的模型进行评估。结果表明,单数字FDI比双数字FDI和iPhone画外音更快,更准确。FTI看起来也很适合文本输入。我们的研究还揭示了11个可访问的区域,放置小部件,由盲人用户在平面触摸屏为基础的智能手机快速访问。识别这些可访问区域将促进盲人用户的动态交互,并作为触摸屏应用程序的可用性设计框架。
2017-10-02 cs.HC
CobotTouch: AR-based Interface with Fingertip-worn Tactile Display for Immersive Operation/Control of Collaborative Robots
复杂的机器人任务需要人类的合作,以从他们的高度灵活性中受益。频繁的人机交互需要耗费大量的精力和时间。直观且易于使用的机器人控制界面减少了对工人的负面影响,特别是对经验不足的用户。在本文中,我们提出了CobotTouch,一种新的直观的机器人控制界面与指尖触觉反馈。建议的接口包括一个投影的图形用户界面的机器人手臂上的手势识别的基础上控制的机器人末端执行器的位置,和一个可穿戴的触觉接口提供触觉反馈用户的指尖。我们评估了用户的感知所设计的触觉模式所呈现的触觉界面和直观的机器人控制系统的用例。实验结果表明,该方法对触觉图形的平均识别率为75.25%. NASA的平均任务负荷指数(TLX)表明,小的精神和时间的需求证明了高水平的CobotTouch与协作机器人的互动的直观性。
2022-11-02 cs.HC
Visual Rendering of Shapes on 2D Display Devices Guided by Hand Gestures
NIT Kurukshetra(库鲁克谢特拉国家理工学院);IIT Roorkee(鲁尔基印度理工学院);IIT Bhubaneswar(布巴内斯瓦尔印度理工学院)
非接触式用户界面的设计在各种环境中越来越流行。使用这样的界面,即使当手是脏的或不导电的时,用户也可以与电子设备交互。此外,具有部分身体残疾的用户可以使用这样的系统与电子设备交互。由于Leap Motion、Kinect或RealSense设备等低成本传感器的出现,这一方向的研究得到了重大推动。在本文中,我们提出了一个基于Leap Motion渲染器的方法,以方便在显示器上渲染2D和3D形状。所提出的方法跟踪手指运动,而用户执行的传感器的视野内的自然手势。在下一阶段,分析轨迹以提取3D中的扩展Npen++特征。这些特征表示手势过程中的手指运动,并将其馈送到单向左到右隐马尔可夫模型(HMM)进行训练。提出了手势和形状之间的一对一映射。最后,使用MuPad接口在显示器上呈现与这些手势相对应的形状。我们创建了一个由10名志愿者记录的5400个样本的数据集。我们的数据集包含18个几何形状和18个非几何形状,如“圆”,“矩形”,“花”,“圆锥”,“球体”等,所提出的方法达到了92.87%的准确性时,使用5倍交叉验证方法进行评估。我们的实验结果表明,扩展的3D特征在形状表示和分类方面优于现有的3D特征。该方法可用于为智能显示器开发有用的HCI应用。
2018-10-22 cs.CV cs.HC cs.LG
Air Signing and Privacy-Preserving Signature Verification for Digital Documents
University of Moratuwa(莫拉图瓦大学)
本文提出基于摄像头单指追踪与手势命令的 Air Signature 空中签名系统,并利用神经核心实时分析动作、速度和笔画以完成隐私保护的签名验证。
2024-05-17 cs.CV cs.HC
HyperPalm: DNN-based hand gesture recognition interface for intelligent communication with quadruped robot in 3D space
Skoltech(斯科尔科沃科学技术研究院)
如今,自主移动机器人在许多人类存在多余或过于危险的领域为人们提供支持。他们已经成功地证明了自己在探险,天然气工业,矿山,仓库等,然而,即使是足式机器人可能会被困在崎岖的地形条件下,需要人类的认知能力来导航系统。虽然游戏手柄和键盘便于轮式机器人控制,但3D空间中的四足机器人可以沿着所有线性坐标和欧拉角移动,需要至少12个按钮来独立控制其DoF。因此,需要更方便的控制接口。在本文中,我们提出了HyperPalm:一种新颖的手势界面,直观的人机交互与四足机器人。在没有额外设备的情况下,操作员可以通过手势识别在3D空间中对四足机器人进行完全的位置和方向控制,只有5个手势和6个自由度的手部运动。实验结果表明,分类5静态手势具有较高的准确率(96.5%),准确预测的位置的6D位置的手在三维空间。所提出的方法的绝对线性偏差均方根偏差(RMSD)为11.7mm,这比第二测试方法低几乎50%,所提出的方法的绝对角偏差RMSD为2.6度,这比第二测试方法低几乎27%。此外,用户研究进行了探索用户的主观体验,从人机交互通过建议的手势接口。参与者将他们与HyperPalm的交互评估为直观(2.0),不会引起挫折(2.63),并且需要低物理需求(2.0)。
2022-09-20 cs.HC cs.RO
SurfMyoAiR: A surface Electromyography based framework for Airwriting Recognition
空写识别是指通过手指的运动来识别写在自由空间中的字母。肌电图(EMG)是一种用于记录由于运动而导致的肌肉收缩和放松期间的电活动的技术,并广泛用于手势识别。目前手势识别的研究主要集中在静态手势的识别上。然而,动态手势作为人机交互应用中的替代输入方法是自然的和用户友好的。因此,使用从前臂肌肉记录的EMG信号进行空写识别是一种可行的解决方案。由于用户不需要学习任何新的手势,并且可以通过连接这些字母来形成大范围的单词,因此它可以推广到更广泛的人群。在识别使用肌电信号的空气书写方面的工作有限,并形成了当前工作的核心思想。构建了由书写英文字母过程中记录的肌电信号组成的SurfMyoAiR数据集。研究了几种不同的时域特征来构建EMG包络和两种不同的时频图像表示:短时傅立叶变换和连续小波变换,以形成用于航空笔迹识别的深度学习模型的输入。几种不同的深度学习架构被用于此任务。此外,各种参数,如信号长度,窗口长度和插值技术对识别性能的影响进行了全面的探讨。最佳实现的准确率分别为78.50%和62.19%,在用户依赖和独立的情况下,通过使用短时傅立叶变换结合二维卷积神经网络为基础的分类器。在人机交互应用中,空写作为一种用户友好的输入方式具有很大的潜力。
2022-10-31 cs.HC
μTouch: Enabling Accurate, Lightweight Self-Touch Sensing with Passive Magnets
Shanghai Jiao Tong University(上海交通大学);Cornell University(康奈尔大学);University of Michigan(密歇根大学)
μTouch通过被动磁铁实现准确且轻量的自我触觉感知,适用于卫生监测和皮肤病学健康应用。
2026-02-24 cs.HC
Finger Based Technique (FBT): An Innovative System for Improved Usability for the Blind Users' Dynamic Interaction with Mobile Touch Screen Devices
本文介绍了一种专门为非视觉触摸屏设备设计和开发的新型盲人交互系统--基于手指的技术(FBT)原型及其应用。FBT原型开发了基于手指握持位置识别的虚拟按键。提出了两位数FBT和个位数FBT两种不同的模型。使用两种不同的电话拨号器应用程序应用FBT技术:用于单数字FBT模型的单数字虚拟键和具有音频反馈的双数字虚拟键,后者允许触摸作为输入手势。对7名盲人参与者的评估表明,个位数FBT比两位数FBT明显更快,更准确。除此之外,在执行类似任务时,个位数的FBT比iPhone的VoiceOver输入速度快得多。此外,我们的研究还提出了11个可访问的区域,快速访问或导航的平面触摸屏为基础的智能手机为盲人用户。这些可访问区域将作为可用性设计框架,并便于开发人员为盲人用户放置小部件,以便与触摸屏设备进行动态交互。据作者所知,这是一个新的建议。
2017-08-09 cs.HC
Helios 2.0: A Robust, Ultra-Low Power Gesture Recognition System Optimised for Event-Sensor based Wearables
Ultraleap Ltd.(Ultraleap有限公司)
Helios 2.0通过微手势识别和模拟方法,实现超低功耗的手势控制,提升可穿戴设备用户体验。
2026-08-18 cs.CV cs.HC cs.LG
HapTable: An Interactive Tabletop Providing Online Haptic Feedback for Touch Gestures
Koc University(科奇大学)
我们提出HapTable;一种多模式交互桌面,允许用户通过自然触摸手势与数字图像和对象交互,并相应地接收视觉和触觉反馈。在我们的系统中,手的姿态是由红外摄像机和手势进行分类,使用支持向量机(SVM)分类器。为了显示一组丰富的静态和动态手势的触觉效果,我们有效地集成了机电和静电驱动技术的HapTable,这是一个表面电容式触摸屏的桌面表面。我们将四个压电贴片连接到桌面的边缘,以显示静态手势的振动触觉反馈。为此,通过激光多普勒测振仪在其表面上获得84个网格点的频率响应函数(FRFs)形式的台面振动响应。使用这些FRF,可以在表面上显示静态手势的局部振动触觉反馈。对于动态手势,我们利用静电驱动技术,通过施加电压到其导电层来调制手指皮肤和桌面表面之间的摩擦力。在这里,我们提出了两个这样的应用程序的例子,一个静态和动态手势,以及详细的用户研究。在第一个示例中,用户通过将手放在桌面上并感觉在其下方行进的振动触觉刺激来检测虚拟流动的方向,例如风或水的方向。在第二个示例中,用户旋转桌面上的虚拟旋钮以从菜单中选择项目,同时以摩擦触觉反馈的形式感觉旋钮的止动件和旋转阻力。
2021-03-30 cs.CV cs.GR cs.HC
HyFinBall: a Hybrid User Interface for Coordinated 2D+3D Visualization in Semi-Immersive VR
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
HyFinBall是一种混合用户界面,通过协调2D和3D可视化提升半沉浸式VR中的交互效率。
2025-12-11 cs.HC
Continuous User Authentication Using Machine Learning and Multi-Finger Mobile Touch Dynamics with a Novel Dataset
随着技术的快速发展和演变,越来越明显的是,移动设备比以往任何时候都更常用于敏感事项。需要不断地对用户进行身份验证,因为单因素或多因素身份验证可能仅在初始时验证用户,如果冒名顶替者可以绕过此初始验证,则这没有帮助。触摸动态领域作为一种明确的方式出现,以非侵入性地收集关于用户及其行为的数据,以便实时的制定和做出必要的安全相关决策。在本文中,我们提出了一个新的数据集,包括跟踪25个用户玩两个手机游戏Snake.io和Minecraft每个10分钟,以及他们的相关手势数据。从这些数据中,我们运行了机器学习二进制分类器,即随机森林和K最近邻,试图验证特定用户行为的样本是否真实。我们最强的模型在两款游戏中的平均准确率约为93%,这表明触摸动态可以有效区分用户,并且是身份验证方案的可行考虑因素。我们的数据集可以在https://github.com/zderidder/MC-Snake-Results上查看
2022-07-27 cs.CR cs.HC
Experimental Analysis of Freehand Multi-Object Selection Techniques in Virtual Reality Head-Mounted Displays
针对VR头显中徒手多对象选择技术研究不足的问题,本文实证比较了三种模式切换手势与两种组选择技术组合而成的六种方案,揭示了各方案的性能与用户体验差异,并提出了三项设计启示。
2024-09-02 cs.HC
SCLAiR : Supervised Contrastive Learning for User and Device Independent Airwriting Recognition
航空笔迹识别是指通过手指的运动来识别书写在自由空间中的字母。它本质上是手势识别的特殊情况,其中手势的词汇表对应于特定语言中的字母。随着智能可穿戴设备在普通人群中的广泛采用,使用来自智能带的运动传感器的手写识别可以用作用于人机交互中的应用的用户输入的介质。在使用运动传感器识别空中轨迹方面的工作有限,并且在用于记录信号的装置改变的情况下的技术性能迄今尚未被探索。受此启发,提出了一种基于监督对比学习的与设备和用户无关的手写体识别新范式。采用两阶段分类策略,其中第一阶段涉及训练具有监督对比度损失的编码器网络。在随后的阶段中,分类头在保持冻结的编码器权重的情况下被训练。所提出的方法的有效性通过在公开可用的数据集上的实验以及在我们实验室中使用不同设备记录的数据集来证明。实验已经进行了监督和无监督的设置和几个国家的最先进的领域自适应技术进行比较。数据和我们的实现代码将在https://github.com/ayushayt/SCLAiR上提供。
2021-12-29 cs.HC
Telepresence Interaction by Touching Live Video Images
提出了一种基于触摸屏和临场感机器人技术的临场感交互框架。该框架的核心是一个新的用户界面,基于可触摸实时视频图像的用户界面,称为TIUI。TIUI允许远程操作员不仅驱动远程呈现机器人,而且通过用手指触摸手势触摸垫上的实时视频图像来操作和与真实对象交互。我们实现了一个远程呈现交互系统,它是由一个远程呈现机器人和远程交互对象位于本地空间,TIUI的垫位于远程空间,和无线网络连接两个空间。我们的系统可以是远程操作员的完美体现,可以完成大多数日常生活任务,例如开门,拉窗帘,推轮椅和其他类似任务。评估和演示结果表明,我们的系统的有效性和广阔的应用前景。
2016-08-22 cs.HC
Learning 3D Navigation Protocols on Touch Interfaces with Cooperative Multi-Agent Reinforcement Learning
Itekube;LIRIS(里昂信息与智能系统实验室);Inria(法国国家信息与自动化研究所);CITI-Lab(CITI实验室);INSA-Lyon(里昂国立应用科学学院);LITIS(鲁昂信息与智能系统实验室);INSA-Rouen(鲁昂国立应用科学学院)
使用触摸设备在诸如计算机辅助设计(CAD)模型或地理信息系统(GIS)之类的虚拟3D环境中导航对于人类来说固有地是困难的,因为3D操作必须由用户在2D触摸表面上执行。这个不适定的问题是经典的解决与固定的和手工制作的交互协议,这必须由用户学习。我们建议自动学习一个新的交互协议,允许使用强化学习(RL)在虚拟环境中将2D用户输入映射到3D动作。RL方法的一个基本问题是经常需要大量的交互,当人类参与时很难实现。为了克服这个限制,我们使用两个合作代理。第一代理通过学习执行2D手指轨迹来对人类进行建模。第二代理充当交互协议,将来自第一代理的2D手指轨迹解释并转换为3D操作。我们通过在强化学习之前首先执行状态表示学习,将学习的2D轨迹限制为与收集的人类手势的训练集相似。这种状态表示学习通过将手势投影到由变分自动编码器(VAE)学习的潜在空间中来解决。
2019-08-27 cs.AI cs.HC cs.LG
C-D Ratio in multi-display environments
对使用多个显示器与混合现实环境的用户交互的研究已经变得与日常生活中移动设备的流行以及使用投影仪或大型显示器的大显示区域技术的商品化的增加越来越相关。以前的工作往往结合触摸输入与其他方法,如基于手势的输入,以扩大可能的交互空间或处理其他二维输入方法的局限性。与以前的方法相比,我们研究的可能性时,控制-显示(C-D)的比率是显着小于一个小的输入运动导致大的输出运动。为此,一种特定的多显示器配置以空间增强现实沙箱环境的形式实现,并且用于探索基于各种基于移动终端触摸的输入和基于光学标记跟踪的手指输入的各种交互技术。一个小的试点研究确定最有前途的输入候选,这是比较传统的触摸输入为基础的技术在用户研究中,测试它的实际相关性。研究的结果和结论。
2020-02-12 cs.HC
Multimodal Fusion Using Deep Learning Applied to Driver's Referencing of Outside-Vehicle Objects
BMW Group(宝马集团);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
人们对更智能的自然用户与汽车的交互越来越感兴趣。手势和语音已经被应用于驾驶员与汽车的互动。此外,多模式方法在汽车行业也显示出希望。在本文中,我们将深度学习用于多模态融合网络,以参考车辆外部的对象。我们同时使用来自凝视、头部姿势和手指指向的特征来精确地预测不同汽车姿势中的参考对象。我们展示了每种模态在用于自然形式的参考时的实际限制,特别是在车内。从我们的结果中可以看出,我们在很大程度上通过添加其他模式来克服模式特定的限制。这项工作突出了多模态传感的重要性,特别是在走向自然的用户交互。此外,我们基于用户的分析显示,根据车辆姿态识别用户行为的显着差异。
2021-07-26 cs.CV cs.HC cs.LG