Finger-Stylus for Non Touch-Enable Systems
自从计算机被发明以来，人们使用各种设备与计算机进行交互。最初有键盘，鼠标等，但随着技术的进步，新的方式正在被发现，这是非常常见的和自然的人类一样，手写笔，触摸系统。在当前的技术时代，用户被期望触摸机器界面来给出输入。手势是一种与机器进行交互的方式，其中使用自然的裸手进行通信而不接触机器界面。它给用户一种感觉，他正在以自然的方式与一些人互动，而不是与传统的机器。本文提出了一种用户不需要触摸机器界面就可以在屏幕上绘图的技术。在这里，手指像手写笔一样在显示器上绘制形状，而不接触显示器。这种方法可以用于许多应用程序，包括游戏。手指被用作输入设备，就像画笔或手指笔一样，用于在相机前制作形状。在Matlab环境下，利用实时的【形状】约束，完成了指尖的提取和运动跟踪。这项工作是一个早期的尝试，以取代手写笔与自然的手指没有触摸屏幕。
2014-09-27 cs.HC
Printed Texts Tracking and Following for a Finger-Wearable Electro-Braille System Through Opto-electrotactile Feedback
本文介绍了我们最近开发的一个便携式和可刷新的文本阅读和感官替代系统的盲人或视障人士（BVI），称为手指眼。该系统主要包括一个光电文本处理单元和一个紧凑的基于电触觉的显示器，该显示器可以通过可穿戴和盲文点图案化的电极阵列将与文本相关的电信号传递到指尖皮肤，从而将基于电刺激的盲文触摸感觉传递到指尖。为了实现通过该便携式系统帮助BVI阅读任何非盲文文本的目标，在这项工作中，快速光学字符识别（R-OCR）方法首先开发用于实时处理文本信息的基础上，鱼眼成像设备安装在手指可佩戴的电触觉显示器。这允许打印文本实时翻译成电子盲文，同时用户指尖的自然移动就像阅读任何盲文显示器或书籍一样。更重要的是，提出了一种电触觉神经刺激反馈机制，并将其与R-OCR方法相结合，这有助于一种新的基于光电触觉反馈的文本行跟踪控制方法，该方法使用户在阅读过程中能够通过指尖跟随文本行。本研究设计并进行了多个实验，以测试被试在视觉电触觉反馈的基础上阅读和跟随文本行的能力。实验表明，作为光电触觉反馈的结果，用户能够保持他们的指尖在一个$2mm$距离的文本，而扫描文本行。这项研究是一个重要的步骤，以帮助英属维尔京群岛用户与便携式手段翻译和遵循阅读任何印刷文本盲文，无论是在数字领域或物理，在任何表面上。
2021-08-06 cs.HC cs.SY eess.IV
Accuracy Evaluation of Touch Tasks in Commodity Virtual and Augmented Reality Head-Mounted Displays
越来越多的用于增强现实和虚拟现实（AR/VR）的面向消费者的盔装显示器（HMD）能够进行手指和手跟踪。我们报告了现成的VR和AR HMD在用于基于触摸的任务（如指向或绘图）时的准确性。具体来说，我们报告了VR盔装显示器Oculus Quest、Vive Pro和Leap Motion控制器在连接到VR HMD时的手指跟踪精度，以及AR盔装显示器Microsoft HoloLens 2和Magic Leap的手指跟踪精度。我们提出了两个实验的结果，在其中，我们比较了使用人类参与者和机器人的绝对和相对指向任务的准确性。结果表明，HTC Vive的空间精度低于Oculus Quest和Leap Motion，而微软HoloLens 2的空间精度高于Magic Leap One。这些发现可以作为决策支持的研究人员和从业人员在选择哪些系统在未来使用。
2021-09-22 cs.HC
Robust and customized methods for real-time hand gesture recognition under object-occlusion
动态手部跟踪和手势识别是一项艰巨的任务，因为手指上有许多关节，每个关节拥有许多自由度。此外，目标遮挡也是手指跟踪和姿态识别中的一个棘手问题。因此，我们提出了一个强大的和定制的系统，实时手跟踪和手势识别遮挡环境下。首先对手部关键点之间的角度进行建模并编码其相对坐标向量，然后引入GAN生成原始离散序列数据集。其次，我们提出了一种时间序列预测方法来预测定义的手部关键点位置。最后，我们定义了一个滑动窗口匹配的方法来完成手势识别。我们分析了11种典型的手势，并展示了如何执行手势识别所提出的方法。我们的工作可以达到最先进的结果，并有助于建立一个框架，以实现定制的手势识别任务。
2018-09-16 cs.HC
A short review and primer on eye tracking in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域，在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。眼动追踪是一种广泛使用的方法，用于利用注视位置跟踪用户注意力，而且还通过多个眼动和眼睑运动相关参数提供关于内部认知和上下文状态、意图以及交互设置中用户视觉注意力的轨迹的信息。本文综述了眼动追踪在人机交互中的应用。本文旨在为新手提供入门，使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用，以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学，包括12个类似的章节，加上应用指南和系统的审查摘录。因此，任何引用都应使用以下参考文献：B。Cowley，M. Filetti，K. Lukander，J. Torniainen，A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen，T. Valtonen，M. Huotilainen，N.拉瓦哈湾雅库奇心理生理学入门：方法指南和广泛的评论，重点是人机交互。《人机交互的基础和趋势》，第9卷，第3-4期，第10页。150- 307，2016年。
2016-09-23 cs.HC
Exploring Communication Dynamics: Eye-tracking Analysis in Pair Programming of Computer Science Education
本研究结合眼动追踪、访谈与问卷，分析19名学生、专家及混合参与者在结对编程中的沟通模式，揭示群体构成、任务难度与角色偏好对沟通和学习效果的影响。
2024-12-04 cs.HC
Addressing the eye-fixation problem in gaze tracking for human computer interface using the Vestibulo-ocular Reflex
一个自定义的头戴式系统来跟踪平滑的眼睛运动的鼠标光标的控制实现和评估。该系统包括头戴式红外摄像机、红外光源和计算机。在Microsoft Visual Studio、OpenCV和Pupil中实现的基于软件的图像处理技术近实时地检测瞳孔位置和瞳孔移动的方向。所识别的方向用于确定光标的期望定位，并且光标朝向目标移动。两个用户参与了三个测试，以量化由前庭眼反射引起的平滑眼球运动的增量跟踪与扫视眼球运动的阶跃变化跟踪之间的差异。跟踪平稳的眼球运动比跟踪扫视眼球运动准确四倍，平均位置分辨率为距离目标0.80厘米。相比之下，跟踪扫视眼球运动测量的平均位置分辨率为3.21厘米。使用平滑眼球运动的增量跟踪，用户能够在90%的时间内将光标放置在小至9 x 9像素正方形的目标内。然而，当使用扫视眼球运动的阶跃变化跟踪时，用户无法将光标定位在9 X 9像素目标内。平滑眼球运动的增量跟踪跟踪到目标的平均时间为6.45 s，而扫视眼球运动的阶跃变化跟踪的平均时间为2.61 s。
2020-11-24 cs.HC
FingerFlex: Inferring Finger Trajectories from ECoG signals
Bauman Moscow State Technical University（巴乌曼莫斯科国立技术大学）；ALVI Labs（ALVI实验室）；Brain Dynamics Group, Higher School of Economics（高等经济学院脑动力组）；University of Tuebingen（图宾根大学）
本文提出FingerFlex模型，通过卷积编码器-解码器架构实现对电极皮层脑数据中手指运动回归，达到0.74的相关系数，推动高精度运动皮层脑机接口发展。
2023-04-25 cs.HC cs.LG q-bio.NC
Modernized Latvian Ergonomic Keyboard
越来越多的人使用电脑和使用键盘创建内容（即使使用先进的触摸屏技术）。与世界大部分地区一样，拉脱维亚也使用传统的“QWERTY”键盘。虽然拉脱维亚语比英语差得多，特别是由于小手指的巨大负荷。它会导致重复性劳损，并影响大量使用键盘的工人的生产力，特别是数据输入操作员，呼叫中心，查询办公室工作人员等。改善计算机键盘布局可以减少手和手指的压力，从而减少疲劳和伤害。通过对英语和拉脱维亚公共领域小说和现代文本的分析，发现拉脱维亚语的字母外观和序列分布。研究了英语的替代布局（Dvorak，Colemak，Hallinstad）的质量，并根据研究结果调整了开源carpalx模拟工具。然后carpalx被用来检查超过2500万个键盘布局，测量手指/手的努力，笔画打字的便利性等，找到最好的一个事实证明，现有的“Šusildatec”（经典的拉脱维亚人体工程学标准）键盘对拉脱维亚语来说只比“QWERTY”略好，尽管对英语来说要差得多。经过计算机模拟，几个最佳布局实际尝试了6个多月，最方便的一个被推广为一个新的“拉脱维亚现代”键盘。它的打字努力比“Šusildatec”少，负荷根据手指的力量分布，打字笔画在手和手指之间交替更好。与“QWERTY”键盘相比，新的布局不仅对拉脱维亚语更好，而且对英语也更好。键盘驱动程序是为Microsoft Windows和Linux操作系统开发的，在许可证下可在Web上免费…
2017-07-05 cs.HC
Ring-a-Pose: A Ring for Continuous Hand Pose Tracking
本文提出单一无系留戒指Ring-a-Pose，通过发射听不见的声学信号并分析反射来追踪连续3D手部姿态与微手势，在零训练数据下关节误差达14.1mm，为低功耗智能戒指手部追踪提供新方案。
2024-11-12 cs.HC
Design and Evaluation of Vision-based Head and Face Tracking Interfaces for Assistive Input
基于计算机视觉的交互方法有可能成为支持人机交互领域突破的下一个强大技术。非侵入性的基于视觉的技术允许考虑非常规的交互方法，包括使用面部和头部的运动来有意地对计算机系统进行手势控制。面部手势接口为辅助输入技术开辟了新的可能性。本章概述了旨在开发基于视觉的头部和面部跟踪界面的研究。这项工作对未来的辅助输入设备具有重要意义。为了具体说明这一点，我们描述了我们自己的研究工作，我们开发了两个基于视觉的面部特征跟踪算法的人机交互和辅助输入。评价形成了这项研究的一个重要组成部分，我们提供了新的定量评价任务的例子，以及使用模型的真实世界的应用程序的定性评价新的交互风格。
2017-07-26 cs.HC
GazeSwipe: Enhancing Mobile Touchscreen Reachability through Seamless Gaze and Finger-Swipe Integration
GazeSwipe结合凝视与手指滑动，无需校准和额外硬件，利用前置摄像头提升大屏手机单手操作可达性，实验证明高成功率且受用户青睐。
2025-03-27 cs.HC
SwEYEpinch: Exploring Intuitive, Efficient Text Entry for Extended Reality via Eye and Hand Tracking
Columbia University（哥伦比亚大学）
本文提出SwEYEpinch方法，通过眼动和手部追踪实现高效文本输入，通过用户研究验证其在增强现实中的优势，达到64.7 WPM的性能。
2026-04-03 cs.HC
Fine-grained Finger Gesture Recognition Using WiFi Signals
手势识别在人机交互中变得越来越重要，并且可以支持诸如灵巧家庭、VR和游戏的不同应用。传统方法通常依赖于用户佩戴的专用传感器或需要视线的相机。在本文中，我们提出了细粒度的手指手势识别使用商品WiFi，而不需要用户佩戴任何传感器。我们的系统利用了商品WiFi设备和WiFi网络基础设施的普及提供的细粒度信道状态信息。它通过检查详细的《犯罪现场调查》中展示的独特模式来感知和识别手指手势的微妙运动。我们设计了环境噪声去除机制，以减轻由于环境变化而引起的信号动态的影响。此外，我们建议捕捉内在的手势行为，以处理个人的多样性和手势不一致。最后，我们利用多个WiFi链接和更大的带宽在5GHz下实现多用户场景下的手指手势识别。我们在不同环境下的实验评估表明，我们的系统可以达到90%以上的识别准确率，是强大的环境变化和个人的多样性。实验结果还表明，我们的系统可以提供准确的手势识别在不同的情况下。
2021-06-01 cs.HC
Beyond the Crawl: Unmasking Browser Fingerprinting in Real User Interactions
本文通过30名用户10周的真实浏览遥测数据，发现自动化爬虫遗漏了45%的指纹识别网站，并验证了联邦学习在真实数据上训练检测模型的优越性。
2025-02-03 cs.CR cs.HC
Air Signing and Privacy-Preserving Signature Verification for Digital Documents
University of Moratuwa（莫拉图瓦大学）
本文提出基于摄像头单指追踪与手势命令的 Air Signature 空中签名系统，并利用神经核心实时分析动作、速度和笔画以完成隐私保护的签名验证。
2024-05-17 cs.CV cs.HC
Forward and Inverse models in HCI:Physical simulation and deep learning for inferring 3D finger pose
University of Glasgow（格拉斯哥大学）
我们概述了正向和逆向建模方法在人机交互系统设计中的作用。因果关系的正向模型往往更容易指定和模拟，但HCI需要逆问题的解决方案。我们推断手指的三维位置$(x,y,z)$和姿态（俯仰和偏航）的移动终端上使用电容传感器，可以感测到屏幕上方5厘米的手指。我们使用机器学习来开发数据驱动模型，以基于来自以下的训练数据来推断位置、姿态和传感器读数：1.由机器人生成的数据，2.来自静电模拟器的数据3.人工生成的数据。机器学习仿真用于将静电仿真性能提高数百万倍。我们结合了一个条件变分自编码器领域的专业知识/模型实验收集的数据。我们比较正向和反向模型的方法来直接推断手指姿势。该组合给出了关于利用移动终端上的电容传感器推断3D位置和姿态的最准确的报告结果。
2021-09-07 cs.HC cs.LG
FiDTouch: A 3D Wearable Haptic Display for the Finger Pad
Intelligent Space Robotics Laboratory（智能空间机器人实验室）；Skolkovo Institute of Science and Technology (Skoltech)（斯克尔科沃科学与技术研究所（Skoltech））
本研究提出FiDTouch，一种基于微型倒置Delta机器人的3D可穿戴指腹触觉设备，可提供接触、压力、皮肤拉伸等多种刺激，用户研究验证了其感知性能，能显著提升人机交互的沉浸感与效率。
2025-07-10 cs.HC cs.RO
Visual tracking brain computer interface
Tsinghua University（清华大学）；Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院 北京协和医学院）；Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）
本研究提出一种新型空间编码刺激范式及投影方法，实现基于EEG的视觉脑机接口对解码速度的连续调制，在17名参与者实验中取得高Fitt's ITR，并成功应用于绘画与游戏，实现了基于神经活动的自然连续控制。
2023-11-21 cs.AI cs.HC cs.SY
Szloca: towards a framework for full 3D tracking through a single camera in context of interactive arts
RMIT（皇家墨尔本理工大学）
大面积中的对象和人类存在的实时虚拟数据在实现各种行业中的许多体验和应用方面具有重要的关键，并且随着人工智能的技术发展的指数增长，计算机视觉已经扩展了仅通过视频输入来跟踪和分类事物的可能性，这也超越了传统上已知的用于检测人的姿态和位置的最流行和常见的硬件设置的限制，例如低视场和有限的跟踪能力。在应用程序开发中使用计算机视觉的好处很大，因为它增强了传统的输入源（如视频流），并且可以集成在许多环境和平台中。在新媒体互动艺术的背景下，基于物理运动和扩展到大面积或画廊，本研究提出了一种新的方法和框架，以获得数据和虚拟表示的对象/人-如三维位置，姿态/姿势和面具从一个单一的rgb相机。通过一些最近的发展和在计算机视觉领域中的现有研究的基础上观察现有技术，本文还提出了一种从单目图像获得三维位置数据的原始方法，该模型不依赖于计算机视觉系统的复杂训练，而是结合了现有的计算机视觉研究并增加了表示z深度的能力，即表示来自2D输入源3轴上的世界位置。
2022-06-26 cs.CV cs.HC cs.MM
