KeySense: LLM-Powered Hands-Down, Ten-Finger Typing on Commodity Touchscreens
Stony Brook University（石溪大学）；Kean University（基恩大学）；Tsinghua University（清华大学）
KeySense通过认知-运动时间模式和微调LLM解码器，实现高效的十指触屏输入，无需额外硬件。
2026-02-12 cs.HC
TouchWalker: Real-Time Avatar Locomotion from Touchscreen Finger Walking
TouchWalker通过触摸屏手指行走手势与MoE-GRU神经运动生成器，实现实时、连续且上下文感知的全身虚拟化身运动控制，并在用户研究中验证其优于虚拟摇杆基线，显著提升具身感、愉悦感和沉浸感。
2025-11-11 cs.GR cs.HC
GazeSwipe: Enhancing Mobile Touchscreen Reachability through Seamless Gaze and Finger-Swipe Integration
GazeSwipe结合凝视与手指滑动，无需校准和额外硬件，利用前置摄像头提升大屏手机单手操作可达性，实验证明高成功率且受用户青睐。
2025-03-27 cs.HC
BudsID: Mobile-Ready and Expressive Finger Identification Input for Earbuds
提出BudsID技术，通过磁力计检测磁性环磁场实现耳塞上的手指识别输入，支持多指双击，在移动场景下保持高准确率，并验证了在低资源设备上的可行性。
2025-03-04 cs.HC
Computing Touch-Point Ambiguity on Mobile Touchscreens for Modeling Target Selection Times
Finger-Fitts定律（FFitts定律）是一种预测触摸指向时间的模型，由Fitts定律修改而来。它考虑了触摸点的绝对精度，或手指颤动因子σ_a，以减少可接受的目标区域，从而增加任务难度。在诸如运行独立任务或执行参数优化的选择中，对于测量sigma_a的最佳方法没有共识。这种不一致性可能不利于HCI研究，例如指向技术评估和用户组比较。通过整合我们的1D和2D触摸指向实验的结果和对以前研究数据的重新分析，我们研究了每种方法计算sigma_a的优点和缺点。我们发现，参数优化方法是一个次优的选择预测的性能。
2021-11-09 cs.HC
ReaWristic: Remote Touch Sensation to Fingers from a Wristband via Visually Augmented Electro-Tactile Feedback
本研究提出ReaWristic腕带技术，通过视觉增强电触觉反馈为MR中的手指提供远程触觉，无需凝胶电极，定位效果优于现有方案且用户评价更高。
2024-10-30 cs.HC
Exploring the Front Touch Interface for Virtual Reality Headsets
在本文中，我们提出了一种新的接口虚拟现实耳机：触摸板在前面的耳机。为了证明正面触摸界面的可行性，我们构建了一个原型设备，探索了VR UI设计空间的扩展，并进行了各种用户研究。我们从初步测试开始，看看人们如何直观和准确地与前触摸板进行交互。然后，我们进一步试验了各种用户界面，如二进制选择，典型的菜单布局和键盘。还探索了双指和拖放，以找到适当的选择技术。作为一种低成本、轻重量、低功耗的技术，触摸传感器可以成为移动耳机的理想接口。此外，前触摸区域可以足够大以允许宽范围的交互类型，诸如多手指交互。有了这种新颖的前触摸界面，我们为新的虚拟现实交互方法铺平了道路。
2016-08-01 cs.HC
MagSurface: Wireless 2D Finger Tracking Leveraging Magnetic Fields
随着触摸屏的普及，触摸输入模态已经成为流行的交互方式。然而，当前的触摸屏技术在其设计上是有限制的，因为它将触摸交互限制到专门装备的触摸表面。水等表面污染物也会阻碍适当的相互作用。在本文中，我们提出了使用磁场传感，使手指跟踪表面上最少的仪器。我们的系统MagSurface将日常表面变成触摸媒介，从而使触摸表面的类型更加灵活。我们的系统的评估包括量化的系统在2D平面上定位对象的准确性。我们在三种不同的表面材料上测试我们的系统，以验证其使用场景。还进行了定性用户体验研究，以获得有关系统易用性和舒适度的反馈。定位误差低至几毫米
2021-05-02 cs.HC cs.SY eess.SY
Accuracy Evaluation of Touch Tasks in Commodity Virtual and Augmented Reality Head-Mounted Displays
越来越多的用于增强现实和虚拟现实（AR/VR）的面向消费者的盔装显示器（HMD）能够进行手指和手跟踪。我们报告了现成的VR和AR HMD在用于基于触摸的任务（如指向或绘图）时的准确性。具体来说，我们报告了VR盔装显示器Oculus Quest、Vive Pro和Leap Motion控制器在连接到VR HMD时的手指跟踪精度，以及AR盔装显示器Microsoft HoloLens 2和Magic Leap的手指跟踪精度。我们提出了两个实验的结果，在其中，我们比较了使用人类参与者和机器人的绝对和相对指向任务的准确性。结果表明，HTC Vive的空间精度低于Oculus Quest和Leap Motion，而微软HoloLens 2的空间精度高于Magic Leap One。这些发现可以作为决策支持的研究人员和从业人员在选择哪些系统在未来使用。
2021-09-22 cs.HC
TouchInsight: Uncertainty-aware Rapid Touch and Text Input for Mixed Reality from Egocentric Vision
Meta Reality Labs（元宇宙实验室）；ETH Zürich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
针对混合现实中头戴相机触摸输入检测不准的问题，提出TouchInsight实时流水线，用带不确定性建模的神经网络实现十指触摸精准检测，离线定位误差6.3mm，在线双手打字达37词/分钟、错误率2.9%。
2024-10-08 cs.CV cs.HC
Sliding Speed Influences Electrovibration-Induced Finger Friction Dynamics on Touchscreens
本文通过实验和建模研究了滑动速度对电振动触摸屏上手指摩擦动力学的影响，揭示了速度与截止频率、手指质量和刚度的定量关系，并提出了速度相关摩擦模型以提升触觉反馈的稳定性。
2025-09-23 cs.HC cs.SY eess.SY
Analysing Human Interaction with Electronic Displays in Microgravity
Indian Institute of Science, Bangalore（印度科学研究所班加罗尔）
研究微重力环境下触屏交互方式对宇航员操作性能和心理状态的影响，比较手指和触笔在ISS宇航员、地面人员及学生中的表现差异。
2026-04-19 cs.HC
Continuous User Authentication Using Machine Learning and Multi-Finger Mobile Touch Dynamics with a Novel Dataset
随着技术的快速发展和演变，越来越明显的是，移动设备比以往任何时候都更常用于敏感事项。需要不断地对用户进行身份验证，因为单因素或多因素身份验证可能仅在初始时验证用户，如果冒名顶替者可以绕过此初始验证，则这没有帮助。触摸动态领域作为一种明确的方式出现，以非侵入性地收集关于用户及其行为的数据，以便实时的制定和做出必要的安全相关决策。在本文中，我们提出了一个新的数据集，包括跟踪25个用户玩两个手机游戏Snake.io和Minecraft每个10分钟，以及他们的相关手势数据。从这些数据中，我们运行了机器学习二进制分类器，即随机森林和K最近邻，试图验证特定用户行为的样本是否真实。我们最强的模型在两款游戏中的平均准确率约为93%，这表明触摸动态可以有效区分用户，并且是身份验证方案的可行考虑因素。我们的数据集可以在https://github.com/zderidder/MC-Snake-Results上查看
2022-07-27 cs.CR cs.HC
Hand Posture's Effect on Touch Screen Text Input Behaviors: A Touch Area Based Study
具有触摸键盘的移动设备已经变得无处不在，但是在这些设备上的文本输入仍然缓慢且容易出错。理解文本输入过程中的触摸模式对于为软键盘设计鲁棒的纠错算法可能很有用。在本文中，我们提出了一个软QWERTY键盘上的文本输入行为的分析在三个不同的文本输入姿势：食指，一个拇指，和两个拇指。我们的工作扩展了[1]的工作，考虑了手指与智能手机键盘接触的整个表面积，而不是将每个触摸解释为单个点。为此，我们在一项有8名参与者的实验室研究中捕获了每个按键的触摸区域，并计算了偏移量、出错率和尺寸测量值。然后，我们重复了[1]中描述的原始实验，并表明当基于触摸面积的偏移计算与两种姿势的触摸点相比时存在显着差异。
2015-04-08 cs.HC
ALTo: Ad Hoc High-Accuracy Touch Interaction Using Acoustic Localization
全世界有数百万人因帕金森氏症、脑瘫、肌肉萎缩症和其他身体残疾而面临运动障碍。该项目的目标是通过创建一种简单，廉价和便携的方式来增加这些残疾用户的设备的可用表面积，以实现与大表面（如桌子甚至墙壁）的高精度触摸交互。该项目使用了一种新颖的方法，该方法分析放置在交互式表面上的四个压电麦克风处的声学信号，以识别与同一事件相关的声音（例如，手指轻敲）。ALTo（声学局部触摸）使用此信号处理的结果来计算麦克风之间的到达时间差（TDOA）。所收集的TDOA数据用于计算声源的近似位置（例如，手指敲击）使用双曲线方程的集合。系统原型的实验评估用于确定显着提高精度和创建可用系统所需的一些软件和信号处理优化。研究结果表明，可以高精度地检测触摸的位置。ALTo原型在x方向上实现了1.45cm的精度，在y方向上实现了2.72cm的精度，这在目标使用范围内（即，有运动障碍者）。
2021-08-15 cs.HC
FITS: Ensuring Safe and Effective Touchscreen Use in Moving Vehicles
针对移动交通工具中触摸屏因振动干扰输入错误、需视觉关注致事故风险高的问题，FITS项目拟开发能主动预测纠正手指运动、模拟物理触摸交互的新型车载触摸屏以提升安全性与有效性。
2024-12-24 cs.HC cs.SY eess.SY
UbiTouch: Towards a Universal Touch Interface
本文提出UbiTouch系统，利用单台热像仪和轻量级低计算量算法，在任意表面实现多指触摸检测、悬停区分与轨迹跟踪，为泛在计算环境提供可扩展且适应性强的人体感知交互方案。
2024-12-23 cs.HC
Magical Touch: Transforming Raw Capacitive Streams into Expressive Hand-Touchscreen Interaction
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）
本文提出Magical Touch方法，通过整合原始电容数据实现自然的手势交互，展示物理互动游戏中的多模式表现，拓展触屏交互设计空间。
2026-05-13 cs.HC
Telepresence Interaction by Touching Live Video Images
提出了一种基于触摸屏和临场感机器人技术的临场感交互框架。该框架的核心是一个新的用户界面，基于可触摸实时视频图像的用户界面，称为TIUI。TIUI允许远程操作员不仅驱动远程呈现机器人，而且通过用手指触摸手势触摸垫上的实时视频图像来操作和与真实对象交互。我们实现了一个远程呈现交互系统，它是由一个远程呈现机器人和远程交互对象位于本地空间，TIUI的垫位于远程空间，和无线网络连接两个空间。我们的系统可以是远程操作员的完美体现，可以完成大多数日常生活任务，例如开门，拉窗帘，推轮椅和其他类似任务。评估和演示结果表明，我们的系统的有效性和广阔的应用前景。
2016-08-22 cs.HC
A Systematic Study Of Various Fingertip Detection Techniques For Air Writing Using Machine Learning
本文系统梳理机器学习在空中书写指尖检测中的各类技术，阐述手势识别作为非接触式人机交互方式如何降低通信壁垒。
2023-06-07 cs.HC
Assessment of Sign Language-Based versus Touch-Based Input for Deaf Users Interacting with Intelligent Personal Assistants
本研究针对聋人用户，对比了美国手语、Tap to Alexa与智能家居应用和智能个人助理交互的可用性，发现手语可用性略优，并探讨了有限词汇应用设计对通用手语识别的推进意义。
2024-04-22 cs.HC
Tactile Roughness Perception of Virtual Gratings by Electrovibration
触觉纹理在触摸屏上的真实显示是触觉技术向接触日常使用电子设备的广泛消费者迈出的一大步。由于纹理形貌不能显式地呈现在触摸屏上的电振动，重要的是要了解我们如何感知通过电振动摩擦调制显示的虚拟纹理。我们研究了有机玻璃制成的真实光栅和通过触摸屏电振动显示的虚拟光栅的粗糙度感知进行比较。特别是，我们进行了两个心理物理实验，10名参与者调查的影响，空间周期和手指施加的法向力的粗糙度感知的真实和虚拟光栅在宏观尺寸。我们还记录了实验过程中作用在参与者手指上的接触力。结果表明，真实光栅和虚拟光栅的粗糙度感知是不同的。我们认为，这种差异可以解释的量的指垫渗透到光栅。对于真正的光栅，渗透增加切向力作用在手指上，而对于虚拟的皮肤渗透是不存在的，切向力随空间周期下降。支持我们的主张，我们还发现，增加法向力增加感知粗糙度的真实光栅，而它会导致相反的效果的虚拟光栅。这些结果与真实光栅和虚拟光栅记录的切向力分布一致。特别是，切向力的变化率（$dF_t/dt$）作为空间周期和法向力的函数，遵循与真实和虚拟光栅的粗糙度估计所获得的趋势类似的趋势，这表明它是比切向力大小更好的感知粗糙度的指标。
2020-06-09 cs.HC
Exploiting Complexity in Pen- and Touch-based Signature Biometrics
生物特征签名验证传统上是在基于笔的办公室场景中使用专门设计用于获取手写的设备来执行的。然而，诸如智能手机和平板电脑之类的设备的高度部署已经产生了用于签名生物识别的新的和蓬勃发展的场景，其中不仅可以使用手写笔而且可以通过触摸交互使用手指来执行手写。一些初步研究强调了这一新设想的挑战以及进一步研究这一专题的必要性。这项工作的主要贡献是提出了一个新的在线签名验证架构，以适应签名的复杂性，以解决这个新的和具有挑战性的情况。此外，一个详尽的比较分析笔和触摸为基础的情况下，使用我们提出的方法进行了审查，最相关的和最近的研究领域。为签名验证在实际场景中的应用提供了生物特征验证性能的显著提高和实用见解。
2020-01-31 cs.HC
A novel soft keyboard for touchscreen phones: QWERT
自从iPhone和Android手机发布以来，触摸屏手机在世界各地的普及程度一直在增长。大尺寸触摸屏的手机越来越多，然而，小尺寸显示屏的手机仍然占触摸手机的大多数。触摸智能手机最重要的界面是使用软键盘的信息输入模块。触摸手机上的传统输入方式要么按键太小（如QWERTY），要么功能太多（如3 $\times$ 4键盘），使用起来很不方便。此外，传统的软键盘仅使用轻敲来输入文本，而当前的触摸智能手机允许触摸屏上的各种手势，例如滑动。在本文中，一种新的软键盘称为QWERTY的触摸屏为基础的智能手机。用户可以通过使用QWERTY输入文本时，通过点击或滑动的手指手势与手机交互。这样一来，用户与智能手机之间的互动将更快、更容易。一项在没有经验的人类受试者身上进行的实验表明，由于他们对QWERTY的熟悉，他们可以学习得非常快。基于认知结构ACT-R的模拟实验也被用来预测有经验的人类受试者的运动时间（MT）。仿真结果表明，使用QWERTY的MT优于其他默认键盘。这些结果意味着新的QWERT是触摸智能手机用户的一个可行的选择。在此基础上，在Android系统上开发了一个应用程序。该应用程序有望为使用触摸智能手机的客户提供更好的用户体验。
2013-11-04 cs.HC
A Fuzzy Set-based Approach for Matching Hand-Drawing Shapes of Touch-based Gestures for Graphical Passwords
针对现有手势技术难以适配人手运动导致的手绘手势不精准问题，本文提出一种基于二维模糊集、采用模糊提示点击点技术的触控手势匹配方法，以提升对接近参考手势的不精准手绘手势的接受度，增强人机交互灵活性。
2025-07-30 cs.HC
μTouch: Enabling Accurate, Lightweight Self-Touch Sensing with Passive Magnets
Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）；University of Michigan（密歇根大学）
μTouch通过被动磁铁实现准确且轻量的自我触觉感知，适用于卫生监测和皮肤病学健康应用。
2026-02-24 cs.HC
TactDeform: Finger Pad Deformation Inspired Spatial Tactile Feedback for Virtual Geometry Exploration
The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
TactDeform通过模拟手指垫变形实现高精度时空触觉反馈，提升虚拟环境中的几何探索体验。
2026-02-03 cs.HC
SENS3: Multisensory Database of Finger-Surface Interactions and Corresponding Sensations
本文提出SENS3，一个包含50种表面多感官交互数据及13名参与者心理物理感觉评分的开放获取数据库，旨在推进多感官纹理渲染、用户体验开发及机器人触觉感知。
2024-07-01 cs.HC eess.SP
Augmented Unlocking Techniques for Smartphones Using Pre-Touch Information
智能手机存储了大量的个人和私人信息，在人们的生活中发挥着越来越重要的作用。重要的是，身份验证技术要能够更好地抵御两种已知的攻击，即肩部冲浪和污迹攻击。在这项工作中，我们提出了一种新的技术，称为3D图案。我们的3D Pattern技术利用了一种名为预触摸的新输入范式，该范式很快就可以让智能手机在距离屏幕一定距离处感知用户的手指位置。我们实施的技术，并评估它在一个试点研究（n=6），通过比较它的PIN和模式锁。我们的研究结果表明，虽然我们的原型需要大约8秒的时间来进行身份验证，但它对污迹攻击具有免疫力，并且有望更好地抵抗肩部冲浪。
2019-08-24 cs.CR cs.HC
3DTouch: Towards a Wearable 3D Input Device for 3D Applications
三维（3D）应用已经进入生活的每个角落。我们提出了3DTouch，一种新型的3D可穿戴输入设备戴在指尖上与3D应用程序进行交互。3DTouch是独立的，旨在通用于各种3D平台。该设备采用触摸输入，以获得被动触觉反馈和运动稳定性的益处。此外，通过触摸交互，3DTouch在概念上比Kinect等3D空间输入设备更容易疲劳。我们的方法依赖于使用光学激光传感器和9自由度惯性测量单元的相对定位技术。我们使用3DTouch实现了一套3D交互技术，包括选择、平移和旋转。一项评估还表明，该设备的跟踪精度为1.10毫米和2.33度的微妙触摸互动在3D空间。通过3DTouch项目，我们希望提供一种输入设备，以减少3D应用程序和用户之间的差距。
2017-06-01 cs.HC
The "Seen but Unnoticed" Vocabulary of Natural Touch: Revolutionizing Direct Interaction with Our Devices and One Another (UIST 2021 Vision)
该UIST 2021愿景论文提出应突破单屏触控局限，从多模态、多设备、多用户及自然行为语境出发重新定义触控交互，有望革新个人与协作式人机交互模式。
2023-10-06 cs.HC
FetchAid: Making Parcel Lockers More Accessible to Blind and Low Vision People With Deep-learning Enhanced Touchscreen Guidance, Error-Recovery Mechanism, and AR-based Search Support
FetchAid通过深度学习触摸屏引导、AR音频反馈和错误恢复机制，帮助盲人和低视力人群更高效、更低挫败地使用包裹储物柜，并在12名BLV参与者研究中验证了其有效性。
2024-02-24 cs.HC
Learning 3D Navigation Protocols on Touch Interfaces with Cooperative Multi-Agent Reinforcement Learning
Itekube；LIRIS（里昂信息与智能系统实验室）；Inria（法国国家信息与自动化研究所）；CITI-Lab（CITI实验室）；INSA-Lyon（里昂国立应用科学学院）；LITIS（鲁昂信息与智能系统实验室）；INSA-Rouen（鲁昂国立应用科学学院）
使用触摸设备在诸如计算机辅助设计（CAD）模型或地理信息系统（GIS）之类的虚拟3D环境中导航对于人类来说固有地是困难的，因为3D操作必须由用户在2D触摸表面上执行。这个不适定的问题是经典的解决与固定的和手工制作的交互协议，这必须由用户学习。我们建议自动学习一个新的交互协议，允许使用强化学习（RL）在虚拟环境中将2D用户输入映射到3D动作。RL方法的一个基本问题是经常需要大量的交互，当人类参与时很难实现。为了克服这个限制，我们使用两个合作代理。第一代理通过学习执行2D手指轨迹来对人类进行建模。第二代理充当交互协议，将来自第一代理的2D手指轨迹解释并转换为3D操作。我们通过在强化学习之前首先执行状态表示学习，将学习的2D轨迹限制为与收集的人类手势的训练集相似。这种状态表示学习通过将手势投影到由变分自动编码器（VAE）学习的潜在空间中来解决。
2019-08-27 cs.AI cs.HC cs.LG
Multi Stage based Time Series Analysis of User Activity on Touch Sensitive Surfaces in Highly Noise Susceptible Environments
本文提出了一个多阶段的框架，在嘈杂的环境中的触摸敏感表面上的用户活动的时间序列分析。本文将移动平均、移动中值、线性回归、核密度估计、偏微分方程和卡尔曼滤波器等多种方法放在多阶段框架中进行研究。建议的三个阶段的过滤器组成的偏微分方程为基础的去噪，卡尔曼滤波器和移动平均法提供了约25%的降噪效果比其他方法根据均方误差（MSE）的标准，在高噪声敏感的环境。除了合成数据外，我们还在存在高噪声（如未经授权的充电器噪声或显示器噪声）的情况下在触摸屏上获得了真实世界的数据，如手写、手指/手写笔拖动等，并验证了我们的算法。此外，所提出的算法在质量上比消费电子市场中可用的高端的手持设备的触摸面板的现有解决方案更好。
2015-01-21 cs.HC stat.AP
Can Capacitive Touch Images Enhance Mobile Keyboard Decoding?
Google（谷歌公司）
本文研究电容触摸热图能否提升移动键盘解码准确性，通过开发机器学习模型证明加入热图可使字符错误率相对降低21.4%，并在Pixel 6 Pro用户研究中验证其能降低错误率、提高打字速度和满意度。
2024-10-03 cs.HC cs.LG
C-D Ratio in multi-display environments
对使用多个显示器与混合现实环境的用户交互的研究已经变得与日常生活中移动设备的流行以及使用投影仪或大型显示器的大显示区域技术的商品化的增加越来越相关。以前的工作往往结合触摸输入与其他方法，如基于手势的输入，以扩大可能的交互空间或处理其他二维输入方法的局限性。与以前的方法相比，我们研究的可能性时，控制-显示（C-D）的比率是显着小于一个小的输入运动导致大的输出运动。为此，一种特定的多显示器配置以空间增强现实沙箱环境的形式实现，并且用于探索基于各种基于移动终端触摸的输入和基于光学标记跟踪的手指输入的各种交互技术。一个小的试点研究确定最有前途的输入候选，这是比较传统的触摸输入为基础的技术在用户研究中，测试它的实际相关性。研究的结果和结论。
2020-02-12 cs.HC
BioMoTouch: Touch-Based Behavioral Authentication via Biometric-Motion Interaction Modeling
Huazhong University of Science and Technology（华中科技大学）；University of Colorado Denver（科罗拉多大学丹佛分校）；Tsinghua University（清华大学）；Wuhan University（武汉大学）
BioMoTouch通过整合电容触控屏与惯性传感器信号，建立生物特征与行为动态的联合模型，实现高鲁棒性的触控认证，实验显示其在99.71%的平衡准确率和0.27%的误判率下表现优异。
2026-04-08 cs.CR cs.HC
FiDTouch: A 3D Wearable Haptic Display for the Finger Pad
Intelligent Space Robotics Laboratory（智能空间机器人实验室）；Skolkovo Institute of Science and Technology (Skoltech)（斯克尔科沃科学与技术研究所（Skoltech））
本研究提出FiDTouch，一种基于微型倒置Delta机器人的3D可穿戴指腹触觉设备，可提供接触、压力、皮肤拉伸等多种刺激，用户研究验证了其感知性能，能显著提升人机交互的沉浸感与效率。
2025-07-10 cs.HC cs.RO
Keyboard Surface Interaction: Making the keyboard into a pointing device
驻留在键盘上的指向设备可以减少执行混合的指向和键入任务所需的总时间，因为用户的手不必够到指向设备。然而，由于大的出错率、低的速度和空间分辨率，这种设备的先前实现与鼠标和触控板相比具有更高的移动时间。在本文中，我们介绍了键盘表面交互（KSI），一种交互方法，将键盘的表面变成一个交互表面，并允许用户将手放在键盘上，以尽量减少疲劳。我们开发了一个概念验证实现Fingers，并通过一系列研究进行了优化。最后，我们在一项用户研究中评估了Fingers对鼠标和触控板的影响，其中有25名参与者进行了Fitts定律测试风格，混合打字和指向任务。结果表明，对于接触KSI较多的用户，我们的KSI设备与触控板相比具有更好的性能（减少移动和归位时间）和更少的不适感。与小鼠相比，KSI减少了归巢时间和不适感，但增加了运动时间。这种交互方式不仅是一种利用键盘顶部空间的新方法，也是一种创新和超越触摸屏、触摸板和鼠标作为主要定点设备的新方法。我们的研究结果作为未来KSI设备的规范。
2016-01-15 cs.HC
EgoTouch: On-Body Touch Input Using AR/VR Headset Cameras
Carnegie Mellon University（卡内基梅隆大学）
本研究提出EgoTouch方案，仅借助AR/VR头显自带的RGB摄像头实现高精度裸手在体触摸输入，具备多场景鲁棒性，还能提供丰富输入元数据，为皮肤界面的实用化提供技术支撑。
2025-09-01 cs.CV cs.HC cs.RO
PalmSpace: Towards a Versatile On-Palm Interaction Space through Unified Touch Modeling
Tsinghua University（清华大学）；Academy of Arts & Design, Tsinghua University（清华大学美术学院）；BNRist（北京信息科学与技术国家研究中心）
PalmSpace提出腕戴式红外系统，通过统一触摸建模实现手掌上的模式感知绝对输入，无需校准，达到6.7毫米定位误差和98.9%接触检测准确率，支持精确指向、拖拽及多指控制。
2026-10-08 cs.CV cs.HC
HyFinBall: a Hybrid User Interface for Coordinated 2D+3D Visualization in Semi-Immersive VR
HyFinBall是一种混合用户界面，通过协调2D和3D可视化提升半沉浸式VR中的交互效率。
2025-12-11 cs.HC
3DTouch: A wearable 3D input device with an optical sensor and a 9-DOF inertial measurement unit
我们提出了3DTouch，一种新型的3D可穿戴输入设备戴在指尖上的3D操作任务。3DTouch旨在填补3D输入设备的空白，该设备是独立的，移动的，并且可以在各种3D平台上通用。本文提出了一种低成本的解决方案，设计和实现这样的设备。我们的方法依赖于使用光学激光传感器和9自由度惯性测量单元的相对定位技术。3DTouch是独立的，旨在通用于各种3D平台。该设备采用触摸输入，以获得被动触觉反馈和运动稳定性的益处。另一方面，通过触摸交互，3DTouch在概念上比3D空间输入设备更不容易疲劳。我们提出了一套三维交互技术，包括选择，平移和旋转使用3DTouch。一项评估还表明，该设备的跟踪精度为1.10毫米和2.33度的微妙触摸互动在3D空间。像3DTouch这样的模块化解决方案为交互技术的进一步发展开辟了一个全新的设计空间。
2015-07-17 cs.HC cs.MM
TapType: Ten-finger text entry on everyday surfaces via Bayesian inference
ETH Zürich（苏黎世联邦理工学院）
本研究提出TapType移动文本输入系统，通过双腕惯性传感器结合贝叶斯神经网络与n-gram语言模型，实现无源表面上的全尺寸十指打字，训练后普通用户打字速度达19词/分钟、错误率0.6%，可应用于移动设备、混合现实等场景。
2024-10-08 cs.CV cs.HC
I-Keyboard: Fully Imaginary Keyboard on Touch Devices Empowered by Deep Neural Decoder
KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院）
文本输入的目的是提供一个有效的和高效的途径，为人类提供他们的信息到计算机。随着移动计算的出现，最近文本输入研究的焦点已经从物理键盘转移到软键盘。然而，当前的软键盘由于缺乏触觉反馈而增加了打字错误率，并且由于它们在屏幕上的大部分而降低了移动设备的可用性。为了解决这些限制，我们提出了一个带有深度神经解码器（DND）的全虚构键盘（I-Keyboard）。I-Keyboard的不可见性最大限度地提高了移动设备的可用性，深层神经架构支持的DND允许用户从触摸屏上的任何位置以任何角度开始键入。据我们所知，眼睛自由十指打字的情况下，I-键盘，不需要校准步骤和一个预定义的打字区域是第一次在这项工作中探索。为了训练DND，我们在开发I-Keyboard的过程中收集了最大的用户数据。我们通过在各种条件下进行一系列全面的模拟和实验，验证了所提出的I-Keyboard和DND的性能。I-Keyboard的打字速度（45.57 WPM）和准确率（95.84%）分别比基线提高了18.95%和4.06%。
2019-07-31 cs.AI cs.CV cs.HC
Printed Texts Tracking and Following for a Finger-Wearable Electro-Braille System Through Opto-electrotactile Feedback
本文介绍了我们最近开发的一个便携式和可刷新的文本阅读和感官替代系统的盲人或视障人士（BVI），称为手指眼。该系统主要包括一个光电文本处理单元和一个紧凑的基于电触觉的显示器，该显示器可以通过可穿戴和盲文点图案化的电极阵列将与文本相关的电信号传递到指尖皮肤，从而将基于电刺激的盲文触摸感觉传递到指尖。为了实现通过该便携式系统帮助BVI阅读任何非盲文文本的目标，在这项工作中，快速光学字符识别（R-OCR）方法首先开发用于实时处理文本信息的基础上，鱼眼成像设备安装在手指可佩戴的电触觉显示器。这允许打印文本实时翻译成电子盲文，同时用户指尖的自然移动就像阅读任何盲文显示器或书籍一样。更重要的是，提出了一种电触觉神经刺激反馈机制，并将其与R-OCR方法相结合，这有助于一种新的基于光电触觉反馈的文本行跟踪控制方法，该方法使用户在阅读过程中能够通过指尖跟随文本行。本研究设计并进行了多个实验，以测试被试在视觉电触觉反馈的基础上阅读和跟随文本行的能力。实验表明，作为光电触觉反馈的结果，用户能够保持他们的指尖在一个$2mm$距离的文本，而扫描文本行。这项研究是一个重要的步骤，以帮助英属维尔京群岛用户与便携式手段翻译和遵循阅读任何印刷文本盲文，无论是在数字领域或物理，在任何表面上。
2021-08-06 cs.HC cs.SY eess.IV
HapTable: An Interactive Tabletop Providing Online Haptic Feedback for Touch Gestures
Koc University（科奇大学）
我们提出HapTable;一种多模式交互桌面，允许用户通过自然触摸手势与数字图像和对象交互，并相应地接收视觉和触觉反馈。在我们的系统中，手的姿态是由红外摄像机和手势进行分类，使用支持向量机（SVM）分类器。为了显示一组丰富的静态和动态手势的触觉效果，我们有效地集成了机电和静电驱动技术的HapTable，这是一个表面电容式触摸屏的桌面表面。我们将四个压电贴片连接到桌面的边缘，以显示静态手势的振动触觉反馈。为此，通过激光多普勒测振仪在其表面上获得84个网格点的频率响应函数（FRFs）形式的台面振动响应。使用这些FRF，可以在表面上显示静态手势的局部振动触觉反馈。对于动态手势，我们利用静电驱动技术，通过施加电压到其导电层来调制手指皮肤和桌面表面之间的摩擦力。在这里，我们提出了两个这样的应用程序的例子，一个静态和动态手势，以及详细的用户研究。在第一个示例中，用户通过将手放在桌面上并感觉在其下方行进的振动触觉刺激来检测虚拟流动的方向，例如风或水的方向。在第二个示例中，用户旋转桌面上的虚拟旋钮以从菜单中选择项目，同时以摩擦触觉反馈的形式感觉旋钮的止动件和旋转阻力。
2021-03-30 cs.CV cs.GR cs.HC
Encountered-Type Haptic Display via Tracking Calibrated Robot
Purdue University（普渡大学）
针对被动触觉需预部署的问题，本文提出TCR协作机器人方法，通过实时控制手指与末端执行器距离呈现遭遇式触觉，并验证其可有效传递可区分的形状信息。
2023-09-28 cs.HC cs.RO
XR$^3$: An Extended Reality Platform for Social-Physical Human-Robot Interaction
Honda Research Institute EU（本田欧洲研究院）
XR$^3$通过双VR头显平台实现社会-物理人机交互研究，支持真实触觉反馈与非语言提示实验，降低机器人行为原型开发难度。
2026-01-23 cs.HC cs.RO
