Accurate decoding of materials using a finger mounted accelerometer
感觉反馈是运动控制和学习背后的基本驱动力。然而，低成本和有效的感觉反馈技术仍然是中风康复和假肢设计的一大挑战。在这里，我们展示了安装在手指上的低成本加速度计可以在触摸过程中提供许多日常生活材料的准确解码。我们首先设计了一个定制的触摸分析系统，使我们能够为人类参与者提供不同的触摸材料，同时控制接触力和触摸速度。然后，我们收集了六名参与者的数据，他们接触了七种日常生活材料-塑料，软木，羊毛，铝，纸，牛仔布，棉花。我们使用线性稀疏逻辑回归，并表明可以从加速度计记录中对材料进行分类，在触摸后7秒内，材料和参与者的准确率为88%。
2019-06-19 cs.HC
KeySense: LLM-Powered Hands-Down, Ten-Finger Typing on Commodity Touchscreens
Stony Brook University（石溪大学）；Kean University（基恩大学）；Tsinghua University（清华大学）
KeySense通过认知-运动时间模式和微调LLM解码器，实现高效的十指触屏输入，无需额外硬件。
2026-02-12 cs.HC
Finger Based Technique (FBT): An Innovative System for Improved Usability for the Blind Users' Dynamic Interaction with Mobile Touch Screen Devices
本文介绍了一种专门为非视觉触摸屏设备设计和开发的新型盲人交互系统--基于手指的技术（FBT）原型及其应用。FBT原型开发了基于手指握持位置识别的虚拟按键。提出了两位数FBT和个位数FBT两种不同的模型。使用两种不同的电话拨号器应用程序应用FBT技术：用于单数字FBT模型的单数字虚拟键和具有音频反馈的双数字虚拟键，后者允许触摸作为输入手势。对7名盲人参与者的评估表明，个位数FBT比两位数FBT明显更快，更准确。除此之外，在执行类似任务时，个位数的FBT比iPhone的VoiceOver输入速度快得多。此外，我们的研究还提出了11个可访问的区域，快速访问或导航的平面触摸屏为基础的智能手机为盲人用户。这些可访问区域将作为可用性设计框架，并便于开发人员为盲人用户放置小部件，以便与触摸屏设备进行动态交互。据作者所知，这是一个新的建议。
2017-08-09 cs.HC
GazeSwipe: Enhancing Mobile Touchscreen Reachability through Seamless Gaze and Finger-Swipe Integration
GazeSwipe结合凝视与手指滑动，无需校准和额外硬件，利用前置摄像头提升大屏手机单手操作可达性，实验证明高成功率且受用户青睐。
2025-03-27 cs.HC
TouchWalker: Real-Time Avatar Locomotion from Touchscreen Finger Walking
TouchWalker通过触摸屏手指行走手势与MoE-GRU神经运动生成器，实现实时、连续且上下文感知的全身虚拟化身运动控制，并在用户研究中验证其优于虚拟摇杆基线，显著提升具身感、愉悦感和沉浸感。
2025-11-11 cs.GR cs.HC
Computing Touch-Point Ambiguity on Mobile Touchscreens for Modeling Target Selection Times
Finger-Fitts定律（FFitts定律）是一种预测触摸指向时间的模型，由Fitts定律修改而来。它考虑了触摸点的绝对精度，或手指颤动因子σ_a，以减少可接受的目标区域，从而增加任务难度。在诸如运行独立任务或执行参数优化的选择中，对于测量sigma_a的最佳方法没有共识。这种不一致性可能不利于HCI研究，例如指向技术评估和用户组比较。通过整合我们的1D和2D触摸指向实验的结果和对以前研究数据的重新分析，我们研究了每种方法计算sigma_a的优点和缺点。我们发现，参数优化方法是一个次优的选择预测的性能。
2021-11-09 cs.HC
ReaWristic: Remote Touch Sensation to Fingers from a Wristband via Visually Augmented Electro-Tactile Feedback
本研究提出ReaWristic腕带技术，通过视觉增强电触觉反馈为MR中的手指提供远程触觉，无需凝胶电极，定位效果优于现有方案且用户评价更高。
2024-10-30 cs.HC
Exploring the Front Touch Interface for Virtual Reality Headsets
在本文中，我们提出了一种新的接口虚拟现实耳机：触摸板在前面的耳机。为了证明正面触摸界面的可行性，我们构建了一个原型设备，探索了VR UI设计空间的扩展，并进行了各种用户研究。我们从初步测试开始，看看人们如何直观和准确地与前触摸板进行交互。然后，我们进一步试验了各种用户界面，如二进制选择，典型的菜单布局和键盘。还探索了双指和拖放，以找到适当的选择技术。作为一种低成本、轻重量、低功耗的技术，触摸传感器可以成为移动耳机的理想接口。此外，前触摸区域可以足够大以允许宽范围的交互类型，诸如多手指交互。有了这种新颖的前触摸界面，我们为新的虚拟现实交互方法铺平了道路。
2016-08-01 cs.HC
Multi Stage based Time Series Analysis of User Activity on Touch Sensitive Surfaces in Highly Noise Susceptible Environments
本文提出了一个多阶段的框架，在嘈杂的环境中的触摸敏感表面上的用户活动的时间序列分析。本文将移动平均、移动中值、线性回归、核密度估计、偏微分方程和卡尔曼滤波器等多种方法放在多阶段框架中进行研究。建议的三个阶段的过滤器组成的偏微分方程为基础的去噪，卡尔曼滤波器和移动平均法提供了约25%的降噪效果比其他方法根据均方误差（MSE）的标准，在高噪声敏感的环境。除了合成数据外，我们还在存在高噪声（如未经授权的充电器噪声或显示器噪声）的情况下在触摸屏上获得了真实世界的数据，如手写、手指/手写笔拖动等，并验证了我们的算法。此外，所提出的算法在质量上比消费电子市场中可用的高端的手持设备的触摸面板的现有解决方案更好。
2015-01-21 cs.HC stat.AP
iVRNote: Design, Creation and Evaluation of an Interactive Note-Taking Interface for Study and Reflection in VR Learning Environments
在这方面的贡献，我们设计，实施和评估一种新的交互式笔记界面（iVRNote）在VR的学习和反思讲座的目的教学效益。在未来的VR学习环境中，当学生佩戴盔装显示器（HMD）时，他们在记笔记方面将面临挑战。为了解决这个问题，我们在桌子上安装了一个数字平板电脑，并在VR中提供了几个工具，以促进学习体验。具体来说，我们跟踪触控笔在物理世界中的位置和方向，然后在VR中渲染虚拟触控笔。换句话说，当学生在桌子上的某个地方看到虚拟手写笔时，他们可以用手去拿物理手写笔。所提供的信息还将使他们能够在手写笔接触平板电脑之前知道他们将在哪里绘图或书写。由于iVRNote是一个数字环境，我们还提供了多种功能，如后期编辑和图片拍摄，使学生能够节省大量的笔记，使他们能够更专注于VR讲座。我们还在笔记上记录每一笔的时间，以帮助学生复习一堂课。他们可以选择笔记的一部分，在虚拟在线讲座中重温相应的部分。图和随附的视频证明了所提出的iVRNote系统的可行性。为了评估该系统，我们进行了一项用户研究，20名参与者，以评估的偏好和教学效益的iVRNote接口。
2019-10-03 cs.GR cs.HC cs.MM
MagSurface: Wireless 2D Finger Tracking Leveraging Magnetic Fields
随着触摸屏的普及，触摸输入模态已经成为流行的交互方式。然而，当前的触摸屏技术在其设计上是有限制的，因为它将触摸交互限制到专门装备的触摸表面。水等表面污染物也会阻碍适当的相互作用。在本文中，我们提出了使用磁场传感，使手指跟踪表面上最少的仪器。我们的系统MagSurface将日常表面变成触摸媒介，从而使触摸表面的类型更加灵活。我们的系统的评估包括量化的系统在2D平面上定位对象的准确性。我们在三种不同的表面材料上测试我们的系统，以验证其使用场景。还进行了定性用户体验研究，以获得有关系统易用性和舒适度的反馈。定位误差低至几毫米
2021-05-02 cs.HC cs.SY eess.SY
Accuracy Evaluation of Touch Tasks in Commodity Virtual and Augmented Reality Head-Mounted Displays
越来越多的用于增强现实和虚拟现实（AR/VR）的面向消费者的盔装显示器（HMD）能够进行手指和手跟踪。我们报告了现成的VR和AR HMD在用于基于触摸的任务（如指向或绘图）时的准确性。具体来说，我们报告了VR盔装显示器Oculus Quest、Vive Pro和Leap Motion控制器在连接到VR HMD时的手指跟踪精度，以及AR盔装显示器Microsoft HoloLens 2和Magic Leap的手指跟踪精度。我们提出了两个实验的结果，在其中，我们比较了使用人类参与者和机器人的绝对和相对指向任务的准确性。结果表明，HTC Vive的空间精度低于Oculus Quest和Leap Motion，而微软HoloLens 2的空间精度高于Magic Leap One。这些发现可以作为决策支持的研究人员和从业人员在选择哪些系统在未来使用。
2021-09-22 cs.HC
TouchInsight: Uncertainty-aware Rapid Touch and Text Input for Mixed Reality from Egocentric Vision
Meta Reality Labs（元宇宙实验室）；ETH Zürich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
针对混合现实中头戴相机触摸输入检测不准的问题，提出TouchInsight实时流水线，用带不确定性建模的神经网络实现十指触摸精准检测，离线定位误差6.3mm，在线双手打字达37词/分钟、错误率2.9%。
2024-10-08 cs.CV cs.HC
Continuous User Authentication Using Machine Learning and Multi-Finger Mobile Touch Dynamics with a Novel Dataset
随着技术的快速发展和演变，越来越明显的是，移动设备比以往任何时候都更常用于敏感事项。需要不断地对用户进行身份验证，因为单因素或多因素身份验证可能仅在初始时验证用户，如果冒名顶替者可以绕过此初始验证，则这没有帮助。触摸动态领域作为一种明确的方式出现，以非侵入性地收集关于用户及其行为的数据，以便实时的制定和做出必要的安全相关决策。在本文中，我们提出了一个新的数据集，包括跟踪25个用户玩两个手机游戏Snake.io和Minecraft每个10分钟，以及他们的相关手势数据。从这些数据中，我们运行了机器学习二进制分类器，即随机森林和K最近邻，试图验证特定用户行为的样本是否真实。我们最强的模型在两款游戏中的平均准确率约为93%，这表明触摸动态可以有效区分用户，并且是身份验证方案的可行考虑因素。我们的数据集可以在https://github.com/zderidder/MC-Snake-Results上查看
2022-07-27 cs.CR cs.HC
UbiTouch: Towards a Universal Touch Interface
本文提出UbiTouch系统，利用单台热像仪和轻量级低计算量算法，在任意表面实现多指触摸检测、悬停区分与轨迹跟踪，为泛在计算环境提供可扩展且适应性强的人体感知交互方案。
2024-12-23 cs.HC
FITS: Ensuring Safe and Effective Touchscreen Use in Moving Vehicles
针对移动交通工具中触摸屏因振动干扰输入错误、需视觉关注致事故风险高的问题，FITS项目拟开发能主动预测纠正手指运动、模拟物理触摸交互的新型车载触摸屏以提升安全性与有效性。
2024-12-24 cs.HC cs.SY eess.SY
Telepresence Interaction by Touching Live Video Images
提出了一种基于触摸屏和临场感机器人技术的临场感交互框架。该框架的核心是一个新的用户界面，基于可触摸实时视频图像的用户界面，称为TIUI。TIUI允许远程操作员不仅驱动远程呈现机器人，而且通过用手指触摸手势触摸垫上的实时视频图像来操作和与真实对象交互。我们实现了一个远程呈现交互系统，它是由一个远程呈现机器人和远程交互对象位于本地空间，TIUI的垫位于远程空间，和无线网络连接两个空间。我们的系统可以是远程操作员的完美体现，可以完成大多数日常生活任务，例如开门，拉窗帘，推轮椅和其他类似任务。评估和演示结果表明，我们的系统的有效性和广阔的应用前景。
2016-08-22 cs.HC
A Systematic Study Of Various Fingertip Detection Techniques For Air Writing Using Machine Learning
本文系统梳理机器学习在空中书写指尖检测中的各类技术，阐述手势识别作为非接触式人机交互方式如何降低通信壁垒。
2023-06-07 cs.HC
Assessment of Sign Language-Based versus Touch-Based Input for Deaf Users Interacting with Intelligent Personal Assistants
本研究针对聋人用户，对比了美国手语、Tap to Alexa与智能家居应用和智能个人助理交互的可用性，发现手语可用性略优，并探讨了有限词汇应用设计对通用手语识别的推进意义。
2024-04-22 cs.HC
A novel soft keyboard for touchscreen phones: QWERT
自从iPhone和Android手机发布以来，触摸屏手机在世界各地的普及程度一直在增长。大尺寸触摸屏的手机越来越多，然而，小尺寸显示屏的手机仍然占触摸手机的大多数。触摸智能手机最重要的界面是使用软键盘的信息输入模块。触摸手机上的传统输入方式要么按键太小（如QWERTY），要么功能太多（如3 $\times$ 4键盘），使用起来很不方便。此外，传统的软键盘仅使用轻敲来输入文本，而当前的触摸智能手机允许触摸屏上的各种手势，例如滑动。在本文中，一种新的软键盘称为QWERTY的触摸屏为基础的智能手机。用户可以通过使用QWERTY输入文本时，通过点击或滑动的手指手势与手机交互。这样一来，用户与智能手机之间的互动将更快、更容易。一项在没有经验的人类受试者身上进行的实验表明，由于他们对QWERTY的熟悉，他们可以学习得非常快。基于认知结构ACT-R的模拟实验也被用来预测有经验的人类受试者的运动时间（MT）。仿真结果表明，使用QWERTY的MT优于其他默认键盘。这些结果意味着新的QWERT是触摸智能手机用户的一个可行的选择。在此基础上，在Android系统上开发了一个应用程序。该应用程序有望为使用触摸智能手机的客户提供更好的用户体验。
2013-11-04 cs.HC
A Fuzzy Set-based Approach for Matching Hand-Drawing Shapes of Touch-based Gestures for Graphical Passwords
针对现有手势技术难以适配人手运动导致的手绘手势不精准问题，本文提出一种基于二维模糊集、采用模糊提示点击点技术的触控手势匹配方法，以提升对接近参考手势的不精准手绘手势的接受度，增强人机交互灵活性。
2025-07-30 cs.HC
Beyond QWERTY: A pressure-based text input approach for XR that enables a touch-typing like experience
针对 XR 文本输入低效问题，本文通过分析物理键盘特征，提出以线性刻度替代 QWERTY 布局的压力输入方法，实现无视觉引导的类盲打体验，速度可达每分钟 200 字符以上。
2025-07-28 cs.HC
A Review of Surface Haptics:Enabling Tactile Effects on Touch Surfaces
Koc University（科奇大学）；University of Lille（里尔大学）；École de Technologie Supérieure（高等技术学院）；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
我们回顾了当前的表面触觉技术，将被动触摸表面转换为主动触摸表面（机器触觉），我们通过主动触摸表面（人类触觉）显示的触觉刺激的感知，它们的潜在应用（人机交互），最后是我们面临的挑战，使它们通过商业系统。这篇综述主要涵盖了人类手指或手与表面触觉显示器的触觉交互，重点关注三种最流行的驱动方法：振动触觉，静电和超声波。
2020-04-28 cs.HC cs.RO
μTouch: Enabling Accurate, Lightweight Self-Touch Sensing with Passive Magnets
Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）；University of Michigan（密歇根大学）
μTouch通过被动磁铁实现准确且轻量的自我触觉感知，适用于卫生监测和皮肤病学健康应用。
2026-02-24 cs.HC
SENS3: Multisensory Database of Finger-Surface Interactions and Corresponding Sensations
本文提出SENS3，一个包含50种表面多感官交互数据及13名参与者心理物理感觉评分的开放获取数据库，旨在推进多感官纹理渲染、用户体验开发及机器人触觉感知。
2024-07-01 cs.HC eess.SP
The "Seen but Unnoticed" Vocabulary of Natural Touch: Revolutionizing Direct Interaction with Our Devices and One Another (UIST 2021 Vision)
该UIST 2021愿景论文提出应突破单屏触控局限，从多模态、多设备、多用户及自然行为语境出发重新定义触控交互，有望革新个人与协作式人机交互模式。
2023-10-06 cs.HC
C-D Ratio in multi-display environments
对使用多个显示器与混合现实环境的用户交互的研究已经变得与日常生活中移动设备的流行以及使用投影仪或大型显示器的大显示区域技术的商品化的增加越来越相关。以前的工作往往结合触摸输入与其他方法，如基于手势的输入，以扩大可能的交互空间或处理其他二维输入方法的局限性。与以前的方法相比，我们研究的可能性时，控制-显示（C-D）的比率是显着小于一个小的输入运动导致大的输出运动。为此，一种特定的多显示器配置以空间增强现实沙箱环境的形式实现，并且用于探索基于各种基于移动终端触摸的输入和基于光学标记跟踪的手指输入的各种交互技术。一个小的试点研究确定最有前途的输入候选，这是比较传统的触摸输入为基础的技术在用户研究中，测试它的实际相关性。研究的结果和结论。
2020-02-12 cs.HC
TouchVR: a Wearable Haptic Interface for VR Aimed at Delivering Multi-modal Stimuli at the User's Palm
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（Skoltech））
TouchVR是一种新型的可穿戴式触觉接口，它通过DeltaTouch触觉显示在手掌上提供多模态触觉刺激，通过振动电机在指尖上提供振动触觉反馈。DeltaTouch显示器能够在接触点处生成3D力矢量，并呈现重量、滑动、接触、柔软度和纹理的多模态触觉。VR系统由HTC Vive Pro基站和盔装显示器（HMD）组成，以及用于在VR中跟踪用户手部运动的Leap Motion控制器。MatrixTouch、BallFeel和RoboX应用程序已经开发出来，以展示所提出的技术的能力。一个新的触觉界面可能会给用户带来一个新的沉浸感，使其更具交互性和有形性。
2019-11-11 cs.HC cs.RO
Learning 3D Navigation Protocols on Touch Interfaces with Cooperative Multi-Agent Reinforcement Learning
Itekube；LIRIS（里昂信息与智能系统实验室）；Inria（法国国家信息与自动化研究所）；CITI-Lab（CITI实验室）；INSA-Lyon（里昂国立应用科学学院）；LITIS（鲁昂信息与智能系统实验室）；INSA-Rouen（鲁昂国立应用科学学院）
使用触摸设备在诸如计算机辅助设计（CAD）模型或地理信息系统（GIS）之类的虚拟3D环境中导航对于人类来说固有地是困难的，因为3D操作必须由用户在2D触摸表面上执行。这个不适定的问题是经典的解决与固定的和手工制作的交互协议，这必须由用户学习。我们建议自动学习一个新的交互协议，允许使用强化学习（RL）在虚拟环境中将2D用户输入映射到3D动作。RL方法的一个基本问题是经常需要大量的交互，当人类参与时很难实现。为了克服这个限制，我们使用两个合作代理。第一代理通过学习执行2D手指轨迹来对人类进行建模。第二代理充当交互协议，将来自第一代理的2D手指轨迹解释并转换为3D操作。我们通过在强化学习之前首先执行状态表示学习，将学习的2D轨迹限制为与收集的人类手势的训练集相似。这种状态表示学习通过将手势投影到由变分自动编码器（VAE）学习的潜在空间中来解决。
2019-08-27 cs.AI cs.HC cs.LG
BioMoTouch: Touch-Based Behavioral Authentication via Biometric-Motion Interaction Modeling
Huazhong University of Science and Technology（华中科技大学）；University of Colorado Denver（科罗拉多大学丹佛分校）；Tsinghua University（清华大学）；Wuhan University（武汉大学）
BioMoTouch通过整合电容触控屏与惯性传感器信号，建立生物特征与行为动态的联合模型，实现高鲁棒性的触控认证，实验显示其在99.71%的平衡准确率和0.27%的误判率下表现优异。
2026-04-08 cs.CR cs.HC
FiDTouch: A 3D Wearable Haptic Display for the Finger Pad
Intelligent Space Robotics Laboratory（智能空间机器人实验室）；Skolkovo Institute of Science and Technology (Skoltech)（斯克尔科沃科学与技术研究所（Skoltech））
本研究提出FiDTouch，一种基于微型倒置Delta机器人的3D可穿戴指腹触觉设备，可提供接触、压力、皮肤拉伸等多种刺激，用户研究验证了其感知性能，能显著提升人机交互的沉浸感与效率。
2025-07-10 cs.HC cs.RO
HyFinBall: a Hybrid User Interface for Coordinated 2D+3D Visualization in Semi-Immersive VR
HyFinBall是一种混合用户界面，通过协调2D和3D可视化提升半沉浸式VR中的交互效率。
2025-12-11 cs.HC
EgoTouch: On-Body Touch Input Using AR/VR Headset Cameras
Carnegie Mellon University（卡内基梅隆大学）
本研究提出EgoTouch方案，仅借助AR/VR头显自带的RGB摄像头实现高精度裸手在体触摸输入，具备多场景鲁棒性，还能提供丰富输入元数据，为皮肤界面的实用化提供技术支撑。
2025-09-01 cs.CV cs.HC cs.RO
Printed Texts Tracking and Following for a Finger-Wearable Electro-Braille System Through Opto-electrotactile Feedback
本文介绍了我们最近开发的一个便携式和可刷新的文本阅读和感官替代系统的盲人或视障人士（BVI），称为手指眼。该系统主要包括一个光电文本处理单元和一个紧凑的基于电触觉的显示器，该显示器可以通过可穿戴和盲文点图案化的电极阵列将与文本相关的电信号传递到指尖皮肤，从而将基于电刺激的盲文触摸感觉传递到指尖。为了实现通过该便携式系统帮助BVI阅读任何非盲文文本的目标，在这项工作中，快速光学字符识别（R-OCR）方法首先开发用于实时处理文本信息的基础上，鱼眼成像设备安装在手指可佩戴的电触觉显示器。这允许打印文本实时翻译成电子盲文，同时用户指尖的自然移动就像阅读任何盲文显示器或书籍一样。更重要的是，提出了一种电触觉神经刺激反馈机制，并将其与R-OCR方法相结合，这有助于一种新的基于光电触觉反馈的文本行跟踪控制方法，该方法使用户在阅读过程中能够通过指尖跟随文本行。本研究设计并进行了多个实验，以测试被试在视觉电触觉反馈的基础上阅读和跟随文本行的能力。实验表明，作为光电触觉反馈的结果，用户能够保持他们的指尖在一个$2mm$距离的文本，而扫描文本行。这项研究是一个重要的步骤，以帮助英属维尔京群岛用户与便携式手段翻译和遵循阅读任何印刷文本盲文，无论是在数字领域或物理，在任何表面上。
2021-08-06 cs.HC cs.SY eess.IV
HapTable: An Interactive Tabletop Providing Online Haptic Feedback for Touch Gestures
Koc University（科奇大学）
我们提出HapTable;一种多模式交互桌面，允许用户通过自然触摸手势与数字图像和对象交互，并相应地接收视觉和触觉反馈。在我们的系统中，手的姿态是由红外摄像机和手势进行分类，使用支持向量机（SVM）分类器。为了显示一组丰富的静态和动态手势的触觉效果，我们有效地集成了机电和静电驱动技术的HapTable，这是一个表面电容式触摸屏的桌面表面。我们将四个压电贴片连接到桌面的边缘，以显示静态手势的振动触觉反馈。为此，通过激光多普勒测振仪在其表面上获得84个网格点的频率响应函数（FRFs）形式的台面振动响应。使用这些FRF，可以在表面上显示静态手势的局部振动触觉反馈。对于动态手势，我们利用静电驱动技术，通过施加电压到其导电层来调制手指皮肤和桌面表面之间的摩擦力。在这里，我们提出了两个这样的应用程序的例子，一个静态和动态手势，以及详细的用户研究。在第一个示例中，用户通过将手放在桌面上并感觉在其下方行进的振动触觉刺激来检测虚拟流动的方向，例如风或水的方向。在第二个示例中，用户旋转桌面上的虚拟旋钮以从菜单中选择项目，同时以摩擦触觉反馈的形式感觉旋钮的止动件和旋转阻力。
2021-03-30 cs.CV cs.GR cs.HC
