Skewed Dual Normal Distribution Model: Predicting 1D Touch Pointing Success Rate for Targets Near Screen Edges
Meiji University（明治大学）；LY Corporation（LY公司）
本文提出倾斜双正态分布模型，用于预测屏幕边缘附近的目标1D触控定位成功率，通过考虑边缘影响提升预测精度。
2026-02-25 cs.HC
Finger Based Technique (FBT): An Innovative System for Improved Usability for the Blind Users' Dynamic Interaction with Mobile Touch Screen Devices
本文介绍了一种专门为非视觉触摸屏设备设计和开发的新型盲人交互系统--基于手指的技术（FBT）原型及其应用。FBT原型开发了基于手指握持位置识别的虚拟按键。提出了两位数FBT和个位数FBT两种不同的模型。使用两种不同的电话拨号器应用程序应用FBT技术：用于单数字FBT模型的单数字虚拟键和具有音频反馈的双数字虚拟键，后者允许触摸作为输入手势。对7名盲人参与者的评估表明，个位数FBT比两位数FBT明显更快，更准确。除此之外，在执行类似任务时，个位数的FBT比iPhone的VoiceOver输入速度快得多。此外，我们的研究还提出了11个可访问的区域，快速访问或导航的平面触摸屏为基础的智能手机为盲人用户。这些可访问区域将作为可用性设计框架，并便于开发人员为盲人用户放置小部件，以便与触摸屏设备进行动态交互。据作者所知，这是一个新的建议。
2017-08-09 cs.HC
Breaking the Screen: Interaction Across Touchscreen Boundaries in Virtual Reality for Mobile Knowledge Workers
虚拟现实（VR）具有改造知识型工作的潜力。VR知识工作的一个优点是它允许将2D显示扩展到第三维，从而实现新的操作，例如选择重叠对象或显示额外的信息层。另一方面，移动知识工作者通常在平板电脑等现有移动设备上工作，将与这些设备的交互限制在很小的输入空间内。当VR知识工作位于狭窄的环境中时，例如飞机和着陆空间，这种受限输入空间的挑战会加剧。在本文中，我们研究了在知识工作的背景下，沉浸式VR盔装显示器和平板电脑之间联合交互的可行性。具体来说，我们1）设计，实现和研究如何与VR中超越单个物理触摸屏的信息进行交互; 2）设计和评估一组交互概念; 3）构建示例应用程序并收集用户对这些应用程序的反馈。
2020-08-11 cs.HC
Finger Based Techniques for Nonvisual Touchscreen Text Entry
本研究提出以手指为基础的技术（FBT）为盲人设计的非视觉触摸屏设备交互。基于所提出的技术，盲人用户可以访问基于手指持有位置的虚拟键。提出了三种不同的模式。它们是单数字手指数字输入（FDI），用于数字文本输入的双数字FDI和用于普通文本输入的手指文本输入（FTI）。所有提出的模型都实现了语音反馈，同时使触摸作为输入手势。使用Samsung Galaxy S2设备对7名盲人参与者的模型进行评估。结果表明，单数字FDI比双数字FDI和iPhone画外音更快，更准确。FTI看起来也很适合文本输入。我们的研究还揭示了11个可访问的区域，放置小部件，由盲人用户在平面触摸屏为基础的智能手机快速访问。识别这些可访问区域将促进盲人用户的动态交互，并作为触摸屏应用程序的可用性设计框架。
2017-10-02 cs.HC
Magical Touch: Transforming Raw Capacitive Streams into Expressive Hand-Touchscreen Interaction
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）
本文提出Magical Touch方法，通过整合原始电容数据实现自然的手势交互，展示物理互动游戏中的多模式表现，拓展触屏交互设计空间。
2026-05-13 cs.HC
Tracking Ensemble Performance on Touch-Screens with Gesture Classification and Transition Matrices
Australian National University（澳大利亚国立大学）
我们提出并评估了一种新的界面，用于跟踪合奏触摸屏上的表演。该系统使用随机森林分类器来提取触摸屏手势和过渡矩阵统计。它分析了整个表演者的手势状态序列。一系列专门设计的iPad应用程序响应这种对自由形式手势表演的实时分析，并对其音乐界面进行计算修改。我们描述了我们的系统，并通过交叉验证和分析以及音乐会的经验进行评估。
2020-12-01 cs.HC cs.SD eess.AS
Shared Boundary Interfaces: can one fit all? A controlled study on virtual reality vs touch-screen interfaces on persons with Neurodevelopmental Disorders
本研究针对神经发育障碍人群，开发了双界面食品教育应用GEA，通过对照实验比较了VR与触摸屏界面的学习效果，发现两种界面均能显著提升学习成效且提升幅度相当。
2024-04-24 cs.HC
Multi-person Spatial Interaction in a Large Immersive Display Using Smartphones as Touchpads
在本文中，我们提出了一个大的沉浸式空间，支持同时屏幕交互的多用户交互界面相结合（1）通过个人智能手机和蓝牙麦克风的用户输入，（2）通过Kinect传感器的开销阵列的空间跟踪，和（3）WebSocket接口的网页上运行的大屏幕上。用户基于他们相对于屏幕的跟踪位置被自动地、动态地分配个人和共享屏幕子空间，并且使用他们的个人智能手机上的网页进行触摸板类型的输入。我们报告用户实验使用我们的交互框架，涉及图像选择和放置任务，实现显示墙环境的最终目标是可行的，交互式的自然多模态界面。
2019-11-26 cs.CV cs.HC
Tap Tips: Lightweight Discovery of Touchscreen Targets
我们描述了点击提示，一种用于提供触摸屏目标位置提示的技术。点击提示是轻量级的，因为它们是非模态的，仅在需要时出现，需要最少数量的用户手势，并且不添加到标准触摸屏手势词汇表中。我们讨论了我们的电子导游系统和一些可用性测试结果的实现抽头提示。
2001-01-26 cs.HC
RealPen: Providing Realism in Handwriting Tasks on Touch Surfaces using Auditory-Tactile Feedback
我们提出了RealPen，一个增强的手写笔的电容式平板电脑屏幕，重现了用铅笔，圆珠笔或记号笔在纸上书写的物理感觉。其目的是在触摸表面（如平板电脑屏幕）上书写时创造更吸引人的体验。这是通过再生与纸接触的真实书写工具的摩擦引起的振荡和声音来实现的。为了产生逼真的触觉反馈，我们的算法分析了用传统工具书写时产生的摩擦振荡的频谱，提取主要频率，并使用致动器的频率响应曲线进行调整加权函数。我们通过提供与书写压力和速度一致的声音反馈来增强真实感。此外，我们研究了几种频率的叠加和波动对人类触觉感知的影响，评估了RealPen的性能，并表征了用户对每种反馈类型的感知和偏好。
2018-03-06 cs.HC
Posture Clip: Sit properly or I wont let you work
Faculty of Information Technology and Communication Sciences（信息科技与通讯科学学院）；Tampere University（塔尔基马亚大学）；School of Forest Sciences（森林科学学院）；University of Eastern Finland（东芬兰大学）
提出一种名为PostureClip的衣夹式设备，通过屏幕变黑和恢复来限制用户弯腰工作，实验表明其能显著改善坐姿角度并减少弯腰时长。
2026-05-25 cs.AI cs.AR cs.CY
The "Seen but Unnoticed" Vocabulary of Natural Touch: Revolutionizing Direct Interaction with Our Devices and One Another (UIST 2021 Vision)
该UIST 2021愿景论文提出应突破单屏触控局限，从多模态、多设备、多用户及自然行为语境出发重新定义触控交互，有望革新个人与协作式人机交互模式。
2023-10-06 cs.HC
Tendencies, Dead-ends, and Promising Ways. From Interface Ideas to New Programs
用户和设备之间的通信机制称为接口。即使程序本身没有任何重大的变化，界面的不时变化也会显着改善我们的计算机工作。PC界面中的主要思想是在多年前引入的，从那时起没有重大变化，而新设备通过使用屏幕对象的直接操作显示出有前途的方式。用户对普通PC的所有屏幕对象的直接操作将标准屏幕转变为非常高分辨率的触摸屏，不仅改变了熟悉程序的界面，而且创建了新的程序类型：用户驱动的应用程序。
2014-01-08 cs.HC
Enhancing Older Adults' Gesture Typing Experience Using the T9 Keyboard on Small Touchscreen Devices
老年人越来越多地采用小屏幕设备，但有限的运动灵活性阻碍了他们有效打字的能力。虽然9键（T9）键盘为每个键分配了更大的空间，但它由多个连续的字母共享。因此，当键入连续字母时，用户必须中断他们的手势，导致低效率和差的用户体验。因此，我们提出了一种新颖的键盘，利用当前未使用的键1来复制前一个键的字母，允许连续输入字母而不中断。一项针对12名老年人的用户研究表明，它在打字速度、KSPC、插入错误和每个单词的删除方面明显优于带有摆动手势的T9，同时实现了与传统T9相当的性能。对12名年轻人重复打字任务发现，新型T9的优势是一致的或增强的。我们还提供了错误分析和设计考虑，以改善老年人在T9上的手势输入。
2023-03-07 cs.HC
I-Keyboard: Fully Imaginary Keyboard on Touch Devices Empowered by Deep Neural Decoder
KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院）
文本输入的目的是提供一个有效的和高效的途径，为人类提供他们的信息到计算机。随着移动计算的出现，最近文本输入研究的焦点已经从物理键盘转移到软键盘。然而，当前的软键盘由于缺乏触觉反馈而增加了打字错误率，并且由于它们在屏幕上的大部分而降低了移动设备的可用性。为了解决这些限制，我们提出了一个带有深度神经解码器（DND）的全虚构键盘（I-Keyboard）。I-Keyboard的不可见性最大限度地提高了移动设备的可用性，深层神经架构支持的DND允许用户从触摸屏上的任何位置以任何角度开始键入。据我们所知，眼睛自由十指打字的情况下，I-键盘，不需要校准步骤和一个预定义的打字区域是第一次在这项工作中探索。为了训练DND，我们在开发I-Keyboard的过程中收集了最大的用户数据。我们通过在各种条件下进行一系列全面的模拟和实验，验证了所提出的I-Keyboard和DND的性能。I-Keyboard的打字速度（45.57 WPM）和准确率（95.84%）分别比基线提高了18.95%和4.06%。
2019-07-31 cs.AI cs.CV cs.HC
BioMoTouch: Touch-Based Behavioral Authentication via Biometric-Motion Interaction Modeling
Huazhong University of Science and Technology（华中科技大学）；University of Colorado Denver（科罗拉多大学丹佛分校）；Tsinghua University（清华大学）；Wuhan University（武汉大学）
BioMoTouch通过整合电容触控屏与惯性传感器信号，建立生物特征与行为动态的联合模型，实现高鲁棒性的触控认证，实验显示其在99.71%的平衡准确率和0.27%的误判率下表现优异。
2026-04-08 cs.CR cs.HC
V-Hands: Touchscreen-based Hand Tracking for Remote Whiteboard Interaction
UC San Diego（加州大学圣迭戈分校）；Microsoft Research Asia（微软亚洲研究院）
针对远程白板交互中手部追踪的准确性和设备笨重问题，提出基于电容视频帧的实时双手3D姿态追踪方法，结合深度神经网络和逆运动学求解，并构建高质量数据集，提升追踪精度与稳定性。
2024-09-20 cs.CV cs.GR cs.HC
Adaptive App Design by Detecting Handedness
更高、更时尚的智能手机正在成为新的标准。更多的屏幕空间和非常灵敏的触摸屏使我们随时都能获得愉快的体验。然而，经过多年与小型便携式设备的互动，我们仍然试图在旅途中使用这些大型智能手机，并且不想改变我们与它们互动的方式，地点和时间。旧的设备更容易用一只手使用，当移动。现在，有了更大的设备，用户很难用一只手访问屏幕的所有部分。我们需要认识到这些大屏幕在可用性方面的局限性。我们必须开始设计更有利于单手使用的用户界面，这是与手机交互的首选方式。本文介绍了自适应应用程序设计，一种设计方法，促进动态和自适应界面的单手使用。我们提出了一种新的方法，识别用户的手进行交互，并建议如何为他们设计友好的界面，提出了一套设计准则，这种方法。
2018-05-22 cs.HC
Recognizing Handwritten Source Code
支持在触摸屏设备上编程需要有效的文本输入和编辑方法。不幸的是，虚拟键盘可能效率低下，并且在已经很小的设备上使用宝贵的屏幕空间。手写笔输入的最新进展使得手写成为用于在触摸屏设备上编程的潜在可行的文本输入解决方案。然而，主要的障碍是手写识别系统是为了利用自然语言的规则而构建的，而不是程序设计语言的规则。在本文中，我们探讨这个特殊的问题，手写识别的源代码。我们收集并公开了来自15名参与者的手写Python代码样本的数据集，并描述了使用最先进的手写识别工具时手写Python源代码的典型识别错误。我们提出了一种方法，以提高识别准确率，通过增强手写识别器与程序设计语言的语法规则。我们对收集的数据集的实验表明，8.6%的字出错率和3.6%的字符出错率，这优于标准的手写识别系统，并媲美虚拟键盘上键入源代码。
2017-05-31 cs.HC
Back to the Future: Revisiting Mouse and Keyboard Interaction for HMD-based Immersive Analytics
随着自然用户界面的兴起，沉浸式分析应用通常关注新颖形式的交互模态，诸如利用诸如深度传感器、触摸屏和眼动跟踪器之类的输入设备的空中手势、凝视或有形交互。与此同时，传统的输入设备（如物理键盘和鼠标）的使用程度较低。我们认为，对于某些工作场景，例如在固定的桌面设置下进行分析任务，结合新颖和成熟的输入设备以及输入方式的优势来创建富有成效的沉浸式分析环境可能是有价值的。
2020-09-07 cs.HC
Human Computer Interaction Using Marker Based Hand Gesture Recognition
Islamic University of Technology（伊斯兰技术大学）
人机交互（HCI）在这个时代被重新定义。人们希望以在现实世界中具有物理意义的方式与他们的设备进行交互，换句话说，他们想要符合人体工程学的输入设备。在本文中，我们提出了一种新的方法与具有消费级摄像头的计算设备进行交互，该方法使用两个彩色标记（红色和绿色）佩戴在指尖上以生成所需的手势，并且对于标记检测和跟踪，我们使用模板匹配与卡尔曼滤波器。我们已经实现了所有常见的系统命令，即，光标移动，右单击，左键单击，双击，前进和后退，通过不同的手势放大和缩小。我们的系统可以很容易地识别这些手势，并给出相应的系统命令。我们的系统适用于桌面设备和触摸屏不可行的设备，如大屏幕或投影屏幕。
2016-06-23 cs.CV cs.HC
HapTable: An Interactive Tabletop Providing Online Haptic Feedback for Touch Gestures
Koc University（科奇大学）
我们提出HapTable;一种多模式交互桌面，允许用户通过自然触摸手势与数字图像和对象交互，并相应地接收视觉和触觉反馈。在我们的系统中，手的姿态是由红外摄像机和手势进行分类，使用支持向量机（SVM）分类器。为了显示一组丰富的静态和动态手势的触觉效果，我们有效地集成了机电和静电驱动技术的HapTable，这是一个表面电容式触摸屏的桌面表面。我们将四个压电贴片连接到桌面的边缘，以显示静态手势的振动触觉反馈。为此，通过激光多普勒测振仪在其表面上获得84个网格点的频率响应函数（FRFs）形式的台面振动响应。使用这些FRF，可以在表面上显示静态手势的局部振动触觉反馈。对于动态手势，我们利用静电驱动技术，通过施加电压到其导电层来调制手指皮肤和桌面表面之间的摩擦力。在这里，我们提出了两个这样的应用程序的例子，一个静态和动态手势，以及详细的用户研究。在第一个示例中，用户通过将手放在桌面上并感觉在其下方行进的振动触觉刺激来检测虚拟流动的方向，例如风或水的方向。在第二个示例中，用户旋转桌面上的虚拟旋钮以从菜单中选择项目，同时以摩擦触觉反馈的形式感觉旋钮的止动件和旋转阻力。
2021-03-30 cs.CV cs.GR cs.HC
MagBoard: Magnetic-based Ubiquitous Homomorphic Off-the-shelf Keyboard
当今与移动设备交互的主要方法之一是容易出错且不灵活的触摸屏键盘。本文提出了MagBoard：一个同态无处不在的移动设备键盘。MagBoard允许应用程序开发人员和用户为相同的应用程序设计和打印不同的自定义键盘，以满足不同用户的需求。其核心思想是利用标准手机中嵌入的三轴磁力计，在叠加在印刷键盘上的虚拟网格上准确定位磁铁的位置。这是通过一生一次的指纹来实现的。MagBoard还提供了许多模块，使其能够应对背景磁噪声，异构设备，不同的磁体形状，尺寸和强度，以及磁极的变化。我们在Android手机上实现了MagBoard，并在不同场景下进行了广泛的评估，结果表明，对于小到2cm*2cm的按键，它可以达到91%以上的按键检测准确率，对于4cm*4cm的按键，它可以达到100%。这种准确性对于不同的手机和磁铁来说都是强大的，突出了MagBoard作为移动设备的同态无处不在的键盘的承诺。
2016-05-01 cs.CY cs.HC
