An Overview of Mobile Capacitive Touch Technologies Trends
触摸感应作为一种主要的人机界面，广泛应用于智能手表、手机、平板电脑和电视等各种商用产品中。现有技术的触摸检测主要基于互电容感测，其需要必要的接触触摸，限制了移动用户体验。近年来，远程手势感知技术因其能够为移动界面提供额外的用户体验而受到学术界和工业界的广泛关注。电容式手势遥感主要基于自电容检测，通过消除寄生互电容实现高分辨率。在这项工作中，我们概述了不同代的触摸屏技术，比较触摸和远程手势传感技术的差异。此外，还比较了不同的远程手势传感技术。最后对各种拓扑结构的局限性和潜力进行了讨论，并对未来的技术发展趋势进行了总结。
2016-12-25 cs.ET cs.HC
Tap Tips: Lightweight Discovery of Touchscreen Targets
我们描述了点击提示，一种用于提供触摸屏目标位置提示的技术。点击提示是轻量级的，因为它们是非模态的，仅在需要时出现，需要最少数量的用户手势，并且不添加到标准触摸屏手势词汇表中。我们讨论了我们的电子导游系统和一些可用性测试结果的实现抽头提示。
2001-01-26 cs.HC
HapTable: An Interactive Tabletop Providing Online Haptic Feedback for Touch Gestures
Koc University（科奇大学）
我们提出HapTable;一种多模式交互桌面，允许用户通过自然触摸手势与数字图像和对象交互，并相应地接收视觉和触觉反馈。在我们的系统中，手的姿态是由红外摄像机和手势进行分类，使用支持向量机（SVM）分类器。为了显示一组丰富的静态和动态手势的触觉效果，我们有效地集成了机电和静电驱动技术的HapTable，这是一个表面电容式触摸屏的桌面表面。我们将四个压电贴片连接到桌面的边缘，以显示静态手势的振动触觉反馈。为此，通过激光多普勒测振仪在其表面上获得84个网格点的频率响应函数（FRFs）形式的台面振动响应。使用这些FRF，可以在表面上显示静态手势的局部振动触觉反馈。对于动态手势，我们利用静电驱动技术，通过施加电压到其导电层来调制手指皮肤和桌面表面之间的摩擦力。在这里，我们提出了两个这样的应用程序的例子，一个静态和动态手势，以及详细的用户研究。在第一个示例中，用户通过将手放在桌面上并感觉在其下方行进的振动触觉刺激来检测虚拟流动的方向，例如风或水的方向。在第二个示例中，用户旋转桌面上的虚拟旋钮以从菜单中选择项目，同时以摩擦触觉反馈的形式感觉旋钮的止动件和旋转阻力。
2021-03-30 cs.CV cs.GR cs.HC
Augmenting Mobile Phone Interaction with Face-Engaged Gestures
用户面部的移动很容易被智能手机的前置摄像头检测到，这是一种未充分利用的移动交互输入方式。我们介绍了三套面部参与的交互技术，以增强传统的移动输入，它利用头部运动与触摸手势和设备运动的组合，所有通过手机的内置传感器感测。我们系统地提出了使用三种输入方式中的一种或多种（即，触摸、运动和头部）。所提出的技术的附加示能表示扩展了移动交互词汇，并且可以促进诸如单手或无触摸交互的独特使用场景。进行了初步评估，用户对新技术有积极的反应，表明直观和方便的用户体验的承诺。
2016-10-02 cs.HC
1D-Touch: NLP-Assisted Coarse Text Selection via a Semi-Direct Gesture
City University of Hong Kong（香港城市大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出1D-Touch文本选择方法，通过垂直滑动手势按单词或NLP切分的语义块动态扩展选择区域，并在Android上实现比默认单词吸附方法提升20%的粗粒度选择性能。
2023-10-26 cs.CL cs.HC
Gesture-based Continuous Authentication for Wearable Devices: the Google Glass Case
我们研究了触摸手势行为生物识别的智能眼镜（谷歌眼镜）上的用户隐式身份验证的可行性，提出了一个连续的身份验证系统，使用两个分类器：SVM与RBF核，和一个新的分类器的基础上切比雪夫的浓度不等式。基于从30名志愿者收集的数据，我们表明，这种认证是可行的，无论是在分类精度和智能眼镜上的计算负载。我们使用来自四种不同类型的触摸手势的行为生物特征数据，仅用75个训练样本就实现了高达99%的分类准确率。为了证明我们的系统可以推广，我们测试了它在智能手机触摸数据上的性能，发现其准确性与智能眼镜相似。最后，我们对手势持久性的实验表明，随着时间的推移改变用户行为对分类精度的负面影响可以通过定期用新的随机选择的样本替换旧的训练样本来最好地缓解。
2016-05-09 cs.CR cs.HC
μTouch: Enabling Accurate, Lightweight Self-Touch Sensing with Passive Magnets
Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）；University of Michigan（密歇根大学）
μTouch通过被动磁铁实现准确且轻量的自我触觉感知，适用于卫生监测和皮肤病学健康应用。
2026-02-24 cs.HC
Towards Human Haptic Gesture Interpretation for Robotic Systems
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
针对机器人缺乏触觉导致物理人机交互效率低的问题，本研究提出了四类触摸手势，利用机械臂内部腕部力-力矩传感器收集了力数据集，并发现基于原始数据的神经网络分类器在手势识别中表现最优。
2021-08-05 cs.AI cs.HC cs.LG
Distributed Gesture Controlled Systems for Human-Machine Interface
本文提出一种基于 Leap Motion Controller 与 Raspberry Pi 的物联网非接触式人机接口设计，结合计算机视觉、事件驱动编程和机器学习，用于提升公共场所触摸屏设备的卫生安全性。
2023-04-12 cs.HC cs.SY eess.IV
Preprint Extending Touch-less Interaction on Vision Based Wearable Device
Chinese Academy of Science（中国科学院）；Royal Institute of Technology (KTH)（瑞典皇家理工学院）
这是我们在2015年IEEE虚拟现实会议上的论文的预印本。设计了一种基于视觉的可穿戴设备的非接触式交互技术，并对其进行了评估。用户在摄像头前使用动态的手/脚手势与应用程序交互。基于非接触式交互，开发了具有11个动态手势的概念验证原型。最后，提出了一个比较用户研究评估，以证明非接触方法的可用性，以及对用户情绪的影响，在可穿戴框架或谷歌眼镜上运行。
2015-07-29 cs.CV cs.GR cs.HC
Inventions on GUI for Touch Sensitive Screens
触敏屏幕在屏幕上显示信息，并且还通过感测用户在同一屏幕上的触摸来接收输入。这种机制有助于直接通过屏幕进行系统交互，而不需要鼠标或键盘。该方法的优点是省去了键盘、鼠标等交互设备，使系统结构紧凑。然而，实现触摸屏接口存在某些困难。便携式设备的显示屏变得越来越小，从而为数据显示、菜单或触摸屏交互留下更少的空间。此外，有些屏幕需要显示如此多的信息，他们几乎没有任何空间来显示触摸屏按钮。本文举例说明了各种发明，这些发明通过应用适当的发明原理成功地消除了这些困难。
2014-04-27 cs.HC
AirPen: A Touchless Fingertip Based Gestural Interface for Smartphones and Head-Mounted Devices
手势是一种直观的，社会上可接受的，在混合现实（MR）和基于智能手机的应用程序中的非侵入式交互方式。与语音接口不同，它们甚至在共享和公共空间中也表现良好。手势还可以用于在用户物理触摸设备的能力受损的情况下与智能手机交互。然而，准确的手势识别可以通过最先进的深度学习模型或使用昂贵的传感器来实现。尽管这些深度学习模型具有很强的鲁棒性，但它们的计算量很大，内存消耗很大，并且在没有额外硬件的情况下在设备上获得实时性能仍然是一个挑战。为了解决这个问题，我们提出了AirPen：一种类似于纸上的笔，但在空气中，用于在第一和第二人称视图中无缝工作的空中书写和手势命令。这些模型在GPU机器上训练，并移植到Android智能手机上。AirPen由三个协同工作的深度学习模型组成：用于手部定位的MobileNetV 2，我们的自定义指尖回归架构，以及用于手势分类的Bi-LSTM模型。整个框架在移动设备上实时工作，分类准确率达到80%，平均延迟仅为0.12 s。
2019-04-12 cs.HC
Collaboratively Eliciting Gestures for Geospatial Data Exploration on an MSE with Tangibles and Styluses
Toronto Metropolitan University（多伦多都会大学）；Wilfrid Laurier University（韦尔斯利·劳里埃大学）；Ontario Tech University（安大略理工大学）；Edinburgh Napier University（爱丁堡纳皮尔大学）
针对MSE中多点触控交互易误判中断的问题，通过手势 eliciting 研究提出实物与触控笔交互的地理空间数据手势分类及体验分析。
2026-09-02 cs.HC
Recognizing Complex Gestures on Minimalistic Knitted Sensors: Toward Real-World Interactive Systems
Drexel University（德雷塞尔大学）
触敏纺织品的发展使许多新的交互技术和应用成为可能。我们的数字编织电容式有源传感器可以大规模生产，几乎不需要人为干预。它们的敏感区域由一根导电纱线构成，只需要很少的外部硬件连接。这种技术提高了它们的鲁棒性和可用性，同时将实现交互性的复杂性从硬件转移到计算模型。这项工作通过为交互式手势识别系统奠定基础来提高此类传感器的能力。它采用了一种新颖的传感器设计和一个基于神经网络的识别模型，以89.8%的准确率对12个相对复杂的单触摸点手势类别进行分类，为未来的应用提供了许多可能性。我们还展示了该系统的适用性和鲁棒性，以现实世界的条件下，通过其性能，而被磨损和洗涤和干燥对传感器的电阻的影响。
2023-03-18 cs.HC cs.LG
Hand Posture's Effect on Touch Screen Text Input Behaviors: A Touch Area Based Study
具有触摸键盘的移动设备已经变得无处不在，但是在这些设备上的文本输入仍然缓慢且容易出错。理解文本输入过程中的触摸模式对于为软键盘设计鲁棒的纠错算法可能很有用。在本文中，我们提出了一个软QWERTY键盘上的文本输入行为的分析在三个不同的文本输入姿势：食指，一个拇指，和两个拇指。我们的工作扩展了[1]的工作，考虑了手指与智能手机键盘接触的整个表面积，而不是将每个触摸解释为单个点。为此，我们在一项有8名参与者的实验室研究中捕获了每个按键的触摸区域，并计算了偏移量、出错率和尺寸测量值。然后，我们重复了[1]中描述的原始实验，并表明当基于触摸面积的偏移计算与两种姿势的触摸点相比时存在显着差异。
2015-04-08 cs.HC
Content Transfer Across Multiple Screens with Combined Eye-Gaze and Touch Interaction -- A Replication Study
在本文中，我们描述了两年前复制我们的一项研究的结果，该研究比较了在VR中跨多个屏幕传输内容的两种技术。先前研究的结果表明，在任务完成时间、模拟器疾病、任务负荷和可用性方面，组合的凝视和触摸输入可以优于双手触摸输入。除了模拟器疾病，这些发现可以通过复制来验证。关于模拟器疾病的差异和其他测量的绝对分数的变化可以通过具有较少VR体验的不同用户组来解释。
2022-10-24 cs.HC
Low Cost Portable Touch Screen Technology Applied to University Teaching
本文介绍了一种低成本便携式触摸屏技术的实现，应用于大学教学，使用作为一个基地的远程控制的任天堂Wii游戏机（称为Wiimote），一个普通的投影仪，一台计算机和免费软件。其目的是显示这种实施的可行性，以改善教学/学习过程，而不会产生与负担不起的技术设备，教室中的特殊基础设施，或昂贵的计算机程序相关的高成本。还包括一个总结的测试系统在两个大学课程。
2022-07-18 cs.HC
Glass+Skin: An Empirical Evaluation of the Added Value of Finger Identification to Basic Single-Touch Interaction on Touch Screens
诸如智能手机或交互式手表之类的小型设备的可用性通常受到命令词汇表的有限大小的阻碍。本文试图更好地理解手指识别如何帮助用户调用触摸屏上的命令，即使没有求助于多点触摸输入。我们描述了手指识别如何在有限的房地产的约束下增加输入词汇的大小，我们讨论了一些视觉线索来传达这种新的方式给新手用户。我们报告了一个对照实验，评估，在大范围的输入词汇量的大小，单触摸命令选择与手指识别的效率。我们分析的数据，不仅在传统的时间和错误的指标，而且在吞吐量的香农理论的基础上，我们显示提供了一个合成的和吝啬的帐户用户的性能。结果表明，设计者所需的输入词汇量越大，单个手指的识别就越有希望。
2019-01-24 cs.HC
Screen or No Screen? Lessons Learnt from a Real-World Deployment Study of Using Voice Assistants With and Without Touchscreen for Older Adults
本文通过40天真实世界受试者内部署，比较老年人使用带屏与无屏语音助手的体验，揭示触摸屏的价值与语音偏好，并提出六项适老化设计启示。
2023-07-15 cs.HC
Human Computer Interaction Using Marker Based Hand Gesture Recognition
Islamic University of Technology（伊斯兰技术大学）
人机交互（HCI）在这个时代被重新定义。人们希望以在现实世界中具有物理意义的方式与他们的设备进行交互，换句话说，他们想要符合人体工程学的输入设备。在本文中，我们提出了一种新的方法与具有消费级摄像头的计算设备进行交互，该方法使用两个彩色标记（红色和绿色）佩戴在指尖上以生成所需的手势，并且对于标记检测和跟踪，我们使用模板匹配与卡尔曼滤波器。我们已经实现了所有常见的系统命令，即，光标移动，右单击，左键单击，双击，前进和后退，通过不同的手势放大和缩小。我们的系统可以很容易地识别这些手势，并给出相应的系统命令。我们的系统适用于桌面设备和触摸屏不可行的设备，如大屏幕或投影屏幕。
2016-06-23 cs.CV cs.HC
Skewed Dual Normal Distribution Model: Predicting Touch Pointing Success Rates for Targets Near Screen Edges and Corners
LY Corporation Research, LY Corporation（LY公司研究部，LY公司）
本文提出倾斜双正态分布模型，用于预测接近屏幕边缘和角落的目标的触控点成功率，通过实验验证了模型的通用性和实用性。
2026-03-25 cs.HC
Skewed Dual Normal Distribution Model: Predicting 1D Touch Pointing Success Rate for Targets Near Screen Edges
Meiji University（明治大学）；LY Corporation（LY公司）
本文提出倾斜双正态分布模型，用于预测屏幕边缘附近的目标1D触控定位成功率，通过考虑边缘影响提升预测精度。
2026-02-25 cs.HC
Finger Based Technique (FBT): An Innovative System for Improved Usability for the Blind Users' Dynamic Interaction with Mobile Touch Screen Devices
本文介绍了一种专门为非视觉触摸屏设备设计和开发的新型盲人交互系统--基于手指的技术（FBT）原型及其应用。FBT原型开发了基于手指握持位置识别的虚拟按键。提出了两位数FBT和个位数FBT两种不同的模型。使用两种不同的电话拨号器应用程序应用FBT技术：用于单数字FBT模型的单数字虚拟键和具有音频反馈的双数字虚拟键，后者允许触摸作为输入手势。对7名盲人参与者的评估表明，个位数FBT比两位数FBT明显更快，更准确。除此之外，在执行类似任务时，个位数的FBT比iPhone的VoiceOver输入速度快得多。此外，我们的研究还提出了11个可访问的区域，快速访问或导航的平面触摸屏为基础的智能手机为盲人用户。这些可访问区域将作为可用性设计框架，并便于开发人员为盲人用户放置小部件，以便与触摸屏设备进行动态交互。据作者所知，这是一个新的建议。
2017-08-09 cs.HC
Video-Conferencing Beyond Screen-Sharing and Thumbnail Webcam Videos: Gesture-Aware Augmented Reality Video for Data-Rich Remote Presentations
本文针对视频会议中数据呈现支持不足的问题，提出结合多模态交互与增强现实视频的手势感知远程演示方式，并展望未来研究与合作方向。
2025-01-09 cs.HC
Advancements in Tactile Hand Gesture Recognition for Enhanced Human-Machine Interaction
BMW Group Research（宝马集团研究院）
本研究针对大面积导电织物触觉界面，综合评估传统特征工程与深度学习手势识别方法，提出稳健系统，适应手型、速度、压力等变化，推动人机交互触觉识别发展。
2024-05-27 cs.AI cs.HC
3D Visual Tracking to Quantify Physical Contact Interactions in Human-to-Human Touch
在众多的社交场合中，我们以自然和直觉的方式触摸他人来分享思想和情感，例如轻拍以引起某人的注意或爱抚以缓解某人的焦虑。要更深入地了解这些人与人之间的相互作用，部分需要精确测量皮肤与皮肤的物理接触。在现有的努力中，每种测量方法都表现出某些约束，例如，运动跟踪器不能捕获皮肤表面的精确形状，而压力传感器阻碍直接皮肤接触。相反，这项工作开发了一个无干扰的3D视觉跟踪系统，使用深度相机来测量触摸者的裸露的手和接收器的前臂之间的接触属性。通过将手模型拟合到检测到的3D关节，触摸者的手被跟踪为姿势和定位的网格，而前臂被提取为详细的3D表面。基于点云的接触模型，时空接触变化被分解为六个高分辨率的时间序列属性，即，接触面积、压痕深度、绝对速度和三个正交速度分量以及接触持续时间。为了检查系统的能力和局限性，进行了两个实验。首先，为了评估它辨别人类触摸的能力，一个人传递了暗示的社交信息，例如，快乐，愤怒，同情，用他们喜欢的手势传达给另一个人。结果表明，信息，手势，和个人的触摸，很容易从他们的接触属性辨别。其次，针对独立设备（包括电磁跟踪器、压力垫和激光传感器）验证了测量精度。虽然在这里验证的社会沟通的背景下，该系统是可扩展的，如产妇照顾婴儿和按摩治疗的人的触摸互动。
2022-04-12 cs.HC
Multi-person Spatial Interaction in a Large Immersive Display Using Smartphones as Touchpads
在本文中，我们提出了一个大的沉浸式空间，支持同时屏幕交互的多用户交互界面相结合（1）通过个人智能手机和蓝牙麦克风的用户输入，（2）通过Kinect传感器的开销阵列的空间跟踪，和（3）WebSocket接口的网页上运行的大屏幕上。用户基于他们相对于屏幕的跟踪位置被自动地、动态地分配个人和共享屏幕子空间，并且使用他们的个人智能手机上的网页进行触摸板类型的输入。我们报告用户实验使用我们的交互框架，涉及图像选择和放置任务，实现显示墙环境的最终目标是可行的，交互式的自然多模态界面。
2019-11-26 cs.CV cs.HC
Finger Based Techniques for Nonvisual Touchscreen Text Entry
本研究提出以手指为基础的技术（FBT）为盲人设计的非视觉触摸屏设备交互。基于所提出的技术，盲人用户可以访问基于手指持有位置的虚拟键。提出了三种不同的模式。它们是单数字手指数字输入（FDI），用于数字文本输入的双数字FDI和用于普通文本输入的手指文本输入（FTI）。所有提出的模型都实现了语音反馈，同时使触摸作为输入手势。使用Samsung Galaxy S2设备对7名盲人参与者的模型进行评估。结果表明，单数字FDI比双数字FDI和iPhone画外音更快，更准确。FTI看起来也很适合文本输入。我们的研究还揭示了11个可访问的区域，放置小部件，由盲人用户在平面触摸屏为基础的智能手机快速访问。识别这些可访问区域将促进盲人用户的动态交互，并作为触摸屏应用程序的可用性设计框架。
2017-10-02 cs.HC
Enable Natural Tactile Interaction for Robot Dog based on Large-format Distributed Flexible Pressure Sensors
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Computer Science and Artificial Intelligence Laboratory (CSAIL), Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室（CSAIL））；School of Informatics, Xiamen University（厦门大学信息学院）
触觉是人机交互的重要通道，而如何准确识别人的触觉并做出相应的反应是机器人面临的一个挑战。在本文中，我们设计并实现了一套大幅面分布式柔性压力传感器的机器狗，使自然的人与机器人的触觉交互。通过启发式研究，我们整理出了人类与真狗互动时常用的81种触觉手势和44种狗的反应。提出了一种基于ResNet的手势分类算法，对这81个人体手势进行识别，分类准确率达到98.7%。此外，提出了一种基于Transformer的动作预测算法，用于从人类手势中预测狗的动作，达到了0.87的1克BLEU分数。最后，我们在一个自由的人-机器人-狗交互游戏研究中比较了触觉交互和语音交互。结果表明，触觉交互在缓解用户焦虑、激发用户兴奋和提高机器狗的可接受性方面具有更显著的作用。
2023-03-14 cs.HC cs.RO
Learning 3D Navigation Protocols on Touch Interfaces with Cooperative Multi-Agent Reinforcement Learning
Itekube；LIRIS（里昂信息与智能系统实验室）；Inria（法国国家信息与自动化研究所）；CITI-Lab（CITI实验室）；INSA-Lyon（里昂国立应用科学学院）；LITIS（鲁昂信息与智能系统实验室）；INSA-Rouen（鲁昂国立应用科学学院）
使用触摸设备在诸如计算机辅助设计（CAD）模型或地理信息系统（GIS）之类的虚拟3D环境中导航对于人类来说固有地是困难的，因为3D操作必须由用户在2D触摸表面上执行。这个不适定的问题是经典的解决与固定的和手工制作的交互协议，这必须由用户学习。我们建议自动学习一个新的交互协议，允许使用强化学习（RL）在虚拟环境中将2D用户输入映射到3D动作。RL方法的一个基本问题是经常需要大量的交互，当人类参与时很难实现。为了克服这个限制，我们使用两个合作代理。第一代理通过学习执行2D手指轨迹来对人类进行建模。第二代理充当交互协议，将来自第一代理的2D手指轨迹解释并转换为3D操作。我们通过在强化学习之前首先执行状态表示学习，将学习的2D轨迹限制为与收集的人类手势的训练集相似。这种状态表示学习通过将手势投影到由变分自动编码器（VAE）学习的潜在空间中来解决。
2019-08-27 cs.AI cs.HC cs.LG
GesPlayer: Using Augmented Gestures to Empower Video Players
在本文中，我们介绍了GesPlayer，一个基于手势的授权视频播放器，探讨用户如何通过手势体验他们的手作为一个界面。我们提供了三种基于计算机或其他智能设备的摄像头的语义手势，分别用于检测和调整视频播放进度、音量和屏幕亮度。我们的目标是使用户能够通过他们在空中的手势来控制视频播放，而不需要使用鼠标或键盘，特别是当这样做不方便时。最终，我们希望通过理解将手设计为交互界面的包容性来扩展我们对基于手势的交互的理解，并通过计算交互方法进一步拓宽交互环境中语义手势的状态。
2022-10-21 cs.HC
Finger-Stylus for Non Touch-Enable Systems
自从计算机被发明以来，人们使用各种设备与计算机进行交互。最初有键盘，鼠标等，但随着技术的进步，新的方式正在被发现，这是非常常见的和自然的人类一样，手写笔，触摸系统。在当前的技术时代，用户被期望触摸机器界面来给出输入。手势是一种与机器进行交互的方式，其中使用自然的裸手进行通信而不接触机器界面。它给用户一种感觉，他正在以自然的方式与一些人互动，而不是与传统的机器。本文提出了一种用户不需要触摸机器界面就可以在屏幕上绘图的技术。在这里，手指像手写笔一样在显示器上绘制形状，而不接触显示器。这种方法可以用于许多应用程序，包括游戏。手指被用作输入设备，就像画笔或手指笔一样，用于在相机前制作形状。在Matlab环境下，利用实时的【形状】约束，完成了指尖的提取和运动跟踪。这项工作是一个早期的尝试，以取代手写笔与自然的手指没有触摸屏幕。
2014-09-27 cs.HC
A Deformable Interface for Human Touch Recognition using Stretchable Carbon Nanotube Dielectric Elastomer Sensors and Deep Neural Networks
Cornell University（康奈尔大学）；NVIDIA Corporation（英伟达公司）
用户界面提供物理和虚拟环境之间的交互窗口。人机交互领域中的新概念是软用户界面;通过变形促进触摸交互的顺应性表面。尽管这些接口的潜力，他们目前缺乏一个信号处理框架，可以有效地提取信息，从他们的变形。在这里，我们介绍了OrbTouch，这是一种基于卷积神经网络使用统计学习算法的设备，可以将人类触摸的变形映射到分类标签（即，手势）和触摸位置。我们演示了这种方法，使用该设备来控制流行的游戏俄罗斯方块。OrbTouch提供了一个模块化的、健壮的框架来解释软介质中的变形，为通过形状变化的固体进行人机交互的新模式奠定了基础。
2018-03-24 cs.HC cs.RO stat.ML
Shared Boundary Interfaces: can one fit all? A controlled study on virtual reality vs touch-screen interfaces on persons with Neurodevelopmental Disorders
本研究针对神经发育障碍人群，开发了双界面食品教育应用GEA，通过对照实验比较了VR与触摸屏界面的学习效果，发现两种界面均能显著提升学习成效且提升幅度相当。
2024-04-24 cs.HC
ProjecTA: A Semi-Humanoid Robotic Teaching Assistant with In-Situ Projection for Guided Tours
School of Design, SUSTech（南方科技大学设计学院）；School of Psychology, Shenzhen University（深圳大学心理学院）；Honda Research Institute Europe（本田欧洲研究院）
ProjecTA通过现场投影与手势协调，减少认知负荷并提升学习体验，为移动学习提供新的设计方向。
2026-01-20 cs.HC
Real-Time Recognition of In-Place Body Actions and Head Gestures using Only a Head-Mounted Display
身体动作和头部姿态是虚拟环境中交互的自然接口。用于就地身体动作识别的现有方法通常需要比盔装显示器（HMD）更多的硬件，使得身体动作接口难以被引入到普通虚拟现实（VR）用户，因为他们通常仅拥有HMD。此外，缺乏一个统一的解决方案来识别到位的身体动作和头部姿势。这潜在地阻碍了在虚拟环境中使用到位的身体动作和头部姿势来获得新颖的交互体验的探索。我们提出了一个统一的双流1-D卷积神经网络（CNN），用于识别身体动作时，用户执行原地行走（walking-in-place）和识别头部姿势时，用户站着不动，只戴着头戴式显示器。与以前的方法相比，我们的方法不需要专门的硬件和/或除了HMD之外的额外跟踪设备，并且可以识别比其他现有方法显著更多的身体动作和头部姿势。总的来说，十个到位的身体动作和八个头部姿态可以识别与所提出的方法，这使得该方法一个现成的身体动作接口（包括头部姿态）与虚拟环境的交互。我们通过一个虚拟的运动任务演示了一个实用程序的接口。结果表明，目前的身体动作接口是可靠的，在检测身体动作的VR运动任务，但物理要求相比，触摸控制器接口。目前的身体动作界面对于新的VR体验和应用是有希望的，特别是对于旨在锻炼的VR健身应用。
2023-02-25 cs.HC
RealPen: Providing Realism in Handwriting Tasks on Touch Surfaces using Auditory-Tactile Feedback
我们提出了RealPen，一个增强的手写笔的电容式平板电脑屏幕，重现了用铅笔，圆珠笔或记号笔在纸上书写的物理感觉。其目的是在触摸表面（如平板电脑屏幕）上书写时创造更吸引人的体验。这是通过再生与纸接触的真实书写工具的摩擦引起的振荡和声音来实现的。为了产生逼真的触觉反馈，我们的算法分析了用传统工具书写时产生的摩擦振荡的频谱，提取主要频率，并使用致动器的频率响应曲线进行调整加权函数。我们通过提供与书写压力和速度一致的声音反馈来增强真实感。此外，我们研究了几种频率的叠加和波动对人类触觉感知的影响，评估了RealPen的性能，并表征了用户对每种反馈类型的感知和偏好。
2018-03-06 cs.HC
Real-time Interface Control with Motion Gesture Recognition based on Non-contact Capacitive Sensing
Georgia State University（佐治亚州立大学）
电容式传感是一种突出的技术，与现有的传感系统相比，它具有成本效益高、功耗低、识别速度快的特点。由于这些优点，电容感测在触摸感测、定位、存在检测和接触感测接口应用（诸如人机交互）领域中得到了广泛的研究和商业化。然而，由于非接触式接近感测方案容易受到外围物体或周围环境的干扰的影响，因此它需要比接触感测相当敏感的数据处理，从而限制了其进一步利用的使用。本文提出了一种基于非接触式手势识别的实时的【形】界面控制框架，通过对原始信号进行处理，采用自适应阈值检测电容传感器附近手势运动所触发的电场扰动，并提取重要信号帧，覆盖真实信号区间，检测率和帧校正率分别为98.8%和98.4%。通过GRU模型与提取的信号帧训练，我们分类的10个手部运动姿态类型与98.79%的准确率。该框架传输分类结果，并根据输入操纵前台进程的界面。本研究提出了直观界面技术的可行性，它适应了灵活的人机之间的交互类似于自然用户界面，并提升了商业化的可能性的基础上测量电场干扰通过非接触式接近传感，这是最先进的传感技术。
2022-01-05 cs.AI cs.HC cs.SY
Visual Rendering of Shapes on 2D Display Devices Guided by Hand Gestures
NIT Kurukshetra（库鲁克谢特拉国家理工学院）；IIT Roorkee（鲁尔基印度理工学院）；IIT Bhubaneswar（布巴内斯瓦尔印度理工学院）
非接触式用户界面的设计在各种环境中越来越流行。使用这样的界面，即使当手是脏的或不导电的时，用户也可以与电子设备交互。此外，具有部分身体残疾的用户可以使用这样的系统与电子设备交互。由于Leap Motion、Kinect或RealSense设备等低成本传感器的出现，这一方向的研究得到了重大推动。在本文中，我们提出了一个基于Leap Motion渲染器的方法，以方便在显示器上渲染2D和3D形状。所提出的方法跟踪手指运动，而用户执行的传感器的视野内的自然手势。在下一阶段，分析轨迹以提取3D中的扩展Npen++特征。这些特征表示手势过程中的手指运动，并将其馈送到单向左到右隐马尔可夫模型（HMM）进行训练。提出了手势和形状之间的一对一映射。最后，使用MuPad接口在显示器上呈现与这些手势相对应的形状。我们创建了一个由10名志愿者记录的5400个样本的数据集。我们的数据集包含18个几何形状和18个非几何形状，如“圆”，“矩形”，“花”，“圆锥”，“球体”等，所提出的方法达到了92.87%的准确性时，使用5倍交叉验证方法进行评估。我们的实验结果表明，扩展的3D特征在形状表示和分类方面优于现有的3D特征。该方法可用于为智能显示器开发有用的HCI应用。
2018-10-22 cs.CV cs.HC cs.LG
Sparse Wearable Sonomyography Sensor-based Proprioceptive Proportional Control Across Multiple Gestures
Indian Institute of Technology Delhi（印度德里理工学院）；All India Institute of Medical Sciences（全印度医学科学研究院）
本研究利用8通道可穿戴声肌图（SMG）系统实现多手势实时位置比例控制，经8名受试者测试，所有手势平均成功率超80%，验证了SMG作为直观人机界面的潜力。
2024-03-08 cs.HC cs.RO eess.SP
Tendencies, Dead-ends, and Promising Ways. From Interface Ideas to New Programs
用户和设备之间的通信机制称为接口。即使程序本身没有任何重大的变化，界面的不时变化也会显着改善我们的计算机工作。PC界面中的主要思想是在多年前引入的，从那时起没有重大变化，而新设备通过使用屏幕对象的直接操作显示出有前途的方式。用户对普通PC的所有屏幕对象的直接操作将标准屏幕转变为非常高分辨率的触摸屏，不仅改变了熟悉程序的界面，而且创建了新的程序类型：用户驱动的应用程序。
2014-01-08 cs.HC
SurfaceXR: Fusing Smartwatch IMUs and Egocentric Hand Pose for Seamless Surface Interactions
University of Chicago（芝加哥大学）；Northwestern University（西北大学）；Northwestern University and Google（西北大学和谷歌）；Google（谷歌）
SurfaceXR通过融合智能手表IMU与第一人称手姿态数据，提升表面交互的准确性和舒适性，实验验证其在触控跟踪和8类手势识别上的显著优势。
2026-03-19 cs.CV cs.HC cs.LG
Interface Transformation from Ruling to Obedience
这篇文章是关于30年前随着多窗口操作系统的发展而部分引入的一个特性。它是关于屏幕对象的可移动性，而不是根据某些预定的算法，而是通过用户的直接操作。多年前，它在非常有限的基础上被引入，自那时以来没有任何改进。智能手机和平板电脑可以直接存取屏幕元素，但命令集非常有限（滚动和缩放）。有一个易于使用的算法，将任何屏幕对象变成可移动/可调整大小。这种算法只使用鼠标将普通PC的屏幕变成触摸屏，但这种简单的变化意味着我们使用计算机工作的革命。
2015-02-15 cs.HC
Automatized Generation of Alphabets of Symbols
Igor Sikorsky Kyiv Polytechnic Institute（伊戈尔·西科尔斯基基辅理工学院）；Laboratoire THIM (Technologies, Handicaps, Interfaces et Multimodalités), University Paris 8（巴黎第八大学 THIM 实验室（技术、残障、界面与多模态））
在本文中，我们讨论了生成的符号（和字母）的基础上，特定的用户需求（介质，优先级，需要传达的信息类型）。提出了一个生成字母的框架，并探讨了其用于生成速记书写系统。我们讨论了可能使用的机器学习和遗传算法收集输入生成这样的字母和优化已经生成的。使用这样的方法生成的字母表可以用于非常不同的领域，从合成语言和构造脚本的创建到用于通过人机接口（例如鼠标手势、触摸板、身体手势、眼睛跟踪相机和脑计算接口）进行多模态交互的明智命令的创建，特别是在用于老年人护理和残疾人的应用中。
2017-07-16 cs.CL cs.CY cs.HC
