ErgoGlide: A Wearable Trackball Device for Ergonomic Text Entry in Virtual Reality
Yuan Ze University(中原大学);National Taipei University of Technology(台北科技大学)
提出一种可穿戴在手指上的小型轨迹球设备ErgoGlide,结合蜂巢状虚拟键盘,通过旋转球体进行键位选择,实现直观准确的文本输入,显著提升打字准确性、人体工学和可用性。
2026-05-30 cs.HC
Enhancing Hybrid Eye Typing Interfaces with Word and Letter Prediction: A Comprehensive Evaluation
本研究针对眼动打字界面速度慢的问题,加入字母和单词预测功能,通过两组实验验证了该功能可提升打字速度,且更长时间训练能进一步提高输入效率。
2023-12-14 cs.HC
OmniFill: Domain-Agnostic Form Filling Suggestions Using Multi-Faceted Context
OmniFill通过收集浏览与文本输入等多面上下文构建LLM提示,实现领域无关的任意表单填充建议,用户研究验证其价值并揭示用户行为与态度的四个关键主题。
2023-10-27 cs.HC
Exploring Keyboard Positioning and Ten-Finger Typing in Mixed Reality
本研究针对混合现实中现有打字方式缺乏触觉反馈、手指受限的问题,通过两项实验分别探究键盘定位与十指打字方案,明确了不同输入方式的用户偏好与性能差异。
2025-07-28 cs.HC
Beyond Ray-Casting: Evaluating Controller, Free-Hand, and Virtual-Touch Modalities for Immersive Text Entry
Department of Computer Science and Engineering, University of Rajshahi, Bangladesh(拉杰沙希大学计算机科学与工程系)
本文通过对比六种物理输入系统,评估了控制器驱动、自由手和虚拟触觉模式在沉浸式文本输入中的性能,发现控制器驱动的击打手势组合在效率和准确性上表现最佳,同时揭示了自然交互与吞吐量之间的张力。
2026-03-19 cs.HC
Enhancing Older Adults' Gesture Typing Experience Using the T9 Keyboard on Small Touchscreen Devices
老年人越来越多地采用小屏幕设备,但有限的运动灵活性阻碍了他们有效打字的能力。虽然9键(T9)键盘为每个键分配了更大的空间,但它由多个连续的字母共享。因此,当键入连续字母时,用户必须中断他们的手势,导致低效率和差的用户体验。因此,我们提出了一种新颖的键盘,利用当前未使用的键1来复制前一个键的字母,允许连续输入字母而不中断。一项针对12名老年人的用户研究表明,它在打字速度、KSPC、插入错误和每个单词的删除方面明显优于带有摆动手势的T9,同时实现了与传统T9相当的性能。对12名年轻人重复打字任务发现,新型T9的优势是一致的或增强的。我们还提供了错误分析和设计考虑,以改善老年人在T9上的手势输入。
2023-03-07 cs.HC
TapType: Ten-finger text entry on everyday surfaces via Bayesian inference
ETH Zürich(苏黎世联邦理工学院)
本研究提出TapType移动文本输入系统,通过双腕惯性传感器结合贝叶斯神经网络与n-gram语言模型,实现无源表面上的全尺寸十指打字,训练后普通用户打字速度达19词/分钟、错误率0.6%,可应用于移动设备、混合现实等场景。
2024-10-08 cs.CV cs.HC
AnkleType: A Hands- and Eyes-free Foot-based Text Entry Technique in Virtual Reality
Shantou University(汕头大学);City University of Hong Kong(香港城市大学)
本文提出AnkleType,一种无需手眼的虚拟现实文本输入技术,通过脚部动作实现站立和坐姿的双足和单足输入策略,提升了文本输入效率。
2026-03-23 cs.HC
Perceptions of Blind Adults on Non-Visual Mobile Text Entry
Michigan Technological University(密歇根理工大学)
本研究通过采访12位失明成人,梳理出当前非视觉移动文本输入存在的三大问题,调研了用户对新型输入方法的态度,最终提炼出五个未来发展方向,为相关界面优化提供参考。
2025-05-21 cs.HC
KeySense: LLM-Powered Hands-Down, Ten-Finger Typing on Commodity Touchscreens
Stony Brook University(石溪大学);Kean University(基恩大学);Tsinghua University(清华大学)
KeySense通过认知-运动时间模式和微调LLM解码器,实现高效的十指触屏输入,无需额外硬件。
2026-02-12 cs.HC
Text Entry Performance and Situation Awareness of a Joint Optical See-Through Head-Mounted Display and Smartphone System
本文研究了在智能手机输入文本并在光学透视头戴式显示器输出的联合系统性能,通过5项共86人参与的实验表明,当前该联合交互系统的挑战大于潜在收益。
2023-09-07 cs.HC
Sequential Decision-Making for Inline Text Autocomplete
Meta AI;UT Austin(德克萨斯大学奥斯汀分校)
本文将行内文本自动补全建模为序列决策问题,用强化学习学习建议策略,并通过基于输入速度的奖励纳入认知负荷,证明其优于单步策略。
2024-06-15 cs.CL cs.HC cs.LG
An Automated Evaluation Metric for Chinese Text Entry
在本文中,我们提出了一个自动评估指标的文本输入。我们还考虑了对现有文本输入评估指标的可能改进,如最小字符串距离出错率,每个字符的错误次数,每次更正的成本,以及MacKenzie提出的统一方法,使它们能够适应中文文本的特殊性。目前的中文文本录入评估方法缺乏对打字速度和准确性的综合考虑。我们的目标是消除由于人为因素而产生的偏见。首先,我们提出了一个新的度量,称为校正惩罚(P),基于费茨定律和希克定律。其次,将其转化为信息论的近似摊余成本。本文还分析了不同上下文长度的中文文本输入法的AAC。
2007-04-27 cs.CL cs.HC
I-Keyboard: Fully Imaginary Keyboard on Touch Devices Empowered by Deep Neural Decoder
KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院)
文本输入的目的是提供一个有效的和高效的途径,为人类提供他们的信息到计算机。随着移动计算的出现,最近文本输入研究的焦点已经从物理键盘转移到软键盘。然而,当前的软键盘由于缺乏触觉反馈而增加了打字错误率,并且由于它们在屏幕上的大部分而降低了移动设备的可用性。为了解决这些限制,我们提出了一个带有深度神经解码器(DND)的全虚构键盘(I-Keyboard)。I-Keyboard的不可见性最大限度地提高了移动设备的可用性,深层神经架构支持的DND允许用户从触摸屏上的任何位置以任何角度开始键入。据我们所知,眼睛自由十指打字的情况下,I-键盘,不需要校准步骤和一个预定义的打字区域是第一次在这项工作中探索。为了训练DND,我们在开发I-Keyboard的过程中收集了最大的用户数据。我们通过在各种条件下进行一系列全面的模拟和实验,验证了所提出的I-Keyboard和DND的性能。I-Keyboard的打字速度(45.57 WPM)和准确率(95.84%)分别比基线提高了18.95%和4.06%。
2019-07-31 cs.AI cs.CV cs.HC
Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments
Google(谷歌);Team Gleason Foundation(格里森团队基金会);Harvard University(哈佛大学)
本文提出SpeakFaster系统,结合大语言模型与缩写输入界面,在模拟和真实ALS眼动用户测试中显著减少运动动作并提升文本输入速率29-60%,为运动障碍用户加速通信开辟了新方向。
2023-12-03 cs.CL cs.HC
LowKeyEMG: Electromyographic typing with a reduced keyset
本文提出 LowKeyEMG,一种仅用 sEMG 解码的 7 类单手手势进行文本输入的实时界面,结合 RWKV 实现 23.3 WPM 和 98.2% 前三词准确率。
2025-07-26 cs.HC eess.SP
DeepMood: Modeling Mobile Phone Typing Dynamics for Mood Detection
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tsinghua University(清华大学);University of Michigan(密歇根大学)
越来越多地使用电子表格的通信提供了新的机会,在心理健康的研究,包括调查精神疾病的表现,不引人注目的能力,并在病人的日常生活的设置。本研究进行了一项探索双相情感障碍与手机使用之间可能联系的试点研究。在这项研究中,参与者被提供了一部手机作为他们的主要电话。这款手机装有一个自定义键盘,可以收集包括按键输入时间和加速度计运动在内的元数据。出于隐私考虑,没有收集除退格键和空格键之外的单个字符数据。我们提出了一种基于后期融合的端到端深度架构,名为DeepMood,用于对多视图元数据进行建模,以预测情绪分数。实验结果表明,基于会话级手机打字动态(通常小于1分钟)的抑郁评分预测准确率可达到90.31%。它证明了使用手机元数据推断情绪障碍和严重程度的可行性。
2018-03-23 cs.AI cs.HC
SwEYEpinch: Exploring Intuitive, Efficient Text Entry for Extended Reality via Eye and Hand Tracking
Columbia University(哥伦比亚大学)
本文提出SwEYEpinch方法,通过眼动和手部追踪实现高效文本输入,通过用户研究验证其在增强现实中的优势,达到64.7 WPM的性能。
2026-04-03 cs.HC
GazeNoter: Co-Piloted AR Note-Taking via Gaze Selection of LLM Suggestions to Match Users' Intentions
本文提出 AI 协同驾驶的 AR 系统 GazeNoter,通过 AR 头显利用注视选择并调整 LLM 生成的建议以匹配用户意图,实现实时笔记,并在静态和移动场景下验证了其可用性。
2025-03-07 cs.HC
Typing on Any Surface: A Deep Learning-based Method for Real-Time Keystroke Detection in Augmented Reality
本文提出一种基于深度学习的AR实时击键检测方法,通过用户视角RGB视频和自适应C-RNN模型实现在任意平面打字,无需实体或虚拟键盘,在40 wpm下达到91.05%准确率。
2023-11-02 cs.CV cs.HC
Content-Driven Local Response: Supporting Sentence-Level and Message-Level Mobile Email Replies With and Without AI
University of Bayreuth(拜罗伊特大学)
针对移动电子邮件AI回复与用户需求不符的问题,提出内容驱动的局部响应(CDLR)界面概念,支持句子级插入回复并引导AI建议,通过用户研究验证其可灵活调整AI参与度并保留输入效率优势。
2025-02-10 cs.CL cs.HC
A Gaze-Assisted Multimodal Approach to Rich and Accessible Human-Computer Interaction
眼动追踪技术的最新进展正在推动采用注视辅助交互作为丰富且可访问的人机交互范例。凝视辅助交互作为无残疾用户的上下文,非侵入性和明确的控制方法;对于有运动或语言障碍的用户,通过凝视输入文本作为主要的通信手段。尽管有显著的优势,但由于其固有的局限性,凝视辅助交互仍然没有被广泛接受:1)点石成金,2)鼠标式交互的准确性低,3)需要重复校准,4)长时间使用的视觉疲劳,5)较低的凝视打字速度,等等。本论文的研究提出了一种凝视辅助的多模态交互范式,和相关的框架及其应用,有效地实现凝视辅助交互,同时解决当前的许多限制。在这方面,我们提出了四个系统,利用凝视辅助交互:1)凝视和脚操作的系统,用于精确的点和点击交互,2)停留自由,脚操作的凝视打字系统。3)基于注视姿势的认证系统,以及4)基于注视姿势的交互工具包。此外,我们还提出了本论文研究的目标、技术路线和总体贡献。
2018-03-13 cs.HC
SplashNet: Split-and-Share Encoders for Accurate and Efficient Typing with Surface Electromyography
University of California, Los Angeles(加州大学洛杉矶分校)
针对表面肌电图打字跨用户泛化差的问题,提出SplashNet模型,通过滚动时间归一化、通道掩码和分割共享编码器,在减少参数与计算量的同时显著降低字符错误率,无需额外数据即达新SOTA。
2025-11-01 cs.HC cs.LG
Breaking Barriers to Creative Expression: Co-Designing and Implementing an Accessible Text-to-Image Interface
本文通过共同设计并实现一个利用大型语言模型提供建议、减少打字负担的无障碍文本到图像界面,旨在降低创意表达的门槛,并验证了其对不同能力用户创作视觉艺术的支持作用。
2023-09-05 cs.HC
Type Anywhere You Want: An Introduction to Invisible Mobile Keyboard
当代软键盘具有局限性:缺乏物理反馈导致错别字增加,软键盘的界面降低了屏幕的实用性。为了克服这些限制,我们提出了一个隐形移动键盘(IMK),它可以让用户自由地输入所需的区域没有任何限制。为了促进数据驱动的IMK解码任务,我们收集了最广泛的文本输入数据集(大约2M对打字位置和相应的字符)。此外,我们提出了我们的基线解码器以及基于自我注意的语义错别字纠正机制,该机制以高准确率(96.0%)解码此类无约束输入。此外,用户研究表明,用户可以输入更快,感到方便和满意的IMK与我们的解码器。最后,我们将源代码和数据集公开,为研究社区做出贡献。
2021-08-20 cs.HC
ReconViguRation: Reconfiguring Physical Keyboards in Virtual Reality
物理键盘是个人计算机的常见外围设备,并且是有效的标准文本输入设备。最近的研究已经调查了物理键盘如何可以用于沉浸式的基于盔装显示器的虚拟现实(VR)。到目前为止,键盘的物理布局通常被移植到VR中,以复制标准桌面环境中的打字体验。在本文中,我们将探讨如何充分利用VR的沉浸感来改变VR环境中物理键盘交互的输入和输出特性。这允许各个物理键被重新配置为相同或不同的动作,并且视觉输出以各种方式分布在键盘的VR表示中。我们探索了一组输入和输出映射,用于重新配置物理键盘的虚拟演示,并通过专门设计,实现和评估九个VR相关应用程序来探索由此产生的设计空间:表情符号,语言和专用字符,应用程序快捷方式,虚拟文本处理宏,窗口管理器,照片浏览器,打地鼠游戏,安全密码输入和虚拟触摸栏。我们调查了20名参与者的用户研究中的应用程序的可行性,并发现,除其他外,他们是可用的VR。我们讨论的局限性和可能性,重新映射的物理键盘的输入和输出特性在VR的基础上的实证研究结果和分析,并建议在这一领域的未来研究方向。
2019-07-18 cs.HC
Finger Based Technique (FBT): An Innovative System for Improved Usability for the Blind Users' Dynamic Interaction with Mobile Touch Screen Devices
本文介绍了一种专门为非视觉触摸屏设备设计和开发的新型盲人交互系统--基于手指的技术(FBT)原型及其应用。FBT原型开发了基于手指握持位置识别的虚拟按键。提出了两位数FBT和个位数FBT两种不同的模型。使用两种不同的电话拨号器应用程序应用FBT技术:用于单数字FBT模型的单数字虚拟键和具有音频反馈的双数字虚拟键,后者允许触摸作为输入手势。对7名盲人参与者的评估表明,个位数FBT比两位数FBT明显更快,更准确。除此之外,在执行类似任务时,个位数的FBT比iPhone的VoiceOver输入速度快得多。此外,我们的研究还提出了11个可访问的区域,快速访问或导航的平面触摸屏为基础的智能手机为盲人用户。这些可访问区域将作为可用性设计框架,并便于开发人员为盲人用户放置小部件,以便与触摸屏设备进行动态交互。据作者所知,这是一个新的建议。
2017-08-09 cs.HC
ChatBCI: A P300 Speller BCI Leveraging Large Language Models for Improved Sentence Composition in Realistic Scenarios
Integrated Systems and NeuroImaging Laboratory(集成系统与神经成像实验室);Department of Electrical and Computer Engineering, Rutgers University(电气与计算机工程系,罗格斯大学)
ChatBCI利用大语言模型提升真实场景中句子组成的效率和效果。
2024-11-23 cs.AI cs.CL cs.HC