Eyes on the Game: Deciphering Implicit Human Signals to Infer Human Proficiency, Trust, and Intent
本文提出结合眼动数据与游戏行为数据的新方法,在Overcooked环境中推断人类熟练度、信任度与意图,并证明融合模型优于单一数据及既有聚合方法。
2024-07-03 cs.HC
Detecting Gaze Towards Eyes in Natural Social Interactions and its Use in Child Assessment
眼神交流是非语言交流的一个重要组成部分,它意味着对社会交往的兴趣、关注和参与。因此,目光接触的测量出现在各种应用中,例如评估有自闭症等发育障碍风险的儿童的社会沟通技能,或分析小组会议期间的话轮转换和社会角色。然而,在自然主义的社会互动过程中的视觉注意力的自动测量是具有挑战性的,由于从视频中估计受试者的观看方向的困难。本文提出了一种新的方法,在成人与儿童的社会交往中,成人戴着一个点的观点相机,捕捉儿童的行为的自我中心的看法,目光接触检测。通过分析孩子的面部区域并推断他们的头部姿势,我们可以准确地识别孩子看他们的社交伙伴的眼睛的开始和持续时间。我们介绍了姿势隐式CNN,这是一种新颖的深度学习架构,可以预测眼神接触,同时隐式估计头部姿势。我们提出了一个用于目光接触检测的全自动系统,该系统使用深度神经网络解决了端到端特征学习和姿态估计的子问题。为了训练我们的模型,我们使用了一个数据集,该数据集包括来自100多名儿童的22小时的156个游戏视频,其中一半被诊断患有自闭症谱系障碍。我们报告的总体精度为0.76,召回率为0.80,精确度-召回率曲线下的面积为0.79,所有这些都是对现有方法的显着改进。
2019-02-02 cs.HC
EyeTAP: A Novel Technique using Voice Inputs to Address the Midas Touch Problem for Gaze-based Interactions
基于凝视的交互的主要挑战之一是区分正常眼睛功能与与计算机系统的故意交互(通常称为“点石成金”)的能力。在本文中,我们提出了,EyeTAP(眼动追踪点和选择目标声脉冲)的点和选择任务的免提交互方法。我们在两个独立的用户研究中评估了原型,每个研究包含两个有33名参与者的实验,发现即使在音频输入信号中存在环境噪声的情况下,EyeTAP也是鲁棒的,容忍度高达70 dB,导致更快的移动时间和更快的任务完成时间,并且具有比话音识别更低的认知工作量。此外,在带状实验中,EyeTAP具有比停留时间方法更低的出错率。这些特性使其适用于身体活动受限或因残疾而无法活动的用户。此外,EyeTAP在用户界面设计方面没有特定要求,因此可以很容易地集成到现有系统中,只需进行最小的修改。EyeTAP可以被视为解决Midas触摸的可接受的替代方案。
2020-03-22 cs.HC
I Can See it in Your Eyes: Gaze as an Implicit Cue of Uncanniness and Task Performance in Repeated Interactions
Uppsala University(乌普萨拉大学);University of Potsdam(波茨坦大学)
在过去的几年里,广泛的研究一直致力于开发强大的平台和数据驱动的对话模型,以支持长期的人机交互。然而,人们对机器人的看法和与机器人的互动如何随着时间的推移而发展,以及如何通过隐式和连续测量技术准确评估这些方面知之甚少。在本文中,我们通过让参与者参与三个互动会话来探索这一点,其间有多天的零暴露。每个会话包括与机器人的联合任务以及任务之前和之后的两次简短的社交聊天。我们用可穿戴的眼动仪测量参与者的凝视模式,并使用问卷调查来衡量他们对机器人的感知、参与度和联合任务。结果显示,社交聊天中的厌恶目光是机器人的怪异的一个指标,在联合任务中,人们越多地注视机器人,他们的表现就越差。与大多数HRI文献相比,我们的研究结果表明,凝视共同关注的对象,而不是凝视机器人伙伴,是参与联合任务最有意义的预测因素。此外,在重复的互动中的凝视模式的分析揭示,人们在社交聊天中的相互凝视随着时间的推移与他们对机器人的看法一致。这些是HRI社区的关键发现,因为它们意味着凝视行为可以用作人们在社交聊天中对机器人的感知以及他们在联合任务中的参与和任务表现的隐式测量。
2021-02-23 cs.HC cs.RO
Real Eyes Realize Faster: Gaze Stability and Pupil Novelty for Efficient Egocentric Learning
Kubo Technologies(Kubo技术公司)
该研究提出了一种双标准帧curator,利用 gaze 稳定性和 pupil 新颖性提高自体学习效率,验证了两种信号在不同任务中的不同作用。
2026-03-04 cs.CV cs.HC
Group Gaze-Sharing with Projection Displays
本文提出一种基于投影映射的群体视线共享技术,将多参与者的视线数据统一到桌面公共可视化空间,用于桌面工作坊场景中的群体协作,并通过协作拼图任务验证了其有效性。
2025-05-02 cs.HC
An Efficient Point of Gaze Estimator for Low-Resolution Imaging Systems Using Extracted Ocular Features Based Neural Architecture
Indian Institute of Technology(印度理工学院);Indian Institute of Information Technology(印度信息技术学院)
用户的眼睛作为人机交互研究的一个重要模型,为人机交互的研究提供了手段.对眼睛的不时的科学探索已经看到了HCI应用中的益处的激增,从凝视估计到在给定时间段内观看屏幕的用户的注意力的测量。眼动追踪系统作为一种辅助的交互式工具,可以被身体残疾的个人所采用,最适合那些只有眼睛作为有限的交流工具的人。本文的三个目标是- 1。介绍一种基于神经网络的架构,通过学习眼睛的各个方面作为视觉特征集,通过基于低分辨率的系统(如网络摄像头),实时的预测用户在屏幕上11.31°视觉范围内显示的9个位置处的注视。2.提出了一套实时的粗监督特征集,并通过对21个个体(17男4女)的用户案例研究进行了验证,得到了35 k的实例集,准确率为82.36%,f1_score为82.2%。3.详细研究了这种系统的适用性和潜在挑战。实验结果验证了所提出的视线跟踪模型的可行性和有效性。
2021-06-09 cs.CV cs.HC cs.LG
The People's Gaze: Co-Designing and Refining Gaze Gestures with General Users and Gaze Interaction Experts
University of St Andrews(圣安德鲁斯大学);University of Essex(埃塞克斯大学);King’s College London(伦敦国王学院);Dalian Maritime University(大连海事大学);University of Glasgow(格拉斯哥大学)
本文提出一种两阶段方法,通过非专家参与者的工作坊生成102个初始概念,并由专家评审和优化为32个手势,以开发直观的凝视手势,解决传统手势与用户自然凝视运动不匹配的问题。
2026-03-24 cs.HC
Imperceptible Gaze Guidance Through Ocularity in Virtual Reality
本研究提出一种基于眼性的VR隐形视线引导技术,利用双眼输入差异的不显眼线索引导注意力,经15人视觉搜索实验验证有效,可在不破坏沉浸感的前提下实现视线引导与3D深度渲染。
2024-12-12 cs.HC
Mirror Eyes: Explainable Human-Robot Interaction at a Glance
Honda Research Institute Europe GmbH(本田欧洲研究院)
本研究提出一种基于屏幕眼球模型的机器人系统,通过在眼睛上呈现注视区域的镜像反射,提升人机交互中的可解释性与用户体验。
2025-06-23 cs.HC cs.RO
HSVRS: A Virtual Reality System of the Hide-and-Seek Game to Enhance Gaze Fixation Ability for Autistic Children
本文提出了一种名为HSVRS的虚拟现实系统,通过捉迷藏游戏和个性化虚拟化身技术,提升自闭症儿童的目光注视能力,实验证明其作为辅助干预手段可行且有效。
2023-10-20 cs.HC cs.MM
Gaze-Vergence-Controlled See-Through Vision in Augmented Reality
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
增强现实(AR)透视视觉是一个有趣的研究课题,因为它使用户能够透过墙壁看到被遮挡的物体。现有的研究大多集中在透视视觉的视觉效果上,而交互方法的研究较少。然而,我们认为,使用共同的互动方式,例如,空中点击和语音,可能不是控制透视视觉的最佳方式。这是因为当我们想要看穿某物时,它与我们的凝视深度/聚散度有物理关系,因此应该由眼睛自然控制。基于这一思想,本文提出了一种新的凝视-聚散度控制(GVC)透视视觉技术。由于需要注视深度,我们用两个红外摄像头和相应的算法构建了一个注视跟踪模块,并组装到微软HoloLens 2中,实现注视深度估计。然后,我们提出了两种不同的GVC模式的透视视觉,以适应不同的情况。大量的实验结果表明,我们的凝视深度估计是有效和准确的。通过与传统的交互方式相比,我们的GVC技术也被证明是优越的效率和更受用户的青睐。最后,我们提出了四个例子的应用程序的凝视聚散度控制透视视觉。
2022-07-06 cs.CV cs.HC
Swar The Voice Operated PC
键盘虽然是一种流行的媒介,但并不是很方便,因为它需要一定的技能才能有效地使用。另一方面,鼠标需要良好的手眼协调。此外,当前的计算机界面还假定用户具有一定的读写水平。它还希望用户有一定的英语熟练程度。在我国,有些州的识字率低至50%,如果信息技术必须普及到基层,就必须消除这些制约因素。作为这些问题的解决方案,语音识别以及语音操作的计算机系统的概念应运而生。在本文中,我们提出了一种技术来开发一个话音识别系统,该系统将用于控制计算机通过语音输入从任何用户,即不使用鼠标和/或键盘。一旦开发出来,这个系统将对身体残疾的人有很大的好处,因为他们可以戴上耳机,解放双手和眼睛,而不是在笔记本电脑或手持电脑上滚动书面程序。
2014-01-15 cs.HC
The Eye-Head Mover Spectrum: Modelling Individual and Population Head Movement Tendencies in Virtual Reality
Lancaster University(兰卡斯特大学);University of Toronto(多伦多大学);Aarhus University(奥胡斯大学)
本文提出头部运动倾向作为虚拟现实中的重要概念,通过建模个体和群体头部运动策略,揭示了其在适应性系统中的应用价值。
2026-02-05 cs.HC
Switched Reading: Toward Seamless Visual-Auditory Switching When Reading Text in Augmented/Mixed Reality
Research Institute of Electrical Communication, Tohoku University(东北大学电气通信研究所)
针对AR/MR阅读中视觉显示不适用于需感知现实环境的场景,提出Switched Reading交互框架,实现两项关键技术,经用户研究验证其可提升阅读表现与体验,还开发了行走阅读应用并获设计启示。
2026-08-10 cs.HC
GlassMessaging: Supporting Messaging Needs During Daily Activities Using OST-HMDs
GlassMessaging是一款针对OST-HMD的消息应用,通过语音和手动输入支持日常多任务中的消息传递,解决双手和眼睛被占用时的通信难题。
2023-08-30 cs.HC
MagicEyes: A Large Scale Eye Gaze Estimation Dataset for Mixed Reality
Magic Leap Inc, USA(Magic Leap公司,美国(注:此处“USA”为国家信息,按要求不加入,仅保留机构名“Magic Leap Inc”))
随着虚拟和混合现实(XR)设备的出现,眼动追踪在计算机视觉界受到了极大的关注。眼睛注视估计是XR中的一个关键组成部分-实现节能渲染,多焦点显示以及与内容的有效交互。在头戴式XR设备中,眼睛离轴成像,以避免阻挡视野。这导致推断眼睛相关量的挑战增加,同时提供了开发准确和稳健的基于学习的方法的机会。为此,我们提出了MagicEyes,这是第一个使用真正的MR设备收集的大规模眼睛数据集,具有全面的地面真实标记。MagicEyes包括具有人类标记的地面实况的$80,000$图像的$587$受试者和具有凝视目标标签的超$800,000$图像。我们评估了MagicEyes上的几种最先进的方法,并提出了一种新的多任务EyeNet模型,该模型旨在检测角膜,闪光和瞳孔以及在单次向前传递中的眼睛分割。
2020-03-18 cs.CV cs.HC cs.LG
Mapping Eye Vergence Angle to the Depth of Real and Virtual Objects as an Objective Measure of Depth Perception
本研究在真实、AR和VR三种环境下测量眼动视辐角(GVA),发现GVA随目标深度变化且比主观判断更准确,可作为深度感知的客观测量指标。
2023-11-20 cs.HC
Towards Human-Robot Teaming through Augmented Reality and Gaze-Based Attention Control
Ritchie School of Engineering and Computer Science, University of Denver(丹佛大学工程与计算机科学学院)
本文提出一种结合地面机器人与增强现实技术的人机协同系统,通过AR头戴设备显示虚拟视觉标记来动态吸引和转移人类注意力,克服传统注意力控制方法在精确性与微妙性上的不足。
2024-08-23 cs.HC cs.RO
StepWrite: Adaptive Planning for Speech-Driven Text Generation
School of Computer Science Carnegie Mellon University Pittsburgh PA USA;School of Computer Science Carnegie Mellon University
StepWrite利用大型语言模型,通过分解子任务和动态音频提示,支持移动中免提免视的长文本语音撰写,显著降低认知负荷并提升用户体验。
2025-08-06 cs.AI cs.HC
Assessment of user-interaction strategies for neurosurgical data navigation and annotation in virtual reality
虽然虚拟现实(VR)在放射学任务中表现出了很大的希望,但有效的用户交互策略,可以提高效率和人体工程学仍然是探索不足,在复杂的解剖模型的背景下,VR交互技术的系统评价是罕见的。因此,我们的研究旨在确定最有效的交互技术,两个常见的神经外科规划任务,在VR(点注释和笔记)从最先进的,并提出了一种新的技术,有效的子体积选择必要的神经解剖导航。我们评估了七种用户交互方法,采用多种输入方式(凝视、头部运动、控制器和语音),用于在脑血管手术中注释脑动脉瘤的背景下进行点放置和记录。此外,我们提出并评估了一种新的技术,称为放大选择透视图(Maserama),用于在VR中轻松导航和选择复杂的3D解剖结构。定量和半定量(即,NASA任务负荷指数)的指标,通过用户研究,以揭示性能的准确性,效率和可用性方面的每一个交互方案。我们的评估表明,基于手势的交互优于基于眼动跟踪的点放置方法,而语音记录和虚拟键盘打字优于手写笔记。此外,我们新的Maserama子卷选择技术被证明是高效和易于使用的。我们的研究是第一个为神经外科数据导航和注释提供现有和新的VR交互方案的系统评估。它提供了有价值的见解和工具,以指导未来放射和外科应用的VR系统的设计。
2022-12-16 cs.HC
ML-PersRef: A Machine Learning-based Personalized Multimodal Fusion Approach for Referencing Outside Objects From a Moving Vehicle
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心 (DFKI))
在过去的几十年里,现代车辆增加了数百个传感器,使其能力呈指数级增长。这允许与车辆进行交互的新方法,这些方法超越了传统的基于触摸和语音命令的方法,例如情感识别、头部旋转、眼睛凝视和指向手势。虽然凝视和指向手势之前已经被用于参考车辆内部和外部的对象,但这些手势的多模态交互和融合迄今为止尚未被广泛研究。我们提出了一种新的基于学习的多模态融合方法,用于在模拟环境中保持长行驶路线的同时参考车外对象。所提出的多模态方法在多个方面和条件下优于单模态方法。此外,我们还展示了可能的方法来利用用户之间的行为差异时,完成的参考任务,实现一个适应性强的个性化系统,为每个驱动程序。我们提出了一个个性化技术的基础上的学习概念的转移非常小的数据大小,以提高预测和适应个人主义的引用行为。我们的代码可在https://github.com/amr-gomaa/ML-PersRef上公开获取。
2021-11-03 cs.CV cs.HC
ClickAIXR: On-Device Multimodal Vision-Language Interaction with Real-World Objects in Extended Reality
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
ClickAIXR通过设备端视觉-语言模型与基于控制器的对象选择方法,实现对现实世界对象的精确点击交互,提升隐私和延迟方面的可信度。
2026-04-06 cs.CV cs.GR cs.HC
Exploring Context-aware and LLM-driven Locomotion for Immersive Virtual Reality
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Human-Centered Technologies for Learning(以人为本的学习技术)
研究提出由大语言模型驱动的移动技术,让用户用自然语言在虚拟环境中导航。通过评估三种移动方法,结合眼动追踪数据分析和标准化问卷,发现该方法有潜力成为可行的免手持替代方案,能促进虚拟空间免手持移动。
2026-07-07 cs.AI cs.HC