What do Blind and Low-Vision People Really Want from Assistive Smart Devices? Comparison of the Literature with a Focus Study
本研究通过分析646篇文献和访谈24名BLV人士，发现研究者的关注点与BLV用户的实际需求存在微弱相关，且用户更偏好对话式代理和头戴式设备，为辅助智能设备的设计提供了方向。
2025-05-25 cs.HC
ChatMuse: Supporting In-Person Small-Group Conversation Experience with a Proactive Assistive AI Agent in Mixed Reality
Florida International University（佛罗里达国际大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Michigan（密歇根大学）；University of Arizona（亚利桑那大学）；University of Cincinnati（辛辛那提大学）
研究旨在解决面对面小团体对话有效支持信息的设计生成问题，提出ChatMuse系统，它能分析参与者线索并提供实时指导，利用用户行为反应改进支持能力，通过受试者内研究证明了该系统在协助小团体对话方面的可行性和有效性。
2026-08-11 cs.HC
VR Sickness Prediction from Integrated HMD's Sensors using Multimodal Deep Fusion Network
虚拟现实（VR）疾病通常被称为cybersickness是舒适使用VR系统的主要问题之一。研究人员已经提出了不同的方法来预测从生物生理数据（例如，心率、呼吸率、脑电图）。然而，收集生物生理数据通常需要外部传感器，限制了虚拟现实（VR）体验期间的运动和3D对象操作。已经进行了有限的研究来根据从盔装显示器（HMD）（例如，头部跟踪，眼睛跟踪，运动功能），允许自由运动和3D对象操作。这项研究提出了一种新的深度融合网络来预测cybersickness的严重程度从异构数据很容易从集成HMD传感器。我们提取了1755个立体视频，眼睛跟踪和头部跟踪数据，以及在VR游戏过程中从30名参与者中收集的相应的自我报告的晕机严重程度。我们应用了几种深度融合方法与从参与者收集的异构数据。我们的研究结果表明，电脑病可以预测的准确性为87.77%，均方根误差为0.51时，只使用眼动跟踪和头部跟踪数据。我们的结论是，眼动跟踪和头部跟踪数据非常适合于一个独立的网络病预测框架。
2021-08-14 cs.HC
Examination of Eye-Tracking, Head-Gaze, and Controller-Based Ray-casting in TMT-VR: Performance and Usability Across Adulthood
研究比较了VR连线测试中眼动追踪、头部注视和手柄控制器的性能，发现基于注视的射线投射优于手动指向，且最佳输入模态取决于任务需求与年龄分层。
2025-06-25 cs.HC
FaceOri: Tracking Head Position and Orientation Using Ultrasonic Ranging on Earphones
面部取向通常可以指示用户的预期交互目标。在本文中，我们提出了FaceOri，一种新的人脸跟踪技术的基础上使用耳机的声学测距。FaceOri可以利用商品设备上的扬声器发出超声波啁啾，由用户耳机上的麦克风组拾取，然后进行处理以计算每个麦克风到设备的距离。这些测量用于导出用户的面部取向和相对于设备的距离。我们进行地面实况比较和用户研究，以评估FaceOri的性能。结果表明，该系统可以在1.5米范围内以93.5%的准确度确定用户是否朝向设备。此外，FaceOri可以连续跟踪用户的头部方向，距离的绝对中位误差为10.9 mm，偏航为3.7度，俯仰为5.8度。FaceOri可以方便地免提控制设备，并产生更智能的上下文感知交互。
2022-03-20 cs.HC
Real-Time Kinematic Positioning and Optical See-Through Head-Mounted Display for Outdoor Tracking: Hybrid System and Preliminary Assessment
本文提出一种结合RTK厘米级定位与OST-HMD的室外追踪混合系统，实现免提精确追踪，并引入“半动态”评估方法，为系统集成与优化提供见解。
2025-09-11 cs.HC
PrivacEye: Privacy-Preserving Head-Mounted Eye Tracking Using Egocentric Scene Image and Eye Movement Features
诸如增强现实显示器之类的眼镜设备越来越多地集成了眼动追踪，但是将用户的注视映射到视觉场景所需的第一人称相机可能对用户和旁观者的隐私构成重大威胁。我们提出了PrivacEye，一种检测隐私敏感的日常情况的方法，并使用机械快门自动启用和禁用眼动仪的第一人称相机。为了在隐私敏感的情况下关闭快门，该方法使用第一人称视频的深度表示，并结合对用户眼球运动进行编码的丰富特征。为了在没有视觉输入的情况下打开快门，PrivacEye仅检测用户眼球运动的变化，以衡量当前情况的“隐私级别”的变化。我们评估我们的方法在第一人称视频数据集记录在日常生活中的情况下的17名参与者，由自己的隐私敏感性注释，并表明我们的方法是有效的，在这个具有挑战性的设置保护隐私。
2019-05-24 cs.HC
HARMONIC: A Multimodal Dataset of Assistive Human-Robot Collaboration
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
我们提出了人类和机器人自然交互协作（HARMONIC）数据集的多模态观测。这是一个大型的多模态数据集，人类与机器人手臂在一个共享的自主设置中进行交互，旨在模仿辅助进食。该数据集提供了24个不同的人用6自由度（DOF）机器人手臂参与辅助进食任务的人类，机器人和环境数据视图。从每个参与者那里，我们记录了双眼的视频，来自头戴式摄像机的以自我为中心的视频，操纵杆命令，来自用于操作操纵杆的前臂的肌电图，第三人称立体视频，还包括作为这些记录的直接结果的几个特征，例如投射到以自我为中心的视频上的眼睛注视、身体姿势、手部姿势和面部关键点。这些数据流是专门收集的，因为它们已被证明与人类的心理状态和意图密切相关。这个数据集可能对研究意图预测、人类心理状态建模和共享自主性的研究人员感兴趣。数据流以各种格式提供，如视频和人类可读的CSV和YAML文件。
2020-07-31 cs.HC cs.RO
Accuracy Evaluation of Touch Tasks in Commodity Virtual and Augmented Reality Head-Mounted Displays
越来越多的用于增强现实和虚拟现实（AR/VR）的面向消费者的盔装显示器（HMD）能够进行手指和手跟踪。我们报告了现成的VR和AR HMD在用于基于触摸的任务（如指向或绘图）时的准确性。具体来说，我们报告了VR盔装显示器Oculus Quest、Vive Pro和Leap Motion控制器在连接到VR HMD时的手指跟踪精度，以及AR盔装显示器Microsoft HoloLens 2和Magic Leap的手指跟踪精度。我们提出了两个实验的结果，在其中，我们比较了使用人类参与者和机器人的绝对和相对指向任务的准确性。结果表明，HTC Vive的空间精度低于Oculus Quest和Leap Motion，而微软HoloLens 2的空间精度高于Magic Leap One。这些发现可以作为决策支持的研究人员和从业人员在选择哪些系统在未来使用。
2021-09-22 cs.HC
Human-in-the-Loop Synthetic Text Data Inspection with Provenance Tracking
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Virginia Tech（弗吉尼亚理工大学）
为剔除合成数据中的错误标签，本文开发了结合溯源跟踪与辅助标注的human-in-the-loop数据审查技术INSPECTOR，显著提升了人工识别正确标签文本的效率，验证了组合技术减少人工审查的必要性。
2024-04-29 cs.HC cs.LG cs.SE
Alignment of the Virtual Scene to the Tracking Space of a Mixed Reality Head-Mounted Display
针对OST-HMD虚拟场景与追踪空间的配准需求，提出黑盒3D投影校准及多点快速对齐方法，并在HoloLens和Epson Moverio BT-300上验证可达约4 mm平均重投影精度。
2019-03-27 cs.HC
States of confusion: Eye and Head tracking reveal surgeons' confusion during arthroscopic surgery
University of Tübingen（图宾根大学）；Mahidol University（玛希隆大学）；University of Bremen（不来梅大学）；Ramathibodi Hospital（拉玛提波迪医院）
在关节镜手术期间，外科医生面临着将2D屏幕输出重新投影到3D手术部位或导航通过高度相似组织等挑战。这些认知过程的训练需要年轻外科医生花费大量的时间和精力，但对他们的教育是必要的和至关重要的。在这项研究中，我们想展示如何在关节镜手术中识别年轻外科医生的困惑状态，通过观察他们的眼睛和头部运动，并将其输入机器学习模型。该模型的准确率超过94%，检测速度为0.039秒，是外科医生在关节镜手术期间感知认知过程的在线诊断和培训系统的一步。
2021-06-11 cs.HC cs.LG
Slippage-robust Gaze Tracking for Near-eye Display
University of Science and Technology of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，头戴式近眼显示器已经成为虚拟现实和增强现实的关键硬件基础。因此，头戴式视线跟踪技术作为人机交互的重要组成部分已经受到关注。然而，头戴式设备（HMD）不可避免的滑动往往会导致较高的视线跟踪误差，并阻碍了HMD的实际使用。针对这一问题，提出了一种基于非球面眼球模型的滑动鲁棒视线跟踪近眼显示方法，精确计算眼球光轴和旋转中心。我们在具有滑动的数据集上测试了几种方法，实验结果表明，该方法显着优于以前的方法（几乎是次优方法的两倍）。
2022-11-01 cs.CV cs.HC
An Optical Measurement System for Open-Source Tracking of Jaw Motions
Technical University of Darmstadt（达姆施塔特工业大学）
本文提出了一种开源、低成本的光学测量系统，用于精确追踪下颌运动，适用于研究和康复设备开发。
2026-01-20 cs.HC
Addressing the eye-fixation problem in gaze tracking for human computer interface using the Vestibulo-ocular Reflex
一个自定义的头戴式系统来跟踪平滑的眼睛运动的鼠标光标的控制实现和评估。该系统包括头戴式红外摄像机、红外光源和计算机。在Microsoft Visual Studio、OpenCV和Pupil中实现的基于软件的图像处理技术近实时地检测瞳孔位置和瞳孔移动的方向。所识别的方向用于确定光标的期望定位，并且光标朝向目标移动。两个用户参与了三个测试，以量化由前庭眼反射引起的平滑眼球运动的增量跟踪与扫视眼球运动的阶跃变化跟踪之间的差异。跟踪平稳的眼球运动比跟踪扫视眼球运动准确四倍，平均位置分辨率为距离目标0.80厘米。相比之下，跟踪扫视眼球运动测量的平均位置分辨率为3.21厘米。使用平滑眼球运动的增量跟踪，用户能够在90%的时间内将光标放置在小至9 x 9像素正方形的目标内。然而，当使用扫视眼球运动的阶跃变化跟踪时，用户无法将光标定位在9 X 9像素目标内。平滑眼球运动的增量跟踪跟踪到目标的平均时间为6.45 s，而扫视眼球运动的阶跃变化跟踪的平均时间为2.61 s。
2020-11-24 cs.HC
Eye Tracking for Tele-robotic Surgery: A Comparative Evaluation of Head-worn Solutions
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institute（约翰斯·霍普金斯医学院）；Vanderbilt University（范德堡大学）
比较Tobii Pro 3 Glasses与Pupil Labs Core在遥操作手术中的眼动追踪性能，发现两者在瞳孔直径和注视稳定性上表现相当，校准未过期时注视估计误差均为4cm。
2023-10-18 cs.HC cs.RO
Characterizing Visual Intents for People with Low Vision through Eye Tracking
本研究通过眼动追踪与回顾性出声思维研究，表征低视力人群在图像查看任务中的五种视觉意图，揭示其注视模式差异，为意图感知辅助技术奠定基础。
2025-08-05 cs.HC
Webcam-based Eye Gaze Tracking under Natural Head Movement
Faculty of Science（理学院）
这篇手稿调查并提出了一个视觉凝视跟踪器，解决这个问题，只使用一个普通的网络摄像头，没有任何意义上的先验知识（场景设置，相机的内在和/或外在参数）。我们提出的跟踪器是基于观察，我们的愿望，授予自然的头部运动的自由，用户需要3D建模的场景设置。虽然，使用一个低分辨率的网络摄像头限制我们的尺寸（没有深度可以恢复），我们提出了一些方法来应对这个缺点，并在用户面前的场景建模。我们解决这个三维的问题，认识到它可以被视为一系列的二维特殊情况。然后，我们提出了一个程序，将用户的头部的每个动作作为一个特殊的二维情况下，从而减少了问题的复杂性回到两个维度。此外，所提出的跟踪器是免校准的，并且抛弃了所有先前提到的跟踪器的这个繁琐的部分。实验结果表明，该跟踪器在一定的限制条件下取得了较好的跟踪效果，当用户头部尽可能保持静止（不使用下巴托）时，跟踪器在x和y方向的平均误差分别为（56.95，70.82）像素。此外，我们可以报告，所提出的跟踪器提交的平均误差（87.18，103.86）像素的x和y方向，分别在自然的头部运动。
2018-03-29 cs.CV cs.HC
Gaze Gestures and Their Applications in human-computer interaction with a head-mounted display
盔装显示器（HMD）是便携式和交互式显示器。随着5G技术的发展，未来可能会成为通用计算平台。近年来，用于HMD的人机交互（HCI）技术也受到了极大的关注。除了跟踪手势和语音之外，跟踪人眼作为一种交互手段也非常有效。在本文中，我们提出了两个基于UnityEyes的卷积神经网络模型，UEGazeNet和UEGazeNet*，它们可以分别用于低分辨率和高分辨率的输入图像。这些模型可以通过对视线轨迹（GT）进行分类来进行快速交互，并使用我们的视线跟踪方法建立了包含15个人的10，200个“眼睛绘画手势”数据的GT手势数据集。通过室内和室外的性能测试，UEGazeNet的性能分别比现有网络好52%和67%。我们的GT手势数据集使用各种凝视跟踪模型的泛化能力进行了评估，并通过我们的方法获得了96.71%的平均识别率。
2019-10-16 cs.CV cs.HC
Lightweight Cybersickness Detection based on User-Specific Eye and Head Tracking Data in Virtual Reality
KU Leuven（鲁汶大学）
本文提出一种轻量级眩晕检测方法，结合集成学习模型和用户特定的眼动和头部追踪数据，通过特征工程和数据集构建提升检测性能，在跨用户和用户个性化设置中分别达到93%和88%的准确率。
2026-04-18 cs.HC cs.LG
SigmaCollab: An Application-Driven Dataset for Physically Situated Collaboration
Microsoft Research（微软研究院）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出SigmaCollab数据集，通过85次混合现实辅助会话提供多模态数据，支持物理情境下的人机协作研究，并为相关AI模型提供真实测试场。
2025-11-04 cs.AI cs.CV cs.HC
MaskBot: Real-time Robotic Projection Mapping with Head Motion Tracking
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究所（Skoltech））
人脸上的投影映射系统受到延迟和用户移动的限制。投影的区域受到投影仪和摄像机的位置的限制。我们正在介绍MaskBot，这是一个由6自由度（DoF）协作机器人操作的实时的【形】投影映射系统。协作机器人将投影仪和摄像机定位在用户面部的正常位置，以增加投影区域并减少系统的延迟。网络摄像头用于检测面部并感测机器人与用户的距离以修改投影大小和方向。MaskBot在用户的脸上投射不同的图像，例如面部修改，化妆和徽标。与现有方法相比，所提出的系统是第一个引入机器人投影映射的系统。其中一个潜在的应用是获取对抗图像的数据集，以挑战面部检测DNN系统，例如Face ID。
2020-11-07 cs.HC cs.RO
Towards user-centered interactive medical image segmentation in VR with an assistive AI agent
Concordia University（康考迪亚大学）
提出SAMIRA，一种基于语音交互的VR辅助AI智能体，用于医学图像分割，支持定位、分割和可视化，并通过用户研究验证了高可用性和低任务负荷。
2025-05-25 cs.AI cs.CV cs.HC
Panonut360: A Head and Eye Tracking Dataset for Panoramic Video
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
本文提出了一个包含50名用户观看15个全景视频的头部和眼部追踪数据集Panonut360，揭示了注视点相对于视场的向下偏移规律，并提供了显著性分布生成脚本与图集。
2024-03-26 cs.CV cs.HC cs.MM
Eye-tracking-Driven Shared Control for Robotic Arms: Wizard of Oz Studies to Assess Design Choices
Offenburg University of Applied Sciences（奥芬堡应用科学大学）；University of Siegen（锡根大学）
本文通过巫师奥兹研究评估了基于眼动追踪的共享控制设计，旨在提升残疾人与机器人手臂的交互体验和可用性。
2026-02-20 cs.HC cs.RO
Enriching physical-virtual interaction in AR gaming by tracking identical objects via an egocentric partial observation frame
George Mason University（乔治梅森大学）；National Tsing Hua University（台湾清华大学）
本文提出了一种基于优化的框架，通过局部以自我为中心的观察框架重新识别AR场景中的相同物体，以提升动态无标记物交互的流畅性。
2026-02-05 cs.HC cs.RO
A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays
Coburg University（科堡大学）；Keio University（庆应义塾大学）；Marxent Labs LLC；Mississippi State University（密西西比州立大学）
光学透视盔装显示器（OST HMD）是用于增强现实的主要输出介质，由于面向消费者的模型（诸如Microsoft Hololens）的不断发布，增强现实在公众中的普及和使用已经显著增长。与虚拟现实头戴式设备不同，OST HMD固有地支持将计算机生成的图形直接添加到用户的眼睛与他们的物理世界视图之间的光路中。与大多数增强和虚拟现实系统一样，OST HMD的物理位置通常由外部或嵌入式6自由度跟踪系统确定。然而，为了适当地渲染被感知为与物理环境空间对准的虚拟对象，还需要精确地测量用户的眼睛在跟踪系统的坐标系内的位置。20多年来，研究人员提出了各种校准方法来确定所需的眼睛位置。然而，迄今为止，还没有对这些程序及其要求进行全面审查。因此，本文调查的OST HMD的校准方法的领域。具体而言，它提供了深入了解校准技术的基础知识，并概述了手动和自动方法，以及评估方法和指标。最后，它还确定了未来研究的机会。%，并因此确定其在3D空间中的位置。
2017-09-13 cs.CV cs.HC
The Detection of Saccadic Eye Movements and Per-Eye Comparisons using Virtual Reality Eye Tracking Devices
Western University（西安大略大学）
本研究利用VR头显眼动仪在60或90Hz频率下构建原型软件，以检测扫视眼动并分析双眼差异，为神经科学及神经退行性疾病筛查提供新颖工具。
2025-03-11 cs.CV cs.HC
Pupil: An Open Source Platform for Pervasive Eye Tracking and Mobile Gaze-based Interaction
Pupil Labs UG（Pupil Labs公司）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
商用头戴式眼动仪为工业和研究领域的客户提供了有用的功能，但价格昂贵，并且依赖于封闭源硬件和软件。这将移动眼动追踪的应用领域和使用限制于专家用户，并抑制了用户驱动的开发、定制和扩展。在本文中，我们介绍了瞳孔-一个可访问的，负担得起的，可扩展的开源平台，用于移动眼动追踪和基于凝视的交互。Pupil包括1）具有高分辨率摄像头的轻型头戴式耳机，2）用于移动眼动追踪的开源软件框架，以及3）用于回放和可视化视频和凝视数据的图形用户界面（GUI）。Pupil具有高分辨率场景和眼睛摄像头，用于单眼和双眼凝视估计。该软件和GUI是独立于平台的，并包括用于实时瞳孔检测和跟踪、校准和精确凝视估计的最先进算法。性能评估的结果表明，Pupil可以提供0.6度视角的平均注视估计精度（0.08度精度），处理流水线的延迟仅为0.045秒。
2014-04-30 cs.CV cs.HC
Imitation of human motion achieves natural head movements for humanoid robots in an active-speaker detection task
Tilburg University（蒂尔堡大学）
本研究采用生成式AI流水线为Nao人形机器人生成类人头部运动，并在群体对话的实时主动说话人跟踪任务中验证其自然模仿与跟踪能力。
2024-07-16 cs.AI cs.HC cs.LG
HeadZoom: Hands-Free Zooming and Panning for 2D Image Navigation Using Head Motion
本文提出HeadZoom，一种基于实时头部跟踪的免手2D图像缩放与平移交互技术，通过被试内研究验证了Parallel Zoom模式能显著减少头部运动与感知用力，推进了VR中无障碍免手图像探索系统的设计。
2025-08-11 cs.ET cs.HC
Towards Conducting Effective Locomotion Through Hardware Transformation in Head-Mounted-Device -- A Review Study
本文综述了头戴式设备中运动跟踪方法，提出基于系统设计的分类法，以支持VR硬件在3-DOF与6-DOF间的转换，实现有效虚拟移动。
2023-06-25 cs.AR cs.HC
Photosensor Oculography: Survey and Parametric Analysis of Designs using Model-Based Simulation
Texas State University（德克萨斯州立大学）；Google（谷歌）
本文介绍了光电传感器眼电图（PSOG）的新概述，这是一种眼动跟踪技术，其原理是使用简单的光电传感器来测量眼球旋转时的反射光（通常是红外线）量。光电传感器眼电可以提供具有高精度、低延迟和降低的功耗的测量，并且因此它看起来是用于在新兴的头戴式交互设备（例如增强和虚拟现实（AR/VR）头戴设备）中执行眼睛跟踪的有吸引力的选择。在我们目前的工作中，我们采用了一个可调的模拟框架作为一个共同的基础上进行探索性研究的眼睛跟踪行为的不同的光电传感器眼电设计。通过实验，我们探索了设计的一些基本参数的变化对所得到的准确性和串扰的影响，这是基于眼动跟踪的人机交互应用程序的无缝操作的关键特征。我们的实验结果揭示了设计的权衡，需要采取解决的竞争条件，导致不同的眼动跟踪特性的最佳性能。我们还提出了传感器移位发生时眼动跟踪输出中出现的变换，并评估了眼动和传感器移位的不同组合所导致的准确性下降。
2017-07-19 cs.CV cs.HC
HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using Inertial Sensing
ETH Zürich（苏黎世联邦理工学院）
针对现有VR系统仅支持视场内手部追踪、无法便捷交互屏外内容的问题，提出腕戴式惯性传感方法HOOV，通过朝向估计预测手部位置、检测捏合动作实现屏外交互，平均追踪误差7.7厘米，拓展了VR本体感觉交互的输入空间。
2023-04-30 cs.CV cs.HC
Easy-setup eye movement recording system for human-computer interaction
College of Technology, Vietnam National University（越南国立大学技术学院）
基于人机交互（HCI）的人眼运动跟踪有望产生自然和方便的应用。为了实现有效的眼动跟踪系统，必须在不对用户的行为或用户不适施加任何限制的情况下记录眼动。本文介绍了一种眼动记录系统，提供自由头，简单的配置。它不需要使用者在头上戴任何东西，并且她可以自由地移动她的头。该系统不使用计算机，而是使用视觉数字信号处理器（DSP）摄像头来检测眼角的位置，瞳孔的中心，然后计算眼球运动。评价试验表明，该系统的采样率可达300 Hz，精度约为1.8度/s。
2016-11-28 cs.CV cs.HC
Towards Everyday Virtual Reality through Eye Tracking
Eberhard Karls Universität Tübingen（图宾根大学）；Mathematisch-Naturwissenschaftlichen Fakultät der Eberhard Karls Universität Tübingen（图宾根大学数学与自然科学学院）
随着计算机图形学、硬件技术、感知工程和人机交互技术的发展，虚拟现实和虚拟环境正越来越多地融入我们的日常生活。然而，盔装显示器仍然没有像其他移动设备（诸如智能电话和手表）那样频繁地使用。随着该技术的使用增加以及人类对虚拟应用场景的适应，在不久的将来，将实现日常虚拟现实范例是可能的。当考虑日常虚拟现实和盔装显示器的结合时，眼动追踪是一种新兴技术，有助于以实时的和非侵入性的方式评估人类行为。尽管如此，在这些技术在日常生活中广泛应用之前，还需要对多个方面进行研究。首先，应该彻底理解日常场景中的注意力和认知模型。其次，由于眼睛与视觉生物特征相关，因此需要隐私保护方法。最后，研究或应用程序不应利用具有相对同质特征的有限人类参与者，而应制定协议和用例，使这种技术更容易获得。在这项工作中，考虑到上述几点，一个重大的科学推动日常虚拟现实已经完成了三个主要的研究贡献。
2022-03-29 cs.AI cs.HC
Context-Aware Causal Gaze Forecasting for Human-Vehicle Interaction During In-Cabin Tracking Dropouts
Western University（西安大略大学）；National Research Council Canada（加拿大国家研究委员会）
针对车内注视跟踪丢失问题，提出因果上下文门控预测器（CCGF），融合丢失前注视历史与DINOv3场景特征，实现因果注视恢复，在自然驾驶数据上误差降低33%。
2026-09-14 cs.CV cs.HC
Eye-GUIDE (Eye-Gaze User Interface Design) Messaging for Physically-Impaired People
Technological Institute of the Philippines（菲律宾理工学院）
Eye-GUIDE是一种辅助沟通工具，专为瘫痪或身体受损的人设计，他们无法移动身体的一部分，特别是那些沟通仅限于眼球运动的人。原型由一台相机和一台电脑组成。摄像头捕获图像，然后将其发送到计算机，计算机将是解释数据的人。因此，Eye-GUIDE专注于基于相机的视线跟踪。设计者设计的原型可以执行简单的任务，并提供图形用户界面，以便瘫痪或身体受损的人可以轻松使用。
2013-02-07 cs.CV cs.HC
AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing
ETH Zurich（苏黎世联邦理工学院）；Reality Labs at Meta（Meta现实实验室）
当今的混合现实盔装显示器跟踪用户在世界空间中的头部姿势以及用户的手以用于在增强现实和虚拟现实场景中进行交互。虽然这足以支持用户输入，但不幸的是，它将用户的虚拟表示仅限于他们的上半身。因此，目前的系统诉诸于浮动的化身，其局限性在协作设置中特别明显。为了从稀疏输入源估计全身姿势，先前的工作在骨盆或下半身处结合了额外的跟踪器和传感器，这增加了设置复杂性并限制了移动设置中的实际应用。在本文中，我们提出了AvatarPoser，第一个基于学习的方法，预测全身姿势的世界坐标只使用运动输入从用户的头和手。我们的方法建立在一个Transformer编码器上，从输入信号中提取深层特征，并从学习到的局部关节方向中提取全局运动，以指导姿势估计。为了获得类似于运动捕捉动画的精确全身运动，我们使用具有逆运动学的优化例程来细化臂关节的位置以匹配原始跟踪输入。在我们的评估中，AvatarPoser在大型运动捕捉数据集（AMASS）的评估中取得了新的最先进的结果。同时，我们的方法的推理速度支持实时操作，提供了一个实用的接口，以支持整体的化身控制和表示的Metaverse应用程序。
2022-07-27 cs.AI cs.CV cs.GR
