Smooth head tracking for virtual reality applications
Computer Science Lab., Ecole Militaire Polytechnique(军事理工学院计算机科学实验室)
在这项工作中,我们提出了一个新的头部跟踪解决方案,人机实时交互与虚拟3D环境。该解决方案利用RGBD数据根据用户头部的移动来计算虚拟相机姿态。该过程开始于从传感器提供的图像中提取一组面部特征。将这些特征与参考图像中的相应对应物进行匹配,以计算当前头部姿势。然后,使用预测方法来猜测最有可能的下一个头部移动(最终姿势)。然后采用毕达哥拉斯速端图插值来确定两个姿态之间的路径和局部帧。结果是平滑的头部轨迹,其用作根据用户的注视在虚拟场景中设置相机的输入。所得到的运动模型具有以下优点:在时间上是连续的,它适应于渲染的任何帧速率;它是人体工程学的,因为它使用户免于佩戴跟踪标记;它是平滑的并且没有渲染抖动;并且它也是扭转和曲率最小化的,因为它产生具有最小弯曲能量的路径。
2021-10-27 cs.CV cs.GR
Gaze Prediction in Virtual Reality Without Eye Tracking Using Visual and Head Motion Cues
Libra AI Technologies(Libra AI技术公司);Ethical AI Novelties(伦理AI创新公司);Cyprus University of Technology(塞浦路斯技术大学)
本文提出了一种结合头戴式显示器运动信号和视觉显著性线索的注视预测框架,通过轻量级模型在VR环境中有效预测注视方向,提升交互体验。
2026-01-26 cs.CV
Real-Time Onboard Object Detection for Augmented Reality: Enhancing Head-Mounted Display with YOLOv8
Poznań University of Technology(波兹南理工大学);University of Cambridge(剑桥大学)
提出一种在 Microsoft HoloLens 2 上机载运行 YOLOv8 的 AR 实时目标检测架构,通过边缘优化流水线实现无需云端卸载的实时处理,并保持满意的 mAP 与定性表现。
2023-06-06 cs.CV cs.HC
A Comparative Analysis of Virtual Reality Head-Mounted Display Systems
The Johns Hopkins University(约翰斯·霍普金斯大学)
随着虚拟现实(VR)技术的最新进展,在非娱乐环境中,诸如专业教育和培训、制造、服务或低频率/高风险场景中,这种技术的部署将显著增加。由于VR技术的复杂性、高成本和物流困难,临床教育是一个特别受益于VR技术的领域。VR系统部署的有效性取决于针对娱乐市场的设备可能不一定考虑的因素。在这项工作中,我们系统地比较了广泛的VR盔装显示器(HMD)技术和设计,通过定义一组新的指标,1)与大多数通用VR解决方案相关,2)对于基于VR的教育和培训至关重要。我们根据各种标准评估了10个HMD,包括颈部应变,热发展和颜色准确性。其他指标,如文本可读性,舒适度和对比度感知,在一项多用户研究中对三款选定的HMD进行了评估,即Oculus Rift S,HTC Vive Pro和Samsung Odyssey+。结果表明,HTC Vive Pro在舒适性、显示质量和与眼镜的兼容性方面表现最佳。
2019-12-05 cs.CV cs.HC
HOIGaze: Gaze Estimation During Hand-Object Interactions in Extended Reality Exploiting Eye-Hand-Head Coordination
University of Stuttgart Germany(斯图加特大学);University of Tuebingen Germany(图宾根大学);The Center for Bionic Intelligence Tuebingen Stuttgart Germany(图宾根-斯图加特生物智能中心)
提出HOIGaze,一种利用眼-手-头协调在扩展现实手-物交互期间进行视线估计的新方法,通过分层框架、跨模态Transformers融合和眼-头协调损失去噪训练数据,在HOT3D和ADT数据集上显著优于现有方法。
2025-04-28 cs.CV
Real-time Egocentric Gesture Recognition on Mobile Head Mounted Displays
Google Inc.(谷歌公司)
移动虚拟现实(VR)盔装显示器(HMD)近年来在消费者中变得流行。在这项工作中,我们展示了实时的自我为中心的手势检测和定位移动头戴式显示器。我们的主要贡献是:1)一种新颖的混合现实数据汇集工具,用于自动注释边界框和手势标签; 2)迄今为止最大的以自我为中心的手势和限界框数据集,具有超过400,000个注释帧; 3)一个神经网络,在现代移动CPU上实时的运行,并在8个类别的手势识别上实现高于76%的精度。
2017-12-13 cs.CV
All-in-One Augmented Reality Guided Head and Neck Tumor Resection
Vanderbilt Institute for Surgery and Engineering(范德比尔特手术与工程研究院);Vanderbilt University Medical Center(范德比尔特大学医学院)
本文提出了一种整合增强现实技术的系统,用于在手术中精确定位肿瘤边缘,通过HoloLens 2的深度感应和自动标记less表面配准,显著提高了手术精度。
2026-06-07 cs.CV cs.ET cs.HC
EVD Surgical Guidance with Retro-Reflective Tool Tracking and Spatial Reconstruction using Head-Mounted Augmented Reality Device
Tsinghua University(清华大学);School of Medicine, Tsinghua University(清华大学医学院);Beijing Tsinghua Chang Gung Hospital(北京清华长庚医院);Whiting School of Engineering, Johns Hopkins University(约翰斯·霍普金斯大学怀廷工程学院);Medivis. Inc.(Medivis公司)
本研究提出了一种基于头戴式增强现实设备与ToF深度传感器的EVD手术导航框架,通过深度误差校正、反光标记与点云结合的头部追踪及表面重建,实现了亚毫米级重建精度和显著的手术导航准确性提升。
2023-07-03 cs.CV eess.IV
SurgeonAssist-Net: Towards Context-Aware Head-Mounted Display-Based Augmented Reality for Surgical Guidance
University of Toronto(多伦多大学);Sunnybrook Health Sciences Centre(桑尼布鲁克健康科学中心);Sunnybrook Research Institute(桑尼布鲁克研究所)
我们介绍SurgeonAssist-Net:一个轻量级的框架,使行动和工作流驱动的虚拟援助,为一组预定义的手术任务,可访问市售的光学透视盔装显示器(OST-HMD)。在腹腔镜手术工作流程的广泛使用的基准数据集上,我们的实现在自动任务识别的预测准确性方面与最先进的方法竞争,但需要的参数少7.4倍,每秒浮点运算(FLOPS)少10.2倍,CPU上的推理速度快7.0倍,并且能够在Microsoft HoloLens 2 OST-HMD上实现近实时性能。为了实现这一目标,我们利用一个高效的卷积神经网络(CNN)主干从图像数据中提取判别特征,并利用一个低参数递归神经网络(RNN)架构来学习长期的时间依赖性。为了证明我们在HoloLens 2上进行推理的方法的可行性,我们创建了一个样本数据集,其中包括从以用户为中心的视角记录的几个手术任务的视频。训练后,我们部署了我们的模型,并在在线模拟手术场景中对其性能进行了分类,以预测当前的手术任务。我们的方法的效用是探讨在几个相关的临床用例的讨论。我们的代码可在https://github.com/doughtmw/surgeon-assist-net上公开获取。
2021-07-13 cs.CV
Augmented Reality-based Guidance with Deformable Registration in Head and Neck Tumor Resection
Vanderbilt University(范德比尔特大学);Vanderbilt University Medical Center(范德比尔特大学医学中心)
针对头颈部肿瘤切除中标本收缩导致的切缘定位难题,提出一种融合厚度信息的可变形配准框架并与增强现实系统结合,显著降低了目标配准误差和外科医生定位误差。
2025-10-31 cs.CV eess.IV
Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality
Facebook Reality Labs(Facebook现实实验室);Imperial College London(伦敦帝国理工学院);Carnegie Mellon University(卡内基梅隆大学)
社交存在,即与真人在一起的感觉,将推动由虚拟现实(VR)中的数字人驱动的下一代通信系统。最好的3D视频逼真的VR化身,最大限度地减少了神秘的效果依赖于个人特定(PS)模型。然而,这些PS模型的构建非常耗时,并且通常使用有限的数据可变性进行训练,这导致泛化能力和鲁棒性较差。影响面部表情转移算法准确性的主要可变性来源包括使用不同的VR头戴设备(例如,照相机配置、头戴式耳机的倾斜度),面部外观随时间的变化(例如,胡须、化妆),以及环境因素(例如,照明、背景)。这是VR中这些模型可扩展性的主要缺点。本文通过提出一种经过专门增强策略训练的端到端多身份架构(MIA),在克服这些限制方面取得了进展。MIA在未经训练的受试者中使用最少的个性化信息(即,中性3D网格形状)。类似地,如果PS纹理解码器可用,则MIA能够在具有挑战性的场景中稳健地驱动完整的化身(形状+纹理),从而优于PS模型。我们对提高鲁棒性和泛化的关键贡献在于,我们的方法以无监督的方式隐式地将面部表情与滋扰因素(例如,耳机、环境、面部外观)。我们证明了优越的性能和鲁棒性的所提出的方法与国家的最先进的PS方法在各种实验。
2022-07-04 cs.CV
Towards Robust and Unconstrained Full Range of Rotation Head Pose Estimation
Otto-von-Guericke University(奥托·冯·格里克大学)
针对全范围旋转头部姿态估计问题,提出基于连续6D旋转矩阵表示和测地线损失的无约束端到端方法,显著提升了预测范围与性能并开源代码。
2023-09-14 cs.CV
Augment Yourself: Mixed Reality Self-Augmentation Using Optical See-through Head-mounted Displays and Physical Mirrors
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Hospital(约翰斯·霍普金斯医院)
光学透视盔装显示器(OST HMD)是融合虚拟物体和物理场景以向其用户提供沉浸式混合现实(MR)环境的关键技术之一。HMD的基本限制是,用户本身不能方便地增强,因为在随意的姿势中,只有远侧上肢在HMD的视场内。因此,大多数以用户为中心的MR应用,例如虚拟更衣室或身体运动的学习,不能用HMD实现。在本文中,我们提出了一个新的概念和原型系统,结合OST HMD和物理镜子,使自我增强,并提供一个身临其境的MR环境为中心的用户。据我们所知,我们的系统是同类中的第一个,它使用连接到HMD的RGBD相机来估计镜子生成的虚拟图像中的用户姿势,并将虚拟对象锚定到反射而不是用户。我们定量评估我们的系统的校准精度和红外信号退化的影响,由于镜子,并显示其在应用中的潜力,大镜子已经是设施的一个组成部分。特别是,我们展示了它的使用虚拟试衣间,游戏应用程序,解剖学学习和个人健身。与配备LCD的智能镜子等竞争设备相比,所提出的系统仅由具有RGBD相机的HMD组成,因此不需要准备好的环境,使其非常灵活和通用。在未来的工作中,我们的目标是研究如何将该系统最佳地用于身体康复和个人训练,作为一个有前途的应用。
2020-07-06 cs.CV cs.HC
6D Rotation Representation For Unconstrained Head Pose Estimation
Otto von Guericke University(奥托·冯·格里克大学)
在本文中,我们提出了一种无约束的端到端的头部姿态估计方法。我们通过为我们的地面真实数据引入旋转矩阵形式主义来解决模糊旋转标签的问题,并提出了一个连续的6D旋转矩阵表示,用于高效和鲁棒的直接回归。通过这种方式,我们的方法可以学习完整的旋转外观,这与以前的方法相反,这些方法将姿势预测限制在窄角度以获得满意的结果。此外,我们提出了一个基于测地线距离的损失,以惩罚我们的网络相对于SO(3)流形几何。在公开的AFLW2000和BIWI数据集上的实验表明,我们提出的方法显着优于其他国家的最先进的方法高达20%。我们开源了我们的训练和测试代码以及我们的预训练模型:https://github.com/thohemp/6DRepNet。
2022-11-07 cs.AI cs.CV cs.LG
GazeProphetV2: Head-Movement-Based Gaze Prediction Enabling Efficient Foveated Rendering on Mobile VR
PES University(PES大学)
GazeProphetV2通过结合头部运动和视觉信息,提升移动VR中的注视预测准确性,为高效视网膜渲染和用户体验优化提供新方法。
2025-11-25 cs.CV
A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays
Coburg University(科堡大学);Keio University(庆应义塾大学);Marxent Labs LLC;Mississippi State University(密西西比州立大学)
光学透视盔装显示器(OST HMD)是用于增强现实的主要输出介质,由于面向消费者的模型(诸如Microsoft Hololens)的不断发布,增强现实在公众中的普及和使用已经显著增长。与虚拟现实头戴式设备不同,OST HMD固有地支持将计算机生成的图形直接添加到用户的眼睛与他们的物理世界视图之间的光路中。与大多数增强和虚拟现实系统一样,OST HMD的物理位置通常由外部或嵌入式6自由度跟踪系统确定。然而,为了适当地渲染被感知为与物理环境空间对准的虚拟对象,还需要精确地测量用户的眼睛在跟踪系统的坐标系内的位置。20多年来,研究人员提出了各种校准方法来确定所需的眼睛位置。然而,迄今为止,还没有对这些程序及其要求进行全面审查。因此,本文调查的OST HMD的校准方法的领域。具体而言,它提供了深入了解校准技术的基础知识,并概述了手动和自动方法,以及评估方法和指标。最后,它还确定了未来研究的机会。%,并因此确定其在3D空间中的位置。
2017-09-13 cs.CV cs.HC
Ocular Verification for Virtual Reality
University of Wyoming(怀俄明大学);San Diego State University(圣地亚哥州立大学)
研究虚拟现实中眼部验证,评估虹膜质量指标局限性,用生成模型应对数据挑战,进行单模态与多模态识别及融合,发现部分指标在VR数据上失效,图像调整利于眼周识别,多模态融合降低错误接受率。
2026-11-03 cs.CV
SurgNavAR: An Augmented Reality Surgical Navigation Framework for Optical See-Through Head Mounted Displays
Biomedical Imaging Group Rotterdam, Department of Radiology & Nuclear Medicine, Erasmus MC(鹿特丹伊拉斯姆斯大学医学中心放射与核医学系鹿特丹生物医学成像组);Department of Oral and Maxillofacial Surgery, Erasmus MC(鹿特丹伊拉斯姆斯大学医学中心口腔颌面外科);University of Groningen(格罗宁根大学);Department of High Performance Compute & Visualization, SURF bv(SURF bv高性能计算与可视化部);Department of Neurosurgery, Erasmus MC(鹿特丹伊拉斯姆斯大学医学中心神经外科);Trauma Research Unit, Department of Surgery, Erasmus MC(鹿特丹伊拉斯姆斯大学医学中心外科创伤研究单元)
本文提出了一种基于HMD的增强现实手术导航框架,通过2D模式跟踪、校准技术和点匹配实现手术导航,实现了1mm的校准精度和3mm的图像注册精度。
2026-03-31 cs.CV
Unimodal and Multimodal Static Facial Expression Recognition for Virtual Reality Users with EmoHeVRDB
University of the West of Scotland(西苏格兰大学);Hamburg University of Applied Sciences(汉堡应用科学大学)
本研究利用Meta Quest Pro的FEA数据,在VR环境中进行单模态和多模态静态FER,中间融合法达到80.42%准确率,显著优于基线,并首次建立新基准。
2024-12-15 cs.CV
BOXR: Body and head motion Optimization framework for eXtended Reality
University of California, Riverside(加州大学河滨分校)
针对现有XR系统仅优化头部M2D延迟而忽略身体运动导致晕动症的问题,提出BOXR框架,引入C2D延迟指标协同优化身体与头部运动延迟,结合任务调度、视觉惯性里程计和注视点渲染,在多平台多应用中显著降低延迟并提升帧率。
2024-10-16 cs.CV cs.HC cs.SY
Full-range Head Pose Geometric Data Augmentations
Docomo Innovations(Docomo创新公司);Santa Clara University(圣克拉拉大学)
本文针对头部姿态估计在全角度范围内精度不足的问题,提出了基于正确坐标系和欧拉角的二维几何数据增强方法,并通过数学验证实现了全范围俯仰-偏航覆盖,显著提升了现有HPE模型的性能。
2024-08-02 cs.CV
Flow-based Video Segmentation for Human Head and Shoulders
University of Alberta(阿尔伯塔大学)
在为视频会议和虚拟现实应用程序创建优雅的媒体时,人体头部和肩部的视频分割是必不可少的。主要的挑战是以实时的方式处理高质量的背景减除,并解决运动模糊下的分割问题,例如,在会议视频期间摇头或挥手。为了克服视频分割中的运动模糊问题,本文提出了一种新的基于流的编解码器网络(FUNet),它结合了传统的Horn-Schunck光流估计技术和卷积神经网络来实现鲁棒的实时视频分割。我们还介绍了一个视频和图像分割数据集:ConferenceVideoSegmentationDataset。代码和预训练模型可在我们的GitHub存储库中找到:\url{https://github.com/kuangzijian/Flow-Based-Video-Matting}。
2021-04-20 cs.CV
REFA: Real-time Egocentric Facial Animations for Virtual Reality
Reality Labs at Meta(Meta 实验室)
REFA通过基于蒸馏的方法实现虚拟现实中的实时面部表情跟踪,利用异构数据训练模型,提升虚拟角色表达的非侵入性与准确性。
2026-01-07 cs.CV
ARCAS: An Augmented Reality Collision Avoidance System with SLAM-Based Tracking for Enhancing VRU Safety
Department of Civil, Architectural, and Environmental Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校土木、建筑与环境工程系);School of Architecture, The University of Texas at Austin(德克萨斯大学奥斯汀分校建筑学院)
ARCAS通过融合激光雷达与SLAM跟踪,为行人提供实时AR避障,显著提升城市出行安全。
2026-01-30 cs.AR cs.CV cs.ET
Probabilistic Regression of Rotations using Quaternion Averaging and a Deep Multi-Headed Network
University of Toronto(多伦多大学)
旋转的准确估计对于增强现实和机器人中基于视觉的运动估计是至关重要的。在这项工作中,我们提出了一种从深度回归模型中提取旋转概率估计的方法。首先,我们建立在以前的工作,并认为我们命名为HydraNet的多头网络结构提供了更好的校准不确定性估计比依赖于随机向前传递的方法。其次,我们将HydraNet扩展到属于旋转组SO(3)的目标,通过回归单位四元数并使用旋转平均和不确定性注入到流形上的工具来产生三维协方差。最后,我们提出了一个合成数据集的结果和分析,学习一致的方向估计的7场景数据集,并显示我们如何使用我们学到的协方差融合深度估计的相对方向与经典的立体视觉里程计,以提高本地化的KITTI数据集。
2020-05-08 cs.CV cs.LG cs.RO
DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model
Tsinghua University(清华大学);Peking University(北京大学);Shanghai Qi Zhi Institute(上海启智研究所);Galbot Project(Galbot项目)
提出DexNDM框架,通过关节级动力学模型弥合仿真到现实的差距,使单一策略在真实世界中泛化旋转复杂形状、高长宽比和小尺寸物体,并支持多样手腕姿态,实现高数据效率和鲁棒性。
2025-10-09 cs.CV cs.RO