NeuroGaze: A Hybrid EEG and Eye-Tracking Brain-Computer Interface for Hands-Free Interaction in Virtual Reality
本研究提出NeuroGaze,一种结合脑电图与眼动追踪的混合脑机接口,用于VR免手动交互。实验表明其错误率更低但速度较慢,验证了可行性并凸显人体工程学优势与包容性潜力。
2025-09-09 cs.HC
Study of Gesture Recognition methods and augmented reality
随着技术的发展,我们人类总是需要一些与众不同的东西。手势是与机器进行通信的最理想的来源。人机交互发现它的重要性,当涉及到与人类的手势来控制计算机应用程序。通常,我们使用鼠标,键盘,激光笔等控制应用程序,但随着技术的最近出现,它甚至通过引入更有效的技术来控制应用程序而落后于它们的使用。在过去,存在许多已经使用图像处理实现的手势识别技术。然而,在嘈杂的背景下识别手势一直是一项困难的任务。在所提出的系统中,我们将使用一个这样的技术称为增强图像处理来控制媒体播放器。我们将识别手势使用我们要控制媒体播放器上的操作。当涉及到虚拟现实时,增强通常领先一步。它对背景没有任何限制。此外,它也不依赖于某些东西,如手套,颜色指针等来识别手势。该系统主要吸引那些总是寻找更好的选择,使他们与计算机的交互更简单或更容易的用户。
2014-11-19 cs.HC
Self-paced brain-computer interface control of ambulation in a virtual reality environment
目的:脊髓损伤(Spinal cord injury,SCI)常使患者不能行走.基于脑电(EEG)的脑机接口(BCI)控制下肢假肢可使脊髓损伤后的下肢恢复直观和功能健全。为了测试其可行性,作者开发并测试了一种新的基于EEG的数据驱动的BCI系统,用于在虚拟现实环境(VRE)中直观和自定进度地控制化身的振幅。方法:八个健全的主题和一个SCI进行了以下10分钟的培训课程:主题之间交替空转和步行动觉运动图像(KMI),而他们的脑电图记录和分析,以生成特定主题的解码模型。然后,受试者进行了一个以目标为导向的在线任务,重复了5个会话,其中他们利用KMI来控制化身的线性振幅,并在VRE内的指定点连续停止10次。主要结果:受试者的平均离线训练表现为77.2 +/-9.5%,范围从64.3%(p = 0.00176)到94.5%(p = 6.26*10^-23),机会表现为50%。平均在线性能为8.4 +/- 1.0(10个)成功停止和303 +/- 53秒完成时间(完美= 211秒)。在45个在线会话中,所有受试者在44个会话中的表现与随机游走的表现有显著差异(p < 0.05)。重要性:通过使用数据驱动的机器学习方法来解码用户的KMI,该BCIVRE系统仅在10分钟的培训后就可以直观和有目的地自定进度控制amplitude。以最少的训练实现这种BCI控制的能力表明,未来BCI-下肢假体系统的实…
2012-08-30 cs.HC
Preprint Virtual Reality Assistant Technology for Learning Primary Geography
这是我们在ICWL2015上的论文的预印本。综合虚拟现实(VR)、三维地理信息系统(GIS)、三维可视化和多模态人机交互(HCI)等最新信息技术,提出了一种基于虚拟现实的小学地理学习增强技术。介绍了该系统的主要功能:缓冲区分析、重叠分析、空间凸包计算、空间凸分解、三维拓扑分析和三维空间相交检测。系统采用多模态技术,增强了用户的沉浸感。
2015-09-07 cs.HC
Decoding Decision Correctness from EEG Under High Cognitive Workload in Virtual Reality: Implications for Collaborative Brain-Computer Interface Teams
Queen's University Belfast(贝尔法斯特女王大学);Liverpool John Moores University(利物浦约翰摩尔斯大学);Defence Science Technology Laboratory(国防科学技术实验室)
该研究在虚拟现实高认知负荷下,利用空间协方差脑电图特征作为决策正确性的先发信号,发现其可提升团队争议试次的决策准确率,为协作脑机接口团队的部署提供了负荷条件相关的启示。
2026-09-03 cs.HC
Virtual Reality: A Definition History - A Personal Essay
这篇文章写于1998年,作者是一位积极参与虚拟现实发展和虚拟现实定义争论的人,讨论了“虚拟现实“(VR)一词的定义。我从个人的角度开始历史,集中在20世纪80年代末和90年代初的“虚拟现实“和“虚拟环境”标签之间的争论。基于特定技术的VR定义是不能令人满意的。基于良好的虚拟现实系统所具有的显著效果,我对虚拟现实提出了如下定义:“虚拟现实是利用计算机技术创造出交互式三维世界的效果,其中物体具有空间存在感。本文详细讨论了这一定义的合理性,并与字典中的“虚拟”和“现实”定义进行了比较。这个定义的含义为虚拟现实技术进行了简要的检查。
2013-12-16 cs.HC
Open Medical Gesture: An Open-Source Experiment in Naturalistic Physical Interactions for Mixed and Virtual Reality Simulations
本文介绍USC面向军事战斗医护训练开发的开源工具包Open Medical Gesture,通过传感器无关的直接手部交互操作虚拟智能物体,为MR/VR模拟提供直观、低挫败感的自然交互方案。
2023-08-14 cs.HC
AI Assisted AR Assembly: Object Recognition and Computer Vision for Augmented Reality Assisted Assembly
Massachusetts Institute of Technology(麻省理工学院);Cornell University(康奈尔大学)
针对装配前需手动整理组件的问题,提出结合深度学习目标识别的AI辅助AR装配工作流,可实时定位组件并显示分步指引,通过乐高装配案例验证了方案可行性。
2025-11-13 cs.AI cs.CV cs.HC
Comparing Visual Metaphors with Textual Code For Learning Basic Computer Science Concepts in Virtual Reality
本研究通过VR应用对比文本代码与视觉隐喻教学基础编程概念,初步发现两种方法均能提升新手学习者的自我效能感与CS知识,并促进积极心理状态。
2024-05-25 cs.HC cs.MM
AEGIS: A real-time multimodal augmented reality computer vision based system to assist facial expression recognition for individuals with autism spectrum disorder
University of Waterloo(滑铁卢大学);Vision and Image Processing Lab(视觉与图像处理实验室)
对于大多数人来说,解释社交线索的能力是自然的,但对于那些患有自闭症谱系障碍(ASD)的人来说,有些人在这方面存在缺陷。本文介绍了一种多模式增强现实(AR)系统的开发,该系统结合了计算机视觉和深度卷积神经网络(CNN)的使用,以帮助个人在社交环境中检测和解释面部表情。我们称之为AEGIS(增强现实表情引导解释系统)的拟议系统是一种辅助技术,可部署在各种用户设备上,包括平板电脑,智能手机,视频会议系统或智能眼镜,展示其极端的灵活性和广泛的用例,以轻松融入日常生活。给定一个流式视频摄像机源,每个真实世界的帧都被传递到AEGIS中,处理为面部边界框,然后输入到我们的新型深度卷积时间窗神经网络(TimeConvNet)中。我们利用空间和时间信息来提供准确的表情预测,然后将其转换为相应的可视化并绘制在原始视频帧上。该系统实时的【形】运行,需要最少的设置,并且使用简单。通过使用AEGIS,我们可以帮助ASD患者学习更好地识别表情,从而改善他们的社交体验。
2020-10-22 cs.CV cs.HC
Design and Test of an adaptive augmented reality interface to manage systems to assist critical missions
我们提出了一种基于增强现实(AR)和盔装显示器(HMD)的用户界面(UI),用于提高关键操作过程中的态势感知能力,并提高操作人员的效率。UI显示上下文信息,并接受耳机发出的命令,以控制无人驾驶飞行器(UAV)来协助救援队。我们建立了一个实验,让人们处于一个紧张的环境中,并要求他们使用耳机和电脑解决一个复杂的任务。比较这两种技术,我们的研究结果表明,增强现实有潜力成为一个重要的工具,以帮助那些参与紧急情况。
2021-03-25 cs.HC
Towards Immersive Virtual Reality Simulations of Bionic Vision
仿生视觉是一个快速发展的领域,旨在开发视觉神经假体(“仿生眼”),以恢复盲人的有用视力。然而,一个主要的突出挑战是预测人们在使用他们的设备时“看到”什么。当前设备的有限视野需要头部运动来扫描场景,这在计算机屏幕上很难模拟。此外,许多仿生视觉的计算模型缺乏生物真实感。为了解决这些挑战,我们建议在沉浸式虚拟现实(VR)中嵌入模拟假肢视觉(SPV)的生物现实模型,以便有视力的受试者可以在现实世界的任务中充当“虚拟患者”。
2021-02-21 cs.HC
RASSAR: Room Accessibility and Safety Scanning in Augmented Reality
本研究推出移动AR应用RASSAR,结合LiDAR与实时计算机视觉半自动识别室内可达性和安全问题,通过三项研究验证其设计合理性与最优性能,为相关AI工具发展提供参考。
2024-04-11 cs.HC
Google Cardboard Dates Augmented Reality : Issues, Challenges and Future Opportunities
谷歌为沉浸式虚拟现实体验提供的简洁的Cardboard解决方案在VR市场上取得了长足的进步。Google Cardboard VR应用程序将在教育、虚拟旅游、娱乐、游戏、设计等领域为我们提供支持。最近,高通公司的Vuforia SDK推出了对Google Cardboard开发混合现实应用程序的支持,该应用程序可以将虚拟和增强现实结合起来,开发令人兴奋的沉浸式体验。在这项工作中,我们提出了一个全面的审查谷歌纸板增强现实,并强调其技术和主观的局限性,通过检查一个台式计算机用例进行可行性研究。此外,我们还推荐了Google Cardboard在AR中的未来途径。这项工作也可以作为Android/iOS开发人员的指南,因为没有专门在Google Cardboard上发表的学术文章或有据可查的研究,可以在一个地方同时捕获用户和开发人员的体验。
2017-06-05 cs.HC
Towards Neurohaptics: Brain-Computer Interfaces for Decoding Intuitive Sense of Touch
无创脑机接口(BCI)被广泛用于识别用户的意图。特别是,与触觉和感觉解码相关的BCI可以在许多工业领域提供各种效果,例如制造先进的触摸显示器、控制机器人设备以及更沉浸式的虚拟现实或增强现实。在本文中,我们介绍了触觉和感官知觉为基础的BCI系统称为神经触觉。这是一个初步的研究,各种情况下使用实际的触摸和触摸图像的范例。我们设计了一种新颖的实验环境和一种装置,可以在触摸指定材料的情况下获取大脑信号,以产生自然的触觉和纹理感觉。通过实验,我们采集了四种不同纹理物体的脑电信号。招募了七名受试者进行实验,并使用机器学习和深度学习方法评估分类性能。因此,我们可以确认解码实际的触摸和触摸图像的脑电信号的可行性,发展实用的神经触觉。
2020-12-20 cs.HC
Integrative Object and Pose to Task Detection for an Augmented-Reality-based Human Assistance System using Neural Networks
Berlin Institute of Technology(柏林工业大学)
随着自动化和数字化行业的日益发展,流程变得越来越复杂。增强现实通过增强用户对空间信息的理解和体验,在协助工作人员完成复杂任务方面显示出相当大的潜力。然而,由于缺乏既定的方法和繁琐的集成工作,AR在工业流程中的接受和集成仍然有限。同时,深度神经网络在计算机视觉任务中取得了显著的成果,在丰富增强现实应用方面具有广阔的前景。在本文中,我们提出了一个基于增强现实的人类辅助系统,以帮助工人完成复杂的手动任务,其中我们将深度神经网络用于计算机视觉任务。更具体地说,我们将增强现实与对象和动作检测器相结合,使工作流程更加直观和灵活。为了评估我们的系统在用户接受度和效率方面,我们进行了几次用户研究。我们发现,未经培训的工人完成任务的时间显著减少,出错率降低。此外,我们调查了用户的学习曲线与我们的辅助系统。
2020-08-31 cs.CV cs.HC
Automated capture and delivery of assistive task guidance with an eyewear computer: The GlaciAR system
在本文中,我们描述和评估的混合现实系统,旨在增强用户的任务指导应用相结合的自动化和无监督的信息收集与微创视频指南。其结果是一个自包含的系统,我们称之为GlaciAR(用于增强现实的启用玻璃的上下文交互),该系统通过从观察用户执行的动作中提取上下文交互来运行。GlaciAR能够i)基于头部运动注意力模型自动确定相关时刻,ii)自动生成视频指导信息,iii)基于目标检测方法触发这些视频指导,iv)通过观察多个用户而无需监督地学习,以及v)完全在当前眼镜计算机(Google Glass)上运行。我们描述了GlaciAR的组成部分,以及对用户如何使用该系统实现三项任务的评估。我们认为这项工作是朝着开发系统的第一步,该系统旨在扩大指导系统中众所周知的困难创作问题,并通过微创视觉指导增强人们的自然能力。
2016-12-29 cs.HC
vrCAPTCHA: Exploring CAPTCHA Designs in Virtual Reality
随着虚拟现实(VR)设备中在线访问的普及,研究VR设备中专用的、交互式的CAPTCHA(完全自动公共图灵测试来区分计算机和人类)设计将变得重要。在本文中,我们首先提出了四个传统的二维(2D)CAPTCHA(即,基于文本的、图像旋转的、图像困惑的和图像选择的验证码)。然后,基于VR设备的三维(3D)交互特性,我们提出了两个vrCAPTCHA设计原型(即,任务驱动和基于身体运动的CAPTCHA)。我们对六名参与者进行了用户研究,以探索我们的两种vrCAPTCHA和传统CAPTCHA在VR中的可行性。我们相信我们的两个vrCAPTCHA可以为VR中CAPTCHA的进一步设计提供灵感。
2021-02-25 cs.HC
Virtualization of Classical Reality: Limits and Possibilities in Physical Simulation
本研究围绕经典现实虚拟化展开,通过构建含方法、结果、讨论的理论框架,解答感官能否感知另类现实、能否模拟非物理定律现实的问题,为VR的边界认知与多领域应用提供支撑。
2023-06-12 cs.HC
Evaluation of AI-Supported Input Methods in Augmented Reality Environment
针对医疗和工业等需双手操作场景下AR输入受限及上肢残疾人士使用困难的问题,本文提出结合AR技术与AI支持方法的免手操人机交互解决方案。
2023-06-29 cs.HC
Immersive Virtual Reality Simulations of Bionic Vision
仿生视觉使用神经假体来恢复患有不可治愈的失明的人的有用视力。然而,一个主要的突出挑战是预测人们在使用他们的设备时“看到”什么。当前设备的有限视野需要头部运动来扫描场景,这在计算机屏幕上很难模拟。此外,许多仿生视觉的计算模型缺乏生物真实感。为了解决这些挑战,我们提出了VR-SPV,一个开源的虚拟现实工具箱,用于模拟假肢视觉,使用心理学验证的计算模型,让有视力的参与者“通过眼睛看到”的仿生眼用户。为了证明其效用,我们系统地评估了临床报告的视觉失真如何影响字母识别和沉浸式避障任务中的性能。我们的研究结果强调了使用适当的光幻视模型预测仿生视觉的视觉效果时的重要性。
2022-03-09 cs.HC
Practice-informed Patterns for Organising Large Groups in Distributed Mixed Reality Collaboration
本研究通过四阶段用户研究与协作设计师共创,提出面向分布式混合现实中大型群体协作的设计原则、八种融合 f-formation 模式及理论启示。
2024-05-09 cs.HC
Towards Everyday Virtual Reality through Eye Tracking
Eberhard Karls Universität Tübingen(图宾根大学);Mathematisch-Naturwissenschaftlichen Fakultät der Eberhard Karls Universität Tübingen(图宾根大学数学与自然科学学院)
随着计算机图形学、硬件技术、感知工程和人机交互技术的发展,虚拟现实和虚拟环境正越来越多地融入我们的日常生活。然而,盔装显示器仍然没有像其他移动设备(诸如智能电话和手表)那样频繁地使用。随着该技术的使用增加以及人类对虚拟应用场景的适应,在不久的将来,将实现日常虚拟现实范例是可能的。当考虑日常虚拟现实和盔装显示器的结合时,眼动追踪是一种新兴技术,有助于以实时的和非侵入性的方式评估人类行为。尽管如此,在这些技术在日常生活中广泛应用之前,还需要对多个方面进行研究。首先,应该彻底理解日常场景中的注意力和认知模型。其次,由于眼睛与视觉生物特征相关,因此需要隐私保护方法。最后,研究或应用程序不应利用具有相对同质特征的有限人类参与者,而应制定协议和用例,使这种技术更容易获得。在这项工作中,考虑到上述几点,一个重大的科学推动日常虚拟现实已经完成了三个主要的研究贡献。
2022-03-29 cs.AI cs.HC
How Can Mixed Reality Benefit From Physiologically-Adaptive Systems? Challenges and Opportunities for Human Factors Applications
本文探讨了混合现实(MR)中生理自适应系统如何解决可用性与交互限制,重点分析了其在医疗、教育和娱乐等人因应用中的潜力,并讨论了伦理与隐私问题,指出该系统有望彻底改变人机交互并提供个性化体验。
2023-03-31 cs.HC
User-driven Intelligent Interface on the Basis of Multimodal Augmented Reality and Brain-Computer Interaction for People with Functional Disabilities
CHArt Laboratory (Human and Artificial Cognitions)(CHArt实验室(人类与人工认知实验室));University of Paris 8(巴黎第八大学);CreativiTIC Innova SL(CreativiTIC创新有限公司)
分析了当前用户-机器交互的一些模式和用例的集成尝试。用户驱动的智能界面的新概念提出的基础上,多模态增强现实和脑机交互的各种应用:在残疾人研究,教育,家庭护理,医疗保健等多模态增强的几个用例。本文概述了利用脑-机交互技术,通过神经物理通道的即时反馈来提高人类理解能力的前景。它表明,脑机接口(BCI)技术提供了新的策略,以克服目前可用的用户界面的限制,特别是对有功能障碍的人。先前对低端消费者和开源BCI设备的研究结果使我们能够得出结论,机器学习(ML)、多模态交互(视觉、声音、触觉)与BCI的组合将受益于ML方法分类的实际神经物理反应的即时反馈。一般来说,BCI与其他AR交互模式相结合可以提供比这些类型的交互本身更多的信息。即使在目前的状态下,结合AR-BCI接口可以提供高度适应性和个性化的服务,特别是对有功能障碍的人。
2017-08-15 cs.AI cs.DC cs.HC
Application of Artificial Intelligence in Hand Gesture Recognition with Virtual Reality: Survey and Analysis of Hand Gesture Hardware Selection
本文综述了虚拟现实中手势识别硬件(控制器与头戴显示器)的优缺点及数据集,并指出未来研究方向,如噪声过滤、轻量网络、触觉反馈和眼手数据融合。
2024-05-25 cs.HC
Virtual Reality: Blessings and Risk Assessment
目的:本文介绍了一个最新的概述研究进行的虚拟现实(VR)环境的定义,其存在的各个领域,现有的市场参与者和他们的项目在VR技术。此外,试图获得一个洞察的心理机制,在使用VR设备的经验。研究方法:我们的文献调查是基于研究文章,分析不同公司的项目及其在不同兴趣领域的发现。调查结果:在我们的文献调查中,我们观察到,虚拟现实使能技术的最新进展已经导致了各种虚拟设备,这些设备有助于人们与数字世界进行交互。事实上,在过去的二十年里,研究人员一直试图以直观的计算机界面的形式将现实和VR结合起来。改进之处:这导致了VR在许多应用中的各种潜在好处,如新闻,医疗保健,娱乐,旅游,军事和国防等,然而,尽管在创建虚拟系统环境方面进行了广泛的研究工作,但在日常生活中还没有变得明显。
2017-08-31 cs.HC
Effect of Visual Cues on Pointing Tasks in Co-located Augmented Reality Collaboration
视觉线索在计算机介导的交流中至关重要。当通信发生在需要将多个用户的注意力集中在一个特定对象以及其他类似对象的协作场景中时,这一点尤为重要。本文探讨了协同定位增强现实(AR)协作中视觉提示对指向任务的影响。用户研究(N = 32,16对)进行比较两种类型的视觉线索:指向线(PL)和移动轨迹(MT)。通过对不同状态(静态和动态)和密度(低、中、高)物体的一系列协作指向任务的测试,结果表明,PL在任务性能和可用性方面优于MT,而MT在社会存在感和用户偏好方面优于PL。基于我们的研究结果,提供了一些设计的启示指向任务在协同定位的AR协作。
2021-10-08 cs.HC
Keep It Real: a Window to Real Reality in Virtual Reality
Columbia University(哥伦比亚大学);University of Washington(华盛顿大学)
提出了一种新的虚拟现实(VR)环境中的交互模式,它由一个虚拟的镜子或窗口投影到一个虚拟的表面上,代表镜子或窗口的正确透视几何形状,反映真实世界。该技术可以应用于各种视频、实时流应用、增强和虚拟现实设置,以提供交互式和沉浸式用户体验。为了支持这样一个角度准确的表示,我们实现了计算机视觉算法的特征检测和对应匹配。为了约束解决方案,我们在单应性变换矩阵上引入了自动调整缩放因子,使得每个图像帧在用户视线内跟随平滑过渡。该系统是一个实时渲染框架,用户可以在其中将他们的真实存在与虚拟空间结合起来。
2020-11-12 cs.CV cs.HC
A Short Virtual Reality Mindfulness Meditation Training For Regaining Sustained Attention
集中注意力的能力是在许多日常任务中取得成功的基础,但自愿的注意力不能持续很长一段时间。一些研究表明,使用基于计算机的练习进行注意力训练可以提高儿童和成人的注意力。最近研究的一个主要目标是创建一个短的(10分钟)和有效的VR正念冥想,特别是设计用于恢复或改善持续的注意力。在这项研究中,我们已经创建了一个自定义的几乎放松的环境,包括射箭游戏与多个目标。在实验中,12名成年人的注意力持续时间在虚拟现实会议之前和之后通过非动作视频游戏([19])评分和Muse头带EEG信号进行测试。在10分钟的虚拟现实课程后,参与者的游戏分数增加了(根据游戏经验):初学者增加了275%,中级增加了107%,专家增加了17%。对于Muse头带数据,无论参与者的游戏体验如何,平静点都增加了250%。实验结束后,所有参与者都报告说,他们感到精力充沛,可以继续他们的日常活动。
2019-07-10 cs.HC
Jarvis for Aeroengine Analytics: A Speech Enhanced Virtual Reality Demonstrator Based on Mining Knowledge Databases
在本文中,我们提出了一个虚拟现实(VR)为基础的环境,工程师与传入的数据从一个舰队的航空发动机。这些数据采用3D计算机辅助设计(CAD)发动机模型的形式,并附有每个发动机子系统的特性图。绘图和模型都可以使用语音或姿势输入来交互和操纵。将特征数据移植到以存储复杂领域知识的知识图为基础的基于知识的系统中。这允许系统响应关于每个航空发动机资产的当前状态和健康状况的查询。这些问题的回答需要一定程度的分析,这是由一个语义知识表示层管理航空发动机子系统的信息。本文代表了在定制的VR环境中进行航空发动机分析的重要一步,并使我们更接近Jarvis-like航空发动机分析系统。
2021-07-28 cs.HC
Navigating a maze differently - a user study
空间导航是一种体验。例子可以从试图从自然灾害中拯救人们的救援人员,到找到最近的咖啡店的游客,或者游戏玩家解决迷宫。虚拟现实允许在受控的虚拟环境中模拟这些体验。然而,虚拟现实用户仍然锚定在现实世界中,并且部署虚拟环境的惯例影响用户表现。目前需要评估外部因素和虚拟现实硬件对其用户的影响程度。传统上,虚拟现实体验已经使用具有渲染虚拟环境的图形内容的强大计算机的盔装显示器来部署;然而,已经使用包括键盘、鼠标、轨迹球、触摸屏、操纵杆、游戏手柄、运动检测相机和网络摄像头的人机接口设备的阵列来促进用户输入。其中一些HID也被引入非沉浸式视频游戏和通用计算。由于这一事实,虚拟现实用户的子集在使用这些HID方面比其他用户更熟悉。利用游戏手柄(控制器)来导航虚拟环境的虚拟现实体验可能在先前暴露于视频游戏的虚拟现实用户中引入对可用性的偏好。本文提出了一个评价性的用户研究进行使用我们无处不在的虚拟现实框架与一般观众。在我们的研究结果中,我们揭示了主要是视频游戏玩家的虚拟现实用户的可用性偏见。除此之外,我们发现不受限制的沉浸式虚拟现实体验与不受限制的非沉浸式虚拟现实体验之间的用户行为存在统计差异。
2018-09-20 cs.HC
The Relative Importance of Depth Cues and Semantic Edges for Indoor Mobility Using Simulated Prosthetic Vision in Immersive Virtual Reality
该研究在沉浸式VR中用模拟假体视觉模型测试深度线索与语义边缘对室内移动的作用,发现深度线索更利于避障,约半数用户偏好模式灵活切换,为优化仿生眼视觉功能提供依据。
2022-10-07 cs.HC
Towards Commodity, Web-Based Augmented Reality Applications for Research and Education in Chemistry and Structural Biology
这篇文章报告了原型网络应用程序,使用商品,开源技术的增强和虚拟现实提供沉浸式,交互式人机界面的化学,结构生物学和相关学科。这些示例可以在任何标准的Web浏览器中运行,并可以在https://lucianoabriata.altervista.org/jsinscience/arjs/armodeling/上与演示视频一起访问,展示了可以远远超出教学的应用程序,即在研究环境中推进实际效用:在交互式沉浸式3D中的原子和粗粒度级别的分子可视化,分子物理和化学的粗粒度建模,以及实验观测值的实时计算和实验数据的叠加。从这个操场上,我描绘了这些新兴技术在未来如何与基于神经网络的量子力学计算、高级形式的人机交互(如基于语音的通信)以及通过互联网进行并发协作的套接字(所有这些技术今天都在Web浏览器中成熟)相结合的前景,以提供下一代真正交互的工具,沉浸式分子建模,可以用计算机的数字处理能力来简化人类的思想和意图。
2018-08-10 cs.ET cs.HC cs.MM
A Survey on Methodological Approaches to Collaborative Embodiment in Virtual Reality
本文采用PRISMA指南综述过去十年137余篇相关论文,系统梳理VR中通过具身实现多用户共享控制与协作的方法,并评估其有效性、局限与未来方向。
2025-06-11 cs.HC
AR Secretary Agent: Real-time Memory Augmentation via LLM-powered Augmented Reality Glasses
针对日常人际互动中难回忆交往细节的问题,研究结合LLM与计算机视觉打造AR Secretary Agent智能体,可通过AR眼镜实时提供交谈对象识别与过往讨论总结,用户研究显示其能带来最高20%的记忆提升。
2025-05-17 cs.HC
An Augmented Reality Application and User Study for Understanding and Learning Spatial Transformation Matrices
了解空间变换及其数学表示是必不可少的计算机辅助设计,机器人等,本研究已经开发和测试的增强现实(AR)应用程序(BRICKxAR/T),以提高学生的学习空间变换矩阵。BRICKxAR/T利用AR功能,包括信息增强,物理虚拟对象相互作用和体现学习,为学习创造新颖有效的可视化体验。BRICKxAR T已被评估为一种学习干预,使用乐高模型作为用户研究中的物理和虚拟操作示例,以评估学生的学习收益。该研究比较了AR(N=29)与非AR(N=30)学习研讨会,以及普渡大学旋转视觉化测试和数学问题的前后测试。学生的数学成绩显着提高后,参加这两个研讨会与AR研讨会往往表现出更大的改善。研讨会后的调查显示,学生们倾向于认为BRICKxAR/T是一个有趣和有用的应用程序,他们花在AR上的学习时间比非AR更多。
2022-11-16 cs.HC
Security and Privacy Approaches in Mixed Reality: A Literature Survey
由于计算机视觉、传感器融合和逼真显示技术的进步,混合现实(MR)技术的发展现在正获得动力。由于大多数研究和开发都集中在实现MR的承诺上,只有少数人致力于这项技术的隐私和安全影响。本调查报告旨在揭示这些风险,并探讨MR的最新安全和隐私工作。具体而言,我们列出并审查了为确保MR中的用户和数据安全和隐私而提出的不同保护方法。我们将范围扩展到包括相关技术的工作,如增强现实(AR),虚拟现实(VR),和人机交互(HCI)作为MR的关键组件(如果不是起源的话),以及来自移动设备、可穿戴设备和物联网(IoT)等更大领域的许多相关工作。我们强调了MR中缺乏对数据保护方法的调查、实施和评估。还讨论了MR安全和隐私方面的进一步挑战和方向。
2020-06-10 cs.CR cs.CY cs.HC
Towards Semi-automatic Detection and Localization of Indoor Accessibility Issues using Mobile Depth Scanning and Computer Vision
University of Washington(华盛顿大学)
为了帮助改善室内空间的安全性和可达性,研究人员和卫生专业人员已经创建了评估工具,使房主和训练有素的专家能够审计和改善房屋。随着计算机视觉、增强现实(AR)和移动传感器的进步,新的方法现在成为可能。我们介绍RASSAR(增强现实中的房间无障碍和安全扫描),这是一种新的概念验证原型,用于使用LiDAR +相机数据,机器学习和AR半自动识别,分类和定位室内无障碍和安全问题。我们目前的RASSAR原型的概述和初步评估在一个单一的家庭。
2022-10-05 cs.CV cs.CY cs.HC
Towards Situation Awareness and Attention Guidance in a Multiplayer Environment using Augmented Reality and Carcassonne
Malmö University(马尔默大学);Lund University(隆德大学);University West(西部大学)
增强现实(AR)游戏是研究和测试计算系统的丰富环境,该计算系统提供微妙的用户指导和培训。特别地,旨在增强用户的态势感知的计算机系统受益于AR耳机中可用的传感器和计算能力的范围。在这篇正在进行的论文中,我们提出了一个新的环境,研究态势感知和注意力引导(SAAG):一个增强现实版本的棋盘游戏卡尔卡松。我们还介绍了我们在制作SAAG管道方面的初步工作,包括创建游戏状态编码,开发和训练游戏AI,以及设计情境建模和凝视跟踪系统。
2022-08-18 cs.AI cs.HC
Real or Virtual? Using Brain Activity Patterns to differentiate Attended Targets during Augmented Reality Scenarios
University of Bremen(不来梅大学)
增强现实是虚拟组件和我们的真实环境的融合。生成的对象和自然对象的同时可见性通常需要用户将他们的选择性注意力引导到真实或虚拟的特定目标。在这项研究中,我们调查了这个目标是真实的还是虚拟的,通过使用机器学习技术来分类在增强现实场景中收集的脑电图(EEG)数据。当测试数据和训练数据来自不同的试验时,浅层卷积神经网络对来自20个参与者的3秒数据窗口进行分类,平均准确率超过70%. 20名参与者中有6名的个人独立分类可能高于机会水平。因此,这种脑机接口的可靠性足够高,足以将其视为增强现实应用的有用输入机制。
2021-01-12 cs.HC cs.LG
A feasibility study on SSVEP-based interaction with motivating and immersive virtual and augmented reality
基于非侵入性稳态视觉诱发电位(SSVEP)的脑机接口(BCI)系统与其他BCI类型相比提供高带宽,并且仅需要最少的校准和训练。虚拟现实(VR)已经被证实是有效的,安全的,负担得起的和激励的反馈模式的BCI实验。增强现实(AR)通过叠加信息丰富的、上下文敏感的、计算机生成的内容来增强物理世界。在BCI的上下文中,AR可以用作更友好和更直观的现实世界用户界面,从而促进更无缝和目标导向的交互。这可以提高BCI系统的实用性和可用性,并且可以帮助补偿其低带宽。在这项可行性研究中,三名健康的参与者必须使用在线SSVEP BCI在沉浸式VR和AR条件下完成复杂的导航任务。三分之二的受试者在所有条件下均获得成功。据我们所知,这是第一个提出SSVEP BCI的工作,该BCI使用集成在沉浸式VR和AR(盔装显示器和摄像头)中的目标刺激进行操作。该研究方向可以通过引入更直观和有效的现实世界交互(例如灵巧家庭控制)使患者受益。它还可能与需要免提操作或受益于免提操作的用户组相关(例如,由于暂时的情境残疾)。
2017-01-15 cs.GR cs.HC
Teachable Reality: Prototyping Tangible Augmented Reality with Everyday Objects by Leveraging Interactive Machine Teaching
IIIT-Delhi(德里英迪拉甘地信息技术学院);University of Calgary(卡尔加里大学)
本文介绍了可教现实,一个增强现实(AR)的原型工具,用于创建交互式的有形AR应用程序与任意的日常对象。Teachable Reality利用基于视觉的交互式机器教学(例如,Teachable Machine),它可以捕捉真实世界的交互,用于AR原型设计。它使用按需计算机视觉模型识别用户定义的有形和手势交互。在此基础上,用户可以轻松创建功能性AR原型,而无需编程,并通过一个用户操作创作界面实现。因此,我们的方法允许有形AR应用程序的灵活性,可定制性和通用性,可以解决当前基于标记的方法的局限性。我们探索设计空间并展示各种AR原型,其中包括有形和可变形的界面,上下文感知助手和身体驱动的AR应用程序。我们的用户研究和专家访谈的结果证实,我们的方法可以降低创建功能性AR原型的障碍,同时还可以实现灵活和通用的原型设计体验。
2023-02-21 cs.CV cs.HC cs.LG
A Brain-Computer Interface Augmented Reality Framework with Auto-Adaptive SSVEP Recognition
Missouri University of Science and Technology(密苏里科技大学);Ain Shams University(艾因夏姆斯大学);The American University in Cairo(开罗美国大学);German University in Cairo(开罗德国大学)
针对 SSVEP 脑机接口在增强现实中的个体差异与头部运动干扰问题,提出自适应集成分类系统和 BCI-AR 框架,在 PC 与 HoloLens 上分别取得 80% 和 77% 的平均准确率。
2023-08-11 cs.AI cs.HC
Computer-mediated therapies for stroke rehabilitation: a systematic review and meta-Analysis
University of Genoa(热那亚大学)
该研究通过系统综述与荟萃分析比较沉浸式、非沉浸式虚拟现实与传统疗法对脑卒中康复的效果,发现沉浸式虚拟现实优于非沉浸式但未超越传统疗法,并指出需更大样本研究验证其长期效果。
2024-09-30 cs.AI cs.HC cs.MM
DiOS -- An Extended Reality Operating System for the Metaverse
在最近设备和网络功能的改进的推动下,延展实境(XR)正变得越来越普遍;工业界和学术界都在设想像虚拟世界这样雄心勃勃的项目。然而,XR仍然受到当前移动系统架构的限制。本文介绍了一种XR专用操作系统(XROS)。这种XROS集成了硬件支持、计算机视觉算法和XR专用网络,作为支持XR技术的原语。这些原语将物理-数字世界表示为应用程序之间的单个共享资源。这样的XROS允许开发一致的和系统范围的交互和显示方法,对传感器数据进行系统的隐私保护,并在简化应用程序开发的同时提高性能。
2022-01-10 cs.HC cs.MM cs.OS
Immersive Virtual Reality Assessments of Working Memory and Psychomotor Skills: A Comparison between Immersive and Non-Immersive Assessments
本研究比较了沉浸式VR与PC在记忆和心理运动技能评估中的表现,发现VR评估具有良好聚合效度、更高用户体验,且较少受年龄和信息技术经验影响,为认知评估提供了更公平的替代平台。
2025-04-10 cs.CY cs.HC
Reducing the Human Factor in Virtual Reality Research to Increase Reproducibility and Replicability
复制危机是真实存在的,并且跨学科对其存在的认识正在增长。我们认为,在人机交互(HCI),特别是虚拟现实(VR)的研究,是容易受到类似的挑战,由于许多共享的方法,理论和激励结构。因此,在这项工作中,我们从其他领域转移了既定的解决方案,以解决HCI和VR中缺乏可复制性和可再现性的问题。我们专注于减少所谓的人为因素导致的错误,并根据VR研究的特定需求调整现有的解决方案。此外,我们提出了一个工具包,以支持VR研究的设置,执行和评估。其中一些功能旨在减少人为错误,从而提高可复制性和再现性。最后,将识别出的机会应用于VR中的典型科学过程。
2021-10-29 cs.HC stat.ME
Accessible Gesture-Driven Augmented Reality Interaction System
Stevens Institute of Technology(斯蒂文斯理工学院)
本研究提出一种基于深度学习手势识别的增强现实交互系统,通过联邦学习保护隐私并优化界面,实验显示运动障碍用户任务效率提升20%、满意度提升25%。
2025-06-18 cs.AI cs.HC
Recent Advances and Future Directions in Extended Reality (XR): Exploring AI-Powered Spatial Intelligence
The Chinese University of Hong Kong(香港中文大学)
本文综述扩展现实(XR)技术的最新进展,基于硬件与软件框架分析SOTA产品性能,并探讨AI与空间智能驱动的未来方向,强调多模态AI与数字孪生集成以实现自适应XR系统。
2025-04-22 cs.CV cs.HC cs.MA
An XR rapid prototyping framework for interoperability across the reality spectrum
延展实境(XR)频谱是混合、增强和虚拟现实的超集,其应用正日益突出,并且可用于各种领域,例如虚拟博物馆。在教育、文化遗产、健康/治疗、娱乐、营销等领域都可以找到这样的例子。现在的大多数计算机图形应用程序仅用于在上述现实之一中操作。XR光谱缺乏应用是一个真正的缺点。这个问题的解决有很多好处。首先,跨XR频谱发布应用程序可以有助于发现其最合适的现实。此外,应用程序可以在特定的现实中更具沉浸感,这取决于其上下文。此外,它的可用性增加到更广泛的用户。例如,如果应用程序在虚拟和增强现实中发布,则可能缺少VR头戴式耳机但没有移动AR设备的用户可以访问该应用程序。在这一点上出现的问题是,“是否有可能在不牺牲UI/UX的情况下以半自动的方式在XR上转换完整的软件应用程序堆栈?".这可能相当困难,具体取决于体系结构和应用程序实现。现在大多数公司只支持一种现实,因为他们缺乏UI/UX软件架构或资源来支持完整的XR频谱。在这项工作中,我们提出了一个“自动现实过渡”的背景下,虚拟博物馆的应用。我们提出了一个开发框架,它将自动允许这种XR过渡。这个框架可以将任何XR项目转换为不同的现实,例如增强或虚拟。它还缩短了开发时间,同时提高了3D应用程序的XR可用性,鼓励开发人员发布跨XR频谱的应用程序。
2021-01-09 cs.GR cs.HC
A Toolkit for Virtual Reality Data Collection
University of Hamburg(汉堡大学);University of Münster(明斯特大学)
针对VR数据集规模不足的挑战,提出多功能数据收集工具包,通过OpenXR或虚拟设备兼容任意设备,并引入强调伦理与标准化的数据收集流程。
2024-12-23 cs.AI cs.HC cs.LG
The Rhythm of Tai Chi: Revitalizing Cultural Heritage in Virtual Reality through Interactive Visuals
New York University(纽约大学)
本文介绍《太极之韵》VR项目,利用计算机视觉、实时动作追踪与气的视觉反馈,将太极转化为沉浸式交互体验,以促进文化传播、教育与遗产保护。
2025-08-12 cs.HC cs.MM
Mutual Scene Synthesis for Mixed Reality Telepresence
Reality Labs Research, Meta(Meta现实实验室研究部);University of California, Berkeley(加州大学伯克利分校)
通过下一代混合现实平台的远程临场感可以为计算机介导的通信提供更高水平的沉浸感,允许参与者参与各种活动,这在以前的基于2D屏幕的通信方法中是不可能的。然而,由于混合现实体验仅限于每个用户的本地物理环境,因此找到一个用户可以自由移动和相互交互的共同虚拟地面是具有挑战性的。在本文中,我们提出了一种新的交互式场景合成方法,以参与者的空间作为输入,并生成一个虚拟的合成场景,对应于所有参与者的局部空间的功能特征。我们的方法将交互功能优化模块与深度学习条件场景增强过程相结合,以生成混合现实远程呈现场景的所有参与者都可以相互且物理访问的场景。合成的场景具有可行走、可坐下和可工作的功能,这些功能都对应于用户真实环境中的物理对象。我们使用MatterPort3D数据集进行实验,并进行比较用户研究,以评估我们的系统的有效性。我们的研究结果表明,我们提出的方法可以是一个很有前途的研究方向,促进下一代空间计算平台的上下文临场感系统。
2022-04-01 cs.AI cs.CV cs.HC