Model-based Task Analysis and Large-scale Video-based Remote Evaluation Methods for Extended Reality Research
在本文中,我们介绍了两种远程延展实境(XR)研究方法,它们可以克服基于实验室的受控实验的局限性,特别是在COVID-19大流行期间:(1)基于预测模型的任务分析和(2)基于大规模视频的远程评估。我们使用了一个盒子堆叠任务,包括三种交互方式-两种多模态的基于凝视的交互以及一种单模态的基于手的交互,这被定义为我们的基线。对于第一次评估,通过分析任务来执行基于GOMS的任务分析,以了解XR中的人类行为并预测任务执行时间。对于第二次评估,使用一系列第一人称视角视频进行在线调查,其中用户使用三种交互方式执行相应的任务。共有118名参与者被要求根据他们的判断比较互动模式。两个标准的问卷被用来衡量感知的工作量和可用性的方式。
2021-03-13 cs.HC
Exploring Temporal Dependencies in Multimodal Referring Expressions with Mixed Reality
KTH Royal Institute of Technology(瑞典皇家理工学院);Aalto University(阿尔托大学)
在协作任务中,人们同时依靠语言和非语言线索来相互沟通。为了使人机交互流畅自然地运行,机器人应该具有鲁棒地消除指代表达的歧义的能力。在这项工作中,我们提出了一个模型,可以消除歧义的多模态提取请求使用的方式,如头部运动,手势和语音。我们分析了从混合现实实验中获得的数据,并提出了一个假设,即在这三种模式中对事件的时间依赖性进行建模可以提高模型的预测能力。我们评估了我们的模型的贝叶斯框架来解释所指的表达和不利用时间先验。
2019-02-04 cs.HC cs.RO
Switched Reading: Toward Seamless Visual-Auditory Switching When Reading Text in Augmented/Mixed Reality
Research Institute of Electrical Communication, Tohoku University(东北大学电气通信研究所)
针对AR/MR阅读中视觉显示不适用于需感知现实环境的场景,提出Switched Reading交互框架,实现两项关键技术,经用户研究验证其可提升阅读表现与体验,还开发了行走阅读应用并获设计启示。
2026-08-10 cs.HC
SLIMBRAIN: Augmented Reality Real-Time Acquisition and Processing System For Hyperspectral Classification Mapping with Depth Information for In-Vivo Surgical Procedures
Research Center on Software Technologies and Multimedia Systems, Universidad Politécnica de Madrid(马德里理工大学软件技术与多媒体系统研究中心);Department of Neurosurgery, Hospital Universitario 12 de Octubre, Universidad Complutense de Madrid(马德里康普顿斯大学十月十二日大学医院神经外科)
本文提出SLIMBRAIN增强现实系统,通过14 FPS实时处理高光谱图像并结合LiDAR点云,在脑肿瘤切除手术中同步检测、分类并可视化肿瘤边界。
2024-03-25 cs.CV cs.HC cs.LG
Effects of Virtual Controller Representation and Virtuality on Selection Performance in Extended Reality
Carleton University(卡尔顿大学);Memorial University(纪念大学);Monash University(蒙纳士大学)
本研究通过实验探究MR和VR场景中控制器虚拟表示对目标获取性能的影响,发现模拟现实的控制器表示提升性能,VR与MR性能相当但用户感知有差异,需针对MR进行独特设计考量。
2025-11-14 cs.HC
Divergent Perceptuomotor Recalibration in Virtual Reality and Video-Passthrough Mixed Reality on the Same Head-Mounted Display
University of Toronto(多伦多大学)
本研究对比同一设备上VR与MR-VPT的手动指向任务,发现二者感知运动重校准模式存在差异,需分别验证对应交互技术。
2026-08-07 cs.HC
Tangible Intangibles: Exploring Embodied Emotion in Mixed Reality for Art Therapy
Northeastern University(东北大学)
本文研究混合现实与生物指标结合在艺术治疗中的应用,通过具身艺术实践探索情感表达与具身认知的交互。
2025-12-15 cs.HC
Investigating the Effect of Encumbrance on Gaze- and Touch-based Target Acquisition on Handheld Mobile Devices
University of Glasgow(格拉斯哥大学);Technical University of Munich(慕尼黑工业大学)
研究负载对手持移动设备上基于注视和触控的目标获取性能的影响,发现负载下注视表现稳定,触控表现更优,且用户偏好随负载变化而改变。
2025-12-18 cs.HC
Vsens Reality: Blending the Virtual Sensors into XR
本文提出 Vsens Reality,利用 XR 的情境感知与直观性,将虚拟传感器作为交互式系统设计的增强工具,以提升其易用性和数据理解效能。
2024-09-10 cs.HC
Feasibility of Corneal Imaging for Handheld Augmented Reality
Coburg University(科堡大学)
智能手机是用于移动增强现实的流行设备类别,但是受到有限输入空间的影响。设备周围交互技术旨在使用各种感测模态来扩展该输入空间。在本文中,我们提出了我们的工作,扩大使用面向设备为中心的相机,捕捉角膜反射的移动设备的输入区域。由于目前的移动设备缺乏高分辨率的前置摄像头,我们研究了基于高分辨率摄像头的角膜反射成像的设备周围交互的可行性。我们提出了一个工作流程,技术原型和可行性评估。
2017-09-04 cs.CV cs.HC
Auditory Feedback to Make Walking in Virtual Reality More Accessible
本研究的目的是调查几种听觉反馈方式对步态的影响(即,行走模式)在虚拟现实(VR)中。之前的研究已经证实,VR用户的步态障碍是VR可用性的主要障碍之一。然而,为缓解这一问题所做的研究很少。我们招募了39名参与者(有行动障碍的:18人,没有行动障碍的:21人),他们在现实世界的环境中完成了定时行走任务,并在VR环境中完成了相同的任务,并有各种类型的听觉反馈。受试者内结果显示,对于有和没有移动障碍的两组参与者,与VR中没有听觉条件相比,VR中的每种听觉条件均显著改善了步态表现(p < .001)。此外,与其他听觉条件相比,空间音频显著改善了两组参与者的步态表现(p < .001)。这项研究可以帮助有和没有行动障碍的人更容易在VR中行走。
2022-08-17 cs.HC
The Influence of Extended Reality and Virtual Characters' Embodiment Levels on User Experience in Well-Being Activities
TU Berlin(柏林工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Hamm-Lippstadt University of Applied Sciences(哈姆-利普施塔特应用科技大学)
本研究针对日常体力活动减少引发的心理健康问题,测试三种具身程度的虚拟角色结合扩展现实对幸福活动参与的影响,发现动画虚拟化身尤其是卡通角色可提升动机、理解度与临场感,为虚拟角色助力日常幸福活动提供依据。
2024-03-14 cs.HC
Change Your Perspective, Widen Your Worldview! Societally Beneficial Perceptual Filter Bubbles in Personalized Reality
针对XR技术构建个性化现实(PR)可能引发感知过滤气泡、加剧社会两极分化的问题,本文提出通过提升个体视角意识、支持工程化偶然性与自我实现等方法缓解该问题,并探讨将这些方法迁移至XR以赋予人们感知世界观的透明度与能动性。
2025-04-14 cs.HC
Voluminous Fur Stroking Experience through Interactive Visuo-Haptic Model in Virtual Reality
本研究开发集成头戴式显示器与超声波触觉显示器的系统,提出动态适应手部动作的交互式视触觉模型,显著增强了虚拟现实中抚摸丰盈毛发的真实感。
2024-06-28 cs.HC
Beyond the Portal: Enhancing Recognition in Virtual Reality Through Multisensory Cues
本文研究了在VR传送门隐喻中引入听觉和嗅觉线索,通过用户实验证明多感官整合能显著提升视觉受限场景下的识别准确率与响应时间。
2025-09-14 cs.HC
RelicVR: A Virtual Reality Game for Active Exploration of Archaeological Relics
数字化正在改变人们参观博物馆和探索他们收藏的文物的方式。博物馆作为课堂之外的重要教育场所,需要积极探索数字互动媒体的应用,包括可以平衡娱乐和知识获取的游戏。在本文中,我们介绍了RelicVR,一个虚拟现实(VR)游戏,鼓励玩家发现文物,通过物理交互在一个基于游戏的方法。玩家需要使用可用的工具和物理运动来挖掘隐藏在土块外壳中的文物。游戏依靠动态体素变形技术,让玩家可以将覆盖在文物上的泥土凿掉。我们在探索过程中增加了不确定性,使其更接近考古发现在现实生活中是如何发生的。玩家不知道隐藏的神器的形状或特征,必须逐渐但有策略地拿走地球,而不会击中神器本身。从八名参与者的游戏测试中,我们发现不确定性因素有利于他们的参与和探索体验。总体而言,RelicVR是一款创新的游戏,可以提高玩家对古代文物的学习动机和成果。
2021-09-29 cs.HC
Comparing the Effects of Visual, Haptic, and Visuohaptic Encoding on Memory Retention of Digital Objects in Virtual Reality
本文通过N=20的用户研究比较视觉、触觉与视触觉编码,发现视触觉整合能显著降低错误率并提升VR中数字对象的记忆保持效果。
2024-10-25 cs.HC
PersonalityScanner: Exploring the Validity of Personality Assessment Based on Multimodal Signals in Virtual Reality
本文开发了虚拟现实模拟器PersonalityScanner,通过构建沉浸式交互环境收集包含十种模态的同步多模态数据集,以模拟日常行为并刺激认知过程,从而克服传统问卷的客观性不足,系统验证了多模态信号在人格评估中的有效性与优越性能。
2024-07-29 cs.CY cs.HC
Comparing Pedestrian Navigation Methods in Virtual Reality and Real Life
移动导航应用程序是最常用的移动应用程序之一,通常用作实地研究中评估新移动导航技术的基准。由于实地研究往往引入外部因素,很难控制,我们探讨如何行人导航方法可以在虚拟现实(VR)进行评估。我们提出了一项研究,比较现实生活中的导航方法(RL)和VR,以评估VR环境是否是一个可行的替代RL环境,当涉及到测试这些。在一系列研究中,参与者使用纸质地图和智能手机上的导航应用程序导航真实和虚拟环境。我们测量了RL和VR在导航性能、任务负荷和空间知识获取方面的差异。从这些,我们制定了改善VR中行人导航系统的指导方针,如改善小屏幕设备的易读性。我们还讨论了适当的低成本和低空间的VR运动技术,并讨论更可控的运动技术。
2020-10-06 cs.HC
Action-Specific Perception & Performance on a Fitts's Law Task in Virtual Reality: The Role of Haptic Feedback
虽然在虚拟现实中用户的感知和表现主要是独立地检查的,但特定感知(ASP)理论假设个体在任务上的表现调节了个体与任务的组件和过程相关的空间和时间感知。本文探讨了性能和感知之间的联系以及触觉反馈方式可能产生的潜在影响。本文报道了一项用户研究(N=24),其中参与者使用三种反馈方式:视觉,视觉电触觉和视觉振动触觉进行Fitts定律目标获取任务。用户完成了3个目标尺寸X 2个距离X 3个反馈模式= 18次试验。实验结束时,对被试的大小知觉、距离知觉和运动时间知觉进行评定。在性能方面,结果表明,与振动触觉和视觉反馈相比,电触觉反馈促进了显着更好的准确性,而振动触觉提供了最差的准确性。电触觉和视觉反馈使反应时间相当,而振动触觉提供了一个显着较慢的反应时间比视觉反馈。虽然在反馈类型之间的感知方面的差异模式与性能差异相当,但它们都不具有统计学意义。然而,表现确实会调节感知。检测到对空间和时间感知的显著动作特异性影响。准确性的变化调节大小知觉和时间知觉,而运动速度的变化调节距离知觉。此外,难度指数被发现调制的看法。这些结果强调了触觉反馈对性能的重要性,重要的是动作特异性效应对VR中空间和时间感知的重要性,这应该在未来的VR研究中加以考虑。
2022-07-18 cs.CY cs.HC
A Desktop-Centric Design Space for Direct Object Examination and Visualization in Mixed-Reality Environments
本文针对混合现实中直接对象检查与可视化,提出一个桌面中心的设计空间,将交互区域和模态分类,以支持在人体工程学限制内进行精确的以对象为中心的数据分析。
2025-08-07 cs.HC
Affordance Analysis of Virtual and Augmented Reality Mediated Communication
虚拟和增强现实通信平台被视为下一代远程面对面交互的有前途的模式。我们的研究试图探讨非语言沟通的特点,他们的对话背景下,虚拟和增强现实介导的通信设置。我们进行了一系列的用户实验,触发9个会话任务在4个设置,每个包含相应的非语言交际功能。我们的研究结果表明,涉及较少的情感参与的对话类型更有可能是可接受的虚拟现实和增强现实设置与低保真度的化身表示,相比,涉及高情感参与或智力困难的讨论的情况。我们进一步系统地分析和排名的影响,低保真度表示的微表情,身体规模,头部姿势,手势在影响用户体验的一对一的对话,并验证,保留微表情线索在改善双向对话在未来的虚拟和增强现实设置发挥最有效的作用。
2019-04-09 cs.HC cs.MM
Evaluating the efficacy of haptic feedback, 360° treadmill-integrated Virtual Reality framework and longitudinal training on decision-making performance in a complex search-and-shoot simulation
本研究针对VR额外感官模态对决策表现的影响研究空白,通过32名受试者的10天对照实验,发现集成触觉反馈与360°移动的VR训练可提升沉浸感等,但未显著改善决策表现,为多感官VR训练框架设计提供参考。
2024-04-14 cs.HC
Touching the Moon: Leveraging Passive Haptics, Embodiment and Presence for Operational Assessments in Virtual Reality
本文利用被动触觉道具在VR中重现阿波罗12号任务,通过宇航员和航天专家评估证明触觉可增强临场感与具身感,从而提升模拟保真度,为早期月球任务操作概念评估提供低成本有效方案。
2024-02-24 cs.HC
Social Virtual Reality: Ethical Considerations and Future Directions for An Emerging Research Space
近年来,商业社交虚拟现实(VR)平台的蓬勃发展标志着消费者VR的增长和广泛采用。社交VR平台从传统的2D虚拟世界中汲取了一些方面,在传统的2D虚拟世界中,用户可以参与各种沉浸式体验、互动活动以及基于化身的选择。然而,社交VR也展示了扩展传统2D虚拟世界和其他在线社交空间的特定细微差别,例如完整/部分身体跟踪化身,以新的方式体验平凡的日常活动(例如,睡眠),以及一种身临其境的方式来探索新的和复杂的身份。越来越受欢迎的趋势表明,顶级技术公司都有自己的社交VR平台,并对此感兴趣。到目前为止,社交虚拟现实已经成为一个新兴的研究领域,主要集中在设计策略,沟通和交互方式,细致入微的活动,自我展示,骚扰,隐私和自我披露。这些最近的工作表明,在社交VR学术领域仍然存在许多问题,例如如何在这些网站上进行道德研究以及哪些研究领域需要额外关注。因此,在本文中,我们概述了现代社交虚拟现实,批判性地回顾了该领域的现有学术研究,提出了在这些网站上进行研究的伦理考虑,并强调了未探索的领域。
2021-04-11 cs.HC
A Study of Performance and Interaction Patterns in Hand and Tangible Interaction in Tabletop Mixed Reality
Graz University of Technology(格拉茨工业大学);Know-Center GmbH(Know-Center有限公司);Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用科技大学)
本文针对桌面混合现实场景的4DoF虚拟物体操控,对比手部与定制有形代理交互的性能差异,总结两类交互的任务表现特征与适用场景,为MR交互设计提供参考。
2025-11-15 cs.HC
Examining the Effects of Immersive and Non-Immersive Presenter Modalities on Engagement and Social Interaction in Co-located Augmented Presentations
本文构建支持2D/3D内容的AR演讲系统,通过12组参与者实验比较演讲者使用AR或手持平板的对称与非对称模态,并提出设计策略与指南。
2025-03-17 cs.HC
Parametric Modelling Within Immersive Environments: Building a Bridge Between Existing Tools and Virtual Reality Headsets
针对沉浸式环境中参数化建模的挑战,提出一种将VR建模能力引入Grasshopper工具的解决方案,实现实时几何编辑与全尺寸沉浸式体验,无需离开虚拟环境。
2019-06-13 cs.HC
MVC-3D: Adaptive Design Pattern for Virtual and Augmented Reality Systems
在本文中,我们提出了MVC-3D设计模式来开发虚拟和增强(或混合)现实界面,使用新型传感器,模态和实现特定的算法和仿真模型。该模式通过丰富视图组件(交互式视图)和添加特定组件(库),代表了经典MVC模式的扩展。增强现实界面的开发结果表明,M,iV和C组件的复杂性降低。复杂性仅在库组件(L)上增加。这有助于程序员很好地构建他们的模型,即使接口复杂性增加。所提出的设计模式也被用于一个称为MVC-3D的设计过程中,该过程可以实现从初始原型到最终系统的无缝演进。
2019-03-01 cs.HC cs.SE
Indy: a virtual reality multi-player game for navigation skills training
在复杂的工业设施中工作需要人们通过时间和现场经验建立的空间导航技能。培训课程包括导游帮助发现的地方,但他们不足以成为密切熟悉其布局。它们意味着被动的学习姿势,有时间限制,并且由于组织限制和对建筑物内正在进行的活动的潜在干扰,只能体验一次。为了克服这些局限性,提高获得的导航技能,我们开发了Indy,一个虚拟现实系统,包括在一个合作游戏的寻宝。它有几个关键优势:它将学习者的注意力集中在导航任务上,暗示他们的积极参与,并为他们提供关于他们成就的反馈。虚拟现实使学习者可以体验的情况的数量和持续时间成倍增加,以更好地巩固他们的技能。本文讨论了Indy的主要设计原则和一个典型的使用场景。
2018-07-11 cs.GR cs.HC
Smelling the Way: Olfactory Modulation of Spatial Estimation and Path Integration in Virtual Reality
Hallym University(韩林大学);Clemson University(克莱姆森大学)
本研究通过两项虚拟现实实验,探究了风扇介导的嗅觉反馈对空间估计与路径整合的影响,发现视觉-嗅觉错位导致方向偏差,而距离调节的气味反馈虽减少归位误差但增加行进距离和时间。
2026-09-29 cs.HC
Exploring Crossmodal Interaction of Tactile and Visual Cues on Temperature Perception in Virtual Reality: a Preliminary Study
本研究提出VR中重现热觉等触觉的实验方案,测试不同设备效率并探究视觉与触觉的跨模态交互,发现聚光投影仪和风扇加水喷雾分别更高效,且视觉线索仅在极寒模拟中对热感知有显著影响。
2023-04-04 cs.HC
Using Socially Expressive Mixed Reality Arms for Enhancing Low-Expressivity Robots
University of Southern California(南加州大学)
表现力--使用多种方式来传达机器人的内部状态和意图--对于交互至关重要。然而,由于成本、安全和其他限制,许多机器人缺乏高度的物理表现力。本文探讨了使用混合现实来增强机器人有限的表现力,通过添加虚拟手臂,扩展机器人的表现力。手臂能够进行一系列非物理约束的手势,在一项受试者间研究($n=34$)中进行了评估,参与者与社交辅助机器人一起参与混合现实数学任务。研究结果表明,虚拟手臂增加了更高程度的感知情感,乐于助人,和物理存在的机器人。报告较高感知物理存在的用户也发现机器人具有更高程度的社交存在,易用性,有用性,并且对使用混合现实机器人持积极态度。实验结果也证明了用户能够区分虚拟手势的效价和意图。
2019-11-30 cs.HC cs.RO
Shared Boundary Interfaces: can one fit all? A controlled study on virtual reality vs touch-screen interfaces on persons with Neurodevelopmental Disorders
本研究针对神经发育障碍人群,开发了双界面食品教育应用GEA,通过对照实验比较了VR与触摸屏界面的学习效果,发现两种界面均能显著提升学习成效且提升幅度相当。
2024-04-24 cs.HC
Enabling Additive Manufacturing Part Inspection of Digital Twins via Collaborative Virtual Reality
针对增材制造数字孪生检测中存在的多模态大规模3D数据适配难、跨团队协作效率低等问题,提出一种新型VR框架,通过多模态数据可视化、体数据流式传输等功能实现协作式实时检测,提升数字孪生应用价值。
2024-05-21 cs.HC
Assessment of user-interaction strategies for neurosurgical data navigation and annotation in virtual reality
虽然虚拟现实(VR)在放射学任务中表现出了很大的希望,但有效的用户交互策略,可以提高效率和人体工程学仍然是探索不足,在复杂的解剖模型的背景下,VR交互技术的系统评价是罕见的。因此,我们的研究旨在确定最有效的交互技术,两个常见的神经外科规划任务,在VR(点注释和笔记)从最先进的,并提出了一种新的技术,有效的子体积选择必要的神经解剖导航。我们评估了七种用户交互方法,采用多种输入方式(凝视、头部运动、控制器和语音),用于在脑血管手术中注释脑动脉瘤的背景下进行点放置和记录。此外,我们提出并评估了一种新的技术,称为放大选择透视图(Maserama),用于在VR中轻松导航和选择复杂的3D解剖结构。定量和半定量(即,NASA任务负荷指数)的指标,通过用户研究,以揭示性能的准确性,效率和可用性方面的每一个交互方案。我们的评估表明,基于手势的交互优于基于眼动跟踪的点放置方法,而语音记录和虚拟键盘打字优于手写笔记。此外,我们新的Maserama子卷选择技术被证明是高效和易于使用的。我们的研究是第一个为神经外科数据导航和注释提供现有和新的VR交互方案的系统评估。它提供了有价值的见解和工具,以指导未来放射和外科应用的VR系统的设计。
2022-12-16 cs.HC
Immersive Virtual Reality Assessments of Working Memory and Psychomotor Skills: A Comparison between Immersive and Non-Immersive Assessments
本研究比较了沉浸式VR与PC在记忆和心理运动技能评估中的表现,发现VR评估具有良好聚合效度、更高用户体验,且较少受年龄和信息技术经验影响,为认知评估提供了更公平的替代平台。
2025-04-10 cs.CY cs.HC
Investigating Input Modality and Task Geometry on Precision-first 3D Drawing in Virtual Reality
在沉浸式虚拟现实(VR)中精确绘制非平面三维曲线是许多精确三维任务不可或缺的。然而,由于缺乏物理支撑、有限的深度感知以及3D曲线的非平面性质,调整空中行程以实现高精度是具有挑战性的。而不是创建新的交互技术,我们研究了任务几何形状和输入方式如何影响精度第一的绘画表现在一个主题内的研究(n = 12)专注于3D目标跟踪在市售VR头显。我们发现,与徒手相比,VR控制器和笔的精度提高了近30%,并且具有大曲率、前后或左右方向的任务表现最好。最后,我们将讨论为精确的3D绘图设计新颖的交互技术的机会。我们相信,我们的工作将有利于未来的研究,旨在创建可用的工具箱,精确的3D绘图。
2022-10-21 cs.CY cs.HC
An Open, Multi-Platform Software Architecture for Online Education in the Metaverse
使用在线教育平台是一个充满活力和不断增长的领域,它结合了各种软件平台和技术,包括各种形式的延展实境。我们提出了我们的增强现实教学会议,一个开放的网络中心,其架构,使各种各样的服务或应用程序之间的高效和方便的连接到各种各样的客户端,旨在展示3D跨网络技术,虚拟现实,甚至虚拟世界的学术目的。该系统的不可知性,加上高效的架构和简单开放的协议,形成了一个生态系统,可以很容易地进行定制,以最大限度地提高每个3D显示环境的固有特性,同时共享通用数据和控制系统,最终目标是实现无缝,可扩展,灵活的教育虚拟世界。
2022-11-09 cs.HC physics.ed-ph
Thermodynamic Human-Computer Interaction
Heriot-Watt University(赫瑞-瓦特大学)
该研究提出一种基于热力学的人机交互统一框架,可跨交互模态扩展、无需训练数据且评估时间为O(1),在网页预取任务中取得1.37的预取点击比和98.1%的目标预测准确率。
2026-09-04 cs.HC cs.PF physics.data-an
A Wearable Multimodal Ultrasound+Inertial System for Real-Time Virtual Reality Interaction
Integrated Systems Laboratory of ETH Zürich(苏黎世联邦理工学院集成系统实验室);Department of Electrical, Electronic and Information Engineering, University of Bologna(博洛尼亚大学电气、电子和信息工程系)
提出基于前臂和上臂超声与惯性传感的完全可穿戴多模态接口,结合WULPUS平台和Unity VR环境,通过多模态学习实现手部姿态和前臂位置估计,在三个任务中在线成功率超88%。
2026-10-06 cs.HC cs.SY eess.SY
Text2VR: Automated instruction Generation in Virtual Reality using Large language Models for Assembly Task
University College Dublin(都柏林大学学院)
本文提出Text2VR方法,利用大语言模型从文本自动生成VR装配任务指令,通过颜色变化和动画演示提升培训效果并降低开发成本。
2025-07-19 cs.CV cs.HC cs.MM
VRISE: A Virtual Reality Platfrom for Immersive and Interactive Surveying Education
针对传统测量学教学的后勤与认知障碍,研究开发了具备多模块交互与自适应功能的沉浸式VR平台VRISE,经评估可有效提升测量精度与任务效率,助力测量学教育提质扩面。
2025-07-31 cs.ET cs.HC cs.SE
Nevis Digital Twin: Photogrammetry and Immersive Visualization of Historical Sites
San Jose State University(圣何塞州立大学)
本文提出了一种多模态数据采集流程,用于保护受威胁的历史遗址,通过摄影测量和3D高斯点散布实现虚拟重建,以提供可扩展的数字遗产民主化模型。
2026-03-20 cs.GR cs.HC
Gesture First, LLM-Assisted Voice Complement: Exploring Multimodal Robot 'Puppeteer' Teleoperation Via Virtual Counterpart in Augmented Reality
KTH Royal Institute of Technology(皇家理工学院)
本文探讨了通过增强现实中的虚拟对应物实现多模态机器人遥控的方法,比较了仅手势和结合语音与手势的交互方式在性能和用户体验上的差异,提出设计指南以平衡效率、鲁棒性和用户专业性。
2026-05-16 cs.HC cs.RO