Corvo: Visualizing CellxGene Single-Cell Datasets in Virtual Reality
CellxGene项目使科学界能够访问单细胞数据，为500多个注释数据集提供基于浏览的无代码分析工具。然而，单细胞数据需要降维才能可视化，2D嵌入并没有充分利用三维人类空间理解和认知。与可能隐藏基因表达模式的2D可视化相比，3D虚拟现实可以使研究人员更好地利用数据集中包含的信息。为此，我们提出了\emph{Corvo}，一个完全免费和开源的软件工具，需要可视化和分析CellxGene单细胞数据集的三维虚拟现实。与CellxGene类似，Corvo为最终用户提供了无代码方法，但也提供了多模式用户输入，以促进快速导航和分析，并与现有的Python数据科学生态系统互操作。在本文中，我们解释了Corvo的设计目标，详细介绍了它的单细胞数据的虚拟现实可视化和分析的方法，并简要讨论了局限性和未来的扩展。
2022-12-01 cs.HC
avaTTAR: Table Tennis Stroke Training with On-body and Detached Visualization in Augmented Reality
avaTTAR系统利用增强现实双视角可视化和姿态估计算法结合IMU传感器，实现乒乓球击球动作的实时三维重建与专家对比，并通过用户研究验证其提升训练效果的能力。
2024-07-26 cs.HC
Real-time Collaboration Between Mixed Reality Users in Geo-referenced Virtual Environment
使用混合现实技术的协作是一个活跃的研究领域，在那里进行了大量的研究，以虚拟地弥合物理距离。存在可用于混合现实协作的各种平台和设备，并且主要集中于室内场景，其中可以假设稳定的跟踪。我们专注于支持VR和AR用户之间的协作，其中AR用户在户外移动，VR用户沉浸在真实大小的数字孪生中。这种跨平台解决方案需要新的用户体验来进行交互、对真实世界进行精确建模，并使用GPS等有噪声的户外跟踪传感器。在本文中，我们提出了我们的结果和观察跨平台用户之间的实时的【形】协作，在地理参考的虚拟环境的背景下。我们提出了一种解决方案，使用GPS测量VSLAM定位AR用户在户外环境中。客户端应用程序使VR和AR用户能够在异构平台上无缝协作。用户可以放置或加载标记到地理位置的动态内容，并实时的【形】与远程用户分享他们的体验。
2020-10-02 cs.HC
CreepyCoCreator? Investigating AI Representation Modes for 3D Object Co-Creation in Virtual Reality
针对虚拟现实中生成式AI行为不透明导致用户协作困难的问题，通过绿野仙踪研究探究三种AI呈现模式对用户交互、满意度及所有权感的影响，为人机协同创作系统提供设计参考。
2025-02-21 cs.HC
Interactive Augmented Reality-enabled Outdoor Scene Visualization For Enhanced Real-time Disaster Response
Harokopio University of Athens（哈罗基皮奥雅典大学）；Archimedes, Athena Research Center（阿基米德，雅典研究中心）；Kingston University（金斯顿大学）；University of Western Macedonia（西马其顿大学）
本文提出了一种基于3DGS的交互式AR界面，用于提升实时灾害响应中的场景可视化与决策效率。
2026-02-25 cs.HC
Affective visualization in Virtual Reality: An integrative review
情感计算的一系列研究表明，通过实时分析用户的电生理活动来推断用户情感状态的一些特征是可能的。然而，目前还不清楚如何使用从电生理信号中提取的信息来创建虚拟现实（VR）用户的情感状态的视觉表示。在VR中可视化用户的情感状态可以导致心理健康护理的生物反馈疗法。了解如何在VR中可视化情感状态需要一种跨学科的方法，将心理学，电生理学和视听设计整合在一起。因此，本文旨在整合这些领域的研究，以了解如何开发虚拟环境，可以自动创建用户的情感状态的视觉表示。本文分四个部分阐述了这一挑战：第一，概述了与情绪和情感相关的理论。其次，证据表明，视觉和声音的线索往往与情感状态进行了讨论。第三，一些现有的方法进行评估的影响。第四节和最后一节包含了五个实际的考虑因素的虚拟现实环境的发展，影响可视化。
2021-07-04 cs.HC
SecCityVR: Visualization and Collaborative Exploration of Software Vulnerabilities in Virtual Reality
本文提出SecCityVR，一种基于虚拟现实和代码城市隐喻的可视化工具，用于协同探索软件安全漏洞，通过调用图情境化漏洞，用户研究显示其可用性更高、挫败感更低，尽管任务时间较长。
2025-04-25 cs.HC
Digital Transformations of Classrooms in Virtual Reality
随着消费级盔装显示器和计算机图形的快速发展，沉浸式VR有可能使在线和远程学习更接近真实世界的设置。然而，这种数字转换对学习者的影响，特别是对VR的影响，还没有得到深入的评估。本研究利用眼动追踪数据，在沉浸式虚拟现实教室中，探讨了学习者的坐姿、同伴学习者和教师的视觉化风格以及虚拟同伴学习者的举手行为对学习者的交互影响。我们的研究结果表明，学习者坐在后面的虚拟教室可能有困难提取信息。此外，我们发现的迹象表明，学习者更有效地参与讲座，如果虚拟化身与现实的风格可视化。最后，我们发现虚拟同侪学习者的眼动行为对不同的表现水平，这需要进一步研究。我们的研究结果为VR教室的设计决策提供了重要的基准。
2021-05-07 cs.HC
Opportunities and Limitations of Mixed Reality Holograms in Industrial Robotics
University of Augsburg（奥格斯堡大学）；XITASO GmbH（XITASO有限公司）
本文介绍了两个案例研究结合工业机器人领域与混合现实（MR）。这些案例研究的目的是更好地了解MR如何有用以及局限性是什么。第一个案例研究描述了一种可视化机器人手臂的数字孪生的方法。第二个案例研究旨在促进工业机器人的调试。此外，本文报告了通过实施这两个方案所获得的经验，并讨论了局限性。
2020-01-22 cs.HC cs.RO
ERUPT: An Open Toolkit for Interfacing with Robot Motion Planners in Extended Reality
Parasol Lab, Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（Parasol实验室，Siebel计算与数据科学学院，伊利诺伊大学厄巴纳-香槟分校）；Insper；Department of Computer Science at Instituto Tecnológico Autónomo de México (ITAM)（墨西哥自主技术学院计算机科学系）
本研究提出开源XR工具包ERUPT，集成MoveIt框架支持交互式机器人运动规划，提供多模态自然交互与路径可视化，可在虚拟空间验证后部署到实体机器人。
2026-09-22 cs.HC cs.RO
Parametric Modelling Within Immersive Environments: Building a Bridge Between Existing Tools and Virtual Reality Headsets
针对沉浸式环境中参数化建模的挑战，提出一种将VR建模能力引入Grasshopper工具的解决方案，实现实时几何编辑与全尺寸沉浸式体验，无需离开虚拟环境。
2019-06-13 cs.HC
Breaking the Plane: Exploring Real-Time Visualization of 3D Surfaces in Augmented Reality with Handwritten Input
本文介绍一款AR头显应用，通过手写输入解析方程并实时绘制三维函数曲面，结合交互与动态可视化，显著提升学习参与度和问题解决效果。
2025-07-08 cs.HC
RadVR: A 6DOF Virtual Reality Daylighting Analysis Tool
这项工作介绍了RadVR，一个虚拟现实工具的采光分析，同时结合定性评估，通过沉浸式实时渲染与定量的物理正确的采光模拟在一个6自由度的虚拟环境。通过将具有材料属性的3D建筑模型作为输入，RadVR允许用户（1）通过Radiance执行基于物理的日光照明模拟，（2）研究一年中不同时间的阳光，（3）与一年中最具代表性的时间的9点时间矩阵进行交互，以及（4）可视化，比较和分析日光照明模拟结果。通过端到端的工作流程，RadVR与建筑设计师常用的3D建模软件集成。此外，通过进行用户实验，我们比较了所提出的系统与DIVA的犀牛，一个基于辐射的工具，使用传统的2D显示器。结果表明，RadVR可以在空间理解任务，导航和太阳位置分析虚拟现实提供有前途的援助。
2021-02-06 cs.GR cs.HC
RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching
我们提出RealitySketch，一个增强现实界面，用于绘制交互式图形和可视化。近年来，越来越多的AR草图绘制工具使用户能够在现实世界中绘制和嵌入草图。然而，使用当前的工具，草绘的内容本质上是静态的，漂浮在半空中而不响应真实世界。本文介绍了一种新的方法来嵌入动态和响应图形在现实世界中。在RealitySketch中，用户在移动AR屏幕上绘制图形元素，并以实时和即兴的方式将其与物理对象绑定，从而使绘制的元素随着相应的物理运动而动态移动。用户还可以通过响应图形或交互式可视化快速可视化和分析现实世界的现象。本文有助于一组交互技术，使捕捉，参数化，并可视化现实世界的运动，而无需预定义的程序和配置。最后，我们展示了我们的工具与几个应用场景，包括物理教育，体育训练，和在现场有形的接口。
2020-08-19 cs.GR cs.HC
BrickPal: Augmented Reality-based Assembly Instructions for Brick Models
针对传统积木拼装说明制作繁琐且缺乏交互的问题，本文提出增强现实系统BrickPal，利用NLP生成拼装序列并在AR头显中提供实时指导，实验证明其有效且序列可用性与人工调整相当。
2023-07-06 cs.AI cs.HC
Behavioral and Symbolic Fillers as Delay Mitigation for Embodied Conversational Agents in Virtual Reality
本文针对虚拟现实中具身对话代理响应延迟问题，比较行为填充与符号指示器策略，发现行为填充能改善感知响应时间、临场感、类人性与自然性，且更受用户偏好。
2025-08-15 cs.HC
Architectural Visualization Using Virtual Reality: A User Experience in Simulating Buildings of a Community College in Bukidnon, Philippines
本研究旨在设计并开发一个虚拟结构设计，通过虚拟现实模拟菲律宾布基农社区大学的校园及其建筑。该项目以技术的沉浸感，利用虚拟现实技术代表了该机构的建筑设计。该项目使用修改后的迭代开发模型，该模型是3D模型和VR应用程序的设计和开发指南。TinkerCAD是一个基于网络的应用程序，已被用于设计建筑物，另一方面，Unity用于开发建筑物的结构设计。本研究的被试为四所邻近学校的高三学生。通过这项研究，研究人员能够向学生展示其VR应用程序，并随后使用系统可用性量表进行评估，这是一份10项问卷，测量可用性，总体平均值为90%或4.5分，在Likert表中被解释为优秀。通过使用VR应用程序，学院的潜在学生将能够可视化和体验学院的现有结构，而无需亲自出现在该地区。在本文中，NBCC的建筑物和结构的设计和开发通过一个虚拟现实平台，让学生从不同的中学，在地理上接近大学体验的感觉是在学校，而不能够设置一个物理步骤。
2021-02-15 cs.HC
See Behind Walls in Real-time Using Aerial Drones and Augmented Reality
University of California, Merced（加州大学默塞德分校）
本研究提出ARD2框架，通过两架无人机与AR设备，经目标方向估计、轮廓重建两步实现实时穿墙监视，实验验证了其在方向估计与轮廓重建上的准确性。
2024-12-13 cs.CV cs.HC cs.MA
SlingDrone: Mixed Reality System for Pointing and Interaction Using a Single Drone
Skoltech（斯科尔科沃科技学院）；BYU（杨百翰大学）
我们提出了SlingDrone，一种新的混合现实交互范例，利用微型四旋翼作为指向控制器和交互式机器人与弹弓运动类型。无人机试图悬停在给定位置，而人类使用手柄和皮带将其拉向所需方向。基于位移，定义虚拟轨迹。为了实现直观和简单的控制，我们使用虚拟现实（VR）技术根据位移输入来跟踪无人机的路径。用户接收通过牵引带传播的力反馈。来自SlingDrone的力反馈与VR中的可视化轨迹相结合，创建了一个直观且用户友好的指向设备。当无人机被释放时，它会遵循VR中显示的轨迹。机载有效载荷（例如磁性抓具）可以执行与周围环境进行真实交互的各种场景，例如操纵或感测。与HTC Vive控制器不同，SlingDrone不需要手持设备，因此它可以用作VR中的独立指向技术。
2019-11-12 cs.HC cs.RO
Visualizing Placement Proposals for Window Arrangement in Mixed Reality: A Comparative User Study
University of Konstanz（康斯坦茨大学）
该研究针对混合现实窗口排列的提案可视化，对比三种可视化技术与手动定位，开展用户研究后发现情境窗口预览布局更快，但参与者更偏好手动控制，为混合方法提供启示。
2026-08-04 cs.HC
Mixed reality hologram slicer (mxdR-HS): a marker-less tangible user interface for interactive holographic volume visualization
混合现实盔装显示器（mxdR-HMD）具有在全息图中可视化体积医学成像数据以提供真正意义上的体积深度的潜力。然而，有效的用户界面还有待于深入研究。触觉用户界面（TUI）使得能够通过对象与全息图进行触觉交互。该对象具有物理属性，指示如何使用多个自由度。我们提出了一个TUI使用一个平面对象（PO）的全息医学体可视化和探索。我们称之为mxdR全息切片器（mxdR-HS）。用户可以对全息图进行切片，以检查特定的感兴趣区域（ROI），并混合互补数据和注释。mxdR-HS引入了一种新颖的实时ad-hoc无标记PO跟踪方法，可用于任何角落可见的PO。mxdR-HS的目标是保持最小的计算延迟，同时保持实际的跟踪精度，以实现商业mxdR-HMD中的无缝TUI集成，这具有有限的计算资源。我们在带有内置深度摄像头的商业Microsoft HoloLens上实现了mxdR-HS。我们的实验结果表明，我们的mxdR-HS具有优越的计算延迟，但跟踪精度略低于两个基于标记的跟踪方法，并导致增强的计算延迟和跟踪精度比10个无标记的跟踪方法。我们的mxdR-HS，在医疗环境中，可以建议作为一个视觉指南，以显示复杂的体积医学成像数据。
2022-01-26 cs.HC
Unmanned Aerial Vehicles Control in a Digital Twin: Exploring the Effect of Different Points of View on User Experience in Virtual Reality
Immersive Reality Lab University of Applied Sciences Hamm-Lippstadt（沉浸式现实实验室 汉姆-利普施塔特应用科学大学）；University of Applied Sciences Hamm-Lippstadt（汉姆-利普施塔特应用科学大学）；University of Technology in Sydney（悉尼科技大学）
本研究基于复刻真实环境的无人机数字孪生VR系统，探究四种虚拟视角对无人机操控的用户体验与操作表现的影响，发现第一人称视角认知负荷高、轨迹偏差大但控制平滑，第三人称视角最受偏好。
2025-10-22 cs.HC
MRDrive: An Open Source Mixed Reality Driving Simulator for Automotive User Research
ScaDS.AI, Leipzig University（ScaDS.AI，莱比锡大学）；Leipzig University（莱比锡大学）；Eindhoven University of Technology（埃因霍温理工大学）
MRDrive是一个开源混合现实驾驶模拟器，用于研究车载交互、注意力和可解释性，支持在人工和自动化驾驶情境下的HCI研究。
2026-03-09 cs.HC cs.RO
Using Virtual Reality to Design and Evaluate a Lunar Lander: The EL3 Case Study
欧洲大型物流着陆器（EL3）正在设计用于执行货物运输任务，以支持未来的月球地面人员。虚拟现实（VR）的能力，以可视化和交互式模拟独特的月球环境，使其成为一个潜在的强大的设计工具，在早期开发阶段的这种解决方案。根据EL3开发团队的输入，我们已经制作了一个基于VR的操作场景，其中包括着陆器的假设配置。依靠HCI研究方法，我们随后与相关专家（n=10）对该方案进行了评估。这项初步试点研究的定性结果证明了VR作为设计工具在这种情况下的有用性，但同样也出现了一些潜在的有效性和普遍性受损的限制。最后，我们概述了我们未来的研究计划，并反映了潜在的使用物理刺激，以提高有效性的VR为基础的模拟在即将到来的设计活动。
2022-03-25 cs.HC cs.MM
VIRUP : The Virtual Reality Universe Project
VIRUP是一个新的C++开源软件，它提供了一个交互式虚拟现实环境，可以浏览从观测和模拟中获得的大型科学天体物理数据集。它专为可视化TB级数据量身定制，以每秒90帧的速度渲染，以确保最佳的沉浸体验。虽然VIRUP最初设计用于游戏虚拟现实耳机，但它支持不同的现代沉浸式系统，如3D屏幕，180度。圆顶或360度全景。VIRUP是可脚本化的，这要归功于Python语言，这一功能允许游客沉浸在预先选择的场景中，或者预先渲染序列以创建电影。配套视频（www.youtube.com/watch? v=KJJXbcf8kxA）到SDSS 2020的最新版本以及21分钟长的纪录片《光的考古学》（https://go.epfl.ch/ArchaeologyofLight）都是100%使用VIRUP制作的。
2021-10-08 astro-ph.IM cs.GR cs.HC
ASCRIBE-XR: Virtual Reality for Visualization of Scientific Imagery
本文提出 ASCRIBE-XR 平台，利用 Godot 与 PC-VR 技术支持同步加速器三维体数据和网格数据的动态可视化，并通过 WebRTC 和 MQTT 实现多用户实时协作探索。
2025-07-03 cs.GR cs.HC
Examination of Cybersickness in Virtual Reality: The Role of Individual Differences, Effects on Cognitive Functions & Motor Skills, and Intensity Differences During and After Immersion
本研究探究VR晕动症的预测因素及对认知运动技能的影响，发现晕动症易感性、游戏经验、瞳孔扩张为关键预测因子，晕动症损害视空间工作记忆与心理运动技能，且相关研究应在沉浸期间开展。
2023-10-26 cs.HC
Augmented Reality Applied to LEGO Construction: AR-based Building Instructions with High Accuracy & Precision and Realistic Object-Hand Occlusions
BRICKxAR是一种新颖的增强现实（AR）教学方法，用于乐高等建筑玩具。通过BRICKxAR，物理乐高建筑由虚拟砖块指导。与现有技术相比，通过基于标记的配准的新设计，虚拟物理模型对准的准确性显著提高，其可以在整个模型中实现小于1 mm的平均误差。真实感物体遮挡的完成，揭示真实的空间关系之间的物理和虚拟砖。实现了乐高玩家的手部检测和遮挡，以可视化真实手部和虚拟砖块之间的正确空间关系，并允许虚拟砖块被真实手部“抓住”。这些功能的集成使得AR指令可以用于小部件装配，通过构建乐高凯旋门的工作AR原型，配准和遮挡精度的定量测量以及AR指令功能的启发式评估进行验证。
2020-12-20 cs.CY cs.HC
Human Interaction for Collaborative Semantic SLAM using Extended Reality
本文提出人在环路的语义SLAM框架HICS-SLAM，通过共享扩展现实环境将人工高层次语义干预与机器人感知进行图融合，在真实工地数据上提升了房间检测、地图精度和语义完整性。
2025-09-18 cs.HC cs.RO
Rhythms of Recovery: Patient-Centered Virtual Reality Exergame for Physical Rehabilitation in the Intensive Care Unit
Duke University（杜克大学）；Duke Heart Center at Duke Hospital（杜克医院心脏中心）
本研究开发了一款面向患者的虚拟现实运动游戏，用于重症监护室的物理康复，通过跨学科设计提升早期活动的可行性与患者参与度。
2026-02-09 cs.HC
Virtual Environments for Rehabilitation of Postural Control Dysfunction
我们开发了一种新型的具有三维声音的虚拟现实[VR]平台，以帮助改善感觉整合和视觉处理，用于与感觉缺陷相关的平衡问题（如前庭功能障碍（内耳疾病））的个体的姿势控制和跌倒预防。该系统具有模拟基于Android的环境的场景。我们可以通过控制用户界面（UI）设置来调整虚拟场景中视觉和听觉刺激的强度。VR头戴设备（HTC Vive或Oculus Rift）提供立体显示，同时提供参与者头部的实时位置和方向。3D游戏般的场景让参与者沉浸其中，并逐渐将他们暴露在可能导致头晕，焦虑或日常生活不平衡的情况下。
2019-02-08 cs.HC
3D Reconstruction by Looking: Instantaneous Blind Spot Detector for Indoor SLAM through Mixed Reality
State University of New York（纽约州立大学）；University of Waterloo（滑铁卢大学）
通过混合现实技术实现室内SLAM的即时盲区检测，提升3D重建精度与效率。
2024-11-19 cs.CV cs.GR cs.HC
Mixing realities for sketch retrieval in Virtual Reality
University College London（伦敦大学学院）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
用于虚拟现实（VR）的绘图工具使用户能够从虚拟环境本身内部对3D设计进行建模。这些工具采用基于桌面的界面中已知的草图和雕刻技术，并将其应用于基于手的控制器交互。虽然这些技术允许基本形状的空中草图，但用户仍然难以创建详细和全面的3D模型。在我们的工作中，我们专注于支持用户在设计他们周围的虚拟环境，通过增强基于草图的交互式模型检索支持系统的接口。通过绘制草图，沉浸式用户可以查询包含详细3D模型的数据库，并将其替换到虚拟环境中。为了理解虚拟环境中的支持性草图，我们比较了草图交互的不同方法，即，3D空中草图、虚拟平板电脑上的2D草图、固定虚拟白板上的2D草图以及真实平板电脑上的2D草图。%使用2D物理平板电脑、2D虚拟平板电脑、2D虚拟白板和3D空中草图。我们的研究结果表明，3D空中草图被认为是一种更直观的方法来搜索模型的集合，而物理设备的添加会造成混乱，因为它们包含在虚拟环境中的复杂性。虽然我们提出我们的工作作为一个检索问题的3D模型的椅子，我们的结果可以推断到其他草图任务的虚拟环境。
2019-11-05 cs.CV cs.HC
Multi-3D-Models Registration-Based Augmented Reality (AR) Instructions for Assembly
Texas A&M University（得克萨斯农工大学）
本文提出无标记逐步原位三维AR装配指令方法BRICKxAR（M3D），通过深度学习三维模型配准并结合装配阶段与步骤计数，实现小型零件装配的精确可视化与交互控制。
2023-11-29 cs.CV cs.HC
Archiverse: an Approach for Immersive Cultural Heritage
本文提出Archiverse方法，探讨利用VR和XR沉浸式、交互式再现并可视化仅存废墟的考古遗址与建筑，同时指出跨学科协作和环境传播挑战。
2025-07-25 cs.CY cs.HC
Building Trust in Autonomous Vehicles: Role of Virtual Reality Driving Simulators in HMI Design
Politecnico di Torino（都灵理工大学）
调查促使人类信任自动驾驶汽车（AV）的因素将在采用此类技术方面发挥重要作用。用户形成AV的心理模型的能力，这对于建立信任至关重要，取决于有效的用户-车辆通信;因此，人机交互（HMI）的重要性将增加。在这项工作中，我们提出了一种方法来验证AV的用户体验的基础上收集的生理信号的连续，客观的信息，而用户沉浸在一个虚拟现实为基础的驾驶模拟。我们将这种方法应用于平视显示器界面的设计，提供有关车辆的感官和规划系统的视觉提示。通过这种方法，我们获得了定性和定量的证据表明，一个完整的图片的车辆的周围环境，尽管较高的认知负荷，有利于减少压力的经验。此外，在接触了更多信息的界面后，参与研究的用户也更愿意测试真正的AV。所提出的方法可以通过调整模拟环境、HMI和/或车辆的人工智能模块来扩展，以深入研究用户体验的其他方面。
2020-07-27 cs.AI cs.GR cs.HC
Sampling molecular conformations and dynamics in a multi-user virtual reality framework
我们描述了一个框架，在多用户虚拟现实环境中的交互式分子动力学，结合严格的云安装物理原子模拟与商品虚拟现实硬件，我们已经访问的读者（见isci.itch.io/nsb-imd）。它允许用户以原子级的精度可视化和采样复杂分子结构的结构和动力学，并在同一虚拟环境中与其他用户进行交互。一系列对照研究，参与者被要求完成一系列分子操作目标（将甲烷穿过纳米管，改变螺旋的螺旋方向，以及打结蛋白质结），定量地证明了交互式VR环境中的用户可以比使用传统界面更快地完成复杂的分子建模任务，特别是对于构象编排本质上是3D的分子途径和结构转换。这一框架将加速药物开发、合成生物学和催化剂设计等纳米级分子工程领域的进展。更广泛地说，我们的研究结果突出了VR在科学领域的潜力，在这些领域，3D动态很重要，涵盖了研究和教育。
2018-01-09 cs.HC physics.bio-ph physics.chem-ph
Fitted avatars: automatic skeleton adjustment for self-avatars in virtual reality
针对虚拟现实自我化身手动骨骼尺寸匹配耗时易错的问题，提出仅需HMD、两个手柄和三个追踪器、用户做简单动作即可自动提取尺寸调整骨骼的方法，可减少IK系统错位。
2023-07-14 cs.GR cs.HC
Immersive and Collaborative Data Visualization Using Virtual Reality Platforms
有效的数据可视化是大数据时代发现过程的关键部分。它是数据的定量内容和人类直觉之间的桥梁，因此是从数据到知识和理解的科学道路的重要组成部分。在数据采掘过程中，可视化也是必不可少的，它指导适用算法的选择，并帮助识别和删除分析中的不良数据。然而，现代数据集的高复杂性或高维度是一个关键障碍。我们如何可视化可能存在于超维数据空间中的有趣结构和模式？更好地理解我们如何感知多维信息并与多维信息进行交互，在认知技术和人机交互领域提出了一些深层次的问题。为此，我们正在探索使用沉浸式虚拟现实平台的科学数据可视化，无论是软件和廉价的商品硬件。这些潜在的强大和创新的多维数据可视化工具也可以提供一个简单和自然的路径，以协同数据可视化和探索，科学家可以与他们的数据和他们的同事在同一个视觉空间进行交互。沉浸式提供了超越传统桌面可视化工具的好处：它可以更好地感知全景几何，更直观地理解数据，并更好地保留数据中的感知关系。
2014-10-28 astro-ph.IM cs.HC
The Ballad of the Bots: Sonification Using Cognitive Metaphor to Support Immersed Teleoperation of Robot Teams
Bristol VR Lab, University of the West of England（西英格兰大学布里斯托尔虚拟现实实验室）；Bristol Robotics Laboratory, University of the West of England（西英格兰大学布里斯托尔机器人实验室）；Digital Cultures Research Centre, University of the West of England（西英格兰大学数字文化研究中心）；Creative Technologies Lab, University of the West of England（西英格兰大学创意技术实验室）
针对核退役场景下机器人团队沉浸式遥操作的数据传递需求，该研究对比了认知隐喻型与计算主义型两种声化设计方法，发现二者在可预测性、心理负荷及多声源场景下的直观性、空间化效果等方面各有优势。
2024-07-12 cs.HC cs.RO
Structural Health Monitoring of a Foot Bridge in Virtual Reality Environment
老化的民用基础设施系统在任何故障机制变得严重之前需要立即得到关注。结构健康监测（SHM）用于跟踪结构系统的输入和/或响应，以提供决策支持。检查和结构健康监测需要进行实地访问，然后在现场对关键要素进行专家评估，这可能既耗时又昂贵。此外，包括访问和检查在内的实地工作可能构成危险，需要在实地工作期间配备个人防护设备和关闭结构。为了解决这些问题，一个虚拟现实（VR）协作应用程序的开发，使结构和SHM数据从现场到办公室，使许多专家从不同的地方可以同时虚拟访问桥梁结构进行最终评估。在这项工作中，我们提出了一个SHM系统在VR环境中，其中包括必要的技术和视觉信息的工程师作出决定的校园中佛罗里达大学的人行天桥。在此VR应用中，对于可视化阶段，使用UAV（无人机）摄影测量和LiDAR（光探测和测距）方法来捕获桥梁。对于技术评估阶段，分析了作为SHM一部分的振动数据的有限元分析（FEA）和操作模态分析（OMA）。为了更好地可视化结构的动态响应，FEA的操作行为反映在LiDAR点云模型上，以实现沉浸式。允许团队同时协作的多用户功能对于决策活动至关重要。总之，拟议的VR环境提供了进一步自动化和实时改进SHM和FEA模型的潜在优势。
2022-03-03 cs.GR cs.HC
Interactive Multi-User 3D Visual Analytics in Augmented Reality
本出版物报告了一个研究项目，在该项目中，我们着手探索增强现实（AR）技术对视觉数据分析的优势和劣势。我们开发了一个AR数据分析应用程序的原型，它为用户提供了一个交互式3D界面，基于手势的控制和多用户支持的共享体验，使多个人能够协同可视化，分析和操纵数据与3D空间中的高维特征。我们的软件原型名为DataCube，运行在Microsoft HoloLens上-这是第一款真正的独立AR耳机之一，通过它，用户可以看到计算机生成的图像覆盖在用户物理环境中的真实物体上。使用手势，用户可以选择菜单选项，通过各种过滤和可视化功能控制3D数据可视化，并在其环境中自由安排各种菜单和虚拟显示。共享的多用户体验允许所有参与的用户看到虚拟环境并与虚拟环境交互，一个用户做出的改变将立即对其他用户可见。当用户一起参与时，他们不受限制地同时观察物理世界，因此他们也可以看到非语言线索，例如物理环境中其他用户的手势或面部反应。该研究项目的主要目标是找出AR接口和协作分析是否可以为数据分析任务提供有效的解决方案，我们的原型系统的经验证实了这一点。
2020-02-13 cs.HC cs.MM
Artificial intelligence-driven digital twin of a modern house demonstrated in virtual reality
Norwegian University of Science and Technology（挪威科技大学）；Oklahoma State University（俄克拉荷马州立大学）
数字孪生是一个强大的工具，可以帮助实时监控和优化实物资产。简单地说，它是物理资产的虚拟表示，通过数据和模拟器实现，可用于各种目的，如预测，监控和决策。但是，数字孪生的概念可能很模糊，很难理解，这就是为什么引入了一个名为“能力水平”的新概念。这个概念根据数字孪生的能力对其进行分类，并定义了从0到5的等级，每个等级表示功能的增加。这些级别是独立的、描述性的、诊断性的、预测性的、规定性的和自主的。通过了解数字孪生的能力水平，我们可以更好地了解其潜力和局限性。为了说明这些概念，我们使用一个现代住宅作为例子。房子配备了一系列传感器，收集有关其内部状态的数据，然后可以用来创建不同能力水平的数字孪生。这些数字孪生可以在虚拟现实中可视化，允许用户与虚拟环境交互并操纵虚拟环境。目前的工作不仅为开发数字孪生提供了蓝图，而且还提出了未来的研究方向，以加强这项技术。数字孪生有潜力改变我们监控和优化实物资产的方式，通过了解它们的功能，我们可以释放它们的全部潜力。
2023-02-27 cs.CV cs.GR cs.HC
Stretch your reach: Studying Self-Avatar and Controller Misalignment in Virtual Reality Interaction
针对虚拟现实中自我化身与控制器错位影响交互的问题，提出五种交互模式并评估，发现伸展手臂方案在具身感、偏好、本体感觉和表现上最优，且渲染控制器无显著影响。
2024-07-10 cs.GR cs.HC
Virtual Reality Sickness Reduces Attention During Immersive Experiences
本研究通过VR博物馆双任务实验和EEG的P3b指标，证明VR晕动症会降低注意力并增加计数错误，且可实时无创追踪。
2023-10-11 cs.HC q-bio.NC
Influence of Hand Tracking as a way of Interaction in Virtual Reality on User Experience
TU Berlin（柏林工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
该研究对比VR中控制器与手部追踪交互在抓取、输入任务下的用户体验，发现交互类型显著影响情绪、偏好与可用性，为任务匹配交互模式提供参考。
2020-04-27 cs.HC cs.MM
Design Space and Implementation of RAG-Based Avatars for Virtual Archaeology
University of Konstanz（康斯坦茨大学）；University of Perugia（佩鲁贾大学）
本文探讨了基于RAG的avatrs在虚拟考古中的应用，设计了涵盖应用场景、avatrs个性及输入输出模式的需求空间，并通过虚拟现实环境中的案例研究验证了其在提升数字文化遗产互动性方面的有效性。
2026-03-24 cs.HC
Interactive molecular dynamics in virtual reality from quantum chemistry to drug binding: An open-source multi-person framework
随着分子科学家在设计纳米级分子结构的能力方面取得了进展，我们在设计分子动力学（MD）和灵活性的能力方面面临着新的挑战。分子尺度上的动力学与我们熟悉的日常物体的力学不同，因为它涉及到一个复杂的、高度相关的、三维的多体动力学编排，即使是训练有素的研究人员也往往是非直觉的。我们最近描述了虚拟现实（iMD-VR）中的交互式分子动力学如何帮助应对这一挑战，使研究人员能够在3D中操纵柔性结构的实时MD模拟。在这篇文章中，我们概述了将沉浸式技术扩展到分子科学的努力，我们介绍了“Narupa”，一个灵活的，开源的，多人的iMD-VR软件框架，使研究人员能够同时共存于实时仿真环境中，以原子级精度交互式地可视化和操纵分子结构的动力学。我们概述了iMD-VR在分子科学中促进研究，交流和创造性方法的几个应用领域，包括训练机器学习反应性势能面（PES），生物分子构象采样，蛋白质-配体结合，使用“即时”量子化学的反应发现，以及材料中的传输动力学。我们触及iMD-VR的各种认知和感知的启示，以及这些如何为分子系统提供研究见解。通过将人类空间推理和设计洞察力与计算自动化协同结合，iMD-VR等技术有可能提高我们理解、设计和交流微观动力学行为的能力，为工程分子和纳米架构带来新的范式。
2019-05-01 cs.HC physics.bio-ph physics.chem-ph
Virtual Co-Embodiment: Evaluation of the Sense of Agency while Sharing the Control of a Virtual Body among Two Individuals
在本文中，我们引入了一个称为“虚拟共同化身”的概念，它使用户能够与另一个实体（例如，另一用户、机器人或自主智能体）。我们描述了一个概念验证，其中两个用户可以沉浸在虚拟环境中的第一人称视角，可以有互补的控制水平（总，部分，或没有）超过一个共享的化身。此外，我们进行了一项实验，以调查用户的控制水平的影响，共享的化身和先验知识，他们的行动对用户的代理感和运动动作。结果表明，参与者善于估计他们的真实控制水平，但当他们能够预测化身的运动时，他们会大大高估自己的代理感。此外，参与者执行类似的身体动作，而不管他们对化身的实际控制。结果还显示，内部维度的控制点，这是一种人格特质，是负相关的用户的感知控制水平。综合结果在基于虚拟现实的培训和协作远程操作领域展开了一系列新的应用，用户将能够共享他们的虚拟身体。
2020-06-09 cs.HC
Visual Guidance for User Placement in Avatar-Mediated Telepresence between Dissimilar Spaces
针对异构空间中化身介导MR远程呈现的站位错配问题，提出基于角度交互特征相似度的站位评分与彩色二维扇形及远程虚拟对象叠加引导，并通过多项VR与MR用户研究验证其有效性。
2024-01-22 cs.GR cs.HC
PlayWrite: A Multimodal System for AI Supported Narrative Co-Authoring Through Play in XR
Institute of Neurosciences of the University of Barcelona（巴塞罗那大学神经科学研究所）；Autodesk Research（Autodesk研究）
PlayWrite是一种通过XR中的游戏化互动实现AI支持的叙事协作写作的多模态系统，通过直接操控虚拟角色和道具，结合多智能体AI管道和大型语言模型，促进高度即兴和游戏化的创作过程。
2026-03-02 cs.AI cs.HC
Dual-sided transparent display
提出一种基于聚合物稳定液晶波导技术的双面透明显示器，透明度达65%并支持有源矩阵控制，通过RGB LED灯带时序处理实现全彩显示，支持双向用户交互。
2024-03-07 cs.ET cs.HC physics.optics
Immersive and Interactive Visualization of 3D Spatio-Temporal Data using a Space Time Hypercube
我们提出了一个著名的时空立方体（STC）可视化技术的扩展，以可视化随时间变化的三维空间数据，利用虚拟现实（VR）的交互能力。随着记录和模拟技术的发展，多维时变数据集的规模不断增长，其分析面临着密集数据的表示和可视化以及时间变化研究的挑战。首先，我们提出了时空超立方体（STH）作为一个抽象的三维时间数据，扩展STC的概念。其次，通过胚胎发育成像数据集的例子，我们详细介绍了一个STC的构建和可视化的基础上，用户驱动的空间和时间信息的投影。该投影产生3D STC可视化，其还可以编码额外的数值和分类数据。此外，我们提出了一套工具，允许用户过滤和操纵3D STC，这得益于VR提供的可视化，探索和交互的可能性。最后，我们评估了所提出的可视化方法的上下文中的时空生物数据的可视化。几位生物学专家陪同应用程序设计，以提供如何使用STC可视化来探索这些数据的见解。我们报告的用户研究（n=12）使用非专家用户执行一组探索和查询任务，以评估系统。
2022-06-27 cs.GR cs.HC
