3D visualization of astronomy data cubes using immersive displays
我们报告一个探索性的项目，旨在执行沉浸式的3D可视化的天文数据，从星系的频谱线无线电数据立方体。这项工作是由马尼托巴大学物理和天文学系与计算机科学系合作完成的。我们正在使用3D引擎Unity构建原型，因为它易于与CAVE环境、zSpace桌面或虚拟现实耳机等高级显示器集成。我们解决了关于3D可视化的一般问题，例如：加载和转换天文数据，在GPU上执行体绘制，并使用视觉素养的原则产生物理上有意义的可视化。我们讨论了在设计用户界面时要遇到的一些挑战，这些挑战使我们能够利用这种探索数据的新方式。我们希望为所有使用谱线数据立方体的天文学家建立一个有用的创新框架奠定基础，并鼓励感兴趣的各方加入我们的努力。该试点项目解决了前沿天文学实验提出的挑战，如平方公里阵列及其前身。
2016-07-29 astro-ph.IM cs.GR
Holoview: An Immersive Mixed-Reality Visualization System for Anatomical Education
本文提出Holoview，一个支持沉浸式交互学习的AR系统，通过手势探索体积解剖数据并采用轻量级架构优化HoloLens实时性能，用户研究表明其在解剖学教育中显著提升知识水平和理解信心。
2025-07-14 cs.GR cs.HC
ClipGS-VR: Immersive and Interactive Cinematic Visualization of Volumetric Medical Data in Mobile Virtual Reality
Department of Computer Science and Engineering and Institute of Medical Intelligence and XR The Chinese University of Hong Kong（香港中文大学计算机科学与工程系及医疗智能与扩展现实研究所）
ClipGS-VR通过基于梯度的不透明度调节实现移动VR中的任意角度切片，提升体积医学数据的沉浸式交互可视化性能。
2026-01-27 cs.GR cs.HC
Nevis Digital Twin: Photogrammetry and Immersive Visualization of Historical Sites
San Jose State University（圣何塞州立大学）
本文提出了一种多模态数据采集流程，用于保护受威胁的历史遗址，通过摄影测量和3D高斯点散布实现虚拟重建，以提供可扩展的数字遗产民主化模型。
2026-03-20 cs.GR cs.HC
Multi-Layer Gaussian Splatting for Immersive Anatomy Visualization
Technical University of Munich（慕尼黑技术大学）；Clinic for Orthopedics and Sports Orthopedics（骨科与运动骨科诊所）；TUM University Hospital（慕尼黑技术大学医院）；Siemens Healthineers AG（西门子医疗影像有限公司）
本文提出多层高斯散射方法，用于高效且静态地表示CT扫描，实现沉浸式解剖可视化，支持交互式三维评估与医学教育。
2024-10-22 cs.CV cs.GR
Immersive Visualization of Flat Surfaces Using Ray Marching
本文提出基于光线步进的平面曲面沉浸式可视化方法，可高效直观地探索平移曲面、镜像房间、展开多面体和平移棱柱，并公开实现代码与仿真。
2025-06-09 cs.GR math.DG math.DS
Immersive and Interactive Visualization of 3D Spatio-Temporal Data using a Space Time Hypercube
我们提出了一个著名的时空立方体（STC）可视化技术的扩展，以可视化随时间变化的三维空间数据，利用虚拟现实（VR）的交互能力。随着记录和模拟技术的发展，多维时变数据集的规模不断增长，其分析面临着密集数据的表示和可视化以及时间变化研究的挑战。首先，我们提出了时空超立方体（STH）作为一个抽象的三维时间数据，扩展STC的概念。其次，通过胚胎发育成像数据集的例子，我们详细介绍了一个STC的构建和可视化的基础上，用户驱动的空间和时间信息的投影。该投影产生3D STC可视化，其还可以编码额外的数值和分类数据。此外，我们提出了一套工具，允许用户过滤和操纵3D STC，这得益于VR提供的可视化，探索和交互的可能性。最后，我们评估了所提出的可视化方法的上下文中的时空生物数据的可视化。几位生物学专家陪同应用程序设计，以提供如何使用STC可视化来探索这些数据的见解。我们报告的用户研究（n=12）使用非专家用户执行一组探索和查询任务，以评估系统。
2022-06-27 cs.GR cs.HC
Exploring the Design Space of Immersive Urban Analytics
本文针对沉浸式头戴设备的发展，提出沉浸式城市分析可视化理论模型，构建2D与3D可视化组合方法分类体系并给出选择指南，同时探讨未来研究方向。
2023-10-07 cs.GR cs.HC
Visualizing Plasma Physics Simulations in Immersive Environments
提出概念验证VR工具PlasmaVR，通过沉浸式多维可视化粒子、标量和矢量场，提升等离子体物理模拟数据的分析能力，用户评估验证了其在完成时间和可用性方面的优势。
2023-11-24 cs.GR
UrbanVR: An immersive analytics system for context-aware urban design
城市设计是一门高度可视化的学科，需要可视化来做出明智的决策。然而，传统的城市设计工具大多局限于缺乏直观意识的2D显示器上的表示。盔装显示器（HMD）的普及促进了消费级3D显示器的有前途的替代方案。我们引入UrbanVR，这是一个具有有效可视化和交互技术的沉浸式分析系统，使建筑师能够在虚拟现实（VR）环境中评估设计。具体来说，UrbanVR包含1）自定义平行坐标图（PCP）设计，以促进高维设计指标的定量评估，2）一系列以自我为中心的交互，包括手势交互和手势栏隐喻，以促进用户交互，以及3）视点优化算法，以帮助用户探索PCP进行定量分析，并探索感兴趣的对象进行上下文感知。通过定量的用户研究和定性的专家反馈，验证了系统的有效性和可行性。
2021-08-23 cs.GR cs.HC
Timeline Design Space for Immersive Exploration of Time-Varying Spatial 3D Data
时间线是表示和操作时态数据的常见可视化，从历史事件讲故事到动画创作。然而，时间轴可视化很少直接考虑时空3D数据（例如，网格或体积模型），其通常使用一次仅显示一个时间步的3D可视化器来探索。在本文中，利用虚拟现实增加的工作空间和3D交互功能，我们建议使用时间线的三维时间数据的可视化，以支持探索和分析。首先，我们提出了一个时间轴设计空间的3D时态数据扩展的时间轴设计空间提出的Battlemer等。建议的设计空间适应的规模，布局和表示尺寸，以考虑深度尺寸和如何3D时态数据可以被分割和结构化。在我们的方法中，引入了一个额外的维度，即支持，它进一步表征了可视化的3D维度。为了补充VR系统的设计空间和交互功能，我们讨论了3D时间轴高效可视化所需的交互方法。然后，为了评估3D时间轴的好处，我们进行了正式的评估，有两个主要目标：比较所提出的可视化与传统的可视化方法;探索用户如何与不同的3D时间轴设计进行交互。我们的研究结果表明，与时间相关的任务可以更舒适地使用时间轴来实现，并且对于需要分析周围时间背景的特定任务更有效。尽管不同时间轴设计之间的比较尚无定论，但参与者报告说，他们明显偏好不占用垂直空间的时间轴设计。最后，我们说明了使用的3D时间轴上的生物3D时间数据集的分析一个真实的用例。
2022-06-20 cs.GR cs.HC
Comparative Evaluation of 3D Reconstruction Methods for Immersive Visualization of Laboratory Objects
The University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本研究对比评估了摄影测量法、NeRF等四种三维重建方法，发现基于NeRF的方法生成的实验室物品全息模型保真度最高，可为AR/MR教育环境提供沉浸式学习对象的实用流程。
2026-08-28 cs.CV cs.GR cs.HC
Ascribe New Dimensions to Scientific Data Visualization with VR
Applied Math and Computational Research Division Lawrence Berkeley National Laboratory（应用数学与计算研究部伯克利国家实验室）
针对鼠标交互和2D可视化在复杂多尺度科学图像分析中的局限性，本文提出融合AI算法与科学图像的ASCRIBE-VR平台，支持多模态分析与沉浸式可视化，提升科学发现效率并弥合计算分析与人类直觉的差距。
2025-04-18 cs.AI cs.CE cs.GR
Virtual Lenses as Embodied Tools for Immersive Analytics
交互式镜头是以不同方式支持数据分析的有用工具。大多数现有的镜头设计用于2D可视化，并使用标准的鼠标和键盘交互操作。另一方面，研究虚拟镜头的新的3D沉浸式可视化环境是稀缺的。我们的工作旨在缩小文献中的这一差距。我们特别关注与镜头的互动。受现实世界中与放大镜的自然交互的启发，我们的镜头被设计为可抓握的工具，可以根据需要创建和移除，根据任务进行操作和参数化，甚至可以组合起来灵活地创建数据的新视图。我们实现了我们的想法在一个系统中的三维声纳数据的可视化分析。来自100多人的非正式用户反馈表明，设计的镜头交互很容易用于在声纳数据中找到隐藏的残骸。
2019-11-22 cs.GR cs.HC
Immersive ExaBrick: Visualizing Large AMR Data in the CAVE
针对VR环境下大型AMR数据实时渲染的难题，研究将ExaBrick框架作为插件集成到带OpenCOVER模块的COVISE系统中，实现了GPU支撑的高质量交互式AMR体可视化。
2023-10-04 cs.GR
Immersive Visual Analysis of Cello Bow Movements
我们提出了一个3D沉浸式可视化环境，用于分析大提琴演奏者的右手动作。为了实现这一点，我们跟踪大提琴弓的位置和方向并录制音频。由于运动主要发生在浅体积中，因此运动主要是二维的，我们使用第三维来编码时间。我们的概念进一步探讨了从运动和音频数据到空间和其他视觉属性的各种映射。我们与一位大提琴家密切合作，并计划在不久的将来通过一组大提琴家的用户研究来评估我们的原型。
2022-03-28 cs.GR cs.HC
Immersive Anatomical Scenes that Enable Multiple Users to Occupy the Same Virtual Space: A Tool for Surgical Planning and Education
3D建模正在成为一个发展良好的医学领域，但由于缺乏允许轻松利用生成的3D可视化的软件，其适用性可能受到限制。通过利用虚拟现实的最新进展，我们可以快速创建沉浸式解剖场景，并允许多个用户占据同一虚拟空间：即，通过本地或分布式网络。这种设置非常适合术前规划和教育，允许用户识别和研究感兴趣的结构。我在这里展示了这样一个管道上的广泛的解剖模型，并讨论其适用性的医疗领域和其未来的前景。3D建模正在成为一个发达的医学领域，但其适用性可能是有限的，由于缺乏软件，允许轻松利用生成的3D可视化。通过利用虚拟现实的最新进展，我们可以快速创建沉浸式解剖场景，并允许多个用户占据同一虚拟空间：即，通过本地或分布式网络。这种设置非常适合术前规划和教育，允许用户识别和研究感兴趣的结构。我在这里展示了这样一个管道上广泛的解剖模型，并讨论其适用性的医疗领域和未来的前景。
2020-11-05 cs.GR cs.HC
Augmented Reality with Hololens: Experiential Architectures Embedded in the Real World
报告和讨论了Microsoft Hololens增强/混合现实设备的早期实践经验，其总体目标是探索基本的3D可视化。测试了一系列用例，包括数据可视化和沉浸式数据空间，3D模型的原位可视化和全尺寸建筑形式可视化。最终，Hololens被发现提供了一个非凡的工具，可以从2D屏幕上的3D对象的传统可视化移动到嵌入真实世界的完全体验式3D可视化。
2016-10-13 cs.GR physics.data-an
Immersive Analysis: Enhancing Material Inspection of X-Ray Computed Tomography Datasets in Augmented Reality
本文提出一种增强现实框架，将XCT空间无损检测数据与真实物体叠加，实现现场材料分析，案例验证显示专家认可其直观性和交互性。
2024-04-19 cs.GR cs.HC
Advanced XR-Based 6-DOF Catheter Tracking System for Immersive Cardiac Intervention Training
Dalio Institute of Cardiovascular Imaging（达利奥心血管成像研究所）；Weill Cornell Medicine（威尔康奈尔医学院）；Englander Institute for Precision Medicine（英格兰德精准医学研究所）；Institute for Computational Biomedicine（计算生物医学研究所）
本文提出一种基于XR的6自由度导管追踪系统，利用正交相机和计算机视觉实现亚毫米级三维定位与滚动角实时测量，并通过Meta Quest 3集成沉浸式训练环境，实验表明三维可视化未必优于二维，但对术前培训与术中引导有重要价值。
2024-11-04 cs.AI cs.GR cs.HC
A Collaborative Extended Reality Prototype for 3D Surgical Planning and Visualization
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种协作扩展现实原型，用于3D手术规划和可视化，通过用户研究验证了其有效性并为未来医疗XR协作提供启示。
2026-01-27 cs.GR cs.HC cs.MM
scenery: Flexible Virtual Reality Visualization on the Java VM
今天的生命科学涉及大量和各种数据的计算分析，例如由最先进的显微镜获得的体积数据，或来自这些数据或模拟分析的网格数据。可视化通常是理解数据的第一步，也是构建和调试分析管道的关键部分。因此，重要的是，可视化可以快速原型化，以及开发或嵌入到完整的应用程序。为了更好地判断时空关系，沉浸式硬件，如虚拟或增强现实（VR/AR）耳机和相关的控制器正在成为宝贵的工具。在这项工作中，我们介绍了风景，一个灵活的VR/AR可视化框架的Java虚拟机，可以处理网格和大型体积数据，包含多个视图，时间点和颜色通道。scenery是免费的开源软件，可在所有主要平台上运行，并使用Vulkan或OpenGL渲染API。我们介绍风景的主要功能和示例应用程序，如其在VR显微镜中的使用，在生物医学图像分析软件斐济，或可视化基于代理的模拟。
2020-04-22 cs.GR
Exploring Cross-Reality Transitions between Projections and Head-Mounted Displays for Immersive Digital Art
Trinity College Dublin（都柏林三一学院）
该研究针对混合沉浸式艺术装置中的跨现实转换，通过24人被试内实验揭示了用户感知异构可视化环境转换的规律，并发布了开源Unreal Engine插件HUICRSync以支持相关设计。
2026-11-11 cs.GR cs.HC
Virtual reality for 3D histology: multi-scale visualization of organs with interactive feature exploration
虚拟现实（VR）以沉浸式和引人入胜的方式实现数据可视化，并且可以用于创建探索科学数据的方法。在这里，我们使用VR来可视化3D组织学数据，为数字病理学创建一个新的界面。我们的贡献包括整个器官和感兴趣的嵌入对象的3D建模，融合模型与相关的定量特征和全分辨率连续切片补丁，并实现虚拟现实应用。我们的VR应用程序本质上是多尺度的，涵盖两个代表不同细节范围的对象级别，即器官级别和子器官级别。此外，该应用程序包括几个数据层，包括测量的组织学图像层和从组织学计算的定量特征的多个表示。在这个交互式VR应用程序中，用户可以设置可视化属性，选择不同的样本和特征，并与各种对象进行交互。在这项工作中，我们使用具有前列腺癌肿瘤（感兴趣的子器官对象）的整个小鼠前列腺（器官水平）作为示例病例，并在VR模型中包括与肿瘤生物学相关的定量组织学特征。由于组织学数据的自动化处理，我们的应用程序可以很容易地用于可视化来自不同来源的其他器官和病理。我们的应用程序为生物医学研究目的的高分辨率，多维数据的探索提供了一种新的方式，也可用于教学和研究人员培训。
2020-03-24 cs.GR eess.IV
Realistic Volume Rendering with Environment-Synced Illumination in Mixed Reality
本文提出一种混合现实中环境同步照明的真实感体绘制框架，通过高效照明估计和时空去噪算法，提升直接体绘制的视觉质量与交互效率，实验证明优于现有MR方案。
2023-09-05 cs.GR
syGlass: Interactive Exploration of Multidimensional Images Using Virtual Reality Head-mounted Displays
West Virginia University（西弗吉尼亚大学）；Rockefeller Neuroscience Institute of West Virginia University（西弗吉尼亚大学洛克菲勒神经科学研究所）
对生物系统更深入了解的追求推动了越来越大的多维图像数据集的获取。在传统的可视化系统中，检查和操纵这种复杂性的数据是非常具有挑战性的。我们开发了syGlass，一个软件包，能够可视化大规模的体积数据与廉价的虚拟现实盔装显示器技术。这允许利用立体视觉来显著改善复杂3D结构的感知，并提供直接在3D中与数据的沉浸式交互。我们通过开发高度优化的数据流和体渲染管道来实现这一目标，这些管道在高达16 TB的数据集上进行了测试，并在虚拟现实GUI中提供了支持高级数据探索、注释和编目的工具。
2018-08-22 cs.CV cs.GR
Illustrations of non-Euclidean geometry in virtual reality
数学对象通常是抽象的，不太容易接近。插图和交互式可视化帮助学生和专业人士理解数学材料并使用它。这种方法特别适合几何对象。这类数学对象的一个例子是双曲几何空间。当欧几里德奠定了数学基础时，他的几何公式反映了人类所感知的周围空间。大约两千年来，人们一直不清楚是否存在其他几何空间，它们具有自己独特的数学属性，而不反映人类的日常感知。最后，在19世纪初，几位数学家描述了这样的几何，它们不遵循欧几里德规则，最初仅仅从纯数学的角度来看是有趣的。当数学家们通过复杂的公式集合来处理几何时，这些描述并不是很容易理解。在接下来的几十年里，可视化帮助了新的概念，这些插图的二维版本甚至出现在艺术作品中。此外，爱因斯坦相对论的某些方面为非欧几里德几何空间提供了应用。随着计算机图形学在20世纪末的兴起，三维插图可以用来探索这些几何形状及其非直观特性。然而，正如画布限制二维描绘一样，计算机显示器也限制这些三维可视化。只有虚拟现实最近才有可能呈现非欧几里德几何的沉浸式体验。在虚拟现实中，用户有全新的机会遇到周围欧几里得世界中不存在的几何属性和效果。
2020-09-10 cs.GR math.DG math.HO
