Antara: An Interactive 3D Volume Rendering and Visualization Framework
3D可视化的目标是为用户提供一个直观的界面,使他能够以交互的方式探索3D数据。勘探的目的是识别和分析异常或证明可视化有机结构的非异常。对于3D医疗数据,已使用磁共振图像(MRI)。为了创建3D模型,我们使用了直接体渲染技术。在输入的3D数据中,我们有$x, y$和$z$坐标以及每个体素的强度值。3D数据由体积射线投射用于从3D体积数据集计算2D投影。在光线投射中,使光线穿过体数据。每个体素与该射线的交互用于为体积中的每个体素分配RGB和alpha值。因此,我们能够使用3D数据生成感兴趣区域的3D模型。3D模型是交互式的,因此使我们能够通过调整传递函数来可视化3D体积的不同层。
2018-12-11 cs.GR
Neural Sparse Voxel Fields
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Facebook AI Research(Facebook人工智能研究院);National University of Singapore(新加坡国立大学)
使用经典的计算机图形技术对真实世界场景进行照片级真实感的自由视点绘制是具有挑战性的,因为它需要捕获详细的外观和几何模型的困难步骤。最近的研究表明,通过学习场景表示,隐式编码的几何形状和外观没有3D监督有希望的结果。然而,在实践中,现有的方法往往显示模糊渲染所造成的有限的网络容量或难以找到准确的交叉点的相机射线与场景几何。从这些表示合成高分辨率图像通常需要耗时的光线行进。在这项工作中,我们介绍了神经稀疏体素场(NSVF),一个新的神经场景表示快速和高质量的自由视点渲染。NSVF定义了一组组织在稀疏体素八叉树中的体素边界隐式字段,以对每个单元中的局部属性进行建模。我们逐步学习的基础体素结构与微分射线行进操作,从一组构成的RGB图像。利用稀疏体素八叉树结构,可以通过跳过不包含相关场景内容的体素来加速渲染新视图。我们的方法通常比现有技术(即NeRF(Mildenhall等人,2020)),同时实现更高质量的结果。此外,通过利用显式稀疏体素表示,我们的方法可以很容易地应用到场景编辑和场景合成。我们还演示了几个具有挑战性的任务,包括多场景学习,自由视点渲染的一个移动的人,和大规模的场景渲染。代码和数据可在我们的网站上获得:https://github.com/facebookresearch/NSVF。
2021-01-06 cs.CV cs.GR cs.LG
Efficient Animation of Sparse Voxel Octrees for Real-Time Ray Tracing
采用稀疏体素八叉树(SVO)作为用于光线追踪的模型格式的相当大的限制是八叉树数据结构固有地是静态的。由于遍历算法依赖于严格的八叉树层次结构,因此在光线追踪中实现SVO模型动画的实时的【形】性能一直是具有挑战性的,因为八叉树数据结构通常必须在每帧中重新生成。本文介绍了一种用于SVO格式指定的模型动画的新方法。该方法通过允许诸如旋转、平移和各向异性缩放的模型变换来区分自身,同时保留SVO模型的分层结构,使得它们可以被有效地遍历。由于其适度的内存占用和简单的算术运算,该方法非常适合在硬件中实现。动画SVO模型的软件光线追踪实现演示了当前一代桌面GPU上的实时的【形】性能,并表明与渲染静态SVO相比,动画方法不会显著减慢渲染过程。
2019-12-05 cs.GR
A Novel Image-centric Approach Towards Direct Volume Rendering
传递函数的生成是直接体渲染(DVR)中的一个基本问题. TF将体素映射到颜色和不透明度值以显示内部结构。现有的TF工具是复杂和不直观的用户谁更可能是医疗专业人员比计算机科学家。在本文中,我们提出了一种新的以图像为中心的TF生成方法,而不是复杂的工具,用户直接操纵体积数据生成DVR。通过仅呈现最具信息量的卷切片以供选择,进一步简化了用户的工作。基于所选部分,体素分类使用我们的新的稀疏非参数支持向量机分类器,它结合了局部和近全局分布信息的训练数据。体素类映射到美观和可区分的颜色和不透明度值使用调和颜色。在多个基准数据集上的实验结果和详细的用户调查表明了该方法的有效性。
2017-11-29 cs.GR cs.HC
Real-Time Global Illumination Using OpenGL And Voxel Cone Tracing
构建能够以交互式帧率复制全局光照模型的系统一直是计算机图形学研究人员面临的最棘手的难题之一。Cyril Crassin等人在2011年提出的体素锥跟踪利用包含环境直射光分量的体素化表示的mipmapped 3D纹理来在线性时间内跟踪漫射、镜面反射和遮挡锥,以外推朝向给定光感受器发射的表面片段间接光。似乎提供了一个良好的处理性能和物理保真度之间的平衡,本文研究了算法的理论方面的渲染方程的基础上,以及其实际的一面的上下文中的自我实现,基于OpenGL的变体。它是否可以与长期存在的替代方案(如光能传递和光线跟踪)竞争,将在后续评估中确定。
2021-04-01 cs.GR
ShaDDR: Interactive Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering
Simon Fraser University(西蒙菲莎大学);Amazon(亚马逊公司)
提出ShaDDR,一种基于示例的深度生成网络,通过多分辨率体素上采样和可微渲染对粗糙体素进行几何细节化与条件纹理生成,实现快速交互式高分辨率3D形状建模。
2023-11-22 cs.CV cs.GR cs.LG
Fast Dynamic Radiance Fields with Time-Aware Neural Voxels
HUST(华中科技大学);Huawei Inc.(华为公司);Technical University of Munich(慕尼黑工业大学)
神经辐射场(NeRF)在三维场景建模和合成新视图图像方面取得了巨大成功。然而,大多数以前的NeRF方法需要很多时间来优化一个单一的场景。显式数据结构,例如体素特征,显示出加速训练过程的巨大潜力。然而,体素特征应用于动态场景面临两大挑战,即建模时间信息和捕获不同尺度的点运动。我们提出了一个辐射场框架表示场景的时间感知体素功能,命名为TiNeuVox。一个微小的坐标变形网络被引入到模型的粗略运动轨迹和时间信息进一步增强的辐射网络。提出了一种多距离插值方法,并将其应用于体素特征,以模拟小运动和大运动。我们的框架显着加速动态辐射场的优化,同时保持高渲染质量。在合成和真实场景上进行经验评估。我们的TiNeuVox仅需8分钟和8 MB存储成本即可完成训练,同时显示出与以前的动态NeRF方法相似甚至更好的渲染性能。
2022-09-26 cs.CV cs.GR
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
School of CS, Huazhong University of Science and Technology(华中科技大学计算机学院);School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Huawei Inc.(华为公司)
针对动态场景渲染难兼顾效率与质量的问题,提出融合3D高斯与4D神经体素的4D-GS方法,通过分解式神经体素编码和轻量MLP预测高斯形变,实现高分辨率实时渲染且质量优于或持平SOTA。
2024-07-15 cs.CV cs.GR
Gabor Fields: Orientation-Selective Level-of-Detail for Volume Rendering
USI Lugano(USI卢加诺)
Gabor Fields 通过方向选择性混合 Gabor 内核实现连续频率过滤,提升体积渲染性能和效率。
2026-07-20 cs.CV cs.GR
Ref-DVGO: Reflection-Aware Direct Voxel Grid Optimization for an Improved Quality-Efficiency Trade-Off in Reflective Scene Reconstruction
KU Leuven(鲁汶大学);Ford Motor Company(福特汽车公司)
针对反射场景NeRF重建质量与效率难以兼顾的问题,提出Ref-DVGO方法,采用基于密度的网格表示与反射辐射度重参数化,实现了更优的质量-效率权衡,并探讨了相关影响因素。
2023-08-21 cs.CV cs.GR
STREAMINGGS: Voxel-Based Streaming 3D Gaussian Splatting with Memory Optimization and Architectural Support
1 School of Computer Science, Shanghai Jiao Tong University, 2 Academy for Engineering \& Technology, Fudan University
针对3DGS在移动设备上帧率低、内存流量冗余的问题,提出STREAMINGGS算法-架构协同设计,通过以内存为中心的流式渲染实现细粒度流水线,最高带来45.7倍加速和62.9倍节能。
2025-06-09 cs.AI cs.GR
Resolution Where It Counts: Hash-based GPU-Accelerated 3D Reconstruction via Variance-Adaptive Voxel Grids
Sapienza, University of Rome(罗马大学)
本文提出一种基于哈希的GPU加速3D重建方法,通过变异自适应体素网格实现高内存效率和实时可扩展性,相比传统方法提升了性能并保持重建精度。
2025-11-26 cs.GR
A Real-Time Rendering Method for Light Field Display
提出了一种在不牺牲精度和不依赖高性能硬件的前提下,通过光线跟踪和预存的体素-像素查找表(LUT),实现元素图像阵列(EIA)的实时的【形】生成方法。结合离线和在线两种工作流程,通过实验验证了该方法的有效性。
2022-04-27 cs.CV cs.GR
Poxel: Voxel Reconstruction for 3D Printing
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);ATR(高级电信研究所)
本文提出Poxel,一种面向光聚合物喷射3D打印的体素重建框架,通过去除视点依赖并转换颜色空间,实现高保真全彩物理模型。
2025-01-16 cs.CV cs.GR
Variable Basis Mapping for Real-Time Volumetric Visualization
University of Science and Technology of China(中国科学技术大学)
本文提出可变基映射方法,通过小波域分析将体数据转换为3DGS表示,从而实现高效实时体可视化。
2026-01-14 cs.GR
Fast Compressed Segmentation Volumes for Scientific Visualization
本文提出一种针对分割体数据的无损压缩技术,通过迭代细化编码小块标签及边界,结合全局频率表的rANS熵编码,实现高吞吐量(GB/s级)和约1%-3%的强压缩比,并支持GPU实时可视化与细节层次渲染。
2023-11-16 cs.GR
Six Ways to Draw Vangers with WebGPU: Real-Time Rendering of Editable Multi-Layer Height Fields
该研究在同一引擎中实现六种WebGPU渲染方法,以《Vangers》多层地形为对象测试,发现贪心TIN平均帧时最低,同时发布了相关引擎、工具及测量协议。
2026-08-19 cs.GR
Baking Neural Radiance Fields for Real-Time View Synthesis
Google Research(谷歌研究院)
诸如神经辐射场(NeRF)的神经体积表示已经成为用于学习从图像表示3D场景的引人注目的技术,其目标是从未观察到的视点渲染场景的照片级真实感图像。然而,NeRF的计算要求对于实时的【形】应用是禁止的:从经过训练的NeRF渲染视图需要查询多层感知器(MLP)数百次。我们提出了一种方法来训练NeRF,然后将其预计算和存储(即“烘焙”)为一种称为稀疏神经辐射网格(SNeRG)的新表示,该表示可以在商品硬件上实时的【形】渲染。为了实现这一点,我们引入了1)NeRF架构的重新表述,以及2)具有学习特征向量的稀疏体素网格表示。生成的场景表示保留了NeRF渲染精细几何细节和视图相关外观的能力,紧凑(每个场景平均不到90 MB),并且可以实时的【形】渲染(在笔记本电脑GPU上每秒超过30帧)。实际屏幕截图显示在我们的视频。
2021-03-26 cs.CV cs.GR
Inverse Rendering for High-Genus Surface Meshes from Multi-View Images
Futurewei Technologies(未来科技公司);Stony Brook University(石溪大学);Purdue University(普渡大学);University of Southern California(南加州大学);George Mason University(乔治·马歇尔大学)
本文提出了一种结合自适应V-循环重新网格化和重新参数化Adam优化器的方法,用于从多视角图像中逆向渲染高亏格表面网格,提升了拓扑和几何意识,有效改善了高亏格和低亏格表面的重建效果。
2025-11-24 cs.CV cs.GR
PreSem-Surf: RGB-D Surface Reconstruction with Progressive Semantic Modeling and SG-MLP Pre-Rendering Mechanism
College of Computer and Data Science, Fuzhou University, Fuzhou 350108, China(计算机与数据科学学院,福州大学,福州350108,中国)
本文提出PreSem-Surf方法,通过SG-MLP预渲染机制和渐进式语义建模,在RGB-D序列上实现高质量、快速的场景表面重建,并在多项指标上取得最佳性能。
2025-08-17 cs.AI cs.CV cs.GR
Real-time 3D Visualization of Radiance Fields on Light Field Displays
NVIDIA(英伟达)
针对光场显示需要多视角高分辨率渲染而辐射场计算密集的问题,提出统一高效框架,通过共享中间扫描平面单次合成密集光场视图,实现实时渲染(200+ FPS),速度提升22倍。
2026-06-08 cs.GR eess.IV
DreamPrinting: Volumetric Printing Primitives for High-Fidelity 3D Printing
提出DreamPrinting流程,将基于辐射度的体积表示转换为体积打印基元,结合Kubelka-Munk模型与分光光度校准实现颜色与半透明度的精确再现,在半透明结构打印上优于传统方法。
2025-03-02 cs.GR
DynaSurfGS: Dynamic Surface Reconstruction with Planar-based Gaussian Splatting
Fudan University(复旦大学);Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
DynaSurfGS通过结合4D神经体素与基于平面的Gaussian Splatting,并利用法线正则化和ARAP约束,实现了动态场景的高保真表面重建与逼真渲染。
2024-08-26 cs.CV cs.GR
Stochastic Texture Filtering
Shiokara–Engawa Research(Shiokara–Engawa研究院);NVIDIA(英伟达)
该研究提出在光照计算后进行纹理过滤,并采用随机采样纹理过滤器的方法,以更精确地求解渲染方程,并在实时和离线渲染中实现高效高质量的纹理过滤。
2023-05-15 cs.CV cs.GR