Voxlines: Streamline Transparency through Voxelization and View-Dependent Line Orders
针对大型纤维束成像数据中透明流线渲染的性能瓶颈,提出基于体素化和逐体素缓存视图相关线条顺序的近似顺序无关透明度方法,以交互式揭示深层脑结构。
2023-08-16 cs.GR
Antara: An Interactive 3D Volume Rendering and Visualization Framework
3D可视化的目标是为用户提供一个直观的界面,使他能够以交互的方式探索3D数据。勘探的目的是识别和分析异常或证明可视化有机结构的非异常。对于3D医疗数据,已使用磁共振图像(MRI)。为了创建3D模型,我们使用了直接体渲染技术。在输入的3D数据中,我们有$x, y$和$z$坐标以及每个体素的强度值。3D数据由体积射线投射用于从3D体积数据集计算2D投影。在光线投射中,使光线穿过体数据。每个体素与该射线的交互用于为体积中的每个体素分配RGB和alpha值。因此,我们能够使用3D数据生成感兴趣区域的3D模型。3D模型是交互式的,因此使我们能够通过调整传递函数来可视化3D体积的不同层。
2018-12-11 cs.GR
Neural Sparse Voxel Fields
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Facebook AI Research(Facebook人工智能研究院);National University of Singapore(新加坡国立大学)
使用经典的计算机图形技术对真实世界场景进行照片级真实感的自由视点绘制是具有挑战性的,因为它需要捕获详细的外观和几何模型的困难步骤。最近的研究表明,通过学习场景表示,隐式编码的几何形状和外观没有3D监督有希望的结果。然而,在实践中,现有的方法往往显示模糊渲染所造成的有限的网络容量或难以找到准确的交叉点的相机射线与场景几何。从这些表示合成高分辨率图像通常需要耗时的光线行进。在这项工作中,我们介绍了神经稀疏体素场(NSVF),一个新的神经场景表示快速和高质量的自由视点渲染。NSVF定义了一组组织在稀疏体素八叉树中的体素边界隐式字段,以对每个单元中的局部属性进行建模。我们逐步学习的基础体素结构与微分射线行进操作,从一组构成的RGB图像。利用稀疏体素八叉树结构,可以通过跳过不包含相关场景内容的体素来加速渲染新视图。我们的方法通常比现有技术(即NeRF(Mildenhall等人,2020)),同时实现更高质量的结果。此外,通过利用显式稀疏体素表示,我们的方法可以很容易地应用到场景编辑和场景合成。我们还演示了几个具有挑战性的任务,包括多场景学习,自由视点渲染的一个移动的人,和大规模的场景渲染。代码和数据可在我们的网站上获得:https://github.com/facebookresearch/NSVF。
2021-01-06 cs.CV cs.GR cs.LG
Efficient Animation of Sparse Voxel Octrees for Real-Time Ray Tracing
采用稀疏体素八叉树(SVO)作为用于光线追踪的模型格式的相当大的限制是八叉树数据结构固有地是静态的。由于遍历算法依赖于严格的八叉树层次结构,因此在光线追踪中实现SVO模型动画的实时的【形】性能一直是具有挑战性的,因为八叉树数据结构通常必须在每帧中重新生成。本文介绍了一种用于SVO格式指定的模型动画的新方法。该方法通过允许诸如旋转、平移和各向异性缩放的模型变换来区分自身,同时保留SVO模型的分层结构,使得它们可以被有效地遍历。由于其适度的内存占用和简单的算术运算,该方法非常适合在硬件中实现。动画SVO模型的软件光线追踪实现演示了当前一代桌面GPU上的实时的【形】性能,并表明与渲染静态SVO相比,动画方法不会显著减慢渲染过程。
2019-12-05 cs.GR
A Novel Image-centric Approach Towards Direct Volume Rendering
传递函数的生成是直接体渲染(DVR)中的一个基本问题. TF将体素映射到颜色和不透明度值以显示内部结构。现有的TF工具是复杂和不直观的用户谁更可能是医疗专业人员比计算机科学家。在本文中,我们提出了一种新的以图像为中心的TF生成方法,而不是复杂的工具,用户直接操纵体积数据生成DVR。通过仅呈现最具信息量的卷切片以供选择,进一步简化了用户的工作。基于所选部分,体素分类使用我们的新的稀疏非参数支持向量机分类器,它结合了局部和近全局分布信息的训练数据。体素类映射到美观和可区分的颜色和不透明度值使用调和颜色。在多个基准数据集上的实验结果和详细的用户调查表明了该方法的有效性。
2017-11-29 cs.GR cs.HC
Real-Time Global Illumination Using OpenGL And Voxel Cone Tracing
构建能够以交互式帧率复制全局光照模型的系统一直是计算机图形学研究人员面临的最棘手的难题之一。Cyril Crassin等人在2011年提出的体素锥跟踪利用包含环境直射光分量的体素化表示的mipmapped 3D纹理来在线性时间内跟踪漫射、镜面反射和遮挡锥,以外推朝向给定光感受器发射的表面片段间接光。似乎提供了一个良好的处理性能和物理保真度之间的平衡,本文研究了算法的理论方面的渲染方程的基础上,以及其实际的一面的上下文中的自我实现,基于OpenGL的变体。它是否可以与长期存在的替代方案(如光能传递和光线跟踪)竞争,将在后续评估中确定。
2021-04-01 cs.GR
ShaDDR: Interactive Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering
Simon Fraser University(西蒙菲莎大学);Amazon(亚马逊公司)
提出ShaDDR,一种基于示例的深度生成网络,通过多分辨率体素上采样和可微渲染对粗糙体素进行几何细节化与条件纹理生成,实现快速交互式高分辨率3D形状建模。
2023-11-22 cs.CV cs.GR cs.LG
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
School of CS, Huazhong University of Science and Technology(华中科技大学计算机学院);School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Huawei Inc.(华为公司)
针对动态场景渲染难兼顾效率与质量的问题,提出融合3D高斯与4D神经体素的4D-GS方法,通过分解式神经体素编码和轻量MLP预测高斯形变,实现高分辨率实时渲染且质量优于或持平SOTA。
2024-07-15 cs.CV cs.GR
Gabor Fields: Orientation-Selective Level-of-Detail for Volume Rendering
USI Lugano(USI卢加诺)
Gabor Fields 通过方向选择性混合 Gabor 内核实现连续频率过滤,提升体积渲染性能和效率。
2026-07-20 cs.CV cs.GR
Ref-DVGO: Reflection-Aware Direct Voxel Grid Optimization for an Improved Quality-Efficiency Trade-Off in Reflective Scene Reconstruction
KU Leuven(鲁汶大学);Ford Motor Company(福特汽车公司)
针对反射场景NeRF重建质量与效率难以兼顾的问题,提出Ref-DVGO方法,采用基于密度的网格表示与反射辐射度重参数化,实现了更优的质量-效率权衡,并探讨了相关影响因素。
2023-08-21 cs.CV cs.GR
Resolution Where It Counts: Hash-based GPU-Accelerated 3D Reconstruction via Variance-Adaptive Voxel Grids
Sapienza, University of Rome(罗马大学)
本文提出一种基于哈希的GPU加速3D重建方法,通过变异自适应体素网格实现高内存效率和实时可扩展性,相比传统方法提升了性能并保持重建精度。
2025-11-26 cs.GR
PTIR-GS: Path-Traced Inverse Rendering with Global Illumination in 3D Gaussian Fields
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学)
提出一种无溅射的路径追踪逆渲染框架,在统一光线追踪管线中定义前向光传输和反向梯度传播,实现3D高斯场的全局光照逆渲染,提升材质反演和渲染质量。
2026-07-02 cs.GR
NaRPA: Navigation and Rendering Pipeline for Astronautics
Texas A&M University(德克萨斯农工大学)
本文提出航天导航与渲染管线NaRPA,利用光线追踪生成虚拟数据集,模拟视觉传感器和测速激光雷达,以支持航天视觉导航算法的设计、测试与验证。
2026-09-22 cs.CV cs.GR cs.RO
Spectral Rendering Without a Spectral Renderer: Learned Spectral Codes for RGB Pipelines
University of York(约克大学)
本文提出Hadamard潜在码,通过紧凑的RGB渲染操作实现高效光谱渲染,减少计算成本并提升颜色准确性。
2026-09-22 cs.CV cs.GR
Wavelet-Space Representations for Neural Super-Resolution in Rendering Pipelines
Department of Electronics and Computer Engineering, Thapathali Campus, Tribhuwan University(电子与计算机工程系,塔帕塔利校区,特里布文大学)
本研究将平稳小波变换(SWT)引入渲染管线的神经超分辨率任务,通过预测小波系数分离高低频分量,在仅增加少量开销的情况下提升重建保真度与感知质量,为高质量实时渲染提供了高效新方案。
2025-09-20 cs.CV cs.GR
EasyPBR: A Lightweight Physically-Based Renderer
现代渲染库提供了前所未有的真实感,在商用硬件上生成实时照片级逼真的3D图形。然而,视觉保真度的代价是增加了复杂性和使用难度,许多渲染参数需要对管道有深入的了解。我们提出EasyPBR作为替代渲染库,在易用性和视觉质量之间取得平衡。EasyPBR由一个延迟渲染器组成,该渲染器在基于物理的渲染中实现了最新的最先进的方法。它提供了一个易于使用的Python和C++界面,允许仅通过几行代码或直接通过图形用户界面创建高质量的图像。用户可以选择完全控制渲染管道或让EasyPBR根据当前场景合成自动推断最佳参数。EasyPBR库可以帮助社区更轻松地利用当前GPU的功能来创建逼真的图像。然后,这些可以用作深度学习的合成数据或用于创建用于学术目的的动画。
2020-12-06 cs.GR
VR-Pipe: Streamlining Hardware Graphics Pipeline for Volume Rendering
Seoul National University(首尔国立大学)
本研究提出VR-Pipe,通过硬件原生支持提前终止和多粒度瓦片分箱与四边形合并,精简图形管线以加速基于3D高斯泼溅的体渲染,实现高达2.78倍性能提升。
2025-02-24 cs.AR cs.CV cs.GR
GAMORRA: An API-Level Workload Model for Rasterization-based Graphics Pipeline Architecture
需要帧渲染时间估计或动态频率缩放的应用程序的性能依赖于这些应用程序中使用的工作负载模型的准确性。现有的模型在其核心模型中缺乏足够的准确性。因此,它们需要对目标应用程序或硬件进行更改,以产生准确的结果。本文介绍了一种基于栅格化的图形应用编程接口(API)流水线,命名为GAMORRA,它的工作负载和复杂性的基础上,每个阶段的流水线的数学工作量模型。首先,GAMORRA根据流水线的操作复杂度和输入数据大小对流水线的各个阶段进行建模。然后,将计算出的各阶段的工作量作为解释变量输入到多元线性回归(MLR)模型中。提出了一种混合离线/在线训练方案,以及训练模型。一套基准测试也被设计来调整模型参数的基础上的目标系统的性能。实验在Direct 3D 11和两个不同的渲染平台上进行,将GAMORRA与自回归(AR)模型、帧复杂度模型(FCM)和基于频率的(FRQ)模型进行比较。实验表明,帧渲染时间估计的平均误差为1.27 ms(9.45%),而FCM的平均误差为1.87 ms(13.23%),这是三种方法中最好的方法。然而,与FCM相比,这是以时间复杂度增加0.54 ms(4.58%)为代价的。此外,与FCM相比,GAMMORA将帧时间低估提高了1.1%。
2022-04-26 cs.GR
Uni-Render: A Unified Accelerator for Real-Time Rendering Across Diverse Neural Renderers
Georgia Institute of Technology(佐治亚理工学院)
针对神经渲染缺乏通用算法和专用加速器导致难以实时渲染的问题,提出统一加速器Uni-Render,基于可重构架构动态调整数据流,支持多种典型及混合渲染管线,首次在边缘设备上实现跨代表性管线的实时渲染。
2025-03-31 cs.AR cs.CV cs.GR
Interactive Sound Rendering on Mobile Devices using Ray-Parameterized Reverberation Filters
我们提出了一个新的声音渲染管道,能够产生合理的声音传播效果的交互式动态场景。我们的方法结合了基于射线跟踪的声音传播与混响滤波器,使用强大的自动混响参数估计,是由脉冲响应计算在一个低的采样率。我们提出了一个统一的球谐表示的传播和可听化模块中的方向性声音,并使用此配方执行一个恒定数量的卷积运算的任何数量的声源,同时渲染空间音频。与以前的几何声学方法相比,我们实现了一个数量级以上的加速,同时提供类似的音频高质量的卷积渲染算法。因此,我们的方法是第一个能够在商品智能手机上呈现合理的动态声音传播效果。
2018-03-01 cs.GR
Differentiable Iterated Function Systems
Colorado College(科罗拉多学院)
本文提出可微迭代函数系统渲染管线,通过梯度下降优化生成不动点匹配目标图像的 IFS 分形,以解决逆 IFS 问题,并分析优化陷阱与最佳实践。
2024-06-10 cs.CV cs.GR
MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures
Google Research(谷歌研究院);Simon Fraser University(西蒙菲莎大学);University of Toronto(多伦多大学)
本文提出 MobileNeRF,将神经辐射场表示为带纹理多边形,利用传统光栅化管线与片段着色器中的小型 MLP 实现高效渲染,在手机等平台上达到交互式帧率。
2023-05-30 cs.CV cs.GR cs.LG
Modular Primitives for High-Performance Differentiable Rendering
NVIDIA(英伟达);Aalto University(阿尔托大学)
我们提出了一个模块化的微分渲染器的设计,产生性能优于以前的方法,利用现有的,高度优化的硬件图形管道。我们的设计支持现代图形流水线中的所有关键操作:栅格化大量三角形,属性插值,过滤纹理查找,以及用户可编程的着色和几何处理,所有这些都是高分辨率的。我们的模块化原语允许直接在PyTorch或TensorFlow等自动微分框架内构建自定义的高性能图形管道。作为一个激励性的应用程序,我们制定了面部表现捕捉作为一个逆渲染问题,并表明它可以有效地解决使用我们的工具。我们的研究结果表明,这种简单而直接的方法实现了渲染结果和参考图像之间的良好几何对应。
2020-11-06 cs.CV cs.GR cs.LG
ControlGS: Conditioning Neural Gaussians for Downstream-Processing-Aware XR Rendering
提出ControlGS,一种面向XR的神经高斯渲染流程,将渲染输出与人眼间的下游处理(如后处理和显示光学)建模并整合进优化目标,并根据下游参数动态生成高斯图元,以提升端到端视觉质量,实验验证其在不同骨干和数据集上持续改善且开销极小。
2026-09-29 cs.CV cs.GR
Deferred Neural Rendering: Image Synthesis using Neural Textures
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
现代计算机图形管道可以以卓越的视觉质量合成图像;然而,它需要定义良好的高质量3D内容作为输入。在这项工作中,我们探索使用不完美的3D内容,例如,从具有噪声和不完整的表面几何形状的摄影测量重建中获得,同时仍然旨在产生照片级逼真的(重新)渲染。为了解决这个具有挑战性的问题,我们引入了延迟神经渲染,一种新的图像合成范例,将传统的图形管道与可学习的组件相结合。具体来说,我们提出了神经纹理,这是学习的特征图,作为场景捕捉过程的一部分进行训练。与传统纹理类似,神经纹理被存储为3D网格代理之上的映射;然而,高维特征映射包含更多的信息,这些信息可以由我们新的延迟神经渲染管道来解释。神经纹理和延迟神经渲染器都是端到端训练的,即使原始3D内容不完美,我们也能合成照片般逼真的图像。与传统的黑盒2D生成神经网络相比,我们的3D表示为我们提供了对生成输出的显式控制,并允许广泛的应用领域。例如,我们可以合成记录的3D场景的时间一致的视频重新渲染,因为我们的表示本质上嵌入在3D空间中。通过这种方式,神经纹理可以用于以实时速率在静态和动态环境中连贯地重新渲染或操纵现有视频内容。我们展示了我们的方法在几个实验中的有效性,新的视图合成,场景编辑和面部重演,并比较国家的最先进的方法,利用标准的图形管道以及传统的生成神经网络。
2019-04-28 cs.CV cs.GR
Capture and Interact: Rapid 3D Object Acquisition and Rendering with Gaussian Splatting in Unity
IMDEA Networks Institute(IMDEA网络研究所)
提出一种利用3D高斯泼溅的端到端流水线,通过手机扫描、云端重建和Unity交互渲染,实现快速3D物体获取与实时可视化,平均150fps,处理约10分钟。
2025-10-08 cs.CV cs.GR
DISTWAR: Fast Differentiable Rendering on Raster-based Rendering Pipelines
University of Toronto(多伦多大学)
本文提出DISTWAR软件方法,通过warp级归约与SM/L2原子单元协同调度加速可微渲染训练中的原子操作,在光栅化渲染负载上实现平均2.44倍、最高5.7倍加速。
2023-12-01 cs.CV cs.GR cs.PF
Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering
Sea AI Lab(Sea人工智能实验室);University of Washington(华盛顿大学);National University of Singapore(新加坡国立大学)
在这项工作中,我们开发了一个通用的和有效的神经辐射场(NeRF)管道高保真自由视点人体合成稀疏相机视图的设置下。现有的基于NeRF的方法虽然可以合成相当逼真的人体细节,但当输入具有自遮挡时,特别是对于稀疏视图下看不见的人,它们往往会产生较差的结果。此外,这些方法往往需要大量的采样点进行渲染,这导致效率低,限制了它们的实际应用。为了应对这些挑战,我们提出了一个几何引导的渐进NeRF(GP-NeRF)。特别是,为了更好地解决自遮挡,我们设计了一种几何引导的多视图特征集成方法,利用估计的几何之前,从输入视图中整合不完整的信息,并构建一个完整的几何体的目标人体。同时,为了提高绘制效率,引入了基于几何引导的渐进式绘制流水线,利用几何特征量和预测密度值,逐步减少采样点数,加快绘制速度。在ZJU-MoCap和THUman数据集上的实验表明,我们的方法在多个泛化设置上的性能明显优于现有技术,而通过应用我们高效的渐进式渲染管道,时间成本降低了70%以上。
2022-03-30 cs.CV cs.GR cs.LG
3D Printing Magnetophoretic Displays
本文提出一种利用FDM 3D打印机打印磁泳显示器的流程,通过向体素单元注入油和铁粉混合物,使打印物体外观可被外部磁源编辑,并展示了多种应用实例。
2023-08-12 cs.GR cs.HC
XPR: An Extensible Cross-Platform Point-Based Differentiable Renderer
University of Toronto(多伦多大学);Vector Institute(向量研究所);Intel(英特尔);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
提出XPR框架,通过高级编程接口和模块化渲染管线,支持用少量代码实现3DGS等新方法,并利用XLA编译器跨平台运行。
2026-06-11 cs.CV cs.GR cs.PF
Self-Calibrating, Fully Differentiable NLOS Inverse Rendering
KAIST(韩国科学技术院);Universidad de Zaragoza - I3A(萨拉戈萨大学-I3A研究所)
本文提出完全可微的端到端NLOS逆向渲染流水线,利用可微瞬态渲染和梯度下降自校准成像参数,从而在强噪声下稳健重建隐藏场景的几何与反照率。
2023-09-26 cs.CV cs.GR eess.IV
RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination
State Key Lab of CAD & CG, Zhejiang University(CAD与CG国家重点实验室,浙江大学);Microsoft Research Asia(微软亚洲研究院);College of William & Mary(威廉姆斯堡学院)
提出RenderFormer,一种基于transformer的两阶段神经渲染管线,将渲染视为序列到序列转换,直接从三角形网格生成含全局光照的图像,无需逐场景训练。
2025-05-28 cs.CV cs.GR cs.LG