HiPR: Hierarchical Progressive Rendering for Immediate Feedback
University of Utah（犹他大学）
提出分层渐进渲染算法HiPR，通过按优先级更新像素实现交互式路径追踪的即时反馈，同时最终收敛到无偏结果。
2026-06-26 cs.GR
Neural Scene Baking for Permutation Invariant Transparency Rendering with Real-time Global Illumination
提出一种神经渲染管线，通过分离G缓冲区并设计置换不变混合函数，实现透明表面后的准确渲染与实时全局照明。
2024-05-29 cs.GR
Cinema Darkroom: A Deferred Rendering Framework for Large-Scale Datasets
本文提出了一个框架，充分利用延迟渲染方法的优势，大规模数据集的交互式可视化。几何缓冲区（G-Buffers）是原位生成和存储的，着色是在基于图像的交互式渲染前端中事后执行的。这种解耦的框架有两个主要优点。首先，G-Buffer只需要计算和存储一次-这对应于渲染管道中最昂贵的部分。第二，存储的G-Buffer可以稍后在基于图像的渲染前端中使用，该前端使用户能够交互式地调整各种可视化参数-例如应用的颜色映射或环境遮挡的强度-其中合适的选择通常是先验未知的。本文演示了Cinema Darkroom在几个真实世界数据集上的使用，突出了CD有效地将数据集的复杂性和大小与其可视化解耦的能力。
2020-10-08 cs.GR
An Image-Space Split-Rendering Approach to Accelerate Low-Powered Virtual Reality
虚拟现实系统为科学研究和消费者享受提供了许多机会;然而，它们比传统的桌面应用程序要求更高，并且需要有线连接到桌面以享受最高质量。存在不连接到计算机的独立选项，但它们由移动GPU提供动力，与桌面渲染相比，移动GPU提供的动力有限。改进移动设备上的性能的替代方法使用服务器渲染来为客户端渲染帧，并将客户端主要视为显示器。然而，当前的流传输解决方案由于处理和联网要求以及客户端的未充分利用而在很大程度上遭受高端的端到端延迟。我们提出了一种网络分割渲染方法，以实现更快的端到端的图像呈现速率在移动终端，同时保持图像质量。我们提出的解决方案在服务器端GPU和移动客户端之间使用图像空间分工，并实现了比仅客户端渲染和使用瘦客户端方法（主要依赖于服务器）更快的运行时间。
2023-03-28 cs.GR
Differentiable Direct Volume Rendering
我们提出了一个可微的体渲染解决方案，提供了可微的所有连续参数的体渲染过程。这种可微分渲染器用于将参数转向具有特定问题目标函数的最优解的设置。我们量身定制的方法，体渲染，通过实施一个恒定的内存足迹，通过分析反演的混合功能。这使得它独立于通过体积的采样步骤的数量，并便于考虑小规模的变化。该方法形成的基础上，自动优化的外部参数的渲染过程和体积密度场本身。我们展示了它的使用自动视点选择使用微分熵作为目标，并优化传递函数从给定体积的渲染图像。每体素密度的优化以两种不同的方式解决：首先，我们模仿逆断层扫描和优化的3D密度场的图像使用的吸收模型。这种简化使比较代数重建技术和国家的最先进的可微路径示踪剂。其次，我们介绍了一种新的方法，通过任意的传递函数的发射-吸收模型与后阴影从图像的层析重建。
2021-07-27 cs.GR
Augmenting Image Warping-Based Remote Volume Rendering with Ray Tracing
我们提出了一种基于图像扭曲的远程渲染技术，用于体积，并行的渲染和显示阶段。我们的工作建立在以前的工作，使用光线投射在客户端上的体积进行采样，并根据一些启发式重建z值。然后，颜色和深度缓冲区被发送到客户端，客户端通过根据当前相机位置扭曲深度图像，直到从服务器接收到新数据，将深度图像重新用作后续帧的替身。我们通过使用光线追踪实现客户端渲染器来增强该方法。通过将像素贡献表示为球体，这使我们能够有效地根据与查看者的距离来改变它们的足迹，我们发现当应用于体积数据集时，这比基于点的光栅化提供了更好的结果。
2020-06-25 cs.GR
Foveated Path Tracing with Configurable Sampling and Block-Based Rendering
本文提出动态注视点路径追踪技术，通过降低周边区域采样率，在4K复杂场景中实现最高25倍性能提升，并利用结构化误差图验证了其感知有效性。
2025-08-28 cs.GR
Fast Monte Carlo Rendering via Multi-Resolution Sampling
Portland State University（波特兰州立大学）；Intel（英特尔）
蒙特卡罗绘制算法被广泛用于产生真实感计算机图形图像。然而，这些算法需要对每个像素的大量光线进行采样，以实现适当的全局光照，因此需要大量的计算。在本文中，我们提出了一种混合绘制方法，以加快蒙特卡罗绘制算法。我们的方法首先生成两个版本的渲染：一个是低分辨率和高采样率（LRHS），另一个是高分辨率和低采样率（HRLS）。然后，我们开发了一个深度卷积神经网络，将这两个渲染融合成一个高质量的图像，就好像它是以高分辨率和高采样率渲染的一样。具体来说，我们制定这个融合任务作为一个超分辨率的问题，从低分辨率输入（LRHS），辅助HRLS渲染生成一个高分辨率渲染。HRLS渲染提供了对于任何超分辨率方法都难以从LRHS恢复的关键高频细节。我们的实验表明，我们的混合渲染算法比最先进的蒙特卡洛去噪方法要快得多，同时在我们自己的BCR数据集和Gharbi数据集上进行测试时，渲染出高质量的图像。\url{https://github.com/hqqxyy/msspl}
2021-06-24 cs.CV cs.GR
Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images
Technical University of Munich（慕尼黑工业大学）
体渲染是三维标量数据网格可视化的重要技术，通常用于科学和医学图像数据。直接体渲染（DVR）是一种成熟的高效体数据绘制算法。神经渲染使用深度神经网络来解决逆渲染任务，并应用类似于DVR的技术。然而，它还没有被成功地证明为科学体数据的渲染。在这项工作中，我们介绍了深度直接体渲染（DeepDVR），DVR的推广，允许深度神经网络集成到DVR算法。我们在潜在的颜色空间中概念化渲染，从而能够使用深度架构来学习用于特征提取和分类的隐式映射，取代显式特征设计和手工制作的传递函数。我们的推广服务，以获得新的体渲染架构，可以直接从图像空间中的例子端到端训练，避免了需要手动定义和微调多维传递函数，同时提供卓越的分类强度。我们进一步引入了一种新的步长退火方案来加速DeepDVR模型的训练，并在一组实验中验证了其有效性。我们在两个示例用例上验证了我们的架构：（1）从单个体积的手动调整参考图像中学习优化渲染，以及（2）学习高级可视化概念，如着色和语义着色，这些概念可以推广到不可见的体积数据。我们发现，具有DVR管道显式建模的深度体渲染架构有效地支持从目标图像中端到端学习科学体渲染任务。
2021-06-09 cs.GR cs.LG
Neural Lumigraph Rendering
Raxium（拉克瑟姆公司）；Stanford University（斯坦福大学）
新视点合成是一个具有挑战性的不适定逆绘制问题。神经渲染技术最近已经实现了这一任务的照片级逼真的图像质量。然而，现有技术（SOTA）神经体渲染方法训练缓慢并且需要数分钟的推断（即，渲染）时间以获得高图像分辨率。我们采用高容量的神经场景表示与定期激活，共同优化隐式表面和辐射场的场景监督专门与构成的2D图像。我们的神经渲染管道加速SOTA神经体渲染约两个数量级，我们的隐式表面表示是独一无二的，允许我们导出一个网格与视图相关的纹理信息。因此，与其他隐式表面表示一样，我们的方法与传统的图形管道兼容，实现了实时渲染速率，同时实现了与其他表面方法相比前所未有的图像质量。我们使用现有的数据集以及使用自定义多相机钻机捕获的高质量3D人脸数据来评估我们方法的质量。
2021-03-22 cs.CV cs.GR
Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool
Google Research（谷歌研究院）
我们提出了一个神经渲染框架，将体素化场景映射到高质量的图像。高度纹理化的对象和场景元素的相互作用，现实地呈现我们的方法，尽管有一个粗略的表示作为输入。此外，我们的方法允许可控渲染：输入中的几何和外观修改准确地传播到输出。用户可以移动，旋转和缩放对象，更改其外观和纹理或修改灯光的位置，所有这些编辑都在最终渲染中表示。我们证明了我们的方法的有效性，通过渲染不同外观的场景，从单一的颜色每个对象复杂的，高频纹理。我们表明，我们的重新渲染网络可以生成非常详细的图像，精确地表示输入场景的外观。我们的实验表明，与替代方案相比，我们的方法实现了更准确的图像合成结果，并且还可以处理低体素网格分辨率。最后，我们展示了我们的神经渲染框架如何从真实图像和不同的类集合中捕获和忠实地渲染对象。
2020-04-06 cs.CV cs.GR
Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable Rendering Method
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京国家信息科学与技术研究中心（BNRist））；Cardiff University（卡迪夫大学）
针对多视图逆渲染难题，提出结合近似与物理可微渲染的两阶段混合方法，在保证重建质量的同时提升了效率。
2023-08-19 cs.CV cs.GR
A Generative Model for Volume Rendering
University of Arizona（亚利桑那大学）
我们提出了一种技术来合成和分析体绘制图像使用生成模型。我们使用生成对抗网络（GAN）框架从大量体渲染中计算模型，条件是（1）视点和（2）不透明度和颜色的传递函数。我们的方法有利于任务的体积分析，是具有挑战性的，以实现使用现有的渲染技术，如光线投射或基于纹理的方法。我们展示了如何通过量化输出图像中的预期变化来指导用户进行传递函数编辑。此外，生成模型将传递函数转换为专门设计用于合成体绘制图像的视图不变潜在空间。我们直接使用这个空间进行渲染，使用户能够探索体渲染图像的空间。由于我们的模型是独立的体渲染过程的选择，我们展示了如何分析体绘制图像产生的直接和全局光照，各种体积数据集。
2019-07-16 cs.CV cs.GR
Shape, Light, and Material Decomposition from Images using Monte Carlo Rendering and Denoising
NVIDIA（英伟达）
可微分渲染的最新进展使得能够从多视图图像中高质量地重建3D场景。大多数方法依赖于简单的渲染算法：预过滤的直接照明或学习的辐照度表示。我们表明，一个更现实的阴影模型，结合光线追踪和蒙特卡罗集成，大大提高了分解成形状，材料和照明。不幸的是，蒙特卡罗积分提供了显着的噪声估计，即使在大样本计数，这使得基于梯度的逆渲染非常具有挑战性。为了解决这个问题，我们将多个重要性采样和去噪在一个新的逆渲染流水线。这大大提高了收敛性，并在低样本数下实现了基于梯度的优化。我们提出了一种有效的方法来联合重建几何（显式三角形网格），材料和照明，这大大提高了材料和光分离相比，以前的工作。我们认为，去噪可以成为高质量的逆渲染流水线的一个组成部分。
2022-10-04 cs.CV cs.GR
Uni-Render: A Unified Accelerator for Real-Time Rendering Across Diverse Neural Renderers
Georgia Institute of Technology（佐治亚理工学院）
针对神经渲染缺乏通用算法和专用加速器导致难以实时渲染的问题，提出统一加速器Uni-Render，基于可重构架构动态调整数据流，支持多种典型及混合渲染管线，首次在边缘设备上实现跨代表性管线的实时渲染。
2025-03-31 cs.AR cs.CV cs.GR
A Simple Approach to Differentiable Rendering of SDFs
Cornell University（康奈尔大学）；EPFL（洛桑联邦理工学院）
本文提出一种基于SDF的简单可微渲染算法，通过将边界积分扩展为薄带区域，以接受非零偏差换取低方差和架构简洁性，在端到端逆渲染任务中取得有竞争力或更优的结果。
2024-06-07 cs.CV cs.GR
Differentiable Surface Rendering via Non-Differentiable Sampling
Google Research（谷歌研究院）；MIT（麻省理工学院）
我们提出了一种方法，可微分渲染的3D表面，支持显式和隐式表示，提供衍生物在遮挡边界，是快速和简单的实现。该方法首先使用不可微光栅化对表面进行采样，然后应用可微的、深度感知的点溅射来产生最终图像。我们的方法不需要可微的网格化或光栅化步骤，使其有效的大型3D模型和适用于从隐式表面定义提取的等值面。我们证明了我们的方法的有效性隐式，网格和参数化表面为基础的逆绘制和神经网络训练应用程序。特别是，我们首次展示了从神经辐射场（NeRF）中提取的等值面的高效、可微分渲染，并展示了基于表面而不是基于体积的NeRF渲染。
2021-08-10 cs.CV cs.GR
BG-Triangle: Bézier Gaussian Triangle for 3D Vectorization and Rendering
KU Leuven（鲁汶大学）；ShanghaiTech University（上海科技大学）；Cellverse Co, Ltd.（Cellverse公司）
本文提出混合表示BG-Triangle，融合Bézier三角形矢量基元与高斯概率模型，并结合不连续性感知渲染及自适应致密化剪枝，实现少基元、高边界质量的可微3D渲染。
2025-03-18 cs.CV cs.GR
RGBX-Next: Towards Realistic Generative Rendering from G-Buffers
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；NVIDIA（英伟达公司）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出RGBX-Next框架，将扩散Transformer（DiT）微调为正向与反向渲染器，可从图像等估算G-buffers或从G-buffers渲染真实感内容，在相关任务中表现优异，将公开模型并推动领域研究。
2026-08-17 cs.CV cs.GR
RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
这项工作考虑识别参数表征物理系统的动态运动直接从视频的渲染配置是不可访问的。现有的解决方案需要大量的训练数据或缺乏对未知渲染配置的通用性。我们提出了一种新的方法，婚姻域随机化和微分渲染梯度来解决这个问题。我们的核心思想是训练一个渲染不变状态预测（RISP）网络，该网络将图像差异转换为独立于渲染配置的状态差异，例如，照明、阴影或材质反射。为了训练这个预测器，我们制定了一个新的损失渲染方差使用梯度微分渲染。此外，我们提出了一种有效的二阶方法来计算这种损失的梯度，使其能够无缝集成到现代深度学习框架中。我们评估我们的方法在刚体和变形体仿真环境中使用四个任务：状态估计，系统辨识，模仿学习，和可视化控制。我们进一步证明了我们的方法在现实世界中的例子的有效性：推断的状态和动作序列的四旋翼从视频的运动序列。与现有的方法相比，我们的方法实现了显着降低重建错误，并在未知的渲染配置之间具有更好的泛化能力。
2022-05-11 cs.AI cs.CV cs.GR
A Framework for Creating a Distributed Rendering Environment on the Compute Clusters
本文讨论了部署现有的渲染农场管理器在一个典型的计算集群环境，如大学。通常，渲染场和计算集群都使用不同的队列管理器，并承担对物理资源的完全控制。但是，在一个类似大学的环境中，从现有的计算集群中取出物理资源是不可能的，因为集群的主要用途是运行数值模拟。在计算任务多于渲染任务的情况下，它可能会降低整体资源利用率。此外，它会增加系统管理成本。在本文中，已经提出了一个框架，创建一个动态的分布式渲染环境上的计算集群使用现有的渲染农场管理器，而不需要物理分离的资源。
2014-01-03 cs.DC cs.GR
TermiNeRF: Ray Termination Prediction for Efficient Neural Rendering
Imperial College London（帝国理工学院）
使用神经场的体渲染在捕获和合成三维场景的新视图方面显示出了很大的前景。然而，这种类型的方法需要在沿着每个观察光线的多个点处查询体积网络以便渲染图像，从而导致非常慢的渲染时间。在本文中，我们提出了一种方法，克服了这一限制，通过学习直接映射从相机射线沿射线的位置，最有可能影响像素的最终外观。使用这种方法，我们能够渲染，训练和微调体积渲染的神经场模型的数量级比标准的方法更快。与现有方法不同，我们的方法适用于一般卷，并且可以进行端到端的训练。
2021-11-05 cs.CV cs.GR
Differentiable Rendering for Pose Estimation in Proximity Operations
Texas A&M University（德州农工大学）
微分绘制的目的是计算图像绘制函数关于绘制参数的导数。本文提出了一种新的算法，6自由度姿态估计通过基于梯度的优化使用可微渲染管道。我们强调两个关键的贡献：（1）而不是解决传统的2D到3D对应问题和计算重投影误差，图像（使用3D模型渲染）只在2D特征空间通过稀疏的2D特征对应进行比较。(2)代替解析的图像形成模型，我们通过在线学习计算渲染过程的近似局部梯度。学习数据由在姿态邻域中的小扰动下从多视点渲染中提取的图像特征组成。梯度通过渲染流水线传播，用于使用非线性最小二乘法进行6-DoF姿态估计。这种基于梯度的优化通过对准3D模型来直接回归姿态参数以再现参考图像形状。使用有代表性的实验，我们证明了我们的方法的应用，在邻近操作的姿态估计。
2022-12-24 cs.CV cs.GR cs.RO
Video-Based Rendering Techniques: A Survey
INESC-ID
本文综述基于视频的渲染（VBR）及相关基于图像的技术，梳理三维视觉重建进展、开放问题与未来研究重点。
2023-12-08 cs.CV cs.GR
Comparative Study of Geometric and Image Based Modelling and Rendering Techniques
本文对传统的三维计算机图形学中的几何建模技术和基于图像的绘制技术进行了比较研究，讨论了这两种技术的分类和代表方法。研究表明，这两种技术之间有很强的连续性，两者的混合最适合进一步实施。这项混合研究正在进行中，以创建真实生活情况的模型，并提供灾害管理培训。
2014-09-01 cs.GR cs.HC
Neural directional distance field object representation for uni-directional path-traced rendering
National Institute of Science Education and Research（国家科学教育与研究所）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
本文针对计算机图形学中路径追踪渲染的查询瓶颈，提出方向距离场作为物体的函数表示，将其存储为神经网络进行优化，并设计了修改后的路径追踪算法以实现该物体表示的快速渲染。
2023-06-28 cs.CV cs.GR
DIST: Rendering Deep Implicit Signed Distance Function with Differentiable Sphere Tracing
ETH Zurich（苏黎世联邦理工学院）；Tsinghua University（清华大学）；Google（谷歌）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Microsoft（微软）
我们提出了一种可微球体跟踪算法，以弥补逆图形方法和最近提出的基于深度学习的隐式符号距离函数之间的差距。由于隐式函数的性质，渲染过程需要大量的函数查询，当函数表示为神经网络时，这尤其成问题。我们优化了渲染层的向前和向后传递，使其在商品图形卡上以合理的内存消耗高效运行。我们的渲染方法是完全可微的，这样可以直接在渲染的2D观察上计算损失，并且可以向后传播梯度以优化3D几何形状。我们表明，我们的渲染方法可以有效地重建准确的3D形状从各种输入，如稀疏的深度和多视图图像，通过逆优化。通过基于几何的推理，我们的3D形状预测方法显示出良好的泛化能力和对各种噪声的鲁棒性。
2020-06-11 cs.CV cs.GR
Perceptual Requirements for World-Locked Rendering in AR and VR
本文构建无可见漂移的世界锁定渲染实验平台，测量AR与VR中渲染相机位置误差的感知阈值，并提出解析模型解释深度与视觉方向变化。
2023-09-12 cs.GR cs.HC
ENTIRE: Learning-based Volume Rendering Time Prediction
本文提出ENTIRE方法，通过提取体积结构特征和渲染参数，实现快速准确的体积渲染时间预测，并在不同框架和数据集上验证其高效性和适应性。
2026-04-20 cs.CV cs.GR cs.LG
Physically Based Rendering in the Latent Space
Trinity College Dublin（都柏林圣三一学院）；École de Technologie Supérieure (ÉTS)（高等技术学院（ÉTS））
本文提出在生成模型变分自编码器学习的潜空间中执行物理基础渲染，通过修改渲染方程并结合可微渲染器，实现物理引导的内容生成，并在单张图像训练后泛化至几何、光照和视角变化。
2026-09-21 cs.AI cs.GR cs.LG
Differentiable Rendering for Synthetic Aperture Radar Imagery
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种结合三维计算机图形学与神经渲染的SAR图像可微渲染方法，并在有限SAR图像的三维目标重建任务中验证了其有效性。
2023-08-07 cs.CV cs.GR cs.LG
