Perceptually Optimized Image Rendering
Universitat de València（瓦伦西亚大学）；Center for Neural Science, New York University（纽约大学神经科学中心）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
我们开发了一个框架，用于渲染摄影图像，考虑到显示限制，以优化渲染图像和原始场景之间的感知相似性。我们将其制定为一个约束优化问题，在该问题中，我们最小化感知相异性的度量，即归一化拉普拉斯金字塔距离（NLPD），它模仿了人类视觉系统的早期转换。当渲染以比显示器更高的动态范围获取的图像时，我们发现优化的解决方案提高了低对比度特征的对比度，而不会引入显著的伪影，从而产生与当前最先进的方法相当的视觉质量的结果，而无需手动干预或参数设置。我们还研究了各种其他显示约束，包括最小亮度（黑点），平均亮度（作为能源消耗的代理），和量化的亮度水平（半色调）的限制。最后，我们表明，该方法可用于增强图像的细节和对比度退化的光学散射（如雾）。
2017-01-23 cs.AI cs.CV cs.GR
Perceptual Rasterization for Head-mounted Display Image Synthesis
我们建议一个光栅化流水线的盔装显示器（HMD），其中的延迟和视野的要求提出了新的挑战，超越了传统的桌面显示器的需要。而不是渲染和扭曲的低延迟，或使用多个通道的视觉聚焦，我们展示了如何两者都可以直接产生在一个单一的感知光栅化通过。我们使用逐片段光线投射来实现这一点。这是通过推导紧密的空间-时间-中央凹像素边界来实现的，为必要的几何测试引入了足够的灵活性，但保留了传统光栅化流水线的大部分简单性和效率。为了产生有中心凹的图像，我们对具有空间变化的像素密度的图像进行光栅扫描。为了减少延迟，我们扩展了图像形成模型，以直接产生“滚动”图像，其中每个像素的时间取决于其显示位置。我们的方法克服了扭曲的局限性，相对于disocclusions，对象运动和视图相关的阴影，以及几何锯齿文物在其他中央凹渲染技术。一组感知用户的研究证明了我们的方法的有效性。
2018-06-14 cs.GR
Search Me Knot, Render Me Knot: Embedding Search and Differentiable Rendering of Knots in 3D
本文研究基于三维纽结的逆向感知艺术，提出可逆神经网络参数化的纽结嵌入与可微渲染框架，并通过物理约束损失实现单/多视图目标优化及真实3D打印验证。
2023-08-19 cs.GR
In-the-wild Material Appearance Editing using Perceptual Attributes
鉴于光与物质之间相互作用的复杂性以及人类感知的矛盾性，从单个图像中直观地编辑材料的外观是一项具有挑战性的任务。传统上，通过估计场景的附加因素（如几何形状或照明）来解决这个问题，从而解决逆渲染问题并将结果的最终质量与这些估计的质量相匹配。我们提出了一个单图像外观编辑框架，该框架允许我们通过增加或减少描述这种外观的高级感知属性（例如，光泽的或金属的）。我们的框架将单个对象的野外图像作为输入，其中几何形状，材料和照明不受控制，并且不需要逆渲染。我们依赖于生成模型，并设计了一种具有选择性传输单元（STU）单元的新型架构，该单元允许在编辑后的图像中保留输入图像的高频细节。为了训练我们的框架，我们利用一个数据集，该数据集具有用基于物理的算法渲染的成对合成图像，以及相应的高级别感知属性的众包评级。我们展示了我们的材料编辑框架优于最先进的技术，并展示了其在合成图像，野外真实世界照片和视频序列上的适用性。
2023-02-13 cs.GR
Fast Monte Carlo Rendering via Multi-Resolution Sampling
Portland State University（波特兰州立大学）；Intel（英特尔）
蒙特卡罗绘制算法被广泛用于产生真实感计算机图形图像。然而，这些算法需要对每个像素的大量光线进行采样，以实现适当的全局光照，因此需要大量的计算。在本文中，我们提出了一种混合绘制方法，以加快蒙特卡罗绘制算法。我们的方法首先生成两个版本的渲染：一个是低分辨率和高采样率（LRHS），另一个是高分辨率和低采样率（HRLS）。然后，我们开发了一个深度卷积神经网络，将这两个渲染融合成一个高质量的图像，就好像它是以高分辨率和高采样率渲染的一样。具体来说，我们制定这个融合任务作为一个超分辨率的问题，从低分辨率输入（LRHS），辅助HRLS渲染生成一个高分辨率渲染。HRLS渲染提供了对于任何超分辨率方法都难以从LRHS恢复的关键高频细节。我们的实验表明，我们的混合渲染算法比最先进的蒙特卡洛去噪方法要快得多，同时在我们自己的BCR数据集和Gharbi数据集上进行测试时，渲染出高质量的图像。\url{https://github.com/hqqxyy/msspl}
2021-06-24 cs.CV cs.GR
Shape, Light, and Material Decomposition from Images using Monte Carlo Rendering and Denoising
NVIDIA（英伟达）
可微分渲染的最新进展使得能够从多视图图像中高质量地重建3D场景。大多数方法依赖于简单的渲染算法：预过滤的直接照明或学习的辐照度表示。我们表明，一个更现实的阴影模型，结合光线追踪和蒙特卡罗集成，大大提高了分解成形状，材料和照明。不幸的是，蒙特卡罗积分提供了显着的噪声估计，即使在大样本计数，这使得基于梯度的逆渲染非常具有挑战性。为了解决这个问题，我们将多个重要性采样和去噪在一个新的逆渲染流水线。这大大提高了收敛性，并在低样本数下实现了基于梯度的优化。我们提出了一种有效的方法来联合重建几何（显式三角形网格），材料和照明，这大大提高了材料和光分离相比，以前的工作。我们认为，去噪可以成为高质量的逆渲染流水线的一个组成部分。
2022-10-04 cs.CV cs.GR
Auxiliary Features-Guided Super Resolution for Monte Carlo Rendering
Portland State University（波特兰州立大学）
本文提出利用高分辨率辅助特征引导低分辨率渲染的超分辨率方法，通过跨模态Transformer网络和残差密集连接的Swin Transformer组融合特征，有效加速蒙特卡洛渲染并提升渲染质量。
2023-10-20 cs.CV cs.GR
Perceptual Visibility Model for Temporal Contrast Changes in Periphery
建模感知对于计算机图形学的许多应用和发展至关重要，以优化和评估内容生成技术。迄今为止，大多数工作都集中在中央（中央凹）视觉上。然而，这对于诸如虚拟和增强现实头戴式耳机之类的新型宽视场显示器是不够的。此外，针对中央凹提出的感知模型不容易扩展到偏离中心的外围视野，其中人类感知是完全不同的。在本文中，我们专注于建模的时间方面的视觉感知的周边。我们提出了新的心理物理学实验，测量人类观察者的敏感性，不同的时空刺激在一个广泛的视野。我们使用收集到的数据来建立一个感知模型，在复杂的视频内容中的不同偏心率的时间变化的可见性。最后，我们讨论，演示和评估几个问题，可以使用我们的技术来解决。首先，我们展示了我们的模型如何在不分散观众注意力的情况下将新内容注入外围，并讨论了模型与人类注意力之间的联系。其次，我们演示了如何可以评估和优化的视觉中心凹渲染方法，以限制时间锯齿的可见性。
2022-09-09 cs.GR
Monte Carlo Rendering to Diffusion Curves with Differential BEM
University of Waterloo（滑铁卢大学）；Adobe Research（Adobe研究）
本文提出了一种基于差分边界元法的算法，能够直接从噪声蒙特卡罗样本生成带阴影信息的扩散曲线矢量图形。
2026-02-05 cs.GR
DEMC: A Deep Dual-Encoder Network for Denoising Monte Carlo Rendering
在本文中，我们提出了DEMC，这是一种深度双编码器网络，可以有效地去除蒙特卡洛噪声，同时保留细节。去噪蒙特卡罗渲染不同于自然图像去噪，因为可以在渲染阶段提取廉价的副产品（特征缓冲区）。它们中的大多数是无噪声的，并且可以为图像重建提供足够的细节。然而，这些特征缓冲区也包含冗余信息，这使得蒙特卡罗去噪不同于自然图像去噪。因此，本课题的主要挑战是如何提取有用的信息和重建干净的图像。为了解决这个问题，我们提出了一种新的网络结构，双编码器网络与特征融合子网络，融合特征缓冲区，然后融合的特征缓冲区和噪声图像同时编码，最后重建一个干净的图像解码网络。与最先进的方法相比，我们的模型在广泛的场景中更鲁棒，并且能够以更快的方式生成令人满意的结果。
2020-08-27 cs.GR cs.MM
Spatiotemporal sensistivity and visual attention for efficient rendering of dynamic environments
我们提出了一种方法来加速全局光照计算在动态环境中利用人类视觉系统的局限性。视觉注意力模型用于定位场景中的感兴趣区域并调节时空灵敏度。该方法以时空误差容限图的形式应用。感知加速与良好的采样协议相结合，提供了一种适用于动画的全局光照解决方案。结果表明，一个数量级的提高计算速度。该方法适应性强，可用于基于图像的绘制、几何细节层次选择、真实感图像合成、可视电话和视频压缩等领域。
2005-11-08 cs.CV cs.GR
A Monte Carlo Framework for Rendering Speckle Statistics in Scattering Media
我们提出了一个蒙特卡罗渲染框架的相干波的体积散射所产生的散斑图案的物理精确模拟。这些类似噪声的模式的特征在于强统计特性，例如所谓的记忆效应，其是用于如组织成像、运动跟踪和非视线成像等多种应用的成像技术的核心。我们的框架允许这些属性被复制计算，在某种程度上，是数量级更有效的替代品的基础上直接求解波动方程。在我们的框架的核心是一个路径空间制定的散斑图案的协方差所产生的散射量，我们来自第一原理。我们使用这个公式来开发两个蒙特卡洛绘制算法，用于计算散斑协方差以及直接散斑场。虽然基于波动方程求解器的方法需要知道波长大小的散射体的微观位置，但我们的方法仅将描述体积内这些散射体的统计分布的批量参数作为输入。我们通过与使用波动方程求解器模拟的散斑图案进行比较来验证我们框架的准确性，使用它来模拟以前只能通过实验室测量进行的记忆效应观测，并证明其适用于计算成像任务。
2019-01-21 cs.GR physics.optics
Perceptual Sensitivity to Stereo Geometry Errors in Head-Mounted Displays
Reality Labs Research, Meta（Meta Reality Labs Research）；McGill University（麦吉尔大学）
本文研究了头戴显示器立体几何误差对距离感知的影响，通过实验验证了几何框架的有效性，并展示了实时视觉反馈如何动态校准动作映射。
2026-03-16 cs.GR cs.HC
Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing
Zhejiang University（浙江大学）；Adobe Research（奥多比研究院）；Zhejiang Lab（之江实验室）；Manycore（众核）
室内场景通常表现出复杂的，空间变化的外观从全局光照，使逆渲染一个具有挑战性的不适定问题。这项工作提出了一个端到端的，基于学习的逆渲染框架，结合可微蒙特卡洛光线跟踪与重要性采样。该框架将单个图像作为输入，以联合恢复底层几何形状，空间变化的照明和真实感材料。具体来说，我们引入了一个基于物理的微分渲染层与屏幕空间的光线追踪，从而产生更逼真的镜面反射，匹配输入的照片。此外，我们还创建了一个大规模的真实感室内场景数据集，其中包含更丰富的细节，如复杂的家具和专用装饰。此外，我们设计了一种新的视图外照明网络，利用基于超网络的神经辐射场来预测输入照片视图外的照明。通过对常见基准数据集的广泛评估，我们证明了与最先进的基线相比，我们的方法具有出色的逆渲染质量，从而实现了各种应用，例如复杂对象插入和高保真材质编辑。代码和数据将在\url{https://jingsenzhu.github.io/invrend}上提供。
2022-11-23 cs.AI cs.CV cs.GR
Masking Judder in Foveated Rendering with Phase-Shifted Noise
University of Minnesota（明尼苏达大学）；Università della Svizzera italiana（瑞士意大利语联邦大学）
本文提出一种用相移噪声掩盖凹面渲染中抖动的方法，通过选择合适空间频率噪声带实现感知层面的抖动掩盖，实验证实该方法可扩大低时间分辨率下流畅运动的角速度范围且图像质量无明显下降。
2026-10-09 cs.GR
Learned Single-Pass Multitasking Perceptual Graphics for Immersive Displays
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；Adobe Research（Adobe研究）
针对沉浸式显示，提出一种计算轻量级的学习型单遍多任务感知图形模型，通过文本提示在单次推理中执行多种感知任务，并构建相应数据集，在桌面和嵌入式平台验证了高质量效果。
2025-08-07 cs.CV cs.GR eess.IV
It's Not Just a Phase: Creating Phase-Aligned Peripheral Metamers
Università della Svizzera italiana（瑞士意大利语大学）
本文提出了一种基于相位对齐的高效图像生成方法，通过局部统计信息合成提升图像质量，减少高频率细节渲染成本。
2026-09-01 cs.GR
Geometric Sample Reweighting for Monte Carlo Integration
我们提出了一个通用的样本加权计划和其基本理论的集成的未知函数的低维。我们的方法产生更好的结果比标准的加权方案为常见的采样策略，同时避免偏见。我们的主要见解是在积分过程中将权重推导与函数重构过程联系起来。我们的解决方案的实现很简单，并且可以改善收敛行为。我们说明了它的好处，我们的方法应用到多个蒙特卡洛渲染问题。
2019-08-05 cs.GR
Neural Two-Level Monte Carlo Real-Time Rendering
Karlsruhe Institute Of Technology（卡尔斯鲁厄理工学院）
本文提出用于全局光照实时渲染的神经两级蒙特卡洛估计器，通过在线训练的 NIRC 加速辐射度积分并用无偏路径追踪残差校正偏差，显著降低动态场景噪声。
2024-12-05 cs.AI cs.GR
PTIR-GS: Path-Traced Inverse Rendering with Global Illumination in 3D Gaussian Fields
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
提出一种无溅射的路径追踪逆渲染框架，在统一光线追踪管线中定义前向光传输和反向梯度传播，实现3D高斯场的全局光照逆渲染，提升材质反演和渲染质量。
2026-07-02 cs.GR
Perceptual deep depth super-resolution
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Higher School of Economics（高等经济学院）；New York University（纽约大学）
RGBD图像结合了来自各种类型深度传感器的高分辨率颜色和低分辨率深度，越来越常见。人们可以通过利用颜色信息来显著提高深度图的分辨率;深度学习方法使颜色和深度信息的组合变得特别容易。然而，融合这两个数据源可能会导致各种工件。如果使用深度图来重建3D形状，例如，对于虚拟现实应用，上采样图像的视觉质量是特别重要的。我们的方法的主要思想是使用生成的3D表面的渲染来测量深度图上采样的质量。我们证明了一个简单的基于视觉外观的损失，当与训练的CNN或简单的深度先验一起使用时，会产生显着改善的3D形状，如通过许多现有的感知度量所测量的。我们比较这种方法与现有的一些优化和学习为基础的技术。
2019-09-09 cs.CV cs.GR cs.LG
Image Features Influence Reaction Time: A Learned Probabilistic Perceptual Model for Saccade Latency
我们的目标是问和回答一个基本的问题“我们有多快的反应后，观察显示的视觉目标？“为此，我们提出了心理物理学研究，描述了人类扫视行为和空间视觉敏锐度之间的显着脱节。基于我们的研究结果，我们开发了一个感知模型来预测时间凝视行为，特别是扫视延迟，作为显示图像的统计数据的函数。具体来说，我们实现了一个神经启发的概率模型，模仿导致感知决策的信心的积累。我们使用眼动跟踪VR显示器通过一系列客观测量和用户研究来验证我们的模型。结果表明，我们的模型预测与现实世界的人类行为在统计上是一致的。此外，我们建立了许多亚阈值图像修改通常引入图形管道可能会显着改变人类的反应时间，即使差异是视觉上无法检测到的。最后，我们表明，我们的模型可以作为一个指标来预测和改变交互式计算机图形应用程序中的用户的反应延迟，从而可能会提高视情况渲染，虚拟体验的设计，和玩家在电子竞技中的表现。我们用两个例子来说明这一点：在两个不同的球队颜色的视频游戏中估计竞争的公平性，并调整显示器的观看距离，以尽量减少玩家的反应时间。
2022-05-05 cs.GR cs.HC
Scalable multi-class sampling via filtered sliced optimal transport
我们提出了一个多类点优化配方的基础上连续Wasserstein重心。我们的公式设计用于处理数百到数千个优化目标，并提供实用的优化方案。我们证明了我们的框架在各种采样应用程序，如点画，对象放置和蒙特卡洛积分的有效性。我们推导出多类错误的感知渲染错误，可以使用我们的优化最小化。我们在https://github.com/iribis/filtered-sliced-optimal-transport上提供源代码。
2022-11-08 cs.GR
Noise-based Enhancement for Foveated Rendering
Università della Svizzera italiana（瑞士意大利语大学）
人类对空间细节的视觉敏感度向外围下降。新的图像合成技术，所谓的中央凹渲染，利用这种观察，并降低合成图像的空间分辨率为周边，避免合成的高空间频率的细节，是昂贵的生成，但不被观众感知。然而，当代技术没有明确区分必须再现的空间频率范围和可以省略的空间频率范围。对于给定的偏心率，存在可检测但不可分辨的频率范围。虽然不需要精确再现这些频率，但如果完全忽略，观察者可以检测到它们的缺失。我们使用这种观察，以提高现有的视觉中心凹渲染技术的性能。我们证明，这个特定的频率范围可以有效地替换程序噪声，其参数被仔细调整到图像内容和人类的感知。因此，这些频率不必在渲染期间合成，从而允许更积极的视觉聚焦，并且它们可以由在较便宜的后处理步骤中生成的噪声代替，从而提高渲染系统的性能。我们的主要贡献是一个感知启发的技术，用于获得所需的增强和校准的噪声的参数。该方法对渲染输出进行操作，并在4K分辨率下以超过200FPS的速率运行，使其适合与VR和AR设备的实时中央凹渲染系统集成。我们验证了我们的结果，并将其与用户实验中现有的对比度增强技术进行比较。
2022-04-09 cs.CV cs.GR eess.IV
Grid-Free Monte Carlo for PDEs with Spatially Varying Coefficients
具有空间变化系数的偏微分方程（PDE）出现在科学和工程中，模拟丰富的非均质材料行为。然而，传统的PDE求解器与自然界中发现的巨大复杂性作斗争，因为它们必须首先将问题离散化-导致空间混叠，以及昂贵且容易出错的全局网格化/采样。我们描述了一种方法，既不近似域的几何形状，问题的数据，也没有解决方案的空间，提供精确的解决方案（在预期中），即使是非常详细的几何形状和复杂的系数的问题。我们的主要贡献是扩展行走的领域（WOS）算法从常数到可变系数的问题，从体积绘制技术。特别是，零散射启发的方法产生无偏蒙特卡罗估计的一大类的二阶椭圆偏微分方程，其中共享许多有吸引力的功能与蒙特卡罗渲染：没有网格，平凡的并行性，并能够评估在任何点的解决方案，而无需解决一个全球性的方程组。
2022-01-31 cs.GR cs.NA math.NA
Fast Wave-optics Rendering of Multiplane Images for 3D Holographic Displays
Stanford University（斯坦福大学）；Meta
针对神经渲染在2D设备上查看限制感知真实感问题，提出基于多平面图像的波光学渲染管道，该算法在运行时大幅超越现有算法，速度提升显著，且图像质量优，经多数据集验证性能出色。
2026-07-23 cs.ET cs.GR cs.MM
Towards Understanding Depth Perception in Foveated Rendering
Università della Svizzera italiana（瑞士大学）
本文首次评估注视点渲染对立体深度感知的影响，通过心理视觉实验证明周边模糊不影响立体视锐度，并推导出感知模型，发现高达2倍强度的注视点渲染仍不影响深度感知。
2025-04-30 cs.CV cs.GR
End-to-End Adaptive Monte Carlo Denoising and Super-Resolution
University of California San Diego（加利福尼亚大学圣迭戈分校）；Tencent AI Lab（腾讯AI实验室）
经典的蒙特卡罗路径追踪方法可以在计算量较大的情况下实现高质量的绘制。最近的工作利用深度神经网络来加速这一过程，通过在后处理中使用超分辨率或去噪神经网络来改善低分辨率或更少样本的渲染。然而，去噪和超分辨率在以前的工作中只被单独考虑。在这项工作中，我们表明，蒙特卡洛路径追踪可以进一步加快联合超分辨率和去噪（SRD）在后处理。这种新型的联合滤波仅允许通过路径追踪渲染低分辨率和较少样本（因此有噪声）的图像，然后将其馈送到深度神经网络以产生高分辨率和干净的图像。这项工作的主要贡献是一个新的端到端的网络架构，专门为SRD任务设计。它包含两个具有共享组件的级联级。我们发现去噪和超分辨率需要非常不同的感受野，这是一个关键的见解，导致将可变形卷积引入网络设计。大量的实验表明，所提出的方法优于以前的方法和它们的变种采用的SRD任务。
2021-08-16 cs.CV cs.GR
Environment Maps Editing using Inverse Rendering and Adversarial Implicit Functions
Sapienza, University of Rome（罗马第一大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
本文提出结合可微逆渲染与带权重对抗扰动的隐式神经表示来编辑 HDR 环境贴图，在保持背景、反射和视觉一致性的同时实现低成本、平滑的光照操控。
2024-10-24 cs.CV cs.GR
Solving Inverse PDE Problems using Grid-Free Monte Carlo Estimators
对热传输和扩散等物理现象进行建模至关重要地依赖于偏微分方程（PDE）的数值解。PDE求解器找到给定系数和边界条件的解，而逆PDE求解器则相反，并从现有解重建这些输入。在这篇文章中，我们研究了使用基于梯度的方法求解偏微分方程逆问题的技术。基于有限元法的常规PDE求解器需要域网格化步骤，该步骤可能是脆弱且昂贵的。无网格蒙特卡罗方法代替随机样本路径，使用球体上行走算法的变体来构造解的无偏估计。这些方法与基于物理的渲染算法的不可思议的相似性已经被最近的几个作品所观察到。在渲染领域，最近的进展导致了有效的无偏导数估计的发展。他们解决了问题的伴随形式，并利用算术可逆性来计算梯度，使用恒定的内存量和线性时间复杂度。这两条工作线是否可以结合起来计算无网格偏微分方程求解器的廉价参数导数？我们调查这个问题，并提出初步结果。
2022-08-03 cs.GR math.AP
HoloPathTracer: Fast and Accurate Wave Path Tracing for Holography
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Seoul National University（首尔国立大学）
提出一种基于路径追踪的物理精确波光学渲染框架，通过蒙特卡洛方法同时求解渲染方程和瑞利-索末菲积分，实现全息图的高效生成，并利用环境辐射缓存加速收敛，在空间光调制器原型上验证了自然3D线索和复杂材质的全息重建。
2026-06-17 cs.GR physics.optics
Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks
Disney Research（迪士尼研究院）；ETH Zürich（苏黎世联邦理工学院）
我们提出了一种技术，有效地合成图像的大气云使用的Monte Carlo积分和神经网络相结合。复杂的Lorenz-Mie散射和形成云的气溶胶的高散射度使得云的渲染-例如，内部物体的特征性镀银和“白度”-对于仅基于蒙特卡罗积分或扩散理论的方法具有挑战性。我们处理问题的方式不同。在渲染过程中，我们没有模拟所有的光传输，而是从数十个云样本中预先学习辐射通量的空间和方向分布。为了渲染一个新的场景，我们采样云的可见点，并为每个点提取云的几何形状相对于阴影位置和光源的分层3D描述符。该描述符被输入到深度神经网络，该深度神经网络预测每个着色配置的辐射函数。我们的关键观察结果是，逐步将分层描述符输入到网络中，可以提高网络的学习速度，并在使用较少系数的情况下实现高精度预测。我们还采用了剩余连接的块设计，以进一步提高性能。我们的方法的GPU实现合成的云的图像，几乎无法区分的参考解决方案在几秒钟内交互。因此，我们的方法代表了云设计等应用程序的可行解决方案，并且由于其时间稳定性，也适用于高质量的动画内容制作。
2017-09-15 cs.GR cs.LG stat.ML
NPSim: Nighttime Photorealistic Simulation From Daytime Images With Monocular Inverse Rendering and Ray Tracing
Department of Information Technology and Electrical Engineering（信息技术与电气工程系）
本文提出 NPSim 方法，通过单目逆渲染与光线追踪从日间图像生成逼真夜间图像，重点实现并评估网格重建组件，并规划了定量与感知实验以验证其在自动驾驶语义分割中的价值。
2025-03-10 cs.CV cs.GR
A Practical Walk-on-Boundary Method for Boundary Value Problems
本文向计算机图形学引入了边界行走（WoB）方法，这是一种无网格Monte Carlo求解器，支持多种边界条件，并利用与光传输模拟的相似性结合高级渲染技术，解决了WoS在边界附近的固有偏差问题。
2023-05-19 cs.GR cs.NA math.NA
AutoInt: Automatic Integration for Fast Neural Volume Rendering
Stanford University（斯坦福大学）
数值积分是科学计算的基础技术，也是许多计算机视觉应用的核心。在这些应用中，神经体渲染最近被提出作为一个新的范例视图合成，实现逼真的图像质量。然而，使这些方法实用的一个根本障碍是极端的计算和内存要求所造成的所需的体积积分沿渲染光线在训练和推理。需要数百万条射线，每条射线需要通过神经网络进行数百次正向传递，以利用蒙特卡罗采样来近似这些积分。在这里，我们提出了自动集成，一个新的框架，学习有效的，封闭形式的解决方案，积分使用基于坐标的神经网络。为了训练，我们实例化对应于网络导数的计算图。将曲线拟合到要积分的信号。优化后，我们重新组合图以获得表示反导数的网络。根据微积分的基本定理，这使得可以在网络的两个评估中计算任何定积分。将这种方法应用于神经渲染，我们改进了渲染速度和图像质量之间的权衡：将渲染时间提高了10倍以上，但图像质量略有下降。
2021-05-23 cs.CV cs.GR cs.LG
Single Image BRDF Parameter Estimation with a Conditional Adversarial Network
University of Tübingen（图宾根大学）
创建合理的表面是在渲染中实现高度真实感的重要组成部分。为了减轻艺术家，谁创建这些表面在一个耗时的，手动的过程中，自动检索的空间变化的双向反射分布函数（SVBRDF）从一个单一的移动电话图像是可取的。通过利用深度神经网络，可以实现这种随意捕获方法。训练后的网络可以从Disney BRDF中估计每个像素的法线，基色，金属和粗糙度参数。输入图像是用相机闪光灯点亮的移动电话拍摄的。该网络经过训练以补偿环境照明，从而学习减少由其他光源引入的伪影。这些损失包含一个多尺度的感知损失，使用微分渲染器的渲染损失，和一个参数损失。除了局部精度，这种损失公式生成的材质纹理图是全球更一致的。该网络被设置为以对抗方式训练的生成器网络，以确保只生成合理的地图。估计的参数不仅在渲染中忠实地再现了材料，而且由于与以前的作品相比具有更多的全局损失项，因此捕获了手工创作材料的风格，而不需要额外的后处理。分辨率和质量都得到了提高。
2019-10-11 cs.CV cs.GR cs.LG
IllumiNeRF: 3D Relighting Without Inverse Rendering
Google Research（谷歌研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google DeepMind（谷歌DeepMind）
针对现有可重光照视图合成方法依赖逆渲染、计算成本高且不稳定的问题，提出IllumiNeRF方法，先通过条件图像扩散模型重光照输入图像，再用其重建NeRF实现目标光照下新视图渲染，在多个基准上达SOTA。
2024-11-01 cs.AI cs.CV cs.GR
