Real-Time Global Illumination Using OpenGL And Voxel Cone Tracing
构建能够以交互式帧率复制全局光照模型的系统一直是计算机图形学研究人员面临的最棘手的难题之一。Cyril Crassin等人在2011年提出的体素锥跟踪利用包含环境直射光分量的体素化表示的mipmapped 3D纹理来在线性时间内跟踪漫射、镜面反射和遮挡锥，以外推朝向给定光感受器发射的表面片段间接光。似乎提供了一个良好的处理性能和物理保真度之间的平衡，本文研究了算法的理论方面的渲染方程的基础上，以及其实际的一面的上下文中的自我实现，基于OpenGL的变体。它是否可以与长期存在的替代方案（如光能传递和光线跟踪）竞争，将在后续评估中确定。
2021-04-01 cs.GR
Practical Face Reconstruction via Differentiable Ray Tracing
InterDigital R&I（InterDigital研发与创新中心）；AI Foundation（AI基金会）；Technicolor Inc.（特艺集团）
我们提出了一种基于可微光线跟踪的新型人脸重建方法，场景属性- 3D几何形状，反射率（漫反射，镜面反射和粗糙度），姿态，相机参数和场景照明-从无约束的单目图像估计。该方法通过一个新的，参数化的虚拟光舞台，结合可微光线跟踪场景照明建模，介绍了一个由粗到细的优化配方的人脸重建。我们的方法不仅可以处理无约束的照明和自阴影的条件下，但也估计漫反射和镜面反射。为了一致地并且具有实用语义地估计面部属性，两阶段优化策略系统地使用参数属性的子集，其中随后的属性估计因子是先前估计的那些。例如，在第一阶段期间估计的自阴影，稍后防止其在第二阶段中烘焙成个性化漫反射和镜面反射。我们展示了我们的方法在几个现实世界中的情况下，即使在极端的光照条件下，人脸属性可以估计的功效。消融研究，分析和比较，对最近几个国家的最先进的方法显示，我们的方法提高了准确性和多功能性。一致的人脸属性重建，我们的方法导致几种风格-照明，阴影，自我阴影-编辑和转移的应用，如本文所讨论的。
2021-01-13 cs.CV cs.GR
Spec-Gloss Surfels and Normal-Diffuse Priors for Relightable Glossy Objects
Department of Electrical Engineering (ESAT), KU Leuven, Belgium（电气工程系（ESAT），比利时鲁文大学）
本文提出了一种基于Spec-Gloss Surfels和正常-漫反射先验的可重照明框架，通过整合微面BRDF与镜面-光泽参数化，提升光泽物体的重建和重照明质量。
2025-12-12 cs.CV cs.GR
Joint Optimization of Triangle Mesh, Material, and Light from Neural Fields with Neural Radiance Cache
本文提出结合神经场与神经辐射缓存的逆渲染框架，通过单次弹射可微MC光线追踪联合优化三角网格、PBR材质和HDR光照，避免间接光照被烘焙进材质，实现高质量重建。
2025-06-06 cs.GR
Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition
CyberAgent；University of Tsukuba（筑波大学）
面部化妆不仅丰富了真实人物的美丽，而且也丰富了虚拟人物的美丽;因此，3D面部模型的化妆在制作中需求量很大。然而，直接在3D人脸上绘画和捕捉真实世界的化妆是昂贵的，并且从2D图像中提取化妆通常会遇到阴影效果和遮挡。本文提出了第一种从单个化妆人像中提取3D人脸模型的化妆方法。我们的方法包括以下三个步骤。首先，我们利用强先验的3D变形模型，通过基于回归的逆渲染提取粗糙的材料，如几何和漫反射/镜面反射，在UV空间中表示。其次，我们细化粗糙的材料，这可能会有丢失的像素，由于闭塞。我们应用修复和优化。最后，我们提取裸露的皮肤，化妆，并从漫反射中提取阿尔法哑光。我们的方法提供了各种应用程序，不仅三维人脸模型，但也二维肖像图像。提取的化妆品在UV空间中对齐良好，从中我们构建了一个大规模的化妆品数据集和3D人脸的参数化化妆模型。我们的解缠材料还可以在没有参考图像的情况下实现稳健的化妆转移和照明感知化妆插值/去除。
2023-02-26 cs.CV cs.GR
RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering
ETH Zürich（苏黎世联邦理工学院）；University of Tübingen（蒂宾根大学）
本文提出了一种端到端可重新光照神经逆向渲染系统RISE-SDF，采用两阶段方法结合神经SDF与信息共享网络，联合学习辐射场与基于物理的场景分解，并创建新数据集以评估光泽物体的材质重建与重新光照质量，实现了最先进的渲染性能。
2024-10-10 cs.CV cs.GR
TransGI: Real-Time Dynamic Global Illumination With Object-Centric Neural Transfer Model
本文提出 TransGI，用以对象为中心的神经传递模型和跨光探针辐射度共享实现动态任意光照下的实时高保真全局光照，单帧耗时低于 10 ms 且质量优于基线。
2025-06-11 cs.GR
Deep Radiance Caching: Convolutional Autoencoders Deeper in Ray Tracing
使用全局光照渲染真实图像是一项计算要求很高的任务，并且通常需要专用硬件来实现可行的运行时间。最近的研究使用深度神经网络来预测图像级别的间接照明，但这种方法通常仅限于漫射材料，并且需要在每个场景上进行训练。我们提出了深度辐射缓存（DRC），这是辐射缓存的一种有效变体，利用卷积自动编码器来渲染全局光照。DRC采用带有Radiance Caching的去噪神经网络来支持广泛的材质类型，而无需为每个场景进行离线预计算或训练。这提供了高性能的CPU渲染，以实现最大的可访问性。我们的方法已经在室内场景中进行了评估，并且能够在单个CPU上在180秒内生成高质量的图像。
2020-07-30 cs.GR
Geometry-Aware Global Feature Aggregation for Real-Time Indirect Illumination
School of Computer Science, Peking University（北京大学计算机学院）；National Key Laboratory of Intelligent Parallel Technology（智能并行技术国家重点实验室）
本文提出一种几何感知全局特征聚合网络，在屏幕空间预测漫反射间接照明并与直接照明结合实现实时全局照明，能够处理复杂光照、远距离间接照明和颜色渗透效应，并泛化到训练集之外的新场景。
2025-11-05 cs.AI cs.GR
Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination
Concordia University（康考迪亚大学）
本文提出了一种方法，用于估计自然光照下观察到的复杂场景的空间变化的表面反射率。与以前的方法相比，我们的过程不限于在受控照明条件下查看的场景，但可以处理在任意照明条件下查看的复杂室内和室外场景。端到端过程使用场景的几何模型和从任意视点和各种自然照明条件下捕获场景表面的若干图像。我们开发了一个微分路径跟踪器，利用最小二乘保角映射处理多个不相交的对象出现在场景中。我们遵循两步优化过程，并引入多视图梯度一致性损失，这导致图像重建损失的30-50%的改善，并且与其他最先进的方法相比，可以进一步实现漫射和镜面BRDF的更好的解纠缠。世界室内和室外场景的图像在野外，并表明我们可以产生逼真的渲染与实际图像一致，使用估计的反射特性。实验表明，我们的技术产生的任意室外场景具有复杂的几何逼真的结果。源代码可在https://gitlab.com/alen.joy/multi-view-gradient-consistency-for-svbrdf-estimation-of-complex-scenes-under-natural-illumination上公开获取
2022-02-25 cs.CV cs.GR
Factored-NeuS: Reconstructing Surfaces, Illumination, and Materials of Possibly Glossy Objects
Chongqing University（重庆大学）；KAUST（阿卜杜拉国王科技大学）；Skoltech（斯科尔科沃科技学院）；AIRI（人工智能研究所）
本文提出Factored-NeuS，通过三阶段渐进式逆向渲染，仅利用多视角图像即可同时重建光泽物体的表面、材质与光照，无需额外数据，并达到当前最优性能。
2025-04-07 cs.AI cs.CV cs.GR
RelightableHands: Efficient Neural Relighting of Articulated Hand Models
Carnegie Mellon University（卡内基梅隆大学）；Reality Labs Research（Reality Labs研究院）
我们提出了第一个神经重新照明的方法，用于渲染高保真个性化的手，可以在新的照明下实时动画。我们的方法采用了教师-学生的框架，其中教师从在光舞台上捕获的图像中学习单点光下的外观，使我们能够在任意照明下合成手，但需要大量的计算。使用由教师模型呈现的图像作为训练数据，有效的学生模型直接实时预测自然光照下的外观。为了实现泛化，我们使用物理启发的照明功能（如可见性，漫反射阴影和镜面反射）对学生模型进行条件化，在粗略的代理几何体上计算，保持较小的计算开销。我们的关键见解是，这些特征与随后的全局光传输效应具有很强的相关性，这足以作为神经重新照明网络的条件数据。此外，与瓶颈照明条件相反，这些特征基于底层几何结构在空间上对齐，从而更好地泛化到不可见的照明和姿势。在我们的实验中，我们证明了我们的照明功能表示的功效，优于基线方法。我们还表明，我们的方法可以以实时速度逼真地重新点燃两个相互作用的手。https://sh8.io/#/relightable_hands
2023-02-09 cs.CV cs.GR
Free-viewpoint Indoor Neural Relighting from Multi-view Stereo
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Adobe Research（Adobe研究院）
我们引入了一个神经重新照明算法捕获的室内场景，允许交互式自由视点导航。我们的方法允许照明被综合地改变，同时连贯地渲染投射阴影和复杂的光泽材料。我们从场景的多个图像和通过多视图立体视觉（MVS）重建获得的3D网格开始。我们假设，照明是很好的解释为一个独立于视图的漫反射分量和一个视图相关的光泽项集中在镜子反射方向的总和。我们围绕输入特征图设计了一个卷积网络，便于学习场景材质和照明的隐式表示，从而实现重新照明和自由视点导航。我们通过利用基于图像和基于物理的渲染的最佳元素来生成这些输入地图。我们对输入视图进行采样以估计漫射场景的辐照度，并使用路径追踪计算由用户指定的光源引起的新照明。为了促进网络对材料的理解并合成合理的光泽反射，我们重新投影视图并计算镜像。我们在合成数据集上训练网络，其中每个场景也用MVS重建。我们展示了我们的算法重新照亮真实的室内场景，并执行自由视点导航与复杂和现实的光泽反射，迄今为止仍然遥不可及的视图合成技术的结果。
2021-06-24 cs.CV cs.GR
EAG-PT: Emission-Aware Gaussians and Path Tracing for Diffuse Indoor Scene Reconstruction and Editing
Zhejiang University（浙江大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
EAG-PT通过统一的2D高斯表示实现室内场景的物理重建与渲染，支持可编辑的漫反射全局光照，结合高效单次反弹优化和高质量多次反弹路径追踪，优于现有方法。
2026-04-30 cs.CV cs.GR
Real-time Rendering of Pre-integrated Neural Emitters
Graz University of Technology（格拉茨工业大学）；Huawei Technologies（华为技术有限公司）
针对实时渲染中复杂发射器直接照明的瓶颈，提出神经发射场（NEF），通过预计算体积照明消除运行时积分，单次网络评估即可获得无噪声直接照明，并支持跨场景重用。
2026-10-06 cs.GR
Automatic Scene Inference for 3D Object Compositing
我们提出了一个用户友好的图像编辑系统，支持拖放对象插入（用户只需将对象拖到图像中，系统会自动将它们放置在3D中并适当地重新照亮它们），后处理照明编辑和景深操作。我们的系统的基础是一个全自动的技术，从一个单一的，低动态范围的照片恢复一个全面的3D场景模型（几何形状，照明，漫反射和相机参数）。这是可能的两个新的贡献：照明推理算法，恢复一个完整的照明模型的场景（包括光源，不直接在照片中可见），和一个深度估计算法，结合数据驱动的深度传输与几何推理的场景布局。用户研究表明，我们的系统产生的感知令人信服的结果，并达到了同样的水平的现实主义的技术，需要显着的用户交互。
2019-12-24 cs.GR eess.IV
A Distributed, Decoupled System for Losslessly Streaming Dynamic Light Probes to Thin Clients
我们提出了一个网络化的，高性能的图形系统，结合了动态的，高质量的，光线跟踪全局光照计算的服务器上的直接照明和主要的可见性计算的客户端。这种方法在低功耗和传统硬件上提供了实时光线追踪的许多图像质量优势，同时保持了低延迟响应和移动形状因子。我们的系统通过在远程机器上计算漫射全局光照来将图形管道分布在网络上。全局光照的计算使用最近的辐照体积表示与一种新颖的，无损的，基于HEVC的，硬件加速的编码，和感知动机的更新方案相结合。我们的实验实现每秒传输数千个辐照探针，需要不到50 Mbps的吞吐量，与传统的无损纹理压缩相比，以60 Hz的频率传输时，所消耗的带宽减少了99.4%。与通过视频流进行的最先进的远程渲染相比，这种带宽降低可以实现更高质量和更低延迟的图形。此外，我们的分割渲染解决方案将远程计算与本地渲染相结合，因此不会限制本地显示更新速率或分辨率。
2021-03-10 cs.DC cs.GR
Real-time Rendering with a Neural Irradiance Volume
Huawei Technologies（华为技术）；Graz University of Technology（格拉茨工业大学）
本文提出神经辐照度体积（NIV）技术，通过紧凑模型实现高精度实时 diffuse 全局光照渲染，提升质量并降低内存消耗。
2026-02-13 cs.GR
A Generalizable Light Transport 3D Embedding for Global Illumination
UC San Diego and NVIDIA USA（加州大学圣迭戈分校和美国NVIDIA公司）；UC San Diego USA（加州大学圣迭戈分校（美国））；NVIDIA USA（美国NVIDIA公司）；UC San Diego USA and NVIDIA USA（加州大学圣迭戈分校和美国NVIDIA公司）
提出一种可泛化的3D光传输嵌入方法，通过点云和Transformer直接预测全局光照，无需光栅化或路径追踪线索，适用于多种室内场景。
2026-06-16 cs.CV cs.GR
NePF: Neural Photon Field for Single-Stage Inverse Rendering
School of Computer Science（计算机学院）；Wuhan University（武汉大学）
提出单阶段逆向渲染框架NePF，通过统一恢复几何、材质和光照，并引入基于坐标的照明模型与次表面散射正则化，在真实与合成数据上实现了高保真几何与合理材质的恢复。
2023-11-20 cs.CV cs.GR
OctaOctree Neural Radiosity for Real-time Glossy Material Rendering
Peking University（北京大学）
提出OctaOctree表示，通过空间自适应八叉树耦合八面体方向图，高效编码高频出射辐射分布，实现单次网络查询的实时高质量全局光照。
2026-06-07 cs.CV cs.GR
TokenLight: Precise Lighting Control in Images using Attribute Tokens
Yale University（耶鲁大学）；Adobe
本文提出一种图像再照明方法，通过属性标记编码多种光照属性，实现精确连续控制，并在合成和真实图像上验证了其性能。
2026-04-17 cs.CV cs.GR
Web-Based Dynamic Paintings: Real-Time Interactive Artworks in Web Using a 2.5D Pipeline
本研究提出一种2.5D流水线方法，通过处理手绘图像集在Web上实时生成具有全局光照效果的交互式动态绘画，并引入了新的艺术指导菲涅尔函数和扭曲方程以实现物理合理且可控的反射与折射效果。
2023-11-26 cs.GR cs.HC
Neural Light Transport for Relighting and View Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Google（谷歌）；University of California, San Diego（加州大学圣地亚哥分校）
一个场景的光传输（LT）描述了它如何出现在不同的照明和观看方向，和一个场景的LT的完整知识，使任意照明下的新的意见合成。在本文中，我们专注于基于图像的LT采集，主要是针对人体内的光舞台设置。我们提出了一种半参数的方法来学习LT的神经表示，该表示嵌入在已知几何属性的纹理图集的空间中，并将所有非漫反射和全局LT建模为添加到物理精确的漫反射基础渲染的残差。特别是，我们展示了如何融合以前看到的观察光源和意见，合成一个新的图像相同的场景下所需的照明条件下，从选定的观点。该策略允许网络学习复杂的材质效果（如次表面散射）和全局光照，同时保证漫反射LT的物理正确性（如硬阴影）。有了这个学习的LT，人们可以用定向光或HDRI地图重新照亮场景，合成具有视图相关效果的新视图，或者同时进行这两项工作，所有这些都在一个统一的框架中使用一组稀疏的，以前见过的观察。定性和定量的实验表明，我们的神经LT（NLT）优于国家的最先进的解决方案，重新照明和视图合成，没有单独的治疗这两个问题，以前的工作需要。
2021-01-20 cs.CV cs.GR
Differentiable Light Transport with Gaussian Surfels via Adapted Radiosity for Efficient Relighting and Geometry Reconstruction
University of California, San Diego（加州大学圣地亚哥分校）
提出基于 Gaussian surfels 与适配辐射度理论的可微光传输框架，在球谐系数空间高效支持全局光照、重光照和几何重建。
2025-09-29 cs.CV cs.GR
Hypersim: A Photorealistic Synthetic Dataset for Holistic Indoor Scene Understanding
Apple（苹果公司）
对于许多基本的场景理解任务，很难或不可能从真实图像中获得每像素的地面实况标签。我们通过引入Hypersim来应对这一挑战，Hypersim是一种用于整体室内场景理解的真实感合成数据集。为了创建我们的数据集，我们利用了由专业艺术家创建的大型合成场景库，并生成了461个室内场景的77，400张图像，其中包含详细的每像素标签和相应的地面真实几何。我们的数据集：（1）完全依赖于公开可用的3D资产;（2）包括每个场景的完整场景几何结构、材料信息和照明信息;（3）包括每个图像的密集每像素语义实例分割和完整相机信息;以及（4）将每个图像分解为漫反射、漫照明和捕获视图相关照明效果的非漫残差项。我们在场景、对象和像素级别分析数据集，并从金钱、计算时间和注释工作量方面分析成本。值得注意的是，我们发现从头开始生成整个数据集是可能的，大约是训练流行的开源自然语言处理模型的一半成本。我们还评估了两个真实世界场景理解任务-语义分割和3D形状预测仿真到现实迁移性能，我们发现在我们的数据集上进行预训练可以显着提高这两个任务的性能，并在最具挑战性的Pix 3D测试集上实现最先进的性能。我们所有的渲染图像数据，以及我们用来生成数据集和执行实验的所有代码，都可以在线获得。
2021-08-18 cs.CV cs.GR
Relightable Gaussian Codec Avatars
Meta；Codec Avatars Lab（Codec Avatars实验室）
提出基于3D高斯和可学习辐射传输的可重照明头像方法，实现高保真实时重照明，支持表情动画，并优于现有方法。
2024-05-28 cs.CV cs.GR
From Particles to Fields: Reframing Photon Mapping with Continuous Gaussian Photon Fields
本文提出高斯光场，通过学习表示将光子分布编码为各向异性3D高斯体，提升多视角渲染效率，实现光子级精度与神经场景表示的结合。
2026-03-16 cs.CV cs.GR
Relighting4D: Neural Relightable Human from Videos
Nanyang Technological University（南洋理工大学）
人类重新照明是一项非常理想但具有挑战性的任务。现有的作品要么需要昂贵的一个光在一个时间（OLAT）捕获的数据使用光舞台或不能自由地改变渲染的身体的观点。在这项工作中，我们提出了一个原则性的框架，Relighting4D，使自由的观点，只有人类的视频在未知的照明重新照明。我们的关键见解是，时空变化的几何形状和人体的反射率可以分解为一组正常的，闭塞，漫反射和镜面反射映射的神经领域。这些神经场被进一步集成到反射感知的基于物理的渲染中，其中神经场中的每个顶点吸收和反射来自环境的光。整个框架可以以自我监督的方式从视频中学习，并为正则化设计了物理信息先验。在真实数据集和合成数据集上的大量实验表明，我们的框架能够重新照亮具有自由视点的动态人类演员。
2022-07-14 cs.CV cs.GR
Directed Distance Fields for Constant-Time Ray Queries on Gaussian Splatting
School of Computer Sciences, National Institute of Science Education and Research (NISER)（计算机科学学院，国家科学教育与研究研究所（NISER））
提出定向距离函数（DDF），将训练好的3D高斯泼溅场景转化为射线预言机，实现恒定时间的射线查询，用于全局光照等二次射线追踪。
2026-05-30 cs.CV cs.GR
PhysHDR: When Lighting Meets Materials and Scene Geometry in HDR Reconstruction
School of Information Technology, Monash University, Malaysia（信息技术学院，墨尔本大学，马来西亚）；Faculty of Information Technology, Monash University, Australia（信息技术学院，墨尔本大学，澳大利亚）；Robotics and Autonomous Systems Lab, TCS Research, India（机器人与自主系统实验室，TCS研究，印度）
针对LDR转HDR图像重建中缺乏对光照、材质和场景几何显式建模的问题，提出基于潜在扩散的PhysHDR模型，通过光照深度条件与新损失函数纳入材质属性，实验证明其优于现有先进方法。
2025-09-21 cs.AI cs.CV cs.GR
