DHR: Distributed Hybrid Rendering for Metaverse Experiences
传统上，光栅化技术用于实时渲染以满足交互式帧速率的约束。然而，与光线追踪方法相比，这样的技术不产生真实的结果。因此，出现了混合绘制以实时地提高具有光线追踪的光栅化的图形保真度。我们探讨的方法，分布式渲染将实时混合渲染到虚拟实境体验沉浸式图形。在独立的延展实境（XR）设备中，这种启用了光线追踪的图形仅通过纯基于云的远程渲染系统才是可行的，该远程渲染系统依赖于低延迟网络来响应于交互式用户输入而传输实时光线跟踪数据。在高网络延迟条件下，远程渲染可能无法保持客户端的交互式帧速率，从而对用户体验产生不利影响。我们采用混合渲染通过分布式渲染方法集成光线追踪功能强大的远程硬件与基于光栅的渲染用户访问设备。通过这种混合方法，我们的技术可以帮助独立的XR设备实现包含光线追踪的图形，并且即使在高延迟条件下也能保持交互式帧速率。
2022-10-28 cs.GR
Neural Hamiltonian Deformation Fields for Dynamic Scene Rendering
Beijing University of Posts and Telecommunications（北京邮电大学）；Shanghai Jiao Tong University（上海交通大学）
NeHaD通过哈密顿力学建模动态高斯点漂，实现物理真实的动态场景渲染与流媒体能力。
2025-12-11 cs.GR
One algebra for all : Geometric Algebra methods for neurosymbolic XR scene authoring, animation and neural rendering
FORTH - ICS, University of Crete（希腊研究基金会-计算机科学研究所，克里特大学）；University of Western Macedonia（西马其顿大学）；FORTH - ICS / University of Crete（希腊研究基金会-计算机科学研究所/克里特大学）
本文提出将几何代数作为统一数学框架，解决传统CG/XR中几何变换表示的精度性能问题，打通神经表征与几何推理，优化动画、渲染、神经场景编辑等任务效果。
2025-11-19 cs.GR
Hybrid DoF: Ray-Traced and Post-Processed Hybrid Depth of Field Effect for Real-Time Rendering
游戏中的景深（DoF）通常是通过基于定义的焦平面模糊锐利光栅化图像中的像素来实现的后处理效果。本文介绍了一种新的实时的【形】自由度技术，使用光线追踪与图像滤波，以实现更准确的部分遮挡半模糊的前景几何边缘。该混合渲染技术利用光线追踪硬件加速以及时空重构技术来实现交互式帧速率。
2022-10-10 cs.GR
Virtualized 3D Gaussians: Flexible Cluster-based Level-of-Detail System for Real-Time Rendering of Composed Scenes
本文提出虚拟化3D高斯（V3DG），通过分层簇构建与动态选择实现大规模合成场景的实时渲染，在用户定义容差下平衡效率与画质。
2025-05-10 cs.GR
Pulsar: Efficient Sphere-based Neural Rendering
我们提出了Pulsar，一个高效的基于球体的可微分渲染器，由于与PyTorch紧密集成，它比竞争技术快几个数量级，模块化，易于使用。微分渲染是现代神经渲染方法的基础，因为它能够从图像观察中对3D场景表示进行端到端训练。然而，神经网格、体素或函数表示的基于梯度的优化受到多重挑战，即，拓扑不一致、内存占用高或渲染速度慢。为了缓解这些问题，Pulsar采用了：1）基于球体的场景表示，2）高效的可微分渲染引擎，以及3）神经着色。Pulsar执行速度比现有技术快几个数量级，并允许实时渲染和优化数百万个球体的表示。使用球体的场景表示，获得前所未有的速度，同时避免拓扑问题。Pulsar是完全可区分的，因此能够实现从3D重建到一般神经渲染渲染的大量应用。
2020-12-22 cs.GR
Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects
Zhejiang University（浙江大学）；Google（谷歌）
作为人类，我们可以从给定的单个图像的任意视角理解和描绘熟悉的场景，而这对计算机来说仍然是一个巨大的挑战。因此，我们提出了一种新的解决方案，模仿这样的人类感知能力的基础上的一个新的范例的非模态三维场景理解与神经渲染的封闭场景。具体来说，我们首先通过离线阶段学习封闭场景中对象的先验知识，这有助于在线阶段理解具有不可见家具布置的房间。在在线阶段，给定不同布局的场景全景图像，我们利用基于整体神经渲染的优化框架来有效地估计正确的3D场景布局并提供逼真的自由视点渲染。为了处理离线和在线阶段之间的域间隙，我们的方法利用组合神经渲染技术在离线训练中进行数据增强。合成和真实数据集上的实验表明，我们的两个阶段的设计实现了强大的3D场景理解，并优于竞争方法的大幅度提高，我们也表明，我们的现实自由视点渲染，使各种应用，包括场景游览和编辑。代码和数据可在项目网页上获得：https://zju3dv.github.io/nr_in_a_room/。
2022-05-05 cs.CV cs.GR
Cloud-Assisted Hybrid Rendering for Thin-Client Games and VR Applications
我们介绍了一种新的分布式渲染方法，以生成高质量的图形在瘦客户端游戏和VR应用程序。许多移动设备具有有限的计算能力来实时实现光线追踪。因此，硬件加速的云服务器可以执行光线追踪，并将其输出流式传输到远程渲染的客户端。应用分布式混合渲染的方法，我们充分利用瘦客户端和强大的服务器的计算能力，在本地执行光栅化，同时卸载光线追踪到服务器。随着5G技术的进步，服务器和客户端可以通过网络进行有效通信，并共同工作以产生高质量的输出，同时保持交互式帧速率。我们的方法可以实现更好的视觉效果相比，本地渲染，但更快的性能相比，远程渲染。
2022-10-11 cs.GR
Residual path integrals for re-rendering
针对帧间仅小部分改动的动态场景重渲染需求，提出残差路径积分方法，结合运动物体出发的重要性采样与适配的路径映射，实现比现有方法更快的增量重渲染，也可用于材质编辑，为相关技术设计提供新思路。
2024-06-24 cs.GR
Recursive Camera Painting: A Method for Real-Time Painterly Renderings of 3D Scenes
本研究提出递归相机绘画方法，通过每像素对应相机、用渲染图迭代更新相机参数的机制，在GPU光线追踪和VR环境中实现了3D场景实时动态绘画风格渲染。
2023-12-01 cs.GR
A Hybrid System for Real-time Rendering of Depth of Field Effect in Games
游戏电影中实时的【形】景深往往通过后期处理技术近似于失焦对象的半透明轮廓。我们利用光线追踪硬件加速和时空重建，以提高这种半透明区域的真实感，通过混合渲染，同时保持互动的帧速率沉浸式游戏。本文扩展了我们以前的工作，完整介绍了我们的技术，并详细介绍了它的设计，实现和未来的工作。
2022-10-11 cs.GR
Object-Centric Neural Scene Rendering
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
我们提出了一种方法，用于组成逼真的场景从捕获的图像的对象。我们的工作建立在神经辐射场（NeRFs）的基础上，它隐含地模拟了场景的体积密度和定向发射的辐射。虽然NeRFs合成逼真的图片，但它们只对静态场景进行建模，并且与特定的成像条件密切相关。这个属性使得NeRF很难推广到新的场景，包括新的照明或新的对象排列。我们建议学习以对象为中心的神经散射函数（OSF），而不是像NeRF那样学习场景辐射场，OSF是一种使用照明和视图相关的神经网络隐式建模每个对象光传输的表示。这使得即使对象或灯光移动时也可以渲染场景，而无需重新训练。结合体积路径追踪程序，我们的框架是能够渲染内和对象间的光传输效果，包括闭塞，镜面反射，阴影，和间接照明。我们评估我们的方法在场景组成，并表明它概括到新的照明条件下，产生逼真的，物理上准确的多对象场景渲染。
2020-12-15 cs.CV cs.GR
City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web
University of Science and Technology of China（中国科学技术大学）；East China Normal University（华东师范大学）
City-on-Web 首次在网页端实现大规模场景实时神经渲染，通过基于块的体渲染和细节层次动态加载策略，在 RTX 3060 上达到约 32FPS 且质量接近现有最优方法。
2024-04-01 cs.CV cs.GR
Hybrid MBlur: Using Ray Tracing to Solve the Partial Occlusion Artifacts in Real-Time Rendering of Motion Blur Effect
对于运动中的前景对象，否则将被隐藏的其背景的细节通过其内部模糊被揭示。提出了一种结合后处理图像滤波和硬件加速光线追踪的混合运动模糊绘制技术。在每一帧中，我们将光线递归地推进到场景中，以检索内部模糊区域的背景信息，并在将它们合成在一起之前，对光线跟踪的背景和光栅化的颜色应用后处理过滤。我们的方法实现了更准确的部分遮挡运动物体的半透明性，同时保持互动的帧速率。
2022-10-11 cs.GR
Progressive Blue Surfels
在本文中，我们描述了一种新的技术来生成和使用曲面渲染高度复杂的，多边形的三维场景在实时的。基本思想是通过渲染一组点（曲面）来近似场景的复杂部分。这些点在预处理步骤中计算，并提供两个重要的属性：它们仅放置在场景几何的可见表面上，并且它们以这样的方式分布和排序，即每个点的前缀都是场景近似部分的良好视觉表示。该方法的早期评估表明，它是能够渲染场景组成的几十亿个三角形具有高图像质量。
2013-06-30 cs.GR
Nanouniverse: Virtual Instancing of Structural Detail and Adaptive Shell Mapping
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出一种基于硬件加速光线追踪和虚拟实例化及自适应壳映射的方法，实现数万亿原子级生物场景的交互式渲染，内存消耗低且支持高级效果。
2024-04-08 cs.GR
PSDR-Room: Single Photo to Scene using Differentiable Rendering
University of California, Irvine（加州大学欧文分校）；Adobe Research（Adobe研究院）
PSDR-Room系统利用路径空间可微渲染和单图像场景理解，从单张室内照片自动优化光照、物体位姿与材质，实现可编辑的3D场景重建。
2023-07-06 cs.CV cs.GR
Advances in Neural Rendering
MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）；ETH Zürich（苏黎世联邦理工学院）；Reality Labs Research（现实实验室研究院）；MIT（麻省理工学院）；Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
合成照片级逼真的图像和视频是计算机图形学的核心，也是几十年来研究的焦点。传统上，使用诸如光栅化或光线追踪之类的渲染算法来生成场景的合成图像，这些渲染算法将具体定义的几何和材料属性的表示作为输入。总的来说，这些输入定义了实际的场景和渲染的内容，并被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有伴随纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描），或隐式表面函数（例如，截断的有符号距离字段）。使用可微分的渲染损失从观察重构这样的场景表示被称为逆图形或逆渲染。神经渲染是密切相关的，它结合了经典计算机图形学和机器学习的思想，创建了从现实世界的观察合成图像的算法。神经渲染是向合成照片级真实感图像和视频内容的目标的飞跃。近年来，我们已经看到了这一领域的巨大进步，通过数百个出版物展示了将可学习组件注入渲染管道的不同方法。这份关于神经渲染进展的最新报告重点介绍了将经典渲染原理与学习的3D场景表示（现在通常称为神经场景表示）相结合的方法。这些方法的一个关键优势是它们在设计上是3D一致的，从而实现了诸如捕获场景的新颖视点合成等应用。除了处理静态场景的方法外，我们还介绍了用于建模非刚性变形对象的神经场景表示。
2022-03-30 cs.CV cs.GR
Hybrid MBlur: A Systematic Approach to Augment Rasterization with Ray Tracing for Rendering Motion Blur in Games
运动模糊通常用于游戏电影中，通过对相机快门的行为进行建模并模拟其与场景对象的相对运动相关的效果来实现照片真实感。一种常见的实时后处理方法是空间采样，其中通过基于单个帧内的速度信息整合其颜色来渲染移动对象的方向模糊。然而，这样的屏幕空间方法通常不能产生准确的部分遮挡半透明性。我们的实时混合渲染技术利用硬件加速的光线追踪，以纠正后处理的部分遮挡文物推进射线递归到场景中检索运动模糊区域的背景信息，与合理的额外性能成本渲染游戏内容。我们扩展了我们以前的工作，详细的设计，实施和未来的工作的技术，以及性能比较与后处理。
2022-10-11 cs.GR
MAIR: Multi-view Attention Inverse Rendering with 3D Spatially-Varying Lighting Estimation
Korea University（高丽大学）；University of Science and Technology（韩国科学技术联合大学院大学）；Yonsei University（延世大学）
我们提出了一个场景级的逆渲染框架，使用多视图图像分解成几何，SVBRDF和三维空间变化的照明场景。由于多视点图像提供了关于场景的各种信息，因此多视点图像在对象级逆绘制中已被视为理所当然。然而，由于缺乏多视点HDR合成数据集，场景级逆绘制主要是使用单视点图像进行研究。我们能够通过扩展OpenRooms数据集和设计有效的管道来处理多视图图像，并分割空间变化的照明，成功地使用多视图图像执行场景级逆渲染。实验结果表明，该方法不仅比基于单视图的方法具有更好的性能，而且对不可见的真实场景也具有鲁棒性。此外，我们先进的3D空间变化照明体积允许在任何3D位置插入逼真的对象。
2023-03-27 cs.CV cs.GR
OccluGaussian: Occlusion-Aware Gaussian Splatting for Large Scene Reconstruction and Rendering
Huawei Noah’s Ark Lab（华为诺亚实验室）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）；The University of Hong Kong（香港大学）；Huawei Embodied Intelligence Lab（华为具身智能实验室）
OccluGaussian通过遮挡感知的场景划分和区域渲染技术，提升大规模场景重建与渲染的质量和效率。
2025-11-29 cs.CV cs.GR
Dynamic Scene Reconstruction: Recent Advance in Real-time Rendering and Streaming
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Computer Science, Peking University（北京大学计算机学院）
本综述系统梳理了动态场景重建与渲染的演进，重点总结基于NeRF和3D Gaussian Splatting的方法、数据集、基准性能及未来方向，覆盖170余篇论文。
2025-03-11 cs.CV cs.GR
Efficient Scene Appearance Aggregation for Level-of-Detail Rendering
University of California, Santa Barbara（加州大学圣芭芭拉分校）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出了一种基于ABSDF的高效体素表示方法，用于实现保持外观的细节层次渲染，能够在不增加内存和渲染成本的情况下提升渲染质量。
2024-08-19 cs.CV cs.GR
Real-Time Scene Reconstruction using Light Field Probes
University of Cambridge（剑桥大学）；McGill University（麦吉尔大学）
本文提出一种基于光场探针数据结构的实时场景重建方法，通过多尺度隐式表示避免显式几何依赖，使渲染成本与场景复杂度无关，并适用于VR/AR应用。
2025-07-19 cs.CV cs.GR
RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS
Google（谷歌公司）
RadSplat利用辐射场作为先验和监督，结合剪枝与测试时过滤，实现复杂场景900+ FPS的实时高质量渲染。
2025-03-31 cs.CV cs.GR
Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool
Google Research（谷歌研究院）
我们提出了一个神经渲染框架，将体素化场景映射到高质量的图像。高度纹理化的对象和场景元素的相互作用，现实地呈现我们的方法，尽管有一个粗略的表示作为输入。此外，我们的方法允许可控渲染：输入中的几何和外观修改准确地传播到输出。用户可以移动，旋转和缩放对象，更改其外观和纹理或修改灯光的位置，所有这些编辑都在最终渲染中表示。我们证明了我们的方法的有效性，通过渲染不同外观的场景，从单一的颜色每个对象复杂的，高频纹理。我们表明，我们的重新渲染网络可以生成非常详细的图像，精确地表示输入场景的外观。我们的实验表明，与替代方案相比，我们的方法实现了更准确的图像合成结果，并且还可以处理低体素网格分辨率。最后，我们展示了我们的神经渲染框架如何从真实图像和不同的类集合中捕获和忠实地渲染对象。
2020-04-06 cs.CV cs.GR
Meshtryoshka: Differentiable Rendering of Real-World Scenes via Mesh Rasterization
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）
提出Meshtryoshka框架，利用嵌套网格壳表示和现成三角形光栅化器，通过符号距离函数间接更新顶点位置，实现大规模无界场景的高质量可微分渲染。
2026-07-14 cs.CV cs.GR
Real-Time Neural Rasterization for Large Scenes
Waabi；University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
针对大场景实时新视角合成的现有方法局限，提出结合中等质量支架网格、神经纹理场与着色器及标准图形管线的神经光栅化方法，实现大场景30倍以上提速且真实感相当或更优的实时渲染。
2023-11-09 cs.AI cs.CV cs.GR
NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
虽然NeRF在神经重建和渲染方面取得了巨大的成功，但其有限的MLP容量和较长的每个场景优化时间使得对大规模室内场景建模具有挑战性。相比之下，经典的3D重建方法可以处理大规模的场景，但不产生逼真的渲染。我们提出了NeRFusion，一种结合了NeRF和TSDF融合技术的优点的方法，以实现高效的大规模重建和照片级真实感渲染。我们处理输入图像序列，通过直接网络推理预测每帧局部辐射场。然后使用一种新型的递归神经网络将这些融合，该网络以22 fps的速度实时增量重建全局稀疏场景表示。这个全局体积可以进一步微调，以提高渲染质量。我们证明了NeRFusion在大规模室内和小规模物体场景上都达到了最先进的质量，并且比NeRF和其他最近的方法重建速度更快。
2022-03-21 cs.CV cs.GR
Neural directional distance field object representation for uni-directional path-traced rendering
National Institute of Science Education and Research（国家科学教育与研究所）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
本文针对计算机图形学中路径追踪渲染的查询瓶颈，提出方向距离场作为物体的函数表示，将其存储为神经网络进行优化，并设计了修改后的路径追踪算法以实现该物体表示的快速渲染。
2023-06-28 cs.CV cs.GR
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
School of CS, Huazhong University of Science and Technology（华中科技大学计算机学院）；School of EIC, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Huawei Inc.（华为公司）
针对动态场景渲染难兼顾效率与质量的问题，提出融合3D高斯与4D神经体素的4D-GS方法，通过分解式神经体素编码和轻量MLP预测高斯形变，实现高分辨率实时渲染且质量优于或持平SOTA。
2024-07-15 cs.CV cs.GR
GLoD-LVSM: Learning Geometry-Grounded Continuous-LoD Scene Representations for Large View Synthesis Models
University of Rochester（罗切斯特大学）；Reality Labs, Meta（Meta Reality Labs）
本文提出GLoD-LVSM，一种基于几何的连续多细节层次场景表示，用于解决大视角合成模型的令牌冗余问题，可在保证渲染质量的同时大幅减少令牌数量、提升渲染速度，还支持场景语义理解。
2026-10-14 cs.CV cs.GR
Semantics-Controlled Gaussian Splatting for Outdoor Scene Reconstruction and Rendering in Virtual Reality
Technical University of Munich（慕尼黑工业大学）；University of Otago（奥塔哥大学）；TUM University Hospital Erlangen（慕尼黑工业大学埃尔朗根大学医院）
提出语义控制的Gaussian Splatting (SCGS)方法，解决户外大场景3D环境编辑难题，实现高质量分割与渲染，在视觉质量、分割性能及用户体验上超越现有技术。
2024-09-24 cs.CV cs.GR
HDGS: Textured 2D Gaussian Splatting for Enhanced Scene Rendering
University of Pennsylvania（宾夕法尼亚大学）；Archimedes, Athena RC（阿基米德雅典娜研究中心）
针对 2DGS 任意视点渲染中的细节丢失与锯齿问题，本文提出 HDGS，通过面元纹理对齐、逐射线深度排序、fisher 剪枝和视锥采样提升渲染质量与效率。
2024-12-02 cs.CV cs.GR
Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable Rendering Method
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京国家信息科学与技术研究中心（BNRist））；Cardiff University（卡迪夫大学）
针对多视图逆渲染难题，提出结合近似与物理可微渲染的两阶段混合方法，在保证重建质量的同时提升了效率。
2023-08-19 cs.CV cs.GR
Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing
Zhejiang University（浙江大学）；Adobe Research（奥多比研究院）；Zhejiang Lab（之江实验室）；Manycore（众核）
室内场景通常表现出复杂的，空间变化的外观从全局光照，使逆渲染一个具有挑战性的不适定问题。这项工作提出了一个端到端的，基于学习的逆渲染框架，结合可微蒙特卡洛光线跟踪与重要性采样。该框架将单个图像作为输入，以联合恢复底层几何形状，空间变化的照明和真实感材料。具体来说，我们引入了一个基于物理的微分渲染层与屏幕空间的光线追踪，从而产生更逼真的镜面反射，匹配输入的照片。此外，我们还创建了一个大规模的真实感室内场景数据集，其中包含更丰富的细节，如复杂的家具和专用装饰。此外，我们设计了一种新的视图外照明网络，利用基于超网络的神经辐射场来预测输入照片视图外的照明。通过对常见基准数据集的广泛评估，我们证明了与最先进的基线相比，我们的方法具有出色的逆渲染质量，从而实现了各种应用，例如复杂对象插入和高保真材质编辑。代码和数据将在\url{https://jingsenzhu.github.io/invrend}上提供。
2022-11-23 cs.AI cs.CV cs.GR
Leveraging 2D Priors and SDF Guidance for Dynamic Urban Scene Rendering
IIIT Hyderabad（海得拉尔印度理工学院）；MBZUAI（穆罕默德·本·拉希德智能研究院）；University of Heidelberg（海德堡大学）；VLM Run；IIT Kharagpur（克达尔理工学院）
本文提出结合2D对象无关先验与SDF表示的方法，用于动态城市场景渲染，无需LiDAR数据，提升几何精度和变形建模能力。
2025-10-15 cs.CV cs.GR
RenderFormer-V2: Neural Rendering with Heterogeneous Scene Primitives
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；College of William & Mary（威廉与玛丽学院）
RenderFormer-V2提出一种基于Transformer的神经渲染模型，通过两阶段序列变换和组合窗口注意力机制，支持异构场景基元，无需逐场景训练即可处理多种光传输效应。
2026-09-09 cs.CV cs.GR cs.LG
Triplet: Triangle Patchlet for Mesh-Based Inverse Rendering and Scene Parameters Approximation
本文提出基于网格的Triangle Patchlet（Triplet）框架，通过光栅化、光线追踪及迭代网格提取等技术，在无先验条件下统一估计光照、材质与几何，实现了最先进的视觉质量与高精度逆向渲染。
2024-10-16 cs.CV cs.GR
IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images
Meta；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Maryland College Park（马里兰大学学院公园分校）
提出 IRIS 框架，从多视角 LDR 图像联合恢复室内场景的物理材质、空间变化 HDR 光照和相机响应函数，降低逆向渲染使用门槛。
2025-03-17 cs.CV cs.GR
RetinaGS: Scalable Training for Dense Scene Rendering with Billion-Scale 3D Gaussians
MThreads AI
本研究提出通用3DGS模型并行训练方法RetinaGS，可适配任意场景与高斯分布，突破此前规模限制，首次实现十亿级基元3DGS训练并提升重建质量。
2024-06-22 cs.CV cs.GR
Differentiable Inverse Rendering with Interpretable Basis BRDFs
POSTECH（浦项科技大学）
针对逆渲染中基BRDF难以直观分离且扩展性有限的问题，提出基于2D高斯与动态稀疏基BRDF混合的可微逆渲染方法，实现准确几何重建、可解释材质分解及新视角重光照与场景编辑。
2024-12-01 cs.CV cs.GR
Neural Scene Graphs for Dynamic Scenes
Algolux（Algolux公司）；Technical University of Munich（慕尼黑工业大学）；Princeton University（普林斯顿大学）
最近的隐式神经渲染方法已经证明，它是可能的，学习精确的视图合成复杂的场景，通过预测其体积密度和颜色的监督，仅由一组RGB图像。然而，现有的方法仅限于学习将所有场景对象编码到单个神经网络中的静态场景的有效表示，并且缺乏表示动态场景和分解成单个场景对象的能力。在这项工作中，我们提出了第一个神经渲染方法，分解成场景图的动态场景。我们提出了一个学习场景图表示，编码对象的变换和辐射，有效地渲染新的安排和场景的意见。为此，我们学习隐式编码的场景，结合联合学习的潜在表示来描述具有单个隐式函数的对象。我们对合成和真实汽车数据进行了评估，验证了我们的方法可以学习动态场景-仅通过观察该场景的视频-并允许渲染新场景组合的新颖照片级逼真视图，其中包含看不见的物体组。
2021-03-05 cs.CV cs.GR
Active Exploration for Neural Global Illumination of Variable Scenes
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Adobe Research（Adobe研究院）
神经渲染算法为真实感渲染引入了一种全新的方法，通常是通过学习大量地面真实图像上的照明神经表示。当针对给定的可变场景进行训练时，即，改变对象、材料、灯光和视点，可能的训练数据实例的空间D随着可变参数的维度增加而迅速变得难以管理。我们介绍了一种新的主动探索方法，使用马尔可夫链蒙特卡罗，探索D，生成样本（即，地面实况渲染），其最好地帮助训练和交织训练以及动态样本数据生成。我们引入了一个自调整的样本重用策略，以尽量减少昂贵的渲染训练样本的步骤。我们将我们的方法应用于神经生成器，该神经生成器学习渲染场景配置的显式参数化的新场景实例。我们的研究结果表明，主动探索训练我们的网络比均匀采样更有效，并且与我们的分辨率增强方法一起，在收敛时比均匀采样实现了更好的质量。我们的方法允许硬光传输路径（例如，复杂的焦散）--需要非常高的采样计数来捕获--并在根据所需的质量和变化训练5-18小时后提供动态场景导航和操纵。
2022-03-15 cs.CV cs.GR
3D Gaussian Splatting for Real-Time Radiance Field Rendering
Inria（法国国家信息与自动化研究所）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
本文提出3D高斯泼溅方法，通过稀疏点初始化、交错优化与密度控制以及可见性感知渲染算法，在1080p分辨率下实现高质量实时新视角合成。
2023-08-08 cs.CV cs.GR
STDR: Spatio-Temporal Decoupling for Real-Time Dynamic Scene Rendering
Institute of Computing Technology, Chinese Academy of Sciences, ICT（中国科学院计算技术研究所）；University of Chinese Academy of Sciences, UCAS（中国科学院大学）；The University of Queensland（昆士兰大学）；University of California, Merced（加州大学梅尔塞德斯分校）
针对3DGS动态重建中的时空纠缠问题，提出即插即用模块STDR，通过时空掩码、分离变形场和一致性正则化联合解耦时空模式，显著提升了合成与真实基准上的重建质量与一致性。
2025-05-28 cs.CV cs.GR
Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Columbia University（哥伦比亚大学）；IAFI；MIT BCS（麻省理工学院脑与认知科学系）；CBMM
从二维观测数据推断三维场景的表示是计算机图形学、计算机视觉和人工智能的基本问题。新兴的三维结构神经场景表示是一种很有前途的三维场景理解方法。在这项工作中，我们提出了一种新的神经场景表示，光场网络或LFNs，它表示通过神经隐式表示参数化的360度四维光场中的基础3D场景的几何形状和外观。渲染来自LFN的光线仅需要单个网络评估，而不是3D结构神经场景表示中的光线行进或基于体积的渲染器的每根光线的数百个评估。在简单场景的设置中，我们利用元学习来学习LFN的先验知识，该先验知识可以从单个图像观察中实现多视图一致的光场重建。这将大大减少时间和内存复杂性，并实现实时渲染。通过LFN存储360度光场的成本比Lumigraph等传统方法低两个数量级。利用神经隐式表示的解析可微性和一种新颖的光空间参数化，我们进一步证明了从LFNs中提取稀疏深度图。
2022-01-18 cs.AI cs.CV cs.GR
A LoD of Gaussians: Unified Training and Rendering for Ultra-Large Scale Reconstruction with External Memory
Graz University of Technology（格拉茨技术大学）；University of Stuttgart（斯图加特大学）；Huawei Technologies（华为技术）
本文提出一种无需分块的高斯点云框架，通过外存存储完整场景并动态流式传输相关高斯点，实现超大规模场景的实时训练与渲染，支持多尺度重建与交互式可视化。
2026-02-17 cs.GR cs.LG
A Hierarchical 3D Gaussian Representation for Real-Time Rendering of Very Large Datasets
Inria（法国国家信息与自动化研究所）；TU Wien（维也纳技术大学）
针对3D高斯泼溅技术在超大规模场景下资源受限、视觉质量难保障的问题，提出分层3D高斯表示与分治训练方案，结合LOD机制实现了数公里级大规模场景的实时高质量渲染。
2024-06-17 cs.CV cs.GR
Rotated Lights for Consistent and Efficient 2D Gaussians Inverse Rendering
University of Maryland, College Park（马里兰大学College Park分校）
RotLight通过旋转物体减少逆渲染中的模糊性，结合代理网格提升全局光照处理，实现更准确的albedo估计。
2026-02-09 cs.CV cs.GR
Block-NeRF: Scalable Large Scene Neural View Synthesis
Waymo；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了块NeRF，神经辐射场的一个变体，可以代表大规模的环境。具体来说，我们证明了当缩放NeRF以渲染跨越多个街区的城市规模场景时，将场景分解为单独训练的NeRF是至关重要的。这种分解将渲染时间从场景大小中分离出来，使渲染能够扩展到任意大的环境，并允许对环境进行逐块更新。我们采用了几个架构更改，使NeRF对在不同环境条件下捕获的数据具有强大的鲁棒性。我们添加外观嵌入，学习姿势优化和可控曝光到每个单独的NeRF，并介绍了一个程序，用于对齐相邻NeRF之间的外观，使它们可以无缝组合。我们从280万张图像中构建了一个Block-NeRFs网格，以创建迄今为止最大的神经场景表示，能够渲染旧金山的整个社区。
2022-02-10 cs.CV cs.GR
Neural Sparse Voxel Fields
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（Facebook人工智能研究院）；National University of Singapore（新加坡国立大学）
使用经典的计算机图形技术对真实世界场景进行照片级真实感的自由视点绘制是具有挑战性的，因为它需要捕获详细的外观和几何模型的困难步骤。最近的研究表明，通过学习场景表示，隐式编码的几何形状和外观没有3D监督有希望的结果。然而，在实践中，现有的方法往往显示模糊渲染所造成的有限的网络容量或难以找到准确的交叉点的相机射线与场景几何。从这些表示合成高分辨率图像通常需要耗时的光线行进。在这项工作中，我们介绍了神经稀疏体素场（NSVF），一个新的神经场景表示快速和高质量的自由视点渲染。NSVF定义了一组组织在稀疏体素八叉树中的体素边界隐式字段，以对每个单元中的局部属性进行建模。我们逐步学习的基础体素结构与微分射线行进操作，从一组构成的RGB图像。利用稀疏体素八叉树结构，可以通过跳过不包含相关场景内容的体素来加速渲染新视图。我们的方法通常比现有技术（即NeRF（Mildenhall等人，2020）），同时实现更高质量的结果。此外，通过利用显式稀疏体素表示，我们的方法可以很容易地应用到场景编辑和场景合成。我们还演示了几个具有挑战性的任务，包括多场景学习，自由视点渲染的一个移动的人，和大规模的场景渲染。代码和数据可在我们的网站上获得：https://github.com/facebookresearch/NSVF。
2021-01-06 cs.CV cs.GR cs.LG
NeRFlex: Resource-aware Real-time High-quality Rendering of Complex Scenes on Mobile Devices
UM-SJTU Joint Institute（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
NeRFlex 是一个移动设备上复杂场景的资源感知实时高质量渲染框架，通过多 NeRF 表示分解场景并结合动态规划算法优化配置，在商用移动设备上实现了实时高质量渲染。
2025-04-04 cs.CV cs.GR cs.LG
ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Intel Labs（英特尔实验室）
神经渲染的最新进展显示了从多视点图像重建场景的巨大潜力。然而，精确地表示具有光滑表面的对象对于现有方法来说仍然是一个挑战。在这项工作中，我们介绍了ENVIDR，渲染和建模框架的高质量渲染和重建具有挑战性的镜面反射表面。为了实现这一目标，我们首先提出了一种新的神经渲染器，它具有分解的渲染组件来学习表面和环境照明之间的交互。该渲染器使用现有的基于物理的渲染器进行训练，并与实际场景表示解耦。然后，我们提出了一个基于SDF的神经表面模型，利用这个学习的神经渲染器来表示一般场景。我们的模型还合成了间接照明所造成的相互反射，从闪亮的表面进行表面反射光线。我们证明了我们的方法在具有挑战性的闪亮场景上优于最先进的方法，提供了高质量的镜面反射渲染，同时还支持材质编辑和场景重新照明。
2023-03-23 cs.CV cs.GR cs.LG
