Boosting Point Clouds Rendering via Radiance Mapping
Shanghai Jiao Tong University（上海交通大学）；Anhui University（安徽大学）；Shanghai AI Lab（上海人工智能实验室）
近几年来，基于NeRF的图像绘制技术由于其高质量的特性得到了迅速的发展。然而，点云渲染在某种程度上较少探索。与基于NeRF的渲染相比，其遭受密集空间采样，点云渲染的计算强度自然较低，这使得其能够部署在移动计算设备中。在这项工作中，我们专注于提高点云渲染的图像质量与紧凑的模型设计。首先分析了体渲染公式在点云上的适应性。基于分析，我们简化了NeRF表示的空间映射函数，它只需要单个评估每个像素。此外，受光线行进的启发，我们将噪声的原始点云校正为光线与表面之间的估计交点作为查询坐标，这可以避免\textit{spatial frequency collapse}和相邻点的干扰。由光栅化，空间映射和细化阶段组成，我们的方法实现了最先进的点云渲染性能，以显着的利润率优于以前的作品，具有较小的模型尺寸。我们在NeRF-Synthetic上获得了31.74的PSNR，在ScanNet上获得了25.88的PSNR，在DTU上获得了30.81的PSNR。代码和数据可在https://github.com/seanywang0408/RadianceMapping上公开获取。
2022-12-08 cs.CV
SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance Field
Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海））；University of Electronic Science and Technology of China（电子科技大学）
本研究提出SpectralNeRF架构，将光谱渲染拆分为光谱图生成与组合两步，通过SpectralMLP和SAUNet实现更符合物理原理的NeRF渲染，提升复杂场景新视角合成效果，在合成与真实数据集上表现优于现有方法。
2023-12-14 cs.CV
Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Google（谷歌）；The Chinese University of Hong Kong（香港中文大学）
隐式神经渲染技术在新的视图合成中显示出了很好的效果。然而，现有的方法通常将整个场景作为一个整体进行编码，这通常不知道对象的身份，并限制了移动或添加家具等高级编辑任务的能力。在本文中，我们提出了一种新的神经场景渲染系统，学习对象组成的神经辐射场，并产生具有编辑能力的集群和真实世界的场景逼真的渲染。具体来说，我们设计了一种新的双通道架构，其中场景分支编码场景的几何形状和外观，对象分支编码每个独立的对象条件下学习对象激活码。为了在严重混乱的场景中生存训练，我们提出了一种场景引导的训练策略来解决遮挡区域中的3D空间模糊性，并为每个对象学习清晰的边界。大量的实验表明，我们的系统不仅达到了竞争力的性能，静态场景的新视图合成，但也产生逼真的渲染对象级编辑。
2021-09-04 cs.CV
NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes
Google（谷歌）；TU Munich（慕尼黑工业大学）
随着神经辐射场（NeRFs）的引入，新的视图合成最近取得了很大的飞跃。NeRF提出每个3D点都可以发射辐射，允许使用可微分体积渲染进行视图合成。虽然神经辐射场可以准确地表示用于计算图像渲染的3D场景，但3D网格仍然是大多数计算机图形和仿真管道支持的主要场景表示，从而实现实时的渲染和基于物理的仿真等任务。从神经辐射场获得3D网格仍然是一个开放的挑战，因为NeRF被优化用于视图合成，而不是在辐射场上强制执行精确的底层几何形状。因此，我们提出了一种新颖的紧凑和灵活的架构，使任何NeRF驱动的方法，易于3D表面重建。在训练了辐射场之后，我们将体积3D表示提取到符号表面近似网络中，从而可以轻松提取3D网格和外观。我们最终的3D网格在物理上是精确的，并且可以在一系列设备上实时的呈现。
2023-03-16 cs.CV
Compact Real-time Radiance Fields with Neural Codebook
Alibaba Group（阿里巴巴集团）
本文提出一种结合非均匀压缩主干与 Neural Codebook 模块的紧凑神经辐射场框架，在保持渲染质量的同时实现超40倍存储压缩和180 fps实时渲染。
2023-05-29 cs.CV
Single-view Neural Radiance Fields with Depth Teacher
Fudan University（复旦大学）；University of Oxford（牛津大学）
提出一种结合平面与体积渲染并引入深度教师网络的单视图NeRF模型，仅用单张图像即可高质量合成新视角，PSNR提升5-20%，深度误差降低20-50%，且无需逐场景微调。
2023-05-11 cs.CV
Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering
Cygames Inc.（赛博游戏公司）
针对NeRF大场景渲染因复杂度不均导致的速度慢、GPU利用率低问题，提出自适应多NeRF方法，通过树结构细分场景、引导密度网格优化分配小型MLP，结合高效采样策略提升并行度与GPU利用率，加速渲染。
2023-10-03 cs.CV
DIVeR: Real-time and Accurate Neural Radiance Fields with Deterministic Integration for Volume Rendering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
DIVeR建立在NeRF及其变体的关键思想之上--密度模型和体渲染--来学习可以从少量图像中逼真渲染的3D对象模型。与所有以前的NeRF方法相比，DIVeR使用确定性而不是随机估计的体渲染积分。DIVeR的表示是基于体素的特征场。为了计算体渲染积分，将射线分解为间隔，每个体素一个;使用MLP从每个间隔的特征估计体渲染积分的分量，并聚合分量。因此，DIVeR可以渲染薄的半透明结构，这是其他积分器所错过的。此外，DIVeR的表示具有与其他此类方法相比相对暴露的语义-在体素空间中移动特征向量会导致自然编辑。与当前最先进的方法进行的广泛的定性和定量比较表明，DIVeR生成的模型（1）渲染质量达到或超过最先进的质量，（2）非常小而无需烘焙，（3）渲染速度非常快而无需烘焙，（4）可以以自然的方式编辑。
2022-05-18 cs.CV
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
ShanghaiTech University（上海科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（Adobe研究院）
我们提出了MVSNeRF，一种新的神经渲染方法，可以有效地重建神经辐射场的视图合成。与先前在神经辐射场上考虑密集捕获图像上的每场景优化的工作不同，我们提出了一种通用的深度神经网络，该网络可以通过快速网络推理从仅三个附近的输入视图重建辐射场。我们的方法利用平面扫描成本卷（广泛用于多视图立体视觉）的几何感知场景推理，并将其与基于物理的体渲染神经辐射场重建。我们在DTU数据集中的真实对象上训练我们的网络，并在三个不同的数据集上对其进行测试，以评估其有效性和通用性。我们的方法可以概括跨场景（即使是室内场景，完全不同于我们的训练场景的对象），并生成逼真的视图合成结果，仅使用三个输入图像，显着优于并发工作的可概括的辐射场重建。此外，如果捕获密集图像，我们估计的辐射场表示可以很容易地进行微调;这导致快速的每场景重建，具有更高的渲染质量和比NeRF少得多的优化时间。
2021-08-24 cs.CV
Differentiable Rendering with Reparameterized Volume Sampling
HSE University（高等经济大学）；Constructor University（康斯特大学）
针对神经辐射场渲染中仅少量不透明点贡献主要辐射度的问题，提出基于逆变换采样的端到端可微体积采样，并用于蒙特卡洛渲染和改进 NeRF 分层采样。
2024-03-02 cs.CV
NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction
University of Birmingham（伯明翰大学）；Huawei, Noah’s Ark Lab（华为诺亚方舟实验室）
提出神经接触辐射场（NCRF）框架，通过接触优化场和手-物神经辐射场联合学习，从稀疏视频中重建手-物交互，实现照片级逼真的自由视角渲染，并在HO3D和DexYCB数据集上超越现有方法。
2024-02-09 cs.CV
AG-NeRF: Attention-guided Neural Radiance Fields for Multi-height Large-scale Outdoor Scene Rendering
South China University of Technology（华南理工大学）
AG-NeRF提出一种注意力引导的端到端框架，通过源图像选择与特征融合解决多高度户外场景渲染，半小时训练即达SOTA性能。
2024-04-18 cs.CV
UE4-NeRF:Neural Radiance Field for Real-Time Rendering of Large-Scale Scene
Xidian University（西安电子科技大学）；Edith Cowan University（伊迪丝·考恩大学）；The University of Western Australia（西澳大利亚大学）
本文提出 UE4-NeRF 神经渲染系统，通过将大场景划分为 sub-NeRFs 并结合正八面体网格优化与 LOD 技术，在 UE4 中实现了大规模场景 4K 分辨率下高达 43 FPS 的实时高质量渲染。
2023-10-20 cs.CV
ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for Neural Radiance Field
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
提出ABLE-NeRF，利用自注意力机制和可学习嵌入改进神经辐射场，减少光泽表面模糊并真实渲染半透明物体，在Blender数据集上超越Ref-NeRF。
2023-03-24 cs.CV
RTR-GS: 3D Gaussian Splatting for Inverse Rendering with Radiance Transfer and Reflection
Beijing Institute of Technology（北京理工大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
RTR-GS通过结合正向渲染和延迟渲染，实现了对具有任意反射特性的物体的稳健逆渲染和重新照明。
2025-12-16 cs.CV cs.GR
Generalizable Neural Radiance Fields for Novel View Synthesis with Transformer
我们提出了一个基于变压器的NeRF（transNeRF）学习一个通用的神经辐射场条件下的新的视图合成任务的视图图像。相比之下，现有的基于MLP的NeRF不能直接接收任意数量的观察视图，并且需要辅助的基于池化的操作来融合源视图信息，导致源视图和目标渲染视图之间的复杂关系缺失。此外，目前的方法单独处理每个3D点，忽略了辐射场场景表示的局部一致性。这些限制可能会降低它们在具有挑战性的现实世界应用中的性能，其中源视图和新的渲染视图之间可能存在很大的差异。为了解决这些挑战，我们的transNeRF利用注意力机制自然解码任意数量的源视图到基于坐标的场景表示的深关联。在统一的Transformer网络中，考虑了光线投射空间和周围视图空间中形状和外观的局部一致性。实验表明，我们的TransNeRF，在各种场景上训练，可以实现更好的性能相比，最先进的基于图像的神经渲染方法在场景不可知和每场景微调的情况下，特别是当有一个相当大的差距源视图和渲染视图。
2022-06-10 cs.CV
Global-guided Focal Neural Radiance Field for Large-scale Scene Rendering
AMAP；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
针对现有大规模NeRF分块独立训练导致的场景一致性差、渲染质量提升有限的问题，提出采用两阶段架构与全局引导训练策略的GF-NeRF，在不依赖场景先验的前提下实现大规模场景高保真渲染。
2024-09-13 cs.CV
Fourier Splatting: Generalized Fourier encoded primitives for scalable radiance fields
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
本文提出傅里叶点绘，一种可扩展的辐射场渲染原语，通过参数化平面点云的傅里叶编码描述获得任意封闭形状的原语，实现不同细节层次的渲染。
2026-07-07 cs.CV
Dynamic Neural Radiance Field From Defocused Monocular Video
Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）
本文提出D2RF，通过分层景深体渲染和优化的光线级模糊核，首次实现从散焦单目视频中恢复清晰动态新视角，并在自建数据集上验证了其在全聚焦合成和时空一致性方面的优越性。
2024-07-31 cs.CV
Local Implicit Ray Function for Generalizable Radiance Field Representation
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出可泛化神经渲染方法 LIRF，利用圆锥台特征与连续三维坐标预测局部体辐射场，并结合 transformer 可见性匹配，实现任意尺度未见场景的高质量新视角合成。
2023-04-25 cs.CV
Triangle Splatting for Real-Time Radiance Field Rendering
University of Liège（列日大学）；KAUST（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）；Simon Fraser University（西蒙弗雷泽大学）；University of Toronto（多伦多大学）；Google DeepMind（谷歌DeepMind）
本文提出三角形溅射可微渲染器，直接优化三角形，结合三角形效率与独立基元密度，在Mip-NeRF360上超越高斯溅射，实现高保真、快速收敛和超2400 FPS实时渲染。
2025-05-25 cs.CV
DirectL: Efficient Radiance Fields Rendering for 3D Light Field Displays
Beijing University of Posts and Telecommunications（北京邮电大学）；State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学 网络与交换技术国家重点实验室）；State Key Laboratory of Information Photonics and Optical Communications, Beijing University of Posts and Telecommunications（北京邮电大学 信息光子学与光通信国家重点实验室）
DirectL提出面向3D光场显示器的辐射场高效渲染范式，通过子像素重利用直接渲染光场图像，相比标准方法提速40倍且不损质量，可无缝集成至后续任务。
2024-07-19 cs.CV cs.GR
High-Fidelity 3D Head Avatars Reconstruction through Spatially-Varying Expression Conditioned Neural Radiance Field
Tsinghua University（清华大学）
本文提出一种空间变化表情条件神经辐射场，通过MLP生成网络捕捉不同空间位置的表情变化，并采用从粗到细的训练策略，实现高保真3D头部头像的逼真渲染和几何细节，优于现有SOTA方法。
2023-10-10 cs.CV
Flash Cache: Reducing Bias in Radiance Cache Based Inverse Rendering
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本文提出Flash Cache方法，通过遮挡感知重要性采样和快速缓存控制变量两种技术，消除基于辐射缓存的反向渲染中的近似偏差，从而提升三维重建的通用性和镜面反射等复杂光传输场景下的质量。
2024-09-09 cs.CV cs.GR
KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）
NeRF通过将神经辐射场拟合到RGB图像，以前所未有的质量合成场景的新颖视图。然而，NeRF需要查询深层多层感知器（MLP）数百万次，导致渲染时间缓慢，即使在现代GPU上。在本文中，我们证明了实时渲染是可能的，利用数千个微小的MLP，而不是一个单一的大MLP。在我们的设置中，每个单独的MLP只需要表示场景的一部分，因此可以使用更小和更快评估的MLP。通过将这种分而治之的策略与进一步的优化相结合，与原始NeRF模型相比，渲染速度提高了三个数量级，而不会产生高存储成本。此外，使用教师-学生蒸馏的培训，我们表明，这种速度的提高可以实现而不牺牲视觉质量。
2021-08-02 cs.CV
SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic Reconstruction of Indoor Scenes
Tencent PCG（腾讯平台与内容事业群）
SurfelNeRF将显式神经面元几何表示与NeRF渲染结合，通过可微分栅格化实现10倍加速，在ScanNet上以23.82和29.58 PSNR达到在线室内场景重建与真实感渲染的最优性能。
2023-04-18 cs.CV
3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes
University of Liège（利根大学）；KAUST（科威特高级科学研究中心）；University of Oxford（牛津大学）
针对3D高斯在硬边缘和平面表示上的不足，提出3D凸面溅射（3DCS），以平滑凸体为原语，结合CUDA光栅化器，在多个基准上超越3DGS，提升PSNR达0.81，减少原语数量。
2025-05-25 cs.CV
3DGabSplat: 3D Gabor Splatting for Frequency-adaptive Radiance Field Rendering
Shanghai Jiao Tong University（上海交通大学）
针对3DGS低频限制与冗余问题，提出基于3D Gabor图元的3DGabSplat，实现频率自适应渲染，提升质量与效率，PSNR最高提升1.35 dB。
2025-08-07 cs.CV
CopyRNeRF: Protecting the CopyRight of Neural Radiance Fields
Hong Kong Baptist University（香港浸会大学）；NVIDIA（英伟达）；Agency for Science, Technology and Research（新加坡科技研究局）
本文提出 CopyRNeRF，通过用带水印的颜色表示替换 NeRF 原始颜色表示并设计抗失真渲染方案，实现模型版权直接保护且保持高渲染质量与比特精度。
2023-07-29 cs.CV
NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences
KU Leuven（鲁汶大学）
本文提出NeVRF表示，融合NeRF与基于图像的渲染，并结合持续学习和定制压缩，实现长时动态场景的高质量自由视点渲染与紧凑存储。
2023-12-10 cs.CV
Omni-Recon: Harnessing Image-based Rendering for General-Purpose Neural Radiance Fields
Georgia Institute of Technology（佐治亚理工学院）
本文提出通用NeRF框架Omni-Recon，利用基于图像的渲染和双解耦分支实现可泛化3D重建、零样本多任务场景理解，并支持实时渲染与文本引导编辑。
2024-09-20 cs.CV
Efficient View Synthesis with Neural Radiance Distribution Field
FNii, CUHKSZ（香港中文大学（深圳）未来网络研究院（FNii, CUHKSZ））；Microsoft Research Asia（微软亚洲研究院）；SSE, CUHKSZ（香港中文大学（深圳）计算机科学与工程学院（SSE, CUHKSZ））
针对NeRF渲染效率低、现有NeLF需大网络的问题，提出神经辐射分布场NeRDF，用小网络结合频率基建模辐射分布实现单像素单次前向传播，在相近网络规模下较NeRF提速约254倍，性能下降微小，实现速度、质量与网络规模的更优权衡。
2023-08-22 cs.CV
DeLiRa: Self-Supervised Depth, Light, and Radiance Fields
Toyota Research Institute（丰田研究院）；Toyota Technological Institute of Chicago（芝加哥丰田理工学院）；Massachusetts Institute of Technology（麻省理工学院）
提出 DeLiRa 架构，利用自监督多视图光度目标作为体积渲染的几何正则化器，通过通用 Transformer 联合学习辐射场、深度和光场，在 ScanNet 基准上实现高质量体积渲染与实时合成。
2023-04-06 cs.CV
StegaNeRF: Embedding Invisible Information within Neural Radiance Fields
University of Texas at Austin（德克萨斯大学奥斯汀分校）；ByteDance（字节跳动）；Hong Kong Polytechnic University（香港理工大学）；University of Maryland（马里兰大学）
神经渲染的最新进展意味着通过共享NeRF模型权重来广泛分布视觉数据的未来。然而，虽然常见的视觉数据（图像和视频）有标准的方法来显式或巧妙地嵌入所有权或版权信息，但新兴的NeRF格式仍然没有探索这个问题。我们提出StegaNeRF，隐写信息嵌入NeRF渲染的方法。我们设计了一个优化框架，允许精确的隐藏信息抽取从NeRF渲染的图像，同时保持其原始的视觉质量。我们在几个潜在的部署场景下对我们的方法进行了实验评估，并进一步讨论了通过我们的分析发现的见解。StegaNeRF标志着对新问题的初步探索，即向NeRF渲染中注入可定制的，不可感知的和可恢复的信息，对渲染图像的影响最小。项目页面：https://xggnet.github.io/StegaNeRF/。
2022-12-03 cs.CV
3iGS: Factorised Tensorial Illumination for 3D Gaussian Splatting
Nanyang Technological University（南洋理工大学）；College of Computing & Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
3iGS通过张量因子化表示连续入射光照场并结合BRDF特征，改进3D高斯泼溅的视角相关渲染效果，在保持快速训练与渲染的同时显著提升镜面效果质量。
2024-08-07 cs.CV
MirrorNeRF: One-shot Neural Portrait Radiance Field from Multi-mirror Catadioptric Imaging
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
逼真的神经重建和人体肖像的渲染对于许多VR/AR应用至关重要。尽管如此，现有的解决方案本质上依赖于多视图捕获设置，并且摆脱繁琐的多视图同步和校准的一次性解决方案仍然极具挑战性。在本文中，我们提出了一个一次性的神经肖像自由视点渲染方法，使用一个折反射成像系统与多个球镜和一个高分辨率的数码相机，这是第一个结合神经辐射场与折反射成像，使一次性照片般真实的人像重建和渲染，在一个低成本和休闲的捕捉设置。更具体地说，我们提出了一个轻量级的折反射系统设计与球面镜阵列，使不同的光线采样在连续的3D空间，以及有效的在线校准的相机和反射镜阵列。我们的折反射成像系统可以很容易地部署与低预算和休闲捕捉能力，方便日常使用。我们引入了一种新的神经弯曲辐射场表示来学习连续位移场，该位移场隐式地补偿了由于我们灵活的系统设置而导致的未对准。我们进一步提出了一种密度正则化方案，以自我监督的方式利用来自折反射数据的固有几何信息，这不仅提高了训练效率，而且为更高的渲染质量提供了更有效的密度监督。大量的实验表明，我们的计划的有效性和鲁棒性，以实现一次性的照片真实感和高质量的外观自由视点绘制的人像场景。
2021-05-14 cs.CV
Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos
ShanghaiTech University（上海科技大学）；KU Leuven（鲁汶大学）；NeuDim；DGene
针对动态场景自由视点视频渲染受限的问题，提出残差辐射场ReRF，通过时空残差建模、序贯训练实现实时渲染，配套编解码器与播放器支持长时流式传输，在压缩率与渲染效果上表现优异。
2023-06-15 cs.CV
VCURF: Virtual Camera-based Uncertainty of Radiance Fields
Stevens Institute of Technology（史蒂文斯理工学院）
提出VCURF方法，通过测量虚拟相机渲染不一致性实现辐射场像素级不确定性量化，适用于NeRF和GS模型，并质疑现有视角选择策略。
2026-10-06 cs.CV
Urban Radiance Field Representation with Deformable Neural Mesh Primitives
Tongji University（同济大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；CPII
针对NeRF光线步进渲染资源消耗大的问题，提出可变形神经网格基元DNMP，通过低维潜空间约束、光栅化插值和视角相关MLP实现高效城市级辐射场表示，在渲染质量、速度和内存上均有优异表现。
2023-07-20 cs.CV
RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS
Google（谷歌公司）
RadSplat利用辐射场作为先验和监督，结合剪枝与测试时过滤，实现复杂场景900+ FPS的实时高质量渲染。
2025-03-31 cs.CV cs.GR
Planar Reflection-Aware Neural Radiance Fields
Meta；University of Maryland（马里兰大学）
针对NeRF难以处理平面反射的问题，提出反射感知NeRF，联合建模反射体并显式投射反射光线，结合稀疏边缘正则化，实现准确几何与高细节反射重建。
2024-11-07 cs.CV
Grid-guided Neural Radiance Fields for Large Urban Scenes
Zhejiang University（浙江大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Adobe Research（奥多比研究中心）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
基于PPEMLP的神经辐射场（NeRF方法）由于模型容量有限，在大规模场景中经常会出现模糊渲染的欠拟合问题。最近的方法建议在地理上划分场景，并采用多个子NeRF单独对每个区域进行建模，从而导致训练成本和子NeRF数量随着场景的扩展而线性增加。另一种解决方案是使用特征网格表示，其计算效率高，并且可以自然地扩展到具有增加的网格分辨率的大场景。然而，特征网格往往受到较少的约束，并且经常达到次优的解决方案，在渲染中产生噪声伪影，特别是在具有复杂几何形状和纹理的区域中。在这项工作中，我们提出了一个新的框架，实现了高保真渲染的大型城市场景，同时计算效率。我们建议使用一个紧凑的多分辨率地面特征平面表示来粗略地捕捉场景，并通过另一个NeRF分支的位置编码输入来补充它，以联合学习的方式进行渲染。我们表明，这样的集成可以利用两种替代解决方案的优点：一个轻量级的NeRF是足够的，在特征网格表示的指导下，渲染具有精细细节的逼真的新视图;和联合优化的地面特征平面，同时可以获得进一步的细化，形成一个更准确和紧凑的特征空间，并输出更自然的渲染结果。
2023-03-24 cs.CV
3D Gaussian Splatting for Real-Time Radiance Field Rendering
Inria（法国国家信息与自动化研究所）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
本文提出3D高斯泼溅方法，通过稀疏点初始化、交错优化与密度控制以及可见性感知渲染算法，在1080p分辨率下实现高质量实时新视角合成。
2023-08-08 cs.CV cs.GR
DT-NeRF: Decomposed Triplane-Hash Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出DT-NeRF框架，通过分解三平面表示嘴部与面部特征，并利用audio-mouth-face transformer融合音频残差与NeRF加性体积渲染，实现高保真说话人像合成。
2023-09-14 cs.CV
TensoRF: Tensorial Radiance Fields
ShanghaiTech University（上海科技大学）；Adobe Research（Adobe研究院）；University of Tübingen（蒂宾根大学）；MPI-IS（马克斯·普朗克智能系统研究所）；UC San Diego（加州大学圣地亚哥分校）
我们提出了TensoRF，一种新的方法来建模和重建辐射场。与纯粹使用MLP的NeRF不同，我们将场景的辐射场建模为4D张量，其表示具有每体素多通道特征的3D体素网格。我们的中心思想是将4D场景张量分解为多个紧凑的低秩张量分量。我们证明了应用传统的CP分解-将张量分解为具有紧凑向量的秩一分量-在我们的框架中导致了对香草NeRF的改进。为了进一步提高性能，我们引入了一种新的向量矩阵（VM）分解，该分解放松了张量的两种模式的低秩约束，并将张量分解为紧凑的向量和矩阵因子。除了卓越的渲染质量，我们的模型与CP和VM分解导致显着降低内存占用相比，以前和并发的工作，直接优化每体素功能。在实验中，我们证明了具有CP分解的TensoRF实现了快速重建（<30分钟），具有更好的渲染质量，甚至比NeRF更小的模型大小（<4 MB）。此外，具有VM分解的TensoRF进一步提高了渲染质量，优于以前最先进的方法，同时减少了重建时间（<10分钟）并保持了紧凑的模型大小（<75 MB）。
2022-11-29 cs.CV
Enhancing Neural Radiance Fields with Depth and Normal Completion Priors from Sparse Views
Special Robot Center, Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院特殊机器人中心）
针对稀疏视角下NeRF渲染精度不足的问题，提出CP_NeRF框架，通过深度与法向量稠密补全先验、光心嵌入及法向量块匹配等技术，在有限输入视角的室内场景渲染中优于主流方法。
2024-07-08 cs.CV
Efficient Neural Radiance Fields for Interactive Free-viewpoint Video
Zhejiang University（浙江大学）
本文旨在解决有效地产生交互式自由视点视频的挑战。最近的一些工作为神经辐射场配备了图像编码器，使它们能够跨场景进行概括。在处理动态场景时，它们可以简单地将每个视频帧视为一个单独的场景，并执行新颖的视图合成以生成自由视点视频。但是，它们的渲染过程很慢，并且不能支持交互式应用程序。一个主要的因素是他们在推导辐射场时在空的空间中采样大量的点。我们提出了一种新的场景表示，称为ENeRF，用于快速创建交互式自由视点视频。具体来说，给定一帧的多视图图像，我们首先建立级联成本体积来预测场景的粗略几何形状。粗糙的几何形状允许我们在场景表面附近采样几个点，从而显着提高渲染速度。这个过程是完全可区分的，使我们能够从RGB图像中联合学习深度预测和辐射场网络。多个基准上的实验表明，我们的方法具有竞争力的性能，同时至少比以前的可推广的辐射场方法快60倍。
2022-11-27 cs.CV
MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Google Research（谷歌研究院）
神经辐射场支持最先进的照片级真实感视图合成。然而，现有的辐射场表示要么对于实时的【形】渲染来说太计算密集，要么需要太多的存储器来缩放到大场景。提出了一种内存高效的辐射场（MERF）表示方法，实现了大规模场景在浏览器中的实时的【形】绘制。MERF使用稀疏特征网格和高分辨率2D特征平面的组合来减少先前稀疏体积辐射场的存储器消耗。为了支持大规模的无界场景，我们引入了一个新的收缩函数，将场景坐标映射到一个有界的体积，同时仍然允许有效的光线盒相交。我们设计了一个无损的程序，用于将训练过程中使用的参数化烘焙到一个模型中，该模型实现实时的【形】渲染，同时仍然保留了体积辐射场的照片级真实感视图合成质量。
2023-02-23 cs.CV cs.GR
SGAD-SLAM: Splatting Gaussians at Adjusted Depth for Better Radiance Fields in RGBD SLAM
Machine Perception Lab, Wayne State University, Detroit, USA（机器感知实验室，韦恩州立大学，底特律，美国）
SGAD-SLAM通过调整深度的点云溅射方法改进RGBD SLAM中的光场表示，解决传统高斯点云灵活性和运动限制的问题，提升渲染质量和跟踪效率。
2026-03-22 cs.CV
Compressing Volumetric Radiance Fields to 1 MB
Alibaba Group（阿里巴巴集团）
用体网格近似辐射场是改进NeRF的一个有前途的方向，以Plenoxels和DVGO等方法为代表，它们实现了超快的训练收敛和实时绘制。然而，这些方法通常需要巨大的存储开销，对于单个场景，需要花费高达数百兆字节的磁盘空间和运行时内存。我们在本文中解决这个问题，通过引入一个简单而有效的框架，称为矢量量化辐射场（VQRF），用于压缩这些基于体积网格的辐射场。首先，我们提出了一个强大的和自适应的度量，估计冗余的网格模型和执行体素修剪，更好地探索体绘制的中间输出。进一步提出了一种可训练的矢量量化方法来提高网格模型的紧凑性。结合一个有效的联合调优策略和后处理，我们的方法可以实现100 $\times$的压缩比，通过减少整体模型大小为1 MB的视觉质量损失可以忽略不计。大量的实验表明，所提出的框架是能够实现无与伦比的性能和良好的推广，在多种方法与不同的体积结构，促进体积辐射场方法在现实世界中的广泛使用。代码可在\url{https://github.com/AlgoHunt/VQRF}获得
2022-11-29 cs.CV
PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields
Zhejiang University（浙江大学）
针对现有NeRF辅助视觉定位方法几何约束不足、新视角性能有限的问题，提出基于统一点式表示的PNeRFLoc框架，结合特征匹配初始位姿估计与渲染优化位姿精修，在合成数据上表现最优，基准数据集上达SOTA水平。
2023-12-17 cs.CV
FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance Fields by Analyzing and Enhancing Fourier PlenOctrees
University of Bonn（波恩大学）
本文针对 Fourier PlenOctrees 结合静态 NeRF 训练时产生的压缩伪影，提出改进的密度编码与训练数据增强方法，显著减少了动态模型伪影并提升了渲染效果。
2024-08-27 cs.CV cs.GR
AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields
Graz University of Technology（格拉茨技术大学）；Reality Labs Research（现实实验室研究部门）
通过直接从稀疏观测中学习神经辐射场，新颖的视图合成最近发生了革命性的变化。然而，由于体渲染方程的精确求积需要针对每条射线的大量样本，因此使用这种新范例绘制图像是缓慢的。以前的工作主要集中在加速与每个样本点相关联的网络评估，例如，通过将辐射值高速缓存到显式空间数据结构中，但是这是以模型紧凑性为代价的。在本文中，我们提出了一种新的双网络架构，通过学习如何最好地减少所需的样本点的数量，采取正交方向。为此，我们将我们的网络分成一个采样和着色网络，它们是联合训练的。我们的训练方案沿每条射线采用固定的样本位置，并在整个训练过程中逐步引入稀疏性，即使在低样本数下也能实现高质量。在对目标样本数进行微调之后，可以实时的【形】呈现所得到的紧凑神经表示。我们的实验表明，我们的方法优于并发紧凑的神经表示的质量和帧速率，并表现出与高效的混合表示。代码和补充材料可在https://thomasneff.github.io/adanerf上获得。
2022-07-28 cs.CV cs.GR
Adaptive Shells for Efficient Neural Radiance Field Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
提出自适应外壳方法，通过显式网格包围神经辐射场并在固体区域用单样本渲染，实现高效高保真渲染，并支持动画和模拟等下游应用。
2023-11-16 cs.CV cs.GR
