NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；UC San Diego（加州大学圣迭戈分校）
我们提出了一种方法，实现国家的最先进的结果，通过优化一个基本的连续体积场景功能，使用稀疏的输入视图的复杂场景的新的意见合成。我们的算法使用全连接（非卷积）深度网络表示场景，其输入是单个连续的5D坐标（空间位置$(x,y,z)$和观看方向$(θ, ϕ)$），其输出是该空间位置处的体积密度和视图相关的发射辐射。我们通过查询沿相机射线的5D坐标合成视图，并使用经典的体渲染技术将输出的颜色和密度投影到图像中。由于体渲染是自然可微的，因此优化我们的表示所需的唯一输入是具有已知相机姿势的一组图像。我们描述了如何有效地优化神经辐射场，以呈现具有复杂几何形状和外观的场景的照片级逼真的新视图，并展示了优于神经渲染和视图合成的先前工作的结果。查看合成结果最好以视频形式查看，因此我们敦促读者查看我们的补充视频以进行令人信服的比较。
2020-08-03 cs.CV cs.GR
Addressing the Shape-Radiance Ambiguity in View-Dependent Radiance Fields
Chalmers University of Technology（查尔姆斯理工大学）
我们提出了一种方法，用于处理辐射场中的视图相关信息，以帮助三维重建的收敛性和质量。具有视角依赖性的辐射场遭受所谓的形状辐射模糊性，这可能导致不正确的几何形状，给定视角依赖性颜色的高角分辨率。我们建议在每个摄像机前增加一个差分平面，目的是在训练过程中分离视图相关和朗伯分量。我们还提出了一个额外的步骤，我们训练，但不存储，一个低分辨率的视图相关的功能，有助于隔离的表面，如果这样的分离被证明是困难的。这些添加对性能和内存使用的影响很小，但可以重建具有高度镜面反射组件的场景，而无需任何其他显式处理视图依赖性（如球谐函数）。
2022-03-03 cs.CV
HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
本文提出HAvatar，一种面部模型条件化NeRF混合表示，结合参数化模板先验与GAN图像翻译，实现高保真、稳定且视角一致的3D头部头像动画。
2023-09-29 cs.CV
Baking Neural Radiance Fields for Real-Time View Synthesis
Google Research（谷歌研究院）
诸如神经辐射场（NeRF）的神经体积表示已经成为用于学习从图像表示3D场景的引人注目的技术，其目标是从未观察到的视点渲染场景的照片级真实感图像。然而，NeRF的计算要求对于实时的【形】应用是禁止的：从经过训练的NeRF渲染视图需要查询多层感知器（MLP）数百次。我们提出了一种方法来训练NeRF，然后将其预计算和存储（即“烘焙”）为一种称为稀疏神经辐射网格（SNeRG）的新表示，该表示可以在商品硬件上实时的【形】渲染。为了实现这一点，我们引入了1）NeRF架构的重新表述，以及2）具有学习特征向量的稀疏体素网格表示。生成的场景表示保留了NeRF渲染精细几何细节和视图相关外观的能力，紧凑（每个场景平均不到90 MB），并且可以实时的【形】渲染（在笔记本电脑GPU上每秒超过30帧）。实际屏幕截图显示在我们的视频。
2021-03-26 cs.CV cs.GR
Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis
Center of Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息技术与传播科学学院）
本文提出CG-NeRF，通过粗略辐射场预测器和基于卷积的神经渲染器解决神经辐射场渲染慢且难泛化的问题，实现单GPU高效渲染并在多数据集上超越现有方法。
2023-11-19 cs.CV cs.GR
3D Reconstruction and New View Synthesis of Indoor Environments based on a Dual Neural Radiance Field
Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）；University of Nottingham（诺丁汉大学）
针对室内环境三维重建与新视角合成的双重难题，提出双神经辐射场（Du-NeRF），通过解耦密度场视角无关分量监督SDF场学习，减少形状-辐射度歧义，显著提升重建与渲染质量。
2024-07-19 cs.CV cs.GR
CeRF: Convolutional Neural Radiance Fields for New View Synthesis with Derivatives of Ray Modeling
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
本文提出CeRF卷积神经辐射场，用一维卷积建模沿射线的辐射导数，并结合循环模块消除几何歧义，从而提升新视角合成质量。
2024-06-15 cs.CV cs.GR
Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields
Nanjing University（南京大学）；Central South University（中南大学）
最近，神经辐射场（NeRF）已经成为一种有效的方法，从密集的图像集合成新的意见。尽管其令人印象深刻的性能，NeRF是困扰其必要性，许多校准的意见和准确性显着降低，在Few-Shot设置。为了解决这一挑战，我们提出了Self-NeRF，这是一种自进化的NeRF，它可以迭代地用很少的输入视图来细化辐射场，而不需要引入额外的先验知识。基本上，我们在迭代过程中同时在参考视图和不可见视图的监督下训练我们的模型。在每次迭代中，我们用预测的颜色或由模型从前一次迭代中生成的扭曲像素来标记看不见的视图。然而，这些扩展的伪视图受到颜色不精确和扭曲伪影的影响，这降低了NeRF的性能。为了缓解这个问题，我们构建了一个具有专门嵌入的不确定性感知NeRF。进一步利用诸如锥熵正则化的一些技术来以最有效的方式利用伪视图。通过在各种设置下的实验，我们验证了我们的Self-NeRF对不确定性输入具有鲁棒性，并且在有限的训练数据上训练时优于现有方法。
2023-03-10 cs.CV cs.GR
Bilateral Guided Radiance Field Processing
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出利用双边网格在3D空间中建模相机ISP处理，通过解耦训练阶段增强并学习低秩4D双边网格实现用户可调的三维后期处理，以去除NeRF重建中的漂浮物并提升新视角合成质量。
2024-08-06 cs.CV cs.GR
StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints
BNRist（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）
神经辐射场（NeRF）实现了具有密集捕获的输入图像的照片级真实感视图合成。然而，NeRF的几何形状是非常受约束的稀疏视图，导致新的视图合成质量显着下降。受自监督深度估计方法的启发，我们提出了StructNeRF，这是一种针对具有稀疏输入的室内场景的新颖视图合成的解决方案。StructNeRF利用自然嵌入在多视图输入中的结构提示来处理NeRF中的无约束几何问题。具体来说，它处理的纹理和非纹理区域分别：基于补丁的多视图一致的光度损失，提出了约束的纹理区域的几何形状，对于非纹理的，我们明确地限制它们是3D一致的平面。通过密集的自监督深度约束，我们的方法提高了NeRF的几何和视图合成性能，而无需对外部数据进行任何额外的训练。在几个真实世界的数据集上进行的大量实验表明，StructNeRF在定量和定性上都超过了室内场景稀疏输入的最先进方法。
2022-09-12 cs.CV cs.GR
NeRFReN: Neural Radiance Fields with Reflections
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；BIMSA（北京国际数学研究中心）
神经辐射场（NeRF）使用基于坐标的神经场景表示实现了前所未有的视图合成质量。然而，NeRF的视图依赖性只能处理简单的反射，如高光，但不能处理复杂的反射，如玻璃和镜子。在这些场景中，NeRF将虚拟图像建模为真实几何形状，这导致不准确的深度估计，并且当多视图一致性被违反时产生模糊渲染，因为反射的对象只能在某些视点下看到。为了克服这些问题，我们引入了NeRFReN，它是建立在NeRF模型的反射场景。具体来说，我们建议将场景分割成透射和反射分量，并使用单独的神经辐射场对这两个分量进行建模。考虑到这种分解是高度欠约束的，我们利用几何先验知识并应用精心设计的训练策略来实现合理的分解结果。实验结果表明，该方法在实现场景编辑应用的同时，获得了高质量的新颖视点合成和物理上合理的深度估计结果。
2022-04-06 cs.CV cs.GR
Learning Neural Duplex Radiance Fields for Real-Time View Synthesis
City University of Hong Kong（香港城市大学）；Meta Reality Labs（Meta现实实验室）
针对 NeRF 每像素需数百次 MLP 评估而难以实时渲染的问题，本文将其蒸馏烘焙到两层双工网格，并用屏幕空间卷积与多视图蒸馏实现高质量实时视图合成。
2023-04-20 cs.CV cs.GR
PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas
Tsinghua University（清华大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
本文提出PanoGRF，通过融合360°场景与单目深度先验的球面辐射场，解决宽基线稀疏全景图的几何学习难题，并在多个数据集上超越OmniSyn、IBRNet和NeuRay。
2023-12-06 cs.CV cs.GR
FisherRF: Active View Selection and Uncertainty Quantification for Radiance Fields using Fisher Information
University of Pennsylvania（宾夕法尼亚大学）
针对辐射场中主动视角选择与不确定性量化问题，提出利用Fisher信息直接量化参数观测信息，通过最大化期望信息增益选择视角，在多项任务上达到最先进性能。
2024-12-15 cs.CV
GSN: Generalisable Segmentation in Neural Radiance Field
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
针对传统辐射场需逐场景训练的问题，提出GSN方法，将语义特征蒸馏进泛化神经辐射场，实现新场景即时渲染与多视图分割，性能媲美传统RF。
2024-02-07 cs.CV cs.GR
Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；KAIST（韩国科学技术院）；Adobe Research（Adobe 研究院）
在本文中，我们的目标是合成一个自由视点视频的任意人的表现，使用稀疏的多视角相机。最近，一些工作已经解决了这个问题，通过学习人特定的神经辐射场（NeRF）捕捉一个特定的人的外观。同时，一些工作提出使用像素对齐的特征来将辐射场推广到任意新的场景和对象。然而，由于身体部位的严重闭塞和动态关节，将这种泛化方法应用于人类是非常具有挑战性的。为了解决这个问题，我们提出了神经人类表演者，一种新的方法，学习广义的神经辐射场的基础上，参数化的人体模型的鲁棒性能捕获。具体来说，我们首先介绍了一个时间Transformer，聚合跟踪的视觉功能的基础上，随着时间的推移的骨骼身体运动。此外，多视图Transformer被提出来在每个时间步执行时间融合特征和像素对齐特征之间的交叉注意，以整合来自多个视图的动态观察。在ZJU-MoCap和AIST数据集上的实验表明，我们的方法在看不见的身份和姿态上显着优于最近的可推广的NeRF方法。视频结果和代码可在https://youngjoongunc.github.io/nhp上获得。
2021-09-15 cs.CV cs.GR
Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video
MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook Reality Labs Research（Facebook现实实验室研究）
提出了一种非刚性神经辐射场（NR-NeRF）的动态场景重建和视图合成方法。我们的方法将动态场景的RGB图像作为输入（例如，从单目视频记录），并创建高质量的时空几何和外观表示。我们表明，一个单一的手持消费级相机是足以合成复杂的渲染的动态场景从新颖的虚拟相机的意见，例如，一个“子弹时间”的视频效果。NR-NeRF将动态场景分解为正则体及其变形。场景变形被实现为光线弯曲，其中直线光线被非刚性地变形。我们还提出了一种新的刚性网络，以更好地约束场景的刚性区域，从而获得更稳定的结果。射线弯曲和刚度网络在没有明确监督的情况下进行训练。我们的公式可以在视图和时间上进行密集的对应估计，以及引人注目的视频编辑应用程序，如运动夸张。我们的代码将是开源的。
2021-08-23 cs.CV cs.GR
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
ShanghaiTech University（上海科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（Adobe研究院）
我们提出了MVSNeRF，一种新的神经渲染方法，可以有效地重建神经辐射场的视图合成。与先前在神经辐射场上考虑密集捕获图像上的每场景优化的工作不同，我们提出了一种通用的深度神经网络，该网络可以通过快速网络推理从仅三个附近的输入视图重建辐射场。我们的方法利用平面扫描成本卷（广泛用于多视图立体视觉）的几何感知场景推理，并将其与基于物理的体渲染神经辐射场重建。我们在DTU数据集中的真实对象上训练我们的网络，并在三个不同的数据集上对其进行测试，以评估其有效性和通用性。我们的方法可以概括跨场景（即使是室内场景，完全不同于我们的训练场景的对象），并生成逼真的视图合成结果，仅使用三个输入图像，显着优于并发工作的可概括的辐射场重建。此外，如果捕获密集图像，我们估计的辐射场表示可以很容易地进行微调;这导致快速的每场景重建，具有更高的渲染质量和比NeRF少得多的优化时间。
2021-08-24 cs.CV
2D Gaussian Splatting for Geometrically Accurate Radiance Fields
ShanghaiTech University（上海科技大学）；University of Tübingen（蒂宾根大学）
针对3DGS表面表征不准的问题，提出2DGS方法，用2D平面高斯圆盘建模，结合透视校正泼溅、深度畸变与法向一致性约束，实现几何精确的辐射场重建，兼顾渲染质量与速度。
2025-02-22 cs.CV cs.GR
RustNeRF: Robust Neural Radiance Field with Low-Quality Images
HKUST（香港科技大学）；Peking University（北京大学）；Intel Labs China（英特尔中国研究院）；Southeast University（东南大学）
针对现有NeRF方法在低质量图像和视图不一致性下的局限性，提出RustNeRF，通过结合退化建模的3D感知预处理网络和隐式多视图引导，有效解决了图像退化导致的信息丢失问题，显著提升了真实世界输入下的鲁棒性。
2024-01-06 cs.CV cs.GR
Efficient Neural Radiance Fields for Interactive Free-viewpoint Video
Zhejiang University（浙江大学）
本文旨在解决有效地产生交互式自由视点视频的挑战。最近的一些工作为神经辐射场配备了图像编码器，使它们能够跨场景进行概括。在处理动态场景时，它们可以简单地将每个视频帧视为一个单独的场景，并执行新颖的视图合成以生成自由视点视频。但是，它们的渲染过程很慢，并且不能支持交互式应用程序。一个主要的因素是他们在推导辐射场时在空的空间中采样大量的点。我们提出了一种新的场景表示，称为ENeRF，用于快速创建交互式自由视点视频。具体来说，给定一帧的多视图图像，我们首先建立级联成本体积来预测场景的粗略几何形状。粗糙的几何形状允许我们在场景表面附近采样几个点，从而显着提高渲染速度。这个过程是完全可区分的，使我们能够从RGB图像中联合学习深度预测和辐射场网络。多个基准上的实验表明，我们的方法具有竞争力的性能，同时至少比以前的可推广的辐射场方法快60倍。
2022-11-27 cs.CV
Differentiable Point-Based Radiance Fields for Efficient View Synthesis
Princeton University（普林斯顿大学）
本文提出一种基于可微点表示的高效视图合成方法，通过可微泼溅渲染学习点位置与外观，在训练和推理上比NeRF快最多300倍，内存占用不到10MB，并支持动态场景的高质量快速渲染。
2023-07-05 cs.CV cs.GR
UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural Radiance Fields
University of British Columbia（不列颠哥伦比亚大学）
神经辐射场（NeRF）增加了新视图合成和场景重建的重建细节，其应用范围从大型静态场景到动态人体运动。然而，这种神经场的分辨率和无模型性质的提高是以高训练时间和过多的内存需求为代价的。最近的进展通过使用互补数据结构来改善推理时间，然而这些方法不适合于动态场景并且经常增加存储器消耗。在减少培训所需资源方面几乎没有做什么工作。我们提出了一种方法来利用冗余的NeRF的基于样本的计算，部分共享相邻样本点的评价。我们的UNeRF架构受到UNet的启发，其中空间分辨率在网络中间降低，并且信息在相邻样本之间共享。虽然这一变化违反了严格和有意识的分离的NeRF方法中的视图相关的外观和视图无关的密度估计，我们表明，它提高了新的视图合成。我们还介绍了一种替代的子采样策略，该策略在最大限度地减少任何违反视图不变性的情况下共享计算。UNeRF是原始NeRF网络的插件模块。我们的主要贡献包括减少内存占用，提高准确性，减少训练和推理过程中的摊销处理时间。只有弱假设的地方，我们实现了各种神经辐射场任务的资源利用率提高。我们展示了应用程序的静态场景，以及动态的人体形状和运动的新颖的视图合成。
2022-06-23 cs.CV cs.GR
DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）；NVIDIA Research（英伟达研究院）
获取和创建数字人化身是虚拟临场感、游戏和人体建模等应用中的一个重要问题。用于化身生成的大多数当代方法可以被视为基于3D的方法，其使用多视图数据来学习具有外观（诸如网格、隐式表面或体积）的3D表示，或者基于2D的方法，其学习化身的照片真实感渲染但缺乏准确的3D表示。在这项工作中，我们提出了，DRaCoN，一个框架，用于学习全身体积的化身，它利用了2D和3D神经渲染技术的优势。它由一个微分光栅化模块DiffRas组成，该模块合成目标图像的低分辨率版本以及由参数化身体模型指导的其他潜在特征。然后，DiffRas的输出被用作我们的条件神经3D表示模块（c-NeRF）的条件，该模块使用体积渲染生成最终的高分辨率图像以及身体几何形状。虽然DiffRas有助于获得照片般逼真的图像质量，但c-NeRF采用符号距离场（SDF）进行3D表示，有助于获得精细的3D几何细节。在具有挑战性的ZJU-MoCap和Human3.6M数据集上的实验表明，DRaCoN在错误度量和视觉质量方面都优于最先进的方法。
2022-03-29 cs.CV
WarpRF: Multi-View Consistency for Training-Free Uncertainty Quantification and Applications in Radiance Fields
Koç University（科克大学）；University of Bologna（博洛尼亚大学）
WarpRF是一个免训练的通用框架，通过跨视角向后变形测量多视角渲染一致性，量化辐射场不确定性，在不确定性量化及主动视角选择等下游任务中超越现有特定方法。
2025-06-27 cs.CV
Urban Radiance Fields
Google Research（谷歌研究院）；University of Toronto（多伦多大学）
这项工作的目标是执行3D重建和新的视图合成从扫描平台捕获的数据通常部署在城市户外环境中的世界地图（例如，街景）。给定一个序列的构成RGB图像和激光雷达扫描相机和扫描仪通过室外场景移动所获得的，我们产生一个模型，从该模型中可以提取3D表面，并可以合成新的RGB图像。我们的方法扩展了神经辐射场，该场已被证明可以在受控环境中为小场景合成逼真的新颖图像，并采用新方法来利用异步捕获的激光雷达数据，解决捕获图像之间的曝光变化，并利用预测的图像分割来监督指向天空的光线的密度。这三个扩展中的每一个都在街景数据的实验中提供了显着的性能改进。我们的系统产生最先进的3D表面重建和合成更高质量的新的意见相比，这两个传统的方法（例如~ COLMAP）和最近的神经表征（例如~ Mip-NeRF）。
2021-11-29 cs.CV cs.GR
IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable Novel View Synthesis
Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
IntrinsicNeRF将内在分解引入NeRF，通过距离感知采样和自适应反射率迭代聚类实现无监督训练，支持房间级场景的实时重着色与光照编辑，并保持高保真新视角合成。
2023-08-29 cs.CV cs.GR
RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs
University of Tübingen（图宾根大学）；Google Research（谷歌研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
神经辐射场（NeRF）由于其简单性和最先进的性能而成为新颖视图合成任务的有力代表。虽然NeRF可以在许多输入视图可用时生成不可见视点的照片级真实感渲染，但当此数量减少时，其性能会显着下降。我们观察到稀疏输入场景中的大多数伪影是由估计场景几何形状中的错误以及训练开始时的发散行为引起的。我们通过正则化从未观察到的视点渲染的补丁的几何形状和外观，并在训练期间对光线采样空间进行退火来解决这个问题。我们还使用了一个规范化的流模型来规范未观察到的观点的颜色。我们的模型不仅优于在单个场景上优化的其他方法，而且在许多情况下也优于在大型多视图数据集上进行广泛预训练的条件模型。
2021-12-01 cs.AI cs.CV cs.GR
Point-Based Radiance Fields for Controllable Human Motion Synthesis
针对现有可编辑神经辐射场难以实现复杂3D人体编辑的问题，提出基于静态点辐射场的可控人体运动合成方法，通过形变MLP编码点云位移、SVD估计局部旋转保障渲染一致性，精细复杂形变性能优于SOTA且可推广至其他3D角色。
2023-10-05 cs.CV cs.GR
MoFaNeRF: Morphable Facial Neural Radiance Field
Nanjing University（南京大学）
我们提出了一个参数模型，映射到一个矢量空间的编码面部形状，表情和外观的神经辐射场，即变形面部NeRF的自由视图图像。具体而言，MoFaNeRF将编码的面部形状、表情和外观以及空间坐标和视角方向作为MLP的输入，并输出空间点的辐射度以进行照片级逼真的图像合成。与传统的3D变形模型（3DMM）相比，MoFaNeRF显示出优越性，直接合成照片般逼真的面部细节，甚至眼睛，嘴巴和胡子。此外，连续的脸变形可以很容易地实现输入形状，表情和外观代码插值。通过引入身份特定调制和纹理编码器，我们的模型合成准确的光度细节，并显示出强大的表示能力。我们的模型在多个应用中表现出了强大的能力，包括基于图像的拟合，随机生成，面部操纵，面部编辑和新颖的视图合成。实验表明，我们的方法实现了更高的表示能力比以前的参数模型，并在一些应用中取得了竞争力的性能。据我们所知，我们的工作是第一个面部参数化模型建立在一个神经辐射场，可用于拟合，生成和操作。代码和数据可在https://github.com/zhuhao-nju/mofanerf上获得。
2022-07-22 cs.CV cs.GR
HumanNeRF: Efficiently Generated Human Radiance Field from Sparse Inputs
ShanghaiTech University（上海科技大学）；Huazhong University of Science and Technology（华中科技大学）；DGene；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
最近的神经人类表示可以产生高质量的多视图渲染，但需要使用密集的多视图输入和昂贵的训练。因此，它们在很大程度上限于静态模型，因为训练每个帧是不可行的。我们提出了HumanNeRF -一个可推广的神经表示-高保真自由视图合成的动态人类。类似于IBRNet如何通过避免每个场景的训练来帮助NeRF，HumanNeRF在多视图输入中采用了聚合像素对齐功能，以及用于处理动态运动的姿势嵌入式非刚性变形场。原始的HumanNeRF已经可以在看不见的主题和相机设置的稀疏视频输入上产生合理的渲染。为了进一步提高渲染质量，我们增加了我们的解决方案与外观混合模块，结合神经体积渲染和神经纹理混合的好处。在各种多视角动态人体数据集上进行的大量实验证明了我们的方法在具有挑战性的运动和非常稀疏的相机视图输入下合成照片般逼真的自由视角人体的通用性和有效性。
2022-03-25 cs.CV cs.GR
NeRF++: Analyzing and Improving Neural Radiance Fields
Cornell Tech（康奈尔科技学院）；Intel Labs（英特尔实验室）
神经辐射场（NeRF）可在各种捕捉设置下实现令人印象深刻的视图合成结果，包括有界场景的360度捕捉以及有界和无界场景的前向捕捉。NeRF适合多层感知器（MLP）表示视图不变的不透明度和视图相关的颜色体积的一组训练图像，并采样新的意见的基础上体渲染技术。在这份技术报告中，我们首先评论辐射场及其潜在的模糊性，即形状-辐射模糊性，并分析NeRF在避免这种模糊性方面的成功。其次，我们解决了一个参数化的问题，涉及应用NeRF的360捕获的对象在大规模的，无界的3D场景。我们的方法提高了视图合成保真度在这个具有挑战性的情况下。代码可在https://github.com/Kai-46/nerfplusplus上获得。
2020-10-21 cs.CV
PlenOctrees for Real-time Rendering of Neural Radiance Fields
UC Berkeley（加州大学伯克利分校）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Pinscreen
我们介绍了一种使用PlenOctrees（一种基于八叉树的3D表示，支持视点相关效果）来实时的绘制神经辐射场（NeRFs）的方法。我们的方法可以以超过150 FPS的速度渲染800 x800的图像，比传统的NeRF快3000倍以上。我们这样做不会牺牲质量，同时保留了NeRFs对具有任意几何形状和视图相关效果的场景执行自由视点渲染的能力。实时的性能是通过将NeRF预先制表到PlenOctree中来实现的。为了保持与视角相关的效果，如镜面反射，我们通过封闭形式的球面基函数分解外观。具体而言，我们表明，它是可能的训练NeRF预测的辐射率的球谐表示，删除的观看方向作为输入到神经网络。此外，我们表明，PlenOctrees可以直接优化，以进一步减少重建损失，这导致与竞争方法相比质量相等或更好。此外，这个八叉树优化步骤可以用来减少训练时间，因为我们不再需要等待NeRF训练完全收敛。我们实时的神经渲染方法有可能实现新的应用，如6-DOF工业和产品可视化，以及下一代AR/VR系统。PlenOctrees也可以在浏览器中渲染;请访问项目页面以获得交互式在线演示以及视频和代码：https://alexyu.net/plenoctrees
2021-08-17 cs.CV cs.GR
VDN-NeRF: Resolving Shape-Radiance Ambiguity via View-Dependence Normalization
Stanford University（斯坦福大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）
提出VDN-NeRF方法，通过提取已学习NeRFs中的不变信息对视图依赖性进行归一化，在非朗伯体和动态光照下显著改善几何形状，有效缓解形状-辐射度模糊性。
2023-03-31 cs.CV
Generalizable NGP-SR: Generalizable Neural Radiance Fields Super-Resolution via Neural Graph Primitives
Clemson University（克莱姆森大学）
本文提出一种3D感知的超分辨率框架，直接从低分辨率图像重建高分辨率辐射场，无需外部参考或后处理，提升重建质量和运行效率。
2026-03-20 cs.CV
Generalizable Neural Radiance Fields for Novel View Synthesis with Transformer
我们提出了一个基于变压器的NeRF（transNeRF）学习一个通用的神经辐射场条件下的新的视图合成任务的视图图像。相比之下，现有的基于MLP的NeRF不能直接接收任意数量的观察视图，并且需要辅助的基于池化的操作来融合源视图信息，导致源视图和目标渲染视图之间的复杂关系缺失。此外，目前的方法单独处理每个3D点，忽略了辐射场场景表示的局部一致性。这些限制可能会降低它们在具有挑战性的现实世界应用中的性能，其中源视图和新的渲染视图之间可能存在很大的差异。为了解决这些挑战，我们的transNeRF利用注意力机制自然解码任意数量的源视图到基于坐标的场景表示的深关联。在统一的Transformer网络中，考虑了光线投射空间和周围视图空间中形状和外观的局部一致性。实验表明，我们的TransNeRF，在各种场景上训练，可以实现更好的性能相比，最先进的基于图像的神经渲染方法在场景不可知和每场景微调的情况下，特别是当有一个相当大的差距源视图和渲染视图。
2022-06-10 cs.CV
UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；ETAS GmbH（埃塔斯有限责任公司）；ETH Zurich（苏黎世联邦理工学院）
神经隐式3D表示已经成为从多视图图像重建表面和合成新视图的强大范例。不幸的是，现有的方法，如DVR或IDR需要准确的每像素对象掩模作为监督。与此同时，神经辐射场已经彻底改变了新的视图合成。然而，NeRF的估计体积密度不承认准确的表面重建。我们的主要见解是，隐式表面模型和辐射场可以制定一个统一的方式，使表面和体渲染渲染使用相同的模型。这种统一的视角实现了新颖的、更有效的采样过程，并且能够在没有输入掩模的情况下重建精确的表面。我们比较我们的方法在DTU，BlendedMVS和合成室内数据集。我们的实验表明，我们在重建质量方面优于NeRF，同时在不需要掩模的情况下与IDR不相上下。
2021-10-08 cs.CV
PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs
Samsung Advanced Institute of Technology (SAIT)（三星先进技术研究院（SAIT））
神经辐射场（NeRF）方法是近年来发展起来的一种新方法，该技术在复杂场景的新视点合成方面具有广阔的应用前景。然而，NeRF需要密集的输入视图，通常有数百个，以生成高质量的图像。随着输入视图数量的减少，NeRF对未见过视点的渲染质量往往会急剧下降。为了克服这一挑战，我们提出了NeRF的伪视图增强，该方案通过考虑Few-Shot输入的几何形状来扩展足够量的数据。我们首先通过利用扩展的伪视图来初始化NeRF网络，这有效地减少了渲染不可见视图时的不确定性。随后，我们通过使用包含精确几何和颜色信息的稀疏视图输入来微调网络。通过各种设置下的实验，我们验证了我们的模型忠实地合成优质的新视图图像，并优于现有的多视图数据集的方法。
2022-11-23 cs.CV
Rethinking Directional Integration in Neural Radiance Fields
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
本文通过交换NeRF渲染方程中的积分算子与方向解码器，将方向项移出积分，解耦视角相关与无关分量，从而以极简代码改动一致提升不同NeRF变体的视角相关效果渲染质量。
2023-11-28 cs.CV cs.GR
A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis
Inria（法国国家信息与自动化研究所）；Université Laval（拉瓦尔大学）；Adobe Research（奥多比研究院）
针对单光照多视图数据下辐射场重光照的欠约束难题，提出利用2D扩散模型先验增强多光照数据，结合3D高斯泼溅与光照参数化感知机实现完整场景的真实感3D重光照。
2024-09-17 cs.CV cs.GR
HDR-Plenoxels: Self-Calibrating High Dynamic Range Radiance Fields
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））；Yonsei University（延世大学）
我们提出了高动态范围（HDR）辐射场，HDR-Plenoxels，它学习3D HDR辐射场，几何信息和2D低动态范围（LDR）图像中固有的不同相机设置的全光函数。我们的基于体素的体渲染管道重建HDR辐射场，只有多视图LDR图像从不同的相机设置在一个端到端的方式，并具有快速的收敛速度。为了处理现实世界中的各种相机，我们引入了一个色调映射模块，该模块对相机内的数字成像管道（ISP）进行建模，并解开辐射设置。我们的色调映射模块允许我们通过控制每个新视图的辐射设置来渲染。最后，我们构建了一个具有不同相机条件的多视图数据集，这符合我们的问题设置。我们的实验表明，HDR-Plenoxels可以表达细节和高质量的HDR新颖的意见，从只有LDR图像与各种相机。
2022-11-18 cs.AI cs.CV cs.GR
PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Technical University of Munich（慕尼黑工业大学）；Cardiff University（卡迪夫大学）；Tencent AI Lab（腾讯人工智能实验室）
我们提出了PVSeRF，一个学习框架，从单视图RGB图像重建神经辐射场，用于新的视图合成。先前的解决方案，例如pixelNeRF，仅依赖于像素对齐的特征，并且遭受特征模糊性问题。结果，他们挣扎于几何和外观的分离，导致难以置信的几何和模糊的结果。为了解决这一挑战，我们建议将明确的几何推理，并结合它与像素对齐的辐射场预测功能。具体来说，除了像素对齐的特征之外，我们还将辐射场学习约束为以i）从粗体积网格学习的体素对齐的特征和ii）从回归点云提取的精细表面对齐的特征为条件。我们表明，这种几何感知功能的引入有助于实现更好的外观和几何之间的解纠缠，即恢复更准确的几何形状和合成更高质量的图像的新观点。针对ShapeNet基准测试中最先进的方法进行的大量实验证明了我们的方法在单图像新颖视图合成方面的优越性。
2022-02-10 cs.CV
PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）
神经辐射场的最新进展使得复杂场景的高保真三维重建成为可能，从而实现新颖的视图合成。然而，如何在保持照片真实感的同时有效地编辑这种表示的外观仍然有待探索。在这项工作中，我们提出了PaletteNeRF，一种新的方法，用于逼真的外观编辑的神经辐射场（NeRF）的基础上的3D颜色分解。我们的方法将每个3D点的外观分解为基于调色板的基底的线性组合（即，由一组NeRF类型函数定义的3D分割）。虽然我们的基于调色板的基础是独立于视图的，但我们还预测了一个依赖于视图的函数来捕获颜色残差（例如，镜面阴影）。在训练过程中，我们联合优化了基函数和调色板，并且我们还引入了新的正则化器来鼓励分解的空间一致性。我们的方法允许用户通过修改调色板来有效地编辑3D场景的外观。我们还扩展了我们的框架，压缩语义功能的语义感知外观编辑。我们证明，我们的技术是优于基线方法的定量和定性的外观编辑复杂的现实世界的场景。
2023-01-24 cs.CV cs.GR
ViewNeRF: Unsupervised Viewpoint Estimation Using Category-Level Neural Radiance Fields
University of Edinburgh（爱丁堡大学）
我们介绍了ViewNeRF，这是一种基于神经辐射场的视点估计方法，可以在训练过程中直接从图像中学习预测类别级视点。虽然NeRF通常使用地面实况相机姿势进行训练，但已经提出了多种扩展来减少这种昂贵的监督需求。尽管如此，这些方法中的大多数仍然在具有大的相机移动的复杂设置中挣扎，并且限于单个场景，即它们不能在描绘相同对象类别的场景集合上训练。为了解决这些问题，我们的方法使用的分析合成方法，结合条件NeRF与视点预测器和场景编码器，以产生整个对象类别的自监督重建。我们的目标不是高保真重建，而是在复杂场景中进行高效准确的视点预测，例如在真实数据上进行360°旋转。我们的模型在合成数据集和真实数据集上显示了竞争结果，无论是单个场景还是多实例集合。
2022-12-01 cs.CV
Plenoxels: Radiance Fields without Neural Networks
UC Berkeley（加州大学伯克利分校）
我们介绍Plenoxels（全光体素），一个系统的真实感视图合成。全像素将场景表示为具有球谐函数的稀疏3D网格。这种表示可以通过梯度方法和正则化从校准图像中优化，而无需任何神经组件。在标准的基准任务中，Plenoxels的优化速度比神经辐射场快两个数量级，而视觉质量没有损失。
2021-12-09 cs.CV cs.GR
NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences
KU Leuven（鲁汶大学）
本文提出NeVRF表示，融合NeRF与基于图像的渲染，并结合持续学习和定制压缩，实现长时动态场景的高质量自由视点渲染与紧凑存储。
2023-12-10 cs.CV
MapNeRF: Incorporating Map Priors into Neural Radiance Fields for Driving View Simulation
Baidu Research Institute（百度研究院）
MapNeRF通过将地图先验与不确定性引导融入神经辐射场，解决了驾驶模拟中轨迹外视图合成问题，实现了偏离轨迹视角下的语义道路一致性生成。
2023-08-06 cs.CV cs.RO
Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation
HKUST（香港科技大学）；UC San Diego（加州大学圣地亚哥分校）；Wuhan University（武汉大学）；Kuaishou Technology（快手科技）
我们提出了辐射场传播（RFP），一种新的方法来分割物体在三维重建过程中只给出未标记的多视图图像的场景。RFP源自新兴的基于神经辐射场的技术，其将语义与外观和几何形状联合编码。我们的方法的核心是一种新的传播策略，用于具有双向光度损失的单个对象的辐射场，从而能够将场景无监督地划分为对应于不同对象实例的突出或有意义的区域。为了更好地处理复杂的场景，多个对象和闭塞，我们进一步提出了一个迭代的期望最大化算法来细化对象掩模。RFP是第一个无监督的方法之一，用于处理神经辐射场（NeRF）的3D真实场景对象分割，而无需任何监督，注释或其他线索，如3D边界框和对象类的先验知识。实验表明，RFP实现了可行的分割结果，比以前的无监督图像/场景分割方法更准确，并与现有的监督NeRF为基础的方法。分割的对象表示使能单独的3D对象编辑操作。
2022-10-19 cs.CV
DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Reconstruction and Rendering
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）
介绍了一种结合表面场和辐射场优点的新框架DoubleField，用于高逼真度的人体重建和绘制。在DoubleField中，表面场和辐射场通过共享特征嵌入和表面引导采样策略关联在一起。此外，一个视图到视图的Transformer被引入到融合多视图的功能和学习视图相关的功能，直接从高分辨率的输入。借助DoubleField和视图到视图Transformer的建模能力，我们的方法显着提高了几何和外观的重建质量，同时支持直接推理，场景特定的高分辨率微调和快速渲染。通过对多个数据集的定量评价和真实世界稀疏多视图系统的定性结果验证了DoubleField的有效性，显示了其在高质量人体模型重建和照片级真实感自由视点人体绘制方面的卓越能力。数据和源代码将公开用于研究目的。请参阅我们的项目页面：http://www.liuyebin.com/dbfield/dbfield.html。
2022-03-27 cs.CV
PARF: Primitive-Aware Radiance Fusion for Indoor Scene Novel View Synthesis
Tsinghua University（清华大学）；Huawei Cloud（华为云）
提出PARF基元感知辐射度融合方法，通过语义解析、基元提取与混合渲染实现室内场景快速辐射场重建、高质量新视角合成及便捷编辑。
2023-09-29 cs.AI cs.CV
Ray Priors through Reprojection: Improving Neural Radiance Fields for Novel View Extrapolation
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
神经辐射场（NeRF）已经成为表示场景和合成照片级真实感图像的有效范例。传统NeRF的一个主要限制是，它们通常无法在与训练视点显著不同的新颖视点下产生高质量的渲染。在本文中，而不是利用Few-Shot图像合成，我们研究了新的视图外推设置，（1）训练图像可以很好地描述一个对象，（2）有一个显着的差异之间的训练和测试视点的分布。我们提出RapNeRF（RAy先验）作为一种解决方案。我们的见解是，3D表面的任意可见投影的固有外观应该是一致的。因此，我们提出了一个随机光线投射政策，允许训练看不见的意见，使用看到的意见。此外，我们表明，从观察到的光线的观看方向预先计算的光线图集可以进一步提高外推视图的渲染质量。一个主要的限制是RapNeRF将删除强大的视图依赖效应，因为它利用了多视图一致性属性。
2022-05-12 cs.CV
VCURF: Virtual Camera-based Uncertainty of Radiance Fields
Stevens Institute of Technology（史蒂文斯理工学院）
提出VCURF方法，通过测量虚拟相机渲染不一致性实现辐射场像素级不确定性量化，适用于NeRF和GS模型，并质疑现有视角选择策略。
2026-10-06 cs.CV
X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views
Shanghai Jiao Tong University（上海交通大学）
神经辐射场（NeRFs）尽管在新颖视图合成上具有出色的性能，但通常需要密集的输入视图。许多文献对每个场景分别训练一个模型，很少有人探讨如何将多模态数据融合到这个问题中。在本文中，我们关注一个很少讨论但很重要的设置：我们能否训练一个模型，它可以表示多个场景，360 $^\circ $视图和RGB-D图像不足？我们将不充分的视图引用到极少数非常稀疏且几乎不重叠的视图。为了解决这个问题，提出了一种完全显式的方法X-NeRF，该方法学习一般的场景完成过程，而不是基于坐标的映射。给定一些不足的RGB-D输入视图，X-NeRF首先将其转换为稀疏点云张量，然后应用3D稀疏生成卷积神经网络（CNN）将其完成显式辐射场，其体积渲染可以快速进行，而无需在推理期间运行网络。为了避免过拟合，除了常见的渲染损失，我们应用感知损失以及通过点云上的随机旋转视图增强。所提出的方法显着优于以前的隐式方法在我们的设置，表明所提出的问题和方法的巨大潜力。代码和数据可在https://github.com/HaoyiZhu/XNeRF上获得。
2022-10-11 cs.CV
Progressively Optimized Local Radiance Fields for Robust View Synthesis
KAIST（韩国科学技术院）；National Taiwan University（国立台湾大学）；Meta；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种算法，用于重建一个大规模的场景从一个偶然捕获的视频辐射场。这项任务提出了两个核心挑战。首先，大多数现有的辐射场重建方法依赖于来自运动恢复结构算法的准确的预先估计的相机姿态，这在野外视频中经常失败。第二，使用一个单一的，全球辐射场有限的代表能力不缩放到更长的轨迹在一个无界的场景。为了处理未知的姿态，我们联合估计相机的姿态与辐射场在一个渐进的方式。我们表明，渐进式优化显着提高了重建的鲁棒性。为了处理大的无界场景，我们动态分配新的局部辐射场训练帧内的时间窗口。这进一步提高了鲁棒性（例如，即使在适度的姿势漂移下也表现良好），并允许我们缩放到大场景。我们对Tanks and Temples数据集和我们收集的户外数据集Static Hikes进行了广泛的评估，结果表明我们的方法与最先进的方法相比毫不逊色。
2023-03-24 cs.CV
