CeRF: Convolutional Neural Radiance Fields for New View Synthesis with Derivatives of Ray Modeling
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
本文提出CeRF卷积神经辐射场，用一维卷积建模沿射线的辐射导数，并结合循环模块消除几何歧义，从而提升新视角合成质量。
2024-06-15 cs.CV cs.GR
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；UC San Diego（加州大学圣迭戈分校）
我们提出了一种方法，实现国家的最先进的结果，通过优化一个基本的连续体积场景功能，使用稀疏的输入视图的复杂场景的新的意见合成。我们的算法使用全连接（非卷积）深度网络表示场景，其输入是单个连续的5D坐标（空间位置$(x,y,z)$和观看方向$(θ, ϕ)$），其输出是该空间位置处的体积密度和视图相关的发射辐射。我们通过查询沿相机射线的5D坐标合成视图，并使用经典的体渲染技术将输出的颜色和密度投影到图像中。由于体渲染是自然可微的，因此优化我们的表示所需的唯一输入是具有已知相机姿势的一组图像。我们描述了如何有效地优化神经辐射场，以呈现具有复杂几何形状和外观的场景的照片级逼真的新视图，并展示了优于神经渲染和视图合成的先前工作的结果。查看合成结果最好以视频形式查看，因此我们敦促读者查看我们的补充视频以进行令人信服的比较。
2020-08-03 cs.CV cs.GR
Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis
Center of Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息技术与传播科学学院）
本文提出CG-NeRF，通过粗略辐射场预测器和基于卷积的神经渲染器解决神经辐射场渲染慢且难泛化的问题，实现单GPU高效渲染并在多数据集上超越现有方法。
2023-11-19 cs.CV cs.GR
ClimateNeRF: Extreme Weather Synthesis in Neural Radiance Field
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Maryland, College Park（马里兰大学帕克分校）；Zhejiang University（浙江大学）
本文提出ClimateNeRF，通过融合物理模拟与NeRF场景模型，实现雾霾、降雪、洪水等极端天气的可控三维逼真合成，效果优于现有2D编辑和3D NeRF风格化方法。
2023-06-08 cs.CV cs.GR
Learning Neural Duplex Radiance Fields for Real-Time View Synthesis
City University of Hong Kong（香港城市大学）；Meta Reality Labs（Meta现实实验室）
针对 NeRF 每像素需数百次 MLP 评估而难以实时渲染的问题，本文将其蒸馏烘焙到两层双工网格，并用屏幕空间卷积与多视图蒸馏实现高质量实时视图合成。
2023-04-20 cs.CV cs.GR
StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints
BNRist（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）
神经辐射场（NeRF）实现了具有密集捕获的输入图像的照片级真实感视图合成。然而，NeRF的几何形状是非常受约束的稀疏视图，导致新的视图合成质量显着下降。受自监督深度估计方法的启发，我们提出了StructNeRF，这是一种针对具有稀疏输入的室内场景的新颖视图合成的解决方案。StructNeRF利用自然嵌入在多视图输入中的结构提示来处理NeRF中的无约束几何问题。具体来说，它处理的纹理和非纹理区域分别：基于补丁的多视图一致的光度损失，提出了约束的纹理区域的几何形状，对于非纹理的，我们明确地限制它们是3D一致的平面。通过密集的自监督深度约束，我们的方法提高了NeRF的几何和视图合成性能，而无需对外部数据进行任何额外的训练。在几个真实世界的数据集上进行的大量实验表明，StructNeRF在定量和定性上都超过了室内场景稀疏输入的最先进方法。
2022-09-12 cs.CV cs.GR
Differentiable Point-Based Radiance Fields for Efficient View Synthesis
Princeton University（普林斯顿大学）
本文提出一种基于可微点表示的高效视图合成方法，通过可微泼溅渲染学习点位置与外观，在训练和推理上比NeRF快最多300倍，内存占用不到10MB，并支持动态场景的高质量快速渲染。
2023-07-05 cs.CV cs.GR
Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video
MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook Reality Labs Research（Facebook现实实验室研究）
提出了一种非刚性神经辐射场（NR-NeRF）的动态场景重建和视图合成方法。我们的方法将动态场景的RGB图像作为输入（例如，从单目视频记录），并创建高质量的时空几何和外观表示。我们表明，一个单一的手持消费级相机是足以合成复杂的渲染的动态场景从新颖的虚拟相机的意见，例如，一个“子弹时间”的视频效果。NR-NeRF将动态场景分解为正则体及其变形。场景变形被实现为光线弯曲，其中直线光线被非刚性地变形。我们还提出了一种新的刚性网络，以更好地约束场景的刚性区域，从而获得更稳定的结果。射线弯曲和刚度网络在没有明确监督的情况下进行训练。我们的公式可以在视图和时间上进行密集的对应估计，以及引人注目的视频编辑应用程序，如运动夸张。我们的代码将是开源的。
2021-08-23 cs.CV cs.GR
IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable Novel View Synthesis
Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
IntrinsicNeRF将内在分解引入NeRF，通过距离感知采样和自适应反射率迭代聚类实现无监督训练，支持房间级场景的实时重着色与光照编辑，并保持高保真新视角合成。
2023-08-29 cs.CV cs.GR
RelitLRM: Generative Relightable Radiance for Large Reconstruction Models
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；Adobe Research（奥多比研究机构）
RelitLRM 是一种大型重建模型，通过结合几何重建器和基于扩散的可重新照明外观生成器，从稀疏图像生成高质量3D物体表示，有效分解几何与外观，实现快速且高质量的重新照明效果。
2024-10-10 cs.CV cs.GR cs.LG
PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Technical University of Munich（慕尼黑工业大学）；Cardiff University（卡迪夫大学）；Tencent AI Lab（腾讯人工智能实验室）
我们提出了PVSeRF，一个学习框架，从单视图RGB图像重建神经辐射场，用于新的视图合成。先前的解决方案，例如pixelNeRF，仅依赖于像素对齐的特征，并且遭受特征模糊性问题。结果，他们挣扎于几何和外观的分离，导致难以置信的几何和模糊的结果。为了解决这一挑战，我们建议将明确的几何推理，并结合它与像素对齐的辐射场预测功能。具体来说，除了像素对齐的特征之外，我们还将辐射场学习约束为以i）从粗体积网格学习的体素对齐的特征和ii）从回归点云提取的精细表面对齐的特征为条件。我们表明，这种几何感知功能的引入有助于实现更好的外观和几何之间的解纠缠，即恢复更准确的几何形状和合成更高质量的图像的新观点。针对ShapeNet基准测试中最先进的方法进行的大量实验证明了我们的方法在单图像新颖视图合成方面的优越性。
2022-02-10 cs.CV
Plenoxels: Radiance Fields without Neural Networks
UC Berkeley（加州大学伯克利分校）
我们介绍Plenoxels（全光体素），一个系统的真实感视图合成。全像素将场景表示为具有球谐函数的稀疏3D网格。这种表示可以通过梯度方法和正则化从校准图像中优化，而无需任何神经组件。在标准的基准任务中，Plenoxels的优化速度比神经辐射场快两个数量级，而视觉质量没有损失。
2021-12-09 cs.CV cs.GR
RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs
University of Tübingen（图宾根大学）；Google Research（谷歌研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
神经辐射场（NeRF）由于其简单性和最先进的性能而成为新颖视图合成任务的有力代表。虽然NeRF可以在许多输入视图可用时生成不可见视点的照片级真实感渲染，但当此数量减少时，其性能会显着下降。我们观察到稀疏输入场景中的大多数伪影是由估计场景几何形状中的错误以及训练开始时的发散行为引起的。我们通过正则化从未观察到的视点渲染的补丁的几何形状和外观，并在训练期间对光线采样空间进行退火来解决这个问题。我们还使用了一个规范化的流模型来规范未观察到的观点的颜色。我们的模型不仅优于在单个场景上优化的其他方法，而且在许多情况下也优于在大型多视图数据集上进行广泛预训练的条件模型。
2021-12-01 cs.AI cs.CV cs.GR
Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；ByteDance Ltd（字节跳动公司）；Nanjing University（南京大学）
提出组合神经辐射场（CNeRF），通过为各语义区域学习独立辐射场并解耦形状与纹理，实现细粒度语义操控与高质量3D一致人像合成。
2023-04-10 cs.CV
NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes
Google（谷歌）；TU Munich（慕尼黑工业大学）
随着神经辐射场（NeRFs）的引入，新的视图合成最近取得了很大的飞跃。NeRF提出每个3D点都可以发射辐射，允许使用可微分体积渲染进行视图合成。虽然神经辐射场可以准确地表示用于计算图像渲染的3D场景，但3D网格仍然是大多数计算机图形和仿真管道支持的主要场景表示，从而实现实时的渲染和基于物理的仿真等任务。从神经辐射场获得3D网格仍然是一个开放的挑战，因为NeRF被优化用于视图合成，而不是在辐射场上强制执行精确的底层几何形状。因此，我们提出了一种新颖的紧凑和灵活的架构，使任何NeRF驱动的方法，易于3D表面重建。在训练了辐射场之后，我们将体积3D表示提取到符号表面近似网络中，从而可以轻松提取3D网格和外观。我们最终的3D网格在物理上是精确的，并且可以在一系列设备上实时的呈现。
2023-03-16 cs.CV
NeRFReN: Neural Radiance Fields with Reflections
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；BIMSA（北京国际数学研究中心）
神经辐射场（NeRF）使用基于坐标的神经场景表示实现了前所未有的视图合成质量。然而，NeRF的视图依赖性只能处理简单的反射，如高光，但不能处理复杂的反射，如玻璃和镜子。在这些场景中，NeRF将虚拟图像建模为真实几何形状，这导致不准确的深度估计，并且当多视图一致性被违反时产生模糊渲染，因为反射的对象只能在某些视点下看到。为了克服这些问题，我们引入了NeRFReN，它是建立在NeRF模型的反射场景。具体来说，我们建议将场景分割成透射和反射分量，并使用单独的神经辐射场对这两个分量进行建模。考虑到这种分解是高度欠约束的，我们利用几何先验知识并应用精心设计的训练策略来实现合理的分解结果。实验结果表明，该方法在实现场景编辑应用的同时，获得了高质量的新颖视点合成和物理上合理的深度估计结果。
2022-04-06 cs.CV cs.GR
Multi-Plane Neural Radiance Fields for Novel View Synthesis
University of Waterloo（滑铁卢大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
新颖的视图合成是一个长期存在的问题，围绕渲染帧的场景从新颖的相机视点。体积方法提供了一个解决方案，通过明确的三维表示的相机截头体建模闭塞。多平面图像（MPI）是使用不同深度处的前平行平面来表示场景的体积方法，但是遭受导致2D场景表示的深度离散化。另一种方法依赖于隐式3D场景表示。神经辐射场（NeRF）利用神经网络将连续的3D场景结构封装在网络权重内，从而实现真实感合成结果，然而，方法被约束到每个场景的优化设置，这在实践中是低效的。多平面神经辐射场（MINE）为隐式和显式场景表示的组合打开了大门。它支持连续的3D场景表示，特别是在深度维度上，同时利用输入图像特征来避免逐场景优化。目前在这一领域的文献工作的主要缺点是被限制到单视图输入，限制合成能力，以狭窄的视角范围。在这项工作中，我们彻底检查了单视图多平面神经辐射场的性能、概括性和效率。此外，我们提出了一个新的多平面NeRF架构，接受多个视图，以改善合成结果，扩大观看范围。通过提出的注意力感知融合模块，有效地融合了来自输入源帧的特征，以突出来自不同视点的重要信息。实验表明，基于注意力的融合的有效性和我们提出的方法相比，多视图NeRF和MPI技术的有前途的成果。
2023-03-03 cs.CV
DT-NeRF: Decomposed Triplane-Hash Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出DT-NeRF框架，通过分解三平面表示嘴部与面部特征，并利用audio-mouth-face transformer融合音频残差与NeRF加性体积渲染，实现高保真说话人像合成。
2023-09-14 cs.CV
MoFaNeRF: Morphable Facial Neural Radiance Field
Nanjing University（南京大学）
我们提出了一个参数模型，映射到一个矢量空间的编码面部形状，表情和外观的神经辐射场，即变形面部NeRF的自由视图图像。具体而言，MoFaNeRF将编码的面部形状、表情和外观以及空间坐标和视角方向作为MLP的输入，并输出空间点的辐射度以进行照片级逼真的图像合成。与传统的3D变形模型（3DMM）相比，MoFaNeRF显示出优越性，直接合成照片般逼真的面部细节，甚至眼睛，嘴巴和胡子。此外，连续的脸变形可以很容易地实现输入形状，表情和外观代码插值。通过引入身份特定调制和纹理编码器，我们的模型合成准确的光度细节，并显示出强大的表示能力。我们的模型在多个应用中表现出了强大的能力，包括基于图像的拟合，随机生成，面部操纵，面部编辑和新颖的视图合成。实验表明，我们的方法实现了更高的表示能力比以前的参数模型，并在一些应用中取得了竞争力的性能。据我们所知，我们的工作是第一个面部参数化模型建立在一个神经辐射场，可用于拟合，生成和操作。代码和数据可在https://github.com/zhuhao-nju/mofanerf上获得。
2022-07-22 cs.CV cs.GR
Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；PhiGent Robotics（鉴智机器人）
说话人头像合成是一项新兴技术，在电影配音、虚拟化身、网络教育等领域有着广泛的应用。最近基于NeRF的方法生成更自然的谈话视频，因为它们更好地捕捉面部的3D结构信息。然而，需要为每个具有大型数据集的身份训练特定的模型。在本文中，我们提出了动态面部辐射场（DFRF）的Few-Shot说话的头部合成，它可以快速推广到一个看不见的身份与少量的训练数据。与现有的基于NeRF的方法直接将特定人的3D几何形状和外观编码到网络中不同，我们的DFRF条件人脸辐射场在2D外观图像上学习人脸先验。因此，面部辐射场可以灵活地调整到新的身份与几个参考图像。此外，为了更好地建模的面部变形，我们提出了一个可微的面部变形模块的音频信号的条件下变形的所有参考图像的查询空间。大量的实验表明，只有几十秒的训练剪辑可用，我们提出的DFRF可以合成自然和高质量的音频驱动的说话头部视频的新身份，只有40k迭代。我们强烈建议读者查看我们的补充视频，以进行直观的比较。代码可在https://sstzal.github.io/DFRF/上找到。
2022-07-24 cs.CV
UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural Radiance Fields
University of British Columbia（不列颠哥伦比亚大学）
神经辐射场（NeRF）增加了新视图合成和场景重建的重建细节，其应用范围从大型静态场景到动态人体运动。然而，这种神经场的分辨率和无模型性质的提高是以高训练时间和过多的内存需求为代价的。最近的进展通过使用互补数据结构来改善推理时间，然而这些方法不适合于动态场景并且经常增加存储器消耗。在减少培训所需资源方面几乎没有做什么工作。我们提出了一种方法来利用冗余的NeRF的基于样本的计算，部分共享相邻样本点的评价。我们的UNeRF架构受到UNet的启发，其中空间分辨率在网络中间降低，并且信息在相邻样本之间共享。虽然这一变化违反了严格和有意识的分离的NeRF方法中的视图相关的外观和视图无关的密度估计，我们表明，它提高了新的视图合成。我们还介绍了一种替代的子采样策略，该策略在最大限度地减少任何违反视图不变性的情况下共享计算。UNeRF是原始NeRF网络的插件模块。我们的主要贡献包括减少内存占用，提高准确性，减少训练和推理过程中的摊销处理时间。只有弱假设的地方，我们实现了各种神经辐射场任务的资源利用率提高。我们展示了应用程序的静态场景，以及动态的人体形状和运动的新颖的视图合成。
2022-06-23 cs.CV cs.GR
Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
全面的三维场景理解，几何和语义，是重要的现实世界的应用，如机器人感知。大部分现有的工作都集中在开发数据驱动的判别模型的场景理解。本文从合成模型的角度出发，结合隐式三维表示和神经渲染的最新进展，提出了一种新的场景理解方法。在神经辐射场（NeRFs）的巨大成功的基础上，我们引入了具有NeRF的场景属性合成（SS-NeRF），其不仅能够从新颖的视角渲染照片级逼真的RGB图像，而且还能够渲染各种精确的场景属性（例如，外观、几何形状和语义）。通过这样做，我们促进解决各种场景理解任务下的统一框架，包括语义分割，表面法线估计，重绘，关键点检测和边缘检测。我们的SS-NeRF框架可以是一个强大的工具，用于桥接生成学习和判别学习，从而有利于调查的一系列有趣的问题，如研究任务关系的综合范式，转移知识到新的任务，促进下游的判别任务作为数据增强的方式，并作为自动标注数据创建。
2022-06-09 cs.CV
RTR-GS: 3D Gaussian Splatting for Inverse Rendering with Radiance Transfer and Reflection
Beijing Institute of Technology（北京理工大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
RTR-GS通过结合正向渲染和延迟渲染，实现了对具有任意反射特性的物体的稳健逆渲染和重新照明。
2025-12-16 cs.CV cs.GR
Generalizable Neural Radiance Fields for Novel View Synthesis with Transformer
我们提出了一个基于变压器的NeRF（transNeRF）学习一个通用的神经辐射场条件下的新的视图合成任务的视图图像。相比之下，现有的基于MLP的NeRF不能直接接收任意数量的观察视图，并且需要辅助的基于池化的操作来融合源视图信息，导致源视图和目标渲染视图之间的复杂关系缺失。此外，目前的方法单独处理每个3D点，忽略了辐射场场景表示的局部一致性。这些限制可能会降低它们在具有挑战性的现实世界应用中的性能，其中源视图和新的渲染视图之间可能存在很大的差异。为了解决这些挑战，我们的transNeRF利用注意力机制自然解码任意数量的源视图到基于坐标的场景表示的深关联。在统一的Transformer网络中，考虑了光线投射空间和周围视图空间中形状和外观的局部一致性。实验表明，我们的TransNeRF，在各种场景上训练，可以实现更好的性能相比，最先进的基于图像的神经渲染方法在场景不可知和每场景微调的情况下，特别是当有一个相当大的差距源视图和渲染视图。
2022-06-10 cs.CV
Efficient View Synthesis with Neural Radiance Distribution Field
FNii, CUHKSZ（香港中文大学（深圳）未来网络研究院（FNii, CUHKSZ））；Microsoft Research Asia（微软亚洲研究院）；SSE, CUHKSZ（香港中文大学（深圳）计算机科学与工程学院（SSE, CUHKSZ））
针对NeRF渲染效率低、现有NeLF需大网络的问题，提出神经辐射分布场NeRDF，用小网络结合频率基建模辐射分布实现单像素单次前向传播，在相近网络规模下较NeRF提速约254倍，性能下降微小，实现速度、质量与网络规模的更优权衡。
2023-08-22 cs.CV
Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance Fields
Harvard University（哈佛大学）；Google Research（谷歌研究院）
神经辐射场（NeRF）是一种流行的视图合成技术，其将场景表示为连续体积函数，由多层感知器参数化，该多层感知器提供每个位置处的体积密度和视图相关的发射辐射。虽然基于NeRF的技术擅长表示具有平滑变化的视图相关外观的精细几何结构，但它们通常无法准确捕获和再现光泽表面的外观。我们通过引入Ref-NeRF来解决这一限制，该方法用反射辐射的表示代替NeRF的视相关出射辐射的参数化，并使用空间变化的场景属性集合来构造该函数。我们表明，与正常向量的正则化，我们的模型显着提高了镜面反射的真实性和准确性。此外，我们表明，我们的模型的内部表示的出射辐射是可解释的和有用的场景编辑。
2021-12-07 cs.CV cs.GR
RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis
Centre for Robotics, Mines Paris - PSL, PSL University（巴黎矿业-PSL大学机器人中心，PSL大学）
RayGauss提出用高斯函数结合球面高斯/谐波表示辐射场，并通过BVH加速的不规则高斯可微射线投射替代抛雪球，在Blender数据集上以25 FPS实现优于现有方法的渲染质量，同时避免伪影。
2025-02-04 cs.CV cs.GR
Deblur-NeRF: Neural Radiance Fields from Blurry Images
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；City University of Hong Kong（香港城市大学）
神经辐射场（NeRF）以其良好的合成效果在三维场景重建和新视图合成方面得到了广泛的关注。然而，在野外拍摄场景时，由于散焦或运动引起的图像模糊会严重影响重建质量。为了解决这个问题，我们提出了Deflur-NeRF，这是第一种可以从模糊输入中恢复清晰NeRF的方法。我们采用了一种分析合成的方法，通过模拟模糊过程来重建模糊的视图，从而使NeRF对模糊输入具有鲁棒性。该模拟的核心是一种新型的可变形稀疏核（DSK）模块，该模块通过在每个空间位置处变形规范稀疏核来对空间变化的模糊核进行建模。受物理模糊过程的启发，每个核点的光线原点被联合优化。该模块被参数化为MLP，该MLP具有被推广到各种模糊类型的能力。联合优化NeRF和DSK模块使我们能够恢复清晰的NeRF。我们证明了我们的方法可以用于相机运动模糊和散焦模糊：在真实场景中最常见的两种类型的模糊。对合成数据和真实数据的评估结果表明，我们的方法优于几个基线。合成数据集和真实数据集以及源代码可在https://limacv.github.io/deblurnerf/上公开获得
2022-03-27 cs.CV cs.GR
Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition
Peking University（北京大学）；The University of Sydney（悉尼大学）；Baidu Inc.（百度公司）
虽然动态神经辐射场（NeRF）在说话肖像的高保真3D建模方面取得了成功，但缓慢的训练和推理速度严重阻碍了它们的潜在用途。在本文中，我们提出了一个有效的NeRF为基础的框架，使实时的【形】合成说话的肖像和更快的收敛，利用最近的成功，基于网格的NeRF。我们的关键见解是将固有的高维说话肖像表示分解为三个低维特征网格。具体地，分解的音频空间编码模块利用3D空间网格和2D音频网格对动态头部进行建模。躯干是处理与另一个二维网格在一个轻量级的伪三维变形模块。这两个模块都在保证渲染质量的前提下注重效率。大量的实验表明，我们的方法可以生成逼真的和音频嘴唇同步说话的人像视频，同时也是高效的相比，以前的方法。
2022-11-22 cs.CV
Surface-Aligned Neural Radiance Fields for Controllable 3D Human Synthesis
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks 公司）
提出了一种从稀疏多视点RGB视频中重建可控隐式三维人体模型的新方法。我们的方法定义了神经场景表示的网格表面点和有符号的距离从人体网格的表面。我们确定了一个不可分割性问题，当3D空间中的一个点被映射到网格上最近的表面点时，会出现这个问题，以学习表面对齐的神经场景表示。为了解决这个问题，我们提出了一个点投影到网格表面上使用重心插值修改顶点法线。在ZJU-MoCap和Human3.6M数据集上的实验表明，该方法在新视角和新姿态合成方面比现有方法具有更高的质量。我们还证明，我们的方法很容易支持控制的身体形状和衣服。项目页面：https://pfnet-research.github.io/surface-aligned-nerf/。
2022-04-03 cs.CV
Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis
School of Cyberspace Security, Xiangtan University（湘潭大学网络空间安全学院）；School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）
本文提出SfMNeRF方法，通过引入自监督深度估计中的极线、光度一致性、深度平滑度和匹配点位置约束来显式重建3D场景结构，并结合子像素合成策略，同时提升稀疏输入下NeRF的新视角合成质量与3D几何重建性能。
2024-02-20 cs.CV
ResNeRF: Geometry-Guided Residual Neural Radiance Field for Indoor Scene Novel View Synthesis
ResNeRF提出几何引导的两阶段框架，先基于SDF重建场景几何，再学习残差密度编码外观细节，从而在大规模室内场景中实现高保真新视角合成并达到最先进性能。
2023-07-11 cs.CV
Detachable Novel Views Synthesis of Dynamic Scenes Using Distribution-Driven Neural Radiance Fields
PhiGent Robotics（PhiGent机器人公司）
如何从随意的单目视频中表达和合成真实世界动态场景中的新颖视图是一个长期存在的问题。现有的解决方案通常通过应用几何技术或利用几个相邻帧之间的时间信息来接近动态场景，而不考虑整个场景中的底层背景分布或光线维度上的透射率，从而限制了它们在静态和遮挡区域上的性能。我们的方法$\textbf{D}$迭代- $\textbf{D}$ riven神经辐射场提供了高质量的视图合成和一个3D解决方案，$\textbf{D}$从整个$\textbf{D}$神经场景中提取背景，这被称为$\text{D}^4$ NeRF。具体而言，它采用神经表示来捕获静态背景中的场景分布，并采用6D输入NeRF来表示动态对象。每个光线样本都被赋予一个附加的遮挡权重，以指示静态和动态分量中的透射率。我们评估$\text{D}^4$ NeRF上的公共动态场景和我们的城市驾驶场景从一个错误的驾驶数据集。大量的实验表明，我们的方法优于以往的方法在渲染纹理细节和运动区域，同时也产生一个干净的静态背景。我们的代码将在https://github.com/Luciferbobo/D4NeRF上发布。
2023-01-11 cs.CV
AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis
University of Science and Technology of China（中国科学技术大学）；Beijing Dilusense Technology Corporation（北京谛听视界科技有限公司）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）
通过对输入音频序列的拟合来生成高保真的说话人头部视频是一个具有挑战性的问题，近年来受到了相当大的关注。在本文中，我们解决这个问题的帮助下，神经场景表示网络。我们的方法与现有的方法完全不同，现有的方法依赖于2D地标或3D人脸模型等中间表示来弥合音频输入和视频输出之间的差距。具体地，输入音频信号的特征被直接馈送到条件隐式函数中以生成动态神经辐射场，使用体渲染从动态神经辐射场合成与音频信号对应的高保真头部讲话视频。我们的框架的另一个优点是，不仅头部（与头发）区域是合成的，因为以前的方法，但也通过两个单独的神经辐射场生成上半身。实验结果表明，我们的新框架可以（1）产生高保真和自然的结果，（2）支持自由调整音频信号，观看方向和背景图像。代码可在https://github.com/YudongGuo/AD-NeRF上获得。
2021-08-19 cs.CV
Bilateral Guided Radiance Field Processing
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出利用双边网格在3D空间中建模相机ISP处理，通过解耦训练阶段增强并学习低秩4D双边网格实现用户可调的三维后期处理，以去除NeRF重建中的漂浮物并提升新视角合成质量。
2024-08-06 cs.CV cs.GR
SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction
ETH Zürich（苏黎世联邦理工学院）；University of Würzburg（维尔茨堡大学）
NeRFmm是处理联合优化任务的神经辐射场（NeRF），即，重建真实世界场景并同时注册相机参数。尽管NeRFmm产生精确的场景合成和姿态估计，但它仍然难以在具有挑战性的场景中超越完整注释的基线。在这项工作中，我们发现，存在一个系统的次最优联合优化，并进一步确定多个潜在的来源，以减少潜在的影响，我们提出了正弦神经辐射场（SiNeRF），利用正弦激活辐射映射和一种新的混合区域采样（MRS）有效地选择射线批次。定量和定性的结果表明，与NeRFmm相比，SiNeRF在图像合成质量和姿态估计精度方面取得了全面的显着改善。代码可在https://github.com/yitongx/sinerf上获得。
2022-10-10 cs.CV
NeRF++: Analyzing and Improving Neural Radiance Fields
Cornell Tech（康奈尔科技学院）；Intel Labs（英特尔实验室）
神经辐射场（NeRF）可在各种捕捉设置下实现令人印象深刻的视图合成结果，包括有界场景的360度捕捉以及有界和无界场景的前向捕捉。NeRF适合多层感知器（MLP）表示视图不变的不透明度和视图相关的颜色体积的一组训练图像，并采样新的意见的基础上体渲染技术。在这份技术报告中，我们首先评论辐射场及其潜在的模糊性，即形状-辐射模糊性，并分析NeRF在避免这种模糊性方面的成功。其次，我们解决了一个参数化的问题，涉及应用NeRF的360捕获的对象在大规模的，无界的3D场景。我们的方法提高了视图合成保真度在这个具有挑战性的情况下。代码可在https://github.com/Kai-46/nerfplusplus上获得。
2020-10-21 cs.CV
DDNeRF: Depth Distribution Neural Radiance Fields
Reichman University（赖希曼大学）
近年来，内隐神经表征领域取得了重大进展。诸如使用相对小的神经网络的神经辐射场（NeRF）之类的模型可以表示高质量的场景，并实现用于新颖视图合成的最新结果。然而，训练这些类型的网络在计算上仍然非常昂贵。我们提出了深度分布神经辐射场（DDNeRF），这是一种新方法，可以显著提高训练过程中沿射线的采样效率，同时在给定的采样预算下获得更好的结果。DDNeRF通过学习沿射线的密度分布的更准确表示来实现这一点。更具体地说，我们训练一个粗略的模型来预测输入体积的透明度的内部分布以及体积的总密度。然后，这种更精细的分布指导精细模型的采样过程。这种方法允许我们在训练过程中使用更少的样本，同时减少计算资源。
2022-03-30 cs.CV cs.GR
Segmentation-Guided Neural Radiance Fields for Novel Street View Synthesis
Institute of Science Tokyo（东京科学大学）；Micware Mobility Co., Ltd.（Micware 移动有限公司）；Micware Automotive Co., Ltd.（Micware 汽车有限公司）；Micware Navigations Co., Ltd（Micware 导航有限公司）
针对大规模街景中瞬态物体、稀疏纹理和光照变化问题，本文扩展ZipNeRF并以Grounded SAM分割引导天空、地面和瞬态物体建模，结合外观嵌入提升新视图合成质量。
2025-03-18 cs.CV eess.IV
3D Gaussian Splatting for Real-Time Radiance Field Rendering
Inria（法国国家信息与自动化研究所）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
本文提出3D高斯泼溅方法，通过稀疏点初始化、交错优化与密度控制以及可见性感知渲染算法，在1080p分辨率下实现高质量实时新视角合成。
2023-08-08 cs.CV cs.GR
HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Facebook Reality Labs（Facebook现实实验室）
神经辐射场（NeRF）能够以前所未有的保真度重建场景，并且各种最近的工作已经扩展NeRF以处理动态场景。重建这种非刚性场景的常见方法是通过使用从每个输入图像中的坐标映射到规范模板坐标空间中的学习变形场。然而，这些基于变形的方法很难对拓扑的变化进行建模，因为拓扑变化需要变形场的不连续性，但这些变形场必须是连续的。我们通过将NeRF提升到更高维的空间中，并通过将对应于每个单独输入图像的5D辐射场表示为通过该“超空间”的切片来解决这个限制。我们的方法的灵感来自水平集方法，该方法将表面的演化建模为通过高维表面的切片。我们在两个任务上评估我们的方法：（i）在“时刻”之间平滑插值，即，配置的场景，在输入图像中看到，同时保持视觉可扩展性，以及（ii）在固定的时刻新颖的视图合成。我们证明了我们的方法，我们称之为HyperNeRF，在这两项任务上都优于现有的方法。与Nerfies相比，HyperNeRF将插值的平均出错率降低了4.1%，将新视图合成的平均错误率降低了8.6%。其他视频、结果和可视化可在https://hypernerf.github.io上获得。
2021-09-10 cs.CV cs.GR
ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for Sparse View Synthesis
Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）；Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
提出ConsistentNeRF方法，利用深度信息正则化像素间的多视图与单视图3D一致性，显著提升稀疏视图下的神经辐射场重建质量。
2023-05-18 cs.CV
Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond
University of California San Diego（加利福尼亚大学圣迭戈分校）；NVIDIA（英伟达公司）
本文提出局部光场融合算法，通过扩展传统全光采样理论给出精确的视图采样密度界限，在保持奈奎斯特采样感知质量的同时将所需视图数量最多减少4000倍，并探讨了神经辐射场时代稀疏视图合成的采样指南可行性。
2024-08-08 cs.AI cs.CV cs.GR
pixelNeRF: Neural Radiance Fields from One or Few Images
UC Berkeley（加州大学伯克利分校）
我们提出了pixelNeRF，一个学习框架，预测一个连续的神经场景表示条件的一个或几个输入图像。用于构建神经辐射场的现有方法涉及独立地优化对每个场景的表示，这需要许多校准视图和显著的计算时间。我们通过引入一种架构来解决这些缺点，该架构以完全卷积的方式在图像输入上调节NeRF。这允许网络在多个场景中进行训练以学习场景先验，使其能够以前馈方式从稀疏的视图集合（少至一个）执行新颖的视图合成。利用NeRF的体渲染方法，我们的模型可以直接从图像中训练，而无需显式的3D监督。我们在ShapeNet基准上进行了大量的实验，用于单图像新颖视图合成任务，其中包含保持对象以及整个看不见的类别。我们通过在多对象ShapeNet场景和DTU数据集的真实场景上演示pixelNeRF，进一步展示了它的灵活性。在所有情况下，pixelNeRF都优于当前最先进的基线，用于新颖的视图合成和单个图像3D重建。视频和代码请访问项目网站：https://alexyu.net/pixelnerf
2021-05-30 cs.CV cs.GR cs.LG
R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis
Snap Inc.（Snap公司）；Northeastern University（东北大学）；Google（谷歌）
近年来神经辐射场（NeRF）的研究表明，利用神经网络来表示复杂场景具有令人鼓舞的潜力。NeRF的一个主要缺点是其令人望而却步的推理时间：渲染单个像素需要查询NeRF网络数百次。为了解决这个问题，现有的努力主要试图减少所需的采样点的数量。然而，迭代采样的问题仍然存在。另一方面，神经光场（NeLF）在新的视图合成中提供了比NeRF更直接的表示-像素的渲染相当于一个单一的前向传递，而无需光线行进。在这项工作中，我们提出了一个深度残差MLP网络（88层）来有效地学习光场。我们证明了成功学习这样一个深度NeLF网络的关键是要有足够的数据，为此我们通过数据蒸馏从预先训练的NeRF模型中转移知识。在合成场景和真实场景上的大量实验表明，该方法优于其他同类算法。在合成场景中，我们实现了26- 35倍的FLOPs减少（每相机光线）和28- 31倍的运行时加速，同时提供比NeRF更好的（1.4-2.8 dB平均PSNR改善）渲染质量，而无需任何定制的并行要求。
2022-07-23 cs.AI cs.CV cs.GR
NeRF-Texture: Synthesizing Neural Radiance Field Textures
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；VAST；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
针对真实世界含3D介观结构纹理难以用2D方法建模的问题，提出NeRF-Texture方法，通过解耦介观结构与基础形状、潜在特征块匹配及聚类约束，实现平面和曲面的高质量NeRF纹理合成。
2024-12-13 cs.CV cs.GR
DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields
Stanford University（斯坦福大学）；National Taiwan University（国立台湾大学）
神经辐射场（NeRFs）已经证明了3D计算机视觉任务的最新性能，包括新颖的视图合成和3D形状重建。然而，这些方法在不利的天气条件下失败。为了应对这一挑战，我们引入DehazeNeRF作为一个在朦胧条件下稳健运行的框架。DehazeNeRF扩展了体渲染方程，增加了模拟大气散射的物理现实条件。通过使用与物理特性相匹配的合适网络对这些术语进行参数化，我们引入了有效的归纳偏差，这些偏差与提出的正则化一起，使DehazeNeRF能够成功地展示多视图雾消除，新颖的视图合成和现有方法失败的3D形状重建。
2023-03-20 cs.CV
P2GS: Physical Prior-guided Gaussian Splatting for Photometrically Consistent Urban Reconstruction
Chubu University（名古屋大学）；Turing Inc.（图灵公司）
本文提出P2GS，一种基于物理先验的高斯点云法，用于解决自动驾驶中由于异质相机管道和动态户外照明导致的光度不一致问题，通过联合分解视图不变的线性HDR光场、每视图曝光尺度和色调映射函数，提升光度一致性与光照一致性。
2026-05-16 cs.CV
TöRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis
Carnegie Mellon University（卡内基梅隆大学）；Brown University（布朗大学）；Cornell University（康奈尔大学）；Facebook；University of Bath（巴斯大学）
神经网络可以表示并精确地重建静态3D场景的辐射场（例如，NeRF）。一些作品扩展这些单目视频捕捉的动态场景，有前途的性能。然而，单目设置是已知的是一个约束不足的问题，因此方法依赖于数据驱动的先验来重建动态内容。我们用飞行时间（ToF）相机的测量值替换这些先验知识，并基于连续波ToF相机的图像形成模型引入神经表示。我们不使用处理后的深度图，而是对原始ToF传感器测量进行建模，以提高重建质量，避免低反射率区域、多径干扰和传感器有限的明确深度范围的问题。我们证明了这种方法提高了动态场景重建对错误校准和大运动的鲁棒性，并讨论了现代智能手机上集成RGB+ToF传感器的优点和局限性。
2021-12-06 cs.CV
RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS
Google（谷歌公司）
RadSplat利用辐射场作为先验和监督，结合剪枝与测试时过滤，实现复杂场景900+ FPS的实时高质量渲染。
2025-03-31 cs.CV cs.GR
Feasibility of Neural Radiance Fields for Crime Scene Video Reconstruction
School of IT Monash University Malaysia（马来西亚莫纳什大学信息技术学院）
该研究围绕基于视频的犯罪现场重建需求，聚焦NeRF的多目标合成、可变形合成、光照三大创新方向，分析神经辐射场模型变体用于该场景的可行性。
2024-07-11 cs.CV
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
ShanghaiTech University（上海科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（Adobe研究院）
我们提出了MVSNeRF，一种新的神经渲染方法，可以有效地重建神经辐射场的视图合成。与先前在神经辐射场上考虑密集捕获图像上的每场景优化的工作不同，我们提出了一种通用的深度神经网络，该网络可以通过快速网络推理从仅三个附近的输入视图重建辐射场。我们的方法利用平面扫描成本卷（广泛用于多视图立体视觉）的几何感知场景推理，并将其与基于物理的体渲染神经辐射场重建。我们在DTU数据集中的真实对象上训练我们的网络，并在三个不同的数据集上对其进行测试，以评估其有效性和通用性。我们的方法可以概括跨场景（即使是室内场景，完全不同于我们的训练场景的对象），并生成逼真的视图合成结果，仅使用三个输入图像，显着优于并发工作的可概括的辐射场重建。此外，如果捕获密集图像，我们估计的辐射场表示可以很容易地进行微调;这导致快速的每场景重建，具有更高的渲染质量和比NeRF少得多的优化时间。
2021-08-24 cs.CV
BioNeRF: Biologically Plausible Neural Radiance Fields for View Synthesis
São Paulo State University（圣保罗州立大学）；Stirling University（斯特林大学）
针对NeRF依赖网络权重存储场景3D表示的局限，本文提出BioNeRF，通过认知启发的类记忆结构融合多源输入、模仿锥体细胞上下文行为，在真实与合成数据集的人类感知质量指标上优于现有技术。
2024-11-26 cs.CV cs.LG
ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning
Peking University（北京大学）；Huawei（华为）；National University of Singapore（新加坡国立大学）
针对合成到真实新视角合成中合成数据导致体积密度不准确的问题，提出几何感知对比学习和跨视图注意力，提升泛化NeRF的渲染质量，在PSNR、SSIM和LPIPS上优于现有方法。
2023-06-23 cs.CV
