VDN-NeRF: Resolving Shape-Radiance Ambiguity via View-Dependence Normalization
Stanford University（斯坦福大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）
提出VDN-NeRF方法，通过提取已学习NeRFs中的不变信息对视图依赖性进行归一化，在非朗伯体和动态光照下显著改善几何形状，有效缓解形状-辐射度模糊性。
2023-03-31 cs.CV
360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields
Hong Kong University of Science and Technology（香港科技大学）
本文提出360Roam系统，通过几何感知的辐射场与自适应局部辐射场分解，实现基于稀疏360°图像的大规模室内场景实时、高质量漫游。
2023-11-28 cs.CV
GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields
ETH Zürich（苏黎世联邦理工学院）；Delft University of Technology（代尔夫特理工大学）；NVIDIA（英伟达）；University of Birmingham（伯明翰大学）
我们提出了GazeNeRF，一个3D感知的方法的凝视重定向的任务。现有的视线重定向方法在2D图像上操作，并且难以生成3D一致的结果。相反，我们的直觉是，面部区域和眼球是独立的3D结构，它们以协调但独立的方式移动。我们的方法利用了最近的进展，在有条件的基于图像的神经辐射场，并提出了一个双流架构，分别预测的面部和眼睛区域的体积特征。通过3D旋转矩阵对眼睛特征进行严格变换，可对所需的注视角度进行细粒度控制。最后，重定向的图像，然后通过微分体积合成。我们的实验表明，这种架构优于天真的条件NeRF基线，以及以前的国家的最先进的2D凝视重定向方法在重定向的准确性和身份保护。
2023-03-28 cs.CV
SPARF: Neural Radiance Fields from Sparse and Noisy Poses
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；Technical University of Munich（慕尼黑工业大学）
针对NeRF依赖高精度密集位姿视图的局限，提出SPARF方法，利用多视图几何约束联合优化NeRF与相机位姿，在仅3张含噪声宽基线图像的稀疏设置下达到新的SOTA。
2023-06-13 cs.CV
GNeRF: GAN-based Neural Radiance Field without Posed Camera
Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；ShanghaiTech University（上海科技大学）；University of California, San Diego（加州大学圣迭戈分校）
我们介绍了GNeRF，这是一个将生成对抗网络（GAN）与神经辐射场（NeRF）重建结合起来的框架，用于具有未知甚至随机初始化相机姿态的复杂场景。最近的NeRF为基础的进展已经获得了显着的现实新颖的视图合成的普及。然而，他们中的大多数严重依赖于准确的相机位姿估计，而最近的一些方法只能优化未知的相机姿态在大致面向前方的场景，相对较短的相机轨迹，并需要粗略的相机位姿初始化。因此，我们的GNeRF只利用随机初始化的姿势复杂的由外而内的情况。我们提出了一个新的两阶段的端到端的框架。第一阶段将GANs用于新领域，以联合优化粗略的相机姿态和辐射场，而第二阶段则通过额外的光度损失对其进行优化。我们克服了局部极小使用混合和迭代优化方案。在各种合成和自然场景上的大量实验证明了GNeRF的有效性。更令人印象深刻的是，我们的方法在那些具有重复模式甚至低纹理的场景中优于基线，这些场景被认为是非常具有挑战性的。
2021-08-18 cs.CV
U2NeRF: Unsupervised Underwater Image Restoration and Neural Radiance Fields
Indian Institute of Technology Madras（印度马德拉斯理工学院）
本文提出无监督水下神经辐射场U2NeRF，通过Transformer架构将恢复能力融入NeRF并解耦颜色分量，同时发布UVS数据集，在渲染与恢复指标上优于多个基线。
2024-11-25 cs.CV
SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image
University of Oregon（俄勒冈大学）；Picsart AI Research（Picsart人工智能研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
尽管神经辐射场（NeRF）发展迅速，但密集覆盖的必要性在很大程度上限制了其更广泛的应用。虽然最近的一些作品试图解决这个问题，但它们要么使用稀疏视图（但仍然有一些），要么使用简单的对象/场景。在这项工作中，我们考虑了一个更雄心勃勃的任务：通过“只看一次”，即在逼真的复杂视觉场景上训练神经辐射场，只使用一个视图。为了实现这一目标，我们提出了一个单视图NeRF（SinNeRF）框架，包括精心设计的语义和几何正则化。具体来说，SinNeRF构建了一个半监督学习过程，在这个过程中，我们引入并传播几何伪标签和语义伪标签来指导渐进式训练过程。在复杂场景基准上进行了大量的实验，包括NeRF合成数据集，局部光场融合数据集和DTU数据集。我们表明，即使没有对多视图数据集进行预训练，SinNeRF也可以产生照片般逼真的新视图合成结果。在单一图像设置下，SinNeRF在所有情况下都显著优于当前最先进的NeRF基线。项目页面：https://vita-group.github.io/SinNeRF/
2022-08-12 cs.CV
Low-Cost Neural Radiance Fields
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文比较了三种加速NeRF变体，探讨了低计算、低数据场景下的扩展。通过添加深度监督损失、分析特征解码MLP和提出HashNeRF的四种架构变体，研究了PSNR与训练时间的权衡。
2026-05-10 cs.CV
ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for Sparse View Synthesis
Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）；Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
提出ConsistentNeRF方法，利用深度信息正则化像素间的多视图与单视图3D一致性，显著提升稀疏视图下的神经辐射场重建质量。
2023-05-18 cs.CV
Self-Calibrating Neural Radiance Fields
POSTECH（浦项科技大学）；NVIDIA（英伟达）；Caltech（加州理工学院）
在这项工作中，我们提出了一个摄像机自标定算法的通用摄像机与任意非线性失真。我们共同学习场景的几何形状和准确的相机参数，而无需任何校准对象。我们的相机模型由针孔模型，四阶径向失真，和一个通用的噪声模型，可以学习任意的非线性相机失真。虽然传统的自校准算法主要依赖于几何约束，我们还将光度一致性。这需要学习场景的几何形状，我们使用神经辐射场（NeRF）。我们还提出了一个新的几何损失函数，即，投影光线距离损失，以结合复杂的非线性相机模型的几何一致性。我们在标准真实图像数据集上验证了我们的方法，并证明了我们的模型可以在没有COLMAP初始化的情况下从头开始学习相机的内在和外在（姿态）。此外，我们还表明，以可区分的方式学习准确的相机模型可以使我们在基线上提高PSNR。我们的模块是一个易于使用的插件，可以应用于NeRF变体以提高性能。代码和数据目前可在https://github.com/POSTECH-CVLab/SCNeRF上获得。
2021-09-02 cs.CV
ConRad: Image Constrained Radiance Fields for 3D Generation from a Single Image
Salesforce AI Research（赛富时人工智能研究院）
针对现有文本生成3D方法难以适配单RGB图像输入、易出现外观对齐偏差的问题，提出图像约束辐射场ConRad，结合预训练扩散模型优化参数，实现更忠实于输入、一致性更强的3D重建，在ShapeNet基准上量化性能显著提升。
2023-11-09 cs.CV
CarPatch: A Synthetic Benchmark for Radiance Field Evaluation on Vehicle Components
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Prometeia（Prometeia公司）
针对NeRF在车辆检测场景中因数据不足、反射等导致重建精度低的问题，研究提出合成车辆基准CarPatch，含多视角标注图像、深度图与分割掩码，定义全局及部件级指标评估前沿技术，已公开供后续研究使用。
2023-07-24 cs.CV
Hyperspectral Neural Radiance Fields
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Europe（佐治亚理工学院欧洲校区）
本文提出一种基于NeRF的高光谱3D重建方法，通过波长相关的辐射率和透射率光谱表征空间点与视角，并利用近2000张图像的数据集验证了其在超分辨率和传感器仿真等新应用中的高效性与准确性。
2024-03-21 cs.CV
GUMBEL-NERF: Representing Unseen Objects as Part-Compositional Neural Radiance Fields
Tokyo Institute of Technology（东京工业大学）；Denso IT Laboratory（电装IT实验室）
针对 MoE NeRF 在少样本未见对象新视角合成中专家边界处的不连续问题，本文提出带事后专家选择机制的 Gumbel-NeRF，并在 SRN cars 上验证其图像质量优势。
2024-10-27 cs.CV
From Explicit References to Scene Manifolds: Distributional Fidelity and Realism for Radiance Field Quality Assessment
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（imec研究院）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对辐射场渲染视图质量评估，提出SCODA方法，通过场景流形建模和失真感知判别器，实现无需参考图像的客观评估，在多个基准上验证了与人类判断的高度一致性。
2026-09-09 cs.CV
NeuRadar: Neural Radiance Fields for Automotive Radar Point Clouds
Zenseact；Chalmers University of Technology（楚德大学）
本文提出NeuRadar，一种基于神经辐射场的模型，联合生成雷达点云、相机图像和激光雷达点云，通过确定性及概率性点云表示捕捉雷达行为，在两个汽车数据集上实现逼真重建，并发布数据和源代码以推动研究。
2025-05-26 cs.CV
Spike-NeRF: Neural Radiance Field Based On Spike Camera
National Engineering Research Center of Visual Technology (NERCVT), Peking University（北京大学视觉技术国家工程研究中心）；College of Future Technology, Peking University（北京大学未来技术学院）
本文提出首个基于脉冲数据的神经辐射场Spike-NeRF，通过设计脉冲掩码与独特损失函数，从移动脉冲相机极短时间内捕获的连续脉冲流中，实现高速场景的正确三维重建与新视点合成。
2024-03-25 cs.CV
AquaNeRF: Neural Radiance Fields in Underwater Media with Distractor Removal
Visual Information Laboratory, University of Bristol, Bristol, UK（视觉信息实验室，布里斯托大学，布里斯托，英国）
针对水下场景中漂浮物和移动物体干扰的问题，提出AquaNeRF渲染器和优化方案，通过单表面估计和高斯权重函数去除干扰，并在PSNR上显著优于现有基线。
2025-02-22 cs.CV
Reference-guided Controllable Inpainting of Neural Radiance Fields
Samsung AI Centre Toronto（三星人工智能中心多伦多分部）；University of Toronto（多伦多大学）；York University（约克大学）；Vector Institute for AI（Vector人工智能研究所）
本文提出仅用单张参考修复图像和视图掩码实现可控、多视图一致的 NeRF 修复，结合单目深度反投影、双边求解器及图像修复器引导几何与外观，性能优于现有基线。
2023-04-20 cs.CV
VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field
University of Tsukuba（筑波大学）；University of Tokyo（东京大学）；Google Brain（谷歌大脑）；University of Toronto（多伦多大学）
神经辐射场（NeRF）是数据驱动三维重建中的一种常用方法。由于其简单性和高质量的渲染，许多NeRF应用程序正在开发中。然而，NeRF的最大局限是它的速度慢。人们进行了许多尝试来加速NeRF训练和推理，包括复杂的代码级优化和缓存，使用复杂的数据结构，以及通过多任务和Meta学习进行摊销。在这项工作中，我们通过NeRF之前的经典技术的镜头重新审视了NeRF的基本构建模块。我们提出了体素增强NeRF（VaxNeRF），将NeRF与视觉外壳集成，这是一种经典的3D重建技术，每幅图像只需要二进制前景-背景像素标签。可视化外壳可以在大约10秒内进行优化，可以提供粗略的输入-输出字段分离，以省略NeRF中的大量网络评估。我们在流行的JaxNeRF代码库上提供了一个干净的完全Python的，基于JAX的实现，仅由大约30行代码更改和一个模块化的可视化外壳子例程组成，并在高度性能化的JaxNeRF基线之上实现了大约2- 8倍的学习速度，渲染质量为零。通过足够的计算，这有效地将完整的NeRF培训从几个小时缩短到30分钟。我们希望VaxNeRF --一种经典技术与深度方法（可以说是替代它的）的精心组合--能够以其简单性、可移植性和可靠的性能增益来增强和加速新的NeRF扩展和应用。代码可在https://github.com/naruya/VaxNeRF上获得。
2021-11-25 cs.CV
EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）；Scaled Foundations（Scaled基金会）；Poly Corporation（Poly公司）
本文提出 EvDNeRF 流水线，通过生成事件数据并训练基于事件的动态 NeRF，实现快速刚性与非刚性场景中任意时间戳事件流的预测与仿真。
2023-12-06 cs.CV
ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance Fields
Queensland University of Technology（昆士兰科技大学）；University of Adelaide（阿德莱德大学）
虽然现有的动态场景的神经辐射场（NeRFs）是离线方法，重点是视觉保真度，但我们的论文解决了优先考虑实时适应性的在线用例。我们提出了ParticleNeRF，这是一种新的方法，通过每200毫秒在线学习最新的表示来动态适应场景几何形状的变化。ParticleNeRF使用一种新的基于粒子的参数编码来实现这一点。我们将特征耦合到空间中的粒子，并将光度重建损失反向传播到粒子的位置梯度中，然后将其解释为速度矢量。由一个轻量级的物理系统来处理碰撞，这使得功能可以随着场景几何体的变化而自由移动。我们演示ParticleNeRF在各种动态场景中包含平移，旋转，铰接和可变形的对象。ParticleNeRF是第一个在线动态NeRF，实现了快速适应性，比暴力在线InstantNGP和其他在线约束动态场景的基线方法具有更好的视觉保真度。您可以在我们的项目网站https://sites.google.com/view/particlenerf上找到我们系统的视频。
2023-03-24 cs.CV cs.RO
PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）
神经辐射场的最新进展使得复杂场景的高保真三维重建成为可能，从而实现新颖的视图合成。然而，如何在保持照片真实感的同时有效地编辑这种表示的外观仍然有待探索。在这项工作中，我们提出了PaletteNeRF，一种新的方法，用于逼真的外观编辑的神经辐射场（NeRF）的基础上的3D颜色分解。我们的方法将每个3D点的外观分解为基于调色板的基底的线性组合（即，由一组NeRF类型函数定义的3D分割）。虽然我们的基于调色板的基础是独立于视图的，但我们还预测了一个依赖于视图的函数来捕获颜色残差（例如，镜面阴影）。在训练过程中，我们联合优化了基函数和调色板，并且我们还引入了新的正则化器来鼓励分解的空间一致性。我们的方法允许用户通过修改调色板来有效地编辑3D场景的外观。我们还扩展了我们的框架，压缩语义功能的语义感知外观编辑。我们证明，我们的技术是优于基线方法的定量和定性的外观编辑复杂的现实世界的场景。
2023-01-24 cs.CV cs.GR
LAENeRF: Local Appearance Editing for Neural Radiance Fields
Graz University of Technology（格拉茨工业大学）
针对NeRF外观与几何纠缠导致的局部编辑难、内存大、交互差等问题，提出LAENeRF统一框架，基于体素网格区域选择与射线终止点颜色映射，实现低内存快速的照片级与非照片级局部外观编辑。
2024-03-25 cs.CV
SPARF: Large-Scale Learning of 3D Sparse Radiance Fields from Few Input Images
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；University of Oxford（牛津大学）
SPARF提出大规模ShapeNet合成数据集与SuRFNet流程，利用3D稀疏卷积从少量视图生成高质量稀疏体素辐射场，在少视图新视角合成中取得最先进结果。
2023-08-21 cs.CV cs.LG
RawSLAM: Online HDR Gaussian SLAM from Linear Radiance
针对极端光照下LDR SLAM的鲁棒性问题，提出首个在线HDR高斯SLAM框架RawSLAM，直接处理16位线性图像，通过HDR高斯溅射、Reinhard光度目标和梯度加权，提升轨迹与重建精度，并引入包含10个序列的RAW数据集。
2026-09-18 cs.CV
DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Freiburg（弗莱堡大学）
针对3D视觉任务数据标注成本高的问题，提出DatasetNeRF方法，利用3D生成模型的语义先验训练解码器，仅需少量标注即可生成无限3D一致的多任务数据，性能优于基线且通用性强。
2024-08-19 cs.CV
From Implicit Ambiguity to Explicit Solidity: Diagnosing Interior Geometric Degradation in Neural Radiance Fields for Dense 3D Scene Understanding
Norwegian Institute of Bioeconomy Research (NIBIO)（挪威生物经济研究所）
本研究提出显式几何方法以解决NeRF在密集自遮挡场景中的内部几何退化问题，实现95.8%的实例恢复率。
2026-02-12 cs.CV
SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields
Inria（法国国家信息与自动化研究所）
针对单目3D重建依赖深度监督的问题，提出SceneRF自监督方法，结合NeRF、显式深度优化与概率采样策略，仅用带位姿图像序列训练，在室内外数据集上的新深度视图合成与重建效果均优于基线。
2023-08-24 cs.AI cs.CV cs.GR
Is Vanilla MLP in Neural Radiance Field Enough for Few-shot View Synthesis?
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
针对少样本视角合成中NeRF易过拟合的问题，本文从网络结构出发提出mi-MLP（将输入融入每一层），结合颜色与体密度分离建模及两个正则项，在多个基准上取得SOTA，PSNR较基线提升近10dB。
2024-03-10 cs.CV
RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color Editing of 3D Scenes
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
RecolorNeRF通过将三维场景分解为纯色层并联合优化层与NeRF，实现高效、视图一致的调色板式颜色编辑，在复杂场景中优于基线方法。
2023-09-18 cs.CV cs.GR
Dual-Camera All-in-Focus Neural Radiance Fields
Key Laboratory of Image Processing and Intelligent Control, Ministry of Education（信息处理与智能控制重点实验室）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（人工智能与自动化学院）；Nanyang Technological University (NTU)（南洋理工大学）
提出双摄像头全焦NeRF框架DC-NeRF，利用超广角深景深与主摄像头高分辨率融合，无需手动对焦即可合成高质量全焦新视角，并支持可调景深应用。
2025-04-23 cs.CV
SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields
Samsung AI Centre Toronto（多伦多三星人工智能中心）；University of Toronto（多伦多大学）；York University（约克大学）；Vector Institute for AI（向量人工智能研究所）
神经辐射场（NeRFs）已经成为新颖视图合成的流行方法。虽然NeRF正在迅速适应更广泛的应用，但直观地编辑NeRF场景仍然是一个开放的挑战。一个重要的编辑任务是从3D场景中移除不需要的对象，使得替换的区域在视觉上是合理的并且与其上下文一致。我们将此任务称为3D修复。在3D中，解决方案必须在多个视图中保持一致，并且在几何上有效。在本文中，我们提出了一种新的3D修复方法，以解决这些挑战。给定单个输入图像中的一小部分图像和稀疏注释，我们的框架首先快速获得目标对象的3D分割掩模。使用掩码，然后引入基于感知优化的方法，该方法利用学习的2D图像inpainters，将其信息提取到3D空间中，同时确保视图一致性。我们还通过引入由具有挑战性的真实世界场景组成的数据集来解决缺乏用于评估3D场景修复方法的多样化基准的问题。特别是，我们的数据集包含有和没有目标对象的相同场景的视图，从而实现3D修复任务的更有原则的基准测试。我们首先证明了我们的方法在多视图分割上的优越性，与基于NeRF的方法和2D分割方法相比。然后，我们评估3D修复的任务，建立最先进的性能对其他NeRF操作算法，以及一个强大的2D图像inpainter基线。项目页面：https://spinnerf3d.github.io
2023-03-15 cs.CV
The NeRF Signature: Codebook-Aided Watermarking for Neural Radiance Fields
Hong Kong Baptist University（香港浸会大学）；University of Campinas（坎皮纳斯大学）；Peking University（北京大学）；A*STAR（新加坡科技研究局）；City University of Hong Kong（香港城市大学）
提出NeRF签名，一种基于码本辅助嵌入和姿态-补丁加密的NeRF水印方法，在模型层面实现高不可感知性和鲁棒性，且无需微调即可嵌入新签名。
2025-02-26 cs.CV
Segmentation-Guided Neural Radiance Fields for Novel Street View Synthesis
Institute of Science Tokyo（东京科学大学）；Micware Mobility Co., Ltd.（Micware 移动有限公司）；Micware Automotive Co., Ltd.（Micware 汽车有限公司）；Micware Navigations Co., Ltd（Micware 导航有限公司）
针对大规模街景中瞬态物体、稀疏纹理和光照变化问题，本文扩展ZipNeRF并以Grounded SAM分割引导天空、地面和瞬态物体建模，结合外观嵌入提升新视图合成质量。
2025-03-18 cs.CV eess.IV
Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects
University of California Berkeley（加州大学伯克利分校）
抓取和操纵透明物体的能力是机器人面临的主要挑战。现有的深度相机难以检测、定位和推断这样的对象的几何形状。我们建议使用神经辐射场（NeRF）来检测，定位和推断透明物体的几何形状，具有足够的精度来安全地找到和抓住它们。我们利用NeRF的独立于视图的学习密度，放置灯光以增加镜面反射，并执行我们馈送到Dex-Net抓取规划器的可感知深度渲染。我们展示了如何额外的灯光创建镜面反射，提高深度图的质量，并测试了一个机器人工作单元的设置配备了一个阵列的相机来执行透明的对象操作。我们还在现实世界的设置中创建透明对象的合成和真实数据集，包括单个对象，杂乱的桌子和洗碗机的顶部机架。在每种设置中，我们都表明NeRF和Dex-Net能够可靠地计算透明物体上的鲁棒抓握，在ABB YuMi上的物理实验中，在基线方法失败的物体上实现了90%和100%的抓握成功率。
2021-10-27 cs.CV cs.RO
Active Scout: Multi-Target Tracking Using Neural Radiance Fields in Dense Urban Environments
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；Department of Electrical & Systems Engineering and General Robotics, Automation, Sensing and Perception (GRASP) Laboratory at the University of Pennsylvania（电气与系统工程系及通用机器人、自动化、传感和感知（GRASP）实验室，宾夕法尼亚大学）
本文提出利用在线构建的城市神经辐射场（NeRF）表示来计算信息增益，实现四旋翼侦察者在密集遮挡环境中对多个动态目标的主动探索与跟踪，并在模拟城市中验证其跟踪误差显著优于贪心基线。
2025-07-01 cs.CV cs.MA
Neural Radiance Maps for Extraterrestrial Navigation and Path Planning
Stanford University（斯坦福大学）
本文提出利用神经辐射场构建地图，用于自主导航中的路径规划，通过整合局部和全局信息，实现更高效的路径规划。
2026-03-18 cs.CV cs.RO
Informative Rays Selection for Few-Shot Neural Radiance Fields
University of Parma（帕尔马大学）；University of Bologna（博洛尼亚大学）；VisLab, an Ambarella Inc. company（VisLab，安霸公司旗下企业）
提出KeyNeRF，通过相机级视图选择与像素级熵采样挑选关键射线，实现少样本NeRF高效训练，性能优于现有方法且改动极小。
2023-12-29 cs.AI cs.CV cs.LG
SAC-NeRF: Adaptive Ray Sampling for Neural Radiance Fields via Soft Actor-Critic Reinforcement Learning
University of Southern California（南加州大学）
本文提出SAC-NeRF，通过强化学习框架学习自适应采样策略，减少采样点35-48%，保持渲染质量与密集采样基线相近。
2025-12-31 cs.AI cs.CV
Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance Fields
Nvidia（英伟达）；CSIRO, Data61（澳大利亚联邦科学与工业研究组织，Data61）；Amazon（亚马逊）；Queensland University of Technology（昆士兰科技大学）
针对NeRF标准训练范式假设训练图像重要性均等导致复杂几何视图渲染性能不佳的问题，提出分而治之的训练框架，按视觉相似性分组训练专用模型再经师生蒸馏聚合，在两个公开数据集上提升了基线模型渲染质量并收敛到更优最小值。
2024-01-29 cs.AI cs.CV
pixelNeRF: Neural Radiance Fields from One or Few Images
UC Berkeley（加州大学伯克利分校）
我们提出了pixelNeRF，一个学习框架，预测一个连续的神经场景表示条件的一个或几个输入图像。用于构建神经辐射场的现有方法涉及独立地优化对每个场景的表示，这需要许多校准视图和显著的计算时间。我们通过引入一种架构来解决这些缺点，该架构以完全卷积的方式在图像输入上调节NeRF。这允许网络在多个场景中进行训练以学习场景先验，使其能够以前馈方式从稀疏的视图集合（少至一个）执行新颖的视图合成。利用NeRF的体渲染方法，我们的模型可以直接从图像中训练，而无需显式的3D监督。我们在ShapeNet基准上进行了大量的实验，用于单图像新颖视图合成任务，其中包含保持对象以及整个看不见的类别。我们通过在多对象ShapeNet场景和DTU数据集的真实场景上演示pixelNeRF，进一步展示了它的灵活性。在所有情况下，pixelNeRF都优于当前最先进的基线，用于新颖的视图合成和单个图像3D重建。视频和代码请访问项目网站：https://alexyu.net/pixelnerf
2021-05-30 cs.CV cs.GR cs.LG
IL-NeRF: Incremental Learning for Neural Radiance Fields with Camera Pose Alignment
Middle Tennessee State University（中田纳西州立大学）；University of Central Florida（中佛罗里达大学）；University of Miami（迈阿密大学）
针对顺序训练NeRF时相机位姿未知且易灾难性遗忘的问题，本文提出IL-NeRF框架，通过历史位姿参考对齐新位姿并联合优化回放蒸馏，渲染质量较基线最高提升54.04%。
2023-12-10 cs.AI cs.CV
Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs
KAIST AI（韩国科学技术院人工智能学院）；POSTECH EE（浦项工科大学电子工程学院）；NAVER AI Lab（NAVER人工智能实验室）；SNU AIIS（首尔大学人工智能研究院）
本文提出一种协同整合多平面表示与基于坐标的MLP网络的方法，通过残差连接和渐进式训练方案分别捕捉高频与低频特征，有效解决了稀疏输入下NeRF训练不稳定和低效的问题，并在减少参数量的同时提升了静态和动态场景的渲染性能。
2024-06-05 cs.AI cs.CV
Learning Multi-Object Dynamics with Compositional Neural Radiance Fields
TU Berlin（柏林工业大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）
提出了一种基于隐式对象编码器、神经辐射场（NeRFs）和图神经网络从图像观测中学习组合多对象动力学模型的方法。NeRF由于其强大的3D先验，已成为表示场景的流行选择。然而，大多数NeRF方法都是在单个场景上训练的，用全局模型来表示整个场景，对包含不同数量对象的新场景进行泛化，这是一个挑战。相反，我们提出了一个组合，以对象为中心的自动编码器框架，将场景的多个视图映射到一组分别代表每个对象的潜在向量。潜在向量参数化个体NeRF，场景可以从个体NeRF重建。在此基础上，我们在潜空间中训练了一个图神经网络动力学模型，实现了动力学预测的组合性。我们的方法的一个关键特征是，通过NeRF解码器强制潜向量对3D信息进行编码，这使我们能够在学习动态模型时结合结构先验，使长期预测与几个基线相比更加稳定。模拟和真实世界的实验表明，我们的方法可以建模和学习的动态组成的场景，包括刚性和可变形的对象。视频：https://dannydriess.github.io/compnerfdyn/
2022-07-27 cs.CV cs.LG cs.RO
Deblur-NeRF: Neural Radiance Fields from Blurry Images
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；City University of Hong Kong（香港城市大学）
神经辐射场（NeRF）以其良好的合成效果在三维场景重建和新视图合成方面得到了广泛的关注。然而，在野外拍摄场景时，由于散焦或运动引起的图像模糊会严重影响重建质量。为了解决这个问题，我们提出了Deflur-NeRF，这是第一种可以从模糊输入中恢复清晰NeRF的方法。我们采用了一种分析合成的方法，通过模拟模糊过程来重建模糊的视图，从而使NeRF对模糊输入具有鲁棒性。该模拟的核心是一种新型的可变形稀疏核（DSK）模块，该模块通过在每个空间位置处变形规范稀疏核来对空间变化的模糊核进行建模。受物理模糊过程的启发，每个核点的光线原点被联合优化。该模块被参数化为MLP，该MLP具有被推广到各种模糊类型的能力。联合优化NeRF和DSK模块使我们能够恢复清晰的NeRF。我们证明了我们的方法可以用于相机运动模糊和散焦模糊：在真实场景中最常见的两种类型的模糊。对合成数据和真实数据的评估结果表明，我们的方法优于几个基线。合成数据集和真实数据集以及源代码可在https://limacv.github.io/deblurnerf/上公开获得
2022-03-27 cs.CV cs.GR
NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields
MIT（麻省理工学院）；Google（谷歌）；Nvidia（英伟达）
叉子和搅拌器等薄的反射物体在我们的日常生活中很常见，但它们对机器人感知特别具有挑战性，因为很难使用商品RGB-D相机或多视图立体视觉技术重建它们。虽然传统的管道与这些对象斗争，神经辐射场（NeRFs）最近被证明是非常有效的执行薄结构或反射材料的对象上的视图合成。在本文中，我们探讨了使用NeRF作为一个新的来源，强大的机器人视觉系统的监督。特别是，我们证明了NeRF表示的场景可以用来训练密集的对象描述符。我们使用优化的NeRF提取对象的多个视图之间的密集对应，然后使用这些对应作为训练数据，用于学习对象的视图不变表示。NeRF的密度场的使用使我们能够用一种新的深度分布公式来重新表述对应问题，而不是使用深度图的传统方法。使用我们的方法监督的密集对应模型的性能显著优于现成的学习描述符106%（PCK@3px度量，性能增加一倍以上），并且优于我们使用多视图立体视觉监督的基线29%。此外，我们证明了学习的密集描述符使机器人能够执行精确的6自由度（6-DoF）拾取和放置薄和反射物体。
2022-04-27 cs.CV cs.RO
SO-NeRF: Active View Planning for NeRF using Surrogate Objectives
New York University（纽约大学）
针对 NeRF 数据采集视角选择缺乏明确准则的问题，提出 SOAR 可解释代理目标及 SOARNet 快速评分网络，在数秒内主动规划视角并取得约 80 倍加速和更优或相当的重建质量。
2023-12-06 cs.CV
NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning
Sun Yat-sen University（中山大学）；University of Oxford（牛津大学）
本文提出即插即用的 NeRF-VPT，通过级联视角提示调优将前序渲染 RGB 作为视觉先验，提升新视角合成质量、PSNR 及稀疏输入适应性。
2024-03-02 cs.CV
Renderable Neural Radiance Map for Visual Navigation
Seoul National University（首尔国立大学）
本文提出可渲染神经辐射地图RNR-Map，以网格潜在代码编码三维环境视觉信息，并构建定位与导航框架，在相机跟踪、视觉定位及噪声下图像目标导航中展现鲁棒性和性能提升。
2023-04-20 cs.CV cs.RO
NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance Fields
Stanford University（斯坦福大学）；Chinese University of Hong Kong（香港中文大学）；UC Berkeley（加州大学伯克利分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Baidu Inc.（百度公司）；Baidu Research（百度研究院）
本文提出基于Transformer的NeRF-Loc框架，通过粗细双分支编码与注意力融合，从预训练NeRF中检测带标签的朝向3D边界框，效果优于传统RGB(-D)基线。
2023-07-15 cs.CV cs.RO
$Δ$-NeRF: Incremental Refinement of Neural Radiance Fields through Residual Control and Knowledge Transfer
Δ-NeRF通过残差控制和知识迁移实现NeRF的增量细化，减少训练时间并提升性能。
2025-11-25 cs.CV cs.LG
UP-NeRF: Unconstrained Pose-Prior-Free Neural Radiance Fields
Korea University（高丽大学）
针对现有无姿态先验NeRF方法难以处理带光照变化和瞬时遮挡的无约束图像的问题，提出UP-NeRF，通过颜色不敏感特征场代理任务、瞬时遮挡处理模块、候选头及瞬态感知深度监督实现鲁棒优化，在Phototourism数据集上性能优于BARF等基线。
2023-11-08 cs.CV cs.LG
Learning Neural Light Fields with Ray-Space Embedding Networks
Carnegie Mellon University（卡内基梅隆大学）；Meta；Reality Labs Research（现实实验室研究部门）
神经辐射场（NeRF）产生最先进的视图合成结果。但是，它们的渲染速度很慢，需要对每个像素进行数百次网络评估才能近似体渲染积分。将NeRF烘焙为显式数据结构可以实现高效渲染，但会导致内存占用大幅增加，并且在许多情况下会降低质量。在本文中，我们提出了一种新的神经光场表示，相比之下，是紧凑的，直接预测沿光线的综合辐射。我们的方法支持小基线光场数据集的每个像素单个网络评估的渲染，也可以应用于每个像素只有几个评估的较大基线。我们方法的核心是一个光线空间嵌入网络，它将4D光线空间流形映射到一个中间的、可插值的潜在空间。我们的方法在密集的前向数据集（如斯坦福光场数据集）上达到了最先进的质量。此外，对于具有稀疏输入的前向场景，我们实现了在质量方面与基于NeRF的方法竞争的结果，同时提供了更好的速度/质量/内存权衡，网络评估少得多。
2022-05-10 cs.CV
