OX-NeRF: 3D X-ray Tomography Reconstruction from Sparse Views Using Implicit Neural Representation
University of Oxford（牛津大学）
针对10个及以下视图的超稀疏X射线场景3D重建难题，提出OX-NeRF框架，结合跨场景特征学习与场景特定优化，经基准测试其重建精度显著优于现有辐射场方法。
2026-10-09 cs.CV
SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation
National University of Singapore（新加坡国立大学）；CtrsVision
针对稀疏视角下NeRF因输入不足产生伪影的问题，提出基于师生框架的半监督方法SSNeRF，通过稀疏视角特定增强和高置信度伪标签学习提升模型鲁棒性，实验验证其能生成退化更少的新视图。
2024-08-17 cs.CV
VRS-NeRF: Visual Relocalization with Sparse Neural Radiance Field
University of Cambridge（剑桥大学）；Toyota Motor Europe（丰田汽车欧洲公司）
针对现有视觉重定位方法精度与效率难以兼顾的问题，提出基于稀疏神经辐射场的VRS-NeRF框架，结合显式几何地图与隐式学习地图，在保证接近分层方法精度的同时大幅提升效率、减小地图体积。
2024-04-14 cs.CV cs.RO
SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions
Indian Institute of Science（印度科学学院）
针对NeRF在稀疏视角下性能下降的问题，提出SimpleNeRF，通过设计增强模型学习更简单的深度解进行监督，并引入粗细粒度一致性损失，在两个数据集上实现了最先进的视图合成。
2023-09-14 cs.CV cs.GR
Event-based Camera Tracker by $\nabla$t NeRF
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA，通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
HG3-NeRF: Hierarchical Geometric, Semantic, and Photometric Guided Neural Radiance Fields for Sparse View Inputs
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院）
针对稀疏视图下NeRF性能退化问题，本文提出HG3-NeRF，通过分层几何引导融合SfM稀疏深度先验，并以分层语义引导学习由粗到细语义，实现跨视图几何、语义与外观一致性提升。
2024-01-22 cs.CV
EG-HumanNeRF: Efficient Generalizable Human NeRF Utilizing Human Prior for Sparse View
University of Tsukuba（筑波大学）
提出EG-HumanNeRF框架，通过两阶段采样减少策略、遮挡感知注意力机制和SRDF损失，在稀疏视角下实现高质量且实时的人类渲染。
2024-10-16 cs.CV cs.GR
NeRF-CA: Dynamic Reconstruction of X-ray Coronary Angiography with Extremely Sparse-views
Department of Mathematics & Computer Science, Eindhoven University of Technology（数学与计算机科学系，埃因霍温理工大学）；Philips Healthcare（飞利普医疗）；Department of Electrical Engineering, Eindhoven University of Technology（电子工程系，埃因霍温理工大学）；ASML（ASML公司）
本文提出NeRF-CA，通过解耦运动冠状动脉与静态背景，仅用四张稀疏造影图像实现全自动4D冠状动脉重建，并显著优于现有稀疏视角X线NeRF。
2025-06-11 cs.CV eess.IV
UC-NeRF: Uncertainty-aware Conditional Neural Radiance Fields from Endoscopic Sparse Views
CUHK T Stone Robotics Institute（香港中文大学T Stone机器人研究所）；The Chinese University of Hong Kong（香港中文大学）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）；Tencent AI Lab（腾讯AI实验室）；Hong Kong Center for Logistics Robotics（香港物流机器人中心）
针对内窥镜稀疏视图下的形状-辐射度歧义问题，提出不确定性感知条件NeRF，通过多视图不确定性估计和几何蒸馏，在SCARED和Hamlyn数据集上超越现有方法。
2024-11-09 cs.AI cs.CV
NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields
Technical University of Munich（慕尼黑工业大学）；University of Toronto（多伦多大学）；California Institute of Technology（加州理工学院）
NeRF-VO将稀疏视觉里程计与神经辐射场结合，实现低延迟相机跟踪和高质量稠密重建，在多种数据集上超越SOTA方法，同时提高跟踪频率并降低GPU内存消耗。
2024-07-16 cs.CV
Enhancing Neural Radiance Fields with Depth and Normal Completion Priors from Sparse Views
Special Robot Center, Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院特殊机器人中心）
针对稀疏视角下NeRF渲染精度不足的问题，提出CP_NeRF框架，通过深度与法向量稠密补全先验、光心嵌入及法向量块匹配等技术，在有限输入视角的室内场景渲染中优于主流方法。
2024-07-08 cs.CV
Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction
The Hong Kong University of Science and Technology（香港科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Dartmouth College（达特茅斯学院）
针对NeRF/3DGS稀疏视角重建易产生伪影的问题，提出Deceptive-NeRF/3DGS方法，通过带不确定性引导的欺骗性扩散模型生成高质量伪观测并逐步加入训练，将观测密度提升5-10倍，在少视角设置下实现了优于现有SOTA的超分辨率新视角合成效果。
2024-07-15 cs.CV
Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
Shanghai Jiao Tong University（上海交通大学）
针对稀疏视图 NeRF 中深度图噪声与重建耗时问题，提出深度引导的点云融合及向量-矩阵分解体素网格方法，提升准确性、紧凑性和速度。
2024-03-04 cs.CV
Where and How: Mitigating Confusion in Neural Radiance Fields from Sparse Inputs
Nanjing University（南京大学）；Microsoft Corporation（微软公司）
本文针对稀疏输入神经辐射场中的渲染混淆问题，提出 WaH-NeRF 框架，通过可变形采样、互信息损失及半监督学习策略分别解决“何处采样”与“如何预测”两大挑战，提升稀疏视角下的新视图合成质量。
2023-08-05 cs.CV
PAg-NeRF: Towards fast and efficient end-to-end panoptic 3D representations for agricultural robotics
Institute of Agriculture, Agriculture Robotics & engineering（农业机器人与工程农业研究所）；Institute of Photogrametry of the University of Bonn（波恩大学摄影测量研究所）
提出PAg-NeRF系统，利用噪声机器人位姿和帧间ID不一致的全景预测实现3D全景场景理解，在园艺场景中相比基线提升PSNR与全景质量，且推理更快、参数更少。
2023-09-11 cs.CV cs.LG cs.RO
PaletteNeRF: Palette-based Color Editing for NeRFs
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）
神经辐射场（NeRF）是一个强大的工具，可以忠实地为只有稀疏捕获图像的场景生成新视图。尽管它具有很强的表现3D场景及其外观的能力，但它的编辑能力非常有限。在本文中，我们提出了一个简单但有效的扩展香草NeRF，命名为PaletteNeRF，使高效的色彩编辑NeRF表示的场景。受最近基于调色板的图像分解工作的启发，我们将每个像素的颜色近似为由附加权重调制的调色板颜色的总和。我们的方法不是像香草NeRF那样预测像素颜色，而是预测加性权重。底层NeRF主干也可以被更新的NeRF模型（如KiloNeRF）取代，以实现实时编辑。实验结果表明，我们的方法实现了高效的，视图一致的，和无伪影的颜色编辑在广泛的NeRF代表的场景。
2022-12-25 cs.CV cs.GR
MOSE: Monocular Semantic Reconstruction Using NeRF-Lifted Noisy Priors
National University of Defense Technology（国防科技大学）
本文提出神经场语义重建方法 MOSE，利用类别无关分割掩码引导并提升含噪单目先验至 3D 空间，结合无纹理区域平滑正则化实现几何与语义互惠，在 ScanNet 的多项分割与重建任务上全面超越基线。
2024-09-21 cs.AI cs.CV cs.RO
Deblur-NeRF: Neural Radiance Fields from Blurry Images
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；City University of Hong Kong（香港城市大学）
神经辐射场（NeRF）以其良好的合成效果在三维场景重建和新视图合成方面得到了广泛的关注。然而，在野外拍摄场景时，由于散焦或运动引起的图像模糊会严重影响重建质量。为了解决这个问题，我们提出了Deflur-NeRF，这是第一种可以从模糊输入中恢复清晰NeRF的方法。我们采用了一种分析合成的方法，通过模拟模糊过程来重建模糊的视图，从而使NeRF对模糊输入具有鲁棒性。该模拟的核心是一种新型的可变形稀疏核（DSK）模块，该模块通过在每个空间位置处变形规范稀疏核来对空间变化的模糊核进行建模。受物理模糊过程的启发，每个核点的光线原点被联合优化。该模块被参数化为MLP，该MLP具有被推广到各种模糊类型的能力。联合优化NeRF和DSK模块使我们能够恢复清晰的NeRF。我们证明了我们的方法可以用于相机运动模糊和散焦模糊：在真实场景中最常见的两种类型的模糊。对合成数据和真实数据的评估结果表明，我们的方法优于几个基线。合成数据集和真实数据集以及源代码可在https://limacv.github.io/deblurnerf/上公开获得
2022-03-27 cs.CV cs.GR
MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from Sparse Images
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The University of Hong Kong（香港大学）；Huawei Technologies（华为技术有限公司）
针对稀疏图像合成逼真3D人脸化身时难以生成细节且对未见表情泛化差的问题，提出MA-NeRF框架，利用3DMM模型并结合结构化位移特征与语义感知学习，重建高保真可驱动化身，在未见表情上表现优异，超越现有最先进方法。
2023-06-24 cs.CV
Baking Neural Radiance Fields for Real-Time View Synthesis
Google Research（谷歌研究院）
诸如神经辐射场（NeRF）的神经体积表示已经成为用于学习从图像表示3D场景的引人注目的技术，其目标是从未观察到的视点渲染场景的照片级真实感图像。然而，NeRF的计算要求对于实时的【形】应用是禁止的：从经过训练的NeRF渲染视图需要查询多层感知器（MLP）数百次。我们提出了一种方法来训练NeRF，然后将其预计算和存储（即“烘焙”）为一种称为稀疏神经辐射网格（SNeRG）的新表示，该表示可以在商品硬件上实时的【形】渲染。为了实现这一点，我们引入了1）NeRF架构的重新表述，以及2）具有学习特征向量的稀疏体素网格表示。生成的场景表示保留了NeRF渲染精细几何细节和视图相关外观的能力，紧凑（每个场景平均不到90 MB），并且可以实时的【形】渲染（在笔记本电脑GPU上每秒超过30帧）。实际屏幕截图显示在我们的视频。
2021-03-26 cs.CV cs.GR
RePose-NeRF: Robust Radiance Fields for Mesh Reconstruction under Noisy Camera Poses
Bellatrix Aerospace（贝尔拉克斯航空航天）
针对现实场景中相机位姿嘈杂导致现有NeRF方法实用性受限的问题，提出RePose-NeRF鲁棒框架，联合优化位姿与隐式场景表示，直接重建高质量可编辑3D网格，在标准基准上实现准确鲁棒重建，弥合神经隐式表示与机器人应用的差距。
2025-11-11 cs.CV
SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis
Nanyang Technological University（南洋理工大学）
本文提出 SparseNeRF 框架，通过局部深度排序与空间连续性约束利用非精确真实深度先验，提升少样本 NeRF 新视角合成性能。
2023-08-13 cs.CV
Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry from Sparse Low Dynamic Range Panoramic Images
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Peking University（北京大学）
本文提出 Pano-NeRF 中的辐照度场方法，通过将全景图像像素同时视为光照信号与光源，解决稀疏 LDR 全景输入下 NeRF 几何约束不足和无法重建 HDR 的问题，在几何恢复与 HDR 重建上均优于现有方法。
2024-02-23 cs.CV eess.IV
StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints
BNRist（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）
神经辐射场（NeRF）实现了具有密集捕获的输入图像的照片级真实感视图合成。然而，NeRF的几何形状是非常受约束的稀疏视图，导致新的视图合成质量显着下降。受自监督深度估计方法的启发，我们提出了StructNeRF，这是一种针对具有稀疏输入的室内场景的新颖视图合成的解决方案。StructNeRF利用自然嵌入在多视图输入中的结构提示来处理NeRF中的无约束几何问题。具体来说，它处理的纹理和非纹理区域分别：基于补丁的多视图一致的光度损失，提出了约束的纹理区域的几何形状，对于非纹理的，我们明确地限制它们是3D一致的平面。通过密集的自监督深度约束，我们的方法提高了NeRF的几何和视图合成性能，而无需对外部数据进行任何额外的训练。在几个真实世界的数据集上进行的大量实验表明，StructNeRF在定量和定性上都超过了室内场景稀疏输入的最先进方法。
2022-09-12 cs.CV cs.GR
ZeroRF: Fast Sparse View 360° Reconstruction with Zero Pretraining
UC San Diego（加州大学圣地亚哥分校）
针对稀疏视角下NeRF 360°重建效果差、现有方法存在数据依赖等局限，提出ZeroRF，将定制深度图像先验融入因子化NeRF表示，无需预训练即可实现高效重建，在基准数据集上取得SOTA结果，可应用于3D内容生成与编辑。
2023-12-14 cs.CV cs.GR
Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis
Technical University Munich（慕尼黑工业大学）；VisualAIs（视觉人工智能公司）；Google（谷歌公司）
提出Re-Nerfing附加方法，通过已训练NVS模型渲染新视角扩充数据优化第二模型，在稀疏视角设置下显著提升NeRF和Gaussian-Splatting流程的合成质量。
2024-08-28 cs.CV cs.GR cs.LG
SplatSDF: Boosting SDF-NeRF via Architecture-Level Fusion with Gaussian Splats
Dept. of Electrical and Computer Engineering, University of California, San Diego (UCSD), La Jolla, CA, USA（电子与计算机工程系，加州大学圣迭戈分校（UCSD））
SplatSDF通过架构级融合3DGS提升SDF-NeRF收敛速度和精度
2026-02-26 cs.CV cs.GR cs.RO
X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views
Shanghai Jiao Tong University（上海交通大学）
神经辐射场（NeRFs）尽管在新颖视图合成上具有出色的性能，但通常需要密集的输入视图。许多文献对每个场景分别训练一个模型，很少有人探讨如何将多模态数据融合到这个问题中。在本文中，我们关注一个很少讨论但很重要的设置：我们能否训练一个模型，它可以表示多个场景，360 $^\circ $视图和RGB-D图像不足？我们将不充分的视图引用到极少数非常稀疏且几乎不重叠的视图。为了解决这个问题，提出了一种完全显式的方法X-NeRF，该方法学习一般的场景完成过程，而不是基于坐标的映射。给定一些不足的RGB-D输入视图，X-NeRF首先将其转换为稀疏点云张量，然后应用3D稀疏生成卷积神经网络（CNN）将其完成显式辐射场，其体积渲染可以快速进行，而无需在推理期间运行网络。为了避免过拟合，除了常见的渲染损失，我们应用感知损失以及通过点云上的随机旋转视图增强。所提出的方法显着优于以前的隐式方法在我们的设置，表明所提出的问题和方法的巨大潜力。代码和数据可在https://github.com/HaoyiZhu/XNeRF上获得。
2022-10-11 cs.CV
Structure-Aware Sparse-View X-ray 3D Reconstruction
Johns Hopkins University（约翰斯·霍普金斯大学）
针对现有NeRF忽略X射线内部结构特性的问题，提出SAX-NeRF框架，通过设计Lineformer主干和MLG射线采样策略，在稀疏视图X射线3D重建和新视角合成任务上取得显著性能提升。
2024-03-23 cs.CV eess.IV
NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
虽然NeRF在神经重建和渲染方面取得了巨大的成功，但其有限的MLP容量和较长的每个场景优化时间使得对大规模室内场景建模具有挑战性。相比之下，经典的3D重建方法可以处理大规模的场景，但不产生逼真的渲染。我们提出了NeRFusion，一种结合了NeRF和TSDF融合技术的优点的方法，以实现高效的大规模重建和照片级真实感渲染。我们处理输入图像序列，通过直接网络推理预测每帧局部辐射场。然后使用一种新型的递归神经网络将这些融合，该网络以22 fps的速度实时增量重建全局稀疏场景表示。这个全局体积可以进一步微调，以提高渲染质量。我们证明了NeRFusion在大规模室内和小规模物体场景上都达到了最先进的质量，并且比NeRF和其他最近的方法重建速度更快。
2022-03-21 cs.CV cs.GR
ID-NeRF: Indirect Diffusion-guided Neural Radiance Fields for Generalizable View Synthesis
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
针对可泛化NeRF因错误重投影特征导致次优结果的问题，提出ID-NeRF框架，利用预训练扩散先验通过间接注入策略引导特征细化，实现高质量稀疏输入下的新视图合成。
2024-05-19 cs.CV
SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates
Stanford University（斯坦福大学）；Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
神经辐射场（NeRF）已经使得能够从多个2D输入视图进行高保真度3D重建。然而，NeRF的一个众所周知的缺点是在少量视图下的不太理想的性能，这是由于体积渲染所施加的约束不足。为了解决这个问题，我们介绍了SCADE，一种新的技术，提高NeRF重建质量的稀疏，不受约束的输入视图在野外室内场景。为了约束NeRF重建，我们利用几何先验的形式，每视图的深度估计产生的最先进的单眼深度估计模型，它可以概括跨场景。一个关键挑战是单目深度估计是一个不适定问题，具有固有的模糊性。为了解决这个问题，我们提出了一种新的方法，学习预测，为每个视图，一个连续的，多模态分布的深度估计使用条件隐式最大似然估计（cIMLE）。为了消除利用多个视图的歧义，我们引入了一个原始的空间雕刻损失，引导NeRF表示融合来自每个视图的多个假设的深度图，并从它们中提取出与所有视图一致的公共几何形状。实验表明，我们的方法可以更高的保真度新的视图合成稀疏视图。我们的项目页面可以在https://scade-spacecarving-nerfs.github.io上找到。
2023-03-23 cs.CV
Joint Rigid Motion Correction and Sparse-View CT via Self-Calibrating Neural Field
ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）
神经辐射场（NeRF）作为一种自监督深度学习框架，在稀疏视图计算机断层扫描（SVCT）重建任务中受到广泛关注。基于NeRF的SVCT方法将期望的CT图像表示为空间坐标的连续函数，并且训练多层感知器（MLP）通过最小化SV正弦图上的损失来学习函数。利用NeRF提供的连续表示，可以重建出高质量的CT图像。然而，现有的基于NeRF的SVCT方法严格假设在CT采集期间完全没有相对运动，因为它们需要\textit{accurate}投影姿态来对扫描SV正弦图的X射线进行建模。因此，这些方法对于具有运动的真实SVCT成像遭受严重的性能下降。在这项工作中，我们提出了一个自校准的神经场恢复伪影的图像从刚性运动损坏的SV正弦图，而不使用任何外部数据。具体来说，我们参数化的不准确的投影造成的刚性运动作为可训练的变量，然后联合优化这些姿态变量和MLP。我们在一个公共的CT图像数据集上进行数值实验。结果表明，我们的模型显着优于两个代表性的NeRF为基础的方法SVCT重建任务与四个不同级别的刚性运动。
2022-11-06 cs.CV eess.IV
VM-NeRF: Tackling Sparsity in NeRF with View Morphing
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Trento（特伦托大学）
针对稀疏视角下 NeRF 易过拟合的问题，本文提出 VM-NeRF，将基于投影几何的 View Morphing 紧密集成到训练中以生成几何一致的过渡视图，在四视角和八视角设置下分别带来最高 1.0dB 和 1.8dB 的 PSNR 提升。
2023-08-16 cs.CV cs.GR
Data Augmentation for NeRFs in the Low Data Limit
Northwestern University（西北大学）
针对NeRF在低数据量下失效的问题，提出基于体积不确定性与空间覆盖率的后验分布拒绝采样数据增强方法，显著提升了稀疏环境下的场景重建一致性与性能。
2025-03-03 cs.CV cs.RO
Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering
Sea AI Lab（Sea人工智能实验室）；University of Washington（华盛顿大学）；National University of Singapore（新加坡国立大学）
在这项工作中，我们开发了一个通用的和有效的神经辐射场（NeRF）管道高保真自由视点人体合成稀疏相机视图的设置下。现有的基于NeRF的方法虽然可以合成相当逼真的人体细节，但当输入具有自遮挡时，特别是对于稀疏视图下看不见的人，它们往往会产生较差的结果。此外，这些方法往往需要大量的采样点进行渲染，这导致效率低，限制了它们的实际应用。为了应对这些挑战，我们提出了一个几何引导的渐进NeRF（GP-NeRF）。特别是，为了更好地解决自遮挡，我们设计了一种几何引导的多视图特征集成方法，利用估计的几何之前，从输入视图中整合不完整的信息，并构建一个完整的几何体的目标人体。同时，为了提高绘制效率，引入了基于几何引导的渐进式绘制流水线，利用几何特征量和预测密度值，逐步减少采样点数，加快绘制速度。在ZJU-MoCap和THUman数据集上的实验表明，我们的方法在多个泛化设置上的性能明显优于现有技术，而通过应用我们高效的渐进式渲染管道，时间成本降低了70%以上。
2022-03-30 cs.CV cs.GR cs.LG
Dense Depth Priors for Neural Radiance Fields from Sparse Input Views
Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）
神经辐射场（NeRF）将场景编码为神经表示，其使得能够对新颖视图进行照片级真实感渲染。然而，从RGB图像的成功重建需要在静态条件下拍摄大量的输入视图-对于房间大小的场景，通常多达几百个图像。我们的方法旨在从数量级较少的图像中合成整个房间的新视图。为此，我们利用密集的深度先验来约束NeRF优化。首先，我们利用稀疏的深度数据，这是免费提供的运动恢复结构（SfM）的预处理步骤，用于估计相机姿态。其次，我们使用深度补全将这些稀疏点转换为密集的深度图和不确定性估计，用于指导NeRF优化。我们的方法可以在具有挑战性的室内场景中实现数据高效的新颖视图合成，整个场景使用的图像少至18张。
2022-04-07 cs.CV
Evaluating geometric accuracy of NeRF reconstructions compared to SLAM method
UC Santa Cruz（加州大学圣克鲁兹分校）；Electrical and Computer Engineering（电气与计算机工程学院）
本文评估了基于iPhone和机器人数据的两种NeRF重建在测量垂直PVC圆柱体直径时的几何精度，并与最先进的lidar-inertial SLAM在场景噪声和度量精度上进行了对比。
2024-07-25 cs.CV cs.RO
Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction
Stanford University（斯坦福大学）
研究稀疏视图神经重建的单目深度监督，用Depth Anything V2作密集单目深度先验，经尺度变换拟合对齐预测，通过仅RGB基线模型生成的光度掩码选择性应用深度监督，在不同场景评估，结果表明应选择性适度加权应用。
2026-09-01 cs.CV cs.GR
H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion
Google Research（谷歌研究院）
我们提出了神经辐射场的渲染和时间（4D）重建的人在运动中（H-NeRF），由一组稀疏的相机，甚至从单目视频捕获。我们的方法结合了神经场景表示，新颖的视图合成和隐式统计几何人类表示的想法，再加上使用新的损失函数。而不是学习一个辐射场均匀占用先验，我们约束它的结构化隐式人体模型，使用符号距离函数表示。这使我们能够鲁棒地融合来自稀疏视图的信息，并在训练中观察到的姿势或视图之外进行推广。此外，我们应用几何约束来共同学习观察对象的结构-包括身体和衣服-并将辐射场正则化为几何上合理的解决方案。在多个数据集上进行的大量实验证明了我们的方法的鲁棒性和准确性，其泛化能力显著超出了姿势和视图的小训练集，以及超出观察到的形状的统计外推。
2021-11-02 cs.CV
Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction
Tongji University（同济大学）；Apple（苹果公司）；ETH Zürich（苏黎世联邦理工学院）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；University of Pennsylvania（宾夕法尼亚大学）
针对3D感知图像合成任务通用模型构建难题，提出统一框架SSDNeRF，通过单阶段端到端训练联合优化NeRF自解码器与潜在扩散模型，可同时实现3D重建与先验学习，在多类任务上性能比肩或优于专用方法。
2023-08-25 cs.CV
DaRF: Boosting Radiance Fields from Sparse Inputs with Monocular Depth Adaptation
Korea University（高丽大学）
DaRF通过在线互补训练将单目深度估计的几何先验注入NeRF，并以逐块尺度-位移拟合和几何蒸馏解决深度歧义，实现稀疏输入下稳健的室内外场景重建。
2023-09-25 cs.CV
Nerfels: Renderable Neural Codes for Improved Camera Pose Estimation
Monash University（莫纳什大学）；École des Ponts（巴黎桥路学院）；Facebook Reality Labs（脸书现实实验室）；Facebook AI Research（脸书人工智能研究院）
本文提出了一个框架，结合传统的基于关键点的相机姿态优化与可逆的神经渲染机制。我们提出的3D场景表示，Nerfels，是局部密集，但全球稀疏。相对于现有的可逆神经渲染系统过拟合模型的整个场景，我们采用了一个功能驱动的方法表示场景不可知的，本地3D补丁与渲染代码。通过仅对检测到局部特征的场景进行建模，我们的框架通过神经渲染器中的可优化代码调节机制有效地推广到场景中看不见的局部区域，同时保持稀疏3D地图表示的低内存占用。我们的模型可以结合到现有的最先进的手工制作和学习的本地特征姿态估计器，在ScanNet上评估宽相机基线场景时，可以提高性能。
2022-06-04 cs.CV
NeRF synthesis with shading guidance
University of Science and Technology of China（中国科学技术大学）
本文提出NeRF合成任务，利用两阶段方法和边界约束，通过阴影引导控制光照，实现大规模、几何外观一致且无伪影的新场景合成，适用于复杂光照和曲面场景。
2023-06-20 cs.CV cs.GR
Regularization of NeRFs using differential geometry
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Centre Borelli（博雷利中心）
神经辐射场，或NeRF，代表了新的视图合成和从多视图图像集合的复杂场景的3D建模领域的突破。许多最近的工作已经表明了通过正则化使NeRF模型更加鲁棒的重要性，以便用可能不一致和/或非常稀疏的数据进行训练。在这项工作中，我们探索微分几何如何为鲁棒训练NeRF类模型提供优雅的正则化工具，这些模型经过修改以表示连续和无限可微函数。特别是，我们提出了一个通用的框架，用于正则化不同类型的NeRFs观测，以提高在具有挑战性的条件下的性能。我们还展示了如何同样的形式主义也可以用来自然地鼓励通过高斯或平均曲率曲面的规律性。
2022-11-30 cs.CV
Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations
HKUST（香港科技大学）
虽然神经辐射场（NeRFs）已经取得了前所未有的新颖的视图合成结果，但是它们一直在努力处理具有稀疏输入视图和高度视图依赖外观的大规模杂乱场景。具体而言，现有的基于NeRF的模型往往会产生模糊的渲染，体积重建往往不准确，其中观察到大量的重建错误，其形式是在不透明的3D场景的整个体积内盘旋的雾状“漂浮物”。这种不准确性阻碍了NeRF用于精确3D NeRF配准、目标检测、分割等的潜力，这可能仅说明了迄今为止直接解决这些重要的3D基本计算机视觉问题的有限的重要研究工作。本文分析了NeRF在这种情况下的斗争，并提出了Clean-NeRF精确的三维重建和复杂场景中的新视图渲染。我们的关键见解包括强制执行有效的外观和几何约束，这在传统的NeRF重建中是不存在的，通过1）自动检测和建模训练视图中的视图相关外观，以防止它们干扰密度估计，这与2）在推理过程中对每个跟踪射线执行的几何校正过程是完整的。Clean-NeRF可以实现为插件，可以立即使现有的基于NeRF的方法受益，而无需额外的输入。代码将被释放。
2023-03-26 cs.CV
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations
Ford Motor Company（福特汽车公司）；University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
提出CLONeR方法，通过解耦占用与颜色学习为独立MLP并构建可微3D占用网格图，改进了NeRF在稀疏视角大型室外驾驶场景下的新视角合成与稠密深度预测性能。
2023-04-04 cs.CV
Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
我们使用神经辐射场（NeRFs）来构建交互式3D环境，这些环境主要来自无人机收集的跨越建筑物甚至多个城市街区的大规模视觉捕获。与单一对象场景相比，（传统上评估NeRF的基础），我们的规模带来了多个挑战，包括（1）需要对具有不同光照条件的数千个图像进行建模，每个图像仅捕获场景的一小部分，（2）过大的模型容量使得在单个GPU上进行训练不可行，以及（3）实现交互式飞行模拟的快速渲染的重大挑战。为了解决这些挑战，我们首先分析大规模场景的可见性统计数据，激励稀疏网络结构，其中参数专门用于场景的不同区域。我们介绍了一个简单的几何聚类算法的数据并行，分区训练图像（或像素）到不同的NeRF子模块，可以并行训练。我们在现有数据集（Quad 6 k和UrbanScene 3D）以及我们自己的无人机镜头上评估了我们的方法，将训练速度提高了3倍，PSNR提高了12%。我们还评估了最近的NeRF快速渲染器上的Mega-NeRF，并介绍了一种新的方法，利用时间的连贯性。我们的技术实现了40倍的加速比传统的NeRF渲染，同时保持在0.8分贝的PSNR质量，超过现有的快速渲染器的保真度。
2022-03-28 cs.CV cs.GR cs.LG
Ev-NeRF: Event Based Neural Radiance Field
Seoul National University（首尔国立大学）
我们提出了Ev-NeRF，一个来自事件数据的神经辐射场。虽然事件摄像机可以测量高帧速率下的细微亮度变化，但低光照或极端运动下的测量会受到复杂噪声的显著域差异的影响。因此，基于事件的视觉任务的性能不会转移到具有挑战性的环境中，在这种环境中，事件摄像机预计会比普通摄像机更出色。我们发现，NeRF的多视图一致性提供了一个强大的自我监督信号，用于消除虚假的测量和提取一致的底层结构，尽管高噪声输入。Ev-NeRF的输入不是原始NeRF的姿势图像，而是伴随着传感器移动的事件测量。使用反映传感器测量模型的损失函数，Ev-NeRF创建了一个集成的神经卷，可以汇总约2-4秒捕获的非结构化和稀疏数据点。生成的神经体积还可以从具有合理深度估计的新颖视图中生成强度图像，这可以作为各种基于视觉的任务的高质量输入。我们的研究结果表明，Ev-NeRF在极端噪声条件下和高动态范围成像的强度图像重建方面具有竞争力的性能。
2023-03-05 cs.CV
NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing Diverse Intrinsic and Extrinsic Camera Parameters
Friedrich-Alexander Universität (FAU) Erlangen-Nürnberg（弗里德里希-亚历山大大学（FAU）埃尔朗根-纽伦堡）；University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
提出NeRFtrinsic Four，一种端到端可训练的NeRF方法，利用高斯傅里叶特征估计外参并通过投影误差监督动态预测内参，在LLFF和BLEFF数据集上优于现有方法，并引入了新数据集iFF。
2023-10-26 cs.CV
NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning
Sun Yat-sen University（中山大学）；University of Oxford（牛津大学）
本文提出即插即用的 NeRF-VPT，通过级联视角提示调优将前序渲染 RGB 作为视觉先验，提升新视角合成质量、PSNR 及稀疏输入适应性。
2024-03-02 cs.CV
GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and Specular Objects Using Generalizable NeRF
Peking University（北京大学）；National University of Defense Technology（国防科技大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
在这项工作中，我们解决了透明和镜面反射物体的6自由度抓取检测，这是基于视觉的机器人系统中一个重要但具有挑战性的问题，因为深度相机无法感知它们的几何形状。我们首次提出了一种基于多视图RGB的6自由度抓取检测网络GraspNeRF，该网络利用可推广的神经辐射场（NeRF）来实现在杂波中的材料不可知的物体抓取。与现有的基于NeRF的3-DoF抓取检测方法相比，这些方法依赖于密集捕获的输入图像和耗时的每个场景优化，我们的系统可以使用稀疏RGB输入执行zero-shot NeRF构建，并可靠地检测6-DoF抓取，两者都是实时的。该框架以端到端的方式联合学习可推广的NeRF和抓取检测，优化了抓取的场景表示构建。对于训练数据，我们生成了一个大规模的逼真的领域随机化的合成数据集，在混乱的桌面场景，使直接转移到现实世界中的抓。我们在合成和真实世界环境中的广泛实验表明，我们的方法在所有实验中的性能都显着优于所有基线，同时保持实时性。项目页面可以在https://pku-epic.github.io/GraspNeRF上找到
2023-03-15 cs.CV cs.RO
S-NeRF: Neural Radiance Fields for Street Views
Fudan University（复旦大学）；University of Oxford（牛津大学）
神经辐射场（NeRFs）旨在合成对象和场景的新视图，给定具有大重叠的以对象为中心的相机视图。然而，我们共轭，这种范式不适合许多自动驾驶汽车从大规模无界场景中收集的街景的性质。此外，机载摄像头感知场景时不会有太多重叠。因此，现有的NeRF通常会在街景合成中产生模糊、“漂浮物”和其他伪影。在本文中，我们提出了一个新的街景NeRF（S-NeRF），认为新的视图合成的大规模的背景场景和前景移动车辆联合。具体来说，我们改进了场景参数化功能和相机姿势，以便从街景中学习更好的神经表示。我们还使用噪声和稀疏的LiDAR点来增强训练，并学习基于置信度的鲁棒几何和重投影来解决深度异常值。此外，我们扩展了我们的S-NeRF重建移动车辆，这是不切实际的传统NeRF。对大规模驾驶数据集（例如，nuScenes和Waymo）证明，我们的方法通过减少街景合成中的均方误差的7%至40%和移动车辆渲染的PSNR增益的45%，击败了最先进的竞争对手。
2023-03-01 cs.CV
From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm
SmartMore Corporation, Ltd.（思谋科技有限公司）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）深圳大数据研究院）；South China University of Technology（华南理工大学）
针对 NeRF 新视角合成存在渲染伪影的问题，提出通用的 NeRF 无关修复范式 NeRFLiX 及升级版 NeRFLiX++，通过退化建模、视角间聚合等实现高质量修复，性能与效率均显著提升。
2023-12-13 cs.CV
