Instance Neural Radiance Field
The Hong Kong University of Science and Technology（香港科技大学）；Carnegie Mellon University（卡内基梅隆大学）；Dartmouth College（达特茅斯学院）
本文提出 Instance NeRF，一种基于学习的 NeRF 三维实例分割方法，利用三维提议掩码网络和二维全景分割监督，实现新视图一致分割及任意三维点实例查询，性能超越现有方法。
2023-09-04 cs.CV
AG-NeRF: Attention-guided Neural Radiance Fields for Multi-height Large-scale Outdoor Scene Rendering
South China University of Technology（华南理工大学）
AG-NeRF提出一种注意力引导的端到端框架，通过源图像选择与特征融合解决多高度户外场景渲染，半小时训练即达SOTA性能。
2024-04-18 cs.CV
OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields
Nanyang Technological University（南洋理工大学）
本文提出OR-NeRF，利用单视图点或文本提示，结合3D几何传播、SAM分割、2D修复及深度与感知监督，高效实现一致的3D场景物体移除。
2023-09-29 cs.CV
InNeRF360: Text-Guided 3D-Consistent Object Inpainting on 360-degree Neural Radiance Fields
School of Computer and Communication Sciences, EPFL（EPFL计算机与通信科学学院）
提出InNeRF360系统，通过深度空间变换和3D扩散几何先验，解决360度神经辐射场中无界场景文本指定对象的移除与无伪影3D一致性修复问题，显著增强了NeRF的可编辑性。
2024-03-26 cs.CV
Reference-guided Controllable Inpainting of Neural Radiance Fields
Samsung AI Centre Toronto（三星人工智能中心多伦多分部）；University of Toronto（多伦多大学）；York University（约克大学）；Vector Institute for AI（Vector人工智能研究所）
本文提出仅用单张参考修复图像和视图掩码实现可控、多视图一致的 NeRF 修复，结合单目深度反投影、双边求解器及图像修复器引导几何与外观，性能优于现有基线。
2023-04-20 cs.CV
SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields
Samsung AI Centre Toronto（多伦多三星人工智能中心）；University of Toronto（多伦多大学）；York University（约克大学）；Vector Institute for AI（向量人工智能研究所）
神经辐射场（NeRFs）已经成为新颖视图合成的流行方法。虽然NeRF正在迅速适应更广泛的应用，但直观地编辑NeRF场景仍然是一个开放的挑战。一个重要的编辑任务是从3D场景中移除不需要的对象，使得替换的区域在视觉上是合理的并且与其上下文一致。我们将此任务称为3D修复。在3D中，解决方案必须在多个视图中保持一致，并且在几何上有效。在本文中，我们提出了一种新的3D修复方法，以解决这些挑战。给定单个输入图像中的一小部分图像和稀疏注释，我们的框架首先快速获得目标对象的3D分割掩模。使用掩码，然后引入基于感知优化的方法，该方法利用学习的2D图像inpainters，将其信息提取到3D空间中，同时确保视图一致性。我们还通过引入由具有挑战性的真实世界场景组成的数据集来解决缺乏用于评估3D场景修复方法的多样化基准的问题。特别是，我们的数据集包含有和没有目标对象的相同场景的视图，从而实现3D修复任务的更有原则的基准测试。我们首先证明了我们的方法在多视图分割上的优越性，与基于NeRF的方法和2D分割方法相比。然后，我们评估3D修复的任务，建立最先进的性能对其他NeRF操作算法，以及一个强大的2D图像inpainter基线。项目页面：https://spinnerf3d.github.io
2023-03-15 cs.CV
ResNeRF: Geometry-Guided Residual Neural Radiance Field for Indoor Scene Novel View Synthesis
ResNeRF提出几何引导的两阶段框架，先基于SDF重建场景几何，再学习残差密度编码外观细节，从而在大规模室内场景中实现高保真新视角合成并达到最先进性能。
2023-07-11 cs.CV
Global-guided Focal Neural Radiance Field for Large-scale Scene Rendering
AMAP；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
针对现有大规模NeRF分块独立训练导致的场景一致性差、渲染质量提升有限的问题，提出采用两阶段架构与全局引导训练策略的GF-NeRF，在不依赖场景先验的前提下实现大规模场景高保真渲染。
2024-09-13 cs.CV
DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Freiburg（弗莱堡大学）
针对3D视觉任务数据标注成本高的问题，提出DatasetNeRF方法，利用3D生成模型的语义先验训练解码器，仅需少量标注即可生成无限3D一致的多任务数据，性能优于基线且通用性强。
2024-08-19 cs.CV
GSN: Generalisable Segmentation in Neural Radiance Field
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
针对传统辐射场需逐场景训练的问题，提出GSN方法，将语义特征蒸馏进泛化神经辐射场，实现新场景即时渲染与多视图分割，性能媲美传统RF。
2024-02-07 cs.CV cs.GR
HG3-NeRF: Hierarchical Geometric, Semantic, and Photometric Guided Neural Radiance Fields for Sparse View Inputs
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院）
针对稀疏视图下NeRF性能退化问题，本文提出HG3-NeRF，通过分层几何引导融合SfM稀疏深度先验，并以分层语义引导学习由粗到细语义，实现跨视图几何、语义与外观一致性提升。
2024-01-22 cs.CV
Semantically-aware Neural Radiance Fields for Visual Scene Understanding: A Comprehensive Review
Huawei Paris Research Center（华为巴黎研究中心）；Centrale Lille（里尔中央理工学院）；University of Lille（里尔大学）；The University of Western Australia（西澳大学）
本综述分析了超250篇论文，全面探讨了语义感知神经辐射场在视觉场景理解中的作用，及其在3D表示推断、视点生成、场景补全分割和物体识别等任务中的多样化应用与发展。
2024-02-17 cs.CV
MU-GeNeRF: Multi-view Uncertainty-guided Generalizable Neural Radiance Fields for Distractor-aware Scene
School of Computer Science and Technology, Tongji University, Shanghai, China（同济大学计算机科学与技术学院，上海，中国）；MOE Key Lab of Embedded System and Service Computing, Tongji University, Shanghai, China（同济大学嵌入式系统与服务计算MOE重点实验室，上海，中国）；College of Surveying and Geographic Informatics, Tongji University, Shanghai, China（同济大学测绘地理信息学院，上海，中国）
本文提出MU-GeNeRF，通过多视角不确定性组件提升神经辐射场在存在瞬时干扰时的鲁棒性，实验表明其在场景重建中优于现有方法。
2026-04-20 cs.CV
Depth-Guided Bundle Sampling for Efficient Generalizable Neural Radiance Field Reconstruction
Key Laboratory of Media Audio and Video (Communication University of China), Ministry of Education（媒体音频与视频重点实验室（中国传媒大学），教育部）；School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
针对可泛化神经辐射场渲染计算量大、采样冗余的问题，提出深度引导的束采样策略，通过分组采样和自适应分配采样点，在DTU数据集上实现1.27 dB PSNR提升和47% FPS增加，并达到2倍渲染加速。
2025-05-26 cs.CV
Segmentation-Guided Neural Radiance Fields for Novel Street View Synthesis
Institute of Science Tokyo（东京科学大学）；Micware Mobility Co., Ltd.（Micware 移动有限公司）；Micware Automotive Co., Ltd.（Micware 汽车有限公司）；Micware Navigations Co., Ltd（Micware 导航有限公司）
针对大规模街景中瞬态物体、稀疏纹理和光照变化问题，本文扩展ZipNeRF并以Grounded SAM分割引导天空、地面和瞬态物体建模，结合外观嵌入提升新视图合成质量。
2025-03-18 cs.CV eess.IV
ID-NeRF: Indirect Diffusion-guided Neural Radiance Fields for Generalizable View Synthesis
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
针对可泛化NeRF因错误重投影特征导致次优结果的问题，提出ID-NeRF框架，利用预训练扩散先验通过间接注入策略引导特征细化，实现高质量稀疏输入下的新视图合成。
2024-05-19 cs.CV
PeRFception: Perception using Radiance Fields
POSTECH（浦项科技大学）；NVIDIA（英伟达）；Caltech（加州理工学院）
隐式3D表示的最新进展，即，神经辐射场（NeRFs）使得以可区分的方式进行精确且照片级逼真的3D重建成为可能。这种新的表示方法可以有效地传达数百个高分辨率图像的信息，在一个紧凑的格式，并允许逼真的合成新的意见。在这项工作中，使用NeRF的变体Plenoxels，我们创建了第一个用于感知任务的大规模隐式表示数据集，称为PeRFception，它由两个部分组成，包括以对象为中心和以场景为中心的扫描，用于分类和分割。它显示了一个显着的内存压缩率（96.4%）从原始数据集，同时包含在一个统一的形式的2D和3D信息。我们构建的分类和分割模型，直接作为输入这种隐式格式，还提出了一种新的增强技术，以避免过度拟合的背景图像。代码和数据可在https://postech-cvlab.github.io/PeRFception上公开获取。
2022-08-24 cs.CV
Grid-guided Neural Radiance Fields for Large Urban Scenes
Zhejiang University（浙江大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Adobe Research（奥多比研究中心）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
基于PPEMLP的神经辐射场（NeRF方法）由于模型容量有限，在大规模场景中经常会出现模糊渲染的欠拟合问题。最近的方法建议在地理上划分场景，并采用多个子NeRF单独对每个区域进行建模，从而导致训练成本和子NeRF数量随着场景的扩展而线性增加。另一种解决方案是使用特征网格表示，其计算效率高，并且可以自然地扩展到具有增加的网格分辨率的大场景。然而，特征网格往往受到较少的约束，并且经常达到次优的解决方案，在渲染中产生噪声伪影，特别是在具有复杂几何形状和纹理的区域中。在这项工作中，我们提出了一个新的框架，实现了高保真渲染的大型城市场景，同时计算效率。我们建议使用一个紧凑的多分辨率地面特征平面表示来粗略地捕捉场景，并通过另一个NeRF分支的位置编码输入来补充它，以联合学习的方式进行渲染。我们表明，这样的集成可以利用两种替代解决方案的优点：一个轻量级的NeRF是足够的，在特征网格表示的指导下，渲染具有精细细节的逼真的新视图;和联合优化的地面特征平面，同时可以获得进一步的细化，形成一个更准确和紧凑的特征空间，并输出更自然的渲染结果。
2023-03-24 cs.CV
RGB-D Neural Radiance Fields: Local Sampling for Faster Training
I3S-CNRS/Université Cote d’Azur（I3S-法国国家科学研究中心/蔚蓝海岸大学）
几十年来，学习场景的3D表示一直是计算机视觉中具有挑战性的问题。利用神经辐射场（NeRF）从图像中隐式神经表示的最新进展已经显示出有希望的结果。以前基于NeRF的方法的一些局限性包括较长的训练时间和不准确的底层几何结构。所提出的方法利用RGB-D数据，通过利用深度感测来改善局部采样，从而减少训练时间。本文提出了一种深度引导的局部采样策略和一个较小的神经网络架构，以实现更快的训练时间，而不影响质量。
2022-11-07 cs.CV
AegisRF: Adversarial Perturbations Guided with Sensitivity for Protecting Intellectual Property of Neural Radiance Fields
School of Computing, Korea Advanced Institute of Science and Technology (KAIST)（计算学院，韩国科学技术院（KAIST））
针对神经辐射场（NeRF）知识产权保护难题，提出AegisRF框架，通过可学习灵敏度场自适应约束几何扰动，在保证渲染质量的同时注入对抗扰动，可有效破坏多类下游未授权应用。
2025-10-22 cs.CV
Uncertainty Guided Policy for Active Robotic 3D Reconstruction using Neural Radiance Fields
Oracle Labs（甲骨文实验室）；ETH Zürich（苏黎世联邦理工学院）；Huawei（华为）
在本文中，我们解决的问题，主动机器人三维重建的对象。特别是，我们研究了如何移动机器人与手臂举行的摄像头可以选择一个有利的意见，以恢复对象的三维形状有效。与此问题的现有解决方案相反，我们利用流行的基于神经辐射场的对象表示，其最近在各种计算机视觉任务中显示出令人印象深刻的结果。然而，使用这种表示直接推理对象的显式3D几何细节并不简单，这使得密集3D重建的下一个最佳视图选择问题具有挑战性。本文介绍了一种基于射线的体积不确定性估计器，它计算沿着对象的隐式神经表示的每条射线的颜色样本的权重分布的熵。我们表明，它是可能的，以推断潜在的3D几何形状的不确定性，给出了一个新的观点与建议的估计。然后，我们提出了一个下一个最佳视图选择策略指导下的射线为基础的体积不确定性神经辐射场为基础的表示。令人鼓舞的实验结果的合成和真实世界的数据表明，本文提出的方法可以使一个新的研究方向，使用隐式的3D对象表示的下一个最佳视图的问题，在机器人视觉应用，区分我们的方法从现有的方法，依赖于显式的3D几何建模。
2022-09-17 cs.CV cs.RO
Bilateral Guided Radiance Field Processing
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出利用双边网格在3D空间中建模相机ISP处理，通过解耦训练阶段增强并学习低秩4D双边网格实现用户可调的三维后期处理，以去除NeRF重建中的漂浮物并提升新视角合成质量。
2024-08-06 cs.CV cs.GR
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
University College London（伦敦大学学院）；Alan Turing Institute（阿兰·图灵研究所）；Reality Labs Research, Meta（元现实实验室研究部门）
该研究提出文本引导的3D场景编辑模型ReplaceAnything3D（RAM3D），采用“擦除-替换”方法，可基于文本提示替换场景中特定物体，同时保持多视图3D一致性，在多种真实场景中实现了前景物体与场景的良好融合。
2024-01-31 cs.AI cs.CV cs.GR
P2GS: Physical Prior-guided Gaussian Splatting for Photometrically Consistent Urban Reconstruction
Chubu University（名古屋大学）；Turing Inc.（图灵公司）
本文提出P2GS，一种基于物理先验的高斯点云法，用于解决自动驾驶中由于异质相机管道和动态户外照明导致的光度不一致问题，通过联合分解视图不变的线性HDR光场、每视图曝光尺度和色调映射函数，提升光度一致性与光照一致性。
2026-05-16 cs.CV
Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance Fields
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
由于点云表示的稀疏性，从点云合成照片级真实感图像是具有挑战性的。最近提出的神经辐射场和扩展用于从2D输入合成逼真的图像。在本文中，我们提出了Point2Pix作为一种新的点渲染器连接的3D稀疏点云与2D密集的图像像素。利用点云3D先验和NeRF渲染管道，我们的方法可以从彩色点云合成高质量的图像，通常用于新颖的室内场景。为了提高射线采样的效率，我们提出了点引导采样，它侧重于有效样本。此外，我们提出了点编码来构建多尺度辐射场，提供有区别的3D点特征。最后，我们提出了融合编码，以有效地合成高质量的图像。在ScanNet和ArkitScenes数据集上的大量实验证明了该方法的有效性和推广性。
2023-03-29 cs.CV
Domain Adaptation of SAM 2.1 for Building-Component Segmentation in Image-Based 3D Reconstruction
LSU（路易斯安那州立大学）
本研究对SAM 2.1在含42栋建筑2679张图像的HBD数据集上微调，使其用于GARField的建筑构件三维分割，mIoU从49.9%升至69.6%，提升了建筑结构的三维自动重建效果。
2026-10-12 cs.CV
Animatable Neural Radiance Fields from Monocular RGB Videos
我们提出了动画神经辐射场（动画NeRF）的详细的人类化身创建从单眼视频。我们的方法通过在学习场景表示网络的同时引入显式的姿势引导变形，将神经辐射场（NeRF）扩展到具有人体运动的动态场景。特别是，我们估计每个帧的人的姿势，并学习一个恒定的规范空间的详细的人的模板，这使得自然的形状变形从观察空间的规范空间下的姿势参数的显式控制。为了补偿不准确的姿态估计，我们引入了姿态细化策略，在学习过程中更新初始姿态，这不仅有助于学习更准确的人体重建，而且还加速了收敛。在实验中，我们表明，所提出的方法实现1）隐式人体几何和外观重建与高质量的细节，2）照片真实感渲染的人从新的观点，和3）动画的人与新的姿态。
2021-09-07 cs.CV
NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes
University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经体积表示已经表明，多层感知机（MLP）可以通过多视图校准图像进行优化，以表示场景几何形状和外观，而无需显式3D监督。基于学习的辐射场，对象分割可以丰富许多下游应用。然而，引入手工制作的分割来定义复杂的真实世界场景中的感兴趣区域是不平凡的和昂贵的，因为它需要每个视图注释。针对复杂的真实场景，利用NeRF进行了自监督学习的目标分割探索。我们的框架，称为NeRF与自监督对象分割NeRF-SOS，耦合对象分割和神经辐射场分割对象在场景内的任何视图。通过在外观和几何级别提出一种新的协作对比损失，NeRF-SOS鼓励NeRF模型从其密度场和自监督预训练的2D视觉特征中提取紧凑的几何感知分割集群。自监督对象分割框架可以应用于各种NeRF模型，这些模型可以为室内和室外场景提供照片般逼真的渲染结果和令人信服的分割图。LLFF、Tank & Temple和BlendedMVS数据集上的大量结果验证了NeRF-SOS的有效性。它始终优于其他基于2D的自监督基线，并预测比现有监督同行更精细的语义掩码。请参阅我们项目页面上的视频了解更多详情：https://zhiwenfan.github.io/NeRF-SOS。
2022-10-12 cs.CV
NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields
DeepMind（深度思维）
我们提出了一个系统，应用sim2real的方法，以“在野外”的场景与逼真的视觉效果，并依赖于主动感知使用RGB相机的政策。给定一个短视频的静态场景收集使用一个通用的手机，我们学习场景的接触几何和新的视图合成使用神经辐射场（NeRF）的功能。我们通过覆盖其他动态对象（例如机器人自己的身体，球）的渲染来增强静态场景的NeRF渲染。然后使用物理模拟器中的渲染引擎创建模拟，该物理模拟器根据静态场景几何形状（根据NeRF体积密度估计）和动态对象的几何形状和物理属性（假设已知）计算接触动态。我们证明，我们可以使用这个模拟来学习基于视觉的全身导航和球推政策的20自由度人形机器人与驱动头戴式RGB摄像头，我们成功地将这些政策，以一个真正的机器人。项目视频可在https://sites.google.com/view/nerf2real/home上获得
2022-10-10 cs.AI cs.CV cs.LG
FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category Modelling
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们研究了使用神经辐射场（NeRF）从输入图像集合中学习高质量的3D对象类别模型。与以前的工作相比，我们能够做到这一点，同时分离前景物体从他们的不同背景。我们通过一个2分量NeRF模型，FiG-NeRF，更喜欢解释的场景作为一个几何不变的背景和一个可变形的前景，代表的对象类别。我们表明，这种方法可以学习准确的3D对象类别模型，只使用光度监督和偶然捕获的图像的对象。此外，我们的2部分分解允许模型执行准确和清晰的非模态分割。我们定量评估我们的方法与视图合成和图像保真度指标，使用合成，实验室捕获，并在野外的数据。我们的研究结果表明，令人信服的3D对象类别建模，超过现有方法的性能。
2021-04-17 cs.CV
InvNeRF-Seg: Fine-Tuning a Pre-Trained NeRF for 3D Object Segmentation
Research Institute, Chinese Academy of Agricultural Sciences（中国农业科学院科研院所）
本文提出 InvNeRFSeg，通过在 RGB 图像上预训练 NeRF 后用二维分割掩码进行零改动微调，在不改变模型架构和损失函数的情况下，实现高质量三维物体分割，并在合成水果和真实大豆数据集上优于 SA3D 和 FruitNeRF。
2025-04-08 cs.CV
UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields
Universidad Industrial de Santander（圣安德烈大学）；KAUST（王国立人工智能科技大学）
提出UnMix-NeRF，将光谱解混集成到NeRF中，联合实现高光谱新视角合成与无监督材料分割，通过漫反射和镜面反射建模光谱反射率，学习全局端元字典表示纯材料特征，并支持基于材料的场景编辑，实验证明优于现有方法。
2025-08-06 cs.AI cs.CV cs.LG
SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields
University of Utah（犹他大学）；Meta
神经辐射场（NeRF）对由场景的全光函数参数化的场景中的辐射进行编码。这是通过将MLP与映射到高维空间一起使用来实现的，并且已被证明可以捕获具有高细节水平的场景。自然，相同的参数化可以用于编码场景的其他属性，而不仅仅是它的辐射。在这方面，一个特别有趣的属性是场景的语义分解。我们介绍了一种新的技术，语义软分解的神经辐射场（命名为SSDNeRF），共同编码语义信号结合辐射信号的场景。我们的方法提供了一个软分解的场景到语义部分，使我们能够正确地编码多个语义类混合沿同一方向-现有的方法是不可能的壮举。这不仅导致一个详细的，3D语义表示的场景，但我们也表明，用于编码的MLP的正则化效果有助于提高语义表示。我们在常见对象的数据集上展示了最先进的分割和重建结果，并演示了所提出的方法如何应用于高质量的时间一致的视频编辑和重新合成随意捕获的自拍视频数据集。
2022-12-07 cs.CV
EGGS: Edge Guided Gaussian Splatting for Radiance Fields
Shenzhen University（深圳大学）
针对高斯泼溅方法忽略图像边缘信息的问题，提出边缘引导高斯泼溅（EGGS）方法，通过在损失函数中为边缘区域赋予更高权重，在不增加计算成本的情况下，显著提升了多种场景下的渲染质量。
2024-04-22 cs.AI cs.CV cs.GR
CropNeRF: A Neural Radiance Field-Based Framework for Crop Counting
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
CropNeRF通过3D实例分割实现精确作物计数，结合神经辐射场与可见性评分，无需参数调优，验证于多个农业数据集，表现优于现有方法。
2026-01-01 cs.CV cs.RO
AtomGS: Atomizing Gaussian Splatting for High-Fidelity Radiance Field
University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
提出 AtomGS 框架，通过 Atomized Proliferation 将高斯约束为统一尺寸并引入 Edge-Aware Normal Loss 优化几何，解决了 3DGS 几何噪声和模糊伪影问题，提升了渲染质量与训练速度。
2024-11-09 cs.CV
Removing Objects From Neural Radiance Fields
Niantic（Niantic公司）；ETH Zurich（苏黎世联邦理工学院）；University College London（伦敦大学学院）
神经辐射场（NeRFs）作为一种无处不在的场景表示而出现，其允许新颖的视图合成。NeRF将越来越多地与其他人共享。然而，在共享NeRF之前，可能需要删除个人信息或难看的对象。这样的删除在当前的NeRF编辑框架中并不容易实现。我们提出了一个框架，以删除对象从RGB-D序列创建的NeRF表示。我们的NeRF修复方法利用了最近在2D图像修补方面的工作，并由用户提供的掩码进行指导。我们的算法是基于信心的视图选择过程的基础上。它选择在创建NeRF时使用哪个单独的2D修复图像，以便得到的修复NeRF是3D一致的。我们表明，我们的NeRF编辑方法是有效的合成合理的inpaintings在多视图连贯的方式。我们使用一个新的和仍然具有挑战性的数据集来验证我们的方法，用于NeRF修复任务。
2022-12-22 cs.CV
Point'n Move: Interactive Scene Object Manipulation on Gaussian Splatting Radiance Fields
Bournemouth University（伯恩茅斯大学）
Point'n Move利用高斯泼溅辐射场的显式表示，通过双阶段自提示分割和实时修复实现直观、高质量的交互式场景物体操控与移除。
2025-07-19 cs.CV
GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images
Dalian University of Technology（大连理工大学）；ZMO AI Inc.（ZMO人工智能公司）
在这项工作中，我们专注于合成高保真的新的视图图像为任意人类表演者，给定一组稀疏的多视图图像。这是一个具有挑战性的任务，由于关节的身体姿势和严重的自闭塞之间的大变化。为了缓解这一问题，我们引入了一个有效的可推广的框架广义模型为基础的神经辐射场（GM-NeRF）来合成自由视点图像。具体来说，我们提出了一个几何引导的注意力机制注册的外观代码从多视图的2D图像的几何代理，可以减轻不准确的几何先验和像素空间之间的错位。在此基础上，我们进一步进行神经渲染和部分梯度反向传播，以实现有效的感知监督和提高合成的感知质量。为了评估我们的方法，我们在合成数据集THuman2.0和Multi-garment以及真实世界数据集Genebody和ZJUMocap上进行了实验。结果表明，我们的方法优于国家的最先进的方法，在新的视图合成和几何重建。
2023-03-24 cs.CV
GSNeRF: Generalizable Semantic Neural Radiance Fields with Enhanced 3D Scene Understanding
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通讯工程研究所）；NVIDIA, Taiwan（英伟达（台湾））
针对NeRF难以同时生成新视角图像与语义图且泛化性不足的问题，提出包含语义几何推理与深度引导渲染两阶段的GSNeRF，在未见过场景的相关任务上性能优于现有方法。
2024-03-06 cs.AI cs.CV cs.LG
Reducing Shape-Radiance Ambiguity in Radiance Fields with a Closed-Form Color Estimation Method
University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）
针对NeRF的形状-辐射模糊性问题，提出一种基于密度场闭式估计颜色场的方法，以光度损失引导正则化，更自适应地提升密度场质量。
2023-12-20 cs.CV
CLA-NeRF: Category-Level Articulated Neural Radiance Field
National Tsing Hua University（台湾清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Appier Inc.（沛星互动科技股份有限公司）
我们提出了CLA-NeRF--一个类别级的关节式神经辐射场，可以执行视图合成，部分分割和关节式姿态估计。CLA-NeRF在对象类别级别进行训练，不使用CAD模型，也不使用深度，而是使用一组具有地面真实相机姿势和零件段的RGB图像。在推断期间，它只需要几个RGB视图（即，Few-Shot）来推断对象部分分割和神经辐射场。给定一个关节姿态作为输入，CLA-NeRF可以执行关节感知体渲染，以生成任何相机姿态下的相应RGB图像。此外，可以通过逆渲染来估计对象的关节姿态。在我们的实验中，我们评估了五个类别的合成和真实世界的数据框架。在所有情况下，我们的方法都显示了逼真的变形结果和准确的关节姿态估计。我们相信，这两个Few-Shot铰接对象渲染和铰接姿态估计打开大门，机器人感知和互动看不见的铰接对象。
2022-03-04 cs.CG cs.CV cs.RO
SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene Reconstruction by Neural Radiance Field (NeRF)
Vanderbilt University（范德堡大学）
本文提出SAMSNeRF，结合SAM与NeRF，利用SAM生成手术工具分割掩码引导NeRF重建动态手术场景，在公开内窥镜视频上实现高保真重建和准确3D位置预测，提升手术导航与自动化。
2024-02-06 cs.CV
2D-Guided 3D Gaussian Segmentation
University of Science and Technology of China（中国科学技术大学）；AI Thrust, HKUST(GZ)（香港科技大学（广州）人工智能学域）
本文提出一种以2D分割图为监督的3D高斯分割方法，通过引导语义学习并采用最近邻聚类和统计滤波细化，实现多对象高效分割，性能与单对象方法相当。
2023-12-26 cs.CV
GNeRP: Gaussian-guided Neural Reconstruction of Reflective Objects with Noisy Polarization Priors
AI Thrust, HKUST(GZ)（香港科技大学（广州）AI方向）；HKUST（香港科技大学）；Sun Yat-sen University（中山大学）；SmartMore（思谋科技）
针对反射场景中神经辐射场重建几何精度不足的问题，提出基于高斯法线表示和偏振先验监督的SDF方法，并引入重加权策略抑制噪声，在PANDORA数据集上大幅超越现有方法。
2024-03-18 cs.CV
Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
全面的三维场景理解，几何和语义，是重要的现实世界的应用，如机器人感知。大部分现有的工作都集中在开发数据驱动的判别模型的场景理解。本文从合成模型的角度出发，结合隐式三维表示和神经渲染的最新进展，提出了一种新的场景理解方法。在神经辐射场（NeRFs）的巨大成功的基础上，我们引入了具有NeRF的场景属性合成（SS-NeRF），其不仅能够从新颖的视角渲染照片级逼真的RGB图像，而且还能够渲染各种精确的场景属性（例如，外观、几何形状和语义）。通过这样做，我们促进解决各种场景理解任务下的统一框架，包括语义分割，表面法线估计，重绘，关键点检测和边缘检测。我们的SS-NeRF框架可以是一个强大的工具，用于桥接生成学习和判别学习，从而有利于调查的一系列有趣的问题，如研究任务关系的综合范式，转移知识到新的任务，促进下游的判别任务作为数据增强的方式，并作为自动标注数据创建。
2022-06-09 cs.CV
Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Google（谷歌）；The Chinese University of Hong Kong（香港中文大学）
隐式神经渲染技术在新的视图合成中显示出了很好的效果。然而，现有的方法通常将整个场景作为一个整体进行编码，这通常不知道对象的身份，并限制了移动或添加家具等高级编辑任务的能力。在本文中，我们提出了一种新的神经场景渲染系统，学习对象组成的神经辐射场，并产生具有编辑能力的集群和真实世界的场景逼真的渲染。具体来说，我们设计了一种新的双通道架构，其中场景分支编码场景的几何形状和外观，对象分支编码每个独立的对象条件下学习对象激活码。为了在严重混乱的场景中生存训练，我们提出了一种场景引导的训练策略来解决遮挡区域中的3D空间模糊性，并为每个对象学习清晰的边界。大量的实验表明，我们的系统不仅达到了竞争力的性能，静态场景的新视图合成，但也产生逼真的渲染对象级编辑。
2021-09-04 cs.CV
MM-NeRF: Multimodal-Guided 3D Multi-Style Transfer of Neural Radiance Field
University of Science and Technology Beijing（北京科技大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；University of Sydney（悉尼大学）
针对三维风格迁移中纹理细节模糊和多模态引导难题，提出MM-NeRF，通过统一多模态特征、多头学习与多视图一致性损失，实现高质量三维多风格化，并支持低成本增量学习新风格。
2025-01-24 cs.AI cs.CV
CarPatch: A Synthetic Benchmark for Radiance Field Evaluation on Vehicle Components
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Prometeia（Prometeia公司）
针对NeRF在车辆检测场景中因数据不足、反射等导致重建精度低的问题，研究提出合成车辆基准CarPatch，含多视角标注图像、深度图与分割掩码，定义全局及部件级指标评估前沿技术，已公开供后续研究使用。
2023-07-24 cs.CV
Hierarchical Image-Guided 3D Point Cloud Segmentation in Industrial Scenes via Multi-View Bayesian Fusion
本文提出一种分层图像引导的3D点云分割框架，通过多视角贝叶斯融合解决工业场景中的遮挡和语义不一致问题，提升分割精度与鲁棒性。
2025-12-07 cs.CV
Nerflets: Local Radiance Fields for Efficient Structure-Aware 3D Scene Representation from 2D Supervision
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们解决了有效的和结构感知的3D场景表示从图像。Nerflets是我们的主要贡献--一组局部神经辐射场，它们共同代表一个场景。每个nerflet都保持自己的空间位置，方向和范围，在此范围内，它有助于全景，密度和辐射重建。通过仅利用光度和推断的全景图像监督，我们可以直接并联合优化一组nerflets的参数，以便形成场景的分解表示，其中每个对象实例由一组nerflets表示。在室内和室外环境的实验中，我们发现nerflets：（1）比传统的全局NeRF更有效地拟合和近似场景，（2）允许从任意视图中提取全景和光度渲染，（3）实现NeRF罕见的任务，如3D全景分割和交互式编辑。
2023-03-10 cs.CV cs.GR
NeRF-Art: Text-Driven Neural Radiance Fields Stylization
City University of Hong Kong（香港城市大学）；The Hong Kong Polytechnic University（香港理工大学）；Snap Inc.（Snap公司）；Netflix（奈飞）；Microsoft Cloud AI（微软云人工智能部门）
神经辐射场（NeRF）作为一种强有力的三维场景表示方法，能够从多视点图像中合成高质量的新视点。然而，风格化NeRF仍然具有挑战性，特别是在模拟同时改变外观和几何形状的文本引导风格时。在本文中，我们提出了NeRF-Art，这是一种文本引导的NeRF风格化方法，它可以通过简单的文本提示操作预训练的NeRF模型的风格。与以前的方法，要么缺乏足够的几何变形和纹理细节，或需要网格来指导风格化，我们的方法可以将3D场景的目标风格，其特征在于所需的几何形状和外观变化，没有任何网格的指导。这是通过引入一种新的全局-局部对比学习策略，结合方向约束，同时控制目标风格的轨迹和强度来实现的。此外，我们采用了一种权重正则化方法，有效地抑制了在几何风格化过程中密度场变换时容易出现的云状伪影和几何噪声。通过对各种风格的大量实验，我们证明了我们的方法是有效的和强大的单视图风格化质量和跨视图的一致性。代码和更多结果可以在我们的项目页面中找到：https://cassiepython.github.io/nerfart/。
2022-12-15 cs.CV cs.GR
NeuralLabeling: A versatile toolset for labeling vision datasets using Neural Radiance Fields
Tohoku University（东北大学）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）
本文提出NeuralLabeling工具集，利用神经辐射场标注3D场景并生成多种标注，通过深度补全提升机器人抓取透明物体准确率至83.3%。
2024-07-22 cs.CV cs.RO
PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）
神经辐射场的最新进展使得复杂场景的高保真三维重建成为可能，从而实现新颖的视图合成。然而，如何在保持照片真实感的同时有效地编辑这种表示的外观仍然有待探索。在这项工作中，我们提出了PaletteNeRF，一种新的方法，用于逼真的外观编辑的神经辐射场（NeRF）的基础上的3D颜色分解。我们的方法将每个3D点的外观分解为基于调色板的基底的线性组合（即，由一组NeRF类型函数定义的3D分割）。虽然我们的基于调色板的基础是独立于视图的，但我们还预测了一个依赖于视图的函数来捕获颜色残差（例如，镜面阴影）。在训练过程中，我们联合优化了基函数和调色板，并且我们还引入了新的正则化器来鼓励分解的空间一致性。我们的方法允许用户通过修改调色板来有效地编辑3D场景的外观。我们还扩展了我们的框架，压缩语义功能的语义感知外观编辑。我们证明，我们的技术是优于基线方法的定量和定性的外观编辑复杂的现实世界的场景。
2023-01-24 cs.CV cs.GR
