3D-CLFusion: Fast Text-to-3D Rendering with Contrastive Latent Diffusion
Carnegie Mellon University（卡内基梅隆大学）；Meta
针对现有文本到3D方法耗时长、分辨率低的问题，提出3D-CLFusion方法，通过带对比学习的潜在扩散先验网络生成视角不变潜在码，结合预训练NeRF实现快速高分辨率3D生成，速度比DreamFusion快100倍，可作为即插即用工具。
2023-12-20 cs.CV
LC-NeRF: Local Controllable Face Generation in Neural Randiance Field
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于神经辐射场（NeRF）的发展，三维人脸生成已经实现了高视觉质量和三维一致性。近年来，针对NeRF表示的三维面的生成和编辑，提出了一些方法，并在几何和纹理解耦方面取得了良好的效果。这些生成模型的潜在代码会影响整个面部，因此对这些代码的修改会导致整个面部发生变化。但是，用户通常在编辑面时编辑局部区域，并且不希望其他区域受到影响。由于潜在代码的变化会影响全局生成结果，因此这些方法不允许对局部面部区域进行细粒度控制。为了提高基于NeRF的人脸编辑的局部可控性，我们提出了LC-NeRF，它由一个局部区域生成器模块和一个空间感知融合模块组成，允许局部面部区域的局部几何和纹理控制。定性和定量的评估表明，我们的方法提供了更好的本地编辑比国家的最先进的人脸编辑方法。我们的方法在下游任务中也表现良好，例如文本驱动的面部图像编辑。
2023-02-19 cs.CV
NeRF-MIR: Towards High-Quality Restoration of Masked Images with Neural Radiance Fields
Shanghai Key Lab of Intelligent Information Processing（上海智能信息处理重点实验室）；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
NeRF-MIR通过PERE和PIRE机制提升遮挡图像恢复质量，采用动态加权损失函数和多视角信息融合，实现更精确的3D场景重建。
2026-01-24 cs.AI cs.CV
Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields
LG Electronics（LG电子）；Seoul National University（首尔国立大学）
提出Blending-NeRF模型，通过预训练NeRF与可编辑NeRF结合CLIP实现文本驱动的3D对象局部编辑，支持添加、修改和移除操作。
2023-09-11 cs.AI cs.CV cs.GR
NeRF-Texture: Synthesizing Neural Radiance Field Textures
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；VAST；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
针对真实世界含3D介观结构纹理难以用2D方法建模的问题，提出NeRF-Texture方法，通过解耦介观结构与基础形状、潜在特征块匹配及聚类约束，实现平面和曲面的高质量NeRF纹理合成。
2024-12-13 cs.CV cs.GR
CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout
HKUST(GZ)（香港科技大学（广州））；OPPO（OPPO公司）；HKUST（香港科技大学）
提出CompoNeRF框架，通过集成可编辑3D场景布局与双层文本引导机制，解决多物体场景生成中的引导崩溃问题，实现高保真、可编辑重组的多物体3D场景生成。
2024-09-24 cs.CV
DReg-NeRF: Deep Registration for Neural Radiance Fields
National University of Singapore（新加坡国立大学）
本文提出 DReg-NeRF，通过占据网格特征与自注意力、交叉注意力 transformer 实现无人工干预的多 NeRF 配准，并以表面场监督解耦对应关系，在 Objaverse 数据集上显著优于点云配准方法。
2023-08-18 cs.CV
Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances
Fraunhofer Heinrich Hertz Institute, HHI（弗劳恩霍夫海因里希赫兹研究所（HHI））；Humboldt University of Berlin（柏林洪堡大学）；Johannes Kepler University Linz（约翰开普勒林茨大学）
本文提出一个基于NeRF的框架，通过将辐射场围绕SMPL网格扭曲并结合骨骼关节参数实现人体表演的姿态依赖渲染，引入重映射过程优化坐标映射，实现了高质量的新视角与新姿态合成。
2023-11-06 cs.CV
NeRF-Art: Text-Driven Neural Radiance Fields Stylization
City University of Hong Kong（香港城市大学）；The Hong Kong Polytechnic University（香港理工大学）；Snap Inc.（Snap公司）；Netflix（奈飞）；Microsoft Cloud AI（微软云人工智能部门）
神经辐射场（NeRF）作为一种强有力的三维场景表示方法，能够从多视点图像中合成高质量的新视点。然而，风格化NeRF仍然具有挑战性，特别是在模拟同时改变外观和几何形状的文本引导风格时。在本文中，我们提出了NeRF-Art，这是一种文本引导的NeRF风格化方法，它可以通过简单的文本提示操作预训练的NeRF模型的风格。与以前的方法，要么缺乏足够的几何变形和纹理细节，或需要网格来指导风格化，我们的方法可以将3D场景的目标风格，其特征在于所需的几何形状和外观变化，没有任何网格的指导。这是通过引入一种新的全局-局部对比学习策略，结合方向约束，同时控制目标风格的轨迹和强度来实现的。此外，我们采用了一种权重正则化方法，有效地抑制了在几何风格化过程中密度场变换时容易出现的云状伪影和几何噪声。通过对各种风格的大量实验，我们证明了我们的方法是有效的和强大的单视图风格化质量和跨视图的一致性。代码和更多结果可以在我们的项目页面中找到：https://cassiepython.github.io/nerfart/。
2022-12-15 cs.CV cs.GR
Protecting NeRFs' Copyright via Plug-And-Play Watermarking Base Model
Hong Kong Baptist University（香港浸会大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）
针对NeRF知识产权保护需求，提出即插即用的NeRFProtector水印方案，利用预训练水印基础模型在创建时嵌入二进制消息，支持灵活选择NeRF变体，经渐进式蒸馏实现与前沿神经渲染方法相当的性能。
2024-07-10 cs.CV
MLI-NeRF: Multi-Light Intrinsic-Aware Neural Radiance Fields
Universitat Autonoma de Barcelona（巴塞罗那自治大学）；Stony Brook University（石溪大学）
针对现有内在图像分解方法依赖统计先验、难以处理真实场景的问题，提出MLI-NeRF，通过整合多光源信息生成反射率和阴影伪标签，引导分解，在合成与真实数据上优于现有方法，且可用于图像编辑。
2024-11-26 cs.CV
Prompt2NeRF-PIL: Fast NeRF Generation via Pretrained Implicit Latent
HKUST（香港科技大学）；Dartmouth College（达特茅斯学院）
本文提出 Prompt2NeRF-PIL，利用预训练 NeRF 参数隐式潜空间，通过单次前向传播实现文本或图像条件的快速 3D NeRF 生成，并将 DreamFusion 和 Zero-1-to-3 加速 3 至 5 倍。
2023-12-05 cs.CV
TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）；Snap Inc.（Snap公司）
TrackNeRF通过引入跨视角特征轨迹并强制重投影一致性，实现全局一致的几何重建和更精确的位姿优化，在稀疏和噪声视角下显著优于现有方法。
2024-08-20 cs.CV
DITTO-NeRF: Diffusion-based Iterative Text To Omni-directional 3D Model
Seoul National University（首尔国立大学）
提出DITTO-NeRF流水线，通过修复潜在扩散模型迭代重建3D NeRF，利用渐进式重建方案在保真度和多样性上超越现有方法且训练更快。
2023-04-06 cs.AI cs.CV
HyP-NeRF: Learning Improved NeRF Priors using a HyperNetwork
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；IIIT, Hyderabad（海得拉巴国际信息技术学院）；Brown University（布朗大学）
HyP-NeRF提出一种基于超网络的潜在条件化方法，同时估计NeRF权重与多分辨率哈希编码，并结合去噪微调策略，实现可泛化的类别级先验，在单视图重建、文本生成等下游任务中达到最先进水平。
2023-12-23 cs.CV
${M^2D}$NeRF: Multi-Modal Decomposition NeRF with 3D Feature Fields
Wuhan University（武汉大学）；Simon Fraser University（西蒙菲莎大学）
本文提出${M^2D}$NeRF，通过多模态特征蒸馏、相似性约束和块级联合对比损失构建3D语义特征场，实现文本与视觉块驱动的精确3D场景分解和编辑。
2024-05-08 cs.CV
Text-Image Conditioned Diffusion for Consistent Text-to-3D Generation
Tsinghua University（清华大学）；Beijing Jiaotong University（北京交通大学）
针对现有文本到3D生成方法多视图一致性不足的问题，提出将多视图图像条件纳入NeRF优化监督的文本-图像条件扩散方法，有效缓解密度异常问题，在T$^3$Bench上取得SOTA性能。
2023-12-19 cs.CV
CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields
City University of Hong Kong（香港城市大学）；Snap Inc.（Snap公司）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Microsoft Cloud AI（微软云人工智能部门）
我们提出CLIP-NeRF，一种用于神经辐射场（NeRF）的多模态3D对象操作方法。通过利用最近的对比图像预训练（CLIP）模型的联合语言图像嵌入空间，我们提出了一个统一的框架，允许以用户友好的方式操纵NeRF，使用简短的文本提示或示例图像。具体来说，结合新的视图合成能力的NeRF和可控的操作能力的潜在表示从生成模型，我们引入了一个解纠缠的条件NeRF架构，允许个人控制的形状和外观。这是通过将学习的变形场应用于位置编码并将颜色调节推迟到体积绘制阶段来执行形状调节来实现的。为了将这种解开的潜在表示与CLIP嵌入联系起来，我们设计了两个代码映射器，它们将CLIP嵌入作为输入，并更新潜在代码以反映有针对性的编辑。映射器使用基于CLIP的匹配损失进行训练，以确保操作准确性。此外，我们提出了一种逆优化方法，准确地将输入图像投影到用于操作的潜在代码，以实现对真实图像的编辑。我们评估我们的方法进行了广泛的实验，对各种文本提示和范例图像，也提供了一个直观的交互式编辑界面。我们的实现可以在https://cassiepython.github.io/clipnerf/上获得
2022-03-02 cs.CV cs.GR
NeRFlame: FLAME-based conditioning of NeRF for 3D face rendering
Jagiellonian University（雅盖隆大学）；University of Science and Technology Wrocław（弗罗茨瓦夫科学技术大学）
本文提出NeRFlame方法，将FLAME网格作为独立密度体积无缝集成到NeRF架构中，结合两者优势，实现了高质量3D人脸渲染与对外观的完全控制。
2023-11-27 cs.CV
LLaNA: Large Language and NeRF Assistant
University of Bologna（博洛尼亚大学）
本文提出LLaNA，首个直接处理NeRF的MLP权重以理解物体几何与外观的通用NeRF-语言助手，无需渲染图像或实体化3D数据，并构建无人工干预的标注数据集与基准，验证其优于提取2D/3D表示的方法。
2024-11-22 cs.CV
VF-NeRF: Learning Neural Vector Fields for Indoor Scene Reconstruction
ETH Zurich（苏黎世联邦理工学院）；INSAIT；KU Leuven（鲁汶大学）
针对室内弱纹理平面重建难题，提出以向量场为隐式表示的VF-NeRF，通过新的密度-VF关系与体渲染训练方案实现精准重建，结合深度线索达室内场景重建与新视角合成SOTA水平。
2024-08-16 cs.CV
UP-NeRF: Unconstrained Pose-Prior-Free Neural Radiance Fields
Korea University（高丽大学）
针对现有无姿态先验NeRF方法难以处理带光照变化和瞬时遮挡的无约束图像的问题，提出UP-NeRF，通过颜色不敏感特征场代理任务、瞬时遮挡处理模块、候选头及瞬态感知深度监督实现鲁棒优化，在Phototourism数据集上性能优于BARF等基线。
2023-11-08 cs.CV cs.LG
Scaling LLaNA: Advancing NeRF-Language Understanding Through Large-Scale Training
CVLAB, University of Bologna（CV实验室，博洛尼亚大学）
本文提出LLaNA，首个直接处理NeRF权重实现描述与问答的多模态大语言模型，并构建30万规模的NeRF-语言数据集，实验证明直接处理权重优于基于2D或3D表示的方法。
2025-04-18 cs.CV
FaceCLIPNeRF: Text-driven 3D Face Manipulation using Deformable Neural Radiance Fields
KAIST（韩国科学技术院）；Scatter Lab（Scatter实验室）
本文提出FaceCLIPNeRF，通过潜码条件可变形NeRF与PAC合成空间变化变形，并借助CLIP相似度优化，实现仅凭文本对NeRF重建人脸的3D操控。
2023-08-17 cs.CV
NeRFmentation: NeRF-based Augmentation for Monocular Depth Estimation
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）；University of Alicante（阿利坎特大学）；University of Amsterdam（阿姆斯特丹大学）
针对自动驾驶场景下单目深度估计模型受数据集多样性不足限制的问题，提出基于NeRF的数据增强 pipeline NeRFmentation，通过生成新视角合成RGB-D图像扩充训练集，在KITTI等数据集上验证了性能与鲁棒性提升。
2024-09-16 cs.CV
SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field
Zhejiang University（浙江大学）；Google（谷歌）
尽管使用用户友好的工具（如Photoshop，语义笔划甚至文本提示）在2D编辑方面取得了巨大成功，但3D领域的类似功能仍然有限，要么依赖于3D建模技能，要么只允许在少数类别内编辑。在本文中，我们提出了一种新的语义驱动的NeRF编辑方法，它使用户能够编辑一个神经辐射场与一个单一的图像，并忠实地提供编辑的新的意见，高保真度和多视图一致性。为了实现这一目标，我们提出了一个事先指导的编辑字段编码细粒度的几何和纹理编辑在3D空间中，并开发了一系列的技术来帮助编辑过程中，包括循环约束与代理网格，以方便几何监督，颜色合成机制，以稳定语义驱动的纹理编辑，和基于特征聚类的正则化，以保持不相关的内容不变。在真实场景和合成数据上的大量实验和编辑实例表明，该方法仅使用一幅编辑图像就实现了照片级真实感的3D编辑，突破了3D真实场景中语义驱动编辑的界限。我们的项目网页：www.example.com。
2023-03-25 cs.CV
IE-NeRF: Inpainting Enhanced Neural Radiance Fields in the Wild
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）
IE-NeRF通过引入图像修补技术，增强NeRF以处理野外动态场景中的瞬时物体，提升体积渲染质量并实现先进性能。
2024-12-08 cs.CV
LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
针对现有无位姿NeRF依赖位姿先验假设、通用场景效果差的问题，提出LU-NeRF方法，通过局部迷你场景优化加全局位姿同步的局部到全局流程，在通用SE(3)设置下联合估计位姿与场景，性能优于基线且可与SfM互补。
2023-06-08 cs.CV
ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出首个文本驱动的视图一致性感知NeRF三维编辑方法ViCA-NeRF，通过几何与学习型两类正则化保证多视图一致性，分两阶段实现编辑，相较现有方法更灵活高效、效果更优。
2024-02-01 cs.CV
CAD-NeRF: Learning NeRFs from Uncalibrated Few-view Images by CAD Model Retrieval
National University of Defense Technology（国防科技大学）
CAD-NeRF针对无位姿少视图NeRF重建难题，提出通过ShapeNet CAD模型库检索相似形状作为密度监督与位姿初始化，并联合优化密度场变形和相机位姿，实现自监督高精度重建。
2025-05-05 cs.CV
Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images
City University of Hong Kong（香港城市大学）；Xi’an Jiaotong University（西安交通大学）
我们提出了神经辐射场（NeRF）与模板，被称为模板NeRF，用于建模外观和几何形状，并同时生成密集的形状对应的对象之间的同一类别，只有多视图构成的图像，而不需要任何3D监督或地面真理的对应知识。学习的密集对应关系可以很容易地用于各种基于图像的任务，如关键点检测，零件分割和纹理转移，以前需要特定的模型设计。我们的方法也可以适应一个或Few-Shot的方式，只给一个或几个实例的类别的注释转移。使用周期性激活和特征线性调制（FiLM）条件，我们将3D数据上的深层隐式模板引入3D感知图像合成流水线NeRF。通过将同一类别内的对象实例表示为共享NeRF模板的形状和外观变化，我们所提出的方法可以针对各种对象类在图像上实现密集形状对应推理。我们展示了结果和应用程序的合成和现实世界的数据与竞争力的结果相比，其他方法的基础上的三维信息。
2021-11-08 cs.CV
E$^{3}$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images
State Key Laboratory of Virtual Reality Technology and Systems, School of Computer Science and Engineering, Beihang University（虚拟现实技术与系统国家重点实验室，计算机科学与工程学院，北京航空航天大学）；School of Computer Science, Beijing Institute of Technology（计算机学院，北京理工大学）；SenseTime Research and Tetras.AI（商汤研究院和Tetras.AI）
E$^{3}$NeRF通过结合模糊图像和事件流，高效重建清晰NeRF，适用于高速非均匀运动和低光场景。
2025-11-25 cs.CV
Detachable Novel Views Synthesis of Dynamic Scenes Using Distribution-Driven Neural Radiance Fields
PhiGent Robotics（PhiGent机器人公司）
如何从随意的单目视频中表达和合成真实世界动态场景中的新颖视图是一个长期存在的问题。现有的解决方案通常通过应用几何技术或利用几个相邻帧之间的时间信息来接近动态场景，而不考虑整个场景中的底层背景分布或光线维度上的透射率，从而限制了它们在静态和遮挡区域上的性能。我们的方法$\textbf{D}$迭代- $\textbf{D}$ riven神经辐射场提供了高质量的视图合成和一个3D解决方案，$\textbf{D}$从整个$\textbf{D}$神经场景中提取背景，这被称为$\text{D}^4$ NeRF。具体而言，它采用神经表示来捕获静态背景中的场景分布，并采用6D输入NeRF来表示动态对象。每个光线样本都被赋予一个附加的遮挡权重，以指示静态和动态分量中的透射率。我们评估$\text{D}^4$ NeRF上的公共动态场景和我们的城市驾驶场景从一个错误的驾驶数据集。大量的实验表明，我们的方法优于以往的方法在渲染纹理细节和运动区域，同时也产生一个干净的静态背景。我们的代码将在https://github.com/Luciferbobo/D4NeRF上发布。
2023-01-11 cs.CV
Perturb-and-Revise: Flexible 3D Editing with Generative Trajectories
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
针对现有3D编辑方法难以处理大幅几何与外观变化的问题，提出Perturb-and-Revise方法，通过局部损失景观自适应扰动NeRF参数、结合生成轨迹与身份保持梯度修正，实现灵活一致的多维度3D编辑。
2025-03-20 cs.CV
SO-NeRF: Active View Planning for NeRF using Surrogate Objectives
New York University（纽约大学）
针对 NeRF 数据采集视角选择缺乏明确准则的问题，提出 SOAR 可解释代理目标及 SOARNet 快速评分网络，在数秒内主动规划视角并取得约 80 倍加速和更优或相当的重建质量。
2023-12-06 cs.CV
Class-Continuous Conditional Generative Neural Radiance Field
Chung-Ang University（中央大学）
提出类连续条件生成神经辐射场模型，通过将条件特征投影到生成器和判别器，实现条件操作下逼真的3D一致图像合成，并在多个数据集上验证了其优越性能。
2024-01-09 cs.AI cs.CV
ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Field
Stanford University（斯坦福大学）；Nvidia（英伟达）；Simon Fraser University（西蒙菲莎大学）
针对现有NeRF未显式建模训练相机位姿分布与三角测量质量的问题，提出ProvNeRF将逐点可见来源建模为随机场，通过扩展IMLE到带可优化目标的函数空间实现，在稀疏无约束视图下提升了新视角合成与不确定性估计效果。
2024-11-01 cs.CV
HeadNeRF: A Real-time NeRF-based Parametric Head Model
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了HeadNeRF，一种新的基于NeRF的参数化头部模型，该模型将神经辐射场集成到人体头部的参数化表示中。它可以在现代GPU上实时的【形】渲染高保真的头部图像，并支持直接控制生成图像的渲染姿态和各种语义属性。与现有的相关参数化模型不同，我们使用神经辐射场作为一种新的3D代理，而不是传统的3D纹理网格，这使得HeadNeRF能够生成高保真图像。然而，原始NeRF的计算昂贵的渲染过程阻碍了参数化NeRF模型的构建。为了解决这个问题，我们采用了将二维神经渲染集成到NeRF渲染过程中的策略，并设计了新的损失项。因此，HeadNeRF的渲染速度可以显著加快，一帧的渲染时间从5s减少到25ms。精心设计的损失项也提高了渲染精度，并且人类头部的精细细节，例如牙齿之间的间隙，皱纹和胡须，可以由HeadNeRF表示和合成。大量的实验结果和几个应用证明了它的有效性。经训练的参数模型可在https://github.com/CrisHY1995/headnerf上获得。
2022-04-30 cs.CV
GAS-NeRF: Geometry-Aware Stylization of Dynamic Radiance Fields
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Technion（以色列理工学院）；Nvidia（英伟达公司）
本文提出GAS-NeRF方法，通过深度图提取几何细节并结合外观迁移，在动态辐射场中实现外观与几何的联合风格化，显著提升风格化质量并保持时间一致性。
2025-03-11 cs.CV
Points-to-3D: Bridging the Gap between Sparse Points and Shape-Controllable Text-to-3D Generation
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提出Points-to-3D框架，利用稀疏3D点引导NeRF生成，结合2D和3D扩散模型蒸馏，实现形状可控且视图一致的文本到3D生成。
2023-07-26 cs.CV
NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation
Sun Yat-sen University（中山大学）；Cardiff University（卡迪夫大学）；University of Pennsylvania（宾夕法尼亚大学）；SmartMore Corporation（思谋科技）
本文提出NeRF-HuGS，通过结合手工启发式与先进分割模型，显著提升非静态场景中静态与瞬态干扰物的分离，有效减少NeRF伪影。
2024-03-26 cs.CV
NeRFs in Robotics: A Survey
University of Cambridge, UK（剑桥大学）；China University of Mining and Technology（中国矿业大学）；ETH Zurich（苏黎世联邦理工学院）；University of California, Berkeley, USA（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）
本文综述了NeRF在机器人学中的应用与改进进展，分析其在感知和交互任务中的潜力，并总结挑战与未来方向。
2025-07-02 cs.CV cs.RO
MCBlock: Boosting Neural Radiance Field Training Speed by MCTS-based Dynamic-Resolution Ray Sampling
Peking University（北京大学）
针对NeRF训练采样效率低的问题，提出基于MCTS的动态分辨率光线采样算法MCBlock，通过分块训练优化采样粒度，在Nerfstudio中实现2.33倍训练加速，可适配锥光线追踪NeRF模型。
2025-04-14 cs.CV
Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes
Tel Aviv University（特拉维夫大学）
最近在文本引导图像生成方面的突破导致了文本3D合成领域的显著进展。通过直接从文本优化神经辐射场（NeRF），最近的方法能够产生显著的结果。然而，这些方法在它们对每个对象的放置或外观的控制方面是有限的，因为它们将场景表示为一个整体。在需要优化或操纵场景中的对象的场景中，这可能是一个主要问题。为了弥补这一不足，我们提出了一种新的GlobalLocal训练框架，用于使用对象代理合成3D场景。代理表示对象在生成的场景中的放置，并可以选择定义其粗略几何体。我们的方法的关键是将每个对象表示为独立的NeRF。我们在优化每个NeRF本身和作为整个场景的一部分之间交替。因此，可以学习每个对象的完整表示，同时还可以创建具有风格和照明匹配的和谐场景。我们表明，使用代理允许各种各样的编辑选项，如调整每个独立对象的位置，从场景中删除对象，或细化对象。我们的研究结果表明，设置场景提供了一个强大的解决方案，场景合成和操纵，填补了可控的文本到3D合成的关键空白。
2023-03-23 cs.CV cs.GR cs.LG
NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning
Sun Yat-sen University（中山大学）；University of Oxford（牛津大学）
本文提出即插即用的 NeRF-VPT，通过级联视角提示调优将前序渲染 RGB 作为视觉先验，提升新视角合成质量、PSNR 及稀疏输入适应性。
2024-03-02 cs.CV
ARC-NeRF: Area Ray Casting for Broader Unseen View Coverage in Few-shot Object Rendering
Seoul National University（首尔大学）；Xperty Corp.（Xperty公司）
提出ARC-NeRF，通过面光线投射策略和亮度一致性正则化，在少样本场景下覆盖更广未见视角并提升纹理准确性，渲染出清晰精细细节。
2025-04-07 cs.CV
NeRF Revisited: Fixing Quadrature Instability in Volume Rendering
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；Simon Fraser University（西蒙弗雷泽大学）；Google（谷歌）
本文针对 NeRF 体渲染中因分段恒定密度导致的求积不稳定问题，提出分段线性密度下的精确积分渲染方程，可即插即用地改善纹理、几何重建与深度监督。
2024-01-19 cs.CV
StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints
BNRist（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）
神经辐射场（NeRF）实现了具有密集捕获的输入图像的照片级真实感视图合成。然而，NeRF的几何形状是非常受约束的稀疏视图，导致新的视图合成质量显着下降。受自监督深度估计方法的启发，我们提出了StructNeRF，这是一种针对具有稀疏输入的室内场景的新颖视图合成的解决方案。StructNeRF利用自然嵌入在多视图输入中的结构提示来处理NeRF中的无约束几何问题。具体来说，它处理的纹理和非纹理区域分别：基于补丁的多视图一致的光度损失，提出了约束的纹理区域的几何形状，对于非纹理的，我们明确地限制它们是3D一致的平面。通过密集的自监督深度约束，我们的方法提高了NeRF的几何和视图合成性能，而无需对外部数据进行任何额外的训练。在几个真实世界的数据集上进行的大量实验表明，StructNeRF在定量和定性上都超过了室内场景稀疏输入的最先进方法。
2022-09-12 cs.CV cs.GR
Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos
University of Pennsylvania（宾夕法尼亚大学）；Amazon.com, Inc（亚马逊公司）
由于服装、遮挡、纹理的不连续性和清晰度以及特定于帧的姿态变化，单目RGB视频的人体重建和合成是一个具有挑战性的问题。许多方法采用延迟渲染、NeRF和隐式方法来表示穿着衣服的人，前提是基于网格的表示无法单独从RGB、轮廓和关键点捕获复杂的服装和纹理。我们通过优化SMPL+D网格和仅使用RGB图像，二进制轮廓和稀疏2D关键点的高效，多分辨率纹理表示来提供对这个基本前提的相反观点。实验结果表明，我们的方法是更能够捕捉几何细节相比，视觉外壳，网格为基础的方法。我们展示了竞争力的新视图合成和改进的新姿态合成相比，NeRF为基础的方法，引入明显的，不必要的文物。通过将解决方案空间限制在SMPL+D模型与可微分渲染相结合，我们在计算、训练时间（高达24倍）和推理时间（高达192倍）方面获得了显着的加速。因此，我们的方法可以按原样使用，也可以作为基于NeRF的方法的快速初始化。
2023-03-15 cs.CV
Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields
The Hebrew University（希伯来大学）
Blended-NeRF提出一种基于文本提示和3D ROI框的零样本框架，利用预训练语言-图像模型和3D MLP在现有NeRF场景中生成并混合新对象，实现局部编辑与多视图一致的高质量结果。
2023-09-07 cs.CV cs.GR cs.LG
A Large-Scale Outdoor Multi-modal Dataset and Benchmark for Novel View Synthesis and Implicit Scene Reconstruction
Fudan University（复旦大学）；Tencent PCG（腾讯平台与内容事业群）
神经辐射场（NeRF）在单目标场景重建和新视图合成方面取得了令人瞩目的成果，并在DTU、BMVS和NeRF Synthetic等单模态单目标室内场景数据集上得到了验证，但NeRF在大规模室外场景重建方面的研究还很有限。因为由于昂贵的数据采集和校准成本，没有用于大规模NeRF评估的统一室外场景数据集。在本文中，我们提出了一个大规模的户外多模态数据集，OMMO数据集，包含复杂的土地对象和场景校准的图像，点云和提示注释。同时，建立了一个新的基准的几个户外NeRF为基础的任务，如新的视图合成，表面重建，和多模态NeRF。为了创建数据集，我们捕获并收集了大量真实的飞行视图视频，并从中选择高质量和高分辨率的片段。然后，我们设计了一个质量审查模块，通过一个基于学习的自动评估和人工审查，以改善图像，删除低质量的帧和未能校准的场景。最后，一些志愿者被雇用来为每个场景和关键帧添加文本描述，以满足未来潜在的多模态需求。与现有的NeRF数据集相比，我们的数据集包含了丰富的真实世界的城市和自然场景，具有各种尺度，相机轨迹和照明条件。实验表明，我们的数据集可以在不同的任务上对大多数最先进的NeRF方法进行基准测试。我们将很快发布数据集和模型权重。
2023-01-17 cs.CV
LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）；University of Oxford（牛津大学）；The University of Hong Kong（香港大学）；EPFL（洛桑联邦理工学院）
本文提出端到端可微LiDAR渲染框架LiDAR-NeRF，利用NeRF联合学习几何与点属性，并以结构正则化改善低纹理区域几何，同时构建NeRF-MVL数据集，实验显示其显著优于传统仿真算法。
2023-07-14 cs.CV
3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands
Sun Yat-sen University（中山大学）；Tencent（腾讯）；DarkMatter AI Research（暗物质AI研究院）
本文提出一种用于交互手部的可泛化可见性感知NeRF框架，通过特征融合模块恢复不可见区域特征，并结合生成像素级可见性图的判别器进行对抗学习优化，显著提升了合成图像质量。
2024-01-02 cs.CV
NeRF-Insert: 3D Local Editing with Multimodal Control Signals
UCLA（加利福尼亚大学洛杉矶分校）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 NeRF-Insert 框架，将 NeRF 局部编辑建模为多视点图像修复问题，并支持文本、图像、CAD 模型和二值掩码等多模态控制信号，从而在保持全局结构与原始 NeRF 一致性的同时实现高质量的三维局部编辑。
2024-04-30 cs.AI cs.CV cs.GR
