Factorized Multi-Resolution HashGrid for Efficient Neural Radiance Fields: Execution on Edge-Devices
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；NAVER AI Lab（NAVER AI实验室）
本文提出Fact-Hash，一种用于边缘设备神经辐射场训练的参数编码方法，通过融合张量分解与哈希编码技术，提升内存效率和渲染速度，实现高质量3D表示。
2026-04-03 cs.CV
SpecNeRF: Gaussian Directional Encoding for Specular Reflections
The Hong Kong University of Science and Technology（香港科技大学）；Meta Reality Labs（元宇宙现实实验室）；Carnegie Mellon University（卡内基梅隆大学）
针对神经辐射场在近场复杂光照下难以建模光滑表面视角依赖镜面反射的问题，提出可学习高斯方向编码与数据驱动几何先验，提升建模效果并实现更具物理意义的外观分解。
2024-05-16 cs.CV
An Exploration of Neural Radiance Field Scene Reconstruction: Synthetic, Real-world and Dynamic Scenes
该项目提出了一个探索到3D场景重建的合成和现实世界的场景使用神经辐射场（NeRF）的方法。我们主要利用神经图形基元多分辨率哈希编码在训练和渲染时间上的减少，对静态视频游戏场景和真实世界场景进行重建，比较和观察重建细节和局限性。此外，我们探索动态场景重建使用神经辐射场的动态场景（D-NeRF）。最后，我们扩展了D-NeRF的实现，最初仅限于处理合成场景，也可以处理真实世界的动态场景。
2022-10-21 cs.AI cs.CV
3D-Aware Encoding for Style-based Neural Radiance Fields
Carnegie Mellon University（卡内基梅隆大学）；Meta Research（Meta研究院）
我们解决了基于样式的神经辐射场的NeRF反演的任务（例如，StyleNeRF）。在这项任务中，我们的目标是学习一个逆函数，将输入图像投影到NeRF发生器的潜在空间，然后基于潜在代码合成原始图像的新视图。与用于2D生成模型的GAN反演相比，NeRF反演不仅需要1）保持输入图像的身份，而且2）确保生成的新视图的3D一致性。这要求从单视图图像获得的潜在代码在多个视图中是不变的。为了解决这个新的挑战，我们提出了一个两阶段的编码器基于风格的NeRF反转。在第一阶段中，我们引入了一个基本编码器，它将输入图像转换为潜码。为了保证潜在编码具有视点不变性，并能够合成三维一致的新视点图像，我们利用身份对比学习来训练基本编码器。其次，为了更好地保留输入图像的身份，我们引入了一个细化编码器来细化潜在代码并向输出图像添加更精细的细节。值得注意的是，该模型的新颖性在于其第一阶段编码器的设计，该编码器产生位于潜在流形上的最接近的潜在代码，因此第二阶段中的细化将接近NeRF流形。通过大量的实验，我们证明了我们提出的两阶段编码器定性和定量表现出优于现有的编码器在图像重建和新颖的视图渲染反转。
2022-11-12 cs.CV cs.LG
Audio-Driven Talking Face Generation with Blink Embedding and Hash Grid Landmarks Encoding
Department of Control Science and Engineering, University of Shanghai for Science and Technology（控制科学与工程系，上海科学技术大学）；School of Psychology and Neuroscience, University of Glasgow（心理学与神经科学学院，格拉斯哥大学）
本文提出基于眨眼嵌入和哈希网格地标编码的音频驱动说话人脸生成方法，通过动态地标变换器和神经辐射场提升生成质量。
2026-01-26 cs.CV
Improved Neural Radiance Fields Using Pseudo-depth and Fusion
本文提出通过多尺度编码体积、深度预测与辐射场重建联合优化以及深度引导的邻域特征融合，改进NeRF在新视角合成和稠密几何建模中的性能。
2023-07-27 cs.AI cs.CV cs.GR
Thermal-NeRF: Neural Radiance Fields from an Infrared Camera
Shanghai Jiao Tong University（上海交通大学）；Hefei University of Technology（合肥工业大学）；Shanghai Slamtec Research（上海思岚科技研究院）
针对低光或视觉遮挡场景下RGB重建失效的问题，提出首个仅用红外图像估计NeRF的Thermal-NeRF方法，利用热映射与结构热约束实现高质量重建，并贡献了IR-NeRF数据集。
2024-03-15 cs.CV cs.RO
Compact Real-time Radiance Fields with Neural Codebook
Alibaba Group（阿里巴巴集团）
本文提出一种结合非均匀压缩主干与 Neural Codebook 模块的紧凑神经辐射场框架，在保持渲染质量的同时实现超40倍存储压缩和180 fps实时渲染。
2023-05-29 cs.CV
Point-Based Radiance Fields for Controllable Human Motion Synthesis
针对现有可编辑神经辐射场难以实现复杂3D人体编辑的问题，提出基于静态点辐射场的可控人体运动合成方法，通过形变MLP编码点云位移、SVD估计局部旋转保障渲染一致性，精细复杂形变性能优于SOTA且可推广至其他3D角色。
2023-10-05 cs.CV cs.GR
Multiscale Tensor Decomposition and Rendering Equation Encoding for View Synthesis
James Cook University（詹姆斯库克大学）；La Trobe University（乐卓博大学）
本文提出神经辐射特征场（NRFF），通过多尺度张量分解组织场景特征，并在特征空间中用各向异性球面高斯混合编码渲染方程，在多个数据集上显著提升了视图合成质量。
2023-05-27 cs.CV
AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction
Shanghai Jiao Tong University（上海交通大学）
AniSDF提出融合粒度神经表面与各向异性球面高斯编码的混合辐射场，在无需复杂调参的情况下同时提升几何重建精度和新视角合成质量。
2025-02-07 cs.CV
SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields
University of Utah（犹他大学）；Meta
神经辐射场（NeRF）对由场景的全光函数参数化的场景中的辐射进行编码。这是通过将MLP与映射到高维空间一起使用来实现的，并且已被证明可以捕获具有高细节水平的场景。自然，相同的参数化可以用于编码场景的其他属性，而不仅仅是它的辐射。在这方面，一个特别有趣的属性是场景的语义分解。我们介绍了一种新的技术，语义软分解的神经辐射场（命名为SSDNeRF），共同编码语义信号结合辐射信号的场景。我们的方法提供了一个软分解的场景到语义部分，使我们能够正确地编码多个语义类混合沿同一方向-现有的方法是不可能的壮举。这不仅导致一个详细的，3D语义表示的场景，但我们也表明，用于编码的MLP的正则化效果有助于提高语义表示。我们在常见对象的数据集上展示了最先进的分割和重建结果，并演示了所提出的方法如何应用于高质量的时间一致的视频编辑和重新合成随意捕获的自拍视频数据集。
2022-12-07 cs.CV
OmniVoxel: A Fast and Precise Reconstruction Method of Omnidirectional Neural Radiance Field
University of Tsukuba（筑波大学）
提出了一种利用等矩形全方位图像重建神经辐射场的方法。具有辐射场的隐式神经场景表示可以在有限的空间区域内连续地重建场景的3D形状。然而，在商用PC硬件上训练完全隐式表示需要大量时间和计算资源（每个场景15 $\sim$ 20小时）。因此，我们提出了一种方法，以加快这一进程显着（20 $\sim$ 40分钟，每个场景）。而不是使用一个完全隐式表示的射线辐射场重建，我们采用特征体素，包含密度和颜色特征张量。考虑到全向等矩形输入和摄像机布局，我们使用球形体素化来表示，而不是立方表示。我们的体素化方法可以平衡重建的内部场景和外部场景的质量。此外，我们采用轴向对齐的位置编码方法对颜色特征，以提高整体图像质量。我们的方法在具有随机相机姿态的合成数据集上取得了令人满意的经验性能。此外，我们用包含复杂几何形状的真实场景测试了我们的方法，并实现了最先进的性能。我们的代码和完整的数据集将在论文出版的同时发布。
2022-08-12 cs.CV
Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition
Peking University（北京大学）；The University of Sydney（悉尼大学）；Baidu Inc.（百度公司）
虽然动态神经辐射场（NeRF）在说话肖像的高保真3D建模方面取得了成功，但缓慢的训练和推理速度严重阻碍了它们的潜在用途。在本文中，我们提出了一个有效的NeRF为基础的框架，使实时的【形】合成说话的肖像和更快的收敛，利用最近的成功，基于网格的NeRF。我们的关键见解是将固有的高维说话肖像表示分解为三个低维特征网格。具体地，分解的音频空间编码模块利用3D空间网格和2D音频网格对动态头部进行建模。躯干是处理与另一个二维网格在一个轻量级的伪三维变形模块。这两个模块都在保证渲染质量的前提下注重效率。大量的实验表明，我们的方法可以生成逼真的和音频嘴唇同步说话的人像视频，同时也是高效的相比，以前的方法。
2022-11-22 cs.CV
BARF: Bundle-Adjusting Neural Radiance Fields
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；The University of Adelaide（阿德莱德大学）
神经辐射场（NeRF）最近在计算机视觉社区中引起了极大的兴趣，因为它能够合成真实世界场景的照片级逼真的新颖视图。然而，NeRF的一个限制是它需要准确的相机姿势来学习场景表示。在本文中，我们提出了束调整神经辐射场（BARF），用于从不完美（甚至未知）的相机姿势训练NeRF-学习神经3D表示和注册相机帧的联合问题。我们建立了一个理论连接到经典的图像对齐，并表明粗到细的注册也适用于NeRF。此外，我们表明，天真地在NeRF中应用位置编码对基于合成的目标的配准有负面影响。实验结果表明，BARF算法能够有效地优化神经场景表示，同时解决大的摄像机位姿失调问题。这使得能够从未知的摄像机姿态对视频序列进行视图合成和定位，为视觉定位系统（例如SLAM）开辟了新的途径，并为密集的3D映射和重建开辟了潜在的应用。
2021-08-19 cs.CV cs.GR cs.LG
Surf-NeRF: Surface Regularised Neural Radiance Fields
Australian Centre for Robotics, School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney（澳大利亚机器人中心，航空航天、机械与机电工程学院，悉尼大学）
Surf-NeRF通过课程学习、哈希编码和四项表面正则化约束，使NeRF克服形状-辐射歧义，获得更准确的几何表示，法线精度较传统方法提升28%。
2025-07-21 cs.CV
360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields
Hong Kong University of Science and Technology（香港科技大学）
本文提出360Roam系统，通过几何感知的辐射场与自适应局部辐射场分解，实现基于稀疏360°图像的大规模室内场景实时、高质量漫游。
2023-11-28 cs.CV
Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields
PICO, ByteDance（字节跳动PICO）；Tsinghua University（清华大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
针对神经辐射场质量与效率难以兼顾的问题，提出Tri-Mip编码和锥体投射渲染技术，实现了兼具高速度、高质量和紧凑模型的抗锯齿神经辐射场重建与渲染。
2023-07-21 cs.AI cs.CV cs.GR
Rip-NeRF: Anti-aliasing Radiance Fields with Ripmap-Encoded Platonic Solids
Beihang University（北京航空航天大学）；Tencent AI Lab（腾讯人工智能实验室）；Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Dermatology Hospital（皮肤病医院）；Southern Medical University（南方医科大学）
本文提出Rip-NeRF，通过柏拉图立体投影与Ripmap编码精确高效地表征三维各向异性区域，在保持较快训练速度的同时实现高保真抗锯齿渲染，并在合成与真实数据集上取得最优质量。
2024-05-03 cs.CV cs.GR
Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting
VCC, CSSE, Shenzhen University（深圳大学视觉计算中心、计算机科学与工程系）；Tencent Games（腾讯游戏）
本文提出增强辐射场框架，通过视图依赖的不透明度建模镜面效应，提升3D高斯散射的渲染性能和参数效率。
2026-02-23 cs.CV cs.GR
Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息学研究所，萨尔兰信息学园区）；Carnegie Mellon University（卡内基梅隆大学）
最近的神经视图合成方法已经取得了令人印象深刻的质量和现实主义，超越了依赖于多视图重建的经典管道。最先进的方法，如NeRF，被设计为使用神经网络学习单个场景，并且需要密集的多视图输入。在一个新的场景上进行测试需要从头开始重新训练，这需要2-3天的时间。在这项工作中，我们介绍了立体辐射场（SRF），这是一种神经视图合成方法，它是端到端训练的，可以推广到新场景，并且在测试时只需要稀疏视图。其核心思想是一种受经典多视图立体视觉方法启发的神经架构，该方法通过在立体图像中找到相似的图像区域来估计表面点。在SRF中，我们预测每个3D点的颜色和密度，给定输入图像中立体对应的编码。编码是通过成对相似性的集合来隐式学习的--模仿经典立体声。实验表明，SRF学习结构，而不是过拟合的场景。我们在DTU数据集的多个场景上进行训练，并推广到新的场景，而无需重新训练，只需要10个稀疏和分散的视图作为输入。我们表明，10-15分钟的微调进一步改善了结果，实现了比场景特定模型更清晰，更详细的结果。代码、模型和视频可在https://virtualhumans.mpi-inf.mpg.de/srf/上获得。
2021-04-14 cs.CV cs.LG
Simple-RF: Regularizing Sparse Input Radiance Fields with Simpler Solutions
Indian Institute of Science（印度科学研究所）
本文提出Simple-RF方法，通过设计增强模型和正则化框架，改进稀疏输入下辐射场的深度估计，从而在稀疏视图条件下实现更优的视图合成性能。
2026-03-14 cs.CV
Hi-Map: Hierarchical Factorized Radiance Field for High-Fidelity Monocular Dense Mapping
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；University of Sydney（悉尼大学）
本文提出基于神经辐射场的单目稠密建图方法Hi-Map，通过分层因子化特征网格和SDF代理推断体密度，结合双路径编码策略，无需外部深度先验即可实现高保真建图。
2024-01-06 cs.CV
CoNeRF: Controllable Neural Radiance Fields
University of British Columbia（不列颠哥伦比亚大学）；Warsaw University of Technology（华沙理工大学）；University of Toronto（多伦多大学）；Microsoft（微软）；Google Research（谷歌研究院）
我们扩展了神经3D表示，以允许直观和可解释的用户控制超越新颖的视图渲染（即相机控制）。我们允许用户在训练图像中只使用少量的掩模注释来注释希望控制的场景的哪一部分。我们的核心思想是把属性作为潜在变量，由神经网络回归场景编码。这导致了一个少样本学习框架，其中当不提供注释时，属性由框架自动发现。我们将我们的方法应用于具有不同类型的可控属性的各种场景（例如，人脸上的表情控制，或无生命物体运动中的状态控制）。总的来说，我们证明，尽我们所知，第一次从一个单一的视频场景的新颖的视图和新颖的属性重新渲染。
2021-12-06 cs.CV cs.GR
Log NeRF: Comparing Spaces for Learning Radiance Fields
Northeastern University（东北大学）
Log NeRF通过在log RGB空间中学习辐射场，提升了渲染质量、场景鲁棒性和低光条件下的表现。
2025-12-10 cs.AI cs.CV
ResNeRF: Geometry-Guided Residual Neural Radiance Field for Indoor Scene Novel View Synthesis
ResNeRF提出几何引导的两阶段框架，先基于SDF重建场景几何，再学习残差密度编码外观细节，从而在大规模室内场景中实现高保真新视角合成并达到最先进性能。
2023-07-11 cs.CV
DWTNeRF: Boosting Few-shot Neural Radiance Fields via Discrete Wavelet Transform
Video Processing Lab, UC San Diego（UC圣地亚哥大学视频处理实验室）
针对NeRF依赖密集视角且易在少样本下过拟合高频的问题，提出DWTNeRF框架。该方法基于Instant-NGP，结合小波损失优先处理低频，并引入多头注意力机制，显著提升了少样本新视角合成的性能。
2025-08-09 cs.CV
ECRF: Entropy-Constrained Neural Radiance Fields Compression with Frequency Domain Optimization
Fraunhofer Heinrich-Hertz-Institute (HHI)（弗劳恩霍夫海因里希·赫兹研究所（HHI））
本文提出ECRF模型，通过离散余弦变换和频域熵参数化技术压缩NeRF特征网格，有效减小数据量，无需微调即可在多数据集上实现更优压缩性能。
2023-11-23 cs.CV eess.IV
PyNeRF: Pyramidal Neural Radiance Fields
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
PyNeRF 通过在不同空间网格分辨率上训练多个模型头，使网格化 NeRF 具备尺度感知能力，在几乎不增加开销的情况下显著减少混叠并提升渲染质量，且训练速度远快于 Mip-NeRF。
2023-11-30 cs.CV cs.GR cs.LG
Taming Latent Diffusion Model for Neural Radiance Field Inpainting
Meta；University of California, Merced（加州大学默塞德分校）；University of Maryland, College Park（马里兰大学帕克分校）
针对NeRF修复中扩散模型随机性导致的几何不收敛和纹理偏移问题，提出逐场景定制与掩码对抗训练方法，避免有害的像素与感知损失，在真实场景上实现了最先进的修复效果。
2024-11-13 cs.AI cs.CV cs.LG
FA-BARF: Frequency Adapted Bundle-Adjusting Neural Radiance Fields
Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学类脑智能科学与技术研究院）；Department of Automation, Tsinghua University（清华大学自动化系）；Chair for Computer Aided Medical Procedures and Augmented Reality, Technical University of Munich（慕尼黑工业大学计算机辅助医疗程序与增强现实讲座）
针对 NeRF 在相机位姿不完美时依赖手工频率退火导致联合优化变慢的问题，本文提出 FA-BARF，以频率自适应空间低通滤波替代时间滤波，加速位姿与场景联合优化并恢复真实场景。
2025-03-15 cs.CV
Locally Stylized Neural Radiance Fields
Hong Kong University of Science and Technology（香港科技大学）；Trinity College Dublin（都柏林圣三一学院）；VinAI Research（VinAI研究院）
本文提出一种基于局部风格迁移的神经辐射场风格化框架，利用哈希网格编码分离外观与几何，并通过分割网络和二分匹配建立区域对应关系，实现可控的新视角风格化渲染。
2023-09-19 cs.CV cs.GR
Adaptive Shells for Efficient Neural Radiance Field Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
提出自适应外壳方法，通过显式网格包围神经辐射场并在固体区域用单样本渲染，实现高效高保真渲染，并支持动画和模拟等下游应用。
2023-11-16 cs.CV cs.GR
MonoNeRF: Learning a Generalizable Dynamic Radiance Field from Monocular Videos
Tsinghua University（清华大学）
针对单目动态 NeRF 泛化困难，本文提出 MonoNeRF，通过 Neural ODE 轨迹建模与基于流的特征聚合实现跨场景端到端学习。
2023-08-14 cs.CV
Grid-guided Neural Radiance Fields for Large Urban Scenes
Zhejiang University（浙江大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Adobe Research（奥多比研究中心）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
基于PPEMLP的神经辐射场（NeRF方法）由于模型容量有限，在大规模场景中经常会出现模糊渲染的欠拟合问题。最近的方法建议在地理上划分场景，并采用多个子NeRF单独对每个区域进行建模，从而导致训练成本和子NeRF数量随着场景的扩展而线性增加。另一种解决方案是使用特征网格表示，其计算效率高，并且可以自然地扩展到具有增加的网格分辨率的大场景。然而，特征网格往往受到较少的约束，并且经常达到次优的解决方案，在渲染中产生噪声伪影，特别是在具有复杂几何形状和纹理的区域中。在这项工作中，我们提出了一个新的框架，实现了高保真渲染的大型城市场景，同时计算效率。我们建议使用一个紧凑的多分辨率地面特征平面表示来粗略地捕捉场景，并通过另一个NeRF分支的位置编码输入来补充它，以联合学习的方式进行渲染。我们表明，这样的集成可以利用两种替代解决方案的优点：一个轻量级的NeRF是足够的，在特征网格表示的指导下，渲染具有精细细节的逼真的新视图;和联合优化的地面特征平面，同时可以获得进一步的细化，形成一个更准确和紧凑的特征空间，并输出更自然的渲染结果。
2023-03-24 cs.CV
Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis
Beihang University（北京航空航天大学）；Griffith University（格里菲斯大学）；RIKEN AIP（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）
本文提出ER-NeRF架构，通过三平面哈希表示、区域注意力模块和自适应姿态编码，实现高效的高保真说话人像合成，兼顾收敛速度、渲染效率和生成质量。
2023-08-24 cs.CV
TransHuman: A Transformer-based Human Representation for Generalizable Neural Human Rendering
Zhejiang University（浙江大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
针对泛化神经人体渲染中现有SPC基人体表示的姿态不对齐、缺全局关联问题，提出含TransHE、DPaRF、FDI的TransHuman框架，在两数据集上实现高效的SOTA性能。
2023-07-23 cs.CV
CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis
University of Padova（帕多瓦大学）；FlexSight
针对少样本视图合成中的过拟合问题，提出CombiNeRF框架，协同结合射线分布、几何平滑、Lipschitz正则化和编码掩码等多种技术，在多个公开数据集上优于现有方法。
2024-03-21 cs.CV
SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions
Indian Institute of Science（印度科学学院）
针对NeRF在稀疏视角下性能下降的问题，提出SimpleNeRF，通过设计增强模型学习更简单的深度解进行监督，并引入粗细粒度一致性损失，在两个数据集上实现了最先进的视图合成。
2023-09-14 cs.CV cs.GR
Motion-Oriented Compositional Neural Radiance Fields for Monocular Dynamic Human Modeling
HKUST（香港科技大学）；NAVER Cloud Corp.（NAVER云公司）
本文提出MoCo-NeRF，通过将非刚性运动建模为辐射残差场并利用刚性辐射场先验，实现单目人体视频的高质量自由视点渲染，支持多主体同时训练，性能领先。
2024-07-18 cs.AI cs.CV cs.LG
Neural Impostor: Editing Neural Radiance Fields with Explicit Shape Manipulation
Tencent Pixel Lab（腾讯像素实验室）；ShanghaiTech University（上海科技大学）
针对神经辐射场几何编辑难度大的问题，提出结合显式四面体网格与多网格隐式场的Neural Impostor混合表示及完整编辑流程，可在保留复杂外观的同时实现变形、合成等操作，在3D内容创作领域具有变革潜力。
2023-10-09 cs.CV cs.GR
CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields
City University of Hong Kong（香港城市大学）；Snap Inc.（Snap公司）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Microsoft Cloud AI（微软云人工智能部门）
我们提出CLIP-NeRF，一种用于神经辐射场（NeRF）的多模态3D对象操作方法。通过利用最近的对比图像预训练（CLIP）模型的联合语言图像嵌入空间，我们提出了一个统一的框架，允许以用户友好的方式操纵NeRF，使用简短的文本提示或示例图像。具体来说，结合新的视图合成能力的NeRF和可控的操作能力的潜在表示从生成模型，我们引入了一个解纠缠的条件NeRF架构，允许个人控制的形状和外观。这是通过将学习的变形场应用于位置编码并将颜色调节推迟到体积绘制阶段来执行形状调节来实现的。为了将这种解开的潜在表示与CLIP嵌入联系起来，我们设计了两个代码映射器，它们将CLIP嵌入作为输入，并更新潜在代码以反映有针对性的编辑。映射器使用基于CLIP的匹配损失进行训练，以确保操作准确性。此外，我们提出了一种逆优化方法，准确地将输入图像投影到用于操作的潜在代码，以实现对真实图像的编辑。我们评估我们的方法进行了广泛的实验，对各种文本提示和范例图像，也提供了一个直观的交互式编辑界面。我们的实现可以在https://cassiepython.github.io/clipnerf/上获得
2022-03-02 cs.CV cs.GR
BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering
The Chinese University of Hong Kong（香港中文大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Bath（巴斯大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
BungeeNeRF提出渐进式神经辐射场，通过逐步增加网络块和激活高频通道，实现从卫星到地面级别的极端多尺度场景高质量渲染。
2023-05-09 cs.AI cs.CV
IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF
University of Science and Technology of China（中国科学技术大学）
最近，许多工作已经提出利用神经辐射场的人类表演者的新的视图合成。然而，这些方法中的大多数需要数小时的培训，使得它们难以实际使用。为了解决这个具有挑战性的问题，我们提出了IntrinsicNGP，它可以从头开始训练，并在几分钟内实现高保真度的结果与人类表演者的视频。为了实现这一目标，我们引入了一个连续的和可优化的内在坐标，而不是原来的显式欧几里德坐标的哈希编码模块的即时NGP。有了这个新颖的内在坐标，IntrinsicNGP可以在代理几何形状的帮助下聚合动态对象的帧间信息。此外，使用给定的粗糙几何形状训练的结果可以进一步细化基于内在坐标的可优化偏移字段。在多个数据集上的大量实验结果证明了IntrinsicNGP的有效性和效率。我们还说明了我们的方法的能力，编辑重建的主题的形状。
2023-03-09 cs.CV
Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling
UC San Diego（加州大学圣迭戈分校）；Adobe Research（奥多比研究院）
针对镜面物体新视角合成中的高频角度信号与相互反射难题，提出神经方向编码（NDE），将特征网格空间编码扩展至角度域并锥形追踪空间特征，在合成与真实数据上超越现有方法，且支持实时推理。
2024-05-23 cs.CV
Exact-NeRF: An Exploration of a Precise Volumetric Parameterization for Neural Radiance Fields
Durham University（杜伦大学）
神经辐射场（NeRF）由于其能够以高精度合成新颖的场景视图而引起了极大的关注。然而，其基础公式所固有的是，沿着具有零宽度的射线对点进行采样可能导致模糊的表示，从而导致进一步的渲染伪影，例如最终场景中的混叠。为了解决这个问题，最近的变体mip-NeRF提出了一种基于圆锥截头体的集成位置编码（IPE）。尽管这是用积分公式表示的，但mip-NeRF将该积分近似为多元高斯分布的期望值。这种近似对于短截头体是可靠的，但对于高度伸长的区域会降级，这在处理较大景深下的远处场景对象时会出现。在本文中，我们探讨了使用一个精确的方法来计算IPE通过使用一个基于积分公式，而不是一个近似的圆锥形为基础的。我们表示这种配方为精确NeRF和贡献的第一种方法，提供一个精确的分析解决方案内的NeRF域的IPE。我们的探索性工作表明，这样一个精确的配方Exact-NeRF匹配的mip-NeRF的准确性，并进一步提供了一个自然的扩展到更具有挑战性的情况下，无需进一步修改，如在无限的场景。我们的贡献旨在解决迄今未探索的问题，锥台近似在早期的NeRF工作，并提供洞察分析解决方案在未来的NeRF扩展的潜在未来考虑。
2023-03-25 cs.CV cs.GR
S3-SLAM: Sparse Tri-plane Encoding for Neural Implicit SLAM
Northeastern University（东北大学）；Peking University（北京大学）
针对神经隐式SLAM性能与参数量权衡问题，提出稀疏三平面编码，仅用2~4%参数实现512分辨率高效重建，并设计S3-SLAM与分层束调整，在三个数据集上以极少参数实现高质量跟踪与重建。
2024-04-28 cs.CV
VIRUS-NeRF -- Vision, InfraRed and UltraSonic based Neural Radiance Fields
ETH Zurich（苏黎世联邦理工学院）；Filics GmbH（Filics 有限责任公司）；Voliro AG（Voliro 股份公司）
针对移动机器人传统建图依赖昂贵传感器的问题，提出融合视觉、红外与超声数据的VIRUS-NeRF，基于Instant-NGP优化占用栅格，实现低成本下接近LiDAR的建图效果，训练速度提升46%。
2024-08-14 cs.CV cs.LG cs.RO
ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields
Indian Institute of Science（印度科学学院）
提出ViP-NeRF，利用无需预训练的平面扫描体计算可见性先验来正则化稀疏输入下的NeRF训练，并改进模型直接输出可见性以减少训练时间，在多个数据集上优于现有稀疏输入NeRF方法。
2023-04-28 cs.CV cs.GR
Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance Fields
Monash University（莫纳什大学）；Nanyang Technological University（南洋理工大学）
本文提出新任务Semantic-to-NeRF翻译及Sem2NeRF框架，通过将单视图语义掩码编码为潜在代码控制预训练解码器，并引入区域感知学习策略，实现了从单视图语义掩码重建3D场景，在两个基准数据集上优于多个强基线。
2022-07-21 cs.AI cs.CV cs.GR
CodecNeRF: Toward Fast Encoding and Decoding, Compact, and High-quality Novel-view Synthesis
Sungkyunkwan University（成均馆大学）
本文提出CodecNeRF，一种用于NeRF表示的神经编解码器，通过编码器-解码器架构在单次前向传播中生成NeRF表示，并结合参数高效微调方法，实现超过100倍压缩、显著减少编码时间且保持或提升图像质量。
2024-09-25 cs.CV
SelfNeRF: Fast Training NeRF for Human from Monocular Self-rotating Video
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了SelfNeRF，一个有效的神经辐射场为基础的新的人类性能的视图合成方法。给定人类表演者的单眼自旋转视频，SelfNeRF可以从头开始训练，并在大约20分钟内达到高保真度的结果。最近的一些工作已经利用神经辐射场进行动态人体重建。然而，这些方法中的大多数需要多视图输入，并且需要数小时的培训，使得其仍然难以实际使用。为了解决这个具有挑战性的问题，我们引入了一种基于多分辨率哈希编码的表面相对表示，可以大大提高训练速度并聚合帧间信息。在几个不同数据集上的大量实验结果证明了SelfNeRF对具有挑战性的单眼视频的有效性和效率。
2022-10-04 cs.CV cs.GR
Affine-Equivariant Kernel Space Encoding for NeRF Editing
Poznan University of Technology, Institute of Robotics and Machine Intelligence（波兹南技术大学机器人与机器智能研究所）；Jagiellonian University, Faculty of Mathematics and Computer Science（雅盖隆大学数学与计算机科学学院）；IDEAS Research Institute（IDEAS研究所）
本文提出仿射等变核空间编码，通过高斯核实现局部化、变形感知的NeRF编辑，无需重新训练即可保持高质量渲染。
2026-01-31 cs.CV
Geometry-aware Reconstruction and Fusion-refined Rendering for Generalizable Neural Radiance Fields
School of AIA, Huazhong University of Science and Technology（华中科技大学AIA学院）
针对可泛化NeRF在挑战条件下泛化受限问题，提出由粗到细的GeFu框架，通过自适应代价聚合、空间-视角聚合器和一致性感知融合策略优化几何重建与渲染，在多数据集上达到SOTA。
2024-04-26 cs.CV
