DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields
National University of Singapore（新加坡国立大学）
最近的工作，如BARF和GARF可以捆绑调整相机的姿态与神经辐射场（NeRF），它是基于坐标MLP。尽管结果令人印象深刻，但这些方法不能应用于一般化NeRF（GeNeRF），其需要通常基于更复杂的3D CNN或Transformer架构的图像特征提取。在这项工作中，我们首先分析了联合优化相机构成与GeNeRFs的困难，然后进一步提出我们的DBARF来解决这些问题。我们的DBARF通过将成本特征图作为隐式成本函数来捆绑调整相机姿势，可以以自监督的方式与GeNeRFs联合训练。与BARF及其后续作品不同，BARF及其后续作品只能应用于每个场景优化的NeRF，并且需要准确的初始相机姿势，但前向场景除外，我们的方法可以在场景中推广，并且不需要任何良好的初始化。实验表明，我们的DBARF的有效性和泛化能力时，在现实世界的数据集进行评估。我们的代码可在\url{https://aibluefisher.github.io/dbarf}上获得。
2023-03-25 cs.CV
DARF: Depth-Aware Generalizable Neural Radiance Field
School of Electronics, Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
本文提出DARF可泛化神经辐射场，通过DADS深度感知动态采样、深度先验和MSC损失，仅用少量图像即可在未知场景实现高质量新视角渲染与无监督深度估计，并减少50%采样。
2025-02-15 cs.CV
3D Reconstruction of Non-cooperative Resident Space Objects using Instant NGP-accelerated NeRF and D-NeRF
Florida Institute of Technology（佛罗里达理工学院）；Technetium Engineering LLC（锝工程有限责任公司）
针对轨道非合作常驻空间目标的建图需求，将Instant NeRF与D-NeRF适配应用于该场景，经航天器模型数据集验证，Instant NeRF可生成高保真三维模型且计算成本支持星载训练。
2023-06-09 cs.CV
Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对可泛化 NeRF 的遮挡匹配、几何畸变及源视图远离目标时退化问题，提出基于点表示的 GPF，结合可见性建模、神经特征增强、非均匀对数采样与可学习聚合核，在三项数据集上取得更优性能。
2024-01-25 cs.CV
Generalizable Neural Radiance Fields for Novel View Synthesis with Transformer
我们提出了一个基于变压器的NeRF（transNeRF）学习一个通用的神经辐射场条件下的新的视图合成任务的视图图像。相比之下，现有的基于MLP的NeRF不能直接接收任意数量的观察视图，并且需要辅助的基于池化的操作来融合源视图信息，导致源视图和目标渲染视图之间的复杂关系缺失。此外，目前的方法单独处理每个3D点，忽略了辐射场场景表示的局部一致性。这些限制可能会降低它们在具有挑战性的现实世界应用中的性能，其中源视图和新的渲染视图之间可能存在很大的差异。为了解决这些挑战，我们的transNeRF利用注意力机制自然解码任意数量的源视图到基于坐标的场景表示的深关联。在统一的Transformer网络中，考虑了光线投射空间和周围视图空间中形状和外观的局部一致性。实验表明，我们的TransNeRF，在各种场景上训练，可以实现更好的性能相比，最先进的基于图像的神经渲染方法在场景不可知和每场景微调的情况下，特别是当有一个相当大的差距源视图和渲染视图。
2022-06-10 cs.CV
WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields
Nanyang Technological University（南洋理工大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Wenzhou University（温州大学）；UCAS-Terminus AI Lab, UCAS（中国科学院大学-特米纳斯人工智能实验室，中国科学院大学）
WaveNeRF将小波频率分解融入MVS与NeRF，通过小波域多视图立体、混合神经渲染器和频率引导采样，在仅三张输入图像下实现无需逐场景优化的高质量可泛化新视角合成。
2023-10-26 cs.CV
Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis
SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Laboratory, CUHK（香港中文大学商汤联合实验室，香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
这项工作的目标是使用一个通用的深度学习框架来合成任意人类表演者的自由视点图像，只需要稀疏数量的相机视图作为输入，并根据情况进行微调。由关节式身体姿势、形状和服装类型引起的几何形状和外观的巨大变化是这项任务的关键瓶颈。为了克服这些挑战，我们提出了一个简单而强大的框架，名为Generalizable Neural Performer（GNR），它可以在各种几何形状和外观上学习一个可推广的和强大的神经身体表示。具体地说，我们从几何和外观两个方面将新视角人体绘制的光场压缩为条件隐式神经辐射场。首先，我们引入了一个隐式几何体嵌入策略，以提高鲁棒性的基础上参数化的三维人体模型和多视图图像的提示。我们进一步提出了一个屏幕空间遮挡感知外观混合技术，以保持高质量的外观，通过插值源视图的外观，以放松，但近似的几何指导的辐射场。为了评估我们的方法，我们提出了我们正在努力构建一个具有显着复杂性和多样性的数据集。数据集GeneBody-1.0包括370个主题的3.6亿多帧多视图摄像机捕获，执行各种姿势动作，以及各种体型，服装，配饰和发型。在GeneBody-1.0和ZJU-Mocap上的实验表明，在所有交叉数据集、看不见的主题和看不见的姿势设置中，我们的方法比最近最先进的可推广方法具有更好的鲁棒性。我们还展示了我们的模型的竞争力相比，尖端的情况下，具体的。数据集、代码和模型将公开提供。
2022-04-25 cs.CV
Entangled View-Epipolar Information Aggregation for Generalizable Neural Radiance Fields
Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）
针对可泛化NeRF的源视图特征聚合问题，提出EVE-NeRF纠缠视图-对极信息聚合方法，注入场景不变先验，提升3D表征泛化性，在多场景达SOTA性能。
2024-03-12 cs.CV
ID-NeRF: Indirect Diffusion-guided Neural Radiance Fields for Generalizable View Synthesis
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
针对可泛化NeRF因错误重投影特征导致次优结果的问题，提出ID-NeRF框架，利用预训练扩散先验通过间接注入策略引导特征细化，实现高质量稀疏输入下的新视图合成。
2024-05-19 cs.CV
ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning
Peking University（北京大学）；Huawei（华为）；National University of Singapore（新加坡国立大学）
针对合成到真实新视角合成中合成数据导致体积密度不准确的问题，提出几何感知对比学习和跨视图注意力，提升泛化NeRF的渲染质量，在PSNR、SSIM和LPIPS上优于现有方法。
2023-06-23 cs.CV
Depth-Guided Bundle Sampling for Efficient Generalizable Neural Radiance Field Reconstruction
Key Laboratory of Media Audio and Video (Communication University of China), Ministry of Education（媒体音频与视频重点实验室（中国传媒大学），教育部）；School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
针对可泛化神经辐射场渲染计算量大、采样冗余的问题，提出深度引导的束采样策略，通过分组采样和自适应分配采样点，在DTU数据集上实现1.27 dB PSNR提升和47% FPS增加，并达到2倍渲染加速。
2025-05-26 cs.CV
How Far Can We Compress Instant-NGP-Based NeRF?
Shanghai Jiao Tong University（上海交通大学）；Monash University（莫纳什大学）
本文提出基于上下文的 NeRF 压缩框架 CNC，通过层级与维度上下文建模及哈希碰撞和占用网格先验，在保持保真度的同时大幅压缩 Instant-NGP 类 NeRF 的存储体积。
2024-06-06 cs.CV
MonoNeRF: Learning a Generalizable Dynamic Radiance Field from Monocular Videos
Tsinghua University（清华大学）
针对单目动态 NeRF 泛化困难，本文提出 MonoNeRF，通过 Neural ODE 轨迹建模与基于流的特征聚合实现跨场景端到端学习。
2023-08-14 cs.CV
SAT-NGP : Unleashing Neural Graphics Primitives for Fast Relightable Transient-Free 3D reconstruction from Satellite Imagery
CNES（法国国家空间研究中心）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；ENSG（法国国立地理科学学院）；IGN（法国国家地理学会）
针对多日期卫星图像重建中瞬态干扰及NeRF计算耗时长的问题，提出SAT-NGP模型，利用高效采样和多分辨率哈希编码将学习时间降至15分钟，同时保持3D重建质量。
2024-03-27 cs.AI cs.CV
3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands
Sun Yat-sen University（中山大学）；Tencent（腾讯）；DarkMatter AI Research（暗物质AI研究院）
本文提出一种用于交互手部的可泛化可见性感知NeRF框架，通过特征融合模块恢复不可见区域特征，并结合生成像素级可见性图的判别器进行对抗学习优化，显著提升了合成图像质量。
2024-01-02 cs.CV
Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；KAIST（韩国科学技术院）；Adobe Research（Adobe 研究院）
在本文中，我们的目标是合成一个自由视点视频的任意人的表现，使用稀疏的多视角相机。最近，一些工作已经解决了这个问题，通过学习人特定的神经辐射场（NeRF）捕捉一个特定的人的外观。同时，一些工作提出使用像素对齐的特征来将辐射场推广到任意新的场景和对象。然而，由于身体部位的严重闭塞和动态关节，将这种泛化方法应用于人类是非常具有挑战性的。为了解决这个问题，我们提出了神经人类表演者，一种新的方法，学习广义的神经辐射场的基础上，参数化的人体模型的鲁棒性能捕获。具体来说，我们首先介绍了一个时间Transformer，聚合跟踪的视觉功能的基础上，随着时间的推移的骨骼身体运动。此外，多视图Transformer被提出来在每个时间步执行时间融合特征和像素对齐特征之间的交叉注意，以整合来自多个视图的动态观察。在ZJU-MoCap和AIST数据集上的实验表明，我们的方法在看不见的身份和姿态上显着优于最近的可推广的NeRF方法。视频结果和代码可在https://youngjoongunc.github.io/nhp上获得。
2021-09-15 cs.CV cs.GR
Explicit Correspondence Matching for Generalizable Neural Radiance Fields
Monash University（墨尔本大学）；ETH Zurich（苏黎世联邦理工学院）；University of Oxford（牛津大学）；Nanyang Technological University（南洋理工大学）
本文提出一种可泛化NeRF方法，通过显式建模跨视图对应匹配信息，利用Transformer交叉注意力提升特征匹配质量，仅需两个源视图即可实现新视角合成，并在多个评估设置中取得最先进结果。
2025-08-22 cs.CV
Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields
PICO, ByteDance（字节跳动PICO）；Tsinghua University（清华大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
针对神经辐射场质量与效率难以兼顾的问题，提出Tri-Mip编码和锥体投射渲染技术，实现了兼具高速度、高质量和紧凑模型的抗锯齿神经辐射场重建与渲染。
2023-07-21 cs.AI cs.CV cs.GR
MU-GeNeRF: Multi-view Uncertainty-guided Generalizable Neural Radiance Fields for Distractor-aware Scene
School of Computer Science and Technology, Tongji University, Shanghai, China（同济大学计算机科学与技术学院，上海，中国）；MOE Key Lab of Embedded System and Service Computing, Tongji University, Shanghai, China（同济大学嵌入式系统与服务计算MOE重点实验室，上海，中国）；College of Surveying and Geographic Informatics, Tongji University, Shanghai, China（同济大学测绘地理信息学院，上海，中国）
本文提出MU-GeNeRF，通过多视角不确定性组件提升神经辐射场在存在瞬时干扰时的鲁棒性，实验表明其在场景重建中优于现有方法。
2026-04-20 cs.CV
NeRFool: Uncovering the Vulnerability of Generalizable Neural Radiance Fields against Adversarial Perturbations
School of Computer Science, Georgia Institute of Technology（佐治亚理工学院计算机学院）；Intel Labs（英特尔实验室）；Rice University（莱斯大学）
本文首次系统研究可泛化神经辐射场（GNeRF）的对抗鲁棒性，提出NeRFool揭示其脆弱性模式，并开发NeRFool+实现跨目标视图的有效攻击与防御指导，为构建鲁棒GNeRF奠定基础。
2025-01-04 cs.CV
Neural Image-based Avatars: Generalizable Radiance Fields for Human Avatar Modeling
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Google Research（谷歌研究院）；Adobe Research（奥多比研究院）
本文提出NIA方法，通过混合隐式身体NeRF与基于图像的渲染，从稀疏多视角图像中实现任意人体的新视角与新姿态合成，在身份泛化和姿态泛化上均优于现有方法。
2023-04-10 cs.CV
PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas
Tsinghua University（清华大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
本文提出PanoGRF，通过融合360°场景与单目深度先验的球面辐射场，解决宽基线稀疏全景图的几何学习难题，并在多个数据集上超越OmniSyn、IBRNet和NeuRay。
2023-12-06 cs.CV cs.GR
ColNeRF: Collaboration for Generalizable Sparse Input Neural Radiance Field
Tongji University（同济大学）；Peng Cheng Laboratory（鹏城实验室）；Meituan（美团）；City University of Hong Kong（香港城市大学）
针对稀疏输入下NeRF新视角合成效果差、泛化弱的问题，提出ColNeRF模型，通过输入图像与辐射场输出的双端协同、CCVI模块及多方向自监督，实现更优的可泛化稀疏视角合成，且微调成本更低。
2023-12-15 cs.CV
Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis
Center of Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息技术与传播科学学院）
本文提出CG-NeRF，通过粗略辐射场预测器和基于卷积的神经渲染器解决神经辐射场渲染慢且难泛化的问题，实现单GPU高效渲染并在多数据集上超越现有方法。
2023-11-19 cs.CV cs.GR
Geometry-aware Reconstruction and Fusion-refined Rendering for Generalizable Neural Radiance Fields
School of AIA, Huazhong University of Science and Technology（华中科技大学AIA学院）
针对可泛化NeRF在挑战条件下泛化受限问题，提出由粗到细的GeFu框架，通过自适应代价聚合、空间-视角聚合器和一致性感知融合策略优化几何重建与渲染，在多数据集上达到SOTA。
2024-04-26 cs.CV
TimeNeRF: Building Generalizable Neural Radiance Fields across Time from Few-Shot Input Views
National Yang Ming Chiao Tung University（国立阳明交通大学）；Hon Hai Research Institute（鸿海研究机构）
TimeNeRF结合多视图立体、神经辐射场与解耦策略，在少样本输入下无需逐场景优化即可渲染任意时间和任意视角的新视图，实现昼夜自然过渡的三维场景建模。
2025-07-18 cs.CV cs.MM
Generalizable Neural Voxels for Fast Human Radiance Fields
Huazhong University of Science & Technology（华中科技大学）
从单目视频中绘制自由视点的运动人体是一个很有挑战性的问题。信息太稀疏，从视图和姿势维度建模复杂的人体结构和运动。神经辐射场（NeRF）在新的视图合成中显示出强大的功能，并已被应用于人体绘制。然而，目前大多数基于NeRF的方法在训练和渲染方面都需要花费巨大的成本，这阻碍了在现实生活中的广泛应用。在本文中，我们提出了一个渲染框架，可以学习移动人体结构非常迅速地从单目视频。该框架是通过集成神经场和神经体素构建的。特别地，构造了一组可推广的神经体素。通过对各种人体进行预训练，这些通用体素表示基本骨架，并可以提供强大的几何先验。对于微调过程，构建个体体素用于学习差分纹理，与一般体素互补。因此，学习一个新的身体可以进一步加快，只需要几分钟。与以前的方法相比，我们的方法显示出显着更高的训练效率，同时保持类似的渲染质量。该项目的页面位于https://taoranyi.com/gneuvox。
2023-03-27 cs.CV cs.GR
GSNeRF: Generalizable Semantic Neural Radiance Fields with Enhanced 3D Scene Understanding
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通讯工程研究所）；NVIDIA, Taiwan（英伟达（台湾））
针对NeRF难以同时生成新视角图像与语义图且泛化性不足的问题，提出包含语义几何推理与深度引导渲染两阶段的GSNeRF，在未见过场景的相关任务上性能优于现有方法。
2024-03-06 cs.AI cs.CV cs.LG
DWTNeRF: Boosting Few-shot Neural Radiance Fields via Discrete Wavelet Transform
Video Processing Lab, UC San Diego（UC圣地亚哥大学视频处理实验室）
针对NeRF依赖密集视角且易在少样本下过拟合高频的问题，提出DWTNeRF框架。该方法基于Instant-NGP，结合小波损失优先处理低频，并引入多头注意力机制，显著提升了少样本新视角合成的性能。
2025-08-09 cs.CV
Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）
针对可泛化 NeRF 因大量场景特征内存访问而难以实时部署的问题，本文提出算法-硬件协同设计框架 Gen-NeRF，结合聚焦采样、对极几何复用与定制数据流，实现实时跨场景新视角合成。
2025-01-04 cs.AR cs.CV
Omni-Recon: Harnessing Image-based Rendering for General-Purpose Neural Radiance Fields
Georgia Institute of Technology（佐治亚理工学院）
本文提出通用NeRF框架Omni-Recon，利用基于图像的渲染和双解耦分支实现可泛化3D重建、零样本多任务场景理解，并支持实时渲染与文本引导编辑。
2024-09-20 cs.CV
GN-FR:Generalizable Neural Radiance Fields for Flare Removal
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文提出GN-FR框架，将去除眩光构建为多视图问题，利用通用神经辐射场Transformer在无监督下从稀疏眩光图像恢复无眩光视图，并构建首个3D多视图眩光数据集。
2024-12-18 cs.CV eess.IV
One is All: Bridging the Gap Between Neural Radiance Fields Architectures with Progressive Volume Distillation
Megvii（旷视科技）
神经辐射场（NeRF）方法已被证明是3D场景的紧凑、高质量和多功能表示的有效方法，并且能够实现诸如编辑、检索、导航等下游任务。各种神经架构正在争夺NeRF的核心结构，包括普通多层感知器（MLP）、稀疏张量、低秩张量、哈希表及其组合。每一种表示都有其特定的权衡。例如，基于哈希表的表示允许更快的训练和渲染，但它们缺乏清晰的几何意义，阻碍了空间关系感知编辑等下游任务。在本文中，我们提出了渐进体积蒸馏（PVD），这是一种系统蒸馏方法，允许不同架构之间的任何到任何转换，包括MLP，稀疏或低秩张量，哈希表及其组合。因此，PVD使下游应用程序能够以事后的方式为手头的任务最佳地调整神经表示。转换速度很快，因为蒸馏是在不同层次的体积表示上逐步进行的，从浅到深。我们还采用特殊的处理密度来处理其特定的数值不稳定性问题。经验证据来验证我们的方法NeRF合成，LLFF和TanksAndTemples数据集。例如，使用PVD，基于MLP的NeRF模型可以从基于哈希表的Instant-NGP模型中提取，速度比从头开始训练原始NeRF快10倍~ 20倍，同时实现更高水平的合成质量。代码可在https://github.com/megvii-research/AAAI2023-PVD上获得。
2023-01-03 cs.CV
VIRUS-NeRF -- Vision, InfraRed and UltraSonic based Neural Radiance Fields
ETH Zurich（苏黎世联邦理工学院）；Filics GmbH（Filics 有限责任公司）；Voliro AG（Voliro 股份公司）
针对移动机器人传统建图依赖昂贵传感器的问题，提出融合视觉、红外与超声数据的VIRUS-NeRF，基于Instant-NGP优化占用栅格，实现低成本下接近LiDAR的建图效果，训练速度提升46%。
2024-08-14 cs.CV cs.LG cs.RO
rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera
Shanghai Jiao Tong University（上海交通大学）
本文提出rpcPRF，一种基于MPI的平面神经辐射场，适用于卫星RPC相机，通过重投影监督实现单视图或少量输入下的跨场景泛化，在ZY-3和WV-3数据集上显著优于现有方法。
2023-10-11 cs.AI cs.CV
TransHuman: A Transformer-based Human Representation for Generalizable Neural Human Rendering
Zhejiang University（浙江大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
针对泛化神经人体渲染中现有SPC基人体表示的姿态不对齐、缺全局关联问题，提出含TransHE、DPaRF、FDI的TransHuman框架，在两数据集上实现高效的SOTA性能。
2023-07-23 cs.CV
GHNeRF: Learning Generalizable Human Features with Efficient Neural Radiance Fields
I3S-CNRS/Université Côte d’Azur（I3S-法国国家科学研究中心/蔚蓝海岸大学）；INRIA/Université Côte d’Azur（法国国家信息与自动化研究所/蔚蓝海岸大学）；IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；Brown University（布朗大学）；CNRS（法国国家科学研究中心）；Université Côte d’Azur（蔚蓝海岸大学）
提出GHNeRF，将预训练2D编码器提取的人体特征融入高效NeRF，在重建几何纹理的同时学习2D/3D关节位置，并接近实时达到先进水平。
2024-04-09 cs.AI cs.CV
Improving Geometric Consistency for 360-Degree Neural Radiance Fields in Indoor Scenarios
Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute（弗劳恩霍夫电信研究所（海因里希·赫兹研究所））；Humboldt University（洪堡大学）
针对室内360度NeRF在低纹理表面的漂浮伪影与深度约束不可靠问题，提出密集深度先验、新型深度损失及深度块正则化，并用Instant-NGP验证其视觉保真度提升。
2025-03-17 cs.CV
Urban Radiance Field Representation with Deformable Neural Mesh Primitives
Tongji University（同济大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；CPII
针对NeRF光线步进渲染资源消耗大的问题，提出可变形神经网格基元DNMP，通过低维潜空间约束、光栅化插值和视角相关MLP实现高效城市级辐射场表示，在渲染质量、速度和内存上均有优异表现。
2023-07-20 cs.CV
SmileSplat: Generalizable Gaussian Splats for Unconstrained Sparse Images
National University of Singapore（新加坡国立大学）；Zhejiang university（浙江大学）；Technical University of Munich（慕尼黑工业大学）；Google（谷歌）
针对无需真实相机参数的无约束稀疏多视图图像场景，提出可泛化高斯溅射方法SmileSplat，通过多头高斯回归解码器和Bundle-Adjusting模块优化高斯表面元素与相机参数，在新视图渲染等任务上实现SOTA性能。
2024-11-27 cs.CV
Mask-Based Modeling for Neural Radiance Fields
University of Science and Technology of China（中国科学技术大学）；ByteDance Research（字节跳动研究）；Microsoft Research Asia（微软亚洲研究院）
针对NeRF泛化能力有限的问题，提出基于掩码建模的MRVM-NeRF，通过自监督预训练预测部分掩码特征的完整场景表示，增强跨场景泛化与细节捕获能力，并在合成和真实数据集上验证了有效性。
2024-03-19 cs.CV
MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field
Harbin Institute of Technology (ShenZhen)（哈尔滨工业大学（深圳））
针对传统全景合成缺深度、仅支持3DoF的问题，提出MSI-NeRF，以多球面图像为代价体构建隐式辐射场，仅用源视图和四张图即可泛化实现全向深度估计与6DoF视图合成，性能优于现有方法。
2024-11-03 cs.CV cs.RO
Hash-QNeRF: Multiresolution Hash Encoding for Quantum Neural Radiance Fields
Centres of Innovation and Research（创新与研究中心）；KIIT Deemed to be University（KIIT大学）
研究针对QNeRF中空间坐标正弦位置编码扩展性差的问题，提出用多分辨率哈希编码取代其空间坐标正弦位置编码，设计出Hash-QNeRF，实现快速收敛和内存高效，在合成场景有良好训练损失及PSNR表现，且不降低量子电路噪声容限。
2026-07-27 cs.CV quant-ph
G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles
Technical University of Munich（慕尼黑工业大学）
本研究提出G3DST方法，通过将超网络融入可泛化NeRF实现无需逐场景或逐风格优化的3D风格迁移，并引入基于流的多视图一致性损失，显著提升了效率、适用性和视觉质量。
2024-08-24 cs.CV
Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields
Google Research（谷歌研究院）
本文提出 Zip-NeRF，将 mip-NeRF 360 的抗锯齿锥体推理与 Instant NGP 等网格表示结合，在误差率降低 8%-77% 的同时实现 24 倍训练加速。
2023-10-26 cs.CV cs.GR cs.LG
Efficient Neural Radiance Fields for Interactive Free-viewpoint Video
Zhejiang University（浙江大学）
本文旨在解决有效地产生交互式自由视点视频的挑战。最近的一些工作为神经辐射场配备了图像编码器，使它们能够跨场景进行概括。在处理动态场景时，它们可以简单地将每个视频帧视为一个单独的场景，并执行新颖的视图合成以生成自由视点视频。但是，它们的渲染过程很慢，并且不能支持交互式应用程序。一个主要的因素是他们在推导辐射场时在空的空间中采样大量的点。我们提出了一种新的场景表示，称为ENeRF，用于快速创建交互式自由视点视频。具体来说，给定一帧的多视图图像，我们首先建立级联成本体积来预测场景的粗略几何形状。粗糙的几何形状允许我们在场景表面附近采样几个点，从而显着提高渲染速度。这个过程是完全可区分的，使我们能够从RGB图像中联合学习深度预测和辐射场网络。多个基准上的实验表明，我们的方法具有竞争力的性能，同时至少比以前的可推广的辐射场方法快60倍。
2022-11-27 cs.CV
MaRF: Representing Mars as Neural Radiance Fields
Sapienza University of Rome（罗马第一大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；University of California, San Diego（加州大学圣地亚哥分校）；OPAL AI INC.（OPAL人工智能公司）
这项工作的目的是介绍MaRF，一个新的框架，能够合成火星环境使用几个收集的图像从漫游相机。这个想法是生成火星表面的3D场景，以解决行星表面探索中的关键挑战，例如：行星地质学，模拟导航和形状分析。虽然存在不同的方法来实现火星表面的3D重建，但它们依赖于经典的计算机图形技术，在重建过程中会产生大量的计算资源，并且在将重建推广到看不见的场景和适应来自漫游者相机的新图像方面存在局限性。所提出的框架通过利用神经辐射场（NeRFs）解决了上述限制，NeRFs是一种通过使用稀疏图像集优化连续体积场景函数来合成复杂场景的方法。为了加快学习过程，我们用它们的神经图形基元（NGP）替换了漫游者图像的稀疏集，NGP是一组固定长度的向量，它们被学习以保留原始图像的信息。在实验部分，我们展示了从Currency漫游者，Perseverance漫游者和Incubity直升机捕获的实际火星数据集创建的环境，所有这些都可以在行星数据系统（PDS）上使用。
2022-12-03 cs.CV cs.GR
Tiny-DroNeRF: Tiny Neural Radiance Fields aboard Federated Learning-enabled Nano-drones
Dalle Molle Institute for Artificial Intelligence, USI-SUPSI（达摩院人工智能研究所，USI-SUPSI）；Integrated Systems Laboratory, ETH Zürich（集成系统实验室，ETH Zurich）；Department of Electrical, Electronic and Information Engineering, University of Bologna（电子、电气与信息工程系，博洛尼亚大学）
Tiny-DroNeRF通过联邦学习在纳无人机上实现轻量级NeRF训练，显著降低内存占用并提升3D重建精度。
2026-03-02 cs.CV cs.RO cs.SY
GeoTransfer : Generalizable Few-Shot Multi-View Reconstruction via Transfer Learning
Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息、信号与自动化研究所）；M2S（运动、交互与表现实验室）
本文提出GeoTransfer方法，通过将预训练可泛化NeRF特征快速迁移至隐式占用网络，实现少样本稀疏三维重建，大幅缩短训练时间，并在DTU和Blended MVS数据集上取得领先精度。
2024-09-28 cs.CV
F$^{2}$-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories
The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Texas A&M University（得克萨斯农工大学）
本文提出了一种新的基于网格的NeRF称为F2-NeRF（Fast-Free-NeRF）的新视图合成，它可以实现任意输入相机轨迹，并且只需几分钟的训练时间。现有的快速基于网格的NeRF训练框架，如Instant-NGP，Plenoxels，DVGO或TensoRF，主要是为有界场景设计的，并依赖于空间扭曲来处理无界场景。现有的两种广泛使用的空间扭曲方法仅针对面向前的轨迹或360度以目标为中心的轨迹设计，而不能处理任意轨迹。在本文中，我们深入研究了空间扭曲的机制来处理无界场景。基于我们的分析，我们进一步提出了一种新的空间扭曲方法，称为透视扭曲，它允许我们处理任意的轨迹在基于网格的NeRF框架。大量的实验表明，F2-NeRF能够使用相同的透视变形来渲染高质量的图像上的两个标准数据集和一个新的自由轨迹数据集由我们收集。项目页面：https://totoro97.github.io/projects/f2-nerf。
2023-03-28 cs.CV cs.GR
FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
提出FlowCam，利用可微渲染将光流提升为像素对齐3D场景流并加权拟合SE(3)位姿，实现无需SfM位姿、端到端自监督训练可泛化3D辐射场。
2023-05-31 cs.AI cs.CV cs.GR
NeRF-Loc: Visual Localization with Conditional Neural Radiance Field
Tencent（腾讯）
本文提出NeRF-Loc方法，利用条件神经辐射场和transformer直接匹配隐式3D描述符与2D图像，并引入外观适应层提升跨域鲁棒性，在多个基准上取得更高定位精度。
2023-04-17 cs.CV
HollowNeRF: Pruning Hashgrid-Based NeRFs with Trainable Collision Mitigation
Oppo Mobile Telecommunications Corp.（OPPO移动通信有限公司）
针对基于哈希网格的NeRF难以有效利用3D场景空间稀疏性的问题，提出HollowNeRF方案，通过训练3D显著性掩码结合ADMM剪枝实现训练中自动稀疏化，以更少参数达成更优的渲染质量与成本-精度权衡。
2023-08-19 cs.CV
Benchmarking Robustness in Neural Radiance Fields
Tsinghua University（清华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
神经辐射场（NeRF）在新颖的视图合成中表现出优异的质量，这要归功于其以简洁的公式对3D对象几何形状建模的能力。然而，目前基于NeRF模型的方法依赖于具有准确相机校准的干净图像，这在现实世界中很难获得，其中数据经常受到损坏和失真的影响。在这项工作中，我们提供了第一个全面的分析的鲁棒性的NeRF为基础的新的视图合成算法中存在的不同类型的腐败。我们发现，基于NeRF的模型在存在损坏的情况下会显着退化，并且比图像识别模型对不同的损坏更敏感。此外，我们分析的鲁棒性的特征编码器在一般化的方法，合成图像使用通过卷积神经网络或变压器提取的神经特征，并发现它只有助于边际鲁棒性。最后，我们发现，标准的数据增强技术，可以显着提高识别模型的鲁棒性，没有帮助的NeRF为基础的模型的鲁棒性。我们希望我们的研究结果将吸引更多的研究人员研究基于NeRF的方法的鲁棒性，并有助于提高它们在现实世界中的性能。
2023-01-10 cs.CV
