Cross-Ray Neural Radiance Fields for Novel-view Synthesis from Unconstrained Image Collections
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；Guangzhou Shiyuan Electronics Co., Ltd（广州视源电子股份有限公司）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）
针对非约束图像集合中外观变化与瞬态物体遮挡问题，本文提出 CR-NeRF，通过跨光线特征、全局统计融合及网格采样掩蔽实现无遮挡、外观一致的新视角合成。
2023-08-15 cs.CV
HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
本文提出HAvatar，一种面部模型条件化NeRF混合表示，结合参数化模板先验与GAN图像翻译，实现高保真、稳定且视角一致的3D头部头像动画。
2023-09-29 cs.CV
ShaRF: Shape-conditioned Radiance Fields from a Single View
Google Research（谷歌研究院）
我们提出了一种方法，用于估计神经场景表示的对象，只有一个单一的图像。我们的方法的核心是估计的几何支架的对象和它的使用作为指导的基础辐射场的重建。我们的配方是基于一个生成过程，首先映射一个潜在的代码体素化的形状，然后将其呈现给图像，与对象的外观由第二个潜在的代码控制。在推理过程中，我们优化了潜在代码和网络，以适应新对象的测试图像。形状和外观的明确解纠缠允许我们的模型在给定单个图像的情况下进行微调。然后，我们可以以几何一致的方式渲染新视图，它们忠实地表示输入对象。此外，我们的方法能够推广到训练域之外的图像（更逼真的渲染，甚至是真实的照片）。最后，推断出的几何支架本身是对对象的3D形状的准确估计。我们在几个实验中证明了我们的方法在合成和真实图像的有效性。
2021-06-23 cs.CV cs.GR
SPARF: Large-Scale Learning of 3D Sparse Radiance Fields from Few Input Images
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；University of Oxford（牛津大学）
SPARF提出大规模ShapeNet合成数据集与SuRFNet流程，利用3D稀疏卷积从少量视图生成高质量稀疏体素辐射场，在少视图新视角合成中取得最先进结果。
2023-08-21 cs.CV cs.LG
DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）；NVIDIA Research（英伟达研究院）
获取和创建数字人化身是虚拟临场感、游戏和人体建模等应用中的一个重要问题。用于化身生成的大多数当代方法可以被视为基于3D的方法，其使用多视图数据来学习具有外观（诸如网格、隐式表面或体积）的3D表示，或者基于2D的方法，其学习化身的照片真实感渲染但缺乏准确的3D表示。在这项工作中，我们提出了，DRaCoN，一个框架，用于学习全身体积的化身，它利用了2D和3D神经渲染技术的优势。它由一个微分光栅化模块DiffRas组成，该模块合成目标图像的低分辨率版本以及由参数化身体模型指导的其他潜在特征。然后，DiffRas的输出被用作我们的条件神经3D表示模块（c-NeRF）的条件，该模块使用体积渲染生成最终的高分辨率图像以及身体几何形状。虽然DiffRas有助于获得照片般逼真的图像质量，但c-NeRF采用符号距离场（SDF）进行3D表示，有助于获得精细的3D几何细节。在具有挑战性的ZJU-MoCap和Human3.6M数据集上的实验表明，DRaCoN在错误度量和视觉质量方面都优于最先进的方法。
2022-03-29 cs.CV
SmileSplat: Generalizable Gaussian Splats for Unconstrained Sparse Images
National University of Singapore（新加坡国立大学）；Zhejiang university（浙江大学）；Technical University of Munich（慕尼黑工业大学）；Google（谷歌）
针对无需真实相机参数的无约束稀疏多视图图像场景，提出可泛化高斯溅射方法SmileSplat，通过多头高斯回归解码器和Bundle-Adjusting模块优化高斯表面元素与相机参数，在新视图渲染等任务上实现SOTA性能。
2024-11-27 cs.CV
Neural Radiance Fields (NeRFs): A Review and Some Recent Developments
McGill University（麦吉尔大学）
本文综述神经辐射场（NeRF）框架，介绍其基于MLP编码3D场景、实现新视角合成最优真实感渲染的核心特性，梳理减少训练图像需求、支持无约束动态场景视角生成的最新研究进展。
2023-04-30 cs.CV eess.IV
Reinforcement Learning with Neural Radiance Fields
TU Berlin（柏林工业大学）；Google（谷歌）；MIT（麻省理工学院）
寻找有效的表征方法来训练强化学习（RL）智能体是一个长期存在的问题。本文证明，与其他学习表示或甚至低维手工设计的状态信息相比，从神经辐射场（NeRFs）中监督学习状态表示可以提高RL的性能。具体来说，我们建议训练编码器，将多个图像观测映射到描述场景中对象的潜在空间。从潜在条件NeRF构建的解码器作为监督信号来学习潜在空间。然后，RL算法对学习的潜在空间进行操作，作为其状态表示。我们称之为NeRF-RL。我们的实验表明，NeRF作为监督导致一个潜在的空间更适合下游RL任务，涉及机器人对象操作，如挂在钩子上的杯子，推动物体，或打开门。视频：https://dannydriess.github.io/nerf-rl
2022-06-03 cs.CV cs.LG cs.RO
Semantic-aware Occlusion Filtering Neural Radiance Fields in the Wild
Korea University（高丽大学）
我们提出了一个学习框架，用于从少量无约束的旅游照片中重建神经场景表示。由于每个图像都包含瞬态遮挡物，因此分解静态和瞬态分量对于利用现有方法需要大量训练数据的野外照片构建辐射场是必要的。我们引入SF-NeRF，旨在通过仅给出几张图像来解开这两个组件，它在没有任何监督的情况下利用语义信息。所提出的方法包含一个遮挡过滤模块，预测每个像素的瞬态颜色及其不透明度，这使得NeRF模型能够单独学习静态场景表示。该过滤模块学习由可训练图像编码器获得的逐像素语义特征引导的瞬态现象，该可训练图像编码器可以在多个场景中训练以学习瞬态对象的先验。此外，我们提出了两种技术，以防止二义性的分解和噪声的过滤模块的结果。我们证明，我们的方法优于国家的最先进的新的视图合成方法的Phototourism数据集在一个Few-Shot设置。
2023-03-05 cs.AI cs.CV cs.GR
Identity-Consistent Expression Fields: A Disentangled Neural Radiance Field Framework for Few-Shot Facial Expression Synthesis
University of Science and Technology of Hanoi（河内科技大学）
研究针对少样本面部表情合成问题，提出ICEF框架，将静态身份辐射分量与动态表情变形分量解缠，引入身份保留正则化器，纳入置信度加权条件特征扭曲步骤，提升新表情渲染质量与身份一致性。
2026-07-21 cs.AI cs.CV
StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints
BNRist（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）
神经辐射场（NeRF）实现了具有密集捕获的输入图像的照片级真实感视图合成。然而，NeRF的几何形状是非常受约束的稀疏视图，导致新的视图合成质量显着下降。受自监督深度估计方法的启发，我们提出了StructNeRF，这是一种针对具有稀疏输入的室内场景的新颖视图合成的解决方案。StructNeRF利用自然嵌入在多视图输入中的结构提示来处理NeRF中的无约束几何问题。具体来说，它处理的纹理和非纹理区域分别：基于补丁的多视图一致的光度损失，提出了约束的纹理区域的几何形状，对于非纹理的，我们明确地限制它们是3D一致的平面。通过密集的自监督深度约束，我们的方法提高了NeRF的几何和视图合成性能，而无需对外部数据进行任何额外的训练。在几个真实世界的数据集上进行的大量实验表明，StructNeRF在定量和定性上都超过了室内场景稀疏输入的最先进方法。
2022-09-12 cs.CV cs.GR
SemFaceEdit: Semantic Face Editing on Generative Radiance Manifolds
CVIG Lab, Indian Institute of Technology Gandhinagar（CVIG实验室、印度理工学院冈丁纳格尔）
本文提出 SemFaceEdit 方法，通过在生成辐射流形上生成语义场，利用潜在编码解开面部几何与外观，实现了精确的局部语义人脸编辑，同时保持其他区域完整性。
2025-06-28 cs.CV
Pix2NeRF: Unsupervised Conditional $π$-GAN for Single Image to Neural Radiance Fields Translation
ETH Zürich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
我们提出了一个管道来生成神经辐射场~（NeRF）的对象或场景的特定类，在一个单一的输入图像的条件。这是一项具有挑战性的任务，因为训练NeRF需要同一场景的多个视图，再加上相应的姿势，这是很难获得的。我们的方法是基于$π$ -GAN，生成模型无条件的三维感知图像合成，映射随机潜码的一类对象的辐射场。我们共同优化（1）$π$ -GAN目标，以利用其高保真3D感知生成和（2）精心设计的重建目标。后者包括与$π$ -GAN生成器耦合以形成自动编码器的编码器。与以前的Few-Shot NeRF方法不同，我们的管道是无监督的，能够在没有3D，多视图或姿势监督的情况下使用独立图像进行训练。我们的管道应用包括3D化身生成、使用单个输入图像的以对象为中心的新颖视图合成以及3D感知超分辨率等。
2022-02-26 cs.AI cs.CV cs.GR
PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Technical University of Munich（慕尼黑工业大学）；Cardiff University（卡迪夫大学）；Tencent AI Lab（腾讯人工智能实验室）
我们提出了PVSeRF，一个学习框架，从单视图RGB图像重建神经辐射场，用于新的视图合成。先前的解决方案，例如pixelNeRF，仅依赖于像素对齐的特征，并且遭受特征模糊性问题。结果，他们挣扎于几何和外观的分离，导致难以置信的几何和模糊的结果。为了解决这一挑战，我们建议将明确的几何推理，并结合它与像素对齐的辐射场预测功能。具体来说，除了像素对齐的特征之外，我们还将辐射场学习约束为以i）从粗体积网格学习的体素对齐的特征和ii）从回归点云提取的精细表面对齐的特征为条件。我们表明，这种几何感知功能的引入有助于实现更好的外观和几何之间的解纠缠，即恢复更准确的几何形状和合成更高质量的图像的新观点。针对ShapeNet基准测试中最先进的方法进行的大量实验证明了我们的方法在单图像新颖视图合成方面的优越性。
2022-02-10 cs.CV
GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields
ETH Zürich（苏黎世联邦理工学院）；Delft University of Technology（代尔夫特理工大学）；NVIDIA（英伟达）；University of Birmingham（伯明翰大学）
我们提出了GazeNeRF，一个3D感知的方法的凝视重定向的任务。现有的视线重定向方法在2D图像上操作，并且难以生成3D一致的结果。相反，我们的直觉是，面部区域和眼球是独立的3D结构，它们以协调但独立的方式移动。我们的方法利用了最近的进展，在有条件的基于图像的神经辐射场，并提出了一个双流架构，分别预测的面部和眼睛区域的体积特征。通过3D旋转矩阵对眼睛特征进行严格变换，可对所需的注视角度进行细粒度控制。最后，重定向的图像，然后通过微分体积合成。我们的实验表明，这种架构优于天真的条件NeRF基线，以及以前的国家的最先进的2D凝视重定向方法在重定向的准确性和身份保护。
2023-03-28 cs.CV
pixelNeRF: Neural Radiance Fields from One or Few Images
UC Berkeley（加州大学伯克利分校）
我们提出了pixelNeRF，一个学习框架，预测一个连续的神经场景表示条件的一个或几个输入图像。用于构建神经辐射场的现有方法涉及独立地优化对每个场景的表示，这需要许多校准视图和显著的计算时间。我们通过引入一种架构来解决这些缺点，该架构以完全卷积的方式在图像输入上调节NeRF。这允许网络在多个场景中进行训练以学习场景先验，使其能够以前馈方式从稀疏的视图集合（少至一个）执行新颖的视图合成。利用NeRF的体渲染方法，我们的模型可以直接从图像中训练，而无需显式的3D监督。我们在ShapeNet基准上进行了大量的实验，用于单图像新颖视图合成任务，其中包含保持对象以及整个看不见的类别。我们通过在多对象ShapeNet场景和DTU数据集的真实场景上演示pixelNeRF，进一步展示了它的灵活性。在所有情况下，pixelNeRF都优于当前最先进的基线，用于新颖的视图合成和单个图像3D重建。视频和代码请访问项目网站：https://alexyu.net/pixelnerf
2021-05-30 cs.CV cs.GR cs.LG
Neural Radiance and Gaze Fields for Visual Attention Modeling in 3D Environments
McGill University Centre for Intelligent Machines（麦吉尔大学智能机器中心）
NeRGs通过神经辐射场和注视场结合，实现对3D环境中视觉注意的建模与可视化，支持交互式帧率下的注视场显示并有效处理遮挡问题。
2025-12-03 cs.CV
PixelHuman: Animatable Neural Radiance Fields from Few Images
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对现有可动画人体渲染方法依赖大量训练数据、单场景训练耗时长的问题，提出PixelHuman模型，通过规范表示、姿态感知像素对齐特征和数据驱动变形场实现少样本下的可动画人体合成，性能达当前最优。
2023-07-18 cs.CV
U2NeRF: Unsupervised Underwater Image Restoration and Neural Radiance Fields
Indian Institute of Technology Madras（印度马德拉斯理工学院）
本文提出无监督水下神经辐射场U2NeRF，通过Transformer架构将恢复能力融入NeRF并解耦颜色分量，同时发布UVS数据集，在渲染与恢复指标上优于多个基线。
2024-11-25 cs.CV
Generalizable Neural Radiance Fields for Novel View Synthesis with Transformer
我们提出了一个基于变压器的NeRF（transNeRF）学习一个通用的神经辐射场条件下的新的视图合成任务的视图图像。相比之下，现有的基于MLP的NeRF不能直接接收任意数量的观察视图，并且需要辅助的基于池化的操作来融合源视图信息，导致源视图和目标渲染视图之间的复杂关系缺失。此外，目前的方法单独处理每个3D点，忽略了辐射场场景表示的局部一致性。这些限制可能会降低它们在具有挑战性的现实世界应用中的性能，其中源视图和新的渲染视图之间可能存在很大的差异。为了解决这些挑战，我们的transNeRF利用注意力机制自然解码任意数量的源视图到基于坐标的场景表示的深关联。在统一的Transformer网络中，考虑了光线投射空间和周围视图空间中形状和外观的局部一致性。实验表明，我们的TransNeRF，在各种场景上训练，可以实现更好的性能相比，最先进的基于图像的神经渲染方法在场景不可知和每场景微调的情况下，特别是当有一个相当大的差距源视图和渲染视图。
2022-06-10 cs.CV
GaRe: Relightable 3D Gaussian Splatting for Outdoor Scenes from Unconstrained Photo Collections
Nanjing University（南京大学）；Brown University（布朗大学）；JSTI Group（JSTI集团）
针对非约束户外照片集，本文提出基于 3D Gaussian splatting 与本征分解的 GaRe 框架，通过太阳可见性提取、区域监督和光线追踪阴影实现高保真、可控重光照。
2025-07-28 cs.CV
Car-Studio: Learning Car Radiance Fields from Single-View and Endless In-the-wild Images
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州））
针对自动驾驶模拟器中车辆旋转模糊问题，提出Car-Studio流程，从野外单视图图像学习车辆辐射场，实现清晰轮廓与可控外观编辑，性能优于基线。
2023-07-26 cs.CV
Drantal-NeRF: Diffusion-Based Restoration for Anti-aliasing Neural Radiance Field
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
针对NeRF渲染中的锯齿伪影问题，提出基于扩散模型的Drantal-NeRF修复方法，结合特征包裹与VAE微调实现多视图一致的抗锯齿渲染，适用于多种NeRF骨干，在城市场景等数据集上取得显著提升。
2024-07-10 cs.CV
Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；PhiGent Robotics（鉴智机器人）
说话人头像合成是一项新兴技术，在电影配音、虚拟化身、网络教育等领域有着广泛的应用。最近基于NeRF的方法生成更自然的谈话视频，因为它们更好地捕捉面部的3D结构信息。然而，需要为每个具有大型数据集的身份训练特定的模型。在本文中，我们提出了动态面部辐射场（DFRF）的Few-Shot说话的头部合成，它可以快速推广到一个看不见的身份与少量的训练数据。与现有的基于NeRF的方法直接将特定人的3D几何形状和外观编码到网络中不同，我们的DFRF条件人脸辐射场在2D外观图像上学习人脸先验。因此，面部辐射场可以灵活地调整到新的身份与几个参考图像。此外，为了更好地建模的面部变形，我们提出了一个可微的面部变形模块的音频信号的条件下变形的所有参考图像的查询空间。大量的实验表明，只有几十秒的训练剪辑可用，我们提出的DFRF可以合成自然和高质量的音频驱动的说话头部视频的新身份，只有40k迭代。我们强烈建议读者查看我们的补充视频，以进行直观的比较。代码可在https://sstzal.github.io/DFRF/上找到。
2022-07-24 cs.CV
Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Google（谷歌）；The Chinese University of Hong Kong（香港中文大学）
隐式神经渲染技术在新的视图合成中显示出了很好的效果。然而，现有的方法通常将整个场景作为一个整体进行编码，这通常不知道对象的身份，并限制了移动或添加家具等高级编辑任务的能力。在本文中，我们提出了一种新的神经场景渲染系统，学习对象组成的神经辐射场，并产生具有编辑能力的集群和真实世界的场景逼真的渲染。具体来说，我们设计了一种新的双通道架构，其中场景分支编码场景的几何形状和外观，对象分支编码每个独立的对象条件下学习对象激活码。为了在严重混乱的场景中生存训练，我们提出了一种场景引导的训练策略来解决遮挡区域中的3D空间模糊性，并为每个对象学习清晰的边界。大量的实验表明，我们的系统不仅达到了竞争力的性能，静态场景的新视图合成，但也产生逼真的渲染对象级编辑。
2021-09-04 cs.CV
OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields
National University of Singapore（新加坡国立大学）
提出OD-NeRF，通过多视角投影颜色条件模型和占用网格转换更新算法，实现动态场景的即时流式训练与渲染，速度达6FPS并显著超越现有方法。
2023-05-24 cs.CV
Orientation-conditioned Facial Texture Mapping for Video-based Facial Remote Photoplethysmography Estimation
Australian National University（澳大利亚国立大学）；Data61, Commonwealth and Scientific Industrial Research Organization（联邦科学与工业研究组织Data61）；University of Turku（图尔库大学）
本文提出利用三维面部表面构建方向条件化面部纹理视频表示，以提升视频rPPG估计在动态运动下的鲁棒性，并在MMPD跨数据集测试中取得最高29.6%的性能提升。
2024-05-01 cs.CV
FDNeRF: Few-shot Dynamic Neural Radiance Fields for Face Reconstruction and Expression Editing
City University of Hong Kong（香港城市大学）；Tencent AI Lab（腾讯人工智能实验室）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
我们提出了一个Few-Shot动态神经辐射场（FDNeRF），第一个NeRF为基础的方法，能够重建和表达编辑的基础上，少量的动态图像的三维人脸。与现有的动态NeRFs不同，需要密集的图像作为输入，只能为单个身份建模，我们的方法使人脸重建不同的人与Few-Shot的输入。与设计用于建模静态场景的最先进的Few-Shot NeRF相比，所提出的FDNeRF接受视图不一致的动态输入并且支持任意面部表情编辑，即，产生具有输入表情之外的新颖表情的面部。为了处理动态输入之间的不一致性，我们引入了一个精心设计的条件特征扭曲（CFW）模块，在二维特征空间中执行表达式条件扭曲，这也是身份自适应和三维约束。结果，不同表情的特征被转换成目标表情。然后，我们构建了一个辐射场的基础上，这些视图一致的功能，并使用体绘制合成新的意见，建模的脸。大量的实验与定量和定性评价表明，我们的方法优于现有的动态和Few-Shot NeRFs的三维人脸重建和表情编辑任务。代码可在https://github.com/FDNeRF/FDNeRF上获得。
2022-09-12 cs.CV
A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis
Inria（法国国家信息与自动化研究所）；Université Laval（拉瓦尔大学）；Adobe Research（奥多比研究院）
针对单光照多视图数据下辐射场重光照的欠约束难题，提出利用2D扩散模型先验增强多光照数据，结合3D高斯泼溅与光照参数化感知机实现完整场景的真实感3D重光照。
2024-09-17 cs.CV cs.GR
DoF-NeRF: Depth-of-Field Meets Neural Radiance Fields
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）
神经辐射场（NeRF）及其变体在表示3D场景和合成照片级逼真的新颖视图方面取得了巨大成功。然而，它们通常基于针孔相机模型，并假设全聚焦输入。这限制了它们的适用性，因为从现实世界捕获的图像通常具有有限的景深（DoF）。为了解决这个问题，我们引入了DoF-NeRF，这是一种新的神经渲染方法，可以处理浅DoF输入，并可以模拟DoF效果。特别地，它扩展了NeRF来模拟透镜的孔径遵循几何光学的原则。这样的物理保证允许DoF-NeRF操作具有不同焦点配置的视图。受益于显式光圈建模，DoF-NeRF还可以通过调整虚拟光圈和焦点参数来直接操纵DoF效果。它是即插即用的，可以插入基于NeRF的框架。在合成数据集和真实数据集上的实验表明，DoF-NeRF不仅可以在全聚焦条件下实现与NeRF的融合，而且可以在浅DoF输入条件下合成全聚焦的新视图。一个有趣的应用DoF-NeRF的自由度渲染也被证明。源代码将在https://github.com/zijinwuzijin/DoF-NeRF上提供。
2022-08-01 cs.CV
NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects
National University of Singapore（新加坡国立大学）
动态神经辐射场（NeRF）是一种功能强大的算法，能够从动态场景的单目RGB视频中绘制出照片级真实感的新视图图像。虽然动态NeRF将帧间的移动点从观察空间扭曲到一个公共的规范空间进行渲染，但动态NeRF在扭曲过程中不会对反射颜色的变化进行建模。因此，这种方法在处理运动中具有挑战性的镜面对象时往往会彻底失败。我们通过重新制定的神经辐射场函数的表面位置和方向的观察空间中的条件来解决这个限制。这允许不同姿势的镜面反射表面在映射到公共规范空间时保持不同的反射颜色。此外，我们加入了运动物体的掩模来引导变形场。由于镜面反射表面在运动期间改变颜色，因此掩模缓解了仅用RGB监督无法找到时间对应的问题。我们评估我们的模型的基础上，新的视图合成质量与自我收集的数据集不同的移动镜面物体在现实环境中。实验结果表明，我们的方法显着提高了重建质量的运动镜面物体从单目RGB视频相比，现有的NeRF模型。我们的代码和数据可以在项目网站https://github.com/JokerYan/NeRF-DS上找到。
2023-03-25 cs.CV cs.GR
From Explicit References to Scene Manifolds: Distributional Fidelity and Realism for Radiance Field Quality Assessment
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（imec研究院）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对辐射场渲染视图质量评估，提出SCODA方法，通过场景流形建模和失真感知判别器，实现无需参考图像的客观评估，在多个基准上验证了与人类判断的高度一致性。
2026-09-09 cs.CV
Likelihood-Based Generative Radiance Field with Latent Space Energy-Based Model for 3D-Aware Disentangled Image Representation
University of California - UCLA（加州大学洛杉矶分校）；Baidu Research（百度研究院）
本文提出NeRF-LEBM，将神经辐射场与潜空间能量模型结合，通过最大似然和变分推断实现3D感知的图像生成，支持新视角合成、不完整图像学习及已知或未知相机位姿场景。
2023-04-16 cs.CV stat.ML
Gaussian in the Wild: 3D Gaussian Splatting for Unconstrained Image Collections
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对无约束野外图像新视角合成中光度变化、瞬态遮挡导致重建难的问题，提出GS-W方法，通过带分离外观特征的3D高斯点、自适应采样及2D可见性图，实现了比NeRF类方法更优的重建质量与更快的渲染速度。
2024-07-14 cs.CV
Joint Learning of Depth, Pose, and Local Radiance Field for Large Scale Monocular 3D Reconstruction
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出联合学习深度、姿态和局部辐射场的方法，实现大规模单目3D重建，有效降低轨迹误差，提升重建精度和视角合成质量。
2026-01-29 cs.CV cs.RO
GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
针对现有3D辐射表示存在的建模能力弱、难与主流扩散方法集成的问题，提出结构化显式表示GaussianCube，通过带约束高斯拟合与最优传输重排实现紧凑高精度表示，在多项3D生成任务上取得SOTA效果。
2024-10-31 cs.CV
4K-NeRF: High Fidelity Neural Radiance Fields at Ultra High Resolutions
Alibaba Group（阿里巴巴集团）
本文提出4K-NeRF框架，通过3D感知编码器和解码器利用光线相关性恢复高频细节，结合块采样与面感知正则化，显著提升了超高分辨率场景下的视图合成保真度。
2023-04-04 cs.CV
SIGNeRF: Scene Integrated Generation for Neural Radiance Fields
University of Tübingen（蒂宾根大学）
SIGNeRF利用深度条件扩散模型生成多视图参考表，实现无需迭代优化的快速可控NeRF场景编辑与场景集成式物体生成，并支持空间位置与形状引导控制。
2024-03-27 cs.CV cs.GR
Wild3R: Feed-Forward 3D Gaussian Splatting from Unconstrained Sparse Photo Collection
The University of Tokyo（东京大学）
提出Wild3R，一种针对无约束稀疏照片集合的前馈式3D高斯泼溅方法，通过引入包含多样光照和瞬态物体的WildCity数据集，学习跨视角外观一致性并移除瞬态内容，性能优于现有前馈方法，与基于逐场景优化的方法相当。
2026-06-12 cs.CV
Neural Image-based Avatars: Generalizable Radiance Fields for Human Avatar Modeling
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Google Research（谷歌研究院）；Adobe Research（奥多比研究院）
本文提出NIA方法，通过混合隐式身体NeRF与基于图像的渲染，从稀疏多视角图像中实现任意人体的新视角与新姿态合成，在身份泛化和姿态泛化上均优于现有方法。
2023-04-10 cs.CV
GARField: Group Anything with Radiance Fields
UC Berkeley（加州大学伯克利分校）；Luma AI
GARField通过优化尺度条件的3D亲和力特征场，利用SAM掩码构建从粗到细的层次分组，实现多视角一致的3D场景层次化语义分解，并在自然场景中验证了其在物体簇、物体及子部件等多粒度分组上的有效性。
2024-01-17 cs.CV cs.GR
CoDe-NeRF: Neural Rendering via Dynamic Coefficient Decomposition
提出基于动态系数分解的神经渲染框架CoDe-NeRF，通过静态神经基与动态系数结合改善视角相关外观建模，生成更锐利逼真的镜面高光。
2025-08-08 cs.AI cs.CV
Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance Fields
Monash University（莫纳什大学）；Nanyang Technological University（南洋理工大学）
本文提出新任务Semantic-to-NeRF翻译及Sem2NeRF框架，通过将单视图语义掩码编码为潜在代码控制预训练解码器，并引入区域感知学习策略，实现了从单视图语义掩码重建3D场景，在两个基准数据集上优于多个强基线。
2022-07-21 cs.AI cs.CV cs.GR
WildActor: Unconstrained Identity-Preserving Video Generation
The Hong Kong University of Science（香港科学与技术大学）；National University of Singapore（新加坡国立大学）
WildActor通过不对称注意力机制和视点自适应采样策略，在无约束视角下实现身份保持的人类视频生成。
2026-03-09 cs.CV
Optimized View and Geometry Distillation from Multi-view Diffuser
Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）
本文提出USD无偏分数蒸馏与二维扩散模型两步特化方法，利用多视图扩散模型优化辐射场，从而在保持相机定位自由的同时生成一致多视图并恢复高质量几何纹理。
2025-05-13 cs.CV
CamP: Camera Preconditioning for Neural Radiance Fields
Google Research（谷歌研究院）
本文提出CamP方法，通过代理问题计算白化变换作为相机参数的预条件器，解决NeRF联合优化中参数病态问题，显著提升重建质量并降低误差。
2023-08-30 cs.CV cs.GR
LOLNeRF: Learn from One Look
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙弗雷泽大学）；Google Research（谷歌研究院）
我们提出了一种基于神经辐射场的生成3D模型的学习方法，该方法仅从每个对象的单个视图的数据中训练。虽然生成逼真的图像不再是一项困难的任务，但生成相应的3D结构以使它们可以从不同的视图渲染是不平凡的。我们表明，与现有的方法不同，不需要多视图数据来实现这一目标。具体来说，我们表明，通过重建许多图像对齐到一个近似的规范姿势与一个单一的网络条件下共享的潜在空间，你可以学习辐射场的空间，模型的形状和外观的一类对象。我们通过训练模型来证明这一点，以使用仅包含每个主题的一个视图而没有深度或几何信息的数据集来重建对象类别。我们的实验表明，我们在新颖的视图合成和高质量的单目深度预测结果达到了最先进的结果。
2022-04-26 cs.CV
Text-Image Conditioned Diffusion for Consistent Text-to-3D Generation
Tsinghua University（清华大学）；Beijing Jiaotong University（北京交通大学）
针对现有文本到3D生成方法多视图一致性不足的问题，提出将多视图图像条件纳入NeRF优化监督的文本-图像条件扩散方法，有效缓解密度异常问题，在T$^3$Bench上取得SOTA性能。
2023-12-19 cs.CV
GANwriting: Content-Conditioned Generation of Styled Handwritten Word Images
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；omni:us（omni:us 公司）
虽然目前的图像生成方法已经达到了令人印象深刻的质量水平，他们仍然无法产生合理的，但不同的图像的手写文字。相反，当手写时，在不同的作者之间观察到很大的差异，即使在分析同一个人的潦草文字时，无意识的变化也很明显。在这项工作中，我们更接近于生产现实和各种人工渲染的手写文字。我们提出了一种新的方法，能够产生可信的手写文字图像的生成过程中，书法风格的功能和文本内容的条件。我们的生成器由三个互补的学习目标指导：生成逼真的图像，模仿某种手写风格，并传达特定的文本内容。我们的模型不受任何预定义词汇的限制，能够呈现任何输入单词。给定一个示例编写器，它还能够在Few-Shot设置中模仿其书法特征。我们显著优于现有技术，并通过定性、定量和基于人的评估来展示我们合成产生的图像的现实方面。
2020-07-21 cs.CV
NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions
ETH Zürich（苏黎世联邦理工学院）；CSEM（瑞士电子与微技术中心）；Google Zürich（谷歌苏黎世）
针对姿态条件卷积生成模型3D先验不足的问题，提出从预训练NeRF-GAN蒸馏3D知识的方法，复用其解耦潜空间实现高效3D一致图像生成，效果与体渲染相当且计算更优。
2023-07-24 cs.CV cs.GR cs.LG
Instruct-Video2Avatar: Video-to-Avatar Generation with Instructions
本文提出Instruct-Video2Avatar，结合图像条件扩散模型、视频风格化和可变形神经辐射场，从单目RGB视频与文本指令生成可动画的照片级真实3D头部化身，并在实验中优于现有方法。
2023-06-05 cs.CV
ROGR: Relightable 3D Objects using Generative Relighting
Google Research（谷歌研究）；Google Deepmind（谷歌DeepMind）；Technical University of Munich（慕尼黑技术大学）
ROGR通过生成光照模型实现可重照明的3D物体重建，采用双分支架构的光照条件NeRF，高效生成任意环境光照下的物体外观。
2025-12-03 cs.CV cs.GR
BathyFacto: Refraction-Aware Two-Media Neural Radiance Fields for Bathymetry
Department of Geodesy and Geoinformation, TU Wien（维也纳技术大学测绘与地理信息系）；Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院测绘与遥感研究所）；Unit of Geometry and Surveying, University of Innsbruck（因斯布鲁克大学几何与测绘单位）
BathyFacto通过整合Nerfacto，利用折射-aware的双介质神经辐射场技术，提高水下点云的测量精度，解决了水面折射带来的系统性深度偏差问题。
2026-07-17 cs.CV
CG3D: Compositional Generation for Text-to-3D via Gaussian Splatting
University of California Los Angeles（加州大学洛杉矶分校）
CG3D利用可组合的高斯辐射场表示，解决了文本到3D生成中多物体场景、文本控制组合和物理真实性问题，在物体组合与物理精度上超越扩散模型。
2023-11-29 cs.AI cs.CV
