Progressive Radiance Distillation for Inverse Rendering with Gaussian Splatting
State Key Lab of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）
提出一种结合物理渲染与高斯辐射场的渐进式辐射蒸馏逆渲染方法，通过蒸馏进度图实现两者平滑过渡，缓解重光照伪影并提升新视角合成质量，且可适配基于网格的逆渲染方法。
2024-08-14 cs.CV
FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance Fields by Analyzing and Enhancing Fourier PlenOctrees
University of Bonn（波恩大学）
本文针对 Fourier PlenOctrees 结合静态 NeRF 训练时产生的压缩伪影，提出改进的密度编码与训练数据增强方法，显著减少了动态模型伪影并提升了渲染效果。
2024-08-27 cs.CV cs.GR
Adaptive Shells for Efficient Neural Radiance Field Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
提出自适应外壳方法，通过显式网格包围神经辐射场并在固体区域用单样本渲染，实现高效高保真渲染，并支持动画和模拟等下游应用。
2023-11-16 cs.CV cs.GR
PlenOctrees for Real-time Rendering of Neural Radiance Fields
UC Berkeley（加州大学伯克利分校）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Pinscreen
我们介绍了一种使用PlenOctrees（一种基于八叉树的3D表示，支持视点相关效果）来实时的绘制神经辐射场（NeRFs）的方法。我们的方法可以以超过150 FPS的速度渲染800 x800的图像，比传统的NeRF快3000倍以上。我们这样做不会牺牲质量，同时保留了NeRFs对具有任意几何形状和视图相关效果的场景执行自由视点渲染的能力。实时的性能是通过将NeRF预先制表到PlenOctree中来实现的。为了保持与视角相关的效果，如镜面反射，我们通过封闭形式的球面基函数分解外观。具体而言，我们表明，它是可能的训练NeRF预测的辐射率的球谐表示，删除的观看方向作为输入到神经网络。此外，我们表明，PlenOctrees可以直接优化，以进一步减少重建损失，这导致与竞争方法相比质量相等或更好。此外，这个八叉树优化步骤可以用来减少训练时间，因为我们不再需要等待NeRF训练完全收敛。我们实时的神经渲染方法有可能实现新的应用，如6-DOF工业和产品可视化，以及下一代AR/VR系统。PlenOctrees也可以在浏览器中渲染;请访问项目页面以获得交互式在线演示以及视频和代码：https://alexyu.net/plenoctrees
2021-08-17 cs.CV cs.GR
Radiance Meshes for Volumetric Reconstruction
Google（谷歌）
本文提出辐射网格技术，通过Delaunay四面体化实现高效体积重建，结合光栅化和光线追踪实现高质量实时渲染，并支持多种应用扩展。
2025-12-03 cs.CV cs.GR
Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering
NVIDIA（英伟达）；Cornell University（康奈尔大学）；National Taiwan University（台湾大学）
本文提出基于自适应稀疏体素和定制光栅化器的无神经辐射场渲染方法，以高分辨率实现实时高保真新视角合成，并显著提升PSNR与FPS。
2025-03-17 cs.CV cs.GR
Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields
Google（谷歌）；UC Berkeley（加州大学伯克利分校）
神经辐射场（NeRF）使用的渲染过程以每像素单个射线对场景进行采样，因此当训练或测试图像以不同分辨率观察场景内容时，可能会产生过度模糊或混叠的渲染。对于NeRF来说，通过每个像素渲染多条射线来实现超分辨率的简单解决方案是不切实际的，因为渲染每条射线需要查询多层感知器数百次。我们的解决方案，我们称之为“mip-NeRF”（一个la“mipmap”），扩展NeRF表示场景在连续值的规模。通过有效地渲染抗锯齿的截头圆锥体而不是射线，mip-NeRF减少了令人讨厌的锯齿伪影，并显着提高了NeRF表示精细细节的能力，同时比NeRF快7%，尺寸减半。与NeRF相比，mip-NeRF在NeRF提供的数据集上将平均出错率降低了17%，在我们提供的具有挑战性的多尺度数据集上降低了60%。Mip-NeRF还能够在我们的多尺度数据集上匹配蛮力超采样NeRF的精度，同时速度提高22倍。
2021-08-14 cs.CV cs.GR
NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
虽然NeRF在神经重建和渲染方面取得了巨大的成功，但其有限的MLP容量和较长的每个场景优化时间使得对大规模室内场景建模具有挑战性。相比之下，经典的3D重建方法可以处理大规模的场景，但不产生逼真的渲染。我们提出了NeRFusion，一种结合了NeRF和TSDF融合技术的优点的方法，以实现高效的大规模重建和照片级真实感渲染。我们处理输入图像序列，通过直接网络推理预测每帧局部辐射场。然后使用一种新型的递归神经网络将这些融合，该网络以22 fps的速度实时增量重建全局稀疏场景表示。这个全局体积可以进一步微调，以提高渲染质量。我们证明了NeRFusion在大规模室内和小规模物体场景上都达到了最先进的质量，并且比NeRF和其他最近的方法重建速度更快。
2022-03-21 cs.CV cs.GR
Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time
ShanghaiTech University（上海科技大学）；DGene（叠境数字）；KU Leuven（鲁汶大学）
诸如神经辐射场（NeRF）的隐式神经表示主要集中于对在多视图设置下捕获的静态对象进行建模，其中可以利用智能数据结构来实现实时的【形】渲染，例如，PlenOctree。在本文中，我们提出了一种新的傅立叶PlenOctree（FPO）技术，以解决有效的神经建模和实时的【形】渲染的动态场景下的自由视角视频（FVV）设置。我们FPO的关键思想是广义NeRF，PlenOctree表示，体积融合和傅立叶变换的新组合。为了加速FPO的建设，我们提出了一种新的粗到细的融合方案，利用可推广的NeRF技术，通过空间混合生成树。为了处理动态场景，我们调整隐式网络来模拟时变密度和颜色属性的傅立叶系数。最后，我们构造FPO和训练的傅立叶系数直接在一个联盟PlenOctree结构的动态序列的叶子。我们表明，由此产生的FPO使紧凑的内存过载处理动态对象，并支持有效的微调。大量的实验表明，该方法是3000倍的速度比原来的NeRF和实现超过一个数量级的加速SOTA，同时保持高的视觉质量的自由视点渲染看不见的动态场景。
2022-02-22 cs.CV cs.GR
Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；KAIST（韩国科学技术院）；Adobe Research（Adobe 研究院）
在本文中，我们的目标是合成一个自由视点视频的任意人的表现，使用稀疏的多视角相机。最近，一些工作已经解决了这个问题，通过学习人特定的神经辐射场（NeRF）捕捉一个特定的人的外观。同时，一些工作提出使用像素对齐的特征来将辐射场推广到任意新的场景和对象。然而，由于身体部位的严重闭塞和动态关节，将这种泛化方法应用于人类是非常具有挑战性的。为了解决这个问题，我们提出了神经人类表演者，一种新的方法，学习广义的神经辐射场的基础上，参数化的人体模型的鲁棒性能捕获。具体来说，我们首先介绍了一个时间Transformer，聚合跟踪的视觉功能的基础上，随着时间的推移的骨骼身体运动。此外，多视图Transformer被提出来在每个时间步执行时间融合特征和像素对齐特征之间的交叉注意，以整合来自多个视图的动态观察。在ZJU-MoCap和AIST数据集上的实验表明，我们的方法在看不见的身份和姿态上显着优于最近的可推广的NeRF方法。视频结果和代码可在https://youngjoongunc.github.io/nhp上获得。
2021-09-15 cs.CV cs.GR
Rethinking Directional Integration in Neural Radiance Fields
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
本文通过交换NeRF渲染方程中的积分算子与方向解码器，将方向项移出积分，解耦视角相关与无关分量，从而以极简代码改动一致提升不同NeRF变体的视角相关效果渲染质量。
2023-11-28 cs.CV cs.GR
VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams
ShanghaiTech University（上海科技大学）；KU Leuven（荷语鲁汶大学）；NeuDim
VideoRF首次将4D动态辐射场表示为可被视频编解码器压缩的2D特征图像流，结合专用渲染管线与延迟着色，在移动端实现实时流式传输与自由视点渲染。
2023-12-03 cs.CV
Generalizable Neural Voxels for Fast Human Radiance Fields
Huazhong University of Science & Technology（华中科技大学）
从单目视频中绘制自由视点的运动人体是一个很有挑战性的问题。信息太稀疏，从视图和姿势维度建模复杂的人体结构和运动。神经辐射场（NeRF）在新的视图合成中显示出强大的功能，并已被应用于人体绘制。然而，目前大多数基于NeRF的方法在训练和渲染方面都需要花费巨大的成本，这阻碍了在现实生活中的广泛应用。在本文中，我们提出了一个渲染框架，可以学习移动人体结构非常迅速地从单目视频。该框架是通过集成神经场和神经体素构建的。特别地，构造了一组可推广的神经体素。通过对各种人体进行预训练，这些通用体素表示基本骨架，并可以提供强大的几何先验。对于微调过程，构建个体体素用于学习差分纹理，与一般体素互补。因此，学习一个新的身体可以进一步加快，只需要几分钟。与以前的方法相比，我们的方法显示出显着更高的训练效率，同时保持类似的渲染质量。该项目的页面位于https://taoranyi.com/gneuvox。
2023-03-27 cs.CV cs.GR
TraM-NeRF: Tracing Mirror and Near-Perfect Specular Reflections through Neural Radiance Fields
University of Bonn（波恩大学）
针对NeRF中镜面反射导致的伪影问题，提出一种基于物理材质建模和蒙特卡洛估计的反射追踪方法，实现高效且一致的场景重建，性能优于现有方法。
2023-10-16 cs.CV cs.GR
Radiometrically Consistent Gaussian Surfels for Inverse Rendering
School of Computing（计算机学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
RadioGS通过引入辐射一致性约束，结合高斯Surfels和二维高斯射线追踪，实现高效的反演渲染，提升对间接光照的建模精度。
2026-03-02 cs.CV cs.GR
Baking Neural Radiance Fields for Real-Time View Synthesis
Google Research（谷歌研究院）
诸如神经辐射场（NeRF）的神经体积表示已经成为用于学习从图像表示3D场景的引人注目的技术，其目标是从未观察到的视点渲染场景的照片级真实感图像。然而，NeRF的计算要求对于实时的【形】应用是禁止的：从经过训练的NeRF渲染视图需要查询多层感知器（MLP）数百次。我们提出了一种方法来训练NeRF，然后将其预计算和存储（即“烘焙”）为一种称为稀疏神经辐射网格（SNeRG）的新表示，该表示可以在商品硬件上实时的【形】渲染。为了实现这一点，我们引入了1）NeRF架构的重新表述，以及2）具有学习特征向量的稀疏体素网格表示。生成的场景表示保留了NeRF渲染精细几何细节和视图相关外观的能力，紧凑（每个场景平均不到90 MB），并且可以实时的【形】渲染（在笔记本电脑GPU上每秒超过30帧）。实际屏幕截图显示在我们的视频。
2021-03-26 cs.CV cs.GR
Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting
VCC, CSSE, Shenzhen University（深圳大学视觉计算中心、计算机科学与工程系）；Tencent Games（腾讯游戏）
本文提出增强辐射场框架，通过视图依赖的不透明度建模镜面效应，提升3D高斯散射的渲染性能和参数效率。
2026-02-23 cs.CV cs.GR
H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion
Google Research（谷歌研究院）
我们提出了神经辐射场的渲染和时间（4D）重建的人在运动中（H-NeRF），由一组稀疏的相机，甚至从单目视频捕获。我们的方法结合了神经场景表示，新颖的视图合成和隐式统计几何人类表示的想法，再加上使用新的损失函数。而不是学习一个辐射场均匀占用先验，我们约束它的结构化隐式人体模型，使用符号距离函数表示。这使我们能够鲁棒地融合来自稀疏视图的信息，并在训练中观察到的姿势或视图之外进行推广。此外，我们应用几何约束来共同学习观察对象的结构-包括身体和衣服-并将辐射场正则化为几何上合理的解决方案。在多个数据集上进行的大量实验证明了我们的方法的鲁棒性和准确性，其泛化能力显著超出了姿势和视图的小训练集，以及超出观察到的形状的统计外推。
2021-11-02 cs.CV
Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance Fields
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
由于点云表示的稀疏性，从点云合成照片级真实感图像是具有挑战性的。最近提出的神经辐射场和扩展用于从2D输入合成逼真的图像。在本文中，我们提出了Point2Pix作为一种新的点渲染器连接的3D稀疏点云与2D密集的图像像素。利用点云3D先验和NeRF渲染管道，我们的方法可以从彩色点云合成高质量的图像，通常用于新颖的室内场景。为了提高射线采样的效率，我们提出了点引导采样，它侧重于有效样本。此外，我们提出了点编码来构建多尺度辐射场，提供有区别的3D点特征。最后，我们提出了融合编码，以有效地合成高质量的图像。在ScanNet和ArkitScenes数据集上的大量实验证明了该方法的有效性和推广性。
2023-03-29 cs.CV
CeRF: Convolutional Neural Radiance Fields for New View Synthesis with Derivatives of Ray Modeling
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
本文提出CeRF卷积神经辐射场，用一维卷积建模沿射线的辐射导数，并结合循环模块消除几何歧义，从而提升新视角合成质量。
2024-06-15 cs.CV cs.GR
TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）；Visual Computing Erlangen（埃尔朗根视觉计算中心）
针对3D Gaussian Splatting模糊和ADOP性能低、时间不稳定等问题，提出TRIPS方法，通过将点光栅化到屏幕空间图像金字塔并结合轻量级神经网络，在保持60FPS实时渲染的同时显著提升了渲染质量。
2024-03-26 cs.CV cs.GR
Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM实验室，巴黎路桥学院，古斯塔夫·埃菲尔大学，法国国家科学研究中心）
提出Gaussian Frosting，一种基于网格的可编辑复杂辐射场表示方法，通过在基础网格周围构建自适应厚度的高斯层捕捉细节和体积效果，实现实时高质量渲染、编辑与动画。
2024-03-21 cs.CV cs.GR
Object-Centric Neural Scene Rendering
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
我们提出了一种方法，用于组成逼真的场景从捕获的图像的对象。我们的工作建立在神经辐射场（NeRFs）的基础上，它隐含地模拟了场景的体积密度和定向发射的辐射。虽然NeRFs合成逼真的图片，但它们只对静态场景进行建模，并且与特定的成像条件密切相关。这个属性使得NeRF很难推广到新的场景，包括新的照明或新的对象排列。我们建议学习以对象为中心的神经散射函数（OSF），而不是像NeRF那样学习场景辐射场，OSF是一种使用照明和视图相关的神经网络隐式建模每个对象光传输的表示。这使得即使对象或灯光移动时也可以渲染场景，而无需重新训练。结合体积路径追踪程序，我们的框架是能够渲染内和对象间的光传输效果，包括闭塞，镜面反射，阴影，和间接照明。我们评估我们的方法在场景组成，并表明它概括到新的照明条件下，产生逼真的，物理上准确的多对象场景渲染。
2020-12-15 cs.CV cs.GR
Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields
City University of Hong Kong（香港城市大学）；Tencent AI Lab（腾讯AI实验室）
提出基于NeRF和光线追踪的5D神经全光函数及材质感知圆锥采样策略，通过两阶段方法实现复杂光照下光泽物体的高保真几何与材质重建。
2024-03-24 cs.CV
VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文针对VR系统中3D高斯溅射或神经点渲染存在的性能与视觉质量矛盾，提出注视点渲染混合方法，结合两者优势，在保证性能的同时提升细节与清晰度，增强VR沉浸式体验。
2025-04-15 cs.CV cs.GR
Volume Feature Rendering for Fast Neural Radiance Field Reconstruction
La Trobe University（乐卓博大学）
本文提出体积特征渲染方法，将NeRF渲染流程改为先渲染光线特征向量再经单次神经网络转换为像素颜色，大幅降低计算量，从而在几分钟训练时间内用更大网络取得最先进渲染质量。
2023-05-31 cs.CV
Ev-GS: Event-based Gaussian splatting for Efficient and Accurate Radiance Field Rendering
The University of Hong Kong（香港大学）
Ev-GS提出首个基于事件相机的高斯溅射方案，实现高效准确的新视角合成，克服快速移动和低光照挑战，优于帧基方法并降低计算占用。
2024-07-16 cs.CV
Boosting Point Clouds Rendering via Radiance Mapping
Shanghai Jiao Tong University（上海交通大学）；Anhui University（安徽大学）；Shanghai AI Lab（上海人工智能实验室）
近几年来，基于NeRF的图像绘制技术由于其高质量的特性得到了迅速的发展。然而，点云渲染在某种程度上较少探索。与基于NeRF的渲染相比，其遭受密集空间采样，点云渲染的计算强度自然较低，这使得其能够部署在移动计算设备中。在这项工作中，我们专注于提高点云渲染的图像质量与紧凑的模型设计。首先分析了体渲染公式在点云上的适应性。基于分析，我们简化了NeRF表示的空间映射函数，它只需要单个评估每个像素。此外，受光线行进的启发，我们将噪声的原始点云校正为光线与表面之间的估计交点作为查询坐标，这可以避免\textit{spatial frequency collapse}和相邻点的干扰。由光栅化，空间映射和细化阶段组成，我们的方法实现了最先进的点云渲染性能，以显着的利润率优于以前的作品，具有较小的模型尺寸。我们在NeRF-Synthetic上获得了31.74的PSNR，在ScanNet上获得了25.88的PSNR，在DTU上获得了30.81的PSNR。代码和数据可在https://github.com/seanywang0408/RadianceMapping上公开获取。
2022-12-08 cs.CV
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；UC San Diego（加州大学圣迭戈分校）
我们提出了一种方法，实现国家的最先进的结果，通过优化一个基本的连续体积场景功能，使用稀疏的输入视图的复杂场景的新的意见合成。我们的算法使用全连接（非卷积）深度网络表示场景，其输入是单个连续的5D坐标（空间位置$(x,y,z)$和观看方向$(θ, ϕ)$），其输出是该空间位置处的体积密度和视图相关的发射辐射。我们通过查询沿相机射线的5D坐标合成视图，并使用经典的体渲染技术将输出的颜色和密度投影到图像中。由于体渲染是自然可微的，因此优化我们的表示所需的唯一输入是具有已知相机姿势的一组图像。我们描述了如何有效地优化神经辐射场，以呈现具有复杂几何形状和外观的场景的照片级逼真的新视图，并展示了优于神经渲染和视图合成的先前工作的结果。查看合成结果最好以视频形式查看，因此我们敦促读者查看我们的补充视频以进行令人信服的比较。
2020-08-03 cs.CV cs.GR
DiffSoup: Direct Differentiable Rasterization of Triangle Soup for Extreme Radiance Field Simplification
The University of Tokyo（东京大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出DiffSoup，一种利用少量三角形和神经纹理的辐射场表示，通过随机遮罩实现直接可微的二进制不透明度，从而在无需平滑着色的情况下实现高效的实时渲染。
2026-08-18 cs.CV cs.GR
SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance Field
Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海））；University of Electronic Science and Technology of China（电子科技大学）
本研究提出SpectralNeRF架构，将光谱渲染拆分为光谱图生成与组合两步，通过SpectralMLP和SAUNet实现更符合物理原理的NeRF渲染，提升复杂场景新视角合成效果，在合成与真实数据集上表现优于现有方法。
2023-12-14 cs.CV
HumanNeRF: Efficiently Generated Human Radiance Field from Sparse Inputs
ShanghaiTech University（上海科技大学）；Huazhong University of Science and Technology（华中科技大学）；DGene；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
最近的神经人类表示可以产生高质量的多视图渲染，但需要使用密集的多视图输入和昂贵的训练。因此，它们在很大程度上限于静态模型，因为训练每个帧是不可行的。我们提出了HumanNeRF -一个可推广的神经表示-高保真自由视图合成的动态人类。类似于IBRNet如何通过避免每个场景的训练来帮助NeRF，HumanNeRF在多视图输入中采用了聚合像素对齐功能，以及用于处理动态运动的姿势嵌入式非刚性变形场。原始的HumanNeRF已经可以在看不见的主题和相机设置的稀疏视频输入上产生合理的渲染。为了进一步提高渲染质量，我们增加了我们的解决方案与外观混合模块，结合神经体积渲染和神经纹理混合的好处。在各种多视角动态人体数据集上进行的大量实验证明了我们的方法在具有挑战性的运动和非常稀疏的相机视图输入下合成照片般逼真的自由视角人体的通用性和有效性。
2022-03-25 cs.CV cs.GR
LiDAR-3DGS: LiDAR Reinforced 3D Gaussian Splatting for Multimodal Radiance Field Rendering
State University of New York, Stony Brook（纽约州立大学石溪分校）；University of Waterloo（滑铁卢大学）
本文提出LiDAR-3DGS方法，通过LiDAR生成的点云增强3DGS输入，在不修改底层算法的情况下提升3D模型精度和细节，30k次迭代时PSNR提升7.064%、SSIM提升0.565%，为工程应用及多模态建模提供新方案。
2024-09-09 cs.CV cs.GR eess.IV
Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Google（谷歌）；The Chinese University of Hong Kong（香港中文大学）
隐式神经渲染技术在新的视图合成中显示出了很好的效果。然而，现有的方法通常将整个场景作为一个整体进行编码，这通常不知道对象的身份，并限制了移动或添加家具等高级编辑任务的能力。在本文中，我们提出了一种新的神经场景渲染系统，学习对象组成的神经辐射场，并产生具有编辑能力的集群和真实世界的场景逼真的渲染。具体来说，我们设计了一种新的双通道架构，其中场景分支编码场景的几何形状和外观，对象分支编码每个独立的对象条件下学习对象激活码。为了在严重混乱的场景中生存训练，我们提出了一种场景引导的训练策略来解决遮挡区域中的3D空间模糊性，并为每个对象学习清晰的边界。大量的实验表明，我们的系统不仅达到了竞争力的性能，静态场景的新视图合成，但也产生逼真的渲染对象级编辑。
2021-09-04 cs.CV
Efficient Ray Sampling for Radiance Fields Reconstruction
Beijing Institute of Technology（北京理工大学）
本文提出一种基于像素区域和深度边界的高效光线采样方法，通过增加信息量丰富区域的采样概率，减少冗余光线，加速NeRF训练并提升渲染质量，在公共基准上优于现有技术。
2023-08-29 cs.CV cs.GR
InterNeRF: Scaling Radiance Fields via Parameter Interpolation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google DeepMind（谷歌DeepMind）
针对分区 NeRF 测试扩展性差、外观与几何不一致的问题，本文提出 InterNeRF，通过参数子集渲染支持核外训练与渲染，以少量训练开销提升容量并改善多房间场景表现。
2024-06-17 cs.CV cs.GR
NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes
Google（谷歌）；TU Munich（慕尼黑工业大学）
随着神经辐射场（NeRFs）的引入，新的视图合成最近取得了很大的飞跃。NeRF提出每个3D点都可以发射辐射，允许使用可微分体积渲染进行视图合成。虽然神经辐射场可以准确地表示用于计算图像渲染的3D场景，但3D网格仍然是大多数计算机图形和仿真管道支持的主要场景表示，从而实现实时的渲染和基于物理的仿真等任务。从神经辐射场获得3D网格仍然是一个开放的挑战，因为NeRF被优化用于视图合成，而不是在辐射场上强制执行精确的底层几何形状。因此，我们提出了一种新颖的紧凑和灵活的架构，使任何NeRF驱动的方法，易于3D表面重建。在训练了辐射场之后，我们将体积3D表示提取到符号表面近似网络中，从而可以轻松提取3D网格和外观。我们最终的3D网格在物理上是精确的，并且可以在一系列设备上实时的呈现。
2023-03-16 cs.CV
Rotated Lights for Consistent and Efficient 2D Gaussians Inverse Rendering
University of Maryland, College Park（马里兰大学College Park分校）
RotLight通过旋转物体减少逆渲染中的模糊性，结合代理网格提升全局光照处理，实现更准确的albedo估计。
2026-02-09 cs.CV cs.GR
Fast Dynamic Radiance Fields with Time-Aware Neural Voxels
HUST（华中科技大学）；Huawei Inc.（华为公司）；Technical University of Munich（慕尼黑工业大学）
神经辐射场（NeRF）在三维场景建模和合成新视图图像方面取得了巨大成功。然而，大多数以前的NeRF方法需要很多时间来优化一个单一的场景。显式数据结构，例如体素特征，显示出加速训练过程的巨大潜力。然而，体素特征应用于动态场景面临两大挑战，即建模时间信息和捕获不同尺度的点运动。我们提出了一个辐射场框架表示场景的时间感知体素功能，命名为TiNeuVox。一个微小的坐标变形网络被引入到模型的粗略运动轨迹和时间信息进一步增强的辐射网络。提出了一种多距离插值方法，并将其应用于体素特征，以模拟小运动和大运动。我们的框架显着加速动态辐射场的优化，同时保持高渲染质量。在合成和真实场景上进行经验评估。我们的TiNeuVox仅需8分钟和8 MB存储成本即可完成训练，同时显示出与以前的动态NeRF方法相似甚至更好的渲染性能。
2022-09-26 cs.CV cs.GR
Mip-Grid: Anti-aliased Grid Representations for Neural Radiance Fields
Sungkyunkwan University（成均馆大学）；AI2XL, KT（KT AI2XL）
本文提出mip-Grid，将抗锯齿技术融入基于网格的辐射场表示中，通过多尺度网格和尺度感知坐标缓解混叠伪影，在保持快速训练的同时提升渲染性能，并在多尺度数据集上优于mip-NeRF。
2024-02-22 cs.CV cs.GR
Compact Real-time Radiance Fields with Neural Codebook
Alibaba Group（阿里巴巴集团）
本文提出一种结合非均匀压缩主干与 Neural Codebook 模块的紧凑神经辐射场框架，在保持渲染质量的同时实现超40倍存储压缩和180 fps实时渲染。
2023-05-29 cs.CV
Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields
PICO, ByteDance（字节跳动PICO）；Tsinghua University（清华大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
针对神经辐射场质量与效率难以兼顾的问题，提出Tri-Mip编码和锥体投射渲染技术，实现了兼具高速度、高质量和紧凑模型的抗锯齿神经辐射场重建与渲染。
2023-07-21 cs.AI cs.CV cs.GR
Single-view Neural Radiance Fields with Depth Teacher
Fudan University（复旦大学）；University of Oxford（牛津大学）
提出一种结合平面与体积渲染并引入深度教师网络的单视图NeRF模型，仅用单张图像即可高质量合成新视角，PSNR提升5-20%，深度误差降低20-50%，且无需逐场景微调。
2023-05-11 cs.CV
Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis
Center of Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息技术与传播科学学院）
本文提出CG-NeRF，通过粗略辐射场预测器和基于卷积的神经渲染器解决神经辐射场渲染慢且难泛化的问题，实现单GPU高效渲染并在多数据集上超越现有方法。
2023-11-19 cs.CV cs.GR
Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering
Cygames Inc.（赛博游戏公司）
针对NeRF大场景渲染因复杂度不均导致的速度慢、GPU利用率低问题，提出自适应多NeRF方法，通过树结构细分场景、引导密度网格优化分配小型MLP，结合高效采样策略提升并行度与GPU利用率，加速渲染。
2023-10-03 cs.CV
DIVeR: Real-time and Accurate Neural Radiance Fields with Deterministic Integration for Volume Rendering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
DIVeR建立在NeRF及其变体的关键思想之上--密度模型和体渲染--来学习可以从少量图像中逼真渲染的3D对象模型。与所有以前的NeRF方法相比，DIVeR使用确定性而不是随机估计的体渲染积分。DIVeR的表示是基于体素的特征场。为了计算体渲染积分，将射线分解为间隔，每个体素一个;使用MLP从每个间隔的特征估计体渲染积分的分量，并聚合分量。因此，DIVeR可以渲染薄的半透明结构，这是其他积分器所错过的。此外，DIVeR的表示具有与其他此类方法相比相对暴露的语义-在体素空间中移动特征向量会导致自然编辑。与当前最先进的方法进行的广泛的定性和定量比较表明，DIVeR生成的模型（1）渲染质量达到或超过最先进的质量，（2）非常小而无需烘焙，（3）渲染速度非常快而无需烘焙，（4）可以以自然的方式编辑。
2022-05-18 cs.CV
VR-Pipe: Streamlining Hardware Graphics Pipeline for Volume Rendering
Seoul National University（首尔国立大学）
本研究提出VR-Pipe，通过硬件原生支持提前终止和多粒度瓦片分箱与四边形合并，精简图形管线以加速基于3D高斯泼溅的体渲染，实现高达2.78倍性能提升。
2025-02-24 cs.AR cs.CV cs.GR
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
ShanghaiTech University（上海科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（Adobe研究院）
我们提出了MVSNeRF，一种新的神经渲染方法，可以有效地重建神经辐射场的视图合成。与先前在神经辐射场上考虑密集捕获图像上的每场景优化的工作不同，我们提出了一种通用的深度神经网络，该网络可以通过快速网络推理从仅三个附近的输入视图重建辐射场。我们的方法利用平面扫描成本卷（广泛用于多视图立体视觉）的几何感知场景推理，并将其与基于物理的体渲染神经辐射场重建。我们在DTU数据集中的真实对象上训练我们的网络，并在三个不同的数据集上对其进行测试，以评估其有效性和通用性。我们的方法可以概括跨场景（即使是室内场景，完全不同于我们的训练场景的对象），并生成逼真的视图合成结果，仅使用三个输入图像，显着优于并发工作的可概括的辐射场重建。此外，如果捕获密集图像，我们估计的辐射场表示可以很容易地进行微调;这导致快速的每场景重建，具有更高的渲染质量和比NeRF少得多的优化时间。
2021-08-24 cs.CV
Differentiable Rendering with Reparameterized Volume Sampling
HSE University（高等经济大学）；Constructor University（康斯特大学）
针对神经辐射场渲染中仅少量不透明点贡献主要辐射度的问题，提出基于逆变换采样的端到端可微体积采样，并用于蒙特卡洛渲染和改进 NeRF 分层采样。
2024-03-02 cs.CV
DONeRF: Towards Real-Time Rendering of Compact Neural Radiance Fields using Depth Oracle Networks
Graz University of Technology（格拉茨工业大学）；Facebook Reality Labs（Facebook现实实验室）
最近围绕隐式神经表征（如NeRF）的研究爆炸表明，在紧凑的神经网络中隐式存储高质量场景和照明信息具有巨大的潜力。然而，阻止NeRF在实时的【形】渲染应用中使用的一个主要限制是沿着每个视图射线的过度网络评估的令人望而却步的计算成本，需要数十petaFLOPS。在这项工作中，我们使紧凑的神经表示更接近于实时的【形】应用程序中合成内容的实际渲染，如游戏和虚拟现实。我们表明，每个视图射线所需的样本的数量可以显着减少时，样本被放置在场景中的表面周围，而不影响图像质量。为此，我们提出了一个深度预言网络，预测光线样本位置为每个视图光线与一个单一的网络评估。我们表明，使用分类网络周围的离散化和球形扭曲的深度值是必不可少的编码表面位置，而不是直接估计深度。这些技术的结合导致DONeRF，我们的紧凑型双网络设计，深度预言网络作为其第一步，局部采样着色网络用于光线积累。与NeRF相比，使用DONeRF，当以可用的地面实况深度信息为条件时，我们将推理成本降低了48倍。与基于光线步进的神经表示的并发加速方法相比，DONeRF不需要额外的内存用于显式缓存或加速结构，并且可以在单个GPU上交互式渲染（每秒20帧）。
2021-06-25 cs.CV cs.GR
NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction
University of Birmingham（伯明翰大学）；Huawei, Noah’s Ark Lab（华为诺亚方舟实验室）
提出神经接触辐射场（NCRF）框架，通过接触优化场和手-物神经辐射场联合学习，从稀疏视频中重建手-物交互，实现照片级逼真的自由视角渲染，并在HO3D和DexYCB数据集上超越现有方法。
2024-02-09 cs.CV
Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields
SUSTech（南方科技大学）
本文提出Hyb-NeRF，一种采用多分辨率混合编码的新型神经辐射场，通过结合粗分辨率可学习位置特征与细分辨率哈希网格，并嵌入圆锥体追踪特征，实现了更快渲染、更高质量与更低内存占用。
2023-11-21 cs.CV cs.GR cs.LG
GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields
Technical University of Munich（慕尼黑工业大学）；Meta Reality Labs（元宇宙现实实验室）
提出GANeRF方法，利用GAN判别器学习场景patch分布并提供反馈，结合多视角渲染约束和多分辨率条件生成器对抗训练，显著提升NeRF 3D重建真实感和渲染质量。
2023-09-18 cs.CV cs.GR eess.IV
IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable Novel View Synthesis
Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
IntrinsicNeRF将内在分解引入NeRF，通过距离感知采样和自适应反射率迭代聚类实现无监督训练，支持房间级场景的实时重着色与光照编辑，并保持高保真新视角合成。
2023-08-29 cs.CV cs.GR
