用于高效三维场景表示的重建潜空间神经辐射场
Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations
AI总结：
本文提出将自编码器与NeRF结合，在潜空间渲染特征并卷积解码，以提升渲染速度并校正视觉伪影，同时通过缩小AE架构实现效率与质量的灵活权衡。
摘要：
神经辐射场（NeRFs）已被证明是强大的三维表示方法，能够对复杂场景进行高质量的新视角合成。尽管NeRFs已应用于图形学、视觉和机器人领域，但渲染速度慢和特有的视觉伪影问题阻碍了其在许多使用场景中的采用。在本工作中，我们研究了将自编码器（AE）与NeRF相结合的方法，其中渲染的是潜空间特征（而非颜色），然后通过卷积进行解码。由此得到的潜空间NeRF能够生成比标准颜色空间NeRF更高质量的新视角，因为AE可以校正某些视觉伪影，同时渲染速度提高三倍以上。我们的工作与其他提高NeRF效率的技术是正交的。此外，我们可以通过缩小AE架构来控制效率与图像质量之间的权衡，实现超过13倍的渲染速度提升，而性能仅有小幅下降。我们希望我们的方法能够为下游任务形成一种高效且高保真的三维场景表示基础，尤其是在需要保持可微性的情况下，例如许多需要持续学习的机器人场景中。
英文摘要：
Neural Radiance Fields (NeRFs) have proven to be powerful 3D representations, capable of high quality novel view synthesis of complex scenes. While NeRFs have been applied to graphics, vision, and robotics, problems with slow rendering speed and characteristic visual artifacts prevent adoption in many use cases. In this work, we investigate combining an autoencoder (AE) with a NeRF, in which latent features (instead of colours) are rendered and then convolutionally decoded. The resulting latent-space NeRF can produce novel views with higher quality than standard colour-space NeRFs, as the AE can correct certain visual artifacts, while rendering over three times faster. Our work is orthogonal to other techniques for improving NeRF efficiency. Further, we can control the tradeoff between efficiency and image quality by shrinking the AE architecture, achieving over 13 times faster rendering with only a small drop in performance. We hope that our approach can form the basis of an efficient, yet high-fidelity, 3D scene representation for downstream tasks, especially when retaining differentiability is useful, as in many robotics scenarios requiring continual learning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
