arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2303.12789cs.CVcs.GR

Instruct-NeRF2NeRF:使用指令编辑3D场景

Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions

UC Berkeley(加州大学伯克利分校)

Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa

AI总结:

本文提出Instruct-NeRF2NeRF,结合InstructPix2Pix迭代编辑训练图像并同步优化NeRF,使3D场景可按文本指令完成逼真且定向的修改。

摘要:

我们提出了一种利用文本指令编辑NeRF场景的方法。给定一个场景的NeRF以及用于重建该场景的图像集合,我们的方法使用图像条件扩散模型InstructPix2Pix,在优化底层场景的同时迭代编辑输入图像,从而得到一个遵循编辑指令的优化3D场景。我们证明,所提出的方法能够编辑大规模真实世界场景,并且相比先前工作能够实现更逼真、更有针对性的编辑。

英文摘要:

We propose a method for editing NeRF scenes with text-instructions. Given a NeRF of a scene and the collection of images used to reconstruct it, our method uses an image-conditioned diffusion model (InstructPix2Pix) to iteratively edit the input images while optimizing the underlying scene, resulting in an optimized 3D scene that respects the edit instruction. We demonstrate that our proposed method is able to edit large-scale, real-world scenes, and is able to accomplish more realistic, targeted edits than prior work.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑