arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2302.06608cs.CVcs.GRcs.LG
收藏

使用生成式 NeRF 的 3D 感知混合

3D-aware Blending with Generative NeRFs

NAVER AI Lab(NAVER人工智能实验室);SNU AIIS(首尔国立大学人工智能研究所);CMU(卡内基梅隆大学)

Hyunsu Kim, Gayoung Lee, Yunjey Choi, Jin-Hwa Kim, Jun-Yan Zhu

AI总结:

针对输入图像因 3D 相机姿态和形状差异导致未对齐的问题,提出基于生成式 NeRF 的 3D 感知对齐与潜在空间混合方法,并在 FFHQ、AFHQ-Cat 上验证其优于 2D 基线。

摘要:

图像混合旨在无缝地组合多张图像。对于现有基于 2D 的方法而言,这仍然具有挑战性,尤其是当输入图像因 3D 相机姿态和物体形状的差异而未对齐时。为解决这些问题,我们提出了一种使用生成式神经辐射场(NeRF)的 3D 感知混合方法,包括两个关键组成部分:3D 感知对齐和 3D 感知混合。对于 3D 感知对齐,我们首先估计参考图像相对于生成式 NeRF 的相机姿态,然后对每个部分执行 3D 局部对齐。为进一步利用生成式 NeRF 的 3D 信息,我们提出 3D 感知混合,直接在 NeRF 的潜在表示空间而非原始像素空间混合图像。总体而言,通过在 FFHQ 和 AFHQ-Cat 上进行的大量定量和定性评估验证,我们的方法优于现有的 2D 基线。

英文摘要:

Image blending aims to combine multiple images seamlessly. It remains challenging for existing 2D-based methods, especially when input images are misaligned due to differences in 3D camera poses and object shapes. To tackle these issues, we propose a 3D-aware blending method using generative Neural Radiance Fields (NeRF), including two key components: 3D-aware alignment and 3D-aware blending. For 3D-aware alignment, we first estimate the camera pose of the reference image with respect to generative NeRFs and then perform 3D local alignment for each part. To further leverage 3D information of the generative NeRF, we propose 3D-aware blending that directly blends images on the NeRF's latent representation space, rather than raw pixel space. Collectively, our method outperforms existing 2D baselines, as validated by extensive quantitative and qualitative evaluations with FFHQ and AFHQ-Cat.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑