自动解码潜空间3D扩散模型
AutoDecoding Latent 3D Diffusion Models
AI总结：
本文提出以3D自动解码器为核心的潜空间3D扩散模型，利用2D图像或单目视频学习体积潜表示，并支持有相机监督或无相机训练，在多类3D生成基准上超过现有方法。
摘要：
我们提出了一种生成静态和铰接式3D资产的新颖方法，其核心是一个3D自动解码器。该3D自动解码器框架将从目标数据集学到的属性嵌入到潜空间中，随后可将其解码为体积表示，以渲染视角一致的外观和几何。接着，我们确定了合适的中间体积潜空间，并引入鲁棒的归一化与反归一化操作，从而从刚性或铰接对象的2D图像或单目视频中学习3D扩散。我们的方法足够灵活，既可以使用现有的相机监督，也可以完全不使用相机信息——转而在训练过程中高效地学习相机信息。评估表明，在多种基准数据集和指标上，我们的生成结果优于最先进的替代方法，包括合成对象的多视图图像数据集、移动人物的真实野外视频，以及一个大规模静态对象真实视频数据集。
英文摘要：
We present a novel approach to the generation of static and articulated 3D assets that has a 3D autodecoder at its core. The 3D autodecoder framework embeds properties learned from the target dataset in the latent space, which can then be decoded into a volumetric representation for rendering view-consistent appearance and geometry. We then identify the appropriate intermediate volumetric latent space, and introduce robust normalization and de-normalization operations to learn a 3D diffusion from 2D images or monocular videos of rigid or articulated objects. Our approach is flexible enough to use either existing camera supervision or no camera information at all -- instead efficiently learning it during training. Our evaluations demonstrate that our generation results outperform state-of-the-art alternatives on various benchmark datasets and metrics, including multi-view image datasets of synthetic objects, real in-the-wild videos of moving people, and a large-scale, real video dataset of static objects.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
