LightIt：用于扩散模型的照明建模与控制
LightIt: Illumination Modeling and Control for Diffusion Models
AI总结：
提出LightIt方法，通过以阴影图和法线图作为条件并训练控制网络，实现了图像生成中显式且一致的照明控制，并支持保持身份的重照明，性能媲美专门的最先进方法。
摘要：
我们介绍了LightIt，一种用于图像生成的显式照明控制方法。近期的生成方法缺乏对照明的控制，而这对于图像生成中许多艺术方面（如设定整体氛围或电影感外观）至关重要。为了克服这些限制，我们提出以阴影图和法线图作为生成的条件。我们使用包含投射阴影的单次反射阴影来对照明进行建模。我们首先训练一个阴影估计模块，以生成包含真实世界图像和阴影对的数据集。然后，我们使用估计的阴影和法线作为输入，训练一个控制网络。我们的方法在众多场景中展示了高质量的图像生成和照明控制能力。此外，我们使用生成的数据集来训练一个保持身份的重照明模型，该模型以图像和目标阴影为条件。我们的方法是首个能够生成具有可控且一致照明的图像的方法，并且其表现与专门的最先进重照明方法不相上下。
英文摘要：
We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
