M$^3$Face：用于人脸生成与编辑的统一多模态多语言框架
M$^3$Face: A Unified Multi-Modal Multilingual Framework for Human Face Generation and Editing
AI总结：
本文提出M3Face统一多模态多语言框架，支持仅通过文本输入自动生成控制模态（如语义分割、面部关键点）以进行人脸生成与编辑，并构建了M3CelebA多模态多语言数据集，实验验证了其有效性。
摘要：
人脸生成与编辑是计算机视觉和数字时代的一项重要任务。近期研究在多模态人脸生成与编辑方面取得了显著进展，例如利用人脸分割来引导图像生成。然而，对于某些用户来说，手动创建这些条件模态可能具有挑战性。因此，我们提出了M3Face，一个用于可控人脸生成与编辑的统一多模态多语言框架。该框架使用户仅需输入文本，即可自动生成控制模态，例如语义分割或面部关键点，随后生成人脸图像。我们进行了广泛的定性和定量实验，以展示我们框架的人脸生成与编辑能力。此外，我们提出了M3CelebA数据集，这是一个大规模的多模态多语言人脸数据集，包含高质量图像、语义分割、面部关键点以及每种图像的多语言不同描述。代码和数据集将在发表后发布。
英文摘要：
Human face generation and editing represent an essential task in the era of computer vision and the digital world. Recent studies have shown remarkable progress in multi-modal face generation and editing, for instance, using face segmentation to guide image generation. However, it may be challenging for some users to create these conditioning modalities manually. Thus, we introduce M3Face, a unified multi-modal multilingual framework for controllable face generation and editing. This framework enables users to utilize only text input to generate controlling modalities automatically, for instance, semantic segmentation or facial landmarks, and subsequently generate face images. We conduct extensive qualitative and quantitative experiments to showcase our frameworks face generation and editing capabilities. Additionally, we propose the M3CelebA Dataset, a large-scale multi-modal and multilingual face dataset containing high-quality images, semantic segmentations, facial landmarks, and different captions for each image in multiple languages. The code and the dataset will be released upon publication.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
