arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2210.14896cs.CVcs.AIcs.HCcs.LG
收藏

DiffusionDB:面向文本到图像生成模型的大规模提示画廊数据集

DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models

Georgia Tech(佐治亚理工学院);IBM Research(IBM研究院)

Zijie J. Wang, Evan Montoya, David Munechika, Haoyang Yang, Benjamin Hoover, Duen Horng Chau

AI总结:

本文提出大规模文本到图像提示数据集DiffusionDB,包含1400万张图像和180万个提示,通过分析提示特征与超参数影响,揭示模型错误及有害使用风险,为提示工程、深度伪造检测和人机交互研究提供基础。

摘要:

随着扩散模型的最新进展,用户可以通过用自然语言编写文本提示来生成高质量图像。然而,生成具有所需细节的图像需要恰当的提示,并且模型对不同提示的反应或最佳提示是什么往往并不清楚。为了帮助研究人员应对这些关键挑战,我们引入了DiffusionDB,这是第一个大规模的文本到图像提示数据集,总计6.5TB,包含由Stable Diffusion生成的1400万张图像、180万个唯一提示以及真实用户指定的超参数。我们分析了提示的句法和语义特征。我们指出了可能导致模型错误的特定超参数值和提示风格,并提供了潜在有害模型使用的证据,例如虚假信息的生成。这个由人类驱动的前所未有的规模和多样性的数据集,为理解提示与生成模型之间的相互作用、检测深度伪造以及设计人类-AI交互工具以帮助用户更轻松地使用这些模型提供了令人兴奋的研究机会。DiffusionDB公开可用:https://poloclub.github.io/diffusiondb。

英文摘要:

With recent advancements in diffusion models, users can generate high-quality images by writing text prompts in natural language. However, generating images with desired details requires proper prompts, and it is often unclear how a model reacts to different prompts or what the best prompts are. To help researchers tackle these critical challenges, we introduce DiffusionDB, the first large-scale text-to-image prompt dataset totaling 6.5TB, containing 14 million images generated by Stable Diffusion, 1.8 million unique prompts, and hyperparameters specified by real users. We analyze the syntactic and semantic characteristics of prompts. We pinpoint specific hyperparameter values and prompt styles that can lead to model errors and present evidence of potentially harmful model usage, such as the generation of misinformation. The unprecedented scale and diversity of this human-actuated dataset provide exciting research opportunities in understanding the interplay between prompts and generative models, detecting deepfakes, and designing human-AI interaction tools to help users more easily use these models. DiffusionDB is publicly available at: https://poloclub.github.io/diffusiondb.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑