Pick-a-Pic:一个用于文本到图像生成的用户偏好开放数据集
Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation
AI总结:
针对人类偏好数据集不公开的问题,构建了开放数据集 Pick-a-Pic,并基于此训练出超越人类预测能力的评分函数 PickScore,用于更好地评估和增强文本到图像生成模型。
摘要:
从文本到图像用户那里收集大规模人类偏好数据集的能力通常仅限于公司,这使得此类数据集无法向公众开放。为了解决这个问题,我们创建了一个网络应用程序,使文本到图像用户能够生成图像并指定他们的偏好。利用这个网络应用程序,我们构建了 Pick-a-Pic,这是一个包含文本到图像提示词和真实用户对生成图像偏好、大规模且开放的数据集。我们利用该数据集训练了一个基于 CLIP 的评分函数 PickScore,它在预测人类偏好任务上展现出超人的性能。然后,我们测试了 PickScore 执行模型评估的能力,并观察到它与其他自动评估指标相比,与人类排名的相关性更好。因此,我们建议使用 PickScore 来评估未来的文本到图像生成模型,并使用 Pick-a-Pic 提示词作为比 MS-COCO 更相关的数据集。最后,我们展示了如何通过排名利用 PickScore 来增强现有的文本到图像模型。
英文摘要:
The ability to collect a large dataset of human preferences from text-to-image users is usually limited to companies, making such datasets inaccessible to the public. To address this issue, we create a web app that enables text-to-image users to generate images and specify their preferences. Using this web app we build Pick-a-Pic, a large, open dataset of text-to-image prompts and real users' preferences over generated images. We leverage this dataset to train a CLIP-based scoring function, PickScore, which exhibits superhuman performance on the task of predicting human preferences. Then, we test PickScore's ability to perform model evaluation and observe that it correlates better with human rankings than other automatic evaluation metrics. Therefore, we recommend using PickScore for evaluating future text-to-image generation models, and using Pick-a-Pic prompts as a more relevant dataset than MS-COCO. Finally, we demonstrate how PickScore can enhance existing text-to-image models via ranking.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。