arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2303.10073cs.CV

DialogPaint:一个基于对话的图像编辑模型

DialogPaint: A Dialog-based Image Editing Model

Beijing Academy of Artificial Intelligence(北京人工智能研究院);University of Chinese Academy of Sciences(中国科学院大学);Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)

Jingxuan Wei, Shiyu Wu, Xin Jiang, Yequan Wang

AI总结:

本文提出DialogPaint框架,通过结合对话模型与Stable Diffusion技术,实现基于自然对话的交互式图像编辑,支持明确与模糊指令及多轮迭代修改,显著提升了对话驱动图像编辑的稳健性与多功能性。

摘要:

我们介绍了DialogPaint,这是一个将对话交互与图像编辑连接起来的新型框架,使用户能够通过自然对话修改图像。通过将对话模型与Stable Diffusion图像转换技术相结合,DialogPaint提供了一种更直观和交互式的图像修改方法。我们的方法通过有效地解释和执行明确和模糊的指令,处理对象替换、风格迁移和颜色修改等任务而脱颖而出。值得注意的是,DialogPaint支持迭代的多轮编辑,允许用户在连续的交互中完善图像编辑。综合评估突出了我们方法的稳健性和多功能性,标志着对话驱动图像编辑的重大进步。

英文摘要:

We introduce DialogPaint, a novel framework that bridges conversational interactions with image editing, enabling users to modify images through natural dialogue. By integrating a dialogue model with the Stable Diffusion image transformation technique, DialogPaint offers a more intuitive and interactive approach to image modifications. Our method stands out by effectively interpreting and executing both explicit and ambiguous instructions, handling tasks such as object replacement, style transfer, and color modification. Notably, DialogPaint supports iterative, multi-round editing, allowing users to refine image edits over successive interactions. Comprehensive evaluations highlight the robustness and versatility of our approach, marking a significant advancement in dialogue-driven image editing.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑