连贯的零样本视觉指令生成
Coherent Zero-Shot Visual Instruction Generation
AI总结：
本文提出一个无需训练的零样本框架，结合扩散模型与大语言模型，系统整合文本理解与图像生成，以解决多步骤视觉指令中对象一致性与状态平滑转换的难题，实验证明其能生成连贯且美观的视觉指令。
摘要：
尽管文本到图像合成取得了进展，尤其是扩散模型的发展，但生成需要在连续步骤中保持对象一致表示和平滑状态转换的视觉指令仍然是一项艰巨的挑战。本文提出了一个简单的、无需训练的框架来解决这些问题，充分利用了扩散模型和大语言模型（LLMs）的进步。我们的方法系统地整合了文本理解和图像生成，以确保视觉指令在视觉上具有吸引力，并在整个指令序列中保持一致性和准确性。我们通过测试多步骤指令并与多个基线比较文本对齐和一致性来验证其有效性。实验表明，我们的方法能够可视化连贯且视觉上令人愉悦的指令。
英文摘要：
Despite the advances in text-to-image synthesis, particularly with diffusion models, generating visual instructions that require consistent representation and smooth state transitions of objects across sequential steps remains a formidable challenge. This paper introduces a simple, training-free framework to tackle the issues, capitalizing on the advancements in diffusion models and large language models (LLMs). Our approach systematically integrates text comprehension and image generation to ensure visual instructions are visually appealing and maintain consistency and accuracy throughout the instruction sequence. We validate the effectiveness by testing multi-step instructions and comparing the text alignment and consistency with several baselines. Our experiments show that our approach can visualize coherent and visually pleasing instructions
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
