基于扩散反馈的强化学习：用于图像搜索的 Q*
Reinforcement Learning from Diffusion Feedback: Q* for Image Search
AI总结：
提出两种模型无关的图像生成模型，核心是RLDF方法，通过Q-learning和特殊CFG编码实现单图输入的跨领域高质量图像生成与搜索。
摘要：
大型视觉语言模型正稳步获得个性化能力，代价是需要微调或数据增强。我们提出了两种使用模型无关学习进行图像生成的模型，将语义先验与生成能力对齐。RLDF（基于扩散反馈的强化学习）是一种通过保留先验的奖励函数引导进行视觉模仿的独特方法。该方法采用 Q-learning（使用标准 Q*）进行生成，并通过针对有限编码定制的动作，沿着语义奖励轨迹进行图像搜索。提出的第二种方法 noisy diffusion gradient 是优化驱动的。两种方法的根本在于我们提出的一种用于持续语义引导的特殊 CFG 编码。仅使用单张输入图像且无文本输入，RLDF 在零售、体育和农业等不同领域生成高质量图像，展示了类别一致性和强视觉多样性。项目网站位于 https://infernolia.github.io/RLDF。
英文摘要：
Large vision-language models are steadily gaining personalization capabilities at the cost of fine-tuning or data augmentation. We present two models for image generation using model-agnostic learning that align semantic priors with generative capabilities. RLDF, or Reinforcement Learning from Diffusion Feedback, is a singular approach for visual imitation through prior-preserving reward function guidance. This employs Q-learning (with standard Q*) for generation and follows a semantic-rewarded trajectory for image search through finite encoding-tailored actions. The second proposed method, noisy diffusion gradient, is optimization driven. At the root of both methods is a special CFG encoding that we propose for continual semantic guidance. Using only a single input image and no text input, RLDF generates high-quality images over varied domains including retail, sports and agriculture showcasing class-consistency and strong visual diversity. Project website is available at https://infernolia.github.io/RLDF.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
