RefEdit：一种用于改进基于指令的图像编辑模型在指代表达式上的基准与方法
RefEdit: A Benchmark and Method for Improving Instruction-based Image Editing Model on Referring Expressions
AI总结：
针对现有图像编辑模型难以处理多实体复杂场景的问题，本文提出RefEdit-Bench基准和仅用2万条合成数据训练的RefEdit模型，在指代表达式编辑上超越百万级数据训练的基线并达到领先水平。
摘要：
尽管近年来在反演和基于指令的图像编辑方面取得了进展，现有方法主要擅长编辑单个突出物体，但在处理包含多个实体的复杂场景时表现显著不佳。为了量化这一差距，我们首先引入了RefEdit-Bench，这是一个基于RefCOCO的严格真实世界基准，即使是在数百万样本上训练的基线模型在该基准上也表现不佳。为了克服这一限制，我们提出了RefEdit——一种基于指令的编辑模型，该模型在我们可扩展的合成数据生成流程上进行训练。我们的RefEdit仅在20,000个编辑三元组上训练，就优于基于Flux/SD3模型、在数百万数据上训练的基线模型。在各种基准上的广泛评估表明，我们的模型不仅在指代表达式任务中表现出色，还提升了在传统基准上的性能，取得了与闭源方法相当的最先进结果。我们发布数据和检查点以促进可复现性。
英文摘要：
Despite recent advances in inversion and instruction-based image editing, existing approaches primarily excel at editing single, prominent objects but significantly struggle when applied to complex scenes containing multiple entities. To quantify this gap, we first introduce RefEdit-Bench, a rigorous real-world benchmark rooted in RefCOCO, where even baselines trained on millions of samples perform poorly. To overcome this limitation, we introduce RefEdit -- an instruction-based editing model trained on our scalable synthetic data generation pipeline. Our RefEdit, trained on only 20,000 editing triplets, outperforms the Flux/SD3 model-based baselines trained on millions of data. Extensive evaluations across various benchmarks demonstrate that our model not only excels in referring expression tasks but also enhances performance on traditional benchmarks, achieving state-of-the-art results comparable to closed-source methods. We release data \& checkpoint for reproducibility.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
