面向视觉识别的生成数据基准测试与分析
Benchmarking and Analyzing Generative Data for Visual Recognition
AI总结：
本文构建涵盖22个数据集、2548类的GenBench，提出训练前评估生成数据识别效率的CLER指标，并通过与检索数据对比及Textual Inversion知识注入，系统分析生成数据的价值与挑战。
摘要：
大型预训练生成模型的进展，拓展了其作为视觉识别中有效数据生成器的潜力。本工作深入研究生成图像的影响，主要比较利用外部数据的范式（即生成、检索与原始数据）。我们的主要贡献包括：1）GenBench构建：我们设计了GenBench，这是一个包含22个数据集、2548个类别的广泛基准，用于评估跨多种视觉识别任务的生成数据。2）CLER分数：为解决现有指标（例如FID、CLIP score）与下游识别性能相关性不足的问题，我们提出CLER，这是一种无需训练的指标，可在训练前指出生成数据用于识别任务的效率。3）新基线：在同一外部数据池中比较生成数据与检索数据，有助于阐明生成数据的独特特征。4）外部知识注入：通过Textual Inversion为每个类别微调特殊token嵌入，在17个数据集上提升了性能，但处理低分辨率参考图像时除外。我们详尽的基准和分析凸显了生成数据在视觉识别中的前景，同时确定了未来研究的关键挑战。
英文摘要：
Advancements in large pre-trained generative models have expanded their potential as effective data generators in visual recognition. This work delves into the impact of generative images, primarily comparing paradigms that harness external data (\ie generative \vs retrieval \vs original). Our key contributions are: \textbf{1) GenBench Construction:} We devise \textbf{GenBench}, a broad benchmark comprising 22 datasets with 2548 categories, to appraise generative data across various visual recognition tasks. \textbf{2) CLER Score:} To address the insufficient correlation of existing metrics (\eg, FID, CLIP score) with downstream recognition performance, we propose \textbf{CLER}, a training-free metric indicating generative data's efficiency for recognition tasks prior to training. \textbf{3) New Baselines:} Comparisons of generative data with retrieved data from the same external pool help to elucidate the unique traits of generative data. \textbf{4) External Knowledge Injection:} By fine-tuning special token embeddings for each category via Textual Inversion, performance improves across 17 datasets, except when dealing with low-resolution reference images. Our exhaustive benchmark and analysis spotlight generative data's promise in visual recognition, while identifying key challenges for future investigation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
