CLIP4STR：基于预训练视觉-语言模型的场景文本识别简单基线
CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model
AI总结：
本文提出 CLIP4STR，基于 CLIP 的图像和文本编码器构建双分支（视觉与跨模态）及双重预测与优化解码方案，在 13 个 STR 基准上取得最先进性能，为 VLMs 在场景文本识别领域的研究建立强基线。
摘要：
预训练视觉-语言模型（VLMs）是各种下游任务事实上的基础模型。然而，尽管 VLMs 有潜力作为强大的场景文本阅读器，场景文本识别方法仍然倾向于在单一模态（即视觉模态）上预训练的骨干网络。例如，CLIP 能够稳健地识别图像中的规则（水平）和不规则（旋转、弯曲、模糊或遮挡）文本。基于这些优势，我们将 CLIP 转化为场景文本阅读器，并引入 CLIP4STR，这是一种简单而有效的 STR 方法，构建于 CLIP 的图像和文本编码器之上。它具有两个编码器-解码器分支：视觉分支和跨模态分支。视觉分支基于视觉特征提供初始预测，跨模态分支通过解决视觉特征与文本语义之间的差异来优化此预测。为充分利用两个分支的能力，我们设计了一种用于推理的双重预测与优化解码方案。我们在模型规模、预训练数据和训练数据方面对 CLIP4STR 进行缩放，在 13 个 STR 基准上实现了最先进的性能。此外，提供了全面的实证研究以增强对 CLIP 适应 STR 的理解。我们的方法为未来使用 VLMs 的 STR 研究建立了一个简单而强大的基线。
英文摘要：
Pre-trained vision-language models~(VLMs) are the de-facto foundation models for various downstream tasks. However, scene text recognition methods still prefer backbones pre-trained on a single modality, namely, the visual modality, despite the potential of VLMs to serve as powerful scene text readers. For example, CLIP can robustly identify regular (horizontal) and irregular (rotated, curved, blurred, or occluded) text in images. With such merits, we transform CLIP into a scene text reader and introduce CLIP4STR, a simple yet effective STR method built upon image and text encoders of CLIP. It has two encoder-decoder branches: a visual branch and a cross-modal branch. The visual branch provides an initial prediction based on the visual feature, and the cross-modal branch refines this prediction by addressing the discrepancy between the visual feature and text semantics. To fully leverage the capabilities of both branches, we design a dual predict-and-refine decoding scheme for inference. We scale CLIP4STR in terms of the model size, pre-training data, and training data, achieving state-of-the-art performance on 13 STR benchmarks. Additionally, a comprehensive empirical study is provided to enhance the understanding of the adaptation of CLIP to STR. Our method establishes a simple yet strong baseline for future STR research with VLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
