探索面向双语VQA的OCR增强生成方法
Exploring OCR-augmented Generation for Bilingual VQA
AI总结：
该研究探索双语VQA的OCR增强生成，发布1亿样本训练的双语OCR基线KLOCR，构建韩语VQA基准KOCRBench，验证了OCR文本对多类VLM性能的提升作用。
摘要：
我们研究视觉语言模型（VLM）的OCR增强生成，探索韩语和英语任务以推进多语言能力。为支撑该领域研究，我们训练并发布KLOCR——一个在1亿样本上训练的强双语OCR基线，用于为VLM赋予OCR能力。为补充现有VQA基准，我们构建了面向韩语VQA的KOCRBench，并分析了不同提示方法。大量实验表明，OCR提取的文本能显著提升开源和商业模型的性能。我们的工作为双语VQA的OCR增强生成提供了新见解。模型、代码和数据可在https://github.com/JHLee0513/KLOCR获取。
英文摘要：
We investigate OCR-augmented generation with Vision Language Models (VLMs), exploring tasks in Korean and English toward multilingualism. To support research in this domain, we train and release KLOCR, a strong bilingual OCR baseline trained on 100M instances to augment VLMs with OCR ability. To complement existing VQA benchmarks, we curate KOCRBench for Korean VQA, and analyze different prompting methods. Extensive experiments show that OCR-extracted text significantly boosts performance across open source and commercial models. Our work offers new insights into OCR-augmented generation for bilingual VQA. Model, code, and data are available at https://github.com/JHLee0513/KLOCR.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
