用于电子表格理解的视觉语言模型：挑战与机遇
Vision Language Models for Spreadsheet Understanding: Challenges and Opportunities
AI总结：
本文探讨了视觉语言模型在电子表格理解上的能力，提出了三个自监督挑战及评估指标，并通过表格检测任务和多种图像设置全面评估VLMs，发现其在OCR方面有潜力但存在不足，且空间与格式识别能力欠缺，为未来改进提供了方向。
摘要：
本文探讨了视觉语言模型（VLMs）在电子表格理解上的能力。我们提出了三个自监督挑战及相应的评估指标，以在光学字符识别（OCR）、空间感知和视觉格式识别方面全面评估VLMs。此外，我们利用电子表格表格检测任务，通过整合这些挑战来评估VLMs的整体性能。为了更精细地探测VLMs，我们提出了三种电子表格到图像的设置：列宽调整、样式更改和地址增强。我们提出了多种提示词变体，以在不同设置下解决上述任务。值得注意的是，为了发挥VLMs在理解文本而非二维定位方面的优势，我们提出在电子表格边界检测中解码表格四个边界上的单元格值。我们的发现表明，VLMs展现出有前景的OCR能力，但由于单元格遗漏和错位导致结果不理想，并且它们明显表现出空间和格式识别技能的不足，这促使未来的工作利用我们的方法在各种设置下生成大量电子表格-图像对，以增强VLMs的电子表格数据理解能力。
英文摘要：
This paper explores capabilities of Vision Language Models on spreadsheet comprehension. We propose three self-supervised challenges with corresponding evaluation metrics to comprehensively evaluate VLMs on Optical Character Recognition (OCR), spatial perception, and visual format recognition. Additionally, we utilize the spreadsheet table detection task to assess the overall performance of VLMs by integrating these challenges. To probe VLMs more finely, we propose three spreadsheet-to-image settings: column width adjustment, style change, and address augmentation. We propose variants of prompts to address the above tasks in different settings. Notably, to leverage the strengths of VLMs in understanding text rather than two-dimensional positioning, we propose to decode cell values on the four boundaries of the table in spreadsheet boundary detection. Our findings reveal that VLMs demonstrate promising OCR capabilities but produce unsatisfactory results due to cell omission and misalignment, and they notably exhibit insufficient spatial and format recognition skills, motivating future work to enhance VLMs' spreadsheet data comprehension capabilities using our methods to generate extensive spreadsheet-image pairs in various settings.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
