arXiv 2402.124242024-10-17cs.LGcs.AIcs.CLcs.CV

表格作为文本或图像：评估LLMs和MLLMs的表格推理能力

Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs

University of Michigan（密歇根大学）；University of Cambridge（剑桥大学）；Westlake University（西湖大学）

Naihao Deng, Zhenjie Sun, Ruiqi He, Aman Sikka, Yulong Chen, Lin Ma, Yue Zhang, Rada Mihalcea

备注：: Accepted to ACL 2024 Findings; Naihao and Zhenjie contributed equally to the project; Data available at: https://github.com/dnaihao/Tables-as-Texts-or-Images

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文首次系统评估LLMs在文本与图像两种表格表示下的推理能力，通过多基准比较不同提示策略和数据格式，揭示了表示方式与提示对表格任务性能的影响。

摘要：

在本文中，我们研究了各种LLMs通过不同提示策略和数据格式解释表格数据的有效性。我们的分析扩展到六个用于表格相关任务（如问答和事实验证）的基准。我们首次引入了对LLMs在基于图像的表格表示上性能的评估。具体来说，我们比较了五种基于文本和三种基于图像的表格表示，展示了表示方式和提示对LLM性能的作用。我们的研究为在表格相关任务中有效使用LLMs提供了见解。

英文摘要：

In this paper, we investigate the effectiveness of various LLMs in interpreting tabular data through different prompting strategies and data formats. Our analyses extend across six benchmarks for table-related tasks such as question-answering and fact-checking. We introduce for the first time the assessment of LLMs' performance on image-based table representations. Specifically, we compare five text-based and three image-based table representations, demonstrating the role of representation and prompting on LLM performance. Our study provides insights into the effective use of LLMs on table-related tasks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。