arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2310.10358cs.CLcs.AI

表格表示、噪声操作及其对LLMs中表格结构理解任务的影响

Tabular Representation, Noisy Operators, and Impacts on Table Structure Understanding Tasks in LLMs

Microsoft(微软)

Ananya Singha, José Cambronero, Sumit Gulwani, Vu Le, Chris Parnin

AI总结:

本研究探讨表格表示格式及噪声操作对LLMs表格结构理解任务性能的影响,通过自监督任务和8种格式及8种噪声操作评估性能差异。

摘要:

大型语言模型(LLMs)越来越多地通过上下文学习应用于表格任务。表格的提示表示可能在LLMs处理表格的能力中发挥作用。受先前工作的启发,我们生成了一系列自监督结构任务(例如,导航到单元格和行;转置表格),并评估了使用8种格式时的性能差异。与以往工作不同,我们引入了8种受现实世界杂乱数据和对抗性输入启发的噪声操作,并表明这些操作可能影响LLMs在不同格式下执行不同结构理解任务的性能。

英文摘要:

Large language models (LLMs) are increasingly applied for tabular tasks using in-context learning. The prompt representation for a table may play a role in the LLMs ability to process the table. Inspired by prior work, we generate a collection of self-supervised structural tasks (e.g. navigate to a cell and row; transpose the table) and evaluate the performance differences when using 8 formats. In contrast to past work, we introduce 8 noise operations inspired by real-world messy data and adversarial inputs, and show that such operations can impact LLM performance across formats for different structural understanding tasks.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑