TABLET：从指令中学习表格数据
TABLET: Learning From Instructions For Tabular Data
AI总结：
本文提出含20个表格数据集及多样化指令标注的 TABLET 基准，评估 LLM 依据指令完成表格预测的效果与局限。
摘要：
在训练用于表格预测的机器学习（ML）模型时，获取高质量数据通常是一项重大挑战，尤其是在医学和金融等隐私敏感且成本高昂的领域。向大型语言模型（LLM）提供自然语言指令提供了一种替代解决方案。然而，指令能在多大程度上有效利用 LLM 中的知识来解决表格预测问题，目前尚不清楚。为弥补这一空白，我们推出了 TABLET，这是一个包含 20 个多样化表格数据集的基准，这些数据集标注了在措辞、粒度和技术性方面各不相同的指令。此外，TABLET 还包含指令的逻辑以及对指令的结构化修改。我们发现，在 TABLET 上，上下文指令使 Flan-T5 11b 的零样本 F1 性能平均提升 44%，使 ChatGPT 平均提升 13%。此外，我们通过评估指令忠实度，探索了在该基准中使用 LLM 进行表格预测的局限性。我们发现，LLM 经常忽略指令，即使提供示例也无法正确预测特定实例。我们在 TABLET 上的分析表明，尽管指令有助于提升 LLM 性能，但从指令中学习表格数据需要新的能力。
英文摘要：
Acquiring high-quality data is often a significant challenge in training machine learning (ML) models for tabular prediction, particularly in privacy-sensitive and costly domains like medicine and finance. Providing natural language instructions to large language models (LLMs) offers an alternative solution. However, it is unclear how effectively instructions leverage the knowledge in LLMs for solving tabular prediction problems. To address this gap, we introduce TABLET, a benchmark of 20 diverse tabular datasets annotated with instructions that vary in their phrasing, granularity, and technicality. Additionally, TABLET includes the instructions' logic and structured modifications to the instructions. We find in-context instructions increase zero-shot F1 performance for Flan-T5 11b by 44% on average and 13% for ChatGPT on TABLET. Also, we explore the limitations of using LLMs for tabular prediction in our benchmark by evaluating instruction faithfulness. We find LLMs often ignore instructions and fail to predict specific instances correctly, even with examples. Our analysis on TABLET shows that, while instructions help LLM performance, learning from instructions for tabular data requires new capabilities.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
