CT-Eval：基准测试大型语言模型的中文文本到表格性能
CT-Eval: Benchmarking Chinese Text-to-Table Performance in Large Language Models
AI总结：
本文构建覆盖28个领域、含88.6K样本的中文文本到表格基准 CT-Eval，通过模型过滤与人工清洗控制幻觉，并评测开源及闭源 LLM，发现微调后的开源模型可大幅超越 GPT-4。
摘要：
文本到表格旨在生成结构化表格，以传达非结构化文档中的关键信息。现有的文本到表格数据集通常以英语为导向，限制了非英语语言的研究。同时，大型语言模型（LLM）的涌现已显示出其作为多语言环境中通用任务求解器的巨大成功（例如 ChatGPT），理论上使其他语言的文本到表格成为可能。本文提出了一个中文文本到表格数据集 CT-Eval，以对 LLM 在该任务上的表现进行基准测试。我们对英文文本到表格数据集的初步分析强调了数据集构建的两个关键因素：数据多样性和数据幻觉。受此启发，CT-Eval 数据集选择一个流行的中文多学科在线百科全书作为来源，覆盖 28 个领域，以确保数据多样性。为了最大限度地减少数据幻觉，我们首先训练一个 LLM 来判断并过滤掉存在幻觉的任务样本，然后雇用人工标注员清理验证集和测试集中的幻觉。经过这一过程，CT-Eval 包含 88.6K 个任务样本。利用 CT-Eval，我们评估了开源和闭源 LLM 的性能。结果表明，零样本 LLM（包括 GPT-4）与人类判断相比仍存在显著性能差距。此外，经过微调后，开源 LLM 可以显著提升其文本到表格能力，并大幅优于 GPT-4。简而言之，CT-Eval 不仅帮助研究人员评估并快速了解现有 LLM 的中文文本到表格能力，还作为宝贵资源显著提升 LLM 的文本到表格性能。
英文摘要：
Text-to-Table aims to generate structured tables to convey the key information from unstructured documents. Existing text-to-table datasets are typically oriented English, limiting the research in non-English languages. Meanwhile, the emergence of large language models (LLMs) has shown great success as general task solvers in multi-lingual settings (e.g., ChatGPT), theoretically enabling text-to-table in other languages. In this paper, we propose a Chinese text-to-table dataset, CT-Eval, to benchmark LLMs on this task. Our preliminary analysis of English text-to-table datasets highlights two key factors for dataset construction: data diversity and data hallucination. Inspired by this, the CT-Eval dataset selects a popular Chinese multidisciplinary online encyclopedia as the source and covers 28 domains to ensure data diversity. To minimize data hallucination, we first train an LLM to judge and filter out the task samples with hallucination, then employ human annotators to clean the hallucinations in the validation and testing sets. After this process, CT-Eval contains 88.6K task samples. Using CT-Eval, we evaluate the performance of open-source and closed-source LLMs. Our results reveal that zero-shot LLMs (including GPT-4) still have a significant performance gap compared with human judgment. Furthermore, after fine-tuning, open-source LLMs can significantly improve their text-to-table ability, outperforming GPT-4 by a large margin. In short, CT-Eval not only helps researchers evaluate and quickly understand the Chinese text-to-table ability of existing LLMs but also serves as a valuable resource to significantly improve the text-to-table performance of LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
