arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2606.03363cs.CL
收藏

EntSQL：一个将Text-to-SQL置于长上下文企业知识中的基准

EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge

HKUST (GZ)（香港科技大学（广州））；Alibaba Group（阿里巴巴集团）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））

Chengxi Liao, Tao Xu, Zulong Chen, Chuanfei Xu, Yiyan Wang, Xinyun Wang, Yanlong Zhang, Xiaojun Chen, Zhibo Yang, Zeyi Wen

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

提出EntSQL基准，通过包含1066个跨五个业务领域的中英文对齐示例，评估LLM在长上下文企业文档中基于私有业务知识生成SQL的能力，最佳系统仅达15.9%准确率。

摘要：

Text-to-SQL使得通过自然语言访问数据库成为可能，最近的LLM显著提升了其能力。现有的基准如Spider、BIRD和Spider~2.0评估了模式泛化、大规模数据库和现实工作流，但很大程度上忽略了SQL生成依赖于私有业务知识（如内部指标、报告惯例和组织规则）的企业场景。我们引入了EntSQL，一个面向企业的Text-to-SQL基准，用于评估在专有业务文档上的长上下文基础。EntSQL包含1066个跨五个业务领域的中英文对齐语义示例，大多数示例需要超越问题和模式的领域知识，并涉及复杂的SQL结构。在英文输入上，当提供长文档时，最佳评估系统仅达到15.9%，突显了在企业知识基础上生成SQL的难度。

英文摘要：

Text-to-SQL enables natural language access to databases, and recent LLMs have substantially advanced its capabilities. Existing benchmarks such as Spider, BIRD, and Spider~2.0 evaluate schema generalization, large-scale databases, and realistic workflows, but largely overlook enterprise scenarios where SQL generation depends on private business knowledge, such as internal metrics, reporting conventions, and organizational rules. We introduce EntSQL, an enterprise-oriented Text-to-SQL benchmark for evaluating long-context grounding over proprietary business documents. EntSQL contains 1,066 aligned Chinese-English semantic examples across five business domains, with most examples requiring domain knowledge beyond the question and schema and involving complex SQL structures. On English inputs, the best evaluated system reaches only 15.9\% when long-form documents are provided, highlighting the difficulty of grounding SQL generation in enterprise knowledge.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑