Translating Natural Language Queries to SQL Using the T5 Model
Langara College(兰加拉学院);Okanagan College(奥肯那根学院);Harris SmartWorks(哈里斯智能工作部门)
本研究以T5模型为基础构建自然语言转SQL模型,针对在线事务处理系统和数据仓库场景分别实现73%、84%的精确匹配准确率,已落地多家企业日常使用,方法可推广至其他数据库环境并适配更强的预训练语言模型。
2023-12-12 cs.AI cs.DB cs.LG
Translating Canonical SQL to Imperative Code in Coq
SQL是迄今为止使用和实现最广泛的查询语言。然而,在一些关键特性上,比如相关查询和空值语义,许多实现存在分歧或包含错误。我们利用SQL和查询编译器的形式化的最新进展来开发DBCert,这是第一个从以规范形式编写的SQL查询到命令式代码的机械验证编译器。构建DBCert需要几个新的贡献,本文对此进行了描述。首先,我们指定和机械化一个完整的转换,从SQL到嵌套关系代数,可用于查询优化。其次,我们定义了Imp,这是一种足以表达SQL的小型命令式语言,可以针对包括JavaScript在内的几种执行语言。最后,我们开发了一个机械化的翻译从嵌套关系代数Imp,使用嵌套的关系演算作为中间步骤。
2022-03-22 cs.DB cs.PL
SQLFlow: A Bridge between SQL and Machine Learning
Ant Financial USA(蚂蚁金服美国);Ant Financial(蚂蚁金服);DiDi(滴滴)
工业AI系统大多是端到端的机器学习(ML)工作流程。典型的推荐或商业智能系统包括许多在线微服务和离线作业。我们描述了SQLFlow在SQL中有效地开发这样的工作流。SQL使开发人员能够编写简短的程序,专注于目的(什么)而忽略过程(如何)。以前的数据库系统扩展了它们的SQL方言以支持ML。SQLFlow(https:sqlflow.org/sqlflow)采用另一种策略作为各种数据库系统的桥梁,包括MySQL,Apache Hive和Alibaba MaxCompute,以及TensorFlow,XGBoost和scikit-learn等ML引擎。我们仔细地扩展了SQL语法,使扩展能够与各种SQL方言一起工作。我们通过发明一个协作解析算法来实现扩展。SQLFlow对各种各样的ML技术都是高效和有表现力的--监督和无监督学习;深度网络和树模型;除了训练和预测之外的视觉模型解释;除了ML之外的数据处理和特征提取。SQLFlow将SQL程序编译成Kubernetes原生工作流,以实现容错执行和云上部署。目前的行业用户包括蚂蚁金服、滴滴和阿里巴巴集团。
2020-01-19 cs.DB cs.LG
Dial: A Knowledge-Grounded Dialect-Specific NL2SQL System
Tsinghua University(清华大学);China Telecom Corporation Ltd. Shanghai Branch(中国电信股份有限公司上海分公司);Shanghai Jiao Tong University(上海交通大学)
Dial提出一种基于知识的方言特定自然语言到SQL系统,通过逻辑查询规划、知识库和执行驱动调试提升翻译准确性和方言特征覆盖度。
2026-09-22 cs.AI cs.CL cs.DB
Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows
University of Hong Kong(香港大学);Salesforce Research(Salesforce 研究院);Sea AI Lab(Sea AI 实验室);Google Deepmind(谷歌DeepMind);Google Cloud AI Research(谷歌云 AI 研究院);University of Waterloo(滑铁卢大学)
本文提出含632个真实企业问题的 Spider 2.0 基准,评估语言模型在复杂跨库、多方言 SQL 工作流中的能力,结果显示最强代码智能体仅解决21.3%任务。
2025-03-17 cs.AI cs.CL cs.DB
Are LLMs Overkill for Databases?: A Study on the Finiteness of SQL
Cornell University(康奈尔大学)
本文通过376个数据库样本研究SQL查询的有限性,发现查询复杂度受现实需求限制,且模板分布呈现幂律特征,表明SQL查询可被模板高效覆盖。
2026-03-26 cs.AI cs.CL cs.DB
MoMQ: Mixture-of-Experts Enhances Multi-Dialect Query Generation across Relational and Non-Relational Databases
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出基于混合专家的 MoMQ 框架,通过方言专家组、多级路由和共享专家组提升跨关系型与非关系型数据库的多方言查询生成,并构建覆盖 MySQL、PostgreSQL、Cypher、nGQL 的基准。
2024-10-24 cs.AI cs.CL cs.DB
ORANGE: An Online Reflection ANd GEneration framework with Domain Knowledge for Text-to-SQL
Fudan University(复旦大学);Tencent Cloud(腾讯云);University of Cambridge(剑桥大学)
提出在线自演化框架ORANGE,通过解析翻译日志构建数据库特定知识库,并采用嵌套思维链SQL-to-Text策略减少语义错误,逐步缩小语义鸿沟,提升Text-to-SQL翻译准确性。
2025-11-04 cs.AI cs.CL cs.DB
SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended)
Cloud AI Research Team(云AI研究团队);Google DeepMind(谷歌DeepMind)
本文提出SQL-PaLM框架,通过少样本提示中的一致性解码与执行错误过滤、指令微调中的数据多样性扩展、合成增强及数据库内容整合,并利用执行反馈进行测试时选择,显著提升了Spider和BIRD基准上的文本到SQL性能。
2024-03-30 cs.AI cs.CL cs.DB
Scaling Automated Database System Testing
National University of Singapore(新加坡国立大学)
SQLancer++通过自适应SQL生成器实现自动数据库测试的扩展,发现并修复了196个新错误。
2026-01-26 cs.DB cs.SE
ProcArena: A Multi-Scenario Benchmark for LLMs on Direct and Interactive PL/SQL Development from Natural Language
Tsinghua University(清华大学);Lenovo Group Limited(联想集团有限公司)
本文提出ProcArena,一个覆盖直接与交互模式、含3998个可执行任务的多场景PL/SQL开发基准,评估七种大语言模型,结果显示最佳平均得分仅62.2%和57.8%,表明该任务仍具挑战性。
2026-09-09 cs.AI cs.CL cs.DB
Translating Relational Queries into Spreadsheets
电子表格是数据管理和分析最常用的应用程序之一。也许它们甚至是所有类型中使用最广泛的计算机应用程序之一。它们以自然和直观的方式将数据处理与各种补充功能相结合:统计功能,可视化工具,数据透视表,数据透视图,线性规划求解器,定期从外部来源下载数据的Web查询等。在这篇文章中,我们演示了一个电子表格可以实现所有的数据转换定义在SQL中,没有任何使用宏或内置的程序设计语言,仅仅通过利用电子表格公式。我们提供了一个查询编译器,它将任何给定的SQL查询转换为相同语义的工作表,包括NULL值。因此,数据库操作对于不想迁移到数据库的用户变得可用。他们可以使用高级语言定义查询,然后在普通的电子表格中获得执行计划。无需复杂的数据库系统,无需电子表格插件或宏。电子表格中可用的函数对可以实现的算法施加了严格的限制。在本文中,我们提供了$O(n\log^2n)$排序电子表格,但使用一个非常数的行数,以前已知的$O(n^2)$的改进。因此,令人惊讶的是,电子表格可以实现,正如我们所展示的,深度优先搜索和广度优先搜索的图形,从而超越SQL-92中定义的查询。
2014-07-16 cs.DB
A Survey of Text-to-SQL in the Era of LLMs: Where are we, and where are we going?
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Renmin University of China(中国人民大学);Tsinghua University(清华大学)
本文综述了大语言模型时代下文本到SQL技术的发展现状、核心方法及未来挑战。
2026-08-25 cs.AI cs.DB
A Typeful Integration of SQL into Curry
我们提出了一个扩展的声明性程序设计语言咖喱,以支持通过SQL访问存储在关系数据库中的数据。由于Curry是静态类型的,因此我们对SQL集成的重点是类型安全。我们的扩展尊重Curry的类型系统,从而避免了由于不良类型数据而导致的运行时错误。这是通过在编译时预处理SQL语句并将其转换为类型安全的数据库访问操作来实现的。因此,Curry系统的类型检查器可以在编译时发现SQL语句中的类型错误。为了生成适当类型的访问操作,预处理器使用描述关系数据结构的实体关系(ER)模型。除了标准SQL之外,Curry中嵌入的SQL语句还可以包括程序表达式以及ER模型中指定的关系。后一个特性对于避免容易出错的外键使用非常有用。因此,我们的SQL集成支持对Curry程序中数据库的高级和类型安全访问。
2017-01-03 cs.DB cs.PL
PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);ByteDance(字节跳动)
本文提出 PARROT 跨系统 SQL 翻译基准,通过多规模变体与 22 种生产级数据库系统评估 LLM 的 SQL 方言理解能力,并公开代码与排行榜。
2025-09-27 cs.AI cs.CL cs.DB
A Survey of Large Language Model-Based Generative AI for Text-to-SQL: Benchmarks, Applications, Use Cases, and Challenges
Cleveland State University(克利夫兰州立大学);The Davey Tree Expert Company(戴维树专家公司);The MathWorks(MathWorks公司);Khoury College of Computer Science, Roux Institute at Northeastern University(东北大学鲁克斯研究所科里计算机科学学院)
本文综述了基于大语言模型的文本到SQL系统,涵盖基准、应用与挑战,并提出支持NoSQL和动态交互的未来研究方向。
2025-01-23 cs.AI cs.DB
ValueNet: A Natural Language-to-SQL System that Learns from Database Information
ZHAW Zurich University of Applied Sciences(苏黎世应用科技大学(ZHAW))
几十年来,为数据库构建自然语言(NL)接口一直是一个长期存在的挑战。这些所谓的NL-to-SQL系统的主要优点是,最终用户可以查询复杂的数据库,而不需要知道SQL或底层数据库模式。由于机器学习的重大进步,最近的研究重点一直放在神经网络上,以解决像Spider这样的复杂数据集上的这一挑战。最近的几个NL-to-SQL系统在这个数据集上取得了令人鼓舞的结果。然而,没有一个提供源代码或可执行二进制文件的已发布系统从用户问题中提取和合并值以生成SQL语句。因此,这些系统在现实世界中的实际应用尚未得到充分证明。在本文中,我们提出了ValueNet light和ValueNet --两个端到端的NL到SQL系统,它们使用具有挑战性的Spider数据集合并了值。我们的方法的主要思想是不仅使用来自底层数据库的元数据信息,而且使用基础数据上的信息作为神经网络架构的输入。特别是,我们提出了一种新的架构草图,从用户的问题中提取值,并提出可能的值候选人中没有明确提到的问题。然后,我们使用基于编码器-解码器架构的神经模型来合成SQL查询。最后,我们使用执行准确性指标评估我们的模型,这是一个比大多数挑战参与者使用的更难的指标。我们的实验评估表明,ValueNet light和ValueNet分别达到了67%和62%的准确率,从NL转换到SQL,同时合并值。
2021-02-22 cs.AI cs.DB
OmniSQL: Synthesizing High-quality Text-to-SQL Data at Scale
Renmin University of China(中国人民大学)
针对现有Text-to-SQL方法成本高、泛化差的问题,提出可扩展数据合成框架构建百万级数据集SynSQL-2.5M,并训练出7B/14B/32B规模的开源模型OmniSQL,在九个数据集上达到SOTA性能。
2025-07-13 cs.CL cs.DB
Translating database mathematical schemes into relational database software applications with MatBase
Ovidius University at Constanta(康斯坦察奥维迪乌斯大学)
本文提出将MatBase中的数学数据模型方案转换为关系模型及非关系约束的伪代码算法,并展示了其高效性与完整性,通过基因谱系子宇宙的数学方案应用,提供SQL和VBA代码示例及开发指南。
2026-05-11 cs.DB
Interactive Text-to-SQL via Expected Information Gain for Disambiguation
针对Text-to-SQL系统在复杂数据库上因自然语言歧义而错误解释的问题,提出交互式框架,通过期望信息增益选择澄清问题,逐步消歧以生成准确SQL查询。
2025-07-09 cs.DB
TailorSQL: An NL2SQL System Tailored to Your Query Workload
Parallel Web Systems(并行网络系统);Amazon Web Services(亚马逊网络服务);Technical University of Munich(慕尼黑技术大学);STACKIT
TailorSQL利用历史查询负载信息提升自然语言到SQL翻译的准确性与延迟,在标准化基准上执行准确率最高提升2倍。
2025-05-29 cs.CL cs.DB
SING-SQL: A Synthetic Data Generation Framework for In-Domain Text-to-SQL Translation
Bilkent University(比尔肯特大学)
本文提出 SING-SQL 全自动合成数据框架,通过子模式划分、多级 SQL 生成与质量校验提升单库 Text-to-SQL,微调模型在 BIRD 上取得同规模开源最优。
2025-09-30 cs.AI cs.DB
A Plug-and-Play Natural Language Rewriter for Natural Language to SQL
针对用户因对数据库模式理解有限或记忆偏差导致NL2SQL翻译错误的问题,提出即插即用模块REWRITER,通过Checker、Reflector和Rewriter三个组件自动重写有缺陷的NL查询,在Spider和BIRD基准上分别提升1.6%和2.0%的执行准确率。
2024-12-22 cs.DB
CHESS: Contextual Harnessing for Efficient SQL Synthesis
Stanford University(斯坦福大学);University of Alberta(阿尔伯塔大学)
针对文本转SQL面临的数据库规模、模式推理等挑战,提出基于LLM的多智能体框架CHESS,通过四个专用智能体解决对应问题,在工业级数据库支持、隐私保护性能和计算可扩展性上表现优异。
2024-11-25 cs.AI cs.DB cs.LG
Translating synthetic natural language to database queries: a polyglot deep learning framework
University of Cambridge(剑桥大学);STORM Therapeutics Ltd(STORM Therapeutics有限公司)
数据库的数量及其规模和复杂性正在增加。这就造成了使用障碍,尤其是对于非专家而言,他们必须掌握数据的性质、数据在数据库中的表示方式以及访问数据所使用的特定查询语言或用户界面。这些困难在研究环境中更加严重,在那里使用许多不同的数据库是很常见的。改善这种情况的一种方法是允许用户以自然语言提出他们的查询。在这项工作中,我们描述了一个机器学习框架,Polyglotter,在一般的方式支持映射的自然语言搜索数据库查询。重要的是,它不需要创建手动注释的数据进行训练,因此可以轻松应用于多个领域。该框架是多语言的,因为它支持多种不同的数据库引擎,这些引擎可以用各种查询语言访问,包括SQL和Cypher。此外,Polyglotter还支持多类查询。我们的研究结果表明,我们的框架表现良好的合成和真实的数据库,并可能为数据库维护人员提供机会,以提高其资源的可访问性。
2021-04-14 cs.CL cs.DB cs.LG
Database-Agnostic Workload Management
我们提出了一个系统,以支持多租户和多数据库平台的通用SQL工作负载分析和管理。SQL分析应用程序在支持数据库管理、建模用户行为、审计安全和路由查询方面变得越来越复杂,但这些方法依赖于专门的特征工程,因此必须针对每个SQL方言、数据库系统和应用程序仔细实现和重新实现。与此同时,随着系统集中在云中,工作负载的规模和复杂性正在增加。我们模型的工作负载分析和管理任务的变化,查询标签,并提出了一个系统设计,可以支持跨多个应用程序和数据库后端的一般查询标签例程。该设计依赖于使用SQL查询的学习向量嵌入作为特定于应用程序的语法功能的替代品,减少了自定义代码,并允许使用现成的机器学习算法进行标记。我们在本文中提供证据的关键假设是,这些学习的特征可以在代表性的机器学习任务上优于传统的特征工程。我们提出了一个与数据库无关的工作负载管理和分析服务的设计,描述了潜在的应用程序,并表明将工作负载表示与标签任务分离提供了新的功能,并且可以优于现有的代表性任务解决方案,包括用于索引推荐的工作负载采样和用于安全审计的用户标签。
2018-08-25 cs.DB
xDBTagger: Explainable Natural Language Interface to Databases Using Keyword Mappings and Schema Graph
University of Waterloo(滑铁卢大学);The Central Bank of the Republic of Türkiye(土耳其共和国中央银行);Bilkent University(比尔肯特大学)
在关系数据库接口中将自然语言查询(NLQ)转换为结构化查询语言(SQL)是一项具有挑战性的任务,已经被来自数据库和自然语言处理社区的研究人员广泛研究。已经提出了许多工作来攻击自然语言数据库接口(NLIDB)问题,无论是传统的基于流水线的解决方案还是基于端到端深度学习的解决方案。然而,无论首选的方法是什么,这种解决方案都表现出黑盒性质,这使得这些系统所针对的潜在用户难以理解为生成翻译后的SQL而做出的决策。为此,我们提出了xDBTagger,一个可解释的混合翻译管道,解释了一路上向用户的文本和视觉的决定。我们还评估xDBTagger在三个现实世界的关系数据库定量。评估结果表明,除了完全可解释,xDBTagger是有效的准确性和翻译查询更有效地相比,其他国家的最先进的基于流水线的系统高达10000倍。
2022-10-07 cs.AI cs.CL cs.DB
Frameworks for Querying Databases Using Natural Language: A Literature Review
自然语言接口(NLI)便于用户提出查询以从数据库检索信息,而不使用诸如结构化查询语言(SQL)的任何人工语言。在包括医疗保健、客户支持和搜索引擎的各种领域中的若干应用需要精心制作具有关于文本的信息的结构化数据。此外,许多问题已经被探索,包括配置的复杂性,密集算法的处理,以及关系数据库的普及,由于将自然语言转换为数据库查询已成为一个次要的研究领域。查询系统和支持语音的界面的新兴趋势使自然语言重新进入数据库查询研究领域。上一次就该主题发布的调查是六年前的2013年。据我们所知,没有最近的研究发现,讨论了结构化和非结构化查询语言的自然语言的翻译框架的当前状态。在本文中,我们回顾了2008年至2018年的47个框架。在47个项目中,有35个与我们的工作密切相关。基于SQL的框架已被分类为统计,符号和连接主义方法。然而,基于NoSQL的框架已经被分类为语义匹配和模式匹配。然后,这些框架进行审查的基础上,他们的支持语言,他们的启发式规则,互操作性的支持,数据集范围和他们的整体性能得分的计划。调查结果表明,70%的自然语言数据库查询工作是针对SQL进行的,NoSQL分别占SPAROL,CYPHER和GREMLIN等语言的15%,10%和5%。还注意到,大多数框架仅支持英语。
2019-09-03 cs.DB