Automating Pharmacovigilance Evidence Generation: Using Large Language Models to Produce Context-Aware SQL
GlaxoSmithKline(葛兰素史克);Tech Mahindra;London School of Hygiene and Tropical Medicine(伦敦卫生与热带医学院)
本研究提出在检索增强生成(RAG)框架中结合业务上下文文档使用GPT-4,将药物警戒自然语言查询转换为SQL,显著提升查询准确性,为非技术用户信息检索提供高效框架。
2024-09-04 cs.AI cs.DB
SQLord: A Robust Enterprise Text-to-SQL Solution via Reverse Data Generation and Workflow Decomposition
Alibaba Group(阿里巴巴集团)
针对企业级NL2SQL缺乏领域微调数据和复杂查询处理难的问题,提出SQLord框架,通过SQL逆向数据生成、工作流分解及GPT-Judge评估体系,在离线与在线测试中准确率超90%并成功落地最大B2B平台。
2025-07-14 cs.AI cs.DB
Empirical Analysis on Comparing the Performance of Alpha Miner Algorithm in SQL Query Language and NoSQL Column-Oriented Databases Using Apache Phoenix
流程感知信息系统(Process Aware Information Systems,PAIS)是一种支持业务流程并从业务流程的执行中生成大量事件日志的IT系统。事件日志表示为CaseID、Timestamp、Activity和Actor的元组。流程挖掘是一个新兴的领域,旨在通过分析事件日志来发现、增强和改进业务流程,并检查运行时间和设计时间业务流程之间的一致性。生成的大量事件日志存储在数据库中。关系数据库对于某类应用程序表现良好。然而,有一类应用程序是关系数据库无法扩展的。为了处理这类应用程序,NoSQL数据库系统出现了。从事件日志中发现流程模型(工作流模型)是流程挖掘中最具挑战性和重要的任务之一。$α$ -miner算法是最早也是最广泛使用的进程发现技术之一。我们的目标是调查哪些数据库(关系型或NoSQL)在流程挖掘下的流程发现应用程序中表现更好。我们实现了$α$ -矿工算法的关系(面向行)和NoSQL(面向列)数据库中的数据库查询语言,使我们的算法是紧密耦合到数据库。我们提出了一个性能基准测试和比较的$α$ -矿工算法在面向行的数据库和NoSQL的面向列的数据库,以便我们可以比较哪个数据库可以有效地存储大量的事件日志,并分析它在几秒钟内发现一个进程模型。
2017-03-16 cs.DB
Bridging Business Intent and Data: A Benchmark for Automatic Relational Data Product Generation
IBM Research(IBM研究院)
DP-Bench是一个全新的基准,用于评估自动数据产品创建,结合了ELT和文本到SQL基准,并提出基于大语言模型的方法作为基线。
2026-08-26 cs.CL cs.DB
Interactive Text-to-SQL via Expected Information Gain for Disambiguation
针对Text-to-SQL系统在复杂数据库上因自然语言歧义而错误解释的问题,提出交互式框架,通过期望信息增益选择澄清问题,逐步消歧以生成准确SQL查询。
2025-07-09 cs.DB
CoeusBI: A Comprehensive Interactive Business Intelligence System Powered by LLMs at Baidu [Extended Version]
Beijing University of Posts and Telecommunications(北京邮电大学);Baidu Inc.(百度公司)
CoeusBI提出双智能体架构与分层模式链接,通过视图生成智能体自动简化JOIN查询、分层检索处理宽模式、动态路由智能体优化多轮对话,在公共和生产数据集上显著提升查询准确率、令牌效率与用户满意度,已部署于百度平台服务数千用户。
2026-06-16 cs.DB
MTBase: Optimizing Cross-Tenant Database Queries
在过去的十年中,许多业务应用程序已经迁移到云中。特别是,“数据库即服务”模式已成为主流。虽然现有的多租户数据管理系统专注于单租户查询处理,但我们认为现在是时候重新考虑如何跨多租户处理查询,以便我们不仅获得更有价值的见解,而且成本最低。正如我们将在本文中讨论的那样,标准SQL语义不足以以明确的方式处理跨租户查询,这就是为什么现有系统使用其他昂贵的方法,如ETL或数据集成。我们首先提出了MTSQL,一组标准SQL的扩展,它解决了歧义问题。接下来,我们介绍MTBase,一个查询处理中间件,它可以在SQL之上高效地处理MTSQL。正如我们将看到的,有一个规范的、可证明正确的、从MTSQL到SQL的重写算法,但是这可能导致查询执行性能很差,即使是在高性能数据库产品上。我们进一步表明,通过精心设计的优化,可以减少执行时间,从而使单租户查询的差异变得微不足道。
2017-03-13 cs.DB
Towards Expectation-Maximization by SQL in RDBMS
将机器学习技术集成到RDBMS中是一项重要的任务,因为存在许多需要建模的实际应用(例如,商业智能、战略分析)以及查询RDBMS中的数据。在本文中,我们提供了一个SQL解决方案,有可能支持不同的机器学习建模。作为一个例子,我们研究了如何支持无监督的概率建模,在聚类,密度估计和数据汇总有广泛的应用,并专注于期望最大化(EM)算法,这是一种通用的技术,寻找最大似然估计。用EM训练模型时,需要在while循环中通过一个E步和一个M步迭代地更新模型参数,直到收敛到某个阈值控制的水平或重复一定次数的迭代。为了在RDBMS中支持EM,我们展示了RDBMS中的矩阵/向量表示,支持EM所需的线性代数操作的关系代数操作,关系代数的参数更新,以及while循环的支持。需要注意的是,SQL'99递归不能用于处理这样的while循环,因为M步是非单调的。此外,假设一个模型已经训练的EM算法,我们进一步设计了一个自动的数据库中的模型维护机制,维护模型时,底层的训练数据的变化。我们已经进行了实验研究,并将报告我们的研究结果在本文中。
2021-01-22 cs.DB
PhD thesis: SQL Comprehension and Synthesis
结构化查询语言(SQL)仍然是关系数据库管理系统(RDBMS)中使用的标准语言,并已在医疗保健(患者登记),商业(库存,趋势分析),军事,教育等领域找到了应用程序。同样,制定和理解书面查询可能会令人困惑,特别是对本科生来说。这些困难的关键原因之一在于SQL的简单语法,这通常是误导和难以理解的。一个理想的解决方案是向这两个受众:本科生和非技术最终用户提供学习和实践工具。这些工具大多是电子的,可以用来帮助他们理解,并使他们能够编写正确的SQL查询。这项工作提出了一种新的方法,旨在理解和编写正确的SQL查询使用的原则,从形式语言和自动机理论。我们提出的算法的基础上:正则表达式识别简单的查询结构,上下文无关文法识别嵌套查询,和一个跳跃的有限自动机的SQL查询合成从自然语言的描述。作为概念证明,这些算法被进一步实施到旨在提高SQL理解的交互式软件工具中。对这些工具的评估表明,大多数参与者都认为这些工具很直观,有助于他们理解SQL查询。因此,这些工具应该在帮助高等教育机构理解SQL方面找到应用程序,并在以数据为中心的行业中帮助编写正确的查询。
2022-03-03 cs.DB cs.FL
Sigma Workbook: A Spreadsheet for Cloud Data Warehouses
云数据仓库(CDW)使大规模数据和计算能力更接近企业中的用户。然而,现有的用于分析CDW中的数据的工具要么局限于临时转换,要么难以用于业务用户。在这里,我们介绍Sigma Workbook,这是一个新的交互式系统,使业务用户能够轻松地对CDW中的数据进行大规模的可视化分析。为此,Sigma Workbook提供了一个可访问的电子表格式界面,用于通过直接操作进行分析。Sigma Workbook基于SQL的多功能性和表达性,从用户交互中动态构建匹配的SQL查询。构造的查询直接在CDW上执行,利用了新一代CDW的优越特性,包括可伸缩性。我们通过3个真实的用例--队列分析、会话化和数据增强--展示了Sigma Workbook,并强调了Workbook的易用性、可扩展性和表现力。
2022-08-18 cs.DB cs.HC
Rethinking Text-to-SQL: Dynamic Multi-turn SQL Interaction for Real-world Database Exploration
University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Tsinghua University(清华大学)
针对现有Text-to-SQL系统无法适配真实场景多轮动态交互的问题,本文构建自动化生成的DySQL-Bench评测基准与多轮交互评估框架,实验证明该基准难度较高,现有顶尖模型表现仍有较大提升空间。
2025-11-13 cs.CL cs.DB
Interactive Text-to-SQL Generation via Editable Step-by-Step Explanations
Purdue University(普渡大学);University of Notre Dame(圣母大学);The University of Sydney(悉尼大学)
针对现有 Text-to-SQL 技术易出错且缺乏灵活修正方式的问题,提出一种允许用户直接编辑查询逐步解释以修复错误的交互机制,实验与用户研究证明其优于多种 SOTA 方法。
2024-01-04 cs.CL cs.DB
Lightweight Materialization for Fast Dashboards Over Joins
针对连接查询开销高导致仪表盘交互延迟的问题,本文提出Treant加速器,结合因子化执行与新型CJT轻量级物化中间结果,实现查询间工作共享,可移植到各类SQL DBMS,性能较现有方案提升1-2个数量级。
2023-08-24 cs.DB
Building an Effective Data Warehousing for Financial Sector
本文介绍了一个金融控股公司的数据仓库的实现过程和业务数据的多维分析。目标是创建一个商业智能系统,以简单、快速但又通用的方式,允许访问有关银行账户余额的最新、汇总、真实和/或预测信息。该系统利用Microsoft SQL Server提供的Integration Services和Analysis Services工具,对支持现金管理信息的业务数据库信息进行提取和处理。最终用户界面是一个数据透视表,它被适当地安排以浏览所生成的多维数据集可用的信息。结果表明,采用在线分析处理多维数据集提供了更好的性能,并提供了一个更自动化和更强大的过程来分析当前和临时汇总的财务数据余额相比,当前的过程基于从交易数据库构建的静态报告。
2017-09-18 cs.DB
A Direct Symbolic Execution of SQL Code for Testing of Data-Oriented Applications
符号执行是一种能够自动生成测试输入(和输出)的技术,它在要测试的程序中执行一组执行路径。如果路径覆盖了被测代码的足够部分,则测试数据提供了程序实际行为的代表性视图,这尤其使得能够检测错误和纠正故障。关系数据库在软件中无处不在,但操作它们的代码片段的符号执行仍然是一个不小的问题,特别是因为这种数据库的复杂结构和SQL语句的复杂行为。在这项工作中,我们定义了一个直接的符号执行数据库操作代码,并将其与一个更传统的符号执行正常的程序代码。数据库表由关系符号表示,SQL语句由这些符号上的关系约束表示,符号表示程序的正常变量。基于这些原则的算法的符号执行的Java方法,实现业务用例的读写关系数据库,后者受到数据完整性约束。该算法被集成在一个测试生成工具,并在示例代码进行了实验。工具生成的约束的目标语言是SMT-Lib标准,使用的求解器是Microsoft Z3。结果表明,该方法能够在合理的时间内生成有意义的测试数据,包括有效的数据库内容。特别是,Z3求解器被证明是更可扩展的比合金求解器,在我们以前的工作中使用,解决关系约束。
2015-01-21 cs.DB cs.SE
Evaluation of NoSQL in the Energy Marketplace with GraphQL Optimization
本研究针对电动汽车充电需求下的能源市场存储问题,对比Google Cloud Firestore(NoSQL)与Cloud SQL MySQL(SQL)的查询延迟、扩展性和成本,验证Firestore能否满足需求及GraphQL中间件能否弥补其缺陷。
2024-03-07 cs.DB
Graywulf: A platform for federated scientific databases and services
许多科学领域都依赖于关系数据库管理系统来分析、发布和共享数据。由于RDBMS最初是为业务用例设计的,并且其开发方向主要由业务用例驱动,因此它们通常缺乏对科学应用非常重要的功能。水平可伸缩性可能是最重要的缺失特性,这使得传统的关系数据库系统适应不断增长的数据大小变得具有挑战性。由于对数组数据类型和元数据管理的支持有限,关系数据库管理系统在科学领域的成功应用通常需要开发自定义扩展。虽然其中一些扩展是特定于科学领域的,但其中大多数可以很容易地在其他学科中推广和重用。在Graywulf项目中,我们打算瞄准几个目标。我们正在构建一个通用平台,提供可重复使用的组件,用于有效存储,转换,统计分析和呈现存储在Microsoft SQL Server中的科学数据。Graywulf还解决了当前RDBMS技术所带来的分布式计算问题。当前版本支持简单查询的负载均衡和在一组镜像数据库上并行执行分区查询。通过基于Web的查询接口和软件客户端的数据表面提供对数据的统一用户访问。SQL是以稍微修改过的SQL语法制定的,它提供了分布式数据的透明视图。该软件库由几个组件组成,这些组件可以重用以开发复杂的科学数据仓库:系统注册表、管理整个数据库服务器集群的管理工具、复杂的工作流执行框架和SQL解析器库。
2013-08-06 cs.DB
Generating Query Context for Relational Databases
Tursio
针对关系数据库自然语言查询中查询上下文构建耗时且存在冷启动的问题,提出自动生成查询上下文的方法,通过查询流生成数据模型并用加权采样实例化,已在50多个真实数据库上部署。
2026-09-23 cs.DB
A State-of-the-Art SQL Reasoning Model using RLVR
该研究提出一种基于RLVR的简单通用训练方案,在BIRD基准上首次提交即达到最先进SQL推理准确率(75.68%),且无需额外数据或专有模型,可广泛适用于企业领域。
2025-09-25 cs.AI cs.CL cs.DB
Seamless Data Migration between Database Schemas with DAMI-Framework: An Empirical Study on Developer Experience
North Carolina State University(北卡罗来纳州立大学);Universidade da Coruña(拉科鲁尼亚大学);Centro de Investigación CITIC(CITIC研究中心)
本文提出DAMI框架,通过领域特定语言和解析器简化数据库模式间的数据迁移,实验证明其在可读性和易用性方面优于传统SQL,减少了迁移工作量。
2025-04-24 cs.DB cs.SE
SPSQL: Step-by-step Parsing Based Framework for Text-to-SQL Generation
State Grid Zhejiang Electric Power Co., Ltd(国网浙江省电力有限公司);Zhejiang University(浙江大学)
本文提出流水线式Text2SQL框架SPSQL,将任务拆解为表选择、列选择、SQL生成和值填充四个子任务,结合命名实体识别与数据增强优化模型,在自建数据集上性能优于端到端等方法。
2023-05-10 cs.AI cs.CL cs.DB
Design of Intelligent layer for flexible querying in databases
UIT, RGPV(UIT,RGPV);JEC
基于计算机的信息技术已被广泛用于帮助许多组织、私人公司、学术和教育机构管理其流程,因此信息系统成为它们的神经中枢。由企业、科学和政府创建的海量数据集的爆炸式增长需要智能和更强大的计算范式,以便用户可以从这些数据中受益。因此,大多数新一代数据库应用需要智能信息管理,以提高数据库和用户之间的有效交互。数据库系统只支持布尔查询模型。SQL数据库上的选择查询返回所有满足查询条件的元组。
2009-12-11 cs.AI cs.DB
Sigma Worksheet: Interactive Construction of OLAP Queries
新一代云数据仓库(CDW)将大量数据和计算能力更接近企业用户。直接访问仓库数据,交互式分析和大规模探索数据的能力可以使用户能够改善他们的决策周期。然而,CDW中用于分析数据的现有工具要么局限于临时转换,要么难以用于企业中最大的用户群--业务用户。在这里,我们介绍了西格玛,一个新的交互式系统,使用户能够轻松地执行特设的可视化分析的数据在CDW的规模。为此,Sigma Siemens提供了一个可访问的电子表格式界面,通过直接操作进行数据分析。Sigma SQL基于SQL的多功能性和表现力,通过用户在这个熟悉的界面上的交互动态地构造匹配的SQL查询。Sigma XSLT直接在CDW上执行构造查询,利用了新一代CDW的优越特性,包括可伸缩性。为了评估Sigma的可扩展性,我们首先通过两个现实生活中的用例,队列分析和会话化来展示它的表现力。然后,我们使用TPC-H基准测试的一组实验来衡量的性能的查询生成的查询。结果表明,我们编译的SQL查询的性能是可比的基准的参考查询。最后,为了评估西格玛咨询在部署中的有用性,我们通过一个100人的调查,然后是一个半结构化的访谈研究与70名参与者的反馈。我们发现,Sigma SDK更易于使用和学习,提高了用户的生产力。我们的研究结果还表明,西格玛咨询公司可以通过在数据分析的各个步骤为用户提供指导,进一步改善用户体验。
2021-05-06 cs.DB cs.HC
Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows
TextQL
Argo-Bench是一个评估框架,通过模拟纽约市外卖平台并构建企业级数据仓库,测试数据智能体在复杂工作流中的推理与行动能力,超越传统文本到SQL基准。
2026-10-02 cs.AI cs.CL cs.DB
User Profile-Driven Data Warehouse Summary for Adaptive OLAP Queries
数据仓库是决策支持系统的重要组成部分。它旨在使用户的知识,使更好,更快的日常业务决策。为了改进该决策支持系统并向用户提供越来越多的相关信息,将用户的简档集成到数据仓库过程中的需要变得至关重要。在本文中,我们建议利用用户的喜好为基础,适应OLAP(在线分析处理)查询的用户。为此,我们提出了一种用户简档驱动的数据仓库方法,该方法允许将用户的配置文件由他/她的标识符和他/她的一组偏好组成。我们的方法是基于一个通用的数据仓库架构和一个自适应的OLAP分析系统。我们的主要思想是为每个用户创建一个数据仓库物化视图。当用户第一次定义他/她的配置文件时,该任务离线执行。然后,当用户向数据仓库提交查询时,系统处理他/她的数据仓库物化视图而不是整个数据仓库。换句话说,数据仓库视图通过考虑用户的偏好来为用户概括数据仓库内容。此外,我们正在SQL Server 2005 DBMS(数据库管理系统)下实现我们的数据仓库个性化方法。
2013-01-10 cs.DB
Data Guard: A Fine-grained Purpose-based Access Control System for Large Data Warehouses
LinkedIn Corporation(领英公司);OpenAI;Anthropic
本文提出 Data Guard,通过基于数据语义与访问目的的策略生成 SQL 屏蔽视图,实现行、列及非原子类型子单元级访问控制,并已在 LinkedIn 生产环境支撑每日逾 2 万次合规表访问。
2025-10-21 cs.DB
Bridging Imperative Process Models and Process Data Queries-Translation and Relaxation
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);SAP Signavio;Umeå University(于默奥大学);Humboldt Universität zu Berlin(柏林洪堡大学)
本文提出将命令式流程模型(如Petri网)翻译为松弛的SQL查询用于一致性检查,弥合流程建模与数据驱动分析之间的鸿沟,并验证了行为足迹等声明式方法的价值。
2025-10-07 cs.DB cs.SE
Data warehouse on Manpower Employment for Decision Support System
自从在商业世界中使用计算机以来,由于数据中的可用知识,数据汇集已成为最重要的问题之一;这些数据已存储在数据库中。数据库系统的发展导致了层次和关系数据库的演变,随后是标准查询语言(SQL)。随着数据大小的增加,对更多控制和信息检索的需求也会增加。这些增长导致了数据采掘系统和数据仓库的发展。本文重点讨论了使用数据仓库作为决策支持工具。本文以人力资源管理为例,研究了数据仓库技术在时间和灵活性方面的有效性。最后,对传统关系数据库和数据仓库的使用进行了比较。数据仓库的基本作用是为决策过程提供数据支持。数据仓库环境中的数据是多维数据存储。我们可以简单地说,数据仓库是一个过程,而不是一个产品,用于组装和管理来自各种来源的数据,以获得部分或全部机构的单个详细视图。数据仓库的概念已经改变了决策支持系统的性质,通过增加新的好处来改进和扩展数据的范围、准确性和可访问性。
2019-04-01 cs.DB