Uncertainty Aware Query Execution Time Prediction
预测查询执行时间是许多数据库管理任务的基础问题。现有的预测器依赖于诸如基数估计和系统性能常数之类的信息，这些信息很难准确地知道。因此，准确的预测仍然是难以捉摸的许多查询。然而，现有的预测器提供了一个单一的，点估计的真实执行时间，但无法表征的不确定性的预测。在本文中，我们采取的第一步，随着查询执行时间预测提供不确定性信息。我们使用查询优化器的成本模型来表示查询执行时间作为查询计划中的操作符的选择性的函数，以及描述系统中的CPU和I/O操作的成本的常数。通过将这些量视为随机变量而不是常数，我们表明，以较低的开销，我们可以推断出可能的预测误差的分布。我们进一步表明，我们提出的技术估计的预测误差与实际的预测误差密切相关。
2014-08-27 cs.DB
LQRS: Learned Query Re-optimization Framework for Spark SQL
Renmin University of China（中国人民大学）
LQRS是一种基于学习的查询重优化框架，通过课程强化学习策略和即插即用的计划扩展模块，实现动态计划优化，显著提升了Spark SQL的查询性能。
2026-03-04 cs.DB
AI Query Compilation for Unified and Optimized Execution
Google Cloud（谷歌云）
该研究提出统一编译执行架构范式，将SQL与LLM整合为张量计算图消除PCIe瓶颈，在SemBench数据集的TPU实验获最高5.3倍延迟、9.8倍吞吐量加速，还给出相关研究路线图。
2026-08-12 cs.DB
Cost-Aware Optimization for Agentic Query Execution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rice University（莱斯大学）
针对LLM支持的查询执行中算子放置、顺序和粒度影响代价与质量的问题，提出EnumGRPO优化器，通过上下文强化学习从枚举计划中蒸馏启发式策略，在SWAN数据库上实现0.011美元/查询的LLM代价和35.4%的执行准确率。
2026-10-08 cs.DB
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长，需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中，我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此，我们创建了一组自动化工具来创建一个运行时代码生成引擎，并将这样的引擎集成到SQLite中，SQLite是世界上最流行的关系数据库之一，用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
Pay One, Get Hundreds for Free: Reducing Cloud Costs through Shared Query Execution
基于云的数据分析是目前的常见做法，因为系统管理开销较低，以及按需付费的定价模式。然而，定价模型并不总是适合查询处理，因为大量使用会导致高成本。例如，在查询即服务系统中，按处理的字节向用户收费，频繁访问相同数据的查询集合可能会变得昂贵。当使用声明性接口（如SQL）时，用户优化查询执行的选项有限，这使得问题更加复杂。在本文中，我们展示了如何，而不修改现有的系统，没有云提供商的参与，它是可以显着降低开销，因此成本，查询即服务系统。我们的方法是基于查询重写，使多个并发查询合并成一个单一的查询。我们的实验表明，共享执行所做的工作总量小于一次查询的方法。由于查询是按处理的字节收费的，因此执行一组查询的成本通常与执行其中一个查询的成本相同。作为一个例子，我们演示了如何在Amazon Athena和Google BigQuery中共享执行TPC-H基准测试，比使用一次查询方法便宜100倍和16倍，同时实现更高的吞吐量。
2018-09-01 cs.DB
Efficient Cloud-Edge-Device Query Execution Based on Collaborative Scan Operator
本文针对云边端协同查询中边缘资源瓶颈问题，提出基于协同扫描算子的CED框架，实现查询在云边间无缝切换，实验证明其能缓解边缘高I/O与CPU等待导致的性能下降并实现资源均衡调度。
2025-08-21 cs.DB
From Textual Columns to Query Plans: A Unified Relational-Semantic Execution Framework for Hybrid Query Processing
Megagon Labs（Megagon实验室）
OmniTQA通过整合LLM语义操作与传统关系运算符，提出了一种成本感知的混合查询处理框架，有效处理结构化与半结构化数据，提升复杂查询和大规模表的准确性和效率。
2026-07-03 cs.DB
SkinnerDB: Regret-Bounded Query Evaluation via Reinforcement Learning
SkinnerDB是为可靠的连接排序而设计的。它不维护数据统计，也不使用成本或基数模型。相反，它使用强化学习在执行当前查询期间动态学习最佳连接顺序。为此，我们将查询的执行划分为许多小的时间片。在不同的时间片中尝试不同的连接顺序。我们合并根据不同连接顺序生成的结果元组，直到获得一个完整的结果。通过测量每个时间片的执行进度，我们确定有前途的连接顺序执行的进行。与SkinnerDB一起，我们为查询执行策略引入了一个新的质量标准。我们比较预期的执行成本对执行成本的最佳连接顺序。SkinnerDB具有针对该标准进行优化的多个执行策略。其中一些可以在现有的数据库系统上执行。为了最大限度地提高性能，我们引入了一个自定义的执行引擎，通过专门的多路连接算法和元组表示促进快速连接顺序切换。我们通过实验将SkinnerDB的性能与各种基线进行了比较，包括MonetDB，Postgres和自适应处理方法。我们考虑了各种基准测试，包括连接顺序基准测试和带有用户定义函数的TPC-H变体。总的来说，与偶尔的灾难性连接顺序选择的性能影响相比，可靠连接顺序的开销可以忽略不计。
2019-01-16 cs.DB
Visualizing the robustness of query execution
在数据库查询处理中，实际运行时条件（例如，实际选择性和实际可用存储器）经常不同于运行时条件的编译时预期（例如，估计的谓词选择性和预期的存储器可用性）。查询处理的健壮性可以定义为处理意外条件的能力。具体来说，查询执行的健壮性可以定义为在意外情况下有效处理特定计划的能力。我们专注于查询执行（运行时），忽略查询优化（编译时），以补充现有的研究，并探索未开发的潜力，提高数据库查询处理的鲁棒性。我们最初的步骤之一是设计图表或地图，显示如何以及计划执行在面对不同的运行时条件，以及如何优雅的系统的查询架构，运营商，以及他们的实现在面对不利的条件下降级。在本文中，我们展示了几种图表与数据从三个真实的系统，并报告了我们所学到的关于这些可视化技术和有关的三个数据库系统
2009-09-09 cs.DB cs.PF
Stage: Query Execution Time Prediction in Amazon Redshift
针对 Amazon Redshift 查询执行时间预测的冷启动与鲁棒性问题，提出融合缓存、本地模型和全局模型的分层 Stage 预测器，显著提升准确性并降低平均执行延迟 20%。
2024-03-04 cs.DB
BARQ: A Vectorized SPARQL Query Execution Engine
本文介绍了向量化SPARQL查询执行引擎BARQ，通过批处理元组优化关键操作，成功集成到Stardog平台，在CPU密集型查询上实现大幅提速且不牺牲磁盘密集型查询性能。
2025-04-06 cs.DB
The Odyssey Approach for Optimizing Federated SPARQL Queries
通过SPARQL端点联合执行查询需要组合来自多个数据源的数据。在这样的场景中优化查询是特别具有挑战性的，这不仅是因为（i）正确回答查询的各种各样的可能的查询执行计划，而且还因为（ii）对关于远程源的模式和实例数据的统计数据的访问是有限的。为了克服这些挑战，大多数联邦查询引擎依赖于算法来减少可能的查询执行计划的空间，或者依赖于动态规划策略来产生最优计划。然而，这些计划可能仍然表现出大量的中间结果或高执行时间，因为成本估算和不准确的成本估算。在本文中，我们提出了奥德赛，一种方法，使用统计数据，允许更准确的成本估计联邦查询，因此使奥德赛产生更好的查询执行计划。我们的实验结果表明，奥德赛产生的查询执行计划，更好的数据传输和执行时间比国家的最先进的优化。我们使用FedBench基准测试的实验显示，平均执行时间至少增加了25倍。
2017-11-02 cs.DB
GraftDB: Dynamic Folding of Concurrent Analytical Queries
The University of Tokyo（东京大学）
提出GraftDB，一种多查询执行引擎，通过状态中心执行和查询嫁接机制动态折叠后续查询到正在运行的执行中，重用已完成工作并共享后续工作，从而减少冗余执行，提高吞吐量并降低响应时间。
2026-06-03 cs.DB
Efficient Learned Query Execution over Text and Tables [Technical Report]
针对文本与表格多模态查询中使用大语言模型开销过高的问题，本文提出ELEET执行引擎，采用专用小语言模型实现多模态算子，在保证精度的前提下将查询速度最高提升575倍。
2024-10-29 cs.DB
Can the Optimizer Cost be Used to Predict Query Execution Times?
预测查询的执行时间是调度、服务水平协议和错误检测等应用中的一个重要问题。在查询规划期间，成本与所选择的执行计划相关联，并用于对竞争计划进行排名。使用该成本来预测执行时间将是方便的，但是在文献中已经声称这是不可能的。在本文中，我们彻底调查这一主张，考虑线性和非线性模型。我们发现，使用更复杂的模型，只有优化成本的准确性是在文献中报道的准确性。在文献中最准确的方法是最近邻回归，不产生一个模型。公布的结果使用了一个大的特征集来识别最近的邻居。我们表明，它是可以实现相同水平的精度只使用成本来确定最近的邻居。使用较小的特征集带来了在用于训练数据的存储空间和产生预测的时间方面减少开销的优点。
2019-05-02 cs.DB
Storage, Indexing, Query Processing, and Benchmarking in Centralized and Distributed RDF Engines: A Survey
语义网和关联数据的最新进展已经改变了传统网络的工作方式。资源描述框架（RDF）格式被广泛采用，用于保存基于网络的数据。这种大规模的采用为各种集中式和分布式RDF处理引擎的开发铺平了道路。这些引擎采用各种机制来实现查询处理引擎的关键组件，例如数据存储、索引、语言支持和查询执行。所有这些组件都控制查询的执行方式，并对查询运行时产生重大影响。例如，以各种方式存储RDF数据会显著影响所需的数据存储空间和查询运行时性能。RDF引擎中使用的索引方法类型对于快速数据查找至关重要。底层查询语言的类型（例如，SPARQL或SQL）是RDF存储解决方案的关键优化组件。最后，涉及不同联接顺序的查询执行会显著影响查询响应时间。本文从存储、索引、语言支持和查询执行等方面对集中式和分布式RDF引擎进行了全面的综述。
2020-09-23 cs.DB
The Stretto Execution Engine for Semantic Data Systems
EURECOM（欧雷康）；Technical University of Darmstadt（达姆施塔特工业大学）；TU Darmstadt, DFKI, HessianAI（达姆施塔特工业大学、德国人工智能研究中心、黑森人工智能）
Stretto通过约束优化和梯度优化器，在LLM增强数据系统中实现端到端查询保证，同时高效平衡运行时准确性权衡。
2026-10-12 cs.DB
KathDB-FAO: Optimizing Multimodal Queries through Operator Grouping and Code Reuse
University of Washington（华盛顿大学）；Teradata（天睿数据）
KathDB-FAO为多模态数据库系统设计了一种新查询执行子系统，将自然语言查询转化为合成函数组成的执行计划，在SemBench上平均降低执行成本58.8%，且质量相当或更优。
2026-11-03 cs.AI cs.DB
Evaluation of Link Traversal Query Execution over Decentralized Environments with Structural Assumptions
为了应对网络上数据孤岛造成的社会和经济问题，Solid等努力通过将其存储在网络上大量个人保险库的许可文档中来回收私人数据。在这样一个分散的知识图谱之上构建应用程序涉及重大的技术挑战：由于法律原因，在查询处理之前的集中式聚合被排除在外，并且当前的联合查询技术无法以预期的性能处理这种大规模的分布。我们提出了一个扩展链接Traffic查询处理（LTQP），它将结构属性纳入分散的环境中，以解决其前所未有的规模。在本文中，我们分析了与查询执行相关的Solid去中心化生态系统的结构特性，并提供了SolidBench基准来模拟Solid环境代表。我们引入新的LTQP算法利用这些结构特性，并评估其有效性。我们的实验表明，这些新的算法获得准确的结果在秒的顺序为非复杂的查询，现有的算法无法实现。此外，我们讨论了更复杂的查询方面的限制。这项工作表明，一个基于结构假设的查询方法可以有效地进行大规模的分散，但需要在查询规划领域的LTQP处理更复杂的查询的进步。这些见解为查询驱动的去中心化应用程序打开了大门，其中声明式查询使开发人员免受去中心化环境的固有复杂性的影响。
2023-02-14 cs.DB
NEURON: Query Optimization Meets Natural Language Processing For Augmenting Database Education
关系数据库管理系统（RDBMS）是世界上许多大学的计算机科学课程的一部分。该课程的核心组成部分是关系数据库管理系统中查询优化器的设计和实现。查询优化器的目标是自动识别执行用户提交的声明性SQL查询的最有效执行策略。查询优化过程产生表示查询的执行策略的查询执行计划（QEP）。由于底层查询优化器的复杂性，理解QEP要求学生了解与RDBMS相关的特定于实现的问题。实际上，这是一个不切实际的假设，因为大多数学生都是第一次学习数据库技术。因此，他们通常很难通过仔细阅读QEP来理解DBMS所承担的查询执行策略，从而阻碍了他们的学习过程。在这个演示中，我们提出了一个新的系统，称为神经元，促进自然语言与QEP互动，以提高其理解。NEURON接受SQL查询（可能包括连接、聚合、嵌套等）作为输入，执行它，并生成底层RDBMS部署的执行策略的简化的基于自然语言的描述（文本和语音形式）。此外，它通过基于自然语言的问答框架促进了对与QEP相关的各种特征的理解。我们主张，这样的工具，世界上第一个，可以大大提高学生的学习查询优化的主题。
2018-08-21 cs.DB
Towards Enhancing Database Education: Natural Language Generation Meets Query Execution Plans
数据库系统课程是许多主要大学的本科计算机科学学位课程的一部分。学习此类课程的学习者的一个关键学习目标是了解在实践中如何在RDBMS中处理SQL查询。由于查询执行计划（QEP）描述了查询的执行步骤，学习者可以通过阅读RDBMS生成的QEP来获得理解。不幸的是，在实践中，学习者往往难以理解这些包含特定于供应商的实现细节的QEP，这阻碍了她的学习过程。在本文中，我们提出了一种新颖的，端到端的，通用的系统称为灯笼，产生一个自然语言描述的qep，以促进理解的查询执行步骤。它接受SQL查询及其QEP作为输入，并生成底层RDBMS部署的执行策略的自然语言描述。具体来说，它部署了一个声明性的框架称为池，使主题专家有效地创建和维护自然语言描述的物理操作员中使用的QEP。提出了一个基于规则的框架RULE-LANTERN，利用池生成QEP的自然语言描述。尽管RULE-LANTERN的准确性很高，但我们与学习者的接触表明，与现有的心理学理论相一致，阅读这种基于规则的描述会导致无聊，因为不同的QEP会重复陈述。为了解决这个问题，我们提出了一种新的基于深度学习的语言生成框架，称为NEURAL-LANTERN，它通过利用一组释义工具和词嵌入在生成的描述中注入语言可变性。我们的实验研究与真实的学习者表明灯笼在促进理解QEPs的有效性。
2021-03-03 cs.DB
SQLMorph: Query Mutation and Fine-Grained Metrics for Text-to-SQL Evaluation
Polytechnique Montréal（蒙特利尔综合理工学院）
SQLMorph通过查询变异和细粒度指标，自动生成评估集并揭示系统在复杂查询和语言变化下的性能差异，提升评估的可复现性与实用性。
2026-09-09 cs.AI cs.DB
Efficient Query Re-optimization with Judicious Subquery Selections
针对现有查询重优化依赖初始计划而可能非最优的问题，提出QuerySplit算法，直接从逻辑计划生成子查询并优先执行低损害子查询，在PostgreSQL上实现，较次优方案执行时间减少35%，与最优优化器差距在4%以内。
2023-06-22 cs.DB
Intra-Query Runtime Elasticity for Cloud-Native Data Analysis
提出查询内运行时弹性（IQRE）概念，首个引擎Accordion可在不暂停处理下动态调整并行度，结合what-if自动调优，在满足延迟约束下最小化云资源消耗。
2025-02-25 cs.DB
Efficient Execution of SPARQL Queries with OPTIONAL and UNION Expressions
RDF数据集的激增导致了对SPARQL查询处理优化的研究。大多数现有的工作都集中在基本图模式（BGP）上，而忽略了SPARQL中的其他重要运算符，如UNION和OPTIONAL。SPARQL查询与这些运营商，我们称为SPARQL-UO，提出了严重的查询计划生成的挑战。在本文中，我们提出了一种新的BGP为基础的评估（BE）-树表示的查询计划的基础上，使用BGP执行作为一个构建块执行SPARQL-UO查询的技术。在此之上，我们提出了一系列的成本驱动的BE树转换，以产生更有效的计划，通过减少搜索空间和中间结果的大小，和候选人修剪技术，进一步提高效率，在查询时。实验证实，我们的方法优于国家的最先进的数量级。
2023-03-24 cs.DB
Adaptive Recursive Query Optimization
本文提出自适应元编程技术，将递归查询优化移至运行时，通过动态重优化和自定义连接排序，在Carac引擎上实现未优化查询提速千倍、手工优化查询提速6倍。
2024-03-18 cs.DB cs.PL
Carnot: Interpretable, Interactive, and Optimized Execution of Deep Research Queries
MIT（麻省理工学院）
本文提出Carnot，一款可解释交互式的AI分析执行引擎，可编译自然语言查询为执行图，支持用户干预流程并优化成本与延迟，助力企业高效获取可验证数据洞察。
2026-08-11 cs.AI cs.DB
Redefining Cost Estimation in Database Systems: The Role of Execution Plan Features and Machine Learning
本文提出基于执行计划特征与机器学习的SQL查询运行时预测框架，实验表明XGBoost模型优于其他模型，显著提升数据库成本估算准确性。
2025-10-07 cs.DB
RDF-Hunter: Automatically Crowdsourcing the Execution of Queries Against RDF Data Sets
在过去的几年中，大量的RDF数据集已经在Web上可用。然而，由于RDF数据的半结构化性质，缺失值会影响针对此数据提出的查询的答案完整性。为了克服这一限制，我们提出了RDF-Hunter，一种新的混合查询处理方法，它将机器和人类计算结合在一起，对RDF数据执行查询。我们开发了一种新的质量模型和查询引擎，以使RDF-Hunter在飞行中决定查询的哪些部分应该通过传统的技术或人群计算执行。为了评估RDF-Hunter，我们针对DBpedia数据集创建了50个SPARQL查询的集合，使用我们的混合查询引擎执行它们，并分析了从人群中获得的结果的准确性。实验清楚地表明，整个方法是可行的，并产生可靠的查询结果，显着提高自动查询处理响应的完整性。
2015-03-10 cs.DB
Optimizing Disjunctive Queries with Tagged Execution
针对析取谓词查询优化存在的冗余执行问题，提出标记执行机制按满足的谓词对元组分组并标记以消除冗余，并引入标记泛化技术控制开销，在 Basilisk 系统中实现最高达19倍加速。
2024-04-23 cs.DB
SEFRQO: A Self-Evolving Fine-Tuned RAG-Based Query Optimizer
针对学习型查询优化器的冷启动和工作负载/模式变化需重训问题，提出SEFRQO，基于自进化微调RAG，利用执行反馈、上下文学习优化提示，在CEB和Stack工作负载上较PostgreSQL延迟分别降65.05%和93.57%。
2025-08-24 cs.DB
First Past the Post: Evaluating Query Optimization in MongoDB
本文分析了 MongoDB 的 FPTP 查询优化器有效性，发现其存在偏好索引扫描的偏差，导致所选计划运行时间可达最优计划的两倍以上。
2024-09-25 cs.DB
Estimating the Cost of Executing Link Traversal based SPARQL Queries
几乎所有领域的越来越多的组织都开始采用语义Web技术，将其数据发布为开放、链接和互操作（RDF）数据集，可通过SPARQL语言和协议进行查询。链接遍历已经成为一种SPARQL查询处理方法，它利用链接数据原则和Web的动态特性，通过在查询评估期间解析在线资源（URI）来动态地发现与回答查询相关的数据。然而，链接遍历查询的执行时间对于某些查询类型可能变得过高，这是由于在查询执行期间需要访问大量资源。在本文中，我们提出并评估基线方法估计的链接遍历查询的评估成本。这样的方法对于即时决定给定查询所遵循的查询执行策略非常有用，从而减少SPARQL端点的负载并提高查询服务的整体可靠性。为了评估所提出的方法的性能，我们创建了（并公开提供）一个由2，425个查询组成的地面实况数据集。
2022-10-17 cs.DB
Facilitating SQL Query Composition and Analysis
制定有效的SQL查询需要几个调优和执行周期，特别是对于没有经验的用户。我们研究的方法，可以加速和改善这种互动，提供有关SQL查询执行前的见解。我们通过预测查询答案大小、运行时间和错误类别等属性来实现这一目标。与现有的方法不同，我们的方法不依赖于任何统计数据的数据库实例或查询执行计划。这在对数据库实例的访问受限的设置中尤其重要。我们的方法是基于使用数据驱动的机器学习技术，依赖于大的查询工作负载来建模SQL查询及其属性。我们评估了神经网络模型和传统机器学习模型的效用。我们使用两个真实世界的查询工作负载：斯隆数字巡天（SDSS）和SQLShare查询工作负载。实验结果表明，神经网络模型在预测查询错误类方面更准确，在样本较少的类上实现了更高的F-度量，并且在运行时间和答案大小预测等其他问题上表现得更好。这些结果是令人鼓舞的，并确认SQL查询工作负载和数据驱动的机器学习方法可以用来促进查询组合和分析。
2020-02-21 cs.DB
Calibration: A Simple Trick for Wide-table Delta Analytics
规范化数据库上的数据分析通常需要计算和具体化昂贵的连接（宽表）。分解查询执行将执行建模为连接图中关系之间的消息传递，并通过连接推送聚合以减少中间结果大小。虽然这加快了查询执行速度，但它只优化了单个宽表查询。相比之下，宽表分析通常是交互式的，用户希望将delta应用于初始查询结构。例如，用户希望对维度进行切片、切割和下钻，更新部分表并与新表连接以进行扩充。这种宽表Delta分析提供了新的工作共享机会。这项工作表明，在查询执行期间仔细地具体化消息可以使宽表Delta分析的速度比因子分解执行快10^5倍，并且只会产生恒定的因子开销。关键的挑战是消息对消息传递顺序很敏感。为了应对这一挑战，我们借用概率图模型中的校准概念来实现足够的消息来支持任何排序。我们体现了这些想法在新的校准连接超树（CJT）数据结构，这是快速建立，积极地重用消息，以加速未来的查询，并逐步维护更新。我们进一步展示了CJT如何使OLAP、查询解释、流数据和ML的数据增强等应用程序受益。我们的实验评估了在单线程自定义引擎、云数据库和Pandas中运行的三个版本的CJT，并在上述应用程序上显示出比最先进的因子分解执行算法提高了30倍到10^5倍。
2022-10-07 cs.DB
Fast OLAP Query Execution in Main Memory on Large Data in a Cluster
主存列存储已被证明是有效的处理分析查询。尽管如此，集群背景下的工作要少得多。仅使用一台机器会带来一些限制：处理能力和数据量受限于一个紧密耦合系统上的核心和主内存的数量。为了能够处理更大的数据集，切换到集群是必要的。在这项工作中，我们探索的技术，同时最大限度地利用现有的硬件在并行数据库集群中的大量数据的分析SQL查询的有效执行。这包括预编译查询计划，以实现高效的CPU利用率、在单个节点上和跨集群的完全并行化以及高效的节点间通信。我们在一个原型中实现了所有功能，用于运行TPC-H基准查询的一个子集。我们评估我们的实现使用一个128节点的集群运行TPC-H查询与30 000千兆字节的未压缩数据。
2017-09-15 cs.DB cs.DC
Budget-aware Query Tuning: An AutoML Perspective
Microsoft Research（微软研究院）
本文将数据库查询优化器中的代价单元从常量重新建模为变量，提出查询调优（QT）和工作负载调优（WT）问题，并借鉴 AutoML 中的超参数优化技术在给定时间预算内实现执行计划优化，实验验证了其有效性。
2024-03-29 cs.AI cs.DB cs.LG
Optimizing Federated Queries Based on the Physical Design of a Data Lake
查询执行计划的优化对于减少查询执行时间是至关重要的。特别是在过去的几十年中，关系数据库的查询优化已经被深入研究。最近，资源描述框架（RDF）在Web上发布数据方面变得流行起来。因此，由不同数据模型（如RDF和关系数据库）组成的联邦得到了发展。这些联盟的一种类型是语义数据湖，其中每个数据源都保存在其原始数据模型中，并使用本体或受控词汇表进行语义注释。然而，在语义数据湖上进行联邦查询处理的最先进的查询引擎通常依赖于为RDF量身定制的优化技术。在本文中，我们提出了查询优化技术的指导下，考虑到数据湖的物理设计。语义分析是在Ontario之上实现的，Ontario是语义数据湖的SPARQL查询引擎。使用特定于源的语法，查询引擎能够通过利用关于关系数据库中的索引和规范化的知识来生成更有效的查询执行计划。我们表明，将数据湖的物理设计考虑在内的算法能够加快查询处理。
2020-03-23 cs.DB
Natural Language Knowledge Graph Query Execution: Leveraging Controlled Semantics in the LLM Context Window
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
NLKGQ通过OWL本体在LLM上下文中传递受控语义，零样本生成SPARQL查询，并在多个知识图谱基准上显著提升查询匹配率。
2026-09-15 cs.AI cs.DB
Performance Evaluation of Query Plan Recommendation with Apache Hadoop and Apache Spark
Islamic Azad University（伊斯兰阿扎德大学）；Mobile Telecommunication Company of Iran（伊朗移动电信公司）；Iran University of Medical Sciences（伊朗医科大学）；University of Human Development（人类发展大学）；Gachon University（加川大学）；Technische Universität Dresden（德累斯顿工业大学）
访问计划建议是一种查询优化方法，它使用之前创建的查询执行计划（QEP）执行新查询。在上述方法中，查询优化器将查询空间划分为聚类。然而，传统的聚类算法需要大量的执行时间来聚类这样大的数据集。MapReduce分布式计算模型为存储和处理大量数据提供了高效的解决方案。在基于MapReduce的访问计划推荐方法中，使用Apache Spark和Apache Hadoop框架对不同规模的查询数据集进行聚类。基于执行时间执行性能评估。实验结果证明了并行查询聚类在实现高可扩展性方面的有效性。此外，Apache Spark的性能比Apache Hadoop更好，平均加速比达到2倍。
2022-09-17 cs.DB cs.LG
Walking without a Map: Optimizing Response Times of Traversal-Based Linked Data Queries (Extended Version)
互联网上关联数据的出现引发了对这些数据进行在线声明式查询的研究兴趣。一个特别有趣的方法是基于索引的查询执行，它通过遍历数据链路来获取数据，因此能够利用来自最初未知数据源的最新数据。这种方法的缺点是在查询引擎完成查询执行之前存在延迟。在本文中，我们通过提出一种方法来解决这个问题，以尽快返回尽可能多的结果集元素。这种方法的基础是一种遍历策略，旨在尽可能早地获取结果相关的数据。这种策略的挑战在于，查询引擎并不先验地知道在查询执行期间将发现的数据源中的哪一个包含结果相关数据。我们介绍了16种不同的遍历方法和实验研究它们对响应时间的影响。我们的实验表明，一些方法可以实现显着的改进，在基线上查找URI的先到先得的基础上。此外，我们验证了这些方法的重要性，通过显示，典型的查询优化技术，只专注于构建查询结果的过程中，不能有任何显着的影响，对响应时间的基于查询执行的查询。
2016-07-04 cs.DB
Kalypso: Relational LLM Serving
UMass Amherst（马萨诸塞大学阿默斯特分校）
研究如何提升大语言模型服务语义查询效率，提出关系型大语言模型服务，通过跨语义运算符流水线执行复用KV缓存状态，卡利普索系统利用自适应算法执行查询计划，解决在线调度问题，相比基线系统大幅提高查询完成时间。
2026-08-17 cs.AI cs.CL cs.DB
Native Execution of GraphQL Queries over RDF Graphs Using Multi-way Joins
提出一种受最坏情况最优算法启发的多路左连接算法，实现GraphQL查询在RDF知识图谱上的原生执行，实验表明在查询运行时间和可扩展性上优于现有最先进方案。
2024-09-19 cs.DB
Generating Custom Code for Efficient Query Execution on Heterogeneous Processors
处理器制造商构建越来越专用的处理器，以减轻电源墙的影响，从而提高性能。目前，数据库引擎是为每个处理器手动优化的：这是一个成本高昂且容易出错的过程。在本文中，我们提出的概念，使数据库引擎自动执行每处理器优化。我们的核心思想是创建生成代码的变体，并为每个处理器学习快速变体。我们通过修改并行化策略、专门化数据结构和应用不同的代码转换来创建变体。我们的实验结果表明，变体的性能可能会偏离两个数量级。因此，我们需要为每个处理器生成自定义代码，以实现峰值性能。我们表明，我们的方法为多核CPU，GPU和MIC找到了一个快速的自定义变体。
2017-09-03 cs.DB cs.DC
Lero: A Learning-to-Rank Query Optimizer
Alibaba Group（阿里巴巴集团）；The Chinese University of Hong Kong（香港中文大学）；Massachusetts Institute of Technology（麻省理工学院）
最近的一系列工作应用机器学习技术来帮助或重建DBMS中基于成本的查询优化器。虽然在一些基准中表现出优越性，但它们的不足之处，例如，不稳定的性能、高训练成本和缓慢的模型更新源于使用机器学习模型预测执行计划的成本或等待时间的固有困难。在本文中，我们介绍了一个学习排序查询优化器，称为Lero，它建立在一个本地查询优化器的顶部，并不断学习，以提高优化性能。关键的观察结果是计划的相对顺序或等级，而不是确切的成本或延迟，对于查询优化就足够了。Lero采用成对的方法来训练分类器，以比较任何两个计划，并告诉哪一个更好。在模型效率和准确性方面，这种二进制分类任务比回归任务更容易预测成本或延迟。Lero不是从头开始构建一个学习优化器，而是旨在利用数十年的数据库智慧并改进本机查询优化器。凭借其非侵入式设计，Lero可以在任何现有DBMS上实现，只需最少的集成工作。我们使用PostgreSQL实现了Lero并展示了其出色的性能。在我们的实验中，Lero在几个基准测试中达到了接近最佳的性能。它将PostgreSQL中本机优化器的计划执行时间减少了70%，将其他学习的查询优化器的计划执行时间减少了37%。同时，Lero不断学习并自动适应查询工作负载和数据变化。
2023-02-20 cs.AI cs.DB
Adaptive Cost Model for Query Optimization
针对数据库负载和系统性能变化导致传统静态代价模型参数失效的问题，提出自适应代价模型ACM，在DB运行时动态优化CPU和I/O代价参数，在TPC-H基准上实现20%的端到端延迟改善。
2024-09-25 cs.DB
Pre-Execution Query Slot-Time Prediction in Cloud Data Warehouses: A Feature-Scoped Machine Learning Approach
Independent Researcher（独立研究员）
本文提出一种基于特征范围的机器学习方法，通过预执行时可观察的信号预测BigQuery槽时间，减少预算超支和调度退化，实验显示在成本显著查询上模型性能优于基线方法。
2026-04-22 cs.DB cs.LG
Training-Free Query Optimization via LLM-Based Plan Similarity
Ershov Institute of Informatics Systems（信息系统埃尔绍夫研究所）；Novosibirsk State Technical University（新西伯利亚国立技术大学）
本文提出LLM-PM框架，利用预训练执行计划嵌入的k近邻投票推荐数据库提示集，无需额外训练即可优化SQL查询，在JOB-CEB基准上实现平均21%的查询延迟降低。
2025-07-07 cs.DB cs.LG
text2ql: Multi-Target Natural Language Querying via a Language-Agnostic Intermediate Representation
text2ql框架通过QueryIR中间表示和可插拔渲染器，解决传统数据库自然语言接口的三个局限，确定性模式实现100%执行准确率，消融研究证实感知模式提示对准确率提升作用显著。
2026-09-03 cs.AI cs.CL cs.DB
PLANSIEVE: Real-time Suboptimal Query Plan Detection Through Incremental Refinements
PLANSIEVE是一种在查询优化期间通过增量细化代理基数并分析子计划相对顺序来实时检测次优查询计划的新框架，在预测次优计划时准确率达88.7%。
2025-01-27 cs.DB
Cost Trade-offs of Reasoning and Non-Reasoning Large Language Models in Text-to-SQL
WIDiCoReL Research Lab（WIDiCoReL研究实验室）
本文研究了推理与非推理大语言模型在文本到SQL任务中的成本权衡，发现推理模型在处理效率和成本控制上表现更优，但非推理模型存在显著的成本波动问题。
2026-03-07 cs.AI cs.DB cs.DC
Bitvector-aware Query Optimization for Decision Support Queries (extended version)
位向量过滤是一种重要的查询处理技术，可以显著降低执行成本，特别是对于具有多个连接的复杂决策支持查询。尽管它有广泛的应用，但是，它对查询优化的影响还没有得到很好的理解。在这项工作中，我们研究了位向量过滤器如何影响查询优化。我们表明，直接将位向量过滤器纳入查询优化可以增加计划的空间复杂度的查询中的关系的数量的指数因子。我们分析的计划与位向量过滤器的星和雪花查询的右深树没有交叉产品的计划空间。令人惊讶的是，通过一些简化的假设，我们证明了，可以从查询中的关系数量中的线性数量的计划中找到具有位向量过滤器的最小成本的计划。这大大降低了这种查询的计划空间复杂度，从指数到线性。基于我们的分析，我们提出了一个算法，占位向量过滤器在查询优化的影响。我们的算法优化了连接顺序的任意决策支持查询选择从一个线性数量的候选计划在查询中的关系的数量。我们实现了我们的算法在Microsoft SQL Server作为一个转换规则。我们对行业标准基准测试和客户工作负载的评估表明，与原始Microsoft SQL Server相比，我们的技术将工作负载的总CPU执行时间减少了22%-64%，单个查询的CPU执行时间减少了两个数量级。
2020-05-07 cs.DB
Plan-Structured Deep Neural Network Models for Query Performance Prediction
查询性能预测是数据库管理系统中最具挑战性的问题之一。现有的方法依赖于人类专家设计的功能和性能模型，但往往无法捕捉查询运算符和输入关系之间的复杂交互，并且通常不能自然地适应查询执行计划中的工作负载特性和模式。在本文中，我们认为深度学习可以应用于查询性能预测问题，我们介绍了一种新的神经网络架构的任务：计划结构的神经网络。我们的方法消除了人工制作的特征选择的需要，并自动发现复杂的性能模型，在运营商和查询计划的水平。我们新型的神经网络架构可以匹配任何优化器选择的查询执行计划的结构，并高准确度地预测其延迟。我们还提出了一些优化，在不牺牲有效性的情况下减少训练开销。我们评估了我们的技术在各种工作负载，我们证明了我们的计划结构的神经网络可以超越国家的最先进的查询性能预测。
2019-01-31 cs.DB
