Cost-Aware Optimization for Agentic Query Execution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rice University（莱斯大学）
针对LLM支持的查询执行中算子放置、顺序和粒度影响代价与质量的问题，提出EnumGRPO优化器，通过上下文强化学习从枚举计划中蒸馏启发式策略，在SWAN数据库上实现0.011美元/查询的LLM代价和35.4%的执行准确率。
2026-10-08 cs.DB
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长，需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中，我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此，我们创建了一组自动化工具来创建一个运行时代码生成引擎，并将这样的引擎集成到SQLite中，SQLite是世界上最流行的关系数据库之一，用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
Pay One, Get Hundreds for Free: Reducing Cloud Costs through Shared Query Execution
基于云的数据分析是目前的常见做法，因为系统管理开销较低，以及按需付费的定价模式。然而，定价模型并不总是适合查询处理，因为大量使用会导致高成本。例如，在查询即服务系统中，按处理的字节向用户收费，频繁访问相同数据的查询集合可能会变得昂贵。当使用声明性接口（如SQL）时，用户优化查询执行的选项有限，这使得问题更加复杂。在本文中，我们展示了如何，而不修改现有的系统，没有云提供商的参与，它是可以显着降低开销，因此成本，查询即服务系统。我们的方法是基于查询重写，使多个并发查询合并成一个单一的查询。我们的实验表明，共享执行所做的工作总量小于一次查询的方法。由于查询是按处理的字节收费的，因此执行一组查询的成本通常与执行其中一个查询的成本相同。作为一个例子，我们演示了如何在Amazon Athena和Google BigQuery中共享执行TPC-H基准测试，比使用一次查询方法便宜100倍和16倍，同时实现更高的吞吐量。
2018-09-01 cs.DB
Efficient Cloud-Edge-Device Query Execution Based on Collaborative Scan Operator
本文针对云边端协同查询中边缘资源瓶颈问题，提出基于协同扫描算子的CED框架，实现查询在云边间无缝切换，实验证明其能缓解边缘高I/O与CPU等待导致的性能下降并实现资源均衡调度。
2025-08-21 cs.DB
From Textual Columns to Query Plans: A Unified Relational-Semantic Execution Framework for Hybrid Query Processing
Megagon Labs（Megagon实验室）
OmniTQA通过整合LLM语义操作与传统关系运算符，提出了一种成本感知的混合查询处理框架，有效处理结构化与半结构化数据，提升复杂查询和大规模表的准确性和效率。
2026-07-03 cs.DB
SkinnerDB: Regret-Bounded Query Evaluation via Reinforcement Learning
SkinnerDB是为可靠的连接排序而设计的。它不维护数据统计，也不使用成本或基数模型。相反，它使用强化学习在执行当前查询期间动态学习最佳连接顺序。为此，我们将查询的执行划分为许多小的时间片。在不同的时间片中尝试不同的连接顺序。我们合并根据不同连接顺序生成的结果元组，直到获得一个完整的结果。通过测量每个时间片的执行进度，我们确定有前途的连接顺序执行的进行。与SkinnerDB一起，我们为查询执行策略引入了一个新的质量标准。我们比较预期的执行成本对执行成本的最佳连接顺序。SkinnerDB具有针对该标准进行优化的多个执行策略。其中一些可以在现有的数据库系统上执行。为了最大限度地提高性能，我们引入了一个自定义的执行引擎，通过专门的多路连接算法和元组表示促进快速连接顺序切换。我们通过实验将SkinnerDB的性能与各种基线进行了比较，包括MonetDB，Postgres和自适应处理方法。我们考虑了各种基准测试，包括连接顺序基准测试和带有用户定义函数的TPC-H变体。总的来说，与偶尔的灾难性连接顺序选择的性能影响相比，可靠连接顺序的开销可以忽略不计。
2019-01-16 cs.DB
Stage: Query Execution Time Prediction in Amazon Redshift
针对 Amazon Redshift 查询执行时间预测的冷启动与鲁棒性问题，提出融合缓存、本地模型和全局模型的分层 Stage 预测器，显著提升准确性并降低平均执行延迟 20%。
2024-03-04 cs.DB
BARQ: A Vectorized SPARQL Query Execution Engine
本文介绍了向量化SPARQL查询执行引擎BARQ，通过批处理元组优化关键操作，成功集成到Stardog平台，在CPU密集型查询上实现大幅提速且不牺牲磁盘密集型查询性能。
2025-04-06 cs.DB
The Odyssey Approach for Optimizing Federated SPARQL Queries
通过SPARQL端点联合执行查询需要组合来自多个数据源的数据。在这样的场景中优化查询是特别具有挑战性的，这不仅是因为（i）正确回答查询的各种各样的可能的查询执行计划，而且还因为（ii）对关于远程源的模式和实例数据的统计数据的访问是有限的。为了克服这些挑战，大多数联邦查询引擎依赖于算法来减少可能的查询执行计划的空间，或者依赖于动态规划策略来产生最优计划。然而，这些计划可能仍然表现出大量的中间结果或高执行时间，因为成本估算和不准确的成本估算。在本文中，我们提出了奥德赛，一种方法，使用统计数据，允许更准确的成本估计联邦查询，因此使奥德赛产生更好的查询执行计划。我们的实验结果表明，奥德赛产生的查询执行计划，更好的数据传输和执行时间比国家的最先进的优化。我们使用FedBench基准测试的实验显示，平均执行时间至少增加了25倍。
2017-11-02 cs.DB
GraftDB: Dynamic Folding of Concurrent Analytical Queries
The University of Tokyo（东京大学）
提出GraftDB，一种多查询执行引擎，通过状态中心执行和查询嫁接机制动态折叠后续查询到正在运行的执行中，重用已完成工作并共享后续工作，从而减少冗余执行，提高吞吐量并降低响应时间。
2026-06-03 cs.DB
Efficient Learned Query Execution over Text and Tables [Technical Report]
针对文本与表格多模态查询中使用大语言模型开销过高的问题，本文提出ELEET执行引擎，采用专用小语言模型实现多模态算子，在保证精度的前提下将查询速度最高提升575倍。
2024-10-29 cs.DB
Can the Optimizer Cost be Used to Predict Query Execution Times?
预测查询的执行时间是调度、服务水平协议和错误检测等应用中的一个重要问题。在查询规划期间，成本与所选择的执行计划相关联，并用于对竞争计划进行排名。使用该成本来预测执行时间将是方便的，但是在文献中已经声称这是不可能的。在本文中，我们彻底调查这一主张，考虑线性和非线性模型。我们发现，使用更复杂的模型，只有优化成本的准确性是在文献中报道的准确性。在文献中最准确的方法是最近邻回归，不产生一个模型。公布的结果使用了一个大的特征集来识别最近的邻居。我们表明，它是可以实现相同水平的精度只使用成本来确定最近的邻居。使用较小的特征集带来了在用于训练数据的存储空间和产生预测的时间方面减少开销的优点。
2019-05-02 cs.DB
Storage, Indexing, Query Processing, and Benchmarking in Centralized and Distributed RDF Engines: A Survey
语义网和关联数据的最新进展已经改变了传统网络的工作方式。资源描述框架（RDF）格式被广泛采用，用于保存基于网络的数据。这种大规模的采用为各种集中式和分布式RDF处理引擎的开发铺平了道路。这些引擎采用各种机制来实现查询处理引擎的关键组件，例如数据存储、索引、语言支持和查询执行。所有这些组件都控制查询的执行方式，并对查询运行时产生重大影响。例如，以各种方式存储RDF数据会显著影响所需的数据存储空间和查询运行时性能。RDF引擎中使用的索引方法类型对于快速数据查找至关重要。底层查询语言的类型（例如，SPARQL或SQL）是RDF存储解决方案的关键优化组件。最后，涉及不同联接顺序的查询执行会显著影响查询响应时间。本文从存储、索引、语言支持和查询执行等方面对集中式和分布式RDF引擎进行了全面的综述。
2020-09-23 cs.DB
The Stretto Execution Engine for Semantic Data Systems
EURECOM（欧雷康）；Technical University of Darmstadt（达姆施塔特工业大学）；TU Darmstadt, DFKI, HessianAI（达姆施塔特工业大学、德国人工智能研究中心、黑森人工智能）
Stretto通过约束优化和梯度优化器，在LLM增强数据系统中实现端到端查询保证，同时高效平衡运行时准确性权衡。
2026-10-12 cs.DB
Evaluation of Link Traversal Query Execution over Decentralized Environments with Structural Assumptions
为了应对网络上数据孤岛造成的社会和经济问题，Solid等努力通过将其存储在网络上大量个人保险库的许可文档中来回收私人数据。在这样一个分散的知识图谱之上构建应用程序涉及重大的技术挑战：由于法律原因，在查询处理之前的集中式聚合被排除在外，并且当前的联合查询技术无法以预期的性能处理这种大规模的分布。我们提出了一个扩展链接Traffic查询处理（LTQP），它将结构属性纳入分散的环境中，以解决其前所未有的规模。在本文中，我们分析了与查询执行相关的Solid去中心化生态系统的结构特性，并提供了SolidBench基准来模拟Solid环境代表。我们引入新的LTQP算法利用这些结构特性，并评估其有效性。我们的实验表明，这些新的算法获得准确的结果在秒的顺序为非复杂的查询，现有的算法无法实现。此外，我们讨论了更复杂的查询方面的限制。这项工作表明，一个基于结构假设的查询方法可以有效地进行大规模的分散，但需要在查询规划领域的LTQP处理更复杂的查询的进步。这些见解为查询驱动的去中心化应用程序打开了大门，其中声明式查询使开发人员免受去中心化环境的固有复杂性的影响。
2023-02-14 cs.DB
NEURON: Query Optimization Meets Natural Language Processing For Augmenting Database Education
关系数据库管理系统（RDBMS）是世界上许多大学的计算机科学课程的一部分。该课程的核心组成部分是关系数据库管理系统中查询优化器的设计和实现。查询优化器的目标是自动识别执行用户提交的声明性SQL查询的最有效执行策略。查询优化过程产生表示查询的执行策略的查询执行计划（QEP）。由于底层查询优化器的复杂性，理解QEP要求学生了解与RDBMS相关的特定于实现的问题。实际上，这是一个不切实际的假设，因为大多数学生都是第一次学习数据库技术。因此，他们通常很难通过仔细阅读QEP来理解DBMS所承担的查询执行策略，从而阻碍了他们的学习过程。在这个演示中，我们提出了一个新的系统，称为神经元，促进自然语言与QEP互动，以提高其理解。NEURON接受SQL查询（可能包括连接、聚合、嵌套等）作为输入，执行它，并生成底层RDBMS部署的执行策略的简化的基于自然语言的描述（文本和语音形式）。此外，它通过基于自然语言的问答框架促进了对与QEP相关的各种特征的理解。我们主张，这样的工具，世界上第一个，可以大大提高学生的学习查询优化的主题。
2018-08-21 cs.DB
Towards Enhancing Database Education: Natural Language Generation Meets Query Execution Plans
数据库系统课程是许多主要大学的本科计算机科学学位课程的一部分。学习此类课程的学习者的一个关键学习目标是了解在实践中如何在RDBMS中处理SQL查询。由于查询执行计划（QEP）描述了查询的执行步骤，学习者可以通过阅读RDBMS生成的QEP来获得理解。不幸的是，在实践中，学习者往往难以理解这些包含特定于供应商的实现细节的QEP，这阻碍了她的学习过程。在本文中，我们提出了一种新颖的，端到端的，通用的系统称为灯笼，产生一个自然语言描述的qep，以促进理解的查询执行步骤。它接受SQL查询及其QEP作为输入，并生成底层RDBMS部署的执行策略的自然语言描述。具体来说，它部署了一个声明性的框架称为池，使主题专家有效地创建和维护自然语言描述的物理操作员中使用的QEP。提出了一个基于规则的框架RULE-LANTERN，利用池生成QEP的自然语言描述。尽管RULE-LANTERN的准确性很高，但我们与学习者的接触表明，与现有的心理学理论相一致，阅读这种基于规则的描述会导致无聊，因为不同的QEP会重复陈述。为了解决这个问题，我们提出了一种新的基于深度学习的语言生成框架，称为NEURAL-LANTERN，它通过利用一组释义工具和词嵌入在生成的描述中注入语言可变性。我们的实验研究与真实的学习者表明灯笼在促进理解QEPs的有效性。
2021-03-03 cs.DB
Efficient Query Re-optimization with Judicious Subquery Selections
针对现有查询重优化依赖初始计划而可能非最优的问题，提出QuerySplit算法，直接从逻辑计划生成子查询并优先执行低损害子查询，在PostgreSQL上实现，较次优方案执行时间减少35%，与最优优化器差距在4%以内。
2023-06-22 cs.DB
Intra-Query Runtime Elasticity for Cloud-Native Data Analysis
提出查询内运行时弹性（IQRE）概念，首个引擎Accordion可在不暂停处理下动态调整并行度，结合what-if自动调优，在满足延迟约束下最小化云资源消耗。
2025-02-25 cs.DB
Efficient Execution of SPARQL Queries with OPTIONAL and UNION Expressions
RDF数据集的激增导致了对SPARQL查询处理优化的研究。大多数现有的工作都集中在基本图模式（BGP）上，而忽略了SPARQL中的其他重要运算符，如UNION和OPTIONAL。SPARQL查询与这些运营商，我们称为SPARQL-UO，提出了严重的查询计划生成的挑战。在本文中，我们提出了一种新的BGP为基础的评估（BE）-树表示的查询计划的基础上，使用BGP执行作为一个构建块执行SPARQL-UO查询的技术。在此之上，我们提出了一系列的成本驱动的BE树转换，以产生更有效的计划，通过减少搜索空间和中间结果的大小，和候选人修剪技术，进一步提高效率，在查询时。实验证实，我们的方法优于国家的最先进的数量级。
2023-03-24 cs.DB
Redefining Cost Estimation in Database Systems: The Role of Execution Plan Features and Machine Learning
本文提出基于执行计划特征与机器学习的SQL查询运行时预测框架，实验表明XGBoost模型优于其他模型，显著提升数据库成本估算准确性。
2025-10-07 cs.DB
RDF-Hunter: Automatically Crowdsourcing the Execution of Queries Against RDF Data Sets
在过去的几年中，大量的RDF数据集已经在Web上可用。然而，由于RDF数据的半结构化性质，缺失值会影响针对此数据提出的查询的答案完整性。为了克服这一限制，我们提出了RDF-Hunter，一种新的混合查询处理方法，它将机器和人类计算结合在一起，对RDF数据执行查询。我们开发了一种新的质量模型和查询引擎，以使RDF-Hunter在飞行中决定查询的哪些部分应该通过传统的技术或人群计算执行。为了评估RDF-Hunter，我们针对DBpedia数据集创建了50个SPARQL查询的集合，使用我们的混合查询引擎执行它们，并分析了从人群中获得的结果的准确性。实验清楚地表明，整个方法是可行的，并产生可靠的查询结果，显着提高自动查询处理响应的完整性。
2015-03-10 cs.DB
CONCERTO: Complex Query Execution Mechanism-Aware Learned Cost Estimation
Harbin Institute of Technology（哈尔滨工业大学）
针对现有查询性能预测方法忽略复杂执行机制的问题，提出CONCERTO，通过为算子建模、构建DAG并利用GAT和TCN校准与聚合代价，实现更准确的查询性能预测。
2025-03-28 cs.AI cs.DB
Optimizing Disjunctive Queries with Tagged Execution
针对析取谓词查询优化存在的冗余执行问题，提出标记执行机制按满足的谓词对元组分组并标记以消除冗余，并引入标记泛化技术控制开销，在 Basilisk 系统中实现最高达19倍加速。
2024-04-23 cs.DB
SEFRQO: A Self-Evolving Fine-Tuned RAG-Based Query Optimizer
针对学习型查询优化器的冷启动和工作负载/模式变化需重训问题，提出SEFRQO，基于自进化微调RAG，利用执行反馈、上下文学习优化提示，在CEB和Stack工作负载上较PostgreSQL延迟分别降65.05%和93.57%。
2025-08-24 cs.DB
Visualizing the robustness of query execution
在数据库查询处理中，实际运行时条件（例如，实际选择性和实际可用存储器）经常不同于运行时条件的编译时预期（例如，估计的谓词选择性和预期的存储器可用性）。查询处理的健壮性可以定义为处理意外条件的能力。具体来说，查询执行的健壮性可以定义为在意外情况下有效处理特定计划的能力。我们专注于查询执行（运行时），忽略查询优化（编译时），以补充现有的研究，并探索未开发的潜力，提高数据库查询处理的鲁棒性。我们最初的步骤之一是设计图表或地图，显示如何以及计划执行在面对不同的运行时条件，以及如何优雅的系统的查询架构，运营商，以及他们的实现在面对不利的条件下降级。在本文中，我们展示了几种图表与数据从三个真实的系统，并报告了我们所学到的关于这些可视化技术和有关的三个数据库系统
2009-09-09 cs.DB cs.PF
First Past the Post: Evaluating Query Optimization in MongoDB
本文分析了 MongoDB 的 FPTP 查询优化器有效性，发现其存在偏好索引扫描的偏差，导致所选计划运行时间可达最优计划的两倍以上。
2024-09-25 cs.DB
Estimating the Cost of Executing Link Traversal based SPARQL Queries
几乎所有领域的越来越多的组织都开始采用语义Web技术，将其数据发布为开放、链接和互操作（RDF）数据集，可通过SPARQL语言和协议进行查询。链接遍历已经成为一种SPARQL查询处理方法，它利用链接数据原则和Web的动态特性，通过在查询评估期间解析在线资源（URI）来动态地发现与回答查询相关的数据。然而，链接遍历查询的执行时间对于某些查询类型可能变得过高，这是由于在查询执行期间需要访问大量资源。在本文中，我们提出并评估基线方法估计的链接遍历查询的评估成本。这样的方法对于即时决定给定查询所遵循的查询执行策略非常有用，从而减少SPARQL端点的负载并提高查询服务的整体可靠性。为了评估所提出的方法的性能，我们创建了（并公开提供）一个由2，425个查询组成的地面实况数据集。
2022-10-17 cs.DB
Facilitating SQL Query Composition and Analysis
制定有效的SQL查询需要几个调优和执行周期，特别是对于没有经验的用户。我们研究的方法，可以加速和改善这种互动，提供有关SQL查询执行前的见解。我们通过预测查询答案大小、运行时间和错误类别等属性来实现这一目标。与现有的方法不同，我们的方法不依赖于任何统计数据的数据库实例或查询执行计划。这在对数据库实例的访问受限的设置中尤其重要。我们的方法是基于使用数据驱动的机器学习技术，依赖于大的查询工作负载来建模SQL查询及其属性。我们评估了神经网络模型和传统机器学习模型的效用。我们使用两个真实世界的查询工作负载：斯隆数字巡天（SDSS）和SQLShare查询工作负载。实验结果表明，神经网络模型在预测查询错误类方面更准确，在样本较少的类上实现了更高的F-度量，并且在运行时间和答案大小预测等其他问题上表现得更好。这些结果是令人鼓舞的，并确认SQL查询工作负载和数据驱动的机器学习方法可以用来促进查询组合和分析。
2020-02-21 cs.DB
Calibration: A Simple Trick for Wide-table Delta Analytics
规范化数据库上的数据分析通常需要计算和具体化昂贵的连接（宽表）。分解查询执行将执行建模为连接图中关系之间的消息传递，并通过连接推送聚合以减少中间结果大小。虽然这加快了查询执行速度，但它只优化了单个宽表查询。相比之下，宽表分析通常是交互式的，用户希望将delta应用于初始查询结构。例如，用户希望对维度进行切片、切割和下钻，更新部分表并与新表连接以进行扩充。这种宽表Delta分析提供了新的工作共享机会。这项工作表明，在查询执行期间仔细地具体化消息可以使宽表Delta分析的速度比因子分解执行快10^5倍，并且只会产生恒定的因子开销。关键的挑战是消息对消息传递顺序很敏感。为了应对这一挑战，我们借用概率图模型中的校准概念来实现足够的消息来支持任何排序。我们体现了这些想法在新的校准连接超树（CJT）数据结构，这是快速建立，积极地重用消息，以加速未来的查询，并逐步维护更新。我们进一步展示了CJT如何使OLAP、查询解释、流数据和ML的数据增强等应用程序受益。我们的实验评估了在单线程自定义引擎、云数据库和Pandas中运行的三个版本的CJT，并在上述应用程序上显示出比最先进的因子分解执行算法提高了30倍到10^5倍。
2022-10-07 cs.DB
Optimizing Federated Queries Based on the Physical Design of a Data Lake
查询执行计划的优化对于减少查询执行时间是至关重要的。特别是在过去的几十年中，关系数据库的查询优化已经被深入研究。最近，资源描述框架（RDF）在Web上发布数据方面变得流行起来。因此，由不同数据模型（如RDF和关系数据库）组成的联邦得到了发展。这些联盟的一种类型是语义数据湖，其中每个数据源都保存在其原始数据模型中，并使用本体或受控词汇表进行语义注释。然而，在语义数据湖上进行联邦查询处理的最先进的查询引擎通常依赖于为RDF量身定制的优化技术。在本文中，我们提出了查询优化技术的指导下，考虑到数据湖的物理设计。语义分析是在Ontario之上实现的，Ontario是语义数据湖的SPARQL查询引擎。使用特定于源的语法，查询引擎能够通过利用关于关系数据库中的索引和规范化的知识来生成更有效的查询执行计划。我们表明，将数据湖的物理设计考虑在内的算法能够加快查询处理。
2020-03-23 cs.DB
Walking without a Map: Optimizing Response Times of Traversal-Based Linked Data Queries (Extended Version)
互联网上关联数据的出现引发了对这些数据进行在线声明式查询的研究兴趣。一个特别有趣的方法是基于索引的查询执行，它通过遍历数据链路来获取数据，因此能够利用来自最初未知数据源的最新数据。这种方法的缺点是在查询引擎完成查询执行之前存在延迟。在本文中，我们通过提出一种方法来解决这个问题，以尽快返回尽可能多的结果集元素。这种方法的基础是一种遍历策略，旨在尽可能早地获取结果相关的数据。这种策略的挑战在于，查询引擎并不先验地知道在查询执行期间将发现的数据源中的哪一个包含结果相关数据。我们介绍了16种不同的遍历方法和实验研究它们对响应时间的影响。我们的实验表明，一些方法可以实现显着的改进，在基线上查找URI的先到先得的基础上。此外，我们验证了这些方法的重要性，通过显示，典型的查询优化技术，只专注于构建查询结果的过程中，不能有任何显着的影响，对响应时间的基于查询执行的查询。
2016-07-04 cs.DB
Native Execution of GraphQL Queries over RDF Graphs Using Multi-way Joins
提出一种受最坏情况最优算法启发的多路左连接算法，实现GraphQL查询在RDF知识图谱上的原生执行，实验表明在查询运行时间和可扩展性上优于现有最先进方案。
2024-09-19 cs.DB
Adaptive Cost Model for Query Optimization
针对数据库负载和系统性能变化导致传统静态代价模型参数失效的问题，提出自适应代价模型ACM，在DB运行时动态优化CPU和I/O代价参数，在TPC-H基准上实现20%的端到端延迟改善。
2024-09-25 cs.DB
Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing
IBM（国际商业机器公司）
该研究发现语义查询引擎在温度为0时存在运行间方差，部分行输出、答案及结果质量会变化，投票可降低方差，还为基准测试制定了报告规则、为引擎设计了规则。
2026-10-12 cs.AI cs.DB
PLANSIEVE: Real-time Suboptimal Query Plan Detection Through Incremental Refinements
PLANSIEVE是一种在查询优化期间通过增量细化代理基数并分析子计划相对顺序来实时检测次优查询计划的新框架，在预测次优计划时准确率达88.7%。
2025-01-27 cs.DB
Adaptive Recursive Query Optimization
本文提出自适应元编程技术，将递归查询优化移至运行时，通过动态重优化和自定义连接排序，在Carac引擎上实现未优化查询提速千倍、手工优化查询提速6倍。
2024-03-18 cs.DB cs.PL
Bitvector-aware Query Optimization for Decision Support Queries (extended version)
位向量过滤是一种重要的查询处理技术，可以显著降低执行成本，特别是对于具有多个连接的复杂决策支持查询。尽管它有广泛的应用，但是，它对查询优化的影响还没有得到很好的理解。在这项工作中，我们研究了位向量过滤器如何影响查询优化。我们表明，直接将位向量过滤器纳入查询优化可以增加计划的空间复杂度的查询中的关系的数量的指数因子。我们分析的计划与位向量过滤器的星和雪花查询的右深树没有交叉产品的计划空间。令人惊讶的是，通过一些简化的假设，我们证明了，可以从查询中的关系数量中的线性数量的计划中找到具有位向量过滤器的最小成本的计划。这大大降低了这种查询的计划空间复杂度，从指数到线性。基于我们的分析，我们提出了一个算法，占位向量过滤器在查询优化的影响。我们的算法优化了连接顺序的任意决策支持查询选择从一个线性数量的候选计划在查询中的关系的数量。我们实现了我们的算法在Microsoft SQL Server作为一个转换规则。我们对行业标准基准测试和客户工作负载的评估表明，与原始Microsoft SQL Server相比，我们的技术将工作负载的总CPU执行时间减少了22%-64%，单个查询的CPU执行时间减少了两个数量级。
2020-05-07 cs.DB
Plan-Structured Deep Neural Network Models for Query Performance Prediction
查询性能预测是数据库管理系统中最具挑战性的问题之一。现有的方法依赖于人类专家设计的功能和性能模型，但往往无法捕捉查询运算符和输入关系之间的复杂交互，并且通常不能自然地适应查询执行计划中的工作负载特性和模式。在本文中，我们认为深度学习可以应用于查询性能预测问题，我们介绍了一种新的神经网络架构的任务：计划结构的神经网络。我们的方法消除了人工制作的特征选择的需要，并自动发现复杂的性能模型，在运营商和查询计划的水平。我们新型的神经网络架构可以匹配任何优化器选择的查询执行计划的结构，并高准确度地预测其延迟。我们还提出了一些优化，在不牺牲有效性的情况下减少训练开销。我们评估了我们的技术在各种工作负载，我们证明了我们的计划结构的神经网络可以超越国家的最先进的查询性能预测。
2019-01-31 cs.DB
ResQ: Realistic Performance-Aware Query Generation
Purdue University（普渡大学）；Databend Cloud（Databend云）
ResQ通过细粒度工作负载合成系统生成可执行SQL工作负载，有效匹配生产跟踪的执行目标和操作符分布，实现高保真度和效率。
2026-02-03 cs.DB
From Custom-Fit to Portable: Bridging the Gap Between Synthesized and Engineered GPU Query Execution
EURECOM
本文针对GPU分析中合成与工程化的争论，提出SHADB框架回答合成GPU代码效果等三个问题，展示合成代码优势，分解性能差距并分类优化，将可推广优化集成到SYCLDB引擎，缩小与合成代码差距并保持相关特性。
2026-07-09 cs.DB
SPARQL query processing with Apache Spark
链接数据源的数量和链接开放数据图的大小每天都在增长。因此，语义RDF服务越来越多地面临各种“大数据”问题。查询处理就是其中之一，需要在可伸缩、高可用和容错的框架上执行，从而有效地解决查询处理问题。需要这些属性的数据管理系统很少从头开始构建，而是在现有集群计算引擎的基础上设计的。在这项工作中，我们考虑使用Apache Spark处理SPARQL查询。我们提出并比较了五种不同的查询处理方法，基于不同的连接执行模型和Spark组件。在真实世界和合成数据集上的详细实验强调，为RDF数据模型定制的两种方法在所有主要查询形状上都优于其他方法，即，星型、雪花型、链式和混合型。
2016-11-03 cs.DB
Draft-Refine-Optimize: Self-Evolved Learning for Natural Language to MongoDB Query Generation
DP Technology（达观数据）
本文提出EvoMQL框架，通过迭代的草稿-细化-优化流程，结合执行反馈实现自然语言到MongoDB查询生成的自演化学习，提升了执行准确率。
2026-03-11 cs.DB
Can Large Language Models Be Query Optimizer for Relational Databases?
本文提出基于PostgreSQL的LLM查询优化器LLM-QO，通过QInstruct数据配方和两阶段微调直接生成执行计划，在三个工作负载上优于传统与学习型优化器。
2025-02-08 cs.DB
QUEST: Query Optimization in Unstructured Document Analysis
本文提出QUEST系统，通过基于索引的提取、证据增强检索和实例优化查询执行策略，解决LLM驱动非结构化文档分析中的高成本与低效问题，显著降低开销并提升准确率。
2025-07-11 cs.DB
SaGe: Web Preemption for Public SPARQL Query Services
为了提供稳定且响应迅速的公共SPARQL查询服务，数据提供者对服务器使用率实施配额。超过这些配额的测试将被中断，并提供部分结果。如果可以在之后恢复查询执行，则这种中断不是问题。不幸的是，Web没有允许暂停和恢复SPARQL查询的抢占模型。在本文中，我们提出了SaGe：一个SPARQL查询引擎基于Web抢占。SaGe允许SPARQL查询在固定的时间段后被Web服务器挂起，并在客户端请求时恢复。Web抢占只有在其时间成本与时间量子相比可以忽略不计时才是易处理的。挑战在于支持完整的SPARQL查询语言，同时保持抢占的成本可以忽略不计。实验结果表明，SaGe优于现有的SPARQL查询处理方法的几个数量级的平均总查询执行时间和第一个结果的时间。
2019-02-13 cs.DB
Fast OLAP Query Execution in Main Memory on Large Data in a Cluster
主存列存储已被证明是有效的处理分析查询。尽管如此，集群背景下的工作要少得多。仅使用一台机器会带来一些限制：处理能力和数据量受限于一个紧密耦合系统上的核心和主内存的数量。为了能够处理更大的数据集，切换到集群是必要的。在这项工作中，我们探索的技术，同时最大限度地利用现有的硬件在并行数据库集群中的大量数据的分析SQL查询的有效执行。这包括预编译查询计划，以实现高效的CPU利用率、在单个节点上和跨集群的完全并行化以及高效的节点间通信。我们在一个原型中实现了所有功能，用于运行TPC-H基准查询的一个子集。我们评估我们的实现使用一个128节点的集群运行TPC-H查询与30 000千兆字节的未压缩数据。
2017-09-15 cs.DB cs.DC
Capturing Data Uncertainty in High-Volume Stream Processing
我们提出了一个数据流系统的设计和开发，捕捉数据的不确定性，从数据汇集查询处理，最终结果生成。我们的系统专注于自然建模为连续随机变量的数据。对于这样的数据，我们的系统采用基于概率和统计理论的方法来捕获数据的不确定性，并将这种方法集成到大容量流处理中。我们的系统的第一个组成部分捕获来自传感设备的原始数据流的不确定性。由于这样的原始数据流可能是高噪声的，并且可能没有携带足够的信息用于查询处理，我们的系统采用数据生成过程的概率模型和流速度推断来将原始数据转换为具有不确定性度量的所需格式。第二个组件捕获数据通过查询操作符传播时的不确定性。为了有效地量化查询操作符的结果不确定性，我们探索了各种基于概率和统计理论的技术来以流速度计算结果分布。我们目前正在与一组科学家合作，使用从危险天气监测和对象跟踪和监测领域（最终在实际系统中）收集的痕迹来评估我们的系统。
2009-09-09 cs.DB
Distribution-Aware Distributed Database Testing (Extended Version)
East China Normal University（华东师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hunan University（湖南大学）
针对分布式数据库管理系统，提出分布式感知测试方法DAT及工具DistRanger，利用分布信息引导查询变异，在四个生产系统上发现31个新缺陷，优于现有测试工具。
2026-09-17 cs.DB
Performance Evaluation of Query Plan Recommendation with Apache Hadoop and Apache Spark
Islamic Azad University（伊斯兰阿扎德大学）；Mobile Telecommunication Company of Iran（伊朗移动电信公司）；Iran University of Medical Sciences（伊朗医科大学）；University of Human Development（人类发展大学）；Gachon University（加川大学）；Technische Universität Dresden（德累斯顿工业大学）
访问计划建议是一种查询优化方法，它使用之前创建的查询执行计划（QEP）执行新查询。在上述方法中，查询优化器将查询空间划分为聚类。然而，传统的聚类算法需要大量的执行时间来聚类这样大的数据集。MapReduce分布式计算模型为存储和处理大量数据提供了高效的解决方案。在基于MapReduce的访问计划推荐方法中，使用Apache Spark和Apache Hadoop框架对不同规模的查询数据集进行聚类。基于执行时间执行性能评估。实验结果证明了并行查询聚类在实现高可扩展性方面的有效性。此外，Apache Spark的性能比Apache Hadoop更好，平均加速比达到2倍。
2022-09-17 cs.DB cs.LG
How Good are Learned Cost Models, Really? Insights from Query Optimization Tasks
本文系统评估了七种学习型成本模型在连接顺序、访问路径和物理算子选择三个查询优化核心任务上的表现，发现传统成本模型往往仍优于学习型模型，并为未来改进学习型成本模型提供了建议。
2025-02-03 cs.DB
Evaluation d'une requete en SQL
本文的目的是展示询问处理器如何响应SQL询问。询问处理器分为两部分。第一个编译器称为询问编译器，它将SQL查询转换为物理执行计划。第二个称为评估查询，它运行执行计划。
2009-06-22 cs.DB
Multi-Resource Parallel Query Scheduling and Optimization
调度查询执行计划在无共享并行系统中是特别复杂的问题，其中每个站点由本地时间共享（例如，CPU或磁盘）和空间共享（例如，存储器）资源，并通过消息传递与远程站点通信。并行查询调度的早期工作采用（a）并行任务调度的一维模型，有效地忽略了资源共享的潜在好处，或（b）全局可访问的资源单元的模型，这是只适用于共享内存架构，因为他们不能捕捉系统资源的亲和力网站。在本文中，我们开发了一种通用的方法，捕捉调度分布式，多维资源单位的所有形式的并行内部和跨查询和操作符的全部复杂性。我们提出了一个基于层次的列表调度启发式算法的独立查询任务（即，物理操作符流水线），其对于给定程度的分区并行性（具有取决于每个站点的时间共享和空间共享资源的数量以及克隆的粒度的最坏情况性能比）而言可证明是接近最优的。我们还提出了扩展来处理逻辑运算符中的阻塞约束（例如，散列连接）流水线和丛式查询计划以及在线任务到达（例如，在动态或多查询执行环境中）。我们的调度算法上实现的一个详细的仿真模型的实验验证了其有效性相比，现有的方法在现实的设置。基于我们的分析和实验结果，我们重新审视了开放的问题，设计高效的并行查询优化的成本模型，并提出了一个解决方案，捕获所有重要参数的并行执行。
2014-03-30 cs.DB
Sema: A High-performance System for LLM-based Semantic Query Processing
Beijing Institute of Technology（北京理工大学）；Wuhan University（武汉大学）；The Chinese University of Hong Kong（香港中文大学）；HKUST (Guangzhou)（香港科技大学（广州））
Sema 是一种基于 DuckDB 构建的高性能语义查询引擎，通过 SemaSQL 实现自然语言表达与 SQL 的无缝集成，提升语义查询的性能和结果质量。
2026-03-12 cs.DB
