Query and Resource Optimizations: A Case for Breaking the Wall in Big Data Systems
现代大数据系统在云环境中运行，其中资源在多个用户和应用程序之间共享。因此，这些环境中的声明性用户查询需要在不断变化的资源上进行优化和执行，并按需为每个作业提供。这就要求我们重新思考为运行在专用资源上的系统设计的传统查询优化器。在本文中，我们证明了查询计划的选择在很大程度上取决于可用的资源，目前的做法，选择查询计划之前挑选的资源可能会导致显着的性能损失，在两个流行的大数据系统，即蜂巢和SparkSQL。因此，我们提出了资源和查询优化（或RAQO）的理由，即，同时选择查询计划和资源配置。我们描述了基于规则的RAQO，并提出了替代决策树，使资源感知的查询规划在蜂巢和火花。我们进一步提出了基于成本的RAQO，在一个查询规划器集成资源规划，并显示技术，以显着减少资源规划的开销。我们评估基于成本的RAQO使用国家的最先进的R系统查询规划器，以及最近提出的多目标查询规划器。我们对TPC-H和随机生成模式的评估表明：（i）我们可以将资源规划开销减少多达16倍，（ii）RAQO可以扩展到100个表连接的模式以及100 K容器的集群，每个容器100 GB。
2019-06-15 cs.DB
SaGe: Preemptive Query Execution for High Data Availability on the Web
语义Web应用需要高性能和高可靠性地查询可用的RDF数据。然而，在公共SPARQL服务器的上下文中确保数据可用性和高性能SPARQL查询执行是具有挑战性的问题。JavaScript可以有任意的执行时间和未知的到达率。在本文中，我们提出了SaGe，抢占式服务器端SPARQL查询引擎。SaGe依赖于可抢占的物理查询执行计划和可抢占的物理操作符。SaGe在给定的时间段后停止查询执行，保存计划的状态，并将保存的计划与检索到的结果一起发送回客户端。稍后，客户端可以通过向服务器重新提交保存的计划来继续执行查询。通过确保公平的查询执行，SaGe保持服务器可用性并提供高查询吞吐量。实验结果表明，SaGe优于最先进的SPARQL查询引擎的查询吞吐量，查询超时和答案的完整性。
2018-06-01 cs.DB
Towards Query Optimization for SPARQL Property Paths
SPARQL在1.1版中扩展了属性路径，为RDF图数据库提供了一种常规路径查询。然而，这样的查询很难有效地优化和评估。我们已经开始了一个名为Waveguide的项目，为带有属性路径的SPARQL查询构建一个基于成本的优化器。Waveguide构建一个查询计划-波导计划（WGP）-它指导查询评估。在构建计划时有许多选择，以及许多优化方法，这意味着查询的计划空间可能相当大。同一查询的计划的执行成本可以按数量级变化。我们说明了这种方法提供的优化类型和可以获得的性能增益。可以估计WGP的成本，这为基于成本的优化开辟了道路。
2015-04-30 cs.DB
Can Large Language Models Be Query Optimizer for Relational Databases?
本文提出基于PostgreSQL的LLM查询优化器LLM-QO，通过QInstruct数据配方和两阶段微调直接生成执行计划，在三个工作负载上优于传统与学习型优化器。
2025-02-08 cs.DB
EXPLAIN Yourself! Finding Query Planner Stalls Across DBMSes
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Pennsylvania（宾夕法尼亚大学）
本文通过轻量级智能体搜索发现7个DBMS中均存在规划耗时超3分钟的查询，分析其异常模式并公开相关查询及测试套件，指出查询规划的延迟与鲁棒性需重视。
2026-08-25 cs.DB
First Past the Post: Evaluating Query Optimization in MongoDB
本文分析了 MongoDB 的 FPTP 查询优化器有效性，发现其存在偏好索引扫描的偏差，导致所选计划运行时间可达最优计划的两倍以上。
2024-09-25 cs.DB
PLANSIEVE: Real-time Suboptimal Query Plan Detection Through Incremental Refinements
PLANSIEVE是一种在查询优化期间通过增量细化代理基数并分析子计划相对顺序来实时检测次优查询计划的新框架，在预测次优计划时准确率达88.7%。
2025-01-27 cs.DB
PARQO: Penalty-Aware Robust Plan Selection in Query Optimization
针对查询优化中选择性估计不确定性导致执行计划表现差的问题，提出PARQO系统，通过工作负载剖析建误差模型、敏感性分析找关键维度，能生成鲁棒高性能计划，实现高效参数化优化。
2024-07-15 cs.DB
Learned Query Superoptimization
本文提出学习型查询超优化思想，通过探索驱动算法、迭代贝叶斯优化和程序合成自主发现最优查询计划，以更长优化时间换取对大量重复查询的大幅加速。
2023-07-11 cs.DB
Spanning Tree-based Query Plan Enumeration
本研究将最优查询计划查找转化为低代价生成树查找问题，提出结合Prim与Kruskal算法的ESTE策略，在计划质量、优化时间一致性及大查询鲁棒性上优于现有方案，可低成本维持优化器鲁棒性。
2024-03-06 cs.DB
Towards Selecting the Informative Alternative Relational Query Plans for Database Education
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）
本文提出信息性计划选择问题（TIPS），旨在为数据库教育提供信息量大的替代查询计划，通过近似算法和实验验证其有效性。
2026-03-10 cs.DB
Bitvector-aware Query Optimization for Decision Support Queries (extended version)
位向量过滤是一种重要的查询处理技术，可以显著降低执行成本，特别是对于具有多个连接的复杂决策支持查询。尽管它有广泛的应用，但是，它对查询优化的影响还没有得到很好的理解。在这项工作中，我们研究了位向量过滤器如何影响查询优化。我们表明，直接将位向量过滤器纳入查询优化可以增加计划的空间复杂度的查询中的关系的数量的指数因子。我们分析的计划与位向量过滤器的星和雪花查询的右深树没有交叉产品的计划空间。令人惊讶的是，通过一些简化的假设，我们证明了，可以从查询中的关系数量中的线性数量的计划中找到具有位向量过滤器的最小成本的计划。这大大降低了这种查询的计划空间复杂度，从指数到线性。基于我们的分析，我们提出了一个算法，占位向量过滤器在查询优化的影响。我们的算法优化了连接顺序的任意决策支持查询选择从一个线性数量的候选计划在查询中的关系的数量。我们实现了我们的算法在Microsoft SQL Server作为一个转换规则。我们对行业标准基准测试和客户工作负载的评估表明，与原始Microsoft SQL Server相比，我们的技术将工作负载的总CPU执行时间减少了22%-64%，单个查询的CPU执行时间减少了两个数量级。
2020-05-07 cs.DB
Guided Automated Learning for query workload re-Optimization
查询优化是数据库系统的一个标志，它使当今应用程序的复杂SQL查询能够有效地运行。当业务查询和模式中的逻辑微妙之处绕过查询优化器时，查询优化器通常无法找到最佳计划。当查询的运行成本超过可行或保证时，通常通过分析查询的执行计划（QEP）与专家协商手动执行性能问题。然而，这是一个非常耗时、易于人为出错且成本高昂的过程。GALO是一个自动化这一过程的新系统。该工具在离线学习阶段自动学习查询计划中重复出现的问题模式，以构建计划重写补救措施的知识库。然后，它使用在线知识库来重新优化排队等待执行的查询，以提高性能，通常是相当大的。GALO的知识库建立在RDF和SPARQL（W3C图形数据库标准）之上，非常适合于操作和查询SQL查询计划，而SQL查询计划本身就是图形。GALO作为查询重写和基于成本的优化之后的第三层重新优化，作为查询计划重写。由于知识库不与所提供的QEP的上下文相关联，因此在重新优化阶段，表和列名会自动匹配。因此，在特定查询工作负载上学习的问题模式可以应用于其他查询工作负载。GALO的知识库也是数据库专家调试查询性能问题的宝贵工具，可以跟踪已知问题和解决方案，并通过开发团队的新调优技术改进优化器。我们证明了我们的技术在合成TPC-DS和真正的IBM客户端查询工作负载的有效性的实验研究。
2019-05-22 cs.DB
LQRS: Learned Query Re-optimization Framework for Spark SQL
Renmin University of China（中国人民大学）
LQRS是一种基于学习的查询重优化框架，通过课程强化学习策略和即插即用的计划扩展模块，实现动态计划优化，显著提升了Spark SQL的查询性能。
2026-03-04 cs.DB
Factor Windows: Cost-based Query Rewriting for Optimizing Correlated Window Aggregates
窗口聚集在流处理中是普遍存在的。在Azure流分析（ASA）中，由微软的Azure云托管的流处理服务，我们看到许多客户查询包含多个相关窗口上的聚合函数（例如MIN和MAX）（例如，长度为五分钟和十分钟的翻转窗口）。在本文中，我们提出了一个基于成本的优化框架，通过在多个窗口之间共享计算来优化此类查询。特别是，我们引入了因子窗口的概念，这是辅助窗口，不是在输入查询，但可能有助于降低整体计算成本，我们的成本为基础的优化器可以产生重写的查询计划，具有较低的成本比原来的查询计划，利用因子窗口。由于我们的优化技术是在查询（计划）重写的水平，他们可以实现任何流处理系统，支持声明性的，SQL类查询语言，而不改变底层的查询执行引擎。我们正式的共享计算问题，提出了详细的优化技术，并报告在合成和真实数据集的评估结果。我们的研究结果表明，与原始的查询计划相比，我们基于成本的优化器输出的重写计划可以产生更高的吞吐量（高达16.8倍）。
2022-03-08 cs.DB
From Textual Columns to Query Plans: A Unified Relational-Semantic Execution Framework for Hybrid Query Processing
Megagon Labs（Megagon实验室）
OmniTQA通过整合LLM语义操作与传统关系运算符，提出了一种成本感知的混合查询处理框架，有效处理结构化与半结构化数据，提升复杂查询和大规模表的准确性和效率。
2026-07-03 cs.DB
Parallelizing Query Optimization on Shared-Nothing Architectures
数据处理系统在核、CPU和处理节点的级别上提供不断增加的并行度。查询优化必须利用高度的并行性，以免逐渐成为查询计算的瓶颈。我们展示了如何大规模并行化查询优化。我们提出的算法，并行查询优化在左深和浓密的计划空间。在优化开始时，我们将给定查询的计划空间划分为相等大小的分区，这些分区由工作节点并行探索。在优化结束时，每个工作者将其分区中的最优计划返回给主节点，主节点从分区最优计划中确定全局最优计划。在实际优化阶段不需要同步或数据交换。在优化的开始和结束时，通过网络发送的数据量，以及我们算法中串行步骤的复杂性，在工人的数量和查询大小方面仅线性增加。在一个分区内优化的时间和空间复杂度随着工作者的数量均匀地降低。在我们的实验中，我们使用超过250个并发工作线程（Spark执行器）在一个具有100个节点的集群上并行化单目标和多目标查询优化。尽管网络延迟和任务分配开销很高，但并行化可以为大型查询提供高达一个数量级的加速，这些查询的优化在单个节点上需要几分钟。
2015-11-05 cs.DB
[Experiment, Analysis, and Benchmark] Systematic Evaluation of Plan-based Adaptive Query Processing
University of Edinburgh（爱丁堡大学）
本文系统评估了基于计划的自适应查询处理在不同存储架构下的性能表现，揭示其在磁盘和内存DBMS中的改进来源差异。
2025-11-20 cs.DB
Probably Approximately Optimal Query Optimization
在某些情况下，评估数据样本上的查询谓词是估计其选择性的唯一方法。在这些情况下，找到有保证的最优查询计划并不是合理的优化目标，因为它可能需要无限数量的样本。因此，我们引入可能近似最优的查询优化（PAO）的目标是找到一个查询计划，其成本是接近最优的一定的概率。我们将证明为什么PAO是一个合适的形式主义模型的情况下，谓词采样和优化需要交错。我们提出了第一个算法PAO。我们的算法是非侵入性的，并使用标准的查询优化器和采样组件作为子功能。它是通用的，可以应用于广泛的场景。我们的算法是迭代的，并在每次迭代中计算一个查询计划连同一个区域中的选择性空间，该计划具有接近最优的成本。它确定真实选择性值落在上述区域内的置信度，并在置信度未达到指定为问题输入的阈值时基于当前状态选择要采集的下一个样本。我们设计了不同的算法变体，并分析了它们的复杂性。我们通过实验比较了它们在许多不同查询类上的优化器调用、样本和迭代次数。
2015-11-05 cs.DB
Efficient Query Re-optimization with Judicious Subquery Selections
针对现有查询重优化依赖初始计划而可能非最优的问题，提出QuerySplit算法，直接从逻辑计划生成子查询并优先执行低损害子查询，在PostgreSQL上实现，较次优方案执行时间减少35%，与最优优化器差距在4%以内。
2023-06-22 cs.DB
Query Rewriting On Path Views Without Integrity Constraints
具有绑定模式的视图是对数据库的参数化查询。使用这样的视图，例如，对Web服务进行建模。为了回答对这些视图的查询，必须在执行计划中将视图编排在一起。目标通常是找到等价的重写，它提供与所有数据库上的查询完全相同的结果。然而，这样的重写通常只有在存在完整性约束的情况下才可能-并且不是所有的数据库都有这样的约束。在本文中，我们描述了一类计划，即使没有完整性约束，也能对其结果提供实际保证。我们提供了一个这样的计划和一个完整的和正确的算法来列举他们的特点。最后，我们表明，我们的方法可以在现实世界中的Web服务的计划。
2020-10-07 cs.DB
SPA: A SQL-Plan-Aware Reinforcement Learning Framework for Query Rewriting with LLMs
Simon Fraser University（西蒙菲莎大学）
提出SPA框架，利用物理执行反馈训练LLM重写SQL查询，通过概率门控自适应奖励塑形和策略自改进，显著提升端到端运行时性能并减少有害重写。
2026-06-07 cs.DB
Size bounds and query plans for relational joins
关系联接是关系代数的核心，而关系代数又是标准数据库查询语言SQL的核心。由于它们的评估是昂贵的，并且经常由输出大小决定，因此数据库查询优化器计算连接大小的估计并为连接序列找到良好的执行计划是一项重要任务。我们研究这些问题从理论的角度来看，无论是在最坏的情况下的模型，并在平均情况下的模型，数据库是根据一个已知的概率分布选择。在前一种情况下，我们的第一个关键观察是，最坏情况下的查询大小的特征在于其底层超图的分数边缘覆盖数，一个组合参数，以前已知提供一个上限。我们完成了图片证明匹配的下限，并通过显示存在的查询，联合项目计划建议的分数边缘覆盖的方法可能会大大优于任何连接计划，不使用中间预测。另一方面，我们表明，在平均情况下的模型中，每个联合项目计划可以变成一个计划，不包含预测，以这样的方式，预期的时间来评估计划只增加了一个恒定的因素，独立于数据库的大小。毫不奇怪，在这种情况下，关键的组合参数是底层超图的最大密度。我们展示了如何有效地利用这个参数来消除投影。
2017-11-10 cs.DB
Feasible Plan Generation with Ambiguity-Boundedness in Cross-Model Query Processing
University of California San Diego（加州大学圣地亚哥分校）
本文提出了一种在跨模型查询处理中具有模糊性界限的可行计划生成方法，通过引入可行性约束来检测局部不一致，并引入了具有多项式界限的紧凑结构Packed Plan Forest（PPF），以高效地编码所有可行的中间逻辑计划（ILPs）并提前剪枝不可行的计划。
2026-05-18 cs.DB
AQETuner: Reliable Query-level Configuration Tuning for Analytical Query Engines
AQETuner提出基于贝叶斯优化的查询级配置调优系统，结合注意力机制、双任务神经过程和粒子群优化，解决旋钮影响、失败忽视及冷启动问题，显著降低延迟和失败率。
2025-06-20 cs.DB
Towards a Unified Query Plan Representation
本文提出一种统一的查询计划表示，涵盖操作、属性和格式三个组件，使现有测试方法能高效发现17个未知缺陷，并支持可视化工具跨数据库应用及性能改进。
2025-04-01 cs.DB cs.SE
The Odyssey Approach for Optimizing Federated SPARQL Queries
通过SPARQL端点联合执行查询需要组合来自多个数据源的数据。在这样的场景中优化查询是特别具有挑战性的，这不仅是因为（i）正确回答查询的各种各样的可能的查询执行计划，而且还因为（ii）对关于远程源的模式和实例数据的统计数据的访问是有限的。为了克服这些挑战，大多数联邦查询引擎依赖于算法来减少可能的查询执行计划的空间，或者依赖于动态规划策略来产生最优计划。然而，这些计划可能仍然表现出大量的中间结果或高执行时间，因为成本估算和不准确的成本估算。在本文中，我们提出了奥德赛，一种方法，使用统计数据，允许更准确的成本估计联邦查询，因此使奥德赛产生更好的查询执行计划。我们的实验结果表明，奥德赛产生的查询执行计划，更好的数据传输和执行时间比国家的最先进的优化。我们使用FedBench基准测试的实验显示，平均执行时间至少增加了25倍。
2017-11-02 cs.DB
Conformal Prediction for Verifiable Learned Query Optimization
本文首次将学习型查询优化器验证形式化为保形预测问题，提出CP运行时验证、自适应CP和CP引导计划搜索方法，在JOB和TPC-H上验证了其准确性与高效性，显著提升计划质量和规划效率。
2025-05-04 cs.DB
Least expected cost query optimization: an exercise in utility
我们确定了两个不合理的，虽然标准的，数据库查询优化，可能会对所选择的评估计划的质量产生不利影响的假设。一个假设是，对于预期的情况进行优化就足够了--也就是说，各种参数（如可用内存）采用其预期值的情况。另一个假设是参数在整个查询执行过程中是恒定的。我们提出了一个算法的基础上的“R系统”式的查询优化算法，不依赖于这些假设。我们提出的算法选择最小期望成本的计划，而不是最低成本的计划给定的一些固定值的参数。在表现出高度可变性的执行环境中，我们的技术应该会带来更好的性能。
1999-09-21 cs.DB
Adaptive Cost Model for Query Optimization
针对数据库负载和系统性能变化导致传统静态代价模型参数失效的问题，提出自适应代价模型ACM，在DB运行时动态优化CPU和I/O代价参数，在TPC-H基准上实现20%的端到端延迟改善。
2024-09-25 cs.DB
A Query Optimization Method Utilizing Large Language Models
本文提出LLMOpt框架，利用大型语言模型直接生成和全局选择查询计划，消除启发式搜索，并在多个基准上超越PostgreSQL、BAO等现有方法。
2025-03-10 cs.DB
Delta: A Learned Mixed Cost-based Query Optimization Framework
Delta提出混合代价查询优化框架，通过兼容性检测与两阶段规划，在三个负载上平均提速2.34倍，优于现有方法。
2025-06-18 cs.DB
Cost Models for Big Data Query Processing: Learning, Retrofitting, and Our Findings
大数据查询处理在现代云计算中无处不在，系统使用基于成本的查询优化器负责挑选物理查询执行计划和运行这些计划所需的资源。因此，一个好的成本模式类似于更好的资源效率和更低的运营成本。不幸的是，微软的生产工作负载表明，为大数据系统建模的成本非常复杂。在这项工作中，我们研究了两个关键问题：（i）我们是否可以学习大数据系统的准确成本模型，以及（ii）我们是否可以将学习的模型集成到查询优化器中。为了回答这些问题，我们做出了三个核心贡献。首先，我们利用工作负载模式来学习大量的单个成本模型，并将它们结合起来，以实现长期的高准确性和覆盖率。其次，我们提出了扩展级联框架，以挑选最佳的资源，即容器的数量，在查询规划。第三，我们将学习到的成本模型集成到微软SCOPE的级联式查询优化器中。我们评估由此产生的系统，Cleo，在生产环境中使用生产和TPC-H工作负载。我们的研究结果表明，学习成本模型的准确性提高了2到3个数量级，与实际运行时间的相关性提高了20倍，大部分（70%）的计划更改导致延迟和资源使用的大幅改善。
2020-02-27 cs.DB
CARPO: Leveraging Listwise Learning-to-Rank for Context-Aware Query Plan Optimization
Beijing Institute of Technology（北京理工大学）；Southwest University（西南大学）
提出 CARPO 框架，用列表式学习排序和 Transformer 整体评估候选计划，并结合 OOD 检测与 top-k 回退，在 TPC-H、STATS 上显著优于 PostgreSQL 和 Lero。
2025-10-21 cs.DB
FedQPL: A Language for Logical Query Plans over Heterogeneous Federations of RDF Data Sources (Extended Version)
RDF数据源的联合在查询无法单独从一个数据源获得的答案和见解时提供了巨大的潜力。规划在这样的联合上执行查询的挑战在于，联合在由联合成员提供的数据访问接口的类型方面可能是异构的。这一挑战在文献中没有得到太多关注。本文提供了一个坚实的正式基础，为未来的方法，旨在解决这一挑战。我们的主要概念的贡献是一个形式语言表示查询执行计划，此外，我们确定了这个语言的片段，可以用来捕捉一个给定的查询的不同部分选择相关的数据源的结果。作为技术贡献，我们表明，这个片段是更有表现力的比现有的源选择方法，这有效地突出了这些方法的固有局限性所支持的。此外，我们表明，源选择问题是NP-难的，在$Σ_2^\mathrm{P}$，我们提供了一套全面的重写规则，可用作查询优化的基础。
2020-10-02 cs.DB
ROSIE: Runtime Optimization of SPARQL Queries Using Incremental Evaluation
关系数据库在资源描述框架（RDF）数据管理中得到了广泛的应用。为了有效地进行SPARQL查询评估，需要重新考虑遗留查询优化器。其中一个重要的问题是如何解决由于基数估计容易出错而导致的查询计划不理想的问题。考虑到RDF数据的无模式特性和SPARQL查询的Join密集特性，在实际评估的查询是昂贵的甚至是不可行的之前确定最佳执行顺序，特别是对于大规模数据的复杂查询。在本文中，我们提出了ROSIE，一个迭代优化框架，迭代地重新优化SPARQL查询计划，根据实际基数来自增量部分查询评估。通过引入一种基于启发式的计划生成方法，以及一种在运行时检测基数估计错误的机制，ROSIE以一种有效的方式缓解了有偏基数传播的问题，从而对复杂的查询评估更具弹性。在真实数据和基准数据上进行的大量实验表明，与最先进的技术相比，ROSIE在复杂查询上的表现一直优于几个数量级。
2016-05-23 cs.DB
Query Performance Tuning with Optimal Exploration of Optimizer Cost Model Parameter Space
Microsoft Research（微软研究院）
本文提出一种确定性方法，系统探索优化器代价模型参数空间，保证找到最优查询计划，避免随机搜索或贝叶斯优化的不稳定性，并在PostgreSQL和SQL Server上验证了显著性能提升。
2026-10-05 cs.DB
One Join Order Does Not Fit All: Reducing Intermediate Results with Per-Split Query Plans
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Southern University of Science and Technology（南方科技大学）；Microsoft Gray Systems Lab（微软灰系统实验室）
针对环查询多连接处理中间结果过大的难题，提出将分片作为一等算子的SplitJoin框架，适配不同数据分区使用不同查询计划，在DuckDB和Umbra上均实现了查询完成数、运行速度与中间结果规模的显著优化。
2025-10-29 cs.DB
Demythization of Structural XML Query Processing: Comparison of Holistic and Binary Approaches, Technical Report
XML查询可以用小枝模式查询（TPQ）来建模，TPQ指定XML节点上的谓词以及它们之间满足的谓词关系。已经提出了很多的TPQ类型，本文考虑到TPQ模型扩展的输出和非输出查询节点的规范，因为它符合XQuery语义，在许多情况下，它会导致更有效的查询处理。一般来说，有两种方法来处理TPQ：整体连接和二元连接。尽管二元连接方法将查询计划构建为互连二元运算符的树，但是整体连接方法使用一个运算符（即，使用一个复杂的算法）。令人惊讶的是，一个彻底的分析和实验比较仍然缺失，尽管在这一领域的巨大的研究努力。在本文中，我们试图填补这一空白;我们分析和实验表明，在完全流水线计划（即，其中每个连接操作不等待前一操作的完整结果并且不使用显式排序的计划）通常可以优于整体连接，特别是对于具有较高比例的非输出查询节点的TPQ。本文的主要贡献可归纳如下：（i）我们介绍了现有二进制连接方法的几种改进，允许为考虑非输出查询节点的TPQ构建完全流水线计划，（二）其他事项我们证明了对于某类TPQ，这样的计划具有关于输入和输出大小的线性时间复杂度以及关于XML的线性空间复杂度文档深度（即，相同的复杂性的整体连接方法），（iii）我们表明，我们改进的二进制连接方法优于整体连接方法在许多情况下，和（iv）我们提出了一个简单的组合方法，使用这两种类型的方法的优点。
2019-07-26 cs.DB
Cost-Aware Optimization for Agentic Query Execution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rice University（莱斯大学）
针对LLM支持的查询执行中算子放置、顺序和粒度影响代价与质量的问题，提出EnumGRPO优化器，通过上下文强化学习从枚举计划中蒸馏启发式策略，在SWAN数据库上实现0.011美元/查询的LLM代价和35.4%的执行准确率。
2026-10-08 cs.DB
Solving the Join Ordering Problem via Mixed Integer Linear Programming
我们将连接排序转化为一个混合整数线性规划（MILP）。这允许通过成熟的MILP求解器实现来解决查询优化，这些MILP求解器实现已经发展了几十年并稳步提高了它们的性能。它们提供了与查询优化高度相关的随时优化和并行搜索等特性。我们提出了一个MILP制定搜索左深查询计划。我们使用二进制变量集来表示连接操作数和中间结果，操作符实现选择或有趣的顺序的存在。线性约束将值分配限制为表示有效查询计划的值。我们通过线性函数近似扫描和连接操作的成本，允许将近似精度提高到任意程度。我们的实验结果是令人鼓舞的：我们能够找到最佳的计划之间的连接60个表，查询的大小，是超出了以前的详尽的查询优化方法的能力。
2015-11-06 cs.DB
Learning to Speed Up Query Planning in Graph Databases
查询图结构化数据是一种基本操作，它支持包括知识图谱搜索、社会网络分析和网络安全在内的重要应用。然而，不断增长的真实世界的数据图的大小提出了严峻的挑战，图数据库，以满足应用程序的响应时间的要求。规划查询处理的计算步骤-查询规划-是解决这些挑战的核心。在本文中，我们研究的问题，学习加速查询规划图数据库的目标是提高计算效率的查询处理通过训练queries.We提出了一个学习计划（L2 P）框架，适用于一个大类的查询推理机，遵循阈值算法（TA）的方法。首先，我们定义了一个通用的搜索空间的候选查询计划，并确定目标搜索轨迹（查询计划）对应的训练查询执行昂贵的搜索。随后，我们学习贪婪搜索控制知识来模仿目标查询计划的搜索行为。我们提供了一个具体的实例，我们的L2 P框架的STAR，一个国家的最先进的图形查询推理。我们的实验基准知识图谱，包括DBpedia，YAGO，和Freebase显示，使用学习的搜索控制知识生成的查询计划，我们可以显着提高STAR的速度与精度可以忽略不计的损失。
2018-01-21 cs.DB cs.IR
Enabling Incremental Query Re-Optimization
随着声明式查询处理技术的范围扩展到Web、数据流、网络路由器和云平台，人们越来越需要自适应查询处理技术，这些技术可以在出现故障或意外性能变化时重新规划。数据分布或计算节点上的状态更新可能会对应该运行哪个查询计划的选择产生重大影响。理想情况下，新的系统架构将能够基于成本做出关于重新分配工作、迁移数据等的决策，并在实时状态信息可用时快速做出反应。现有的基于成本的查询优化器本质上不是增量的，并且必须在每次状态或成本更新时“从头开始”运行。因此，它们通常导致只能缓慢地对更新做出反应的自适应方案。一个悬而未决的问题是，是否有可能在流式或重复查询执行环境中构建用于自适应查询处理的基于成本的重新优化架构，例如，通过在给定新成本信息的情况下递增地更新优化器状态。我们表明，这可以实现有益的，特别是流处理工作负载。我们的技术建立在最近提出的方法，制定查询计划枚举作为一组递归的数据库查询，我们开发了各种新的优化方法，以确保有效的修剪在静态和增量的情况下。我们实现我们的解决方案在现有的研究查询处理系统，并表明，它有效地支持基于成本的初始优化以及频繁的自适应性。
2014-09-22 cs.DB
Exact Selectivity Computation for Modern In-Memory Database Query Optimization
经过几十年的研究和工业发展，选择性估计仍然是查询优化中的一个关键任务。优化器在生成执行计划时依赖于准确的选择性。他们保持了大范围的统计概要，有效地估计选择性。尽管如此，小的错误-指数传播-可能导致严重的次优计划--特别是对于复杂的谓词。用于现代计算架构的数据库系统依赖于由大规模多线程并行性和向量化指令支持的大量内存中处理。但是，它们与传统的基于磁盘的数据库保持相同的查询优化概要方法。我们介绍了一种新的查询优化范例内存和GPU加速的数据库的基础上\textit{exact selectivity computation (ESC)}。ESC的核心思想是在查询优化过程中通过查询精确计算选择性。为了使该过程高效，我们提出了几个针对ESC应用的表和谓词的选择和物化的优化。我们在MapD开源数据库系统中实现了ESC。在TPC-H和SSB基准测试上的实验表明，ESC在GPU上运行时记录恒定且小于30毫秒的开销，并生成改进的查询执行计划，速度快32倍。
2019-01-06 cs.DB
Redefining Cost Estimation in Database Systems: The Role of Execution Plan Features and Machine Learning
Dhirubhai Ambani University（迪鲁巴伊·安巴尼大学）
本文提出基于执行计划特征与机器学习的SQL查询运行时预测框架，实验表明XGBoost模型优于其他模型，显著提升数据库成本估算准确性。
2025-10-07 cs.DB
Succinct Structure Representations for Efficient Query Optimization
EPFL（洛桑联邦理工学院）；Nanyang Technological University（南洋理工大学）
本文提出了一种紧凑的元分解表示，用于高效查询优化，通过在多项式时间内构造并枚举所有可能的连接树，提升了查询优化效率。
2026-08-19 cs.DB
Efficient Enumeration of Recursive Plans in Transformation-based Query Optimizers
本文提出 RLQDAG，通过带注释等价节点、分组重写规则和增量注释维护扩展 LQDAG，以支持递归查询的计划空间高效枚举，并验证其显著性能提升。
2024-04-04 cs.DB
LocationSpark: In-memory Distributed Spatial Query Processing and Optimization
由于空间数据应用的普遍性以及这些应用产生和处理的大量空间数据，迫切需要可伸缩的空间查询处理。在本文中，我们提出了空间查询处理和优化的新技术，在内存和分布式设置，以解决可扩展性。更具体地说，我们引入了新的技术来处理查询偏斜，这在实践中是常见的，并相应地优化通信成本。我们提出了一个分布式查询调度器，使用一个新的成本模型来优化空间查询处理的成本。调度程序生成查询执行计划，以最大限度地减少查询倾斜的影响。查询调度器采用基于位图过滤器的新的空间索引技术，将查询转发到适当的本地节点。每个本地计算节点负责基于该节点中的索引和空间查询的性质来优化和选择其最佳本地查询执行计划。所有提出的空间查询处理和优化技术都在Spark（一个基于内存的分布式计算系统）中原型化。实验研究是基于真实的数据集，并表明，分布式空间查询处理可以提高到一个数量级，超过现有的内存和分布式空间系统。
2019-07-16 cs.DB
Efficient Query Rewrite Rule Discovery via Standardized Enumeration and Learning-to-Rank(extend)
Shenzhen Institute of Computing Science, Shenzhen University（深圳大学计算科学研究所）；Tencent Inc.（腾讯公司）
SLER通过标准化枚举和学习排序方法，高效发现大规模查询重写规则，构建超过100万条规则的库，支持复杂查询计划模板。
2026-03-06 cs.DB
Towards Enhancing Database Education: Natural Language Generation Meets Query Execution Plans
数据库系统课程是许多主要大学的本科计算机科学学位课程的一部分。学习此类课程的学习者的一个关键学习目标是了解在实践中如何在RDBMS中处理SQL查询。由于查询执行计划（QEP）描述了查询的执行步骤，学习者可以通过阅读RDBMS生成的QEP来获得理解。不幸的是，在实践中，学习者往往难以理解这些包含特定于供应商的实现细节的QEP，这阻碍了她的学习过程。在本文中，我们提出了一种新颖的，端到端的，通用的系统称为灯笼，产生一个自然语言描述的qep，以促进理解的查询执行步骤。它接受SQL查询及其QEP作为输入，并生成底层RDBMS部署的执行策略的自然语言描述。具体来说，它部署了一个声明性的框架称为池，使主题专家有效地创建和维护自然语言描述的物理操作员中使用的QEP。提出了一个基于规则的框架RULE-LANTERN，利用池生成QEP的自然语言描述。尽管RULE-LANTERN的准确性很高，但我们与学习者的接触表明，与现有的心理学理论相一致，阅读这种基于规则的描述会导致无聊，因为不同的QEP会重复陈述。为了解决这个问题，我们提出了一种新的基于深度学习的语言生成框架，称为NEURAL-LANTERN，它通过利用一组释义工具和词嵌入在生成的描述中注入语言可变性。我们的实验研究与真实的学习者表明灯笼在促进理解QEPs的有效性。
2021-03-03 cs.DB
A Note On Operator-Level Query Execution Cost Modeling
使用查询执行反馈的外部查询执行成本建模已经在各种数据库应用中找到了方法，例如准入控制和查询调度。现有的技术一般分为两类，计划级成本建模和运营商级成本建模。文献中已经表明，运营商级成本建模通常可以显著优于计划级成本建模。在本文中，我们从鲁棒性的角度研究运营商级成本建模。我们解决了两个主要的挑战，在实践中有限的执行反馈（某些运营商）和混合成本估计，由于使用多种成本建模技术。我们提出了一个框架，处理这些问题，并提出了一个全面的分析这个框架。我们进一步提供了一个案例研究，以证明我们的框架的效率在索引调整的背景下，这本身就是一个新的应用程序的外部成本建模技术。
2020-03-09 cs.DB
Optimizing Subgraph Queries by Combining Binary and Worst-Case Optimal Joins
University of Waterloo（滑铁卢大学）
本研究针对子图查询优化问题，设计了基于代价的优化器，可生成混合二元连接与最坏情况最优多路交集的计划，还提出执行时自适应调整顶点顺序的技术，经实验验证有效且已集成至Graphflow DBMS。
2019-06-02 cs.DB
GenJoin: Conditional Generative Plan-to-Plan Query Optimizer that Learns from Subplan Hints
Zurich University of Applied Sciences（应用科学大学苏黎世）
本研究提出新型生成式学习查询优化器GenJoin，将查询优化视为生成任务，从子计划提示中学习生成执行计划，在真实基准测试中显著优于PostgreSQL和现有最优方法，解决了传统学习型优化器数据需求大、推理慢、结果不稳定的问题。
2025-06-10 cs.AI cs.DB
Performance Evaluation of Query Plan Recommendation with Apache Hadoop and Apache Spark
Islamic Azad University（伊斯兰阿扎德大学）；Mobile Telecommunication Company of Iran（伊朗移动电信公司）；Iran University of Medical Sciences（伊朗医科大学）；University of Human Development（人类发展大学）；Gachon University（加川大学）；Technische Universität Dresden（德累斯顿工业大学）
访问计划建议是一种查询优化方法，它使用之前创建的查询执行计划（QEP）执行新查询。在上述方法中，查询优化器将查询空间划分为聚类。然而，传统的聚类算法需要大量的执行时间来聚类这样大的数据集。MapReduce分布式计算模型为存储和处理大量数据提供了高效的解决方案。在基于MapReduce的访问计划推荐方法中，使用Apache Spark和Apache Hadoop框架对不同规模的查询数据集进行聚类。基于执行时间执行性能评估。实验结果证明了并行查询聚类在实现高可扩展性方面的有效性。此外，Apache Spark的性能比Apache Hadoop更好，平均加速比达到2倍。
2022-09-17 cs.DB cs.LG
