An Adaptive Mechanism for Accurate Query Answering under Differential Privacy
我们提出了一种新的机制，回答集计数查询下差分隐私。给定计数查询的工作负载，该机制自动选择一组不同的“策略”查询来私下回答，使用这些答案来导出工作负载的答案。本文提出的主要算法近似的线性计数查询的任何工作负载的最优策略。在不增加隐私保证的前提下，该机制在（ε，δ）-差分隐私下，对许多工作负载都能达到接近最优的错误率。其结果是一个自适应的机制，可以帮助用户实现良好的效用，而不需要他们仔细的原因，他们的任务的最佳配方。
2012-02-16 cs.DB
Adaptive Recursive Query Optimization
本文提出自适应元编程技术，将递归查询优化移至运行时，通过动态重优化和自定义连接排序，在Carac引擎上实现未优化查询提速千倍、手工优化查询提速6倍。
2024-03-18 cs.DB cs.PL
RECAST: A Region-Scoped Adaptive Index for Exact Similarity Search
Beijing Institute of Technology, Zhuhai（北京理工大学珠海校区）；Shenzhen University, Shenzhen（深圳大学）
RECAST是一种区域范围自适应索引，通过维护查询区域复用已计算距离，在多数据集多工作负载下，相比AV-tree等基线显著降低精确相似度搜索的距离计算量与查询时间。
2026-08-10 cs.DB
How Good are Learned Cost Models, Really? Insights from Query Optimization Tasks
本文系统评估了七种学习型成本模型在连接顺序、访问路径和物理算子选择三个查询优化核心任务上的表现，发现传统成本模型往往仍优于学习型模型，并为未来改进学习型成本模型提供了建议。
2025-02-03 cs.DB
Cuttlefish: A Lightweight Primitive for Adaptive Query Processing
现代数据处理应用程序执行越来越复杂的分析，需要超越传统关系代数的操作。结果，查询计划中的运算符在多样性和复杂性方面增长。设计查询优化器规则和成本模型来为所有这些新颖的逻辑运算符选择物理运算符是不切实际的。为了解决这一挑战，我们开发了乌贼，一个新的原始的自适应处理在线查询计划，探索候选人的物理运算符实例在查询执行过程中，并利用最快的多臂强盗强化学习技术。我们在Apache Spark中对Cuttlefish进行了原型设计，并自适应地为图像卷积、正则表达式匹配和关系连接选择了运算符。我们的实验表明，基于Cuttlefish的自适应卷积和正则表达式运算符可以达到无所不知的预言机的吞吐量的72-99%，该预言机总是选择最佳算法，即使单个物理运算符比最佳算法慢105倍。此外，与Spark SQL的查询优化器相比，Cuttlefish实现了高达7.5倍的连接吞吐量改进。
2018-02-26 cs.DB cs.DC
Factor Windows: Cost-based Query Rewriting for Optimizing Correlated Window Aggregates
窗口聚集在流处理中是普遍存在的。在Azure流分析（ASA）中，由微软的Azure云托管的流处理服务，我们看到许多客户查询包含多个相关窗口上的聚合函数（例如MIN和MAX）（例如，长度为五分钟和十分钟的翻转窗口）。在本文中，我们提出了一个基于成本的优化框架，通过在多个窗口之间共享计算来优化此类查询。特别是，我们引入了因子窗口的概念，这是辅助窗口，不是在输入查询，但可能有助于降低整体计算成本，我们的成本为基础的优化器可以产生重写的查询计划，具有较低的成本比原来的查询计划，利用因子窗口。由于我们的优化技术是在查询（计划）重写的水平，他们可以实现任何流处理系统，支持声明性的，SQL类查询语言，而不改变底层的查询执行引擎。我们正式的共享计算问题，提出了详细的优化技术，并报告在合成和真实数据集的评估结果。我们的研究结果表明，与原始的查询计划相比，我们基于成本的优化器输出的重写计划可以产生更高的吞吐量（高达16.8倍）。
2022-03-08 cs.DB
QCFE: An efficient Feature engineering for query cost estimation
针对AI查询代价估计中重要变量缺失和无效输入维度导致的效率问题，提出QCFE特征工程，通过feature snapshot与差分传播特征约简提升时间-准确率效率。
2023-10-02 cs.DB
Cost Models for Big Data Query Processing: Learning, Retrofitting, and Our Findings
大数据查询处理在现代云计算中无处不在，系统使用基于成本的查询优化器负责挑选物理查询执行计划和运行这些计划所需的资源。因此，一个好的成本模式类似于更好的资源效率和更低的运营成本。不幸的是，微软的生产工作负载表明，为大数据系统建模的成本非常复杂。在这项工作中，我们研究了两个关键问题：（i）我们是否可以学习大数据系统的准确成本模型，以及（ii）我们是否可以将学习的模型集成到查询优化器中。为了回答这些问题，我们做出了三个核心贡献。首先，我们利用工作负载模式来学习大量的单个成本模型，并将它们结合起来，以实现长期的高准确性和覆盖率。其次，我们提出了扩展级联框架，以挑选最佳的资源，即容器的数量，在查询规划。第三，我们将学习到的成本模型集成到微软SCOPE的级联式查询优化器中。我们评估由此产生的系统，Cleo，在生产环境中使用生产和TPC-H工作负载。我们的研究结果表明，学习成本模型的准确性提高了2到3个数量级，与实际运行时间的相关性提高了20倍，大部分（70%）的计划更改导致延迟和资源使用的大幅改善。
2020-02-27 cs.DB
Pay One, Get Hundreds for Free: Reducing Cloud Costs through Shared Query Execution
基于云的数据分析是目前的常见做法，因为系统管理开销较低，以及按需付费的定价模式。然而，定价模型并不总是适合查询处理，因为大量使用会导致高成本。例如，在查询即服务系统中，按处理的字节向用户收费，频繁访问相同数据的查询集合可能会变得昂贵。当使用声明性接口（如SQL）时，用户优化查询执行的选项有限，这使得问题更加复杂。在本文中，我们展示了如何，而不修改现有的系统，没有云提供商的参与，它是可以显着降低开销，因此成本，查询即服务系统。我们的方法是基于查询重写，使多个并发查询合并成一个单一的查询。我们的实验表明，共享执行所做的工作总量小于一次查询的方法。由于查询是按处理的字节收费的，因此执行一组查询的成本通常与执行其中一个查询的成本相同。作为一个例子，我们演示了如何在Amazon Athena和Google BigQuery中共享执行TPC-H基准测试，比使用一次查询方法便宜100倍和16倍，同时实现更高的吞吐量。
2018-09-01 cs.DB
Least expected cost query optimization: an exercise in utility
我们确定了两个不合理的，虽然标准的，数据库查询优化，可能会对所选择的评估计划的质量产生不利影响的假设。一个假设是，对于预期的情况进行优化就足够了--也就是说，各种参数（如可用内存）采用其预期值的情况。另一个假设是参数在整个查询执行过程中是恒定的。我们提出了一个算法的基础上的“R系统”式的查询优化算法，不依赖于这些假设。我们提出的算法选择最小期望成本的计划，而不是最低成本的计划给定的一些固定值的参数。在表现出高度可变性的执行环境中，我们的技术应该会带来更好的性能。
1999-09-21 cs.DB
Towards Query Optimization for SPARQL Property Paths
SPARQL在1.1版中扩展了属性路径，为RDF图数据库提供了一种常规路径查询。然而，这样的查询很难有效地优化和评估。我们已经开始了一个名为Waveguide的项目，为带有属性路径的SPARQL查询构建一个基于成本的优化器。Waveguide构建一个查询计划-波导计划（WGP）-它指导查询评估。在构建计划时有许多选择，以及许多优化方法，这意味着查询的计划空间可能相当大。同一查询的计划的执行成本可以按数量级变化。我们说明了这种方法提供的优化类型和可以获得的性能增益。可以估计WGP的成本，这为基于成本的优化开辟了道路。
2015-04-30 cs.DB
[Experiment, Analysis, and Benchmark] Systematic Evaluation of Plan-based Adaptive Query Processing
本文系统评估了基于计划的自适应查询处理在不同存储架构下的性能表现，揭示其在磁盘和内存DBMS中的改进来源差异。
2025-11-20 cs.DB
Enabling Incremental Query Re-Optimization
随着声明式查询处理技术的范围扩展到Web、数据流、网络路由器和云平台，人们越来越需要自适应查询处理技术，这些技术可以在出现故障或意外性能变化时重新规划。数据分布或计算节点上的状态更新可能会对应该运行哪个查询计划的选择产生重大影响。理想情况下，新的系统架构将能够基于成本做出关于重新分配工作、迁移数据等的决策，并在实时状态信息可用时快速做出反应。现有的基于成本的查询优化器本质上不是增量的，并且必须在每次状态或成本更新时“从头开始”运行。因此，它们通常导致只能缓慢地对更新做出反应的自适应方案。一个悬而未决的问题是，是否有可能在流式或重复查询执行环境中构建用于自适应查询处理的基于成本的重新优化架构，例如，通过在给定新成本信息的情况下递增地更新优化器状态。我们表明，这可以实现有益的，特别是流处理工作负载。我们的技术建立在最近提出的方法，制定查询计划枚举作为一组递归的数据库查询，我们开发了各种新的优化方法，以确保有效的修剪在静态和增量的情况下。我们实现我们的解决方案在现有的研究查询处理系统，并表明，它有效地支持基于成本的初始优化以及频繁的自适应性。
2014-09-22 cs.DB
An Adaptive Column Compression Family for Self-Driving Databases
现代内存数据库通常用于高性能工作负载，因此必须同时优化内存占用小和查询速度高。数据压缩有可能减少内存需求，但也常常降低查询速度。在本文中，我们提出了一种新的，自适应压缩器，提供了一个新的权衡点，这些方面，实现更好的压缩比LZ 4，同时达到查询速度接近最快的现有段编码器。我们评估我们的压缩机都与合成数据隔离和TPC-H和连接顺序基准，集成到一个现代的关系列存储，Hyrise。
2022-09-06 cs.DB
Cost-Aware Optimization for Agentic Query Execution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rice University（莱斯大学）
针对LLM支持的查询执行中算子放置、顺序和粒度影响代价与质量的问题，提出EnumGRPO优化器，通过上下文强化学习从枚举计划中蒸馏启发式策略，在SWAN数据库上实现0.011美元/查询的LLM代价和35.4%的执行准确率。
2026-10-08 cs.DB
Distribution-Aware Exploration for Adaptive HNSW Search
本文提出Ada-ef方法，通过动态配置ef实现高效近邻搜索，减少查询延迟和计算资源消耗。
2025-12-07 cs.DB
Estimating the Cost of Executing Link Traversal based SPARQL Queries
几乎所有领域的越来越多的组织都开始采用语义Web技术，将其数据发布为开放、链接和互操作（RDF）数据集，可通过SPARQL语言和协议进行查询。链接遍历已经成为一种SPARQL查询处理方法，它利用链接数据原则和Web的动态特性，通过在查询评估期间解析在线资源（URI）来动态地发现与回答查询相关的数据。然而，链接遍历查询的执行时间对于某些查询类型可能变得过高，这是由于在查询执行期间需要访问大量资源。在本文中，我们提出并评估基线方法估计的链接遍历查询的评估成本。这样的方法对于即时决定给定查询所遵循的查询执行策略非常有用，从而减少SPARQL端点的负载并提高查询服务的整体可靠性。为了评估所提出的方法的性能，我们创建了（并公开提供）一个由2，425个查询组成的地面实况数据集。
2022-10-17 cs.DB
Query Performance Tuning with Optimal Exploration of Optimizer Cost Model Parameter Space
Microsoft Research（微软研究院）
本文提出一种确定性方法，系统探索优化器代价模型参数空间，保证找到最优查询计划，避免随机搜索或贝叶斯优化的不稳定性，并在PostgreSQL和SQL Server上验证了显著性能提升。
2026-10-05 cs.DB
Stochastic Database Cracking: Towards Robust Adaptive Indexing in Main-Memory Column-Stores
现代商业应用和科学数据库要求固有的动态数据存储环境。这种环境的特点是两个具有挑战性的特点：（a）他们有很少的空闲系统时间投入物理设计;（b）有很少的，如果有的话，先验的工作负载知识，而查询和数据的工作负载保持动态变化。在这样的环境中，传统的索引构建和维护方法无法适用。数据库破解已经被提出作为一种解决方案，允许在运行中的物理数据重组，作为查询处理的附带影响。Cracking的目标是连续自动地使索引适应手头的工作负载，而无需人工干预。索引是按需增量、自适应地构建的。然而，正如我们所展示的，现有的自适应索引方法无法提供工作负载鲁棒性;它们在随机工作负载下的表现要比其他方法好得多。这种脆弱性源于这些方法将每个查询解释为数据应该如何存储的提示的不灵活性。当前的破解方案盲目地在每个查询的范围内重新组织数据，即使这导致连续的昂贵操作，索引收益最小。在本文中，我们介绍了随机破解，一个更有弹性的自适应索引方法。随机破解也使用每个查询作为如何重组数据的提示，但不是盲目的;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此，我们提出了自适应索引到一个成熟的配方，赋予以前的方法缺乏的工作负载鲁棒性。我们广泛的实验研究验证了随机破解保持了原始数据库破解所需的属性，同时在不同的现实工作负载下表现良好。
2012-03-01 cs.DB
Adaptive Indexing for Approximate Query Processing in Exploratory Data Analysis
针对探索性数据分析中大数据交互查询的性能不稳定问题，提出基于主存自适应索引VALINOR-A、结合用户驱动采样与误差有界近似的即时分析框架，在无需预处理下平衡响应时间与准确性。
2025-05-26 cs.DB
Parallel Query Processing with Heterogeneous Machines
本文研究异构机器上并行计算合取查询的问题，在单轮通信模型下针对同基数关系数据库给出一般成本函数的最优上下界，并为不同基数关系数据库中的笛卡尔积、连接、星型查询和三角形查询提供了匹配的上下界。
2025-03-10 cs.DB
Delta: A Learned Mixed Cost-based Query Optimization Framework
Delta提出混合代价查询优化框架，通过兼容性检测与两阶段规划，在三个负载上平均提速2.34倍，优于现有方法。
2025-06-18 cs.DB
Hydro: Adaptive Query Processing of ML Queries
Georgia Institute of Technology（佐治亚理工学院）
本文提出Hydro，一个利用自适应查询处理（AQP）的ML中心DBMS，通过动态监控UDF统计信息、优化谓词评估顺序和资源分配，解决了ML查询中UDF性能瓶颈和数据依赖的计划优化问题，实现高达11.52倍加速。
2024-03-22 cs.DB cs.LG
Can the Optimizer Cost be Used to Predict Query Execution Times?
预测查询的执行时间是调度、服务水平协议和错误检测等应用中的一个重要问题。在查询规划期间，成本与所选择的执行计划相关联，并用于对竞争计划进行排名。使用该成本来预测执行时间将是方便的，但是在文献中已经声称这是不可能的。在本文中，我们彻底调查这一主张，考虑线性和非线性模型。我们发现，使用更复杂的模型，只有优化成本的准确性是在文献中报道的准确性。在文献中最准确的方法是最近邻回归，不产生一个模型。公布的结果使用了一个大的特征集来识别最近的邻居。我们表明，它是可以实现相同水平的精度只使用成本来确定最近的邻居。使用较小的特征集带来了在用于训练数据的存储空间和产生预测的时间方面减少开销的优点。
2019-05-02 cs.DB
Fast Private Adaptive Query Answering for Large Data Domains
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；TikTok；Penn State University（宾夕法尼亚州立大学）
本文提出了一种基于残差查询的快速私有自适应查询回答机制，通过多维数组框架、惰性更新和自适应优化，显著提升效率和可扩展性。
2026-02-25 cs.CR cs.DB
An Approach Based on Bayesian Networks for Query Selectivity Estimation
查询执行计划的效率取决于成本模型提供给查询优化器的选择性估计的准确性。成本模型作出简化假设，以便及时作出上述估计。这些假设会导致选择性估计错误，从而对生成的查询执行计划的质量产生巨大影响。在当前成本模型中普遍存在的一个方便的假设是假设属性彼此独立。然而，它忽略了潜在的相关性，这可能对成本模型的准确性产生巨大的负面影响。在本文中，我们试图放松属性值的独立性假设，而不会不合理地恶化成本模型的准确性。我们提出了一种新的方法，基于一种特殊类型的贝叶斯网络称为Chow-Liu树近似的数据库中的每个关系的属性值的分布。我们在TPC-DS基准测试上的结果表明，我们的方法比其他方法精确一个数量级，同时在时间和空间方面保持合理的效率。
2019-07-14 cs.DB
Adaptive Cardinality Estimation
本文研究了查询优化中的一个重要子问题--基数估计问题。查询优化是每个关系数据库管理系统的一部分，负责为给定的查询找到最佳的执行方式。这些方法被称为计划。不同计划的执行时间可能相差几个数量级，因此查询优化器对整个数据库系统的性能有很大的影响。我们认为基于代价的查询优化方法是最流行的方法。据观察，基于成本的优化质量很大程度上取决于基数估计质量。本文提出了一种新的基于机器学习方法的基数估计方法。该方法的要点是使用先前执行的查询的查询执行统计信息来改进基数估计。我们称这种方法为自适应基数估计，以反映这一点。该方法具有通用性、灵活性和易于实现的特点。实验评估表明，该方法显着提高了基数估计的质量，从而使某些查询的数据库管理系统性能提高了几倍甚至几十倍。
2017-11-22 cs.DB stat.ML
Tao: A Learning Framework for Adaptive Nearest Neighbor Search using Static Features Only
近似最近邻（ANN）搜索是数据管理、信息检索和机器学习等领域的基本问题。最近，Li等人提出了一种名为AdaptNN的学习方法来支持自适应ANN查询处理。在查询执行过程中，AdaptNN收集了大量的运行时特征，并预测每个查询的终止条件，从而获得更好的端到端延迟。尽管效率很高，但使用运行时功能会使学习过程复杂化，并导致性能下降。从根本上不同于AdaptNN，我们认为，它是有前途的预测终止条件查询exetution之前。特别是，我们开发了Tao，一个通用的学习框架，用于仅使用静态特征自适应地终止ANN查询。在查询到达时，Tao首先将查询映射到本地内在维度（LID）编号，然后使用LID而不是运行时特征预测终止条件。通过将预测过程与查询执行分离，Tao消除了AdaptNN中涉及的费力的特征选择过程。此外，还提出了两个设计原则，以指导Tao的应用，提高预测模型的可解释性。我们集成了两种最先进的索引方法，即，IMI和HNSW，到陶，并评估性能超过数百万到数十亿规模的数据集。实验结果表明，除了其简单性和通用性，陶实现了高达2.69倍的加速比，甚至与它的同行相比，在相同的高精度目标。
2021-10-02 cs.DB cs.IR
ADQUEX: Adaptive Processing of Federated Queries over Linked Data based on Tuple Routing
由于关联数据在网络上的分布性，分布式处理联邦查询的方法对用户更有吸引力，并获得了越来越多的繁荣。在联邦查询的分布式处理中，我们需要一些方法和过程来以最优的方式执行查询。大多数现有的方法执行的优化任务的基础上，一些统计信息，而查询处理器没有精确的统计信息，其属性，因为数据源是自治的。当没有精确的统计数据时，错误估计的可能性将大大增加，并可能导致在运行时执行查询的效率低下。现有方法的另一个问题是，在优化阶段，它们假设查询执行的运行时条件是稳定的，而在链接数据上执行联邦查询的环境是动态的和不可预测的。通过考虑这两个问题，有一个很大的潜力，利用联邦查询处理技术的自适应方式。在本文中，提出了一种自适应的方法来处理联邦查询的链接数据，路由的元组的概念的基础上。所提出的方法，命名为ADQUEX，是能够有效地执行查询没有任何先验统计信息。此方法可以在运行时更改查询执行计划，以便生成更少的中间结果。它还可以适应新的情况下，如果不可预测的网络故障发生的执行计划。通过在已知的链接数据集上运行真实查询，对我们的方法进行了广泛的评估，结果非常好，特别是对于复杂的查询。
2015-05-19 cs.DB cs.DC
An Empirical Evaluation of Cost-based Federated SPARQL Query Processing Engines
Kyung Hee University（庆熙大学）；University of Paderborn（帕德博恩大学）
寻找一个好的查询计划是优化查询运行时的关键。这尤其适用于基于成本的联邦引擎，它使用基数估计来实现这一目标。许多研究比较了SPARQL联邦引擎在不同性能指标上的性能，包括查询运行时间、结果集完整性和正确性、选择的源数量和发送的请求数量。尽管这些指标信息量很大，但它们是通用的，无法量化和评估基于成本的联合引擎的基数估计器的准确性。为了彻底评估基于成本的联邦引擎，必须测量估计基数错误对整体查询运行时性能的影响。在本文中，我们解决这个挑战，提出了新的评估指标，针对细粒度基准测试的成本为基础的联邦SPARQL查询引擎。我们评估五个基于成本的联邦SPARQL查询引擎使用现有的以及新的评估指标，通过使用LargeRDFBench查询。我们的研究结果提供了一个详细的分析实验结果，揭示了新的见解，有用的未来成本为基础的联邦SPARQL查询处理引擎的发展。
2021-04-02 cs.DB cs.LG cs.PF
CONCERTO: Complex Query Execution Mechanism-Aware Learned Cost Estimation
Harbin Institute of Technology（哈尔滨工业大学）
针对现有查询性能预测方法忽略复杂执行机制的问题，提出CONCERTO，通过为算子建模、构建DAG并利用GAT和TCN校准与聚合代价，实现更准确的查询性能预测。
2025-03-28 cs.AI cs.DB
TRACER: Efficient Object Re-Identification in Networked Cameras through Adaptive Query Processing
Georgia Institute of Technology（佐治亚理工学院）；National University of Singapore（新加坡国立大学）
提出新型视频数据库管理系统Tracer，通过循环网络建模历史相关性选择最佳摄像机，并结合概率自适应搜索模型加速高召回率查询，构建了合成基准，性能平均提升3.9倍。
2025-07-13 cs.CV cs.DB
A Survey on Advancing the DBMS Query Optimizer: Cardinality Estimation, Cost Model, and Plan Enumeration
RMIT University（皇家墨尔本理工大学）；Wuhan University（武汉大学）
查询优化器是数据库系统的核心。本文所研究的基于代价的优化器几乎被当前所有的数据库系统所采用。基于成本的优化器引入计划枚举算法来查找（子）计划，然后使用成本模型来获得该计划的成本，并选择成本最低的计划。在成本模型中，基数，通过操作符的元组的数量，起着至关重要的作用。由于基数估计的不准确性、成本模型的错误以及巨大的计划空间，优化器无法在合理的时间内为复杂查询找到最佳执行计划。本文首先深入研究了上述局限性背后的原因。接下来，我们将回顾用于提高基于成本的优化器中的三个关键组件（基数估计、成本模型和计划枚举）的质量的技术。我们还就上述各个方面的未来发展方向提供了见解。
2021-01-05 cs.AI cs.DB
Enc2DB: A Hybrid and Adaptive Encrypted Query Processing Framework
针对云数据库中的密文查询问题，本文提出 Enc2DB 混合自适应框架，结合密码学与 TEE 动态选择执行路径，并设计兼容优化器的密文索引，TPC-C 实验显示其性能优于现有方案。
2024-04-10 cs.CR cs.DB
Learning GraphQL Query Costs (Extended Version)
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Inria Paris, École normale supérieure – PSL university（巴黎Inria，巴黎高等师范学校–PSL大学）；IBM Research（IBM研究院）
GraphQL是一种用于API的查询语言和用于执行这些查询的运行时，从现有的微服务，REST API，数据库或其他来源获取所请求的数据。它的表现力和灵活性使其成为许多行业的API提供商的有吸引力的候选者，特别是通过Web。在GraphQL中盲目服务客户端查询的一个主要缺点是，查询的成本可能会出乎意料地大，为提供者带来计算和资源过载，为客户端带来API速率限制和基础设施过载。为了减轻这些缺点，有必要在执行查询之前有效地估计查询的成本。估计查询成本具有挑战性，因为GraphQL查询具有嵌套结构，GraphQL API遵循不同的设计约定，并且底层数据源是隐藏的。基于最坏情况静态查询分析的估计成功有限，因为它们往往严重高估了成本。我们提出了一种机器学习的方法来有效和准确地估计查询成本。我们还展示了这种方法的力量，通过测试它的查询响应数据从公开的商业API。我们的框架是有效的，预测查询成本具有很高的准确性，始终优于静态分析的大幅度。
2021-08-26 cs.DB cs.LG cs.PL
HyEm: Query-Adaptive Hyperbolic Retrieval for Biomedical Ontologies via Euclidean Vector Indexing
Waseda University（早稻田大学）
HyEm通过结合双曲本体嵌入与欧几里得ANN基础设施，解决生物医学本体中层次感知的检索问题，提升实体中心查询和混合意图查询性能，保持索引可扩展性。
2026-01-26 cs.DB cs.IR
Budget-aware Query Tuning: An AutoML Perspective
Microsoft Research（微软研究院）
本文将数据库查询优化器中的代价单元从常量重新建模为变量，提出查询调优（QT）和工作负载调优（WT）问题，并借鉴 AutoML 中的超参数优化技术在给定时间预算内实现执行计划优化，实验验证了其有效性。
2024-03-29 cs.AI cs.DB cs.LG
RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization
RelJoin提出基于相对代价的分布式连接方法选择模型，利用运行时统计精确估计网络与本地计算代价，在SparkSQL中实现，TPC-DS上62/97查询最优，平均查询时间降低21%。
2023-11-24 cs.DB cs.DC
Oasis: Hiding the Cost of Querying Parquet Files in the Datapath
ETH Zürich（苏黎世联邦理工学院）；Apple（苹果公司）
该研究提出名为Oasis的智能网卡，将Parquet解码卸载到网络数据路径，实现与DuckDB端到端集成，可降低解码开销，最优时DuckDB查询吞吐量近翻倍。
2026-08-04 cs.AR cs.DB
Graph Memory for LLM Agents: At What Cost? A Comparative Evaluation of Query, Ingest, and Update Performance Across Graph Database Engines
Corvic AI Research（Corvic人工智能研究院）；UT Austin（德克萨斯大学奥斯汀分校）
本文构建生物医学属性图基准，比较八种图数据库引擎在查询、摄取和更新上的性能，发现无绝对最快系统，且批量摄取成本差异主导总拥有成本。
2026-09-22 cs.AI cs.DB
Query Evaluation and Optimization in the Semantic Web
我们有效地解决了回答Web本体查询的问题。本体被形式化为演绎本体库（DOB），演绎数据库包括本体的推理公理和事实。提出了一种基于代价的DOB查询优化技术。提出了一种混合成本模型来估计基本事实和推断事实的成本和基数。基数和成本的推断事实估计使用自适应抽样技术，而传统的关系成本模型的技术用于估计成本的基本事实和合取本体查询。最后，我们实现了一个动态编程优化算法来识别最小化中间推断事实数量的查询评估计划。我们建模的Web本体语言OWL Lite的一个子集作为一个DOB，并进行了实验研究，分析我们的成本模型的预测能力和查询优化技术的好处。我们的研究已经进行了合成和现实世界的OWL本体，并表明该技术是准确的，提高查询性能。出现在逻辑编程理论与实践（TPLP）中。
2007-11-13 cs.DB cs.LO
Forecasting SQL Query Cost at Twitter
Twitter, Inc.（推特公司）
随着大数据时代的到来，使用传统的DBMS方法来计算SQL查询的资源使用量通常是计算昂贵的。我们是否可以更有效地估计每个查询的成本，而无需在SQL引擎内核中进行任何计算？机器学习技术能否帮助估计SQL查询资源利用率？答案是肯定的。我们提出了一个SQL查询成本预测服务，它采用机器学习技术，训练模型，从历史查询请求日志和快速预测的CPU和内存资源的使用，而无需在SQL引擎中进行任何计算。在Twitter，基础设施工程师正在维护一个跨本地和云数据中心的大规模SQL联合系统，以服务于临时查询。建议的服务可以通过缓解SQL引擎集群中不平衡的在线分析处理（OLAP）工作负载的问题来帮助改善查询调度。它还可以帮助实现抢先扩展。此外，所提出的方法使用普通SQL语句进行模型训练和在线预测，这表明它与硬件和软件无关。该方法可以推广到更广泛的SQL系统和异构环境。该模型对CPU使用率的预测精度达到97.9%，对内存使用率的预测精度达到97%.
2022-04-12 cs.AI cs.DB
An Efficient Index Method for the Optimal Route Query over Multi-Cost Networks
智能城市已被视为未来的发展趋势，而网络中的路径推荐是其中的一个基本问题，现有的最短路径问题求解方法大多认为网络中只有一种费用。然而，网络中总是存在多种代价，用户更愿意在综合考虑这些代价的情况下选择最优路由。本文研究了多费用网络中的最优路径问题。我们证明了这个问题是NP难的，现有的索引技术不能用于这个问题。我们提出了一种新的分区为基础的索引与轮廓天际线技术，以找到最佳的路线。我们提出了一个顶点过滤算法，以方便查询处理。我们在六个真实网络上进行了大量的实验，实验结果表明，与以前的启发式算法相比，我们的方法在效率上有一个数量级的提高。
2020-04-26 cs.DB cs.DS
Odyssey: An End-to-End System for Pareto-Optimal Serverless Query Processing
针对现有无服务器数据分析依赖预设或人工构建查询计划、计划空间大且成本性能差异显著的问题，提出集成查询规划、成本模型与执行引擎的Odyssey系统，通过剪枝启发式与新型搜索算法生成帕累托最优计划，实验证明其成本与延迟预测准确，性能优于AWS Athena。
2025-10-29 cs.DB cs.DC
Adaptive Learning of Aggregate Analytics under Dynamic Workloads
University of Glasgow（格拉斯哥大学）；University of Warwick（华威大学）
大型组织已经将数据驱动的决策无缝地纳入其运营中。然而，随着数据量的增加，昂贵的大数据基础设施需要拯救。在这种情况下，分析任务在云部署中的查询响应时间、资源消耗和金钱方面变得非常昂贵，特别是当基础数据存储在地理上分布式的数据中心时。因此，我们引入了一种自适应机器学习机制，该机制是轻量级的，存储在客户端，可以估计各种聚合查询的答案，并且可以避免大数据后端。在毫秒内执行的估计是廉价和准确的，因为该机制从过去的分析查询模式中学习。然而，由于分析查询是临时的，分析师的兴趣随着时间的推移而变化，我们开发的解决方案可以快速准确地检测到这种变化，并适应新的查询模式。使用真实和合成数据集进行广泛评估，证明了我们方法的能力。
2020-03-14 cs.DB cs.LG
Agentic Cost-Aware Query Planning with Knowledge Distillation for Big Data Analytics
Research Division, BrightMind AI（BrightMind AI 研究部）；Texas Tech University（德克萨斯理工大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一种结合规则基教师规划器、UCB1老虎机探索、成本感知预测和知识蒸馏的轻量级学生规划器，以解决大数据分析中查询优化计算成本高且资源受限环境下的内存和延迟约束问题，实验结果显示在纽约出租车和IMDB数据集上相比默认规划器降低了23%的延迟并保持了94%的约束满足率。
2026-05-18 cs.DB cs.LG
AWAPart: Adaptive Workload-Aware Partitioning of Knowledge Graphs
University of Georgia（佐治亚大学）
大规模知识图谱在许多领域中越来越常见。它们的大尺寸通常超过了将图存储在集中式数据存储中的系统的限制，特别是如果放置在主存中。为了克服这个问题，需要将大型知识图谱划分为多个子图，并将其放置在分布式系统中的节点中。但是查询这些碎片化的子图带来了新的挑战，例如由于涉及切割边缘的分布式连接而增加的通信成本。为了解决这些问题，一个好的分区应该在考虑给定查询工作负载的同时减少边切割。但是，分区图需要不断地重新分区，以适应查询工作负载的变化，并保持良好的平均处理时间。本文提出了一种大规模知识图谱的自适应划分方法，该方法根据查询负载的变化来调整划分。我们的评估表明，查询的处理时间的性能提高后，动态适应知识图谱三元组的划分。
2022-03-28 cs.AI cs.DB cs.DC
Trade-offs Computing Minimum Hub Cover toward Optimized Graph Query Processing
随着图形查询处理技术的成熟，优化的需求越来越迫切。索引是通过基于成本的优化实现高效查询处理策略的关键因素之一。由于明显缺乏一个通用的表示模型，很难集中精力开发访问结构、评估查询成本的指标和选择替代方案。在这种情况下，最近的兴趣覆盖为基础的图匹配似乎是一个很有前途的研究方向。在本文中，我们的目标是正式引入一个新的图形表示模型，称为最小枢纽覆盖，并证明这种表示提供了有趣的战略优势，有利于建设的候选图从图片段，并有助于利用索引的新方式进行查询优化。然而，类似于其他覆盖问题，最小枢纽覆盖是NP难的，因此是一个自然的候选优化。我们声称，计算最小枢纽覆盖导致图查询处理的成本大幅降低。我们提出了一个基于整数规划的最小枢纽覆盖的计算特征，以证实我们的主张，并调查其计算成本的各种图形类型。
2013-11-08 cs.DB cs.DS
Empowering Graph-based Approximate Nearest Neighbor Search with Adaptive Awareness Capabilities
针对基于图的近似最近邻搜索存在的局部最优和分布不匹配问题，提出GATE模块，利用对比学习双塔模型编码图结构与查询特征，选择枢纽节点作为入口并构建导航图，实现1.2-2.0倍查询加速。
2025-06-19 cs.DB cs.IR
Reqo: A Comprehensive Learning-Based Cost Model for Robust and Explainable Query Optimization
University of Ottawa（渥太华大学）
Reqo提出了一种鲁棒且可解释的查询优化成本模型，通过增强计划生成、表示和选择三个阶段，提升查询优化的性能和可解释性。
2026-01-11 cs.AI cs.DB cs.LG
Towards Adaptive Storage Views in Virtual Memory
传统上，DBMS将其存储层与索引层分离。虽然存储层物理上实现了数据库并提供了对数据库的低级访问方法，但顶部的索引层可以更快地定位搜索到的条目。虽然这清楚地分离的关注，它也增加了一个层次的间接已经复杂的执行path.In这项工作中，我们提出了一种替代设计：而不是保守地分离两个层，我们自然融合它们集成自适应粗粒度索引方案直接到存储层。我们这样做是通过利用操作系统提供的虚拟内存管理子系统的工具：在最底层，我们将数据库内容具体化为物理主存的形式。最重要的是，我们允许创建任意多个虚拟内存存储视图，这些视图映射到具有某些感兴趣属性的数据库子集。这种创建完全自适应地作为查询处理的副产品发生。为了加快查询应答，我们将每个查询自动路由到最合适的虚拟视图。通过这种方式，我们自然地在其核心中索引存储层，并逐渐提高所提供的扫描性能。
2022-12-06 cs.DB cs.OS
Focus: Querying Large Video Datasets with Low Latency and Low Cost
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；ETH Zürich（苏黎世联邦理工学院）
大量的视频从部署用于交通控制和监控的摄像机中连续记录，目的是回答“事后”查询：从许多天记录的视频中识别具有某些类别（汽车、行李）的对象的视频帧。虽然卷积神经网络（CNN）的进步已经能够以高精度回答这样的查询，但它们太昂贵且速度太慢。我们构建了Focus，一个在大型视频数据集上进行低延迟和低成本查询的系统。Focus使用廉价的摄取技术来索引视频中出现的对象。在摄取时，它使用CNN的压缩和视频特定的专业化。Focus通过在查询时明智地利用昂贵的CNN来处理廉价CNN的较低准确性。为了减少查询时间延迟，我们聚类相似的对象，从而避免冗余处理。通过对来自交通、监控和新闻频道的视频流进行实验，我们发现Focus使用的GPU周期比运行昂贵的摄取处理器少58倍，比在查询时处理所有视频快37倍。
2018-01-10 cs.CV cs.DB cs.DC
