Probably Approximately Optimal Query Optimization
在某些情况下,评估数据样本上的查询谓词是估计其选择性的唯一方法。在这些情况下,找到有保证的最优查询计划并不是合理的优化目标,因为它可能需要无限数量的样本。因此,我们引入可能近似最优的查询优化(PAO)的目标是找到一个查询计划,其成本是接近最优的一定的概率。我们将证明为什么PAO是一个合适的形式主义模型的情况下,谓词采样和优化需要交错。我们提出了第一个算法PAO。我们的算法是非侵入性的,并使用标准的查询优化器和采样组件作为子功能。它是通用的,可以应用于广泛的场景。我们的算法是迭代的,并在每次迭代中计算一个查询计划连同一个区域中的选择性空间,该计划具有接近最优的成本。它确定真实选择性值落在上述区域内的置信度,并在置信度未达到指定为问题输入的阈值时基于当前状态选择要采集的下一个样本。我们设计了不同的算法变体,并分析了它们的复杂性。我们通过实验比较了它们在许多不同查询类上的优化器调用、样本和迭代次数。
2015-11-05 cs.DB
Multi-Attribute Selectivity Estimation Using Deep Learning
University of Texas at Arlington(德克萨斯大学阿灵顿分校);QCRI, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);University of Toronto(多伦多大学)
选择性估计-估计查询结果大小的问题-是数据库中的一个基本问题。涉及多个相关属性的查询选择性的准确估计尤其具有挑战性。基数估计值不佳可能导致查询优化器选择错误的计划。我们研究了使用基于深度学习的方法进行点和范围查询的可行性,并提出了两种互补的方法。我们的第一种方法将选择性视为无监督的深度密度估计问题。为此,我们成功地引入了神经密度估计技术。其关键思想是将联合分布分解为一组易于处理的条件概率分布,使它们满足自回归特性。我们的第二种方法将选择性估计公式化为一个有监督的深度学习问题,该问题预测给定查询的选择性。我们还介绍并解决了在将深度学习应用于关系数据时出现的一些实际挑战。这些包括查询/数据特征化,将查询工作负载信息纳入深度学习框架,以及可以更新数据和工作负载查询的动态场景。我们的广泛的实验,特别强调查询大量的谓词和/或小的结果大小表明,我们提出的技术提供了快速和准确的选择性估计与最小的空间开销。
2019-06-17 cs.DB cs.LG
A Practical Theory of Generalization in Selectivity Learning
University of Pennsylvania(宾夕法尼亚大学)
本文从理论与实践角度探讨选择性学习的泛化能力,提出基于有符号测度的可学习预测方法,并改进OOF泛化性能。
2025-05-07 cs.DB cs.LG stat.ML
Selectivity Estimation for Semantic Filters on Image Data
Technical University of Darmstadt(达姆施塔特工业大学);EURECOM(欧洲通信学院);TU Darmstadt, DFKI, HessianAI(达姆施塔特工业大学、德国人工智能研究中心、黑森AI)
针对图像数据上的语义过滤器,提出基于共享嵌入空间的语义直方图方法,通过估计查询特异性来绕过传统在线采样,实现高效选择性估计,将查询优化与执行的端到端运行时开销降低高达86%。
2026-06-03 cs.DB
Consistent and Flexible Selectivity Estimation for High-Dimensional Data
Shenzhen Institute of Computing Sciences, Shenzhen University(深圳大学深圳计算科学研究院);Osaka University(大阪大学);Nagoya University(名古屋大学);Dongguan University of Technology(东莞理工学院);University of New South Wales(新南威尔士大学)
选择性估计的目的是估计满足选择标准的数据库对象的数量。准确、有效地解决这个问题对于密度估计、离群点检测、查询优化和数据集成等许多应用都是必不可少的。估计问题对于大规模高维数据尤其具有挑战性,这是由于维数灾难、不同查询之间的选择性的大方差以及使估计器一致的需要(即,选择性在阈值中是不减小的)。我们提出了一种新的基于深度学习的模型,该模型学习查询相关的分段线性函数作为选择性估计器,该模型可以灵活地拟合任何距离函数和查询对象的选择性曲线,同时保证输出在阈值内不减。为了提高大型数据集的准确性,我们建议将数据集划分为多个不相交的子集,并在每个子集上构建局部模型。我们在真实数据集上进行了实验,结果表明,该模型在准确性方面始终优于最先进的模型,并且对实际应用非常有用。
2021-05-27 cs.DB cs.LG
A Selectivity based approach to Continuous Pattern Detection in Streaming Graphs
网络安全是当今时代最重要的技术挑战之一。检测敌对活动、防止知识产权和客户数据被盗是全球企业和政府机构的高度优先事项。网络防御者需要分析大规模、高分辨率的网络流,以识别、分类和缓解涉及跨机构和国家边界网络的攻击。许多网络攻击可以描述为子图模式,突出的例子是内部渗透(路径查询),拒绝服务(并行路径)和恶意传播(树查询)。这促使我们在连续设置中探索流图上的子图匹配。我们的工作的新颖之处在于使用子图分布统计收集流图,以确定查询处理策略。我们引入了一个“懒惰搜索”算法,其中的搜索策略是决定在一个顶点到顶点的基础上,取决于在顶点邻域中的匹配的可能性。我们还提出了一个度量命名为“相对选择性”,用于选择不同的查询处理策略。我们在真实的在线新闻,网络流量流和合成社交网络基准上进行的实验表明,与选择性不可知方法相比,速度提高了10- 100倍。
2015-03-03 cs.DB
DeepSampling: Selectivity Estimation with Predicted Error and Response Time
University of California, Riverside(加州大学河滨分校)
空间数据的快速增长促使研究界寻找有效的处理技术,对大量的数据进行交互式查询。近似查询处理(AQP)是最重要的技术,可以提供实时响应的ad-hoc查询基于随机样本。不幸的是,现有的AQP方法提供了一个答案,没有提供任何准确性度量,由于样本大小,查询参数,数据分布和结果准确性之间的复杂关系。本文提出了DeepSampling,这是一种基于深度学习的模型,可以预测基于样本的AQP算法的准确性,特别是选择性估计,给定样本大小,输入分布和查询参数。该模型也可以被逆转,以测量将产生所需准确度的样本量。DeepSampling是第一个为现有空间数据库提供可靠工具以控制AQP准确性的系统。
2020-08-16 cs.DB cs.LG
Selectivity Estimation for Linear Queries via Online Learning
Duke University(杜克大学)
针对数据库中查询选择性估计问题,受在线学习启发,提出算法框架,以遗憾值衡量学习算法性能,建立基于直方图的线性查询在静态和动态数据库设置下遗憾值的上下界。
2026-07-07 cs.DB cs.LG
The VC-Dimension of Queries and Selectivity Estimation Through Sampling
Brown University(布朗大学)
我们开发了一种基于Vapnik-Chervonenkis维度统计概念的新方法来评估SQL查询的选择性(输出基数)-这是优化大规模数据库和数据挖掘操作执行的关键一步。这项工作的主要理论贡献,这是独立的利益,是一个明确的约束VC维的范围空间定义的所有可能的结果的集合(类)的查询。我们证明了VC维是一个函数的最大数量的布尔运算的选择谓词和选择和连接操作的最大数量的任何个人查询的集合中,但它既不是一个函数的查询的数量在集合中,也不是数据库的大小(元组的数量)。我们利用这一结果,并开发了一种方法,给定一类查询,建立一个简洁的随机样本的数据库,这样,具有很高的概率执行的任何查询类的样本上提供了一个准确的估计的选择性的查询原始的大型数据库。错误概率同时适用于集合中所有查询的选择性估计,因此可以使用相同的样本来评估多个查询的选择性,并且仅在数据库中发生重大更改后才需要刷新样本。通过我们的方法计算的样本表示通常足够小以存储在主存储器中。我们提出了广泛的实验结果,验证了我们的理论分析,并证明了我们的技术相比,复杂的选择性估计技术在PostgreSQL和Microsoft SQL Server的优势。
2011-08-11 cs.DB cs.DS cs.LG
Learned Offline Query Planning via Bayesian Optimization
本文提出一种结合变分自编码器与贝叶斯优化的离线查询优化器,通过将查询执行作为原语搜索更优计划,在多个数据集上相比PostgreSQL最优计划和近期强化学习方法找到更快的查询计划。
2025-02-07 cs.DB
Query the model: precomputations for efficient inference with Bayesian Networks
变量消去法是贝叶斯网络概率推理的基本算法。在本文中,我们提出了一种新的物化方法变量消除,这可以导致显着的效率提高时,回答推理查询。我们使用真实世界的贝叶斯网络来评估我们的技术。我们的研究结果表明,适度的物化可以导致显着改善查询的运行时间。此外,与也依赖于物化的连接树方法相比,我们的方法在使用显着更轻的物化进行推理时实现了相当的效率。
2021-01-27 cs.DB
JAG: Joint Attribute Graphs for Filtered Nearest Neighbor Search
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);University of Maryland(马里兰大学)
JAG通过联合属性图方法,实现了在各种过滤类型和选择性范围内的高效过滤最近邻搜索。
2026-02-10 cs.DB cs.IR
Cost-Aware Optimization for Agentic Query Execution
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Rice University(莱斯大学)
针对LLM支持的查询执行中算子放置、顺序和粒度影响代价与质量的问题,提出EnumGRPO优化器,通过上下文强化学习从枚举计划中蒸馏启发式策略,在SWAN数据库上实现0.011美元/查询的LLM代价和35.4%的执行准确率。
2026-10-08 cs.DB
Adversarial Query Synthesis via Bayesian Optimization
University of Pennsylvania(宾夕法尼亚大学)
本文提出利用贝叶斯优化技术自动合成对抗查询,以提升数据库基准工作的优化余地。
2026-03-02 cs.DB cs.LG
Optimizing Queries with Many-to-Many Joins
针对含多对多连接的多路查询优化难题,提出改进代价模型及对应优化算法,实验对比三类方法并分析连接顺序鲁棒性,可降低对复杂优化技术的需求。
2025-05-19 cs.DB
Efficient Filtered-ANN via Learning-based Query Planning
University of Hawaii Manoa(夏威夷大学马诺阿分校)
本文提出基于学习的查询规划框架,通过动态选择执行计划提升过滤-ANN搜索效率,实验证明在保持高召回率的同时实现最高4倍的加速。
2026-02-20 cs.DB cs.IR
Learned Query Superoptimization
本文提出学习型查询超优化思想,通过探索驱动算法、迭代贝叶斯优化和程序合成自主发现最优查询计划,以更长优化时间换取对大量重复查询的大幅加速。
2023-07-11 cs.DB
Workload-Aware Materialization of Junction Trees
贝叶斯网络是流行的概率模型,可以捕获一组变量之间的条件依赖关系。贝叶斯网络中的推理是回答数据中变量子集的概率查询的基本任务。然而,贝叶斯网络的精确推理是\NP -困难的,这促使了许多实用的推理方法的发展。在本文中,我们专注于提高性能的连接树算法,一个众所周知的方法,在贝叶斯网络的精确推理。特别是,我们试图利用概率查询的工作负载中的信息,以获得最佳的工作负载感知的物化连接树,其目的是加快推理查询的处理。我们设计了一个最佳的伪多项式算法来解决这个问题,并讨论近似方案。与通过连接树高效处理推理查询的最先进方法相比,我们的方法是第一个利用查询工作负载中提供的信息。我们在几个真实世界的贝叶斯网络上的实验证实了我们的技术在加快查询处理的有效性。
2021-10-07 cs.DB
Hippo: A Fast, yet Scalable, Database Indexing Approach
即使现有的数据库索引(例如,B+-Tree)加速查询执行,但它们有两个主要缺点:(1)数据库索引通常会产生5%到15%的额外存储开销,这导致在大数据场景中的不可估量的美元成本,特别是当部署在现代存储设备上时,如固态磁盘(SSD)或非易失性存储器(NVM)。(2)维护数据库索引会带来很高的延迟,因为DBMS必须查找并更新那些受基础表更改影响的索引页。Hippo是一种快速、可扩展的数据库索引方法。Hippo只存储磁盘页面的指针以及基于轻量级直方图的摘要。所提出的结构显着收缩索引存储和维护开销,而不影响查询执行性能。基于PostgreSQL 9.5中的真实Hippo实现,使用TPC-H基准测试的实验表明,Hippo实现了比传统数据库索引少两个数量级的存储空间和少三个数量级的维护开销,即,B+-树。此外,实验还表明,Hippo实现了可比的查询执行性能的B+树的各种选择性因素。
2016-04-12 cs.DB
WoW: A Window-to-Window Incremental Index for Range-Filtering Approximate Nearest Neighbor Search
Nanjing University(南京大学)
本文提出窗口图增量索引WoW,通过分层窗口插入算法和范围选择性优化,实现范围过滤近似最近邻搜索的高效增量构建与查询,性能优于现有增量索引。
2025-09-26 cs.DB
Explaining Inference Queries with Bayesian Optimization
Simon Fraser University(西蒙菲莎大学);Columbia University(哥伦比亚大学)
获得SQL查询结果的解释可以丰富分析体验,揭示数据错误,并提供对数据的更深入了解。推理查询解释试图解释推理数据上的意外聚合查询结果;这种查询很难解释,因为解释可能需要从ML管道中的源数据、训练数据或推理数据中导出。在本文中,我们将目标函数建模为黑盒函数,并提出了BOExplain,这是一个使用贝叶斯优化(BO)解释推理查询的新框架。解释是一个谓词,它定义了应该被删除的输入元组,这样感兴趣的查询结果就会受到很大的影响。BO -一种用于找到黑盒函数的全局最优值的技术-用于找到最佳谓词。我们开发了两种新的技术(个人贡献编码和热启动)来处理分类变量。我们进行的实验表明,由BOExplain发现的谓词有更高程度的解释相比,那些发现的国家的最先进的查询解释引擎。我们还表明,BOExplain是有效的推理查询从源和训练数据在各种现实世界的数据集的解释。BOExplain作为Python包在https://github.com/sfu-db/BOExplain上开源。
2021-06-19 cs.DB cs.LG
Filtered ANN as a Phase Transition: When Selectivity-Estimation Error Causes Plan Regret
VaidhyaMegha Private Limited, India(VaidhyaMegha 私人有限公司,印度)
本文研究过滤式近似最近邻搜索中,选择性估计误差如何导致计划遗憾,并揭示其仅在相变边界附近产生,遗憾呈对数宽度楔形,通过有限尺度标度验证。
2026-06-16 cs.DB cs.LG
Hydro: Adaptive Query Processing of ML Queries
Georgia Institute of Technology(佐治亚理工学院)
本文提出Hydro,一个利用自适应查询处理(AQP)的ML中心DBMS,通过动态监控UDF统计信息、优化谓词评估顺序和资源分配,解决了ML查询中UDF性能瓶颈和数据依赖的计划优化问题,实现高达11.52倍加速。
2024-03-22 cs.DB cs.LG
AQETuner: Reliable Query-level Configuration Tuning for Analytical Query Engines
AQETuner提出基于贝叶斯优化的查询级配置调优系统,结合注意力机制、双任务神经过程和粒子群优化,解决旋钮影响、失败忽视及冷启动问题,显著降低延迟和失败率。
2025-06-20 cs.DB
Sample Debiasing in the Themis Open World Database System (Extended Version)
开放世界数据库管理系统假设数据库中没有的元组仍然存在,并且正在成为一个越来越重要的研究领域。我们提出了Themis,第一个开放世界的数据库,自动重新平衡任意偏置的样本,近似回答查询,如果他们在整个人口发出。我们利用先验的人口聚集信息,开发和结合两种不同的方法自动去偏:样本重新加权和贝叶斯网络概率建模。我们建立了一个原型的Themis和证明,Themis实现更高的查询精度比默认的AQP方法,一种替代的样本重新加权技术,和各种贝叶斯网络模型,同时保持交互式查询响应时间。我们还表明,\name是强大的样本和人口之间的支持,一个关键的用例时,使用社交媒体样本的差异。
2020-02-29 cs.DB
QEmbed: A Deep Learning Based Cardinality Estimator for Efficient Query Processing
Indian Institute of Technology Jammu(詹穆印度理工学院)
针对现有基数估计方法在混合高/低基数属性数据集上难以平衡内存与精度的问题,提出基于MADE自回归框架的QEmbed深度学习模型,采用混合编码捕获属性相关性,有效降低极端尾部误差。
2026-09-14 cs.DB
DGFIndex for Smart Grid: Enhancing Hive with a Cost-Effective Multidimensional Range Index
在智能电网应用中,随着部署的电力智能电表数量的增加,每天都会产生和收集大量有价值的电表数据。为了实现可靠的数据汇集并快速做出业务决策,对海量电表数据进行高吞吐量存储和高性能分析对电网公司至关重要。考虑到Hadoop和Hive系统的高效率、容错和性价比的优势,它们经常被部署为大数据处理的底层平台。然而,在实际的业务用例中,这些数据分析应用程序通常涉及多维范围查询(MDRQ)以及对仪表数据的批量读取和统计。虽然Hive在复杂的数据批量读取和分析方面具有高性能,但它缺乏有效的MDRQ索引技术。在本文中,我们提出了DGFIndex,一个索引结构的蜂巢,有效地支持MDRQ的海量仪表数据。DGFIndex使用网格文件技术将数据空间划分为立方体。与Hive中存储多个维度的所有组合的现有索引不同,DGFIndex只存储立方体的信息。这导致更小的索引大小和更快的查询处理。此外,通过预先计算每个立方体的用户定义聚合,DGFIndex只需要访问边界区域进行聚合查询。综合实验表明,与Hive中已有的索引相比,DGFIndex可以节省大量的磁盘空间;在聚合查询时,DGFIndex的查询速度是Hive和Hadoop中已有索引的2-50倍,在非聚合查询时,DGFIndex的查询速度是Hive和Hadoop中已有索引的2-5倍,在不同的查询选择度下,DGFIndex的查询速度是扫描整个表的2-75倍。
2014-07-09 cs.DB cs.DC
Differential privacy for counting queries: can Bayes estimation help uncover the true value?
差分隐私是通过在查询响应中引入拉普拉斯噪声来实现的,从而在差分隐私级别和数据库响应的准确性之间建立精确的权衡(通过引入的噪声量)。多个查询可以提高准确性,但会侵蚀隐私预算。我们研究的情况下,我们提交了一个单一的计数查询。我们表明,即使在这种情况下,贝叶斯方法可以用来提高精度相同数量的噪声注入,如果我们知道的数据库的大小和查询的积极响应的概率。
2014-07-01 cs.CR cs.DB
BayesCard: Revitilizing Bayesian Frameworks for Cardinality Estimation
Alibaba Group(阿里巴巴集团);University of Edinburgh(爱丁堡大学)
基数估计(CardEst)是查询优化器的重要组成部分,也是数据库管理系统中的一个基本问题.一个理想的CardEst方法应该获得良好的算法性能,是稳定的,以不同的数据设置,并友好的系统部署。然而,现有的CardEst方法不能同时满足这三个标准。传统的方法往往有显着的算法缺陷,如大的估计误差。最近提出的基于深度学习的方法大大提高了估计精度,但它们的性能可能会受到数据的极大影响,并且通常难以进行系统部署。在本文中,我们振兴的贝叶斯网络(BN)的CardEst通过将概率程序设计语言的技术。我们提出了贝叶斯卡,第一个框架,继承了BN的优点,即,具有较高的估计精度和可解释性,同时克服了其结构学习和推理效率低的缺点。这使得BayesCard成为商业DBMS部署的完美候选者。我们在几个单表和多表基准测试上的实验结果表明,BayesCard优于现有的最先进的CardEst方法:BayesCard实现了相当或更好的准确性,推理时间快1-2个数量级,训练时间快1 - 3个数量级,模型大小小1-3个数量级,更新快1-2个数量级。同时,贝叶斯卡保持稳定的性能时,不同的设置变化的数据。我们还将BayesCard部署到PostgreSQL中。在IMDB基准测试工作负载上,它将端到端查询时间提高了13.3%,非常接近使用真基数的oracle的最佳结果14.2%。
2021-02-02 cs.DB cs.LG
Cortex AISQL: A Production SQL Engine for Unstructured Data
Snowflake Inc.(雪花公司)
Cortex AISQL通过AI-aware优化、自适应模型级联和语义连接重写技术,解决大规模语义操作效率问题,提升非结构化数据查询性能。
2026-04-07 cs.AI cs.DB cs.LG