ALECE: An Attention-based Learned Cardinality Estimator for SPJ Queries on Dynamic Workloads (Extended)
本研究提出 ALECE,一种用于动态工作负载下 SPJ 查询的基于注意力的学习型基数估计器,通过数据编码器和查询分析器模块捕捉查询与数据的隐式关系,使 PostgreSQL 优化器实现接近最优的性能。
2023-10-23 cs.DB
CardBench: A Benchmark for Learned Cardinality Estimation in Relational Databases
Google Inc(谷歌公司)
本文发布CardBench基准,包含20个真实数据库的数千查询,用于系统训练评估学习型基数估计模型,实验表明零样本在单表查询有效但连接下降,微调可减少开销。
2024-08-28 cs.DB cs.LG
Scardina: Scalable Join Cardinality Estimation by Multiple Density Estimators
Osaka University(大阪大学)
针对复杂关系模式下现有方法基数估计不精确的问题,提出基于模式结构的多分区模型Scardina,通过组合多个密度估计器有效提升连接基数估计的准确性。
2023-03-31 cs.DB cs.LG
TKHist: Cardinality Estimation for Join Queries via Histograms with Dominant Attribute Correlation Finding
TKHist通过放宽直方图均匀性假设并引入主导连接路径相关性发现算法,实现了多表连接查询的准确基数估计,误差方差较最先进方法降低2-3个数量级。
2025-10-17 cs.DB
Accurate Summary-based Cardinality Estimation Through the Lens of Cardinality Estimation Graphs
我们研究了两类基于摘要的基数估计器,它们使用关于图数据库管理系统中的输入关系和小尺寸连接的统计数据:(i)乐观估计器,其做出一致性和条件独立性假设;以及(ii)最近的悲观估计器,其使用信息论线性规划。我们首先解决如何对乐观估计量进行准确估计的问题。我们将这些估计器建模为基数估计图(CEG)中的自底向上路径,该图包含子查询作为节点和代表平均度的子查询之间的加权边缘。我们概述了一个空间的算法在这个框架中做出乐观的估计,并表明有效的算法依赖于输入查询的结构。我们观察到,在非循环查询和查询与小尺寸的周期,使用最大权重路径是一种有效的技术,以解决众所周知的低估问题的乐观估计。我们表明,在一个大的数据集和工作负载套件,这样的估计的准确性是高达三个数量级更准确的平均q误差比一些先前的算法,已提出在先前的工作。相比之下,我们发现,在查询更大的周期,这些估计往往高估,这可以部分地通过使用最小权重路径和更有效地使用替代CEG。然后,我们表明,CEG也可以模拟最近的悲观估计。这个令人惊讶的结果使我们能够连接两个不同的工作线乐观和悲观的估计,采用从悲观的估计乐观的优化,并提供见解的悲观估计,如显示,有替代的组合解决方案的线性规划,定义他们。
2021-05-19 cs.DB
LMKG: Learned Models for Cardinality Estimation in Knowledge Graphs
准确的基数估计是实现最佳查询计划的关键因素。对于RDF引擎,特别是在常见的知识图谱处理工作负载下,缺乏模式、相关谓词以及涉及多个连接的各种类型的查询,使得基数估计成为一项特别具有挑战性的任务。在本文中,我们开发了一个框架,称为LMKG,采用深度学习方法,有效地估计RDF图查询的基数。我们采用两种监督(即,深度神经网络)和无监督(即,自回归模型)方法,其适应于子图模式并产生更准确的基数估计。为了将底层数据提供给模型,我们提出了一种新的编码,将查询表示为子图模式。通过对真实世界和合成数据集的广泛实验,我们评估了我们的模型,并表明它们在准确性和执行时间方面总体上优于最先进的方法。
2021-02-21 cs.DB
ROSIE: Runtime Optimization of SPARQL Queries Using Incremental Evaluation
关系数据库在资源描述框架(RDF)数据管理中得到了广泛的应用。为了有效地进行SPARQL查询评估,需要重新考虑遗留查询优化器。其中一个重要的问题是如何解决由于基数估计容易出错而导致的查询计划不理想的问题。考虑到RDF数据的无模式特性和SPARQL查询的Join密集特性,在实际评估的查询是昂贵的甚至是不可行的之前确定最佳执行顺序,特别是对于大规模数据的复杂查询。在本文中,我们提出了ROSIE,一个迭代优化框架,迭代地重新优化SPARQL查询计划,根据实际基数来自增量部分查询评估。通过引入一种基于启发式的计划生成方法,以及一种在运行时检测基数估计错误的机制,ROSIE以一种有效的方式缓解了有偏基数传播的问题,从而对复杂的查询评估更具弹性。在真实数据和基准数据上进行的大量实验表明,与最先进的技术相比,ROSIE在复杂查询上的表现一直优于几个数量级。
2016-05-23 cs.DB
LEARNT: A Practical Estimator for Cardinality of LIKE Queries with Formal Accuracy Guarantees
The University of Queensland(昆士兰大学);AT&T Chief Data Office(AT&T首席数据办公室);University of Wollongong(伍伦贡大学);Wuhan University(武汉大学)
针对字符串数据上的LIKE查询(前缀、后缀、子串),提出LEARNT估计器,通过桶分类、布隆过滤器和马尔可夫建模等方法,在保证理论精度边界的同时实现高效估计。
2026-05-23 cs.DB
Fully Inductive Cardinality Estimation
Technical University of Munich(慕尼黑工业大学)
该研究提出首个无需重新训练即可泛化到新图的全归纳基数估计器FICE,通过耦合GNN组件实现,在10个KG上较基线显著降低中位数q误差并优化尾部行为。
2026-07-31 cs.DB cs.LG
Cardinality Estimation for High Dimensional Similarity Queries with Adaptive Bucket Probing
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Generative AI Research and Development Center (HKGAI)(香港生成式人工智能研发中心(HKGAI))
本文提出一种轻量级框架,利用LSH分区和自适应桶探针技术,结合渐进采样和不对称距离计算,提升高维相似性查询的卡数估计精度和在线效率。
2026-04-06 cs.AI cs.DB
Optimize Cardinality Estimation Model Pretraining by Simplifying the Training Datasets
针对学习型基数估计器预训练中均匀采样数据集非最优的问题,利用Group DRO算法发现特定数据集贡献更大,据此提出缩减至原有一小部分的简化训练数据集,在零样本设置下仍取得与现有模型相当的性能。
2025-05-28 cs.DB cs.LG
Moment-Based Quantile Sketches for Efficient High Cardinality Aggregation Queries
交互式分析越来越多地涉及查询高基数数据集的子群体的分位数。Druid和Spark等数据处理引擎使用可合并的汇总来估计分位数,但汇总合并时间可能是聚合过程中的瓶颈。我们展示了一个紧凑和高效的可合并的分位数草图可以支持聚合工作负载。这种数据结构,我们称之为矩草图,通过仅跟踪一组汇总统计数据(特别是样本矩),以小的内存占用(200字节)和计算效率(50 ns)进行合并。我们演示了如何使用矩方法和最大熵原理来有效和实际地估计分位数,并展示了如何使用级联进一步提高阈值谓词的查询时间。对真实世界数据集的实证评估表明,矩草图可以实现小于1%的错误,合并开销比可比摘要少15倍,MacroBase引擎中的最终查询时间最多可缩短7倍,Druid引擎最多可缩短60倍。
2018-07-13 cs.DB
Convolution and Cross-Correlation of Count Sketches Enables Fast Cardinality Estimation of Multi-Join Queries
针对多连接查询基数估计中结合快速更新与多连接处理能力的开放难题,提出基于Count Sketch卷积与互相关的新型概要方法,证明无偏且误差保证与AMS方法一致,实验显示更新速度提升数数量级、精度相当或更优。
2024-05-14 cs.DB
Machine Learning-based Cardinality Estimation in DBMS on Pre-Aggregated Data
基数估计是数据库查询处理和优化中的一项基本任务。如最近的论文所示,基于机器学习(ML)的方法可以提供比传统方法更准确的基数估计。然而,在模型训练阶段必须执行大量示例查询来学习数据依赖的ML模型,这导致了非常耗时的训练阶段。这些示例查询中的许多查询使用相同的基本数据,具有相同的查询结构,只是它们的谓词不同。因此,乍一看,索引结构似乎是一种理想的优化技术。然而,其益处是有限的。为了加快这个模型训练阶段,我们的核心思想是确定基本数据的谓词独立的预聚合,并在此预聚合数据上执行示例查询。基于这一思想,我们提出了一个特定的聚合启用的训练阶段ML为基础的基数估计方法在本文中。正如我们将在评估中展示的不同工作负载一样,我们能够在启用聚合的训练阶段实现63的平均加速比。
2020-05-19 cs.DB
CoLSE: A Lightweight and Robust Hybrid Learned Model for Single-Table Cardinality Estimation using Joint CDF
School of Computing(计算学院);Information Systems University of Melbourne(信息系统墨尔本大学)
CoLSE通过结合皮尔逊理论和轻量级神经网络,实现单表基数估计的高精度与低资源消耗的平衡。
2025-12-14 cs.DB cs.LG
A Unified Model for Cardinality Estimation by Learning from Data and Queries via Sum-Product Networks
本文提出融合数据分布与查询工作负载的统一基数估计模型 QSPN,通过 SPN 结构及查询感知列分区提升准确性、推理速度与存储效率。
2025-05-13 cs.DB
SafeBound: A Practical System for Generating Cardinality Bounds
最近的工作再次强调了基数估计对查询优化的重要性。虽然随着时间的推移,新技术的准确性不断提高,但它们通常仍然允许低估,这通常会导致优化器做出过于乐观的决策。对于昂贵的查询,这可能代价很高。另一种估计方法是基数边界,也称为悲观基数估计,其中基数估计器提供真实基数的保证上限。通过从不低估,这种方法允许优化器避免潜在的低效计划。然而,现有的悲观基数估计器还不实用:它们使用非常有限的数据统计数据,并且不能处理谓词。在本文中,我们介绍SafeBound,第一个实用的系统生成基数界限。SafeBound建立在最近的理论工作,使用连接属性的度序列来计算基数界限,扩展了这个框架与谓词,介绍了一个实用的压缩方法的度序列,并实现了一个有效的推理算法。在四个工作负载中,SafeBound实现了比PostgreSQL低80%的端到端运行时间,并且通过改进昂贵查询的运行时间,与最先进的基于ML的估计器和悲观基数估计器相当或更好。与最先进的基数估计方法相比,它还节省了高达500倍的查询规划时间,并使用了高达6.8倍的空间。
2022-11-17 cs.DB
Grid-AR: A Grid-based Booster for Learned Cardinality Estimation and Range Joins
本研究提出结合网格结构与自回归模型的Grid-AR混合基数估计器,优化连续列表示与范围查询执行,提升训练预测速度、降低内存,还支持高效范围连接基数计算,经基准测试验证性能与资源利用均显著优于现有方法。
2024-10-10 cs.DB
Cardinality Estimation over Knowledge Graphs with Embeddings and Graph Neural Networks
Technical University of Munich(慕尼黑工业大学)
本文提出GNCE方法,结合知识图谱嵌入和图神经网络准确预测合取查询基数,在估计精度、执行时间和参数量上优于现有方法,并能归纳泛化至未见实体,适用于动态查询场景。
2024-06-03 cs.AI cs.DB cs.LG
Deep Unsupervised Cardinality Estimation
UC Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学)
基数估计长期以来一直基于密度估计的统计工具。为了捕获关系表的丰富多元分布,我们提出使用一种新型的高容量统计模型:深度自回归模型。然而,直接应用这些模型会导致有限的估计,这是昂贵的范围或可预测的评价。为了产生一个真正可用的估计,我们开发了一个Monte Carlo集成方案的自回归模型,可以有效地处理范围查询几十个维度或更多。像经典的概要一样,我们的估计器在没有监督的情况下总结数据。与以前的解决方案不同,我们在没有任何独立假设的情况下近似联合数据分布。在真实世界的数据集上进行评估,并与真实系统和主要技术家族进行比较,我们的估计器在尾部实现了个位数的乘法误差,比第二好的方法提高了高达90 $\times$的精度,并且具有空间和运行时间效率。
2019-11-21 cs.DB cs.LG
BayesCard: Revitilizing Bayesian Frameworks for Cardinality Estimation
Alibaba Group(阿里巴巴集团);University of Edinburgh(爱丁堡大学)
基数估计(CardEst)是查询优化器的重要组成部分,也是数据库管理系统中的一个基本问题.一个理想的CardEst方法应该获得良好的算法性能,是稳定的,以不同的数据设置,并友好的系统部署。然而,现有的CardEst方法不能同时满足这三个标准。传统的方法往往有显着的算法缺陷,如大的估计误差。最近提出的基于深度学习的方法大大提高了估计精度,但它们的性能可能会受到数据的极大影响,并且通常难以进行系统部署。在本文中,我们振兴的贝叶斯网络(BN)的CardEst通过将概率程序设计语言的技术。我们提出了贝叶斯卡,第一个框架,继承了BN的优点,即,具有较高的估计精度和可解释性,同时克服了其结构学习和推理效率低的缺点。这使得BayesCard成为商业DBMS部署的完美候选者。我们在几个单表和多表基准测试上的实验结果表明,BayesCard优于现有的最先进的CardEst方法:BayesCard实现了相当或更好的准确性,推理时间快1-2个数量级,训练时间快1 - 3个数量级,模型大小小1-3个数量级,更新快1-2个数量级。同时,贝叶斯卡保持稳定的性能时,不同的设置变化的数据。我们还将BayesCard部署到PostgreSQL中。在IMDB基准测试工作负载上,它将端到端查询时间提高了13.3%,非常接近使用真基数的oracle的最佳结果14.2%。
2021-02-02 cs.DB cs.LG
Flow-Loss: Learning Cardinality Estimates That Matter
以前的学习基数估计方法集中在改善平均估计误差,但并非所有估计都同样重要。由于学习的模型不可避免地会出错,因此目标应该是改进对优化器产生最大影响的估计。我们引入了一个新的损失函数,流量损失,明确优化更好的查询计划,近似优化器的成本模型和动态规划搜索算法与分析功能。Flow-Loss的核心是将查询优化简化为特定计划图上的流路由问题,其中路径对应于不同的查询计划。为了评估我们的方法,我们引入了基数估计基准,其中包含来自21个模板的超过16 K查询的子计划的真实基数,最多有15个连接。我们表明,在不同的架构和数据库中,使用Flow-Loss训练的模型提高了计划的成本(使用PostgreSQL成本模型)和查询运行时,尽管估计准确性比使用Q-Error训练的模型差。当测试集查询与训练查询紧密匹配时,两个模型都比PostgreSQL显著提高了性能,并且接近最佳性能(使用真基数)。然而,当对稍微不同的查询(例如,相似但不相同的查询模板),而流损失训练模型更好地概括了这种情况。例如,与Q-Error模型相比,Flow-Loss模型在不可见模板上的运行时间提高了1.5倍,尽管利用了相同的模型架构和训练数据。
2021-01-13 cs.DB
An Empirical Analysis of Deep Learning for Cardinality Estimation
我们通过研究几种架构之间的准确性,空间和时间权衡,实现和评估用于基数估计的深度学习。我们发现,简单的深度学习模型可以在各种数据集上学习基数估计(与PostgreSQL相比,平均减少72% - 98%的误差)。此外,我们还根据经验评估了将深度学习模型生成的基数估计值注入PostgreSQL优化器的影响。在许多情况下,这些模型的估计可以在所有数据集上实现更好的查询计划,从而将选择项目连接工作负载的运行时间减少高达49%。尽管这些模型很有前途,但我们也讨论并解决了在实践中使用它们所面临的一些挑战。
2019-09-12 cs.DB
A General Cardinality Estimation Framework for Subgraph Matching in Property Graphs
本研究提出一种属性图查询模式基数估计的三阶段松耦合通用框架,可整合现有方法,经图版Join Order Benchmark实验验证小模式概要可准确估计无属性约束查询,同时指出带属性约束查询需新技术捕捉约束与拓扑的相关性。
2021-08-11 cs.DB
ByteCard: Enhancing ByteDance's Data Warehouse with Learned Cardinality Estimation
针对字节跳动ByteHouse数据仓库传统基数估计误差大、影响查询效率的问题,开发了可高效训练集成、平衡准确性与实用性的学习型基数估计框架ByteCard,使查询第99百分位延迟最高降30%,并分享了工程落地经验。
2024-04-11 cs.DB
Are We Ready For Learned Cardinality Estimation?
Simon Fraser University(西蒙菲莎大学);Tencent Inc.(腾讯公司)
基数估计是查询优化中的一个基本问题,但长期未得到解决。最近,来自不同研究小组的多篇论文一致报告说,学习模型有可能取代现有的基数估计。在本文中,我们提出了一个前瞻性的问题:我们准备好在生产中部署这些学习到的基数模型了吗?我们的研究包括三个主要部分。首先,我们关注静态环境(即,无数据更新),并在统一的工作负载设置下,在四个真实世界的数据集上比较五种新的学习方法和八种传统方法。结果表明,学习模型确实比传统方法更准确,但它们通常具有较高的训练和推理成本。其次,我们探索这些学习的模型是否为动态环境做好了准备(即,频繁的数据更新)。我们发现,他们不能赶上快速的数据更新,并返回大的错误,由于不同的原因。对于不太频繁的更新,它们可以表现得更好,但它们之间没有明显的赢家。第三,我们更深入地研究学习模型,并探索它们何时可能出错。我们的研究结果表明,学习方法的性能可以很大程度上影响的相关性,偏度,或域大小的变化。更重要的是,他们的行为更难解释,而且往往不可预测。基于这些发现,我们确定了两个有前途的研究方向(控制学习模型的成本,使学习模型值得信赖),并提出了一些研究机会。我们希望我们的研究可以指导研究人员和实践者共同努力,最终将学习到的基数估计器推向真正的数据库系统。
2021-08-10 cs.DB cs.LG
Adaptive Cardinality Estimation
本文研究了查询优化中的一个重要子问题--基数估计问题。查询优化是每个关系数据库管理系统的一部分,负责为给定的查询找到最佳的执行方式。这些方法被称为计划。不同计划的执行时间可能相差几个数量级,因此查询优化器对整个数据库系统的性能有很大的影响。我们认为基于代价的查询优化方法是最流行的方法。据观察,基于成本的优化质量很大程度上取决于基数估计质量。本文提出了一种新的基于机器学习方法的基数估计方法。该方法的要点是使用先前执行的查询的查询执行统计信息来改进基数估计。我们称这种方法为自适应基数估计,以反映这一点。该方法具有通用性、灵活性和易于实现的特点。实验评估表明,该方法显着提高了基数估计的质量,从而使某些查询的数据库管理系统性能提高了几倍甚至几十倍。
2017-11-22 cs.DB stat.ML
QCardEst/QCardCorr: Quantum Cardinality Estimation and Correction
University of Lübeck(吕贝克大学)
提出基于混合量子-经典网络的量子基数估计与校正方法,通过紧凑编码和变分量子电路提升数据库查询优化中的基数估计精度,在JOB-light和STATS上分别比PostgreSQL优化器改进6.37倍和8.66倍。
2025-09-10 cs.AI cs.DB cs.LG
A Lightweight Learned Cardinality Estimation Model
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
本文提出一种名为CoDe的轻量级数据驱动基数估计方法,通过覆盖设计划分表并利用张量分解建模数据分布,在准确率和推理效率上均达到最先进水平。
2025-08-13 cs.AI cs.DB cs.LG
Is it Bigger than a Breadbox: Efficient Cardinality Estimation for Real World Workloads
University of Pennsylvania(宾夕法尼亚大学);Google(谷歌);TU Darmstadt(图宾根大学);ETH(苏黎世联邦理工学院)
针对传统基数估计误差高、学习型估计器运维复杂的问题,提出基于子查询模式哈希的在线局部回归估计方法,开销极低且准确率达SoTA水平,集成PostgreSQL后可显著提升查询效率。
2025-10-03 cs.DB cs.LG
Color: A Framework for Applying Graph Coloring to Subgraph Cardinality Estimation
针对图查询优化中基数估计易出现灾难性错误的问题,提出COLOR框架,利用图压缩理论生成捕获全局拓扑的紧凑摘要并进行关键优化,在保持快速推理和小内存占用的同时将准确率提升多达10$^3$倍。
2025-04-29 cs.DB
Exqutor: Extended Query Optimizer for Vector-augmented Analytical Queries
Yonsei University(延世大学);Microsoft(微软)
本文提出Exqutor,一种用于向量增强分析查询的查询优化器,通过改进向量搜索的基数估计方法,提升查询性能,实验证明在pgvector、VBASE和DuckDB中性能提升达四量级。
2026-03-29 cs.DB
PRICE: A Pretrained Model for Cross-Database Cardinality Estimation
Alibaba Group(阿里巴巴集团);University of Science and Technology of China(中国科学技术大学);Renmin University of China(中国人民大学)
本文提出预训练多表基数估计模型PRICE,利用可迁移特征和自注意力学习元知识,以极低准备成本在未见数据库上实现高准确率,并可通过微调接近最优执行计划。
2024-06-03 cs.DB cs.LG
Monotonic Cardinality Estimation of Similarity Selection: A Deep Learning Approach
Shenzhen Institute of Computing Sciences(深圳计算科学研究院);Shenzhen University(深圳大学);Osaka University(大阪大学);Nagoya University(名古屋大学);The University of New South Wales(新南威尔士大学)
由于捕获底层数据分布的出色能力,深度学习技术最近已被用于一系列传统数据库问题。在本文中,我们研究了利用深度学习进行相似性选择的基数估计的可能性。准确有效地解决这个问题对于许多数据管理应用程序来说是必不可少的,特别是对于查询优化。此外,在某些应用中,估计的基数应该是一致的和可解释的。因此,单调估计w.r.t.优选查询阈值。我们提出了一种新的和通用的方法,可以应用于任何数据类型和距离函数。我们的方法包括一个特征提取模型和一个回归模型。特征提取模型将原始数据和阈值转换到汉明空间,其中利用基于深度学习的回归模型来利用基数w.r.t.准确性和单调性的阈值。我们开发了一种针对我们的模型的训练策略以及快速估计的技术。我们还讨论了如何处理更新。我们通过实验证明了我们的方法的准确性和效率,并展示了它如何提高查询优化器的性能。
2021-09-24 cs.DB cs.LG stat.ML
Degree Sequence Bound For Join Cardinality Estimation
最近的工作表明,查询处理时间的基数估计差的灾难性影响。特别是,低估查询基数可能会导致过于乐观的查询计划,其完成时间比使用真实基数生成的查询计划长几个数量级。基数边界通过使用关于数据库的统计信息(如表大小和度,即值频率)计算查询输出大小的严格上限来避免这个陷阱。在本文中,我们通过证明一个新的界限称为度序列界限,考虑到充分的度序列和最大元组的多重性来扩展这条工作线。这一界限改善了以往的工作,将程度的限制,集中在最大程度,而不是程度序列。此外,我们描述了如何实际计算这个界限使用学习近似的真实度序列。
2022-03-30 cs.DB
Risk-Aware GPU-Assisted Cardinality Estimation for Cost-Based Query Optimizers
GACE通过GPU加速测量提升基于成本的查询优化器的稳定性与效率,减少尾部延迟并降低计划翻转率。
2025-12-31 cs.DB
Q-error Bounds of Random Uniform Sampling for Cardinality Estimation
随机均匀抽样已在各种统计任务中进行了研究,但很少有人涉及基数估计(CE)的Q-误差度量。本文分析了单表平行四边形检验中有替换和无替换的随机均匀抽样的置信区间。结果表明,Q-误差界的上限依赖于样本量和真基数。我们的界限提供了一个经验法则,一个样本应该保持多大的单表CE。
2021-09-30 cs.DB math.ST stat.TH
Forgetting by Pruning: Data Deletion in Join Cardinality Estimation
CEP是一种专为多表学习基数估计系统设计的遗忘框架,通过分布敏感性剪枝和领域剪枝有效减少数据删除带来的高估问题,提升效率并降低计算开销。
2025-11-25 cs.AI cs.DB cs.LG
SSCard: Substring Cardinality Estimation using Suffix Tree-Guided Learned FM-Index
提出SSCard,一种基于剪枝后缀树和学习型FM-Index的子串基数估计器,通过双向估计算法与误差界限样条插值平衡空间与精度,在五个真实数据集上显著优于现有方法。
2025-05-30 cs.DB
BaCon: Efficient Batch Processing of Counting Queries [Full Version]
Duke University(杜克大学);University of Waterloo(滑铁卢大学)
针对数据库系统中计数查询生成大规模训练数据成本高的问题,提出BaCon算法,它结合因式分解数据库思想与工作负载感知域量化策略,在PostgreSQL上实现客户端应用程序,加速2倍至178倍,提升基数估计模型训练和维护的实用性。
2026-07-08 cs.DB
Cardinality Estimation of Subgraph Matching: A Filtering-Sampling Approach
针对子图计数计算难度大的问题,提出结合过滤、自适应树采样与最坏情况最优分层采样的FaSTest算法,用于子图基数估计,准确率较现有方法最高提升两到三个数量级。
2024-04-15 cs.DB
Adding Domain Knowledge to Query-Driven Learned Databases
本文针对查询驱动学习型基数估计器依赖大量标注查询且分布外错误严重的问题,提出基于约束的半监督学习方法,将传统优化器的领域知识融入学习型查询优化,从而提升基数估计准确性、减少标注依赖并增强端到端性能鲁棒性。
2023-12-02 cs.DB
Join Cardinality Estimation with OmniSketches
针对传统查询优化器连接基数估计不准确问题,扩展结合count-min sketches和K-minwise hashing的OmniSketch概率数据结构,提出跨表互操作的连接估计器及α-无环连接图处理算法,实验证明在SSB-skew上显著提升性能。
2025-08-25 cs.DB
Data-Agnostic Cardinality Learning from Imperfect Workloads
University of Pennsylvania(宾夕法尼亚大学)
GRASP提出一种数据无关的基数估计系统,通过组合式设计、每表模型和计数草图,在不完美工作负载下超越现有查询驱动模型,性能媲美基于数据的传统方法。
2025-06-19 cs.DB cs.LG
SemCEB: A Cardinality Estimation Benchmark for Semantic Operators
University of Technology Nuremberg(纽伦堡工业大学);The University of Melbourne(墨尔本大学)
提出SemCEB基准,用于评估语义过滤和连接操作符的基数估计方法,基于真实多模态数据,评估采样和语义直方图方法的准确性、成本、延迟和内存开销。
2026-06-23 cs.DB
Estimating Cardinalities with Deep Sketches
我们介绍了Deep Sketches,它是数据库的紧凑模型,允许我们估计SQL查询的结果大小。Deep Sketches由一种新的深度学习方法来估计基数,可以捕获列之间的相关性,甚至跨表。我们的演示允许用户在TPC-H和IMDb数据集上定义这样的草图,监控训练过程,并对训练过的草图运行临时查询。我们还使用HyperPer和PostgreSQL估计查询基数,以可视化传统基数估计器的收益。
2019-04-17 cs.DB
A Survey on Advancing the DBMS Query Optimizer: Cardinality Estimation, Cost Model, and Plan Enumeration
RMIT University(皇家墨尔本理工大学);Wuhan University(武汉大学)
查询优化器是数据库系统的核心。本文所研究的基于代价的优化器几乎被当前所有的数据库系统所采用。基于成本的优化器引入计划枚举算法来查找(子)计划,然后使用成本模型来获得该计划的成本,并选择成本最低的计划。在成本模型中,基数,通过操作符的元组的数量,起着至关重要的作用。由于基数估计的不准确性、成本模型的错误以及巨大的计划空间,优化器无法在合理的时间内为复杂查询找到最佳执行计划。本文首先深入研究了上述局限性背后的原因。接下来,我们将回顾用于提高基于成本的优化器中的三个关键组件(基数估计、成本模型和计划枚举)的质量的技术。我们还就上述各个方面的未来发展方向提供了见解。
2021-01-05 cs.AI cs.DB
From Single to Multiple Attributes: Experimental Insights on Sampling-Based Distinct Combination Estimation in GROUP-BY Queries
Northeastern University(东北大学)
针对多属性GROUP-BY查询中不同组合估计的挑战,通过实验评估现有采样方法,分析误差来源及其对查询计划的影响,并提出优化建议。
2026-07-02 cs.DB
ZeroCard: Cardinality Estimation with Zero Dependence on Target Databases -- No Data, No Query, No Retraining
ByteDance Beijing China(字节跳动北京);ByteDance Hangzhou China(字节跳动杭州);ByteDance San Jose USA(字节跳动圣何塞)
ZeroCard提出首个语义驱动的基数估计方法,利用模式语义预测数据分布,无需原始数据、查询日志或重训练,通过预训练实现即用,显著提升实际部署便利性。
2025-10-09 cs.AI cs.DB
Pessimistic Cardinality Estimation
本文综述悲观基数估计器,介绍其如何利用度序列与信息论不等式提供查询输出大小的有保证上界,并对比传统无偏估计方法。
2024-12-01 cs.DB cs.IT math.IT
CUBE: A Cardinality Estimator Based on Neural CDF
本文提出基于神经CDF的基数估计方法,无需采样或积分即可实现快速且准确的基数估计,具有优秀的维度可扩展性,比现有方法快10倍。
2025-12-10 cs.DB
Sketched Sum-Product Networks for Joins
University of California Merced(加州大学默塞德分校)
针对现有Sketch方法仅适配预定义查询选择、难以应用于新查询的问题,提出用和积网络动态近似生成Sketch,实现了Fast-AGMS和Bound Sketch的低成本近似,为查询优化中的连接基数估计提供实用方案。
2025-06-16 cs.DB cs.LG
QSketch: An Efficient Sketch for Weighted Cardinality Estimation in Streams
提出QSketch,一种用于流中加权基数估计的高效内存Sketch方法,通过量化技术将变量压缩至8位,并利用动态特性提升精度,实现O(1)更新复杂度,在仅用1/8内存下准确率提升约30%,速度快两个数量级。
2024-06-27 cs.DB cs.DS
Selectivity Estimation for Linear Queries via Online Learning
Duke University(杜克大学)
针对数据库中查询选择性估计问题,受在线学习启发,提出算法框架,以遗憾值衡量学习算法性能,建立基于直方图的线性查询在静态和动态数据库设置下遗憾值的上下界。
2026-07-07 cs.DB cs.LG