MonoM: Enhancing Monotonicity in Learned Cardinality Estimators
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Harvard University(哈佛大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出MonoM指标和单调性训练框架,通过正则化项提升学习基数估计器的单调性和准确性。
2025-10-15 cs.DB
Algorithmic Complexity Attacks on All Learned Cardinality Estimators: A Data-centric Approach
本文首次从理论上证明学习型基数估计器对最小数据漂移的脆弱性,提出黑盒攻击算法(NP难及近似解),实验显示修改0.8%数据可大幅降低精度,并给出缓解对策。
2025-07-10 cs.DB
ByteCard: Enhancing ByteDance's Data Warehouse with Learned Cardinality Estimation
针对字节跳动ByteHouse数据仓库传统基数估计误差大、影响查询效率的问题,开发了可高效训练集成、平衡准确性与实用性的学习型基数估计框架ByteCard,使查询第99百分位延迟最高降30%,并分享了工程落地经验。
2024-04-11 cs.DB
Scardina: Scalable Join Cardinality Estimation by Multiple Density Estimators
Osaka University(大阪大学)
针对复杂关系模式下现有方法基数估计不精确的问题,提出基于模式结构的多分区模型Scardina,通过组合多个密度估计器有效提升连接基数估计的准确性。
2023-03-31 cs.DB cs.LG
Grid-AR: A Grid-based Booster for Learned Cardinality Estimation and Range Joins
本研究提出结合网格结构与自回归模型的Grid-AR混合基数估计器,优化连续列表示与范围查询执行,提升训练预测速度、降低内存,还支持高效范围连接基数计算,经基准测试验证性能与资源利用均显著优于现有方法。
2024-10-10 cs.DB
NeuroCard: One Cardinality Estimator for All Tables
UC Berkeley(加州大学伯克利分校);Covariant(协变公司)
查询优化器依赖于准确的基数估计来生成良好的执行计划。尽管经过几十年的研究,现有的基数估计器对于复杂查询是不准确的,这是由于进行了有损建模假设并且没有捕获表间的相关性。在这项工作中,我们证明了在没有任何独立性假设的情况下,可以学习数据库中所有表的相关性。我们提出了NeuroCard,一个连接基数估计器,在整个数据库中构建一个单一的神经密度估计器。利用联合采样和现代深度自回归模型,NeuroCard在其概率建模中没有表间或列间独立性假设。NeuroCard实现了比现有最佳方法高几个数量级的准确性(在JOB-light上最大误差为8.5 $\times$的最新结果),可扩展到数十个表,同时空间紧凑(几MB),构建或更新效率高(秒到分钟)。
2020-11-02 cs.DB cs.LG
ACE: A Cardinality Estimator for Set-Valued Queries
University of New South Wales(新南威尔士大学);The University of Auckland(奥克兰大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The University of Melbourne(墨尔本大学);Aalborg University(奥尔堡大学)
针对现有基数估计器对集合值数据支持不足的问题,提出基于注意力的ACE估计器,通过蒸馏编码、注意力分析与池化回归实现估计,在多数据集上准确率和效率均超SOTA。
2025-03-19 cs.DB cs.LG
Pessimistic Cardinality Estimation
本文综述悲观基数估计器,介绍其如何利用度序列与信息论不等式提供查询输出大小的有保证上界,并对比传统无偏估计方法。
2024-12-01 cs.DB cs.IT math.IT
Uncertainty-aware Cardinality Estimation by Neural Network Gaussian Process
深度学习(DL)在许多实际应用中取得了巨大成功。尽管它的成功,有一些主要的问题时,部署先进的DL模型在数据库系统中,如超参数调整,过拟合的风险,缺乏预测的不确定性。在本文中,我们研究了基数估计SQL查询的重点是不确定性,我们认为这是重要的数据库系统在处理大量的用户查询各种应用程序。在确保不确定性的情况下,查询优化器可以在学习到的估计器具有较大方差时探索其他选项,而不是信任所学习的估计器,并且还可以更新估计器以改善其在具有高不确定性的区域中的预测。我们探索的方法是不同的方向部署复杂的DL模型在数据库系统中建立基数估计。我们使用贝叶斯深度学习(BDL)作为贝叶斯推理和深度学习之间的桥梁。BDL的预测分布为预测提供了原则性的不确定性校准。此外,当BDL模型的网络宽度趋于无穷大时,该模型表现为高斯过程(GP)。这类特殊的BDL被称为神经网络高斯过程(NNGP),它继承了贝叶斯方法的优点,同时保持了神经网络的普适逼近性,并且可以利用更大的模型空间来建模无分布数据作为非参数模型。我们表明,我们的不确定性感知NNGP估计达到高精度,可以建立非常快,是强大的查询工作量的变化,在我们广泛的性能研究与现有的方法相比。
2021-07-19 cs.DB
LpBound: Pessimistic Cardinality Estimation using $\ell_p$-Norms of Degree Sequences
本文提出悲观基数估计器 LpBound,利用度序列的 $\ell_p$-范数构造线性规划上界,在 JOB、STATS 和子图匹配基准上以低开销实现比传统估计器高几个数量级的准确度,并能改进 Postgres 查询计划。
2025-02-09 cs.DB
Can Large Language Models be a Cardinality Estimator? An Empirical study
Peking University(北京大学);Bytedance(字节跳动);University of Pennsylvania(宾夕法尼亚大学)
本文探讨了大语言模型在基数估计中的应用,通过实验证明其在泛化能力、复杂查询支持和数据效率方面的优势,展示了其在数据库管理系统中的潜力。
2026-03-30 cs.DB
LEARNT: A Practical Estimator for Cardinality of LIKE Queries with Formal Accuracy Guarantees
The University of Queensland(昆士兰大学);AT&T Chief Data Office(AT&T首席数据办公室);University of Wollongong(伍伦贡大学);Wuhan University(武汉大学)
针对字符串数据上的LIKE查询(前缀、后缀、子串),提出LEARNT估计器,通过桶分类、布隆过滤器和马尔可夫建模等方法,在保证理论精度边界的同时实现高效估计。
2026-05-23 cs.DB
DistJoin: A Decoupled Join Cardinality Estimator based on Adaptive Neural Predicate Modulation
Harbin Institute of Technology(哈尔滨工业大学)
DistJoin提出解耦多自回归分布预测与自适应神经谓词调制,解决基数估计三难困境,首个同时支持等值与非等值连接,兼具高准确性和快速更新。
2025-09-09 cs.AI cs.DB
A Minimal Variance Estimator for the Cardinality of Big Data Set Intersection
近年来,人们对开发用于连续数据流的高效处理和查询的“流算法”越来越感兴趣。这些算法寻求提供准确的结果,同时最大限度地减少所需的存储和处理时间,在其输出中的一个小的不准确性的代价。感兴趣的基本查询是两个大数据流的交集大小。这个问题出现在许多不同的应用领域,如网络监控,数据库系统,数据集成和信息检索。在本文中,我们开发了一个新的算法,这个问题的基础上,最大似然法(ML)。我们表明,该算法优于所有已知的计划,它渐近达到最佳的方差。
2016-06-03 cs.DB cs.DS
QEmbed: A Deep Learning Based Cardinality Estimator for Efficient Query Processing
Indian Institute of Technology Jammu(詹穆印度理工学院)
针对现有基数估计方法在混合高/低基数属性数据集上难以平衡内存与精度的问题,提出基于MADE自回归框架的QEmbed深度学习模型,采用混合编码捕获属性相关性,有效降低极端尾部误差。
2026-09-14 cs.DB
TraHist: Fast and Accurate Cardinality Estimation for Trajectory Data (Extended Version)
Korea University(高丽大学);Curtin University(科廷大学)
针对轨迹数据基数估计中传统直方图因未考虑时空依赖导致高估的问题,提出TraHist方法,构建密度自适应矩形桶,大幅降低估计误差,同时保持高效查询与构建性能。
2026-10-16 cs.DB
NN-based Transformation of Any SQL Cardinality Estimator for Handling DISTINCT, AND, OR and NOT
Technion(以色列理工学院)
带有AND、OR和NOT运算符的SQL查询构成了广泛的一类高度使用的查询。因此,它们的基数估计对于查询优化是重要的。此外,查询规划器需要集合论基数(即,不带重复项)用于DISTINCT查询以及规划;例如,考虑排序选项时。然而,尽管在存在DISTINCT、AND、OR和NOT的情况下估计查询基数很重要,但许多基数估计方法仅限于估计具有重复计数的合取查询的基数。这项工作的重点是两种方法来处理这个不足之处,可以适用于任何有限的基数估计模型。首先,我们描述了一个专门的深度学习方案PUNQ,它是专门为表示合取SQL查询和预测查询结果中具有重复行的唯一行的百分比而定制的。使用通过PUNQ获得的预测百分比,我们能够转换任何基数估计方法,该方法仅估计合取查询,并且估计具有重复项的基数(例如,MSCN),一种方法,估计查询基数没有重复。这样就可以使用DISTINCT关键字估计查询的基数。此外,我们描述了一个递归算法,GenCrd,扩展任何基数估计方法M,只处理合取查询的一个,估计基数更一般的查询(包括与,或,和不),而不改变方法M本身。我们的评估是在一个具有挑战性的真实数据库上进行的,该数据库具有一般查询,包括DISTINCT关键字或AND,OR和NOT运算符。实验上,我们表明,所提出的方法获得准确的基数估计与原来的变换方法的准确性相同的水平。
2020-04-15 cs.DB cs.LG
Risk-Aware GPU-Assisted Cardinality Estimation for Cost-Based Query Optimizers
Independent Researcher Daegu, Republic of Korea
GACE通过GPU加速测量提升基于成本的查询优化器的稳定性与效率,减少尾部延迟并降低计划翻转率。
2025-12-31 cs.DB
Optimize Cardinality Estimation Model Pretraining by Simplifying the Training Datasets
针对学习型基数估计器预训练中均匀采样数据集非最优的问题,利用Group DRO算法发现特定数据集贡献更大,据此提出缩减至原有一小部分的简化训练数据集,在零样本设置下仍取得与现有模型相当的性能。
2025-05-28 cs.DB cs.LG
Downsizing Diffusion Models for Cardinality Estimation
Chinese Academy of Sciences(中国科学院);Huawei Technologies Co., Ltd.(华为技术有限公司);Fudan University(复旦大学);Tsinghua University(清华大学)
本文提出ADC框架,通过混合架构实现轻量高效的扩散模型,用于高精度基数估计,在处理多向依赖数据时表现更优。
2025-12-17 cs.DB
Deep Unsupervised Cardinality Estimation
UC Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学)
基数估计长期以来一直基于密度估计的统计工具。为了捕获关系表的丰富多元分布,我们提出使用一种新型的高容量统计模型:深度自回归模型。然而,直接应用这些模型会导致有限的估计,这是昂贵的范围或可预测的评价。为了产生一个真正可用的估计,我们开发了一个Monte Carlo集成方案的自回归模型,可以有效地处理范围查询几十个维度或更多。像经典的概要一样,我们的估计器在没有监督的情况下总结数据。与以前的解决方案不同,我们在没有任何独立假设的情况下近似联合数据分布。在真实世界的数据集上进行评估,并与真实系统和主要技术家族进行比较,我们的估计器在尾部实现了个位数的乘法误差,比第二好的方法提高了高达90 $\times$的精度,并且具有空间和运行时间效率。
2019-11-21 cs.DB cs.LG
A Survey on Advancing the DBMS Query Optimizer: Cardinality Estimation, Cost Model, and Plan Enumeration
RMIT University(皇家墨尔本理工大学);Wuhan University(武汉大学)
查询优化器是数据库系统的核心。本文所研究的基于代价的优化器几乎被当前所有的数据库系统所采用。基于成本的优化器引入计划枚举算法来查找(子)计划,然后使用成本模型来获得该计划的成本,并选择成本最低的计划。在成本模型中,基数,通过操作符的元组的数量,起着至关重要的作用。由于基数估计的不准确性、成本模型的错误以及巨大的计划空间,优化器无法在合理的时间内为复杂查询找到最佳执行计划。本文首先深入研究了上述局限性背后的原因。接下来,我们将回顾用于提高基于成本的优化器中的三个关键组件(基数估计、成本模型和计划枚举)的质量的技术。我们还就上述各个方面的未来发展方向提供了见解。
2021-01-05 cs.AI cs.DB
CardOOD: Robust Query-driven Cardinality Estimation under Out-of-Distribution
The Chinese University of Hong Kong(香港中文大学);Beijing Institute of Technology(北京理工大学)
针对查询驱动基数估计的分布外性能下降问题,提出通用鲁棒学习框架CardOOD,拓展三类学习技术并设计利用基数偏序约束的自监督算法,实验验证有效且已集成至PostgreSQL。
2024-12-08 cs.AI cs.DB
SemCEB: A Cardinality Estimation Benchmark for Semantic Operators
University of Technology Nuremberg(纽伦堡工业大学);The University of Melbourne(墨尔本大学)
提出SemCEB基准,用于评估语义过滤和连接操作符的基数估计方法,基于真实多模态数据,评估采样和语义直方图方法的准确性、成本、延迟和内存开销。
2026-06-23 cs.DB
Join Cardinality Estimation with OmniSketches
针对传统查询优化器连接基数估计不准确问题,扩展结合count-min sketches和K-minwise hashing的OmniSketch概率数据结构,提出跨表互操作的连接估计器及α-无环连接图处理算法,实验证明在SSB-skew上显著提升性能。
2025-08-25 cs.DB
When Does q-error Predict Plan Regret? Three Regimes of Cardinality-Estimation Error
VaidhyaMegha Private Limited, India(印度VaidhyaMegha私有有限公司)
研究基数估计中q-误差与查询计划质量的关系,发现计划遗憾由三种机制决定:小误差时条件数κ预测更优,大误差时ACS-infinity预测遗憾,而q-误差在查询级别几乎无信息。
2026-06-16 cs.DB cs.LG
Fully Inductive Cardinality Estimation
Technical University of Munich(慕尼黑工业大学)
该研究提出首个无需重新训练即可泛化到新图的全归纳基数估计器FICE,通过耦合GNN组件实现,在10个KG上较基线显著降低中位数q误差并优化尾部行为。
2026-07-31 cs.DB cs.LG
TiCard: Deployable EXPLAIN-only Residual Learning for Cardinality Estimation
PingCAP, Data & AI-Innovation Lab(PingCAP数据与人工智能创新实验室)
TiCard通过仅使用解释信息学习残差修正,提升数据库基数估计的准确性和可部署性。
2025-12-17 cs.AI cs.DB
Less is More: Towards Lightweight Cost Estimator for Database Systems
我们提出了FasCo,一个简单而有效的基于学习的估计执行数据库查询计划的成本。与最先进的方法相比,FasCo使用显著更短的训练时间和更低的推理成本,同时实现更高的估计精度。FasCo的有效性来自于嵌入丰富的显式基于执行计划的特征,并结合了一种称为基数校准的新技术。大量的实验结果表明,FasCo的效率比最先进的方法高出几个数量级:在JOB-M基准数据集上,它将训练计划减少了98%,将训练时间从两天多减少到大约八分钟,同时带来更好的准确性。此外,在动态环境中,即使没有再训练,FasCo也可以保持令人满意的精度,缩小了基于学习的估计器和真实系统之间的差距。
2023-03-21 cs.DB
Hollywood: Towards a Large Movie Dataset for Database Benchmarking
University of Technology Nuremberg(纽伦堡工业大学)
研究针对IMDb真实世界数据集无比例因子问题,提出结合大语言模型语义字典和确定性时间图关系数据生成的好莱坞数据集生成方法,实验表明其引发的基数估计误差与原数据集相当或更大,还能测试估计器泛化能力。
2026-07-23 cs.DB
Are We Ready For Learned Cardinality Estimation?
Simon Fraser University(西蒙菲莎大学);Tencent Inc.(腾讯公司)
基数估计是查询优化中的一个基本问题,但长期未得到解决。最近,来自不同研究小组的多篇论文一致报告说,学习模型有可能取代现有的基数估计。在本文中,我们提出了一个前瞻性的问题:我们准备好在生产中部署这些学习到的基数模型了吗?我们的研究包括三个主要部分。首先,我们关注静态环境(即,无数据更新),并在统一的工作负载设置下,在四个真实世界的数据集上比较五种新的学习方法和八种传统方法。结果表明,学习模型确实比传统方法更准确,但它们通常具有较高的训练和推理成本。其次,我们探索这些学习的模型是否为动态环境做好了准备(即,频繁的数据更新)。我们发现,他们不能赶上快速的数据更新,并返回大的错误,由于不同的原因。对于不太频繁的更新,它们可以表现得更好,但它们之间没有明显的赢家。第三,我们更深入地研究学习模型,并探索它们何时可能出错。我们的研究结果表明,学习方法的性能可以很大程度上影响的相关性,偏度,或域大小的变化。更重要的是,他们的行为更难解释,而且往往不可预测。基于这些发现,我们确定了两个有前途的研究方向(控制学习模型的成本,使学习模型值得信赖),并提出了一些研究机会。我们希望我们的研究可以指导研究人员和实践者共同努力,最终将学习到的基数估计器推向真正的数据库系统。
2021-08-10 cs.DB cs.LG
Is it Bigger than a Breadbox: Efficient Cardinality Estimation for Real World Workloads
University of Pennsylvania(宾夕法尼亚大学);Google(谷歌);TU Darmstadt(图宾根大学);ETH(苏黎世联邦理工学院)
针对传统基数估计误差高、学习型估计器运维复杂的问题,提出基于子查询模式哈希的在线局部回归估计方法,开销极低且准确率达SoTA水平,集成PostgreSQL后可显著提升查询效率。
2025-10-03 cs.DB cs.LG
Flow-Loss: Learning Cardinality Estimates That Matter
以前的学习基数估计方法集中在改善平均估计误差,但并非所有估计都同样重要。由于学习的模型不可避免地会出错,因此目标应该是改进对优化器产生最大影响的估计。我们引入了一个新的损失函数,流量损失,明确优化更好的查询计划,近似优化器的成本模型和动态规划搜索算法与分析功能。Flow-Loss的核心是将查询优化简化为特定计划图上的流路由问题,其中路径对应于不同的查询计划。为了评估我们的方法,我们引入了基数估计基准,其中包含来自21个模板的超过16 K查询的子计划的真实基数,最多有15个连接。我们表明,在不同的架构和数据库中,使用Flow-Loss训练的模型提高了计划的成本(使用PostgreSQL成本模型)和查询运行时,尽管估计准确性比使用Q-Error训练的模型差。当测试集查询与训练查询紧密匹配时,两个模型都比PostgreSQL显著提高了性能,并且接近最佳性能(使用真基数)。然而,当对稍微不同的查询(例如,相似但不相同的查询模板),而流损失训练模型更好地概括了这种情况。例如,与Q-Error模型相比,Flow-Loss模型在不可见模板上的运行时间提高了1.5倍,尽管利用了相同的模型架构和训练数据。
2021-01-13 cs.DB
SSCard: Substring Cardinality Estimation using Suffix Tree-Guided Learned FM-Index
提出SSCard,一种基于剪枝后缀树和学习型FM-Index的子串基数估计器,通过双向估计算法与误差界限样条插值平衡空间与精度,在五个真实数据集上显著优于现有方法。
2025-05-30 cs.DB
Estimating Cardinalities with Deep Sketches
我们介绍了Deep Sketches,它是数据库的紧凑模型,允许我们估计SQL查询的结果大小。Deep Sketches由一种新的深度学习方法来估计基数,可以捕获列之间的相关性,甚至跨表。我们的演示允许用户在TPC-H和IMDb数据集上定义这样的草图,监控训练过程,并对训练过的草图运行临时查询。我们还使用HyperPer和PostgreSQL估计查询基数,以可视化传统基数估计器的收益。
2019-04-17 cs.DB
One stone, two birds: A lightweight multidimensional learned index with cardinality support
本文提出CardIndex结构,以KB级参数同时实现快速多维学习索引和轻量级基数估计,并结合混合估计算法在低选择性查询中实现微秒级精确估计。
2023-05-28 cs.DB cs.DS
Adaptive Cardinality Estimation
本文研究了查询优化中的一个重要子问题--基数估计问题。查询优化是每个关系数据库管理系统的一部分,负责为给定的查询找到最佳的执行方式。这些方法被称为计划。不同计划的执行时间可能相差几个数量级,因此查询优化器对整个数据库系统的性能有很大的影响。我们认为基于代价的查询优化方法是最流行的方法。据观察,基于成本的优化质量很大程度上取决于基数估计质量。本文提出了一种新的基于机器学习方法的基数估计方法。该方法的要点是使用先前执行的查询的查询执行统计信息来改进基数估计。我们称这种方法为自适应基数估计,以反映这一点。该方法具有通用性、灵活性和易于实现的特点。实验评估表明,该方法显着提高了基数估计的质量,从而使某些查询的数据库管理系统性能提高了几倍甚至几十倍。
2017-11-22 cs.DB stat.ML
TKHist: Cardinality Estimation for Join Queries via Histograms with Dominant Attribute Correlation Finding
Soochow University(苏州大学)
TKHist通过放宽直方图均匀性假设并引入主导连接路径相关性发现算法,实现了多表连接查询的准确基数估计,误差方差较最先进方法降低2-3个数量级。
2025-10-17 cs.DB
Adding Domain Knowledge to Query-Driven Learned Databases
本文针对查询驱动学习型基数估计器依赖大量标注查询且分布外错误严重的问题,提出基于约束的半监督学习方法,将传统优化器的领域知识融入学习型查询优化,从而提升基数估计准确性、减少标注依赖并增强端到端性能鲁棒性。
2023-12-02 cs.DB
QCardEst/QCardCorr: Quantum Cardinality Estimation and Correction
University of Lübeck(吕贝克大学)
提出基于混合量子-经典网络的量子基数估计与校正方法,通过紧凑编码和变分量子电路提升数据库查询优化中的基数估计精度,在JOB-light和STATS上分别比PostgreSQL优化器改进6.37倍和8.66倍。
2025-09-10 cs.AI cs.DB cs.LG
Convolution and Cross-Correlation of Count Sketches Enables Fast Cardinality Estimation of Multi-Join Queries
针对多连接查询基数估计中结合快速更新与多连接处理能力的开放难题,提出基于Count Sketch卷积与互相关的新型概要方法,证明无偏且误差保证与AMS方法一致,实验显示更新速度提升数数量级、精度相当或更优。
2024-05-14 cs.DB
FactorJoin: A New Cardinality Estimation Framework for Join Queries
Massachusetts Institute of Technology(麻省理工学院)
基数估计是查询优化中最基本也是最具挑战性的问题之一。无论是经典的还是基于学习的方法在估计连接查询的基数时都不会产生令人满意的性能。它们要么依赖于简化的假设,导致无效的基数估计,要么构建大型模型来理解数据分布,导致规划时间长,缺乏跨查询的通用性。在本文中,我们提出了一个新的框架FactorJoin估计连接查询。FactorJoin结合了经典的join-histogram方法背后的思想,以有效地处理joins与基于学习的方法,以准确地捕获属性相关性。具体来说,FactorJoin扫描数据库中的每个表,并在离线准备阶段构建单表条件分布。当连接查询到来时,FactorJoin将其转换为学习分布上的因子图模型,以有效地估计其基数。与现有的基于学习的方法不同,FactorJoin不需要预先对连接进行反规范化,也不需要执行查询工作负载来训练模型。由于FactorJoin只依赖于单表统计数据,因此它的空间开销很小,并且非常容易训练和维护。在我们的评估中,FactorJoin可以比以前最先进的基于学习的方法产生更有效的估计,估计延迟减少40倍,模型大小减少100倍,训练速度加快100倍,精度相当或更高。此外,FactorJoin可以在一秒钟内估计10,000个子计划查询,以优化查询计划,这与商业DBMS中传统的基数估计器非常接近。
2022-12-11 cs.DB cs.LG
An Empirical Evaluation of Cost-based Federated SPARQL Query Processing Engines
Kyung Hee University(庆熙大学);University of Paderborn(帕德博恩大学)
寻找一个好的查询计划是优化查询运行时的关键。这尤其适用于基于成本的联邦引擎,它使用基数估计来实现这一目标。许多研究比较了SPARQL联邦引擎在不同性能指标上的性能,包括查询运行时间、结果集完整性和正确性、选择的源数量和发送的请求数量。尽管这些指标信息量很大,但它们是通用的,无法量化和评估基于成本的联合引擎的基数估计器的准确性。为了彻底评估基于成本的联邦引擎,必须测量估计基数错误对整体查询运行时性能的影响。在本文中,我们解决这个挑战,提出了新的评估指标,针对细粒度基准测试的成本为基础的联邦SPARQL查询引擎。我们评估五个基于成本的联邦SPARQL查询引擎使用现有的以及新的评估指标,通过使用LargeRDFBench查询。我们的研究结果提供了一个详细的分析实验结果,揭示了新的见解,有用的未来成本为基础的联邦SPARQL查询处理引擎的发展。
2021-04-02 cs.DB cs.LG cs.PF
AutoCE: An Accurate and Efficient Model Advisor for Learned Cardinality Estimation
研究为不同数据集选择最佳学习型基数估计模型的问题,提出基于深度度量学习与内部学习的模型顾问AutoCE,集成至PostgreSQL并在准确率和功效上显著优于基线。
2024-09-24 cs.DB
GRACEFUL: A Learned Cost Estimator For UDFs
本文提出GRACEFUL,一种学习型成本模型,用于准确估算数据库查询中UDF的执行成本,实现过滤器上拉/下推优化,带来50倍加速,并发布超9万UDF查询的数据集。
2025-03-31 cs.DB
Efficient Algorithms for Cardinality Estimation and Conjunctive Query Evaluation With Simple Degree Constraints
针对简单度约束下的基数估计与合取查询评估,提出了计算polymatroid bound及其证明序列的多项式时间算法,可加速PANDA框架查询,并引入了新的flow bound。
2025-04-03 cs.DB cs.DS
Sketched Sum-Product Networks for Joins
University of California Merced(加州大学默塞德分校)
针对现有Sketch方法仅适配预定义查询选择、难以应用于新查询的问题,提出用和积网络动态近似生成Sketch,实现了Fast-AGMS和Bound Sketch的低成本近似,为查询优化中的连接基数估计提供实用方案。
2025-06-16 cs.DB cs.LG
PRICE: A Pretrained Model for Cross-Database Cardinality Estimation
Alibaba Group(阿里巴巴集团);University of Science and Technology of China(中国科学技术大学);Renmin University of China(中国人民大学)
本文提出预训练多表基数估计模型PRICE,利用可迁移特征和自注意力学习元知识,以极低准备成本在未见数据库上实现高准确率,并可通过微调接近最优执行计划。
2024-06-03 cs.DB cs.LG
FLAT: Fast, Lightweight and Accurate Method for Cardinality Estimation
Alibaba Group(阿里巴巴集团);Peking University(北京大学)
查询优化器依赖于准确的基数估计(CardEst)来生成良好的执行计划。CardEst的核心问题是如何以准确和紧凑的方式对丰富的属性联合分布建模。尽管已有几十年的研究,现有的方法要么只使用独立因子分解来简化模型,导致估计不准确,要么通过无损条件因子分解而没有任何独立假设,导致概率计算缓慢。在本文中,我们提出了FLAT,CardEst方法,同时是快速的概率计算,轻量级的模型大小和准确的估计质量。FLAT的核心思想是一种新的无监督图形模型,称为FSPN。该方法利用独立因子分解和条件因子分解对不同层次的属性相关性进行自适应建模,从而综合了两者的优点。FLAT支持在底层FSPN模型上以接近线性时间进行有效的在线概率计算,提供有效的离线模型构建,并支持增量模型更新。它可以估计单表查询和多表连接查询的基数。大量的实验研究表明,FLAT优于现有的CardEst方法在著名的IMDB基准测试:FLAT实现1至5个数量级更好的准确性,1至3个数量级更快的概率计算速度和1至2个数量级更低的存储成本。我们还将FLAT集成到Postgres中以执行端到端测试。在基准测试工作负载上,它将查询执行时间提高了12.9%,非常接近使用真实基数的最佳结果14.2%。
2021-05-19 cs.AI cs.DB
Duet: efficient and scalable hybriD neUral rElation undersTanding
Harbin Institute of Technology(哈尔滨工业大学)
本文提出混合神经基数估计方法 Duet,通过将谓词信息引入自回归模型,消除渐进采样带来的训练成本高、不稳定和长尾分布等问题,实现无采样的直接基数估计,将推理复杂度从 O(n) 降至 O(1),并在高基数高维表上取得更高精度和更低推理成本。
2023-12-01 cs.AI cs.DB cs.LG
CERT: Finding Performance Issues in Database Systems Through the Lens of Cardinality Estimation
提出 CERT 技术,通过基数估计视角和黑盒测试方法发现数据库系统中的性能问题,在 MySQL、TiDB 和 CockroachDB 中发现 13 个问题,助力提升系统性能。
2024-01-10 cs.DB cs.SE